CN101404649B - 一种基于cache的数据处理系统及其方法 - Google Patents

Abstract

本发明揭示了一种基于CACHE的数据处理系统，至少具有：CACHE客户端；分布式CACHE服务器，用于接收客户端的数据请求并在CACHE数据存储装置中查询CACHE数据；CACHE数据存储装置；以及数据源，用于保存数据。本发明也揭示了一种数据处理方法，该方法包括：CACHE客户端接收数据请求并转发至分布式CACHE服务器；该分布式CACHE服务器查询数据，若CACHE命中，则将数据返回至所述CACHE客户端；若CACHE未命中，则CACHE客户端向数据源发送请求。采用本发明的系统及其方法，不仅配有CACHE数据存储装置以将海量的CACHE数据分布到多台CACHE数据中心，而且为CACHE列表类数据提供了优化的算法，大大提高了CACHE命中率。此外，该系统可以实时更新CACHE数据。

Description

一种基于CACHE的数据处理系统及其方法

技术领域

本发明涉及数据存取技术，尤其涉及分布式环境下的数据缓存技术。

背景技术

随着网络应用系统的功能日益强大，用户向系统发送数据请求的频率与幅度也越来越高，从而系统的数据规模量也迅速地呈现上升趋势。在这种情况下，传统的数据库的吞吐量毕竟有限，尤其在大规模的数据请求时，传统数据库的I/O吞吐水平已无法满足用户的快捷体验感，并且日益成为制约系统继续扩展的瓶颈。

在互联网飞速发展的今天，尤其是门户网络，每天来自用户的数据请求量高达数亿条，并且在这些数据请求中有很多都是相同的。对于系统来说，频繁读取相同数据给不同的用户会造成系统性能的大幅度下降；对于用户来说，请求点击率高的数据会耗费大量的等待时间。为了解决这一技术问题，开发一种在分布式环境下高效、实时、高性能的数据缓存系统是必然趋势，也是势在必行的。

以下对CACHE予以简要地介绍。CACHE是一种特殊的存储器，它由CACHE存储部件和CACHE控制部件组成。CACHE存储部件一般采用与CPU同类型的半导体存储器件，其存取速度也比内存快几倍甚至十几倍。而CACHE控制部件包括主存地址寄存器、CACHE地址寄存器、主存-CACHE地址变换部件及替换控制部件等。当CPU一条指令接着一条指令地运行程序时，其指令地址往往是连续的，也就是说，CPU在访问内存时，在较短的一段时间内往往集中于某个局部，这时候可能会碰到一些需要反复调用的子程序。为此，计算机在工作时将这些频繁调用的子程序存入比内存快得多的CACHE中，并由此而引申出CACHE“命中”和“未命中”。CPU在访问内存时，首先判断所要访问的内容是否在CACHE中，如果存在，就称为“命中”，在CACHE命中时CPU直接从CACHE中调用所需访问的数据内容；如果不存在，就称为“未命中”，CPU只好去内存中调用所需的子程序或指令。此外，CPU不但可以直接从CACHE中读出内容，也可以直接往其中写入内容，由于CACHE的存取速率相当快，使得CPU的利用率大大提高，进而使得整个系统的性能得以提升。

图1示出了现有技术中分布式环境下基于CACHE的数据处理系统的一种实施例。参照图1，在该分布式环境下具有两台服务器：应用服务器1-100和应用服务器2-106，其中应用服务器1配置有CACHE服务包1-102，应用服务器2配置有CACHE服务包2-108，并且分别将CACHE数据存储在CACHE中心1-104和CACHE中心2-110内。本领域的技术人员应当理解，虽然该实施例中只有两台应用服务器，但是分布式环境下的服务器数目并不仅仅只限于两台的情况。为了提高CACHE数据的命中率与CACHE数据的一致性，需要一种数据同步装置将每台应用服务器中有变化的CACHE数据通知给所有其他的应用服务器，即，图1中的数据同步装置。这里需要说明的是，CACHE性能的关键指标就是CACHE的命中率，鉴于CACHE的容量远远小于内存，它只可能存放内存的一部分数据。CPU首先访问CACHE，再访问主存，如果数据在CACHE中即为CACHE命中；如果数据不在CACHE中为CACHE未命中，从而CACHE命中的数据占整个需要访问的数据的比例就是CACHE的命中率。换言之，CACHE中找到的所需访问的数据越多，CACHE的命中率越高；CACHE中没有找到而在内存中找到的所需访问的数据越多，CACHE的命中率就越低。

对于图1所示的数据处理系统，在系统规模比较小、CACHE中存储的数据量不大的情形下，可以有效地工作。但是如果数据量很大，CACHE数据存储在本地服务器中会影响到本地服务器的正常工作，如果另外设置专门的服务器则影响工作效率，并且成本增加了。更需要考虑的是，如果系统规模变大，比如应用服务器超过五台，则系统耗费在数据同步上面的开销非常巨大，也使得系统的性能急剧下降。

图2示出了现有技术中分布式环境下基于CACHE的数据处理系统的另一种实施例。参照图2，该数据处理系统包括应用服务器1-200和应用服务器2-204，每台应用服务器分别具有各自的客户端，即，应用服务器1具有客户端1-202，以及应用服务器2具有客户端2-206，并且客户端通过CACHE服务器208读取CACHE数据210，并且更新数据将CACHE数据210和数据源212作同一事务处理，以使得CACHE中的数据处于最新状态。相比于图1中所示的数据处理系统，图2设置了专用的CACHE服务器208，通过CACHE服务器208来统一调取CACHE数据。然而，本领域的技术人员不难看出，该数据处理系统对于CACHE数据的更新以及列表类数据的CACHE处理存在诸多缺陷。具体来说，将CACHE数据210与数据源212的数据统一更新，并将其放置于同一个事务中，对于高并发的系统非常容易导致CACHE数据210成为瓶颈。此外，该数据处理系统对于列表类数据的CACHE无能为力，例如一个二十条的数据列表作为一个CACHE对象，只要其中有一条记录作了变化，则包含该条记录的整个CACHE对象就将失效，也就是说，一条记录的数据发生变化将直接导致其他的十九条记录变为CACHE未命中。显然，这样的处理方案极大地影响了CACHE的命中率。

发明内容

针对现有技术中分布式环境下基于CACHE(高速缓冲存储器)的数据处理系统中存在的上述缺陷，本发明提供了一种改进的CACHE数据处理系统。该处理系统不仅提供了一个专门的CACHE数据存储中心以容纳海量的数据，而且还对数据源中的列表类数据的CACHE提供了专门的处理策略，从而极大地提高了CACHE的命中率并降低了CACHE失效的发生几率。

按照本发明的一个方面，提供了一种基于CACHE的数据处理系统，该系统至少具有：

CACHE客户端，用于接收应用服务器的数据请求，并将所述数据请求转发至分布式CACHE服务器；

分布式CACHE服务器，用于接收来自CACHE客户端的所述数据请求，在CACHE数据存储装置中查询CACHE数据；

CACHE数据存储装置，用于存储CACHE数据，当所述分布式CACHE服务器调取数据时，返回所需的CACHE数据；以及

数据源，用于保存数据，并且，当所述分布式CACHE服务器调取数据时，返回所需的CACHE数据。

其中，当CACHE列表类数据时，所述数据源获取访问数据的所有ID并发送至所述CACHE客户端。

其中，所述CACHE客户端首先向所述分布式CACHE服务器发送数据请求，如果CACHE命中，则直接返回数据；如果CACHE未命中，则转向所述数据源发送数据请求。进一步，当CACHE命中时，所述分布式CACHE服务器将来自所述CACHE数据存储装置中的数据发送给所述CACHE客户端；当CACHE未命中时，所述数据源将数据读出至所述CACHE客户端的同时，将所述数据存储至所述CACHE数据存储装置。

其中，当更新数据时，所述分布式CACHE服务器向所述CACHE数据存储装置发送指令，指示该数据失效。此外，所述CACHE数据存储装置中的数据失效时，更新后的数据只存储至所述数据源。

按照本发明的另一个方面，提供了一种基于CACHE的数据处理方法，该方法包括：

客户端接收来自应用服务器的数据请求，并转发至分布式CACHE服务器；

分布式CACHE服务器在CACHE数据存储装置中查询数据，若CACHE命中，则将数据返回至所述客户端；以及

若CACHE未命中，则所述客户端向数据源发送数据请求，所述数据源向所述客户端返回数据，并将数据同时存入所述CACHE数据存储装置。

其中，客户端首先向分布式CACHE服务器发送数据请求，只有在CACHE未命中时才转向数据源发送数据请求。

其中，CACHE命中时，所述CACHE数据存储装置将CACHE数据返回至所述分布式CACHE服务器。

其中，对列表数据CACHE还包括：从所述数据源中取得所有ID，并遍历每个ID；以ID为主键到相应的分布式CACHE服务器检索数据；判断CACHE是否命中，如命中将ID指示的值从CACHE取出至数据集合，如未命中将未命中ID加入到未命中列表；检测是否遍历完所有ID，并判断未命中列表是否为空；若未命中列表不为空，则通过存于所述未命中列表的未命中ID在所述数据源中搜索与该未命中ID对应的值；以及将在所述数据源中搜索到的对应值与从CACHE中取出的值合并，获取最终的数据集合。

其中，当所述CACHE服务器重启并清空数据后，从所述数据源中重载数据。

采用本发明基于CACHE的数据处理系统及其方法，不仅配置有独立的CACHE数据存储装置以便迅捷地将海量的CACHE数据分布到多台CACHE数据中心，而且为CACHE列表类数据提供了优化的算法，大大提高了CACHE命中率。此外，在更新CACHE数据时无需加锁，而是将CACHE中更新前的数据失效，通过牺牲一次更新数据的代价而极大地提高了系统的并发能力。因为传统的CACHE在更新时由于需要同时将更新后的数据写入CACHE并进行一系列的同步措施，导致系统性能低下。另外，本发明的数据处理系统中的CACHE数据是实时更新的。

附图说明

读者在参照附图阅读了本发明的具体实施方式以后，将会更清楚地了解本发明的各个方面。其中，

图1示出了现有技术中分布式环境下基于CACHE的数据处理系统的一种实施例；

图2示出了现有技术中分布式环境下基于CACHE的数据处理系统的另一种实施例；

图3示出了本发明基于CACHE的数据处理系统的原理框图；

图4示出了如图3所示的数据处理系统用于处理列表类数据CACHE的方法流程图；以及

图5示出了本发明的数据处理系统的结构组成框图。

具体实施方式

下面参照附图，对本发明的具体实施方式作进一步的详细描述。

针对图1和图2中分布式环境下基于CACHE的数据处理系统在使用时所存在的上述技术缺陷，图3示出了本发明的数据处理系统的原理框图。该数据处理系统不仅提供了专门的CACHE数据存储中心以便扩充CACHE的数据容量，而且对于列表类数据CACHE对于CACHE命中率的影响作了专门的有效处理。如图3所示，该系统主要包括：应用服务器1-300、CACHE客户端1-302、应用服务器2-304、CACHE客户端2-306、分布式CACHE服务器308、CACHE数据存储中心312以及数据源310。同样，本系统只是示例性地描述了具有两台应用服务器的情形，但是其发明目的并不仅仅局限于只有两台应用服务器。在图3的原理框图中重点描述了单条数据CACHE的处理流程，而对于列表类数据的CACHE处理将在后文中以方法流程图的形式加以突出介绍。

下面结合图3来描述单条数据CACHE的处理流程。以应用服务器1为例，首先，应用服务器1向安装在其上的CACHE客户端1发送读取数据的请求，该CACHE客户端接收该读取数据的请求并向分布式CACHE服务器308请求数据。更加详细地，这里的应用服务器1和应用服务器2均是应用系统，而其上的CACHE客户端1和CACHE客户端2均是CACHE客户端系统，并且由该应用系统向CACHE的客户端请求数据。如果CACHE命中，则该分布式CACHE服务器308向CACHE数据存储中心312发送调取数据的请求，并由CACHE数据存储中心312向分布式CACHE服务器308返回数据；如果CACHE未命中，则CACHE客户端1转而向数据源310请求数据，当从数据源310读出数据时，分布式CACHE服务器308也将来自数据源310的该读出数据存入CACHE数据存储中心312，待下次访问时即可命中CACHE并通过分布式CACHE服务器获取数据，图3中介于CACHE客户端1/CACHE客户端2与数据源310之间的两条虚线就表示CACHE未命中而直接从数据源310返回读写数据的情形。

当更新单条数据时，客户端经由分布式CACHE服务器308向CACHE数据存储中心312发送指令，以指示该单条数据失效，并且不更新该单条数据至CACHE数据存储中心312。相比之下，传统的CACHE在更新时由于需要同时将更新后的数据写入CACHE并进行一系列的同步措施，导致系统性能低下。然而，本发明的数据处理系统只是将更新后的单条数据存入数据源310即可，也就是说，当CACHE客户端1或CACHE客户端2读取数据时，如果CACHE未命中，则该CACHE客户端直接向数据源310请求读取数据；而更新单条数据时，将其直接更新至数据源310并指明CACHE失效。

图4示出了如图3所示的数据处理系统用于处理列表类数据CACHE的方法流程图。该方法包括步骤：

步骤400：从数据源中取得所有ID，也就是说，将所需访问的数据内容所对应的ID从数据源中取出，并且由该ID唯一标识需要访问的数据；

步骤402：遍历每一个ID；

步骤404：以ID为主键到相关的分布式CACHE服务器中检索数据；

步骤406：判断CACHE是否命中，如命中，则转至步骤410；如果未命中，则转至步骤408；

步骤408：将未命中ID加入到未命中列表中；

步骤410：将主键ID指示的值从CACHE取出至LIST，在该LIST中含有所有命中的指示值，并且由LIST指示需要返回的一个数据集合；

步骤412：检测是否遍历完所有的ID，如果没有，则返回步骤402重新检索；若遍历完，则转至步骤414；

步骤414：判断未命中列表是否为空，如果在未命中列表中仍有未命中ID，则转至步骤416；如果未命中列表为空则直接返回；

步骤416：当未命中列表中有未命中ID时，直接在数据源中搜索与该ID相对应的值，这里，相对应的值也可以理解为以该ID为标识所指示的数据；

步骤418：将从数据源中搜索到的与未命中ID对应的值和步骤410中从CACHE取出的指示值相合并，以获取最终的LIST，这里，最终的LIST是指用户请求的数据集合，该集合的最终数据可能由CACHE中的读取数据与数据源中的读取数据合并而成。

从上述步骤可以知晓，本发明的数据处理系统对于列表类数据进行CACHE处理时，以列表数据的ID为主键在相关的分布式CACHE服务器中检索数据，如果CACHE命中，则将该ID主键指示的值从CACHE中取出；如果CACHE未命中，则直接从数据源中进行搜索。这样一来，由于一个或几个ID所对应的数据内容发生变化时，并不当然导致整个列表数据的CACHE失效，也就是说，并不会导致整个列表数据的CACHE未命中。显然，这种处理方案相对于图2所示的解决方案更加能够提高CACHE的命中率，改善系统性能。

图5示出了本发明的数据处理系统的结构组成框图。参照图5，该系统至少包括：CACHE客户端装置500、分布式CACHE服务器装置504、CACHE数据存储装置506以及数据源502。结合图3和图5可以看出，本发明的数据处理系统在读写数据时，首先由CACHE客户端装置500向分布式CACHE服务器装置504发送数据请求，如果CACHE命中，则分布式CACHE服务器装置504从CACHE数据存储装置506中调取数据并直接返回给CACHE客户端装置500；如果CACHE未命中，则CACHE客户端装置500直接从数据源502中调取数据并返回。进一步，从各自所实现功能的角度对上述装置简要描述为：

分布式CACHE服务器装置504，接收来自CACHE客户端装置500的数据请求，并在CACHE数据存储装置506中查询CACHE数据，并返回所请求的数据至CACHE客户端装置500；

CACHE客户端装置500，用于接收应用服务器的数据请求，将该数据请求转发至分布式CACHE服务器装置504，通过分布式CACHE服务器装置504来读取数据，并且通过算法决定从CACHE服务器装置504读取数据的策略；

数据源502，其通常体现为数据库的形式，用于存储数据，配合CACHE的算法，以及进行某些复杂的关联和条件算法的计算。其中，分布式CACHE服务器装置504在重启之后，清空数据后的数据重载均从数据源502装载；当CACHE列表类数据时，也需要通过数据源来首先获取调取数据的所有ID；以及

CACHE数据存储装置506，用于保存需要CACHE的数据，当接收到来自分布式CACHE服务器装置504的数据请求后，向其返回CACHE数据。

在结合附图和上述具体实施方式后，本发明基于CACHE的数据处理系统相对于现有技术来说，不仅配置有独立的CACHE数据存储装置以便迅捷地将海量的CACHE数据分布到多个CACHE客户端，而且为CACHE列表类数据提供了优化的算法，大大提高了CACHE命中率。此外，在更新CACHE数据时无需加锁，而是将CACHE中更新前的数据失效，通过牺牲一次更新数据的代价而极大地提高了系统的并发能力。毕竟，传统的CACHE在更新时由于需要同时将更新后的数据写入CACHE并进行一系列的同步措施，导致系统性能低下。

上文中，参照附图描述了本发明的具体实施方式。但是，本领域中的普通技术人员能够理解，在不偏离本发明的精神和范围的情况下，还可以对本发明的具体实施方式作各种变更和替换。这些变更和替换都落在本发明权利要求书所限定的范围内。

Claims (10)

1.一种基于CACHE的数据处理系统，其特征在于，该系统至少具有：

CACHE客户端，用于接收应用服务器的数据请求，并将所述数据请求转发至分布式CACHE服务器；

分布式CACHE服务器，用于接收来自CACHE客户端的所述数据请求，在CACHE数据存储装置中查询CACHE数据；

CACHE数据存储装置，用于存储CACHE数据，当所述分布式CACHE服务器调取数据时，返回所需的CACHE数据；以及

数据源，用于保存数据，并且当CACHE未命中时，接收所述CACHE客户端发送的数据请求，

其中，所述CACHE数据存储装置中的数据失效时，更新后的数据只存储至所述数据源。

2.如权利要求1所述的系统，其特征在于，当CACHE列表类数据时，所述数据源获取访问数据的所有ID并发送至所述CACHE客户端。

3.如权利要求1所述的系统，其特征在于，所述CACHE客户端首先向所述分布式CACHE服务器发送数据请求，如果CACHE命中，则直接返回数据；如果CACHE未命中，则转向所述数据源发送数据请求。

4.如权利要求3所述的系统，其特征在于，当CACHE命中时，所述分布式CACHE服务器将来自所述CACHE数据存储装置中的数据发送给所述CACHE客户端。

5.如权利要求3所述的系统，其特征在于，当CACHE未命中时，所述数据源将数据读出至所述CACHE客户端的同时，将所述数据存储至所述CACHE数据存储装置。

6.如权利要求1所述的系统，其特征在于，当更新数据时，所述分布式CACHE服务器向所述CACHE数据存储装置发送指令，指示该数据失效。

7.如权利要求2至6中任意一项所述的系统，其特征在于，所述数据是单条数据。

8.一种基于CACHE的数据处理方法，其特征在于，该方法包括：

CACHE客户端接收来自应用服务器的数据请求，并转发至分布式CACHE服务器；

分布式CACHE服务器在CACHE数据存储装置中查询数据，若CACHE命中，则将数据返回至所述CACHE客户端；以及

若CACHE未命中，则所述CACHE客户端向数据源发送数据请求，所述数据源向所述CACHE客户端返回数据，并将数据同时存入所述CACHE数据存储装置，

其中，所述CACHE数据存储装置中的数据失效时，更新后的数据只存储至所述数据源。

9.如权利要求8所述的方法，其特征在于，当对列表数据CACHE时还包括：

从所述数据源中取得所有ID，并遍历每个ID；

以ID为主键到相应的分布式CACHE服务器检索数据；

判断CACHE是否命中，如命中将ID指示的值从分布式CACHE服务器中取出至数据集合，如未命中将未命中ID加入到未命中列表；

检测是否遍历完所有ID，并判断未命中列表是否为空；

若未命中列表不为空，则通过存于所述未命中列表的未命中ID在所述数据源中搜索与该未命中ID对应的值；以及

将在所述数据源中搜索到的对应值与从CACHE中取出的值合并，获取最终的数据集合。

10.如权利要求8所述的方法，其特征在于，当所述分布式CACHE服务器重启并清空数据后，从所述数据源中重载数据。

Images