CN106055640A - 缓存的管理方法及系统 - Google Patents

Abstract

本发明公开了一种缓存的管理方法及系统。所述方法包括：在缓存中预存有用于指示上层应用程序读取数据表中各数据的标记信息；其中，所述标记信息用于指示存放于所述数据表内的数据和数据所属分组的分组信息；当所述数据表中的数据发生变更时，获取存放位置发生变化的数据的分组信息；将所述获取的分组信息所指示的分组中的各数据设置为无效数据，并重新为所述获取的分组信息所指示的分组中的各数据设置分组信息和相应的标记信息。本发明实现了对缓存的灵活配置。

Description

缓存的管理方法及系统

技术领域

本发明涉及计算机的数据处理技术，特别涉及缓存的管理方法及系统。

背景技术

随着互联网的飞速发展及普及，越来越多的人们感受到网络的巨大影响力后，上网的人越来越多，网上的信息量也越来越多。在这种情况下，应用服务器需要支撑的并发量越来越多，应用服务器和数据库服务器所做的计算也越来越多。

为了提高应用服务器对用户端的响应，应用服务器的缓存中存放有数据表中各数据的存放信息。利用缓存与处理器之间的高速通道，应用服务器能够快速得到数据库中的数据。当数据库中的数据发生插入/删除时，受插入和删除操作影响，插入/删除后数据库中数据的存放位置可能会发生变化。

目前的做法是，在插入和删除数据后，遍历所有数据，并更新缓存对应的存放信息。这种缓存的管理机制僵硬，更新量大，限制了应用服务器的性能。

发明内容

本发明的目的在于提供一种缓存的管理方法及系统，用于解决现有技术中的缓存管理机制不灵活的问题。

为解决上述技术问题，本发明的实施方式提供了一种缓存的管理方法，包含：在缓存中预存有用于指示上层应用程序读取数据表中各数据的标记信息；其中，所述标记信息用于指示存放于所述数据表内的数据和数据所属分组的分组信息；当所述数据表中的数据发生变更时，获取存放位置发生变化的数据的分组信息；将所述获取的分组信息所指示的分组中的各数据设置为无效数据，并重新为所述获取的分组信息所指示的分组中的各数据设置分组信息和相应的标记信息。

本发明又一实施方式提供一种缓存的管理系统，包含：缓存单元，用于在缓存中预存有用于指示上层应用程序读取数据表中各数据的标记信息；其中，所述标记信息用于指示存放于所述数据表内的数据和数据所属分组的分组信息；分组信息获取单元，用于当所述数据表中的数据发生变更时，获取存放位置发生变化的数据的分组信息；重新分组单元，用于将所述获取的分组信息所指示的分组中的各数据设置为无效数据，并重新为所述获取的分组信息所指示的分组中的各数据设置分组信息和相应的标记信息。

本发明实施方式相对于现有技术而言，通过对数据表中的数据进行分组，并按照分组对各数据设置标记信息，实现了当数据表中数据变更期间，按分组管理缓存，实现了对缓存的灵活配置。

另外，存放于所述数据表内的数据和数据所属分组的分组信息封装为一个封装对象，所述标记信息通过指向所述封装对象，指示存放于所述数据表内的数据和数据所属分组的分组信息。

另外，在数据变更期间将数据所在分组标记为无效分组，方便对数据和标记信息的管理。

另外，当上层应用程序读取无效分组中的数据时，反馈数据无效信息，有效防止了上层应用程序读取错误数据而造成的程序紊乱。

另外，将标记信息保存在多级缓存中，有利于提高服务端的响应效率。

附图说明

图1是本发明实施方式中的一种缓存的管理方法的流程图；

图2是本发明实施方式中的一种缓存的管理系统结构示意图；

图3是本发明实施方式中的另一种缓存的管理系统结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请各权利要求所要求保护的技术方案。

如图1所示，本发明的第一实施方式涉及一种缓存的管理方法。所述管理方法由安装在服务端的软件和硬件来执行。所述服务端包括但不限于：单台服务器、服务器集群等。所述服务端与数据库连接，在数据库中的数据发生变更时，灵活调整缓存中的标记信息。

步骤S110、在缓存中预存有用于指示上层应用程序读取数据表中各数据的标记信息；其中，所述标记信息用于指示存放于所述数据表内的数据和数据所属分组的分组信息。

具体地，服务端在执行上层应用程序时，利用存储在缓存中各标记信息从数据表中读取数据。所述标记信息包含用于指示数据表中各数据在数据库中的存放地址的指针。

其中，数据表中的数据按照预设数量、或数据类型等方式进行了分组。每组数据设置一分组信息。

为了便于管理各分组，一种可选方案中，将存放于所述数据表内的数据和数据所属分组的分组信息封装为一个封装对象，所述标记信息通过指向所述封装对象，指示存放于所述数据表内的数据和数据所属分组的分组信息。

在此，本实施例可按照分组将属于同一分组的数据及分组信息封装在一个封装对象中。例如，一个封装对象中包含两个参数，一个是分组信息，另一个存放于数据表内的数据value。所述标记信息保存各封装对象、或各封装对象的接口。上层应用程序利用所述标记信息获取封装对象，进而获取到封装对象中的数据。

步骤S120、当所述数据表中的数据发生变更时，获取存放位置发生变化的数据的分组信息。

在此，按照数据表的存储方式，当数据表中的数据发生变更时，数据表中的至少部分数据的存放位置会发生变化。例如，若数据表以队列方式存放各数据，当数据表的最后新增一新数据时，该数据表从开始位置至最后位置的数据存放位置都将发生变化。

针对不同的变更方式，步骤S120具体包括：步骤S121、S122。

步骤S121、识别对所述数据表执行的数据操作类型。

步骤S122、根据对所述数据表执行的数据操作类型，获取存放信息发生变化的数据的分组信息；其中，所述执行的数据操作类型为插入或删除操作。

在此，本实施例可以通过分析操作数据的数据库语句来识别对所述数据表执行的数据操作类型。例如，数据库语句中包含“create”字样，则确定为增加操作类型。

接着，根据所识别的数据操作类型，确定数据表中存放位置发生变化的数据，并得到包含这些数据的分组信息。

例如，所述数据表中包含54个数据，54个数据按照每10个一组的规则被分成6个组。当识别到在数据表的尾部添加一新的数据时，确定所述数据表中的所有数据的存放位置均发生变化，则获取所有分组信息。

步骤S130、将所述获取的分组信息所指示的分组中的各数据设置为无效数据，并重新为所述获取的分组信息所指示的分组中的各数据设置分组信息和相应的标记信息。

具体地，在所述数据表中的各数据的存储位置尚未调整完之前，将所获取的分组信息所指示的分组中的各数据设置为无效数据。接着，在添加/删除了数据之后的数据表中的各数据重新确定存储位置之后，重新为所述获取的分组信息所指示的分组中的各数据设置分组信息和相应的标记信息。

例如，数据表中各数据的位置为a1、a2、…、an。当在数据表的a2位置之后的a3位置添加一新数据时，将新数据插入数据表中a3位置，并将原a3-an位置的数据顺沿。在上述调整期间，获取原a3-an位置的数据所在分组的分组信息，并设定所在各分组中的所有数据为无效数据。当数据表中添加了新数据之后，重新为各数据调配了存放位置a1、a2、a3、b1、b2、…、bm，如此得到新的数据表。再按照预设的分组方式，将新的数据表中的数据进行分组，并设置分组信息及相应的标记信息。

一种可选方式为，为了便于管理、以及防止上层应用程序对无效数据的读取操作，所述步骤S130包括步骤S131、S132。

步骤S131、将所述获取的分组信息标记为无效分组。

步骤S132、保存标记为无效分组的分组信息。

例如，当确定分组信息为F2和F3中的数据发生变更时，将分组信息F2和F3标记为无效分组，并保存F2和F3。其中，标记为无效分组的方式可以是在分组信息的字段中设置标志位。或者在封装对象中设置用于标识分组信息为无效分组的标志字符。

在重新对数据表分组之前，所述方法还包括步骤S140、S141、S142。(均未予图示)

步骤S140、当接收到来自上层应用程序的包含标记信息的读取指令时，根据所述读取指令中标记信息，获取该标记信息所指向的封装对象。

步骤S141、如果所述标记信息所指向的封装对象内的分组信息，为标记为无效分组的分组信息，则向所述上层应用程序反馈数据无效信息；

步骤S142、如果所述标记信息所指向的封装对象内的分组信息，不是标记为无效分组的分组信息，则将该标记信息所指向的封装对象内的数据。

具体地，当上层应用程序发送一包含标记信息的读取指令时，判断标记信息所指向的封装对象内的分组信息是否标记为无效分组，若是，则向所述上层应用程序反馈数据无效信息，反之，则将该标记信息所指向的封装对象内的数据。其中，所述标记信息中包含了封装对象中的分组信息和所要读取的数据存放位置。所述数据无效信息可以为空值、或用于表示数据无效的标志字符。

在上述各实施例的基础上，为了提高数据读取的效率，在重新分配分组信息并保存对应的标记信息时，所述标记信息采用多级缓存的方式进行保存。其中，所述管理方法可根据服务端的资源分配机制而分配各标记信息在缓存中的级别。一种可选方案为，所述管理方法还包括：步骤S151、S152(均未予图示)。

步骤S151、统计所述数据表内的各数据的读取频率。

步骤S152、根据所述统计的读取频率，将各数据的所述标记信息保存在多级缓存中。

在此，在变更数据表之前，服务端还统计所述数据表内各数据的读取频率，并按照统计的读取频率，在更新数据表时、或定时的将各数据的标记信息保存在多级缓存中。如此，对应读取频率高的数据，将能够提供更快的响应。

如图2所示，本发明的第二实施方式涉及一种缓存的管理系统。所述管理系统包含安装在服务端的软件和硬件。所述服务端包括但不限于：单台服务器、服务器集群等。所述服务端与数据库连接，在数据库中的数据发生变更时，灵活调整缓存中的标记信息。所述管理系统1包括：缓存单元11、分组信息获取单元12、重新分组单元13。其中，上述各单元包括服务端中的CPU、缓存等硬件，并按照管理程序的时序指示实现各自功能。

所述缓存单元11用于在缓存中预存有用于指示上层应用程序读取数据表中各数据的标记信息；其中，所述标记信息用于指示存放于所述数据表内的数据和数据所属分组的分组信息。

具体地，服务端在执行上层应用程序时，所述缓存单元11利用存储在缓存中各标记信息，从数据表中读取数据。所述标记信息包含用于指示数据表中各数据在数据库中的存放地址的指针。

其中，数据表中的数据按照预设数量、或数据类型等方式进行了分组。每组数据设置一分组信息。

为了便于管理各分组，一种可选方案中，当数据表存在缓存中时，所述缓存单元11将存放于所述数据表内的数据和数据所属分组的分组信息封装为一个封装对象，所述标记信息通过指向所述封装对象，指示存放于所述数据表内的数据和数据所属分组的分组信息。

在此，本实施例可按照分组将属于同一分组的数据及分组信息封装在一个封装对象中。例如，一个封装对象中包含两个参数，一个是分组信息，另一个存放于数据表内的数据value。所述标记信息保存各封装对象、或各封装对象的接口。上层应用程序利用所述标记信息获取封装对象，进而获取到封装对象中的数据。

分组信息获取单元12用于当所述数据表中的数据发生变更时，获取存放位置发生变化的数据的分组信息。

在此，按照数据表的存储方式，当数据表中的数据发生变更时，数据表中的至少部分数据的存放位置会发生变化。例如，若数据表以队列方式存放各数据，当数据表的中间插入一新数据时，所述数据表中从插入新数据的位置开始直至队尾数据的存放位置都发生了变化。

在此，本实施例中，所述分组信息获取单元12可以通过分析操作数据的数据库语句来识别对所述数据表执行的数据操作类型。例如，数据库语句中包含“create”字样，则所述分组信息获取单元12确定为增加操作类型。

接着，所述分组信息获取单元12根据所识别的数据操作类型，确定数据表中存放位置发生变化的数据，并得到包含这些数据的分组信息。

重新分组单元13用于将所述获取的分组信息所指示的分组中的各数据设置为无效数据，并重新为所述获取的分组信息所指示的分组中的各数据设置分组信息和相应的标记信息。

具体地，在所述数据表中的各数据的存储位置尚未调整完之前，所述重新分组单元13将所获取的分组信息所指示的分组中的各数据设置为无效数据。接着，所述重新分组单元13在添加/删除了数据之后的数据表中的各数据重新确定存储位置之后，重新为所述获取的分组信息所指示的分组中的各数据设置分组信息和相应的标记信息。

例如，数据表中各数据的位置为a1、a2、…、an。当所述缓存单元在数据表的a2位置之后的a3位置添加一新数据时，将新数据插入数据表中a3位置，并将原a3-an位置的数据顺沿。在上述调整期间，所述分组信息获取单元获取原a3-an位置的数据所在分组的分组信息，并设定所在各分组中的所有数据为无效数据。当数据表中添加了新数据之后，所述重新分组单元重新为各数据调配了存放位置a1、a2、a3、b1、b2、…、bm，如此得到新的数据表。再按照预设的分组方式，将新的数据表中的数据进行分组，并设置分组信息及相应的标记信息。

一种可选方式为，为了便于管理、以及防止上层应用程序对无效数据的读取操作，所述重新分组单元13用于将所述获取的分组信息标记为无效分组；以及用于保存标记为无效分组的分组信息。

例如，当确定分组信息为F2和F3中的数据发生变更时，所述重新分组单元将分组信息F2和F3标记为无效分组，并保存F2和F3。其中，标记为无效分组的方式可以是在分组信息的字段中设置标志位。或者在封装对象中设置用于标识分组信息为无效分组的标志字符。

在重新对数据表分组之前，所述管理系统1还包括：读取单元(未予图示)。

所述读取单元当接收到来自上层应用程序的包含标记信息的读取指令时，根据所述读取指令中标记信息，获取该标记信息所指向的封装对象；如果所述标记信息所指向的封装对象内的分组信息，为标记为无效分组的分组信息，则向所述上层应用程序反馈数据无效信息；如果所述标记信息所指向的封装对象内的分组信息，不是标记为无效分组的分组信息，则将该标记信息所指向的封装对象内的数据。

具体地，当上层应用程序发送一包含标记信息的读取指令时，所述读取单元判断标记信息所指向的封装对象内的分组信息是否标记为无效分组，若是，则向所述上层应用程序反馈数据无效信息，反之，则将该标记信息所指向的封装对象内的数据。其中，所述标记信息中包含了封装对象中的分组信息和所要读取的数据存放位置。所述数据无效信息可以为空值、或用于表示数据无效的标志字符。

在上述各实施例的基础上，为了提高数据读取的效率，在重新分配分组信息并保存对应的标记信息时，所述标记信息采用多级缓存的方式进行保存。其中，所述管理方法可根据服务端的资源分配机制而分配各标记信息在缓存中的级别。一种可选方案为，所述重新分组单元13还统计所述数据表内的各数据的读取频率；以及根据所述统计的读取频率，将各数据的所述标记信息保存在多级缓存中。

在此，在变更数据表之前，服务端还统计所述数据表内各数据的读取频率，所述重新分组单元13按照统计的读取频率，在更新数据表时、或定时的将各数据的标记信息保存在多级缓存中。如此，对应读取频率高的数据，将能够提供更快的响应。

如图3所示，本发明的第三实施例是基于第二实施方式中的各示例基础上的管理系统的工作过程举例。

缓存中保存有数据表及用于指示上层应用程序读取数据表中各数据的标记信息。当处理器基于数据增加操作向数据表中增加一新数据时，处理器更改数据表中所有数据的存储位置，此时，处理器将各数据所在分组设为无效分组，并当处理器基于网卡所提供的指令产生包含标记信息的读取指令时，判断该标记信息中的分组信息为无效分组，则反馈数据无效信息。在处理器无需处理上层应用程序的空闲时段，处理器将新数据添加到数据表中，并重新分组，将重新分组后的各分组信息标记为有效。

值得一提的是，本实施方式中所涉及到的各模块和单元均为逻辑模块和逻辑单元，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单元。

本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (10)

1.一种缓存的管理方法，其特征在于，包含：

在缓存中预存有用于指示上层应用程序读取数据表中各数据的标记信息；其中，所述标记信息用于指示存放于所述数据表内的数据和数据所属分组的分组信息；

当所述数据表中的数据发生变更时，获取存放位置发生变化的数据的分组信息；

将所获取的分组信息所指示的分组中的各数据设置为无效数据，并重新为所获取的分组信息所指示的分组中的各数据设置分组信息和相应的标记信息。

2.根据权利要求1所述的缓存的管理方法，其特征在于，所述存放于所述数据表内的数据和数据所属分组的分组信息封装为一个封装对象，所述标记信息通过指向所述封装对象，指示存放于所述数据表内的数据和数据所属分组的分组信息。

3.根据权利要求2所述的缓存的管理方法，其特征在于，将所获取的分组信息所指示的分组中的各数据设置为无效数据中，具体包括：

将所述获取的分组信息标记为无效分组；

保存标记为无效分组的分组信息。

4.根据权利要求3所述的缓存的管理方法，其特征在于，在缓存中预存所述标记信息后，还包括：

当接收到来自上层应用程序的包含标记信息的读取指令时，根据所述读取指令中标记信息，获取该标记信息所指向的封装对象；

如果所述标记信息所指向的封装对象内的分组信息，为标记为无效分组的分组信息，则向所述上层应用程序反馈数据无效信息；

如果所述标记信息所指向的封装对象内的分组信息，不是标记为无效分组的分组信息，则将该标记信息所指向的封装对象内的数据。

5.根据权利要求1所述的缓存的管理方法，其特征在于，所述获取存放信息发生变化的数据的分组信息中，具体包括：

识别对所述数据表执行的数据操作类型；

根据对所述数据表执行的数据操作类型，获取存放信息发生变化的数据的分组信息；其中，所述执行的数据操作类型为插入或删除操作。

6.根据权利要求1至5中任一项所述的缓存的管理方法，其特征在于，用于指示所述数据表内的各数据的标记信息，保存在多级缓存中。

7.根据权利要求6所述的缓存的管理方法，其特征在于，在缓存中预存所述标记信息的步骤中，具体包括：

统计所述数据表内的各数据的读取频率；

根据所述统计的读取频率，将各数据的所述标记信息保存在多级缓存中。

8.一种缓存的管理系统，其特征在于，包含：

缓存单元，用于在缓存中预存有用于指示上层应用程序读取数据表中各数据的标记信息；其中，所述标记信息用于指示存放于所述数据表内的数据和数据所属分组的分组信息；

分组信息获取单元，用于当所述数据表中的数据发生变更时，获取存放位置发生变化的数据的分组信息；

重新分组单元，用于将所述获取的分组信息所指示的分组中的各数据设置为无效数据，并重新为所述获取的分组信息所指示的分组中的各数据设置分组信息和相应的标记信息。

9.根据权利要求8所述的缓存的管理系统，其特征在于，所述缓存单元中存放于所述数据表内的数据和数据所属分组的分组信息封装为一个封装对象，所述标记信息通过指向所述封装对象，指示存放于所述数据表内的数据和数据所属分组的分组信息。

10.根据权利要求9所述的缓存的管理系统，其特征在于，所述重新分组单元用于将所述获取的分组信息标记为无效分组；以及用于保存标记为无效分组的分组信息。