CN102096676A - 数据更新及查询控制方法及系统 - Google Patents

Abstract

本发明提供了一种数据更新及查询控制方法及系统，其中，该方法包括：内存区将接收的更新数据归并到两个硬盘区中的任意一个，以及在归并完成后清空自身存储的更新数据；在接收到查询请求时，将两个硬盘区中未执行归并操作的硬盘区的数据以及内存区中至少一个内存区的数据返回数据查询方。本发明通过利用两个硬盘区分别执行更新数据的归并及查询实现将查询及更新操作分流，避免了现有技术中需要设置锁策略而导致的实时性及系统复杂性问题。

Description

数据更新及查询控制方法及系统

技术领域

本发明涉及数据存储领域，具体涉及一种数据更新及查询控制方法及系统。

背景技术

对于数据存储模块，保证系统的实时性和数据的准确性一直是比较关键的问题。现有业务中考虑到稳定性和数据准确性问题，很多系统都依赖于数据库严品。一般而言，一个系统单独的提供查询或者单独提供更新都不会存在太大问题，但如果某个单独的系统在查询并发量很大的情况下还要处理大量同步更新，那么就会出现查询实时性、更新即时性问题。同时，数据库针对通用性考虑的较多导致效率损失较大，且面对大量更新时磁盘随机I/O压力较大，随着数据规模的增长，已经难以满足应用对性能的要求。目前大多都采用升级硬件来提高性能，导致成本很高。此外，传统数据库为了保障数据查询的快速，对于新增的数据会采用直接保存到磁盘对应位置的方法，由于多是随机存储所以带来很高的磁盘I/O压力，为此程序在很多情况下不可能采用直接写盘的操作，基本都是通过系统级缓存来保存新更新的数据，最终由系统的磁盘调度策略来写盘。当系统断电、死机就难以避免的会产生最新的某些数据丢失，最终导致数据准确性受影响。再有这种大量的随机I/O也会影响系统的整体表现。

现有宽带服务开通的技术有如下不足：现有技术仅有一个内存区和一个磁盘区，由一个系统同时提供查询和更新，为了保障没有冲突，需设置查询和更新的锁策略导致难以实现实时查询及更新即时性问题，且系统复杂。

发明内容

本发明的第一目的是提出一种实时的数据更新及查询控制方法。

本发明的第二目的是提出一种实时的数据更新及查询控制系统。

为实现上述第一目的，本发明提供了一种数据更新及查询控制方法，包括：内存区将接收的更新数据归并到两个硬盘区中的任意一个，以及在归并完成后清空自身存储的更新数据；在接收到查询请求时，将两个硬盘区中未执行归并操作的硬盘区的数据以及内存区中至少一个内存区的数据返回数据查询方。

为实现上述第二目的，本发明提供了一种数据更新及查询控制系统，包括：内存区，用于接收更新数据；两个硬盘区，用于分别执行存储内存区中任一个的更新数据的操作，以及将自身的数据返回至数据查询方的操作；控制模块，用于控制内存区将自身存储的数据归并到两个硬盘区中的任意一个；在归并完成后，清空内存区中执行归并操作的内存区；控制两个硬盘区中未执行归并操作的硬盘区以及内存区中至少一个内存区将数据返回至数据查询方。

本发明各个实施例中，通过利用两个硬盘区分别执行更新数据的归并及查询实现将查询及更新操作分流，避免了现有技术中需要设置锁策略而导致的实时性及系统复杂性问题。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一并用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明的数据更新及查询控制方法的实施例一流程图；

图2为本发明的数据更新及查询控制方法的实施例二示意图；

图3为本发明的数据更新及查询控制系统中哈希(Hash)模块的实施例示意图；

图4为本发明的数据更新及查询控制系统的实施例结构图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

方法实施例

图1为本发明的数据更新及查询控制方法的实施例一流程图。如图1所示，本实施例包括：

步骤S102：内存区接收更新数据；具体操作过程参见图2中第一及第二阶段的解释说明；

步骤S104：内存区将接收的更新数据归并到两个硬盘区中的任意一个，以及在归并完成后清空自身存储的数据；具体操作过程参见图2中第二及第三阶段的解释说明；

步骤S106：在接收到查询请求时，将两个硬盘区中未执行归并操作的硬盘区的数据以及内存区中至少一个内存区的数据返回数据查询方；具体操作过程参见图2中第一至第四阶段的解释说明。

本实施例通过利用两个硬盘区分别执行更新数据的归并及查询实现将查询及更新操作分流，避免了现有技术中需要设置锁策略而导致的实时性及系统复杂性问题。

图2为本发明的数据更新及查询控制方法的实施例二流程图，其中，内存区1、2以及硬盘区1、2的结构以及位置关系参见图4的解释说明。以下主要将以在执行过程中的各阶段的更新与查询操作进行解释说明。如图2所示，本实施例包括以下几个阶段：

第一阶段：如图2中的上图所示，内存区1、2(即第一内存区及第二内存区)中无数据，则由内存区1首先接收更新数据，当有用户查询时，若硬盘区1(对应于第二硬盘区)及硬盘区2(对应于第一硬盘区)中的数据相同，将内存区1和硬盘区1的链表数据做一个合并返回给用户；

具体操作时，也可以将硬盘区2和内存区1的链表数据做一个合并返回给用户；若两个硬盘区的数据不同，可以将硬盘区1、2及内存区1的链表数据做一个合并返回给用户，但需要保证硬盘1及2均没有执行更新数据的归并动作，也就是说要保证每一时刻更新与查询操作由不同的硬盘区操作以实现分流；

第二阶段：如图2中的中图所示，首先在内存区1满或者预设的归并时间已到时，关闭对内存区1的更新，把更新的请求都放到内存区2，即由内存区2接收更新数据；其次，归并线程归并内存区1和硬盘区1的数据到硬盘区2；最后，在接收到查询请求时，将内存区1、内存区2、硬盘区1的数据合并返回给用户；

需要说明的是，具体操作时，也可以直接将内存区1的数据归并硬盘区1中；在用户查询时将内存区1、内存区2、硬盘区2的数据做一个合并返回给用户；也就是说，本发明的核心思想在于收到更新数据时直接更新内存，而非实时更新硬盘的数据，只有当某个内存满时，才将数据归并到硬盘中，这样就避免了在高并发查询时存在随机I/O更新带来的系统性能损失；具体归并到哪个硬盘可以根据实际需要而设置，只需要保证归并操作对应的硬盘和返回查询数据的硬盘不是同一硬盘即可，即保证更新数据与查询数据完全分流；

第三阶段：如图2中的下图所示，当内存区1和硬盘区1归并到硬盘区2结束时，则清空内存区1；此时，将从内存区2和硬盘区2中的数据返回给数据查询方；

具体操作时，第三阶段还可以包括：

在归并完成后或在清空内存区1后，把硬盘区2的数据拷贝给硬盘区1；这个步骤保证了硬盘区1与硬盘区2中的数据同步，也就是说在返回数据时，只要返回任何一个硬盘区中的数据即可，而无需返回两个硬盘区中最新被更新的硬盘数据，若无此步骤，则可以将归并完成后的硬盘设为执行数据查询的硬盘，相应的另一个硬盘作为更新操作，这样两个硬盘的功能切换满足查询与更新分流以及查询正确性的要求，故此步骤为一个优选的步骤；

优选地，还可以包括：在每次归并完成后都记录一个更新队列(被归并的全部更新数据称为一个更新队列)的时间点(即时间标识)；此时间点作为数据回放的标记，用于当程序异常终止导致内存数据丢失或死机断电带来的数据丢失时，通过程序启动时首先挂载磁盘数据，再回放硬盘区中的更新队列，并根据该时间点对应的更新请求恢复内存区中的数据，从而避免了内存数据丢失；相应地，此步骤需要各内存区按照先后顺序存储更新数据请求，从而保证硬盘区中也是按照先后顺序存储更新数据请求，这样，整个系统就不存在随机磁盘I/O问题，所有的I/O操作都是顺序的；

第四阶段：当内存区2满或者预设的归并时间已到，则停止内存区2的更新，把更新都发到内存区1；若保证硬盘区1与硬盘区2中的数据同步，则在用户查询数据时，将内存区1及硬盘区1中的数据返回至数据查询放，即回到第一阶段，依次循环执行。

此外，优选地，本实施例还可以包括在一内存区、第二内存区、第一硬盘区或第二硬盘区的使用率小于预设阈值时(也可以是图3或图4中的数据更新及查询控制系统空闲时)，归并整理一内存区、第二内存区、第一硬盘区或第二硬盘区的数据。此步骤通过定期来整理磁盘和数据，能保证提供每天24小时不间断服务，避免因数据增加、删除引起的磁盘碎片以及同类型数据存储分散而导致系统整体性能降低的缺陷。

本实施例通过利用两个硬盘区分别执行更新数据的归并及查询以将查询及更新操作分流，并利用两个内存区交替接收更新数据，以及只在某一内存区满时将更新数据归并到硬盘区，上述两个硬盘区及内存区不间断的实时接收更新数据并提供查询服务，提高系统性能以及增大数据承载量。优选地，通过把系统随机写I/O转化成为批量的顺序的磁盘写I/O操作以及回放数据更新队列恢复内存区，避免死机断电等带来的数据丢失，提高数据的准确性；并通过在空闲时对内存及硬盘区的数据整理可以提供每天24小时不间断运行。

系统实施例

图3为本发明的数据更新及查询控制系统中Hash模块的实施例示意图；图4为本发明的数据更新及查询控制系统的实施例结构图。上述图1、2方法发明的各个实施例均可以在图4结构图所示结构的系统中实现。以下结合图3及4进行解释说明。

如图4所示，该数据更新及查询控制系统(以下简称为系统)包括：内存区42，用于接收更新数据；两个硬盘区(即硬盘区1及硬盘区2)，用于分别执行存储内存区中任一个的更新数据的操作，以及将自身的数据返回至数据查询方的操作；控制模块46，用于控制内存区将自身存储的更新数据归并到两个硬盘区中的任意一个；在归并完成后，清空内存区中执行归并操作的内存区；控制两个硬盘区中未执行归并操作的硬盘区以及内存区中至少一个内存区将数据返回至数据查询方。其中，内存区1及内存区2属于内存区42；硬盘区1及硬盘区2属于硬盘区44。具体设置时可以优选为两个内存区，如内存区1及内存区2，当然，也可以根据实际需要设置多个内存区。

内存区42还可以包括：

Hash子模块421，用于保存主键(Key)的哈希表，其中，主键的内容根据业务设置，可以是手机号、身份证编码等；具体操作时，为了使这些主键定长和均匀分布，可以对主键做签名，作为这一份数据的主键，其中具体可以采用MD5信息摘要算法签名获得64位或者128位签名；哈希表中桶的大小(也就是每行所包括的数值个数)可以根据数据量由配置文件配置；新增加的key值由一个更新线程负责增加到Hash表中；

此模块通过保存主键到其数值这种类型的数据结构，可以保证通过一步计算就能直接定位到各内存区的key值，即通过主键找到其所有相关的数据的功能，进而在查询时通过主键来获取数据，如：需要保存用户的业务流水、用户的邮件、某个关键词的检索结果等时，则将这些应用数据以key到数值(value)的对应方式保存；Hash字典中每个key的类型是随意的，value的内容也是无具体类型的，可以保存文字、图片等；Hash字典中每个key后面的value都是处在新增、删除不断变化中；

掩码子模块422：用于表示数据是否被删除，其中每条数据在掩码表中占一位；当收到数据删除命令或更新命令时，直接更新掩码表对应的位而不是立即删除真实的磁盘区块；掩码表采用操作系统的内存磁盘映射技术实现，最大限度的节省磁盘空间；每个查询结果都要过一遍掩码表来确定数据是否已被删除；

标识(identification，简称ID)子模块423：用于保存数据更新及查询控制系统为每个数据分配的一个顺序号码；此ID对系统外部不可见，每条数据的ID号码都不相同，作为系统内部对数据的唯一标识；具体操作时，为了降低整个系统的复杂度，这个ID字典也可以采用Hash字典的方式保存；

缓存存储区(也可以称为缓存存储子模块)424：用于缓存访问频率较高的链表，避免查询磁盘带来的I/O操作；在内存存储空间一定的条件下淘汰策略有两个，一个是按照访问频率淘汰，还有一个是如果某个主键key的链表有更新则淘汰；

ID缓存存储区(也可以称为ID缓存存储子模块)425用于缓存被访问频率较高的数据文件；淘汰方式和高频链表缓存存储子模块424的淘汰策略一致。

硬盘区44还可以包括：

索引存储区(也可以称为索引存储子模块)441：用于为每个数据文件的ID和数据文件之间建立有对应关系的索引；由于每个数据可能大小不一，为了让系统高效并便于管理需要把多个数据文件打包成为2G大小；索引文件中保存每个数据在打包文件中的位置和大小；查询时，通过内部ID索引定位到数据文件位置；

变化数据存储区(也可以称为变化数据存储子模块)442，用于保存所有更新数据以及生成用于表征恢复两个内存区的更新数据的时间起始点的时间标识；具体操作时，变化数据存储区442还可以保存新增命令、删除命令、更新命令等。

具体地，该硬盘区1、2及内存区1、2保存的是内部ID的数值构成的链表，每个链表节点保存一个ID号，每个链表都属于某个主键key值。

根据上述各个模块的描述可知，数据更新及查询控制系统实现数据删除、更新及新增的流程可以概括为：当收到数据新增命令、删除命令或更新命令时，将新增命令、删除命令或更新命令保存入更新队列模块中；并在接收到删除命令或更新命令时，直接把掩码表内部数据ID对应的位置为删除，以及清除内部ID缓存区和链表缓存区；更新线程(属于上述控制模块46)给数据文件分配一个顺序增长的内部数据ID，并把内部数据ID保存到主键对应的链表尾部，以及将数据保存到索引存储区441。

数据查询的流程可以概括为：通过查询主键的key值计算MD5值，并用主键MD5值查询Hash表定位链表位置；判断链表缓存区是否已经存在缓存内容；若缓存区中无查询数据，则将硬盘区1或硬盘区2及内存区1或、和内存区2的数据合并，若有则直接获取缓存区中的查询数据；通过滤掩码表剔除被删除的内部数据ID；根据内部数据ID从索引存储区441读取文件数据；看缓存区是否有空间，有则保存到缓存区，为下一次查询提速；把最终的文件数据返回给数据查询方。此外，查询、更新分别监听两个不同的端口；查询采用多线程监听同一个端口，更新只有一个线程监听，这样避免了多线程同时更新的锁问题。

本实施例通过利用两个硬盘区1及2分别执行更新数据的归并及查询以将查询及更新操作分流，并利用单线程接收更新并记录更新队列来保障数据接收的快速稳定，以及在接收更新数据后直接修改内存而不修改磁盘数据区，磁盘数据区通过归并线程集中操作，上述两个硬盘区1、2及内存区1、2不间断的实时接收更新数据并提供查询服务，提高系统性能以及增大数据承载量及吞吐量。优选地，通过把系统随机写I/O转化成为批量的顺序的磁盘写I/O操作以及回放数据更新队列恢复内存区，避免死机断电等带来的数据丢失，提高数据的准确性；并通过在空闲时对内存及硬盘区的数据整理可以提供每天24小时不间断运行；同时抽象key-value-value的数据结构满足多种应用需求。

最后应说明的是：以上仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据更新及查询控制方法，其特征在于，包括以下步骤：

内存区将接收的更新数据归并到两个硬盘区中的任意一个，以及在归并完成后清空自身存储的更新数据；

在接收到查询请求时，将所述两个硬盘区中未执行归并操作的硬盘区的数据以及所述内存区中至少一个内存区的数据返回数据查询方。

2.根据权利要求1所述的数据更新及查询控制方法，其特征在于，所述内存区将接收的更新数据归并到两个硬盘区中的任意一个的步骤包括：

两个内存区相互交替接收更新数据，并在停止接收更新数据时将自身存储的更新数据归并到所述两个硬盘区中的任意一个。

3.根据权利要求2所述的数据更新及查询控制方法，其特征在于，所述两个内存区相互交替接收更新数据的步骤包括：

所述两个内存区中的一个内存区在存储空间满时或者到达预设的归并时间时，切换到另一内存区接收更新数据。

4.根据权利要求1至3中任一项所述的数据更新及查询控制方法，其特征在于：在所述在归并完成后清空自身存储的数据的步骤之后还包括：

将所述两个硬盘区中执行归并操作的硬盘区中的数据拷贝到未执行归并操作的硬盘区中。

5.根据权利要求4所述的数据更新及查询控制方法，其特征在于，所述在接收到查询请求时，将所述两个硬盘区中未执行归并操作的硬盘区的数据以及所述两个内存区中至少一个内存区的数据返回数据查询方的步骤包括：

在所述两个内存区中的第一内存区接收更新数据时，将所述未执行归并操作的硬盘区以及第一内存区的数据返回至所述数据查询方；

在所述两个内存区中的第二内存区接收更新数据且所述第一内存区未清空时，将所述未执行归并操作的硬盘区、第一内存区以及第二内存区的数据返回至所述数据查询方；

在所述第二内存区接收更新数据且所述第一内存区已清空时，将所述未执行归并操作的硬盘区以及第二内存区的数据返回至所述数据查询方。

6.根据上述权利要求2或3所述的数据更新及查询控制方法，其特征在于，还包括：

所述两个内存区均按先后顺序存储数据更新请求；

所述两个硬盘区中执行归并操作的硬盘区在归并完成后，生成用于表征恢复所述两个内存区的更新数据的时间起始点的时间标识。

7.根据上述权利要求2或3所述的数据更新及查询控制方法，其特征在于，还包括：

在所述两个内存区中任一个的使用率小于预设阈值时，归并整理使用率小于预设阈值的内存区；

在所述两个硬盘区中任一个的使用率小于预设阈值时，归并整理使用率小于预设阈值的硬盘区。

8.一种数据更新及查询控制系统，其特征在于，该系统包括：

内存区，用于接收更新数据；

两个硬盘区，用于分别执行存储所述内存区中任一个的更新数据的操作，以及将自身的数据返回至数据查询方的操作；

控制模块，用于控制所述内存区将自身存储的更新数据归并到所述两个硬盘区中的任意一个；在归并完成后，清空所述内存区中执行归并操作的内存区；控制所述两个硬盘区中未执行归并操作的硬盘区以及所述内存区中至少一个内存区将数据返回至所述数据查询方。

9.根据权利要求8所述的数据更新及查询控制系统，其特征在于，所述内存区的个数为两个，用于相互交替接收更新数据，并在停止接收更新数据时将自身存储的更新数据归并到所述两个硬盘区中的任意一个。

10.根据权利要求8或9所述的数据更新及查询控制系统，其特征在于，所述两个硬盘区均包括：

索引存储子模块，用于为每个数据文件的ID和数据文件之间建立对应关系的索引；

变化数据存储子模块，用于保存所有更新数据以及生成用于表征恢复所述两个内存区的更新数据的时间起始点的时间标识。

Images