CN102937957A - 数据访问的处理方法和装置及服务器 - Google Patents

Abstract

本发明提供一种数据访问的处理方法和装置及服务器，该方法包括：在将磁盘中的所有数据加载到内存的过程中，接收数据访问请求，数据访问请求包括访问数据的标识；若所有数据未全部从磁盘加载到内存，则查询定位表，判断访问数据的标识对应的访问数据是否加载到内存中；其中，定位表用于记录从磁盘加载到内存的数据的标识；若访问数据未加载到内存中，则将磁盘中与访问数据的标识对应的访问数据加载到内存，并从内存中对访问数据进行访问处理；根据访问数据的标识，更新定位表。

Description

数据访问的处理方法和装置及服务器

技术领域

本发明涉及计算机技术，尤其涉及一种数据访问的处理方法和装置及服务器。

背景技术

随着内存集成度与成本的下降，大内存系统越来越普遍；同时，单机节点处理能力的也在不断的提升。目前，单机需要处理的数据量也越来越大，单机内存数据库可以达到1TB的量级。

图1为现有技术中单机内存数据库启动或者重启时加载数据的原理示意图，如图1所示，当单机内存数据库启动或者重启时，需要等待所有的数据从磁盘加载到内存后，才可以进行访问处理。但是，受限于磁盘子系统的输入/输出(Input/Output；简称：I/O)访问性能，当加载的数据量很大时，会造成加载数据所需要的时间会很长，从而造成数据访问的延时。

发明内容

本发明提供一种数据访问的处理方法和装置及服务器，用于解决现有技术中当单机内存数据库启动或者重启时，需要等待所有的数据从磁盘加载到内存后，才可以进行访问处理而造成的数据访问延时的问题。

本发明的第一个方面是提供一种数据访问的处理方法，包括：

在将磁盘中的所有数据加载到内存的过程中，接收数据访问请求，所述数据访问请求包括访问数据的标识；

若所述所有数据未全部从磁盘加载到内存，则查询定位表，判断所述访问数据的标识对应的访问数据是否加载到所述内存中；其中，所述定位表用于记录从所述磁盘加载到内存的数据的标识；

若所述访问数据未加载到所述内存中，则将所述磁盘中与所述访问数据的标识对应的访问数据加载到所述内存，并从所述内存中对所述访问数据进行访问处理；

根据所述访问数据的标识，更新所述定位表。

本发明的另一个方面是提供一种数据访问的处理装置，包括内存和磁盘，其中，还包括：

接收模块，用于在将磁盘中的所有数据加载到内存的过程中，接收数据访问请求，所述数据访问请求包括访问数据的标识；

判断模块，用于根据所述接收模块接收到的所述数据访问请求，判断所述所有数据是否全部从所述磁盘加载到所述内存；若判断出所述所有数据全部从所述磁盘加载到所述内存中，则查询定位表，判断所述访问数据的标识对应的访问数据是否加载到所述内存中；其中，所述定位表用于记录从所述磁盘加载到内存的数据的标识；

加载模块，用于若所述判断模块判断出所述接收模块接收到的所述数据访问请求中的所述访问数据的标识对应的访问数据未加载到所述内存中，则将所述磁盘中与所述访问数据的标识对应的访问数据加载到所述内存；

访问处理模块，用于在所述加载模块将所述磁盘中与所述访问数据的标识对应的访问数据加载到所述内存后，从所述内存中对所述访问数据进行访问处理；

更新模块，用于在所述加载模块将所述磁盘中与所述访问数据的标识对应的访问数据加载到所述内存后，根据所述访问数据的标识，更新所述定位表。

本发明的又一个方面是提供一种服务器，包括内存和磁盘，其中，还包括：存储器，用于存储指令；

处理器，与所述存储器耦合，所述处理器被配置为执行存储在所述存储器中的指令，且所述处理器被配置为用于执行上述所述的数据访问的处理方法。

本发明实施例通过以上技术方案，在磁盘中所有数据未全部从磁盘加载到内存，且在将该磁盘中的所有数据加载到内存的过程中，接收到数据访问请求中的访问数据的标识对应访问数据未加载到该内存时，可以提前将该磁盘中该访问数据加载到内存中，并更新该定位表，以及从该内存中对该访问数据进行访问处理，相较于现有技术中需要将所有的数据从磁盘加载到内存后才可以进行数据访问处理而言，本发明实施例可以不考虑数据加载的时间，即可以在内存数据库启动或者重启时，就可以直接对数据进行访问处理，从而减小了内存数据库启动或者重启过程中数据不可访问的时间，提高了数据访问的效率。

附图说明

图1为现有技术中单机内存数据库启动或者重启时加载数据的原理示意图；

图2为本发明数据访问的处理方法的一个实施例的流程图；

图3为本发明数据访问的处理方法的还一个实施例的流程图；

图4为本发明实施例提供的在该温运行阶段时数据从磁盘加载到内存的另一种具体实现方式的流程图；

图5为本发明数据访问的处理方法的一个具体实现原理示意图；

图6为本发明数据访问的处理装置的一个实施例的结构示意图。

具体实施方式

图2为本发明数据访问的处理方法的一个实施例的流程图，如图2所示，本实施例的执行主体可以为数据访问的处理装置，则该方法包括：

步骤101、在将磁盘中的所有数据加载到内存的过程中，接收数据访问请求，该数据访问请求包括访问数据的标识。

步骤102、若所有数据未全部从磁盘加载到内存，则查询定位表，判断该访问数据的标识对应的访问数据是否加载到该内存中，其中，该定位表用于记录从磁盘加载到内存的数据的标识。

在本实施例中，当数据访问的处理装置的内存数据库启动或者重启时，数据访问的处理装置开始将磁盘上的所有数据持续地加载到内存中，在这个加载的过程中，即所有数据未全部从磁盘加载到内存时，该数据访问的处理装置进入到一个温运行阶段。在该温运行阶段，数据访问的处理装置在后台进行数据从磁盘到内存的加载，并建立定位表。另外，数据访问的处理装置还可以在该温运行阶段接收数据访问请求，并可以查询该定位表，判断该访问的数据的标识对应的访问数据是否加载到内存中。

步骤103、若该访问数据未加载到该内存中，则将磁盘中与该访问数据的标识对应的访问数据加载到该内存，并从该内存中对该访问数据进行访问处理。

优选地，数据访问的处理装置可以内部页为单元，将该磁盘中与该访问数据标识对应的访问数据加载到该内存中。举例来说，内部页包括多个页，其中，每个页的大小可以为4K或者8K。

步骤104、根据该访问数据的标识，更新该定位表。

在本实施例中，当判断出该访问数据的标识对应的访问数据未加载到该内存中时，可以提前将磁盘中与该访问数据的标识对应的访问数据加载到该内存，并更新定位表，即将该访问数据的标识存在在定位表中。同时，还可以从该内存中，对该访问的数据进行访问处理，例如，对该访问的数据进行读写操作。

在本实施例中，在磁盘中所有数据未全部从磁盘加载到内存，且在将该磁盘中的所有数据加载到内存的过程中，接收到数据访问请求中的访问数据的标识对应访问数据未加载到该内存时，可以提前将该磁盘中该访问数据加载到内存中，并更新该定位表，以及从该内存中对该访问数据进行访问处理，相较于现有技术中需要将所有的数据从磁盘加载到内存后才可以进行数据访问处理而言，本发明实施例可以不考虑数据加载的时间，即可以在内存数据库启动或者重启时，就可以直接对数据进行访问处理，从而减小了内存数据库启动或者重启过程中数据不可访问的时间，提高了数据访问的效率。

进一步的，在本发明的另一个实施例中，在上述图2所示实施例的基础上，该方法还可以包括：

若该访问数据已经加载到该内存中，则从该内存中对该访问数据进行访问处理。

另外，优选地，在数据访问的处理装置处于温运行阶段时，数据访问的处理装置一直持续的将磁盘上的数据加载到内存中，其加载的过程的具体实现方式可以具体为：

查询该定位表，判断预先创建的加载任务表中需要加载的数据的标识对应的需要加载的数据是否加载到该内存；该加载任务表中包括需要加载的数据的顺序和该需要加载的数据的标识；

若判断出该需要加载的数据未加载到该内存，则以内部页为单元，将该需要加载的数据加载到所述内存，并更新该定位表。

更进一步的，在本发明的又一个实施例中，在上述图2所示实施例的基础上，该方法还可以包括：

在所有数据全部从该磁盘加载到该内存时，从该内存中对该访问数据进行访问处理。

在本实施例中，当所有数据全部从该磁盘加载到内存时，该数据访问的处理装置从温运行阶段切换到热运行阶段，在该热运行阶段中，当该数据访问的处理装置接收到数据访问请求时，可以直接从内存中对该数据访问请求中访问数据的标识对应的访问数据进行访问处理。

图3为本发明数据访问的处理方法的还一个实施例的流程图，如图3所示，本实施例的执行主体为数据访问的处理装置，需要说明的是，当数据访问的处理装置的内存数据库启动或者重启时，数据访问的处理装置可以在后台创建加载任务表，其中，该加载任务表包括需要加载的数据的标识和需要加载的数据的标识的顺序。

具体的，在数据访问的处理装置的内存数据库启动或者重启，且未接收到数据访问请求时，该数据加载的一种具体实现方式可以为：以内部页为单位，将需要加载的数据的标识对应的需要加载的数据，按照需要加载的数据的顺序，从磁盘中加载到内存中，同时，建立定位表，将已经从磁盘加载到内存的数据的标识记录在该定位表中。

在上述场景下，该方法包括：

步骤201、在将磁盘中的所有数据加载到内存的过程中，接收数据访问请求，该数据访问请求包括访问数据的标识。

步骤202、判断所有数据是否全部从磁盘加载到内存，若是，则执行步骤205；若否，则执行步骤203。

步骤203、查询定位表，判断该访问数据的标识对应的访问数据是否加载到内存中；若是，则执行步骤205；若否，则执行步骤204。

在本实施例中，需要说明的是，当数据以内部页为单位从磁盘加载到内存时，判断该页是否已经存在内存时，其主要采用的方式为：在该页的页头和页尾加入特殊的数字(magic number)，从而通过对比该页头和页尾来判断该页是否从磁盘上加载到内存上，还是未从磁盘上加载到内存上。

步骤204、以内部页为单位，将磁盘中与该访问数据的标识对应的访问数据加载到内存；并从该内存中对该访问数据进行访问处理，以及根据该访问数据的标识，更新该定位表。结束。

步骤205、从该内存中对该访问数据进行访问处理。结束。

需要说明的是，在数据访问的处理装置的内存数据库启动或者重启之后，所有数据未全部从磁盘加载到内存之前，该数据访问的处理装置处于温运行阶段。

图4为本发明实施例提供的在该温运行阶段时数据从磁盘加载到内存的另一种具体实现方式的流程图，如图4所示，在该温运行阶段，数据访问处理设备将数据从磁盘加载到内存的另一种具体实现方式为：

步骤301、查询该定位表，判断该加载任务表中目前需要加载的数据的标识对应的需要加载的数据是否加载到该内存。

步骤302、若判断出该需要加载的数据未加载到该内存，则以内部页为单元，将该需要加载的数据加载到所述内存，并更新该定位表。

另外，需要说明的是，若判断出该需要加载的数据加载到该内存，在查询加载任务表中的需要加载的数据的标识的顺序，获取该目前需要加载的数据的标识的下一个需要加载的数据的标识，并查询该定位表，判断下一个需要加载的数据的标识对应的需要加载的数据是否加载到内存，重复执行目前需要加载的数据的处理过程，直至所有数据全部从磁盘加载到内存中。

在本实施例中，举例来说，以数据访问的处理装置设置了内存数据库，例如：甲骨文公司推出的内存数据库TT(Oracle TimesTen)为例，详细介绍本实施例的基础方案，图5为本发明数据访问的处理方法的一个具体实现原理示意图，如图5所示，该数据访问处理设备包括：内存存储引擎11、磁盘存储引擎12、内存13和磁盘14。其中，该内存存储引擎11包括内存表空间管理模块111和内存页访问模块112；磁盘存储引擎12包括磁盘表空间管理模块121和磁盘页访问模块122。具体的，磁盘页访问模块122中创建定位表，来判断访问数据是否存在内存中，当接收到数据访问请求时，内存页访问模块112将访问重定向到磁盘页访问模块122(如图5中s1所示)，磁盘页访问模块122查询定位表，判断该数据访问请求中的访问数据的标识对应的访问数据是否存在内存中，当判断出该访问数据没有存在内存中，则从磁盘中将该访问数据以内部页为单位加载到内存中(如图5中s2所示)，并更新定位表(如图5中s3所示)，然后再由内存页访问模块112从内存中对访问的数据进行访问处理(如图5中s5所示)。当判断出该访问数据存在内存中，则重定向至内存页访问模块112，由内存页访问模块112从内存中对访问的数据进行访问处理(如图5中s4所示)。另外，内存表空间管理模块111进行后台数据加载(如图5中s5所示)，其具体的实现方式可以执行图4所示方法。

图6为本发明数据访问的处理装置的一个实施例的结构示意图，如图6所示，本实施例的设备包括：接收模块21、判断模块22、加载模块23、访问处理模块24、更新模块25、内存26和磁盘27；其中，接收模块21用于在将磁盘中的所有数据加载到内存的过程中，接收数据访问请求，该数据访问请求包括访问数据的标识；判断模块22用于根据接收模块21接收到的数据访问请求，判断所有数据是否全部从磁盘27加载到内存26；若判断出所有数据全部从该磁盘加载到该内存中，则查询定位表，判断该访问数据的标识对应的访问数据是否加载到该内存26中；其中，该定位表用于记录从该磁盘27加载到内存26的数据的标识；加载模块23用于若该判断模块22判断出接收模块21接收到的该数据访问请求中的该访问数据的标识对应的访问数据未加载到该内存26中，则将该磁盘27中与该访问数据的标识对应的访问数据加载到该内存26；访问处理模块24用于在该加载模块23将磁盘27中与该访问数据的标识对应的访问数据加载到该内存26后，从该内存26中对该访问数据进行访问处理；更新模块25用于在该加载模块23将磁盘27中与该访问数据的标识对应的访问数据加载到该内存26后，根据该访问数据的标识，更新该定位表。

本实施例的数据访问的处理装置可以执行图2所示方法实施例的技术方案，其实现原理相类似，此处不再赘述。

在本实施例中，在磁盘中所有数据未全部从磁盘加载到内存，且在将该磁盘中的所有数据加载到内存的过程中，接收到数据访问请求中的访问数据的标识对应访问数据未加载到该内存时，可以提前将该磁盘中该访问数据加载到内存中，并更新该定位表，以及从该内存中对该访问数据进行访问处理，相较于现有技术中需要将所有的数据从磁盘加载到内存后才可以进行数据访问处理而言，本发明实施例可以不考虑数据加载的时间，即可以在内存数据库启动或者重启时，就可以直接对数据进行访问处理，从而减小了内存数据库启动或者重启过程中数据不可访问的时间，提高了数据访问的效率。

进一步的，在本发明的另一个实施例中，在上述图6所示实施例的基础上，访问处理模块24还用于若该判断模块22判断出接收模块21接收到的该数据访问请求中的该访问数据标识对应的访问数据已经加载到该内存26中，则从该内存26中对该访问数据进行访问处理。

优选地，加载模块23还用于查询该定位表，判断预先创建的加载任务表中需要加载的数据的标识对应的需要加载的数据是否加载到该内存26；该加载任务表中包括需要加载的数据的标识的顺序和该需要加载的数据的标识；若判断出该需要加载的数据未加载到该内存26，则以内部页为单元，将该需要加载的数据加载到该内存26；则更新模块25还用于在该加载模块23将该需要加载的数据加载到该内存26后，更新该定位表。

更为优选地，加载模块23具体用于若该判断模块22判断出该访问数据的标识对应的访问数据未加载到该内存26中，则以内部页为单位，将该磁盘中与该访问数据的标识对应的访问数据加载到该内存26。

更进一步的，在本发明的又一个实施例中，在上述图6所示实施例的基础上，访问处理模块24还用于若该判断模块22判断出所有数据全部从该磁盘27加载到该内存26，则从该内存26中对该访问数据进行访问处理。

本发明还提供了一种服务器，包括内存和磁盘，其中，还包括：存储器和处理器，其中，存储器用于存储指令；处理器，与该存储器耦合，该处理器被配置为执行存储在该存储器中的指令，且该处理器被配置为用于执行如图2至图5任一所示的数据访问的处理方法的实施例，其实现原理相类似，此处不再赘述。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种数据访问的处理方法，其特征在于，包括：

在将磁盘中的所有数据加载到内存的过程中，接收数据访问请求，所述数据访问请求包括访问数据的标识；

若所述所有数据未全部从所述磁盘加载到所述内存，则查询定位表，判断所述访问数据的标识对应的访问数据是否加载到所述内存中；其中，所述定位表用于记录从所述磁盘加载到内存的数据的标识；

若所述访问数据未加载到所述内存中，则将所述磁盘中与所述访问数据的标识对应的访问数据加载到所述内存，并从所述内存中对所述访问数据进行访问处理；

根据所述访问数据的标识，更新所述定位表。

2.根据权利要求1所述的数据访问的处理方法，其特征在于，还包括：

若所述访问数据已经加载到所述内存中，则从所述内存中对所述访问数据进行访问处理。

3.根据权利要求1或2所述的数据访问的处理方法，其特征在于，还包括：

若所述所有数据全部从所述磁盘加载到所述内存，从所述内存中对所述访问数据进行访问处理。

4.根据权利要求1所述的数据访问的处理方法，其特征在于，所述将所述磁盘中与所述访问数据的标识对应的访问数据加载到所述内存，包括：

以内部页为单位，将所述磁盘中与所述访问数据标识对应的访问数据加载到所述内存中。

5.根据权利要求1或2或4所述的数据访问的处理方法，其特征在于，还包括：

查询所述定位表，判断预先创建的加载任务表中需要加载的数据的标识对应的需要加载的数据是否加载到所述内存；所述加载任务表中包括需要加载的数据的标识的顺序和所述需要加载的数据的标识；

若判断出所述需要加载的数据未加载到所述内存，则以内部页为单元，将所述需要加载的数据加载到所述内存，并更新所述定位表。

6.一种数据访问的处理装置，包括内存和磁盘，其特征在于，还包括：

接收模块，用于在将磁盘中的所有数据加载到内存的过程中，接收数据访问请求，所述数据访问请求包括访问数据的标识；

判断模块，用于根据所述接收模块接收到的所述数据访问请求，判断所述所有数据是否全部从所述磁盘加载到所述内存；若判断出所述所有数据全部从所述磁盘加载到所述内存中，则查询定位表，判断所述访问数据的标识对应的访问数据是否加载到所述内存中；其中，所述定位表用于记录从所述磁盘加载到内存的数据的标识；

加载模块，用于若所述判断模块判断出所述接收模块接收到的所述数据访问请求中的所述访问数据的标识对应的访问数据未加载到所述内存中，则将所述磁盘中与所述访问数据的标识对应的访问数据加载到所述内存；

访问处理模块，用于在所述加载模块将所述磁盘中与所述访问数据的标识对应的访问数据加载到所述内存后，从所述内存中对所述访问数据进行访问处理；

更新模块，用于在所述加载模块将所述磁盘中与所述访问数据的标识对应的访问数据加载到所述内存后，根据所述访问数据的标识，更新所述定位表。

7.根据权利要求6所述的数据访问的处理装置，其特征在于，所述访问处理模块还用于若所述判断模块判断出所述访问数据标识对应的访问数据已经加载到所述内存中，则从所述内存中对所述访问数据进行访问处理。

8.根据权利要求6或7所述的数据访问的处理装置，其特征在于，所述访问处理模块还用于若所述判断模块判断出所述所有数据全部从所述磁盘加载到所述内存，则从所述内存中对所述访问数据进行访问处理。

9.根据权利要求6所述的数据访问的处理装置，其特征在于，所述加载模块具体用于若所述判断模块判断出所述接收模块接收到的所述数据访问请求中的所述访问数据的标识对应的访问数据未加载到所述内存中，则以内部页为单位，将所述磁盘中与所述访问数据的标识对应的访问数据加载到所述内存。

10.根据权利要求6或7或9所述的数据访问的处理装置，其特征在于，所述加载模块还用于查询所述定位表，判断预先创建的加载任务表中需要加载的数据的标识对应的需要加载的数据是否加载到所述内存；所述加载任务表中包括需要加载的数据的标识的顺序和所述需要加载的数据的标识；若判断出所述需要加载的数据未加载到所述内存，则以内部页为单元，将所述需要加载的数据加载到所述内存；

所述更新模块还用于在所述加载模块将所述需要加载的数据加载到所述内存后，更新所述定位表。

Images