CN105700902A - 数据加载和刷新方法及装置 - Google Patents

Abstract

本发明公开了一种数据加载和刷新方法及装置。其中，该方法包括：将各个子系统需要用到的基础数据从数据库加载到内存中，得到共享数据；在子系统向主系统发起数据请求时，将共享数据发送给子系统；当基础数据有更新时，根据预定的刷新机制对内存中的共享数据进行刷新。通过本发明实施例，可以达到减少数据库查询次数，提升系统运行效率和用户体验的效果。

Description

数据加载和刷新方法及装置

技术领域

本发明涉及数据处理领域，尤其涉及一种数据加载和刷新方法及装置。

背景技术

目前，在办公OA系统、ERP系统等应用系统中不可避免地会使用到大量的基础数据代码表，例如，用户代码表、组织机构代码表等这样数据量较大的表。而这些代码表往往也是使用率最高的表，反复执行对它们的查询必然降低系统运行效率与用户体验。为了提高降低查询对系统运行效率和用户体验的影响，现有技术中也给出了一些方法。

现有技术中的一种方法为：将主系统与子系统需要共用的数据在主系统启动时加载到内存中，不同子系统生成不同的数据加载任务并放入任务队列，任务队列中的数据加载任务被依次执行，主系统向不同子系统发送内存中的数据，从而实现主系统与各个子系统的数据共享，减少了数据库查询，提高了系统运行效率与用户体验。

上述现有技术中的缺点为：数据的加载过程过于复杂，如果数据量过大对内存的要求过高，而且主系统分别向多个子系统都发送内存中的数据容易造成主系统运行效率降低。

发明内容

本发明的实施例提供了一种数据加载和刷新方法及装置，以解决现有技术中数据的加载过程过于复杂，如果数据量过大对内存的要求过高，而且主系统分别向多个子系统都发送内存中的数据容易造成主系统运行效率降低的问题。

根据本发明的一个方面，提供了一种数据加载和刷新方法，包括：将各个子系统需要用到的基础数据从数据库加载到内存中，得到共享数据；在子系统向主系统发起数据请求时，将共享数据发送给子系统；当基础数据有更新时，根据预定的刷新机制对内存中的共享数据进行刷新。

优选地，将各个子系统需要用到的基础数据从数据库加载到内存中，得到共享数据，包括：对主系统进行分析，归纳出各个子系统需要共用的基础数据；在主系统启动的过程中，在内存中建立HashMap，并将基础数据以键值对的形式加载到HashMap中，得到共享数据。

优选地，基础数据包括：用户代码信息、或者组织结构代码信息。

优选地，预定的刷新机制包括：增量实时刷新、全量自动刷新，或全量手动刷新，其中：增量实时刷新，是指当用户在应用中对同时存在于数据库和内存中的基础数据进行维护时，对数据库中的基础数据进行刷新且对内存中相应的HashMap中的共享数据进行刷新；全量自动刷新，是指使用定时任务调度机制定时对内存中HashMap中的共享数据进行清除后再重新加载；全量手动刷新，是指通过预置的刷新功能接口接收到用户的全量刷新指令时，清除内存中HashMap中的共享数据后重新加载。

优选地，定时任务调度机制采用开源框架Quartz。

根据本发明的另一个方面，提供了一种数据加载和刷新装置，包括：加载模块，用于将各个子系统需要用到的基础数据从数据库加载到内存中，得到共享数据；发送模块，用于在子系统向主系统发起数据请求时，将共享数据发送给子系统；刷新模块，用于当基础数据有更新时，根据预定的刷新机制对内存中的共享数据进行刷新。

优选地，加载模块包括：第一处理单元，用于对主系统进行分析，归纳出各个子系统需要共用的基础数据；第二处理单元，用于在主系统启动的过程中，在内存中建立HashMap，并将基础数据以键值对的形式加载到HashMap中，得到共享数据。

优选地，基础数据包括：用户代码信息、或者组织结构代码信息。

优选地，预定的刷新机制包括：增量实时刷新、全量自动刷新，或全量手动刷新，其中：增量实时刷新，是指当用户在应用中对同时存在于数据库和内存中的基础数据进行维护时，对数据库中的基础数据进行刷新且对内存中相应的HashMap中的共享数据进行刷新；全量自动刷新，是指使用定时任务调度机制定时对内存中HashMap中的共享数据进行清除后再重新加载；全量手动刷新，是指通过预置的刷新功能接口接收到用户的全量刷新指令时，清除内存中HashMap中的共享数据后重新加载。

优选地，定时任务调度机制采用开源框架Quartz。

由上述本发明的实施例提供的技术方案可以看出，本发明实施例具有以下有益效果：将各子系统需要共用的数据从数据库张转移存储在内存中，当子系统有数据请求时，只需将内存中的数据发送给子系统即可，无需再对数据库进行访问，从而提高系统的运行效率，而且采用刷新机制对共享数据进行刷新，可以避免系统中充斥大量的垃圾数据，还可以保证主系统和子系统之间的数据一致性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的数据加载和刷新方法的流程图；

图2是根据本发明实施例的数据加载和刷新装置的结构框图；

图3是根据本发明实施例的优选数据加载和刷新装置的结构框图；

图4是根据本发明优选实施例的以加载组织机构代码表到共享内存为例的数据加载流程图；以及

图5是根据本发明优选实施例的以刷新共享内存中组织机构信息为例的刷新子系统的架构示意图。

具体实施方式

为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。

首先，对本发明实施例解决其技术问题的思路进行简单介绍：

通过对应用系统(即主系统)的分析，归纳出各个子系统(即子模块)需要共用的基础数据，在应用系统的启动过程中将这些基础数据加载到内存中，以供各个子模块使用，这样就可以减少数据库查询次数，提升系统运行效率和用户体验的效果。同时，建立一个完善的共享数据刷新子系统(采用预制的刷新机制)，实现对共享数据的增量或全量、自动或手动的刷新操作，从而可以保证主系统与子系统之间的数据一致性、避免各系统中充斥大量垃圾数据而导致数据可用性大大降低。

本发明实施例提供了一种数据加载和刷新方法。图1是根据本发明实施例的数据加载和刷新方法的流程图，如图1所示，该方法包括以下步骤(步骤S102-步骤S106)：

步骤S102、将各个子系统需要用到的基础数据从数据库加载到内存中，得到共享数据。

步骤S104、在子系统向主系统发起数据请求时，将共享数据发送给子系统。

步骤S106、当基础数据有更新时，根据预定的刷新机制对内存中的共享数据进行刷新。

通过上述各个步骤，将各子系统需要共用的数据从数据库张转移存储在内存中，当子系统有数据请求时，只需将内存中的数据发送给子系统即可，无需再对数据库进行访问，从而提高系统的运行效率，而且采用刷新机制对共享数据进行刷新，可以避免系统中充斥大量的垃圾数据，还可以保证主系统和子系统之间的数据一致性。

在本发明实施例中，上述步骤S102可以通过这样的方式来实现：先对主系统进行分析，归纳出各个子系统需要共用的基础数据，再在主系统启动的过程中，在内存中建立HashMap，并将基础数据以键值对的形式加载到HashMap中，得到共享数据。

其中，基础数据可以包括：用户代码信息、或者组织结构代码信息。当，在实际应用中，基础数据还可以包括其他类型的数据，例如，业务类型名称等。将用户代码信息或者组织机构代码信息保存在内存中后，如果子系统有数据请求，就可以将这些信息发送给子系统。

在本实施例中，预定的刷新机制可以包括：增量实时刷新、全量自动刷新，或全量手动刷新，其中：增量实时刷新，是指当用户在应用中对同时存在于数据库和内存中的基础数据进行维护时，对数据库中的基础数据进行刷新且对内存中相应的HashMap中的共享数据进行刷新；全量自动刷新，是指使用定时任务调度机制定时对内存中HashMap中的共享数据进行清除后再重新加载；全量手动刷新，是指通过预置的刷新功能接口接收到用户的全量刷新指令时，清除内存中HashMap中的共享数据后重新加载。

在本实施例的一个优选实施方式中，定时任务调度机制可以采用开源框架Quartz。当然，并不局限于此。

对应于上述数据加载和刷新方法，本发明实施例还提供了一种数据加载和刷新装置，用于执行上述数据加载和刷新方法。图2是根据本发明实施例的数据加载和刷新装置的结构框图，如图2所示，该装置包括：加载模块10、发送模块20以及刷新模块30，其中：

加载模块10，用于将各个子系统需要用到的基础数据从数据库加载到内存中，得到共享数据；发送模块20，连接至加载模块10，用于在子系统向主系统发起数据请求时，将共享数据发送给子系统；刷新模块30，连接至发送模块20，用于当基础数据有更新时，根据预定的刷新机制对内存中的共享数据进行刷新。

在图2所示的数据加载和刷新装置的基础上，本发明实施例还提供了一种优选数据加载和刷新装置。图3是根据本发明实施例的优选数据加载和刷新装置的结构框图，如图3所示，在该优选数据加载和刷新装置中：

加载模块10可以进一步包括：第一处理单元12，用于对主系统进行分析，归纳出各个子系统需要共用的基础数据；第二处理单元14，连接至第一处理单元12，用于在主系统启动的过程中，在内存中建立HashMap，并将基础数据以键值对的形式加载到HashMap中，得到共享数据。

在图2所示的数据加载和刷新装置或图3所示的优选数据加载和刷新装置中，基础数据可以包括：用户代码信息、或者组织结构代码信息。

其中，预定的刷新机制包括：增量实时刷新、全量自动刷新，或全量手动刷新，其中：增量实时刷新，是指当用户在应用中对同时存在于数据库和内存中的基础数据进行维护时，对数据库中的基础数据进行刷新且对内存中相应的HashMap中的共享数据进行刷新；全量自动刷新，是指使用定时任务调度机制定时对内存中HashMap中的共享数据进行清除后再重新加载；全量手动刷新，是指通过预置的刷新功能接口接收到用户的全量刷新指令时，清除内存中HashMap中的共享数据后重新加载。

其中，定时任务调度机制可以采用开源框架Quartz。

通过上述实施例提供的数据加载和刷新方法及装置，可以大大减少数据库查询次数，从而提升系统的运行效率和用户体验。

为便于理解上述实施例的实现过程，以下结合图4至图5以及优选实施例对上述实施例进行更进一步的描述。

优选实施例

在以下优选实施例中，在主系统启动时，将基础数据加载到共享内存中，需要注意的是，在数据加载完成后，主系统并不主动向不同子系统发送数据，而是由子系统(也可以称之为子模块)向主系统主动发起数据请求，从而获取共享内存中的数据。考虑到基础数据代码表中的数据随时可能会被更新、新增或删除，还需要对共享于内存中的数据进行刷新(增量刷新或全量刷新，自动刷新或手动刷新)操作，基于这种刷新机制，可以避免主系统与子系统数据不一致、各系统中充斥大量垃圾数据而导致数据可用性大大降低情况的发生。

以下以一个基于JAVA语言开发的标准J2EE项目为例对本优选实施例的实施过程进行详细描述。

通过对应用系统的分析，归纳出各个子模块(即子系统)共用的基础数据，决定将哪些数据放入共享内存中。进一步分析业务需求，用户希望看到的是具体的文字性描述，比如“业务类型名称”、“组织机构名称”等，而实际保存于数据库中的是这些文字性描述对应的代码，此时就需要一个“翻译”的过程，为了最大程度地简化这一“翻译”过程，选择使用HashMap的形式组织共享内存中的数据，在应用启动过程中将前面分析出的每一种基础数据以键值对的形式存储在HashMap中。这样，应用成功启动后，每个子模块对基础数据代码表的读取，转变为了对内存中相应HashMap的读取，大大减少了数据库的IO次数，从而达到了提升系统运行效率和用户体验的效果。例如，组织机构代码表在数据库中包含组织机构代码与组织机构名称两个字段，系统启动后，对应的在共享内存中就会创建一个存储组织机构信息的HashMap，其中，key值即为组织机构代码，value值为组织机构名称。为了实现这一功能，可以在代码中重写上下文加载器ServletContextListener的初始化方法(例如，contextInitialized方法)，加入了上述数据加载的功能逻辑。

图4是根据本发明优选实施例的以加载组织机构代码表到共享内存为例的数据加载流程图，如图4所示，该流程包括以下步骤：

S402，存储组织机构信息的HashMap是否为null，如果是，执行S404，如果否，执行S406；

S404，初始化存储组织机构信息的HashMap为newHashMap()；

S406，使用clear方法清空存储组织机构信息的HashMap；

S408，加载组织机构表中相关数据到存储组织机构信息的HashMap中。

同时，数据库中基础数据代码表可能经常被维护，包括数据的更新、插入或删除，基于此，使用共享内存数据刷新子系统(刷新子系统)就能够对数据进行维护。

请参照图5，图5是根据本发明优选实施例的以刷新共享内存中组织机构信息为例的刷新子系统的架构示意图，如图5所示，刷新子系统包括：增量实时刷新、全量自动刷新以及全量手动刷新三种刷新数据方式。增量刷新是指只刷新最近改变的数据，全量刷新是指清空并重新载入所有共享内存数据，进一步地，增量实时刷新是指当用户在应用中对同时存在于数据库与共享内存中的基础数据进行维护时，程序在完成数据库中的增删改操作后同样需要完成共享内存中相应HashMap键值对的维护。这样就可以实现对共享内存中的基础数据进行增量实时刷新，例如，用户通过应用中提供的新增组织机构功能添加了某个组织机构，那么对应地程序中就会在组织机构表中添加一行记录，并在维护组织机构信息的HashMap中添加一个键值对。更普遍的情形是，数据库管理员绕过了应用层面，直接在数据库中对基础代码表进行了维护。这种情形下，前面所述的增量实时刷新便失效了，就可以使用另外两种刷新方式(全量自动刷新以及全量手动刷新)。其中，全量自动刷新是指，在程序中使用定时任务调度机制(由开源框架quartz实现)，定义全量刷新共享内存数据任务，在每天的凌晨2:00调度执行全量刷新任务；全量手动刷新是指，在应用中为用户提供全量刷新数据的功能接口，用户可以随时下达并执行全量刷新共享内存数据的任务。由于共享内存数据是建立在应用层面的，所以无论是哪种刷新方式都可以实现了“一次刷新，全局有效”，最大限度地保证了共享数据在内存以及数据库中的数据一致性，为系统高效、可靠地运行提供了有力的保障。

由上述优选实施例的实施过程可以看出：(1)在应用启动过程中将预先分析出的每一种基础数据以键值对的形式存储在一个HashMap中。这样，应用成功启动后，每个子模块对基础数据代码表的读取就转变为了对内存中相应HashMap的读取，大大减少了数据库的IO次数，从而达到了提升系统运行效率和用户体验的效果；(2)“一次刷新，全局有效”的刷新子系统(包括增量实时刷新、全量自动刷新以及全量手动刷新三种刷新数据方式)最大限度地保证了共享数据在内存以及数据库中的数据一致性，为系统高效、可靠地运行提供了有力的保障。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种数据加载和刷新方法，其特征在于，包括：

将各个子系统需要用到的基础数据从数据库加载到内存中，得到共享数据；

在所述子系统向主系统发起数据请求时，将所述共享数据发送给所述子系统；

当所述基础数据有更新时，根据预定的刷新机制对内存中的共享数据进行刷新。

2.根据权利要求1所述的方法，其特征在于，将各个子系统需要用到的基础数据从数据库加载到内存中，得到共享数据，包括：

对所述主系统进行分析，归纳出所述各个子系统需要共用的基础数据；

在所述主系统启动的过程中，在内存中建立HashMap，并将所述基础数据以键值对的形式加载到所述HashMap中，得到所述共享数据。

3.根据权利要求2所述的方法，其特征在于，所述基础数据包括：用户代码信息、或者组织结构代码信息。

4.根据权利要求2或3所述的方法，其特征在于，所述预定的刷新机制包括：增量实时刷新、全量自动刷新，或全量手动刷新，其中：

所述增量实时刷新，是指当用户在应用中对同时存在于所述数据库和所述内存中的基础数据进行维护时，对所述数据库中的基础数据进行刷新且对所述内存中相应的HashMap中的共享数据进行刷新；

所述全量自动刷新，是指使用定时任务调度机制定时对所述内存中HashMap中的共享数据进行清除后再重新加载；

所述全量手动刷新，是指通过预置的刷新功能接口接收到用户的全量刷新指令时，清除所述内存中HashMap中的共享数据后重新加载。

5.根据权利要求4所述的方法，其特征在于，所述定时任务调度机制采用开源框架Quartz。

6.一种数据加载和刷新装置，其特征在于，包括：

加载模块，用于将各个子系统需要用到的基础数据从数据库加载到内存中，得到共享数据；

发送模块，用于在所述子系统向主系统发起数据请求时，将所述共享数据发送给所述子系统；

刷新模块，用于当所述基础数据有更新时，根据预定的刷新机制对内存中的共享数据进行刷新。

7.根据权利要求1所述的装置，其特征在于，所述加载模块包括：

第一处理单元，用于对所述主系统进行分析，归纳出所述各个子系统需要共用的基础数据；

第二处理单元，用于在所述主系统启动的过程中，在内存中建立HashMap，并将所述基础数据以键值对的形式加载到所述HashMap中，得到所述共享数据。

8.根据权利要求7所述的装置，其特征在于，所述基础数据包括：用户代码信息、或者组织结构代码信息。

9.根据权利要求7或8所述的装置，其特征在于，所述预定的刷新机制包括：增量实时刷新、全量自动刷新，或全量手动刷新，其中：

所述增量实时刷新，是指当用户在应用中对同时存在于所述数据库和所述内存中的基础数据进行维护时，对所述数据库中的基础数据进行刷新且对所述内存中相应的HashMap中的共享数据进行刷新；

所述全量自动刷新，是指使用定时任务调度机制定时对所述内存中HashMap中的共享数据进行清除后再重新加载；

所述全量手动刷新，是指通过预置的刷新功能接口接收到用户的全量刷新指令时，清除所述内存中HashMap中的共享数据后重新加载。

10.根据权利要求9所述的装置，其特征在于，所述定时任务调度机制采用开源框架Quartz。