CN115017223A - 一种支持大数据量导入导出的系统 - Google Patents

Abstract

本发明涉及数据处理相关领域，公开了一种支持大数据量导入导出的系统，实现了对于业务数据的集中性管理，在多设备使用的场景下能够更加方便的进行业务数据内容的管理和更新同步，并让多设备基于数据调度库对业务数据进行同步、实时的处理，可以有效的解决现有技术中多设备直接通过数据库读取与编辑修改可能发生的多设备间不能及时的进行修改内容同步的问题，可以有效的避免现有技术中多设备同时修改后对数据库进行编辑导致的编辑文本丢失等问题，同时，多设备基于数据调度库进行业务数据的读取与编写修改，可以降低对于存储数据库的数据读写资源占用，保护存储数据库的同时，提升用户在导出导入的读写体验。

Description

一种支持大数据量导入导出的系统

技术领域

本发明涉及数据处理相关领域，具体是一种支持大数据量导入导出的系统。

背景技术

在业务系统中，各个系统均需要一些数据导入或是数据导出的功能，在现有技术中，每个系统均自己编写导入导出功能时，便会累积产生较多的重复工作，不便于系统的管理和维护，且对于系统性能资源的占用也会较多，造成不必要的性能浪费，增加系统设置成本与维护成本。

且随着业务数量上的不断增长，上述问题愈发凸显，现有导入导出功能耗时时间越来越长，导致用户体验相对降低，同时很多业务方独占面临着导入导出的不断调整，无法将通用功能进行组内分享，使用不便。

发明内容

本发明的目的在于提供一种支持大数据量导入导出的系统，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种支持大数据量导入导出的系统，包含：

数据存储模块，设有多个存储数据库，所述存储数据库用于获取并存储业务数据，并生成与所述业务数据相对应的数据存储日志，所述数据存储日志包括数据存储指针，所述数据存储指针用于响应数据读写请求以引导读取所述业务数据；

数据调度模块，用于建立数据调度库，所述数据调度库与多个所述存储数据库建立数据连接，当获取所述数据读写请求时，遍历所述数据存储日志，根据相对应的所述数据存储指针读取所述业务数据并在所述数据调度库中存储；

请求引导模块，用于当所述业务数据在所述数据调度库中存储时，基于所述数据调度库生成临时存储指针在保留所述数据存储日志的基础上对所述数据存储日志中相对应的所述数据存储指针进行覆盖；

数据权限模块，用于获取并响应数据编辑请求，并根据所述数据编辑请求对所述数据调度库中的所述业务数据进行写入锁定，所述数据编辑请求用于表征对所述业务数据的内容修改替换需求，所述内容修改替换需求包括所述业务数据的修改区域。

作为本发明的进一步方案：所述请求引导模块具体包括：

读取记录单元，用于当所述数据调度库中的所述业务数据被读取时，锁定所述数据存储日志中相对应的所述数据存储指针，并在所述业务数据读取完成在所述数据调度库中存储时生成临时存储指针，所述临时存储指针用于引导系统通过所述数据调度库获取所述业务数据；

引导覆盖单元，用于通过所述临时存储指针对所述数据存储日志中相对应锁定的所述数据存储指针进行覆盖。

作为本发明的再进一步方案：所述数据权限模块包括：

修改列队单元，用于当多个所述数据读写请求中包括数据编写请求时，根据所述数据编写请求相对应的内容修改替换需求对所述修改区域进行重合判断，若所述修改区域不重合，则直接响应多个所述数据编写请求，若所述修改区域具有重合，则基于所述数据编写请求的生成时间建立编写请求队列，当某一所述数据编写请求完成时，则响应所述编写请求队列中的下一所述数据编写请求。

作为本发明的再进一步方案：还包括数据更新模块，所述数据更新模块包括调度库更新单元；

所述调度库更新单元，用于在响应所述数据编辑请求后，对所述数据调度库中的所述业务数据进行更新。

作为本发明的再进一步方案：所述数据更新模块还包括数据库更新单元；

所述数据库更新单元，用于当所述请求队列中的多个所述数据编写请求均响应完成时，根据所述数据调度库中的所述业务数据对所述存储数据库中的所述业务数据进行更新。

作为本发明的再进一步方案：所述数据权限模块还包括编辑日志单元；

所述编辑日志单元，用于对所述数据编辑请求响应前后的所述业务数据修改区域以及所述数据编辑请求的发出对象进行记录，生成数据编辑日志并存储。

本发明实施例旨在提供一种支持大数据量导入导出的方法，其包含步骤：

作为本发明的进一步方案：设有多个存储数据库，所述存储数据库用于获取并存储业务数据，并生成与所述业务数据相对应的数据存储日志，所述数据存储日志包括数据存储指针，所述数据存储指针用于响应数据读写请求以引导读取所述业务数据。

建立数据调度库，所述数据调度库与多个所述存储数据库建立数据连接，当获取所述数据读写请求时，遍历所述数据存储日志，根据相对应的所述数据存储指针读取所述业务数据并在所述数据调度库中存储。

当所述业务数据在所述数据调度库中存储时，基于所述数据调度库生成临时存储指针在保留所述数据存储日志的基础上对所述数据存储日志中相对应的所述数据存储指针进行覆盖。

获取并响应数据编辑请求，并根据所述数据编辑请求对所述数据调度库中的所述业务数据进行写入锁定，所述数据编辑请求用于表征对所述业务数据的内容修改替换需求，所述内容修改替换需求包括所述业务数据的修改区域。

作为本发明的再进一步方案：所述基于所述数据调度库生成临时存储指针在保留所述数据存储日志的基础上对所述数据存储日志中相对应的所述数据存储指针进行覆盖的步骤具体包括：

当所述数据调度库中的所述业务数据被读取时，锁定所述数据存储日志中相对应的所述数据存储指针，并在所述业务数据读取完成在所述数据调度库中存储时生成临时存储指针，所述临时存储指针用于引导系统通过所述数据调度库获取所述业务数据。

通过所述临时存储指针对所述数据存储日志中相对应锁定的所述数据存储指针进行覆盖。

作为本发明的再进一步方案：所述获取并响应数据编辑请求的步骤还包括：

当多个所述数据读写请求中包括数据编写请求时，根据所述数据编写请求相对应的内容修改替换需求对所述修改区域进行重合判断，若所述修改区域不重合，则直接响应多个所述数据编写请求，若所述修改区域具有重合，则基于所述数据编写请求的生成时间建立编写请求队列，当某一所述数据编写请求完成时，则响应所述编写请求队列中的下一所述数据编写请求。

与现有技术相比，本发明的有益效果是：实现了对于业务数据的集中性管理，在多设备使用的场景下能够更加方便的进行业务数据内容的管理和更新同步，并让多设备基于数据调度库对业务数据进行同步、实时的处理，可以有效的解决现有技术中多设备直接通过数据库读取与编辑修改可能发生的多设备间不能及时的进行修改内容同步的问题，可以有效的避免现有技术中多设备同时修改后对数据库进行编辑导致的编辑文本丢失等问题，同时，多设备基于数据调度库进行业务数据的读取与编写修改，可以降低对于存储数据库的数据读写资源占用，保护存储数据库的同时，提升用户在导出导入的读写体验。

附图说明

图1为一种支持大数据量导入导出的系统的组成框图。

图2为一种支持大数据量导入导出的系统中请求引导模块的组成框图。

图3为一种支持大数据量导入导出的系统中数据更新模块的组成框图。

图4为一种支持大数据量导入导出的方法的流程框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

以下结合具体实施例对本发明的具体实现方式进行详细描述。

如图1所述，为本发明一个实施例提供的一种支持大数据量导入导出的系统，包括：

数据存储模块100，设有多个存储数据库，所述存储数据库用于获取并存储业务数据，并生成与所述业务数据相对应的数据存储日志，所述数据存储日志包括数据存储指针，所述数据存储指针用于响应数据读写请求以引导读取所述业务数据。

数据调度模块300，用于建立数据调度库，所述数据调度库与多个所述存储数据库建立数据连接，当获取所述数据读写请求时，遍历所述数据存储日志，根据相对应的所述数据存储指针读取所述业务数据并在所述数据调度库中存储。

请求引导模块500，用于当所述业务数据在所述数据调度库中存储时，基于所述数据调度库生成临时存储指针在保留所述数据存储日志的基础上对所述数据存储日志中相对应的所述数据存储指针进行覆盖。

数据权限模块700，用于获取并响应数据编辑请求，并根据所述数据编辑请求对所述数据调度库中的所述业务数据进行写入锁定，所述数据编辑请求用于表征对所述业务数据的内容修改替换需求，所述内容修改替换需求包括所述业务数据的修改区域。

本实施例中，给出了一种支持大数据快速导入导出的系统，相较于现有技术，其通过数据存储模块100、数据调度模块300、请求引导模块500以及数据权限模块700等的设置，实现了对于业务数据的集中性管理，在多人使用的场景下能够更加方便的进行业务数据内容的管理和更新同步，在数据调度库以及数据权限模块的设置下，可以实现将数据库中的业务数据进行单一读取，并让多设备基于数据调度库对业务数据进行同步、实时的处理，可以有效的解决现有技术中多设备直接通过数据库读取与编辑修改可能发生的多设备间不能及时的进行修改内容同步的问题，可以有效的避免现有技术中多设备同时修改后对数据库进行编辑导致的编辑文本丢失等问题，同时，多设备基于数据调度库进行业务数据的读取与编写修改，可以降低对于存储数据库的数据读写资源占用，保护存储数据库的同时，提升用户在导出导入的读写体验；具体的在使用中，数据存储模块100也就是存储数据库，是用于存储业务数据的最大数据库，数据调度模块300是独立于存储数据库的系统，其包括数据调度库，可以与存储数据库进行数据的交互，通过存储数据库读取数据信息，或对存储数据库中写入业务数据信息，当用户需要获取某一业务数据时，则通过数据调度模块300获取存储数据库中相对应的业务数据内容并在数据调度库中暂存，用户可以对这一数据进行读取编辑等，而当第二个用户请求该业务数据时，则会通过请求引导模块500修改的数据存储日志引导至调度数据库中的该业务数据，进而进行线上的共同编辑和读取等操作，而数据权限模块700则是对这一过程的协同管理，当多个设备对业务数据进行编辑时，则对多个设备进行管理，对多个设备实施同时或是队列的形式进行处理，可以避免数据同时的重复覆盖和修改，最终无法统一业务数据内容的问题发生。

如图2所示，作为本发明另一个优选的实施例，所述请求引导模块500具体包括：

读取记录单元501，用于当所述数据调度库中的所述业务数据被读取时，锁定所述数据存储日志中相对应的所述数据存储指针，并在所述业务数据读取完成在所述数据调度库中存储时生成临时存储指针，所述临时存储指针用于引导系统通过所述数据调度库获取所述业务数据。

引导覆盖单元502，用于通过所述临时存储指针对所述数据存储日志中相对应锁定的所述数据存储指针进行覆盖。

本实施例中，根据作用效果对请求引导模块500进行了划分和进一步的内容说明，数据调度库与外界进行数据的交互，存储数据库中某地址被读取后，会生成反馈，用于第二次读取时通过数据调度库读取，也就是存储数据库被读取时便生成临时存储指针以对数据存储指针进行覆盖，实现读取路劲的引导。

作为本发明另一个优选的实施例，所述数据权限模块包括：

修改列队单元，用于当多个所述数据读写请求中包括数据编写请求时，根据所述数据编写请求相对应的内容修改替换需求对所述修改区域进行重合判断，若所述修改区域不重合，则直接响应多个所述数据编写请求，若所述修改区域具有重合，则基于所述数据编写请求的生成时间建立编写请求队列，当某一所述数据编写请求完成时，则响应所述编写请求队列中的下一所述数据编写请求。

本实施例中，这里的修改队列模块的作用是，当多个设备需要对一个业务数据进行修改时，需要进行判断他们的执行顺序，是否可以同时执行修改或是需要以先后顺序进行修改，也就是他们所编写修改的部分是否重叠，如果发生重叠，多个人同时修改则会造成不同步的困扰，因此需要以队列的形式逐一进行，如果修改的部分不重叠，则可以同时进行处理。

如图3所示，作为本发明另一个优选的实施例，还包括数据更新模块900，所述数据更新模块900包括调度库更新单元901；

所述调度库更新单元901，用于在响应所述数据编辑请求后，对所述数据调度库中的所述业务数据进行更新。

进一步的，所述数据更新模块900还包括数据库更新单元902；

所述数据库更新单元902，用于当所述请求队列中的多个所述数据编写请求均响应完成时，根据所述数据调度库中的所述业务数据对所述存储数据库中的所述业务数据进行更新。

本实施例中，数据更新模块900主要包括两个部分的内容，其一是对数据调度库中业务数据的实时更新，从而可以确保多设备进行读取编写时业务数据的实时性，其二是在编写完成后对数据库中业务数据的及时更新，实现数据编写的同步性，降低数据丢失的可能。

作为本发明另一个优选的实施例，所述数据权限模块700还包括编辑日志单元；

所述编辑日志单元，用于对所述数据编辑请求响应前后的所述业务数据修改区域以及所述数据编辑请求的发出对象进行记录，生成数据编辑日志并存储。

本实施例中，作用在于编辑中间文件的记录以及编辑执行的责任对象的记录，这样可以在后续的数据回溯和责任追究时，快速的进行应对和定位，也能够对数据进行回滚恢复。

如图4所示，本发明还提供了一种支持大数据量导入导出的方法，其包含步骤：

S200，设有多个存储数据库，所述存储数据库用于获取并存储业务数据，并生成与所述业务数据相对应的数据存储日志，所述数据存储日志包括数据存储指针，所述数据存储指针用于响应数据读写请求以引导读取所述业务数据。

S400，建立数据调度库，所述数据调度库与多个所述存储数据库建立数据连接，当获取所述数据读写请求时，遍历所述数据存储日志，根据相对应的所述数据存储指针读取所述业务数据并在所述数据调度库中存储。

S600，当所述业务数据在所述数据调度库中存储时，基于所述数据调度库生成临时存储指针在保留所述数据存储日志的基础上对所述数据存储日志中相对应的所述数据存储指针进行覆盖。

S800，获取并响应数据编辑请求，并根据所述数据编辑请求对所述数据调度库中的所述业务数据进行写入锁定，所述数据编辑请求用于表征对所述业务数据的内容修改替换需求，所述内容修改替换需求包括所述业务数据的修改区域。

作为本发明另一个优选的实施例，所述基于所述数据调度库生成临时存储指针在保留所述数据存储日志的基础上对所述数据存储日志中相对应的所述数据存储指针进行覆盖的步骤具体包括：

当所述数据调度库中的所述业务数据被读取时，锁定所述数据存储日志中相对应的所述数据存储指针，并在所述业务数据读取完成在所述数据调度库中存储时生成临时存储指针，所述临时存储指针用于引导系统通过所述数据调度库获取所述业务数据。

通过所述临时存储指针对所述数据存储日志中相对应锁定的所述数据存储指针进行覆盖。

作为本发明另一个优选的实施例，所述获取并响应数据编辑请求的步骤还包括：

当多个所述数据读写请求中包括数据编写请求时，根据所述数据编写请求相对应的内容修改替换需求对所述修改区域进行重合判断，若所述修改区域不重合，则直接响应多个所述数据编写请求，若所述修改区域具有重合，则基于所述数据编写请求的生成时间建立编写请求队列，当某一所述数据编写请求完成时，则响应所述编写请求队列中的下一所述数据编写请求。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。

本领域技术人员在考虑说明书及实施例处的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (6)

1.一种支持大数据量导入导出的系统，其特征在于，包含：

数据存储模块，设有多个存储数据库，所述存储数据库用于获取并存储业务数据，并生成与所述业务数据相对应的数据存储日志，所述数据存储日志包括数据存储指针，所述数据存储指针用于响应数据读写请求以引导读取所述业务数据；

数据调度模块，用于建立数据调度库，所述数据调度库与多个所述存储数据库建立数据连接，当获取所述数据读写请求时，遍历所述数据存储日志，根据相对应的所述数据存储指针读取所述业务数据并在所述数据调度库中存储；

请求引导模块，用于当所述业务数据在所述数据调度库中存储时，基于所述数据调度库生成临时存储指针在保留所述数据存储日志的基础上对所述数据存储日志中相对应的所述数据存储指针进行覆盖；

数据权限模块，用于获取并响应数据编辑请求，并根据所述数据编辑请求对所述数据调度库中的所述业务数据进行写入锁定，所述数据编辑请求用于表征对所述业务数据的内容修改替换需求，所述内容修改替换需求包括所述业务数据的修改区域。

2.根据权利要求1所述的一种支持大数据量导入导出的系统，其特征在于，所述请求引导模块具体包括：

读取记录单元，用于当所述数据调度库中的所述业务数据被读取时，锁定所述数据存储日志中相对应的所述数据存储指针，并在所述业务数据读取完成在所述数据调度库中存储时生成临时存储指针，所述临时存储指针用于引导系统通过所述数据调度库获取所述业务数据；

引导覆盖单元，用于通过所述临时存储指针对所述数据存储日志中相对应锁定的所述数据存储指针进行覆盖。

3.根据权利要求2所述的一种支持大数据量导入导出的系统，其特征在于，所述数据权限模块包括：

修改列队单元，用于当多个所述数据读写请求中包括数据编写请求时，根据所述数据编写请求相对应的内容修改替换需求对所述修改区域进行重合判断，若所述修改区域不重合，则直接响应多个所述数据编写请求，若所述修改区域具有重合，则基于所述数据编写请求的生成时间建立编写请求队列，当某一所述数据编写请求完成时，则响应所述编写请求队列中的下一所述数据编写请求。

4.根据权利要求3所述的一种支持大数据量导入导出的系统，其特征在于，还包括数据更新模块，所述数据更新模块包括调度库更新单元；

所述调度库更新单元，用于在响应所述数据编辑请求后，对所述数据调度库中的所述业务数据进行更新。

5.根据权利要求4所述的一种支持大数据量导入导出的系统，其特征在于，所述数据更新模块还包括数据库更新单元；

所述数据库更新单元，用于当所述请求队列中的多个所述数据编写请求均响应完成时，根据所述数据调度库中的所述业务数据对所述存储数据库中的所述业务数据进行更新。

6.根据权利要求1所述的一种支持大数据量导入导出的系统，其特征在于，所述数据权限模块还包括编辑日志单元；

所述编辑日志单元，用于对所述数据编辑请求响应前后的所述业务数据修改区域以及所述数据编辑请求的发出对象进行记录，生成数据编辑日志并存储。

Images