CN115098459A - 数据共享方法、装置、终端设备以及存储介质 - Google Patents

Abstract

本发明公开了一种数据共享方法、装置、终端设备以及存储介质，其数据共享方法包括：获取不同源的数据库对应的云端文件，将所述云端文件保存在本地，记为本地文件，循环分批读取所述本地文件，并根据预设导出配置规则，提取所述本地文件中的目标数据，对所述目标数据进行数据筛选，得到数据集合，为所述数据集合中各子数据添加索引，根据所述索引，将各所述子数据以预设结构批量插入目标数据库中，以基于所述目标数据库进行数据共享，解决了从不同源的数据库查询共享数据时，查询共享难且查询共享效率低的问题。

Description

数据共享方法、装置、终端设备以及存储介质

技术领域

本发明涉及数据共享领域，尤其涉及一种数据共享方法、装置、终端设备以及存储介质。

背景技术

随着数据技术迅猛发展与大量应用，数据安全要求也越发受到重视。银行业务活动中有大量场景需要用到数据库相关技术，不同业务之间进行数据共享成为相关技术中的难点。

目前，传统做法是利用API接口进行数据查询共享，以从不同源的数据库中获取想要的数据信息。

但这种做法，一方面，由于不同业务，获取数据需要查询不同源的数据库，不同源的数据库类型值也可能不同，不支持多源数据共享，增大了查询共享难度，另一方面源数据库过大时例如有几百亿行数据，每次查询共享都需要整库读取，效率低下，传统的数据共享方案已经难以适应新的业务模式。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种数据共享方法、装置、终端设备以及存储介质，旨在解决从不同源的数据库查询共享数据时，查询共享难且查询共享效率低的技术问题。

为实现上述目的，本发明提供一种数据共享方法，所述数据共享方法包括以下步骤：

获取不同源的数据库对应的云端文件，将所述云端文件保存在本地，记为本地文件；

循环分批读取所述本地文件，并根据预设导出配置规则，提取所述本地文件中的目标数据；

对所述目标数据进行数据筛选，得到数据集合；

为所述数据集合中各子数据添加索引；

根据所述索引，将各所述子数据以预设结构批量插入目标数据库中，以基于所述目标数据库进行数据共享。

可选地，所述获取不同源的数据库对应的云端文件，将所述云端文件保存在本地，记为本地文件的步骤之前包括：

获取所述不同源的数据库；

通过行内交换平台，将所述不同源的数据库转换为文件格式，将转换得到的云端文件保存至所述行内交换平台。

可选地，所述循环分批读取所述本地文件，并根据预设导出配置规则，提取所述本地文件中的目标数据的步骤包括：

根据所述预设导出配置规则，将所述本地文件按列拆分为不同的批量进行循环读取，每一批量有对应的批次；

根据所述批次，生成第一定时任务；

执行所述第一定时任务，得到任务结果：

若所述任务结果为，各所述第一定时任务中的子任务正常完成，则开启下一子任务，所有子任务正常完成后，从所述本地文件中提取到目标列集合，通过所述目标列集合组成第一目标数据；

若所述任务结果为，所述第一定时任务中存在子任务读取错误，则将读取错误的子任务暂时保存于错误任务队列中，在执行下一子任务之前，重新读取所述错误任务队列中的错误的子任务，若还出现读取错误，则于所述第一定时任务结束时返回错误。

可选地，所述对所述目标数据进行数据筛选，得到数据集合的步骤之后还包括：

读取预处理配置文件，获取所述预处理配置文件的具体内容；

保留所述具体内容中的有效字段，删除无效字段；

根据所述有效字段，对所述数据集合进行预处理，得到预处理结果：

若执行所述预处理正常，则执行所述为所述数据集合中各子数据添加索引的步骤；

若执行所述预处理异常，则发出异常通知。

可选地，所述预处理包括对所述目标数据进行保留、类型值转换、删除处理，所述对所述数据集合进行预处理的步骤之后还包括：

保留所述数据集合中的行中的目标信息，删除非目标信息，得到含有目标信息的行与列，通过所述含有目标信息的行与列组成第二目标数据；

对第二目标数据进行类型值转换，得到第三目标数据；

删除所述第三目标数据中的冗余数据，得到第四目标数据，所述第四数据即为所述数据集合。

可选地，所述根据所述索引，将各所述子数据以预设结构批量插入目标数据库中，以基于所述目标数据库进行数据共享的步骤包括：

将所述目标数据库分成A表与B表，将A表定为主表，将B表定为副表；

根据所述索引，将各所述子数据定时按批量以所述预设结构插入副表中，每一批量有对应的批次；

根据所述批次，生成第一定时任务；

执行所述第一定时任务，得到任务结果：

若所述任务结果为，各所述子数据正常定时按批量以所述预设结构插入到所述副表中，则切换所述副表为主表；

若所述任务结果为，存在所述子数据以所述预设结构插入到所述副表时发成错误，则保持主表不变并进行报警。

可选地，所述为所述目标数据添加索引字段的步骤包括：

根据所述预设结构及所述目标数据的具体内容，自动添加数据库索引或ES索引。

此外，为实现上述目的，本发明还提供一种数据共享装置，所述数据共享装置包括：

获取模块，用于获取不同源的数据库对应的云端文件，将所述云端文件保存在本地，记为本地文件；

读取模块，用于循环分批读取所述本地文件；

提取模块，用于根据预设导出配置规则，提取所述本地文件中的目标数据；

筛选模块，用于对所述目标数据进行数据筛选，得到数据集合；

添加模块，用于为所述数据集合中各子数据添加索引；

插入模块，用于根据所述索引，将各所述子数据以预设结构批量插入目标数据库中，以基于所述目标数据库进行数据共享。

此外，本申请实施例还提出一种终端设备，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据共享程序，所述数据共享程序被所述处理器执行时实现如上所述的数据共享方法的步骤。

本申请实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有数据共享程序，所述数据共享程序被处理器执行时实现如上所述的数据共享方法的步骤。

本申请实施例提出的一种数据共享方法、装置、终端设备以及存储介质，通过获取不同源的数据库对应的云端文件，将所述云端文件保存在本地，记为本地文件，循环分批读取所述本地文件，并根据预设导出配置，提取所述本地文件中的目标数据，根据预设筛选配置及预设预处理配置，对所述目标数据进行数据筛选及预处理，得到数据集合，生成具有预设结构的目标数据库，并为所述目标数据库中的所述数据集合中的子数据添加索引，根据所述索引及预设入库配置，将所述子数据以所述预设结构批量插入目标数据库中，得到所述目标数据库，所述目标数据库中的数据集合即为使用方需要的目标数据，同时通过索引及动态筛选配置，可以根据需求获取目标数据集合，解决了使用方从不同源的数据库查询目标数据时，查询难且查询效率低的问题。其中，由于将不同源的数据库转换为云端文件，实现了数据互通，且通过分批量批次读取云端文件，并在读取时根据预设筛选配置过滤冗余数据，保留目标数据，进行类型值转换，降低了对本地服务器或应用等的性能需求，且通过在按批量批次入库更新时，设置错误处理机制，提升数据同步性能，降低数据同步错误率，提高了使用方体验。

附图说明

图1为本申请数据共享装置所属终端设备的功能模块示意图；

图2为本申请数据共享方法一示例性实施例的流程示意图；

图3为本申请数据共享方法另一示例性实施例的流程示意图；

图4为本申请数据共享方法另一示例性实施例的流程示意图；

图5为本申请数据共享方法另一示例性实施例的流程示意图；

图6为本申请数据共享方法另一示例性实施例的流程示意图；

图7为本申请数据共享方法另一示例性实施例的流程示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本申请实施例的主要解决方案是：获取不同源的数据库对应的云端文件，将所述云端文件保存在本地，记为本地文件，循环分批读取所述本地文件，并根据预设导出配置规则，提取所述本地文件中的目标数据，对所述目标数据进行数据筛选，得到数据集合，为所述数据集合中各子数据添加索引，根据所述索引，将各所述子数据以预设结构批量插入目标数据库中，以基于所述目标数据库进行数据共享，由于传统利用API接口对不同源的数据库进行数据查询共享的方式，一方面不同源的数据库可能存在参数类型不同，导致不支持多源数据共享，另一方面当数据库过大时，每次查询要遍历全库，对本地服务器或应用等要求高且性能消耗大，性能占用多，查询效果差，本申请提供一种解决方案，通过将不同源的数据库通过行内交换平台转换为云端文件，需要查询共享时即读取云端文件，由此实现多源数据共享，又通过在读取时根据定时脚本自动触发，将目标数据批量更新到目标数据库，由此实现自动化批量数据共享，又通过筛选目标数据并添加索引，利于使用方查询共享目标数据，降低对本地服务器或应用等的性能要求，又通过分批量将数据集合插入目标数据库时，设置插入错误处理机制，提升数据同步性能，降低数据同步错误率，最终解决了从不同源的数据库查询共享数据时，查询共享难且查询共享效率低的问题。

本申请实施例涉及的ES索引及数据库相关介绍：

ES(弹性搜索，ElasticSearch)索引：ES索引是为了在数据库中方便的进行检索。如一些书籍的末尾就专门附有索引，指明了某个关键字在正文中的出现的页码位置，方便用户查找，比如说，图书馆的前台有很多叫做索引卡片柜的小柜子，里面分了若干的类别供读者检索图书，比如可以用书名的笔画顺序或者拼音顺序作为查找的依据，还可以从作者名的笔画顺序或拼音顺序去查询想要的图书，所有图书的脊背上都人工的粘贴了一个特定的编号类似①，它们是以这个顺序在排列。索引卡片中并没有指明这本书摆放在书库中的第几个书架的第几本，仅仅指明了这个特定的编号。管理员则根据这一编号将请求的图书返回到读者手中。

数据库，通常分为层次式数据库、网络式数据库和关系式数据库三种。不同的数据库按照不同的数据结构及逆行联系和组织。

数据库的表现形式为表，表由行和列组成，其中，在关系型数据库中，行代表了每个特定对象，列代表特定对象的属性。例如：ni＝{"name":"Xiaoming"，"age"100}，这里，ni就是一个对象，代表一行。这一行的每一列都代表了你的一个属性，分别是name，age。

具体地，参照图1，图1为本申请数据共享装置所属终端设备的功能模块示意图。该数据共享装置可以为独立于终端设备的、能够获取云端文件、保存本地文件、循环分批读取本地文件、提取目标数据、筛选目标数据、添加索引、将子数据插入数据库的装置，其可以通过硬件或软件的形式承载于终端设备上。该终端设备可以为手机、平板电脑等具有数据处理功能的智能移动终端，还可以为具有数据处理功能的固定终端设备或服务器等。

在本实施例中，该数据共享装置所属终端设备至少包括输出模块110、处理器120、存储器130以及通信模块140。

存储器130中存储有操作系统以及数据共享程序，数据共享装置可以将本地文件、目标数据、数据集合、默认索引字段、预设结构、批量批次信息等信息存储于该存储器130中；输出模块110可为显示屏等。通信模块140可以包括WIFI模块、移动通信模块以及蓝牙模块等，通过通信模块140与外部设备或服务器进行通信。

其中，存储器130中的除尘提醒程序被处理器执行时实现以下步骤：

获取不同源的数据库对应的云端文件，将所述云端文件保存在本地，记为本地文件；

循环分批读取所述本地文件，并根据预设导出配置规则，提取所述本地文件中的目标数据；

对所述目标数据进行数据筛选，得到数据集合；

为所述数据集合中各子数据添加索引；

根据所述索引，将各所述子数据以预设结构批量插入目标数据库中，以基于所述目标数据库进行数据共享。

进一步地，存储器130中的除尘提醒程序被处理器执行之前还实现以下步骤：

获取所述不同源的数据库；

通过行内交换平台，将所述不同源的数据库转换为文件格式，将转换得到的云端文件保存至所述行内交换平台。

进一步地，存储器130中的除尘提醒程序被处理器执行之前还实现以下步骤：

根据所述预设导出配置规则，将所述本地文件按列拆分为不同的批量进行循环读取，每一批量有对应的批次；

根据所述批次，生成第一定时任务；

执行所述第一定时任务，得到任务结果：

若所述任务结果为，各所述第一定时任务中的子任务正常完成，则开启下一子任务，所有子任务正常完成后，从所述本地文件中提取到目标列集合，通过所述目标列集合组成第一目标数据；

若所述任务结果为，所述第一定时任务中存在子任务读取错误，则将读取错误的子任务暂时保存于错误任务队列中，在执行下一子任务之前，重新读取所述错误任务队列中的错误的子任务，若还出现读取错误，则于所述第一定时任务结束时返回错误。

进一步地，存储器130中的除尘提醒程序被处理器执行之前还实现以下步骤：

读取预处理配置文件，获取所述预处理配置文件的具体内容；

保留所述具体内容中的有效字段，删除无效字段；

根据所述有效字段，对所述数据集合进行预处理，得到预处理结果：

若执行所述预处理正常，则执行所述为所述数据集合中各子数据添加索引的步骤；

若执行所述预处理异常，则发出异常通知。

进一步地，存储器130中的除尘提醒程序被处理器执行之前还实现以下步骤：

保留所述数据集合中的行中的目标信息，删除非目标信息，得到含有目标信息的行与列，通过所述含有目标信息的行与列组成第二目标数据；

对第二目标数据进行类型值转换，得到第三目标数据；

删除所述第三目标数据中的冗余数据，得到第四目标数据，所述第四数据即为所述数据集合。

进一步地，存储器130中的除尘提醒程序被处理器执行之前还实现以下步骤：

将所述目标数据库分成A表与B表，将A表定为主表，将B表定为副表；

根据所述索引，将各所述子数据定时按批量以所述预设结构插入副表中，每一批量有对应的批次；

根据所述批次，生成第一定时任务；

执行所述第一定时任务，得到任务结果：

若所述任务结果为，各所述子数据正常定时按批量以所述预设结构插入到所述副表中，则切换所述副表为主表；

若所述任务结果为，存在所述子数据以所述预设结构插入到所述副表时发生错误，则保持主表不变并进行报警。

本实施例通过上述方案，具体通过获取不同源的数据库对应的云端文件，将所述云端文件保存在本地，记为本地文件，循环分批读取所述本地文件，并根据预设导出配置规则，提取所述本地文件中的目标数据，对所述目标数据进行数据筛选，得到数据集合，为所述数据集合中各子数据添加索引，根据所述索引，将各所述子数据以预设结构批量插入目标数据库中，以基于所述目标数据库进行数据共享，以文件作为媒介，读取并共享多源数据库，解决了从不同源的数据库查询共享数据时，查询共享难且查询共享效率低的问题，又设置了错误处理机制，保证了获取目标数据库的可靠性，降低了错误率，最终达到源数据库的高性能全量数据导出、高性能数据同步、多源数据共享、智能字段过滤、数据查询优化的效果。

基于上述终端设备架构但不限于上述架构，提出本申请方法实施例。

参照图2，图2为。所述数据共享方法包括：

步骤S1001，获取不同源的数据库对应的云端文件，将所述云端文件保存在本地，记为本地文件；

具体地，作为一种实施方式，可以通过行内交换平台，下载不同源的数据库对应的云端文件，并将下载的云端文件保存至本地服务器，得到本地文件。

步骤S1002，循环分批读取所述本地文件，并根据预设导出配置规则，提取所述本地文件中的目标数据；

通过步骤S1001，得到本地文件后，在服务器的内存中对本地文件进行后续处理。循环分批读取本地文件时，可以根据预设的批次进行分批，也可以根据预设的批量进行分批，也可以根据本地文件的大小自适应生成合适的批量批次进行分批。

然后按批次对本地文件中的批量部分进行循环读取，直至读取完本地文件。

通过分批读取本地文件，每一批次读取的批量在服务器的承受范围内，降低了对服务器资源的性能要求，同时避免了在读取本地文件时报错导致整篇重新读取的情况，提高了读取效率。在读取过程中，根据预设导出配置规则，提取导出本地文件中预设需要的行与列，过滤不需要的行与列，通过所提取导出的行与列组成目标数据。

步骤S1003，对所述目标数据进行数据筛选，得到数据集合；

具体地，通过步骤S1002得到目标数据后，在服务器运行内存中，对目标数据中的行与列进行数据筛选，具体筛选包括：保留目标数据中的列中的目标信息，通过目标信息组成数据集合，其中，目标信息为根据使用方的需要而预设要保留的信息，列在数据库中代表属性，对象具有多个属性，保留需要的属性，删除不需要的属性。

具体地，例如出仓中具有时间与数量两个属性，根据使用方的需要，保留时间属性列，删除数量属性列，时间属性列即为数据集合。

步骤S1004，为所述数据集合中各子数据添加索引；

具体地，通过步骤S1003得到数据集合后，根据数据集合中目标列的属性生成索引表，该属性包括目标列的字符类型，目标列的最大数据长度及目标列中出现的字符。

在数据集合中提取目标列的字符类型并记录在索引表中，示例1，对于年龄列，数据中只包含数字。示例2，对于姓名列，数据中只包含汉字。示例3，对于身份证号码列，数据中包含数字及字母。在数据集合中提取目标列的最大数据长度，示例1，对于身份证列，身份证号码长度都是18位数字或数字加字母组成，则该列中个数据对应的数据长度是相同的，直接记录该相同的数据长度在索引表中即可，对于姓名列，地址列，列中各数据对应的数据长度可能存在不同，通过比较数据长度，即可确定其中的最大数据长度并记录在索引表中。在数据集合中提取目标列出现的字符并记录在索引表中。示例1，对于数据“1234a56bcd789”，出现的字符有1，2，3，4，5，6，7，8，9，a，b，c，d，连续出现的最长数字字串为“1234”，连续出现的最长字母字串为“bcd”，则将字符信息，最长数字字串信息及最长字母字串信息记录在索引表中。或者间隔性给数据集合中的子数据字段建一个新索引，字段中的数据就会被复制一份出来，作为属性信息。生成属性信息后记录在索引表中，为下一步骤插入目标数据库提供了位置基础。

例如一张表有一亿条数据，需要查找其中某一条数据，按照常规逻辑，一条一条的去查询共享的话，最坏的情况下需要匹配一亿次才能得到结果，此时的最坏时间复杂度为一亿，建立上述数据库索引或ES索引后，根据索引表中的属性信息即可快速定位，找到目标数据，将可能几分钟的遍历过程简化为几毫秒的查找过程，大大提高了查找性能。

步骤S1005，根据所述索引，将各所述子数据以预设结构批量插入目标数据库中，以基于所述目标数据库进行数据共享；

通过步骤S1004，得到索引表，其中索引表中包含目标列的字符类型，目标列的最大数据长度及目标列中出现的字符，根据索引表中的属性信息，找到数据集合中对应的目标数据，将目标数据以预设结构批量插入目标数据库中，以基于所述目标数据库进行数据共享，其中，预设结构是根据使用方对目标数据库的需求，预先设计的结构。根据索引表将子数据插入目标数据库中，得到目标数据库。

本实施例通过上述方案，具体通过获取不同源的数据库对应的云端文件，将所述云端文件保存在本地，记为本地文件，循环分批读取所述本地文件，并根据预设导出配置规则，提取所述本地文件中的目标数据，对所述目标数据进行数据筛选，得到数据集合，为所述数据集合中各子数据添加索引，根据所述索引，将各所述子数据以预设结构批量插入目标数据库中，以基于所述目标数据库进行数据共享，以文件为媒介，解决了多源数据库参数类型不同导致无法读取的问题，在读取文件时分批读取，降低了对服务器或应用的性能要求，针对大数据库采用插入索引，能快读定位到大数据库中的目标位置，提高了查询性能。

参照图3，图3为本申请数据共享方法另一示例性实施例的流程示意图。在上述步骤S1001，获取不同源的数据库对应的云端文件，将所述云端文件保存在本地，记为本地文件的步骤之前包括：

步骤A100，获取所述不同源的数据库；

具体地，根据使用方的需求，获取多元化格式的数据库，数据库的来源可以是多源的，比如通过不同接口获取的同一数据库或整段字段信息，或者通过不同接口分别获取的同一数据库的不同分段信息或整段字段信息的部分字段信息。

示例1，从接口A获取入仓数据库信息，从接口B获取出仓数据库信息。

示例2，从接口A获取入仓数据库信息中的对象信息，从接口B获取入仓数据库信息中的金额信息。

步骤A200，通过行内交换平台，将所述不同源的数据库转换为文件格式，将转换得到的云端文件保存至所述行内交换平台；

具体地，通过上述步骤S100后，得到源数据库信息，通过行内交换平台中的数据转换作业，将源数据库转换为文件形式，该文件形式利于提取文件中的信息，其中，当数据库或字段信息的大小小于预设阈值时，对应生成一个文件，当数据库或字段信息的大小达到预设阈值时，根据数据库或字段信息的大小，分段生成多个文件。

示例1，数据库共有11行，行内交换平台的转换预设阈值为10行，则该数据库最终对应有两个云端文件，文件的格式可以是数据文件格式，其名称后缀为.dat，该数据文件格式内容由若干行组成，其中，第一个云端文件包含数据库1至10行的内容，第二个云端文件包含数据库第11行的内容。

本实施例通过上述方案，具体为通过获取所述不同源的数据库，通过行内交换平台，将所述不同源的数据库转换为文件格式，将转换得到的云端文件保存至所述行内交换平台，以文件为媒介，解决了多源数据不能进行共享的问题，并对文件进行分段，降低了对本地服务器或应用的性能的要求。

参照图4，图4为本申请数据共享方法另一示例性实施例的流程示意图。步骤S1002，循环分批读取所述本地文件，并根据预设导出配置规则，提取所述本地文件中的目标数据的步骤包括：

步骤B100，根据所述预设导出配置规则，将所述本地文件按列拆分为不同的批量进行循环读取，每一批量有对应的批次；

具体地，所述预设导出配置规则包括将本地文件按列拆分为不同的批量，该批量可以是预先设置的，通过批量确定批次，或者预先设置批次，再通过批次确定批量，或者根据历史处理记录，选择合适的批量即批次对本地文件进行循环读取，循环读取的步骤具体为在服务器的运行内存中，对每一列的信息进行读取，读取完一列信息后，开始读取下一列，直至读取完本地文件，每一批量的读取都有对应的批次。

步骤B200，根据所述批次，生成第一定时任务；

具体地，根据每一批量读取的批次，生成第一定时任务，其中，第一定时任务中包含若干个子任务，每一个子任务对应一个批次，用于记录对应批次的执行情况，即记录中每一批量读取本地文件的情况。

步骤B300，执行所述第一定时任务，得到任务结果：

若所述任务结果为，各所述第一定时任务中的子任务正常完成，则开启下一子任务，所有子任务正常完成后，从所述本地文件中提取到目标列集合，通过所述目标列集合组成目标数据；

若所述任务结果为，所述第一定时任务中存在子任务读取错误，则将读取错误的子任务暂时保存于错误任务队列中，在执行下一子任务之前，重新读取所述错误任务队列中的错误的子任务，若还出现读取错误，则于所述第一定时任务结束时返回错误。

具体地，通过步骤B200生成第一定时任务，其中的子任务的任务结果即为读取每一批量的结果，即得到批量对应批次的结果，对批次的结果进行整合，得到第一定时任务的执行结果：

第一定时任务中包含多个子任务，每一子任务对应每一批量批次读取本地文件的情况，子任务读取完成后得到子任务结果，通过子任务结果得到第一定时任务结果：若第一定时任务执行结果为，所有子任务，即所有读取任务正常执行，则通过整合读取任务读取到的数据，得到数据集合。

若第一定时任务执行结果为，存在某一子任务读取错误，即某一批次按批量读取本地文件时读取错误，则将该读取错误的子任务暂时保存至错误任务队列中，在执行下一子任务之前，优先对错误任务列表中的读取错误的子任务进行再次读取，若读取再次错误，则将该读取错误的子任务记录在库，与任务结束时返回错误。

本实施例通过上述方案，具体为通过根据所述预设导出配置规则，将所述本地文件按列拆分为不同的批量进行循环读取，每一批量有对应的批次，根据所述批次，生成第一定时任务，执行所述第一定时任务，得到任务结果，若所述任务结果为，各所述第一定时任务中的子任务正常完成，则开启下一子任务，所有子任务正常完成后，从所述本地文件中提取到目标列集合，通过所述目标列集合组成第一目标数据，若所述任务结果为，所述第一定时任务中存在子任务读取错误，则将读取错误的子任务暂时保存于错误任务队列中，在执行下一子任务之前，重新读取所述错误任务队列中的错误的子任务，若还出现读取错误，则于所述第一定时任务结束时返回错误，监测子任务的文件读取情况，保证了读取任务的可靠性，有效地获取到数据集合，以进行下一步骤。

参照图5，图5为本申请数据共享方法另一示例性实施例的流程示意图。步骤S1003，对所述目标数据进行数据筛选，得到数据集合的步骤之后还包括：

首先，上述步骤S1003中对得到数据集合后，读取预处理配置文件，获取预处理的具体内容，对预处理配置中的有效字段进行保留，删除无效字段，得到预处理配置的具体处理方法，在服务器内存中，加入每条数据组成数据集合时，根据预处理配置的具体处理方法对数据集合中的每行字段进行预处理。

步骤C100，读取预处理配置文件，获取所述预处理配置文件的具体内容；

具体地，预处理配置文件为预设的文件，该文件中以字段的形式，记录有多种预处理方法，该预处理方法可以在后期根据使用方的需求进行更新添加，为预处理数据集合提供了具体预处理方法。

步骤C200，保留所述具体内容中的有效字段，删除无效字段；

具体地，获取预处理配置文件的具体内容后，根据使用方的需求，保留其中的有效字段，删除无效字段。

步骤C300，根据所述有效字段，对所述数据集合进行预处理，得到预处理结果：

若执行所述预处理正常，则执行所述为所述数据集合中各子数据添加索引的步骤；

若执行所述预处理异常，则发出异常通知；

具体地，根据预处理配置中的有效字段，在服务器运行内存中，对数据集合进行预处理，并得到预处理结果：若执行预处理处理正常，正常依次执行S1004及S1005的步骤。若执行预处理异常，则发出异常通知，异常通知的方式可以是，将服务器内存中的错误处理结果反馈给系统并通过邮件发送到预设的邮箱地址，以通知相关负责人处理错误。

本实施例通过上述方案，具体为通过读取预处理配置文件，获取所述预处理配置文件的具体内容，保留所述具体内容中的有效字段，删除无效字段，根据所述有效字段，对所述数据集合进行预处理，得到预处理结果：若执行所述预处理正常，则执行所述为所述数据集合中各子数据添加索引的步骤，若执行所述预处理异常，则发出异常通知，设置了预处理错误处理机制，及时反馈预处理结果，保证了预处理数据的可靠性，降低了错误率。

参照图6，图6为本申请数据共享方法另一示例性实施例的流程示意图。步骤S1003，对所述目标数据进行数据筛选，得到数据集合的步骤之后还包括：

步骤D100，保留所述数据集合中的行中的目标信息，删除非目标信息，得到含有目标信息的行与列，通过所述含有目标信息的行与列组成第二目标数据；

具体地，行代表对象，对象具有多个属性，在第一目标数据中，保留同一对象的多个属性中需要的属性，删除不需要的属性，并将删除的属性保存后上传通知相关责任人，上述需要的属性即为目标信息，删除后，通过含有目标信息的行与列组成第二目标数据。

示例1，入仓与出仓的时间与数量，其中，入仓与出仓是对象，时间与数量是不同的属性，当只需要用到A的时间及B的数量时，保留A的时间及B的数量信息，删除A的数量信息及B的时间信息，通过A的时间及B的数量信息组成第二目标数据。

步骤D200，对第二目标数据进行类型值转换，得到第三目标数据；

具体地，通过步骤C100后得到第二目标数据，对第二目标数据进行类型值转换，因为数据库的来源是不同的，其中的参数类型可能存在不同，对不同参数类型的数据库对应的本地文件中的数据进行类型转换，形成统一的参数类型。

示例1，A数据库为0/1类型值，则对应的本地文件也为0/1类型值，根据预处理配置，对0、1进行转换，具体将0代表的内容与1代表的内容分别写入第三目标数据中，得到第三目标数据。

步骤D300，删除所述第三目标数据中的冗余数据，得到第四目标数据，所述第四数据即为所述数据集合；

首先，删除具体可以是逻辑删除，逻辑删除为没有真正删除数据中的字段，只是在字段前加入无法被识别的字符，逻辑删除可以通过适当的工具恢复所删除的字段。

具体地，通过步骤C200得到第三目标数据后，对第三目标数据中的数据进行逻辑删除，删除后的目标数据即为数据集合。

示例1，删除第三目标数据中的脏数据，脏数据为，在转换时，中英文符号和/或全角半角符号不一致产生的冗余，对符号进行参数类型统一后删除冗余的符号。

本实施例通过上述方案，具体为通过保留所述数据集合中的行中的目标信息，删除非目标信息，得到含有目标信息的行与列，通过所述含有目标信息的行与列组成第二目标数据，对第二目标数据进行类型值转换，得到第三目标数据，删除所述第三目标数据中的冗余数据，得到第四目标数据，所述第四数据即为所述数据集合，根据预处理配置中的有效字段信息，对目标数据进行预处理，得到相比普通方式，更精简的目标数据，提高了之后的生成及查询性能。

参照图7，图7为本申请数据共享方法另一示例性实施例的流程示意图。步骤S1005，根据所述索引，将各所述子数据以预设结构批量插入目标数据库中，以基于所述目标数据库进行数据共享的步骤包括：

步骤E100，将所述目标数据库分成A表与B表，将A表定为主表，将B表定为副表；

具体地，将目标数据库分成两个表，分别为A表与B表，其中A表与B表可以进行互换，这里作为AB表是为了将主表与副表区分开，将A表定为主表，则将B为副表，若将A表定位副标，则B表为主表，本实施例以前者作为例子进行说明。主表与副表的区别在于，主表是一个全量格式的表，附表是一个增量格式的表，在附表中进行数据的更新，更新正常完成后，则删除主表，并切换附表为主表，当接收到新的数据更新指令时，重复上述更新并切换的步骤。

示例1，初始主表附表都为0，第一天附表进行更新，更新内容为更新为1，对副表更新完成后，则将主表0删除，副表1作为当前主表，第二天，主表为1，副表为0，更新内容为更新为2，对副表更新完成后，则将主表1删除，副表2作为当前主表，当接收到更新指令时，重复上述步骤，避免了因更新错误导致的目标数据库中的数据不准确的问题。

步骤E200，根据所述索引，将各所述子数据定时按批量以所述预设结构插入副表中，每一批量有对应的批次；

具体地，通过步骤S1004，得到具有子数据属性信息的索引表，根据属性信息，将子数据对应定时按批量以所述预设结构插入副表中，其中，定时为预设的定时任务，批量与批次的选择同步骤B100，这里不作赘述，每一批量插入子数据有对应的批次信息。

步骤E300，根据所述批次，生成第一定时任务；

具体地，根据批次信息，生成第一定时任务，以了解子数据插入目标数据库的插入情况。

步骤E400，执行所述第一定时任务，得到任务结果：

若所述任务结果为，各所述子数据正常定时按批量以所述预设结构插入到所述副表中，则切换所述副表为主表；

若所述任务结果为，存在所述子数据以所述预设结构插入到所述副表时发生错误，则保持主表不变并进行报警；

具体地，执行第一定时任务，得到子数据插入目标数据库的若干结果，即任务结果。

若任务结果为，每一批次的子数据都正常插入到目标数据库的副表中，则切换所述副表为主表，即原副表为增量格式，切换后为全量格式。

若任务结果为，存在某一批次的子数据在插入到目标数据库的副表时发生错误，则不进行切换步骤，主表保持不变并进行报警，报警的方式可以是通过邮件发送到预设的邮箱地址，以提醒相关负责人更新错误，通过监测更新情况并设置报警机制，提升了数据同步性能降低数据同步错误率。

本实施例通过上述方案，具体为通过将所述目标数据库分成A表与B表，将A表定为主表，将B表定为副表，根据所述索引，将各所述子数据定时按批量以所述预设结构插入副表中，每一批量有对应的批次，根据所述批次，生成第一定时任务，执行所述第一定时任务，得到任务结果：若所述任务结果为，各所述子数据正常定时按批量以所述预设结构插入到所述副表中，则切换所述副表为主表，若所述任务结果为，存在所述子数据以所述预设结构插入到所述副表时发生错误，则保持主表不变并进行报警，通过智能批量入库更新数据并设置错误处理机制，提升了数据同步性能，降低了数据同步错误率。

此外，本申请实施例还提出一种数据共享装置，所述数据共享装置包括：

获取模块，用于获取不同源的数据库对应的云端文件，将所述云端文件保存在本地，记为本地文件；

读取模块，用于循环分批读取所述本地文件；

提取模块，用于根据预设导出配置规则，提取所述本地文件中的目标数据；

筛选模块，用于对所述目标数据进行数据筛选，得到数据集合；

添加模块，用于为所述数据集合中各子数据添加索引；

插入模块，用于根据所述索引，将各所述子数据以预设结构批量插入目标数据库中，以基于所述目标数据库进行数据共享。

此外，本申请实施例还提出一种终端设备，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据共享程序，所述数据共享程序被所述处理器执行时实现如上所述的数据共享方法的步骤。

由于本数据共享程序被处理器执行时，采用了前述所有实施例的全部技术方案，因此至少具有前述所有实施例的全部技术方案所带来的所有有益效果，在此不再一一赘述。

此外，本申请实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有数据共享程序，所述数据共享程序被处理器执行时实现如上所述的数据共享方法的步骤。

由于本数据共享程序被处理器执行时，采用了前述所有实施例的全部技术方案，因此至少具有前述所有实施例的全部技术方案所带来的所有有益效果，在此不再一一赘述。

相比现有技术，本申请实施例提出的一种数据共享方法、装置、终端设备以及存储介质，通过获取不同源的数据库对应的云端文件，将所述云端文件保存在本地，记为本地文件，循环分批读取所述本地文件，并根据预设导出配置，提取所述本地文件中的目标数据，根据预设筛选配置及预设预处理配置，对所述目标数据进行数据筛选及预处理，得到数据集合，生成具有预设结构的目标数据库，并为所述目标数据库中的所述数据集合中的子数据添加索引，根据所述索引及预设入库配置，将所述子数据以所述预设结构批量插入目标数据库中，得到所述目标数据库，所述目标数据库中的数据集合即为使用方需要的目标数据，同时通过索引及动态筛选配置，可以根据需求获取目标数据集合，解决了使用方从不同源的数据库查询目标数据时，查询难且查询效率低的问题。其中，由于将不同源的数据库转换为云端文件，实现了数据互通，且通过分批量批次读取云端文件，并在读取时根据预设预处理配置过滤冗余数据，保留目标数据，进行类型值转换，降低了对本地服务器或应用等的性能需求，且通过在按批量批次入库更新时，设置错误处理机制，提升数据同步性能，降低了数据同步错误率。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，被控终端，或者网络设备等)执行本发明每个实施例的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种数据共享方法，其特征在于，所述数据共享方法包括以下步骤：

获取不同源的数据库对应的云端文件，将所述云端文件保存在本地，记为本地文件；

循环分批读取所述本地文件，并根据预设导出配置规则，提取所述本地文件中的目标数据；

对所述目标数据进行数据筛选，得到数据集合；

为所述数据集合中各子数据添加索引；

根据所述索引，将各所述子数据以预设结构批量插入目标数据库中，以基于所述目标数据库进行数据共享。

2.如权利要求1所述的数据共享方法，其特征在于，所述获取不同源的数据库对应的云端文件，将所述云端文件保存在本地，记为本地文件的步骤之前包括：

获取所述不同源的数据库；

通过行内交换平台，将所述不同源的数据库转换为文件格式，将转换得到的云端文件保存至所述行内交换平台。

3.如权利要求1所述的数据共享方法，其特征在于，所述循环分批读取所述本地文件，并根据预设导出配置规则，提取所述本地文件中的目标数据的步骤包括：

根据所述预设导出配置规则，将所述本地文件按列拆分为不同的批量进行循环读取，每一批量有对应的批次；

根据所述批次，生成第一定时任务；

执行所述第一定时任务，得到任务结果：

若所述任务结果为，各所述第一定时任务中的子任务正常完成，则开启下一子任务，所有子任务正常完成后，从所述本地文件中提取到目标列集合，通过所述目标列集合组成第一目标数据；

若所述任务结果为，所述第一定时任务中存在子任务读取错误，则将读取错误的子任务暂时保存于错误任务队列中，在执行下一子任务之前，重新读取所述错误任务队列中的错误的子任务，若还出现读取错误，则于所述第一定时任务结束时返回错误。

4.如权利要求1所述的数据共享方法，其特征在于，所述对所述目标数据进行数据筛选，得到数据集合的步骤之后还包括：

读取预处理配置文件，获取所述预处理配置文件的具体内容；

保留所述具体内容中的有效字段，删除无效字段；

根据所述有效字段，对所述数据集合进行预处理，得到预处理结果：

若执行所述预处理正常，则执行所述为所述数据集合中各子数据添加索引的步骤；

若执行所述预处理异常，则发出异常通知。

5.如权利要求4所述的数据共享方法，其特征在于，所述预处理包括对所述目标数据进行保留、类型值转换、删除处理，所述对所述数据集合进行预处理的步骤包括：

保留所述数据集合中的行中的目标信息，删除非目标信息，得到含有目标信息的行与列，通过所述含有目标信息的行与列组成第二目标数据；

对第二目标数据进行类型值转换，得到第三目标数据；

删除所述第三目标数据中的冗余数据，得到第四目标数据，所述第四数据即为所述数据集合。

6.如权利要求1所述的数据共享方法，其特征在于，所述根据所述索引，将各所述子数据以预设结构批量插入目标数据库中，以基于所述目标数据库进行数据共享的步骤包括：

将所述目标数据库分成A表与B表，将A表定为主表，将B表定为副表；

根据所述索引，将各所述子数据定时按批量以所述预设结构插入副表中，每一批量有对应的批次；

根据所述批次，生成第一定时任务；

执行所述第一定时任务，得到任务结果：

若所述任务结果为，各所述子数据正常定时按批量以所述预设结构插入到所述副表中，则切换所述副表为主表；

若所述任务结果为，存在所述子数据以所述预设结构插入到所述副表时发生错误，则保持主表不变并进行报警。

7.如权利要求1所述的数据共享方法，其特征在于，所述为所述目标数据添加索引字段的步骤包括：

根据所述预设结构及所述目标数据的具体内容，自动添加数据库索引或ES索引。

8.一种数据共享装置，其特征在于，所述数据共享装置包括：

获取模块，用于获取不同源的数据库对应的云端文件，将所述云端文件保存在本地，记为本地文件；

读取模块，用于循环分批读取所述本地文件；

提取模块，用于根据预设导出配置规则，提取所述本地文件中的目标数据；

筛选模块，用于对所述目标数据进行数据筛选，得到数据集合；

添加模块，用于为所述数据集合中各子数据添加索引；

插入模块，用于根据所述索引，将各所述子数据以预设结构批量插入目标数据库中，以基于所述目标数据库进行数据共享。

9.一种终端设备，其特征在于，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据共享程序，所述数据共享程序被所述处理器执行时实现如权利要求1-7中任一项所述的数据共享方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有数据共享程序，所述数据共享程序被处理器执行时实现如权利要求1-7中任一项所述的数据共享方法的步骤。

Images