CN115185973A - 一种数据资源共享方法、平台、装置及存储介质 - Google Patents

Abstract

本申请涉及数据共享的技术领域，特别涉及一种数据资源共享方法、平台、装置及存储介质，该方法包括输入数据项；基于输入的数据项查找关联表；根据关联表筛选数据项对应的同义词库；设置值域范围以及数据共享方式；根据数据项以及同义词库生成查询脚本语句；后台执行脚本语句并将数据推送给客户端。

Description

一种数据资源共享方法、平台、装置及存储介质

技术领域

本申请涉及数据共享的技术领域，特别涉及一种数据资源共享方法、平台、装置及存储介质。

背景技术

随着互联网通信的发展，大数据技术也愈发成熟，数据共享作为大数据技术的其中一个分支，已逐渐应用于云业务处理中。数据共享是指在不同地方使用不同计算机、不同软件的用户能够读取他人数据并进行各种操作、运算和分析。

现有的数据共享技术主要有以下三种方式：

其一，通过数据文件方式进行数据共享，数据共享方将数据导出到Excel、Access、XML等电子文件，将文件共享给数据请求方。数据请求方读取数据文件并解析获取数据。此种数据共享方式受人为因素影响较大，数据获取与更新时效性较差。

其二，开放数据库表或视频访问权限进行数据共享，在数据库设置数据共享账户，提供需要共享表或视图的访问权限，数据请求方直接操作数据库获取数据。此种方式数据共享效率有所提高，但是由于直接将数据库开放给数据请求方，给数据库带来比较大的安全隐患，多个数据请求方并发访问数据库，也给数据库稳定性带来影响。

其三，提供API接口服务进行数据共享，数据共享方将需要共享数据封装成API接口，数据请求方调用API接口访问数据，此种数据共享方式需要计算机程序编程，技术性要求较高。

以上三种数据共享方式存在以下问题：

1、面对规模巨大且加速增长的数据量，业务人员在实际数据使用和分析统计过程中，却普遍对数据分布位置以及如何快速获取所需数据等问题存在困惑，数据共享方在接收到数据共享请求后进行全库、全表、全数据项检索，检索范围大，花费时间长，没有针对性，而检索结果往往并非数据请求方真正需要的数据。

2、数据共享方式技术性较强，不熟悉计算机技术人员操作起来难度大，对于数据共享频次、数据共享字段组合方式没有进行沉淀形成知识积累，无法掌握请求方对于数据的喜好偏好，不能进行较好的数据运营。

发明内容

为了解决上述技术问题，本申请提供一种数据资源共享方法、平台、装置及存储介质。

第一方面，本申请提供一种数据资源共享方法，采用如下的技术方案：

一种数据资源共享方法，包括：

输入数据项；

基于输入的数据项查找关联表；

根据关联表筛选数据项对应的同义词库；

设置值域范围以及数据共享方式；

根据数据项以及同义词库生成查询脚本语句；

后台执行脚本语句并将数据推送给客户端。

优选的，所述基于输入的数据项查找关联表，具体包括：汇聚库在数据表汇聚过程中进行数据项注册，将数据元与数据项、数据表进行关联，形成关联项构建关联库，并在关联库中查找关联表。

优选的，所述根据关联表筛选数据项对应的同义词库，具体包括：基于同义词知识库并配合机器学习方式，对输入的数据项进行语义分析，提取语义相近词组得到同义词库。

优选的，所述设置值域范围，具体包括：通过系统自动关联查找到所有与此数据项相关的表格，挑选字段，并根据每个字段设置值域范围。

第二方面，本申请提供一种数据资源共享平台，采用如下的技术方案：

一种数据资源共享平台，包括：

输入模块，用于输入数据项；

查找模块，用于根据输入的数据项查找关联表；

筛选模块，用于根据关联表筛选数据项对应的同义词库；

设置模块，用于设置值域范围以及数据共享方式；

生成模块，用于根据数据项以及同义词库生成查询脚本语句；

共享模块，用于执行脚本语句并将数据推送给客户端。

优选的，所述用于根据输入的数据项查找关联表，具体包括：汇聚库在数据表汇聚过程中进行数据项注册，将数据元与数据项、数据表进行关联，形成关联项构建关联库，并在关联库中查找关联表。

优选的，所述用于根据关联表筛选数据项对应的同义词库，具体包括：基于同义词知识库并配合机器学习方式，对输入的数据项进行语义分析，提取语义相近词组得到同义词库。

优选的，所述用于设置值域范围，具体包括：通过系统自动关联查找到所有与此数据项相关的表格，挑选字段，并根据每个字段设置值域范围。

第三方面，本申请提供一种计算机装置，采用如下的技术方案：

一种计算机装置，包括存储器、处理器及存储在存储器中并能够在处理器上运行的计算机程序，所述处理器加载计算机程序时，执行第一方面的方法。

第四方面，本申请提供一种计算机可读存储介质，采用如下的技术方案：

一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器加载时，执行第一方面的方法。

综上，本申请具有如下有益效果：

1、传统数据共享基于列表形式进行数据展示，用户以全量或增量方式进行数据阅览和选择，本方法提供数据地图，用户可以迅速定位到需要的数据记录，并进行选择定制。

2、本申请提供的数据资源可视化地图，采用以数据元为基础关联相关数据项，服务端只查询关联的数据项，提高数据共享的效率，非计算机专业业务人员即可以完成，并且，在计划时间内将定制数据以主动推送方式推送给客户端，降低服务端数据处理压力，减轻网络并发负载，提升系统的稳定性。

附图说明

图1为本发明的数据资源共享方法的方法流程图。

图2为本发明的数据地图构建流程图。

图3为本发明的数据资源共享方法的模块框架图。

附图标记说明：

1、输入模块；2、查找模块；3、筛选模块；4、设置模块；5、生成模块；6、共享模块。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图1-3及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例进用以解释本申请，并不用于限定本申请。

本申请旨在提供一种快速、精准、高效、智能、安全的数据资源共享方法以及平台，构建数据地图提供可视化数据功能，实现数据过程灵活、简便操作，降低对业务单位操作人员的技术要求。仅推送用户关注的简项数据，大大降低推送的数据量，以冷、热数据为指标，确保关键数据、高价值数据能够得到重点关注。

本申请以数据元为基础，关联数据资源，构建数据地图，依据数据资源共享服务平台，根据不同需要对数据共享的要求，实现数据定制，为各单位的数据分析研判与应用提供直观、精准、高效和安全的数据服务，也能够为建立各类专题资源库提供强大的技术支撑，同时，系统要能对各业务单位的数据资源情况进行归纳总结，分析冷、热数据，形成各业务单位的作战导航图，助推各单位数据资源的深度应用、规模应用。

本申请实施例公开一种数据资源共享方法，参照图1，该方法包括：

S1：输入数据项；

S2：基于输入的数据项查找关联表；

S3：根据关联表筛选数据项对应的同义词库；

S4：设置值域范围以及数据共享方式；

S5：根据数据项以及同义词库生成查询脚本语句；

S6：后台执行脚本语句并将数据推送给客户端。

其中，于步骤S2中，汇聚库在数据表汇聚过程中进行数据项注册，将数据元与数据项、数据表进行关联，形成关联项构建关联库，并在关联库中查找关联表。

其中，于步骤S3中，基于同义词知识库并配合机器学习方式，对输入的数据项进行语义分析，提取语义相近词组得到同义词库。

其中，于步骤S4中，通过系统自动关联查找到所有与此数据项相关的表格，挑选字段，并根据每个字段设置值域范围。

参照图2，其中，在本实施例中，通过机器学习方法对同义词进行语义分析形成同义词库，系统运行过程中读取相关数据项，根据同义词库进数据元匹配，将关联结果形成关联库，系统基于关联库梳理数据之间的关联关系，以数据元为基础对数据进行逐层展示，构建可视化地图。

其中，在本实施例中，在服务端，数据资源汇聚库汇聚了已有的存量数据，针对存量数据，以数据元为基础，通过数据地图展示数据关联关系，提供数据资源定制软件界面，数据请求方输入感兴趣的数据项，通过关联库关联关系找到全部相关的表，勾选所需要的数据项，设置数据项值域范围，系统自动生成数据查询语句，从后台查询用户感兴趣数据形成结果集，服务端定时将结果主动推送给数据请求方。

其中，在本实施例中，数据采集与整合，采用调度中心加决策中心相结合的分布式数据采集处理架构，支持多样化的采集策略和多种抽取、汇总方式，实现可视化任务编排、配置、规则定义及发布，针对结构化资源和非结构化资源，以数据映射、数据裁剪、数据过滤的工具化手段进行数据处理。

其中，在本实施例中，集中式数据质量管控，支持数据质量核查规则配置与管理，在数据采集清洗过程中完成数据质量核查与告警，支持对数据质量告警的监控和数据质量问题的可视化呈现，提供知识库管理和查询，支持数据血统分析和影响分析。

其中，在本实施例中，统一的资源目录管理，实现统一的元数据管理，包括元数据的模型设计、模型审核、模型实施、模型验证，以及模型版本管理、关系管理等，支持资源的检索与定位，便于服务的重用与维护。

其中，在本实施例中，安全便捷的数据交换共享，平台提供两类数据共享方法，其一是以数据服务的形式封装数据，提供统一的数据开发共享能力，数据服务封装和开发，支持WebService协议、FTP协议和数据库等各类接口，支持服务发布、订阅及审核管理，同时支持对服务调用情况进行监控，以确保平台采集管理的数据正常实现交换共享；其二是以数据地图方式提供数据资源共享。

其中，在本实施例中，构建同义词库，对数据库、卷宗文本进行分析，提取语义相近词组构成同义词库，采用同义词林产品、统计机器翻译对齐相结合方式进行语义分析和同义词挖掘，对于每一组同义词制定数据元，并且，明确一组属性规则其定义、标识、表示、允许值以同义词名称，一组同义词组以数据元为词根。

其中，整合同义词词林产品，具体包括获取同义词词林直接生成字典，抓取百度词典、金山词霸等的词条中的数据，提取原词和同义词，从百度百科、搜狗百科等网站抓取词条，在词条中，有“又称”、“别名”等特征词，利用这些特征词，构成模板提取词的其他描述。

其中，统计机器翻译对齐，具体包括分析用户浏览器中日常查询数据时实用的Query数据脚本，构建平行语料，如相似的Query集、Query-title等，相似Query集是指点击到统一title的不同Query，同时过滤掉一些明显不相关的Query，在相似的Query集中取Query1与Query2相差只有一两个词不一样(防止平行语料差异过大，影响翻译对齐的效果)，构建成平行语料，通过统计机器翻译的对齐算法，学习词与词之间的对齐关系，利用对齐词、抽取对齐概率高、上下文内容丰富的词语对，作为同义词，除了挖掘同义词外，统计机器翻译还可以直接生成改写句子，利用词对齐信息，抽取短语翻译概率表。

其中，在本实施例中，关联库构建模块，具体包括汇聚库在数据汇聚过程中进行数据项注册，将数据元与数据项、数据表等进行关联，形成关联项构建关联库，梳理现有数据库，将数据项与现有数据元进行同义词匹配，对于可以形成同义词的数据项入同义词关联库，对于不可以形成关联库的数据项重新制定数据元。

其中，在本实施例中，数据地图展示模块，以数据元为基础，从数据元可以展示与数据元相关的表，并完整展示表的数据结构，挑选需要的数据项，设置数据筛选条件，既可以从系统过滤出需要的数据，数据地图提供一种图形化的数据资产管理工具，提供了多层次的图形化展现，并局别各种力度控制力，满足业务应用、数据管理、开发运维不同应用场景的图形查询和辅助分析需求。

其中，在本实施例中，数据资源共享模块，输入需要的数据项，通过系统自动关联功能查找到所有与此数据相关的表格，数据请求方挑选感兴趣的字段，对于每个具体字段可以设置值域范围，设置好字段和值域范围后提供数据共享申请，由数据共享方进行数据查找处理，并且，在指定时间将数据主动推送到数据请求方，每次数据共享任务形成一个数据共享专题，不同部门由于存在业务共性，因此，A部门可以继承B部门专题，对需要共享的数据进行增减，避免重新建立数据共享专题，提高了数据共享效率。

参照图3，本申请提供一种数据资源共享平台，其包括：

输入模块1，用于输入数据项；

查找模块2，用于根据输入的数据项查找关联表；

筛选模块3，用于根据关联表筛选数据项对应的同义词库；

设置模块4，用于设置值域范围以及数据共享方式；

生成模块5，用于根据数据项以及同义词库生成查询脚本语句；

共享模块6，用于执行脚本语句并将数据推送给客户端。

通过本申请平台的设置，传统数据共享基于列表形式进行数据展示，用户以全量或增量方式进行数据阅览和选择，本方法提供数据地图，用户可以迅速定位到需要的数据记录，并进行选择定制；并且，本申请提供的数据资源可视化地图，采用以数据元为基础关联相关数据项，服务端只查询关联的数据项，提高数据共享的效率，非计算机专业业务人员即可以完成，并且，在计划时间内将定制数据以主动推送方式推送给客户端，降低服务端数据处理压力，减轻网络并发负载，提升系统的稳定性。

本申请实施例公开一种计算机装置，包括存储器、处理器及存储在存储器中并能够在处理器上运行的计算机程序，其中，处理器加载计算机程序时，执行上述实施例的数据资源共享方法。

其中，计算机装置可以采用台式电脑、笔记本电脑、云端服务器、嵌入式系统、可编程门阵列系统或专用集成电路系统等，并且，计算机装置包括但不限于处理器以及存储器，例如，计算机装置还可以包括输入输出设备、网络接入设备以及总线等。

其中，处理器可以采用中央处理单元(CPU)，当然，根据实际的使用情况，也可以采用其他通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，通用处理器可以采用微处理器或者任何常规的处理器等，本申请对此不做限制。

其中，存储器可以为计算机装置的内部存储单元，例如，计算机装置的硬盘或者内存，也可以为计算机装置的外部存储设备，例如，计算机装置上配备的插接式硬盘、智能存储卡(SMC)、安全数字卡(SD)、闪存卡(FC)、Flash或eMMC等，其中，Flash和eMMC用于嵌入式系统，并且，存储器还可以为计算机装置的内部存储单元与外部存储设备的组合，存储器用于存储计算机程序以及计算机装置所需的其他程序和数据，存储器还可以用于暂时地存储已经输出或者将要输出的数据，本申请对此不做限制。

其中，通过本计算机装置，将上述实施例的数据资源共享方法存储于计算机装置的存储器中，并且，被加载并执行于计算机装置的处理器上，以方便用户使用。

本申请实施例公开一种计算机可读存储介质，并且，计算机可读存储介质中存储有计算机程序，其中，计算机程序被处理器加载时，执行上述实施例的数据资源共享方法。

其中，计算机程序可以存储于计算机可读介质中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间件形式等，计算机可读介质包括能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM)、随机存取存储器(RAM)、电载波信号、电信信号以及软件分发介质等，需要说明的是，计算机可读介质包括但不限于上述元器件，计算机存储器包括Flash和eMMC等。

其中，通过本计算机可读存储介质，将上述实施例的数据资源共享方法存储于计算机可读存储介质中，并且，被加载并执行于处理器上，以方便数据资源共享方法的存储及应用。

以上均为本申请的较佳实施例，并非依此限制本申请的保护范围，本说明书(包括摘要和附图)中公开的任一特征，除非特别叙述，均可被其他等效或者具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

Claims (10)

1.一种数据资源共享方法，其特征在于，包括：

输入数据项；

基于输入的数据项查找关联表；

根据关联表筛选数据项对应的同义词库；

设置值域范围以及数据共享方式；

根据数据项以及同义词库生成查询脚本语句；

后台执行脚本语句并将数据推送给客户端。

2.根据权利要求1所述的数据资源共享方法，其特征在于，所述基于输入的数据项查找关联表，具体包括：汇聚库在数据表汇聚过程中进行数据项注册，将数据元与数据项、数据表进行关联，形成关联项构建关联库，并在关联库中查找关联表。

3.根据权利要求1所述的数据资源共享方法，其特征在于，所述根据关联表筛选数据项对应的同义词库，具体包括：基于同义词知识库并配合机器学习方式，对输入的数据项进行语义分析，提取语义相近词组得到同义词库。

4.根据权利要求1所述的数据资源共享方法，其特征在于，所述设置值域范围，具体包括：通过系统自动关联查找到所有与此数据项相关的表格，挑选字段，并根据每个字段设置值域范围。

5.一种数据资源共享平台，其特征在于，包括：

输入模块(1)，用于输入数据项；

查找模块(2)，用于根据输入的数据项查找关联表；

筛选模块(3)，用于根据关联表筛选数据项对应的同义词库；

设置模块(4)，用于设置值域范围以及数据共享方式；

生成模块(5)，用于根据数据项以及同义词库生成查询脚本语句；

共享模块(6)，用于执行脚本语句并将数据推送给客户端。

6.根据权利要求5所述的数据资源共享平台，其特征在于，所述用于根据输入的数据项查找关联表，具体包括：汇聚库在数据表汇聚过程中进行数据项注册，将数据元与数据项、数据表进行关联，形成关联项构建关联库，并在关联库中查找关联表。

7.根据权利要求5所述的数据资源共享平台，其特征在于，所述用于根据关联表筛选数据项对应的同义词库，具体包括：基于同义词知识库并配合机器学习方式，对输入的数据项进行语义分析，提取语义相近词组得到同义词库。

8.根据权利要求5所述的数据资源共享平台，其特征在于，所述用于设置值域范围，具体包括：通过系统自动关联查找到所有与此数据项相关的表格，挑选字段，并根据每个字段设置值域范围。

9.一种计算机装置，包括存储器、处理器及存储在存储器中并能够在处理器上运行的计算机程序，其特征在于，所述处理器加载计算机程序时，执行权利要求1-4中任一项所述的方法。

10.一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其特征在于，所述计算机程序被处理器加载时，执行权利要求1-4中任一项所述的方法。

Images