CN110716990A - 一种应用于数据交易的多数据源管理系统 - Google Patents

一种应用于数据交易的多数据源管理系统 Download PDF

Info

Publication number
CN110716990A
CN110716990A CN201910834032.4A CN201910834032A CN110716990A CN 110716990 A CN110716990 A CN 110716990A CN 201910834032 A CN201910834032 A CN 201910834032A CN 110716990 A CN110716990 A CN 110716990A
Authority
CN
China
Prior art keywords
data
information
source
module
management system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910834032.4A
Other languages
English (en)
Inventor
汤寒林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China Jiangsu Big Data Trading Center Co Ltd
Original Assignee
East China Jiangsu Big Data Trading Center Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China Jiangsu Big Data Trading Center Co Ltd filed Critical East China Jiangsu Big Data Trading Center Co Ltd
Priority to CN201910834032.4A priority Critical patent/CN110716990A/zh
Publication of CN110716990A publication Critical patent/CN110716990A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种应用于数据交易的多数据源管理系统，属于大数据领域，包括信息获取模块，用于获取关联于多数据管理系统的每个数据源的相关信息，相关信息包括属性信息和数据信息；分类模块，用于根据预设的分类策略并基于属性信息对数据源进行分类操作得到分类结果；评级模块，用于根据预设的评级策略并基于数据信息对数据源进行评级操作得到评级结果；请求处理模块，用于提供给数据请求方输入请求指令，根据分类结果和评级结果选定最优数据获取路径；采集模块，连接请求处理模块，用于根据最优数据获取路径从相应的数据源采集元数据并进行数据处理后得到目标数据。本发明的有益效果：有效提高从众多数据源中获取目标数据的能力。

Description

一种应用于数据交易的多数据源管理系统
技术领域
本发明涉及数据交易技术领域，尤其涉及一种应用于数据交易的 多数据源管理系统。
背景技术
海量数据的存储、访问、处理这三大问题通常同时出现，解决其 中一到两个问题并不能解决复杂的数据管理技术问题。频繁出现用户 访问量大增时，经常导致数据处理系统反应迟钝，无法有效提高从众 多数据源中获取目标数据的能力。
发明内容
针对现有技术中存在的问题，本发明涉及一种应用于数据交易的 多数据源管理系统。
本发明采用如下技术方案：
一种应用于数据交易的多数据源管理系统，包括：
信息获取模块，用于获取关联于所述多数据管理系统的每个数据 源的相关信息，所述相关信息包括属性信息和数据信息；
分类模块，连接所述信息获取模块，用于根据预设的分类策略并 基于所述属性信息对所述数据源进行分类操作得到分类结果；
评级模块，连接所述信息获取模块，用于根据预设的评级策略并 基于所述数据信息对所述数据源进行评级操作得到评级结果；
请求处理模块，连接所述分类模块和所述评级模块，用于提供给 数据请求方输入请求指令，根据所述分类结果和所述评级结果选定最 优数据获取路径；
采集模块，连接所述请求处理模块，用于根据所述最优数据获取 路径从相应的所述数据源采集所述元数据并进行数据处理后得到目 标数据。
优选的，所述属性信息包括所述数据源的归属地信息、归属方信 息、采集端口信息以及采集频率信息。
优选的，所述数据信息包括所述数据源对应的所述源数据的数据 类型信息、是否公开信息、修改权限信息、收费信息、历史客户反馈 评价信息以及数据监管方监管信息。
优选的，所述多数据源管理系统还包括：
云平台，连接所述多个数据源，用于存储所述源数据，以及执行 定时查缺处理，其中例如通过程序对多套数据中心接入的调度自动化 系统的实时数据表进行定时扫描，以查找丢点数据并将丢点数据信息 保存起来。
优选的，每个所述数据源分别具有一唯一的标识信息，所述标识 信息包括所述属性信息和所述数据信息；
所述云平台中对应每个所述标识信息具有一唯一的存储空间，所 述数据源的相应的所述源数据存储于所述存储空间。
优选的，所述采集模块包括：
采集单元，用于根据采集指令从相应的所述云平台采集所述源数 据；
数据过滤单元，连接所述数据采集单元，用于根据预设的过滤策 略对所述源数据进行数据过滤；
数据封装单元，连接所述数据过滤单元，用于根据预设的封装策 略对经过数据过滤的所述源数据进行数据封装，以得到目标数据。
优选的，所述采集模块进行源数据采集时，所述请求处理模块定 时扫描所述分类模块和所述评级模块以获得新的所述分类信息和所 述评级信息，所述请求处理模块根据新的所述分类信息和所述评级信 息处理得到新的所述最优数据获取路径，并显示新的所述最优数据获 取路径以供所述数据请求方选择。
优选的，所述最优数据获取路径对应一数据源表格。
优选的，所述请求处理模块还用于将新的所述最优数据获取路径 对应的所述新的数据源表格和相邻的旧的所述最优数据获取路径对 应的所述旧的数据源表格进行比对获得比对结果，所述比对结果包括 获取同样数据采取的不同数据源结果；
所述采集模块还用于根据所述不同数据源结果在数据采集时来进 行数据源替换。
优选的，多个所述数据源之间还通过预设的秘钥进行源数据共享， 所述数据源之间进行源数据共享后，所述属性信息和所述数据信息对 应修改。
本发明的有益效果：对多个数据源进行属性分类和数据分级处理 后，根据数据请求指令选定最优数据获取路径从而获取数据请求方所 需的目标数据，有效提高从众多数据源中获取目标数据的能力。
附图说明
图1为本发明一种优选的实施例中，应用于数据交易的多数据源 管理系统的功能模块示意图；
图2为本发明一种应用于数据交易的多数据源管理系统的采集模 块示意图。
具体实施方式
需要说明的是，在不冲突的情况下，下述技术方案，技术特征之 间可以相互组合。
下面结合附图对本发明的具体实施方式作进一步的说明：
如图1所示，一种应用于数据交易的多数据源管理系统，包括：
信息获取模块1，用于获取关联于上述多数据管理系统的每个数 据源(图中未示出)的相关信息，上述相关信息包括属性信息和数据 信息；
分类模块2，连接上述信息获取模块1，用于根据预设的分类策略 并基于上述属性信息对上述数据源进行分类操作得到分类结果；
评级模块3，连接上述信息获取模块1，用于根据预设的评级策略 并基于上述数据信息对上述数据源进行评级操作得到评级结果；
请求处理模块4，连接上述分类模块2和上述评级模块3，用于提 供给数据请求方输入请求指令，根据上述分类结果和上述评级结果选 定最优数据获取路径；
采集模块5，连接上述请求处理模块4，用于根据上述最优数据获 取路径从相应的上述数据源采集上述元数据并进行数据处理后得到 目标数据。
在本实施例中，对多个数据源进行属性分类和数据分级处理后， 根据数据请求指令选定最优数据获取路径从而获取数据请求方所需 的目标数据，有效提高从众多数据源中获取目标数据的能力。
较佳的实施例中，上述属性信息包括上述数据源的归属地信息、 归属方信息、采集端口信息以及采集频率信息。
较佳的实施例中，上述数据信息包括上述数据源对应的上述源数 据的数据类型信息、是否公开信息、修改权限信息、收费信息、历史 客户反馈评价信息以及数据监管方监管信息。
较佳的实施例中，上述多数据源管理系统还包括：
云平台(图中未示出)，连接上述多个数据源，用于存储上述源数 据，以及执行定时查缺处理，其中例如通过程序对多套数据中心接入 的调度自动化系统的实时数据表进行定时扫描，以查找丢点数据并将 丢点数据信息保存起来。
较佳的实施例中，每个上述数据源分别具有一唯一的标识信息， 上述标识信息包括上述属性信息和上述数据信息；
上述云平台中对应每个上述标识信息具有一唯一的存储空间，上 述数据源的相应的上述源数据存储于上述存储空间。
较佳的实施例中，上述采集模块5包括：
采集单元51，用于根据采集指令从相应的上述云平台采集上述源 数据；
数据过滤单元52，连接上述数据采集单元51，用于根据预设的 过滤策略对上述源数据进行数据过滤；
数据封装单元53，连接上述数据过滤单元52，用于根据预设的 封装策略对经过数据过滤的上述源数据进行数据封装，以得到目标数 据。
较佳的实施例中，上述采集模块5进行源数据采集时，上述请求 处理模块4定时扫描上述分类模块2和上述评级模块3以获得新的上 述分类信息和上述评级信息，上述请求处理模块4根据新的上述分类 信息和上述评级信息处理得到新的上述最优数据获取路径，并显示新 的上述最优数据获取路径以供上述数据请求方选择。
较佳的实施例中，上述最优数据获取路径对应一数据源表格。
较佳的实施例中，上述请求处理模块4还用于将新的上述最优数 据获取路径对应的上述新的数据源表格和相邻的旧的上述最优数据 获取路径对应的上述旧的数据源表格进行比对获得比对结果，上述比 对结果包括获取同样数据采取的不同数据源结果；
上述采集模块5还用于根据上述不同数据源结果在数据采集时来 进行数据源替换。
较佳的实施例中，多个上述数据源之间还通过预设的秘钥进行源 数据共享，上述数据源之间进行源数据共享后，上述属性信息和上述 数据信息对应修改。
通过说明和附图，给出了具体实施方式的特定结构的典型实施例， 基于本发明精神，还可作其他的转换。尽管上述发明提出了现有的较 佳实施例，然而，这些内容并不作为局限。
对于本领域的技术人员而言，阅读上述说明后，各种变化和修正 无疑将显而易见。因此，所附的权利要求书应看作是涵盖本发明的真 实意图和范围的全部变化和修正。在权利要求书范围内任何和所有等 价的范围与内容，都应认为仍属本发明的意图和范围内。

Claims (10)

1.一种应用于数据交易的多数据源管理系统，其特征在于，包括：
信息获取模块，用于获取关联于所述多数据管理系统的每个数据源的相关信息，所述相关信息包括属性信息和数据信息；
分类模块，连接所述信息获取模块，用于根据预设的分类策略并基于所述属性信息对所述数据源进行分类操作得到分类结果；
评级模块，连接所述信息获取模块，用于根据预设的评级策略并基于所述数据信息对所述数据源进行评级操作得到评级结果；
请求处理模块，连接所述分类模块和所述评级模块，用于提供给数据请求方输入请求指令，根据所述分类结果和所述评级结果选定最优数据获取路径；
采集模块，连接所述请求处理模块，用于根据所述最优数据获取路径从相应的所述数据源采集所述元数据并进行数据处理后得到目标数据。
2.根据权利要求1的多数据源管理系统，其特征在于，所述属性信息包括所述数据源的归属地信息、归属方信息、采集端口信息以及采集频率信息。
3.根据权利要求1的多数据源管理系统，其特征在于，所述数据信息包括所述数据源对应的所述源数据的数据类型信息、是否公开信息、修改权限信息、收费信息、历史客户反馈评价信息以及数据监管方监管信息。
4.根据权利要求1的多数据源管理系统，其特征在于，所述多数据源管理系统还包括：
云平台，连接所述多个数据源，用于存储所述源数据，以及执行定时查缺处理，其中例如通过程序对多套数据中心接入的调度自动化系统的实时数据表进行定时扫描，以查找丢点数据并将丢点数据信息保存起来。
5.根据权利要求4的多数据源管理系统，其特征在于，每个所述数据源分别具有一唯一的标识信息，所述标识信息包括所述属性信息和所述数据信息；
所述云平台中对应每个所述标识信息具有一唯一的存储空间，所述数据源的相应的所述源数据存储于所述存储空间。
6.根据权利要求4的多数据源管理系统，其特征在于，所述采集模块包括：
采集单元，用于根据采集指令从相应的所述云平台采集所述源数据；
数据过滤单元，连接所述数据采集单元，用于根据预设的过滤策略对所述源数据进行数据过滤；
数据封装单元，连接所述数据过滤单元，用于根据预设的封装策略对经过数据过滤的所述源数据进行数据封装，以得到目标数据。
7.根据权利要求1的多数据源管理系统，其特征在于，所述采集模块进行源数据采集时，所述请求处理模块定时扫描所述分类模块和所述评级模块以获得新的所述分类信息和所述评级信息，所述请求处理模块根据新的所述分类信息和所述评级信息处理得到新的所述最优数据获取路径，并显示新的所述最优数据获取路径以供所述数据请求方选择。
8.根据权利要求1的多数据源管理系统，其特征在于，所述最优数据获取路径对应一数据源表格。
9.根据权利要求8的多数据源管理系统，其特征在于，所述请求处理模块还用于将新的所述最优数据获取路径对应的所述新的数据源表格和相邻的旧的所述最优数据获取路径对应的所述旧的数据源表格进行比对获得比对结果，所述比对结果包括获取同样数据采取的不同数据源结果；
所述采集模块还用于根据所述不同数据源结果在数据采集时来进行数据源替换。
10.根据权利要求1的多数据源管理系统，其特征在于，多个所述数据源之间还通过预设的秘钥进行源数据共享，所述数据源之间进行源数据共享后，所述属性信息和所述数据信息对应修改。
CN201910834032.4A 2019-09-04 2019-09-04 一种应用于数据交易的多数据源管理系统 Pending CN110716990A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910834032.4A CN110716990A (zh) 2019-09-04 2019-09-04 一种应用于数据交易的多数据源管理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910834032.4A CN110716990A (zh) 2019-09-04 2019-09-04 一种应用于数据交易的多数据源管理系统

Publications (1)

Publication Number Publication Date
CN110716990A true CN110716990A (zh) 2020-01-21

Family

ID=69209638

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910834032.4A Pending CN110716990A (zh) 2019-09-04 2019-09-04 一种应用于数据交易的多数据源管理系统

Country Status (1)

Country Link
CN (1) CN110716990A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112561499A (zh) * 2021-02-01 2021-03-26 开封大学 一种基于低碳经济的新能源数据管理系统
WO2021204041A1 (zh) * 2020-04-08 2021-10-14 支付宝(杭州)信息技术有限公司 数据处理
CN115372748A (zh) * 2022-10-24 2022-11-22 深圳博润缘科技有限公司 电缆的维护数据处理方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109189861A (zh) * 2018-06-29 2019-01-11 深圳市彬讯科技有限公司 基于指标的数据流统计方法、服务器及存储介质
US20190096053A1 (en) * 2017-09-28 2019-03-28 Applied Materials Israel Ltd. Method of classifying defects in a semiconductor specimen and system thereof
CN110109998A (zh) * 2019-05-17 2019-08-09 贵州数据宝网络科技有限公司 数据交易智能整合系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190096053A1 (en) * 2017-09-28 2019-03-28 Applied Materials Israel Ltd. Method of classifying defects in a semiconductor specimen and system thereof
CN109189861A (zh) * 2018-06-29 2019-01-11 深圳市彬讯科技有限公司 基于指标的数据流统计方法、服务器及存储介质
CN110109998A (zh) * 2019-05-17 2019-08-09 贵州数据宝网络科技有限公司 数据交易智能整合系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021204041A1 (zh) * 2020-04-08 2021-10-14 支付宝(杭州)信息技术有限公司 数据处理
CN112561499A (zh) * 2021-02-01 2021-03-26 开封大学 一种基于低碳经济的新能源数据管理系统
CN115372748A (zh) * 2022-10-24 2022-11-22 深圳博润缘科技有限公司 电缆的维护数据处理方法及系统

Similar Documents

Publication Publication Date Title
CN110716990A (zh) 一种应用于数据交易的多数据源管理系统
CN103995879B (zh) 基于olap系统的数据查询方法、装置及系统
CN108197296B (zh) 基于Elasticsearch索引的数据存储方法
CN107783980A (zh) 索引数据生成及数据查询方法及装置、存储和查询系统
CN107329983B (zh) 一种机器数据分布式存储、读取方法及系统
CN107784030B (zh) 一种处理连接查询的方法及装置
CN105989076A (zh) 一种数据统计方法以及装置
CN106503008B (zh) 文件存储方法和装置及文件查询方法和装置
US10078758B1 (en) Systems and methods for an incremental, reversible and decentralized biometric identity management system
US20200250192A1 (en) Processing queries associated with multiple file formats based on identified partition and data container objects
CN106649828A (zh) 一种数据查询方法及系统
US20220261395A1 (en) Multi-table data validation tool
WO2014021978A4 (en) Aggregating data in a mediation system
CN107577787B (zh) 关联数据信息入库的方法及系统
CN113268641B (zh) 基于大数据的用户数据处理方法及大数据服务器
US8768879B2 (en) Method of storing and analysing data produced from interactions between external agents and a system
CN110647682A (zh) 一种交易数据的关联推荐系统
Sattler et al. Autonomous query-driven index mining
CN111427931A (zh) 分布式查询引擎及其查询关系型数据库的方法
CN105787124A (zh) 应用于数据库的数据处理方法、装置及数据存储系统
CN107622059A (zh) 一种提高数据库搜索效率的方法和系统
CN105718539A (zh) 一种数据库应用方法及装置
CN116450607A (zh) 数据处理方法、设备及存储介质
CN114238328A (zh) 数据分页查询方法、装置、设备及存储介质
CN109271413A (zh) 一种数据查询的方法、装置及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination