CN112632052B - 一种异构数据的共享方法及智能共享系统 - Google Patents

一种异构数据的共享方法及智能共享系统 Download PDF

Info

Publication number
CN112632052B
CN112632052B CN202011590076.6A CN202011590076A CN112632052B CN 112632052 B CN112632052 B CN 112632052B CN 202011590076 A CN202011590076 A CN 202011590076A CN 112632052 B CN112632052 B CN 112632052B
Authority
CN
China
Prior art keywords
data
heterogeneous data
module
heterogeneous
sharing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011590076.6A
Other languages
English (en)
Other versions
CN112632052A (zh
Inventor
马金
王秀英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chinaccs Information Industry Co ltd
Original Assignee
Chinaccs Information Industry Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chinaccs Information Industry Co ltd filed Critical Chinaccs Information Industry Co ltd
Priority to CN202011590076.6A priority Critical patent/CN112632052B/zh
Publication of CN112632052A publication Critical patent/CN112632052A/zh
Application granted granted Critical
Publication of CN112632052B publication Critical patent/CN112632052B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明属于异构数据的共享技术领域，公开了一种异构数据的共享方法及智能共享系统，所述异构数据的智能共享系统包括：数据源获取模块、数据库构建模块、中央控制模块、数据加密模块、异构数据整合模块、异构数据验证模块、异构数据同步模块、异构数据共享模块、质量评估模块、数据存储模块、更新显示模块。本发明通过异构数据验证模块在验证过程中能对出现错误的具体位置进行定位的问题，借助上述双重验证的方式，提高了配置异构数据文件的可用性；同时，通过质量评估模块采用消息队列法和数据总线法分别获取历史数据和实时数据，相比于传统技术，不再局限于单一类型数据处理，满足了多源异构数据需求；降低数据质量评估计算的复杂度。

Description

一种异构数据的共享方法及智能共享系统
技术领域
本发明属于异构数据的共享技术领域，尤其涉及一种异构数据的共享方法及智能共享系统方法。
背景技术
目前，异构数据库系统是相关的多个数据库系统的集合，可以实现数据的共享和透明访问，几个数据库系统在加入异构数据库系统之前本身就已经存在，拥有自己的数据库管理系统、外构数据库的各个组成部分具有自身的自治性，实现数据共享的同时，每个数据库系统仍有自己的应用特性、完整性控制和安全性控制。然而，现有对异构数据进行人工计算与验证，容易出错；同时，现有的异构数据质量评估在技术和实现上有一定的局限性；采用传统机器学习技术，结合神经网络算法来评估数据质量。这种方法需要准备样本数据集来训练神经网络，形成数据质量评估模型，当数据质量规则发生变化时，就需要重新训练新模型，过程比较繁杂。
综上所述，现有技术存在的问题是：现有对异构数据进行人工计算与验证，容易出错；同时，现有的异构数据质量评估在技术和实现上有一定的局限性；采用传统机器学习技术，结合神经网络算法来评估数据质量。这种方法需要准备样本数据集来训练神经网络，形成数据质量评估模型，当数据质量规则发生变化时，就需要重新训练新模型，过程比较繁杂。
发明内容
针对现有技术存在的问题，本发明提供了一种异构数据的共享方法及智能共享系统。
本发明是这样实现的，一种异构数据的共享方法，所述异构数据的共享方法包括以下步骤：
步骤一，通过数据源获取模块利用网络设备获取数据源；通过数据库构建模块利用数据库构建程序构建异构数据库；通过中央控制模块利用中央处理器协调控制所述异构数据的智能共享系统各个模块的正常工作；通过数据加密模块利用加密算法对异构数据进行加密处理；
步骤二，通过异构数据整合模块利用整合程序对异构数据进行整合处理；通过异构数据验证模块利用检索程序检索异构数据，确定用于生成配置数据的计算模板格式，结合设计异构数据文档内容，确定计算模板公式；利用验证程序对计算模板公式与设计异构数据文档内容的一致性进行验证，得到验证结果，基于验证结果生成验证报告；
步骤三，获取特定项目的样本原始异构数据，对样本原始异构数据进行验证，将验证通过后的样本原始异构数据按计算模板格式添加到计算模板公式，根据计算模板公式得到配置结果，基于配置结果以及样本原始异构数据构建配置异构数据文件；根据设计异构数据文档内容和计算模板格式，获取验证公式；将样本原始异构数据导入验证公式，得到验证公式结果，结合配置异构数据文件以及验证报告，生成二次验证结果；
步骤四，通过异构数据同步模块利用同步程序对异构数据库数据进行同步；通过异构数据共享模块利用共享程序对异构数据进行共享；通过质量评估模块利用校准程序对多源数据进行校准，获取多源异构海量数据作为待评估异构数据集；针对所述待评估异构数据集的特点、关联业务以及数据归属，预设多维度参数的异构数据质量规则，并对每条异构数据质量规则的每个维度参数，预设评定的分值范围；
步骤五，利用评估程序根据预设的所述异构数据质量规则的维度参数分值和重要性权重，构建异构数据质量规则的权重矩阵；通过计算异构数据质量规则的通过率，从异构数据的完整性、准确性、一致性、时效性以及规范性多个维度，分别计算异构数据质量评估得分，结合异构数据质量规则的权重矩阵，对全部异构数据质量规则的通过率进行加权求和，得出待评估的异构数据集的综合评估结果；
步骤六，通过数据存储模块利用存储器存储获取的数据源、异构数据加密处理结果、异构数据整合结果、异构数据验证结果、异构数据同步信息、共享数据以及质量评估结果；通过更新显示模块利用显示器对获取的数据源、异构数据加密处理结果、异构数据整合结果、异构数据验证结果、异构数据同步信息、共享数据以及质量评估结果的实时数据进行更新显示。
进一步，步骤二中，所述设计异构数据文档内容包括信号系统的系统参数以及计算方式。
进一步，步骤三中，所述验证公式如下：
Figure BDA0002868692970000031
其中，H2，H3为哈希函数，name||i为异构数据文档标识符，所述异构数据文档内容包含m′，m′＝H3(e(σ,c1)·c2u)，
Figure BDA0002868692970000032
Figure BDA0002868692970000033
vi∈Zp，c1＝gρ，c2＝Zρ和Z＝e(sk,gα)，mi∈Zp，Zp＝{0,1,....p-1}；ρ为所述随机数据，ρ∈Zp。
进一步，步骤四中，所述通过校准程序对多源数据进行校准，获取多源异构海量数据作为待评估异构数据集，包括：
(1)获取多源异构海量数据包括以标准化采集任务模板来快速接入各类数据；针对多源异构实时数据，采用消息队列技术获取；
(2)针对多源异构海量历史数据，采用数据总线技术获取；所述多源异构数据存储至内存数据库或并行数据库，形成待评估异构数据集。
进一步，步骤四中，所述在预设多维度参数的异构数据质量规则时，所述维度参数包括：所属系统重要性、引用次数、约束类型、规则完备度、评估对象相关度以及规则重要性。
进一步，步骤五中，所述异构数据质量规则权重矩阵，采用如下公式表示：
Wi＝a％*Wa(i)+b％*Wb(i)+c％*Wc(i)+d％*Wd(i)+e％*We(i)+f％*Wf(i)；
其中，Wi代表第i项数据质量规则的加权分值；Wa(i)代表第i项数据质量规则在“a”维度下的分值，Wb(i)，Wc(i)，Wd(i)，We(i)，Wf(i)含义与Wa(i)同，分别表示在各自对应维度下的分值；a％，b％，c％，d％，e％，f％分别代表权重矩阵中各个维度参数的占比，且a％+b％+c％+d％e％+f％＝100％。
进一步，步骤五中，所述对异构数据质量综合评估时，采用如下公式：
Figure BDA0002868692970000041
其中，S表示异构数据质量的综合得分；Wi表示第i个异构数据质量规则的加权分值；Rei表示第i个的异构数据质量规则的通过率；n表示全部异构数据质量规则的数量。
本发明的另一目的在于提供一种应用所述的异构数据的智能共享方法的异构数据的智能共享系统，所述异构数据的智能共享系统包括：
数据源获取模块、数据库构建模块、中央控制模块、数据加密模块、异构数据整合模块、异构数据验证模块、异构数据同步模块、异构数据共享模块、质量评估模块、数据存储模块、更新显示模块。
数据源获取模块，与中央控制模块连接，用于通过网络设备获取数据源；
数据库构建模块，与中央控制模块连接，用于通过数据库构建程序构建异构数据库；
中央控制模块，与数据库构建模块、数据加密模块、异构数据整合模块、异构数据验证模块、异构数据同步模块、异构数据共享模块、质量评估模块、数据存储模块、更新显示模块连接，用于通过中央处理器协调控制所述异构数据的智能共享系统各个模块的正常工作；
数据加密模块，与中央控制模块连接，用于通过加密算法对异构数据进行加密处理；
异构数据整合模块，与中央控制模块连接，用于通过整合程序对异构数据进行整合处理；
异构数据验证模块，与中央控制模块连接，用于通过验证程序对异构数据进行验证；
异构数据同步模块，与中央控制模块连接，用于通过同步程序对异构数据库数据进行同步；
异构数据共享模块，与中央控制模块连接，用于通过共享程序对异构数据进行共享；
质量评估模块，与中央控制模块连接，用于通过评估程序对多源异构数据进行质量评估；
数据存储模块，与中央控制模块连接，用于通过存储器存储获取的数据源、异构数据加密处理结果、异构数据整合结果、异构数据验证结果、异构数据同步信息、共享数据以及质量评估结果；
更新显示模块，与中央控制模块连接，用于通过显示器对获取的数据源、异构数据加密处理结果、异构数据整合结果、异构数据验证结果、异构数据同步信息、共享数据以及质量评估结果的实时数据进行更新显示。
本发明的另一目的在于提供一种存储在计算机可读介质上的计算机程序产品，包括计算机可读程序，供于电子装置上执行时，提供用户输入接口以实施所述的异构数据的智能共享方法。
本发明的另一目的在于提供一种计算机可读存储介质，储存有指令，当所述指令在计算机上运行时，使得计算机执行所述的异构数据的智能共享方法。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明提供的异构数据的共享方法，通过异构数据验证模块利用计算模板公式对样本原始异构数据进行计算与验证，得到配置异构数据文件，通过验证公式对配置异构数据文件进行验证，进而判定了配置异构数据文件的准确性，以及在验证过程中能对出现错误的具体位置进行定位的问题，借助上述双重验证的方式，提高了配置异构数据文件的可用性；同时，通过质量评估模块采用消息队列法和数据总线法分别获取历史数据和实时数据，相比于传统技术，不再局限于单一类型数据处理，满足了多源异构数据需求；降低数据质量评估计算的复杂度。
附图说明
图1是本发明实施例提供的异构数据的共享方法流程图。
图2是本发明实施例提供的异构数据的智能共享系统结构框图；
图中：1、数据源获取模块；2、数据库构建模块；3、中央控制模块；4、数据加密模块；5、异构数据整合模块；6、异构数据验证模块；7、异构数据同步模块；8、异构数据共享模块；9、质量评估模块；10、数据存储模块；11、更新显示模块。
图3是本发明实施例提供的通过异构数据验证模块利用验证程序对异构数据进行验证的方法流程图。
图4是本发明实施例提供的通过质量评估模块利用评估程序对多源异构数据进行质量评估的方法流程图。
图5是本发明实施例提供的通过校准程序对多源数据进行校准，获取多源异构海量数据作为待评估数据集的方法流程图。
具体实施方式
为能进一步了解本发明的发明内容、特点及功效，兹例举以下实施例，并配合附图详细说明如下。
下面结合附图对本发明的结构作详细的描述。
如图1所示，本发明实施例提供的异构数据的共享方法包括以下步骤：
S101，通过数据源获取模块利用网络设备获取数据源；通过数据库构建模块利用数据库构建程序构建异构数据库；
S102，通过中央控制模块利用中央处理器协调控制所述异构数据的智能共享系统各个模块的正常工作；
S103，通过数据加密模块利用加密算法对异构数据进行加密处理；通过异构数据整合模块利用整合程序对异构数据进行整合处理；
S104，通过异构数据验证模块利用验证程序对异构数据进行验证；通过异构数据同步模块利用同步程序对异构数据库数据进行同步；
S105，通过异构数据共享模块利用共享程序对异构数据进行共同；通过质量评估模块利用评估程序对多源异构数据进行质量评估；
S106，通过数据存储模块利用存储器存储获取的数据源、异构数据加密处理结果、异构数据整合结果、异构数据验证结果、异构数据同步信息、共享数据以及质量评估结果；
S107，通过更新显示模块利用显示器对获取的数据源、异构数据加密处理结果、异构数据整合结果、异构数据验证结果、异构数据同步信息、共享数据以及质量评估结果的实时数据进行更新显示。
如图2所示，本发明实施例提供的异构数据的智能共享系统包括：数据源获取模块1、数据库构建模块2、中央控制模块3、数据加密模块4、异构数据整合模块5、异构数据验证模块6、异构数据同步模块7、异构数据共享模块8、质量评估模块9、数据存储模块10、更新显示模块11。
数据源获取模块1，与中央控制模块3连接，用于通过网络设备获取数据源；
数据库构建模块2，与中央控制模块3连接，用于通过数据库构建程序构建异构数据库；
中央控制模块3，与数据库构建模块2、数据加密模块4、异构数据整合模块5、异构数据验证模块6、异构数据同步模块7、异构数据共享模块8、质量评估模块9、数据存储模块10、更新显示模块11连接，用于通过中央处理器协调控制所述异构数据的智能共享系统各个模块的正常工作；
数据加密模块4，与中央控制模块3连接，用于通过加密算法对异构数据进行加密处理；
异构数据整合模块5，与中央控制模块3连接，用于通过整合程序对异构数据进行整合处理；
异构数据验证模块6，与中央控制模块3连接，用于通过验证程序对异构数据进行验证；
异构数据同步模块7，与中央控制模块3连接，用于通过同步程序对异构数据库数据进行同步；
异构数据共享模块8，与中央控制模块3连接，用于通过共享程序对异构数据进行共同；
质量评估模块9，与中央控制模块3连接，用于通过评估程序对多源异构数据进行质量评估；
数据存储模块10，与中央控制模块3连接，用于通过存储器存储获取的数据源、异构数据加密处理结果、异构数据整合结果、异构数据验证结果、异构数据同步信息、共享数据以及质量评估结果；
更新显示模块11，与中央控制模块3连接，用于通过显示器对获取的数据源、异构数据加密处理结果、异构数据整合结果、异构数据验证结果、异构数据同步信息、共享数据以及质量评估结果的实时数据进行更新显示。
下面结合具体实施例对本发明作进一步描述。
实施例1
本发明实施例提供的异构数据的共享方法如图1所示，作为优选实施例，如图3所示，本发明实施例提供的通过异构数据验证模块利用验证程序对异构数据进行验证的方法包括：
S201，通过检索程序检索异构数据，确定用于生成配置数据的计算模板格式，结合设计异构数据文档内容，确定计算模板公式；
S202，对计算模板公式与设计异构数据文档内容的一致性进行验证，得到验证结果，基于验证结果生成验证报告；
S203，获取特定项目的样本原始数据，对样本原始数据进行验证，将验证通过后的样本原始数据按计算模板格式添加到计算模板公式；
S204，根据计算模板公式得到配置结果，基于配置结果以及样本原始数据构建配置异构数据文件；根据设计异构数据文档内容和计算模板格式，获取验证公式；
S205，将样本原始数据导入验证公式，得到验证公式结果，结合配置异构数据文件，生成二次验证结果。
本发明实施例提供的步骤S201中，所述设计异构数据文档内容包括信号系统的系统参数以及计算方式。
本发明实施例提供的步骤S204中，所述验证公式如下：
Figure BDA0002868692970000091
其中，H2，H3为哈希函数，name||i为异构数据文档标识符，所述异构数据文档内容包含m′，m′＝H3(e(σ,c1)·c2u)，
Figure BDA0002868692970000092
Figure BDA0002868692970000093
vi∈Zp，c1＝gρ，c2＝Zρ和Z＝e(sk,gα)，mi∈Zp，Zp＝{0,1,....p-1}；ρ为所述随机数据，ρ∈Zp。
实施例2
本发明实施例提供的异构数据的共享方法如图1所示，作为优选实施例，如图4所示，本发明实施例提供的通过质量评估模块利用评估程序对多源异构数据进行质量评估的方法包括：
S301，通过校准程序对多源数据进行校准，获取多源异构海量数据作为待评估异构数据集；
S302，针对所述待评估异构数据集的特点、关联业务以及数据归属，预设多维度参数的异构数据质量规则，并对每条异构数据质量规则的每个维度参数，预设评定的分值范围；
S303，利用预设的所述异构数据质量规则的维度参数分值和重要性权重，构建异构数据质量规则的权重矩阵；
S304，通过计算异构数据质量规则的通过率，从数据的完整性、准确性、一致性、时效性以及规范性多个维度，分别计算异构数据质量评估得分；
S305，结合数据质量规则的权重矩阵，对全部异构数据质量规则的通过率进行加权求和，得出待评估的异构数据集的综合评估结果。
本发明实施例提供的步骤S303中，在预设多维度参数的数据质量规则时，所述维度参数包括：所属系统重要性、引用次数、约束类型、规则完备度、评估对象相关度以及规则重要性。
本发明实施例提供的步骤S303中，所述异构数据质量规则权重矩阵，采用如下公式表示：
Wi＝a％*Wa(i)+b％*Wb(i)+c％*Wc(i)+d％*Wd(i)+e％*We(i)+f％*Wf(i)；
其中，Wi代表第i项数据质量规则的加权分值；Wa(i)代表第i项数据质量规则在“a”维度下的分值，Wb(i)，Wc(i)，Wd(i)，We(i)，Wf(i)含义与Wa(i)同，分别表示在各自对应维度下的分值；a％，b％，c％，d％，e％，f％分别代表权重矩阵中各个维度参数的占比，且a％+b％+c％+d％e％+f％＝100％。
本发明实施例提供的步骤S305中，所述对异构数据质量综合评估时，采用如下公式：
Figure BDA0002868692970000101
其中，S表示异构数据质量的综合得分；Wi表示第i个异构数据质量规则的加权分值；Rei表示第i个的异构数据质量规则的通过率；n表示全部异构数据质量规则的数量。
如图5所示，本发明提供的通过校准程序对多源数据进行校准，获取多源异构海量数据作为待评估异构数据集，包括：
S401，通过校准程序获取多源异构海量数据包括以标准化采集任务模板来快速接入各类数据；
S402，针对多源异构实时数据，采用消息队列技术获取；
S403，针对多源异构海量历史数据，采用数据总线技术获取；所述多源异构数据存储至内存数据库或并行数据库，形成待评估异构数据集。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (8)

1.一种异构数据的共享方法，其特征在于，所述异构数据的共享方法包括以下步骤：
步骤一，通过数据源获取模块利用网络设备获取数据源；通过数据库构建模块利用数据库构建程序构建异构数据库；通过中央控制模块利用中央处理器协调控制所述异构数据的智能共享系统各个模块的正常工作；通过数据加密模块利用加密算法对异构数据进行加密处理；
步骤二，通过异构数据整合模块利用整合程序对异构数据进行整合处理；通过异构数据验证模块利用检索程序检索异构数据，确定用于生成配置数据的计算模板格式，结合设计异构数据文档内容，确定计算模板公式；利用验证程序对计算模板公式与设计异构数据文档内容的一致性进行验证，得到验证结果，基于验证结果生成验证报告；
步骤三，获取特定项目的样本原始异构数据，对样本原始异构数据进行验证，将验证通过后的样本原始异构数据按计算模板格式添加到计算模板公式，根据计算模板公式得到配置结果，基于配置结果以及样本原始异构数据构建配置异构数据文件；根据设计异构数据文档内容和计算模板格式，获取验证公式；将样本原始异构数据导入验证公式，得到验证公式结果，结合配置异构数据文件以及验证报告，生成二次验证结果；
步骤四，通过异构数据同步模块利用同步程序对异构数据库数据进行同步；通过异构数据共享模块利用共享程序对异构数据进行共享；通过质量评估模块利用校准程序对多源数据进行校准，获取多源异构海量数据作为待评估异构数据集；针对所述待评估异构数据集的特点、关联业务以及数据归属，预设多维度参数的异构数据质量规则，并对每条异构数据质量规则的每个维度参数，预设评定的分值范围；
步骤五，利用评估程序根据预设的所述异构数据质量规则的维度参数分值和重要性权重，构建异构数据质量规则的权重矩阵；通过计算异构数据质量规则的通过率，从异构数据的完整性、准确性、一致性、时效性以及规范性多个维度，分别计算异构数据质量评估得分，结合异构数据质量规则的权重矩阵，对全部异构数据质量规则的通过率进行加权求和，得出待评估的异构数据集的综合评估结果；
步骤六，通过数据存储模块利用存储器存储获取的数据源、异构数据加密处理结果、异构数据整合结果、异构数据验证结果、异构数据同步信息、共享数据以及质量评估结果；通过更新显示模块利用显示器对获取的数据源、异构数据加密处理结果、异构数据整合结果、异构数据验证结果、异构数据同步信息、共享数据以及质量评估结果的实时数据进行更新显示。
2.如权利要求1所述的异构数据的共享方法，其特征在于，步骤二中，所述设计异构数据文档内容包括信号系统的系统参数以及计算方式。
3.如权利要求1所述异构数据的共享方法，其特征在于，步骤四中，所述通过校准程序对多源数据进行校准，获取多源异构海量数据作为待评估异构数据集，包括：
(1)获取多源异构海量数据包括以标准化采集任务模板来快速接入各类数据；针对多源异构实时数据，采用消息队列技术获取；
(2)针对多源异构海量历史数据，采用数据总线技术获取；多源异构数据存储至内存数据库或并行数据库，形成待评估异构数据集。
4.如权利要求1所述的异构数据的共享方法，其特征在于，步骤四中，所述在预设多维度参数的异构数据质量规则时，所述维度参数包括：所属系统重要性、引用次数、约束类型、规则完备度、评估对象相关度以及规则重要性。
5.如权利要求1所述的异构数据的共享方法，其特征在于，步骤五中，所述异构数据质量规则权重矩阵，采用如下公式表示：
Wi＝a％*Wa(i)+b％*Wb(i)+c％*Wc(i)+d％*Wd(i)+e％*We(i)+f％*Wf(i)；
其中，Wi代表第i项数据质量规则的加权分值；Wa(i)代表第i项数据质量规则在“a”维度下的分值，Wb(i)，Wc(i)，Wd(i)，We(i)，Wf(i)含义与Wa(i)同，分别表示在各自对应维度下的分值；a％，b％，c％，d％，e％，f％分别代表权重矩阵中各个维度参数的占比，且a％+b％+c％+d％e％+f％＝100％。
6.如权利要求1所述的异构数据的共享方法，其特征在于，步骤五中，所述对异构数据质量综合评估时，采用如下公式：
Figure FDA0003736475360000031
其中，S表示异构数据质量的综合得分；Wi表示第i个异构数据质量规则的加权分值；Rei表示第i个的异构数据质量规则的通过率；n表示全部异构数据质量规则的数量。
7.一种应用如权利要求1-6任意一项所述的异构数据的共享方法的异构数据的智能共享系统，其特征在于，所述异构数据的智能共享系统包括：
数据源获取模块、数据库构建模块、中央控制模块、数据加密模块、异构数据整合模块、异构数据验证模块、异构数据同步模块、异构数据共享模块、质量评估模块、数据存储模块、更新显示模块；
数据源获取模块，与中央控制模块连接，用于通过网络设备获取数据源；
数据库构建模块，与中央控制模块连接，用于通过数据库构建程序构建异构数据库；
中央控制模块，与数据库构建模块、数据加密模块、异构数据整合模块、异构数据验证模块、异构数据同步模块、异构数据共享模块、质量评估模块、数据存储模块、更新显示模块连接，用于通过中央处理器协调控制所述异构数据的智能共享系统各个模块的正常工作；
数据加密模块，与中央控制模块连接，用于通过加密算法对异构数据进行加密处理；
异构数据整合模块，与中央控制模块连接，用于通过整合程序对异构数据进行整合处理；
异构数据验证模块，与中央控制模块连接，用于通过验证程序对异构数据进行验证；
异构数据同步模块，与中央控制模块连接，用于通过同步程序对异构数据库数据进行同步；
异构数据共享模块，与中央控制模块连接，用于通过共享程序对异构数据进行共享；
质量评估模块，与中央控制模块连接，用于通过评估程序对多源异构数据进行质量评估；
数据存储模块，与中央控制模块连接，用于通过存储器存储获取的数据源、异构数据加密处理结果、异构数据整合结果、异构数据验证结果、异构数据同步信息、共享数据以及质量评估结果；
更新显示模块，与中央控制模块连接，用于通过显示器对获取的数据源、异构数据加密处理结果、异构数据整合结果、异构数据验证结果、异构数据同步信息、共享数据以及质量评估结果的实时数据进行更新显示。
8.一种计算机可读存储介质，储存有指令，当所述指令在计算机上运行时，使得计算机执行如权利要求1-6任意一项所述的异构数据的共享方法。
CN202011590076.6A 2020-12-29 2020-12-29 一种异构数据的共享方法及智能共享系统 Active CN112632052B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011590076.6A CN112632052B (zh) 2020-12-29 2020-12-29 一种异构数据的共享方法及智能共享系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011590076.6A CN112632052B (zh) 2020-12-29 2020-12-29 一种异构数据的共享方法及智能共享系统

Publications (2)

Publication Number Publication Date
CN112632052A CN112632052A (zh) 2021-04-09
CN112632052B true CN112632052B (zh) 2022-10-28

Family

ID=75285942

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011590076.6A Active CN112632052B (zh) 2020-12-29 2020-12-29 一种异构数据的共享方法及智能共享系统

Country Status (1)

Country Link
CN (1) CN112632052B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112800079B (zh) * 2021-04-12 2021-11-05 北京三维天地科技股份有限公司 一种让标准使用简单化的方法及系统
CN113660235B (zh) * 2021-08-10 2023-04-28 中和易茂科技服务(北京)有限公司 数据安全共享方法、存储器和处理器

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105550511A (zh) * 2015-12-11 2016-05-04 北京锐软科技股份有限公司 一种基于数据校验技术的数据质量测评系统及方法
CN107992519A (zh) * 2017-10-31 2018-05-04 中国电力科学研究院有限公司 一种面向智能电网大数据的多源异构数据校验系统及方法
CN111143467A (zh) * 2019-12-05 2020-05-12 贵州师范大学 一种实现分布式异构数据共享的云平台的数据共享方法
CN111459929A (zh) * 2020-03-30 2020-07-28 中科边缘智慧信息科技（苏州）有限公司 基于对等模式的多源数据链接与协同共享方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60312839T2 (de) * 2003-07-16 2007-12-13 Sony Deutschland Gmbh Erkennung von Rundfunksignalen für die Definition von brauchbaren Frequenzbändern für die Powerlinekommunikation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105550511A (zh) * 2015-12-11 2016-05-04 北京锐软科技股份有限公司 一种基于数据校验技术的数据质量测评系统及方法
CN107992519A (zh) * 2017-10-31 2018-05-04 中国电力科学研究院有限公司 一种面向智能电网大数据的多源异构数据校验系统及方法
CN111143467A (zh) * 2019-12-05 2020-05-12 贵州师范大学 一种实现分布式异构数据共享的云平台的数据共享方法
CN111459929A (zh) * 2020-03-30 2020-07-28 中科边缘智慧信息科技（苏州）有限公司 基于对等模式的多源数据链接与协同共享方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A WebGIS for sharing and integration of multi-source heterogeneous spatial data;Jianzhi Tang 等;《2011 IEEE International Geoscience and Remote Sensing Symposium》;20111020;2943-2946 *
基于多源异构数据的沧州市大气环境管理APP平台的构建与应用;成国庆 等;《环境科学研究》;20191129;第32卷(第10期);1747-1754 *
基于领域本体映射的综合相似度计算方法;金海涛 等;《现代计算机(专业版)》;20170515(第14期);34-39 *

Also Published As

Publication number Publication date
CN112632052A (zh) 2021-04-09

Similar Documents

Publication Publication Date Title
WO2021189974A1 (zh) 模型训练方法、文本分类方法、装置、计算机设备和介质
CN109791591B (zh) 经由区块链进行身份和凭证保护及核实的方法和系统
CN112632052B (zh) 一种异构数据的共享方法及智能共享系统
CN111427971B (zh) 用于计算机系统的业务建模方法、装置、系统和介质
CN109565452A (zh) 用于确定最优策略的系统和方法
CN110502519A (zh) 一种数据聚合的方法、装置、设备及存储介质
CN112364004A (zh) 基于数据仓库的保单数据处理方法、装置及存储介质
WO2022247443A1 (zh) 数据查询方法、装置、设备和存储介质
CN113360548A (zh) 基于数据资产分析的数据处理方法、装置、设备及介质
CN112965943A (zh) 一种数据处理方法、装置、电子设备以及存储介质
CN116307284B (zh) 能耗预测方法、电子设备及存储介质
CN111898027A (zh) 确定特征维度的方法、装置、电子设备和计算机可读介质
CN112053058A (zh) 指标模型的生成方法及装置
WO2024007466A1 (zh) 海量数据中识别目标类型数据的方法及装置
WO2023071529A1 (zh) 设备数据清洗方法、装置、计算机设备及介质
CN113869455B (zh) 无监督聚类方法、装置、电子设备及介质
CN113608688B (zh) 数据迁移方法、装置、设备及存储介质
CN115099875A (zh) 基于决策树模型的数据分类方法及相关设备
CN113626516A (zh) 数据增量同步方法和系统
CN113779335A (zh) 信息生成方法、装置、电子设备和计算机可读介质
CN113656405B (zh) 基于区块链的链上雷达图共建共享方法及装置
CN118095495B (zh) 模型训练硬件配置推荐方法、装置及电子设备
WO2023216900A1 (zh) 用于模型性能评估的方法、装置、设备和存储介质
WO2023216899A1 (zh) 用于模型性能评估的方法、装置、设备和介质
WO2022267098A1 (zh) 度量空间划分多边界搜索性能衡量的方法及相关组件

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant