CN113849692A - 一种数据交换方法及系统、电子设备、存储介质 - Google Patents
一种数据交换方法及系统、电子设备、存储介质 Download PDFInfo
- Publication number
- CN113849692A CN113849692A CN202111188047.1A CN202111188047A CN113849692A CN 113849692 A CN113849692 A CN 113849692A CN 202111188047 A CN202111188047 A CN 202111188047A CN 113849692 A CN113849692 A CN 113849692A
- Authority
- CN
- China
- Prior art keywords
- data
- data exchange
- exchange
- packet
- platform
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/80—Information retrieval; Database structures therefor; File system structures therefor of semi-structured data, e.g. markup language structured data such as SGML, XML or HTML
- G06F16/83—Querying
- G06F16/835—Query processing
- G06F16/8358—Query translation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/80—Information retrieval; Database structures therefor; File system structures therefor of semi-structured data, e.g. markup language structured data such as SGML, XML or HTML
- G06F16/84—Mapping; Conversion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开涉及计算机技术领域,公开了一种数据交换方法及系统、电子设备、存储介质。所述方法应用于多个数据交换代理之间的数据交换,包括:源数据交换代理从数据交换平台获取已发布的数据交换模型,根据数据交换模型,将待交换的源数据封装为与数据交换模型相对应的数据包,并将数据包发布至数据交换平台;目的数据交换代理从数据交换平台获取数据包,基于与数据包相对应的数据交换模型,解析数据包,得到源数据。本公开可解决数据交换中数据位置、数据结构、数据完整性和信息壁垒等方面的问题,实现异构数据的互联互通,有效避免繁琐复杂的人工数据转换适配过程,大大提升数据交换共享的效率,有效促进数据的流转运用。
Description
技术领域
本公开涉及计算机技术领域,特别涉及一种数据交换方法及系统、电子设备、存储介质。
背景技术
随着信息化建设的不断推进,数据已经成为重要的战略资源和生产要素。在大型组织机构信息化建设中,不同的层级、地域、系统、部门和业务将会产生大量数据资源,这些数据资源具有结构多样、标准不一、动态变化、分布广泛、分级管控等特点。
然而,传统的接口封装、数据拷贝等方法无法满足数据共享交换需要,系统的分立和数据孤岛现象日趋明显。随着系统间协作越来越频繁,数据共享交换问题已经成为制约数据资产化和极致化的重要瓶颈。
发明内容
本公开旨在至少解决现有技术中存在的问题之一,提供一种数据交换方法及系统、电子设备、存储介质。
本公开的一个方面,提供了一种数据交换方法,应用于多个数据交换代理之间的数据交换,所述方法包括:
源数据交换代理从数据交换平台获取已发布的数据交换模型,根据所述数据交换模型,将待交换的源数据封装为与所述数据交换模型相对应的数据包,并将所述数据包发布至所述数据交换平台;
目的数据交换代理从所述数据交换平台获取所述数据包,基于与所述数据包相对应的数据交换模型,解析所述数据包,得到封装在所述数据包中的所述源数据。
可选的,所述方法还包括:
所述数据交换平台接收用户输入的数据类型和数据元素,根据所述数据类型和所述数据元素,生成并发布所述数据交换模型。
可选的,所述方法还包括:
多个所述数据交换代理基于区块链构建可信网络,以通过所述可信网络进行数据交换,其中:
每个所述数据交换代理分别存储一条所述区块链;
每条所述区块链包括多个数据块,每个所述数据块分别对应一个所述数据交换代理;以及,
每个所述数据块均包括各所述数据交换代理之间预设的数据交换策略和授权用户信息。
可选的,所述数据块包括块创建时间戳、块所属单位标识、加密授权块、块校验和、当前数据块的哈希值、前一个数据块的哈希值、后一个数据块的名称。
可选的,所述数据交换模型包括发送方信息、接收方信息、时间、数据包描述、自定义字段、安全等级、数据交换规则和至少一个数据内容。
本公开的另一个方面,提供了一种数据交换系统,所述系统包括数据交换平台以及与所述数据交换平台通信连接的多个数据交换代理,其中:
源数据交换代理,用于从所述数据交换平台获取已发布的数据交换模型,根据所述数据交换模型,将待交换的源数据封装为与所述数据交换模型相对应的数据包,并将所述数据包发布至所述数据交换平台;
目的数据交换代理,用于从所述数据交换平台获取所述数据包,基于与所述数据包相对应的数据交换模型,解析所述数据包,得到封装在所述数据包中的所述源数据。
可选的,所述数据交换平台,用于接收用户输入的数据类型和数据元素,根据所述数据类型和所述数据元素,生成并发布数据交换模型。
可选的,多个所述数据交换代理基于区块链构建为可信网络,通过所述可信网络进行数据交换,其中:
每个所述数据交换代理分别存储一条所述区块链;
每条所述区块链包括多个数据块,每个所述数据块分别对应一个所述数据交换代理;以及,
每个所述数据块均包括各所述数据交换代理之间预设的数据交换策略和授权用户信息。
可选的,所述数据块包括块创建时间戳、块所属单位标识、加密授权块、块校验和、当前数据块的哈希值、前一个数据块的哈希值、后一个数据块的名称。
可选的,所述数据交换模型包括发送方信息、接收方信息、时间、数据包描述、自定义字段、安全等级、数据交换规则和至少一个数据内容。
本公开的另一个方面,提供了一种电子设备,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行前文记载的所述的方法。
本公开的另一个方面,提供了一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时实现前文记载的所述的方法。
本公开相对于现有技术而言,围绕大型企业集团、公共管理部门等各类组织机构数据来源渠道广、数据种类多、地理分布分散等特点,充分考虑数据的多样性和复杂性,创新性地提出了一种数据交换方法及系统、电子设备、存储介质,源数据交换代理从数据交换平台获取已发布的数据交换模型,根据数据交换模型,将待交换的源数据封装为与数据交换模型相对应的数据包,并将数据包发布至数据交换平台,目的数据交换代理从数据交换平台获取已发布的数据包,基于与数据包相对应的数据交换模型,解析数据包,得到封装在数据包中的源数据,数据交换模型格式简单、易于解析访问、支持多种语言,多个数据交换代理能够根据数据交换平台已发布的数据交换模型,进行自身数据的“转换-打包-上传-共享”或者“下载-解压-转换-使用”等操作,解决了数据交换中的数据位置、数据结构、数据完整性和信息壁垒等方面存在的问题,实现了异构数据的互联互通,有效避免了繁琐复杂的人工数据转换适配过程,大大提升了数据交换共享的效率,有效地促进了数据的流转运用。
附图说明
一个或多个实施方式通过与之对应的附图中的图片进行示例性说明,这些示例性说明并不构成对实施方式的限定,附图中具有相同参考数字标号的元件表示为类似的元件,除非有特别申明,附图中的图不构成比例限制。
图1为本公开一实施方式提供的一种数据交换方法的流程图;
图2为本公开另一实施方式提供的一种数据交换模型的结构示意图;
图3为本公开另一实施方式提供的各交换节点的数据交换需求示意图;
图4为本公开另一实施方式提供的一种可信网络的结构示意图;
图5为本公开另一实施方式提供的一条区块链的结构示意图;
图6为本公开另一实施方式提供的一种数据交换方法的流程图;
图7为本公开另一实施方式提供的一种数据交换系统的结构示意图;
图8为本公开另一实施方式提供的一种数据交换平台的架构图;
图9为本公开另一实施方式提供的一种数据交换系统的组织运用方式示意图;
图10为本公开另一实施方式提供的电子设备的结构示意图。
具体实施方式
公共管理部门和企业集团通常涉及各类跨域组织机构,以及采用不同技术路线和体制机制构建的业务系统,因此,如何实现多源异构的分布式数据交换和整合,构建互联互通的统一数据体系,成为亟待解决的问题。
现有技术中,对数据转换技术的研究包括以下内容:
2004年,第二代互联网Web2.0诞生,这种强交互网站的发展是建立在数据格式越来越复杂的基础上的。随着网络应用产生的数据量越来越庞大,数据格式越来越复杂,传统的关系型数据库系统如MySQL、Oracle等在处理海量数据时显得性能不足,缺乏灵活性和敏捷反应度。因此,多数据库的联合使用已经成为一种发展的基本模式,而多数据库的联合使用需要解决的关键问题之一,就是各数据库之间数据的相互转移交换。然而,在搭建异构多数据库的系统时,编程人员必须自己编写代码来实现系统中多个数据库之间的数据交互,使得大型平台系统的设计中将增加相当大的工作量。同时,随着异构数据库个数的增加,数据转移方案的需求将呈指数增长,导致数据库系统的逻辑更加复杂,需要借助大量的外部依赖,环境搭建困难,可移植性和可扩展性均较差。
为解决上述问题,可以建立基于中间数据格式的数据交换方案,该数据交换方案选择一种数据格式作为数据转换的中间数据标准,实现不同数据库数据的分类存储和数据库之间数据的迁移(罗艳.基于XML的异构数据交换技术研究[D].南昌:南昌大学,2011)。这种数据交换方案是数据库中间技术的一种应用,开发出一整套数据库到中间数据格式的转换方法和模型,通过可视化页面或接口的形式供数据用户访问或调用,极大地减少了实现数据交换的工作量,并且,完善的接口可以保证更好的性能稳定性,提高开发效率,还可以实现客户端应用程序便捷地访问异构数据库,完成异构数据的存储。
信息技术所面对的数据中只有约15%是结构化的,其余的85%基本都是半结构化或非结构化的,并且,这些数据大都可以理解为XML格式、JSON格式或者其他类似格式。
1)基于XML的异构数据转换:
在数据交换过程中,XML文档作为一个逻辑数据模块起到中间桥梁的作用。XML是可扩展标记语言,是W3C(World Wide Web Consortium,万维网联盟)制定的网际数据交换和表示的标准,可以用来定义数据类型和标记各种数据,属于标准通用标记语言的范畴,广泛应用于网络传输。由于XML具有可跨平台、易于扩展、语义性强、人机交互效果好等特性,因此,XML被广泛地应用于网络应用异构数据源数据的交换(魏亚男.基于新型HFC网络的业务信息系统的研究和设计[D].重庆:重庆大学,2007)。
异构数据源间XML数据格式转换主要分为三个部分:数据提取、数据转换、数据传输与接收。数据提取一般是通过ODBC(Open Database Connectivity,开放数据库互连)或者JDBC(Java Data Base Connectivity,java数据库连接)来连接数据库抽取数据,或者直接使用文件方式进行数据抽取。数据转换就是将源数据库中的数据转为XML元数据,然后通过重构、替换、数据类型转换、时间日期格式转换等操作,解析为目标数据库数据类型的数据。数据传输采用XML格式,以字节流形式进行,因此,传输的数据大小没有限制,但是会导致一定场景下数据占用带宽大,导致数据库间数据转移效率低下(文龙.基于XML的非结构化数据管理研究及应用[D].湖南:湖南大学,2009)。
2)基于JSON的异构数据转换:
为了解决XML的编程工作量大和拓展性欠佳等问题,可以采用容易被客户端识别和展示的JSON来进行WEB应用的数据传输。同时,JSON数据格式也是一种理想的异构数据库之间数据交换的中间格式,与多数数据库技术之间都存在相互转换方案。
JSON(JavaScript Object Notation,JS对象简谱)是一种轻量级的独立语言的文本数据交换格式,是基于JavaScript编程语言的一个子集,具备良好的读写性能,并且方便机器进行解析和生成。高兼容性的JSON可以作为异构平台间数据交互的中间逻辑数据格式,便于研发人员迅速掌握使用。
JSON设计了两种结构:
(1)Name/Value对的集合:在其他语言中,它被理解为对象、记录、结构、字典、哈希表、键列表或关联数组。
(2)值的有序列表:在其他语言中,它被理解为数组、向量、列表或序列。这些都是通用的数据结构,几乎所有的现代编程语言都支持这两种结构,可以作为编程语言的数据格式来使用。
现有技术中,不同的应用领域已经存在若干异构数据源的数据交换方案,这些方案针对不同的业务场景有着完善的技术支撑。
在司法领域,为解决跨领域之间的信息交换与共享问题,有的国家提出了NIEM(National Information Exchange Model,国家信息交换模型),经过不断完善,NIEM已成为该国各级公共管理部门之间信息交换与共享的事实上的标准。NIEM允许公共管理部门获取最新的数据模型对其数据进行编码,用于数据交换。为了便于实现基于NIEM的信息交换,有些组织开发了逻辑实体交换规范框架(Logical Entity Exchange Specifications,LEXS),定义了信息交换时的消息组织结构、消息参考模型、消息交换流程和消息交换接口,形成了一个能够满足不同信息交换需求的抽象的信息交换框架。然而,中国还未出现类似LEXS的解决方案。同时,LEXS没有针对用户类型多、数据标准不一致、数据来源广等特征进行设计,无法满足大型组织机构数据共享交换需求。
中国的陈志坚和郝忠孝提出了一种基于网格和XML的异构数据库集成模型,这种模型是可以跨平台、跨系统的。数据查询请求先通过XML数据标准进行转换,然后经过网格技术进行节点划分连接到目标的数据库系统(陈志坚,郝忠孝.基于网格和XML的异构数据库集成模型[J].齐齐哈尔大学学报,2008,(5):5-10.)。
为使本公开实施方式的目的、技术方案和优点更加清楚,下面将结合附图对本公开的各实施方式进行详细的阐述。然而,本领域的普通技术人员可以理解,在本公开各实施方式中,为了使读者更好地理解本申请而提出了许多技术细节。但是,即使没有这些技术细节和基于以下各实施方式的种种变化和修改,也可以实现本申请所要求保护的技术方案。以下各个实施方式的划分是为了描述方便,不应对本公开的具体实现方式构成任何限定,各个实施方式在不矛盾的前提下可以相互结合相互引用。
本公开的一个实施方式涉及一种数据交换方法,应用于多个数据交换代理之间的数据交换,其流程如图1所示,包括:
步骤101,源数据交换代理从数据交换平台获取已发布的数据交换模型,根据所述数据交换模型,将待交换的源数据封装为与所述数据交换模型相对应的数据包,并将所述数据包发布至所述数据交换平台。
具体的,为了支撑不同格式标准的数据在不同的组织机构间进行有效交换,数据交换平台可以存储并发布多种数据交换模型,以供各数据交换代理获取和使用。数据交换平台属于各数据交换节点进行数据交换的桥梁,各数据交换节点作为数据交换实体,可以利用数据交换代理并通过数据交换平台进行数据交换。
数据交换代理属于数据交换的客户端,参与数据交换的各单位可以作为数据交换节点,利用数据交换代理与其他单位进行数据交换。数据交换代理可以按功能分为源数据交换代理和目的数据交换代理。源数据交换代理将待交换的各类型的源数据,根据相应类型的数据交换模型封装为各数据包,并将各数据包发布至数据交换平台,以供目的数据交换代理获取和使用。
需要说明的是,同一个数据交换代理可以只具有源数据交换代理的功能,也可以只具有目的数据交换代理的功能,还可以同时具有源数据交换代理的功能和目的数据交换代理的功能。
数据交换模型属于异构数据进行数据交换的中间数据标准,可以用于规范和指导数据交换的具体工作。在数据交换模型的具体实现技术上,可以采用JSON作为数据交换的中间数据格式来构建异构数据转换的数据交换模型,以支撑高效便捷的数据交换。
源数据交换代理可以利用数据转换工具,将待交换的源数据按照数据交换模型封装为相应的数据包,并将数据包发布至数据交换平台,从而实现自身的源数据与基于数据交换模型生成的标准的数据包之间的转换适配,完成数据上报、共享等操作。这里的数据包类似于一个包含很多数据库以及其他信息的容器,包括数据交换模型中各数据选项所包括的具体内容。
可选的,所述数据交换模型包括发送方信息、接收方信息、时间、数据包描述、自定义字段、安全等级、数据交换规则和至少一个数据内容。
例如,如图2所示,数据交换模型可以包括报头部分、报尾部分和数据内容部分。
报头部分可以包括标准字段和自定义字段。标准字段属于各数据交换模型必须包括的信息。例如,标准字段可以包括数据包标识、发送方信息、接收方信息、时间、数据包描述和安全等级。数据包标识用于唯一指示数据包,以与其他数据包相区别。发送方信息可以包括发送方的人员、组织和联系方式等信息。接收方信息可以包括接收方的人员、组织和联系方式等信息。时间可以包括数据包的生成时间、发布时间等。数据包描述可以包括对数据包中的数据内容所作的简要说明等。考虑到安全问题,每个数据包均需要包括相应的安全等级管控信息,因此,可以在报头部分标明数据包对应的安全等级,以允许相应级别的交换实体获取和使用数据包。自定义字段允许数据交换实体根据实际需要增加自定义信息,该自定义信息可以包括数据包涉及的主题、行业等信息。
报尾部分可以包括数据交换规则,包括通信协议、数据包的共享方式、数据包的交换方法、数据包接收方的安全等级等涉及数据包交换的各种规则。
数据内容部分可以包括一个或多个数据内容块。每个数据内容块均包括相应的报头部分和具体内容部分。其中,数据内容块的报头部分可以包括数据内容的标识、类型、描述、安全等级等信息。数据内容的标识用于唯一指示数据内容块,以与其他数据内容块相区别。数据内容的类型用于表示本数据内容块中的数据具体内容所属的数据类型,包括结构化数据、半结构化数据、非结构化数据等。数据内容的描述可以是具体内容部分的数据所对应的简要介绍等信息。考虑到安全问题,数据内容块的报头部分也需要包括数据内容的安全等级信息,以允许相应级别的交换实体获取和使用相应的数据内容。数据内容块的具体内容部分可以包括标准化SQL(Structured Query Language,结构化查询语言)/JSON数据,也可以包括标准化XML数据如合同文件等,还可以包括多媒体数据如图片、视频等,或者,具体内容部分也可以包括其他类型的数据,本实施方式对此并不限制。在数据内容部分包括多个数据内容块时,各数据内容块的具体内容部分还可以相互链接,以方便目的数据交换代理对各数据内容块的具体内容部分进行解析。
步骤102,目的数据交换代理从所述数据交换平台获取所述数据包,基于与所述数据包相对应的数据交换模型,解析所述数据包,得到封装在所述数据包中的所述源数据。
具体的,目的数据交换代理可以根据实际需求,从数据交换平台获取已发布的一个或者多个数据包,利用数据转换工具,基于与获取的数据包的类型相对应的数据交换模型,解析数据包,得到封装在数据包中的源数据,从而实现基于数据交换模型生成的标准的数据包与自身数据之间的转换适配,完成数据下载、使用等操作。
如图2所示,在解析数据包时,目的数据交换代理可以基于与该数据包的类型相对应的数据交换模型,从数据包的数据内容部分自动提取各数据内容块的具体内容部分包括的各类数据,从而得到数据包中的源数据。
本公开实施方式相对于现有技术而言,围绕大型企业集团、公共管理部门等各类组织机构数据来源渠道广、数据种类多、地理分布分散等特点,充分考虑数据的多样性和复杂性,创新性地提出了一种数据交换方法,源数据交换代理从数据交换平台获取已发布的数据交换模型,根据数据交换模型,将待交换的源数据封装为与数据交换模型相对应的数据包,并将数据包发布至数据交换平台,目的数据交换代理从数据交换平台获取已发布的数据包,基于与数据包相对应的数据交换模型,解析数据包,得到封装在数据包中的源数据,数据交换模型格式简单、易于解析访问、支持多种语言,多个数据交换代理能够根据数据交换平台已发布的数据交换模型,进行自身数据的“转换-打包-上传-共享”或者“下载-解压-转换-使用”等操作,解决了数据交换中的数据位置、数据结构、数据完整性和信息壁垒等方面存在的问题,实现了异构数据的互联互通,有效避免了繁琐复杂的人工数据转换适配过程,大大提升了数据交换共享的效率,有效地促进了数据的流转运用。
可选的,所述方法还包括:
所述数据交换平台接收用户输入的数据类型和数据元素,根据所述数据类型和所述数据元素,生成并发布所述数据交换模型。
具体的,为了支撑不同格式标准的数据在不同的组织机构间进行有效交换,数据交换平台存储并发布的数据交换模型还具有可配置可扩展的功能,以实现不同来源、不同类型数据的互联互通。数据交换平台可以允许数据交换单位设计和创建自定义的数据类型和数据元素,以多样化数据格式设计、描述和发布数据字典,形成共享标准,支撑数据交换单位参照共享标准执行数据映射,以从繁杂的原始数据中抽取信息,形成有组织的通用的数据结构,用以创建通用的和行业专用的数据交换模型、数据类型和数据元素,支撑跨组织、跨区域、跨领域的数据交换和数据共享。
数据交换平台可以通过数据交换模型构建发布工具,随时接收用户输入的数据类型和数据元素,根据用户输入的数据类型和数据元素,新建或者修改数据交换模型,之后生成并发布数据交换模型,从而大大提升数据交换模型的更新升级速度。数据交换模型构建发布工具支持动态生成包含JSON、SQL、文本、多媒体等格式的数据的复合数据模型,在此基础上,建立统一的数据交换话语体系。相应的,数据交换平台还可以提供支持JSON、SQL、文本、多媒体等格式的数据进行格式自动转换的数据转换工具,供各数据交换代理使用,从而实现不同数据格式的数据进行共享交换。
数据交换平台还可以提供用户安全管理、数据包支持等功能,允许数据交换实体利用数据交换代理根据各自的数据交换权限进行发布数据包、浏览和搜索感兴趣的数据包、订阅数据时间通知、下载数据包等操作。
通过利用数据交换平台来接收用户输入的数据类型和数据元素,并根据用户输入的数据类型和数据元素,生成并发布数据交换模型,使得各数据交换单位等用户可以随时编辑、更新和发布标准的数据交换模型,从而帮助大型企业集团、公共管理部门等各类组织机构快速建立可扩展的数据标准体系,在有效支撑基础数据共享交换的基础上,还可快速扩充各类新增数据和个性化数据,降低数据交换的复杂度,提升数据交换的可信度。
可选的,所述方法还包括:
多个所述数据交换代理基于区块链构建可信网络,以通过所述可信网络进行数据交换,其中:
每个所述数据交换代理分别存储一条所述区块链;
每条所述区块链包括多个数据块,每个所述数据块分别对应一个所述数据交换代理;以及,
每个所述数据块均包括各所述数据交换代理之间预设的数据交换策略和授权用户信息。
由于大型企业集团、公共管理部门等各类组织机构的数据交换通常需要连接跨域实体,数据交换需求不断增加,单点集中化的数据交换服务很难处理不断增加的负载,数据安全性也难以保证,因此,为了解决上述问题,可以构建数据交换的可信网络,注册相关数据交换服务,集成和组织跨地域的多个数据交换实体进行协同工作。在这个可信网络中,可以将区块链作为底层安全机制,以实现分布式数据交换系统中的用户授权管理。数据所有者和授权的数据使用者之间可以根据共享交换的需要进行自由组合,构建弹性的数据交换可信网络,在保证数据一致性和完整性的同时,实现可靠的分布式访问授权,打造物理分布、逻辑集中的数联网。
具体的,多个数据交换代理可以根据各数据交换节点之间的数据交换需求构建为一个可信网络,也可以根据各数据交换节点之间的数据交换需求构建为多个包括部分数据交换代理的可信网络。
如图3所示,各数据交换节点之间的数据交换需求为:交换节点1分别与交换节点2、交换节点3进行双向数据交换,交换节点3与交换节点4进行双向数据交换,交换节点5与交换节点2进行单向数据交换即交换节点5将自身的数据分享给交换节点2。
根据图3所示的数据交换需求构建的可信网络可以如图4所示。由于交换节点1需要分别与交换节点2、交换节点3进行双向数据交换,交换节点3需要与交换节点4进行双向数据交换,因此,交换节点1至交换节点4需要分别利用各自的数据交换代理,通过数据交换平台与需要进行双向数据交换的交换节点中的数据交换代理通信连接。由于交换节点5需要将自身的数据分享给交换节点2,因此,只需将交换节点5的数据交换代理通过数据交换平台与交换节点2的数据交换代理通信连接即可。另外,由于图3中的交换节点1也可以从交换节点2获取到交换节点5分享给交换节点2的数据,即交换节点1也需要获取交换节点5分享的数据,因此,如图4所示,还可以将交换节点5的数据交换代理通过数据交换平台与交换节点1的数据交换代理通信连接,使得交换节点1可以直接获取交换节点5分享的数据,而不必通过交换节点2来获取,从而提高数据交换的效率。
可信网络服务可以在每个数据交换代理托管一个基于区块链的电子合同服务,每个数据交换节点的管理员可以申请将其数据交换代理与其他数据交换代理相连接,当其他数据交换代理所在的数据交换节点的管理员批准该申请后,各数据交换节点的数据交换协议和授权用户信息将加入区块链。不同数据交换节点的管理员必须商定一组数据使用和访问控制策略,当此数据使用和访问控制策略达成一致时,此数据使用和访问控制策略也将加入区块链,基于此数据使用和访问控制策略,可以实现自动化的数据转发。
可信网络中的每个数据交换代理均存储一条区块链,每条区块链包括多个数据块,其中,每条区块链中的数据块的个数与可信网络中数据交换代理的个数相同,每个数据块分别对应一个数据交换代理。换句话说,区块链中的各数据块与可信网络中的数据交换代理一一对应。每个数据块均包括可信网络中各数据交换代理之间预设的数据交换策略和授权用户信息,以使各数据交换代理依据数据交换策略和授权用户信息进行数据交换。区块链中的数据块连接在一起,以提供相应功能。
例如,由于图4所示的可信网络包括5个数据交换代理,因此,如图5所示,交换节点1的数据交换代理中存储的区块链可以包括5个数据块,每个数据块分别对应一个交换节点的数据交换代理。其中,标记为单位1的数据块对应交换节点1的数据交换代理,标记为单位2的数据块对应交换节点2的数据交换代理,标记为单位3的数据块对应交换节点3的数据交换代理,标记为单位4的数据块对应交换节点4的数据交换代理,标记为单位5的数据块对应交换节点5的数据交换代理。标记为单位1的数据块和标记为单位5的数据块中的星号*表示本地单位,即通过交换节点1进行数据交换的单位。
各数据交换代理可以利用数据交换平台采用签署数字合同等方法设置授权用户信息和数据交换策略,构建基于区块链的可信网络,从而实现可信网络中各数据交换代理之间的访问授权,以及自动化的数据填报、上传、推送、下载等。
本实施方式将区块链技术作为底层认证授权管理技术,构建互联互通的数据交换可信网络,使得各级各类组织机构能够在安全的环境中进行复杂数据的分布式共享交换,区块链无需中心机构做信任背书的特性使得本实施方式能够适用于大规模跨域数据交换的应用场景,同时,区块链网络去中心化、无法篡改交易的特性,使得原有需要中介平台进行认证授权的情况不复存在。
可选的,所述数据块包括块创建时间戳、块所属单位标识、加密授权块、块校验和、当前数据块的哈希值、前一个数据块的哈希值、后一个数据块的名称。
具体的,块创建时间戳用来表示数据块的创建时间。块所属单位标识用来表示数据块所对应的数据交换代理所属的数据交换单位。加密授权块可以包括数据块所对应的数据交换代理所属的数据交换单位的单位信息、单位用户安全信息以及内容访问策略等信息。
例如,如图5所示,标记为单位1的数据块可以包括块创建时间戳、块所属单位标识、块校验和、加密授权块、当前数据块的哈希值、前一个数据块的哈希值、后一个数据块的名称。其中,单位信息可以包括交换节点、单位标识、名称、联系信息等,以及单位安全等级/分类、FTP(File Transfer Protocol,文件传输协议)服务器的IP地址、用户名和密码等。单位用户安全信息可以包括单位管理员信息和数据管理员信息,二者均可以包括相关管理员的姓名、用户名、密码、角色、安全等级、联系信息等。内容访问策略可以包括其他单位的授权策略,比如,可以分别包括单位1、单位2、单位3等单位的授权策略,每个单位的授权策略中均可以包括数据类别、交换方式、浏览/下载/订阅/推送等信息。
为使本领域技术人员能够更好地理解上述方法,下面以一具体示例为例进行说明。
如图6所示,可信社区由至少5个交换节点通过可信网络构建。数据交换平台可以通过数据模型动态构建发布工具接收用户输入的相关信息,动态生成并发布数据交换模型。交换节点5中的数据交换代理作为源数据交换代理,从数据交换平台获取已发布的数据交换模型,根据数据交换模型封装数据包,并将数据包发布至数据交换平台。交换节点1中的数据交换代理作为目的数据交换代理,从数据交换平台按需获取数据包,并基于与数据包相对应的数据交换模型,解析数据包,得到封装在数据包中的源数据。
本公开的另一个实施方式涉及一种数据交换系统,如图7所示,所述系统包括数据交换平台701以及与所述数据交换平台701通信连接的多个数据交换代理,其中:
源数据交换代理702,用于从所述数据交换平台701获取已发布的数据交换模型,根据所述数据交换模型,将待交换的源数据封装为与所述数据交换模型相对应的数据包,并将所述数据包发布至所述数据交换平台701;
目的数据交换代理703,用于从所述数据交换平台701获取所述数据包,基于与所述数据包相对应的数据交换模型,解析所述数据包,得到封装在所述数据包中的所述源数据。
可选的,所述数据交换平台701,用于接收用户输入的数据类型和数据元素,根据所述数据类型和所述数据元素,生成并发布数据交换模型。
可选的,多个所述数据交换代理基于区块链构建为可信网络,通过所述可信网络进行数据交换,其中:
每个所述数据交换代理分别存储一条所述区块链;
每条所述区块链包括多个数据块,每个所述数据块分别对应一个所述数据交换代理;以及,
每个所述数据块均包括各所述数据交换代理之间预设的数据交换策略和授权用户信息。
可选的,所述数据块包括块创建时间戳、块所属单位标识、加密授权块、块校验和、当前数据块的哈希值、前一个数据块的哈希值、后一个数据块的名称。
可选的,所述数据交换模型包括发送方信息、接收方信息、时间、数据包描述、自定义字段、安全等级、数据交换规则和至少一个数据内容。
本公开实施方式提供的数据交换系统的具体实现方法,可以参见本公开实施方式提供的数据交换方法所述,此处不再赘述。
本公开实施方式相对于现有技术而言,围绕大型企业集团、公共管理部门等各类组织机构数据来源渠道广、数据种类多、地理分布分散等特点,充分考虑数据的多样性和复杂性,创新性地提出了一种数据交换系统,源数据交换代理从数据交换平台获取已发布的数据交换模型,根据数据交换模型,将待交换的源数据封装为与数据交换模型相对应的数据包,并将数据包发布至数据交换平台,目的数据交换代理从数据交换平台获取已发布的数据包,基于与数据包相对应的数据交换模型,解析数据包,得到封装在数据包中的源数据,数据交换模型格式简单、易于解析访问、支持多种语言,多个数据交换代理能够根据数据交换平台已发布的数据交换模型,进行自身数据的“转换-打包-上传-共享”或者“下载-解压-转换-使用”等操作,解决了数据交换中的数据位置、数据结构、数据完整性和信息壁垒等方面存在的问题,实现了异构数据的互联互通,有效避免了繁琐复杂的人工数据转换适配过程,大大提升了数据交换共享的效率,有效地促进了数据的流转运用。
为了使本领域技术人员更好地理解上述实施方式,下面以一具体示例进行说明。
数据交换系统中的数据交换平台可以提供标准数据交换模型创建工具和数据交换服务,支持授权的用户或组织以一种统一安全的方式来共享异构数据,支持各类应用通过标准化方式获取稳定、准确、高速的数据服务。如图8所示,数据交换平台的架构包括数据交换模型构建发布部分和数据交换部分。数据交换模型构建发布部分包括交换模型与服务、灵活数据交换模板编辑和标准化字典编辑。其中,交换模型与服务包括数据交换模型的推送、发布、浏览/搜索、订阅/通知、下载。灵活数据交换模板编辑包括数据块报文定义标准和数据包交换规则定义标准。标准化字典编辑包括SQL字典、JSON字典、XSD(XML SchemaDefinition,文档结构描述)字典、数据剖析算法、数据转换公式和工具。
如图9所示,利用图8所示的数据交换平台,数据交换系统的组织运用方式可以包括:
数据交换平台中的数据交换模型构建发布工具利用后台处理部分的数据字典,生成物品数据交换模型、人员数据交换模型、事件数据交换模型,并将上述三类数据交换模型发布至个性化数据共享交换门户。数据用户利用数据交换代理可以从个性化数据共享交换门户查看数据交换信息、查看数据模型、下载数据转换工具、进行数据下载和数据上传等操作。数据交换平台在提供数据交换服务时,可以通过后台处理对交换库中的数据包进行数据转换适配。数据交换平台还可以通过数据交换服务模块实现数据交换。数据交换代理可以通过个性化数据共享交换门户下载交换库中的数据包,并将自身的数据包通过个性化数据共享交换门户上传至交换库,或进行数据包的填报工作。数据交换代理还可以通过手动方式或者利用程序将数据上传至数据交换服务模块中的sFTP(Secret File TransferProtocol,安全文件传送协议)服务器。数据交换服务模块还可以为数据交换代理中的外部组织机构FTP服务提供推送服务。
本公开的另一个实施方式涉及一种电子设备,如图10所示,包括:
至少一个处理器1001;以及,
与所述至少一个处理器1001通信连接的存储器1002;其中,
所述存储器1002存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器1001执行,以使所述至少一个处理器1001能够执行上述实施方式所述的方法。
其中,存储器和处理器采用总线方式连接,总线可以包括任意数量的互联的总线和桥,总线将一个或多个处理器和存储器的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起,这些都是本领域所公知的,因此,本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件,也可以是多个元件,比如多个接收器和发送器,提供用于在传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输,进一步,天线还接收数据并将数据传送给处理器。
处理器负责管理总线和通常的处理,还可以提供各种功能,包括定时,外围接口,电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。
本公开的另一个实施方式涉及一种计算机可读存储介质,存储有计算机程序,计算机程序被处理器执行时实现上述实施方式所述的方法。
即,本领域技术人员可以理解,实现上述实施方式所述方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM(Read-OnlyMemory,只读存储器)、RAM(Random Access Memory,随机存取存储器)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解,上述各实施方式是实现本公开的具体实施方式,而在实际应用中,可以在形式上和细节上对其作各种改变,而不偏离本公开的精神和范围。
Claims (10)
1.一种数据交换方法,其特征在于,应用于多个数据交换代理之间的数据交换,所述方法包括:
源数据交换代理从数据交换平台获取已发布的数据交换模型,根据所述数据交换模型,将待交换的源数据封装为与所述数据交换模型相对应的数据包,并将所述数据包发布至所述数据交换平台;
目的数据交换代理从所述数据交换平台获取所述数据包,基于与所述数据包相对应的数据交换模型,解析所述数据包,得到封装在所述数据包中的所述源数据。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
所述数据交换平台接收用户输入的数据类型和数据元素,根据所述数据类型和所述数据元素,生成并发布所述数据交换模型。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
多个所述数据交换代理基于区块链构建可信网络,以通过所述可信网络进行数据交换,其中:
每个所述数据交换代理分别存储一条所述区块链;
每条所述区块链包括多个数据块,每个所述数据块分别对应一个所述数据交换代理;以及,
每个所述数据块均包括各所述数据交换代理之间预设的数据交换策略和授权用户信息。
4.根据权利要求3所述的方法,其特征在于,所述数据块包括块创建时间戳、块所属单位标识、加密授权块、块校验和、当前数据块的哈希值、前一个数据块的哈希值、后一个数据块的名称。
5.根据权利要求1至4任一项所述的方法,其特征在于,所述数据交换模型包括发送方信息、接收方信息、时间、数据包描述、自定义字段、安全等级、数据交换规则和至少一个数据内容。
6.一种数据交换系统,其特征在于,所述系统包括数据交换平台以及与所述数据交换平台通信连接的多个数据交换代理,其中:
源数据交换代理,用于从所述数据交换平台获取已发布的数据交换模型,根据所述数据交换模型,将待交换的源数据封装为与所述数据交换模型相对应的数据包,并将所述数据包发布至所述数据交换平台;
目的数据交换代理,用于从所述数据交换平台获取所述数据包,基于与所述数据包相对应的数据交换模型,解析所述数据包,得到封装在所述数据包中的所述源数据。
7.根据权利要求6所述的系统,其特征在于,
所述数据交换平台,用于接收用户输入的数据类型和数据元素,根据所述数据类型和所述数据元素,生成并发布数据交换模型。
8.根据权利要求6所述的系统,其特征在于,多个所述数据交换代理基于区块链构建为可信网络,通过所述可信网络进行数据交换,其中:
每个所述数据交换代理分别存储一条所述区块链;
每条所述区块链包括多个数据块,每个所述数据块分别对应一个所述数据交换代理;以及,
每个所述数据块均包括各所述数据交换代理之间预设的数据交换策略和授权用户信息。
9.一种电子设备,其特征在于,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1至5中任一项所述的方法。
10.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111188047.1A CN113849692A (zh) | 2021-10-12 | 2021-10-12 | 一种数据交换方法及系统、电子设备、存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111188047.1A CN113849692A (zh) | 2021-10-12 | 2021-10-12 | 一种数据交换方法及系统、电子设备、存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113849692A true CN113849692A (zh) | 2021-12-28 |
Family
ID=78978040
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111188047.1A Pending CN113849692A (zh) | 2021-10-12 | 2021-10-12 | 一种数据交换方法及系统、电子设备、存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113849692A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117763023A (zh) * | 2023-12-04 | 2024-03-26 | 长江水利委员会长江科学院 | 一种多源异构大坝安全监测数据动态适配交换方法及系统 |
-
2021
- 2021-10-12 CN CN202111188047.1A patent/CN113849692A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117763023A (zh) * | 2023-12-04 | 2024-03-26 | 长江水利委员会长江科学院 | 一种多源异构大坝安全监测数据动态适配交换方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11693877B2 (en) | Cross-ontology multi-master replication | |
CN106776780B (zh) | 一种云环境中数据交换与共享方法及系统 | |
Falazi et al. | Smart contract invocation protocol (SCIP): A protocol for the uniform integration of heterogeneous blockchain smart contracts | |
US20100125584A1 (en) | Intelligent event query publish and subscribe system | |
CN104200402A (zh) | 一种电网多个数据源的源数据发布方法及系统 | |
US20120278334A1 (en) | Database System | |
CN105956029B (zh) | 混合存储架构下的数据访问方法 | |
WO2018036324A1 (zh) | 一种智慧城市信息共享的方法和装置 | |
CN101945126A (zh) | 森林资源异构数据分布式管理系统 | |
Jeong et al. | An IoT platform for civil infrastructure monitoring | |
CN114218218A (zh) | 基于数据仓库的数据处理方法、装置、设备及存储介质 | |
CN113673961A (zh) | 一种基于工作流的档案调度方法 | |
CN104348853A (zh) | 一种电力系统服务注册管理方法及系统 | |
CN113849692A (zh) | 一种数据交换方法及系统、电子设备、存储介质 | |
Cavalieri et al. | Realising interoperability between opc ua and ocf | |
Wei et al. | The design and implementation of a grid-enabled catalogue service | |
CN103533094A (zh) | 标码一体机及标码系统 | |
CN110532313A (zh) | 数据交换装置 | |
Ise | Towards a Unified University information system: bridging the gap of data interoperability | |
KR100783767B1 (ko) | 공간 지리 정보 제공 시스템 | |
KR100740234B1 (ko) | Pdm 시스템과 가상현실 시스템간 제품 데이터 양방향교환 시스템 및 방법 | |
Baglietto et al. | Always-on distributed spreadsheet mashups | |
CN110109949A (zh) | 社会信用信息服务平台 | |
Stäber et al. | Interoperability challenges and solutions in automotive collaborative product development | |
Li et al. | The spatial data sharing mechanisms of geological survey information grid in P2P mixed network systems network architecture model |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |