CN108076133A - 数联网 - Google Patents
数联网 Download PDFInfo
- Publication number
- CN108076133A CN108076133A CN201710976210.8A CN201710976210A CN108076133A CN 108076133 A CN108076133 A CN 108076133A CN 201710976210 A CN201710976210 A CN 201710976210A CN 108076133 A CN108076133 A CN 108076133A
- Authority
- CN
- China
- Prior art keywords
- data
- service
- resource
- serving node
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明的目的在于提供一种信息系统架构方案,及其关键设备、方法,数联网,包含有数据源设施、网络连接体系,数据源设施与网络连接体系构成数联网底层平台,通过在数联网底层平台上部署数据服务节点形成数联网。通过数联网TM的部署实施,可以建立起灵活的、可扩展的、安全的、高性能的、支撑数据模型承载的、方便应用开发的、符合数据及数据权益交易的技术要求特性的、符合数据产权的技术要求特性的数据运营基础设施。
Description
技术领域
本发明涉及信息系统领域,具体涉及一种数据网络的体系结构及实现方案。
背景技术
数据作为信息的载体,蕴含了巨大的数据价值,而数据的汇集程度是影响数据价值的发挥的重要基础之一。现有信息系统更加注重于设备与信号的通路,而并未基于数据的视角、从数据的连通、共享、交换、价值发现等角度出发进行体系设计与建设;导致现有信息系统虽然支撑了海量数据的产生及积淀,但却难以支撑数据的运营,IT数据、机器数据、运维数据等等各型数据随意的、零乱的散布在全球信息系统当中,难以被发现、认知、发展、挖掘融合与运用、运营,阻碍了数据资源对经济社会的促进。同时,现有的信息系统更加注重业务的支撑及系统的健壮安全等,而鲜有认识到数据运营的可能与模式;导致其数据的积淀潜力未能有效发挥、数据资源提取困难。现在数据汇集存在的困难是多层次、多类型的问题混杂在一起,需要包括机制、应用、算法、数据模型、基础设施在内的整套数据认知和梳理理论和方法论来驱动,有的可能是通过技术方案解决,有的可能是通过管理创新解决,有的可能是通过商业模式创新来解决,有的甚至是通过体制机制创新来解决。现有的信息技术系统并非为数据运营而设计,不能全面适应、支撑数据运营要求,让需求者能够方便的获取数据,并保持数据生态的循环互促发展。
发明内容
基于数据运营的需求和发展方向,通过对现有体系和技术的分析,勤智公司设计、提出了数据运营体系方案,本发明旨在研究提出勤智®数联网™技术方案,以保障勤智®数据运体系的工程实现。
本发明的目的在于提供一种信息系统架构方案,即数联网™方案;并进一步提供包括数联网™中关键设备、方法的技术方案在内的技术细节。通过数联网™的部署实施,可以建立起灵活的、可扩展的、安全的、高性能的、支撑数据模型承载的、方便应用开发的、符合数据及数据权益交易的技术要求特性的、符合数据产权的技术要求特性的数据运营基础设施。与数联网™方案的要求相适应,针对现有方案的不足或空白,本发明提供的各设备、方法满足建网的功能与性能要求,具体目标在方案处描述。
数据源设施:泛指具备数据存储能力的各型设备或系统,可以是个人电脑、服务器、局域网、移动终端、工业自动化系统等;
网络连接体系:泛指信号传输系统,可以是各型网络;
基础系统:泛指信息系统,可以是个人电脑、服务器、局域网、移动终端、工业自动化系统等。
1、数联网
数联网,包含有数据源设施、网络连接体系,数据源设施与网络连接体系构成数联网底层平台,通过在数联网底层平台平台上部署数据服务节点形成数联网;
数据服务节点通过配置承担具体职能,包括数据节点构建与数联组网功能,数据服务节点对数据源设施进行处理,完成本地数据资源的规范;数据服务节点之间相互联络与协作,形成数据网络;边界数据服务节点总体构成连接数据源设施与数据网络的边界;
数据源设施中的本地数据资源经过规范得以充分暴露与控制;数据源设施透过(直连)数据服务节点享有数据网络上的外部数据资源,向数据网络分享本地数据资源;数据网络由采用配置项定义的、位于不同层级的数据服务节点在网络连通的基础上,构建组网逻辑,对数据资源进行链通与控制;
数据网络具有层级性质,通过数据服务节点的配置实现,作为子网络在与相对高层级数据网络进行组接时,该数据服务节点执行的实质上就是对本地数据资源的规范;
规范包括对数据资源的登记、路径的建立。
数联网的本质是构建一套能够识别每个节点数据及数据服务,并构建按需,免费或无偿,访问及利用、挖掘所有节点综合数据价值的能力;并提供节点开放数据及数据服务的标准、工具、服务,服务比如脱敏、清晰、梳理等;并提供各个节点及中心控制的可信安全机制。
采用上述方案实现的数联网工程,从数据运营的角度赋予了现有网络工程以数据的组网逻辑,不仅提出了满足和支撑数据运营的多层次技术需求的解决方案,而且给出了体系结构的基本框架、划分了主要构成及分工模型,更确立出了该体系的基本原则:数据服务节点的定义,对内提供规范服务,对外承担供需双重角色;数据网络的内外部划分,在双向上实现数据的整合与供给;数据网络的层级性质,实现无限级联的能力。
进一步的,数据网络是域内(管辖域)数据服务节点及其组网逻辑的总体,其规模及功能配置因工程需要确定。仅有一台配置成数据服务节点的主机,或者仅有一台数据服务节点服务器的局域网络,虽数据资源全部来源于本地,但数据服务节点同样对本地资源进行规范,并支持本地应用,更提供了对外组网的能力,属于数据网络的范畴;更为普遍的情况是,数量及单点规模动态变化的多个数据服务节点,相互联络与协作,维持数据资源的充分暴露及路径建设与维护,并选配有包括:网络管理能力,支持服务节点数量的动态增减、数据服务节点能力的发展变化;为网络构建统一的安全与可信机制;服务节点的统一协同机制。
更进一步的,数据网络的结构可以是中心控制结构、去中心结构、扁平化中心结构的一种或其变形、或者混同。数据网络的核心是数据资源的管理与数据路径的控制。其结构可根据资源分布情况和网络规模选择合适的方案,且将在很大程度上影响服务节点的配置与设计;在中心控制结构中,数据服务节点的配置差异性更大,有数据服务节点被配置为中心控制器,管理与协调各数据源处的数据服务节点,对网络控制起核心作用;在去中心结构中,各数据源端的数据服务节点被被配置成具有网络协同与控制的站点,各节点之间直接协同;也可以根据需要,将部分数据节点配置为具有全局控制属性,但同时在其它数据节点处保持部分控制属性,共同完成数据网络的控制任务。
更进一步的,数据网络的安全与可信机制采用如下方案实现:。
更进一步的,数据网络的服务节点的统一协同机制采用如下方案实现:。
进一步的,数据服务节点是数据服务的基本的单元,所有的数据服务节点构成庞大的数据服务网络(数据网络)。任何组织和个人都可以在合规合法的前提下对外提供数据服务。为与数据网络的层级性质相适应,本发明中采用上位的数据服务节点概念来对异构的数据服务节点实例进行统一,将所有的数据服务节点的差异视为配置选项不同组合的结果。在数据服务节点模型中包含有三层配置,分别对应本地数据资源的规范、与数据网络的融合、数据资源的供给。本地数据资源规范可以包括数据的发现、脱敏、重构、完善、目录与查询、鉴权与安全等服务中的一项或全部;也包括对内部数据通路的建立与控制。与数据网络的融合,包括与各型数据服务节点的联结与协同,是构建数据网络组网逻辑、实现数据网络各项机制的基础。数据资源的供给采用统一的视角,将来自本地或外部的数据资源需求同等对待,同时,其数据资源的提供方式应做宽泛理解。
更进一步的,数据服务节点的技术路径包括:。
更进一步的,数据服务节点的模型包括:。
在技术体系总体层面需要特别说明的其它模块,待补充。
采用上述方案实现的数联网工程,提供了优选的数联网模型的数据网络模型、数据服务节点模型,可构建一套能够识别每个节点数据及数据服务,并构建按需,免费或无偿,访问及利用、挖掘所有节点综合数据价值的能力。
2、数据服务节点
数据服务节点,基础系统包含有数据存储机制、数据访问机制,其特征在于:数据服务节点在基础系统上构建有服务业务系统,服务业务系统包含有服务资源注册表与注册表访问机制,服务资源注册表由描述项构成,描述项包括资源条目及资源访问信息,服务资源注册表通过注册表访问机制被访问,注册表访问机制可根据用户请求和数据资源注册表生成标准报文。
采用这种方案的数据服务节点,不仅具有提供数据服务的能力,而且具有对数据服务资源进行自描述的能力。
进一步的,服务业务系统还包含有注册表改写模块,注册表改写模块可以对服务资源注册表进行维护操作。
采用这种方案的数据服务节点,为资源注册表的改写提供了开放接口,方便改写机制的更新与管理。
进一步的,服务业务系统还包含有服务资源发现模块,服务资源发现模块与注册表改写模块对接,协同进行服务资源注册表的资源信息维护。
采用这种方案的数据服务节点,可以对域内服务资源进行主动发现。
进一步的,所述服务资源发现模块包括本地资源发现模块与域外资源发现模块。
更进一步的,所述本地资源发现模块采用标准接口与发现策略模块对接。
更进一步的,所述发现策略模块为自动发现子系统,按照预设算法遍历发现本地数据服务资源。
更进一步的,所述域外资源发现模块为遍历引擎,对登记的其它服务节点的注册表进行遍历。
更进一步的,所述域外资源发现模块为查询接口,向数据服务资源中心查询。
更进一步的,所述域外资源发现模块为查询接口,向第三方数据服务资源搜索引擎进行查询。
更进一步的,所述数据服务节点还包含有数据服务注册接口,各种数据服务模块通过数据服务注册接口对外提供服务。
采用本发明所提供的数联网™技术方案,可以促进数据流动、支撑数据价值实现,可以对复杂数据模型提供的承接;可以与算法库的融合互促;可以作为从城市级、行业级大数据应用的基础设施;可以更好的适应数据交易及权益交易的技术需求。
说明书附图
图1:是本发明的系统结构图;
图2:是基于分布式数据服务节点构建方法的系统结构示意图;
图3:是本发明一种分布式数据服务节点构建方法的流程示意图。
具体实施方式
数联网的拓扑模型如图1所示。主要构成组件包括:
1.数据服务节点Data Service Node(NSD)
2.数据服务注册中心Data Service Register(DSR)
3.数据目录管理中心Data Resources Manager(DRM)
4.数据服务网关Data Service Gateway(DSG)
5.数据服务搜索引擎Data Service Search Engine(DSSE)
6.数据融合服务集Data Integration Services(DIS)
7.分布式账本服务Distributed Ledger Service(DLS)
8.数据服务辅助管理Data Service Assistant Management(DSAM)
包括分布式账本、服务监控、计费、安全审计、身份认证、权限控制等。
其中,数据服务节点是数联网模型中的基本元素,一个或多个数据服务节点连接在一起即构成了最基本的数联网。除数据服务节点之外,其他组件都是数联网的辅助组件,其作用是辅助数联网高效有序运行。
(1)数据服务节点Data Service Node(NSD)
数据服务节点是数据服务提供商DSP(Data Service Provider)对外提供数据服务的服务器。数据服务节点对外提供的数据服务有多种形式,主要包括数据包下载、API接口服务、数据查询服务以及计算分析服务等。
从部署方式来看,数据服务节点可以是单个服务器(物理服务器或者虚拟服务器),也可以是多个服务器组成的集群。
数据服务节点分布在网络中,他们通过Internet或者Intranet网络连接在一起。每个数据服务节点都是一个相对独立的个体。
数据服务节点包括如下核心功能或组件:
1.服务内容公布组件
2.服务执行组件
为了更好更方便的对外提供数据服务,数据服务节点除对外提供数据服务之外,可选地,还可以包含数据的梳理、汇集,以及ETL等工具和机制,通过数据服务节点,可实现原始数据到服务数据转化的全过程处理。
因此,数据服务节点的扩展功能组件还可以包括:
3.数据服务自动部署及发布组件
4.数据清洗转换工具组件
5.数据接入组件
6.数据目录/数据资源管理组件
7.数据服务监控管理组件。
(1.1)服务内容公布组件
服务内容公布组件负责将服务执行组件所提供的服务描述清楚,并通过适当的机制对外公布数据服务内容、方式、费用等,数据使用者通过获取这些信息达到访问或者获取数据的目的。
所有的数据服务节点都应遵循预先规定的数据服务描述规范和机制,这样做的好处是可以通过协议来规范数据服务的行为,使数据服务能够被方便快速的发现,可以被数据使用者快速利用。
数据服务节点对外公布数据服务内容的方式有多种,可选的方式有:
1.通过WEB Service方式对外提供服务,以标记语言(如XML)自我描述的方式定义自己所提供的数据及服务;
2.通过API接口规定服务内容获取协议,可以是推送也可以是拉取的方式;
3.通过其他私有协议提供服务,如表格、文字说明等。
优选地,我们通过一个默认的TCP端口(如90端口)对外提供基于HTTP协议的WEB服务,服务采用WEB服务定义语言Web Service Definition Language (WSDL)来描述数据服务节点所提供的各种数据服务。
(1.2)服务执行组件
服务执行组件是真正对外提供服务的部分,它负责将自身的数据资源按照预先设定的方式提供给使用者使用。包括但不限于API接口的调用方式、文件下载、数据查询等。
API接口调用是获取数据服务的主要方式,它可以是基于HTTP协议的WEB接口调用,也可以是基于TCP/UDP协议上私有规范接口调用。
文件下载是专门针对块数据服务的方式,优选的传输方式是基于TCP/UDP协议之上的FTP或者SFTP传输协议。采用标准的FTP/SFTP协议的好处是可以大大降低系统的使用门槛,让系统更容易使用。采用SFTP协议的好处是能够做到加密传输,从而可保障数据的安全性。
其他基于TCP/UDP协议上私有规范接口调用也是一种有效的服务提供方式,比如远程调用(RPC)服务。采用RPC服务的好处是可以让数据使用者采用和使用本地资源一样的方式获取服务,而不需要关心服务是在本地还是远程。
(1.3)数据服务自动部署及发布组件
对于拥有数据资源的人来说,他们大多数都不懂得编程,因此要把数据资源转化为数据服务还需要专业的程序开发人员来辅助完成。数据服务自动部署及发布组件则是为了解决这一问题而提供的工具。拥有数据资源的人只需要将数据资源按照预先定义的方式放入系统中,然后通过简单的配置即可自动生成相应的数据服务,并同时将改服务发布到服务内容发布组件。
(1.4)数据接入组件
在实际环境中,数据资源往往都分散在不同的系统或服务器上,存在的形态也不尽相同。因此将数据资源汇集起来也是一件复杂的工序。数据接入组件则是为了方便数据的接入,提供一系列的通用数据汇集和接入工具或接口,从而让数据汇集变得更容易。
(1.5)数据清洗转换工具组件
完成数据的汇集和接入之后,此时获取到的数据资源可能还是杂乱无章的,比如数据格式不统一,数据定义方式不统一,数据字典不同,存在隐私信息等等。这样的数据无法或者很难直接提供给他人使用。数据清洗转换工具组件则是为了解决这一问题,可以通过简单的配置完成数据的清洗和转换,最终形成可对外提供服务的数据资源。
(1.6)数据目录及数据资源管理组件
对于规模较大或者数据资源较多的数据服务节点来说,数据目录和数据资源的管理是必需的。数据目录及数据资源管理组件是为了方便管理这些已有的数据,包括但不限于对数据权限的控制、对数据的编目管理,以及对数据资源的审核检查等。
(1.7)数据服务监控管理组件
对于数据服务节点来说,数据服务的可用性是十分重要的。如果不能对外提供持续可靠和快速的数据服务,那么数据服务节点也就失去了它存在的意义。因此对数据服务的监控也是十分必要的。数据服务监控管理组件主要负责监控数据服务节点所提供服务的可用性、响应时间等,同时也负责监控异常调用或非法攻击等。
(1.8)数据服务节点的组网方式
数据服务节点除能够对外提供数据服务之外,还可以具备获取标准数据服务的能力,并同时将获取到的数据服务转化为新的数据服务并对外提供。也就是说,数据服务节点可以以级联的方式进行组网。多个数据服务节点可以构成一个相对独立的网络,然后通过其中的一个或多个节点将本网络内的数据服务整合起来,统一对外提供服务,这样则形成了一个较大规模的数据服务节点。
(2)数据服务注册中心Data Service Register(DSR)
在一部分使用场景中,数联网需要一个或多个管理中心来统一管理网络中的数据服务节点以及各节点所提供的服务。在具有强安全性要求的情况下(如政府内部的政务数联网,以及企业内部的企业数联网),一般来说都有一个最高权利机构来统筹全网的数据服务,通过管理中心可以简单有效地解决数据服务节点的安全接入和认证,从而避免分布式环境下互不信任的问题。
数据服务注册中心负责登记和审核数联网内的所有或部分数据服务节点。数据服务节点在数据服务注册中心登记注册并通过审核之后,则成为数联网中的认证服务节点。
数据服务的注册方式有多种,可选的方式包括:
1. 由数据服务注册中心提供API接口,各个数据服务节点自动通过API接口登记注册自己以及自己所提供的数据服务。
2. 由数据服务注册中心提供可视化的UI界面,通过人工登记的方式进行注册。
3. 其他自动化方式或手工方式。
优选地,我们推荐采用第一种方式与第二种方式相结合的策略,可以最大程度的适应各种需求。
(3)数据资源管理中心Data Resources Manager(DRM)
数据服务节点在数据服务注册中心登记注册之后,其所能提供的数据服务将被登记到数据目录管理中心。数据目录管理中心的主要作用是对所有的数据服务进行编目和管理,从而方便数据使用者对数据的查询和检索。
数据目录管理的方式由多种方式,最常见的方式是按照数据类型或所属邻域进行编目管理。优选地,我们定义了一种通用的数据管理模型,通过模型的指导进行编目,让数据目录更加清晰和方便查询和检索。
优选地,一种通用的数据管理模型是综合考虑各种数据管理方式之后,精心设计一种数据管理模型。TODO:请宇峰提供一段对数据管理模型的描述文字。
(4)数据服务网关Data Service Gateway(DSG)
数据服务网关负责所有外部数据服务请求的接入和调度,其中还包括对服务请求的认证、权限控制、流量控制、行为记录和检查、服务任务调度等。
数据服务网关的优势在于可以屏蔽用户使用数据服务的复杂性,用户不用关心数联网内有多个数据节点,也不用关心自己使用的数据服务来自于哪个服务节点,可以全部通过统一的服务网关接口访问到数据服务。
数据服务网关可以看作数据服务唯一的入口及出口,通过数据服务网关可以很方便地实现对服务请求方的身份认证,并同时对请求方进行权限控制。另外,也可以方便地对数据服务的调用次数和流量进行控制。
通过数据服务网关,我们还可以记录服务请求方的数据使用行为,以及用户对数据服务的使用情况。不但可以实现计费控费,同时还可以实现对数据服务情况和使用情况的审计和追踪。另外,通过数据服务网关记录的数据服务情况数据,还可以对数据服务质量进行评判。
(5)数据服务搜索引擎Data Service Search Engine(DSSE)
数据服务搜索引擎是数据资源管理的辅助功能。在互联网模式下,或者是大规模数联网模式下,数联网中的数据服务注册中心和资源管理中心将被数据服务搜索引擎所替代,当然也可以并存。
数据服务搜索引擎更多的是强调搜索,运用自动化的数据服务爬虫在数联网上爬取网内的数据服务资源,就类似于百度等搜索引擎在互联网上爬取和搜集。
(6)数据融合服务Data Integration Service(DIS)
数据融合服务是对数据再加工融合处理后所提供的新的数据服务或其他业务服务的统称。数据融合服务一般由第三方个人和组织提供,这些个人或组织都应该是数联网的用户,他们通过融合数联网中的各种数据服务,通过数据挖掘分析等各种技术手段,对数据再加工后形成有价值的数据结果或者业务模型,并将这些新的数据结果或者业务模型通过数联网的数据服务节点提供给其他人使用。
(7)分布式账本服务Distributed Ledger Service(DLS)
数联网中的分布式账本服务负责记录数联网中的重要交易记录以及一部分具有特殊价值的数据。其优点在于记录在账本中的数据具有不可篡改、可回溯追踪、安全可靠等特点。优选地,分布式账本可以基于区块链技术来实现。
分布式账本,从实质上说就是一个可以在多个站点、不同地理位置或者多个机构组成的网络里进行分享的资产数据库。在一个网络里的参与者可以获得一个唯一、真实账本的副本。账本里的任何改动都会在所有的副本中被反映出来,反应时间会在几分钟甚至是几秒内。在这个账本里存储的资产可以是金融、法律定义上的、实体的或是电子的资产。在这个账本里存储的资产的安全性和准确性是通过公私钥以及签名的使用去控制账本的访问权,从而实现密码学基础上的维护。根据网络中达成共识的规则,账本中的记录可以由一个、一些或者是所有参与者共同进行更新。
数联网中的分布式账本服务是计费、审计,以及一些具体特殊价值功能的基础。基于分布式账本的计费和审计,可以认为是完全可信和不可抵赖的,这种特性可以使数联网中的用户具都在绝对公平的条件下参与平台的所有事务,包括在各种存在竞争的情况下,能够有效防止作弊行为,为每一个参与者提供公平公正的环境,从而保障数联网健康有序的发展。
(8)数据服务辅助管理Data Service Assistant Management(DSAM)
数据服务辅助管理包括服务监控、计费服务、安全审计、身份认证、权限控制等。
服务监控主要是指对数联网中的各种数据服务节点所提供的数据服务进行监视和记录,实时监控其服务状态及服务质量等数据,并提供实时告警服务。
计费服务主要是指根据设定的计费规则,同时结合分布式账本的记录功能,来生成数据服务消费的账单。
安全审计主要是指对有安全要求的数据服务的使用进行安全性检查。安全审计可以是实时的监控,也可以是事后的分析,或者是二者相结合的方式。
身份认证则是对数联网中的用户进行身份的标识和验证服务,保证数联网系统的安全性和不可抵赖性。优选地,身份认证可以采用基于非对称密钥机制的签名验证技术。
权限控制则是对用户在数联网中的行为和访问范围进行控制,防止越权访问数据服务。优选地,权限控制可以采用基于角色的权限控制机制,以及访问控制列表(ACL)机制等方式实现。
本发明还提供一种分布式数据服务节点构建方法及其系统,方便数据资源的管理、拓展、变更,提高系统的灵活性。
为了解决上述技术问题,本发明提供的一种分布式数据服务节点构建方法,包括:
基于数据服务总线构架,为上层用户提供异步调用服务;
数据服务总线对服务请求进行调度,按照先入先出的次序对服务请求进行响应;
服务调度模块与信息资源目录管理模块对接,并完成数据权限的控制和监管;
数据资源服务网关通过注册的配置信息实现与实际数据服务者的链接或调用。
进一步的,本方法所述多个数据服务节点可以通过级联或并联的方式组成大规模分布式的复杂数据服务/共享交换网络。
进一步的,本方法所述数据服务总线对服务请求进行调度,以多线程的方式对服务请求进行响应。
更进一步的,本方法所述,以多线程的方式对服务请求进行响应的步骤,包括:
将用户请求和系统状态变化作为事件加入到事件队列, 按照先入先出的次序, 以多线程的方式对事件进行响应。
进一步的,本方法所述数据服务节点还包含有监控管理模块,对数据服务节点实施监视和管理。
进一步的,本方法所述为上层用户提供的数据资源异步调用的步骤,包括 :
将用户的需求封装成用可扩展标记语言描述的数据调用任务;
通过预定义的统一服务接口将所述数据调用任务提交到数据服务节点,生成具有唯一标识的任务实例 ;
任务实例运行,执行结束后回收执行结果。
本发明还提供一种分布式数据服务节点构建系统,由数据资源服务总线、信息资源目录管理模块及数据服务节点组成,数据服务节点包含有统一服务接口、数据资源服务网关;基于数据服务总线构架,为上层用户提供异步调用服务;数据服务总线对服务请求进行调度,按照先入先出的次序对服务请求进行响应;服务调度模块与信息资源目录管理模块对接,并完成数据权限的控制和监管;数据资源服务网关通过注册的配置信息实现与实际数据服务者的链接或调用。
更进一步的方案是:多个数据服务节点可以通过级联或并联的方式组成大规模分布式的复杂数据服务/共享交换网络。
本发明的技术方案主要对数据资源的分布式管控进行了系统地设计和实现,提供了一种有力且易于使用的技术手段,使得数据资源的所有者可以简单地将其所拥有的各种不同平台、不同系统上的数据资源提供出来,由节点构建工具将其服务化,形成具有统一的自描述接口的数据服务,可以比较简单地通过安装中间件以及简单地配置,与其他安装有相同中间件和类似配置的数据服务节点进行通信,形成一个多节点多支撑环境的分布式数据资源环境,克服了以往技术和产品在这方面的不足,使得数据使用者能够通过统一的方式方便地获取到任意共享的数据,当底层数据改变或迁移时,无需更改应用或使用方式即可无缝切换。
如图2所示,该数据交换共享系统包含有数据资源服务总线、信息资源目录管理模块及若干数据服务节点。各数据服务节点包含有统一服务接口、数据资源服务网关以及监控管理模块。该系统基于数据服务总线构架,为上层用户提供异步调用服务;数据服务总线对服务请求进行调度,按照先入先出的次序,以多线程的方式对服务请求进行响应;服务调度模块与信息资源目录管理模块对接,并完成数据权限的控制和监管;数据资源服务网关通过注册的配置信息实现与各实际数据服务者的链接或调用。
该方法的具体工作流程如图3所示:
数据资源服务总线为上层用户提供统一的异步调用服务接口;
服务请求按照先入先出的方式进行调度,以多线程的方式对请求进行响应;
服务调度模块与信息资源目录管理模块对接,完成数据权限的控制与监管;
通过注册的配置信息实现与实际数据服务者的链接与调用。
Claims (13)
1.数据服务节点,基础系统包含有数据存储机制、数据访问机制,其特征在于:数据服务节点在基础系统上构建有服务业务系统,服务业务系统包含有服务资源注册表与注册表访问机制,服务资源注册表由描述项构成,描述项包括资源条目及资源访问信息,服务资源注册表通过注册表访问机制被访问,注册表访问机制可根据用户请求和数据资源注册表生成标准报文。
2.根据权利要求1所述的数据服务节点,其特征在于:服务业务系统还包含有注册表改写模块,注册表改写模块可以对服务资源注册表进行维护操作。
3.根据权利要求2所述的数据服务节点,其特征在于:服务业务系统还包含有服务资源发现模块,服务资源发现模块与注册表改写模块对接,协同进行服务资源注册表的资源信息维护。
4.根据权利要求3所述的数据服务节点,其特征在于:所述服务资源发现模块包括本地资源发现模块与域外资源发现模块。
5.根据权利要求4所述的数据服务节点,其特征在于:所述本地资源发现模块采用标准接口与发现策略模块对接。
6.根据权利要求5所述的数据服务节点,其特征在于:所述发现策略模块为自动发现子系统,按照预设算法遍历发现本地数据服务资源。
7.根据权利要求4所述的数据服务节点,其特征在于:所述域外资源发现模块为遍历引擎,对登记的其它服务节点的注册表进行遍历。
8.根据权利要求4所述的数据服务节点,其特征在于:所述域外资源发现模块为查询接口,向数据服务资源中心查询。
9.根据权利要求4所述的数据服务节点,其特征在于:所述域外资源发现模块为查询接口,向第三方数据服务资源搜索引擎进行查询。
10.根据权利要求1至9所述的任意一种数据服务节点,其特征在于:所述数据服务节点还包含有数据服务注册接口,各种数据服务模块通过数据服务注册接口对外提供服务。
11.数联网,包含有数据源设施、网络连接体系,数据源设施与网络连接体系构成数联网底层平台,通过在数联网底层平台平台上部署数据服务节点形成数联网;
数据服务节点通过配置承担具体职能,包括数据节点构建与数联组网功能,数据服务节点对数据源设施进行处理,完成本地数据资源的规范;数据服务节点之间相互联络与协作,形成数据网络;边界数据服务节点总体构成连接数据源设施与数据网络的边界;
数据源设施中的本地数据资源经过规范得以充分暴露与控制;数据源设施透过(直连)数据服务节点享有数据网络上的外部数据资源,向数据网络分享本地数据资源;数据网络由采用配置项定义的、位于不同层级的数据服务节点在网络连通的基础上,构建组网逻辑,对数据资源进行链通与控制;
数据网络具有层级性质,通过数据服务节点的配置实现,作为子网络在与相对高层级数据网络进行组接时,该数据服务节点执行的实质上就是对本地数据资源的规范;
规范包括对数据资源的登记、路径的建立。
12.根据权利要求11所述的数联网,其特征在于:数据网络的结构可以是中心控制结构、去中心结构、扁平化中心结构的一种或其变形、或者混同;数据网络的核心是数据资源的管理与数据路径的控制;其结构可根据资源分布情况和网络规模选择合适的方案,且将在很大程度上影响服务节点的配置与设计;在中心控制结构中,数据服务节点的配置差异性更大,有数据服务节点被配置为中心控制器,管理与协调各数据源处的数据服务节点,对网络控制起核心作用;在去中心结构中,各数据源端的数据服务节点被被配置成具有网络协同与控制的站点,各节点之间直接协同;也可以根据需要,将部分数据节点配置为具有全局控制属性,但同时在其它数据节点处保持部分控制属性,共同完成数据网络的控制任务。
13.根据权利要求11所述的数联网,其特征在于:数据服务节点是数据服务的基本的单元,所有的数据服务节点构成庞大的数据服务网络(数据网络),任何组织和个人都可以在合规合法的前提下对外提供数据服务,为与数据网络的层级性质相适应,本发明中采用上位的数据服务节点概念来对异构的数据服务节点实例进行统一,将所有的数据服务节点的差异视为配置选项不同组合的结果,数据服务节点模型中包含有三层配置,分别对应本地数据资源的规范、与数据网络的融合、数据资源的供给,本地数据资源规范可以包括数据的发现、脱敏、重构、完善、目录与查询、鉴权与安全等服务中的一项或全部;也包括对内部数据通路的建立与控制,与数据网络的融合,包括与各型数据服务节点的联结与协同,是构建数据网络组网逻辑、实现数据网络各项机制的基础,数据资源的供给采用统一的视角,将来自本地或外部的数据资源需求同等对待,同时,其数据资源的提供方式应做宽泛理解。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611012684 | 2016-11-17 | ||
CN2016110126842 | 2016-11-17 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108076133A true CN108076133A (zh) | 2018-05-25 |
Family
ID=62159598
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710976210.8A Pending CN108076133A (zh) | 2016-11-17 | 2017-10-19 | 数联网 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108076133A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109101338A (zh) * | 2018-07-26 | 2018-12-28 | 杭州华澜微电子股份有限公司 | 一种基于多路芯片扩展的区块链处理架构及其方法 |
CN109214641A (zh) * | 2018-07-05 | 2019-01-15 | 广州链基智能科技有限公司 | 一种基于区块链的企业部门资源数字化控制方法和系统 |
CN110955528A (zh) * | 2019-12-31 | 2020-04-03 | 智业软件股份有限公司 | 一种外联业务处理高并发请求的系统和方法 |
CN112632057A (zh) * | 2021-03-09 | 2021-04-09 | 深圳信息职业技术学院 | 一种基于大数据的数据治理方法和系统 |
CN116932614A (zh) * | 2023-09-18 | 2023-10-24 | 北京大学 | 一种面向数联网的分布式搜索方法及系统 |
CN117290401A (zh) * | 2023-11-23 | 2023-12-26 | 北京富算科技有限公司 | 一种数据交易方法和系统 |
-
2017
- 2017-10-19 CN CN201710976210.8A patent/CN108076133A/zh active Pending
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109214641A (zh) * | 2018-07-05 | 2019-01-15 | 广州链基智能科技有限公司 | 一种基于区块链的企业部门资源数字化控制方法和系统 |
CN109214641B (zh) * | 2018-07-05 | 2021-11-23 | 广州链基智能科技有限公司 | 一种基于区块链的企业部门资源数字化控制方法和系统 |
CN109101338A (zh) * | 2018-07-26 | 2018-12-28 | 杭州华澜微电子股份有限公司 | 一种基于多路芯片扩展的区块链处理架构及其方法 |
CN110955528A (zh) * | 2019-12-31 | 2020-04-03 | 智业软件股份有限公司 | 一种外联业务处理高并发请求的系统和方法 |
CN112632057A (zh) * | 2021-03-09 | 2021-04-09 | 深圳信息职业技术学院 | 一种基于大数据的数据治理方法和系统 |
CN112632057B (zh) * | 2021-03-09 | 2021-05-25 | 深圳信息职业技术学院 | 一种基于大数据的数据治理方法和系统 |
CN116932614A (zh) * | 2023-09-18 | 2023-10-24 | 北京大学 | 一种面向数联网的分布式搜索方法及系统 |
CN116932614B (zh) * | 2023-09-18 | 2023-12-26 | 北京大学 | 一种面向数联网的分布式搜索方法及系统 |
CN117290401A (zh) * | 2023-11-23 | 2023-12-26 | 北京富算科技有限公司 | 一种数据交易方法和系统 |
CN117290401B (zh) * | 2023-11-23 | 2024-03-15 | 北京富算科技有限公司 | 一种数据交易方法和系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108076133A (zh) | 数联网 | |
CN109559258B (zh) | 教育资源公共服务系统 | |
Skowroński | The open blockchain-aided multi-agent symbiotic cyber–physical systems | |
US20220058285A1 (en) | Systems and methods for computer-implemented data trusts | |
CN101453398A (zh) | 一种新型分布式网格超级计算系统及方法 | |
CN109213724A (zh) | 自动化桌面布置 | |
Javed et al. | Distributed ledger technologies for network slicing: A survey | |
Petroulakis et al. | Semiotics architectural framework: End-to-end security, connectivity and interoperability for industrial iot | |
Su et al. | Toward architectural and protocol-level foundation for end-to-end trustworthiness in Cloud/Fog computing | |
Belkeziz et al. | A survey on Internet of Things coordination | |
Hu et al. | Blockchain enabled federated slicing for 5G networks with AI accelerated optimization | |
Demichev et al. | Business process engineering for data storing and processing in a collaborative distributed environment based on provenance metadata, smart contracts and blockchain technology | |
Lahmar et al. | Multicloud service composition: a survey of current approaches and issues | |
Nguyen et al. | Towards blockchainizing land valuation certificate management procedures in Vietnam | |
Banotra et al. | Asset security in data of Internet of Things using blockchain technology | |
Zhang et al. | Access control and trust management for emerging multidomain environments | |
Brooke et al. | Enabling scientific collaboration on the Grid | |
Joseph | Blockchain for open data–exploring conceptual underpinnings and practice | |
CN112088360A (zh) | 用于云环境的语义元联合代理 | |
Gasmelseid | A multiagent service-oriented modeling of e-government initiatives | |
Khan et al. | Practices for Clients in the Adoption of Hybrid Cloud: Practices for Clients in the Adoption of Hybrid Cloud | |
Brehm et al. | Secure Web Service-based resource sharing in ERP networks | |
Manu et al. | An empirical hunt for ally co-operative cloud computing utility | |
Leite et al. | Assuring M2M Secure Transactions via Blockchain and Smart Contracts | |
Kalmar et al. | Legal and regulative aspects of IoT cloud systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180525 |
|
WD01 | Invention patent application deemed withdrawn after publication |