CN107291764A - 一种大数据交换方法及装置、系统 - Google Patents
一种大数据交换方法及装置、系统 Download PDFInfo
- Publication number
- CN107291764A CN107291764A CN201610207569.4A CN201610207569A CN107291764A CN 107291764 A CN107291764 A CN 107291764A CN 201610207569 A CN201610207569 A CN 201610207569A CN 107291764 A CN107291764 A CN 107291764A
- Authority
- CN
- China
- Prior art keywords
- data
- big data
- module
- big
- request
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2219—Large Object storage; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种大数据交换方法，包括：大数据源单元与大数据目标单元通过搜集接口交换初始数据和初始元数据；和/或，所述大数据源单元与所述大数据目标单元通过互连接口交换加工数据和加工元数据；和/或，所述大数据源单元与所述大数据目标单元通过消费接口交换加工数据和加工元数据数据提供者模块大数据业务提供者模块大数据业务提供者模块大数据业务消费者模块。相应的，本发明还公开一种大数据交换装置及系统，能够有效解决大数据的开放共享和互联互通等问题。
Description
技术领域
本发明涉及通讯技术领域，尤指一种大数据交换方法及装置、系统。
背景技术
目前大数据成为当前业界的技术热点，特别是随着云计算业务的部署，大数据作为其最重要的业务应用，其发展前景被寄予厚望。
大数据的主要特点是体量大(Volume)、种类多(Variety)、速度快(Velocity)以及价值高(Value)等特点，并同时伴随着多源、异构以及海量的数据特征。
大数据所涉及的数据类型包括结构化(Structured)、半结构化(Semi-Structured)以及非结构化(Un-Structured)等类型，这要求大数据交换系统可以针对这些不同数据类型进行区分和处理，比如对于结构化的数据库数据的采集、异常数据清理以及ETL(数据提取、数据转换以及数据加载)等，对于半结构化数据以及非结构化数据的增量实时采集、解析、注释、异常数据清理、数据分割、特征提取、存储和/或缓存以及批量非实时处理等。
大数据所涉及的数据对象包括文字、语音、视频、图像、网页、传感器数据等，这也就要求大数据交换系统可以有针对性地区分和处理不同数据对象所对应的数据承载格式，比如：文本文件、音频文件、适配文件、图像文件、网页文件、传感器数据文件以及相应的实时/准实时流媒体数据等不同格式。
尽管目前大数据正在逐步应用于各个行业，但是随着数据体量的逐步增加，所涉及数据种类的日益繁杂，所生成速度的迅速提升以及对于其潜在价值利用的需求增强，当前大数据正遭遇一些新的困境以及面临新的挑战，特别是：
1)大数据的孤岛性导致大数据无法开放、共享以及互联，从而降低了大数据用户共享不同产业甚至相同产业不同部门数据的可能性；
2)对于具有巨大潜在价值的大体量的大数据缺乏价值衡量手段和货币化手段，从而削弱了数据拥有者开放数据的积极性；
3)已有公共数据的开放不足阻碍了公共社会资源对于可能的社会生活以及经济活动的贡献性；
4)缺乏有效的商业模式，特别是高效的数据交换机制，阻止了数据拥有者和数据用户之间安全有效地进行数据交换；
5)互连互通标准的缺乏也无法保障大数据提供商和大数据业务提供商之间进行互连。
为从大体量的、种类繁多的、高速变化的大数据中充分挖掘出大数据巨大的潜在价值，以上所遭遇的各种问题以及相关挑战，均需要通过有效的方法以及相应的系统架构来有针对性地给予解决。
在国际上，早前国际电信联盟(ITU)以及国际标准化组织(ISO|IEC)都已经或者即将发布大数据需求和框架标准，但在这些标准中均尚未涉及如何解决因大数据的孤岛性而导致大数据无法开放共享和互联互通的问题。相应地，目前国际电信联盟(ITU)正在开展的大数据交换需求和框架标准(ITU-TY.BigDataEX-reqts)旨在解决该问题。因此，需要一种大数据直接交换模型及其实现方法，以至少解决大数据应用中的开放共享和互联互通的问题，以加速该方面的课题研究及其国际标准化进程，从而实现大数据的开放性、互联性以及共享性，并充分调动孤立且不活跃的大数据参与到大数据交易活动中，为生产和生活所用以及创造大数据所应有的价值。
发明内容
为了解决上述技术问题，本发明提供了一种大数据交换方法及装置、系统，能够有效的解决大数据的开放共享和互联互通等问题。
为了达到本发明目的，本发明提供了一种大数据交换方法，包括：
大数据源单元与大数据目标单元通过搜集接口交换初始数据和初始元数据；
和/或，所述大数据源单元与所述大数据目标单元通过互连接口交换加工数据和加工元数据；
和/或，所述大数据源单元与所述大数据目标单元通过消费接口交换加工数据和加工元数据；
所述大数据源单元包括：数据提供者模块和/或第一大数据业务提供者模块；所述大数据目标单元包括：第二大数据业务提供者模块和/或大数据业务消费者模块；
所述数据提供者模块用于提供所述初始数据和初始元数据；所述第一大数据业务提供者模块和所述第二大数据业务提供者模块用于进行大数据处理得到所述加工数据和加工元数据；所述大数据业务消费者模块用于使用所述加工数据和加工元数据。
其中，所述交换初始数据和初始元数据，包括：
所述大数据源单元将数据提供者模块产生的初始数据以及初始元数据提供给大数据目标单元中的第二大数据业务提供者模块；大数据目标单元的第二大数据业务提供者模块接收并存储和/或缓存所述初始数据以及初始元数据并对所述初始数据进行大处理。
其中，所述大数据源单元与大数据目标单元通过搜集接口交换初始数据和初始元数据，包括：所述数据提供者模块接收来自所述第二大数据业务提供者模块的搜集请求；所述数据提供者模块根据所述搜集请求携带的搜集请求信息检索本地数据；如果检索到与所述搜集请求信息匹配的本地数据，所述数据提供者模块发送搜集响应消息给所述第二大数据业务提供者模块，所述搜集响应消息中携带搜索到的初始数据和初始元数据；如果未检索到与所述搜集请求信息匹配的本地数据，所述数据提供者模块发送搜集响应消息给所述第二大数据业务提供者模块，所述搜集响应消息中携带数据请求失败的信息；所述数据提供者模块接收所述第二大数据业务提供者模块返回的搜集确认消息。
其中，所述大数据源单元与大数据目标单元通过搜集接口交换初始数据和初始元数据，包括：
所述第二大数据业务提供者模块向所述数据提供者模块发送搜集请求；
所述第二大数据业务提供者模块接收并存储和/或缓存所述数据提供者模块提供的所述初始数据和初始元数据，并对所述初始数据和初始元数据进行大数据处理得到加工数据和加工元数据；或者，所述第二大数据业务提供者模块接收来自所述数据提供者模块的搜集请求失败信息；
在接收到所述搜集请求失败信息之后和/或处理完所述初始数据之后，所述第二大数据业务提供者模块返回搜集确认消息给所述数据提供者模块。
其中，所述大数据源单元与所述大数据目标单元通过互连接口交换加工数据和加工元数据，包括：
所述大数据源单元将经过第一大数据业务提供者模块处理所述初始数据后得到的加工数据以及加工元数据提供给大数据目标单元的第二大数据业务提供者模块；大数据目标单元中的第二大数据业务提供者模块接收并存储和/或缓存所述加工数据以及加工元数据，并对所述加工数据进行进一步地大数据处理以得到更新的加工数据和更新的加工元数据。
其中，所述大数据源单元与所述大数据目标单元通过互连接口交换加工数据和加工元数据，包括：
所述第一大数据业务提供者模块接收来自所述第二大数据业务提供者模块的互连请求，根据所述互连请求携带的互连请求信息检索本地加工数据；
如果检索到与所述互连请求信息匹配的加工数据和加工元数据，所述第一大数据业务提供者模块发送互连响应消息给所述第二大数据业务提供者模块，所述互连响应消息中携带与所述互连请求信息匹配的加工数据和加工元数据；
如果未检索到与所述互连请求信息匹配的数据，所述第一大数据业务提供者模块发送互连响应消息给所述第二大数据业务提供者模块，所述互连响应消息携带互连请求失败信息；
所述第一大数据业务提供者模块接收所述第二大数据业务提供者模块返回的互连确认消息。
其中，所述大数据源单元与所述大数据目标单元通过互连接口交换加工数据和加工元数据，包括：
所述第二大数据业务提供者模块向所述第一大数据业务提供者模块发送互连请求；
所述第二大数据业务提供者模块接收并存储和/或缓存所述第一大数据业务提供者模块提供的所述加工数据和加工元数据，并对所述加工数据和加工元数据进行大数据处理得到更新的加工数据和更新的加工元数据；或者，所述第二大数据业务提供者模块接收来自所述第一大数据业务提供者模块的互连请求失败信息；
在接收到所述互连请求失败信息之后和/或处理完所述加工数据之后，所述第二大数据业务提供者模块返回所述互连确认消息给所述第一大数据业务提供者模块。
其中，所述大数据源单元与所述大数据目标单元通过消费接口交换加工数据和加工元数据，包括：
所述大数据源单元将经过其第一大数据业务提供者模块对初始数据处理后得到的加工数据提供给所述大数据目标单元的大数据业务消费者模块使用。
其中，所述大数据源单元与所述大数据目标单元通过消费接口交换加工数据和加工元数据，包括：
所述第一大数据业务提供者模块接收来自所述大数据业务消费者模块的业务请求，根据所述业务请求携带的业务请求信息检索本地加工数据；
如果检索到与所述业务请求信息匹配的加工数据和加工元数据，所述第一大数据业务提供者模块发送业务响应消息给所述大数据业务消费者模块，所述互连响应消息中携带与所述业务请求信息匹配的加工数据和加工元数据；
如果未检索到与所述业务请求信息匹配的数据，所述第一大数据业务提供者模块发送业务响应消息给所述大数据业务消费者模块，所述业务响应消息携带业务请求失败信息；
所述第一大数据业务提供者模块接收所述大数据业务消费者模块返回的业务确认消息。
其中，所述大数据源单元与所述大数据目标单元通过消费接口交换加工数据和加工元数据，包括：
所述大数据业务消费者模块向所述第一大数据业务提供者模块发送业务请求；
所述大数据业务消费者模块接收并存储和/或缓存所述第一大数据业务提供者模块提供的所述加工数据和加工元数据，并使用所述加工数据和加工元数据；或者，所述大数据业务消费者模块接收来自所述第一大数据业务提供者模块的业务请求失败信息；
在接收到所述业务请求失败信息之后和/或接收所述加工数据和加工元数据之后，所述大数据业务消费者模块返回所述业务确认消息给所述第一大数据业务提供者模块。
其中，所述大数据处理包括：数据搜集、数据准备、数据分析和/或数据可视化。
本发明还提供了一种大数据交换方法，包括：
大数据源单元接收大数据目标单元发送的数据交换请求；
大数据源单元根据所述数据交换请求检索本地数据；
在检索到相匹配的数据时，所述大数据源单元发送响应消息给所述大数据目标单元，所述响应消息携带与所述数据交换请求相匹配的数据；在未检索到相匹配的数据时，所述大数据源单元发送响应消息给所述大数据目标单元，所述响应消息携带交换请求失败的信息；
大数据源单元接收所述大数据目标单元返回的确认消息。
其中，所述数据交换请求为携带搜集请求信息的搜集请求；所述相匹配的数据为与所述搜集请求信息相匹配的初始数据和初始元数据；所述响应消息为搜集响应消息，所述搜集响应消息携带所述初始数据和初始元数据或者携带搜集请求失败信息；所述确认消息为搜集确认消息；和/或，
所述数据交换请求为携带互连请求信息的互连请求；所述相匹配的数据为与所述互连请求信息相匹配的加工数据和加工元数据；所述响应消息为互连响应消息，所述互连响应消息携带所述加工数据和加工元数据或者携带互连请求失败信息；所述确认消息为互连确认消息；和/或，
所述数据交换请求为携带业务请求信息的业务请求；所述相匹配的数据为与所述业务请求信息相匹配的加工数据和加工元数据；所述响应消息为业务响应消息，所述业务响应消息携带所述加工数据和加工元数据或者携带业务请求失败信息；所述确认消息为业务确认消息。
本发明还提供了一种大数据交换方法，包括：
大数据目标单元发送数据交换请求给所述大数据源单元；
所述大数据目标单元接收所述大数据源单元返回的响应消息；
如果所述响应消息包含与所述数据交换请求的数据，则存储和/或缓存所述数据，并对所述数据进行大数据处理或使用所述数据，在处理或使用所述数据之后，向所述大数据源单元返回确认消息；
如果所述响应消息携带交换请求失败的信息，则直接返回确认消息给所述大数据源单元。
其中，所述数据交换请求为携带搜集请求信息的搜集请求；所述相匹配的数据为与所述搜集请求信息相匹配的初始数据和初始元数据；所述响应消息为搜集响应消息，所述搜集响应消息携带所述初始数据和初始元数据或者携带搜集请求失败信息；所述确认消息为搜集确认消息；和/或，所述数据交换请求为携带互连请求信息的互连请求；所述相匹配的数据为与所述互连请求信息相匹配的加工数据和加工元数据；所述响应消息为互连响应消息，所述互连响应消息携带所述加工数据和加工元数据或者携带互连请求失败信息；所述确认消息为互连确认消息；和/或，所述数据交换请求为携带业务请求信息的业务请求；所述相匹配的数据为与所述业务请求信息相匹配的加工数据和加工元数据；所述响应消息为业务响应消息，所述业务响应消息携带所述加工数据和加工元数据或者携带业务请求失败信息；所述确认消息为业务确认消息。
本发明还提供了一种大数据交换装置，包括：大数据源单元；
所述大数据源单元，包括数据提供者模块和/或第一大数据业务提供者模块；所述数据提供者模块用于提供初始数据和初始元数据；所述第一大数据业务提供者模块用于对所述初始数据和初始元数据进行大数据处理得到加工数据和加工元数据。
其中，所述数据提供者模块，还用于：
接收来自大数据目标单元的第二大数据业务提供者模块的搜集请求；
根据所述搜集请求携带的搜集请求信息检索本地数据；
如果检索到与所述搜集请求信息匹配的本地数据，发送搜集响应消息给所述第二大数据业务提供者模块，所述搜集响应消息中携带搜索到的初始数据和初始元数据；
如果未检索到与所述搜集请求信息匹配的本地数据，发送搜集响应消息给所述第二大数据业务提供者模块，所述搜集响应消息中携带数据请求失败的信息；
所述数据提供者模块接收所述第二大数据业务提供者模块返回的搜集确认消息。
其中，所述第一大数据业务提供者模块，还用于：
接收来自大数据目标单元的第二大数据业务提供者模块的互连请求，根据所述互连请求携带的互连请求信息检索本地加工数据；
如果检索到与所述互连请求信息匹配的加工数据和加工元数据，发送互连响应消息给所述第二大数据业务提供者模块，所述互连响应消息中携带与所述互连请求信息匹配的加工数据和加工元数据；
如果未检索到与所述互连请求信息匹配的数据，发送互连响应消息给所述第二大数据业务提供者模块，所述互连响应消息携带互连请求失败信息；
接收所述第二大数据业务提供者模块返回的互连确认消息。
其中，所述第一大数据业务提供者模块，还用于：
接收来自大数据目标单元的大数据业务消费者模块的业务请求，根据所述业务请求携带的业务请求信息检索本地加工数据；
如果检索到与所述业务请求信息匹配的加工数据和加工元数据，发送业务响应消息给所述大数据业务消费者模块，所述互连响应消息中携带与所述业务请求信息匹配的加工数据和加工元数据；
如果未检索到与所述业务请求信息匹配的数据，发送业务响应消息给所述大数据业务消费者模块，所述业务响应消息携带业务请求失败信息；
接收所述大数据业务消费者模块返回的业务确认消息。
本发明还提供了一种大数据交换装置，包括：大数据目标单元；
所述大数据目标单元，包括：第二大数据业务提供者模块和/或大数据业务消费者模块；所述第二大数据业务提供者模块用于进行大数据处理得到加工数据和加工元数据或得到更新的加工数据和加工元数据；所述大数据业务消费者模块用于使用所述加工数据和加工元数据。
其中，所述第二大数据业务提供者模块，还用于：
向大数据源单元的数据提供者模块发送搜集请求；
接收并存储和/或缓存所述数据提供者模块提供的所述初始数据和初始元数据，并对所述初始数据和初始元数据进行大数据处理得到加工数据和加工元数据；或者，接收来自所述数据提供者模块的搜集请求失败信息；
在接收到所述搜集请求失败信息之后和/或处理完所述初始数据之后，返回搜集确认消息给所述数据提供者模块。
其中，所述第二大数据业务提供者模块，还用于：
向大数据源单元的第一大数据业务提供者模块发送互连请求；
接收并存储和/或缓存所述第一大数据业务提供者模块提供的所述加工数据和加工元数据，并对所述加工数据和加工元数据进行大数据处理得到更新的加工数据和更新的加工元数据；或者，接收来自所述第一大数据业务提供者模块的互连请求失败信息；
在接收到所述互连请求失败信息之后和/或处理完所述加工数据之后，返回所述互连确认消息给所述第一大数据业务提供者模块。
其中，所述大数据业务消费者模块，还用于：
向大数据源单元的第一大数据业务提供者模块发送业务请求；
接收并存储和/或缓存所述第一大数据业务提供者模块提供的所述加工数据和加工元数据，并使用所述加工数据和加工元数据；或者，接收来自所述第一大数据业务提供者模块的业务请求失败信息；
在接收到所述业务请求失败信息之后和/或接收所述加工数据和加工元数据之后，返回所述业务确认消息给所述第一大数据业务提供者模块。
本发明还提供了一种大数据交换系统，包括：大数据源单元和大数据目标单元；其中，
所述大数据源单元与大数据目标单元通过搜集接口通信，所述搜集接口交换初始数据和初始元数据；
和/或，所述大数据源单元与所述大数据目标单元通过互连接口通信，所述互连接口用于交换加工数据和加工元数据；
和/或，所述大数据源单元与所述大数据目标单元通过消费接口通信，所述消费接口用于交换加工数据和加工元数据。
其中，所述大数据源单元为上述的大数据源单元。
其中，所述大数据目标单元上述的大数据目标单元。
与现有技术相比，本发明实施例由大数据生态系统各主要角色(包括数据提供者模块、大数据业务提供者模块以及大数据业务消费者模块)共同协作来实现的一种大数据直接交换装置及其实现方法，能够有效的解决大数据的开放共享和互联互通等问题。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。
图1为本发明实施例二大数据交换方法的流程示意图；
图2为本发明实施例三大数据交换方法的流程示意图；
图3为本发明实施例六大数据交换系统的组成结构示意图；
图4为本发明实施例六大数据交换方法的具体流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
实施例一
本实施例提供一种大数据交换方法，该方法可以包括：大数据源单元(BigData Source)与大数据目标单元(Big Data Target)之间通过搜集接口交换初始数据(Original Data)和初始元数据(Original Metadata)；和/或，所述大数据源单元与所述大数据目标单元之间通过互换接口交换加工数据(Processed Data)和加工元数据(Processed Metadata)；和/或，所述大数据源单元与所述大数据目标单元之间通过消费接口交换加工数据和加工元数据。
其中，所述大数据源单元包括：数据提供者模块(Data Supplier)和/或第一大数据业务提供者模块(Big Data Service Provider)；所述大数据目标单元包括：第二大数据业务提供者模块和/或大数据业务消费者模块(Big DataService Customer)；所述数据提供者模块用于提供所述初始数据和初始元数据；所述第一大数据业务提供者模块和所述第二大数据业务提供者模块用于进行大数据处理得到所述加工数据和加工元数据；所述大数据业务消费者模块用于使用所述加工数据和加工元数据。
实际应用中，本实施例的大数据交换可以包括如下流程：
1)大数据源单元将数据提供者模块产生的初始数据以及初始元数据(通过搜集接口)提供给大数据目标单元中的第二大数据业务提供者模块；大数据目标单元的第二大数据业务提供者模块(通过搜集接口)接收并存储和/或缓存所述初始数据以及初始元数据并对所述初始数据进行大处理；和/或，
2)大数据源单元将经过第一大数据业务提供者模块处理所述初始数据后得到的加工数据以及加工元数据(通过互连接口)提供给大数据目标单元的第二大数据业务提供者模块；大数据目标单元中的第二大数据业务提供者模块(通过互连接口)接收并存储和/或缓存所述加工数据以及加工元数据，并对所述加工数据进行进一步地处理以得到更新的加工数据和更新的加工元数据；和/或，
3)大数据源单元将经过其第一大数据业务提供者模块对初始数据处理后得到的加工数据(通过消费接口)提供给大数据目标单元的大数据业务消费者模块使用。
进一步地，所述大数据源单元与大数据目标单元通过搜集接口交换初始数据和初始元数据，包括：所述数据提供者模块接收来自所述第二大数据业务提供者模块的搜集请求；所述数据提供者模块根据所述搜集请求携带的搜集请求信息检索本地数据；如果检索到与所述搜集请求信息匹配的本地数据，所述数据提供者模块发送搜集响应消息给所述第二大数据业务提供者模块，所述搜集响应消息中携带搜索到的初始数据和初始元数据；如果未检索到与所述搜集请求信息匹配的本地数据，所述数据提供者模块发送搜集响应消息给所述第二大数据业务提供者模块，所述搜集响应消息中携带数据请求失败的信息；所述数据提供者模块接收所述第二大数据业务提供者模块返回的搜集确认消息。
进一步地，所述大数据源单元与大数据目标单元通过搜集接口交换初始数据和初始元数据，包括：所述数据提供者模块接收来自所述第二大数据业务提供者模块的搜集请求；所述数据提供者模块根据所述搜集请求携带的搜集请求信息检索本地数据；如果检索到与所述搜集请求信息匹配的本地数据，所述数据提供者模块发送搜集响应消息给所述第二大数据业务提供者模块，所述搜集响应消息中携带搜索到的初始数据和初始元数据；如果未检索到与所述搜集请求信息匹配的本地数据，所述数据提供者模块发送搜集响应消息给所述第二大数据业务提供者模块，所述搜集响应消息中携带数据请求失败的信息；所述数据提供者模块接收所述第二大数据业务提供者模块返回的搜集确认消息。
进一步地，所述大数据源单元与所述大数据目标单元通过互连接口交换加工数据和加工元数据，包括：所述第一大数据业务提供者模块接收来自所述第二大数据业务提供者模块的互连请求，根据所述互连请求携带的互连请求信息检索本地加工数据；如果检索到与所述互连请求信息匹配的加工数据和加工元数据，所述第一大数据业务提供者模块发送互连响应消息给所述第二大数据业务提供者模块，所述互连响应消息中携带与所述互连请求信息匹配的加工数据和加工元数据；如果未检索到与所述互连请求信息匹配的数据，所述第一大数据业务提供者模块发送互连响应消息给所述第二大数据业务提供者模块，所述互连响应消息携带互连请求失败信息；所述第一大数据业务提供者模块接收所述第二大数据业务提供者模块返回的互连确认消息。
进一步地，所述大数据源单元与所述大数据目标单元通过互连接口交换加工数据和加工元数据，包括：所述第二大数据业务提供者模块向所述第一大数据业务提供者模块发送互连请求；所述第二大数据业务提供者模块接收并存储和/或缓存所述第一大数据业务提供者模块提供的所述加工数据和加工元数据，并对所述加工数据和加工元数据进行大数据处理得到更新的加工数据和更新的加工元数据；或者，所述第二大数据业务提供者模块接收来自所述第一大数据业务提供者模块的互连请求失败信息；在接收到所述互连请求失败信息之后和/或处理完所述加工数据之后，所述第二大数据业务提供者模块返回所述互连确认消息给所述第一大数据业务提供者模块。
进一步地，所述大数据源单元与所述大数据目标单元通过消费接口交换加工数据和加工元数据，包括：所述第一大数据业务提供者模块接收来自所述大数据业务消费者模块的业务请求，根据所述业务请求携带的业务请求信息检索本地加工数据；如果检索到与所述业务请求信息匹配的加工数据和加工元数据，所述第一大数据业务提供者模块发送业务响应消息给所述大数据业务消费者模块，所述互连响应消息中携带与所述业务请求信息匹配的加工数据和加工元数据；如果未检索到与所述业务请求信息匹配的数据，所述第一大数据业务提供者模块发送业务响应消息给所述大数据业务消费者模块，所述业务响应消息携带业务请求失败信息；所述第一大数据业务提供者模块接收所述大数据业务消费者模块返回的业务确认消息。
进一步地，所述大数据源单元与所述大数据目标单元通过消费接口交换加工数据和加工元数据，包括：所述大数据业务消费者模块向所述第一大数据业务提供者模块发送业务请求；所述大数据业务消费者模块接收并存储和/或缓存所述第一大数据业务提供者模块提供的所述加工数据和加工元数据，并使用所述加工数据和加工元数据；或者，所述大数据业务消费者模块接收来自所述第一大数据业务提供者模块的业务请求失败信息；在接收到所述业务请求失败信息之后和/或接收所述加工数据和加工元数据之后，所述大数据业务消费者模块返回所述业务确认消息给所述第一大数据业务提供者模块。
实施例二
如图1所示，本实施例提供一种大数据交换方法，包括：
步骤101：大数据源单元接收大数据目标单元发送的数据交换请求；
步骤102：大数据源单元根据所述数据交换请求检索本地数据；
步骤103：在检索到相匹配的数据时，所述大数据源单元发送响应消息给所述大数据目标单元，所述响应消息携带与所述数据交换请求相匹配的数据；在未检索到相匹配的数据时，所述大数据源单元发送响应消息给所述大数据目标单元，所述响应消息携带交换请求失败的信息；
步骤104：大数据源单元接收所述大数据目标单元返回的确认消息。
进一步地，所述数据交换请求为携带搜集请求信息的搜集请求；所述相匹配的数据为与所述搜集请求信息相匹配的初始数据和初始元数据；所述响应消息为搜集响应消息，所述搜集响应消息携带所述初始数据和初始元数据或者携带搜集请求失败信息；所述确认消息为搜集确认消息；和/或，所述数据交换请求为携带互连请求信息的互连请求；所述相匹配的数据为与所述互连请求信息相匹配的加工数据和加工元数据；所述响应消息为互连响应消息，所述互连响应消息携带所述加工数据和加工元数据或者携带互连请求失败信息；所述确认消息为互连确认消息；和/或，所述数据交换请求为携带业务请求信息的业务请求；所述相匹配的数据为与所述业务请求信息相匹配的加工数据和加工元数据；所述响应消息为业务响应消息，所述业务响应消息携带所述加工数据和加工元数据或者携带业务请求失败信息；所述确认消息为业务确认消息。
实施例三
如图2所示，本实施例提供一种大数据交换方法，包括：
步骤201：大数据目标单元发送数据交换请求给所述大数据源单元；
步骤202：所述大数据目标单元接收所述大数据源单元返回的响应消息；
步骤203：大数据目标单元接收所述大数据源单元发送的响应消息；如果所述响应消息包含与所述数据交换请求的数据，则存储和/或缓存所述数据，并对所述数据进行大数据处理或使用所述数据，在处理或使用所述数据之后进入步骤204；如果所述响应消息携带交换请求失败的信息，则直接进入步骤204；
步骤204：大数据目标单元返回确认消息给所述大数据源单元。
进一步地，所述数据交换请求为携带搜集请求信息的搜集请求；所述相匹配的数据为与所述搜集请求信息相匹配的初始数据和初始元数据；所述响应消息为搜集响应消息，所述搜集响应消息携带所述初始数据和初始元数据或者携带搜集请求失败信息；所述确认消息为搜集确认消息；和/或，所述数据交换请求为携带互连请求信息的互连请求；所述相匹配的数据为与所述互连请求信息相匹配的加工数据和加工元数据；所述响应消息为互连响应消息，所述互连响应消息携带所述加工数据和加工元数据或者携带互连请求失败信息；所述确认消息为互连确认消息；和/或，所述数据交换请求为携带业务请求信息的业务请求；所述相匹配的数据为与所述业务请求信息相匹配的加工数据和加工元数据；所述响应消息为业务响应消息，所述业务响应消息携带所述加工数据和加工元数据或者携带业务请求失败信息；所述确认消息为业务确认消息。
实施例四
本实施例提供一种大数据交换装置，包括：大数据源单元；
所述大数据源单元，包括数据提供者模块和/或第一大数据业务提供者模块；所述数据提供者模块用于提供初始数据和初始元数据；所述第一大数据业务提供者模块用于对所述初始数据和初始元数据进行大数据处理得到加工数据和加工元数据。
进一步地，所述数据提供者模块，还用于：接收来自大数据目标单元的第二大数据业务提供者模块的搜集请求；根据所述搜集请求携带的搜集请求信息检索本地数据；如果检索到与所述搜集请求信息匹配的本地数据，发送搜集响应消息给所述第二大数据业务提供者模块，所述搜集响应消息中携带搜索到的初始数据和初始元数据；如果未检索到与所述搜集请求信息匹配的本地数据，发送搜集响应消息给所述第二大数据业务提供者模块，所述搜集响应消息中携带数据请求失败的信息；接收所述第二大数据业务提供者模块返回的搜集确认消息。
进一步地，所述第一大数据业务提供者模块，还用于：接收来自大数据目标单元的第二大数据业务提供者模块的互连请求，根据所述互连请求携带的互连请求信息检索本地加工数据；如果检索到与所述互连请求信息匹配的加工数据和加工元数据，发送互连响应消息给所述第二大数据业务提供者模块，所述互连响应消息中携带与所述互连请求信息匹配的加工数据和加工元数据；如果未检索到与所述互连请求信息匹配的数据，发送互连响应消息给所述第二大数据业务提供者模块，所述互连响应消息携带互连请求失败信息；接收所述第二大数据业务提供者模块返回的互连确认消息。
进一步地，所述第一大数据业务提供者模块，还用于：接收来自大数据目标单元的大数据业务消费者模块的业务请求，根据所述业务请求携带的业务请求信息检索本地加工数据；如果检索到与所述业务请求信息匹配的加工数据和加工元数据，发送业务响应消息给所述大数据业务消费者模块，所述互连响应消息中携带与所述业务请求信息匹配的加工数据和加工元数据；如果未检索到与所述业务请求信息匹配的数据，发送业务响应消息给所述大数据业务消费者模块，所述业务响应消息携带业务请求失败信息；接收所述大数据业务消费者模块返回的业务确认消息。
实施例五
本实施例提供一种大数据交换装置，包括：大数据目标单元；
所述大数据目标单元，包括：第二大数据业务提供者模块和/或大数据业务消费者模块；所述第二大数据业务提供者模块用于进行大数据处理得到加工数据和加工元数据或得到更新的加工数据和加工元数据；所述大数据业务消费者模块用于使用所述加工数据和加工元数据。
进一步地，所述第二大数据业务提供者模块，还用于：向大数据源单元的数据提供者模块发送搜集请求；接收并存储和/或缓存所述数据提供者模块提供的所述初始数据和初始元数据，并对所述初始数据和初始元数据进行大数据处理得到加工数据和加工元数据；或者，接收来自所述数据提供者模块的搜集请求失败信息；在接收到所述搜集请求失败信息之后和/或处理完所述初始数据之后，返回搜集确认消息给所述数据提供者模块。
进一步地，所述第二大数据业务提供者模块，还用于：向大数据源单元的第一大数据业务提供者模块发送互连请求；接收并存储和/或缓存所述第一大数据业务提供者模块提供的所述加工数据和加工元数据，并对所述加工数据和加工元数据进行大数据处理得到更新的加工数据和更新的加工元数据；或者，接收来自所述第一大数据业务提供者模块的互连请求失败信息；在接收到所述互连请求失败信息之后和/或处理完所述加工数据之后，返回所述互连确认消息给所述第一大数据业务提供者模块。
进一步地，所述大数据业务消费者模块，还用于：向大数据源单元的第一大数据业务提供者模块发送业务请求；接收并存储和/或缓存所述第一大数据业务提供者模块提供的所述加工数据和加工元数据，并使用所述加工数据和加工元数据；或者，接收来自所述第一大数据业务提供者模块的业务请求失败信息；在接收到所述业务请求失败信息之后和/或接收所述加工数据和加工元数据之后，返回所述业务确认消息给所述第一大数据业务提供者模块。
实施例六
如图3所示，本实施例提供一种大数据交换系统，该系统包括大数据源单元和大数据目标单元。其中，所述大数据源单元与大数据目标单元通过搜集接口通信，所述搜集接口交换初始数据和初始元数据；和/或，所述大数据源单元与所述大数据目标单元通过互连接口通信，所述互连接口用于交换加工数据和加工元数据；和/或，所述大数据源单元与所述大数据目标单元通过消费接口通信，所述消费接口用于交换加工数据和加工元数据。
具体地，如图3所示，大数据源单元，作为大数据交换的数据源，包括数据提供者模块和/或第一大数据业务提供者模块，主要用于将数据提供者模块所提供的初始数据以及大数据业务提供者模块提供的加工数据导出给大数据目标单元。
其中，所述数据提供者模块，设置为：产生初始数据并提供该初始数据给第一大数据业务提供者模块和/或大数据目标单元的第二大数据业务提供者模块，基于该初始数据创建所述初始数据的元数据即初始元数据，并可供第一大数据业务提供者模块和/或大数据目标单元的第二大数据业务提供者模块访问；
所述第一大数据业务提供者模块，设置为：接收并存储和/或缓存来自数数据提供者模块的初始数据和初始元数据，对所述初始数据进行大数据处理得到加工数据，同时，根据所述加工数据更新所述初始元数据得到加工元数据，导出所述加工数据和加工元数据给大数据目标单元，供大数据目标单元的大数据业务消费者模块使用，或者供大数据目标单元的第二大数据业务提供者模块做进一步处理。
其中，大数据目标单元，作为大数据交换的数据目标，包括第二大数据业务提供者模块和/或大数据业务消费者模块，主要用于：(1)从所述大数据源单元的数据提供者模块导入初始数据和初始元数据，交给大数据目标单元内部的第二大数据业务提供者模块进行大数据处理，得到加工数据和加工元数据；(2)从大数据源单元的第一大数据业务提供者模块导入加工数据和加工元数据，并交给大数据目标单元内部的第二大数据业务提供者模块继续进行大数据处理，得到更新的加工数据和更新的加工元数据。
其中，所述第二大数据业务提供者模块，设置为：(1)向所述大数据源单元的数据提供者模块请求初始数据和初始元数据，接收并存储和/或缓存来自所述大数据源单元的数据提供者模块的初始数据和初始元数据，并对所述初始数据进行大数据处理得到加工数据，同时，根据所述加工数据更新所述初始元数据得到加工元数据；或者，(2)向所述大数据源单元的第一大数据业务提供者模块请求加工数据和加工元数据，接收并存储和/或缓存来自所述大数据源单元的第一大数据业务提供者模块的加工数据和加工元数据，并对所述加工数据和加工元数据进一步进行大数据处理，得到更新的加工数据和更新的加工元数据；(3)导出所述加工数据和加工元数据、或者更新的加工数据和更新的加工元数据给所述大数据业务消费者模块使用；
所述大数据业务消费者模块，设置为：(1)向所述大数据源单元的第一大数据业务提供者模块请求加工数据和加工元数据，接收并存储和/或缓存来自所述大数据源单元第一大数据业务提供者模块的加工数据和加工元数据；或者，(2)向所述大数据目标单元的第二大数据业务提供者模块请求加工数据和加工元数据、或更新的加工数据和更新的加工元数据，接收并存储和/或缓存第二大数据业务提供者模块所述加工数据和加工元数据、或所述更新的加工数据和更新的加工元数据，并使用所述加工数据和加工元数据、或所述更新的加工数据和加工元数据。
其中，所述初始数据，也叫未加工数据(Unprocessed Data或者RawData)，设置为来自于数据提供者模块的未被处理的数据；
其中，所述加工数据，设置为由第一大数据业务提供者模块对所述初始数据进行数据搜集、数据准备(即数据预处理)、数据分析和数据可视化等一系列大数据处理，得到的相应的处理结果数据，加工数据即为大数据业务所提供的主要成果。根据大数据处理的类别不同，所述加工数据可以包括收集的数据、准备的数据、分析的数据以及可视化后的数据等。
其中，大数据源单元到大数据目标单元的数据导出，具体为：传送初始数据、初始元数据、加工数据和加工元数据等到大数据目标单元；相应的，大数据目标单元的数据导入包括：接收、存储和/或缓存来自于大数据源单元的初始数据、初始元数据、加工数据以及加工元数据。
其中，所述大数据处理可以包括数据收集、数据准备(即数据预处理)、数据分析以及数据可视化等。其中，所述数据收集设置为从所导入的数据中提取数据并进行初步处理(如初始相同结构的数据集的合并等)；所述数据准备(即数据预处理)设置为对所收集的数据进行数据清洗、数据转换、数据分解、数据验证、数据融合、数据聚合、数据聚类、数据排序、数据摘要、数据分类、数据加密以及数据集成等数据预处理；所述数据分析设置为对经过数据准备阶段的数据依据大数据科学、使用指定算法进行分析处理并从中提取知识，并提供相应的分析处理的结果；所述数据可视化，设置为对经过分析的数据进行可视化处理(如以最佳格式和数据展示形式来传递知识和说明含义)并提供相应的可视化处理结果(如统计图型、图表、报告等)。
图3为本发明实施例大数据交换系统的组成结构示意图。如图3所示，大数据直接交换装置的结构从左到右包括：大数据源单元101和大数据目标单元102。其中，大数据源单元包括数据提供者模块103和/或大数据业务提供者模块_A 105；大数据目标单元102包括大数据业务提供者模块_B 104和/或大数据业务消费者模块106。大数据源单元101和大数据目标单元102通过三个主要接口进行数据交换：(1)搜集接口(Collecting)，用于交换初始数据和初始元数据；(2)互连(Interworking)接口，用于交换加工数据以及加工元数据；(3)消费(Consuming)接口，用于交换加工数据以及加工元数据。
图4为本发明实施例大数据直接交换方法的具体实现流程图。如图4所示，大数据直接交换的方法主要可以包括如下步骤：
(1)数据搜集
如图4所示，大数据目标单元102与大数据源单元101之间通过搜集接口交换初始数据和初始元数据的流程，具体可以包括如下步骤：
步骤401：大数据目标单元102的大数据业务提供者模块_B 104发送搜集请求(Req)消息给大数据源单元101的数据提供者模块103，以便能够从数据提供者模块103处获取到初始数据；
步骤402：数据提供者模块103接收来自大数据业务提供者模块_B 104的搜集请求，并根据所述搜集请求携带的搜集请求信息检索本地数据；
如果检索到与搜集请求信息匹配的数据，则数据提供者模块103通过搜集响应(Resp)消息将所匹配数据(包括初始数据和初始元数据)发送给大数据业务提供者模块_B 104；
如果未检索到匹配数据，则数据提供者模块103通过搜集响应(Resp)消息将数据请求失败的信息发送给大数据业务提供者模块_B 104；
步骤403：大数据业务提供者模块_B 104接收并存储和/或缓存来自数据提供者模块103的所述初始数据和初始元数据，并对所述初始数据进行处理并得到加工数据和加工元数据；大数据业务提供者模块_B 104在接收并处理完所述初始数据后，发送搜集确认(Ack)消息给数据提供者模块103，以结束当前次数据交换。
或者，大数据业务提供者模块_B 104接收来自数据提供者模块103的搜集请求失败的消息，发送搜集确认(Ack)消息给数据提供者模块103，以结束当前次数据交换。
需要说明的是，如图4所示的(1')所示，在大数据源单元101内部也通过上述的数据流程进行数据搜索，不再赘述。
(2)数据互连
如图4所示，大数据目标单元102与大数据源单元101之间通过互连接口交换加工数据和加工元数据的流程，具体可以包括如下步骤：
步骤501：大数据目标单元102中的大数据业务提供者模块_B 104发送互连请求(Req)消息给大数据源单元101的大数据业务提供者模块_A 105，以从大数据业务提供者模块_A 105处获取已经过大数据业务提供者模块_A105处理的加工数据(如图2中2.1所示)，从而大数据业务提供者模块_B 104能够和大数据业务提供者模块_A 105互连从而开展联合数据分析工作；
步骤502：大数据业务提供者模块_A 105接收来自大数据业务提供者模块_B 104的互连请求，根据所述互连请求携带的互连请求信息检索本地加工数据；
如果检索到与互连请求信息匹配的数据，则大数据业务提供者模块_A105通过互连响应(Resp)消息将所匹配数据(包括加工数据和加工元数据)发送给大数据业务提供者模块_B 104；如果未检索到匹配数据，则大数据业务提供者模块_A 105通过互连响应(Resp)消息将互连请求失败信息发送给大数据业务提供者模块_B 104；
步骤503：大数据业务提供者模块_B 104接收并存储和/或缓存来自于大数据业务提供者模块_A 105的加工数据以及加工元数据，并对所述加工数据进一步处理以得到更新的加工数据和更新的加工元数据；大数据业务提供者模块_B 104在接收并处理完加工数据后，发送互连确认(Ack)消息给大数据业务提供者模块_A 105，结束该次互连交换。或者，大数据业务提供者模块_B 104接收来自大数据业务提供者模块_A 105的包含互连请求失败消息的Resp消息后，发送互连确认(Ack)消息给大数据业务提供者模块_A 105，结束该次互连交换。
(3)业务
如图4所示，大数据目标单元102与大数据源单元101之间通过消费接口交换加工数据和加工元数据的流程，具体可以包括如下步骤：
步骤601：大数据目标单元102中的大数据业务消费者模块106发送业务请求(Req)消息给大数据源单元101的大数据业务提供者模块_A 105，以从大数据业务提供者模块_A 105处获取经过大数据业务提供者模块_A 105处理的加工数据，以便大数据业务消费者模块106能够使用大数据业务提供者模块_A 105所提供的数据分析结果；
步骤602：大数据业务提供者模块_A 105接收来自大数据业务消费者模块106的业务请求，并根据所述业务请求携带的业务请求信息检索本地加工数据；
如果检索到与业务请求信息匹配的数据，则大数据业务提供者模块_A105通过业务响应(Resp)消息将所匹配数据(包括加工数据和加工元数据)发送给大数据业务消费者模块106；
如果未检索到匹配数据，则大数据业务提供者模块_A 105通过业务响应(Resp)消息将业务请求失败的消息发送给大数据业务消费者模块106；
步骤603：大数据业务消费者模块106接收并存储和/或缓存来自大数据业务提供者模块_A 105的加工数据以及加工元数据并使用这些数据(如用于商业分析、业务决策等)；大数据业务消费者模块106在接收并处理完所述加工数据以及加工元数据后，发送业务确认(Ack)消息给大数据业务提供者模块_A 105，结束该次业务交换；
或者，大数据业务消费者模块106在接收到来自大数据业务提供者模块_A 105的业务请求失败的消息后，发送业务确认(Ack)消息给大数据业务提供者模块_A 105，结束该次业务交换。
需要说明的是，如图4所示的(3')所示，在大数据目标单元102内部也进行上述数据消费流程的处理，具体实现过程与上述流程基本相同，唯一的不同是执行的主体是大数据目标单元102中的模块，不再赘述。
本发明实施例通过大数据直接交换装置及方法，有效地解决了大数据的孤岛问题、封闭问题，有力地提升了大数据的开放共享和互联互通的可行性。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
虽然本发明所揭露的实施方式如上，但所述的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。
Claims (26)
1.一种大数据交换方法，其特征在于，包括：
大数据源单元与大数据目标单元通过搜集接口交换初始数据和初始元数据；
和/或，所述大数据源单元与所述大数据目标单元通过互连接口交换加工数据和加工元数据；
和/或，所述大数据源单元与所述大数据目标单元通过消费接口交换加工数据和加工元数据；
所述大数据源单元包括：数据提供者模块和/或第一大数据业务提供者模块；所述大数据目标单元包括：第二大数据业务提供者模块和/或大数据业务消费者模块；
所述数据提供者模块用于提供所述初始数据和初始元数据；所述第一大数据业务提供者模块和所述第二大数据业务提供者模块用于进行大数据处理得到所述加工数据和加工元数据；所述大数据业务消费者模块用于使用所述加工数据和加工元数据。
2.根据权利要求1所述的方法，其特征在于，所述交换初始数据和初始元数据，包括：
所述大数据源单元将数据提供者模块产生的初始数据以及初始元数据提供给大数据目标单元中的第二大数据业务提供者模块；大数据目标单元的第二大数据业务提供者模块接收并存储和/或缓存所述初始数据以及初始元数据并对所述初始数据进行大处理。
3.根据权利要求1所述的方法，其特征在于，
所述大数据源单元与大数据目标单元通过搜集接口交换初始数据和初始元数据，包括：
所述数据提供者模块接收来自所述第二大数据业务提供者模块的搜集请求；
所述数据提供者模块根据所述搜集请求携带的搜集请求信息检索本地数据；
如果检索到与所述搜集请求信息匹配的本地数据，所述数据提供者模块发送搜集响应消息给所述第二大数据业务提供者模块，所述搜集响应消息中携带搜索到的初始数据和初始元数据；
如果未检索到与所述搜集请求信息匹配的本地数据，所述数据提供者模块发送搜集响应消息给所述第二大数据业务提供者模块，所述搜集响应消息中携带数据请求失败的信息；
所述数据提供者模块接收所述第二大数据业务提供者模块返回的搜集确认消息。
4.根据权利要求1所述的方法，其特征在于，
所述大数据源单元与大数据目标单元通过搜集接口交换初始数据和初始元数据，包括：
所述第二大数据业务提供者模块向所述数据提供者模块发送搜集请求；
所述第二大数据业务提供者模块接收并存储和/或缓存所述数据提供者模块提供的所述初始数据和初始元数据，并对所述初始数据和初始元数据进行大数据处理得到加工数据和加工元数据；或者，所述第二大数据业务提供者模块接收来自所述数据提供者模块的搜集请求失败信息；
在接收到所述搜集请求失败信息之后和/或处理完所述初始数据之后，所述第二大数据业务提供者模块返回搜集确认消息给所述数据提供者模块。
5.根据权利要求1所述的方法，其特征在于，所述大数据源单元与所述大数据目标单元通过互连接口交换加工数据和加工元数据，包括：
所述大数据源单元将经过第一大数据业务提供者模块处理所述初始数据后得到的加工数据以及加工元数据提供给大数据目标单元的第二大数据业务提供者模块；大数据目标单元中的第二大数据业务提供者模块接收并存储和/或缓存所述加工数据以及加工元数据，并对所述加工数据进行进一步地大数据处理以得到更新的加工数据和更新的加工元数据。
6.根据权利要求1所述的方法，其特征在于，所述大数据源单元与所述大数据目标单元通过互连接口交换加工数据和加工元数据，包括：
所述第一大数据业务提供者模块接收来自所述第二大数据业务提供者模块的互连请求，根据所述互连请求携带的互连请求信息检索本地加工数据；
如果检索到与所述互连请求信息匹配的加工数据和加工元数据，所述第一大数据业务提供者模块发送互连响应消息给所述第二大数据业务提供者模块，所述互连响应消息中携带与所述互连请求信息匹配的加工数据和加工元数据；
如果未检索到与所述互连请求信息匹配的数据，所述第一大数据业务提供者模块发送互连响应消息给所述第二大数据业务提供者模块，所述互连响应消息携带互连请求失败信息；
所述第一大数据业务提供者模块接收所述第二大数据业务提供者模块返回的互连确认消息。
7.根据权利要求1所述的方法，其特征在于，所述大数据源单元与所述大数据目标单元通过互连接口交换加工数据和加工元数据，包括：
所述第二大数据业务提供者模块向所述第一大数据业务提供者模块发送互连请求；
所述第二大数据业务提供者模块接收并存储和/或缓存所述第一大数据业务提供者模块提供的所述加工数据和加工元数据，并对所述加工数据和加工元数据进行大数据处理得到更新的加工数据和更新的加工元数据；或者，所述第二大数据业务提供者模块接收来自所述第一大数据业务提供者模块的互连请求失败信息；
在接收到所述互连请求失败信息之后和/或处理完所述加工数据之后，所述第二大数据业务提供者模块返回所述互连确认消息给所述第一大数据业务提供者模块。
8.根据权利要求1所述的方法，其特征在于，所述大数据源单元与所述大数据目标单元通过消费接口交换加工数据和加工元数据，包括：
所述大数据源单元将经过其第一大数据业务提供者模块对初始数据处理后得到的加工数据提供给所述大数据目标单元的大数据业务消费者模块使用。
9.根据权利要求1所述的方法，其特征在于，所述大数据源单元与所述大数据目标单元通过消费接口交换加工数据和加工元数据，包括：
所述第一大数据业务提供者模块接收来自所述大数据业务消费者模块的业务请求，根据所述业务请求携带的业务请求信息检索本地加工数据；
如果检索到与所述业务请求信息匹配的加工数据和加工元数据，所述第一大数据业务提供者模块发送业务响应消息给所述大数据业务消费者模块，所述互连响应消息中携带与所述业务请求信息匹配的加工数据和加工元数据；
如果未检索到与所述业务请求信息匹配的数据，所述第一大数据业务提供者模块发送业务响应消息给所述大数据业务消费者模块，所述业务响应消息携带业务请求失败信息；
所述第一大数据业务提供者模块接收所述大数据业务消费者模块返回的业务确认消息。
10.根据权利要求1所述的方法，其特征在于，所述大数据源单元与所述大数据目标单元通过消费接口交换加工数据和加工元数据，包括：
所述大数据业务消费者模块向所述第一大数据业务提供者模块发送业务请求；
所述大数据业务消费者模块接收并存储和/或缓存所述第一大数据业务提供者模块提供的所述加工数据和加工元数据，并使用所述加工数据和加工元数据；或者，所述大数据业务消费者模块接收来自所述第一大数据业务提供者模块的业务请求失败信息；
在接收到所述业务请求失败信息之后和/或接收所述加工数据和加工元数据之后，所述大数据业务消费者模块返回所述业务确认消息给所述第一大数据业务提供者模块。
11.根据权利要求1至10任一项所述的方法，其特征在于，所述大数据处理包括：数据搜集、数据准备、数据分析和/或数据可视化。
12.一种大数据交换方法，其特征在于，包括：
大数据源单元接收大数据目标单元发送的数据交换请求；
大数据源单元根据所述数据交换请求检索本地数据；
在检索到相匹配的数据时，所述大数据源单元发送响应消息给所述大数据目标单元，所述响应消息携带与所述数据交换请求相匹配的数据；在未检索到相匹配的数据时，所述大数据源单元发送响应消息给所述大数据目标单元，所述响应消息携带交换请求失败的信息；
大数据源单元接收所述大数据目标单元返回的确认消息。
13.根据权利要求12所述的方法，其特征在于，
所述数据交换请求为携带搜集请求信息的搜集请求；所述相匹配的数据为与所述搜集请求信息相匹配的初始数据和初始元数据；所述响应消息为搜集响应消息，所述搜集响应消息携带所述初始数据和初始元数据或者携带搜集请求失败信息；所述确认消息为搜集确认消息；和/或，
所述数据交换请求为携带互连请求信息的互连请求；所述相匹配的数据为与所述互连请求信息相匹配的加工数据和加工元数据；所述响应消息为互连响应消息，所述互连响应消息携带所述加工数据和加工元数据或者携带互连请求失败信息；所述确认消息为互连确认消息；和/或，
所述数据交换请求为携带业务请求信息的业务请求；所述相匹配的数据为与所述业务请求信息相匹配的加工数据和加工元数据；所述响应消息为业务响应消息，所述业务响应消息携带所述加工数据和加工元数据或者携带业务请求失败信息；所述确认消息为业务确认消息。
14.一种大数据交换方法，其特征在于，包括：
大数据目标单元发送数据交换请求给所述大数据源单元；
所述大数据目标单元接收所述大数据源单元返回的响应消息；
如果所述响应消息包含与所述数据交换请求的数据，则存储和/或缓存所述数据，并对所述数据进行大数据处理或使用所述数据，在处理或使用所述数据之后，向所述大数据源单元返回确认消息；
如果所述响应消息携带交换请求失败的信息，则直接返回确认消息给所述大数据源单元。
15.根据权利要求14所述的方法，其特征在于，
所述数据交换请求为携带搜集请求信息的搜集请求；所述相匹配的数据为与所述搜集请求信息相匹配的初始数据和初始元数据；所述响应消息为搜集响应消息，所述搜集响应消息携带所述初始数据和初始元数据或者携带搜集请求失败信息；所述确认消息为搜集确认消息；和/或，
所述数据交换请求为携带互连请求信息的互连请求；所述相匹配的数据为与所述互连请求信息相匹配的加工数据和加工元数据；所述响应消息为互连响应消息，所述互连响应消息携带所述加工数据和加工元数据或者携带互连请求失败信息；所述确认消息为互连确认消息；和/或，
所述数据交换请求为携带业务请求信息的业务请求；所述相匹配的数据为与所述业务请求信息相匹配的加工数据和加工元数据；所述响应消息为业务响应消息，所述业务响应消息携带所述加工数据和加工元数据或者携带业务请求失败信息；所述确认消息为业务确认消息。
16.一种大数据交换装置，其特征在于，包括：大数据源单元；
所述大数据源单元，包括数据提供者模块和/或第一大数据业务提供者模块；所述数据提供者模块用于提供初始数据和初始元数据；所述第一大数据业务提供者模块用于对所述初始数据和初始元数据进行大数据处理得到加工数据和加工元数据。
17.根据权利要求16所述的装置，其特征在于，所述数据提供者模块，还用于：
接收来自大数据目标单元的第二大数据业务提供者模块的搜集请求；
根据所述搜集请求携带的搜集请求信息检索本地数据；
如果检索到与所述搜集请求信息匹配的本地数据，发送搜集响应消息给所述第二大数据业务提供者模块，所述搜集响应消息中携带搜索到的初始数据和初始元数据；
如果未检索到与所述搜集请求信息匹配的本地数据，发送搜集响应消息给所述第二大数据业务提供者模块，所述搜集响应消息中携带数据请求失败的信息；
所述数据提供者模块接收所述第二大数据业务提供者模块返回的搜集确认消息。
18.根据权利要求16所述的装置，其特征在于，所述第一大数据业务提供者模块，还用于：
接收来自大数据目标单元的第二大数据业务提供者模块的互连请求，根据所述互连请求携带的互连请求信息检索本地加工数据；
如果检索到与所述互连请求信息匹配的加工数据和加工元数据，发送互连响应消息给所述第二大数据业务提供者模块，所述互连响应消息中携带与所述互连请求信息匹配的加工数据和加工元数据；
如果未检索到与所述互连请求信息匹配的数据，发送互连响应消息给所述第二大数据业务提供者模块，所述互连响应消息携带互连请求失败信息；
接收所述第二大数据业务提供者模块返回的互连确认消息。
19.根据权利要求16或17所述的装置，其特征在于，所述第一大数据业务提供者模块，还用于：
接收来自大数据目标单元的大数据业务消费者模块的业务请求，根据所述业务请求携带的业务请求信息检索本地加工数据；
如果检索到与所述业务请求信息匹配的加工数据和加工元数据，发送业务响应消息给所述大数据业务消费者模块，所述互连响应消息中携带与所述业务请求信息匹配的加工数据和加工元数据；
如果未检索到与所述业务请求信息匹配的数据，发送业务响应消息给所述大数据业务消费者模块，所述业务响应消息携带业务请求失败信息；
接收所述大数据业务消费者模块返回的业务确认消息。
20.一种大数据交换装置，其特征在于，包括：大数据目标单元；
所述大数据目标单元，包括：第二大数据业务提供者模块和/或大数据业务消费者模块；所述第二大数据业务提供者模块用于进行大数据处理得到加工数据和加工元数据或得到更新的加工数据和加工元数据；所述大数据业务消费者模块用于使用所述加工数据和加工元数据。
21.根据权利要求20所述的装置，其特征在于，所述第二大数据业务提供者模块，还用于：
向大数据源单元的数据提供者模块发送搜集请求；
接收并存储和/或缓存所述数据提供者模块提供的所述初始数据和初始元数据，并对所述初始数据和初始元数据进行大数据处理得到加工数据和加工元数据；或者，接收来自所述数据提供者模块的搜集请求失败信息；
在接收到所述搜集请求失败信息之后和/或处理完所述初始数据之后，返回搜集确认消息给所述数据提供者模块。
22.根据权利要求20或21所述的装置，其特征在于，所述第二大数据业务提供者模块，还用于：
向大数据源单元的第一大数据业务提供者模块发送互连请求；
接收并存储和/或缓存所述第一大数据业务提供者模块提供的所述加工数据和加工元数据，并对所述加工数据和加工元数据进行大数据处理得到更新的加工数据和更新的加工元数据；或者，接收来自所述第一大数据业务提供者模块的互连请求失败信息；
在接收到所述互连请求失败信息之后和/或处理完所述加工数据之后，返回所述互连确认消息给所述第一大数据业务提供者模块。
23.根据权利要求20所述的装置，其特征在于，所述大数据业务消费者模块，还用于：
向大数据源单元的第一大数据业务提供者模块发送业务请求；
接收并存储和/或缓存所述第一大数据业务提供者模块提供的所述加工数据和加工元数据，并使用所述加工数据和加工元数据；或者，接收来自所述第一大数据业务提供者模块的业务请求失败信息；
在接收到所述业务请求失败信息之后和/或接收所述加工数据和加工元数据之后，返回所述业务确认消息给所述第一大数据业务提供者模块。
24.一种大数据交换系统，其特征在于，包括：大数据源单元和大数据目标单元；其中，
所述大数据源单元与大数据目标单元通过搜集接口通信，所述搜集接口交换初始数据和初始元数据；
和/或，所述大数据源单元与所述大数据目标单元通过互连接口通信，所述互连接口用于交换加工数据和加工元数据；
和/或，所述大数据源单元与所述大数据目标单元通过消费接口通信，所述消费接口用于交换加工数据和加工元数据。
25.根据权利要求24所述的系统，其特征在于，所述大数据源单元为权利要求16至19任一项所述的大数据源单元。
26.根据权利要求24所述的系统，其特征在于，所述大数据目标单元为权利要求20至23任一项所述的大数据目标单元。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610207569.4A CN107291764A (zh) | 2016-04-05 | 2016-04-05 | 一种大数据交换方法及装置、系统 |
| PCT/CN2017/079451 WO2017173978A1 (zh) | 2016-04-05 | 2017-04-05 | 一种大数据交换方法及装置、系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610207569.4A CN107291764A (zh) | 2016-04-05 | 2016-04-05 | 一种大数据交换方法及装置、系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107291764A true CN107291764A (zh) | 2017-10-24 |
Family
ID=60000863
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610207569.4A Pending CN107291764A (zh) | 2016-04-05 | 2016-04-05 | 一种大数据交换方法及装置、系统 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN107291764A (zh) |
| WO (1) | WO2017173978A1 (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109726363A (zh) * | 2017-10-31 | 2019-05-07 | 阿里巴巴集团控股有限公司 | 一种数据统计方法和装置 |
| CN109726580A (zh) * | 2017-10-31 | 2019-05-07 | 阿里巴巴集团控股有限公司 | 一种数据统计方法和装置 |
| CN110519185A (zh) * | 2019-08-28 | 2019-11-29 | 福建威盾科技集团有限公司 | 一种新型跨网络数据交换的方法 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111143332B (zh) * | 2019-12-31 | 2024-02-23 | 中电科华云信息技术有限公司 | 一种数据交换系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008055928A1 (fr) * | 2006-11-09 | 2008-05-15 | Smardtv S.A. | Module de contrôle d'accès et de décryption pour unité hôte |
| CN101835215A (zh) * | 2009-03-12 | 2010-09-15 | 中兴通讯股份有限公司 | 一种实时业务域内切换方法、系统及装置 |
| CN103150362A (zh) * | 2013-02-28 | 2013-06-12 | 北京奇虎科技有限公司 | 一种视频搜索方法及系统 |
| CN104468564A (zh) * | 2014-12-03 | 2015-03-25 | 广东中安合创人防科技有限公司 | 一种人防信息交换平台及其交换方法 |
| CN104836756A (zh) * | 2015-04-09 | 2015-08-12 | 成都卡莱博尔信息技术有限公司 | 一种被动式主数据交换方法 |
| CN105279280A (zh) * | 2015-11-16 | 2016-01-27 | 天津南大通用数据技术股份有限公司 | 快速迁移Oracle数据到MPP数据库的方法及工具 |
| CN105430055A (zh) * | 2015-11-02 | 2016-03-23 | 武大吉奥信息技术有限公司 | 基于分布式及多层次汇交的大数据交换系统及方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102594889B (zh) * | 2012-02-17 | 2014-07-16 | 广东电网公司电力科学研究院 | 一种基于数据召测的数据同步与分析系统 |
| CN102629276B (zh) * | 2012-03-21 | 2014-12-24 | 上海市电力公司 | 一种项目费用数据的标准化信息处理方法 |
| US10949473B2 (en) * | 2014-05-21 | 2021-03-16 | Knowledge Syntheses | Systems and method for searching and analyzing big data |
| CN105023086A (zh) * | 2015-01-07 | 2015-11-04 | 泰华智慧产业集团股份有限公司 | 一种基于云计算的数字城市管理数据共享系统 |
-
2016
- 2016-04-05 CN CN201610207569.4A patent/CN107291764A/zh active Pending
-
2017
- 2017-04-05 WO PCT/CN2017/079451 patent/WO2017173978A1/zh active Application Filing
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008055928A1 (fr) * | 2006-11-09 | 2008-05-15 | Smardtv S.A. | Module de contrôle d'accès et de décryption pour unité hôte |
| CN101835215A (zh) * | 2009-03-12 | 2010-09-15 | 中兴通讯股份有限公司 | 一种实时业务域内切换方法、系统及装置 |
| CN103150362A (zh) * | 2013-02-28 | 2013-06-12 | 北京奇虎科技有限公司 | 一种视频搜索方法及系统 |
| CN104468564A (zh) * | 2014-12-03 | 2015-03-25 | 广东中安合创人防科技有限公司 | 一种人防信息交换平台及其交换方法 |
| CN104836756A (zh) * | 2015-04-09 | 2015-08-12 | 成都卡莱博尔信息技术有限公司 | 一种被动式主数据交换方法 |
| CN105430055A (zh) * | 2015-11-02 | 2016-03-23 | 武大吉奥信息技术有限公司 | 基于分布式及多层次汇交的大数据交换系统及方法 |
| CN105279280A (zh) * | 2015-11-16 | 2016-01-27 | 天津南大通用数据技术股份有限公司 | 快速迁移Oracle数据到MPP数据库的方法及工具 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109726363A (zh) * | 2017-10-31 | 2019-05-07 | 阿里巴巴集团控股有限公司 | 一种数据统计方法和装置 |
| CN109726580A (zh) * | 2017-10-31 | 2019-05-07 | 阿里巴巴集团控股有限公司 | 一种数据统计方法和装置 |
| WO2019085656A1 (zh) * | 2017-10-31 | 2019-05-09 | 阿里巴巴集团控股有限公司 | 一种数据统计方法和装置 |
| WO2019085650A1 (zh) * | 2017-10-31 | 2019-05-09 | 阿里巴巴集团控股有限公司 | 一种数据统计方法和装置 |
| TWI689828B (zh) * | 2017-10-31 | 2020-04-01 | 香港商阿里巴巴集團服務有限公司 | 資料統計方法和裝置 |
| CN109726580B (zh) * | 2017-10-31 | 2020-04-14 | 阿里巴巴集团控股有限公司 | 一种数据统计方法和装置 |
| KR20200053613A (ko) * | 2017-10-31 | 2020-05-18 | 알리바바 그룹 홀딩 리미티드 | 데이터 통계 방법 및 장치 |
| CN109726363B (zh) * | 2017-10-31 | 2020-05-29 | 阿里巴巴集团控股有限公司 | 一种数据统计方法和装置 |
| US10749666B2 (en) | 2017-10-31 | 2020-08-18 | Alibaba Group Holding Limited | Data statistics method and apparatus |
| KR102224390B1 (ko) | 2017-10-31 | 2021-03-10 | 어드밴스드 뉴 테크놀로지스 씨오., 엘티디. | 데이터 통계 방법 및 장치 |
| CN110519185A (zh) * | 2019-08-28 | 2019-11-29 | 福建威盾科技集团有限公司 | 一种新型跨网络数据交换的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2017173978A1 (zh) | 2017-10-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Feng et al. | Joint service pricing and cooperative relay communication for federated learning | |
| CN105989539B (zh) | 一种金融交易行情获取系统以及获取方法 | |
| CN110138596A (zh) | 一种基于切换网络拓扑方式的区块链共识方法 | |
| CN107291764A (zh) | 一种大数据交换方法及装置、系统 | |
| CN110462604A (zh) | 基于设备使用关联互联网设备的数据处理系统和方法 | |
| CN110399533A (zh) | 资金流向查询方法及装置 | |
| CN107682466A (zh) | Ip地址的地域信息搜索方法及其装置 | |
| CN106326321A (zh) | 大数据交换方法及装置 | |
| CN108959633A (zh) | 一种提供客户服务的方法和装置 | |
| CN109802951A (zh) | 一种报文转发方法、设备及存储设备、程序产品 | |
| CN106254457A (zh) | 基于wcf技术的不动产数据共享系统及数据共享方法 | |
| Mardini et al. | Genetic algorithm for friendship selection in social IoT | |
| CN109561100A (zh) | 基于分布式与人工智能的双工赋能网络攻防的方法及系统 | |
| CN107181682A (zh) | 计算网络端到端的接入能力的方法和装置 | |
| CN105160540A (zh) | 一种基于线上到线下的服务推广系统和方法 | |
| CN101114373B (zh) | 一种法院网络委托执行系统 | |
| CN109635161B (zh) | 一种海量数据环境下跨域异地协同设计方法 | |
| CN106790357A (zh) | 一种线上咨询方法 | |
| CN210927674U (zh) | 一种基于标准通信协议的工业互联网体系架构 | |
| CN114757805A (zh) | 基于区块链的便民政务服务系统 | |
| Xie | Open Platform for Intelligent R&D and Technology Innovation Management Service Based on Edge Computing | |
| Zhao et al. | MapReduce enabling content analysis architecture for information-centric networks using CNN | |
| CN104506663B (zh) | 一种智能云计算运行管理系统 | |
| CN115132307B (zh) | 一种医疗机构系统接入智慧医疗云服务平台的方法 | |
| CN109086290A (zh) | 基于多源数据决策树的注册信息真实性判断方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20171024 |
|
| RJ01 | Rejection of invention patent application after publication |