CN108763389B - 数据的整合方法及装置、存储介质、终端 - Google Patents
数据的整合方法及装置、存储介质、终端 Download PDFInfo
- Publication number
- CN108763389B CN108763389B CN201810485230.XA CN201810485230A CN108763389B CN 108763389 B CN108763389 B CN 108763389B CN 201810485230 A CN201810485230 A CN 201810485230A CN 108763389 B CN108763389 B CN 108763389B
- Authority
- CN
- China
- Prior art keywords
- data
- preset
- provider
- dimension information
- queried
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
一种数据的整合方法及装置、存储介质、终端,所述方法包括:接收数据查询请求,所述数据查询请求包括待查询数据的标识信息和维度信息,所述标识信息和维度信息均采用预设标准描述,所述预设标准用于定义数据的参数标准和格式;根据所述待查询数据的维度信息确定配送任务,所述配送任务指向至少一个数据供方;根据所述配送任务计算路由路径,所述路由路径用于指示访问所述至少一个数据供方的访问顺序;按照所述路由路径指示的访问顺序访问所述至少一个数据供方,以获取所述待查询数据。通过本发明提供的方案能够基于数据资源流通的通用模型实现数据资源的有效整合和传输,确保数据流通的高效、合法、合规。
Description
技术领域
本发明涉及数据互联网技术领域,具体地涉及一种数据的整合方法及装置、存储介质、终端。
背景技术
基于现有的信息系统发展模式,由于不同信息系统的建设年代不同,其采用的数据接口也可能各不相同,不可避免的会形成数据资源孤岛,而数据的价值是随着数据关联维度的数量而指数增加的。因而,数据互联网的概念应运而生。
但是,现有技术无法提供一套有效的数据资源整合方案,无法实现数据互联网中各数据资源节点网络的全连接,更无法确保在其中流通的数据的合法性和合规性。
发明内容
本发明解决的技术问题是如何实现数据资源的有效整合,确保数据流通的高效、合法、合规。
为解决上述技术问题,本发明实施例提供一种数据的整合方法,所述整合方法包括:接收数据查询请求,所述数据查询请求包括待查询数据的标识信息和维度信息,所述标识信息和维度信息均采用预设标准描述,所述预设标准用于定义数据的参数标准和格式;根据所述待查询数据的维度信息确定配送任务,所述配送任务指向至少一个数据供方;根据所述配送任务计算路由路径,所述路由路径用于指示访问所述至少一个数据供方的访问顺序;按照所述路由路径指示的访问顺序访问所述至少一个数据供方,以获取所述待查询数据。
可选的,所述整合方法还包括:实时或异步传输获取的待查询数据至所述数据查询请求指向的数据需方,所述数据查询请求指向的数据需方通过所述配送任务进行指示。
可选的,所述整合方法还包括:传输完成后,记录本次传输的日志,所述日志至少包括所述待查询数据的发送时间和到达时间。
可选的,所述整合方法还包括:预先加载所有数据供方各自所具有数据的维度信息,所述维度信息同样采用所述预设标准描述。
可选的,所述根据所述待查询数据的维度信息确定配送任务包括:根据所述所有数据供方各自所具有数据的维度信息确定与所述待查询数据的维度信息相匹配的候选数据供方;响应于所述数据查询请求指向的数据需方的指示,确定所述至少一个数据供方,所述至少一个数据供方选自所述候选数据供方;根据所述至少一个数据供方确定所述配送任务。
可选的,所述根据所述配送任务计算路由路径包括:获取路由类型,所述路由类型由所述数据查询请求指向的数据需方预先设定;根据所述路由类型计算所述路由路径,以确定访问所述配送任务指向的至少一个数据供方的访问顺序。
可选的,所述路由类型选自:静态路由,所述静态路由用于指示访问所述至少一个数据供方的固定访问顺序;动态路由,所述动态路由用于指示所述访问顺序的确定标准。
可选的,获取的所述待查询数据是处于加密状态的。
可选的,所述维度信息采用预设标准描述是指:所述维度信息是根据与所述数据查询请求的应用场景相关联的预设应用数据集确定的,所述预设应用数据集包括所述应用场景下常用的维度信息,所述预设应用数据集取自至少一个预设通用数据集,不同的预设通用数据集用于基于所述预设标准描述不同类型的数据。
可选的,所述至少一个预设通用数据集包括:用于描述与人相关的数据的预设通用数据集;用于描述与物相关的数据的预设通用数据集;用于描述与群相关的数据的预设通用数据集;用于描述与事件相关的数据的预设通用数据集。
本发明实施例还提供一种数据的整合装置,包括:服务层单元,用于接收数据查询请求,所述数据查询请求包括待查询数据的标识信息和维度信息,所述标识信息和维度信息均采用预设标准描述,所述预设标准用于定义数据的参数标准和格式;所述服务层单元根据所述待查询数据的维度信息确定配送任务,所述配送任务指向至少一个数据供方;网络层单元,用于根据所述配送任务计算路由路径,所述路由路径用于指示访问所述至少一个数据供方的访问顺序;链路层单元,用于按照所述路由路径指示的访问顺序访问所述至少一个数据供方,以获取所述待查询数据。
可选的,所述链路层单元实时或异步传输获取的待查询数据至所述数据查询请求指向的数据需方,所述数据查询请求指向的数据需方通过所述配送任务进行指示。
可选的,传输完成后,所述链路层单元记录本次传输的日志,所述日志至少包括所述待查询数据的发送时间和到达时间。
可选的,所述服务层单元预先加载所有数据供方各自所具有数据的维度信息,所述维度信息同样采用所述预设标准描述。
可选的,所述服务层单元包括:第一确定模块,用于根据所述所有数据供方各自所具有数据的维度信息确定与所述待查询数据的维度信息相匹配的候选数据供方;第二确定模块,响应于所述数据查询请求指向的数据需方的指示,确定所述至少一个数据供方,所述至少一个数据供方选自所述候选数据供方;第三确定模块,用于根据所述至少一个数据供方确定所述配送任务。
可选的,所述网络层单元包括:获取模块,用于获取路由类型,所述路由类型由所述数据查询请求指向的数据需方预先设定;计算模块,用于根据所述路由类型计算所述路由路径,以确定访问所述配送任务指向的至少一个数据供方的访问顺序。
可选的,所述路由类型选自:静态路由,所述静态路由用于指示访问所述至少一个数据供方的固定访问顺序;动态路由,所述动态路由用于指示所述访问顺序的确定标准。
可选的,所述链路层单元获取的所述待查询数据是处于加密状态的。
可选的,所述维度信息采用预设标准描述是指:所述维度信息是所述服务层单元根据与所述数据查询请求的应用场景相关联的预设应用数据集确定的,所述预设应用数据集包括所述应用场景下常用的维度信息,所述预设应用数据集取自至少一个预设通用数据集,不同的预设通用数据集用于基于所述预设标准描述不同类型的数据。
可选的,所述至少一个预设通用数据集由数据层单元提供。
可选的,所述至少一个预设通用数据集包括:用于描述与人相关的数据的预设通用数据集;用于描述与物相关的数据的预设通用数据集;用于描述与群相关的数据的预设通用数据集;用于描述与事件相关的数据的预设通用数据集。
本发明实施例还提供一种存储介质,其上存储有计算机指令,所述计算机指令运行时执行上述整合方法的步骤。
本发明实施例还提供一种终端,包括存储器和处理器,所述存储器上存储有能够在所述处理器上运行的计算机指令,所述处理器运行所述计算机指令时执行上述整合方法的步骤。
与现有技术相比,本发明实施例的技术方案具有以下有益效果:
本发明实施例提供一种数据的整合方法,所述整合方法包括:接收数据查询请求,所述数据查询请求包括待查询数据的标识信息和维度信息,所述标识信息和维度信息均采用预设标准描述,所述预设标准用于定义数据的参数标准和格式;根据所述待查询数据的维度信息确定配送任务,所述配送任务指向至少一个数据供方;根据所述配送任务计算路由路径,所述路由路径用于指示访问所述至少一个数据供方的访问顺序;按照所述路由路径指示的访问顺序访问所述至少一个数据供方,以获取所述待查询数据。较之现有数据互联网(简称数联网)采用的数据整合模式,通过构建基于数联网的通用模型(即数联网分层协议模型),本发明实施例的方案能够基于所述通用模型确定的标准和提供的工具实现数据资源的有效整合和传输,确保数据流通的高效、合法、合规。进一步,所述数联网分层协议模型能够确保数据互联网中的不同信息系统之间的有效连接,使得数联网真正成为数据资源全连接的数据资源节点网络。
进一步,实时或异步传输获取的待查询数据至所述数据查询请求指向的数据需方,所述数据查询请求指向的数据需方通过所述配送任务进行指示,从而在数据需方和数据供方之间建立连接,实现数据资源点到点连接的数据流通。
附图说明
图1是本发明实施例所采用的数联网分层协议模型的架构示意图;
图2是本发明实施例所采用的数联网分层协议模型的数据流转示意图;
图3是本发明实施例所采用的数联网分层协议模型的原理示意图;
图4是本发明实施例的一种数据的整合方法的流程图;
图5是本发明实施例的一种数据的整合装置的结构示意图。
具体实施方式
本领域技术人员理解,如背景技术所言,现有的数据资源传输方案存在无法有效实现数据资源流通的问题,例如,无法提供标准化的数据需求定义与数据资源定义,无法实现安全高效的流通、合法合规的流通过程控制等。
为了解决上述技术问题,本发明实施例的方案提供一种数据的整合方法,所述整合方法包括:接收数据查询请求,所述数据查询请求包括待查询数据的标识信息和维度信息,所述标识信息和维度信息均采用预设标准描述,所述预设标准用于定义数据的参数标准和格式;根据所述待查询数据的维度信息确定配送任务,所述配送任务指向至少一个数据供方;根据所述配送任务计算路由路径,所述路由路径用于指示访问所述至少一个数据供方的访问顺序;按照所述路由路径指示的访问顺序访问所述至少一个数据供方,以获取所述待查询数据。
本领域技术人员理解,通过构建基于数联网的通用模型(即数联网分层协议模型),本发明实施例的方案能够基于所述通用模型确定的标准和提供的工具实现数据资源的有效整合和传输,确保数据流通的高效、合法、合规。
进一步,所述数联网分层协议模型能够确保数据互联网中的不同信息系统之间的有效连接,使得数联网真正成为数据资源全连接的数据资源节点网络。
为使本发明的上述目的、特征和有益效果能够更为明显易懂,下面结合附图对本发明的具体实施例做详细的说明。
图1是本发明实施例所采用的数联网分层协议模型的架构示意图。其中,数据可以采用本发明实施例的方案在所述数联网中流通。本领域技术人员理解,采用本发明实施例的方案,可以提供一套以共享为目的的数据资源管理方案,打破数据资源孤岛,有效实现不同信息系统的全连接。
具体地,结合图1至图4,本实施例所述数据的整合方法可以包括如下步骤:
步骤S101,接收数据查询请求,所述数据查询请求包括待查询数据12的标识信息11和维度信息,所述标识信息11和维度信息均采用预设标准描述,所述预设标准用于定义数据的参数标准和格式。
步骤S102,根据所述待查询数据12的维度信息确定配送任务22x,所述配送任务22x指向至少一个数据供方70。
步骤S103,根据所述配送任务22x计算路由路径,所述路由路径用于指示访问所述至少一个数据供方70的访问顺序。
步骤S104,按照所述路由路径指示的访问顺序访问所述至少一个数据供方70,以获取所述待查询数据12。
作为一个非限制性实施例,本实施例所述方案可以是基于图1至图3示出的数联网分层协议模型100实现的,所述数联网分层协议模型100定义了数联网中数据资源(可简称为数据)流通的通用模型,其为数据层面上的多层协议标准,本发明实施例优选地使用所述数联网分层协议模型100给出的标准与提供的工具为整合数据提供方法与装置。
在一个典型的应用场景中,结合图1至图3,所述数联网分层协议模型100由上至下(即由高层至低层)依次包括:数据层20,服务层30,网络层40和链路层50。图中的箭头方向为数据传输方向。
需方侧可以关联数据需方60,供方侧可以关联至少一个数据供方70,所述至少一个数据供方70可以分别提供数据资源1(可简称为资源1)至数据资源n(可简称为资源n),n≥1。
具体地,所述需方侧和供方侧均可以基于顶层10接入本实施例所述数联网分层协议模型100,以采用本实施例所述方案实现数据流通。例如,所述顶层10可以是以软件、应用程序(Application,简称APP)、网站等形式呈现给用户(包括所述需方侧和供方侧)的。
具体地,所述数据层20可以用于规范用户描述数据资源的标准、方式。也即,所述数据层20可以用于定义在所述数联网分层协议模型100中流转的数据的参数标准和格式。更具体而言,所述数据层20可以是连接不同数据供方70和数据需方60之间的桥梁,其用于定义所述网络层40和链路层50工作所需的参数标准、格式,确保数据需方60和数据供方70采用相同的标准描述需要的数据和提供的数据,从而使得数联网分层协议模型100能够快速、准确的对供需双方的数据相匹配。
例如,所述数据层20定义的参数标准可以包括数据资源定义标准。具体地,所述数据资源定义标准可以包括数据分类标准,其按照人、物、企业对数据进行分类,并根据不同的类别执行不同的上报逻辑;还可以包括数据标识分类标准、元数据描述标准等,以从不同角度全方位的描述数据。
又例如,所述数据层20定义的参数标准还可以包括业务逻辑协议参数标准,基于该参数标准可以在所述服务层30生成所述订单21(可以具象为合同)。
再例如,所述数据层20定义的参数标准还可以包括传输控制协议参数标准,基于该参数标准可以在所述服务层30生成所述工单22(可以具象为快递单)。
优选地,可以采用数据资源治理方法论来制定所述预设标准(包括参数标准和格式)。
例如,所述数据资源治理方法论可以包括数据资源分类方法,也即,分别从“人”、“物”、“群”、“事件”四个维度对所述数据资源进行分类,以将属于同一维度的数据资源整合到一起。在实际应用中,不同的应用场景可以使用不同类型的数据资源,例如,在精准营销应用场景中,在所述数联网分层协议模型100中流通的数据可以主要来自于与“人”相关的数据。
又例如,所述数据资源治理方法论还可以包括数据资源分级方法,也即,对基于数据资源分类方法获得的不同类型的数据资源作进一步的细化归类,以形成类似于树形结构的维度目录。如与“人”相关的数据资源可以进一步细化为静态数据和动态数据。
再例如,所述数据资源分类方法还可以包括数据资源分层方法,也即从低到高分别从统计级、标签级或应用级三个角度描述所述数据资源,以描述数据资源本身的加工层级。其中,所述统计级可以用于衡量标识信息11关联的被统计对象(即人、企业或物)在预设时段内在该维度信息下的动作执行次数;所述标签级可以用于描述所述被统计对象在该维度信息下的特征(如人物标签),其是对统计级的数据进行再次处理获得的;所述应用级则可以是对统计级数据的再次处理结果,其可以直观地描述是否是该维度信息的目标对象。
作为一个非限制性实施例,所述数据资源分类和分级方法与所述数据资源分层方法可以是两种并列的归类方法,两者可以相结合的用于实现数联网分层协议模型100中数据流转的安全控制,确保数据流通过程中的合法、合规。
例如,基于上述数据资源治理方法论,可以将可能在所述数联网分层协议模型100中流转的数据归类为四种预设通用数据集:用于描述与人相关的数据的预设通用数据集(Human Related Data,简称HRD);用于描述与物相关的数据的预设通用数据集(ThingsRelated Data,简称TRD);用于描述与群相关的数据的预设通用数据集(Group RelatedData,简称GPD);以及,用于描述与事件相关的数据的预设通用数据集(Event RelatedData,简称ERD)。
其中,每一种预设通用数据集均是与客观事件相关的,且可以根据所述数据资源分级方法进一步细化。
进一步地,所述与人相关的数据的预设通用数据集可以包括与“人”相关的数据的维度信息,如年龄、性别、姓名等。类似的,所述与物相关的数据的预设通用数据集可以包括与“物”相关的数据的维度信息,如尺寸、标识信息、地址等;所述与群相关的数据的预设通用数据集可以包括与“群”相关的数据的维度信息,如地址、规模等;所述与事件相关的数据的预设通用数据集可以包括与“事件”相关的数据的维度信息,如时间、时长、地点等。
进一步地,对于每一预设通用数据集中的每一维度信息,可以关联有基于所述数据资源分层方法确定的加工层级,以便在未来的数据流转过程中,根据该加工层级确定该维度信息能否进行本次数据流通。
例如,对于精准营销场景下的数据查询过程,要求在所述数联网分层协议模型100中流转的数据至少为标签级的数据,若一数据供方70提供的数据是统计级的,则该数据供方70不会被筛选为本次数据流转的供方侧,也即该统计级的数据不会在本次数据查询过程中被流转。
在实际应用中,HRD可以应用于互联网精准营销的人群画像应用场景,TRD和ERD可以应用于智慧城市管理相关的应用场景、GRD可以应用于金融征信、风险控制应用场景。
进一步地,在所述预设通用数据集的基础上,针对不同的应用场景,可以整合获得该应用场景下常用维度组成的数据集,也即所述预设应用数据集。
进一步地,所述预设应用数据集中的元素可以取自一个或多个预设通用数据集。
例如,所述预设应用数据集可以包括中国观众侧写(China Audience Profile,简称CAP)数据集。所述CAP数据集可以包括与广告精准营销应用场景相关的数据维度,其包括的数据主要可以取自HRD。
又例如,所述预设应用数据集还可以包括信用风险侧写(Credit Risk Profile,简称CRP)数据集、政务开放(Government Data-Opening Profile,简称GDOP)数据集、政务共享(Government Data-Sharing Profile,简称GDSP)数据集。
在实际应用中,城市管理相关应用场景关联的数据维度组成的预设应用数据集可以取自多个预设通用数据集。
具体地,所述服务层30可以具象为交易平台界面,用于为数据交易双方(即所述数据供方70和数据需方60)基于本实施例的方案实现数据资源的整合和传输提供服务窗口(如应用界面)。
例如,所述服务层30提供的服务可以包括数据资源定义服务,所述数据资源定义服务可以是以所述数据层20提供的预设通用数据集和预设应用数据集为基准提供相应服务的。
对于数据供方70,所述服务层30可以为数据供方70提供数据挂牌服务,也即,数据供方70可以使用所述预设应用数据集(或预设通用数据集)预先登记自身已有数据的维度信息。
例如,所述数据供方70可以基于供方侧数据加载应用程序编程接口(ApplicationProgramming Interface,简称API)将所述待查询数据12加载至供方前置机。其中,所述供方前置机可以与数据供方70一一对应。
对于数据需方60,所述服务层30可以为数据需方60提供需求发布服务,也即,根据不同的应用场景,数据需方60可以从对应预设应用数据集中选择需要的维度信息发布数据需求(即数据查询请求)。
例如,所述数据需方60可以基于需方侧数据查询API从需方前置机查询获取所述待查询数据12。其中,所述需方前置机可以与数据需方60一一对应。
优选地,在所述数据层30上,所述数据供方70和数据需方60均采用所述数据层20提供的预设标准(基于所述预设通用数据集和预设应用数据集体现)描述数据。
在政务应用场景中,所述数据资源定义服务还可以包括政务数据的自动编目服务。例如,对于多个数据供方70使用所述数据资源定义服务上传的维度信息,可以以人工智能的方式对其进行自动编目,从而形成字库(即维度信息的数据字典),便于索引。
又例如,所述服务层30提供的服务还可以包括数据资源搜索服务,用于根据数据需方60设定的条件自动匹配合适的数据供方70并反馈至所述数据需方60。其中,所述条件可以包括数据需方70的数据更新周期、数据质量、颗粒度等。向所述数据需方60建议的数据供方70可以为一个或多个。
优选地,所述数据资源搜索服务可以是基于数据资源智能搜索引擎实现的。
再例如,所述服务层30提供的服务还可以包括商务控制服务,以就实际应用中供需双方可能产生的商务相关的需求提供服务。
其中,所述商务控制服务可以包括订单合同服务,用于为供需双方提供协商平台,双方协商一致后产生合同(即订单21)。
所述商务控制服务还可以包括账户和额度管理服务,在实际应用中,账户关联的用户可以作为数据需方60发起数据查询请求,也可以作为数据供方70响应其他账户的数据查询请求提供对方所需的数据。所述账号可以关联有额度,所述额度可以是根据所述账号的预付款、历史数据交易记录等确定的,以确定该账号能否进行特定的数据交易。
所述商务控制服务还可以包括结算服务,用于就一次或多次完成的数据交易进行结算。所述结算服务的触发条件可以由用户(作为数据供方70或数据需方60)或合同预先确定。
所述商务控制服务还可以包括清算服务,用于就账户所有未结合同进行清算。与所述结算服务相类似,所述清算服务的触发条件也可以由用户(作为数据供方70或数据需方60)或合同预先确定。
进一步地,所述服务层30提供的服务还可以包括数据流通控制服务,用于在数据供方70和数据需方60就交易(如交易的价格)达成一致确认订单21后(即基于所述订单合同服务生成订单21后),生成相应的工单22。
其中,所述订单21用于记录本次交易的商业信息,如价格、所需查询的待查询数据12的数量等;所述工单22可以具象为快递单,用于记录数据自数据供方70传输至数据需方60的传输路径(也可称为路由路径)。
优选地,一个订单21可以关联一个或多个工单22;一个工单22可以关联多个配送任务22x,其中,1≤x≤N,N>1。所述配送任务22x可以用于指示至少一个数据需方60与一个或多个数据供方70的查询权限,也即,可以用于描述一个数据需方60和一个数据供方70之间的数据流通,所述配送任务22x关联的流通的数据可以是一个数据供方70的一类数据(即一类待查询数据12),或者,所述配送任务22x也可以用于指示一个数据需方60和多个数据供方70之间的数据流通;所述工单22可以用于描述从单个数据供方70获取多类数据,或者从多个数据供方70分别获取单类数据或多类数据。
进一步地,在生成所述订单21后,所述服务层30及其下层可以遵循所述数据层20规定的标准化模式传输所述待查询数据12,以确保数据在数联网中流通期间的合法、合规。
具体地,所述数据流通控制服务可以包括成员管理服务,用于管理当前订单21涉及的数据供方70和数据需方60。管理的具体内容可以包括:所述数据需方60或数据供方70是否具有参与本次数据交易的资格、额度等。
所述数据流通控制服务还可以包括路由配置服务,用于根据所述订单21关联的数据需方60和数据供方70确定最合适的数据传输方式,由此可以生成所述工单22包括的一个或多个配送任务22x。
在一个优选例中,所述数据需方60可以基于本服务按需设定所述工单22中的全部或部分内容。例如,当所述订单21指向多个数据供方70时,所述数据需方60可以自定义待查询数据12的路由路径,以确定自所述多个数据供方70获取待查询数据12的获取顺序。
所述数据流通控制服务还可以包括工作流配置服务,用于根据所述工单22配置合适的数据传输运力,以确保数据能够在所述工单22规定的时间以规定的方式传输至所述工单22指向的数据需方60。
所述数据流通控制服务还可以包括数据标识(即所述标识信息11)转换服务,以分别将所述数据需方60提供的待查询数据12的标识信息11以及数据供方70提供的数据的标识信息11转换为可以在所述数联网分层协议模型100中流通的数据标识(如xID、exID或etID)。
所述数据流通控制服务还可以包括数据标识关联性匹配服务,以将供需双方分别基于所述数据标识转换服务转换获得的标识信息11(基于如exID表示)进行关联匹配。
所述数据流通控制服务还可以包括数据确权控制服务,用于在特定的应用场景(如银行征信应用场景)中,判断所述待查询数据12关联的用户(如征信被查询人)是否授权所述数据需方60进行本次数据查询操作。
再例如,所述服务层30提供的服务还可以包括数据加工服务,用于从数据、算法、算力等不同角度描述数据整合、传输期间对数据的加工活动。
具体地,所述数据加工服务可以包括数据控制服务,以对纯传输的数据在所述数联网分层协议模型100中的流通过程进行监控。也即,本服务控制的数据在所述数联网分层协议模型100中传输期间不会进行任何加工处理。
所述数据加工服务还可以包括算法控制服务,用于对传输前(或传输期间)被加工处理过的数据及对其加工处理所采用的算法进行监控。
所述数据加工服务还可以包括算力控制服务,用于确定对数据进行加工处理所需投入的算力。如在云计算应用场景下,可以确定调用2台机器计算一天,以对待查询数据12进行加工处理。
再例如,所述服务层30提供的服务还可以包括流通情况分析服务,用于在所述交易平台界面上呈现交易的日志,所述日志至少可以包括所述待查询数据12的发送时间、接收时间等。
具体地,所述流通情况分析服务可以包括业务分析服务,用于记录、分析特定数据供方70和数据需方60之间在特定时段内流通的数据的条数。
所述流通情况分析服务还可以包括经营分析服务,用于基于所述日志生成月报表。
所述流通情况分析服务还可以包括成员结算服务,用于基于所述日志对各成员在特定时段内使用所述数联网分层协议模型100交易的数据进行结算。在所述特定时段内,所述成员即可能作为数据供方70,也可能作为数据需方60。优选地,针对与不同成员完成的交易可以分别进行结算。
又例如,所述服务层30提供的服务还可以包括质量评估服务,用于对数据供方70上传的数据的质量进行评估。
具体地,所述质量评估服务可以包括精准性评估服务,用于根据基准数据评判所述数据供方70提供的数据的精准度。其中,所述基准数据可以是由第三方预先调研获得的精准数据。
所述质量评估服务还可以包括覆盖度评估服务,用于衡量数据供方70提供的特定区域内的数据在该特定区域内的覆盖度。例如,上海总计有2500万人口,则可以此衡量所述数据供方70提供的上海地区的数据的覆盖度。
所述质量评估服务还可以包括及时度评估服务,用于根据所述数据供方70的数据更新周期(或者频率)评价质量。
再例如,所述服务层30提供的服务还可以包括数据安全服务,用于保护被交易的数据的安全性和隐私性。
具体地,所述数据安全服务可以包括xID个人隐私保护服务,用于对待查询数据12的标识信息11进行ID转换,以实现所述待查询数据12的隐私保护。
又例如,所述服务层30提供的服务还可以包括审核与监管服务,以审查在所述数联网分层协议模型100中流通的数据的合规性和合法性。
具体地,所述审核与监管服务可以包括审核服务,用于在特定应用场景下,基于第三方审核希望交易的数据的维度在该应用场景中是否允许流通。
所述审核与监管服务还可以包括监管服务,用于监管数联网分层协议模型100中数据流通的节点,其不审查流通的数据的具体数值,而是审核传输的数据是否合法。
所述服务层30可以提供的服务可以汇集成服务集存储于各个成员方的前置机(或服务器)上。所述前置机包括需方前置机和供方前置机。需要指出的是,对于任一成员方,当该成员方为数据需方60时,其关联的前置机可以理解为需方前置机;而当该成员方为数据供方70时,其关联的前置机可以理解为供方前置机。
在一个非限制性实施例中,基于所述数据层20提供的预设通用数据集和预设应用数据集,所述数据供方70可以预先在所述服务层30上完善数据信息,如其所具有的数据的维度信息,数据更新周期等。
在实际应用中,当有数据需方60产生数据查询需求时,触发所述网络层40和链路层50提供相应的支持。在基于所述数联网分层协议模型100执行本实施例所述数据整合方案期间,数据在所述数联网中的流通始终需要符合数据层20定义的预设标准(包括参数标准和格式)。
具体地,所述网络层40可以具象为路由(或分拣中心),其用于在存在多个数据供方70的情形下确定获取所述待查询数据12的路由路径。
例如,在所述订单21需要向2个数据供方70获取数据时,可以基于所述网络层40规划最合理的路由路径,根据所述服务层30定义的参数标准和格式计算所有配送任务的先后执行顺序。
例如,所述网络层40可以包括节点,各节点之间由通路连接,所述配送任务的数据传输途径由路径规划,所述路径可以包括一个或多个通路,以确保所述配送任务关联的数据供方70至数据需方60之间的数据传输路径通畅。
其中,所述节点可以包括硬件节点和软件节点,所述硬件节点可以包括所述前置机和云服务器(即基于云服务的虚拟机),所述软件节点可以包括数据分发服务(DataDistribution Service,简称DDS)和云化DDS,用于提供整个系统以执行本实施例的方案。
所述路径可以是点到点的路由路径(对应一对一的数据查询场景,即单供方单需方的配送任务),也可以是点到多点的路由路径(对应一对多的数据查询场景,即多供方单需方的配送任务)。
优选地,所述点到多点的路由路径可以包括静态路由路径、动态路由路径或自定义路径。
具体地,所述链路层50可以具象为配送过程,即该层实际执行取数据这一动作。具体而言,所述链路层50根据所述标识信息11和配送任务22x,将所述标识信息11对应的待查询数据12从数据供方70传输至数据需方60,且确保传输的效率最高、最安全、最合法合规。
例如,根据所述工单22,所述链路层50可以确定对应的向量任务(有方向的配送任务),所述向量任务可以包括数据传输的发起方(可以为需方侧发起,也可以为供方侧发起)、配送类型(可以为实时同步传输,也可以为异步批量传输)、封装形式(可以包括服务层30确定的ID封装要求,如基于exID、xID或etID处理所述标识信息11,以及对象值的封装要求,如基于SM2、SM3或SM4加密被传输的待查询数据12)。
又例如,所述链路层50还可以用于确定所述配送任务的启动条件和完成条件。其中,所述启动条件可以包括确权确认和额度确认。例如,在银行征信场景中,所述确权确认可以将被查询人的授权指示作为所述配送任务的启动条件。所述额度确认则是指,将数据需方60是否有预算作为配送任务的启动条件。
再例如,所述链路层50还可以用于记录交易的数据的流通轨迹,如与所述服务层30相配合,基于分布式数据配送日志的形式进行记录。
进一步地,在本实施例中,结合图1至图4,所述数据的整合方法可以包括如下步骤:
步骤S101,服务层30接收数据查询请求,所述数据查询请求包括待查询数据12的标识信息11和维度信息,所述标识信息11和维度信息均采用数据层20定义的预设标准描述。
步骤S102,所述服务层30根据所述待查询数据12的维度信息确定配送任务22x,所述配送任务22x指向至少一个数据供方70。
步骤S103,网络层40根据所述配送任务22x计算路由路径,所述路由路径用于指示访问所述至少一个数据供方70的访问顺序。
步骤S104,链路层50按照所述路由路径指示的访问顺序访问所述至少一个数据供方70,以获取所述待查询数据12。
进一步地,所述维度信息可以用于描述所述待查询数据12的特定特征,如性别、年龄、最近5天内的互联网访问次数、有无不诚信记录等。
优选地,所述维度信息可以根据当前的应用场景选取自对应的预设应用数据集。
所述待查询数据12可以是统计级、标签级或应用级的。
进一步地,所述数据查询请求还可以包括对数据供方70的特殊要求,如数据更新周期、价格区间、数据质量等。
在一个优选例中,所述数据需方60可以使用所述数据资源定义服务在所述服务层30发布所述数据查询请求。
作为一个非限制性实施例,所述服务层30可以预先加载有所有数据供方70各自所具有数据的维度信息,所述维度信息同样选取自所述数据层20提供的预设应用数据集。
例如,各个数据供方70可以预先使用所述数据资源定义服务将自身具有的数据的维度信息发布至所述服务层30,所述数据供方70同样可以将自身的数据更新周期、该维度信息的数据的价格区间等供方特征维护至服务层30。
其中,所述数据更新周期可以以天、周、月为单位,本领域技术人员也可根据实际需要进行变化,在此不予赘述。
又例如,对于一数据供方70,其具有的数据的维度信息可以是预先存储于其本地服务器或云端,数据供方70可以选择在需要时再将其维度信息加载至供方前置机,以通过所述供方前置机发布至所述服务层30。如可以每天12点定时执行加载动作。
作为一个非限制性实施例,所述步骤102可以包括:根据所述所有数据供方70各自所具有数据的维度信息确定与所述待查询数据12的维度信息相匹配的候选数据供方;响应于所述数据查询请求指向的数据需方60的指示,确定所述至少一个数据供方70,所述至少一个数据供方70选自所述候选数据供方;根据所述至少一个数据供方70确定所述配送任务22x。
例如,在接收到所述数据查询请求后,根据其中的维度信息和对数据供方70的特殊要求,所述服务层30可以调用所述数据资源搜索服务自动匹配满足所述数据查询请求的候选数据供方,并将符合的候选数据供方推荐至所述数据需方60。亦即,通过使用所述数据资源搜索服务,可以将具有所述数据查询请求所需查询的维度信息的数据且提供该数据的数据供方70满足所述数据查询请求所提出的特殊要求的数据供方70作为候选数据供方推荐至所述数据需方60。
接收到所述候选数据供方后,所述数据需方60可以从中选取一个或多个数据供方70作为本次交易的对端。选择期间,所述数据需方60和候选数据供方中的任一数据供方70可以使用所述服务层30提供的商务控制服务进行沟通,以就本次交易达成一致。
所述数据需方60选定所述至少一个数据供方70后,所述服务层30生成相应的订单21和工单22。
由于所述数据查询请求可能包括一个标识信息11的多个维度信息,因而所述工单22可以包括多个配送任务22x,其中每一配送任务22x用于向一个数据供方70获取多个维度信息的待查询数据12,或者向多个数据供方70获取某一维度信息(或不同维度信息)的待查询数据12。
接下来以执行一个配送任务22x的具体流程为例进行具体阐述。
进一步地,所述数据需方60可以是发送所述数据查询请求的信息发送方,也可以是所述数据查询请求所指示的接收所述待查询数据12的数据接收方。所述数据接收方和信息发送方可以相同也可以不同。
作为一个变化例,所述数据供方70的供方特征(如数据质量)等可以是根据历史数据交易结果综合确定的。
作为一个非限制性实施例,所述步骤S103可以包括:获取路由类型,所述路由类型由所述数据查询请求指向的数据需方60在所述服务层30预先设定;根据所述路由类型计算所述路由路径,以确定访问所述配送任务22x指向的至少一个数据供方70的访问顺序。
例如,当所述配送任务22x指向的数据供方70的数量为一个时,即点到点的数据查询情形下,所述路由路径即为至数据供方70的数据获取路径以及自所述数据供方70至数据需方60的传输路径。
又例如,当所述配送任务22x指向的数据供方70的数量为多个时,即点到多点的数据查询情形下,所述网络层40可以根据所述数据需方60预先设定的路由类型计算路由路径。
在一个优选例中,所述路由类型可以为静态路由,所述静态路由用于指示访问所述至少一个数据供方70的固定访问顺序。具体而言,所述数据需方60可以使用服务层30提供的路由配置服务预先指定所述至少一个数据供方70的路由顺序。在取数据时,所述链路层50按照该路由顺序依次从所述至少一个数据供方70处取得所述标识信息11关联的所述维度信息下的待查询数据12,并反馈至所述数据需方60。
作为一个变化例,所述路由路径可以为动态路由,所述动态路由用于指示所述访问顺序的确定标准。所述访问顺序的确定标准可以包括价格由低到高、质量由高到低等。具体而言,所述数据需方60可以使用服务层30提供的路由配置服务预先设定按照价格由低到高的标准确定所述访问顺序,则在取数据阶段,所述链路层50按照该标准依次从符合条件的数据供方70获取所述标识信息11关联的所述维度信息下的待查询数据12,只有在无法从上一个数据供方70处取得所需的待查询数据12时,才转而去下一家符合条件的数据供方70处获取所需的待查询数据12。
进一步地,在动态路由场景中,还可以采用负载均衡的数据获取逻辑,亦即可以并发查询多个数据供方70。例如,所述数据需方60共需要查询1000条数据,所述配送任务22x指向两个数据供方70且这两个数据供方70各有500条数据,则在数据获取阶段,所述链路层50可以同时在这两家数据供方70查询数据,以提高效率,避免特定数据供方70的负荷过多。
进一步地,所述路由路径还可以用于实现自定义的工作流,从而实现串接能力,使得自所述数据供方70获取的数据能够有效传输给指定的数据需方60。
进一步地,所述步骤S104之后还可以包括步骤:所述链路层50实时或异步传输获取的待查询数据12至所述数据查询请求指向的数据需方60,所述数据查询请求指向的数据需方60通过所述配送任务22x指示给所述链路层50。
具体而言,所述网络层40在确定所述路由路径后,可以将所述标识信息11、配送任务22x以及路由路径发送至所述链路层50。需要指示所述链路层50的信息还包括传输类型,所述传输类型可以包括实时配送或异步批量配送。
当所述传输类型为实时配送时,在接收到上述信息后,所述链路层50可以立即根据所述路由路径指示的访问顺序从所述配送任务22x指向的至少一个数据供方70处取得所述待查询数据12,并即时地将取得的待查询数据12回复至所述数据需方60。本传输类型可以应用于信息投放场景。
当所述传输类型为异步批量配送时,在接收到上述信息后,所述链路层50可以过一段时间(如一个月,可以通过数据查询请求指示)后再根据所述路由路径指示的访问顺序从所述配送任务22x指向的至少一个数据供方70处取得所述待查询数据12,进而将取得的待查询数据12回复至所述数据需方60。这样的数据整合和传输方式可以给数据供方70更多的时间准备数据,使得提供的数据更精准、更完善。
进一步地,所述链路层50获取的所述待查询数据12是处于加密状态的。在传输期间,所述数据不可以被私自拆解。
进一步地,所述步骤S104之后还可以包括步骤:传输完成后,链路层50记录本次传输的日志,所述日志包括所述待查询数据12的发送时间和到达时间。
作为一个非限制性实施例,所述待查询数据12还可以包括主动上报的数据。具体而言,所述待查询数据12关联的订单21始终存在,只有在预设条件(即所述启动条件)被触发后,所述数据供方70才主动返回所述待查询数据12,并经由所述数联网分层协议模型100反馈至所述数据需方60。在所述预设条件被触发之前,可以通过心跳帧等方式监控所述数据供方70是否正常工作。
在一个典型的应用场景中,结合图3和图4,所述需方侧可以在顶层10发布业务数据需求,供方侧则可以在顶层10发布业务数据资源。
所述业务数据需求和业务数据资源可以是用根据数据资源治理方法和元数据描述标准确定的预设应用数据集中的维度信息描述的,由此,需方侧的业务数据需求转化为标准化数据需求(也即所述数据查询请求中待查询数据12的维度信息),类似的,供方侧的业务数据资源转化为标准化数据资源。
进一步地,基于所述服务层30提供的各项服务,可以将所述需方侧发布的标准化数据需求匹配至对应的供方侧发布的标准化数据资源,进而根据供需双方的协商确定订单21(即数据流通订单)。
进一步地,网络层40根据确定的订单21从自身维护的节点和通路中选取合适的路径,以形成工单22(即数据流通工单)。所述工单22可以包括一个或多个配送任务22x(即数据流通任务)。
对于每一配送任务22x,其用于指示将一供方节点(即数据供方)的数据经过指定的路径和方式在指定的时间传输至数据查询请求指向的需方节点(即数据需方)。
在动态路由场景中,根据所述数据查询请求的指示,所述服务层30还可以向所述网络层40发送质量评估结果,以便所述网络层40据此合理确定对多个数据供方的访问顺序。
进一步地,所述服务层30还可以将所述数据查询请求指示的数据标识转换要求发送至所述网络层40和链路层50,以便所述链路层50在实际执行对应配送任务22x时能够对传输的数据进行相应处理,以提高数据的安全性,实现对数据的隐私保护。
由上,采用本实施例的方案,通过构建基于数联网的通用模型(即数联网分层协议模型),能够基于所述通用模型确定的标准和提供的工具实现数据资源的有效整合和传输,确保数据流通的高效、合法、合规。
进一步地,所述数联网分层协议模型能够确保数据互联网中的不同信息系统之间的有效连接,使得数联网真正成为数据资源全连接的数据资源节点网络。
进一步地,采用本实施例的方案,能够实现数据资源点到点(连接的最基础形态)连接的数据流通。亦即,在数据需方和数据供方之间建立连接,实现两点之间的数据流通。
进一步地,采用本实施例的方案,还能够实现最小连接形态的无线扩展,即点到多点的数据整合和传输,以实现网络中节点的全连接。
例如,所述配送任务可以指示从多个数据供方处依次取得数据并整合后发送至数据需方;又例如,所述数据查询请求可以指示将整合的待查询数据发送至特定数据需方,而该数据需方可以作为新的数据供方将获取的数据整合处理后发送至另一数据需方,从而实现数据的多级整合和分段传输。
图5是本发明实施例的一种数据的整合装置的结构示意图。本领域技术人员理解,本实施例所述数据的整合装置200用于实施上述图1至图4所示实施例中所述的方法技术方案。
具体而言,上述图1至图4所示方法实施例中,数据层20可以是基于本实施例所述数据层单元240执行相应步骤;服务层30可以是基于本实施例所述服务层单元210执行相应步骤;网络层40可以是基于本实施例所述网络层单元220执行相应步骤;链路层50可以是基于本实施例所述链路层单元230执行相应步骤。
具体地,在本实施例中,所述数据的整合装置200可以包括:服务层单元210,用于接收数据查询请求,所述数据查询请求包括待查询数据的标识信息和维度信息,所述标识信息和维度信息均采用预设标准描述,所述预设标准用于定义数据的参数标准和格式;所述服务层单元210根据所述待查询数据的维度信息确定配送任务,所述配送任务指向至少一个数据供方;网络层单元220,用于根据所述配送任务计算路由路径,所述路由路径用于指示访问所述至少一个数据供方的访问顺序;链路层单元230,用于按照所述路由路径指示的访问顺序访问所述至少一个数据供方,以获取所述待查询数据。
进一步地,所述链路层单元230实时或异步传输获取的待查询数据至所述数据查询请求指向的数据需方,所述数据查询请求指向的数据需方通过所述配送任务进行指示。
进一步地,传输完成后,所述链路层单元230记录本次传输的日志,所述日志至少包括所述待查询数据的发送时间和到达时间。
进一步地,所述服务层单元210可以预先加载所有数据供方各自所具有数据的维度信息,所述维度信息同样采用所述预设标准描述。
进一步地,所述服务层单元210可以包括:第一确定模块211,用于根据所述所有数据供方各自所具有数据的维度信息确定与所述待查询数据的维度信息相匹配的候选数据供方;第二确定模块212,响应于所述数据查询请求指向的数据需方的指示,确定所述至少一个数据供方,所述至少一个数据供方选自所述候选数据供方;第三确定模块213,用于根据所述至少一个数据供方确定所述配送任务。
进一步地,所述网络层单元220可以包括:获取模块221,用于获取路由类型,所述路由类型由所述数据查询请求指向的数据需方预先设定;计算模块222,用于根据所述路由类型计算所述路由路径,以确定访问所述配送任务指向的至少一个数据供方的访问顺序。
进一步地,所述路由类型选自:静态路由,所述静态路由用于指示访问所述至少一个数据供方的固定访问顺序;动态路由,所述动态路由用于指示所述访问顺序的确定标准。
进一步地,所述链路层单元230获取的所述待查询数据可以是处于加密状态的。
进一步地,所述维度信息采用预设标准描述可以是指:所述维度信息是所述服务层单元210根据与所述数据查询请求的应用场景相关联的预设应用数据集确定的,所述预设应用数据集包括所述应用场景下常用的维度信息,所述预设应用数据集取自至少一个预设通用数据集,不同的预设通用数据集用于基于所述预设标准描述不同类型的数据。
进一步地,所述至少一个预设通用数据集可以由数据层单元240提供。
关于所述数据的整合装置200的工作原理、工作流程的更多内容,可以参照图1至图4中的相关描述,这里不再赘述。
本发明实施例提供一种计算机可读存储介质(可简称为存储介质),计算机可读存储介质为非易失性存储介质或非瞬态存储介质,其上存储有计算机指令,所述计算机指令运行时执行上述图1至图4方法对应的步骤,此处不再赘述。
进一步地,本发明实施例还公开一种终端,包括存储器和处理器,所述存储器上存储有能够在所述处理器上运行的计算机指令,所述处理器运行所述计算机指令时执行上述图1至图4所示实施例中所述的方法技术方案。优选地,所述终端可以为服务器、前置机等。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:ROM、RAM、磁盘或光盘等。
虽然本发明披露如上,但本发明并非限定于此。任何本领域技术人员,在不脱离本发明的精神和范围内,均可作各种更动与修改,因此本发明的保护范围应当以权利要求所限定的范围为准。
Claims (21)
1.一种基于数联网分层协议模型的数据的整合方法,其特征在于,应用于以共享为目的的数据资源管理场景,所述数联网分层协议模型为数联网中数据流通的通用模型,数据供方和数据需方基于顶层接入所述数联网分层协议模型,所述数联网分层协议模型由上之下依次包括数据层,服务层,网络层和链路层,其中,所述数据层用于定义在所述数联网分层协议模型中流转的数据的参数标准和格式,所述服务层用于为数据供方和数据需方实现数据的整合和传输提供服务窗口,所述服务层提供的服务包括数据流通控制服务,至少用于管理数据供方是否具有参与本次数据流通的资格,所述网络层用于在存在多个数据供方的情形下确定获取待查询数据的路由路径,所述链路层用于执行取数据动作;
所述整合方法包括:
所述服务层接收数据查询请求,所述数据查询请求包括待查询数据的标识信息和维度信息,所述标识信息和维度信息均采用所述数据层提供的预设标准描述,所述预设标准用于定义数据的参数标准和格式;
所述服务层根据所述待查询数据的维度信息确定配送任务,所述配送任务指向至少一个数据供方,其中,所述维度信息采用预设标准描述是指:所述维度信息是根据与所述数据查询请求的应用场景相关联的预设应用数据集确定的,所述预设应用数据集包括所述应用场景下常用的维度信息,所述预设应用数据集取自至少一个预设通用数据集,不同的预设通用数据集用于基于所述预设标准描述不同类型的数据,对于每一预设通用数据集中的每一维度信息,关联有基于所述数据资源分层方法确定的加工层级,所述服务层根据所述查询请求中携带的维度信息所关联的加工层级筛选得到所述至少一个数据供方;
所述网络层根据所述配送任务计算路由路径,所述路由路径用于指示访问所述至少一个数据供方的访问顺序;
所述链路层按照所述路由路径指示的访问顺序访问所述至少一个数据供方,以获取所述待查询数据。
2.根据权利要求1所述的整合方法,其特征在于,还包括:
实时或异步传输获取的待查询数据至所述数据查询请求指向的数据需方,所述数据查询请求指向的数据需方通过所述配送任务进行指示。
3.根据权利要求2所述的整合方法,其特征在于,还包括:
传输完成后,记录本次传输的日志,所述日志至少包括所述待查询数据的发送时间和到达时间。
4.根据权利要求1所述的整合方法,其特征在于,还包括:
预先加载所有数据供方各自所具有数据的维度信息,所述维度信息同样采用所述预设标准描述。
5.根据权利要求4所述的整合方法,其特征在于,所述根据所述待查询数据的维度信息确定配送任务包括:
根据所述所有数据供方各自所具有数据的维度信息确定与所述待查询数据的维度信息相匹配的候选数据供方;
响应于所述数据查询请求指向的数据需方的指示,确定所述至少一个数据供方,所述至少一个数据供方选自所述候选数据供方;
根据所述至少一个数据供方确定所述配送任务。
6.根据权利要求1所述的整合方法,其特征在于,所述根据所述配送任务计算路由路径包括:
获取路由类型,所述路由类型由所述数据查询请求指向的数据需方预先设定;
根据所述路由类型计算所述路由路径,以确定访问所述配送任务指向的至少一个数据供方的访问顺序。
7.根据权利要求6所述的整合方法,其特征在于,所述路由类型选自:
静态路由,所述静态路由用于指示访问所述至少一个数据供方的固定访问顺序;
动态路由,所述动态路由用于指示所述访问顺序的确定标准。
8.根据权利要求1至7中任一项所述的整合方法,其特征在于,获取的所述待查询数据是处于加密状态的。
9.根据权利要求1所述的整合方法,其特征在于,所述至少一个预设通用数据集包括:
用于描述与人相关的数据的预设通用数据集;
用于描述与物相关的数据的预设通用数据集;
用于描述与群相关的数据的预设通用数据集;
用于描述与事件相关的数据的预设通用数据集。
10.一种基于数联网分层协议模型的数据的整合装置,其特征在于,应用于以共享为目的的数据资源管理场景,所述数联网分层协议模型为数联网中数据流通的通用模型,数据供方和数据需方基于顶层接入所述数联网分层协议模型,所述数联网分层协议模型由上之下依次包括数据层,服务层,网络层和链路层,其中,所述数据层用于定义在所述数联网分层协议模型中流转的数据的参数标准和格式,所述服务层用于为数据供方和数据需方实现数据的整合和传输提供服务窗口,所述服务层提供的服务包括数据流通控制服务,至少用于管理数据供方是否具有参与本次数据流通的资格,所述网络层用于在存在多个数据供方的情形下确定获取待查询数据的路由路径,所述链路层用于执行取数据动作;
所述整合装置包括:
服务层单元,所述服务层基于所述服务层单元接收数据查询请求,所述数据查询请求包括待查询数据的标识信息和维度信息,所述标识信息和维度信息均采用所述数据层提供的预设标准描述,所述预设标准用于定义数据的参数标准和格式;
所述服务层单元根据所述待查询数据的维度信息确定配送任务,所述配送任务指向至少一个数据供方,其中,所述维度信息采用预设标准描述是指:所述维度信息是根据与所述数据查询请求的应用场景相关联的预设应用数据集确定的,所述预设应用数据集包括所述应用场景下常用的维度信息,所述预设应用数据集取自至少一个预设通用数据集,不同的预设通用数据集用于基于所述预设标准描述不同类型的数据,对于每一预设通用数据集中的每一维度信息,可以关联有基于所述数据资源分层方法确定的加工层级,所述服务层基于所述服务层单元根据所述查询请求中携带的维度信息所关联的加工层级筛选得到所述至少一个数据供方;
网络层单元,所述网络层基于所述网络层单元根据所述配送任务计算路由路径,所述路由路径用于指示访问所述至少一个数据供方的访问顺序;
链路层单元,所述链路层基于所述链路层单元按照所述路由路径指示的访问顺序访问所述至少一个数据供方,以获取所述待查询数据。
11.根据权利要求10所述的整合装置,其特征在于,所述链路层单元实时或异步传输获取的待查询数据至所述数据查询请求指向的数据需方,所述数据查询请求指向的数据需方通过所述配送任务进行指示。
12.根据权利要求11所述的整合装置,其特征在于,传输完成后,所述链路层单元记录本次传输的日志,所述日志至少包括所述待查询数据的发送时间和到达时间。
13.根据权利要求10所述的整合装置,其特征在于,所述服务层单元预先加载所有数据供方各自所具有数据的维度信息,所述维度信息同样采用所述预设标准描述。
14.根据权利要求13所述的整合装置,其特征在于,所述服务层单元包括:第一确定模块,用于根据所述所有数据供方各自所具有数据的维度信息确定与所述待查询数据的维度信息相匹配的候选数据供方;第二确定模块,响应于所述数据查询请求指向的数据需方的指示,确定所述至少一个数据供方,所述至少一个数据供方选自所述候选数据供方;第三确定模块,用于根据所述至少一个数据供方确定所述配送任务。
15.根据权利要求10所述的整合装置,其特征在于,所述网络层单元包括:
获取模块,用于获取路由类型,所述路由类型由所述数据查询请求指向的数据需方预先设定;
计算模块,用于根据所述路由类型计算所述路由路径,以确定访问所述配送任务指向的至少一个数据供方的访问顺序。
16.根据权利要求15所述的整合装置,其特征在于,所述路由类型选自:
静态路由,所述静态路由用于指示访问所述至少一个数据供方的固定访问顺序;
动态路由,所述动态路由用于指示所述访问顺序的确定标准。
17.根据权利要求10至16中任一项所述的整合装置,其特征在于,所述链路层单元获取的所述待查询数据是处于加密状态的。
18.根据权利要求10所述的整合装置,其特征在于,所述至少一个预设通用数据集由数据层单元提供。
19.根据权利要求10所述的整合装置,其特征在于,所述至少一个预设通用数据集包括:
用于描述与人相关的数据的预设通用数据集;
用于描述与物相关的数据的预设通用数据集;
用于描述与群相关的数据的预设通用数据集;
用于描述与事件相关的数据的预设通用数据集。
20.一种存储介质,其上存储有计算机指令,其特征在于,所述计算机指令运行时执行权利要求1至9任一项所述方法的步骤。
21.一种终端,包括存储器和处理器,所述存储器上存储有能够在所述处理器上运行的计算机指令,其特征在于,所述处理器运行所述计算机指令时执行权利要求1至9任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810485230.XA CN108763389B (zh) | 2018-05-18 | 2018-05-18 | 数据的整合方法及装置、存储介质、终端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810485230.XA CN108763389B (zh) | 2018-05-18 | 2018-05-18 | 数据的整合方法及装置、存储介质、终端 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108763389A CN108763389A (zh) | 2018-11-06 |
CN108763389B true CN108763389B (zh) | 2023-10-17 |
Family
ID=64007097
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810485230.XA Active CN108763389B (zh) | 2018-05-18 | 2018-05-18 | 数据的整合方法及装置、存储介质、终端 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108763389B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111383023A (zh) * | 2018-12-29 | 2020-07-07 | 金联汇通信息技术有限公司 | 数据交易方法、装置、系统、电子设备和可读存储介质 |
CN111435452B (zh) * | 2019-01-11 | 2023-11-03 | 百度在线网络技术(北京)有限公司 | 模型训练方法、装置、设备和介质 |
CN110351370B (zh) * | 2019-04-24 | 2022-06-21 | 上海数据交易中心有限公司 | 一种数据配送方法及装置 |
CN110222284B (zh) * | 2019-05-05 | 2021-04-02 | 福建天泉教育科技有限公司 | 多页面加载方法及计算机可读存储介质 |
CN110225052A (zh) * | 2019-06-20 | 2019-09-10 | 上海数据交易中心有限公司 | 数据配送方法 |
CN110471928B (zh) * | 2019-07-08 | 2022-06-21 | 上海数据交易中心有限公司 | 数据流通系统 |
CN111461818A (zh) * | 2020-03-20 | 2020-07-28 | 上海数据交易中心有限公司 | 数据交易方法、数据交易平台 |
CN117290401B (zh) * | 2023-11-23 | 2024-03-15 | 北京富算科技有限公司 | 一种数据交易方法和系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106203140A (zh) * | 2016-07-15 | 2016-12-07 | 上海数据交易中心有限公司 | 基于数据结构的数据流通方法、装置及终端 |
CN107016001A (zh) * | 2016-01-28 | 2017-08-04 | 阿里巴巴集团控股有限公司 | 一种数据查询方法及装置 |
CN107729460A (zh) * | 2017-09-30 | 2018-02-23 | 上海数据交易中心有限公司 | 数据查询方法及装置、存储介质、终端 |
-
2018
- 2018-05-18 CN CN201810485230.XA patent/CN108763389B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107016001A (zh) * | 2016-01-28 | 2017-08-04 | 阿里巴巴集团控股有限公司 | 一种数据查询方法及装置 |
CN106203140A (zh) * | 2016-07-15 | 2016-12-07 | 上海数据交易中心有限公司 | 基于数据结构的数据流通方法、装置及终端 |
CN107729460A (zh) * | 2017-09-30 | 2018-02-23 | 上海数据交易中心有限公司 | 数据查询方法及装置、存储介质、终端 |
Also Published As
Publication number | Publication date |
---|---|
CN108763389A (zh) | 2018-11-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108763389B (zh) | 数据的整合方法及装置、存储介质、终端 | |
Missier et al. | Mind my value: a decentralized infrastructure for fair and trusted iot data trading | |
US11588812B2 (en) | Preselected issuance and data operations loops in a blockchain network | |
US20200118086A1 (en) | Smart contracts within a blockchain system to dynamically and automatically manage a replacement process | |
CN103493076B (zh) | 用于优化重复的搜索请求的改进预订系统的方法和系统 | |
KR20200034171A (ko) | 블록체인에 기반한, 자원 공유에 따른 보상 제공하는 분산형 컴퓨팅 자원 공유 시스템 및 컴퓨팅 장치 | |
CN102870110B (zh) | 文档登记系统 | |
Petri et al. | Market models for federated clouds | |
US20140279353A1 (en) | C2EX Compute Commodities Exchange | |
Herm et al. | Towards an implementation of blockchain-based collaboration platforms in supply chain networks: A requirements analysis | |
RU2009142839A (ru) | Способ заказа товаров и услуг и система для его осуществления | |
CN112102099B (zh) | 保单数据处理方法、装置、电子设备及存储介质 | |
US11443386B2 (en) | Trust platform | |
CN117391536A (zh) | 一种数据协同响应绩效评估方法、系统、设备及介质 | |
KR100929844B1 (ko) | 전사적 자원 관리 시스템 기반의 감사정보 시스템 및 이를 이용한 감사정보 운영 방법, 그 프로그램이 기록된 기록매체 | |
CN116757816A (zh) | 信息审批方法、装置、设备及存储介质 | |
KR20060086619A (ko) | Erp시스템 기반의 감사정보 시스템 및 이를 이용한감사정보 운영 방법, 그 프로그램이 기록된 기록매체 | |
US20100262547A1 (en) | User information brokering | |
US11151504B2 (en) | Systems and methods for electronic messaging testing optimization in prospect electronic messages series | |
CN107067137A (zh) | 一种电力营销计量班日常业务管理控制方法和系统 | |
CN113361964A (zh) | 数据处理方法、装置、设备及存储介质 | |
KR20190101868A (ko) | 경비 관리 시스템 및 이를 이용한 경비 관리 방법 | |
US20240112065A1 (en) | Meta-learning operation research optimization | |
US20230017500A1 (en) | Tokenized federated learning | |
RU2702971C2 (ru) | Автоматизированная информационная система поддержки принятия решений по формированию портфелей инвестиций на основе поиска и анализа эффективного множества решений |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |