CN106203140B - 基于数据结构的数据流通方法、装置及终端 - Google Patents

基于数据结构的数据流通方法、装置及终端 Download PDF

Info

Publication number
CN106203140B
CN106203140B CN201610560695.8A CN201610560695A CN106203140B CN 106203140 B CN106203140 B CN 106203140B CN 201610560695 A CN201610560695 A CN 201610560695A CN 106203140 B CN106203140 B CN 106203140B
Authority
CN
China
Prior art keywords
data
circulation
supply
major key
label value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610560695.8A
Other languages
English (en)
Other versions
CN106203140A (zh
Inventor
汤奇峰
武文杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Data Trading Center Ltd
Original Assignee
Shanghai Data Trading Center Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Data Trading Center Ltd filed Critical Shanghai Data Trading Center Ltd
Priority to CN201610560695.8A priority Critical patent/CN106203140B/zh
Publication of CN106203140A publication Critical patent/CN106203140A/zh
Application granted granted Critical
Publication of CN106203140B publication Critical patent/CN106203140B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/602Providing cryptographic facilities or services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/901Indexing; Data structures therefor; Storage structures
    • G06F16/9024Graphs; Linked lists
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/903Querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/606Protecting data by securing the transmission between two devices or processes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6227Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database where protection concerns the structure of data, e.g. records, types, queries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245Protecting personal data, e.g. for financial or medical purposes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Storage Device Security (AREA)

Abstract

一种基于数据结构的数据流通方法、装置及终端,所述方法包括:根据查询数据标识对至少一个数据供应方提供的供应数据进行查询,其中,所述供应数据包括维度主键、标签值、与所述查询数据标识相同或相应的数据标识以及约束条件,所述维度主键与所述标签值相对应;将数据需求方的需求与所述供应数据的约束条件进行匹配,得到匹配结果;提取所述匹配结果对应的供应数据的维度主键对应的标签值,以得到需求数据;将所述需求数据进行加密处理,并发送至所述数据需求方。本发明技术方案保障了数据流通过程中数据的安全性。

Description

基于数据结构的数据流通方法、装置及终端
技术领域
本发明涉及数据流通领域,尤其涉及一种基于数据结构的数据流通方法、装置及终端。
背景技术
在数据处理领域,数据流通是指数据持有人(对数据进行处理的主体)向他人提供数据的行为,可以包括与他人分享、互换、提供复本等行为,其中,所述数据是经过合法生成、采集、取得的。提供数据的主体称为数据提供人,接受数据主体称为数据接受人。
现有技术中,用户提供必要的数据是获取相关当前服务的前提,个人数据可以在当前服务业务范围内使用和流动。但数据脱离当前服务业务范围,在其它业务范围或业务场景被使用,即构成数据流通,例如可以是数据交换、数据共享和数据流通等形式。例如,某集团将自有电商数据提供给某企业使用,或者第三方数据平台将运营商通信数据授权给某企业使用。从维护市场公平性和统一性出发,需对数据流通进行全范围的监管,防范可能出现的违规流通、契约失灵和企业管理失效等带来的风险。同时,用户提供的数据可能涉及个人的隐私利益,甚至属于企业的商业秘密。与此同时,有些数据可能涉及国家秘密,危害国家安全和利益,也应当属于禁止流通的数据范畴。
但是,在现有的数据流通过程中,对用户数据的安全性没有保障。
发明内容
本发明解决的技术问题是如何保障数据流通过程中数据的安全性。
为解决上述技术问题,本发明实施例提供一种基于数据结构的数据流通方法,基于数据结构的数据流通方法包括:根据查询数据标识对至少一个数据供应方提供的供应数据进行查询,其中,所述供应数据包括维度主键、标签值、与所述查询数据标识相同或相应的数据标识以及约束条件,所述维度主键与所述标签值相对应;将数据需求方的需求与所述供应数据的约束条件进行匹配,得到匹配结果;提取所述匹配结果对应的供应数据的维度主键对应的标签值,以得到需求数据;将所述需求数据进行加密处理,并发送至所述数据需求方。
可选的,所述约束条件包括以下一种或多种:所述供应数据的流通限制条件、供应时间和计价方式。
可选的,所述根据查询数据标识对至少一个数据供应方提供的供应数据进行查询之前还包括:控制所述数据供应方对所述流通限制条件对应的流通对象条件、流通遍历条件、数据应用范围、数据用途、数据应用方式和数据应用时限,所述供应时间对应的供应频率和供应周期,所述计价方式对应的计价类型和价格以及所述标签值进行更新。
可选的,所述流通限制条件包括基础约束条件;所述基础约束条件包括:剔除满足以下条件中至少两项的供应数据;其中,所述条件包括:所述数据标识指向的主体为自然人、所述维度主键在时间轴上对应常量以及所述标签值为数值且为绝对值。
可选的,所述基于数据结构的数据流通方法还包括:形成日志,所述日志用于记录所述数据供应方与所述数据需求方的数据发送事件。
可选的,所述标签值是通过所述数据供应方对采集到的源数据进行处理得到的,用以表示所述数据标识指向的主体的统计特征。
可选的,所述维度主键包括以下一种或多种:人口属性、家庭状况、支付信息、设备网络、地域轨迹、购买订阅、兴趣爱好、意图需求、负面标记。
本发明实施例还公开了一种基于数据结构的数据流通装置,基于数据结构的数据流通装置包括:查询单元,适于根据查询数据标识对至少一个数据供应方提供的供应数据进行查询,其中,所述供应数据包括维度主键、标签值、与所述查询数据标识相同或相应的数据标识以及约束条件,所述维度主键与所述标签值相对应;匹配单元,适于将数据需求方的需求与所述供应数据的约束条件进行匹配,得到匹配结果;提取单元,适于提取所述匹配结果对应的供应数据的维度主键对应的标签值,以得到需求数据;加密单元,适于将所述需求数据进行加密处理,并发送至所述数据需求方。
可选的,所述约束条件包括以下一种或多种:所述供应数据的流通限制条件、供应时间和计价方式。
可选的,所述数据流通装置还包括:更新单元,适于控制所述数据供应方对所述流通限制条件对应的流通对象条件、流通遍历条件、数据应用范围、数据用途、数据应用方式和数据应用时限,所述供应时间对应的供应频率和供应周期,所述计价方式对应的计价类型和价格以及所述标签值进行更新。
可选的,所述流通限制条件包括基础约束条件;所述数据流通装置还包括:约束单元,适于按照所述基础约束条件进行剔除操作;所述剔除操作包括剔除满足以下条件中的至少两项的供应数据;其中,所述条件包括:所述数据标识指向的主体为自然人、所述维度主键在时间轴上对应常量以及所述标签值为数值且为绝对值。
可选的,所述基于数据结构的数据流通装置还包括:日志形成单元,适于形成日志,所述日志用于记录所述数据供应方与所述数据需求方的数据发送事件。
可选的,所述标签值是通过所述数据供应方对采集到的源数据进行处理得到的,用以表示所述数据标识指向的主体的统计特征。
可选的,所述维度主键包括以下一种或多种:人口属性、家庭状况、支付信息、设备网络、地域轨迹、购买订阅、兴趣爱好、意图需求、负面标记。
本发明实施例还公开了一种终端,所述终端包括所述基于数据结构的数据流通装置。
与现有技术相比,本发明实施例的技术方案具有以下有益效果:
本发明实施例根据查询数据标识对至少一个数据供应方提供的供应数据进行查询,其中,所述供应数据包括维度主键、标签值、与所述查询数据标识相同或相应的数据标识以及约束条件,所述维度主键与所述标签值相对应;将数据需求方的需求与所述供应数据的约束条件进行匹配,得到匹配结果;提取所述匹配结果对应的供应数据的维度主键对应的标签值,以得到需求数据;将所述需求数据进行加密处理,并发送至所述数据需求方。通过使用规范的数据标识进行查询,规范的约束条件对供应数据和数据需求方的需求进行匹配,保证了数据供应方和数据需求方之间数据流通的规范性;同时,通过约束条件匹配、发送标签值和加密需求数据,可保证数据流通的安全性。
进一步,所述维度主键可以包括以下一种或多种:人口属性、家庭状况、支付信息、设备网络、地域轨迹、购买订阅、兴趣爱好、意图需求、负面标记。对维度主键进行分类的方式有利于对各种类型数据的流通方式和应用场景实施分级分类管理。
附图说明
图1是本发明实施例一种基于数据结构的数据流通方法的流程图;
图2是本发明实施例另一种基于数据结构的数据流通方法的流程图;
图3是本发明实施例又一种基于数据结构的数据流通方法的示意图;
图4是本发明实施例一种基于数据结构的数据流通装置的结构示意图;
图5是本发明实施例另一种基于数据结构的数据流通装置的结构示意图。
具体实施方式
如背景技术中所述,在现有的数据流通过程中,对用户数据的安全性没有保障。
本发明实施例使用基于数据结构的数据流通方式,可以做到对数据在各个信息系统间流通的互识与约束,并可利用计算机编程技术,实现数据传输加密、数据流转追溯、流通主体追查、数据超限使用防控等安全措施,使得数据流通全程透明且可被审计,有利于构筑大数据行业安全流通体系和环境。
为使本发明的上述目的、特征和优点能够更为明显易懂,下面结合附图对本发明的具体实施例做详细的说明。
图1是本发明实施例一种基于数据结构的数据流通方法的流程图。
所述基于数据结构的数据流通方法可以包括以下步骤:
步骤S101:根据查询数据标识对至少一个数据供应方提供的供应数据进行查询。
步骤S102:将数据需求方的需求与所述供应数据的约束条件进行匹配,得到匹配结果。
步骤S103:提取所述匹配结果对应的供应数据的维度主键对应的标签值,以得到需求数据。
步骤S104:将所述需求数据进行加密处理,并发送至所述数据需求方。
下面结合图1对步骤S101至步骤S104进行详细的说明。
具体实施中,在步骤S101中,查询数据标识可以指向数据需求方要获取数据内容的主体。供应数据中的数据标识(Identity,ID)与所述查询数据标识相同或相应。具体而言,在查询数据标识与供应数据的数据标识相同时,可直接进行查询。当查询数据标识与供应数据的数据标识不同时,可以将所述查询数据标识进行映射,以映射至供应数据的数据标识。进一步而言,可以根据标识映射图谱(ID Mapping)对查询数据标识进行映射;标识映射图谱中记录有多个关联数据标识之间的对应关系。例如,数据标识“国际移动设备标识Imei”与数据标识“Cookie@域1”相对应,则根据查询数据标识为Imei时,可以确定供应数据的数据标识Cookie@域1,在查询操作时,根据数据标识Cookie@域1进行查询。
具体地,经步骤S101查询后得到初步的查询结果。初步的查询结果中所有供应数据的数据标识与查询数据标识相同或相应。
其中,供应数据可以包括维度主键、标签值(value)、数据标识以及约束条件,所述维度主键与所述标签值相对应。具体而言,数据标识可以用以指向主体,可以是识别主体的信息编码。例如可以是个体标识和群组标识,个体标识指向个体,群组标识指向群体,例如可以是女性、男性、青年等。维度主键可以用以表示供应数据指向的主体的属性。例如,对于个体标识,可以是地域、兴趣爱好、消费信息等。维度主键可以作为供应数据的标签,那么标签值与维度主键相对应,标签值可以是维度主键的值。例如,在维度主键为年龄时,标签值为年龄值或年龄所在的数值范围。约束条件用以约束数据供应方和数据需求方的数据流通;也就是说,只有在约束条件约束的范围内,数据供应方和数据需求方才可以进行数据流通。
可以理解的是,所述供应数据的数据结构可以是数据供应方预先配置的。例如,对于数据标识,预先配置数据标识分类(如个体标识、群组标识等)。对于维度主键,预先配置维度主键标识,维度主键名称,维度主键的分类信息。对于标签值,预先配置类型,长度,精度,单位,参数类型维度表,更新频率等。
具体实施中,维度主键可以包括以下一种或多种维度:主题维度、行业维度、时间维度、空间维度、查询次数维度和流通次数维度。具体而言,对于维度主键,可以从不同的角度进行分类。主题维度可以是按照供应数据的内容进行分类,属于同一主题的决策支撑信息属于同一类别。行业维度可以根据数据供应方所在行业进行分类,其下级类目可以有二级行业、三级行业等;时间维度可以是指根据时间属性对供应数据进行分类,时间属性是固有属性,其下级类目可以有年、月、日、时、分、秒等;空间维度可以是根据供应数据所属地区来划分,其下级类目可按照省份来划分信息资源所属区域;查询次数维度可以是指根据供应数据被浏览的次数来划分,以便于按照顺序对数据进行排序,以反映对数据的欢迎程度或感兴趣程度;流通次数维度可以是指根据信息被下载的次数来划分,以便于按照顺序对数据进行排序,以反映数据使用效率,下载次数越多,反映该数据使用价值越大。
具体地,维度主键可以包括以下一种或多种:人口属性、家庭状况、支付信息、设备网络、地域轨迹、购买订阅、兴趣爱好、意图需求、负面标记。
可以理解的是,根据不同的应用环境,对于维度主键的分类还可以进行适应性的调整,例如,主题维度还可以进一步细分;考虑应用环境下的检索手段、方法、技术条件以及实际工作的需要,从多个维度进行分类。本发明实施例对此不做限制。
对于供应数据而言,在维度主键的类表结构的设定上,多维分类表按照维度不同划分一级基本大类,再根据数据的特征从总到分、从一般到具体层层细分,形成完整的逻辑分类体系。
可以理解的是,数据需求方的需求和查询数据标识可以是数据需求方进行预先配置的。数据需求方的需求中包括对于需求数据的应用相关的条件以及数据需求方的情况。具体而言,数据需求方的需求可以按照供应数据的数据结构形式进行确定。数据需求方的需求中可以包括:维度主键的条件、标签值的条件、查询数据标识和约束条件。查询数据标识可以指向数据的主体;维度主键的条件可以是维度主键的名称,维度主键的分类属性;标签值的条件可以是类型、长度、精度、单位、参数类型维度表;
例如,查询数据标识可以是手机号;维度主键的名称可以是手机号和身份证是否匹配,维度主键的分类为“人口属性-信息验证-手机身份验证”;标签值的条件为类型“无”,长度“无”,精度“无”,单位“无”。
在数据需求方的需求满足供应数据的约束条件时,则表示该供应数据与数据需求方的需求相匹配,并将该供应数据作为匹配结果;否则,该供应数据与数据需求方的需求不匹配。
具体实施中,所述约束条件可以包括以下一种或多种:所述供应数据的流通限制条件、供应时间和计价方式。具体地,流通限制条件可以包括流通对象条件、流通遍历条件、数据应用范围、数据用途、数据应用方式、数据应用时限。供应时间可以包括供应频度和供应周期。计价方式可以包括计价类型和价格。
具体而言,在步骤S103中,将匹配结果对应供应数据的维度主键对应的标签值作为需求数据。至此数据需求方的需求数据已经查询并匹配得到。
具体地,标签值是通过所述数据供应方对采集到的源数据进行处理得到的,用以表示所述数据标识指向的主体的统计特征。进一步地,可以是由数据供应方对供应数据对应的源数据进行数据加工,例如可以是进行“聚类、脱敏、加权、偏移、提取、筛选”,形成统计特征。所述统计特征可以是集合、抽样、分段、区间、命中、评分等方式。在数据处理过程中,可以控制加工颗粒度大小,也就是保证精细度,避免在数据流通中被逆向推导至数据标识指向的主体。
需要说明的是,对源数据进行聚类、脱敏、加权、偏移、提取、筛选的过程可以采用现有技术中任意可实施的算法,本发明实施例对此不做限制。
通过上述从源数据得到标签值的过程,可以保证源数据不被泄露,保证了数据流通的安全性。
在步骤S104中,为了保证数据传输的安全性,将所述需求数据进行加密处理,并发送至所述数据需求方。至此,数据需求方获得标准化格式的数据。
本发明实施例中,标签值具备语义化和短文本的特征。其中,语义化使得维度主键易于理解,有利于数据需求方获得用户画像模型;同时,每个标签值有唯一性,无需数据需求方再做过多文本分析等预处理工作,可以快速提取信息,在大数据处理领域,进一步提升精准度,提高信息获取的效率,提高数据需求方的用户体验。
进一步而言,数据流通是针对多个数据供应方、多个数据需求方的,为了保证数据流通的高效进行,对于多个数据供应方和多个数据需求方,分配相应的权限。在执行时,只允许在权限限定的范围内对数据进行修改。
本发明实施例通过在数据流通过程中使用规范化的供应数据,并将供应数据的标签值作为需求数据发送至数据需求方,可以提高数据流通的便捷性;同时,通过约束条件对数据需求方进行限制,可以避免供应数据被非法使用,保证数据流通的安全性。
图2是本发明实施例另一种基于数据结构的数据流通方法的流程图。
基于数据结构的数据流通方法可以包括:
步骤S201:控制所述数据供应方对所述流通限制条件对应的流通对象条件、流通遍历条件、数据应用范围、数据用途、数据应用方式和数据应用时限,所述供应时间对应的供应频率和供应周期,所述计价方式对应的计价类型和价格以及所述标签值进行更新。
步骤S202:根据查询数据标识对至少一个数据供应方提供的供应数据进行查询。
步骤S203:剔除满足以下条件中的至少两项的供应数据;其中,所述条件包括:所述数据标识指向的主体为自然人、所述维度主键在时间轴上对应常量以及所述标签值为数值且为绝对值。
步骤S204:将数据需求方的需求与所述供应数据的约束条件进行匹配,得到匹配结果。
步骤S205:提取所述匹配结果对应的供应数据的维度主键对应的标签值,以得到需求数据。
步骤S206:将所述需求数据进行加密处理,并发送至所述数据需求方。
步骤S207:形成日志,所述日志用于记录所述数据供应方与所述数据需求方的数据发送事件。
下面结合图2对步骤S201至步骤S207进行详细说明。
具体实施中,在数据标识指向个体时,查询维度主键和供应数据的维度主键可以包括人口属性,例如可以是年龄、性别、婚姻、教育、职业等统计特征;家庭状况,例如可以是家庭财产、家庭组成、关系圈等统计特征;支付信息,例如可以是销售终端支付、网络支付、移动支付、信用授权等支付情况;设备网络,例如可以是宽带接入、终端等所使用设备情况;地域轨迹,例如可以是居住、工作、常留等场所情况;购买订阅,例如可以是对通讯、旅游、汽车、教育等各类商业服务的消费情况;兴趣爱好,例如可以是新闻、财经、娱乐、商贸、游戏等的兴趣爱好;意图需求,例如可以是对通讯、旅游、教育、汽车、房产等各类商业服务的意向;负面标记,例如可以是在各类商业服务的负面记录。在数据标识指向群组时,查询维度主键和供应数据的维度主键可以根据实际的应用需求进行调整。
具体实施中,在步骤S201中,数据供应方根据所述供应时间对应的供应频率或供应周期对所述标签值进行更新。也就是说,在数据流通之前,数据供应方在供应时间对应的供应频率或供应周期,提供供应数据。
具体实施中,在步骤S203中,所述流通限制条件可以包括基础约束条件。所述基础约束条件用以对数据供应方的供应数据进行限制,避免供应数据中涉及用户隐私,保证数据流通的安全性。具体地,所述数据标识指向的主体为自然人,表示根据数据标识可以确定自然人;所述维度主键在时间轴上对应常量,表示维度主键在时间轴上的值为常量,不随时间变化,例如年龄;所述标签值为数值且为绝对值,表示标签值对应的统计特征的数值为绝对值。
例如,以手机号为数据标识,年龄为主键维度,标签值的加工颗粒度为岁,涉及基础约束条件中的3项,剔除所述供应数据,禁止流通;而以手机号为基础约束条件,年龄为主键维度,标签值的加工颗粒度为老年段,涉及基础约束条件中的2项,剔除所述供应数据,禁止流通;指向群组的数据标识,主键维度为群内每个个体的年龄(岁)分布的数据,涉及基础约束条件中的2项,剔除所述供应数据,禁止流通。
可以理解的是,对于基础约束条件的内容,可以根据实际的应用环境进行自定义配置和适应性的调整,本发明实施例对此不做限制。
具体实施中,在步骤S206中,对于需求数据的加密方式,可以通过以下方式实现:获取随机公钥,并通过随机公钥和数据供应方和数据需求方的约定私钥进行加密。
具体而言,数据需求方在接收到加密后的需求数据之后,获取随机公钥,并根据随机公钥和数据供应方和数据需求方的约定私钥进行解密,得到需求数据。
具体地,需求数据可以是供应数据中的标签值。例如,在数据需求方的需求者包括查询数据标识为137XXXXXXXX,维度主键分类为“手机号和身份证是否匹配”时,数据供应方返回的供应数据的标签值为“是”。
需要说明的是,加密的具体过程可以通过任意可实施的算法来实现,本发明实施例对此不做限制。
具体实施中,在步骤S207中,日志用于记录所述数据供应方与所述数据需求方的数据发送事件。具体地,根据数据发送事件以及根据供应数据的数据结构对供应数据实现快速的甄别,以实现安全性的分析和控制,使得数据流动的每个环节可查询和追溯。同时,在日志中了所有的变更信息,在实际应用中有良好的吞吐量、灵活性和用户体验。
本发明实施例通过维度主键的分类为数据流通提供了各类数据流通方式和应用场景,有利于数据的分级分类管理,防范数据流通中可能出现的交易违规、契约失灵和企业管理失效等带来的风险。
本发明实施例的具体实施方式可参照前述相应实施例,此处不再赘述。
本发明实施例通过使用规范的数据标识查询,规范的约束条件对供应数据和数据需求方的需求进行匹配,保证了数据供应方和数据需求方之间数据流通的规范性;同时,通过约束条件匹配、发送标签值和加密需求数据,保证了数据流通的安全性。
本发明另一实施例中基于数据结构的数据流通方法如图3所示,图3是本发明实施例又一种基于数据结构的数据流通方法的示意图。
本发明实施例的基于数据结构的数据流通方法包括以下步骤:
步骤S301:数据供应方按照设定格式对供应数据进行配置。
步骤S302:数据供应方提供配置完成的供应数据。
步骤S303:数据需求方按照设定格式对筛选条件进行配置。
步骤S304:数据需求方提供配置完成的筛选条件。
步骤S305:将满足筛选条件的供应数据从数据供应方流通至数据需求方。
步骤S306:数据需求方对供应数据进行使用。
步骤S307:数据监管层对数据流通进行监管和审计。
下面对步骤S301至步骤S307进行详细的说明。
具体实施中,所述设定格式可以是供应数据和筛选条件包括维度主键(Key)、标签值(Value)、数据标识(ID)、流通限制条件(Limit)、供应时间(Time)和计价方式(Price)。
其中,步骤S301包括:定义数据标识的属性:数据标识分类,例如手机号类型;定义维度主键:维度主键名称,维度主键分类属性,例如维度主键名称为“手机号和身份证是否匹配”,维度主键分类属性为“人口属性-信息验证-手机身份验证”;定义标签值属性:类型,长度,精度,单位,参数类型维度表,数据标识范围等,例如,类型为数值类型,长度为1,精度为0,单位为“无”,参数0代表否,参数1代表是,数据标识范围为“全国”;定义流通限制条件属性:基础约束条件、流通对象条件、流通遍历条件、数据应用范围、数据用途、数据应用方式、数据应用时限;定义供应时间属性:供应日期、供应周期,例如每月末;定义计价方式属性:包括计价类型,价格,例如按条计算。
在步骤S302中,将上述配置完成的供应数据作为数据流通中的数据。例如可以是提供给服务平台,用以进行供应数据的流通。
在步骤S301中,对筛选条件进行配置。具体的配置过程可以包括:定义数据标识的条件:数据标识分类,例如手机号;定义维度主键的条件:维度主键名称,维度主键分类属性,例如,维度主键名称为“手机号和身份证是否匹配”,维度主键分类属性为“人口属性-信息验证-手机身份验证”;定义标签值条件:类型,长度,精度,单位,参数类型维度表,数据标识范围,例如类型为“无”,长度为“无”,精度为“无”,单位为“无”,参数类型为“无”,数据标识范围为“上海”;定义流通限制条件:基础约束条件、流通对象条件、流通遍历条件、数据应用范围、数据用途、数据应用方式、数据应用时限;定义供应时间条件:供应日期、供应周期,例如供应日期为“无”,供应周期为月度。定义计价方式条件:包括计价类型,价格,例如计价类型为按条计算。
在步骤S304中,数据需方提供配置完成的筛选条件。筛选条件中包括数据标识,例如137XXXXXXXX。
具体地,在步骤S305中,数据需求方按照筛选条件发起查询请求。数据供应方接口机向数据供应方数据管理平台转发需方数据查询请求。数据供应方数据管理平台在数据库中以数据标识为数据查询主键进行查询匹配后,向供方接口机返回查询结果。供方接口机收到需方查询结果后,向数据流通服务器发送随机公钥生成请求。数据流通服务器生成随机公钥,并记录相关日志信息。数据流通服务器生成随机公钥后返回数据供应方接口机。数据供应方对查询匹配结果数据进行二次加密。数据供应方接口机向数据需求方接口及返回二次加密的查询结果。数据需求方接口机在收到二次加密查询结果后,向数据流通服务器发送随机公钥的解密查询请求。数据流通服务器向数据需求方接口机返回随机公钥。数据需求方对查询结果数据进行二次解密。数据需求方数据管理平台从需方接口机取回结果数据。
至此,数据需求方已经获取到与筛选条件匹配的数据。
具体地,在步骤S306中,数据需求方最终获得的数据是与筛选条件相匹配的供应数据的数据标识,维度主键和标签值,例如137XXXXXXXX,“手机号和身份证是否匹配”,“是”。其中,维度主键表示标签。具体而言,用标签可以指高度精炼的用户特征标识。通过使用标签及标签值,在多种应用领域中,都能进一步提升精准度,提高信息获取的效率。
具体地,由于采用设定格式的供应数据和筛选条件,包括数据供应方、数据需求方,以及数据标识、维度主键、标签值、流通限制条件、供应时间和计价方式,监管层可利用计算机编程技术实现快速的甄别,以实现隐私安全等的分析和控制,使得数据流动的每个环节可查询和追溯。
在步骤S307中,对数据的监管包括数据流通前的监管。其中,在流通限制条件中依据法律法规,对基础约束条件进行配置,对危害国家安全、通过不法手段获取、涉及个人身份信息、侵犯个人合法权益及企业商业秘密等数据的流通进行限制。
具体地,对数据的监管还包括数据流通中的监管。在数据流通过程中,实时监管数据供应方、数据需求方,以及数据标识、维度主键、标签值、流通限制条件、供应时间和计价方式。
具体地,对数据的监管还包括数据流通后的监管:每条记录的数据供应方、数据需求方,以及数据标识、维度主键、标签值、流通限制条件、供应时间和计价方式可以追溯查询,监管层可以按数据流通限制条件约定的目的(用途)、范围、方式和时间等数据使用条件及违约责任进行监测。
进一步而言,对于审计机构而言,由于提供的数据包括供应方、数据需求方,以及数据标识、维度主键、标签值、流通限制条件、供应时间和计价方式等数据,记录了每一笔数据流通过程中的数据供应方、数据需求方、服务方、时间戳,以及匹配的价格等关键信息,提供了实时在线的自动化清算和审计。
图4是本发明实施例一种基于数据结构的数据流通装置的结构示意图。
基于数据结构的数据流通装置40可以包括:查询单元401、匹配单元402、提取单元403和加密单元404。
其中,查询单元401适于根据查询数据标识对至少一个数据供应方提供的供应数据进行查询,其中,所述供应数据包括维度主键、标签值、与所述查询数据标识相同或相应的数据标识以及约束条件,所述维度主键与所述标签值相对应。
匹配单元402适于将数据需求方的需求与所述供应数据的约束条件进行匹配,得到匹配结果。
提取单元403适于提取所述匹配结果对应的供应数据的维度主键对应的标签值,以得到需求数据。
加密单元404适于将所述需求数据进行加密处理,并发送至所述数据需求方。
在数据需求方的需求满足供应数据的约束条件时,则表示该供应数据与数据需求方的需求相匹配,并将该供应数据作为匹配结果;否则,该供应数据与数据需求方的需求不匹配。
具体实施中,所述约束条件可以包括以下一种或多种:所述供应数据的流通限制条件、供应时间和计价方式。具体地,流通限制条件可以包括流通对象条件、流通遍历条件、数据应用范围、数据用途、数据应用方式、数据应用时限。供应时间可以包括供应频度和供应周期。计价方式可以包括计价类型和价格。
本发明实施例的具体实施方式可参照前述相应实施例,此处不再赘述。
图5是本发明实施例另一种基于数据结构的数据流通装置的结构示意图。
基于数据结构的数据流通装置50可以包括:更新单元501、查询单元502、约束单元503、匹配单元504、提取单元505、加密单元506、和日志形成单元507。
其中,更新单元501适于控制所述数据供应方对所述流通限制条件对应的流通对象条件、流通遍历条件、数据应用范围、数据用途、数据应用方式和数据应用时限,所述供应时间对应的供应频率和供应周期,所述计价方式对应的计价类型和价格以及所述标签值进行更新。
查询单元502适于根据查询数据标识对至少一个数据供应方提供的供应数据进行查询,其中,所述供应数据包括维度主键、标签值、与所述查询数据标识相同或相应的数据标识以及约束条件,所述维度主键与所述标签值相对应。
约束单元503适于按照所述约束条件进行剔除操作;所述剔除操作包括剔除满足以下条件中的至少两项的供应数据;其中,所述条件包括:所述数据标识指向的主体为自然人、所述维度主键在时间轴上对应常量以及所述标签值为数值且为绝对值。
匹配单元504适于将数据需求方的需求与所述供应数据的约束条件进行匹配,得到匹配结果。
提取单元505适于提取所述匹配结果对应的供应数据的维度主键对应的标签值,以得到需求数据。
加密单元506适于将所述需求数据进行加密处理,并发送至所述数据需求方。
日志形成单元507适于形成日志,所述日志用于记录所述数据供应方与所述数据需求方的数据发送事件。
本发明实施例中,标签值具备语义化和短文本的特征。其中,语义化使得维度主键易于理解,有利于数据需求方获得用户画像模型;同时,每个标签值有唯一性,无需数据需求方再做过多文本分析等预处理工作,可以快速提取信息,在大数据处理领域,进一步提升精准度,提高信息获取的效率,提高数据需求方的用户体验。
本发明实施例通过在数据流通过程中使用规范化的供应数据,并将供应数据的标签值作为需求数据发送至数据需求方,可以提高数据流通的便捷性;同时,通过约束条件对数据需求方进行限制,可以避免供应数据被非法使用,保证数据流通的安全性。
本发明实施例的具体实施方式可参照前述相应实施例,此处不再赘述。
本发明实施例还公开了一种终端,所述终端可以包括基于数据结构的数据流通装置40或基于数据结构的数据流通装置50。所述终端可以包括但不限于计算机设备、手机、笔记本、平板电脑等。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于以计算机可读存储介质中,存储介质可以包括:ROM、RAM、磁盘或光盘等。
虽然本发明披露如上,但本发明并非限定于此。任何本领域技术人员,在不脱离本发明的精神和范围内,均可作各种更动与修改,因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (11)

1.一种基于数据结构的数据流通方法,其特征在于,包括:
根据查询数据标识对至少一个数据供应方提供的供应数据进行查询,其中,所述供应数据包括维度主键、标签值、与所述查询数据标识相同或相应的数据标识以及约束条件,所述维度主键与所述标签值相对应,所述约束条件包括以下一种或多种:所述供应数据的流通限制条件、供应时间和计价方式,所述维度主键用以表示所述数据标识指向的主体的属性,所述标签值用以表示所述数据标识指向的主体的统计特征;
将数据需求方的需求与所述供应数据的约束条件进行匹配,得到匹配结果;
提取所述匹配结果对应的供应数据的维度主键对应的标签值,以得到需求数据;
将所述需求数据进行加密处理,并发送至所述数据需求方;
所述根据查询数据标识对至少一个数据供应方提供的供应数据进行查询之前还包括:控制所述数据供应方对所述流通限制条件对应的流通对象条件、流通遍历条件、数据应用范围、数据用途、数据应用方式和数据应用时限,所述供应时间对应的供应频率和供应周期,所述计价方式对应的计价类型和价格以及所述标签值进行更新。
2.根据权利要求1所述的基于数据结构的数据流通方法,其特征在于,所述流通限制条件包括基础约束条件;所述基础约束条件包括:
剔除满足以下条件中至少两项的供应数据;其中,所述条件包括:所述数据标识指向的主体为自然人、所述维度主键在时间轴上对应常量以及所述标签值为数值且为绝对值。
3.根据权利要求1所述的基于数据结构的数据流通方法,其特征在于,还包括:
形成日志,所述日志用于记录所述数据供应方与所述数据需求方的数据发送事件。
4.根据权利要求1所述的基于数据结构的数据流通方法,其特征在于,所述标签值是通过所述数据供应方对采集到的源数据进行处理得到的,用以表示所述数据标识指向的主体的统计特征。
5.根据权利要求1至4任一项所述的基于数据结构的数据流通方法,其特征在于,所述维度主键包括以下一种或多种:
人口属性、家庭状况、支付信息、设备网络、地域轨迹、购买订阅、兴趣爱好、意图需求、负面标记。
6.一种基于数据结构的数据流通装置,其特征在于,包括:
查询单元,适于根据查询数据标识对至少一个数据供应方提供的供应数据进行查询,其中,所述供应数据包括维度主键、标签值、与所述查询数据标识相同或相应的数据标识以及约束条件,所述维度主键与所述标签值相对应,所述约束条件包括以下一种或多种:所述供应数据的流通限制条件、供应时间和计价方式,所述维度主键用以表示所述数据标识指向的主体的属性,所述标签值用以表示所述数据标识指向的主体的统计特征;
匹配单元,适于将数据需求方的需求与所述供应数据的约束条件进行匹配,得到匹配结果;
提取单元,适于提取所述匹配结果对应的供应数据的维度主键对应的标签值,以得到需求数据;
加密单元,适于将所述需求数据进行加密处理,并发送至所述数据需求方;更新单元,适于控制所述数据供应方对所述流通限制条件对应的流通对象条件、流通遍历条件、数据应用范围、数据用途、数据应用方式和数据应用时限,所述供应时间对应的供应频率和供应周期,所述计价方式对应的计价类型和价格以及所述标签值进行更新。
7.根据权利要求6所述的基于数据结构的数据流通装置,其特征在于,所述流通限制条件包括基础约束条件;所述数据流通装置还包括:
约束单元,适于按照所述基础约束条件进行剔除操作;所述剔除操作包括剔除满足以下条件中的至少两项的供应数据;其中,所述条件包括:所述数据标识指向的主体为自然人、所述维度主键在时间轴上对应常量以及所述标签值为数值且为绝对值。
8.根据权利要求6所述的基于数据结构的数据流通装置,其特征在于,还包括:
日志形成单元,适于形成日志,所述日志用于记录所述数据供应方与所述数据需求方的数据发送事件。
9.根据权利要求6所述的基于数据结构的数据流通装置,其特征在于,所述标签值是通过所述数据供应方对采集到的源数据进行处理得到的,用以表示所述数据标识指向的主体的统计特征。
10.根据权利要求6至9任一项所述的基于数据结构的数据流通装置,其特征在于,所述维度主键包括以下一种或多种:
人口属性、家庭状况、支付信息、设备网络、地域轨迹、购买订阅、兴趣爱好、意图需求、负面标记。
11.一种终端,其特征在于,包括如权利要求6至10任一项所述的基于数据结构的数据流通装置。
CN201610560695.8A 2016-07-15 2016-07-15 基于数据结构的数据流通方法、装置及终端 Active CN106203140B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610560695.8A CN106203140B (zh) 2016-07-15 2016-07-15 基于数据结构的数据流通方法、装置及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610560695.8A CN106203140B (zh) 2016-07-15 2016-07-15 基于数据结构的数据流通方法、装置及终端

Publications (2)

Publication Number Publication Date
CN106203140A CN106203140A (zh) 2016-12-07
CN106203140B true CN106203140B (zh) 2019-03-26

Family

ID=57474723

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610560695.8A Active CN106203140B (zh) 2016-07-15 2016-07-15 基于数据结构的数据流通方法、装置及终端

Country Status (1)

Country Link
CN (1) CN106203140B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106815313A (zh) * 2016-12-21 2017-06-09 上海数据交易中心有限公司 数据流通系统及方法
CN108268354B (zh) * 2016-12-30 2021-02-09 腾讯科技(深圳)有限公司 数据安全监控方法、后台服务器、终端及系统
CN107301350B (zh) * 2017-05-24 2020-07-14 国信优易数据有限公司 一种数据处理方法和系统
CN107729460A (zh) * 2017-09-30 2018-02-23 上海数据交易中心有限公司 数据查询方法及装置、存储介质、终端
CN107748792B (zh) * 2017-11-01 2020-11-27 上海数据交易中心有限公司 数据检索方法及装置、终端
CN108021701B (zh) * 2017-12-26 2021-08-10 上海数据交易中心有限公司 基于数据并发能力的数据流通方法及系统
CN108268607B (zh) * 2017-12-28 2021-05-04 上海数据交易中心有限公司 数据流通系统及方法、存储介质、终端
CN108595507A (zh) * 2018-03-21 2018-09-28 上海数据交易中心有限公司 数据流通方法、装置及系统、存储介质、终端
CN108595506B (zh) * 2018-03-21 2020-11-27 上海数据交易中心有限公司 需求匹配方法及装置、存储介质、终端
CN108763389B (zh) * 2018-05-18 2023-10-17 上海数据交易中心有限公司 数据的整合方法及装置、存储介质、终端
CN108920581B (zh) * 2018-06-25 2021-05-04 上海数据交易中心有限公司 数据流通方法及装置、存储介质、服务器
CN110187981B (zh) * 2019-04-23 2021-09-24 上海数据交易中心有限公司 数据流通、分析方法及装置、存储介质、终端
CN110264305B (zh) * 2019-05-21 2022-05-24 平安国际智慧城市科技股份有限公司 一种数据处理方法、处理装置、存储介质及终端设备
CN110245150B (zh) * 2019-05-30 2023-03-17 创新先进技术有限公司 数据处理、查询方法、装置、设备及数据处理系统
CN110648190A (zh) * 2019-08-14 2020-01-03 卓尔智联(武汉)研究院有限公司 供应方法、平台及存储介质
CN112231750B (zh) * 2020-10-14 2021-10-08 海南大学 多模态隐私保护方法
CN112685676B (zh) * 2020-12-30 2023-12-15 华控清交信息科技(北京)有限公司 一种信息推荐方法、装置和电子设备
CN113822678A (zh) * 2021-11-22 2021-12-21 武汉龙津科技有限公司 一种数据验证方法、装置、设备和存储介质
CN114297262A (zh) * 2021-12-30 2022-04-08 重庆允成互联网科技有限公司 一种基于数据流的数据溯源方法及计算机存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102402548A (zh) * 2010-09-17 2012-04-04 金蝶软件(中国)有限公司 一种应用系统的数据查询控制方法及系统
EP2787464A2 (en) * 2013-04-05 2014-10-08 Kabushiki Kaisha Toshiba Data managing apparatus, meter apparatus and data managing method
CN104599042A (zh) * 2014-12-26 2015-05-06 国家电网公司 一种基于协约的数据管理和服务体系管理方法
CN105260937A (zh) * 2015-11-16 2016-01-20 上海晶赞科技发展有限公司 一种受众数据安全可控交易方法
CN105282177A (zh) * 2015-11-16 2016-01-27 上海晶赞科技发展有限公司 一种受众数据安全可控传输方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102402548A (zh) * 2010-09-17 2012-04-04 金蝶软件(中国)有限公司 一种应用系统的数据查询控制方法及系统
EP2787464A2 (en) * 2013-04-05 2014-10-08 Kabushiki Kaisha Toshiba Data managing apparatus, meter apparatus and data managing method
CN104599042A (zh) * 2014-12-26 2015-05-06 国家电网公司 一种基于协约的数据管理和服务体系管理方法
CN105260937A (zh) * 2015-11-16 2016-01-20 上海晶赞科技发展有限公司 一种受众数据安全可控交易方法
CN105282177A (zh) * 2015-11-16 2016-01-27 上海晶赞科技发展有限公司 一种受众数据安全可控传输方法

Also Published As

Publication number Publication date
CN106203140A (zh) 2016-12-07

Similar Documents

Publication Publication Date Title
CN106203140B (zh) 基于数据结构的数据流通方法、装置及终端
CN112132198B (zh) 数据处理方法、装置、系统和服务器
Levi et al. Cyberfraud and the implications for effective risk-based responses: themes from UK research
CN108737361B (zh) 一种基于区块链的数据验证方法
CN111666460A (zh) 基于隐私保护的用户画像生成方法、装置及存储介质
CN111325581B (zh) 数据处理方法及装置、电子设备和计算机可读存储介质
CN109828958A (zh) 基于区块链的事件记录方法及记录系统
Diamantopoulou et al. An assessment of privacy preservation in crowdsourcing approaches: Towards GDPR compliance
CN114049096A (zh) 基于区块链的个性化定制系统和方法
US20100262837A1 (en) Systems And Methods For Personal Digital Data Ownership And Vaulting
CN111385751B (zh) 信息发送方法、装置、终端及可读存储介质
CN110719284A (zh) 一种数据共享方法及相关设备
CN107005576A (zh) 从服务器日志生成用于链接标识符的桥接匹配标识符
CN109903046A (zh) 基于区块链的用户数据管理方法及装置
Bhogal et al. A review on big data security and handling
WO2020233038A1 (zh) 基于同态加密的黑名单云共享验证的方法和相关装置
CN111667283A (zh) 一种基于区块链的个人征信系统
CN115393036A (zh) 基于贷后预警模型的贷后预警平台及方法
CN115563212A (zh) 云链协同下供应链数据管理方法、装置、设备及存储介质
KR20100127624A (ko) 경영 정보 분석 방법 및 그 장치
Kiyomoto et al. Fair-trading protocol for anonymised datasets requirements and solution
TW201411511A (zh) 個人資料統整管理系統及其方法
Kubigenova et al. Prospects for Information Security in Big Data Technology
Umhoefer et al. Earning Consumer Trust in Big Data: A European Perspective
DE102012011831A1 (de) Verfahren und System zur Klassifizierung und Anwendung mindestens eines Ranking-Paramter bei Datenspuren

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant