CN111489155B - 一种数据处理方法、装置和用于数据处理的装置 - Google Patents
一种数据处理方法、装置和用于数据处理的装置 Download PDFInfo
- Publication number
- CN111489155B CN111489155B CN202010168211.1A CN202010168211A CN111489155B CN 111489155 B CN111489155 B CN 111489155B CN 202010168211 A CN202010168211 A CN 202010168211A CN 111489155 B CN111489155 B CN 111489155B
- Authority
- CN
- China
- Prior art keywords
- data
- ciphertext
- matching
- calculation
- logic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 32
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 82
- 238000004364 calculation method Methods 0.000 claims description 233
- 230000008569 process Effects 0.000 claims description 39
- 238000012360 testing method Methods 0.000 claims description 26
- 238000005070 sampling Methods 0.000 claims description 23
- 238000013475 authorization Methods 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 15
- 238000004458 analytical method Methods 0.000 claims description 13
- RWSOTUBLDIXVET-UHFFFAOYSA-N Dihydrogen sulfide Chemical compound S RWSOTUBLDIXVET-UHFFFAOYSA-N 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 description 11
- 238000007667 floating Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 230000011218 segmentation Effects 0.000 description 8
- 238000007726 management method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000003993 interaction Effects 0.000 description 6
- 239000013598 vector Substances 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013479 data entry Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000012550 audit Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/38—Payment protocols; Details thereof
- G06Q20/382—Payment protocols; Details thereof insuring higher security of transaction
- G06Q20/3829—Payment protocols; Details thereof insuring higher security of transaction involving key management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Finance (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Computer Security & Cryptography (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例提供一种数据处理方法、装置和用于数据处理的装置,应用于数据交易平台,所述数据交易平台用于基于数据密文交易数据使用权。其中的方法包括:接收数据需求方提交的数据需求;根据所述数据需求,基于密文对接入数据进行检索,确定符合匹配条件的目标接入数据;其中,所述接入数据包括密文数据;向所述数据需求方输出所述目标接入数据的推荐信息。本发明实施例可以在密文基础上,向数据需求方推荐符合其需求的数据提供方的数据信息,可以保证数据的隐私安全。
Description
技术领域
本发明涉及计算机技术领域,尤其涉及一种数据处理方法、装置和用于数据处理的装置。
背景技术
随着互联网、物联网等技术的发展与兴起,数据的来源、内容、形式越来越多样化,数据的容量也以极快的速度逐年递增。数据作为用户行为分析、商业价值挖掘、人工智能训练等的基础,已被认为是一种重要的资产。由于不同机构或个人掌握了类型各异的数据,因此,通过数据交易对数据资源进行整合、交换、共享成为数字经济发展的必要条件。
然而,目前的数据交易通常基于的是明文数据,在数据交易过程中,可能会导致数据的明文泄露,无法保证数据的隐私安全。
发明内容
本发明实施例提供一种数据处理方法、装置和用于数据处理的装置,可以在密文基础上,向数据需求方推荐符合其需求的数据提供方的数据信息,可以保证数据的隐私安全。
为了解决上述问题,本发明实施例公开了一种数据处理方法,应用于数据交易平台,所述数据交易平台用于基于数据密文交易数据使用权,所述方法包括:
接收数据需求方提交的数据需求;
根据所述数据需求,基于密文对接入数据进行检索,确定符合匹配条件的目标接入数据;其中,所述接入数据包括密文数据;
向所述数据需求方输出所述目标接入数据的推荐信息。
另一方面,本发明实施例公开了一种数据处理装置,应用于数据交易平台,所述数据交易平台用于基于数据密文交易数据使用权,所述装置包括:
需求接收模块,用于接收数据需求方提交的数据需求;
数据检索模块,用于根据所述数据需求,基于密文对接入数据进行检索,确定符合匹配条件的目标接入数据;其中,所述接入数据包括密文数据;
数据推荐模块,用于向所述数据需求方输出所述目标接入数据的推荐信息。
再一方面,本发明实施例公开了一种用于数据处理的装置,应用于数据交易平台,所述数据交易平台用于基于数据密文交易数据使用权,所述装置包括有存储器,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令:
接收数据需求方提交的数据需求;
根据所述数据需求,基于密文对接入数据进行检索,确定符合匹配条件的目标接入数据;其中,所述接入数据包括密文数据;
向所述数据需求方输出所述目标接入数据的推荐信息。
又一方面,本发明实施例公开了一种机器可读介质,其上存储有指令,当由一个或多个处理器执行时,使得装置执行如前述一个或多个所述的数据处理方法。
本发明实施例包括以下优点:
通过本发明实施例,数据交易平台可以接收数据需求方提交的数据需求,并且根据所述数据需求,基于密文对接入数据进行检索,确定符合匹配条件的目标接入数据;进而可以向所述数据需求方输出所述目标接入数据的推荐信息。其中,所述接入数据包括密文数据,所述数据交易平台可用于基于数据密文交易数据的使用权,并且可以在密文基础上,向数据需求方推荐符合其需求的数据提供方的数据推荐信息,在提高数据需求方获取所需数据的效率以及便利性的基础上,可以保证数据的隐私安全,并有效促进数据使用权交易的成功率。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明的一种数据处理方法实施例的步骤流程图;
图2是本发明的一种数据处理装置实施例的结构框图;
图3是本发明的一种用于数据处理的装置800的框图;及
图4是本发明的一些实施例中服务器的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
方法实施例
参照图1,示出了本发明的一种数据处理方法实施例的步骤流程图,所述方法可应用于数据交易平台,所述数据交易平台可用于基于数据密文交易数据使用权,所述方法具体可以包括如下步骤:
步骤101、接收数据需求方提交的数据需求;
步骤102、根据所述数据需求,基于密文对接入数据进行检索,确定符合匹配条件的目标接入数据;其中,所述接入数据包括密文数据;
步骤103、向所述数据需求方输出所述目标接入数据的推荐信息。
本发明实施例可应用于数据交易平台,所述数据交易平台可用于基于数据密文交易数据的使用权。所述数据交易平台可以在密文基础上,向数据需求方推荐符合其需求的数据提供方的数据推荐信息,以促进数据使用权交易的成功率。
具体地,数据交易平台可以接收数据需求方通过移动终端、电脑或者存储设备等上传的数据需求。所述数据需求可以包括数据需求方待购买使用权的数据的描述信息,如,数据需求方待购买使用权的数据所属的行业、应用领域、数据格式等描述信息。同样地,数据交易平台可以接收数据提供方通过移动终端、电脑或者存储设备等上传的接入数据。所述接入数据可以包括数据提供方待出售使用权的数据的描述信息,如,数据提供方待出售使用权的数据所属的行业、应用领域、数据格式等描述信息。
由此,数据交易平台可以根据数据需求方提交的数据需求,检索数据交易平台中的接入数据,以查找与所述数据需求相匹配的目标接入数据,并且向数据需求方输出目标接入数据的推荐信息。所述推荐信息可以包括目标接入数据的描述信息。其中,与数据需求方提交的数据需求相匹配的目标接入数据可以来自多个数据提供方,数据需求方可以根据推荐的目标接入数据,决定是否选择其中一个或多个数据提供方提供的数据进行使用权交易。
可选地,所述接入数据还可以包括数据提供方待出售使用权的部分或全部数据密文。例如,数据提供方可以使用其本地的加密系统对待出售使用权的数据进行加密,得到待出售使用权的数据密文。数据提供方可以向数据交易平台提供部分或全部数据密文。
示例性地,数据提供方可以是汽车企业、汽车维修厂、保险公司和车主等,数据提供方待出售使用权的数据密文可以包括车况数据的密文,车况数据可以包括车型、车龄、发动机转速等汽车的相关数据。当然,本发明实施例对所述数据提供方所属的行业或应用领域不加以限制。例如,对于医疗健康领域,数据提供方待出售使用权的数据密文可以包括医疗设备记录的人体的血压、心率、血浓度等数据的密文。对于智能家居等物联网领域,数据提供方待出售使用权的数据密文可以包括空调的温度、风速、地理位置、开机时长等数据的密文。
在本发明的一种可选实施例中,步骤102根据所述数据需求,基于密文对接入数据进行检索,确定符合匹配条件的目标接入数据,具体可以包括:
步骤S11、计算所述数据需求与所述接入数据之间的匹配度;
步骤S12、根据所述匹配度,确定符合匹配条件的目标接入数据。
数据交易平台接收到数据需求方提交的数据需求之后,对所述数据需求进行解析,并且根据所述数据需求,基于密文对接入数据进行检索,确定符合匹配条件的目标接入数据。
在上述检索匹配的过程中,数据交易平台可以通过调用多方安全计算引擎,在密文基础上计算数据交易平台中的接入数据与数据需求方提交的数据需求之间的匹配度,进而确定符合匹配条件的目标接入数据。由此,本发明实施例的数据交易平台可以在密文基础上,向数据需求方推荐符合其需求的数据提供方的数据信息,可以保证数据的隐私安全。
多方安全计算引擎可以提供多方安全计算服务,多方安全计算为基于密文的计算,参与计算的数据包含密文数据,且计算过程中产生的中间结果以及最终的计算结果也可以为密文数据。在基于密文的计算过程中,不会暴露数据明文,可以保证数据的隐私安全性。
可选地,所述基于密文的计算可以由四个计算节点中至少两个计算节点执行,所述至少两个计算节点基于多方安全计算协议与参与密文计算的其他计算节点通信,以完成计算任务。
在本发明实施例中,一个计算任务可以分配四个计算节点协作完成。这四个计算节点分别称为Y1、Y2、Ya、Yb。对于部分计算任务只需要两个计算节点协作完成,则仅需要Y1和Y2两个计算节点参与即可,例如,加法计算只需要两个计算节点执行计算。本发明实施例对计算节点数量不做限制。
在本发明的一种可选实施例中,所述数据需求可以包括:第一描述信息、第一格式样例、计算逻辑中的至少一种;其中,所述计算逻辑包括基础计算、模型预测、业务计算中的至少一种;
所述接入数据可以包括:第二描述信息、第二格式样例、第一数据密文中的至少一种;其中,所述第一数据密文包括数据提供方提供的抽样数据密文或全量数据密文。
数据需求方可以根据业务需求向数据交易平台提交数据需求,数据需求可以包括如下信息中的至少一种:第一描述信息、第一格式样例、以及计算逻辑。
其中,第一描述信息可以为数据需求的文本描述。可选地,数据交易平台可以提供描述规范,该描述规范用于指定描述信息中至少应包含的描述项。例如,描述规范中包括数据的应用领域、数据的用途、以及关键词等描述项,则数据需求方提交的第一描述信息应符合该描述规范,也即,第一描述信息中至少应包含数据需求方所需数据的应用领域、数据的用途、以及关键词等文本描述。
第一格式样例可用于表示数据需求方所需数据的数据格式,第一格式样例可以为符合数据需求方的数据格式要求的具体数据条目示例,该示例中可以包括数据需求方所需数据应包含的字段、数据类型等信息。
计算逻辑用于表示数据需求方对待购买使用权的数据密文执行的具体操作。在本发明实施例中,所述计算逻辑可以包括通用计算逻辑和自定义计算逻辑。其中,通用计算逻辑可以包括加、减、乘、除、求平均等基础计算,以及机器学习、人工智能等模型预测。自定义计算逻辑可以包括数据需求方根据业务需求自定义的计算等。
数据提供方可以根据待出售使用权的数据密文,向数据交易平台提供接入数据,所述接入数据可以包括如下信息中的至少一种:第二描述信息、第二格式样例、以及第一数据密文。
其中,第二描述信息可以为数据提供方待出售使用权的数据密文的文本描述。数据提供方提交的第二描述信息也应符合数据交易平台提供的描述规范,例如,第二描述信息中至少应包含数据提供方待出售使用权的数据密文的应用领域、数据的用途、以及关键词等文本描述。当然,第二描述信息中除了包含描述规范中的必要信息之外,还可以包含数据提供方的个性化描述信息,以增加数据提供方的数据信息的辨识度。
第二格式样例可用于表示数据提供方待出售使用权的数据密文的数据格式,第二格式样例可以为数据提供方的具体数据条目示例,该示例中可以包括待出售使用权的数据密文包含的字段、数据类型等信息。
第一数据密文可以包括数据提供方提供的部分数据密文或全量数据密文。其中,全量数据密文可以包括数据提供方待出售使用权的所有数据密文,所述部分数据密文可以包括数据提供方待出售使用权的抽样数据密文。具体地,数据提供方可以使用其本地的加密系统对待出售使用权的数据进行加密,得到待出售使用权的数据密文。数据提供方可以将其所有的数据密文作为第一数据密文上传至数据交易平台,或者,数据提供方可以按照与数据交易平台协商的抽样比例,将所述抽样比例对应的抽样数据密文作为第一数据密文上传至数据交易平台。
在本发明的一种可选实施例中,步骤S11计算所述数据需求与所述接入数据之间的匹配度,可以包括以下至少一个:
计算所述第一描述信息和所述第二描述信息之间的第一匹配指标;
计算所述第一格式样例和所述第二格式样例之间的第二匹配指标;
计算所述第一数据密文与所述计算逻辑之间的第三匹配指标;
根据所述第一匹配指标、所述第二匹配指标、以及所述第三匹配指标中的至少一个,计算所述数据需求与所述接入数据之间的匹配度。
在本发明实施例的一个示例中,假设计算得到所述第一描述信息和所述第二描述信息之间的第一匹配指标,记为S1;计算得到所述第一格式样例和所述第二格式样例之间的第二匹配指标,记为S2;以及计算得到所述第一数据密文与所述计算逻辑之间的第三匹配指标,记为S3。
本发明实施例可以根据所述第一匹配指标S1、所述第二匹配指标S2、以及所述第三匹配指标S3中的至少一个,计算所述数据需求与所述接入数据之间的匹配度。例如,可以将第一匹配指标S1作为所述数据需求与所述接入数据之间的匹配度,或者,将第二匹配指标S2作为所述数据需求与所述接入数据之间的匹配度,或者,将第二匹配指标S3作为所述数据需求与所述接入数据之间的匹配度。
可选地,本发明实施例可以对所述第一匹配指标S1、所述第二匹配指标S2、以及所述第三匹配指标S3进行加权求和,得到加权结果S,将加权结果S作为所述数据需求与所述接入数据之间的匹配度。
可以理解,本领域技术人员可以根据实际需要设置所述第一匹配指标S1、所述第二匹配指标S2、以及所述第三匹配指标S3分别对应的权重值,使得计算的匹配度可以在文本描述、数据格式以及计算逻辑各方面得到均衡,提高计算匹配度的准确性。
在本发明的一种可选实施例中,所述计算所述第一描述信息和所述第二描述信息之间的第一匹配指标,具体可以包括:
步骤S21、分别对所述第一描述信息和所述第二描述信息进行语义分析,得到所述第一描述信息对应的第一关键词序列,以及所述第二描述信息对应的第二关键词序列;
步骤S22、对所述第一关键词序列与所述第二关键词序列进行匹配,得到第一匹配指标。
在本发明实施例中,第一描述信息为数据需求方待购买使用权的数据密文的文本描述;第二描述信息为数据提供方待出售使用权的数据密文的文本描述。因此,计算所述第一描述信息与所述第二描述信息之间的第一匹配指标,也就是计算两个文本之间的相似度。
具体地,首先可以分别对所述第一描述信息和所述第二描述信息进行分词处理,得到第一描述信息对应的第一分词序列,以及第二描述信息对应的第二分词序列。然后分别对第一分词序列和第二分词序列进行语义分析,以提取其中的关键词,得到第一描述信息对应的第一关键词序列和第二描述信息对应的第二关键词序列。最后对所述第一关键词序列与所述第二关键词序列进行匹配,根据第一关键词序列和第二关键词序列中相匹配的关键词的数量,计算得到第一匹配指标。
需要说明的是,本发明实施例对计算所述第一描述信息和所述第二描述信息之间的相似度的具体方式不加以限制。可以采用现有的任意一种文本相似度计算方法。例如可以采用余弦相似度、编辑距离和基于神经网络语言模型的文本相似度计算方法等。其中,余弦相似度方法是指对待匹配的两个文本进行分词,并根据分词结果构造文本的特征向量,将特征向量之间的余弦相似度作为文本相似度;编辑距离是指待匹配的两个文本之间,由一个转成另一个所需的最少编辑操作次数,许可的编辑操作包括将文本中的一个字符替换成另一个字符,插入一个字符或删除一个字符,最少编辑操作次数越少,则文本相似度越高;而神经网络语言模型可以通过大量文本样本训练深度模型,计算文本相似度,深度模型可以解决传统的通过特征词向量计算文本相似度时出现的维度灾难的问题,并且可以极大地提高相似度计算的准确性。
在本发明的一种可选实施例中,所述计算所述第一格式样例和所述第二格式样例之间的第二匹配指标,具体可以包括:
步骤S31、提取所述第一格式样例的第一格式特征,以及所述第二格式样例的第二格式特征;
步骤S32、对所述第一格式特征和所述第二格式特征进行匹配,得到第二匹配指标。
在实际应用中,一条数据通常可以包括多个字段,每一个字段包括字段名和数据类型。因此,本发明实施例可以对第一格式样例按字段进行划分,提取第一格式样例的第一格式特征,所述第一格式特征可以包括第一格式样例中各字段对应的字段名以及各字段对应的数据属性。同样地,可以对第二格式样例按字段进行划分,提取第二格式样例的第二格式特征,所述第二格式特征可以包括第二格式样例中各字段对应的字段名以及各字段对应的数据属性。
在提取第一格式样例的第一格式特征以及第二格式样例的第二格式特征之后,对所述第一格式特征和所述第二格式特征进行匹配,也即,对第一格式样例中各字段对应的字段名以及各字段对应的数据属性分别与第二格式样例中各字段对应的字段名以及各字段对应的数据属性进行匹配,判断二者包含的字段名以及相应字段的数据属性是否相匹配,进而得到第二匹配指标。
参照表1,示出了一种数据需求方的第一格式样例的具体示意,以及参照表2,示出了一种数据提供方的第二格式样例的具体示意。
表1
姓名 | 出生日期 | 收入 | 负债数 |
张三 | 1991.10.1 | 10000.00 | 0.00 |
表2
本发明实施例可以对表1所示的第一格式样例按字段进行划分,提取得到第一格式样例中各字段的字段名如下:姓名、出生日期、收入、负债数;以及第一格式样例中各字段的数据类型分别如下:字符串、字符串、浮点数、浮点数。同样地,对表2所示的第二格式样例按字段进行划分,提取得到第二格式样例中各字段的字段名如下:姓名、身份证号、收入、负债数、社保情况;以及第二格式样例中各字段的数据类型分别如下:字符串、字符串、浮点数、浮点数、字符串。
由此,可以得到第一格式样例的第一格式特征如下:姓名(字符串)、出生日期(字符串)、收入(浮点数)、负债数(浮点数);以及第二格式样例的第二格式特征如下:姓名(字符串)、身份证号(字符串)、收入(浮点数)、负债数(浮点数)、社保情况(字符串)。
接下来可以对第一格式特征中各字段对应的字段名以及各字段对应的数据属性分别与第二格式特征中各字段对应的字段名以及各字段对应的数据属性进行匹配,以计算第一格式样例和第二格式样例之间的第二匹配指标。例如,首先获取第一格式特征中的第一个字段,该字段对应的字段名为“姓名”,该字段的数据类型是“字符串”。在第二格式特征中查找是否存在字段名为“姓名”以及对应的数据类型是“字符串”的字段,查找得到第二格式特征中的第一个字段与第一格式特征中的第一个字段相匹配。依此类推,可以对第一格式特征中的每一个字段,在第二格式特征中查找是否存在相匹配的字段。最后可以根据相匹配的字段的数量,计算第一格式特征和第二格式特征的相似度,也即第一格式样例和第二格式样例之间的第二匹配指标。
需要说明的是,本发明实施例对第一格式特征和第二格式特征的匹配方法不加以限制。例如,可以将第一格式特征和第二格式特征分别进行数字化处理,生成对应的格式特征向量,再对格式特征向量进行相似度计算得到二者的匹配度。或者,还可以将第一格式特征和第二格式特征作为两个文本,采用文本相似度计算方法,计算第一格式特征和第二格式特征之间的匹配度等。
需要说明的是,在上述表1和表2的示例中,对于第二个字段,第一格式样例中该字段的字段名为“出生日期”,第二格式样例中该字段的字段名为“身份证号”,虽然第一格式样例和第二格式样例的第二个字段的字段名在字面上并不相同,但是由于身份证号中包含出生日期,实际上二者在语义上具有一定关联性。因此,在对第一格式样例和第二格式样例进行匹配的过程中,还可以对第一格式特征和第二格式特征进行语义分析,结合二者的语义相关性,计算二者的匹配度,以提高计算匹配度的准确性。
在本发明的一种可选实施例中,所述计算逻辑可以包括模型预测,所述计算所述第一数据密文与所述计算逻辑之间的第三匹配指标,具体可以包括:
步骤S41、根据所述第一数据密文进行基于密文的模型训练,得到目标模型;
步骤S42、基于预设测试集,对所述目标模型进行测试,得到所述目标模型的预测准确率;
步骤S43、根据所述预测准确率,计算第三匹配指标。
随着大数据技术的发展和广泛应用,基于海量多维数据进行模型训练,可以提高模型的准确率。因此,数据需求方通常具有购买一个或多个数据提供方的数据密文使用权的需求。数据需求方可以利用不同数据提供方的海量多维度的数据密文训练模型,以提高模型预测的准确率。
在本发明实施例中,数据需求方提交的数据需求中可以包括计算逻辑,所述计算逻辑可以包括通用计算逻辑和自定义计算逻辑。通用计算逻辑可以包括基础计算和模型预测。自定义计算逻辑可以包括业务计算,如数据需求方根据自身业务需求自定义的计算。在所述计算逻辑包括模型预测的情况下,本发明实施例可以根据数据需求方提交的模型架构,利用数据提供方提供的第一数据密文进行基于密文的模型训练,得到目标模型;并且基于预设测试集,对所述目标模型进行测试,得到所述目标模型的预测准确率;进而可以根据所述预测准确率,计算第三匹配指标。数据需求方可以根据该第三匹配指标判断数据提供方提供的数据是否能够满足预期的训练效果。
在本发明实施例的一个示例中,假设数据需求方A提交的计算逻辑为贷款风控模型预测,数据需求方A期望其贷款风控模型预测的准确率可以提升至少30%。数据交易平台首先可以基于预设测试集对数据需求方A的该贷款风控模型进行测试,得到该贷款风控模型预测结果的准确率。然后,数据交易平台可以利用数据提供方B提供的第一数据密文对该贷款风控模型进行训练,得到训练后的目标模型,并且基于预设测试集对该目标模型进行测试,得到该目标模型预测结果的准确率。由此,可以计算得到该目标模型预测结果的准确率相对于该贷款风控模型预测结果的准确率提升的百分比,进而可以将该百分比作为该数据提供方B的第一数据密文与该数据需求方A的计算逻辑之间的第三匹配指标。
需要说明的是,所述预设测试集可以为数据交易平台中已存储的测试集,或者,也可以是数据需求方提供的测试集,本发明实施例对此不做限制。
同理,数据交易平台还可以计算数据提供方C、数据提供方D等所有已接入数据交易平台的数据提供方的第一数据密文与该数据需求方A的计算逻辑之间的第三匹配指标。数据交易平台可以向数据需求方推荐第三匹配指标超过30%的数据提供方的数据,使得推荐结果符合数据需求方的预期。
在本发明的一种可选实施例中,所述数据需求中还可以包括:第二数据密文,所述第二数据密文包括所述数据需求方提供的抽样数据密文或全量数据密文;
所述计算所述第一数据密文与所述计算逻辑之间的第三匹配指标,具体可以包括:根据所述计算逻辑,对所述第一数据密文和所述第二数据密文进行基于密文的计算,根据计算结果得到第三匹配指标。
在本发明实施例中,在计算数据提供方提供的第一数据密文与数据需求方提供的计算逻辑之间的第三匹配指标的过程中,还可以将数据提供方提供的第一数据密文与数据需求方提供的第二数据密文相结合,共同进行基于密文的计算,根据计算结果得到第三匹配指标。其中,第二数据密文包括所述数据需求方提供的抽样数据密文或全量数据密文。数据需求方可以使用其本地的加密系统对其拥有的数据进行加密,得到数据密文。数据需求方可以将其所有的数据密文作为第二数据密文上传至数据交易平台,或者,数据需求方可以按照预设的抽样比例,将所述抽样比例对应的抽样数据密文作为第二数据密文上传至数据交易平台。
仍以上述数据需求方A提交的计算逻辑为贷款风控模型预测为例,数据需求方A还可以向数据交易平台提交第二数据密文,该第二数据密文可以为数据需求方A自身拥有的部分或全部数据密文。数据交易平台可以利用数据提供方B提供的第一数据密文以及数据需求方A提供的第二数据密文,共同对该贷款风控模型进行训练,得到训练后的目标模型。再计算该目标模型预测结果的准确率相对于该贷款风控模型预测结果的准确率提升的百分比。这样,结合数据需求方提供的第二数据密文,计算数据提供方提供的第一数据密文与数据需求方的计算逻辑之间的第三匹配指标,可以避免数据提供方的数据为伪造数据或者数据质量较低等情况导致第三匹配指标计算不准确的情况发生,使得计算的第三匹配指标更加符合数据需求方的真实应用场景。
在本发明的一种可选实施例中,所述计算所述第一数据密文与所述计算逻辑之间的第三匹配指标,具体可以包括:
步骤S51、判断所述第一数据密文是否已授权;
步骤S52、若所述第一数据密文未授权,则向所述第一数据密文对应的数据提供方申请授权,得到已授权的第一数据密文;
步骤S53、计算所述已授权的第一数据密文与所述计算逻辑之间的第三匹配指标。
在本发明实施例中,第一数据密文可以包括数据提供方待出售使用权的部分或全部数据密文,为了保证数据提供方的数据隐私安全,防止数据提供方的数据被不合法地利用,在使用第一数据密文计算第三匹配指标的过程中,应确保使用的第一数据密文已经过数据提供方的授权,以保证使用第一数据密文的合法性。
具体地,在使用数据提供方的第一数据密文与数据需求方的计算逻辑计算第三匹配指标之前,判断当前的第一数据密文是否已授权,如果当前的第一数据密文已授权,则执行第三匹配指标的计算过程;如果当前的第一数据密文未授权,则向所述第一数据密文对应的数据提供方申请授权,在得到已授权的第一数据密文之后,计算所述已授权的第一数据密文与所述计算逻辑之间的第三匹配指标,以保证使用第一数据密文的合法性。
在本发明的一种可选实施例中,所述计算所述第一数据密文与所述计算逻辑之间的第三匹配指标,具体可以包括:
步骤S61、获取所述第一数据密文的预设使用条件;
步骤S62、根据所述预设使用条件,计算所述第一数据密文与所述计算逻辑之间的第三匹配指标,所述预设使用条件包括如下任意一项或多项:所述第一数据密文的计算类型、所述第一数据密文的使用次数、所述第一数据密文的使用期限。
在本发明实施例中,为了进一步防止数据提供方的数据被不合法地利用,数据提供方可以对其提供的第一数据密文预设使用条件。所述预设使用条件可以包括如下任意一项或多项:所述第一数据密文的计算类型、所述第一数据密文的使用次数、所述第一数据密文的使用期限。
其中,所述计算类型用于指定所述第一数据密文的用法,例如,指定第一数据密文可参与计算的计算类型。所述使用次数用于指定所述第一数据密文的用量,例如,指定第一数据密文可使用的最大次数。所述使用期限用于指定所述第一数据密文的有效期,例如,指定第一数据密文在预设的一段时间内允许使用。
在使用数据提供方的第一数据密文与数据需求方的计算逻辑计算第三匹配指标的过程中,根据第一数据密文的预设使用条件使用该第一数据密文,使得第一数据密文的使用符合数据提供方预设的用法、用量、以及有效期等要求。可以进一步防止数据提供方的数据被不合法地利用,保证使用第一数据密文的合法性和可控性。
在本发明的一种可选实施例中,所述方法还可以包括:记录所述第三匹配指标的计算过程以及所述计算过程中产生的计算结果。
在本发明实施例中,在使用数据提供方的第一数据密文与数据需求方的计算逻辑计算第三匹配指标的过程中,还可以记录所述第三匹配指标的计算过程以及所述计算过程中产生的计算结果。
例如,数据交易平台可以将第三匹配指标的计算过程以及所述计算过程中产生的计算结果记录在安全存储空间,如TEE(Trusted Execution Environment,可信执行环境)中。
由此,本发明实施例可以对第一数据密文的使用过程提供审计功能,通过查询记录的计算过程以及计算过程中产生的计算结果,可以检测在使用第一数据密文的过程中,是否超出了授权范围(如是否使用了未授权的数据密文),是否超出了预设使用条件的范围(如是否超出了第一数据密文的用法、用量、以及有效期等),可以进一步对数据交易平台使用第一数据密文进行合法性约束,提高数据交易平台的安全性和可靠性。
需要说明的是,在本发明实施例中,使用数据提供方的第一数据密文与数据需求方的计算逻辑计算第三匹配指标的计算过程,可以通过调用多方安全计算引擎来实现。
具体地,数据交易平台可以向任务管理平台下发计算任务,如该计算任务为计算第一数据密文与计算逻辑之间的第三匹配指标。所述任务管理平台可以为单台计算机设备、或基于云架构的服务系统等。所述任务管理平台按照多方安全计算引擎中计算节点的数量,将计算任务转换成由多方安全计算引擎中各计算节点协同执行的多方计算指令,并发送给多方安全计算引擎。可选地,所述多方安全计算引擎中包含四个计算节点。
所述多方计算指令可以包括:为采用多方计算的方式执行计算任务而指示多方安全计算引擎中四个计算节点进行本地计算的指令,计算节点之间执行数据交互的指令,获取输入数据的指令,生成随机数的指令等。所述多方计算指令还可以包含指示计算节点执行本地计算和数据交互的计算角色的指令。所述多方计算指令可以由计算机程序语言来描述,或者由机器语言来描述。
多方安全计算引擎的各计算节点可以获取对应计算任务的完整的多方计算指令,即获取包含有每个计算节点执行的计算指令。为使每个计算节点协同执行,各计算节点可以获取所述多方计算指令及计算角色,以使各计算节点按照所分别获取的计算角色执行所述多方计算指令。其中,所述计算角色用于标记所述多方计算指令中各执行本地计算的计算节点,以及标记所述多方计算指令中执行计算节点之间的交互时数据发送方和数据接收方等。
按照所述多方计算指令,所述计算引擎中至少部分计算节点分别对各自所获取的数据密文进行本地计算,和/或将本地计算所产生的中间数据进行交互,得到经由各计算节点分别持有的计算结果。
根据各计算节点的计算结果可以得到所述计算任务的计算结果,且在计算过程中,参与计算的数据包含密文数据,且计算过程中产生的中间结果以及最终的计算结果也可以为密文数据,不会暴露数据明文,可以保证数据的隐私安全性。
在本发明的一种可选实施例中,所述方法还可以包括:对所述第一数据密文进行基于密文的预计算,并缓存所述预计算得到的匹配指标;
所述计算所述第一数据密文与所述计算逻辑之间的第三匹配指标,包括:
步骤S71、若所述数据需求中的计算逻辑与所述预计算的计算逻辑相匹配,则获取所述预计算对应的缓存匹配指标;
步骤S72、将所述缓存匹配指标作为所述第一数据密文与所述计算逻辑之间的第三匹配指标。
本发明实施例可以对数据交易平台中已接入的数据提供方的第一数据密文进行预计算,并缓存预计算得到的匹配指标。其中,所述预计算使用的计算逻辑可以包括通用计算逻辑以及数据需求方的历史计算逻辑。所述通用计算逻辑可以包括基础计算和模型预测。所述历史计算逻辑为数据需求方提交过的历史数据需求中的历史计算逻辑。
例如,数据交易平台可以预先对已接入的数据提供方的第一数据密文进行加、减、乘、除、求平均等基础计算,或者数据交易平台可以利用已接入的数据提供方的第一数据密文进行逻辑回归、SVM(Support Vector Machine,支持向量机)、经典的神经网络的模型训练;或者数据交易平台可以对已接入的数据提供方的第一数据密文按照数据需求方提交的历史数据需求中的历史计算逻辑进行计算等,并且根据计算结果得到预计算的第三匹配指标,以及缓存该预计算的第三匹配指标,得到所述预计算对应的缓存匹配指标。
这样,在数据交易平台接收到数据需求方提交的数据需求时,可以查询数据需求方提交的数据需求中的计算逻辑是否与所述预计算的计算逻辑相匹配,若相匹配,则可以直接获取所述预计算对应的缓存匹配指标,将所述缓存匹配指标作为所述第一数据密文与所述计算逻辑之间的第三匹配指标,以提高计算速度。
可选地,在实际对数据需求方进行数据推荐的过程中,每次计算当前数据提供方的第一数据密文与当前数据需求方的计算逻辑之间的第三匹配指标之后,还可以缓存当前计算得到的第三匹配指标,以供下次计算第三匹配指标之前进行查询,如果已缓存的数据中存在与当前计算逻辑相同的计算逻辑计算得到的第三匹配指标,则可以直接使用已缓存的第三匹配指标,进而可以减少计算第三匹配指标所需的计算量,可以提高计算效率。
在计算得到数据需求方提交的数据需求与数据提供方提供的接入数据之间的匹配度之后,数据交易平台可以从已接入的数据提供方的接入数据中,选择匹配度最高的k(k为大于或等于1的正整数)个接入数据作为目标接入数据,并且向数据需求方输出该k个目标接入数据的推荐信息。所述推荐信息可以包括目标接入数据的描述信息,如目标接入数据的文本描述、格式样例等。
具体地,数据交易平台可以向数据需求方输出所述k个目标接入数据的推荐信息,并且按照匹配度从高到低的顺序对所述k个目标接入数据的推荐信息进行排序展示,可选地,还可以在展示k个目标接入数据的推荐信息的同时显示各目标接入数据对应的匹配度。
在本发明的一个可选实施例中,所述确定符合匹配条件的目标接入数据之后,所述方法还可以包括:若所述目标接入数据的数据量小于第一阈值,则向所述数据需求方输出第一建议信息。
在对数据需求方提交的数据需求与数据提供方提供的接入数据进行匹配,计算得到匹配度之后,如果符合匹配条件的目标接入数据的数据量小于第一阈值,说明根据当前的数据需求描述能够检索到的匹配数据比较少。此时,可以向数据需求方输出第一建议信息,以扩大能够检索到的匹配数据。
例如,数据需求方的数据需求中的第一描述信息包括银行领域,而数据交易平台检索到关于银行领域的数据较少,但是关于第三方支付领域的相关数据较多,则输出的第一建议信息可以包括向数据需求方推荐将其第一描述信息中的应用领域修改为第三方支付领域并重新进行检索的建议,以使该数据需求方在重新检索之后可以获得更多的相匹配的推荐数据。
在本发明的一个可选实施例中,所述方法还可以包括:向曝光率小于第二阈值的数据提供方输出第二建议信息。
在实际应用中,如果某个数据提供方的数据的曝光率小于第二阈值,说明该数据提供方的数据被推荐的次数较少,有可能该数据提供方的数据中存在不合理的数据信息,此时,可以向该数据提供方输出第二建议信息,以提高该数据提供方的数据的曝光率。
例如,对于某个曝光率小于第二阈值的数据提供方,其接入数据中第二格式样例中收入字段的格式为整数,而数据需求方提交的数据需求中第一格式样例中收入字段的格式通常为浮点数,则可以向该数据提供方输出第二建议信息,该第二建议信息可以包括向该数据提供方推荐将其第二格式样例中的收入字段的数据格式修改为浮点数的建议,以使该数据提供方在修改第二格式样例之后可以获得更高的曝光率。
需要说明的是,上述第一阈值和第二阈值可以根据实际应用场景灵活设置,例如第一阈值和第二阈值可以为较小的数值,如,第一阈值可以为3,第二阈值可以为5%等。本发明实施例对第一阈值和第二阈值的具体取值不加以限制。
综上,通过本发明实施例,数据交易平台可以接收数据需求方提交的数据需求,并且根据所述数据需求,基于密文对接入数据进行检索,确定符合匹配条件的目标接入数据;进而可以向所述数据需求方输出所述目标接入数据的推荐信息。其中,所述接入数据包括密文数据,所述数据交易平台可用于基于数据密文交易数据的使用权,并且可以在密文基础上,向数据需求方推荐符合其需求的数据提供方的数据推荐信息,在提高数据需求方获取所需数据的效率以及便利性的基础上,可以保证数据的隐私安全,并有效促进数据使用权交易的成功率。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
装置实施例
参照图2,示出了本发明的一种数据处理装置实施例的结构框图,所述装置可应用于数据交易平台,所述数据交易平台可用于基于数据密文交易数据使用权,所述装置具体可以包括:
需求接收模块201,用于接收数据需求方提交的数据需求;
数据检索模块202,用于根据所述数据需求,基于密文对接入数据进行检索,确定符合匹配条件的目标接入数据;其中,所述接入数据包括密文数据;
数据推荐模块203,用于向所述数据需求方输出所述目标接入数据的推荐信息。
可选地,所述数据需求可以包括:第一描述信息、第一格式样例、计算逻辑中的至少一种;其中,所述计算逻辑包括基础计算、模型预测、业务计算中的至少一种;
所述接入数据可以包括:第二描述信息、第二格式样例、第一数据密文中的至少一种;其中,所述第一数据密文包括数据提供方提供的抽样数据密文或全量数据密文。
可选地,所述数据检索模块202,具体可以包括:
匹配度计算子模块,用于计算所述数据需求与所述接入数据之间的匹配度;
目标确定子模块,用于根据所述匹配度,确定符合匹配条件的目标接入数据。
可选地,所述匹配度计算子模块,可以包括以下至少一个:
第一计算单元,用于计算所述第一描述信息和所述第二描述信息之间的第一匹配指标;
第二计算单元,用于计算所述第一格式样例和所述第二格式样例之间的第二匹配指标;
第三计算单元,用于计算所述第一数据密文与所述计算逻辑之间的第三匹配指标;
第四计算单元,用于根据所述第一匹配指标、所述第二匹配指标、以及所述第三匹配指标中的至少一个,计算所述数据需求与所述接入数据之间的匹配度。
可选地,所述第一计算单元,具体可以包括:
语义分析子单元,用于分别对所述第一描述信息和所述第二描述信息进行语义分析,得到所述第一描述信息对应的第一关键词序列,以及所述第二描述信息对应的第二关键词序列;
第一匹配子单元,用于对所述第一关键词序列与所述第二关键词序列进行匹配,得到第一匹配指标。
可选地,所述第二计算单元,具体可以包括:
特征提取子单元,用于提取所述第一格式样例的第一格式特征,以及所述第二格式样例的第二格式特征;
第二匹配子单元,用于对所述第一格式特征和所述第二格式特征进行匹配,得到第二匹配指标。
可选地,所述计算逻辑包括模型预测,所述第三计算单元,具体可以包括:
模型训练子单元,用于根据所述第一数据密文进行基于密文的模型训练,得到目标模型;
模型测试子单元,用于基于预设测试集,对所述目标模型进行测试,得到所述目标模型的预测准确率;
第三匹配子单元,用于根据所述预测准确率,计算第三匹配指标。
可选地,所述数据需求中还可以包括:第二数据密文,所述第二数据密文包括所述数据需求方提供的抽样数据密文或全量数据密文;
所述第三计算单元,具体用于根据所述计算逻辑,对所述第一数据密文和所述第二数据密文进行基于密文的计算,根据计算结果得到第三匹配指标。
可选地,所述第三计算单元,具体可以包括:
授权判断子单元,用于判断所述第一数据密文是否已授权;
授权获取子单元,用于若所述第一数据密文未授权,则向所述第一数据密文对应的数据提供方申请授权,得到已授权的第一数据密文;
第一计算子单元,用于计算所述已授权的第一数据密文与所述计算逻辑之间的第三匹配指标。
可选地,所述装置还可以包括:
审计模块,用于记录所述第三匹配指标的计算过程以及所述计算过程中产生的计算结果。
可选地,所述第三计算单元,具体可以包括:
条件获取子单元,用于获取所述第一数据密文的预设使用条件;
第二计算子单元,用于根据所述预设使用条件,计算所述第一数据密文与所述计算逻辑之间的第三匹配指标,所述预设使用条件包括如下任意一项或多项:所述第一数据密文的计算类型、所述第一数据密文的使用次数、所述第一数据密文的使用期限。
可选地,所述装置还可以包括:
预计算模块,用于对所述第一数据密文进行基于密文的计算,并缓存计算得到的匹配指标;
所述第三计算单元,具体可以包括:
逻辑匹配子单元,用于若所述数据需求中的计算逻辑与所述预计算的计算逻辑相匹配,则获取所述预计算对应的缓存匹配指标;
指标确定子单元,用于将所述缓存匹配指标作为所述第一数据密文与所述计算逻辑之间的第三匹配指标。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本发明实施例提供了一种用于数据处理的装置,可应用于数据交易平台,所述数据交易平台可用于基于数据密文交易数据使用权,所述装置包括有存储器,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令:接收数据需求方提交的数据需求;根据所述数据需求,基于密文对接入数据进行检索,确定符合匹配条件的目标接入数据;其中,所述接入数据包括密文数据;向所述数据需求方输出所述目标接入数据的推荐信息。
图3是根据一示例性实施例示出的一种用于数据处理的装置800的框图。例如,装置800可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图3,装置800可以包括以下一个或多个组件:处理组件802,存储器804,电源组件806,多媒体组件808,音频组件810,输入/输出(I/O)的接口812,传感器组件814,以及通信组件816。
处理组件802通常控制装置800的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理元件802可以包括一个或多个处理器820来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件802可以包括一个或多个模块,便于处理组件802和其他组件之间的交互。例如,处理组件802可以包括多媒体模块,以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件806为装置800的各种组件提供电力。电源组件806可以包括电源管理系统,一个或多个电源,及其他与为装置800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如,音频组件810包括一个麦克风(MIC),当装置800处于操作模式,如呼叫模式、记录模式和语音信息处理模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中,音频组件810还包括一个扬声器,用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器,用于为装置800提供各个方面的状态评估。例如,传感器组件814可以检测到设备800的打开/关闭状态,组件的相对定位,例如所述组件为装置800的显示器和小键盘,传感器组件814还可以检测装置800或装置800一个组件的位置改变,用户与装置800接触的存在或不存在,装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件814还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件816还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频信息处理(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器804,上述指令可由装置800的处理器820执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
图4是本发明的一些实施例中服务器的结构示意图。该服务器1900可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(central processingunits,CPU)1922(例如,一个或一个以上处理器)和存储器1932,一个或一个以上存储应用程序1942或数据1944的存储介质1930(例如一个或一个以上海量存储设备)。其中,存储器1932和存储介质1930可以是短暂存储或持久存储。存储在存储介质1930的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器1922可以设置为与存储介质1930通信,在服务器1900上执行存储介质1930中的一系列指令操作。
服务器1900还可以包括一个或一个以上电源1926,一个或一个以上有线或无线网络接口1950,一个或一个以上输入输出接口1958,一个或一个以上键盘1956,和/或,一个或一个以上操作系统1941,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
一种非临时性计算机可读存储介质,当所述存储介质中的指令由装置(服务器或者终端)的处理器执行时,使得装置能够执行图1所示的数据处理方法。
一种非临时性计算机可读存储介质,当所述存储介质中的指令由装置(服务器或者终端)的处理器执行时,使得装置能够执行一种数据处理方法,所述方法包括:接收数据需求方提交的数据需求;根据所述数据需求,基于密文对接入数据进行检索,确定符合匹配条件的目标接入数据;其中,所述接入数据包括密文数据;向所述数据需求方输出所述目标接入数据的推荐信息。
本发明实施例公开了A1、一种数据处理方法,应用于数据交易平台,所述数据交易平台用于基于数据密文交易数据使用权,包括:
接收数据需求方提交的数据需求;
根据所述数据需求,基于密文对接入数据进行检索,确定符合匹配条件的目标接入数据;其中,所述接入数据包括密文数据;
向所述数据需求方输出所述目标接入数据的推荐信息。
A2、根据A1所述的方法,所述数据需求包括:第一描述信息、第一格式样例、计算逻辑中的至少一种;其中,所述计算逻辑包括基础计算、模型预测、业务计算中的至少一种;
所述接入数据包括:第二描述信息、第二格式样例、第一数据密文中的至少一种;其中,所述第一数据密文包括数据提供方提供的抽样数据密文或全量数据密文。
A3、根据A2所述的方法,所述根据所述数据需求,基于密文对接入数据进行检索,确定符合匹配条件的目标接入数据,包括:
计算所述数据需求与所述接入数据之间的匹配度;
根据所述匹配度,确定符合匹配条件的目标接入数据。
A4、根据A3所述的方法,所述计算所述数据需求与所述接入数据之间的匹配度,包括以下至少一个:
计算所述第一描述信息和所述第二描述信息之间的第一匹配指标;
计算所述第一格式样例和所述第二格式样例之间的第二匹配指标;
计算所述第一数据密文与所述计算逻辑之间的第三匹配指标;
根据所述第一匹配指标、所述第二匹配指标、以及所述第三匹配指标中的至少一个,计算所述数据需求与所述接入数据之间的匹配度。
A8、根据A4所述的方法,所述数据需求中还包括:第二数据密文,所述第二数据密文包括所述数据需求方提供的抽样数据密文或全量数据密文;
所述计算所述第一数据密文与所述计算逻辑之间的第三匹配指标,包括:
根据所述计算逻辑,对所述第一数据密文和所述第二数据密文进行基于密文的计算,根据计算结果得到第三匹配指标。
A9、根据A4所述的方法,所述计算所述第一数据密文与所述计算逻辑之间的第三匹配指标,包括:
判断所述第一数据密文是否已授权;
若所述第一数据密文未授权,则向所述第一数据密文对应的数据提供方申请授权,得到已授权的第一数据密文;
计算所述已授权的第一数据密文与所述计算逻辑之间的第三匹配指标。
A10、根据A4所述的方法,所述计算所述第一数据密文与所述计算逻辑之间的第三匹配指标,包括:
获取所述第一数据密文的预设使用条件;
根据所述预设使用条件,计算所述第一数据密文与所述计算逻辑之间的第三匹配指标,所述预设使用条件包括如下任意一项或多项:所述第一数据密文的计算类型、所述第一数据密文的使用次数、所述第一数据密文的使用期限。
A11、根据A4所述的方法,所述方法还包括:
记录所述第三匹配指标的计算过程以及所述计算过程中产生的计算结果。
A12、根据A4所述的方法,所述方法还包括:
对所述第一数据密文进行基于密文的计算,并缓存计算得到的匹配指标;
所述计算所述第一数据密文与所述计算逻辑之间的第三匹配指标,包括:
若所述数据需求中的计算逻辑与所述预计算的计算逻辑相匹配,则获取所述预计算对应的缓存匹配指标;
将所述缓存匹配指标作为所述第一数据密文与所述计算逻辑之间的第三匹配指标。
本发明实施例公开了B13、一种数据处理装置,应用于数据交易平台,所述数据交易平台用于基于数据密文交易数据使用权,包括:
需求接收模块,用于接收数据需求方提交的数据需求;
数据检索模块,用于根据所述数据需求,基于密文对接入数据进行检索,确定符合匹配条件的目标接入数据;其中,所述接入数据包括密文数据;
数据推荐模块,用于向所述数据需求方输出所述目标接入数据的推荐信息。
B14、根据B13所述的装置,所述数据需求包括:第一描述信息、第一格式样例、计算逻辑中的至少一种;其中,所述计算逻辑包括基础计算、模型预测、业务计算中的至少一种;
所述接入数据包括:第二描述信息、第二格式样例、第一数据密文中的至少一种;其中,所述第一数据密文包括数据提供方提供的抽样数据密文或全量数据密文。
B15、根据B14所述的装置,所述数据检索模块,包括:
匹配度计算子模块,用于计算所述数据需求与所述接入数据之间的匹配度;
目标确定子模块,用于根据所述匹配度,确定符合匹配条件的目标接入数据。
B16、根据B15所述的装置,所述匹配度计算子模块,包括以下至少一个:
第一计算单元,用于计算所述第一描述信息和所述第二描述信息之间的第一匹配指标;
第二计算单元,用于计算所述第一格式样例和所述第二格式样例之间的第二匹配指标;
第三计算单元,用于计算所述第一数据密文与所述计算逻辑之间的第三匹配指标;
第四计算单元,用于根据所述第一匹配指标、所述第二匹配指标、以及所述第三匹配指标中的至少一个,计算所述数据需求与所述接入数据之间的匹配度。
B17、根据B16所述的装置,所述第一计算单元,包括:
语义分析子单元,用于分别对所述第一描述信息和所述第二描述信息进行语义分析,得到所述第一描述信息对应的第一关键词序列,以及所述第二描述信息对应的第二关键词序列;
第一匹配子单元,用于对所述第一关键词序列与所述第二关键词序列进行匹配,得到第一匹配指标。
B18、根据B16所述的装置,所述第二计算单元,包括:
特征提取子单元,用于提取所述第一格式样例的第一格式特征,以及所述第二格式样例的第二格式特征;
第二匹配子单元,用于对所述第一格式特征和所述第二格式特征进行匹配,得到第二匹配指标。
B19、根据B16所述的装置,所述计算逻辑包括模型预测,所述第三计算单元,包括:
模型训练子单元,用于根据所述第一数据密文进行基于密文的模型训练,得到目标模型;
模型测试子单元,用于基于预设测试集,对所述目标模型进行测试,得到所述目标模型的预测准确率;
第三匹配子单元,用于根据所述预测准确率,计算第三匹配指标。
B20、根据B16所述的装置,所述数据需求中还包括:第二数据密文,所述第二数据密文包括所述数据需求方提供的抽样数据密文或全量数据密文;
所述第三计算单元,具体用于根据所述计算逻辑,对所述第一数据密文和所述第二数据密文进行基于密文的计算,根据计算结果得到第三匹配指标。
B21、根据B16所述的装置,所述第三计算单元,包括:
授权判断子单元,用于判断所述第一数据密文是否已授权;
授权获取子单元,用于若所述第一数据密文未授权,则向所述第一数据密文对应的数据提供方申请授权,得到已授权的第一数据密文;
第一计算子单元,用于计算所述已授权的第一数据密文与所述计算逻辑之间的第三匹配指标。
B22、根据B16所述的装置,所述第三计算单元,包括:
条件获取子单元,用于获取所述第一数据密文的预设使用条件;
第二计算子单元,用于根据所述预设使用条件,计算所述第一数据密文与所述计算逻辑之间的第三匹配指标,所述预设使用条件包括如下任意一项或多项:所述第一数据密文的计算类型、所述第一数据密文的使用次数、所述第一数据密文的使用期限。
B23、根据B16所述的装置,所述装置还包括:
审计模块,用于记录所述第三匹配指标的计算过程以及所述计算过程中产生的计算结果。
B24、根据B16所述的装置,所述装置还包括:
预计算模块,用于对所述第一数据密文进行基于密文的计算,并缓存计算得到的匹配指标;
所述第三计算单元,包括:
逻辑匹配子单元,用于若所述数据需求中的计算逻辑与所述预计算的计算逻辑相匹配,则获取所述预计算对应的缓存匹配指标;
指标确定子单元,用于将所述缓存匹配指标作为所述第一数据密文与所述计算逻辑之间的第三匹配指标。
本发明实施例公开了C25、一种用于数据处理的装置,应用于数据交易平台,所述数据交易平台用于基于数据密文交易数据使用权,包括有存储器,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令:
接收数据需求方提交的数据需求;
根据所述数据需求,基于密文对接入数据进行检索,确定符合匹配条件的目标接入数据;其中,所述接入数据包括密文数据;
向所述数据需求方输出所述目标接入数据的推荐信息。
C26、根据C25所述的装置,所述数据需求包括:第一描述信息、第一格式样例、计算逻辑中的至少一种;其中,所述计算逻辑包括基础计算、模型预测、业务计算中的至少一种;
所述接入数据包括:第二描述信息、第二格式样例、第一数据密文中的至少一种;其中,所述第一数据密文包括数据提供方提供的抽样数据密文或全量数据密文。
C27、根据C26所述的装置,所述根据所述数据需求,基于密文对接入数据进行检索,确定符合匹配条件的目标接入数据,包括:
计算所述数据需求与所述接入数据之间的匹配度;
根据所述匹配度,确定符合匹配条件的目标接入数据。
C28、根据C27所述的装置,所述计算所述数据需求与所述接入数据之间的匹配度,包括以下至少一个:
计算所述第一描述信息和所述第二描述信息之间的第一匹配指标;
计算所述第一格式样例和所述第二格式样例之间的第二匹配指标;
计算所述第一数据密文与所述计算逻辑之间的第三匹配指标;
根据所述第一匹配指标、所述第二匹配指标、以及所述第三匹配指标中的至少一个,计算所述数据需求与所述接入数据之间的匹配度。
C29、根据C28所述的装置,所述计算所述第一描述信息和所述第二描述信息之间的第一匹配指标,包括:
分别对所述第一描述信息和所述第二描述信息进行语义分析,得到所述第一描述信息对应的第一关键词序列,以及所述第二描述信息对应的第二关键词序列;
对所述第一关键词序列与所述第二关键词序列进行匹配,得到第一匹配指标。
C30、根据C28所述的装置,所述计算所述第一格式样例和所述第二格式样例之间的第二匹配指标,包括:
提取所述第一格式样例的第一格式特征,以及所述第二格式样例的第二格式特征;
对所述第一格式特征和所述第二格式特征进行匹配,得到第二匹配指标。
C31、根据C28所述的装置,所述计算逻辑包括模型预测,所述计算所述第一数据密文与所述计算逻辑之间的第三匹配指标,包括:
根据所述第一数据密文进行基于密文的模型训练,得到目标模型;
基于预设测试集,对所述目标模型进行测试,得到所述目标模型的预测准确率;
根据所述预测准确率,计算第三匹配指标。
C32、根据C28所述的装置,所述数据需求中还包括:第二数据密文,所述第二数据密文包括所述数据需求方提供的抽样数据密文或全量数据密文;
所述计算所述第一数据密文与所述计算逻辑之间的第三匹配指标,包括:
根据所述计算逻辑,对所述第一数据密文和所述第二数据密文进行基于密文的计算,根据计算结果得到第三匹配指标。
C33、根据C28所述的装置,所述计算所述第一数据密文与所述计算逻辑之间的第三匹配指标,包括:
判断所述第一数据密文是否已授权;
若所述第一数据密文未授权,则向所述第一数据密文对应的数据提供方申请授权,得到已授权的第一数据密文;
计算所述已授权的第一数据密文与所述计算逻辑之间的第三匹配指标。
C34、根据C28所述的装置,所述计算所述第一数据密文与所述计算逻辑之间的第三匹配指标,包括:
获取所述第一数据密文的预设使用条件;
根据所述预设使用条件,计算所述第一数据密文与所述计算逻辑之间的第三匹配指标,所述预设使用条件包括如下任意一项或多项:所述第一数据密文的计算类型、所述第一数据密文的使用次数、所述第一数据密文的使用期限。
C35、根据C28所述的装置,所述装置还包括:
记录所述第三匹配指标的计算过程以及所述计算过程中产生的计算结果。
C36、根据C28所述的装置,所述装置还经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令:
对所述第一数据密文进行基于密文的计算,并缓存计算得到的匹配指标;
所述计算所述第一数据密文与所述计算逻辑之间的第三匹配指标,包括:
若所述数据需求中的计算逻辑与所述预计算的计算逻辑相匹配,则获取所述预计算对应的缓存匹配指标;
将所述缓存匹配指标作为所述第一数据密文与所述计算逻辑之间的第三匹配指标。
本发明实施例公开了D37、一种机器可读介质,其上存储有指令,当由一个或多个处理器执行时,使得装置执行如A1至A12中一个或多个所述的数据处理方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
以上对本发明所提供的一种数据处理方法、一种数据处理装置和一种用于数据处理的装置,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (28)
1.一种数据处理方法,其特征在于,应用于数据交易平台,所述数据交易平台用于基于数据密文交易数据使用权,所述方法包括:
接收数据需求方提交的数据需求;
根据所述数据需求,基于密文对接入数据进行检索,确定符合匹配条件的目标接入数据;其中,所述接入数据包括密文数据;
向所述数据需求方输出所述目标接入数据的推荐信息;所述目标接入数据来自一个或多个数据提供方;
所述数据需求包括:第一描述信息、第一格式样例、以及计算逻辑;其中,所述计算逻辑包括基础计算、模型预测、业务计算中的至少一种;
所述接入数据包括:第二描述信息、第二格式样例、以及第一数据密文;其中,所述第一数据密文包括数据提供方提供的抽样数据密文或全量数据密文;
所述根据所述数据需求,基于密文对接入数据进行检索,确定符合匹配条件的目标接入数据,包括:
计算所述数据需求与所述接入数据之间的匹配度;所述匹配度为所述数据交易平台通过调用多方安全计算引擎,在密文基础上计算得到;
根据所述匹配度,确定符合匹配条件的目标接入数据;
所述计算所述数据需求与所述接入数据之间的匹配度,包括:
计算所述第一描述信息和所述第二描述信息之间的第一匹配指标;
计算所述第一格式样例和所述第二格式样例之间的第二匹配指标;
计算所述第一数据密文与所述计算逻辑之间的第三匹配指标;
根据所述第一匹配指标、所述第二匹配指标、以及所述第三匹配指标,计算所述数据需求与所述接入数据之间的匹配度。
2.根据权利要求1所述的方法,其特征在于,所述计算所述第一描述信息和所述第二描述信息之间的第一匹配指标,包括:
分别对所述第一描述信息和所述第二描述信息进行语义分析,得到所述第一描述信息对应的第一关键词序列,以及所述第二描述信息对应的第二关键词序列;
对所述第一关键词序列与所述第二关键词序列进行匹配,得到第一匹配指标。
3.根据权利要求1所述的方法,其特征在于,所述计算所述第一格式样例和所述第二格式样例之间的第二匹配指标,包括:
提取所述第一格式样例的第一格式特征,以及所述第二格式样例的第二格式特征;
对所述第一格式特征和所述第二格式特征进行匹配,得到第二匹配指标。
4.根据权利要求1所述的方法,其特征在于,所述计算逻辑包括模型预测,所述计算所述第一数据密文与所述计算逻辑之间的第三匹配指标,包括:
根据所述第一数据密文进行基于密文的模型训练,得到目标模型;
基于预设测试集,对所述目标模型进行测试,得到所述目标模型的预测准确率;
根据所述预测准确率,计算第三匹配指标。
5.根据权利要求1所述的方法,其特征在于,所述数据需求中还包括:第二数据密文,所述第二数据密文包括所述数据需求方提供的抽样数据密文或全量数据密文;
所述计算所述第一数据密文与所述计算逻辑之间的第三匹配指标,包括:
根据所述计算逻辑,对所述第一数据密文和所述第二数据密文进行基于密文的计算,根据计算结果得到第三匹配指标。
6.根据权利要求1所述的方法,其特征在于,所述计算所述第一数据密文与所述计算逻辑之间的第三匹配指标,包括:
判断所述第一数据密文是否已授权;
若所述第一数据密文未授权,则向所述第一数据密文对应的数据提供方申请授权,得到已授权的第一数据密文;
计算所述已授权的第一数据密文与所述计算逻辑之间的第三匹配指标。
7.根据权利要求1所述的方法,其特征在于,所述计算所述第一数据密文与所述计算逻辑之间的第三匹配指标,包括:
获取所述第一数据密文的预设使用条件;
根据所述预设使用条件,计算所述第一数据密文与所述计算逻辑之间的第三匹配指标,所述预设使用条件包括如下任意一项或多项:所述第一数据密文的计算类型、所述第一数据密文的使用次数、所述第一数据密文的使用期限。
8.根据权利要求1所述的方法,其特征在于,所述方法还包括:
记录所述第三匹配指标的计算过程以及所述计算过程中产生的计算结果。
9.根据权利要求1所述的方法,其特征在于,所述方法还包括:
对所述第一数据密文进行基于密文的预计算,并缓存所述预计算得到的匹配指标;
所述计算所述第一数据密文与所述计算逻辑之间的第三匹配指标,包括:
若所述数据需求中的计算逻辑与所述预计算的计算逻辑相匹配,则获取所述预计算对应的缓存匹配指标;
将所述缓存匹配指标作为所述第一数据密文与所述计算逻辑之间的第三匹配指标。
10.一种数据处理装置,其特征在于,应用于数据交易平台,所述数据交易平台用于基于数据密文交易数据使用权,所述装置包括:
需求接收模块,用于接收数据需求方提交的数据需求;
数据检索模块,用于根据所述数据需求,基于密文对接入数据进行检索,确定符合匹配条件的目标接入数据;其中,所述接入数据包括密文数据;
数据推荐模块,用于向所述数据需求方输出所述目标接入数据的推荐信息;所述目标接入数据来自一个或多个数据提供方;
所述数据需求包括:第一描述信息、第一格式样例、以及计算逻辑;其中,所述计算逻辑包括基础计算、模型预测、业务计算中的至少一种;
所述接入数据包括:第二描述信息、第二格式样例、以及第一数据密文;其中,所述第一数据密文包括数据提供方提供的抽样数据密文或全量数据密文;
所述数据检索模块,包括:
匹配度计算子模块,用于计算所述数据需求与所述接入数据之间的匹配度;所述匹配度为所述数据交易平台通过调用多方安全计算引擎,在密文基础上计算得到;
目标确定子模块,用于根据所述匹配度,确定符合匹配条件的目标接入数据;
所述匹配度计算子模块,包括:
第一计算单元,用于计算所述第一描述信息和所述第二描述信息之间的第一匹配指标;
第二计算单元,用于计算所述第一格式样例和所述第二格式样例之间的第二匹配指标;
第三计算单元,用于计算所述第一数据密文与所述计算逻辑之间的第三匹配指标;
第四计算单元,用于根据所述第一匹配指标、所述第二匹配指标、以及所述第三匹配指标,计算所述数据需求与所述接入数据之间的匹配度。
11.根据权利要求10所述的装置,其特征在于,所述第一计算单元,包括:
语义分析子单元,用于分别对所述第一描述信息和所述第二描述信息进行语义分析,得到所述第一描述信息对应的第一关键词序列,以及所述第二描述信息对应的第二关键词序列;
第一匹配子单元,用于对所述第一关键词序列与所述第二关键词序列进行匹配,得到第一匹配指标。
12.根据权利要求10所述的装置,其特征在于,所述第二计算单元,包括:
特征提取子单元,用于提取所述第一格式样例的第一格式特征,以及所述第二格式样例的第二格式特征;
第二匹配子单元,用于对所述第一格式特征和所述第二格式特征进行匹配,得到第二匹配指标。
13.根据权利要求10所述的装置,其特征在于,所述计算逻辑包括模型预测,所述第三计算单元,包括:
模型训练子单元,用于根据所述第一数据密文进行基于密文的模型训练,得到目标模型;
模型测试子单元,用于基于预设测试集,对所述目标模型进行测试,得到所述目标模型的预测准确率;
第三匹配子单元,用于根据所述预测准确率,计算第三匹配指标。
14.根据权利要求10所述的装置,其特征在于,所述数据需求中还包括:第二数据密文,所述第二数据密文包括所述数据需求方提供的抽样数据密文或全量数据密文;
所述第三计算单元,具体用于根据所述计算逻辑,对所述第一数据密文和所述第二数据密文进行基于密文的计算,根据计算结果得到第三匹配指标。
15.根据权利要求10所述的装置,其特征在于,所述第三计算单元,包括:
授权判断子单元,用于判断所述第一数据密文是否已授权;
授权获取子单元,用于若所述第一数据密文未授权,则向所述第一数据密文对应的数据提供方申请授权,得到已授权的第一数据密文;
第一计算子单元,用于计算所述已授权的第一数据密文与所述计算逻辑之间的第三匹配指标。
16.根据权利要求10所述的装置,其特征在于,所述第三计算单元,包括:
条件获取子单元,用于获取所述第一数据密文的预设使用条件;
第二计算子单元,用于根据所述预设使用条件,计算所述第一数据密文与所述计算逻辑之间的第三匹配指标,所述预设使用条件包括如下任意一项或多项:所述第一数据密文的计算类型、所述第一数据密文的使用次数、所述第一数据密文的使用期限。
17.根据权利要求10所述的装置,其特征在于,所述装置还包括:
审计模块,用于记录所述第三匹配指标的计算过程以及所述计算过程中产生的计算结果。
18.根据权利要求10所述的装置,其特征在于,所述装置还包括:
预计算模块,用于对所述第一数据密文进行基于密文的预计算,并缓存所述预计算得到的匹配指标;
所述第三计算单元,包括:
逻辑匹配子单元,用于若所述数据需求中的计算逻辑与所述预计算的计算逻辑相匹配,则获取所述预计算对应的缓存匹配指标;
指标确定子单元,用于将所述缓存匹配指标作为所述第一数据密文与所述计算逻辑之间的第三匹配指标。
19.一种用于数据处理的装置,其特征在于,应用于数据交易平台,所述数据交易平台用于基于数据密文交易数据使用权,所述装置包括有存储器,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令:
接收数据需求方提交的数据需求;
根据所述数据需求,基于密文对接入数据进行检索,确定符合匹配条件的目标接入数据;其中,所述接入数据包括密文数据;
向所述数据需求方输出所述目标接入数据的推荐信息;所述目标接入数据来自一个或多个数据提供方;
所述数据需求包括:第一描述信息、第一格式样例、以及计算逻辑;其中,所述计算逻辑包括基础计算、模型预测、业务计算中的至少一种;
所述接入数据包括:第二描述信息、第二格式样例、以及第一数据密文;其中,所述第一数据密文包括数据提供方提供的抽样数据密文或全量数据密文;
所述根据所述数据需求,基于密文对接入数据进行检索,确定符合匹配条件的目标接入数据,包括:
计算所述数据需求与所述接入数据之间的匹配度;所述匹配度为所述数据交易平台通过调用多方安全计算引擎,在密文基础上计算得到;
根据所述匹配度,确定符合匹配条件的目标接入数据;
所述计算所述数据需求与所述接入数据之间的匹配度,包括:
计算所述第一描述信息和所述第二描述信息之间的第一匹配指标;
计算所述第一格式样例和所述第二格式样例之间的第二匹配指标;
计算所述第一数据密文与所述计算逻辑之间的第三匹配指标;
根据所述第一匹配指标、所述第二匹配指标、以及所述第三匹配指标,计算所述数据需求与所述接入数据之间的匹配度。
20.根据权利要求19所述的装置,其特征在于,所述计算所述第一描述信息和所述第二描述信息之间的第一匹配指标,包括:
分别对所述第一描述信息和所述第二描述信息进行语义分析,得到所述第一描述信息对应的第一关键词序列,以及所述第二描述信息对应的第二关键词序列;
对所述第一关键词序列与所述第二关键词序列进行匹配,得到第一匹配指标。
21.根据权利要求19所述的装置,其特征在于,所述计算所述第一格式样例和所述第二格式样例之间的第二匹配指标,包括:
提取所述第一格式样例的第一格式特征,以及所述第二格式样例的第二格式特征;
对所述第一格式特征和所述第二格式特征进行匹配,得到第二匹配指标。
22.根据权利要求19所述的装置,其特征在于,所述计算逻辑包括模型预测,所述计算所述第一数据密文与所述计算逻辑之间的第三匹配指标,包括:
根据所述第一数据密文进行基于密文的模型训练,得到目标模型;
基于预设测试集,对所述目标模型进行测试,得到所述目标模型的预测准确率;
根据所述预测准确率,计算第三匹配指标。
23.根据权利要求19所述的装置,其特征在于,所述数据需求中还包括:第二数据密文,所述第二数据密文包括所述数据需求方提供的抽样数据密文或全量数据密文;
所述计算所述第一数据密文与所述计算逻辑之间的第三匹配指标,包括:
根据所述计算逻辑,对所述第一数据密文和所述第二数据密文进行基于密文的计算,根据计算结果得到第三匹配指标。
24.根据权利要求19所述的装置,其特征在于,所述计算所述第一数据密文与所述计算逻辑之间的第三匹配指标,包括:
判断所述第一数据密文是否已授权;
若所述第一数据密文未授权,则向所述第一数据密文对应的数据提供方申请授权,得到已授权的第一数据密文;
计算所述已授权的第一数据密文与所述计算逻辑之间的第三匹配指标。
25.根据权利要求19所述的装置,其特征在于,所述计算所述第一数据密文与所述计算逻辑之间的第三匹配指标,包括:
获取所述第一数据密文的预设使用条件;
根据所述预设使用条件,计算所述第一数据密文与所述计算逻辑之间的第三匹配指标,所述预设使用条件包括如下任意一项或多项:所述第一数据密文的计算类型、所述第一数据密文的使用次数、所述第一数据密文的使用期限。
26.根据权利要求19所述的装置,其特征在于,所述装置还包括:
记录所述第三匹配指标的计算过程以及所述计算过程中产生的计算结果。
27.根据权利要求19所述的装置,其特征在于,所述装置还经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令:
对所述第一数据密文进行基于密文的预计算,并缓存所述预计算得到的匹配指标;
所述计算所述第一数据密文与所述计算逻辑之间的第三匹配指标,包括:
若所述数据需求中的计算逻辑与所述预计算的计算逻辑相匹配,则获取所述预计算对应的缓存匹配指标;
将所述缓存匹配指标作为所述第一数据密文与所述计算逻辑之间的第三匹配指标。
28.一种机器可读介质,其上存储有指令,当由一个或多个处理器执行时,使得装置执行如权利要求1至9任一所述的数据处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010168211.1A CN111489155B (zh) | 2020-03-11 | 2020-03-11 | 一种数据处理方法、装置和用于数据处理的装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010168211.1A CN111489155B (zh) | 2020-03-11 | 2020-03-11 | 一种数据处理方法、装置和用于数据处理的装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111489155A CN111489155A (zh) | 2020-08-04 |
CN111489155B true CN111489155B (zh) | 2024-04-09 |
Family
ID=71811694
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010168211.1A Active CN111489155B (zh) | 2020-03-11 | 2020-03-11 | 一种数据处理方法、装置和用于数据处理的装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111489155B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112016637B (zh) * | 2020-10-22 | 2021-02-05 | 华控清交信息科技(北京)有限公司 | 分层抽样方法、装置和用于分层抽样的装置 |
CN112685676B (zh) * | 2020-12-30 | 2023-12-15 | 华控清交信息科技(北京)有限公司 | 一种信息推荐方法、装置和电子设备 |
CN112364390A (zh) * | 2021-01-15 | 2021-02-12 | 华控清交信息科技(北京)有限公司 | 一种数据处理方法、装置和用于数据处理的装置 |
CN113722753B (zh) * | 2021-08-25 | 2024-05-10 | 银清科技有限公司 | 基于区块链的隐私数据处理方法、装置及系统 |
CN115225264A (zh) * | 2022-06-17 | 2022-10-21 | 上海富数科技有限公司广州分公司 | 一种安全多方计算方法、装置、电子设备及存储介质 |
CN115563404A (zh) * | 2022-11-09 | 2023-01-03 | 华控清交信息科技(北京)有限公司 | 一种数据产品推荐方法、装置及数据社交网络系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103914541A (zh) * | 2014-04-03 | 2014-07-09 | 小米科技有限责任公司 | 信息搜索的方法及装置 |
CN106909617A (zh) * | 2017-01-13 | 2017-06-30 | 华东师范大学 | 一种基于数据拟合的个性化隐私信息检索方法 |
CN108595506A (zh) * | 2018-03-21 | 2018-09-28 | 上海数据交易中心有限公司 | 需求匹配方法及装置、存储介质、终端 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170032044A1 (en) * | 2006-11-14 | 2017-02-02 | Paul Vincent Hayes | System and Method for Personalized Search While Maintaining Searcher Privacy |
-
2020
- 2020-03-11 CN CN202010168211.1A patent/CN111489155B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103914541A (zh) * | 2014-04-03 | 2014-07-09 | 小米科技有限责任公司 | 信息搜索的方法及装置 |
CN106909617A (zh) * | 2017-01-13 | 2017-06-30 | 华东师范大学 | 一种基于数据拟合的个性化隐私信息检索方法 |
CN108595506A (zh) * | 2018-03-21 | 2018-09-28 | 上海数据交易中心有限公司 | 需求匹配方法及装置、存储介质、终端 |
Also Published As
Publication number | Publication date |
---|---|
CN111489155A (zh) | 2020-08-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111489155B (zh) | 一种数据处理方法、装置和用于数据处理的装置 | |
CN107102746B (zh) | 候选词生成方法、装置以及用于候选词生成的装置 | |
WO2021068635A1 (zh) | 信息处理方法、装置及电子设备 | |
CN113688310B (zh) | 一种内容推荐方法、装置、设备及存储介质 | |
KR102632763B1 (ko) | 판매자들 사이의 경쟁 판매율에 따라 사용 허가를 선별적으로 적용하는 글로벌 이커머스 통합 관리 방법 및 시스템 | |
CN113408668A (zh) | 基于联邦学习系统的决策树构建方法、装置及电子设备 | |
CN112417318A (zh) | 一种兴趣点的状态确定方法、装置、电子设备及介质 | |
CN113836584B (zh) | 分布式隐私保护学习的推荐方法、设备和学习系统 | |
JP2019020996A (ja) | 情報処理装置および信用度算出方法 | |
CN113033717B (zh) | 一种模型生成方法、装置以及用于模型生成的装置 | |
CN113723995A (zh) | 一种确定营销任务的方法和装置 | |
CN113609271B (zh) | 基于知识图谱的业务处理方法、装置、设备及存储介质 | |
CN114298227A (zh) | 文本去重方法、装置、设备及介质 | |
CN112307334A (zh) | 信息推荐方法、信息推荐装置、存储介质与电子设备 | |
CN110069649B (zh) | 图形文件检索方法、装置、设备及计算机可读存储介质 | |
CN112307353B (zh) | 数据的处理方法、装置、电子设备、存储介质 | |
CN117034094B (zh) | 一种账户类型预测方法及账户类型预测装置 | |
US11610402B2 (en) | System and method for crowdsourcing a video summary for creating an enhanced video summary | |
CN116561735B (zh) | 一种基于多认证源的互信认证方法、系统及电子设备 | |
CN112989172B (zh) | 内容推荐方法、装置、计算机设备及存储介质 | |
CN112214387B (zh) | 基于知识图谱的用户操作行为预测方法及装置 | |
CN111814032B (zh) | 冷启动推荐方法、装置及电子设备 | |
CN110110191B (zh) | 搜索处理方法和装置及计算机可读存储介质 | |
CN117574277A (zh) | 基于金融领域知识的稽核方法、系统、电子设备和介质 | |
CN117093731A (zh) | 媒体资源推荐方法、交互行为预测模型训练方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |