CN112307056A - 一种数据处理方法、装置和用于数据处理的装置 - Google Patents
一种数据处理方法、装置和用于数据处理的装置 Download PDFInfo
- Publication number
- CN112307056A CN112307056A CN201910703721.1A CN201910703721A CN112307056A CN 112307056 A CN112307056 A CN 112307056A CN 201910703721 A CN201910703721 A CN 201910703721A CN 112307056 A CN112307056 A CN 112307056A
- Authority
- CN
- China
- Prior art keywords
- data
- privacy
- comparison
- calculation
- ciphertext
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 59
- 238000003672 processing method Methods 0.000 title claims abstract description 15
- 238000000034 method Methods 0.000 claims abstract description 41
- 230000008569 process Effects 0.000 claims abstract description 12
- 238000004364 calculation method Methods 0.000 claims description 141
- 238000000605 extraction Methods 0.000 claims description 29
- 239000012634 fragment Substances 0.000 claims description 24
- 238000012935 Averaging Methods 0.000 claims description 6
- 238000013467 fragmentation Methods 0.000 claims description 6
- 238000006062 fragmentation reaction Methods 0.000 claims description 6
- 239000006185 dispersion Substances 0.000 claims description 4
- 238000004891 communication Methods 0.000 description 11
- 230000003993 interaction Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000007726 management method Methods 0.000 description 6
- 238000004220 aggregation Methods 0.000 description 5
- 230000002776 aggregation Effects 0.000 description 5
- 238000010130 dispersion processing Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
- H04L9/0861—Generation of secret information including derivation or calculation of cryptographic keys or passwords
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Storage Device Security (AREA)
Abstract
本发明实施例提供一种数据处理方法、装置和用于数据处理的装置。其中的方法包括:遍历数据表中在待分组的第一维度上的数据记录,所述数据记录由至少一个字段的密文数据组成,所述密文数据为对所述字段对应的明文数据进行分散处理所得到;将当前数据记录在目标字段对应的第二维度上与比较对象进行隐私比较,得到隐私比较结果;其中,所述比较对象包括:已遍历数据记录,或者,预置条件;根据所述隐私比较结果将所述数据表划分为至少一个分组;其中,同一个分组中的各条数据记录的隐私比较结果相匹配。本发明实施例可以在密文数据基础上,对数据表进行分组,可以保证分组过程中信息的安全性。
Description
技术领域
本发明涉及计算机技术领域,尤其涉及一种数据处理方法、装置和用于数据处理的装置。
背景技术
目前出于信息安全的考虑,对所传输的数据通常会进行加密保护,例如,在各服务器之间、各终端之间、终端与服务器之间传输数据的过程中,将数据加密成密文后对密文进行传输,以防止重要信息泄露,对个人或企业带来损失。
然而目前的加密保护策略通常仅限于数据传输或者数据存储的过程中,在对数据执行分组(group by)等操作时,需要对数据的密文进行解密得到数据的明文,再对明文执行相应的分组操作。这样会带来信息泄露的隐患,无法保证信息安全。
发明内容
本发明实施例提供一种数据处理方法、装置和用于数据处理的装置,可以在密文数据基础上,对数据表进行分组,可以保证分组过程中信息的安全性。
为了解决上述问题,本发明实施例公开了一种数据处理方法,所述方法包括:
遍历数据表中在待分组的第一维度上的数据记录,所述数据记录由至少一个字段的密文数据组成,所述密文数据为对所述字段对应的明文数据进行分散处理所得到;
将当前数据记录在目标字段对应的第二维度上与比较对象进行隐私比较,得到隐私比较结果;其中,所述比较对象包括:已遍历数据记录,或者,预置条件;
根据所述隐私比较结果将所述数据表划分为至少一个分组;其中,同一个分组中的各条数据记录的隐私比较结果相匹配。
另一方面,本发明实施例公开了一种数据处理装置,所述装置包括:
遍历模块,用于遍历数据表中在待分组的第一维度上的数据记录,所述数据记录由至少一个字段的密文数据组成,所述密文数据为对所述字段对应的明文数据进行分散处理所得到;
比较模块,用于将当前数据记录在目标字段对应的第二维度上与比较对象进行隐私比较,得到隐私比较结果;其中,所述比较对象包括:已遍历数据记录,或者,预置条件;
分组模块,用于根据所述隐私比较结果将所述数据表划分为至少一个分组;其中,同一个分组中的各条数据记录的隐私比较结果相匹配。
再一方面,本发明实施例公开了一种用于数据处理的装置,包括有存储器,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令:
遍历数据表中在待分组的第一维度上的数据记录,所述数据记录由至少一个字段的密文数据组成,所述密文数据为对所述字段对应的明文数据进行分散处理所得到;
将当前数据记录在目标字段对应的第二维度上与比较对象进行隐私比较,得到隐私比较结果;其中,所述比较对象包括:已遍历数据记录,或者,预置条件;
根据所述隐私比较结果将所述数据表划分为至少一个分组;其中,同一个分组中的各条数据记录的隐私比较结果相匹配。
又一方面,本发明实施例公开了一种机器可读介质,其上存储有指令,当由一个或多个处理器执行时,使得装置执行如前述一个或多个所述的数据处理方法。
本发明实施例包括以下优点:
本发明实施例通过遍历数据表中在待分组的第一维度上的数据记录,将当前数据记录在目标字段对应的第二维度上与比较对象进行隐私比较,得到隐私比较结果,以及根据所述隐私比较结果将所述数据表划分为至少一个分组,可以对数据表进行分组。由于所述数据记录由至少一个字段的密文数据组成,所述密文数据为对所述字段对应的明文数据进行分散处理所得到,本发明实施例数据表的分组操作转换为对密文数据的隐私比较操作,在比较过程中,数据均以密文形式存在,不会暴露数据明文,可以保证信息的安全性。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明的一种数据处理方法实施例的步骤流程图;
图2是本发明的一种数据处理装置实施例的结构框图;
图3是本发明的一种用于数据处理的装置800的框图;及
图4是本发明的一些实施例中服务器的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
方法实施例
参照图1,示出了本发明的一种数据处理方法实施例的步骤流程图,具体可以包括如下步骤:
步骤101、遍历数据表中在待分组的第一维度上的数据记录,所述数据记录由至少一个字段的密文数据组成,所述密文数据为对所述字段对应的明文数据进行分散处理所得到;
步骤102、将当前数据记录在目标字段对应的第二维度上与比较对象进行隐私比较,得到隐私比较结果;其中,所述比较对象包括:已遍历数据记录,或者,预置条件;
步骤103、根据所述隐私比较结果将所述数据表划分为至少一个分组;其中,同一个分组中的各条数据记录的隐私比较结果相匹配。
在本发明实施例中,数据表中的数据记录均为密文数据,在对数据表中的数据进行分组、计算以及数据交互的过程中,均是在密文数据的基础上执行的,不会出现明文数据,以保证信息的安全性。以二维数据表为例,数据表中可以包含多个行和多个列,当然,本发明实施例对数据表的具体维度不加以限制。为便于描述,本发明实施例将数据表中的行称为第一维度,将数据表中的列称为第二维度。
例如,表1所示的数据表为某公司的员工信息数据表,其中包含500行数据记录,每一行数据记录包括员工编号(emp_no)、部门编号(dept_no)、姓名(name)、年龄(age)、入职时间(time)四个字段。第一列Index表示每一个行数据记录的索引值。
表1
Index | emp_no | dept_no | name | age | time |
001 | 1001 | d005 | 邓碧雯 | 30 | 2015 |
002 | 1002 | d005 | 刘波 | 26 | 2016 |
003 | 1003 | d003 | 方胜利 | 28 | 2018 |
004 | 1004 | d004 | 李君 | 25 | 2014 |
…… | …… | …… | …… | …… | |
500 | 1500 | d007 | 胡冬玲 | 31 | 2019 |
本发明实施例可以对每一个字段对应的明文数据进行加密得到密文数据,例如,将明文数据进行分散处理并分散存储在不同的存储节点,每个存储节点存储该明文数据的密文分片,该分散处理方式可以降低将所有数据存储在同一个存储节点中被泄露的风险。
在本发明的一种可选实施例中,所述分散处理具体可以包括:对所述明文数据进行分片处理得到至少两个密文分片,以及将所述至少两个密文分片分散存储在至少两个存储节点。
例如,对于第一行数据记录中name字段对应的数据“邓碧雯”进行分散处理可以得到x1和x2两个密文分片,将x1存储在存储节点S1中,将x2存储在存储节点S2中。这样,只有同时获取S1中的x1和S2中的x2,才能得到明文数据“邓碧雯”对应的密文数据,增加了获取密文数据的难度,可以进一步提高信息的安全性。同理,对于每一行数据记录中的每一个字段数据都可以进行分散处理。
在数据分析过程中,经常会涉及到对数据表中相同数据进行聚合计算,聚合计算是指将数据表中的一列或者多列作为目标字段,对相同目标字段对应的数值执行求和(sum)、计数(count)、求最大值(max)和求最小值(min)等聚集函数的运算,输出单个结果行。
在对相同数据进行聚合计算之前,需要对数据表中的数据记录执行分组操作,将数据表划分为至少一个分组,每一个分组中的各条数据记录在目标字段具有相同的数值。
例如,需要根据表1统计每个部门的员工人数,则需要对表1中的每行数据记录按照目标字段(部门编号)进行分组,将表1按照部门编号划分为不同的分组,每一个分组中的数据记录具有相同的部门编号。
再如,还可以按照入职时间,将表1划分为两个分组,第一分组中为2018年以前入职的员工数据记录,第二分组中为2018年以后入职的员工数据记录。
又如,还可以按照年龄,分别统计年龄在30岁以下、年龄在30岁到40岁之间、以及年龄在40岁上的员工人数等。
针对上述不同的分组方式,本发明实施例遍历数据表中在待分组的第一维度上的数据记录,将当前数据记录在目标字段对应的第二维度上与比较对象进行隐私比较,得到隐私比较结果,所述比较对象具体可以包括:已遍历数据记录,或者,预置条件。
以比较对象为已遍历记录为例,具体地,可以遍历表1中在待分组的第一维度上的数据记录,将当前数据记录与已遍历数据记录在目标字段对应的第二维度上进行隐私比较,得到隐私比较结果。其中,第一维度为行,第二维度为列,目标字段为部门编号,待分组的第一维度指需要进行分组的行,已遍历数据记录指在所述待分组的第一维度上遍历过的数据记录。可以理解,在具体应用中,第一维度还可以为列,第二维度还可以为行。
在本发明实施例中,数据记录是由各个字段对应的密文数据组成,因此,本发明实施例将当前数据记录与已遍历数据记录在目标字段对应的第二维度上进行隐私比较,得到隐私比较结果。其中,隐私比较指参与比较的数据均以密文数据的形式存在,不用解密成明文数据,如果两个密文数据的隐私比较结果相匹配,则划分至相同分组,否则,划分至不同分组。
在本发明的一种可选实施例中,所述将当前数据记录在目标字段对应的第二维度上与比较对象进行隐私比较,得到隐私比较结果,具体可以包括:
步骤S11、对所述当前数据记录在目标字段对应的第二维度上与所述比较对象执行减法计算,得到减法计算结果;
步骤S12、对所述减法计算结果执行位提取计算,得到位提取计算结果;
步骤S13、根据所述位提取计算结果,确定所述当前数据记录与所述比较对象的隐私比较结果。
可选地,本发明实施例可以利用隐私计算引擎来计算任务管理平台所生成的计算任务,隐私计算引擎通过预设数量的计算节点对所述计算任务进行协同计算,所述计算任务用于对输入数据进行数据处理,所述计算任务包括但不限于:加、减、乘、除等数字计算处理,以及与、或、非等逻辑计算等。所述输入数据可以为从各存储节点获取的密文分片。
所述任务管理平台用于生成计算任务,并将所述计算任务转换成多方计算指令。所述多方计算指令包括:为采用多方计算的方式执行计算任务而指示隐私计算引擎中预设数量的计算节点进行本地计算的指令,计算节点之间执行数据交互的指令,获取输入数据的指令,生成随机数的指令等。所述多方计算指令还可以包含指示计算节点执行本地计算和数据交互的计算角色的指令。所述多方计算指令可以由计算机程序语言来描述,或者由机器语言来描述。
在本发明实施例中,两个输入数据A1和A3的比较计算任务可以被转换成(A1-A3)的减法计算任务以及提取二进制表示(A1-A3)的计算结果中最高位值的位提取计算任务。因此,将当前数据记录与已遍历数据记录在目标字段对应的第二维度上进行隐私比较,可以转换为对所述当前数据记录与所述已遍历数据记录在目标字段对应的第二维度上执行减法计算的减法计算任务,以及对所述减法计算结果的位提取计算任务。
隐私计算引擎按照基于两个输入数据减法计算任务和位提取计算任务而设置的多方计算指令,令所述预设数量的计算节点执行本地计算和数据交互,得到各自持有的比特值。可选地,所述预设数量可以为四个。
例如,隐私计算引擎依据多方计算指令,利用部分计算节点执行减法计算,并得到各自持有的减法计算结果,再将各自持有的减法计算结果作为位提取计算任务的输入数据,利用一次(k=1)比特位置换的数据交互执行最高位提取,得到位提取的计算结果。该位提取的计算结果可作为A1和A3的隐私比较结果。
其中,位提取计算过程具体可以如下:隐私计算引擎的四个计算节点利用k轮次1比特置换数据的数据交互得到各自持有的计算结果,其中,所述计算结果用于提取输入数据X中二进制位;k为对应所述计算任务中输入数据X的待提取的二进制位数。在此,四个计算节点通过本地进行位计算生成包含有可抵消1比特随机数的中间数据(1比特),并通过k轮次的中间数据的数据交互得到计算结果。
在本发明的一种可选实施例中,所述比较对象为已遍历数据记录;所述根据所述隐私比较结果将所述数据表划分为至少一个分组,具体可以包括:若所述当前数据记录与所述已遍历数据记录的隐私比较结果相匹配,则将所述当前数据记录对应的索引值加入所述已遍历数据记录对应的索引值所在的分组;否则,将所述当前数据记录对应的索引值加入新建的分组。
以对表1中的每行数据记录按照目标字段(部门编号)进行分组为例,可以遍历表1的每一行,对当前数据记录与所述已遍历数据记录在目标字段上的密文数据进行隐私比较,判断隐私比较结果是否相匹配,若相匹配,则说明当前数据记录与所述已遍历数据记录在目标字段上的密文数据相一致,则将当前记录的索引值与已遍历记录的索引值划分至相同分组,否则,将当前记录的索引值与已遍历记录的索引值划分至不同分组。
具体地,假设当前数据记录为第一行数据记录,此时还不存在已遍历数据记录,因此,可以新建分组,如分组1,并且将第一行数据记录的索引值001加入分组1。接下来继续遍历在待分组的第一维度上的数据记录,此时,当前数据记录为第二行数据记录,已遍历数据记录为第一行数据记录,将当前数据记录与已遍历数据记录在目标字段对应的第二维度上进行隐私比较,也即,隐私比较的输入数据A1为从存储节点获取的“d005”对应的密文分片,输入数据A3为从存储节点获取的“d005”对应的密文分片,经过执行减法计算任务以及位提取计算任务,得到二者的隐私比较结果相匹配,则将当前数据记录(第二行数据记录)对应的索引值(002)加入所述已遍历数据记录(第一行数据记录)对应的索引值(001)所在的分组1,也即,分组1中包括索引值001和002,例如分组1可以表示为{001,002}。接下来继续遍历在待分组的第一维度上的数据记录,此时,当前数据记录为第三行数据记录,已遍历数据记录包括第一行数据记录和第二行数据记录,由于第一行数据记录和第二行数据记录都属于分组1,则当前数据记录只需和分组1中的任意一个已遍历数据记录进行隐私比较即可。通过隐私比较结果可知,第三行数据记录与第一行数据记录以及第二行数据记录的隐私比较结果不匹配,则新建分组,如分组2,将第三行数据记录的索引值003加入分组2。同理,将第四行数据记录的索引值004加入新建的分组3中。
以此类推,直至遍历完最后一行数据记录,在本发明的一种示例中,可以得到如下10个分组结果:分组1{001、002、…}、分组2{003、…}、分组3{004、…}、……、分组10{008、…},每个分组结果中包含各数据记录的索引值。在一示例中,分组1{001、002、010、015、023、036、055}对应的明文数据可以为{邓碧雯、刘波、张三、李四、王五、赵六、钱七}。
在本发明的一种可选实施例中,所述比较对象为预置条件;所述根据所述隐私比较结果将所述数据表划分为至少一个分组,具体可以包括:若所述当前数据记录在目标字段对应的第二维度上与所述预置条件的隐私比较结果相匹配,则将所述当前数据记录对应的索引值加入所述预置条件对应的分组。
例如,为了获取表1中2018年以前入职的员工数据记录,可以设置预置条件为入职时间在2018年以前。
具体地,按照前述的隐私比较过程,对当前数据记录在目标字段(入职时间)对应的第二维度上与所述预置条件(入职时间在2018年以前)进行隐私比较,如果隐私比较结果相匹配,说明入职时间在2018年以前,则将当前数据记录对应的索引值加入所述预置条件对应的分组,如第一分组;在遍历表1中的所有数据记录之后,第一分组中的数据记录即为表1中2018年以前入职的员工数据记录对应的索引值。
当然,在上述隐私比较过程中,如果隐私比较结果不匹配,说明入职时间在2018年以后,还可以将当前数据记录对应的索引值加入第二分组。由此,可以将数据表划分为两个分组,第一分组中为2018年以前入职的员工数据记录对应的索引值,第二分组中为2018年以后入职的员工数据记录对应的索引值。
在本发明实施例中,所述预置条件可以为多个,根据多个预置条件可以将数据表划分为多个分组,每一个分组与一个预置条件相对应。
例如,仍以表1为例,可以设置如下三个预置条件:第一预置条件为年龄小于30岁,第二预置条件为年龄在30岁到40岁之间,第三预置条件为年龄大于40岁,按照前述的隐私比较过程,遍历数据表中在待分组的第一维度上的数据记录,对当前数据记录在目标字段(年龄)对应的第二维度上分别与上述三个预置条件进行隐私比较,如果当前数据记录与第一预置条件的隐私比较结果相匹配,则将当前数据记录对应的索引值划分至第一预置条件对应的第一分组;如果当前数据记录与第二预置条件的隐私比较结果相匹配,则将当前数据记录对应的索引值划分至第二预置条件对应的第二分组;如果当前数据记录与第三预置条件的隐私比较结果相匹配,则将当前数据记录对应的索引值划分至第三预置条件对应的第三分组;如此遍历数据表中的所有数据记录,可以将数据表划分为三个分组。分别统计这三个分组中数据记录的数目,即可得到年龄在30岁以下的员工人数、年龄在30岁到40岁之间的员工人数、以及年龄在40岁以上的员工人数。
由此,本发明实施例通过隐私比较操作,可以在不泄露数据明文的情况下,将数据表的行或列进行分组,得到分组结果,所述分组结果可以包括分组的组数、每个分组包含的数据行数、以及每个分组中包含的数据记录的索引值。
在本发明的一种可选实施例中,所述方法还可以包括:对所述分组执行隐私计算;其中,所述隐私计算至少包括如下任意一项:求和、计数、求平均值。
遍历完数据表中的所有在待分组的第一维度上的数据记录后,可以得到分组结果,所述分组结果可以为一系列的列表。该列表可用于后续对各分组进行隐私计算,所述隐私计算可以包括聚合计算,例如sum(求和)、count(计数)、avg(求平均值)等。
在本发明的一种可选实施例中,所述对所述分组执行隐私计算,具体可以包括:
步骤S21、向隐私计算引擎发送用于指示对所述分组执行隐私计算的多方计算指令;所述隐私计算引擎包含预设数量的计算节点;
步骤S22、所述隐私计算引擎中的部分计算节点分别从对应的存储节点获取待计算隐私数据;所述待计算隐私数据为待执行隐私计算的分组中各条记录的目标密文数据对应的密文分片;
步骤S23、所述部分计算节点分别对各自获取的待计算隐私数据进行本地计算,得到所述部分计算节点各自持有的计算结果;或者,所述部分计算节点分别对各自获取的待计算隐私数据进行本地计算,以及将本地计算所产生的中间数据进行交互,得到所述部分计算节点各自持有的计算结果;
步骤S24、根据所述部分计算节点各自持有的计算结果,得到隐私计算结果。
所述隐私计算同样可以利用隐私计算引擎来进行计算,具体地,可以通过任务管理平台生成用于指示对所述分组执行隐私计算的计算任务,并且向隐私计算引擎发送该计算任务,所述隐私计算引擎通过预设数量的计算节点协同计算该计算任务。
所述任务管理平台按照所述隐私计算引擎中计算节点的预设数量,将计算任务转换成由隐私计算引擎中各计算节点协同执行的多方计算指令。可选地,所述隐私计算引擎包含四个计算节点。
隐私计算引擎可以选择预设数量中的部分计算节点执行计算,例如对于包含输入数据A1和A2的加法计算任务,以及包含输入数据A2和A3的乘法计算任务,其中,加法计算任务可以由两个计算节点执行,乘法计算任务可以由四个计算节点执行。
隐私计算引擎中的部分计算节点分别从对应的存储节点获取待计算隐私数据,所述待计算隐私数据为待执行隐私计算的分组中各条记录的目标密文数据对应的密文分片。部分计算节点分别对各自获取的待计算隐私数据进行本地计算,得到所述部分计算节点各自持有的计算结果;或者,所述部分计算节点分别对各自获取的待计算隐私数据进行本地计算,以及将本地计算所产生的中间数据进行交互,得到所述部分计算节点各自持有的计算结果;根据所述部分计算节点各自持有的计算结果,得到隐私计算结果。
例如,在利用所述隐私计算引擎执行加法计算时,多方计算指令可指示四个计算节点中的两个计算节点执行输入数据A1和A2的加法计算任务,这两个计算节点并得到各自持有的计算结果。通过获取这两个计算节点各自持有的计算结果可以得到A1+A2的处理结果。
如果计算任务为包含三个输入数据数学计算的计算任务,可以令四个所述计算节点利用第一次置换数据的数据交互得到各自持有的对应输入数据X和Y计算的第一计算结果并将其作为中间数据;以及令四个所述计算节点利用对所述中间数据进行第二次置换数据的数据交互得到各自持有的所述计算结果;以及在两次置换数据前,令四个所述计算节点基于所述随机数执行本地计算,得到各自持有的计算结果。通过获取这四个计算节点各自持有的计算结果可以得到三个数据数据的计算处理结果。
对于三个以上输入数据的计算任务,可以拆分为两个输入数据,和/或,三个输入数据的组合计算任务,分步进行计算,得到三个以上输入数据的计算处理结果。
综上,本发明实施例通过遍历数据表中在待分组的第一维度上的数据记录,将当前数据记录在目标字段对应的第二维度上与比较对象进行隐私比较,得到隐私比较结果,以及根据所述隐私比较结果将所述数据表划分为至少一个分组,可以对数据表进行分组。由于所述数据记录由至少一个字段的密文数据组成,所述密文数据为对所述字段对应的明文数据进行分散处理所得到,本发明实施例数据表的分组操作转换为对密文数据的隐私比较操作,在比较过程中,数据均以密文形式存在,不会暴露数据明文,可以保证信息的安全性。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
装置实施例
参照图2,示出了本发明的一种数据处理装置实施例的结构框图,所述装置具体可以包括:
遍历模块201,用于遍历数据表中在待分组的第一维度上的数据记录,所述数据记录由至少一个字段的密文数据组成,所述密文数据为对所述字段对应的明文数据进行分散处理所得到;
比较模块202,用于将当前数据记录在目标字段对应的第二维度上与比较对象进行隐私比较,得到隐私比较结果;其中,所述比较对象包括:已遍历数据记录,或者,预置条件;
分组模块203,用于根据所述隐私比较结果将所述数据表划分为至少一个分组;其中,同一个分组中的各条数据记录的隐私比较结果相匹配。
可选地,所述比较模块202,具体可以包括:
减法子模块,用于对所述当前数据记录在目标字段对应的第二维度上与所述比较对象执行减法计算,得到减法计算结果;
位提取子模块,用于对所述减法计算结果执行位提取计算,得到位提取计算结果;
比较子模块,用于根据所述位提取计算结果,确定所述当前数据记录与所述比较对象的隐私比较结果。
可选地,所述比较对象为已遍历数据记录;所述分组模块,具体用于若所述当前数据记录与所述已遍历数据记录的隐私比较结果相匹配,则将所述当前数据记录对应的索引值加入所述已遍历数据记录对应的索引值所在的分组;否则,将所述当前数据记录对应的索引值加入新建的分组。
可选地,所述比较对象为预置条件;所述分组模块,具体用于若所述当前数据记录在目标字段对应的第二维度上与所述预置条件的隐私比较结果相匹配,则将所述当前数据记录对应的索引值加入所述预置条件对应的分组。
可选地,所述分散处理包括:对所述明文数据进行分片处理得到至少两个密文分片,以及将所述至少两个密文分片分散存储在至少两个存储节点。
可选地,所述装置还可以包括:
计算模块,用于对所述分组执行隐私计算;其中,所述隐私计算至少包括如下任意一项:求和、计数、求平均值。
可选地,所述计算模块,具体可以包括:
指令发送子模块,用于向隐私计算引擎发送用于指示对所述分组执行隐私计算的多方计算指令;所述隐私计算引擎包含预设数量的计算节点;
数据获取子模块,用于所述隐私计算引擎中的部分计算节点分别从对应的存储节点获取待计算隐私数据;所述待计算隐私数据为待执行隐私计算的分组中各条记录的目标密文数据对应的密文分片;
隐私计算子模块,用于所述部分计算节点分别对各自获取的待计算隐私数据进行本地计算,得到所述部分计算节点各自持有的计算结果;或者,所述部分计算节点分别对各自获取的待计算隐私数据进行本地计算,以及将本地计算所产生的中间数据进行交互,得到所述部分计算节点各自持有的计算结果;
结果获取子模块,用于根据所述部分计算节点各自持有的计算结果,得到隐私计算结果。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本发明实施例提供了一种用于数据处理的装置,包括有存储器,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令:遍历数据表中在待分组的第一维度上的数据记录,所述数据记录由至少一个字段的密文数据组成,所述密文数据为对所述字段对应的明文数据进行分散处理所得到;将当前数据记录在目标字段对应的第二维度上与比较对象进行隐私比较,得到隐私比较结果;其中,所述比较对象包括:已遍历数据记录,或者,预置条件;根据所述隐私比较结果将所述数据表划分为至少一个分组;其中,同一个分组中的各条数据记录的隐私比较结果相匹配。
图3是根据一示例性实施例示出的一种用于数据处理的装置800的框图。例如,装置800可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图3,装置800可以包括以下一个或多个组件:处理组件802,存储器804,电源组件806,多媒体组件808,音频组件810,输入/输出(I/O)的接口812,传感器组件814,以及通信组件816。
处理组件802通常控制装置800的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理元件802可以包括一个或多个处理器820来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件802可以包括一个或多个模块,便于处理组件802和其他组件之间的交互。例如,处理组件802可以包括多媒体模块,以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件806为装置800的各种组件提供电力。电源组件806可以包括电源管理系统,一个或多个电源,及其他与为装置800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如,音频组件810包括一个麦克风(MIC),当装置800处于操作模式,如呼叫模式、记录模式和语音信息处理模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中,音频组件810还包括一个扬声器,用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器,用于为装置800提供各个方面的状态评估。例如,传感器组件814可以检测到设备800的打开/关闭状态,组件的相对定位,例如所述组件为装置800的显示器和小键盘,传感器组件814还可以检测装置800或装置800一个组件的位置改变,用户与装置800接触的存在或不存在,装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件814还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件816还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频信息处理(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器804,上述指令可由装置800的处理器820执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
图4是本发明的一些实施例中服务器的结构示意图。该服务器1900可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(central processingunits,CPU)1922(例如,一个或一个以上处理器)和存储器1932,一个或一个以上存储应用程序1942或数据1944的存储介质1930(例如一个或一个以上海量存储设备)。其中,存储器1932和存储介质1930可以是短暂存储或持久存储。存储在存储介质1930的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器1922可以设置为与存储介质1930通信,在服务器1900上执行存储介质1930中的一系列指令操作。
服务器1900还可以包括一个或一个以上电源1926,一个或一个以上有线或无线网络接口1950,一个或一个以上输入输出接口1958,一个或一个以上键盘1956,和/或,一个或一个以上操作系统1941,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
一种非临时性计算机可读存储介质,当所述存储介质中的指令由装置(服务器或者终端)的处理器执行时,使得装置能够执行图1所示的数据处理方法。
一种非临时性计算机可读存储介质,当所述存储介质中的指令由装置(服务器或者终端)的处理器执行时,使得装置能够执行一种数据处理方法,所述方法包括:遍历数据表中在待分组的第一维度上的数据记录,所述数据记录由至少一个字段的密文数据组成,所述密文数据为对所述字段对应的明文数据进行分散处理所得到;将当前数据记录在目标字段对应的第二维度上与比较对象进行隐私比较,得到隐私比较结果;其中,所述比较对象包括:已遍历数据记录,或者,预置条件;根据所述隐私比较结果将所述数据表划分为至少一个分组;其中,同一个分组中的各条数据记录的隐私比较结果相匹配。
本发明实施例公开了A1、一种数据处理方法,包括:
遍历数据表中在待分组的第一维度上的数据记录,所述数据记录由至少一个字段的密文数据组成,所述密文数据为对所述字段对应的明文数据进行分散处理所得到;
将当前数据记录在目标字段对应的第二维度上与比较对象进行隐私比较,得到隐私比较结果;其中,所述比较对象包括:已遍历数据记录,或者,预置条件;
根据所述隐私比较结果将所述数据表划分为至少一个分组;其中,同一个分组中的各条数据记录的隐私比较结果相匹配。
A2、根据A1所述的方法,所述将当前数据记录在目标字段对应的第二维度上与比较对象进行隐私比较,得到隐私比较结果,包括:
对所述当前数据记录在目标字段对应的第二维度上与所述比较对象执行减法计算,得到减法计算结果;
对所述减法计算结果执行位提取计算,得到位提取计算结果;
根据所述位提取计算结果,确定所述当前数据记录与所述比较对象的隐私比较结果。
A3、根据A2所述的方法,所述比较对象为已遍历数据记录;所述根据所述隐私比较结果将所述数据表划分为至少一个分组,包括:
若所述当前数据记录与所述已遍历数据记录的隐私比较结果相匹配,则将所述当前数据记录对应的索引值加入所述已遍历数据记录对应的索引值所在的分组;否则,将所述当前数据记录对应的索引值加入新建的分组。
A4、根据A2所述的方法,所述比较对象为预置条件;所述根据所述隐私比较结果将所述数据表划分为至少一个分组,包括:
若所述当前数据记录在目标字段对应的第二维度上与所述预置条件的隐私比较结果相匹配,则将所述当前数据记录对应的索引值加入所述预置条件对应的分组。
A5、根据A1所述的方法,所述分散处理包括:对所述明文数据进行分片处理得到至少两个密文分片,以及将所述至少两个密文分片分散存储在至少两个存储节点。
A6、根据A1所述的方法,所述方法还包括:
对所述分组执行隐私计算;其中,所述隐私计算至少包括如下任意一项:求和、计数、求平均值。
A7、根据A6所述的方法,所述对所述分组执行隐私计算,包括:
向隐私计算引擎发送用于指示对所述分组执行隐私计算的多方计算指令;所述隐私计算引擎包含预设数量的计算节点;
所述隐私计算引擎中的部分计算节点分别从对应的存储节点获取待计算隐私数据;所述待计算隐私数据为待执行隐私计算的分组中各条记录的目标密文数据对应的密文分片;
所述部分计算节点分别对各自获取的待计算隐私数据进行本地计算,得到所述部分计算节点各自持有的计算结果;或者,所述部分计算节点分别对各自获取的待计算隐私数据进行本地计算,以及将本地计算所产生的中间数据进行交互,得到所述部分计算节点各自持有的计算结果;
根据所述部分计算节点各自持有的计算结果,得到隐私计算结果。
本发明实施例公开了B8、一种数据处理装置,包括:
遍历模块,用于遍历数据表中在待分组的第一维度上的数据记录,所述数据记录由至少一个字段的密文数据组成,所述密文数据为对所述字段对应的明文数据进行分散处理所得到;
比较模块,用于将当前数据记录在目标字段对应的第二维度上与比较对象进行隐私比较,得到隐私比较结果;其中,所述比较对象包括:已遍历数据记录,或者,预置条件;
分组模块,用于根据所述隐私比较结果将所述数据表划分为至少一个分组;其中,同一个分组中的各条数据记录的隐私比较结果相匹配。
B9、根据B8所述的装置,所述比较模块,包括:
减法子模块,用于对所述当前数据记录在目标字段对应的第二维度上与所述比较对象执行减法计算,得到减法计算结果;
位提取子模块,用于对所述减法计算结果执行位提取计算,得到位提取计算结果;
比较子模块,用于根据所述位提取计算结果,确定所述当前数据记录与所述比较对象的隐私比较结果。
B10、根据B8所述的装置,所述比较对象为已遍历数据记录;
所述分组模块,具体用于若所述当前数据记录与所述已遍历数据记录的隐私比较结果相匹配,则将所述当前数据记录对应的索引值加入所述已遍历数据记录对应的索引值所在的分组;否则,将所述当前数据记录对应的索引值加入新建的分组。
B11、根据B8所述的装置,所述比较对象为预置条件;
所述分组模块,具体用于若所述当前数据记录在目标字段对应的第二维度上与所述预置条件的隐私比较结果相匹配,则将所述当前数据记录对应的索引值加入所述预置条件对应的分组。
B12、根据B8所述的装置,所述分散处理包括:对所述明文数据进行分片处理得到至少两个密文分片,以及将所述至少两个密文分片分散存储在至少两个存储节点。
B13、根据B8所述的装置,所述装置还包括:
计算模块,用于对所述分组执行隐私计算;其中,所述隐私计算至少包括如下任意一项:求和、计数、求平均值。
B14、根据B13所述的装置,所述计算模块,包括:
指令发送子模块,用于向隐私计算引擎发送用于指示对所述分组执行隐私计算的多方计算指令;所述隐私计算引擎包含预设数量的计算节点;
数据获取子模块,用于所述隐私计算引擎中的部分计算节点分别从对应的存储节点获取待计算隐私数据;所述待计算隐私数据为待执行隐私计算的分组中各条记录的目标密文数据对应的密文分片;
隐私计算子模块,用于所述部分计算节点分别对各自获取的待计算隐私数据进行本地计算,得到所述部分计算节点各自持有的计算结果;或者,所述部分计算节点分别对各自获取的待计算隐私数据进行本地计算,以及将本地计算所产生的中间数据进行交互,得到所述部分计算节点各自持有的计算结果;
结果获取子模块,用于根据所述部分计算节点各自持有的计算结果,得到隐私计算结果。
本发明实施例公开了C15、一种用于数据处理的装置,包括有存储器,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令:
遍历数据表中在待分组的第一维度上的数据记录,所述数据记录由至少一个字段的密文数据组成,所述密文数据为对所述字段对应的明文数据进行分散处理所得到;
将当前数据记录在目标字段对应的第二维度上与比较对象进行隐私比较,得到隐私比较结果;其中,所述比较对象包括:已遍历数据记录,或者,预置条件;
根据所述隐私比较结果将所述数据表划分为至少一个分组;其中,同一个分组中的各条数据记录的隐私比较结果相匹配。
C16、根据C15所述的装置,所述将当前数据记录在目标字段对应的第二维度上与比较对象进行隐私比较,得到隐私比较结果,包括:
对所述当前数据记录在目标字段对应的第二维度上与所述比较对象执行减法计算,得到减法计算结果;
对所述减法计算结果执行位提取计算,得到位提取计算结果;
根据所述位提取计算结果,确定所述当前数据记录与所述比较对象的隐私比较结果。
C17、根据C15所述的装置,所述比较对象为已遍历数据记录;所述根据所述隐私比较结果将所述数据表划分为至少一个分组,包括:
若所述当前数据记录与所述已遍历数据记录的隐私比较结果相匹配,则将所述当前数据记录对应的索引值加入所述已遍历数据记录对应的索引值所在的分组;否则,将所述当前数据记录对应的索引值加入新建的分组。
C18、根据C15所述的装置,所述比较对象为预置条件;所述根据所述隐私比较结果将所述数据表划分为至少一个分组,包括:
若所述当前数据记录在目标字段对应的第二维度上与所述预置条件的隐私比较结果相匹配,则将所述当前数据记录对应的索引值加入所述预置条件对应的分组。
C19、根据C15所述的装置,所述分散处理包括:对所述明文数据进行分片处理得到至少两个密文分片,以及将所述至少两个密文分片分散存储在至少两个存储节点。
C20、根据C15所述的装置,所述装置还经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令:
对所述分组执行隐私计算;其中,所述隐私计算至少包括如下任意一项:求和、计数、求平均值。
C21、根据C20所述的装置,所述对所述分组执行隐私计算,包括:
向隐私计算引擎发送用于指示对所述分组执行隐私计算的多方计算指令;所述隐私计算引擎包含预设数量的计算节点;
所述隐私计算引擎中的部分计算节点分别从对应的存储节点获取待计算隐私数据;所述待计算隐私数据为待执行隐私计算的分组中各条记录的目标密文数据对应的密文分片;
所述部分计算节点分别对各自获取的待计算隐私数据进行本地计算,得到所述部分计算节点各自持有的计算结果;或者,所述部分计算节点分别对各自获取的待计算隐私数据进行本地计算,以及将本地计算所产生的中间数据进行交互,得到所述部分计算节点各自持有的计算结果;
根据所述部分计算节点各自持有的计算结果,得到隐私计算结果。
本发明实施例公开了D22、一种机器可读介质,其上存储有指令,当由一个或多个处理器执行时,使得装置执行如A1至A7中一个或多个所述的数据处理方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
以上对本发明所提供的一种数据处理方法、一种数据处理装置和一种用于数据处理的装置,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种数据处理方法,其特征在于,所述方法包括:
遍历数据表中在待分组的第一维度上的数据记录,所述数据记录由至少一个字段的密文数据组成,所述密文数据为对所述字段对应的明文数据进行分散处理所得到;
将当前数据记录在目标字段对应的第二维度上与比较对象进行隐私比较,得到隐私比较结果;其中,所述比较对象包括:已遍历数据记录,或者,预置条件;
根据所述隐私比较结果将所述数据表划分为至少一个分组;其中,同一个分组中的各条数据记录的隐私比较结果相匹配。
2.根据权利要求1所述的方法,其特征在于,所述将当前数据记录在目标字段对应的第二维度上与比较对象进行隐私比较,得到隐私比较结果,包括:
对所述当前数据记录在目标字段对应的第二维度上与所述比较对象执行减法计算,得到减法计算结果;
对所述减法计算结果执行位提取计算,得到位提取计算结果;
根据所述位提取计算结果,确定所述当前数据记录与所述比较对象的隐私比较结果。
3.根据权利要求2所述的方法,其特征在于,所述比较对象为已遍历数据记录;所述根据所述隐私比较结果将所述数据表划分为至少一个分组,包括:
若所述当前数据记录与所述已遍历数据记录的隐私比较结果相匹配,则将所述当前数据记录对应的索引值加入所述已遍历数据记录对应的索引值所在的分组;否则,将所述当前数据记录对应的索引值加入新建的分组。
4.根据权利要求2所述的方法,其特征在于,所述比较对象为预置条件;所述根据所述隐私比较结果将所述数据表划分为至少一个分组,包括:
若所述当前数据记录在目标字段对应的第二维度上与所述预置条件的隐私比较结果相匹配,则将所述当前数据记录对应的索引值加入所述预置条件对应的分组。
5.根据权利要求1所述的方法,其特征在于,所述分散处理包括:对所述明文数据进行分片处理得到至少两个密文分片,以及将所述至少两个密文分片分散存储在至少两个存储节点。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
对所述分组执行隐私计算;其中,所述隐私计算至少包括如下任意一项:求和、计数、求平均值。
7.根据权利要求6所述的方法,其特征在于,所述对所述分组执行隐私计算,包括:
向隐私计算引擎发送用于指示对所述分组执行隐私计算的多方计算指令;所述隐私计算引擎包含预设数量的计算节点;
所述隐私计算引擎中的部分计算节点分别从对应的存储节点获取待计算隐私数据;所述待计算隐私数据为待执行隐私计算的分组中各条记录的目标密文数据对应的密文分片;
所述部分计算节点分别对各自获取的待计算隐私数据进行本地计算,得到所述部分计算节点各自持有的计算结果;或者,所述部分计算节点分别对各自获取的待计算隐私数据进行本地计算,以及将本地计算所产生的中间数据进行交互,得到所述部分计算节点各自持有的计算结果;
根据所述部分计算节点各自持有的计算结果,得到隐私计算结果。
8.一种数据处理装置,其特征在于,所述装置包括:
遍历模块,用于遍历数据表中在待分组的第一维度上的数据记录,所述数据记录由至少一个字段的密文数据组成,所述密文数据为对所述字段对应的明文数据进行分散处理所得到;
比较模块,用于将当前数据记录在目标字段对应的第二维度上与比较对象进行隐私比较,得到隐私比较结果;其中,所述比较对象包括:已遍历数据记录,或者,预置条件;
分组模块,用于根据所述隐私比较结果将所述数据表划分为至少一个分组;其中,同一个分组中的各条数据记录的隐私比较结果相匹配。
9.一种用于数据处理的装置,其特征在于,包括有存储器,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令:
遍历数据表中在待分组的第一维度上的数据记录,所述数据记录由至少一个字段的密文数据组成,所述密文数据为对所述字段对应的明文数据进行分散处理所得到;
将当前数据记录在目标字段对应的第二维度上与比较对象进行隐私比较,得到隐私比较结果;其中,所述比较对象包括:已遍历数据记录,或者,预置条件;
根据所述隐私比较结果将所述数据表划分为至少一个分组;其中,同一个分组中的各条数据记录的隐私比较结果相匹配。
10.一种机器可读介质,其上存储有指令,当由一个或多个处理器执行时,使得装置执行如权利要求1至7中一个或多个所述的数据处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910703721.1A CN112307056B (zh) | 2019-07-31 | 2019-07-31 | 一种数据处理方法、装置和用于数据处理的装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910703721.1A CN112307056B (zh) | 2019-07-31 | 2019-07-31 | 一种数据处理方法、装置和用于数据处理的装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112307056A true CN112307056A (zh) | 2021-02-02 |
CN112307056B CN112307056B (zh) | 2024-02-06 |
Family
ID=74485675
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910703721.1A Active CN112307056B (zh) | 2019-07-31 | 2019-07-31 | 一种数据处理方法、装置和用于数据处理的装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112307056B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112906904A (zh) * | 2021-02-03 | 2021-06-04 | 华控清交信息科技(北京)有限公司 | 一种数据处理方法、装置和用于数据处理的装置 |
CN114024960A (zh) * | 2021-09-22 | 2022-02-08 | 医渡云(北京)技术有限公司 | 多方安全计算方法、装置、系统、存储介质及设备 |
CN115801253A (zh) * | 2023-02-03 | 2023-03-14 | 蓝象智联(杭州)科技有限公司 | 一种用于安全多方计算的多方秘密分享方法及电子设备 |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6230186B1 (en) * | 1998-04-28 | 2001-05-08 | Rhoda Yaker | Private electronic message system |
CN101436208A (zh) * | 2008-12-09 | 2009-05-20 | 北京交通大学 | 一种密文数据库隐私保护查询方法 |
CN103248492A (zh) * | 2013-05-23 | 2013-08-14 | 清华大学 | 可验证的分布式隐私数据比较与排序方法 |
US20130246813A1 (en) * | 2011-11-11 | 2013-09-19 | Nec Corporation | Database encryption system, method, and program |
US20140245455A1 (en) * | 2013-02-04 | 2014-08-28 | Mirko Randic | Privacy Preserving Interaction process for Collective Outcome |
US20150089574A1 (en) * | 2013-09-23 | 2015-03-26 | Protegrity Corporation | Columnar Table Data Protection |
US20150288665A1 (en) * | 2014-04-04 | 2015-10-08 | University Of Ottawa | Secure Linkage Of Databases |
CN105229633A (zh) * | 2013-03-13 | 2016-01-06 | 萨勒斯福斯通讯有限公司 | 用于实现数据上传、处理和预测查询api公开的系统、方法和装置 |
US20180165460A1 (en) * | 2016-12-14 | 2018-06-14 | Sap Se | Oblivious order-preserving encryption |
CN109241016A (zh) * | 2018-08-14 | 2019-01-18 | 阿里巴巴集团控股有限公司 | 多方安全计算方法及装置、电子设备 |
US20190123891A1 (en) * | 2017-10-19 | 2019-04-25 | Mellanox Technologies, Ltd. | Method and apparatus for decrypting and authenticating a data record |
CN109800603A (zh) * | 2019-02-02 | 2019-05-24 | 合肥京东方光电科技有限公司 | 对用户的信息进行隐私保护处理的方法、监测设备及系统 |
CN110048830A (zh) * | 2018-01-15 | 2019-07-23 | 北京京东尚科信息技术有限公司 | 一种数据加密解密方法和加密解密装置 |
US20190229887A1 (en) * | 2016-06-30 | 2019-07-25 | Nokia Technologies Oy | Secure data processing |
CN110059071A (zh) * | 2019-03-13 | 2019-07-26 | 平安普惠企业管理有限公司 | 基于存储过程的数据对比监控方法、系统、设备及介质 |
-
2019
- 2019-07-31 CN CN201910703721.1A patent/CN112307056B/zh active Active
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6230186B1 (en) * | 1998-04-28 | 2001-05-08 | Rhoda Yaker | Private electronic message system |
CN101436208A (zh) * | 2008-12-09 | 2009-05-20 | 北京交通大学 | 一种密文数据库隐私保护查询方法 |
US20130246813A1 (en) * | 2011-11-11 | 2013-09-19 | Nec Corporation | Database encryption system, method, and program |
US20140245455A1 (en) * | 2013-02-04 | 2014-08-28 | Mirko Randic | Privacy Preserving Interaction process for Collective Outcome |
CN105229633A (zh) * | 2013-03-13 | 2016-01-06 | 萨勒斯福斯通讯有限公司 | 用于实现数据上传、处理和预测查询api公开的系统、方法和装置 |
CN103248492A (zh) * | 2013-05-23 | 2013-08-14 | 清华大学 | 可验证的分布式隐私数据比较与排序方法 |
US20150089574A1 (en) * | 2013-09-23 | 2015-03-26 | Protegrity Corporation | Columnar Table Data Protection |
US20150288665A1 (en) * | 2014-04-04 | 2015-10-08 | University Of Ottawa | Secure Linkage Of Databases |
US20190229887A1 (en) * | 2016-06-30 | 2019-07-25 | Nokia Technologies Oy | Secure data processing |
US20180165460A1 (en) * | 2016-12-14 | 2018-06-14 | Sap Se | Oblivious order-preserving encryption |
US20190123891A1 (en) * | 2017-10-19 | 2019-04-25 | Mellanox Technologies, Ltd. | Method and apparatus for decrypting and authenticating a data record |
CN110048830A (zh) * | 2018-01-15 | 2019-07-23 | 北京京东尚科信息技术有限公司 | 一种数据加密解密方法和加密解密装置 |
CN109241016A (zh) * | 2018-08-14 | 2019-01-18 | 阿里巴巴集团控股有限公司 | 多方安全计算方法及装置、电子设备 |
CN109800603A (zh) * | 2019-02-02 | 2019-05-24 | 合肥京东方光电科技有限公司 | 对用户的信息进行隐私保护处理的方法、监测设备及系统 |
CN110059071A (zh) * | 2019-03-13 | 2019-07-26 | 平安普惠企业管理有限公司 | 基于存储过程的数据对比监控方法、系统、设备及介质 |
Non-Patent Citations (2)
Title |
---|
沈薇薇;姚志强;熊金波;刘西蒙;: "面向移动终端的隐私数据安全存储及自毁方案", 计算机应用, vol. 35, no. 1, pages 77 - 82 * |
胡新平等: "基于敏感元组的隐私数据保护方法", 东南大学学报(自然科学版), vol. 40, no. 5, pages 911 - 916 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112906904A (zh) * | 2021-02-03 | 2021-06-04 | 华控清交信息科技(北京)有限公司 | 一种数据处理方法、装置和用于数据处理的装置 |
CN112906904B (zh) * | 2021-02-03 | 2024-03-26 | 华控清交信息科技(北京)有限公司 | 一种数据处理方法、装置和用于数据处理的装置 |
CN114024960A (zh) * | 2021-09-22 | 2022-02-08 | 医渡云(北京)技术有限公司 | 多方安全计算方法、装置、系统、存储介质及设备 |
CN114024960B (zh) * | 2021-09-22 | 2023-10-31 | 医渡云(北京)技术有限公司 | 多方安全计算方法、装置、系统、存储介质及设备 |
CN115801253A (zh) * | 2023-02-03 | 2023-03-14 | 蓝象智联(杭州)科技有限公司 | 一种用于安全多方计算的多方秘密分享方法及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN112307056B (zh) | 2024-02-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112307056B (zh) | 一种数据处理方法、装置和用于数据处理的装置 | |
CN113449325B (zh) | 一种数据处理方法、装置和用于数据处理的装置 | |
CN115396100B (zh) | 一种基于秘密分享的不经意随机打乱方法和系统 | |
CN113315631B (zh) | 一种数据处理方法、装置和用于数据处理的装置 | |
CN112688779B (zh) | 一种数据处理方法、装置和用于数据处理的装置 | |
CN114301594B (zh) | 一种不经意传输方法、多方安全计算平台和用于不经意传输的装置 | |
CN114969830B (zh) | 一种隐私求交方法、系统和可读存储介质 | |
CN113392422A (zh) | 一种数据处理方法、装置和用于数据处理的装置 | |
CN115967491A (zh) | 一种隐私求交方法、系统和可读存储介质 | |
CN112464257B (zh) | 一种数据检测方法、装置和用于数据检测的装置 | |
CN114448631B (zh) | 一种多方安全计算方法、系统和用于多方安全计算的装置 | |
CN114885038B (zh) | 一种加密协议转换方法、结果获取节点和隐私计算节点 | |
CN112668036B (zh) | 一种数据处理方法、装置和用于数据处理的装置 | |
CN112468290B (zh) | 一种数据处理方法、装置和用于数据处理的装置 | |
CN112580064B (zh) | 一种数据处理方法、装置和用于数据处理的装置 | |
CN112583764B (zh) | 一种数据处理方法、装置和用于数据处理的装置 | |
CN112685747B (zh) | 一种数据处理方法、装置和用于数据处理的装置 | |
CN114915455A (zh) | 一种密文数据传输方法、装置和用于密文数据传输的装置 | |
CN114666048A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
CN112668015B (zh) | 一种数据处理方法、装置和用于数据处理的装置 | |
CN112580063B (zh) | 一种数据处理方法、装置和用于数据处理的装置 | |
CN114969164B (zh) | 一种数据查询方法、装置和可读存储介质 | |
CN114448630B (zh) | 一种多方安全计算方法、系统和用于多方安全计算的装置 | |
CN112668035A (zh) | 一种数据库处理方法、装置和用于数据库处理的装置 | |
CN113392421B (zh) | 一种数据处理方法、装置和用于数据处理的装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |