CN116361838A - 一种数据处理方法、装置、系统和可读存储介质 - Google Patents
一种数据处理方法、装置、系统和可读存储介质 Download PDFInfo
- Publication number
- CN116361838A CN116361838A CN202310593541.9A CN202310593541A CN116361838A CN 116361838 A CN116361838 A CN 116361838A CN 202310593541 A CN202310593541 A CN 202310593541A CN 116361838 A CN116361838 A CN 116361838A
- Authority
- CN
- China
- Prior art keywords
- data
- multiparty
- preset
- description file
- protobuf
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 23
- 238000004364 calculation method Methods 0.000 claims abstract description 72
- 238000000034 method Methods 0.000 claims abstract description 72
- 238000012545 processing Methods 0.000 claims description 45
- 230000008569 process Effects 0.000 claims description 29
- 230000005540 biological transmission Effects 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 11
- 238000004590 computer program Methods 0.000 description 6
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 239000002131 composite material Substances 0.000 description 4
- 239000003607 modifier Substances 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 239000010979 ruby Substances 0.000 description 3
- 229910001750 ruby Inorganic materials 0.000 description 3
- 238000000547 structure data Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Health & Medical Sciences (AREA)
- Bioethics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Storage Device Security (AREA)
Abstract
本发明实施例提供了一种数据处理方法、装置、系统和可读存储介质,应用于多方安全计算的参与方,多方安全计算的程序中引用数据访问类文件,数据访问类文件中包含序列化接口和反序列化接口,数据访问类文件为利用ProtoBuf编译器对数据描述文件编译得到,数据描述文件中包含预置数据结构的定义,预置数据结构为基于ProtoBuf协议下的消息结构定义得到;所述方法包括:在处理到多方安全计算中的第一数据时,调用序列化接口对第一数据进行序列化,得到二进制数据流;第一数据具有数据描述文件中定义的预置数据结构;对二进制数据流执行第一操作。本发明实施例可以实现多方安全计算的简洁性、准确性和可扩展性。
Description
技术领域
本发明涉及多方安全计算领域,尤其涉及一种数据处理方法、装置、系统和可读存储介质。
背景技术
多方安全计算(Multi-party Computation,MPC),又称为安全多方计算,指多个参与方共同计算出一个函数的结果,而不泄露这个函数各方的输入数据。
不同的多方安全计算框架可支持的数据类型可能不同。例如,有些不支持字符串类型,有些不支持浮点类型,等等。因此,在不同的多方安全计算框架之间联合进行多方安全计算时,需要针对这些差异修改每个多方安全计算的算法,导致算法较为繁琐,不仅费时费力,还容易出错。
发明内容
本发明实施例提供一种数据处理方法、装置、系统和可读存储介质,可以屏蔽不同多方安全计算框架对数据类型支持的差异性,实现多方安全计算的简洁性、准确性和可扩展性。
第一方面,本发明实施例公开了一种数据处理方法,应用于多方安全计算的参与方,一个多方安全计算包括至少两个参与方,所述多方安全计算的程序中引用数据访问类文件,所述数据访问类文件中包含序列化接口和反序列化接口,所述数据访问类文件为利用ProtoBuf编译器对数据描述文件编译得到,所述数据描述文件中包含预置数据结构的定义,所述预置数据结构为基于ProtoBuf协议下的消息结构定义得到,所述方法包括:
在处理到所述多方安全计算中的第一数据时,调用所述序列化接口对所述第一数据进行序列化,得到二进制数据流;所述第一数据为所述多方安全计算中的相关数据,且所述第一数据具有所述数据描述文件中定义的预置数据结构;
对所述二进制数据流执行第一操作,所述第一操作包括存储或发送。
第二方面,本发明实施例公开了一种数据处理装置,应用于多方安全计算的参与方,一个多方安全计算包括至少两个参与方,所述多方安全计算的程序中引用数据访问类文件,所述数据访问类文件中包含序列化接口和反序列化接口,所述数据访问类文件为利用ProtoBuf编译器对数据描述文件编译得到,所述数据描述文件中包含预置数据结构的定义,所述预置数据结构为基于ProtoBuf协议下的消息结构定义得到,所述装置包括:
序列化模块,用于在处理到所述多方安全计算中的第一数据时,调用所述序列化接口对所述第一数据进行序列化,得到二进制数据流;所述第一数据为所述多方安全计算中的相关数据,且所述第一数据具有所述数据描述文件中定义的预置数据结构;
第一操作模块,用于对所述二进制数据流执行第一操作,所述第一操作包括存储或发送。
第三方面,本发明实施例公开了一种多方安全计算系统,所述多方安全计算系统用于进行多方安全计算,一个多方安全计算包括至少两个参与方,所述多方安全计算的程序中引用数据访问类文件,所述数据访问类文件中包含序列化接口和反序列化接口,所述数据访问类文件为利用ProtoBuf编译器对数据描述文件编译得到,所述数据描述文件中包含预置数据结构的定义,所述预置数据结构为基于ProtoBuf协议下的消息结构定义得到;其中:
所述参与方,用于在处理到所述多方安全计算中的第一数据时,调用所述序列化接口对所述第一数据进行序列化,得到二进制数据流;所述第一数据为所述多方安全计算中的相关数据,且所述第一数据具有所述数据描述文件中定义的预置数据结构;以及对所述二进制数据流执行第一操作,所述第一操作包括存储或发送。
第四方面,本发明实施例公开了一种用于数据处理的装置,包括有存储器,以及一个以上程序,其中一个以上程序存储于存储器中,且经配置以由一个以上处理器执行所述一个以上程序,所述一个以上程序包含用于进行如前述一个或多个所述的数据处理方法的指令。
第五方面,本发明实施例公开了一种机器可读存储介质,其上存储有指令,当所述指令由装置的一个或多个处理器执行时,使得装置执行如前述一个或多个所述的数据处理方法。
本发明实施例包括以下优点:
本发明实施例基于Protobuf协议下的message定义了针对多方安全计算的预置数据结构的类型,基于该预置数据结构对多方安全计算中的相关数据进行处理,使得多方安全计算中的相关数据为语言无关、平台无关、可扩展的序列化结构数据格式。此外,一旦定义了要处理的数据结构之后,就可以利用Protobuf编译器生成目标语言的代码文件(数据访问类文件),只需使用预置数据结构对结构化数据进行一次描述,即可支持各种不同语言,并且每个参与方均可使用。由此可以屏蔽不同的多方安全计算框架对数据类型支持的差异性,从而实现多方安全计算的简洁性、准确性和可扩展性。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明的一种数据处理方法实施例的步骤流程图;
图2是本发明一种处理Protobuf协议下的message的步骤示意图;
图3是本发明一种处理第一数据的步骤示意图;
图4是本发明的一种数据处理装置实施例的结构框图;
图5是本发明的一种多方安全计算系统实施例的结构框图;
图6是本发明的一种用于数据处理的装置800的框图;
图7是本发明的一些实施例中服务器的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中的术语“和/或”用于描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本发明实施例中术语“多个”是指两个或两个以上,其它量词与之类似。
参照图1,示出了本发明的一种数据处理方法实施例的步骤流程图,所述方法应用于多方安全计算的参与方,一个多方安全计算包括至少两个参与方,所述多方安全计算的程序中引用数据访问类文件,所述数据访问类文件中包含序列化接口和反序列化接口,所述数据访问类文件为利用ProtoBuf编译器对数据描述文件编译得到,所述数据描述文件中包含预置数据结构的定义,所述预置数据结构为基于ProtoBuf协议下的消息结构定义得到,所述方法可以包括如下步骤:
步骤101、在处理到所述多方安全计算中的第一数据时,调用所述序列化接口对所述第一数据进行序列化,得到二进制数据流;所述第一数据为所述多方安全计算中的相关数据,且所述第一数据具有所述数据描述文件中定义的预置数据结构;
步骤102、对所述二进制数据流执行第一操作,所述第一操作包括存储或发送。
本发明实施例提供的数据处理方法可应用于多方安全计算的参与方。一个多方安全计算可以包括多个(至少两个)参与方,多个参与方可以在不泄露自身数据的前提下,基于多方安全计算协议进行协同计算,得到计算结果,参与计算的数据、中间结果,以及最终结果可以保证不被泄露。
本发明实施例对所述多方安全计算采用的加密协议不做限制。示例性地,所述多方安全计算可以采用秘密分享、同态或者不经意传输等任意加密协议。
多个参与方可以基于各自持有的数据执行多方安全计算。本发明实施例对参与方持有的数据的类型不做限制。
所述多方安全计算可以包括但不限于如下任意一项或多项:基于MPC的PSI(Private Set Intersection,隐私集合求交集)/PIR(Private Information Retrieval,隐私信息检索)、基于隐私保护的模型训练及预测、基于隐私保护的数据库查询操作等等。可以理解,本发明实施例对所述多方安全计算的具体类型不加以限制。例如,所述多方安全计算可以包含任意计算类型的数学计算,如四则计算 (例如加法计算、减法计算、乘法计算、除法计算)、逻辑计算(例如与计算、或计算、异或计算)等。
进一步地,进行多方安全计算的多个参与方可以基于不同的多方安全计算框架,如采用不同的加密协议。例如,参与方A采用第一加密协议对自身持有的数据进行加密,参与方B采用第二加密协议对自身持有的数据进行加密,双方利用各自的加密数据进行多方安全计算。所述第一加密协议与所述第二加密协议可以为相同的加密协议,或者,所述第一加密协议与所述第二加密协议可以为不同的加密协议。
需要说明的是,本发明实施例中以两个参与方的多方安全计算为例进行说明,三个或者三个以上参与方的多方安全计算场景相类似,相互参照即可。
在多方安全计算过程中,参与方可以利用本发明实施例提供的数据处理方法对多方安全计算中的相关数据进行处理。所述相关数据包括多方安全计算的输入数据、中间数据、以及输出数据等。所述处理包括但不限于读取、存储、赋值、修改、以及传输等操作。
本发明实施例基于通用的Protocol Buffers(简称Protobuf)协议下的消息结构定义了一种新的消息结构。Protobuf是一种语言无关、平台无关、可扩展的序列化结构数据的方法,采用二进制传输方式。Protobuf协议下处理的数据为结构化数据,该结构化数据称为消息(message)。对于每一种消息类型,可以定义一个message。本发明实施例基于Protobuf协议下的message,定义了一种新的消息结构,称为预置数据结构,如记为mpcmessage。本发明实施例基于该预置数据结构以及Protobuf协议对多方安全计算中的相关数据进行处理。
使用Protobuf协议通常包括如下步骤:首先创建proto文件(本发明实施例中称为数据描述文件),在proto文件中定义message。然后使用Protobuf编译器对创建的proto文件进行编译,得到数据访问类文件。该数据访问类文件中包含了对不同message进行定义、修改、访问等操作的方法(接口)。接下来可以调用上述接口对message对象实现序列化、反序列化以及读写等操作。
其中,proto文件是指按照Protobuf规范定义的源文件,以.proto结尾。在proto文件中,定义的每个message代表一种消息类型,也即一种结构化数据。一个message中定义了该消息类型包含的各字段的字段名称、字段类型和字段值。每个字段表示该结构化数据中的一个数据成员。
其中,字段类型可是简单的标量类型,如bool、int32、float、double、string等中的任意一种。字段类型也可是复合类型,如message或enum等。字段值是字段的唯一标号,用于确定该字段在二进制数据流中的顺序。关于所述字段值,由于1到15只使用一个字节编号,因此,可以将字段值1到15留给经常使用的字段。
本发明实施例基于Protobuf协议下的message,定义了一种新的消息结构,称为预置数据结构。对于每一种消息类型,可以定义一个mpcmessage。定义一个mpcmessage的方式与定义一个message的方式相同。
一个示例中,假设参与方A拥有数据类型为Person的结构化数据,该数据类型有3个属性,其中一个属性的类型是字符串类型(string),另外两个属性的类型分别是整型,如分别是int32和int64。假设该结构化数据Person为多方安全计算中的相关数据,则对于该结构化数据Person,可以在proto文件(二也即数据描述文件)中添加如下预置数据结构的定义:
mpcmessage Person {string name = 1;int32 age = 2;int64 salary = 3;}
mpcmessage AddressBook {repeated Person people = 1;}
其中,Person为一种mpcmessage消息类型的消息名称,Person这个消息类型包括如下三个字段:name、age和salary。name、age和salary分别是这三个字段的字段名称。string、int32和int64分别是这三个字段的字段类型。需要说明的是,在本发明实施例的预置数据结构中,字段类型可是简单的标量类型,如bool、int32、float、double、string等中的任意一种。字段类型也可是复合类型,如mpcmessage或enum等。name=1表示该字段的字段值为1,字段值用于确定该字段在二进制数据流中的顺序。同样地,AddressBook为另一种mpcmessage消息类型的消息名称,AddressBook这个消息类型仅包括people这一个字段,该字段的字段类型是mpcmessage类型,也即该字段类型是复合类型。
进一步地,还可以对每个字段添加修饰符。字段的修饰符默认是singular,一般省略不写。字段的修饰符如果设置为Optional,用于表示该字段是可选字段,也即该字段可以出现0次或1次。字段的修饰符如果设置为repeated,用于表示该字段是可重复字段,也即该字段可出现任意多次(包括 0次)。
在本发明实施例中,对于待执行的多方安全计算,参与方可以对自身持有的参与该多方安全计算的结构化数据构建数据描述文件,所述数据描述文件即Protobuf协议中的proto文件。所述数据描述文件中包含该多方安全计算中需要序列化的各结构化数据对应的预置数据结构的定义。具体地,在数据描述文件(proto文件)中为需要序列化的每种结构化数据添加mpcmessage定义,并且为mpcmessage中的每个字段指定字段名称、字段类型和字段值。
可以理解的是,针对一个多方安全计算可以生成一个或多个数据描述文件。若生成一个数据描述文件,则在该数据描述文件中添加所述多方安全计算中需要序列化的每种结构化数据对应的预置数据结构的定义。或者,还可以将所述多方安全计算中需要序列化的结构化数据对应的预置数据结构定义在多个不同的数据描述文件中,并在不同数据描述文件中的预置数据结构定义存在依赖关系时,指定依赖关系。
需要说明的是,本发明实施例在一个数据描述文件中可以同时使用通用的ProtoBuf协议下的消息结构(message)和本发明定义的预置数据结构(如mpcmessage)。示例性地,在一个message中可以定义字段类型为mpcmessage的复合类型的字段;又如,在一个mpcmessage中可以定义字段类型为message的复合类型的字段。
一个示例中,一个proto文件中包括预置数据结构的定义如下:
mpcmessage Person {string name = 1;int32 age = 2;int64 salary = 3;}
message AddressBook {repeated Person people = 1;}
在该示例中,该proto文件中包括通用的ProtoBuf协议下的消息结构(message)和本发明定义的预置数据结构(如mpcmessage),该通用的message中包括people这个字段,该字段的字段类型是mpcmessage类型。
对于通用的message,仍然按照ProtoBuf协议原有的流程进行处理;对于本发明定义的预置数据结构,则按照本发明的处理流程进行处理。
在构建所述多方安全计算的数据描述文件之后,利用ProtoBuf编译器对所述数据描述文件进行编译,可以得到数据访问类文件。例如,在上述示例中,在编译包含Person的mpcmessage定义的数据描述文件之后,可以生成一个数据访问类文件,该数据访问类文件中包含名称为Person的类,在需要使用结构化数据Person的程序中引用(include)该数据访问类文件,该程序即可调用Person类中提供的接口对Person消息中的字段进行操作。
利用ProtoBuf编译器对所述数据描述文件进行编译后,对于每个mpcmessage,会生成序列化接口和反序列化接口。通过调用序列化接口,可以将给定的mpcmessage序列化为二进制数据流。通过调用反序列化接口,可以从给定的二进制数据流中解析得到mpcmessage。
Protobuf协议是以二进制数据流的形式传输数据。其中,序列化,是指按照proto文件将结构化数据转换成二进制数据流的过程,同时应当要保证这个序列化的结果在之后(可能在另一个计算环境中)能够被重建回原来的结构化数据或对象。相反地,反序列化,是指将在序列化过程中所生成的二进制数据流转换成结构化数据的过程。
mpcmessage消息经过序列化后会得到一个二进制数据流,该二进制数据流中的数据为一系列的键值对(Key-Value对)。Key用来标识具体的字段。在解析二进制数据流时,根据Key即可得知相应的Value对应于mpcmessage消息结构体中的哪一个字段。
进一步地,在利用ProtoBuf编译器对所述数据描述文件进行编译时,可以选择目标语言,进而编译得到目标语言的数据访问类文件。所述目标语言包括但不限于C++、Java、Go、Ruby、以及Python等编程语言中的任意一种,本发明实施例对所述目标语言不做限制。
具体地,对于C++语言,ProtoBuf编译器会为每个.proto文件(数据描述文件)生成一个.h文件和一个.cc文件,.proto文件中的每一个消息有一个对应的类。对于Java语言,ProtoBuf编译器会为每一个消息类型生成一个.java文件以及一个特殊的Builder类(用来创建消息类接口的)。对于Go语言,ProtoBuf编译器会为每个消息类型生成一个.pb.go文件。对于Ruby语言,ProtoBuf编译器会为每个消息类型生成一个.rb文件。
本发明实施例在数据描述文件中定义了每种结构化数据对应的预置数据结构,这些预置数据结构的定义是面向开发者和业务程序的,并不面向存储和传输。当需要对这些结构化数据进行存储或传输时,需要对这些结构化数据进行序列化、反序列化以及读写等操作。通过ProtoBuf编译器对数据描述文件(proto文件)进行编译,可以得到目标语言的数据访问类文件,该数据访问类文件中提供有用于对这些结构化数据进行序列化、反序列化以及读写等操作的接口。进一步地,数据访问类文件中还可以提供对消息的字段进行赋值等操作的接口。
在多方安全计算程序的代码中引用编译得到的数据访问类文件,多方安全计算程序即可调用数据访问类文件中提供的上述接口进行数据处理。
在本发明的一种可选实施例中,所述ProtoBuf编译器中配置有预置插件,所述方法还包括:在利用所述ProtoBuf编译器对所述数据描述文件进行编译时,所述ProtoBuf编译器通过调用所述预置插件处理所述预置数据结构;所述预置插件包含基于所述ProtoBuf编译器提供的接口添加的针对所述预置数据结构的处理流程。
在本发明实施例中,ProtoBuf编译器可以为protoc。mpcmessage是符合ProtoBuf编译器的接口。本发明实施例提供一个预置插件(如记为mpc_plugin)。在利用ProtoBuf编译器protoc对所述数据描述文件进行编译的过程中,protoc解析到预置数据结构mpcmessage时,protoc调用预置插件mpc_plugin来处理该预置数据结构mpcmessage。本发明实施例按照protobuf 编译器的规范,基于protobuf 编译器提供的接口添加新的处理流程。所述新的处理流程包括用于解析并处理预置数据结构mpcmessage的流程。由此,利用protoc对多方安全计算的参与方的数据描述文件进行编译,可以得到对应的数据访问类文件。该数据访问类文件中包含对不同mpcmessage进行定义、修改、访问等操作的方法(接口),以及序列化接口和反序列化接口。接下来可以调用上述接口对mpcmessage对象实现序列化、反序列化以及读写等操作。
在处理到所述多方安全计算中的第一数据时,调用所述序列化接口对所述第一数据进行序列化,得到二进制数据流;所述第一数据为所述多方安全计算中的相关数据,且所述第一数据具有所述数据描述文件中定义的预置数据结构;对所述二进制数据流执行第一操作,所述第一操作包括存储或发送。
在本发明实施例中,所述第一数据具有所述数据描述文件中定义的预置数据结构,也即,所述第一数据为mpcmessage类型的消息。
所述第一操作可以包括存储操作。在某个参与方处理到所述多方安全计算中的第一数据时,可以调用所述序列化接口对所述第一数据进行序列化,得到二进制数据流;并且可以对该二进制数据流执行存储操作,如存储到指定的存储空间,以便需要读取时可以从该存储空间读取该二进制数据流,再通过反序列化即可得到还原后的第一数据。
在本发明实施例中,所述第一操作可以包括发送操作。在某个参与方处理到所述多方安全计算中的第一数据时,可以调用所述序列化接口对所述第一数据进行序列化,得到二进制数据流;并且可以对该二进制数据流执行发送操作,如发送到指定的对端,所述对端如其他参与方。对端接收到该二进制数据流后,通过反序列化即可得到还原后的第一数据。
可以理解的是,对于所述多方安全计算的每个参与方,均持有对所述多方安全计算对应的数据描述文件进行编译得到的数据访问类文件。
在本发明的一种可选实施例中,所述预置数据结构可以根据所述多方安全计算采用的加密协议确定,不同的加密协议对应所述预置数据结构中的不同字段类型。
在具体实施中,多方安全计算可以采用不同的加密协议,本发明实施例可以针对不同的加密协议,定义所述预置数据结构中的不同字段类型。
例如,针对秘密分享协议的结构化数据,在预置数据结构mpcmessage中可以增加secretshare类型的字段protocol;又如,针对同态加密协议的结构化数据,在预置数据结构mpcmessage中可以增加homo类型的字段protocol;等等。其中,字段protocol用于表示结构化数据采用的加密协议的类型。例如,字段protocol的类型为secretshare,表示加密协议为秘密分享协议。又如,字段protocol的类型为homo,表示加密协议为同态加密协议。针对不同的加密协议,可以在相应的预置数据结构mpcmessage中增加该加密协议相关的参数的字段。例如,对于同态加密协议,可以增加key(密钥)的长度等同态特性相关的参数字段。调用不同加密协议的mpcmessage时,输入相应加密协议对应的参数即可。可以理解的是,本发明实施例对参与方采用的加密协议不做限制,对协议类型字段protocol定义的方式不做限制。
本发明实施例基于Protobuf协议下的message,可以定义一组针对不同加密协议的多方安全计算的预置数据结构的类型,可用于多方安全计算各个参与方之间的数据编码,可以将对数据类型的支持和编码内置于这种格式之中,由此可以屏蔽不同多方安全计算框架对数据类型支持的差异性,而无需针对这些差异修改每个多方安全计算的算法,从而可以实现多方安全计算的简洁性、准确性和可扩展性。
本发明实施例基于预置数据结构对多方安全计算中的相关数据进行处理,使得多方安全计算中的相关数据为语言无关、平台无关、可扩展的序列化结构的数据格式。一旦定义了要处理的数据结构之后,就可以利用Protobuf编译器生成目标语言的数据访问类文件。只需使用预置数据结构对结构化数据进行一次描述,即可支持各种不同语言(如C++、Java、Python、Go、Ruby、Objective-C、C#等),实现多方安全计算的可扩展性。
此外,Protobuf协议采用二进制传输方式,根据协议约定,省去了参数名所占用的字节,节省了空间,缩减了传输数据量。
进一步地,本发明实施例在一定程度上可以起到保护数据安全的作用,如果第三方不知道定义的数据结构协议(数据描述文件),就没有办法截取相应的字节从而获取原始数据。
再者,多方安全计算的各参与方采用的多方安全计算框架尚未形成统一的标准和规范,这就导致不同参与方的数据无法相互兼容,难以实现多个参与方之间跨平台的数据融合计算。通过本发明实施例的数据处理方法,可以利用一种标准化的方式来打通不同的多方安全计算框架之间的互联互通协议,并且可以通过标准化算法对于多方安全计算的数据类型进行表示,从而可以实现多方安全计算的标准化和大规模应用。
在本发明的一种可选实施例中,所述调用所述序列化接口对所述第一数据进行序列化之前,所述方法还可以包括:
在识别所述第一数据为所述预置数据结构的情况下,对所述第一数据执行第二操作;所述第二操作包括:将所述第一数据中第一类型的字段转换为第二类型。
本发明实施例对所述第一类型和所述第二类型不做限制。例如,所述第一类型可以为字符串类型(string类型),所述第二类型可以为整型(int类型)。又如,所述第一类型可以为浮点数类型(double类型),所述第二类型可以为整型(int类型);等等。
在具体实施中,有些多方安全计算的平台不支持字符串类型(string类型),此时需要将string类型的数据转换为int类型再进行后续处理。
参照图2,示出了一种处理Protobuf协议下的message的步骤示意图。如图2所示,对于包含string类型字段的message,处理步骤可以包括如下三步:第一步,定义消息结构(message)。第二步,对message进行编码,将其中的string类型转换为int类型。第三步:对编码后的message进行序列化并执行第一操作。
采用通用的Protobuf协议需要对多方安全计算框架不支持的数据类型的数据进行额外的编码,导致算法较为繁琐,不仅费时费力,还容易出错。
本发明实施例在识别所述第一数据为所述预置数据结构的情况下,自动执行对第一数据进行编码的操作,将所述第一数据中第一类型的字段转换为第二类型。如自动将string类型转换为int类型,将对数据类型的支持和编码内置于预置数据结构之中。参照图3,示出了一种处理第一数据的步骤示意图,第一数据具有预置数据结构。如图3所示,相对于通用的Protobuf协议,本发明实施例处理类型为预置数据结构的消息时,将处理步骤简化为如下两步:第一步,定义预置数据结构,如定义第一数据对应的mpcmessage。第二步,对第一数据进行序列化并执行第一操作。本发明实施例不用对每个多方安全计算的算法进行修改,不用增加额外的编码,可以实现多方安全计算的简洁性、准确性和可扩展性。
在本发明的一种可选实施例中,所述第二操作可以包括:对所述第一数据中的指定字段进行加密。
在具体实施中,如果多方安全计算中存在需要将明文数据转换为密文数据的操作,也需要对每个多方安全计算的算法进行修改,以增加将明文数据转换为密文数据的操作。本发明实施例将该加密功能集成在预置数据结构中,在识别所述第一数据为所述预置数据结构的情况下,即可自动对所述第一数据中的指定字段进行加密,将指定字段的明文数据转换为密文数据。
进一步地,如果在多方安全计算中同时使用了两种以上加密协议的数据源,例如参与方A和参与方B使用不同的加密协议,此时需要在加密协议之间进行转换。例如,需要将利用同态加密协议加密得到的密文数据先解密为明文数据再利用秘密分享协议进行加密,不但需要额外的加解密步骤,影响计算效率,而且在转换的过程中存在着数据隐私泄漏的风险。
本发明实施例在mpcmessage中增加用于表示协议类型的字段,如protocol。比如参与方A使用秘密共享协议,参与方B使用同态加密协议。一个示例中,参与方A可以定义如下预置数据结构mpcmessage:
mpcmessage A {
intid
string role
protocolsecretshare
}
该mpcmessage的类型为A类型,表示该mpcmessage对应的结构化数据基于秘密共享协议加密。
一个示例中,参与方B可以定义如下预置数据结构mpcmessage:
mpcmessage B {
intid
string data
protocol homo
}
该mpcmessage的类型为B类型,表示该mpcmessage对应的结构化数据基于同态加密协议加密。
当参与方处理到A类型的mpcmessage时,识别到字段protocol的类型为secretshare,则可以按照秘密分享协议的规则处理该mpcmessage;当处理到B类型的mpcmessage时,识别到字段protocol的类型为homo,则可以按照同态加密协议的规则处理该mpcmessage。由于mpcmessage中定义有加密协议对应的相关字段,可以作为公共接口,使得使用不同加密协议的参与方达成公共接口的协议。不需要额外的加解密步骤,可以提高计算效率,避免在转换的过程中泄露数据隐私的风险。
需要说明的是,本发明实施例对所述第二操作不做限制。所述第二操作还可以包括对第一数据进行校验和/或优化操作等。所述校验操作可以包括:校验所述第一数据的各字段是否发生溢出。所述优化操作可以包括:在保证第一数据的精度不降低的情况下,减少第一数据中字段的位数。如将int64为转换为int32位等。
本发明实施例不用对每个多方安全计算的算法进行修改,只需要对预置数据结构进行描述,利用Protobuf编译器执行一次编译,即可得到不同目标语言的数据访问类文件,每个参与方均可使用该数据访问类文件对定义的预置数据结构进行处理,即可屏蔽不同的多方安全计算框架对数据类型支持的差异性,并实现功能的扩展。
通过本发明实施例,多方安全计算的算法无需感知参与方的平台对数据类型是否支持。本发明提供了一种通用的数据处理方法,将明文算法移植到多方安全计算的密文算法的过程之中,也是无需多方安全计算的算法感知的,从而可以实现多方安全计算的可扩展性。
在本发明的一种可选实施例中,所述方法还可以包括:
在识别所述第一数据为所述预置数据结构的情况下,跳过压缩步骤。
多方安全计算中的相关数据通常为密文数据。明文数据和密文数据的一个区别是:明文数据通常有一定规律,因此可以进行压缩传输以节约网络带宽。Protobuf协议通常用来处理明文数据,因此默认采用压缩传输。然而,密文数据通常是随机数,没有规律,因此压缩不仅没有意义,反而会增加压缩的时间。本发明实施例通过定义的预置数据结构的类型,可以跳过对密文数据进行压缩的步骤,直接对序列化后得到的二进制数据流进行存储或传输,而不用执行对该二进制数据流执行压缩的步骤,从而提高数据处理和传输的效率。
在本发明的一种可选实施例中,所述方法还可以包括:
在接收到针对所述第一数据的读取指令的情况下,调用所述反序列化接口对所述二进制数据流进行反序列化,得到所述第一数据。
在将所述第一数据序列化为二进制流并存储在指定存储空间之后,对于需要读取该第一数据的程序来说,可以调用反序列化接口来将这个二进制流重新转换为结构化数据,得到第一数据。
在本发明的一种可选实施例中,所述方法还可以包括:
接收对端发送的二进制数据流,并调用所述反序列化接口对接收到的所述二进制数据流进行反序列化,得到第二数据;所述第二数据为所述多方安全计算中的相关数据,且所述第二数据具有所述数据描述文件中定义的预置数据结构。在多方安全计算中,一个参与方可以向对端的参与方发送二进制流,还可以接收对端的参与方发送的二进制流。
在本发明的一种可选实施例中,所述数据描述文件中还可以包含版本信息,所述方法还可以包括:根据所述数据描述文件中的版本信息,检验所述版本信息与支持的版本信息的兼容性。
进一步地,本发明实施例通过版本信息来校验参与方使用的预置数据结构的兼容性。本发明实施例可以定义不同版本信息,不同版本信息对应的预置数据结构支持不同的功能。
一个示例中,版本信息为0,表示预置数据结构即为通用Protobuf协议下的message。版本信息为1,表示预置数据结构支持string,并对string类型进行编码。版本信息为2,表示预置数据结构支持double,并对double类型进行编码。
通过版本信息可以校验参与方使用的预置数据结构是否兼容。进一步地,高版本可以兼容低版本,但是低版本不能兼容高版本,由此可以实现向后兼容性。在不破坏已部署的原有的预置数据结构的程序的前提下,可以对预置数据结构进行升级,可以避免因为消息结构的改变而造成的大规模的代码重构或者迁移的问题。
版本信息(mpcversion)写在数据描述文件中,因此通过读取数据描述文件可以获取版本信息。比如对于参与方A,参与方A的Protobuf编译器读取参与方A的数据描述文件中的版本信息,判断读取的版本信息与参与方A的系统支持的最小版本是否相兼容。如果读取的版本信息高于或等于系统支持的最小版本,则说明相兼容,否则不兼容。在版本不兼容的情况下可以提示错误信息,并结束当前多方安全计算任务。同样的,对于参与方B,参与方B的Protobuf编译器读取参与方B的数据描述文件中的版本信息,判断读取的版本信息与参与方B的系统支持的最小版本是否相兼容。
综上,本发明实施例提供的数据处理方法,基于Protobuf协议下的message定义了针对多方安全计算的预置数据结构的类型,基于该预置数据结构对多方安全计算中的相关数据进行处理,使得多方安全计算中的相关数据为语言无关、平台无关、可扩展的序列化结构数据格式。此外,一旦定义了要处理的数据结构之后,就可以利用Protobuf编译器生成目标语言的代码文件(数据访问类文件),只需使用预置数据结构对结构化数据进行一次描述,即可支持各种不同语言,并且每个参与方均可使用。由此可以屏蔽不同的多方安全计算框架对数据类型支持的差异性,从而实现多方安全计算的简洁性、准确性和可扩展性。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
参照图4,示出了本发明的一种数据处理装置实施例的结构框图,所述装置应用于多方安全计算的参与方,一个多方安全计算包括至少两个参与方,所述多方安全计算的程序中引用数据访问类文件,所述数据访问类文件中包含序列化接口和反序列化接口,所述数据访问类文件为利用ProtoBuf编译器对数据描述文件编译得到,所述数据描述文件中包含预置数据结构的定义,所述预置数据结构为基于ProtoBuf协议下的消息结构定义得到,所述装置包括:
序列化模块401,用于在处理到所述多方安全计算中的第一数据时,调用所述序列化接口对所述第一数据进行序列化,得到二进制数据流;所述第一数据为所述多方安全计算中的相关数据,且所述第一数据具有所述数据描述文件中定义的预置数据结构;
第一操作模块402,用于对所述二进制数据流执行第一操作,所述第一操作包括存储或发送。
可选地,所述装置还包括:
第二操作模块,用于在识别所述第一数据为所述预置数据结构的情况下,对所述第一数据执行第二操作;所述第二操作包括:将所述第一数据中第一类型的字段转换为第二类型。
可选地,所述装置还包括:
反序列化模块,用于在接收到针对所述第一数据的读取指令的情况下,调用所述反序列化接口对所述二进制数据流进行反序列化,得到所述第一数据。
可选地,所述预置数据结构根据所述多方安全计算采用的加密协议确定,不同的加密协议对应所述预置数据结构中的不同字段类型。
可选地,所述ProtoBuf编译器中配置有预置插件,所述装置还包括:
插件处理模块,用于利用所述ProtoBuf编译器对所述数据描述文件进行编译,在编译过程中,所述ProtoBuf编译器通过调用所述预置插件处理所述预置数据结构;所述预置插件包含基于所述ProtoBuf 编译器提供的接口添加的针对所述预置数据结构的处理流程。
可选地,所述装置还包括:
接收处理模块,用于接收对端发送的二进制数据流,并调用所述反序列化接口对接收到的所述二进制数据流进行反序列化,得到第二数据;所述第二数据为所述多方安全计算中的相关数据,且所述第二数据具有所述数据描述文件中定义的预置数据结构。
可选地,所述数据描述文件中包含版本信息,所述装置还包括:
版本校验模块,用于根据所述数据描述文件中的版本信息,检验所述版本信息与支持的版本信息的兼容性。
本发明实施例提供的数据处理装置,基于Protobuf协议下的message定义了针对多方安全计算的预置数据结构的类型,基于该预置数据结构对多方安全计算中的相关数据进行处理,使得多方安全计算中的相关数据为语言无关、平台无关、可扩展的序列化结构数据格式。此外,一旦定义了要处理的数据结构之后,就可以利用Protobuf编译器生成目标语言的代码文件(数据访问类文件),只需使用预置数据结构对结构化数据进行一次描述,即可支持各种不同语言,并且每个参与方均可使用。由此可以屏蔽不同的多方安全计算框架对数据类型支持的差异性,从而实现多方安全计算的简洁性、准确性和可扩展性。
参照图5,示出了本发明的一种多方安全计算系统实施例的结构框图,所述多方安全计算系统用于进行多方安全计算,一个多方安全计算包括至少两个参与方501,所述多方安全计算的程序中引用数据访问类文件,所述数据访问类文件中包含序列化接口和反序列化接口,所述数据访问类文件为利用ProtoBuf编译器对数据描述文件编译得到,所述数据描述文件中包含预置数据结构的定义,所述预置数据结构为基于ProtoBuf协议下的消息结构定义得到;其中:
所述参与方501,用于在处理到所述多方安全计算中的第一数据时,调用所述序列化接口对所述第一数据进行序列化,得到二进制数据流;所述第一数据为所述多方安全计算中的相关数据,且所述第一数据具有所述数据描述文件中定义的预置数据结构;以及对所述二进制数据流执行第一操作,所述第一操作包括存储或发送。
需要说明的是,本发明实施例中以所述多方安全计算系统包括两个参与方为例,在实际应用中,所述多方安全计算系统可以包括两个或两个以上参与方,本发明实施例对此不做限制。也即,参加一个多方安全计算的参与方的个数本发明不做限制。
可选地,所述参与方,还用于调用所述序列化接口对所述第一数据进行序列化之前,在识别所述第一数据为所述预置数据结构的情况下,对所述第一数据执行第二操作;所述第二操作包括:将所述第一数据中第一类型的字段转换为第二类型。
可选地,所述参与方,还用于在接收到针对所述第一数据的读取指令的情况下,调用所述反序列化接口对所述二进制数据流进行反序列化,得到所述第一数据。
可选地,所述预置数据结构根据所述多方安全计算采用的加密协议确定,不同的加密协议对应所述预置数据结构中的不同字段类型。
可选地,所述ProtoBuf编译器中配置有预置插件,所述参与方,还用于利用所述ProtoBuf编译器对所述数据描述文件进行编译,在编译过程中,所述ProtoBuf编译器通过调用所述预置插件处理所述预置数据结构;所述预置插件包含基于所述protobuf 编译器提供的接口添加的针对所述预置数据结构的处理流程。
可选地,所述参与方,还用于接收对端发送的二进制数据流,并调用所述反序列化接口对接收到的所述二进制数据流进行反序列化,得到第二数据;所述第二数据为所述多方安全计算中的相关数据,且所述第二数据具有所述数据描述文件中定义的预置数据结构。
可选地,所述数据描述文件中包含版本信息,所述参与方,还用于根据所述数据描述文件中的版本信息,检验所述版本信息与支持的版本信息的兼容性。
对于系统实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
关于上述实施例中的系统,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本发明实施例提供了一种用于数据处理的装置,包括有存储器,以及一个以上的程序,其中一个以上程序存储于存储器中,且经配置以由一个以上处理器执行所述一个以上程序包含用于进行上述一个或多个实施例中所述的数据处理方法的指令。
图6是根据一示例性实施例示出的一种用于数据处理的装置800的框图。例如,装置800可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图6,装置800可以包括以下一个或多个组件:处理组件802,存储器804,电源组件806,多媒体组件808,音频组件810,输入/输出(I/ O)的接口812,传感器组件814,以及通信组件816。
处理组件802通常控制装置800的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理元件802可以包括一个或多个处理器820来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件802可以包括一个或多个模块,便于处理组件802和其他组件之间的交互。例如,处理组件802可以包括多媒体模块,以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件806为装置800的各种组件提供电力。电源组件806可以包括电源管理系统,一个或多个电源,及其他与为装置800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如,音频组件810包括一个麦克风(MIC),当装置800处于操作模式,如呼叫模式、记录模式和语音信息处理模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中,音频组件810还包括一个扬声器,用于输出音频信号。
I/ O接口812为处理组件802和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器,用于为装置800提供各个方面的状态评估。例如,传感器组件814可以检测到设备800的打开/关闭状态,组件的相对定位,例如所述组件为装置800的显示器和小键盘,传感器组件814还可以搜索装置800或装置800一个组件的位置改变,用户与装置800接触的存在或不存在,装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件814还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件816还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频信息处理(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器804,上述指令可由装置800的处理器820执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
图7是本发明的一些实施例中服务器的结构示意图。该服务器1900可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(central processingunits,CPU)1922(例如,一个或一个以上处理器)和存储器1932,一个或一个以上存储应用程序1942或数据1944的存储介质1930(例如一个或一个以上海量存储设备)。其中,存储器1932和存储介质1930可以是短暂存储或持久存储。存储在存储介质1930的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器1922可以设置为与存储介质1930通信,在服务器1900上执行存储介质1930中的一系列指令操作。
服务器1900还可以包括一个或一个以上电源1926,一个或一个以上有线或无线网络接口1950,一个或一个以上输入输出接口1958,一个或一个以上键盘1956,和/或,一个或一个以上操作系统1941,例如Windows ServerTM,Mac OS XTM,UnixTM, LinuxTM,FreeBSDTM等等。
一种非临时性计算机可读存储介质,当所述存储介质中的指令由装置(服务器或者终端)的处理器执行时,使得装置能够执行图1所示的数据处理方法。
一种非临时性计算机可读存储介质,当所述存储介质中的指令由装置(服务器或者终端)的处理器执行时,使得装置能够执行前文图1所对应实施例中数据处理方法的描述,因此,这里将不再进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本申请所涉及的计算机程序产品或者计算机程序实施例中未披露的技术细节,请参照本申请方法实施例的描述。
此外,需要说明的是:本申请实施例还提供了一种计算机程序产品或计算机程序,该计算机程序产品或者计算机程序可以包括计算机指令,该计算机指令可以存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器可以执行该计算机指令,使得该计算机设备执行前文图1所对应实施例中数据处理方法的描述,因此,这里将不再进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本申请所涉及的计算机程序产品或者计算机程序实施例中未披露的技术细节,请参照本申请方法实施例的描述。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
以上对本发明所提供的一种数据处理方法、一种数据处理装置、一种多方安全计算系统、一种用于数据处理的装置和一种可读存储介质,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (11)
1.一种数据处理方法,其特征在于,应用于多方安全计算的参与方,一个多方安全计算包括至少两个参与方,所述多方安全计算的程序中引用数据访问类文件,所述数据访问类文件中包含序列化接口和反序列化接口,所述数据访问类文件为利用ProtoBuf编译器对数据描述文件编译得到,所述数据描述文件中包含预置数据结构的定义,所述预置数据结构为基于ProtoBuf协议下的消息结构定义得到,所述方法包括:
在处理到所述多方安全计算中的第一数据时,调用所述序列化接口对所述第一数据进行序列化,得到二进制数据流;所述第一数据为所述多方安全计算中的相关数据,且所述第一数据具有所述数据描述文件中定义的预置数据结构;
对所述二进制数据流执行第一操作,所述第一操作包括存储或发送。
2.根据权利要求1所述的方法,其特征在于,所述调用所述序列化接口对所述第一数据进行序列化之前,所述方法还包括:
在识别所述第一数据为所述预置数据结构的情况下,对所述第一数据执行第二操作;所述第二操作包括:将所述第一数据中第一类型的字段转换为第二类型。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在接收到针对所述第一数据的读取指令的情况下,调用所述反序列化接口对所述二进制数据流进行反序列化,得到所述第一数据。
4.根据权利要求1所述的方法,其特征在于,所述预置数据结构根据所述多方安全计算采用的加密协议确定,不同的加密协议对应所述预置数据结构中的不同字段类型。
5.根据权利要求1所述的方法,其特征在于,所述ProtoBuf编译器中配置有预置插件;所述方法还包括:
在利用所述ProtoBuf编译器对所述数据描述文件进行编译时,所述ProtoBuf编译器通过调用所述预置插件处理所述预置数据结构;所述预置插件包含基于所述ProtoBuf编译器提供的接口添加的针对所述预置数据结构的处理流程。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
接收对端发送的二进制数据流,并调用所述反序列化接口对接收到的所述二进制数据流进行反序列化,得到第二数据;所述第二数据为所述多方安全计算中的相关数据,且所述第二数据具有所述数据描述文件中定义的预置数据结构。
7.根据权利要求1所述的方法,其特征在于,所述数据描述文件中包含版本信息,所述方法还包括:
根据所述数据描述文件中的版本信息,检验所述版本信息与支持的版本信息的兼容性。
8.一种数据处理装置,其特征在于,应用于多方安全计算的参与方,一个多方安全计算包括至少两个参与方,所述多方安全计算的程序中引用数据访问类文件,所述数据访问类文件中包含序列化接口和反序列化接口,所述数据访问类文件为利用ProtoBuf编译器对数据描述文件编译得到,所述数据描述文件中包含预置数据结构的定义,所述预置数据结构为基于ProtoBuf协议下的消息结构定义得到,所述装置包括:
序列化模块,用于在处理到所述多方安全计算中的第一数据时,调用所述序列化接口对所述第一数据进行序列化,得到二进制数据流;所述第一数据为所述多方安全计算中的相关数据,且所述第一数据具有所述数据描述文件中定义的预置数据结构;
第一操作模块,用于对所述二进制数据流执行第一操作,所述第一操作包括存储或发送。
9.一种多方安全计算系统,其特征在于,所述多方安全计算系统用于进行多方安全计算,一个多方安全计算包括至少两个参与方,所述多方安全计算的程序中引用数据访问类文件,所述数据访问类文件中包含序列化接口和反序列化接口,所述数据访问类文件为利用ProtoBuf编译器对数据描述文件编译得到,所述数据描述文件中包含预置数据结构的定义,所述预置数据结构为基于ProtoBuf协议下的消息结构定义得到;其中:
所述参与方,用于在处理到所述多方安全计算中的第一数据时,调用所述序列化接口对所述第一数据进行序列化,得到二进制数据流;所述第一数据为所述多方安全计算中的相关数据,且所述第一数据具有所述数据描述文件中定义的预置数据结构;以及对所述二进制数据流执行第一操作,所述第一操作包括存储或发送。
10.一种用于数据处理的装置,其特征在于,包括有存储器,以及一个以上程序,其中一个以上程序存储于存储器中,且经配置以由一个以上处理器执行所述一个以上程序,所述一个以上程序包含用于进行如权利要求1至7中任一所述的数据处理方法的指令。
11.一种可读存储介质,其上存储有指令,当所述指令由装置的一个或多个处理器执行时,使得装置执行如权利要求1至7中任一所述的数据处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310593541.9A CN116361838B (zh) | 2023-05-23 | 2023-05-23 | 一种数据处理方法、装置、系统和可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310593541.9A CN116361838B (zh) | 2023-05-23 | 2023-05-23 | 一种数据处理方法、装置、系统和可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116361838A true CN116361838A (zh) | 2023-06-30 |
CN116361838B CN116361838B (zh) | 2023-08-11 |
Family
ID=86905283
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310593541.9A Active CN116361838B (zh) | 2023-05-23 | 2023-05-23 | 一种数据处理方法、装置、系统和可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116361838B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9378226B1 (en) * | 2012-10-10 | 2016-06-28 | Google Inc. | Method and system for a user-defined field type |
CN113420338A (zh) * | 2021-05-21 | 2021-09-21 | 华控清交信息科技(北京)有限公司 | 一种数据处理方法、装置和用于数据处理的装置 |
CN113556339A (zh) * | 2021-07-20 | 2021-10-26 | 北京冲量在线科技有限公司 | 支持异构tee算力节点交互的隐私计算方法 |
CN113973125A (zh) * | 2021-10-26 | 2022-01-25 | 杭州博盾习言科技有限公司 | 联邦学习中的通信方法及装置、电子设备、存储介质 |
CN114003973A (zh) * | 2021-10-13 | 2022-02-01 | 杭州趣链科技有限公司 | 数据处理方法、装置、电子设备和存储介质 |
CN114065238A (zh) * | 2021-11-05 | 2022-02-18 | 深圳致星科技有限公司 | 数据管理方法、装置及电子设备 |
CN114945920A (zh) * | 2020-12-13 | 2022-08-26 | 谷歌有限责任公司 | 使用安全多方计算来提高内容选择过程完整性 |
CN114944935A (zh) * | 2022-04-24 | 2022-08-26 | 华控清交信息科技(北京)有限公司 | 一种多方融合计算系统、多方融合计算方法和可读存储介质 |
-
2023
- 2023-05-23 CN CN202310593541.9A patent/CN116361838B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9378226B1 (en) * | 2012-10-10 | 2016-06-28 | Google Inc. | Method and system for a user-defined field type |
CN114945920A (zh) * | 2020-12-13 | 2022-08-26 | 谷歌有限责任公司 | 使用安全多方计算来提高内容选择过程完整性 |
CN113420338A (zh) * | 2021-05-21 | 2021-09-21 | 华控清交信息科技(北京)有限公司 | 一种数据处理方法、装置和用于数据处理的装置 |
CN113556339A (zh) * | 2021-07-20 | 2021-10-26 | 北京冲量在线科技有限公司 | 支持异构tee算力节点交互的隐私计算方法 |
CN114003973A (zh) * | 2021-10-13 | 2022-02-01 | 杭州趣链科技有限公司 | 数据处理方法、装置、电子设备和存储介质 |
CN113973125A (zh) * | 2021-10-26 | 2022-01-25 | 杭州博盾习言科技有限公司 | 联邦学习中的通信方法及装置、电子设备、存储介质 |
CN114065238A (zh) * | 2021-11-05 | 2022-02-18 | 深圳致星科技有限公司 | 数据管理方法、装置及电子设备 |
CN114944935A (zh) * | 2022-04-24 | 2022-08-26 | 华控清交信息科技(北京)有限公司 | 一种多方融合计算系统、多方融合计算方法和可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN116361838B (zh) | 2023-08-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110619220B (zh) | 对神经网络模型加密的方法及装置、存储介质 | |
CN111832067B (zh) | 一种数据处理方法、装置和用于数据处理的装置 | |
CN111221559B (zh) | 应用更新方法、装置、存储介质、终端及服务器 | |
CN111258590B (zh) | 一种代码执行方法、装置和用于代码执行的装置 | |
US11818491B2 (en) | Image special effect configuration method, image recognition method, apparatus and electronic device | |
CN110851240B (zh) | 功能调用方法、装置及存储介质 | |
CN110365806B (zh) | 网址转换方法及装置 | |
CN115185717A (zh) | 接口调用方法、装置、电子设备和存储介质 | |
CN111736816B (zh) | 一种编译链接方法、装置和用于编译链接的装置 | |
CN113312103A (zh) | 智能摄像机的软件定义方法及装置、电子设备和存储介质 | |
CN116361838B (zh) | 一种数据处理方法、装置、系统和可读存储介质 | |
CN108469991B (zh) | 多媒体数据处理方法及装置 | |
CN112114814A (zh) | 编译文件确定方法及装置、应用程序生成方法及装置 | |
CN113391811A (zh) | 函数编译方法、装置、电子设备及计算机可读存储介质 | |
CN111274556A (zh) | 代码混淆方法、装置及存储介质 | |
CN111752644A (zh) | 接口模拟方法、装置、设备及存储介质 | |
CN114885038B (zh) | 一种加密协议转换方法、结果获取节点和隐私计算节点 | |
CN111090463A (zh) | 资源标识方法及装置、计算机存储介质 | |
CN107832058B (zh) | 数据处理方法及装置 | |
CN113239389B (zh) | 一种数据处理方法、装置和用于数据处理的装置 | |
CN112860625B (zh) | 数据获取方法、数据存储方法、装置、设备及存储介质 | |
CN111695158B (zh) | 运算方法及装置 | |
CN111240735B (zh) | 应用打包方法、应用打包装置及存储介质 | |
CN117579255B (zh) | 一种不经意传输实例生成方法、装置、电子设备及介质 | |
CN111596949B (zh) | 一种开发应用程序的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |