CN112685750A - 数据处理方法及装置 - Google Patents
数据处理方法及装置 Download PDFInfo
- Publication number
- CN112685750A CN112685750A CN202011562224.3A CN202011562224A CN112685750A CN 112685750 A CN112685750 A CN 112685750A CN 202011562224 A CN202011562224 A CN 202011562224A CN 112685750 A CN112685750 A CN 112685750A
- Authority
- CN
- China
- Prior art keywords
- data
- node
- preprocessed
- fragments
- preprocessed data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 15
- 239000012634 fragment Substances 0.000 claims abstract description 243
- 238000012545 processing Methods 0.000 claims abstract description 86
- 238000004364 calculation method Methods 0.000 claims description 71
- 238000000034 method Methods 0.000 claims description 58
- 238000013467 fragmentation Methods 0.000 claims description 13
- 238000006062 fragmentation reaction Methods 0.000 claims description 13
- 238000013500 data storage Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 description 33
- 238000010586 diagram Methods 0.000 description 7
- 238000007781 pre-processing Methods 0.000 description 7
- 238000012795 verification Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Landscapes
- Storage Device Security (AREA)
Abstract
本申请公开了一种数据处理方法及装置,应用于包括多个节点的区块链数据处理系统,多个节点包括至少两个计算节点。该方法包括生成预处理数据分片,以使所述计算节点获取所述预处理数据分片;响应于所述计算节点利用所述预处理数据分片完成第一阶段计算后,获取所述预处理数据分片的数量;若所述预处理数据分片的数量小于第一预设数量阈值,生成数据分片。可以保证区块链中隐私数据的安全性。
Description
技术领域
本申请涉及区块链技术领域,尤其涉及一种数据处理方法及装置。
背景技术
区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。针对区块链数据全部上链并且公开透明存在的隐私数据保护问题,通常会使用混币器、环签名、同态加密、零知识证明或者安全多方计算等技术手段。
若通过区块链上的计算节点对隐私数据进行保护,会受到参与计算的数据分片的限制,使得无法更好地满足对隐私数据的处理需求。
发明内容
有鉴于此,本申请提供一种数据处理方法及装置,如下:
一种数据处理方法,应用于包括多个节点的区块链数据处理系统,所述多个节点包括至少两个计算节点,所述方法包括:
生成预处理数据分片,以使所述计算节点获取所述预处理数据分片;
响应于所述计算节点利用所述预处理数据分片完成第一阶段计算后,获取所述预处理数据分片的数量;
若所述预处理数据分片的数量小于第一预设数量阈值,生成数据分片。
可选地,所述方法还包括:
确定参与第二阶段计算的目标计算节点;
将与所述数据分片相匹配的中间参数发送至所述目标计算节点,以使所述目标计算节点生成与所述数据分片相匹配的数据分片。
可选地,所述获取所述预处理数据分片的数量包括获取每一计算节点的预处理数据分片的数量,其中,所述若所述预处理数据分片的数量小于第一预设数量阈值,生成数据分片,包括:
若第一计算节点的预处理数据分片的数量小于第一预设阈值,由所述第一计算节点生成数据分片;
将所述第一计算节点生成所述数据分片的中间参数发送至第二阶段计算的其他目标计算节点,以使其他目标计算节点生成与所述数据分片相匹配的数据分片。
可选地,所述生成预处理数据分片,包括:
由第一节点对随机数进行分片处理,获得若干个预处理数据分片,所述分片处理为将所述随机数切分成若干个数据分片,且混淆各个数据分片之间的关联关系,所述第一节点为所述区块链数据处理系统中除计算节点之外的任一节点;
将所述预处理数据分片分别发送至所述计算节点,使得每一计算节点获得预处理数据分片与其他计算节点的预处理数据分片不同。
可选地,所述方法还包括:
获取所述区块链数据处理系统中除计算节点之外的第一节点组;
基于所述第一阶段计算的需求参数,在所述第一节点组中的节点确定第一节点。
可选地,所述生成预处理数据分片,包括:
由所述计算节点生成预处理数据分片,将所述预处理数据分片存储至所述计算节点的私有数据存储区域。
可选地,所述预处理数据分片包括具有第一属性特征的第一预处理数据分片和具有第二属性特征的第二预处理数据分片,所述方法还包括:
获取第一阶段计算的计算模式;
若所述计算模式与所述第一属性特征相匹配,将所述第一预处理数据分片发送至所述计算节点;
若所述计算模式与所述第二属性特征相匹配,将所述第二预处理数据分片发送至所述计算节点。
可选地,所述计算节点利用所述预处理数据分片完成第一阶段计算,包括:对每一计算节点计算获得的第一信息进行处理,获得与所述待处理数据对应的处理结果,所述第一信息为每一计算节点利用自身的预处理数据分片对待处理数据的数据片段计算得到的信息。
可选地,所述方法还包括:
若生成的数据分片的数量大于等于第二预设数量阈值,停止生成数据分片。
一种数据处理装置,应用于包括多个节点的区块链数据处理系统,所述多个节点包括至少两个计算节点,所述装置包括:
第一生成单元,用于生成预处理数据分片,以使所述计算节点获取所述预处理数据分片;
获取单元,用于响应于所述计算节点利用所述预处理数据分片完成第一阶段计算后,获取所述预处理数据分片的数量;
第二生成单元,用于若所述预处理数据分片的数量小于第一预设数量阈值,生成数据分片。
从上述技术方案可以看出,本申请公开的一种数据处理方法及装置,应用于包括多个节点的区块链数据处理系统,多个节点包括至少两个计算节点。该方法包括生成预处理数据分片,以使所述计算节点获取所述预处理数据分片;响应于所述计算节点利用所述预处理数据分片完成第一阶段计算后,获取所述预处理数据分片的数量;若所述预处理数据分片的数量小于第一预设数量阈值,生成数据分片。由此,当计算节点参与隐私数据的处理过程时,即使获取的预处理数据分片在第一阶段计算中被消耗,也可以通过区块链数据处理系统中的节点继续生成数据分片,供后续计算的使用,使得数据分片能够被持续生成,保证各个计算节点在对隐私数据处理过程中的需求,进而保证了区块链中隐私数据的安全性。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种数据处理方法的流程示意图;
图2为本申请实施例提供的一种预处理数据分片的生成的示意图;
图3为本申请实施例提供的一种预处理数据分片应用的示意图;
图4为本申请实施例提供的一种数据处理装置的结构示意图;
图5为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在本申请实施例提供的一种数据处理方法,应用于包括多个节点的区块链数据处理系统。其中,节点可以是区块链网络中的节点,也可以是非区块链网络中的节点,若是区块链网络的节点,其可以是区块链网络中的计算机和服务器,例如多个节点可以是指区块链数据处理系统中各个客户端,每个节点在进行正常工作可以接收到输入信息,并基于接收到的输入信息进行该区块链数据处理系统中的数据处理。计算节点是该多个节点中的任意节点,或者由计算场景需求指定的节点,其用于对具有特定属性的数据进行计算,如对隐私数据进行计算。需要说明的是,在本申请实施例中计算节点至少为两个,因为如果有且仅有一个计算节点时,若该计算节点的数据被窃取,则会影响对隐私数据的保护。而采用多个计算节点对隐私数据进行处理时保证每个计算节点仅处理其中的一部分数据,使得任何一个计算节点均无法获得完整的隐私数据。区块链节点具有存储空间,包括私有数据存储空间和普通的数据存储空间,私有数据存储空间仅有该节点本身可以进行访问,普通的数据存储空间可以是区块链上任一节点均可以访问。
参见图1,其示出了本申请实施例提供的一种数据处理方法的流程示意图,该方法可以包括以下步骤:
S101、生成预处理数据分片,以使计算节点获取预处理数据分片。
其中,可以是区块链数据处理系统中任一节点生成预处理数据分片。该预处理分片的生成时机是区块链计算节点尚未启动计算时,即可以理解为预处理数据分片是预先生成的为了后续计算节点计算使用。可以将一个随机数进行拆分得到若干个预处理数据分片,例如,将随机数r拆分成t阶的拉格朗日函数。本申请后续的实施例会对该过程进行描述。
S102、响应于计算节点利用预处理数据分片完成第一阶段计算后,获取预处理数据分片的数量。
第一阶段计算可以是区块链启动时的计算阶段,该区块链启动时的计算阶段是指进入区块链中数据处理时需要预先完成的计算阶段。例如,基于区块链的借贷平台,需要先对借贷申请用户进行资产验证,但是对于借贷申请用户其实际资产属于其隐私数据不期望被其他用户获知,因此,对借贷用户的资产验证过程需要采用隐私数据保护的处理方式完成,为了能够实现这一目的需要由多个计算节点对其进行验证,实质是对其实际资产对应的资产分片进行各自计算,基于每一计算节点的计算结果进行汇总分析,来判断该借贷用户是否满足借贷认证条件。在该认证完成后可能还需要对借贷金额、还款金额等进行计算和处理,因此,对借贷申请用户进行资产验证为第一阶段计算,计算节点在完成该阶段计算是利用了预处理数据分片。
而在完成第一阶段计算后,预处理数据分片会被计算节点消耗,由于计算节点还需要完成后续阶段的计算,需要对剩余的预处理数据分片的数量进行获取,已得到当前每个计算节点的预处理数据分片的数量。
S103、若预处理数据分片的数量小于第一预设数量阈值,生成数据分片。
第一预设数量阈值可以是基于当前区块链数据处理系统的应用场景确定的,也可以是一个通用的固定值。此时预处理数据分片的数量是指经过第一阶段计算后剩余的预处理数据分片的数量,其可以是通过获取在第一阶段计算中的计算节点的预处理数据分片的数量获得的。也可以是参与第一阶段计算的所有计算节点的总的预处理数据分片数量,因为一组计算节点完成对同一隐私数据的保护处理,则可以通过总的预处理数据分片来判断是否能够实现后续计算需求。若预处理数据分片的数量小于第一预设数量阈值,可以由指定的节点生成数据分片,也可以是由计算节点生成数据分片。
将多个计算节点参与的计算分成了两个阶段的计算,第一阶段的计算可以是区块链启动阶段的计算使用预处理数据分片,区块链启动后即完成第一阶段的计算后可以由计算节点参与数据分片的生成,可持续提供数据分片用于多个计算节点后续阶段的计算。
本申请实施例公开的一种数据处理方法及装置,应用于包括多个节点的区块链数据处理系统,多个节点包括至少两个计算节点。该方法包括生成预处理数据分片,以使所述计算节点获取所述预处理数据分片;响应于所述计算节点利用所述预处理数据分片完成第一阶段计算后,获取所述预处理数据分片的数量;若所述预处理数据分片的数量小于第一预设数量阈值,生成数据分片。由此,当计算节点参与隐私数据的处理过程时,即使获取的预处理数据分片在第一阶段计算中被消耗,也可以通过区块链数据处理系统中的节点继续生成数据分片,供后续计算的使用,使得数据分片能够被持续生成,保证各个计算节点在对隐私数据处理过程中的需求,进而保证了区块链中隐私数据的安全性。
需要说明的是,本申请实施例提供的数据处理方法可以应用于区块链的隐私数据保护的应用场景中。由于区块链数据全部上链并且公开透明,会使得区块链节点中的隐私数据无法实现更好的保护,因此,可以利用由多个计算节点分别对隐私数据中的一部分进行处理,然后基于各个计算节点的处理结果生成针对隐私数据的隐藏信息,当该隐藏信息上链时则不会存在泄漏节点的隐私数据的风险。即在本申请实施例中用户的隐私数据仅被该用户对应的数据提供方节点所获知,其他节点均无法获知该隐私数据。计算节点在对隐私数据进行处理时需要利用数据分片以及隐私数据的数据片段完成计算。其中,隐私数据的数据片段可以是数据提供方节点随机对隐私数据进行切分后得到的数据片段,也可以是数据提供方节点基于接收到的计算节点的数据分片对隐私数据进行处理后切分得到的数据片段。本申请实施例对此不进行限制,只要各个计算节点接收到的隐私数据的数据片段不同即可。
下面以生成预处理数据分片的实施方式为例进行说明,需要说明的是,生成数据分片的过程与生成预处理数据分片的过程类似,对生成数据分片的过程不进行赘述,只是二者的生成时机不同。
在本申请实施例中可以是区块链数据处理系统的任意节点生成预处理数据分片,以使得计算节点完成第一阶段计算。
在一种可能的实施方式中,由第一节点对随机数进行分片处理,获得若干个预处理数据分片。其中,分片处理为将随机数切分成若干个数据分片,且混淆各个数据分片之间的关联关系。
需要说明的是,第一节点可以是区块链数据处理系统的任意节点,也可以为了不占用计算节点过多的计算资源,由区块链数据处理系统中除计算节点之外的任一节点生成预处理数据分片。这就使得该第一节点需要生成多个预处理数据分片,但是输出时的预处理数据分片之间的关联关系是混淆的。例如,对于随机数m,可以采用秘密分享算法k(T,N)来分成N个数据分片,即利用其中的任意T个数据分片才能通过插值算法恢复出原来的随机数。也可以是直接将随机数m随机分成N份,通过将所有N份预处理数据分片组合才能获得原有的随机数m。但是需要说明的是,本申请实施例中当生成预处理分片后,需要发送给各个计算节点,计算节点之间是不能获知彼此的预处理数据分片的。即计算节点之间是不能进行预处理数据分片的交互的。
在生成预处理数据分片之后,将多个预处理数据分片分别发送给不同的计算节点,使得每一计算节点接收一个预处理数据分片,每个预处理数据分片仅可以被发送给一个计算节点。
当第一计算节点不为区块链数据处理系统中的计算节点时,可以先获取区块链数据处理系统中除计算节点之外的第一节点组,基于第一阶段计算的需求参数,在第一节点组中的节点确定第一节点。其中,第一阶段计算的需求参数可以表示该第一阶段计算的场景需求参数,以及可以第一阶段计算的参与计算节点的数量参数,还可以包括对作为第一节点的认证参数等。如第一阶段为对用户资产认证的计算阶段,而需要认证的用户数量较多,对应的计算节点的数量也较多,则需要要求第一节点的能够生成较多的预处理数据分片,因此,会对第一计算节点的生成预处理分片的处理能力有所要求,此时需求参数可以包括内存参数、处理效率参数能,即需要在第一节点组中筛选一个具有高性能运算的节点作为第一节点。也可以是需求参数包括认证级别参数,即对第一节点组中的各个节点进行身份认证,依据身份认证结果匹配对应的级别参数,将级别参数大于参数阈值的节点作为第一节点。
在另一种可能的实施方式中,可以由计算节点生成预处理数据分片,在该实施方式中每个计算节点均会生成一个预处理数据分片,但是各个节点生成的预处理数据分片可以恢复出原始进行分片的数据。为了使得预处理数据分片不被窃取或者其他节点能够获取,计算节点将生成的预处理数据分片存储至自身的私有数据存储区域,该私有数据存储区域仅能被计算节点自身访问,其他节点无法访问该私有数据存储区域的存储内容。
为了能够使得各个计算节点生成的预处理数据分片能够恢复成同一数据,需要各个计算节点生成的预处理分片是相关联的。这就使得各个计算节点在生成预处理分片的过程中是由信息交互的。若第一计算节点生成预处理分片后,可以将生成预处理数据分片的中间参数发送至其他目标计算节点,以使得其他计算节点生成的预处理分片与第一计算节点生成的预处理数据分片是相匹配的,即相关联的。其中,中间参数可以是生成预处理数据分片的算法标识、算法参数以及生成预处理数据分片的其他公开数据等。
同理,在预处理数据分片的数量小于第一预设数量阈值,生成数据分片时,可以确定参与第二阶段计算的目标计算节点;将与数据分片相匹配的中间参数发送至目标计算节点,以使目标计算节点生成与数据分片相匹配的数据分片。具体的,若第一计算节点的预处理数据分片的数量小于第一预设阈值,由第一计算节点生成数据分片,将第一计算节点生成数据分片的中间参数发送至第二阶段计算的其他目标计算节点,以使其他目标计算节点生成与数据分片相匹配的数据分片。
在本发明实施例中可以通过生成预处理数据分片的方式满足区块链数据处理系统的第一阶段计算的需求,随着第一阶段计算对预处理数据分片的消耗,由节点继续生成数据分片,满足后续区块链数据处理系统的计算需求,实现了可持续提供数据分片满足多个计算节点的需求,更好地完成数据处理过程中对隐私数据的保护。
由于不同的应用场景对数据分片的需求不同,即在本申请实施例中生成的数据分片可以具有不同的属性特征。如预处理数据分片包括具有第一属性特征的第一预处理数据分片和具有第二属性特征的第二预处理数据分片。这样可以根据计算模式进行对应的预处理数据分片的下发。可以获取第一阶段计算的计算模式,若计算模式与第一属性特征相匹配,将第一预处理数据分片发送至计算节点;若计算模式与第二属性特征相匹配,将第二预处理数据分片发送至计算结果。
其中,计算节点利用预处理数据分片完成第一阶段计算,包括:对每一计算节点计算获得的第一信息进行处理,获得与所述待处理数据对应的处理结果,所述第一信息为每一计算节点利用自身的预处理数据分片对待处理数据的数据片段计算得到的信息。待处理数据为隐私数据,即计算节点利用预处理数据对隐私数据进行处理,得到了隐私数据对应的隐藏信息,即处理结果。
参见图2,其示出了本申请实施例提供的一种预处理数据分片的生成的示意图。在图2中区块链数据处理系统包括n个节点,分别用Peer1、Peer2......Peern表示,节点随机生成一阶分片[a]t、[b]t、[r]t以及二阶分片[R]2t,其中,[r]t和[R]2t满足随机双共享。其中,a,b,c分别代表不同的数,[a]、[b]、[c]代表a,b,c的分片,[c]是与[a]和[b]相关联的,可以通过三元组算法,生成一阶分片[c],具体的,[a]、[b]是一阶分片,那么[a]*[b]是二阶的,如步骤(1)计算节点可以通过计算公式[D]=[a][b]+[R]计算该计算节点的本地分片,即[D]使两个数的乘法加上一个二阶随机分片;步骤(2)通过各个计算方法的[D]能获得插值结果D,即D=open(2t,[D])。D不会泄露任何关于a、b的信息;步骤(3)[c]的分片是减法运算,即[c]=D-[r]。经过上述计算可以得到一阶分片,可以对已有的公开数据进行处理。其中,[c]是和[a]、[b]有一定关联关系的,[a][b][c]被称为一组三元组。使得每个计算节点均有一个对应于不同的数的数据分片的三元组。当三元组被使用时,可以根据数据提供方所产生的随机数选择已有三元组列表中的一个三元组,作为本次使用的三元组。通过这种方式,在使用三元组进行乘法计算的过程中,可以有效保证三元组的使用过程中的保密性,从而进一步增强多个计算节点计算的安全性。可以通过拉格朗日算法能最终利用分片计算出乘积。一阶分片是一次方,若计算节点采用加法或者减法的运算模式时会利用到。二阶分片是二次方,如a*a,计算节点采用乘除法的运算模式时会用到。随机双共享时指一个数r能拆分成t阶的拉格朗日函数,也能拆分成2t阶的拉格朗日函数。
参见图3,其示出了本申请实施例提供的一种预处理数据分片应用的示意图。在图3中计算节点包括Peer1、Peer2......Peern,数据提供方A和B,其可以提供需要进行隐私保护的隐私数据,每一个计算节点都有对应利用计算的预处理数据分片,如peer1节点的预处理数据分片有[a1]、[b1]和[c1],peer2节点的预处理数据分片有[a2]、[b2]和[c2]……peern节点的预处理数据分片有[an]、[bn]和[cn]。数据提供方A待处理的原始数据为A,数据提供方B待处理的原始数据为B,数据提供方A接收到各个计算节点发送的预处理数据分片[a],其包括[a1]、[a2]、……[an],数据提供方A对各个计算节点发送的预处理数据分片进行插值计算得到数据a,利用a对其原始数据A进行处理,得到对应的隐藏数据d,即d=A-a;数据提供方B接收到各个计算节点发送的预处理数据分片[b],其包括[b1]、[b2]、……[bn],数据提供方B对各个计算节点发送的预处理数据分片进行插值计算得到数据b,利用b对其原始数据B进行处理,得到对应的隐藏数据e,即e=B-b。然后数据提供方A将其隐藏数据d发送给各个计算节点,数据提供方B将其隐藏数据e发送给各个计算节点,然后各个计算节点利用预处理数据分片计算隐藏数据的乘积,最后在利用各个计算节点计算得到的隐藏数据的乘积进行插值还原得到数据提供方原始数据的乘积,实现了对原始数据A和B的隐藏处理。下面对各个计算节点的计算过程进行表示,其中,显示的计算过程只是各个计算节点计算的一部分,其具体的计算形式也可以根据实际应用场景进行变换,图3只是示例性说明。
Peer1节点利用预处理分片对数据提供方的隐藏信息进行乘法处理为:
[(A*B)1]=de+d[b1]+e[a1]+[c1]
Peer2节点利用预处理分片对数据提供方的隐藏信息进行乘法处理为:
[(A*B)2]=de+d[b2]+e[a2]+[c2]
……
Peern节点利用预处理分片对数据提供方的隐藏信息进行乘法处理为:
[(A*B)n]=de+d[bn]+e[an]+[cn]
通过各个计算节点的计算结果进行组合,可以得到原始数据的乘积表示为:
A*B=Open([(A*B)1]…[(A*B)n])。
可见,在本申请实施例中在计算节点进行计算的过程中,加减法运算消耗一阶数据分片,乘除法消耗一阶、二阶数据分片,从而生成对应形式的预处理数据分片,可以保证计算节点的各种应用需求。
下面以具体的应用实例对本申请实施例的数据处理方法进行说明。
以电子借贷平台为例,若以区块链智能合约技术对借款方进行资产认证,会包括借款方的个人财务信息,无法保证借款人隐私信息的有效保护。利用本申请实施例提供的数据处理方法,该电子借贷平台包括计算节点、放款节点等。第一阶段计算可以是指当前电子借贷平台需要审核的借款方的审核过程,可以是根据已有借款方借款请求确定要审核的借款方。由于在该审核阶段需要保护借款方的实际资产数据,因此各个计算节点需要利用预处理分片进行审核认证,首先各个计算节点将自身的预处理数据分片发送各个借款方,使得借款方根据接收到的各个计算节点的预处理数据分片对实际资产数据进行隐藏处理,得到资产隐藏数据,然后将资产隐藏数据发送给各个计算节点,各个计算节点利用自身的预处理数据分片对各个借款方的资产隐藏数据进行还原,得总资产数据,可以判断是否符合借贷条件。计算总资产数据适用于当前借款方有若干个子公司的应用场景。
第二阶段计算可以是对新接收到的借款方的借款申请进行认证的处理过程。由于在对之前的借款方进行认证时消耗了预处理数据分片,在不关闭电子借贷平台的基础上,可以由计算节点生成新的数据分片,来实现对新接收到的借贷申请对应的借款方进行资产验证。
对应的,第二阶段计算也可以应用在借款方验证通过后,进行放款的处理过程中。对于某些应用场景借款方并不期望将其接收到的借款金额进行公开,因此,可以将借贷平台的实际放款金额也进行隐私数据处理,以保证除借款方外其他节点无法获得实际的放款金额。由于在资产认证过程中消耗了预处理数据分片,剩余预处理数据分片无法完成对放款金额的隐私数据处理,就需要计算节点继续生成数据分片以保证这一过程的隐私数据处理的完成。
需要说明的是,上述应用场景中的计算阶段仅是举例说明。对应于本申请实施例中的区块链数据处理系统其第一阶段计算可以是该系统启动阶段需要完成的计算,如该系统中待处理的数据计算过程。而后续的第二阶段计算是指该区块链数据处理系统实时接收到的隐私数据的处理,也可以是与第一阶段计算相关联的计算过程。该系统中的节点可以在系统运行过程中基于剩余数据分片的数量持续生成数据分片,当生成的数据分片的数量大于等于第二预设阈值,停止生成数据分片。其中,第二预设阈值可以根据实际的应用场景进行确定,如根据计算节点的数量来确定,使得生成的数据分片的数量大于等于计算节点的数量。以保证各个计算节点的计算需求,从而保证该系统能够实时完成对隐私数据的处理。
在本申请实施例中还提供了一种数据处理装置,应用于包括多个节点的区块链数据处理系统,所述多个节点包括至少两个计算节点,参见图4,所述装置包括:
第一生成单元10,用于生成预处理数据分片,以使所述计算节点获取所述预处理数据分片;
获取单元20,用于响应于所述计算节点利用所述预处理数据分片完成第一阶段计算后,获取所述预处理数据分片的数量;
第二生成单元30,用于若所述预处理数据分片的数量小于第一预设数量阈值,生成数据分片。
本申请实施例提供的一种数据处理装置,应用于包括多个节点的区块链数据处理系统,多个节点包括至少两个计算节点。该装置生成预处理数据分片,以使所述计算节点获取所述预处理数据分片;响应于所述计算节点利用所述预处理数据分片完成第一阶段计算后,获取所述预处理数据分片的数量;若所述预处理数据分片的数量小于第一预设数量阈值,生成数据分片。由此,当计算节点参与隐私数据的处理过程时,即使获取的预处理数据分片在第一阶段计算中被消耗,也可以通过区块链数据处理系统中的节点继续生成数据分片,供后续计算的使用,使得数据分片能够被持续生成,保证各个计算节点在对隐私数据处理过程中的需求,进而保证了区块链中隐私数据的安全性。
在图4对应的实施例的基础上,所述装置还包括:
第一确定单元,用于确定参与第二阶段计算的目标计算节点;
第一发送单元,用于将与所述数据分片相匹配的中间参数发送至所述目标计算节点,以使所述目标计算节点生成与所述数据分片相匹配的数据分片。
可选地,所述获取所述预处理数据分片的数量包括获取每一计算节点的预处理数据分片的数量,其中,所述第二生成单元具体用于:
若第一计算节点的预处理数据分片的数量小于第一预设阈值,由所述第一计算节点生成数据分片;将所述第一计算节点生成所述数据分片的中间参数发送至第二阶段计算的其他目标计算节点,以使其他目标计算节点生成与所述数据分片相匹配的数据分片。
可选地,所述第一生成单元具体用于:
由第一节点对随机数进行分片处理,获得若干个预处理数据分片,所述分片处理为将所述随机数切分成若干个数据分片,且混淆各个数据分片之间的关联关系,所述第一节点为所述区块链数据处理系统中除计算节点之外的任一节点;
将所述预处理数据分片分别发送至所述计算节点,使得每一计算节点获得预处理数据分片与其他计算节点的预处理数据分片不同。
在图4所示实施例的基础上,所述装置还包括:
节点获取单元,用于获取所述区块链数据处理系统中除计算节点之外的第一节点组;
第二确定单元,用于基于所述第一阶段计算的需求参数,在所述第一节点组中的节点确定第一节点。
可选地,所述第一生成单元具体用于:
由所述计算节点生成预处理数据分片,将所述预处理数据分片存储至所述计算节点的私有数据存储区域。
可选地,所述预处理数据分片包括具有第一属性特征的第一预处理数据分片和具有第二属性特征的第二预处理数据分片,所述装置还包括:
模式获取单元,用于获取第一阶段计算的计算模式;
第二发送单元,用于若所述计算模式与所述第一属性特征相匹配,将所述第一预处理数据分片发送至所述计算节点;
第三发送单元,用于若所述计算模式与所述第二属性特征相匹配,将所述第二预处理数据分片发送至所述计算节点。
可选地,所述计算节点利用所述预处理数据分片完成第一阶段计算,包括:对每一计算节点计算获得的第一信息进行处理,获得与所述待处理数据对应的处理结果,所述第一信息为每一计算节点利用自身的预处理数据分片对待处理数据的数据片段计算得到的信息。
可选地,所述装置还包括:
分片停止单元,用于若生成的数据分片的数量大于等于第二预设数量阈值,停止生成数据分片。
需要说明的是,本实施例中各单元的具体实现可以参考前文中相应内容,此处不再详述。
参见图5,为本申请实施例提供的一种电子设备的结构示意图,该电子设备可以为区块链数据处理系统,区块链数据处理系统包括多个节点,多个节点包括至少两个计算节点。本实施例提供的技术方案主要用于实现可持续生成数据分片保护隐私数据的安全性。
具体的,本实施例中的电子设备可以包括以下结构:
存储器501,用于存储应用程序和所述应用程序运行所产生的数据;
处理器502,用于执行所述应用程序,以实现:
生成预处理数据分片,以使所述计算节点获取所述预处理数据分片;
响应于所述计算节点利用所述预处理数据分片完成第一阶段计算后,获取所述预处理数据分片的数量;
若所述预处理数据分片的数量小于第一预设数量阈值,生成数据分片。
从上述技术方案可以看出,本实施例提供的一种电子设备,应用于包括多个节点的区块链数据处理系统,多个节点包括至少两个计算节点。该方法包括生成预处理数据分片,以使所述计算节点获取所述预处理数据分片;响应于所述计算节点利用所述预处理数据分片完成第一阶段计算后,获取所述预处理数据分片的数量;若所述预处理数据分片的数量小于第一预设数量阈值,生成数据分片。由此,当计算节点参与隐私数据的处理过程时,即使获取的预处理数据分片在第一阶段计算中被消耗,也可以通过区块链数据处理系统中的节点继续生成数据分片,供后续计算的使用,使得数据分片能够被持续生成,保证各个计算节点在对隐私数据处理过程中的需求,进而保证了区块链中隐私数据的安全性。
需要说明的是,本实施例中处理器的具体实现可以参考前文中相应内容,此处不再详述。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种数据处理方法,应用于包括多个节点的区块链数据处理系统,所述多个节点包括至少两个计算节点,所述方法包括:
生成预处理数据分片,以使所述计算节点获取所述预处理数据分片;
响应于所述计算节点利用所述预处理数据分片完成第一阶段计算后,获取所述预处理数据分片的数量;
若所述预处理数据分片的数量小于第一预设数量阈值,生成数据分片。
2.根据权利要求1所述的方法,所述方法还包括:
确定参与第二阶段计算的目标计算节点;
将与所述数据分片相匹配的中间参数发送至所述目标计算节点,以使所述目标计算节点生成与所述数据分片相匹配的数据分片。
3.根据权利要求2所述的方法,所述获取所述预处理数据分片的数量包括获取每一计算节点的预处理数据分片的数量,其中,所述若所述预处理数据分片的数量小于第一预设数量阈值,生成数据分片,包括:
若第一计算节点的预处理数据分片的数量小于第一预设阈值,由所述第一计算节点生成数据分片;
将所述第一计算节点生成所述数据分片的中间参数发送至第二阶段计算的其他目标计算节点,以使其他目标计算节点生成与所述数据分片相匹配的数据分片。
4.根据权利要求1所述的方法,所述生成预处理数据分片,包括:
由第一节点对随机数进行分片处理,获得若干个预处理数据分片,所述分片处理为将所述随机数切分成若干个数据分片,且混淆各个数据分片之间的关联关系,所述第一节点为所述区块链数据处理系统中除计算节点之外的任一节点;
将所述预处理数据分片分别发送至所述计算节点,使得每一计算节点获得预处理数据分片与其他计算节点的预处理数据分片不同。
5.根据权利要求1所述的方法,所述方法还包括:
获取所述区块链数据处理系统中除计算节点之外的第一节点组;
基于所述第一阶段计算的需求参数,在所述第一节点组中的节点确定第一节点。
6.根据权利要求1所述的方法,所述生成预处理数据分片,包括:
由所述计算节点生成预处理数据分片,将所述预处理数据分片存储至所述计算节点的私有数据存储区域。
7.根据权利要求1所述的方法,所述预处理数据分片包括具有第一属性特征的第一预处理数据分片和具有第二属性特征的第二预处理数据分片,所述方法还包括:
获取第一阶段计算的计算模式;
若所述计算模式与所述第一属性特征相匹配,将所述第一预处理数据分片发送至所述计算节点;
若所述计算模式与所述第二属性特征相匹配,将所述第二预处理数据分片发送至所述计算节点。
8.根据权利要求1所述的方法,所述计算节点利用所述预处理数据分片完成第一阶段计算,包括:对每一计算节点计算获得的第一信息进行处理,获得与所述待处理数据对应的处理结果,所述第一信息为每一计算节点利用自身的预处理数据分片对待处理数据的数据片段计算得到的信息。
9.根据权利要求1所述的方法,所述方法还包括:
若生成的数据分片的数量大于等于第二预设数量阈值,停止生成数据分片。
10.一种数据处理装置,应用于包括多个节点的区块链数据处理系统,所述多个节点包括至少两个计算节点,所述装置包括:
第一生成单元,用于生成预处理数据分片,以使所述计算节点获取所述预处理数据分片;
获取单元,用于响应于所述计算节点利用所述预处理数据分片完成第一阶段计算后,获取所述预处理数据分片的数量;
第二生成单元,用于若所述预处理数据分片的数量小于第一预设数量阈值,生成数据分片。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011562224.3A CN112685750A (zh) | 2020-12-25 | 2020-12-25 | 数据处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011562224.3A CN112685750A (zh) | 2020-12-25 | 2020-12-25 | 数据处理方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112685750A true CN112685750A (zh) | 2021-04-20 |
Family
ID=75451879
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011562224.3A Pending CN112685750A (zh) | 2020-12-25 | 2020-12-25 | 数据处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112685750A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113268769A (zh) * | 2021-05-25 | 2021-08-17 | 平安普惠企业管理有限公司 | 基于随机混淆的生物特征数据处理方法、系统及存储介质 |
CN115801253A (zh) * | 2023-02-03 | 2023-03-14 | 蓝象智联(杭州)科技有限公司 | 一种用于安全多方计算的多方秘密分享方法及电子设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103414682A (zh) * | 2013-04-07 | 2013-11-27 | 深圳大学 | 一种数据的云端存储方法及系统 |
CN109376155A (zh) * | 2018-11-06 | 2019-02-22 | 泰康保险集团股份有限公司 | Id生成方法及装置、存储介质及电子设备 |
CN111949666A (zh) * | 2020-08-31 | 2020-11-17 | 平安国际智慧城市科技股份有限公司 | 标识生成方法、装置、电子设备及存储介质 |
WO2020233631A1 (zh) * | 2019-05-20 | 2020-11-26 | 创新先进技术有限公司 | 基于交易类型的收据存储方法和节点 |
-
2020
- 2020-12-25 CN CN202011562224.3A patent/CN112685750A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103414682A (zh) * | 2013-04-07 | 2013-11-27 | 深圳大学 | 一种数据的云端存储方法及系统 |
CN109376155A (zh) * | 2018-11-06 | 2019-02-22 | 泰康保险集团股份有限公司 | Id生成方法及装置、存储介质及电子设备 |
WO2020233631A1 (zh) * | 2019-05-20 | 2020-11-26 | 创新先进技术有限公司 | 基于交易类型的收据存储方法和节点 |
CN111949666A (zh) * | 2020-08-31 | 2020-11-17 | 平安国际智慧城市科技股份有限公司 | 标识生成方法、装置、电子设备及存储介质 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113268769A (zh) * | 2021-05-25 | 2021-08-17 | 平安普惠企业管理有限公司 | 基于随机混淆的生物特征数据处理方法、系统及存储介质 |
CN115801253A (zh) * | 2023-02-03 | 2023-03-14 | 蓝象智联(杭州)科技有限公司 | 一种用于安全多方计算的多方秘密分享方法及电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3769467B1 (en) | Computer-implemented system and method for exchange of data | |
CN109120398B (zh) | 一种基于区块链系统的秘密共享方法与装置 | |
CA2983163C (en) | Generating cryptographic function parameters from compact source code | |
CN116561789B (zh) | 隐私数据的处理方法、装置、电子设备及可读存储介质 | |
WO2019010392A1 (en) | SYSTEMS, METHODS AND DEVICES FOR REDUCING AND / OR ELIMINATING DATA LEAKAGE IN ELECTRONIC REGISTER TECHNOLOGIES FOR NON-TRUST ORDER MATCHING | |
EP3642773B1 (en) | System and method of multi-round token distribution using a blockchain network | |
US20190319783A1 (en) | Generating Cryptographic Function Parameters Based on an Observed Astronomical Event | |
EP3286747B1 (en) | Generating cryptographic function parameters from a puzzle | |
US20200204338A1 (en) | Securing public key cryptographic algorithms | |
CN112685750A (zh) | 数据处理方法及装置 | |
CN112597542B (zh) | 目标资产数据的聚合方法及装置、存储介质、电子装置 | |
Wang et al. | Information-theoretic secure multi-party computation with collusion deterrence | |
CN112613601A (zh) | 神经网络模型更新方法、设备及计算机存储介质 | |
Ning et al. | Keeping time-release secrets through smart contracts | |
Sakho et al. | Privacy protection issues in blockchain technology | |
Raikwar et al. | R3V: Robust round robin VDF-based consensus | |
Zhang et al. | Trustworthy sealed-bid auction with low communication cost atop blockchain | |
CN112685769A (zh) | 区块链的数据处理方法、装置及电子设备 | |
Ahmed et al. | Blockchain Meets Secured Microservice Architecture: A Trustworthy Consensus Algorithm. | |
CN114650145B (zh) | 生成区块链中区块的方法、装置及电子设备 | |
Chaudhury et al. | Smart Contracts on Algorand | |
Zhang et al. | ARPA whitepaper | |
Sweet | A Decentralized Computation Platform | |
JP2024022488A (ja) | 匿名メッセージ・ボード・サーバーの検証 | |
Ghasaei et al. | Blockchain-based, Privacy-preserving, First Price Sealed Bid Auction (FPSBA) Verifiable by Participants |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |