一种数据统计的方法、装置以及设备
技术领域
本说明书涉及计算机技术领域,尤其涉及一种数据统计的方法、装置以及设备。
背景技术
当前,基于实际的业务需求,需要对一些数据进行数据统计,如,在多头信贷中,通过数据统计的方式统计出一个用户在各家银行的贷款总额。而在数据统计过程中,通常需要对各数据存储节点发送数据查询请求,各数据存储节点会将各自存储的该数据查询请求所对应的数据统一发送至一个中心节点中,进而由该中心节点根据各数据存储节点发送的各数据,完成数据统计。
基于现有技术,需要更为有效的数据统计方式。
发明内容
本说明书提供一种数据统计的方法,用以解决现有技术的数据统计过程中数据存在隐私数据泄露的问题。
本说明书提供了一种数据统计的方法,包括:
数据存储节点接收数据统计请求;
将所述数据统计请求对应的数据进行加密,得到若干加密数据;
从所述若干加密数据中确定部分加密数据,作为待分发加密数据,并将每个待分发加密数据分别发送给其他数据存储节点;
对所述若干加密数据中未发送的加密数据的部分或全部,以及接收到的其他数据存储节点发送的加密数据进行处理;
将得到的处理结果发送给代理节点,以使所述代理节点根据所述数据存储节点发送的处理结果以及其他数据存储节点发送的处理结果进行数据统计。
本说明书提供一种数据统计的装置,用以解决现有技术的数据统计过程中数据存在隐私数据泄露的问题。
本说明书提供了一种数据统计的装置,包括:
接收模块,接收数据统计请求;
加密模块,将所述数据统计请求对应的数据进行加密,得到若干加密数据;
第一发送模块,从所述若干加密数据中确定部分加密数据,作为待分发加密数据,并将每个待分发加密数据分别发送给其他数据存储节点;
处理模块,对所述若干加密数据中未发送的加密数据的部分或全部,以及接收到的其他数据存储节点发送的加密数据进行处理;
第二发送模块,将得到的处理结果发送给代理节点,以使所述代理节点根据所述装置发送的处理结果以及其他数据存储节点发送的处理结果进行数据统计。
本说明书提供一种数据统计的设备,用以解决现有技术的数据统计过程中数据存在隐私数据泄露的问题。
本说明书提供了一种数据统计的设备,包括:一个或多个存储器以及处理器,所述存储器存储程序,并且被配置成由所述一个或多个处理器执行以下步骤:
接收数据统计请求;
将所述数据统计请求对应的数据进行加密,得到若干加密数据;
从所述若干加密数据中确定部分加密数据,作为待分发加密数据,并将每个待分发加密数据分别发送给其他数据存储节点;
对所述若干加密数据中未发送的加密数据的部分或全部,以及接收到的其他数据存储节点发送的加密数据进行处理;
将得到的处理结果发送给代理节点,以使所述代理节点根据所述设备发送的处理结果以及其他数据存储节点发送的处理结果进行数据统计。
本说明书提供一种数据统计的方法,用以解决现有技术的数据统计过程中数据存在隐私数据泄露的问题。
本说明书提供了一种数据统计的方法,包括:
代理节点接收数据统计请求;
将所述数据统计请求发送给各数据存储节点,以使每个数据存储节点按照上述的方法,向所述代理节点返回处理结果;
根据接收到的各处理结果进行数据统计。
本说明书提供一种数据统计的装置,用以解决现有技术的数据统计过程中数据存在隐私数据泄露的问题。
本说明书提供了一种数据统计的装置,包括:
接收模块,接收数据统计请求;
发送模块,将所述数据统计请求发送给各数据存储节点,以使每个数据存储节点按照上述的方法,向所述装置返回处理结果;
统计模块,根据接收到的各处理结果进行数据统计。
本说明书提供一种数据统计的设备,用以解决现有技术的数据统计过程中数据存在隐私数据泄露的问题。
本说明书提供了一种数据统计的代理节点,包括:一个或多个存储器以及处理器,所述存储器存储程序,并且被配置成由所述一个或多个处理器执行以下步骤:
接收数据统计请求;
将所述数据统计请求发送给各数据存储节点,以使每个数据存储节点按照上述的方法,向所述代理节点返回处理结果;
根据接收到的各处理结果进行数据统计。
本说明书采用的上述至少一个技术方案能够达到以下有益效果:
在本说明书一个或多个实施例中,数据存储节点在接收到数据统计请求时,可以将该数据统计请求对应的数据进行加密,得到若干加密数据。该数据存储节点可以将得到的若干加密数据中的部分加密数据作为待分发加密数据分别发送给其他数据存储节点,该数据存储节点可以将得到的若干加密数据中未发送的加密数据的部分或全部,以及接收到的其他数据存储节点发送的加密数据进行处理,并将得到的处理结果发送给代理节点,以使该代理节点可以根据各数据存储节点发送的处理结果进行数据统计。
由于每个数据存储节点是将经过加密、处理后的各加密数据发送给代理节点的,而并不是将数据统计请求所对应的数据发送给代理节点的。所以,该代理节点在接收到各数据存储节点发送的加密数据只能统计出总体的结果,而无法得出各数据存储节点分别存储的该数据统计请求所对应的数据。这样有效的解决了因中心化所带来的数据泄露问题,从而提高了数据统计过程中数据的安全性。
附图说明
此处所说明的附图用来提供对本说明书的进一步理解,构成本说明书的一部分,本说明书的示意性实施例及其说明用于解释本说明书,并不构成对本说明书的不当限定。在附图中:
图1为本说明书提供的数据统计过程的示意图;
图2为本说明书提供的各节点组的示意图;
图3为本说明书提供的各数据存储节点将自身存的加密数据和其他数据存储节点发送的加密数据进行统计处理的示意图;
图4为本说明书提供的一种数据统计的装置示意图;
图5为本说明书提供的另一种数据统计的装置示意图;
图6为本说明书提供的一种数据统计的设备示意图;
图7为本说明书提供的一种数据统计的代理节点的示意图。
具体实施方式
在现有技术中,需要对数据进行统计时,可以向各数据存储节点发送数据查询请求,各数据存储节点会将各自存储的数据查询请求所对应的数据统一发送到一个中心节点中,进而由该中心节点根据各数据存储节点发送的各数据,完成数据统计。
上述方式虽然能够完成数据统计工作,但是,中心节点将会获取到各数据存储节点所存储的数据,而由于各数据对于各数据存储节点来说,均属于需要保护的隐私数据,所以,这样将会使各数据存储节点的隐私数据遭到泄露。
为此,本说明书提供了一种数据统计的方法,数据存储节点在接收到数据统计请求时,可以将该数据统计请求对应的数据进行加密,得到若干加密数据。该数据存储节点可以将得到的若干加密数据中的部分加密数据作为待分发加密数据分别发送给其他数据存储节点,该数据存储节点可以将得到的若干加密数据中未发送的加密数据的部分或全部,以及接收到的其他数据存储节点发送的加密数据进行处理,并将得到的处理结果发送给代理节点,以使该代理节点可以根据各数据存储节点发送的处理结果进行数据统计。
由于每个数据存储节点是将经过加密、处理后的各加密数据发送给代理节点的,而并不是将数据统计请求所对应的数据发送给代理节点的。所以,该代理节点在接收到各数据存储节点发送的加密数据只能统计出总体的结果,而无法得出各数据存储节点分别存储的该数据统计请求所对应的数据。这样有效的解决了因中心化所带来的数据泄露问题,从而提高了数据统计过程中数据的安全性。
为了使本技术领域的人员更好地理解本说明书一个或多个实施例中的技术方案,下面将结合本说明书一个或多个实施例中的附图,对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本说明书一部分实施例,而不是全部的实施例。基于本说明书中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本说明书保护的范围。
图1为本说明书提供的数据统计过程的示意图,具体包括以下步骤:
S100:数据存储节点接收数据统计请求。
在数据统计过程中,数据存储节点可以接收数据统计请求,以向代理节点提供相应的数据。例如,在多头信贷的场景中,用户在多家银行进行了贷款,而当某一机构需要查询该用户在各家银行的贷款总额时,可以通过代理节点向各家银行分发数据统计请求。其中,该场景中提到的各家银行的设备(如银行的服务器、终端等设备)可以是数据存储节点(后续为了方便,则直接将银行称之为是数据存储节点)。
在本说明书中,数据统计请求可以是指代理节点接收到用户发送的数据查询请求后,根据该数据查询请求中所包含的诸如所需数据的标识信息等信息而生成的,也可以将用户发送的数据查询请求直接作为数据统计请求,抑或是根据用户发送的数据查询请求而向各数据存储节点发送的获取数据的指令等。而无论该数据统计请求是何种形式,其主要的作用在于通过该数据统计请求,使各数据存储节点向代理节点返回代理节点进行数据统计所需的数据。
S102:将所述数据统计请求对应的数据进行加密,得到若干加密数据。
对于每个数据存储节点来说,该数据存储节点接收到该数据统计请求后,可以确定出该数据统计请求对应的数据。具体的,数据存储节点可以确定出该数据统计请求中携带的标识信息,进而确定出该标识信息所对应的数据。
例如,在多头信贷场景中,假设银行接收到代理节点发送的数据统计请求后,可以确定出该数据统计请求中所包含的用户标识(如用户姓名、身份证号、手机号等标识信息),进而通过该用户标识,确定出该用户标识对应的用户在该银行的贷款数额。
对于每个数据存储节点来说,该数据存储节点所保存的数据对于自身来说属于隐私数据。通常情况下,数据存储节点所存储的数据是需要严格保护的,并不能将这些数据直观的发送给其他的数据存储节点、机构或是个人。所以,为保障在数据统计过程中数据存储节点所存储的数据不会遭到泄露,该数据存储节点可以将该数据进行加密,得到若干加密数据,并将这些加密数据分别发送给其他数据存储节点。
在本说明书中,该数据存储节点可以基于秘密分享(Secret Sharing,SS)算法对该数据进行加密,得到若干加密数据。其中,对于任意一方来说,只有获取到不小于门限值k个数量的加密数据时,才能还原出该数据,而获取到小于门限值k个数量的加密数据时,将无法还原出该数据。例如,假设该数据存储节点采用多项式形式的SS算法,该多项式形式如下:
F(X)=(A0+A1X+A2X2+...+Ak-1Xk-1)modq
其中,该多项式中的A0表示该数据,即需要进行加密的数据,A1~Ak-1则是该公式的系数,这些系数可以根据实际需求来进行确定。q表示除数,该除数同样可以根据实际需求来进行选定,k即为上述提到的门限值。在该多项式中,当X取不同的值时,即可求出不同的F(X),而不同的F(X)即代表了不同的加密数据。
当然,数据存储节点所采用的SS算法还可以是其他的形式,在此就不详细赘述了,而该数据存储节点确定出若干加密数据后,可以在后续过程中,将确定出的若干加密数据的部分加密数据作为待分发加密数据,分别发送给其他的各数据存储节点。
S104:从所述若干加密数据中确定部分加密数据,作为待分发加密数据,并将每个待分发加密数据分别发送给其他数据存储节点。
虽然通过上述说明的数据加密方式能够在一定程度上保护数据存储节点存储的数据的安全性,然而,若是接收加密数据的数据存储节点中的全部或部分相互串通,则可能将各自接收到的加密数据分享给与其串通的其他数据存储节点。这样一来,若相互串通的数据存储节点获取到不小于k个数量的加密数据,则这些不法的数据存储节点可将这些加密数据对应的数据还原出来,从而造成了该数据的泄露。
为防止因数据存储节点相互串通而导致的数据发生泄漏的情况发生,在本说明书中,该数据存储节点在确定出若干加密数据后,可以将这些加密数据中的部分加密数据作为待分发加密数据,并将这些待分发加密数据分别发送给其他数据存储节点。由于其他数据存储节点加起来也很可能获取不到所有的加密数据,所以,即使这些其他的数据存储节点全部相互串通,相互共享接收到的加密数据,则也可能由于获取不到不小于k个数量的加密数据,而无法确定出该数据。这样一来则有效的防止了在数据统计过程中该数据遭到泄露的情况发生,从而提高了该数据的安全性。
进一步的,该数据存储节点可以从确定出的若干加密数据选取小于k个数量的加密数据作为待分发加密数据,并将各待分发加密数据分别发送给其他的各数据存储节点。这样一来,即使所有接收到待分发加密数据的数据存储节点全部串通,也无法通过预设的算法(如拉格朗日差值公式)还原出这些加密数据所对应的数据(如A0),从而进一步提高了该数据的安全性。
需要说明的是,该数据存储节点在将确定出的待分发加密数据分别发送给其他的各数据存储节点之前,可以先确定出参与此次数据统计的各数据存储节点,其中,参与此次数据统计的各数据存储节点可以是指在数据统计过程中,参与信息发送、处理、计算的数据存储节点。在本说明书中,该数据存储节点可以通过心跳检测的方式,将回复应答消息的其他数据存储节点确定为参与此次数据统计的数据存储节点。
当然,该数据存储节点也可以向每个其他数据存储节点发送是否接收待分发加密数据的询问请求,若其他数据存储节点确认能够参与此次数据统计,则可根据该询问请求,向该数据存储节点发送能够参与此次数据统计的确认消息,以使该数据存储节点能够根据该确认消息,确定该其他数据存储节点能够参与此次数据统计。
除了上述说明的确定参与此次数据统计各数据存储节点的方式外,还可以通过其他的方式,确定出参与此次数据统计的数据存储节点。例如,该数据存储节点可以根据分发各历史加密数据的分发记录,确定出接收各历史加密数据次数较多的若干个数据存储节点,进而将这些数据存储节点确定为能够参与此次数据统计的数据存储节点。
再例如,该数据存储节点可以确定出每个数据存储节点的贡献值,进而按照各数据存储节点的贡献值的大小,确定出能够参与此次数据统计的数据存储节点。其中,所述贡献值是表征数据存储节点在历史过程中向代理节点提供所需数据的程度。如,在多头借贷的场景中,用户需要向各银行确定出自己的贷款总额,则可通过代理节点,向各银行发送数据统计请求。而针对接收到该数据统计请求的每个银行,若该银行确定将自己保存的该用户在该银行的贷款额度按照一定的形式提供给代理节点进行数据统计,则该银行相当于向代理节点贡献了自身保存的数据统计所需的数据,这样,该银行的贡献值可以加1。
换句话说,对于每个银行点来说,该银行响应代理节点发送的数据统计请求,按照一定的形式向代理节点提供的数据统计请求所需数据的次数越多,则该银行的贡献值也越多。
该数据存储节点可以按照各数据存储节点的贡献值的大小,对各数据存储节点进行排序,并将位于设定排位之前的数据存储节点确定为参与此次数据统计的数据存储节点。当然,确定参与此次数据统计的数据存储节点的方式还有很多,在此就不一一举例说明了。
在本说明书中,数据存储节点可以先确定出参与此次数据统计的各其他数据存储节点,而后再对该数据统计请求所对应的数据进行加密,而得到的加密数据的数量可以不小于确定出的参与此次数据统计的数据存储节点的数量N再加上1。
例如,假设该数据存储节点确定出的参与此次数据统计的数据存储节点有11个,该数据存储节点可以根据确定出的参与此次数据统计的数据存储节点的数量,确定门限值k为14,并根据该门限值k,确定出求取加密数据的多项式公式。该数据存储节点可以通过确定出的公式,依次确定出F(1)~F(11),F(1)~F(11)即是依次发送给数据存储节点1~11的11个待分发加密数据。而由于门限值k为14,所以,该数据存储节点可以根据该公式,继续确定出F(12)~F(14)(当然也可以确定出多于14个的加密数据),并将这三个加密数据保存在本地。
由于该数据存储节点确定出的加密数据的数量和门限值k均大于参与此次数据统计的其他数据存储节点的数量,所以,即使全部的其他数据存储节点相互串通,彼此共享该数据存储节点发送的待分发加密数据,任一其他数据存储节点也无法通过该获取到的加密数据,将该数据(即A0)进行还原。换句话说,在数据统计的过程中,代理节点除了需要从其他数据存储节点获取到部分或全部的待分发加密数据外,还需要从该数据存储节点获取到该数据存储节点保存的加密数据,这样最后得到的统计结果中才能包含该数据,也即得到准确的统计结果。
当然,在本说明书中,该数据存储节点也可以根据确定出的参与此次数据统计的其他数据存储节点的数量N,生成相应的N个加密数据,但是,只从该N个加密数据中,选取k-1个加密数据作为待分发加密数据,发送给这N个数据存储节点中的k-1个数据存储节点,而其余的加密数据则保存在本地。其中,这里的门限值k是小于N的。这样也可保证即使接收待分发加密数据的全部其他数据存储节点相互串通,也无法通过获取到的待分发加密数据还原出该数据存储节点所存储的数据。
为了有效的降低数据存储节点向其他数据存储节点发送待分发加密数据的通信量,提高信息发送的效率,在本说明书中,可以对各数据存储节点进行划分,得到各节点组,其中,对各数据存储节点进行划分的执行主体可以是某一或几个数据存储节点,也可以是代理节点。而这里提到的各数据存储节点可以是确定出的能够参与到此次数据统计中的各数据存储节点,也可以是所有的数据存储节点。
在本说明书中,触发划分各节点组这一动作的条件可以有很多,例如,每个经过设定周期时,即可将各数据存储节点按照预设的划分方式进行划分,得到各节点组,也可以是在接收到数据统计请求时,将各数据存储节点按照预设的划分方式进行划分,得到各节点组。其中,当确定经过设定周期,但是各数据存储节点正参与一次数据统计过程时,可先不对各节点组进行重新划分,直到这次数据统计结束后,再将各数据存储节点重新进行划分,得到各节点组。
对于各节点组的划分方式而言,也可以是多种的。例如,可以将各数据存储节点随机进行划分,得到各节点组;也可以根据各数据存储节点所处的地理位置进行划分,具体而言,可以将地理位置相对较为接近的数据存储节点划分到一个节点组中。由于一个节点组中的各数据存储节点的地理位置相距较近,所以这些数据存储节点在组内进行通信时,通信速度和效率都会相对较高。
当然,对各数据存储节点进行划分的方式,以及各节点组的划分时机可以有很多,在此就不详细举例说明了。
在本说明书中,数据存储节点可以将生成的若干加密数据中的部分作为待分发加密数据分别发送给该数据存储节点所属的节点组中的其他数据存储节点,如图2所示。
图2为本说明书提供的各节点组的示意图。
假设存在9个数据存储节点,通过一定的方式将这9个数据存储节点分成了如图2所示的节点组A、B、C。以节点组A为例,该节点组中的数据存储节点1接收到代理节点发送的数据统计请求后,可以确定出自身存储的该数据统计请求对应的数据,并将该数据进行加密,得到若干加密数据。而后,该数据存储节点1可以将这若干加密数据中的两个加密数据作为待分发加密数据分别发送给该节点组A中的数据存储节点2和数据存储节点3,数据存储节点2和3亦是如此。而对于其他的节点组来说也亦是如此,在此就不详细赘述了。
由于每个数据存储节点只需要将确定出的待分发加密数据分别发送给组内的其他数据存储节点即可,而无需进行大规模的发送。如,在后续的图3中,这5个数据存储节点之间的所进行的双向通信次数为所谓的双向通信是指数据存储节点将待分发加密数据发送给一个其他数据存储节点时,该其他数据存储节点也可将自身生成的待分发加密数据发送给该数据存储节点。而对于图2中的9数据存储节点来说,这9个数据存储节点分为了三个节点组,每个节点组的数据存储节点只需和组内的数据存储节点进行通信即可,所以,图2中这9个数据存储节点的双向通信次数为
从上述可以看出,分组后的9个数据存储节点的双向通信次数比未分组的5个数据存储节点之间的双向通信次数还要小,所以,采用分组的方式,可以显著的降低各数据存储节点之间的通信次数,从而有效的降低了网络通信成本和计算量。
为了进一步的提高数据的安全性,节点组的数量可以不小于3个,而每个节点组中数据存储节点的数量可以维持在3到5个之间。
S106:将所述若干加密数据中未发送的加密数据的部分或全部,以及接收到的其他数据存储节点发送的加密数据进行处理。
针对每个数据存储节点,该数据存储节点在向各其他数据存储节点发送待分发加密数据的过程中,也将接收其他数据存储节点发送的上述数据统计请求对应的加密数据。这样,该数据存储节点可以将自身生成的若干加密数据中未发送的加密数据的部分或全部,以及接收到的其他数据存储节点发送的加密数据进行处理,并得到相应的处理结果。其中,这里提到的数据统计请求对应的加密数据可以理解成是该数据统计请求所对应的数据经加密后得到的加密数据。
在本说明书中,为了防止在数据统计过程中,代理节点或是数据存储节点能够通过各数据存储节点提供的处理结果,分别确定出各数据存储节点中存储的该数据统计请求所对应的数据。数据存储节点可以将生成的若干加密数据中未发送的加密数据的部分或全部,以及接收到的其他数据存储节点发送的加密数据进行加和,得到和值,进而在后续过程中,将该和值发送给代理节点,如图3所示。
图3为本说明书提供的各数据存储节点将自身存的加密数据和其他数据存储节点发送的加密数据进行统计处理的示意图。
在图3中共有5个数据存储节点,对于每个数据存储节点来说,该数据存储节点可以将自身存储的该数据统计请求对应的数据进行加密,得到5个加密数据,并将其他的4个加密数据作为待分发加密数据分别发送给其他的4个数据存储节点。当然,该数据存储节点也将接收到其他4个数据存储节点发送的该数据统计请求所对应的加密数据。
以数据存储节点X为例,该数据存储节点X中保留了自身生成的加密数据F(X1),并接收到其他4个数据存储节点发送的加密数据F(Y5)、F(Q4)、F(W4)、F(Z5)。该数据存储节点X可以将这5个加密数据进行加和,得到相应的和值,继而将该和值发送给代理节点。其余的4个数据存储节点也同样如此。
对于每个数据存储节点来说,由于该数据存储节点是将通过统计处理得到的和值发送给代理节点的,这样,代理节点是无法通过得到的各和值,分别确定出各数据存储节点存储的该数据统计请求对应的数据,而只是能够通过获取到的各和值进行数据统计,得到统计结果。
例如,由于各银行是将各自确定出的和值发送给代理节点的,所以,该代理节点无法通过得到的各和值,确定出用户在各银行的贷款数额,而只是能够通过各和值以及SS算法,确定出该用户在各家银行的贷款总额,这样即保证了各银行中存储的数据不会泄露给其他单位或个人,也能够完成数据统计的需求。
需要说明的是,在本说明书中,各数据存储节点可以采用统一的算法对数据进行加密,得到各加密数据。如,当各数据存储节点均采用SS算法对数据进行加密时,各数据存储节点所使用的SS算法中的多项式的各系数可以是相同的。这样一来,该数据存储节点能够将自身生成的若干加密数据中未发送的加密数据的部分或全部和接收到的其他数据存储节点发送的加密数据进行加和,得到和值。
本说明书中均是以多项式形式的SS算法进行举例说明的,因此,数据存储节点可以将生成的若干加密数据中未发送的加密数据的部分或全部,以及接收到的其他数据存储节点发送的加密数据直接进行加和,得到和值。而在采用其他形式的SS算法时,数据存储节点也可以先将生成的若干加密数据中未发送的加密数据的部分或全部,以及接收到的其他数据存储节点发送的加密数据分别进行处理,而后再将处理后的各加密数据进行加和,得到相应的和值。
S108:将得到的处理结果发送给代理节点,以使所述代理节点根据所述数据存储节点发送的处理结果以及其他数据存储节点发送的处理进行数据统计。
该数据存储节点得到处理结果后,可将该处理结果发送给代理节点,该代理节点可以根据各数据存储节点发送的处理结果,进行数据统计,得到相应的统计结果。
例如,各银行将得到的处理结果发送给代理节点后,该代理节点可以通过SS算法中的拉格朗日差值公式,确定出用户在这些银行的贷款总额。
从上述方法可以看出,由于每个数据存储节点是将经过加密、处理后的各加密数据发送给代理节点的,而并不是将数据统计请求所对应的数据发送给代理节点的。所以,该代理节点在接收到各数据存储节点发送的加密数据只能统计出总体的结果,而无法得出各数据存储节点分别存储的该数据统计请求所对应的数据。不仅如此,该数据存储节点所保留的一部分加密数据对于该数据存储节点本身来说属于隐私数据,所以,该数据存储节点没有动机与其他的数据存储节点串通将自己的隐私数据共享给其他的数据存储节点。这样一来,由于其他的数据存储节点无法获取到该数据存储节点保留的那一部分加密数据,所以,即使其他数据存储节点相互串通,也无法通过相互共享该数据存储节点发送的待分发加密数据,确定出该数据存储节点中存储的该数据统计请求所对应的数据,这样则有效的解决了因中心化所带来的数据泄露问题,提高了数据统计过程中数据的安全性。
需要说明的是,本说明书在描述上述数据统计的过程中,均是以多头信贷的场景为例进行说明的,而本说明书提供的数据统计方法并不仅仅局限于在该场景中,其他场景也同样适用。如,确定用户在多家保险公司的保险总额、通过从各电商平台进行数据统计,确定用户在各电商平台的消费总额等场景,其他场景在此就不一一举例说明了。
以上为本说明书的一个或多个实施例提供的数据统计方法,基于同样的思路,本说明书还提供了相应的数据统计装置,如图4、5所示。
图4为本说明书提供的一种数据统计的装置示意图,具体包括:
接收模块401,接收数据统计请求;
加密模块402,将所述数据统计请求对应的数据进行加密,得到若干加密数据;
第一发送模块403,从所述若干加密数据中确定部分加密数据,作为待分发加密数据,并将每个待分发加密数据分别发送给其他数据存储节点;
处理模块404,对所述若干加密数据中未发送的加密数据的部分或全部,以及接收到的其他数据存储节点发送的加密数据进行处理;
第二发送模块405,将得到的处理结果发送给代理节点,以使所述代理节点根据所述装置发送的处理结果以及其他数据存储节点发送的处理结果进行数据统计。
所述加密模块402,通过秘密分享SS算法,将所述数据统计请求对应的数据进行加密,得到若干加密数据。
所述加密模块402,通过所述SS算法,将所述数据统计请求对应的数据进行加密,得到不少于N+1个加密数据,所述N为接收所述待分发加密数据的数据存储节点的数量。
所述第一发送模块403,所述装置在划分的各节点组中确定所述装置所属的节点组;将每个待分发加密数据分别发送给所述装置所属节点组中的其他数据存储节点。
所述装置还包括:
划分模块406,当经过设定周期时,将各数据存储节点按照预设的划分方式进行划分,得到各节点组;和/或在接收到数据统计请求时,将各数据存储节点按照预设的划分方式进行划分,得到各节点组;其中,所述预设的划分方式包括:将各数据存储节点随机进行划分,将各数据存储节点按照地理位置进行划分中的至少一种。
所述各节点组的数量不小于3个,和/或每个节点组中包含的数据存储节点不小于3个且不大于5个。
所述数据统计请求为确定用户在各银行的贷款总额的请求;所述装置为银行的数据提供设备;所述数据统计请求对应的数据为所述用户在银行的贷款数额。
所述处理模块404,将得到的若干加密数据中未发送的加密数据的部分或全部,以及接收到的其他银行发送的加密数据进行加和,得到和值。
图5为本说明书提供的另一种数据统计的装置示意图,具体包括:
接收模块501,接收数据统计请求;
发送模块502,将所述数据统计请求发送给各数据存储节点,以使每个数据存储节点按照上述的方法,向所述装置返回处理结果;
统计模块503,根据接收到的各处理结果进行数据统计。
基于上述说明的数据统计的方法,本说明书还对应提供了一种数据统计的设备,如图6所示。该数据统计的设备包括一个或多个处理器及存储器,所述存储器存储有程序,并且被配置成由所述一个或多个处理器执行以下步骤:
接收数据统计请求;
将所述数据统计请求对应的数据进行加密,得到若干加密数据;
从所述若干加密数据中确定部分加密数据,作为待分发加密数据,并将每个待分发加密数据分别发送给其他数据存储节点;
对所述若干加密数据中未发送的加密数据的部分或全部,以及接收到的其他数据存储节点发送的加密数据进行处理;
将得到的处理结果发送给代理节点,以使所述代理节点根据所述设备发送的处理结果以及其他数据存储节点发送的处理结果进行数据统计。
基于上述说明的数据统计的方法,本说明书还对应提供了一种数据统计的代理节点,如图7所示。该代理节点包括一个或多个处理器及存储器,所述存储器存储有程序,并且被配置成由所述一个或多个处理器执行以下步骤:
接收数据统计请求;
将所述数据统计请求发送给各数据存储节点,以使每个数据存储节点按照上述的方法,向所述代理节点返回处理结果;
根据接收到的各处理结果进行数据统计。
在本说明书的一个或多个实施例中,数据存储节点在接收到数据统计请求时,可以将该数据统计请求对应的数据进行加密,得到若干加密数据。该数据存储节点可以将得到的若干加密数据中的部分加密数据作为待分发加密数据分别发送给其他数据存储节点,该数据存储节点可以将得到的若干加密数据中未发送的加密数据的部分或全部,以及接收到的其他数据存储节点发送的加密数据进行处理,并将得到的处理结果发送给代理节点,以使该代理节点可以根据各数据存储节点发送的处理结果进行数据统计。
由于每个数据存储节点是将经过加密、处理后的各加密数据发送给代理节点的,而并不是将数据统计请求所对应的数据发送给代理节点的。所以,该代理节点在接收到各数据存储节点发送的加密数据只能统计出总体的结果,而无法得出各数据存储节点分别存储的该数据统计请求所对应的数据。这样有效的解决了因中心化所带来的数据泄露问题,从而提高了数据统计过程中数据的安全性。
在20世纪90年代,对于一个技术的改进可以很明显地区分是硬件上的改进(例如,对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而,随着技术的发展,当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此,不能说一个方法流程的改进就不能用硬件实体模块来实现。例如,可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray,FPGA))就是这样一种集成电路,其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上,而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且,如今,取代手工地制作集成电路芯片,这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现,它与程序开发撰写时所用的软件编译器相类似,而要编译之前的原始代码也得用特定的编程语言来撰写,此称之为硬件描述语言(Hardware Description Language,HDL),而HDL也并非仅有一种,而是有许多种,如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等,目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚,只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中,就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现,例如,控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式,控制器的例子包括但不限于以下微控制器:ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320,存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本说明书的实施例可提供为方法、系统、或计算机程序产品。因此,本说明书可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书是参照根据本说明书一个或多个实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书的一个或多个实施例,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
以上所述仅为本说明书的一个或多个实施例而已,并不用于限制本说明书。对于本领域技术人员来说,本说明书的一个或多个实施例可以有各种更改和变化。凡在本说明书的一个或多个实施例的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本说明书的权利要求范围之内。