CN105138664A - 一种隐私保护的大数据推荐方法及系统 - Google Patents

Abstract

本发明公开了一种隐私保护的大数据推荐方法及系统，其中，该方法包括以下步骤：获取用户行为数据，在大数据处理端对用户行为数据进行匿名化处理；对匿名化处理后的用户行为数据的属性进行统计，建立统计属性行为表，该表的每一项属性表示用户的一项个人信息，并将每一项属性的统计结果，转换为一个枚举值；查找相似用户行为，根据两个用户行为数据的枚举值，计算两个用户行为的相似度，比较相似度数值与相应阈值，根据比较结果生成推荐信息。本发明可以保护用户的隐私，且不需要加密，方便快捷，计算量小，容易实现。

Description

一种隐私保护的大数据推荐方法及系统

技术领域

本发明涉及大数据安全领域，尤其涉及一种隐私保护的大数据推荐算法及系统。

背景技术

在互联网、社交网络、电子商务中大量存在个性化查找和推荐服务。例如，社交网络中，往往需要查找两个或多个社交个体的共同好友，例如“你们的共同好友是？”，但是，社交网络中的被服务个体可能不希望透露自己的具体好友信息（或真实的好友信息，如姓名等）给社交网络进行查找，因此，社交网络需要在不知道具体好友信息的情况下查找共同好友的信息。

同样，在电子商务中，购物网站通常具有推荐功能，这通常建立在查找共同购物商品的基础上完成，例如，“购买了该商品的人还购买了？”，将多个购物者购买的商品中的共同商品作为推荐商品给其他购买了相似商品的购物者，但是，购物者可能不希望透露自己真实的商品购买信息（如商品名称等）。

因此，在社交网络、电子商务等互联网领域，服务器端数据的聚集最终将可以形成大数据，这些大数据是一种值得利用的资源，可以通过开放共享给社会加以利用。同时，服务器端在对这些大数据进行查找和推荐时，也需要考虑到要保护用户的隐私，因此，有可能在服务器端不知道具体信息的情况下，即在保护隐私的情况下完成查找和推荐服务。

目前互联网的查找和推荐仍然忽视了这一隐私保护问题，即使有些方法使用了散列函数的方法，但是由于计算量较大，不适合在大数据环境中使用。针对上述缺陷，本发明提出一种隐私保护的大数据推荐方法，该方法使得服务器端可以在保护用户的隐私情况下完成查找和推荐服务，对任何第三方可开放大数据进行后续利用，并且计算量小，从而解决了前面提到的缺陷。

发明内容

本发明要解决的技术问题在于针对现有技术中大数据技术中查找和推荐方法不能保护用户隐私的缺陷，提供一种既可以保护隐私，也不必加密，方便快捷，计算量小，容易实现的隐私保护的大数据推荐方法及系统。

本发明解决其技术问题所采用的技术方案是：

本发明提供一种隐私保护的大数据推荐方法，包括以下步骤：

S1、获取用户行为数据，在大数据处理端对用户行为数据进行匿名化处理；

S2、对匿名化处理后的用户行为数据的属性进行统计，建立统计属性行为表，该表的每一项属性表示用户的一项个人信息，并将每一项属性的统计结果，转换为一个枚举值；

S3、查找相似用户行为，根据两个用户行为数据的枚举值，计算两个用户行为的相似度，比较相似度数值与相应阈值，根据比较结果生成推荐信息。

步骤S2中将用户行为数据转换为枚举值的过程具体包括：

对匿名化处理后的用户行为数据的属性进行统计，建立统计属性行为表，其中，该属性行为表包括性别、年龄、职业、消费水平/收入水平、学历和关注品类；

不同的性别、年龄段、职业、消费水平/收入水平、学历和关注品类，用不同的枚举值表示。

步骤S2中的属性枚举值为二进制表示的归一化离散枚举值。

步骤S1中匿名化处理方法具体包括：删除用户行为数据中的隐私敏感字段并替换隐私敏感字段。

步骤S3中相似度的计算方法具体包括：

计算统计属性枚举值二进制的低w位的k次方差，其中w=t*|Pi|，t取值为1/2或3/4，|Pi|为用户属性数组Pi的长度，k取值为2或4，若要求近似度高，则k取4，否则取2；

或者，直接计算统计属性枚举值的海明距离。

本发明还提供一种隐私保护的大数据推荐系统，包括：

匿名化处理单元，用于获取用户行为数据，在大数据处理端对用户行为数据进行匿名化处理；

属性枚举值计算单元，对匿名化处理后的用户行为数据的属性进行统计，建立统计属性行为表，该表的每一项属性表示用户的一项个人信息，并将每一项属性的统计结果，转换为一个枚举值；

用户推荐单元，查找相似用户行为，根据两个用户行为数据的枚举值，计算两个用户行为的相似度，比较相似度数值与相应阈值，根据比较结果生成推荐信息。

所述属性枚举值计算单元中将用户行为数据转换为枚举值的过程具体包括：

用户行为属性列表包括性别、年龄、职业、消费水平/收入水平、学历和关注品类，对属性列表中的每一项属性进行统计，将一个属性中的不同数值范围用不同的枚举值进行表示。

所述属性枚举值计算单元中的属性枚举值为二进制表示的归一化离散枚举值。

所述匿名化处理单元中匿名化处理方法具体包括：删除用户行为数据中的隐私敏感字段并替换隐私敏感字段。

所述用户推荐单元中相似度的计算方法具体包括：

计算统计属性枚举值二进制的低w位的k次方差，其中w=t*|Pi|，t取值为1/2或3/4，|Pi|为用户属性数组Pi的长度，k取值为2或4，若要求近似度高，则k取4，否则取2；

或者，直接计算统计属性枚举值的海明距离。

本发明产生的有益效果是：本发明提出了一种可以保护用户隐私的大数据查找和推荐方法，通过对用户行为数据进行匿名化处理，然后将用户数据转换为枚举值，保护了大数据中用户的个人隐私信息；进一步的，用枚举值来计算用户行为属性的相似度，计算更加方便快捷，计算量小，容易实现。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例的隐私保护的大数据推荐方法的流程图；

图2是本发明实施例的隐私保护的大数据推荐系统的结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明的隐私保护的大数据推荐方法包括以下步骤：

S1、获取用户行为数据，在大数据处理端对用户行为数据进行匿名化处理；

S2、对匿名化处理后的用户行为数据的属性进行统计，建立统计属性行为表，该表的每一项属性表示用户的一项个人信息，并将每一项属性的统计结果，转换为一个枚举值；

S3、查找相似用户行为，根据两个用户行为数据的枚举值，计算两个用户行为的相似度，比较相似度数值与相应阈值，根据比较结果生成推荐信息。

其中，步骤S1中匿名化处理方法具体包括：删除用户行为数据中的隐私敏感字段并用*号替换隐私敏感字段。

步骤S2中将用户行为数据转换为枚举值的过程具体包括：对匿名化处理后的用户行为数据的属性进行统计，建立统计属性行为表，其中，该属性行为表包括性别、年龄、职业、消费水平/收入水平、学历和关注品类；

不同的性别、年龄段、职业、消费水平/收入水平、学历和关注品类，用不同的枚举值表示。其中属性枚举值可以为二进制表示的归一化离散枚举值。

例如：令一个用户的属性列表为C=<p1,p2,p3,…,pn>,其中pi∈Pi,Pi包括：P1性别，P2年龄，P3职业，P4消费水平/收入水平，P5学历，P6关注品类；将pi进行统计后，转换为一个枚举值。例如：性别栏0表示男，1表示女性，此时对于性别P1来说，枚举值为集合P1={0,1}；年龄可根据10岁一个年龄组统计，例如：10-20年龄组用0表示，20-30年龄组用1表示，30-40年龄组用2表示等，此时对于年龄P2来说，枚举值为集合P2={0,1,2,...}。统计的目的是使得具体的年龄抹去，保留年龄组，可以进一步保护大数据中的用户隐私。

步骤S3中相似度的计算方法,可以通过计算属性差异性来进行表示，例如：对于另一个用户的属性列表C’=<p1’,p2’,p3’,…,pn’>，通过查找统计属性行为表，计算属性差异DELTA(C，C’),计算DELTA()的方法包括：∑(pi-pi’)^k（k=2,4），为了加速计算，这里可只取计算pi和pi’的二进制表示的低w位，w为的t*|Pi|长度，t包括1/2,3/4，对计算速度要求高时取1/2，否则可取3/4；k的选取根据需求情况选，若要求近似度高，则k取4，否则取2；当满足DELTA(C，C’)<T1条件,即C和C’的统计属性相似度小于阈值T1，T1小则相似度高，反之则低；若满足条件，则视为具有近似属性，并视为具有近似的行为进行推荐。

在计算属性枚举值相似度时还可以采用计算海明距离，即计算两个二进制比特串对应位之间不同的比特数目的方法，其余部分基本相同，服务方用商品信息进行购物推荐；计算统计属性枚举值的海明距离是指：H(S,S’)<T2,这里S和S’的海明距离小于阈值T2,例如：H（1001,1010）=2。

如图2所示，本发明实施例的隐私保护的大数据推荐系统用于实现上述实施例的隐私保护的大数据推荐方法，具体包括：

匿名化处理单元201，用于获取用户行为数据，在大数据处理端对用户行为数据进行匿名化处理；

属性枚举值计算单元202，对匿名化处理后的用户行为数据的属性进行统计，建立统计属性行为表，该表的每一项属性表示用户的一项个人信息，并将每一项属性的统计结果，转换为一个枚举值；

用户推荐单元203，查找相似用户行为，根据两个用户行为数据的枚举值，计算两个用户行为的相似度，比较相似度数值与相应阈值，根据比较结果生成推荐信息。

属性枚举值计算单元202中将用户行为数据转换为枚举值的过程具体包括：

对匿名化处理后的用户行为数据的属性进行统计，建立统计属性行为表，其中，该属性行为表包括性别、年龄、职业、消费水平/收入水平、学历和关注品类；

不同的性别、年龄段、职业、消费水平/收入水平、学历和关注品类，用不同的枚举值表示。

属性枚举值计算单元202中的属性枚举值为二进制表示的归一化离散枚举值。

匿名化处理单元201中匿名化处理方法具体包括：删除用户行为数据中的隐私敏感字段并替换隐私敏感字段。

用户推荐单元203中相似度的计算方法具体包括：

计算统计属性枚举值二进制的低w位的k次方差，其中w=t*|Pi|，t取值为1/2或3/4，|Pi|为用户属性数组Pi的长度，k取值为2或4，若要求近似度高，则k取4，否则取2；

或者，直接计算统计属性枚举值的海明距离。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种隐私保护的大数据推荐方法，其特征在于，包括以下步骤：

S1、获取用户行为数据，在大数据处理端对用户行为数据进行匿名化处理；

S2、对匿名化处理后的用户行为数据的属性进行统计，建立统计属性行为表，该表的每一项属性表示用户的一项个人信息，并将每一项属性的统计结果，转换为一个枚举值；

S3、查找相似用户行为，根据两个用户行为数据的枚举值，计算两个用户行为的相似度，比较相似度数值与相应阈值，根据比较结果生成推荐信息。

2.根据权利要求1所述的隐私保护的大数据推荐方法，其特征在于，步骤S2中将用户行为数据转换为枚举值的过程具体包括：

对匿名化处理后的用户行为数据的属性进行统计，建立统计属性行为表，其中，该属性行为表包括性别、年龄、职业、消费水平/收入水平、学历和关注品类；

不同的性别、年龄段、职业、消费水平/收入水平、学历和关注品类，用不同的枚举值表示。

3.根据权利要求1所述的隐私保护的大数据推荐方法，其特征在于，步骤S2中的属性枚举值为二进制表示的归一化离散枚举值。

4.根据权利要求1所述的隐私保护的大数据推荐方法，其特征在于，步骤S1中匿名化处理方法具体包括：删除用户行为数据中的隐私敏感字段并替换隐私敏感字段。

5.根据权利要求1所述的隐私保护的大数据推荐方法，其特征在于，步骤S3中相似度的计算方法为：

计算统计属性枚举值二进制的低w位的k次方差，其中w=t*|Pi|，t取值为1/2或3/4，|Pi|为用户属性数组Pi的长度，k取值为2或4，若要求近似度高，则k取4，否则取2；

或者，直接计算统计属性枚举值的海明距离。

6.一种隐私保护的大数据推荐系统，其特征在于，包括：

匿名化处理单元，用于获取用户行为数据，在大数据处理端对用户行为数据进行匿名化处理；

属性枚举值计算单元，对匿名化处理后的用户行为数据的属性进行统计，建立统计属性行为表，该表的每一项属性表示用户的一项个人信息，并将每一项属性的统计结果，转换为一个枚举值；

用户推荐单元，查找相似用户行为，根据两个用户行为数据的枚举值，计算两个用户行为的相似度，比较相似度数值与相应阈值，根据比较结果生成推荐信息。

7.根据权利要求6所述的一种隐私保护的大数据推荐系统，其特征在于，所述属性枚举值计算单元中将用户行为数据转换为枚举值的过程具体包括：对匿名化处理后的用户行为数据的属性进行统计，建立统计属性行为表，其中，该属性行为表包括性别、年龄、职业、消费水平/收入水平、学历和关注品类；

不同的性别、年龄段、职业、消费水平/收入水平、学历和关注品类，用不同的枚举值表示。

8.根据权利要求6所述的一种隐私保护的大数据推荐系统，其特征在于，所述属性枚举值计算单元中的属性枚举值为二进制表示的归一化离散枚举值。

9.根据权利要求6所述的一种隐私保护的大数据推荐系统，其特征在于，所述匿名化处理单元中匿名化处理方法具体包括：删除用户行为数据中的隐私敏感字段并替换隐私敏感字段。

10.根据权利要求6所述的一种隐私保护的大数据推荐系统，其特征在于，所述用户推荐单元中相似度的计算方法具体包括：

计算统计属性枚举值二进制的低w位的k次方差，其中w=t*|Pi|，t取值为1/2或3/4，|Pi|为用户属性数组Pi的长度，k取值为2或4，若要求近似度高，则k取4，否则取2；

或者，直接计算统计属性枚举值的海明距离。