CN112667741B

CN112667741B - 一种数据处理方法、装置和用于数据处理的装置

Info

Publication number: CN112667741B
Application number: CN202010287124.8A
Authority: CN
Inventors: 何旭; 范晓昱; 王国赛
Original assignee: Huakong Tsingjiao Information Technology Beijing Co Ltd
Current assignee: Huakong Tsingjiao Information Technology Beijing Co Ltd
Priority date: 2020-04-13
Filing date: 2020-04-13
Publication date: 2022-07-08
Anticipated expiration: 2040-04-13
Also published as: CN112667741A

Abstract

本申请提供一种数据处理方法、装置和用于数据处理的装置。其中的方法包括：获取待分箱数据的密文组成的数据数组、待分箱数据的正负样本标签的密文组成的标签数组，以及切分点的密文组成的切分点数组；分别将数据数组和标签数组按行复制n次后再进行转置，得到数据矩阵和标签矩阵；将切分点数组按行复制m次，得到切分点矩阵；基于数据矩阵和切分点矩阵，确定数据结果数组，数据结果数组中的元素表示每个箱中的正样本和负样本的总数；根据数据矩阵和标签矩阵，确定负样本结果数组；将数据结果数组与负样本结果数组按元素相减，得到正样本结果数组。本申请可以在密文基础上，统计每个箱内的正负样本个数，保证数据的隐私安全。

Description

一种数据处理方法、装置和用于数据处理的装置

技术领域

本申请涉及计算机技术领域，尤其涉及一种数据处理方法、装置和用于数据处理的装置。

背景技术

随着大数据时代的来临，大数据分析也应运而生。在大数据分析等场景下，经常需要对某类数据进行统计、对比、分析等操作。而数据在采集时可能存在随机误差、异常值、极端值等数值噪音，直接使用的话会影响算法的速度，另外，部分算法不支持连续变量，因此需要对数据进行预处理。

数据分箱是一种常用的数据预处理方法，“箱”实际上就是按照数据对应的某一属性的属性值划分的子区间，如按照年龄划分的子区间、按照身高划分的子区间等，如果一个数据的属性值处于某个子区间范围内，就把该数据划分到该子区间所代表的箱(bin)内。

然而，目前的数据分箱方法通常用于对明文数据进行分箱，对于密文数据，则无法根据数据的具体数值统计每个箱内的正负样本个数，导致数据分箱处理过程中需要暴露数据明文，难以保证数据的隐私安全。

发明内容

本申请实施例提供一种数据处理方法、装置和用于数据处理的装置，可以在密文基础上，统计每个箱内的正负样本个数，可以保证数据的隐私安全。

为了解决上述问题，本申请实施例公开了一种数据处理方法，所述方法用于基于数据的密文，确定每个箱中正负样本的个数，所述方法包括：

获取待分箱数据的密文组成的数据数组、所述待分箱数据的正负样本标签的密文组成的标签数组，以及切分点的密文组成的切分点数组；

分别将所述数据数组和所述标签数组按行复制n次后再进行转置，得到数据矩阵和标签矩阵，n为所述切分点的个数；

将所述切分点数组按行复制m次，得到切分点矩阵，m为所述待分箱数据的个数；

基于所述数据矩阵和所述切分点矩阵，确定数据结果数组，所述数据结果数组中的元素表示每个箱中的正样本和负样本的总数；

根据所述数据矩阵和所述标签矩阵，确定负样本结果数组，所述负样本结果数组中的元素表示每个箱中的负样本个数；

将所述数据结果数组与所述负样本结果数组按元素相减，得到正样本结果数组，所述正样本结果数组中的元素表示每个箱中的正样本个数。

另一方面，本申请实施例公开了一种数据处理装置，所述装置用于基于数据的密文，确定每个箱中正负样本的个数，所述装置包括：

数组构建模块，用于获取待分箱数据的密文组成的数据数组、所述待分箱数据的正负样本标签的密文组成的标签数组，以及切分点的密文组成的切分点数组；

第一矩阵构建模块，用于分别将所述数据数组和所述标签数组按行复制n次后再进行转置，得到数据矩阵和标签矩阵，n为所述切分点的个数；

第二矩阵构建模块，用于将所述切分点数组按行复制m次，得到切分点矩阵，m为所述待分箱数据的个数；

总样本结果确定模块，用于基于所述数据矩阵和所述切分点矩阵，确定数据结果数组，所述数据结果数组中的元素表示每个箱中的正样本和负样本的总数；

负样本结果确定模块，用于根据所述数据矩阵和所述标签矩阵，确定负样本结果数组，所述负样本结果数组中的元素表示每个箱中的负样本个数；

正样本结果确定模块，用于将所述数据结果数组与所述负样本结果数组按元素相减，得到正样本结果数组，所述正样本结果数组中的元素表示每个箱中的正样本个数。

再一方面，本申请实施例公开了一种用于数据处理的装置，包括有存储器，以及一个或者一个以上程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：

又一方面，本申请实施例公开了一种机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得装置执行如前述一个或多个所述的数据处理方法。

本申请实施例包括以下优点：

本申请实施例提供的数据处理方法，可以基于数据的密文，统计每个箱中正负样本的个数，进而可以在统计结果的基础上进一步进行分析处理，例如，根据统计结果进一步计算每箱的WOE/IV，以判断数据的预测强度。处理过程中不会暴露数据的明文，可以保证数据的隐私安全。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请的一种数据处理方法实施例的步骤流程图；

图2是本申请的一种数据处理装置实施例的结构框图；

图3是本申请的一种用于数据处理的装置800的框图；

图4是本申请的一些实施例中服务器的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

方法实施例

参照图1，示出了本申请的一种数据处理方法实施例的步骤流程图，所述方法用于基于数据的密文，确定每个箱中正负样本的个数，具体可以包括如下步骤：

步骤101、获取待分箱数据的密文组成的数据数组、所述待分箱数据的正负样本标签的密文组成的标签数组，以及切分点的密文组成的切分点数组；

步骤102、分别将所述数据数组和所述标签数组按行复制n次后再进行转置，得到数据矩阵和标签矩阵，n为所述切分点的个数；

步骤103、将所述切分点数组按行复制m次，得到切分点矩阵，m为所述待分箱数据的个数；

步骤104、基于所述数据矩阵和所述切分点矩阵，确定数据结果数组，所述数据结果数组中的元素表示每个箱中的正样本和负样本的总数；

步骤105、根据所述数据矩阵和所述标签矩阵，确定负样本结果数组，所述负样本结果数组中的元素表示每个箱中的负样本个数；

步骤106、将所述数据结果数组与所述负样本结果数组按元素相减，得到正样本结果数组，所述正样本结果数组中的元素表示每个箱中的正样本个数。

本申请实施例提供的数据处理方法，可以基于数据的密文，统计每个箱中正负样本的个数，进而可以在统计结果的基础上进一步进行分析处理，例如，根据统计结果进一步计算每箱的WOE(Weight of Evidence，证据权重)/IV(Information Value，信息价值)，以判断数据的预测强度，从而指导变量离散化处理以及更好的筛选入模变量。处理过程中不会暴露数据的明文，可以保证数据的隐私安全。

本申请实施例的数据处理方法可适用于电子设备，所述电子设备包括但不限于：服务器、智能手机、录音笔、平板电脑、电子书阅读器、MP3(动态影像专家压缩标准音频层面3，Moving Picture Experts Group Audio Layer III)播放器、MP4(动态影像专家压缩标准音频层面4，Moving Picture Experts Group Audio Layer IV)播放器、膝上型便携计算机、车载电脑、台式计算机、机顶盒、智能电视机、可穿戴设备等等。

本申请实施例的数据处理方法是在密文分箱的基础上，统计每个箱中正负样本的个数。密文分箱是指基于数据的密文，确定待分箱数据的切分点，并且将待分箱数据划分到相应的箱内，分箱过程中不会暴露数据的明文。

在本申请的一种可选实施例中，所述切分点为基于所述待分箱数据的密文，依据预设的分箱模式所确定。

在具体应用中，可以预先设定待分箱数据的分箱模式。分箱模式为对待分箱数据进行分箱采用的具体方式，所述分箱模式可以包括等距分箱、等频分箱、决策树分箱、卡方分箱、自定义分箱中的至少一种。

其中，等距分箱是按照待分箱数据中的最小值和最大值，将待分箱数据划分为N箱，每箱的宽度值相等。等频分箱是将待分箱数据划分为M箱，每箱包含相等的数据比例。决策树分箱是通过单一特征训练决策树模型，根据分箱个数控制树的深度，遍历特征的所有取值，通过最小化所有叶子节点的总熵值获取分割点，所有分割点由小到大排序，两两切割点组成的区间即为一个箱。卡方分箱是在初始分箱(如等距分箱)的基础上，将具有最小卡方值的相邻区间合并，直到满足给定的停止条件，如最小卡方阈值或者最大分箱个数。自定义分箱是按照自定义的切分规则对待分箱数据进行划分，所述自定义的切分规则可以包括自定义的切分比例或者自定义的分位数。当然，在具体实施时，分箱模式还可以包括上述未列举的其他模式。

在本申请的一种可选实施例中，所述待分箱数据的正样本标签为0，负样本标签为1。

一个示例中，待分箱数据用数组表示为[1.0,5.0,3.0,2.0,7.0]，正负样本标签用数组表示为[1,0,0,1,0]，其中，1为负样本标签，表示对应位置的数据为负样本，0为正样本标签，表示对应位置的数据为正样本。

需要说明的是，本申请实施例对待分箱数据的数据类型不加以限制，例如，所述数据类型可以包括整型或浮点型等。

假设分箱模式为等距分箱，分箱数n＝3。基于所述待分箱数据的密文，依据预设的分箱模式确定切分点。具体地，对待分箱数据[1.0,5.0,3.0,2.0,7.0]进行加密，得到待分箱数据的密文。基于待分箱数据的密文以及等距分箱的分箱模式，确定切分点。

假设待分箱数据中的最小值为min，最大值为max，则每个箱的宽度值step＝(max(x)-min(x))/n＝(7.0-1.0)/3＝2.0。因此，确定的切分点用数组可以表示为[1.0,3.0,5.0]。

需要说明的是，上述示例确定切分点的过程中，待分箱数据、最大值、最小值、step、以及切分点均为密文，本实施例为了方便描述，以明文示出。基于数据密文确定一组数据中最大值、最小值以及切分点的技术本申请对此不做限制。

本申请实施例对待分箱数据进行加密，得到待分箱数据的密文，根据待分箱数据的密文构成数据数组，如x＝[1.0,5.0,3.0,2.0,7.0]。对正负样本标签进行加密，得到正负样本标签的密文，根据正负样本标签的密文构成标签数组，如y＝[1,0,0,1,0]。由于切分点是基于数据的密文所确定，因此切分点也是密文，根据切分点的密文构建切分点数组，如comp_list＝[1.0,3.0,5.0]。其中，数组x、数组y、以及数组comp_list中的元素均为密文。

分别将所述数据数组和所述标签数组按行复制n次后再进行转置，得到数据矩阵和标签矩阵，n为所述切分点的个数。以上述示例为例，将x＝[1.0,5.0,3.0,2.0,7.0]按行复制n＝3次后，再进行转置，可以得到如下数据矩阵x_T：

同样地，将标签数组y＝[1,0,0,1,0]复制n＝3次后，再进行转置，可以得到如下标签矩阵y_T：

将所述切分点数组按行复制m次，得到切分点矩阵，m为所述待分箱数据的个数，以上述示例为例，m＝5。将切分点数组comp_list＝[1.0,3.0,5.0]按行复制5次，得到如下切分点矩阵comp_list_T：

基于所述数据矩阵和所述切分点矩阵，可以确定数据结果数组，所述数据结果数组中的元素表示每个箱中的正样本和负样本的总数。

在本申请的一种可选实施例中，所述基于所述数据矩阵和所述切分点矩阵，确定数据结果数组，具体可以包括：

步骤S11、对所述数据矩阵和所述切分点矩阵基于密文按位比较大小，将每一位的比较结果用0或1的密文表示，得到由0或1的密文组成的数据比较矩阵；

步骤S12、对所述数据比较矩阵从第一列开始到第n-1列依次执行如下更新操作：将当前列与后一列基于密文按位相减，并利用相减得到的结果更新当前列；

步骤S13、对更新后的数据比较矩阵基于密文按行求和，得到数据结果数组。

以上述示例为例，对数据矩阵x_T和切分点矩阵comp_list_T基于密文按位比较大小，将每一位的比较结果用0或1的密文表示，得到由0或1的密文组成的数据比较矩阵。

具体地，对数据矩阵x_T和切分点矩阵comp_list_T基于密文按位比较大小，也即计算x_T>＝comp_list_T的结果，通过该比较结果可以确定所有样本在各箱的情况。如果数据矩阵x_T中的元素大于或等于切分点矩阵comp_list_T中对应位置的元素，则将该位的比较结果记为1的密文，否则，记为0的密文。由此可以得到如下数据比较矩阵comp：

从数据比较矩阵comp中的元素可以看出，每一行的最后一个1所在的位置，就是行号对应的样本应该所处的箱编号，即第一个样本1.0，大小位于1.0～3.0之间，应位于第一箱；第二个样本5.0，大小位于5.0之上，应位于第三箱；第三个样本3.0，大小位于3.0～5.0之间，应位于第二箱。需要说明的是，comp中的元素均为密文。

为了避免统计重复，本申请实施例对所述数据比较矩阵从第一列开始到第n-1列依次执行如下更新操作，以保留数据比较矩阵每一行的最后一个1：将当前列与后一列基于密文按位相减，并利用相减得到的结果更新当前列。

具体地，对于数据比较矩阵comp，除第n列外，每一列依次减去后一列对应的值，如comp的第一列[1,1,1,1,1]减去comp的第二列[0,1,1,0,1]后，利用相减得到的结果更新第一列，则更新后的第一列为[1,0,0,1,0]；同样地，comp的第二列[0,1,1,0,1]减去comp的第三列[0,1,0,0,1]后，利用相减得到的结果更新第二列，更新后的第二列为[0,0,1,0,0]。依次类推，直到第n-1列更新完成，得到更新后的comp为:

可以看出，经过上述更新操作，comp_new中的每一行仅保留了comp中每一行的最后一个1，即相应样本应位于的箱编号。1所在的列数表示该元素位于那一列，因此，对更新后的数据比较矩阵基于密文按行求和，即可得到数据结果数组，该结果数组中的元素表示有多少个样本位于这一箱。

例如，对comp_new基于密文按行求和，可以得到结果数组res＝[2,1,2]。由于切分点数组为[1.0,3.0,5.0]，根据该切分点数组可以将待分箱数据分为3箱，第一箱中的数据数值在1.0～3.0之间，第二箱中的数据数值在3.0～5.0之间，第三箱中的数据数值在5.0以上。根据该结果数组res＝[2,1,2]可以得知，第一箱中的正负样本总数为2，第二箱中的正负样本总数为1，第三箱中的正负样本总数为2。

在本申请的一种可选实施例中，为了避免密文比较的误差，位于第一箱中的正负样本个数可以由正负样本总数与其他所有箱中的正负样本个数做减法计算得出。

如前所述，结果数组res＝[2,1,2]，可以得知正负样本总数为5，且三箱样本总数之和等于样本总数。在已知第二箱中的正负样本个数为1，第三箱中的正负样本个数为2的情况下，可以根据正负样本总数-第二箱和第三箱中的所有正负样本个数得出第一箱中的正负样本个数，即第一箱中的正负样本个数＝5-1-2＝2。

采用与确定数据结果数组相似的方法，可以根据所述数据矩阵和所述标签矩阵，确定负样本结果数组，所述负样本结果数组中的元素表示每个箱中的负样本个数。

由此，将所述数据结果数组与所述负样本结果数组按元素相减，即可得到正样本结果数组，所述正样本结果数组中的元素表示每个箱中的正样本个数。

在本申请的一种可选实施例中，所述根据所述数据矩阵和所述标签矩阵，确定负样本结果数组，具体可以包括：

步骤S21、根据所述数据矩阵和所述标签矩阵，确定负样本矩阵；

步骤S22、基于所述负样本矩阵和所述切分点矩阵，确定负样本结果数组。

为了确定负样本结果数组，本申请实施例首先确定负样本矩阵。负样本矩阵中仅包含数据数组中的负样本。

具体地，根据所述数据矩阵和所述标签矩阵，可以确定负样本矩阵，进而可以基于所述负样本矩阵和所述切分点矩阵，确定负样本结果数组。

在本申请的一种可选实施例中，所述根据所述数据矩阵和所述标签矩阵，确定负样本矩阵，具体可以包括：对所述数据矩阵与所述标签矩阵基于密文按位相乘，得到负样本矩阵。

在本申请实施例中，所述待分箱数据的正样本标签为0，负样本标签为1。因此，对所述数据矩阵x_T与所述标签矩阵y_T基于密文按位相乘，使得相乘后的结果只保留标签矩阵y_T中负样本标签对应位置的值。也即，只保留数据矩阵x_T中第一行和第四行的值，其余值被替换为0。

以上述示例为例，对数据矩阵x_T与标签矩阵y_T基于密文按位相乘，得到如下负样本矩阵x_bad：

在本申请的一种可选实施例中，所述基于所述负样本矩阵和所述切分点矩阵，确定负样本结果数组，具体可以包括：

步骤S31、对所述负样本矩阵和所述切分点矩阵基于密文按位比较大小，将每一位的比较结果用0或1的密文表示，得到由0或1的密文组成的负样本比较矩阵；

步骤S32、对所述负样本比较矩阵从第一列开始到第n-1列依次执行如下更新操作：将当前列与后一列基于密文按位相减，并利用相减得到的结果更新当前列；

步骤S33、对更新后的负样本比较矩阵基于密文按行求和，得到负样本结果数组。

与确定数据结果数组的方法相似，通过计算x_T>＝comp_list_T，可以确定所有样本在各箱的情况。同样地，通过计算x_bad>＝comp_list_T，可以确定负样本在各箱的情况。

具体地，对所述负样本矩阵和所述切分点矩阵基于密文按位比较大小，将每一位的比较结果用0或1的密文表示，得到由0或1的密文组成的负样本比较矩阵。

以上述示例为例，对负样本矩阵x_bad和切分点矩阵comp_list_T基于密文按位比较大小，如果负样本矩阵x_bad中的元素大于或等于切分点矩阵comp_list_T中对应位置的元素，则将该位的比较结果记为1的密文，否则，记为0的密文。由此可以得到如下负样本比较矩阵comp_bad：

同样地，为了仅保留负样本比较矩阵每一行的最后一个1，对所述负样本比较矩阵从第一列开始到第n-1列依次执行如下更新操作：将当前列与后一列基于密文按位相减，并利用相减得到的结果更新当前列。

对负样本比较矩阵comp_bad执行上述更新操作，得到更新后的comp_bad为：

对comp_bad_new基于密文按行求和，可以得到负样本结果数组res_bad＝[2,0,0]。根据该负样本结果数组可以得知，第一箱中的负样本个数为2，第二箱中的负样本个数为0，第三箱中的负样本个数为0。

前面已经确定数据结果数组res＝[2,1,2]，以及负样本结果数组res_bad＝[2,0,0]，将所述数据结果数组res＝[2,1,2]与所述负样本结果数组res_bad＝[2,0,0]按元素相减，即可得到正样本结果数组为res_good＝res–res_bad＝[0,1,2]。根据该正样本结果数组可以得知，第一箱中的正样本个数为0，第二箱中的正样本个数为1，第三箱中的正样本个数为2。

本申请在确定数据结果数组的过程中，需要对数据矩阵x_T与切分点矩阵comp_list_T基于密文按位比较大小，在确定负样本结果数组的过程中，需要对负样本矩阵x_bad与切分点矩阵comp_list_T基于密文按位比较大小。而在密文操作中，密文的比较操作通常需要花费较大的开销，为了减少比较操作的开销，本申请实施例可以将数据矩阵x_T与负样本矩阵x_bad合并为一个矩阵执行比较操作。

步骤S41、按照数据矩阵与负样本矩阵中各元素的顺序，对所述数据矩阵与负样本矩阵合并，得到第一合并矩阵；

步骤S42、对切分点矩阵复制一次后与原切分点矩阵合并，得到第二合并矩阵；

步骤S43、对所述第一合并矩阵与所述第二合并矩阵基于密文按位比较大小，将每一位的比较结果用0或1的密文表示，得到由0或1的密文组成的合并比较矩阵；

步骤S44、按照合并的位置将所述合并比较矩阵拆分为两个矩阵，得到数据比较矩阵和负样本比较矩阵。

具体地，按照数据矩阵x_T与负样本矩阵x_bad中各元素的顺序，对所述数据矩阵x_T与负样本矩阵x_bad合并，得到第一合并矩阵。仍以上述示例为例，x_T与x_bad合并可以得到如下第一合并矩阵：

对所述切分点矩阵复制一次后得到两个切分点矩阵，将两个切分点矩阵comp_list_T进行合并，得到第二合并矩阵，具体如下：

由此，可以对第一合并矩阵merge1与第二合并矩阵merge2基于密文按位比较大小，将每一位的比较结果用0或1的密文表示，得到由0或1的密文组成的合并比较矩阵。最后按照合并的位置将合并比较矩阵拆分为两个矩阵，即可得到数据比较矩阵和负样本比较矩阵。

本申请实施例将数据矩阵x_T与负样本矩阵x_bad合并后执行比较操作，将原来的两次比较(x_T与comp_list_T的比较以及x_bad与comp_list_T的比较)减少为一次比较(merge1与merge2)，减少了比较操作的次数，可以减少比较操作的开销，提高数据处理的效率。

在本申请的一种可选实施例中，所述方法还可以包括：

步骤S51、依据每个箱中的正样本个数和负样本个数，分别计算每个箱中的正样本在所述待分箱数据的全部正样本中的第一比例，以及每个箱中的负样本在所述待分箱数据的全部负样本中的第二比例；

步骤S52、根据所述第一比例和所述第二比例，确定每箱的证据权重WOE和/或信息价值IV。

在基于数据的密文，统计每个箱中正负样本的个数之后，还可以根据统计结果进一步计算每箱的WOE/IV，以判断数据的预测强度。

其中，WOE则是衡量分组中响应/未响应比值与整体中响应/未响应比的值的差异，WOE越大，该分组里的样本响应的可能性就越大；WOE越小，该分组里的样本响应的可能性就越小。IV值主要用来衡量变量预测能力，IV值越大表示该变量预测能力越强，此时的分箱效果最好。

一个示例中，假设待分箱数据的密文构成的数据数组x＝[1,51,79,32,64,14,17,45,56,33]，正负样本标签的密文构成的标签数组y＝[0,0,0,0,0,1,1,1,1,1]，切分点的密文构成的切分点数组comp_list＝[0,50]。数组x、数组y、数组comp_list中的元素均为密文。

基于密文对待分箱数据进行分箱，可以将待分箱数据分为两厢，第一箱的区间为[0,50)，第二箱的区间为[50,100]。需要说明的是，本申请实施例对基于密文对待分箱数据进行分箱的具体方法不加以限制。在本示例中，可以得到如下表1所示的分箱结果：

表1

	正样本个数	负样本个数	正负样本总数
				箱1：[0,50)	4	2	6
箱2：[50,100]	1	3	4
				总计	5	5	10

依据每个箱中的正样本个数和负样本个数，分别计算每个箱中的正样本在所述待分箱数据的全部正样本中的第一比例，以及每个箱中的负样本在所述待分箱数据的全部负样本中的第二比例。

具体地，对于箱1，正样本个数为4，全部正样本个数为5，因此，第一比例py₁＝4/5＝0.8。对于箱1，负样本个数为2，全部负样本个数为5，因此，第二比例pn₁＝2/5＝0.4。同理，对于箱2，第一比例py₂＝1/5＝0.2，第二比例pn₂＝3/5＝0.6。箱1和箱2的第一比例以及第二比例如表2所示。

表2

	第一比例	第二比例
			箱1：[0,50)	0.8	0.4
箱2：[50,100]	0.2	0.6
			总计	1	1

根据所述第一比例和所述第二比例，可以确定每箱的证据权重WOE和/或信息价值IV。

具体地，对于箱1，WOE₁＝log(py₁/pn₁)＝log(0.8/0.4)＝0.6931。IV₁＝(py₁-pn₁)×WOE₁＝(0.8-0.4)×WOE₁＝0.2772。

对于箱2，WOE₂＝log(py₂/pn₂)＝log(0.2/0.6)＝-1.0986。IV₂＝(py₂-pn₂)×WOE₂＝(0.2-0.6)×WOE₂＝0.4394。

对于待分箱数据，IV＝IV₁+IV₂＝0.7166。

每箱的WOE与IV如表3所示。

表3

综上，本申请实施例提供的数据处理方法可以基于数据的密文，统计每个箱中正负样本的个数，进而可以在统计结果的基础上进一步进行分析处理，例如，根据统计结果进一步计算每箱的WOE/IV，以判断数据的预测强度。处理过程中不会暴露数据的明文，可以保证数据的隐私安全。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请实施例并不受所描述的动作顺序的限制，因为依据本申请实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本申请实施例所必须的。

装置实施例

参照图2，示出了本申请的一种数据处理装置实施例的结构框图，所述装置用于基于数据的密文，确定每个箱中正负样本的个数，所述装置具体可以包括：

数组构建模块201，用于获取待分箱数据的密文组成的数据数组、所述待分箱数据的正负样本标签的密文组成的标签数组，以及切分点的密文组成的切分点数组；

第一矩阵构建模块202，用于分别将所述数据数组和所述标签数组按行复制n次后再进行转置，得到数据矩阵和标签矩阵，n为所述切分点的个数；

第二矩阵构建模块203，用于将所述切分点数组按行复制m次，得到切分点矩阵，m为所述待分箱数据的个数；

总样本结果确定模块204，用于基于所述数据矩阵和所述切分点矩阵，确定数据结果数组，所述数据结果数组中的元素表示每个箱中的正样本和负样本的总数；

负样本结果确定模块205，用于根据所述数据矩阵和所述标签矩阵，确定负样本结果数组，所述负样本结果数组中的元素表示每个箱中的负样本个数；

正样本结果确定模块206，用于将所述数据结果数组与所述负样本结果数组按元素相减，得到正样本结果数组，所述正样本结果数组中的元素表示每个箱中的正样本个数。

可选地，所述切分点为基于所述待分箱数据的密文，依据预设的分箱模式所确定。

可选地，所述负样本结果确定模块，包括：

负样本矩阵确定子模块，用于根据所述数据矩阵和所述标签矩阵，确定负样本矩阵；

负样本结果确定子模块，基于所述负样本矩阵和所述切分点矩阵，确定负样本结果数组。

可选地，所述待分箱数据的正样本标签为0，负样本标签为1。

可选地，所述负样本矩阵确定子模块，具体用于对所述数据矩阵与所述标签矩阵基于密文按位相乘，得到负样本矩阵。

可选地，所述负样本结果确定子模块，包括：

比较单元，用于对所述负样本矩阵和所述切分点矩阵基于密文按位比较大小，将每一位的比较结果用0或1的密文表示，得到由0或1的密文组成的负样本比较矩阵；

更新单元，用于对所述负样本比较矩阵从第一列开始到第n-1列依次执行如下更新操作：将当前列与后一列基于密文按位相减，并利用相减得到的结果更新当前列；

求和单元，用于对更新后的负样本比较矩阵基于密文按行求和，得到负样本结果数组。

可选地，所述总样本结果确定模块，包括：

比较子模块，用于对所述数据矩阵和所述切分点矩阵基于密文按位比较大小，将每一位的比较结果用0或1的密文表示，得到由0或1的密文组成的数据比较矩阵；

更新子模块，用于对所述数据比较矩阵从第一列开始到第n-1列依次执行如下更新操作：将当前列与后一列基于密文按位相减，并利用相减得到的结果更新当前列；

求和子模块，用于对更新后的数据比较矩阵基于密文按行求和，得到数据结果数组。

可选地，所述装置还包括：

比例确定模块，用于依据每个箱中的正样本个数和负样本个数，分别计算每个箱中的正样本在所述待分箱数据的全部正样本中的第一比例，以及每个箱中的负样本在所述待分箱数据的全部负样本中的第二比例；

权重确定模块，用于根据所述第一比例和所述第二比例，确定每箱的证据权重WOE和/或信息价值IV。

本申请实施例提供的数据处理装置可以基于数据的密文，统计每个箱中正负样本的个数，进而可以在统计结果的基础上进一步进行分析处理，例如，根据统计结果进一步计算每箱的WOE/IV，以判断数据的预测强度。处理过程中不会暴露数据的明文，可以保证数据的隐私安全。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本申请实施例提供了一种用于数据处理的装置，所述装置用于基于数据的密文，确定每个箱中正负样本的个数，所述装置包括有存储器，以及一个或者一个以上程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：获取待分箱数据的密文组成的数据数组、所述待分箱数据的正负样本标签的密文组成的标签数组，以及切分点的密文组成的切分点数组；分别将所述数据数组和所述标签数组按行复制n次后再进行转置，得到数据矩阵和标签矩阵，n为所述切分点的个数；将所述切分点数组按行复制m次，得到切分点矩阵，m为所述待分箱数据的个数；基于所述数据矩阵和所述切分点矩阵，确定数据结果数组，所述数据结果数组中的元素表示每个箱中的正样本和负样本的总数；根据所述数据矩阵和所述标签矩阵，确定负样本结果数组，所述负样本结果数组中的元素表示每个箱中的负样本个数；将所述数据结果数组与所述负样本结果数组按元素相减，得到正样本结果数组，所述正样本结果数组中的元素表示每个箱中的正样本个数。

图3是根据一示例性实施例示出的一种用于数据处理的装置800的框图。例如，装置800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图3，装置800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。

处理组件802通常控制装置800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理元件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。

存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件806为装置800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为装置800生成、管理和分配电力相关联的组件。

多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当装置800处于操作模式，如呼叫模式、记录模式和语音信息处理模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。

I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件814包括一个或多个传感器，用于为装置800提供各个方面的状态评估。例如，传感器组件814可以检测到设备800的打开/关闭状态，组件的相对定位，例如所述组件为装置800的显示器和小键盘，传感器组件814还可以检测装置800或装置800一个组件的位置改变，用户与装置800接触的存在或不存在，装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频信息处理(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由装置800的处理器820执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

图4是本申请的一些实施例中服务器的结构示意图。该服务器1900可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processingunits，CPU)1922(例如，一个或一个以上处理器)和存储器1932，一个或一个以上存储应用程序1942或数据1944的存储介质1930(例如一个或一个以上海量存储设备)。其中，存储器1932和存储介质1930可以是短暂存储或持久存储。存储在存储介质1930的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1922可以设置为与存储介质1930通信，在服务器1900上执行存储介质1930中的一系列指令操作。

服务器1900还可以包括一个或一个以上电源1926，一个或一个以上有线或无线网络接口1950，一个或一个以上输入输出接口1958，一个或一个以上键盘1956，和/或，一个或一个以上操作系统1941，例如Windows ServerTM，Mac OS XTM，UnixTM，LinuxTM，FreeBSDTM等等。

一种非临时性计算机可读存储介质，当所述存储介质中的指令由装置(服务器或者终端)的处理器执行时，使得装置能够执行图1所示的数据处理方法。

一种非临时性计算机可读存储介质，当所述存储介质中的指令由装置(服务器或者终端)的处理器执行时，使得装置能够执行一种数据处理方法，所述方法用于基于数据的密文，确定每个箱中正负样本的个数，所述方法包括：获取待分箱数据的密文组成的数据数组、所述待分箱数据的正负样本标签的密文组成的标签数组，以及切分点的密文组成的切分点数组；分别将所述数据数组和所述标签数组按行复制n次后再进行转置，得到数据矩阵和标签矩阵，n为所述切分点的个数；将所述切分点数组按行复制m次，得到切分点矩阵，m为所述待分箱数据的个数；基于所述数据矩阵和所述切分点矩阵，确定数据结果数组，所述数据结果数组中的元素表示每个箱中的正样本和负样本的总数；根据所述数据矩阵和所述标签矩阵，确定负样本结果数组，所述负样本结果数组中的元素表示每个箱中的负样本个数；将所述数据结果数组与所述负样本结果数组按元素相减，得到正样本结果数组，所述正样本结果数组中的元素表示每个箱中的正样本个数。

本申请公开了A1、一种数据处理方法，所述方法用于基于数据的密文，确定每个箱中正负样本的个数，所述方法包括：

A2、根据A1所述的方法，所述切分点为基于所述待分箱数据的密文，依据预设的分箱模式所确定。

A3、根据A1所述的方法，所述根据所述数据矩阵和所述标签矩阵，确定负样本结果数组，包括：

根据所述数据矩阵和所述标签矩阵，确定负样本矩阵；

基于所述负样本矩阵和所述切分点矩阵，确定负样本结果数组。

A4、根据A3所述的方法，所述待分箱数据的正样本标签为0，负样本标签为1。

A5、根据A4所述的方法，所述根据所述数据矩阵和所述标签矩阵，确定负样本矩阵，包括：

对所述数据矩阵与所述标签矩阵基于密文按位相乘，得到负样本矩阵。

A6、根据A5所述的方法，所述基于所述负样本矩阵和所述切分点矩阵，确定负样本结果数组，包括：

对所述负样本矩阵和所述切分点矩阵基于密文按位比较大小，将每一位的比较结果用0或1的密文表示，得到由0或1的密文组成的负样本比较矩阵；

对所述负样本比较矩阵从第一列开始到第n-1列依次执行如下更新操作：将当前列与后一列基于密文按位相减，并利用相减得到的结果更新当前列；

对更新后的负样本比较矩阵基于密文按行求和，得到负样本结果数组。

A7、根据A1所述的方法，所述基于所述数据矩阵和所述切分点矩阵，确定数据结果数组，包括：

对所述数据矩阵和所述切分点矩阵基于密文按位比较大小，将每一位的比较结果用0或1的密文表示，得到由0或1的密文组成的数据比较矩阵；

对所述数据比较矩阵从第一列开始到第n-1列依次执行如下更新操作：将当前列与后一列基于密文按位相减，并利用相减得到的结果更新当前列；

对更新后的数据比较矩阵基于密文按行求和，得到数据结果数组。

A8、根据A1所述的方法，所述方法还包括：

依据每个箱中的正样本个数和负样本个数，分别计算每个箱中的正样本在所述待分箱数据的全部正样本中的第一比例，以及每个箱中的负样本在所述待分箱数据的全部负样本中的第二比例；

根据所述第一比例和所述第二比例，确定每箱的证据权重WOE和/或信息价值IV。

本申请公开了B9、一种数据处理装置，所述装置用于基于数据的密文，确定每个箱中正负样本的个数，所述装置包括：

B10、根据B9所述的装置，所述切分点为基于所述待分箱数据的密文，依据预设的分箱模式所确定。

B11、根据B9所述的装置，所述负样本结果确定模块，包括：

B12、根据B11所述的装置，所述待分箱数据的正样本标签为0，负样本标签为1。

B13、根据B12所述的装置，所述负样本矩阵确定子模块，具体用于对所述数据矩阵与所述标签矩阵基于密文按位相乘，得到负样本矩阵。

B14、根据B13所述的装置，所述负样本结果确定子模块，包括：

B15、根据B9所述的装置，所述总样本结果确定模块，包括：

B16、根据B9所述的装置，所述装置还包括：

本申请公开了C17、一种用于数据处理的装置，所述装置用于基于数据的密文，确定每个箱中正负样本的个数，所述装置包括有存储器，以及一个或者一个以上程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：

C18、根据C17所述的装置，所述切分点为基于所述待分箱数据的密文，依据预设的分箱模式所确定。

C19、根据C17所述的装置，所述根据所述数据矩阵和所述标签矩阵，确定负样本结果数组，包括：

根据所述数据矩阵和所述标签矩阵，确定负样本矩阵；

C20、根据C19所述的装置，所述待分箱数据的正样本标签为0，负样本标签为1。

C21、根据C20所述的装置，所述根据所述数据矩阵和所述标签矩阵，确定负样本矩阵，包括：

C22、根据C21所述的装置，所述基于所述负样本矩阵和所述切分点矩阵，确定负样本结果数组，包括：

C23、根据C17所述的装置，所述基于所述数据矩阵和所述切分点矩阵，确定数据结果数组，包括：

C24、根据C17所述的装置，所述装置还经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：

本申请公开了D25、一种机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得装置执行如权利要求1至8任一所述的数据处理方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

以上对本申请所提供的一种数据处理方法、一种数据处理装置和一种用于数据处理的装置，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims

1.一种数据处理方法，其特征在于，应用于电子设备，所述方法用于在大数据分析场景中基于数据的密文，确定每个箱中正负样本的个数，以对变量进行离散化处理以及筛选入模变量，所述方法包括：

将所述数据结果数组与所述负样本结果数组按元素相减，得到正样本结果数组，所述正样本结果数组中的元素表示每个箱中的正样本个数；

其中，所述待分箱数据和所述切分点均为密文。

2.根据权利要求1所述的方法，其特征在于，所述切分点为基于所述待分箱数据的密文，依据预设的分箱模式所确定。

3.根据权利要求1所述的方法，其特征在于，所述根据所述数据矩阵和所述标签矩阵，确定负样本结果数组，包括：

根据所述数据矩阵和所述标签矩阵，确定负样本矩阵；

4.根据权利要求3所述的方法，其特征在于，所述待分箱数据的正样本标签为0，负样本标签为1。

5.根据权利要求4所述的方法，其特征在于，所述根据所述数据矩阵和所述标签矩阵，确定负样本矩阵，包括：

6.根据权利要求5所述的方法，其特征在于，所述基于所述负样本矩阵和所述切分点矩阵，确定负样本结果数组，包括：

7.根据权利要求1所述的方法，其特征在于，所述基于所述数据矩阵和所述切分点矩阵，确定数据结果数组，包括：

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

9.一种数据处理装置，其特征在于，应用于电子设备，所述装置用于在大数据分析场景中基于数据的密文，确定每个箱中正负样本的个数，以对变量进行离散化处理以及筛选入模变量，所述装置包括：

正样本结果确定模块，用于将所述数据结果数组与所述负样本结果数组按元素相减，得到正样本结果数组，所述正样本结果数组中的元素表示每个箱中的正样本个数；

其中，所述待分箱数据和所述切分点均为密文。

10.根据权利要求9所述的装置，其特征在于，所述切分点为基于所述待分箱数据的密文，依据预设的分箱模式所确定。

11.根据权利要求9所述的装置，其特征在于，所述负样本结果确定模块，包括：

12.根据权利要求11所述的装置，其特征在于，所述待分箱数据的正样本标签为0，负样本标签为1。

13.根据权利要求12所述的装置，其特征在于，所述负样本矩阵确定子模块，具体用于对所述数据矩阵与所述标签矩阵基于密文按位相乘，得到负样本矩阵。

14.根据权利要求13所述的装置，其特征在于，所述负样本结果确定子模块，包括：

15.根据权利要求9所述的装置，其特征在于，所述总样本结果确定模块，包括：

16.根据权利要求9所述的装置，其特征在于，所述装置还包括：

17.一种用于数据处理的装置，其特征在于，应用于电子设备，所述装置用于在大数据分析场景中基于数据的密文，确定每个箱中正负样本的个数，以对变量进行离散化处理以及筛选入模变量，所述装置包括有存储器，以及一个或者一个以上程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：

其中，所述待分箱数据和所述切分点均为密文。

18.根据权利要求17所述的装置，其特征在于，所述切分点为基于所述待分箱数据的密文，依据预设的分箱模式所确定。

19.根据权利要求17所述的装置，其特征在于，所述根据所述数据矩阵和所述标签矩阵，确定负样本结果数组，包括：

根据所述数据矩阵和所述标签矩阵，确定负样本矩阵；

20.根据权利要求19所述的装置，其特征在于，所述待分箱数据的正样本标签为0，负样本标签为1。

21.根据权利要求20所述的装置，其特征在于，所述根据所述数据矩阵和所述标签矩阵，确定负样本矩阵，包括：

22.根据权利要求21所述的装置，其特征在于，所述基于所述负样本矩阵和所述切分点矩阵，确定负样本结果数组，包括：

23.根据权利要求17所述的装置，其特征在于，所述基于所述数据矩阵和所述切分点矩阵，确定数据结果数组，包括：

24.根据权利要求17所述的装置，其特征在于，所述装置还经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：

25.一种机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得装置执行如权利要求1至8任一所述的数据处理方法。