CN111694802B

CN111694802B - 去重信息获取方法、装置和电子设备

Info

Publication number: CN111694802B
Application number: CN202010534552.6A
Authority: CN
Inventors: 尹畅文; 黄斐乔; 叶峻
Original assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Current assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Priority date: 2020-06-12
Filing date: 2020-06-12
Publication date: 2023-04-28
Anticipated expiration: 2040-06-12
Also published as: CN111694802A

Abstract

本申请公开了一种去重信息获取方法、装置和电子设备，涉及计算机领域中的大数据技术，可用于云平台或云服务。具体实现方案为：一种去重信息获取方法，包括：对初始数据集进行采样，得到采样数据集，所述初始数据集包括属于同一属性的N个特征值，所述采样数据集包括所述N个特征值中的n个特征值，所述n为小于所述N的整数；对所述n个特征值进行去重操作，以得到去重数据集，统计所述去重数据集中的每个特征值在所述n个特征值中出现的次数；基于所述去重数据集和所述次数，确定所述初始数据集的去重信息。本申请提供的一种去重信息获取方法、装置和电子设备，可以解决现有技术中对属性特征值的去重效果差的问题。

Description

去重信息获取方法、装置和电子设备

技术领域

本申请涉及计算机领域中的大数据技术，具体涉及一种去重信息获取方法、装置和电子设备。

背景技术

数据去重是一种用于消除冗余数据的数据压缩技术，现有技术中，存在一些算法用于对数据进行去重。然而，当待去重的初始数据集中的数据量相当大时，如初始数据集中包括上千万条数据时，若采用现有算法对初始数据集直接进行去重，将导致去重过程耗时相当长的问题。基于此，现有技术中，当初始数据集中的数据量相当大时，通常采用对初始数据集进行采样的方法对初始数据集进行去重统计，即通过将采样数据的去重数除以采样率得到的值作为初始数据集的去重结果。

发明内容

本申请提供一种去重信息获取方法、装置和电子设备，以解决现有技术中对属性特征值的去重效果差的问题。

第一方面，本申请提供一种去重信息获取方法，包括：

对初始数据集进行采样，得到采样数据集，所述初始数据集包括属于同一属性的N个特征值，所述采样数据集包括所述N个特征值中的n个特征值，所述n为小于所述N的整数；

对所述n个特征值进行去重操作，以得到去重数据集，统计所述去重数据集中的每个特征值在所述n个特征值中出现的次数；

基于所述去重数据集和所述次数，确定所述初始数据集的去重信息。

这样，在采用采样的方法获取属性特征值的去重信息时，通过对采样数据集中的特征值进行去重操作，以获得去重数据集，同时统计去重数据集中的每个特征值在所述n个特征值中出现的次数，然后，基于去重数据集和所述次数，确定所述初始数据集的去重信息。这样，可以提高所获取的去重信息的准确性。

可选地，所述基于所述去重数据集和所述次数，确定所述初始数据集的去重信息，包括：

在所述去重数据集包括的特征值数大于或者等于第一预设值的情况下，确定第一目标数值，其中，第一目标数值为所述去重数据集中在所述n个特征值中出现的次数为1的特征值的个数；

基于所述第一目标数值，确定所述初始数据集的去重信息。

该实施方式中，通过对去重数据集中出现次数较少的特征值进行还原处理，以便于进一步提高去重信息的准确性。

可选地，所述基于所述第一目标数值，确定所述初始数据集的去重信息，包括：

通过如下公式计算所述初始数据集的去重信息：

D＝d+(N/n-1)s；

其中，所述D表示所述去重信息，所述d表示所述去重数据集包括的特征值数，s表示所述第一目标数值。

该实施方式中，通过仅对出现次数为1的特征值进行还原，可以有效的提高所获取的去重信息的准确性。

可选地，基于所述去重数据集和所述次数，确定所述初始数据集的去重信息，包括：

在所述去重数据集包括的特征值数小于第二预设值的情况下，将所述去重数据集包括的特征值数确定为所述去重信息。

该实施方式中，当某一属性所对应的特征值的多样性较少时，其采样数据集中的去重值即可认定为初始数据集的去重值，因此，可以设置当去重数据集中的特征值个数小于第二预设值时，直接将去重数据集中的特征值个数作为初始数据集的去重信息，而无需进一步统计各特征值在采样数据集中出现的次数，从而进一步提高了去重统计的准确性。

可选地，所述对初始数据集进行采样，得到采样数据集之前，所述方法还包括：

获取预设范围内的若干个事件，其中，每个事件包括至少一个属性的特征值；

获取每个事件中的特征值，得到特征集；

按照属性类型对所述特征集中的特征值进行分类，得到至少一个所述初始数据集。

该实施方式中，当需要分析预设范围内若干事件的各属性的去重指标时，通过提取每一事件各属性的特征值，并基于属性对特征值进行分类，以生成至少一个初始数据集，这样，通过上述方法对每个初始数据集进行去重统计，即可获得该范围内各项属性的去重指标。

第二方面，本申请提供一种去重信息获取装置，包括：

采样模块，用于对初始数据集进行采样，得到采样数据集，所述初始数据集包括属于同一属性的N个特征值，所述采样数据集包括所述N个特征值中的n个特征值，所述n为小于所述N的整数；

去重模块，用于对所述n个特征值进行去重操作，以得到去重数据集，统计所述去重数据集中的每个特征值在所述n个特征值中出现的次数；

确定模块，用于基于所述去重数据集和所述次数，确定所述初始数据集的去重信息。

可选地，所述确定模块包括：

第一确定子模块，用于在所述去重数据集包括的特征值数大于或者等于第一预设值的情况下，确定第一目标数值，其中，第一目标数值为所述去重数据集中在所述n个特征值中出现的次数为1的特征值的个数；

第二确定子模块，用于基于所述第一目标数值，确定所述初始数据集的去重信息。

可选地，所述第二确定子模块，具体用于通过如下公式计算所述初始数据集的去重信息：

D＝d+(N/n-1)s；

可选地，所述确定模块包括：

第三确定子模块，用于在所述去重数据集包括的特征值数小于第二预设值的情况下，将所述去重数据集包括的特征值数确定为所述去重信息。

可选地，所述装置还包括：

第一获取模块，用于获取预设范围内的若干个事件，其中，每个事件包括至少一个属性的特征值；

第二获取模块，用于获取每个事件中的特征值，得到特征集；

分类模块，用于按照属性类型对所述特征集中的特征值进行分类，得到至少一个所述初始数据集。

第三方面，本申请提供一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请提供的去重信息获取方法步骤。

第四方面，本申请提供一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本申请提供的去重信息获取方法步骤。

上述申请中的一个实施例可以提高所获取的去重信息的准确性。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是本申请实施例中所提供的去重信息获取方法的流程图；

图2是本申请实施例中采样数据集的示意图；

图3是本申请实施例中去重数据集的示意图；

图4是本申请实施例去重数据集中各特征值在采样数据集中出现的次数的统计图；

图5是本申请实施例中的去重结果示意图；

图6是本申请实施例中所提供的去重信息获取装置的结构示意图；

图7是用来实现本申请实施例的去重信息获取方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

在对生成于网站或者应用程序中的各类事件的数据进行高级分析的过程中，经常需要分析某个事件属性的去重指标。例如，可以统计一个固定时间段内，浏览某一网站的用户的IP地址的去重结果，以便于统计该时间段内访问该网站的用户数量的去重值。此外，还可以按照地区分别统计各地区在该时间段内访问该网站的用户数量的去重值。

然而，对于大型网站或者热门的应用程序，其用户的访问量相当大，每天可以形成上千万条访问数据。若采用现有的方法直接对上千万条数据进行去重统计，将导致去重统计耗时相当长的问题。

现有技术中存在一种通过采样统计去重值的方法，即通过将采样数据的去重数A除以采样率P得到的值作为初始数据集的去重结果。例如：假设原始数据包括1000万条IP地址，并且需要统计该1000万条IP地址的去重值。则可对1000万条IP地址进行采样，例如，选取10万条IP地址作为样本数据进行去重统计，若经统计，样本数据的去重结果为1万条，即对10万条IP地址去重后得到1万条不相同的IP地址。则上述采样数据的去重数A＝10000，而去重率P＝100000/10000000＝0.01，此时，最终计算得到的1000万条IP地址的去重值为：10000/0.01＝1000000。这样，通过对采样数据进行去重统计，得到采样数据的去重值，然后，基于采样率将对去重值进行还原，即可获得原始数据的去重结果，从而简化了计算过程，提高了计算效率。

但上述方法并不适用于对事件的属性进行去重统计，其统计结果往往与真实值之间存在很大的误差。例如，若需统计某网站1000万条访问日志中，性别的去重值，选取10万条访问日志作为样本数据进行去重统计，并获取10万条访问日志中每条访问日志所记录的用户的性别属性。由于性别只有两种情形，即“男”和“女”，因此，对10万条访问日志进行统计后，去重结果只可能是1或者2中的一者。当去重结果为1时，说明样本数据中的10万条访问日志均为男性或者均为女性用户的访问记录。当去重结果为2时，说明10万条访问日志中既有男性用户，也有女性用户。当采样数据的去重结果为2时，若按照上述方法，则1000万条访问日志中性别的去重值为：2/0.01＝200，即说明，1000万条访问日志中，包括200种不同性别的用户的访问日志，显然，性别只有2种，按照上述方法统计出的结果与常识相违背。

同理，假设上述1000万条访问日志均是中国用户的访问日志，若统计的对象为用户所处省份的去重值，同样采集10万条访问日志作为采样数据，由于中国包括35个省份，因此，10条数据的去重结果不可能超过35，假设10条数据的去重结果为35，基于上述方法，则1000万条访问日志中用户所处省份的去重值为：35/0.01＝3500，即说明，1000万条访问日志中，包括3500个不同省份的用户的访问日志，显然，中国只有35个省份，而统计结果远远超过真实值。

可见，上述方法并不适用于对事件的某些属性进行去重统计，例如，性别、年龄、所在地、籍贯等属性，其统计结果往往与真实值之间存在很大的误差。

为此，请参见图1，图1是本申请实施例提供的一种去重信息获取方法，包括：

步骤S101、对初始数据集进行采样，得到采样数据集，所述初始数据集包括属于同一属性的N个特征值，所述采样数据集包括所述N个特征值中的n个特征值，所述n为小于所述N的整数；

其中，上述属性可以是指用户浏览某一网页或者应用程序时，所产生的事件的属性，所述事件可以是一条生成于服务器的访问日志，该事件通常包括：网页的地址、用户所在地、用户的IP地址以及用户画像等属性特征，所述用户画像包括：用户年龄、性别、喜好等。因此上述属性可以是以下属性中的任意一项：用户所在地、用户的IP地址、用户年龄、性别等。相应地，上述特征值是指属性的特征值，例如，当所述属性为用户的地址时，则所述特征值可以是北京、上海、伦敦等。

上述初始数据集可以包括某一特定时间段内，生成于服务器上的所有事件中的某一固定属性的特征值。例如，可以是当前时间点的前一天内访问某一网站所生成的所有访问日志中，每一条访问日志所记录的用户的IP地址值，即上述初始数据集包括了前一天所有访问日志中记录的IP地址值。

步骤102、对所述n个特征值进行去重操作，以得到去重数据集，统计所述去重数据集中的每个特征值在所述n个特征值中出现的次数；

其中，所述去重数据集是指将采样数据集中的所述n个特征值中，去除重复的特征值之后，得到的数据集合。例如，假设所述采样数据集中包括200个特征值a、1个特征值b和50个特征值c，则去重之后，得到的去重数据集包括1个特征值a、1个特征值b和1个特征值c。上述统计去重数据集中的每个特征值在所述n个特征值中出现的次数，即统计去重数据集中每个特征值在采样数据集中出现的次数，例如，所述采样数据集中包括200个特征值a、1个特征值b和50个特征值c，去重后所述去重数据集包括1个特征值a、1个特征值b和1个特征值c，此时，次数统计结果为特征值a的次数为200，特征值b的次数为1，特征值c的次数为50。

步骤103、基于所述去重数据集和所述次数，确定所述初始数据集的去重信息。

其中，通过统计各特征值在采样数据集中出现的次数，这样，在进行去重统计时，可以将出现次数较多的特征值单独进行处理，以便于提高去重结果的准确性。其理由在于，对于出现次数较多的特征值，其所对应的属性的特征值的多样性可能较少。例如，对于性别属性的特征值而言，其仅具备两种特征值，即“男”和“女”，在包括10万个特征值的采样数据集中，出现特征值为“男”或“女”的特征值的次数可能均在5万条左右。又例如，对于国内的省份属性的特征值而言，其仅具备35种特征值，即：北京市、上海市、湖北省、重庆市、广东省等35个，此时，对于包括10万个特征值的采样数据集而言，每个特征值出现的次数大约在2800次左右。对于此类特征值的多样性较少的属性特征，在对其求解去重结果时，其所有的特征值基本上包括在采样数据之中，因此，对于此类属性的去重结果，可以直接将采样数据的去重结果作为最终结果，而无需将采样数据的去重结果再除以采样率，以得到最终的结果。例如，当所述属性特征为性别属性特征时，对于包括10万个特征值的采样数据集而言，由于该10个特征值只可能是“男”或者“女”，因此，其去重结果只可能是1或者2，而且为2的可能性极大，而当其特征值为2时，即为初始数据集的去重结果，因此，可以直接将采样数据集的去重结果作为最终的去重信息。而无需将2再除以采样率0.01。此外，即便采样数据集的去重结果为1，而初始数据集的真实去重结果为2，相对于将1/0.01＝100作为去重结果而言，将采样数据集的去重结果作为最终的去重信息更为接近真实值，从而提高了所获取的去重信息的准确性。

该实施方式中，在采用采样的方法获取属性特征值的去重信息时，通过对采样数据集中的特征值进行去重操作，以获得去重数据集，同时统计去重数据集中的每个特征值在所述n个特征值中出现的次数，然后，基于去重数据集和所述次数，确定所述初始数据集的去重信息。这样，可以提高所获取的去重信息的准确性。

本申请实施例所提供的去重信息获取方法可用于云平台或云服务中。例如，云平台中的服务器可以对其在业务处理过程中所保有的数据进行去重统计，以便于后续向用户提供查看去重数据结果的相关服务。

基于所述第一目标数值，确定所述初始数据集的去重信息。

由上述论述可知，对于出现次数较多的特征值，其对应的属性的多样性可能较少。而对于出现次数较少的特征值其属性的多样性可能越多，例如，对于ID号而言，由于同一网站或者应用程序中，用户的ID号通常是独一无二的，即便初始数据集中存在1000万个特征值，其去重结果也应当是1000万，因此，当采样数据集中包括10万个ID号时，采样数据集的去重结果为10万，此时，将采样数据集的去重结果除以采样率0.01，得到的最终结果1000万与真实值相符。因此，对于出现次数较少的特征值而言，应当在求解得到去重数据集之后，利用采样率对其进行还原处理，即将采样数据集的去重数除以去重率，如此，可进一步提高去重信息求解的准确性。

通过如下公式计算所述初始数据集的去重信息：

D＝d+(N/n-1)s；

由上述论述对于出现次数较少的特征值应当通过采样率进行还原，而对于出现次数多的特征值则无需通过采样率进行还原。因此，本实施例中，可以仅对出现次数为1的特征值进行还原，由上述论述可知，s表示去重数据集中在所述n个特征值中出现的次数为1的特征值的个数，因此，需要对d个数据中的s个数据进行还原，而剩下的(d-s)个数据无需还原，其中，采样率为n/N，因此：

D＝(d-s)+s/(n/N)＝d+(N/n-1)s。

当采用本实施例中的方法计算上述实施例中的1000万条访问日志中性别的去重值时，采集10万条访问日志作为采样数据，由于10万条访问日志中，没有男性(或女性)用户的访问记录或者仅具有一条男性(或女性)用户的访问记录的概率基本为0，因此，男性用户的所对应的次数大于1，女性用户的次数也应当大于1，而去重数据集中仅具备两个特征值，即“男”和“女”，因此，s＝0，d＝2，此时：

D＝2+(10000000/100000-1)0＝2；

即便10万条访问日志中，仅具备1条男性用户，则说明另外99999条访问日志为女性用户，次数s＝1，D＝2+(10000000/100000-1)1＝101，而现有技术中直接将去重数据集的去重值d处于采样率得到的结果是200，因此，即便采用本申请的方法在存在误差的情况下，相对于现有技术的方法而言，也可以提高去重结果的准确性。

同样，当采用本实施例中的方法计算上述实施例中的1000万条访问日志中用户所处省份的去重数时，采集10万条访问日志作为采样数据，由于国内仅具备35个省份，10万条采样数据中通常会覆盖全国所有省份的用户，且每个省份的用户通常大于1，因此，此时s＝0，d＝35，D＝35+(10000000/100000-1)0＝35；

其中，上述第二预设值可以是与上述第一预设值相同的值，例如，均为50、100、200等，此外，上述第一预设值和第二预设值也可以是不同值，但在此情况下，第二预设值应当小于第一预设值，例如，第二预设值为100，第一预设值为200。

由上述论述可知，当某一属性所对应的特征值的多样性较少时，其采样数据集中的去重值即可认定为初始数据集的去重值，因此，可以设置当去重数据集中的特征值个数小于第二预设值时，直接将去重数据集中的特征值个数作为初始数据集的去重信息，而无需进一步统计各特征值在采样数据集中出现的次数，从而进一步提高了去重统计的准确性。

获取每个事件中的特征值，得到特征集；

其中，所述事件可以是用户在网页或者应用程序中的点击事件所生成的相关信息，其中，用户的点击事件通常会记录网页的地址、用户所在地、用户的IP地址以及用户画像等属性特征，所述用户画像包括：用户年龄、性别、喜好等。

上述预设范围可以是时间范围，例如，可以是每一特定时间段所生成的所有数据，也可以是空间范围，例如，某一地区的所有数据，还可以是某一地区在某一时间段内的所有数据。

为了进一步对上述方法进行解释说明，请参见图2-5，本实施例以对某一时间段内各省份的IP地址的去重数进行统计为例，进行进一步解释说明：

图2所示为采样数据集中各个IP地址所出现的次数，例如，省份5中，IP地址：：158.253.216.192出现的次数为3，应当理解的，由于数据量过大，图2仅适应性的列举了部分数据，图3所示为对图2中的数据进行去重统计后的各省份所对应的IP地址个数的去重值，例如，省份1中具有1599个不同的IP地址。图4所示为，省份1的去重数据集中个特征值在采样数据集中出现的个数进行统计后的结果图，例如，1599个去重数据中有1397个数据仅在采样数据集中出现1次，图5所示为基于上述实施例中的方法对各省份的IP地址的去重数据进行统计的结果图，以及基于全量数据进行统计后得到的真实值，通过对比可知，采用本申请的方法所计算出的去重信息与真实的去重信息之间的误差相对较小。可见，采样本申请提供的方法可以提高所获取的去重信息的准确性。

请参见图6，图6是本申请实施例提供的一种去重信息获取装置600，包括：

采样模块601，用于对初始数据集进行采样，得到采样数据集，所述初始数据集包括属于同一属性的N个特征值，所述采样数据集包括所述N个特征值中的n个特征值，所述n为小于所述N的整数；

去重模块602，用于对所述n个特征值进行去重操作，以得到去重数据集，统计所述去重数据集中的每个特征值在所述n个特征值中出现的次数；

确定模块603，用于基于所述去重数据集和所述次数，确定所述初始数据集的去重信息。

可选地，所述确定模块603包括：

D＝d+(N/n-1)s；

可选地，所述确定模块603包括：

可选地，所述装置还包括：

本实施例提供的去重信息获取装置600能够实现图1-5所示的方法实施例中装置实现的各个过程，且可以达到相同有益效果，为避免重复，这里不再赘述。

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

如图7所示，是根据本申请实施例的去重信息获取方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图7所示，该电子设备包括：一个或多个处理器701、存储器702，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图7中以一个处理器701为例。

存储器702即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的去重信息获取方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的去重信息获取方法。

存储器702作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的去重信息获取方法对应的程序指令/模块(例如，附图6所示的采样模块601、去重模块602和确定模块603)。处理器701通过运行存储在存储器702中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的去重信息获取方法。

存储器702可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据去重信息获取方法的电子设备的使用所创建的数据等。此外，存储器702可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器702可选包括相对于处理器701远程设置的存储器，这些远程存储器可以通过网络连接至去重信息获取方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

去重信息获取方法的电子设备还可以包括：输入装置703和输出装置704。处理器701、存储器702、输入装置703和输出装置704可以通过总线或者其他方式连接，图7中以通过总线连接为例。

输入装置703可接收输入的数字或字符信息，以及产生与去重信息获取方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置704可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

根据本申请实施例的技术方案，在采用采样的方法获取属性特征值的去重信息时，通过对采样数据集中的特征值进行去重操作，以获得去重数据集，同时统计去重数据集中的每个特征值在所述n个特征值中出现的次数，然后，基于去重数据集和所述次数，确定所述初始数据集的去重信息。这样，可以提高所获取的去重信息的准确性。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims

1.一种去重信息获取方法，包括：

基于所述去重数据集和所述次数，确定所述初始数据集的去重信息；

所述基于所述去重数据集和所述次数，确定所述初始数据集的去重信息，包括：

基于所述第一目标数值，确定所述初始数据集的去重信息；

在所述去重数据集包括的特征值数小于第二预设值的情况下，将所述去重数据集包括的特征值数确定为所述去重信息；

利用采样率，对去所述重数据集中的s个特征值进行还原，所述s为所述第一目标数值，所述s个特征值为所述n个特征值中出现的次数为1的s个特征值，所述采样率为n/N；对所述去重数据集中，除所述s个特征值之外的其他特征值不进行还原。

2.根据权利要求1所述的方法，其中，所述基于所述第一目标数值，确定所述初始数据集的去重信息，包括：

通过如下公式计算所述初始数据集的去重信息：

D＝d+(N/n-1)s；

3.根据权利要求1所述的方法，其中，所述对初始数据集进行采样，得到采样数据集之前，所述方法还包括：

获取每个事件中的特征值，得到特征集；

4.一种去重信息获取装置，包括：

确定模块，用于基于所述去重数据集和所述次数，确定所述初始数据集的去重信息；

所述确定模块包括：

第二确定子模块，用于基于所述第一目标数值，确定所述初始数据集的去重信息；

所述确定模块包括：

第三确定子模块，用于在所述去重数据集包括的特征值数小于第二预设值的情况下，将所述去重数据集包括的特征值数确定为所述去重信息；

5.根据权利要求4所述的装置，其中，所述第二确定子模块，具体用于通过如下公式计算所述初始数据集的去重信息：

D＝d+(N/n-1)s；

6.根据权利要求4所述的装置，其中，所述装置还包括：

7.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-3中任一项所述的方法。

8.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-3中任一项所述的方法。