CN107623605A - 网络流量去重的方法和系统 - Google Patents

Abstract

本发明涉及一种网络流量去重的方法，其包括：接收来自用户终端的HTTP请求；利用标准API采集设备特征ID；利用私有API获得的设备特征ID；采集基于用户使用信息的特征ID；和利用采集到的设备特征ID和基于用户使用信息的特征ID回溯真实用户，从而消除重复流量。本发明还涉及一种用于网络流量去重的系统。

Description

网络流量去重的方法和系统

技术领域

本发明属于网络反作弊领域，涉及一种网络流量去重的方法。本发明还涉及一种网络流量去重的系统。

背景技术

长久以来，稳定而且可信赖的用户设备标识，是诸多行业最为基础的数据支持。目前，有很多方法来帮助系统生产不同的ID用以标识用户。最基础的方法，就通过生产随机数，分配给不同的用户，这种常用于含有账户体系的业务场景。例如腾讯QQ，给每一个用户都分配一个不重复的QQ号码，作为其系统服务的ID。除此以外，也有通过采集设备使用者的信息来生产ID，例如通过采集音频数据、加速传感器数据或者生物指纹传感器的数据，这种可以服务于跨设备的用户标识。

但是如上两种方法，很难满足于移动广告行业反作弊的需求。原因主要有以下两点：

1.移动广告交易主要是以设备为单元进行消耗的计费，例如CPC(按照点击设备数计费)、CPM(按照曝光设备数计费)、CPA(按照激活设备数计费)，那么针对持有多设备的用户以及不具有账户体系的广告平台，随机数的方法是不适用的。

2.广告作弊者主要是通过变换较为常见的设备标识进行伪装，例如利用虚拟设备伪装点击、曝光或激活行为，从广告主那里获取额外的收入，使广告主的利益蒙受损失。然而，通过采集使用者信息标识设备会有较多局限：第一是采集方法都是基于特质的传感器，不适用于大部分移动设备；第二是用户识别的方法复杂并且精准度有限。

随着广告支出越来越向移动端倾斜，市场上虚拟设备的拟真程度越来越高，亟需一种有效的识别虚拟设备的方案，以减少无谓的广告支出，保护广告主的利益。

现有技术中，通常使用单一的方法来进行虚拟设备判断，并以此作为数据去重的标准。但是随着作弊手段越来越隐蔽，单一的标准有可能误伤有效的数据，或是对作弊判断不足。因此发明人希望能够提供一种不易被作弊者篡改的ID系统，能够长期、稳定地作为判断依据。

发明内容

有鉴于此，本发明提供了一种设备特征ID方法和系统，可以解决现有技术基于操作系统的设备标识无法避免虚拟设备生成不真实标识码的问题。本发明通过以下技术方案实现：通过采集基于用户使用信息的设备信息，包括：用户的Wifi历史、系统应用创建时间、设备的传感器列表，将以上信息利用有加密性质的哈希算法进行计算得到字符串，对所得字符串进行组合，从而获得用户的唯一标识，由于其ID熵值足够大，能够唯一确定一台设备并且适合绝大部分设备与操作系统。提高了结果的准确性和方法的适用性。

根据本发明的第一方面，本发明提供了一种网络流量去重的方法，其包括：接收来自用户终端的HTTP请求；利用标准API采集设备特征ID；利用私有API获得的设备特征ID；采集基于用户使用信息的特征ID作为设备特征ID；和利用采集到的设备特征ID和基于用户使用信息的特征ID回溯真实用户，从而消除重复流量。

优选地，从私有API获得的设备特征ID库中包括MAC、IMEI、IMSI、IDFA、和/或CID。

在本发明的一些实施方式中，所述回溯真实用户包括：当利用标准API采集设备特征ID和对应的利用私有API获得的设备特征ID不同时，以利用私有API获得的设备特征ID作为去重标准。

在本发明的一些实施方式中，所述基于用户使用信息的特征ID所用的信息包括：用户的Wifi历史、系统应用创建时间、和设备的传感器列表。

优选地，所述基于用户使用信息的特征ID通过将用户的Wifi历史、系统应用创建时间、和设备的传感器列表利用哈希算法转换成字符串而获得。

优选地，所述回溯真实用户包括：利用基于用户使用信息的特征ID作为去重标准。

在本发明的一些实施方式中，将采集到的设备特征ID和基于用户使用信息的特征ID与设备特征ID库的用户库中的对应信息进行比对，并对每个项目进行打分，当总得分超过阈值时，进行去重。

根据本发明的第二方面，本发明提供一种用于网络流量去重的系统，其包括：采集单元，用于采集设备特征ID和基于用户使用信息的特征ID；设备特征ID库，用于存储采集到的设备特征ID数据，并按照数据的来源形成用户库；判断单元，用于将新采集到的设备特征ID和基于用户使用信息的特征ID与用户库中的数据进行比对，打分；和去重单元，对得分超过阈值的数据去重。

优选地，所述设备特征ID是通过标准API和私有API采集的。

在本发明的一些实施方式中，所述去重包括给数据添加标签。

在本发明的另一些实施方式中，所述去重包括删除数据。

显然地，去重也包括在给数据添加标签之后删除数据的情况。

在本发明的一些实施方式中，所述系统还包括转换单元，用于将用户的Wifi历史、系统应用创建时间、和设备的传感器列表利用哈希算法转换成字符串。

根据本发明的第三方面，本发明提供一种判断网络作弊的方法，其包括：接收来自用户终端的HTTP请求；采集设备特征ID；将采集到的设备特征ID在从私有API获得的设备特征ID库中查询是否有匹配，有匹配时，判断为作弊；和/或将采集到的设备特征ID在基于用户使用信息的特征ID库中查询是否有匹配，有匹配时，判断为作弊。

优选地，私有API获得的设备特征ID库中包括MAC、IMEI、IMSI、IDFA、和/或CID。

优选地，所述基于用户使用信息的特征ID所用的信息包括：用户的Wifi历史、系统应用创建时间、和设备的传感器列表。

优选地，所述基于用户使用信息的特征ID通过将用户的Wifi历史、系统应用创建时间、和设备的传感器列表利用哈希算法转换成字符串而获得。

通过本发明的方法和系统，可以提供能解决移动设备ID的稳定性以及实用性，具体来讲解决如下三个问题：安全性，让作弊者难以篡改对应的设备ID；适用性，对于不同的设备和操作系统都能支持；和支持对虚拟设备的甄别。

本发明的技术方案载体是可以集成在移动设备的SDK或者代码类库。使用上只用引用在开发者自己的代码中即可。因而使用流程以及对应ID服务逻辑非常简单。

附图说明

本发明的下列附图在此作为本发明的一部分用于理解本发明。

图1是示意地表示本发明一些实施方式的方法的流程图。

图2是示意地表示本发明又一些实施方式的方法的流程图。

图3是示意地表示本发明一些实施方式的系统的结构图。

具体实施方式

在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员来说显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。

本发明中的术语“设备特征ID”是指用以描述设备的特征参数，其与设备唯一对应，包括设备特征码、MAC地址、网络IP、国际移动用户识别码MSI、国际移动设备识别码IMEI、电子序列号ESN、MEID等。所述设备特征ID还包括通过整合设备信息，利用例如哈希算法等数学工具计算出的值。

所述设备信息包括但不限于所述用户设备的任意可直接获取的信息，如所述用户设备的IP地址、所述用户设备的实时网速或某一时间段内的平均网速、所述用户设备的操作系统名称、所述用户设备的操作系统版本号、所述用户设备的开发框架名称、所述用户设备的开发框架版本号、所述用户设备的系统配置等。特别的，所述设备信息还包括设备的硬件信息，包括但不限于整机的品牌、型号、序列号；芯片品牌、型号、序列号；传感器品牌、型号、序列号；传感器参数值、角速度、加速度；主板品牌、型号、序列号等。

所述设备信息还可以包括所述用户设备的可直接获取的设备特征信息；或是通过对所述设备信息的分析或统计，以获取的设备特征信息。优选地，所述设备特征信息包括以下至少任一项：

所述用户设备所对应的地域信息：其中，所述地域信息如国家、省、市、自治区、县、乡等行政区域或具体的经纬度等，所述地域信息可通过对所述用户设备的IP、GPS等信息进行分析后获取，或是直接根据所述用户设备的注册地等进行获取；

所述用户设备所对应的运营商信息：其中，所述运营商信息可根据对所述用户设备的IP、手机号等信息进行分析后获取；

所述用户设备所对应的网速：在此，所述网速包括但不限于实时网速或平均网速等，所述网速可以由所述用户设备自身统计，也可以借由第三方测试工具进行统计；

所述用户设备所对应的系统环境：在此，所述系统环境包括但不限于操作系统名称、版本号，开发框架的名称、版本号，系统配置等；

所述用户设备的在线状态/离线状态：即所述用户设备当前是否在线和/或一般在线时间与时长等信息。

在此，本领域技术人员应能理解，所述用户设备可以将可直接获取的所述设备相关信息发送至所述服务设备，由所述服务设备根据所述设备信息，进行所述设备特征信息的确定；此外，所述用户设备也可以根据所述设备信息，进行所述设备特征信息的确定，从而直接将所述设备特征信息发送至所述服务设备。

本发明中的术语“用户终端”中的用户是指产品的直接使用者，而用户终端指该使用者的终端设备，其通过连接服务器以获取服务。所述用户终端包括但不限于手机、手提电脑、PC、平板电脑、智能可穿戴产品(例如Apple Watch等)。

在本发明中，术语“用户网络使用特征信息”是指用户使用无线网络(例如Wifi、3G、4G或5G)时产生的信息。所述用户网络使用特征信息包括但不限于用户的Wifi历史、系统应用创建时间、设备传感器列表，例如接入无线网络的时间、断开时间、适配器名称、配置文件名称、传感器类型值、传感器参数值等。

在本发明中，术语“私有API”(Private API)是指放在Private Frameworks框架中的API。

在本发明中，术语“类库”(Libraries)是一个综合性的面向对象的可重用类型集合，这些类型包括：接口、抽象类和具体类，类库可以解决一系列常见编程任务(包括诸如字符串管理、数据收集、数据库连接以及文件访问等任务)，还可以解决多种专用开发任务(控制台应用程序、桌面应用程序、WEB应用程序等)。

术语“作弊框架”是指作弊时常用的手段。所述作弊框架涉及的对象包括但不限于IP、Cookie、Browser、和Click，因为作弊手段常从这几个方面入手。在本发明中，作弊框架通常是从论坛上和工作中总结出的作弊形式，这些固定形式会被收集在信息库中作为判断标准之一。随着时间推移和技术发展，作弊框架的具体形式和种类会不断变化和增加，本发明人将“作弊框架”作为一个机器判断的标准引入识别系统，极大的增加了识别系统的准确度和效率。

例如常见的作弊手段中，会出现同一IP地址换不同的Cookie来点击广告。由于目前的广告监测是多数基于Cookie的，因此这样产生的流量很难被排除，从而给广告主造成经济损失。通常，这是通过作弊程序反复删除Cookie实现的。从数据采集的角度考虑，一般的想法是寻找比Cookie更稳定的监测基准。但本发明的发明人另辟蹊径，想到：这些作弊程序是有标准特征(作弊框架，例如程序代码)的，如果在采集的数据中检测到这样的特征，那么所得数据是由虚拟设备发出的可能性就会很大。对于大数据处理，利用作弊框架识别虚拟设备相比其他方法要简单、迅速得多。且作弊框架的库可以不断更新，以适应技术的发展，而无需对采集系统和采集模式做大规模的修改，有利于提供长期稳定、可持续的服务。

在本发明中，所述利用私有API获得的设备特征ID是通过APP/SDK发送获取设备特征ID的请求给私有API，私有API通过类库层级Runtime直接请求内核数据获取准确的设备特征ID，此设备特征ID，将和设备的其他基于硬件层的ID一起，纳入用户的ID组中。私有API是基于Kernel API进行数据获取，从安全性角度来说，是极其难以实现API Hooking的方法。

在本发明中，通过从网络设备获取与用户网络使用相关的特征信息，信息包括:用户的Wifi历史、系统应用创建时间、设备的传感器列表，将获取的信息利用带有加密或不加密的哈希算法进行哈希处理，转换为字符串进行组合，再将所得字符串组合，利用哈希算法获得一个唯一的基于用户网络使用相关的特征信息的设备ID，成为设备特征ID组中的一员。与从硬件层采集到的其他设备特征ID组合作为用户特征ID可以用于区别用户。因为其ID熵值足够大，能够唯一确定一台设备并且适合绝大部分设备与操作系统。

实施例1

接收单元110接收到来自用户终端的HTTP请求，通过采集单元120获得如表1中所示的新数据。表1中历史数据为设备特征ID库中同一数据来源的用户数据。

表1

判断单元130将新采集的数据与设备特征ID库140的历史数据中的用户数据进行比对。

所述用户数据中没有作弊框架、Android SDK API获取的Mac地址与私有API获取的Mac地址相同，且有震动功能。因此该用户数据被认为是真实的用户。

比对结果：新数据的私有API获取的Mac地址和基于用户使用信息的特征ID与历史数据相同，且新数据有作弊框架Xposed，根据逐项打分和综合权重，总分显示该新数据与该历史数据的用户为同一用户。

新数据中的Android SDK API获取的Mac地址、Brand等为作弊篡改的内容，被回溯到历史数据。该条数据(日志)被打标在去重单元150去重。

实施例2

和实施例1基本相同，不同在于在判断是否去重时利用简化的程序。

如图2所示，接收单元110接收到来自用户终端的HTTP请求，通过采集单元120获得如表2中所示的新数据。

表2

在设备特征ID库中比对私有API获取的Mac地址，如果相同，则直接被打标在去重单元150去重。

如表2所示的数据，私有API获取的Mac地址不同，则比对基于用户使用信息的特征ID，如果相同，则直接被打标在去重单元150去重。

如果还不同，则如实施例1所述，对各个项目逐项打分和综合权重，总分显示该新数据与该历史数据的用户是否为同一用户。

其中各项的权重和分数以及判断是否为同一用户的分数阈值可以根据历史情况和需要而调整，以满足业务需求为标准。

被判断为同一用户的数据被打标在去重单元150去重。本方法在一些场景下比实施例1的方法更加快捷，比对私有API获得的设备特征ID和比对基于用户使用信息的特征ID的顺序可以根据需要而互换。也可以将其他重要的特征作为直接判断的去重标准，优先进行判断。本领域技术人员根据本发明的方法应用的场景，可以选择合适的指标作为去重标准，而不限于本发明实施例所示的范围。

本发明不采用唯一ID的标识方法，而是多种ID组合判断用户唯一。在同一台设备上，用不同的方法获取到不同的ID，在系统中再为ID组分配唯一的用户ID。那么如果其中一个被篡改或者变化，都可以通过ID组中，未被篡改或者变化的ID进行回溯，找到对应的真实用户。

市场上虚拟设备的拟真程度越来越高，甄别方法有很多种。在ID组中，本发明人提供了对ID的打分、加权等方法标识虚拟设备的可能性。此类方法较为直接的区分出虚拟设备，即可通过综合评判获得虚拟程度得分。基于此基础上进行，通过设定阈值来判断ID是否为虚拟设备。

本发明不限于上述实施方式，在本发明思想的范围内可以进行各种变更。本发明已通过上述实施例进行了说明，但应当理解的是，上述实施例只是用于举例和说明的目的，而非意在将本发明限制于所描述的实施例范围内。此外本领域技术人员可以理解的是，本发明并不局限于上述实施例，根据本发明教导还可以做出更多种的变型和修改，这些变型和修改均落在本发明所要求保护的范围以内。本发明的保护范围由附属的权利要求书及其等效范围所界定。

Claims (10)

1.一种网络流量去重的方法，其包括：

接收来自用户终端的HTTP请求；

利用标准API采集设备特征ID；

利用私有API获得的设备特征ID；

采集基于用户使用信息的特征ID作为设备特征ID；

利用采集到的设备特征ID和基于用户使用信息的特征ID回溯真实用户，从而消除重复流量。

2.根据权利要求1所述的方法，其中从私有API获得的设备特征ID库中包括MAC、IMEI、IMSI、IDFA、和/或CID。

3.根据权利要求2所述的方法，其中回溯真实用户包括：当利用标准API采集设备特征ID和对应的利用私有API获得的设备特征ID不同时，以利用私有API获得的设备特征ID作为去重标准。

4.根据权利要求1所述的方法，其中所述基于用户使用信息的特征ID所用的信息包括：用户的Wifi历史、系统应用创建时间、和设备的传感器列表。

5.根据权利要求4所述的方法，其中所述基于用户使用信息的特征ID通过将用户的Wifi历史、系统应用创建时间、和设备的传感器列表利用哈希算法转换成字符串而获得。

6.根据权利要求5所述的方法，其中回溯真实用户包括：利用基于用户使用信息的特征ID作为去重标准。

7.根据权利要求1所述的方法，将采集到的设备特征ID和基于用户使用信息的特征ID与设备特征ID库的用户库中的对应信息进行比对，并对每个项目进行打分，当总得分超过阈值时，进行去重。

8.一种用于网络流量去重的系统，其包括：

采集单元，用于采集设备特征ID和基于用户使用信息的特征ID；

设备特征ID库，用于存储采集到的设备特征ID数据，并按照数据的来源形成用户库；

判断单元，用于将新采集到的设备特征ID和基于用户使用信息的特征ID与用户库中的数据进行比对，打分；

去重单元，对得分超过阈值的数据去重。

9.根据权利要求8所述的系统，其中所述设备特征ID是通过标准API和私有API采集的。

10.根据权利要求8所述的系统，其中所述去重包括给数据添加标签和/或删除数据。