CN109919667A

CN109919667A - 一种用于识别企业ip的方法和装置

Info

Publication number: CN109919667A
Application number: CN201910130183.1A
Authority: CN
Inventors: 郑清正
Original assignee: Jiangsu Suning Bank Co Ltd
Current assignee: Jiangsu Suning Bank Co Ltd
Priority date: 2019-02-21
Filing date: 2019-02-21
Publication date: 2019-06-21
Anticipated expiration: 2039-02-21
Also published as: CN109919667B

Abstract

本发明公开了一种用于识别企业IP的方法和装置，装置包括数据清理模块、特征提取模块、特征融合提取模块、IP客群提取模块及IP客群更新模块。对数据源预处理，并提取IP关联数据；从IP关联数据中提取数据特征；根据数据特征过滤IP关联数据，并将多个数据特征进行融合，形成IP集合；给IP集合中的IP账户做客群标签；并循环操作不断更新IP客群标签。本发明可以有效将固定用户群体的IP和公共场所IP进行区分，有效将长期固定IP和短时间内的固定IP区分，对电商CRM精准别企业客户IP以及背后的客户群起到关键作用。

Description

一种用于识别企业IP的方法和装置

技术领域

本发明属于数据挖掘领域，具体来说，涉及电商系统中IP地址和关联的账户的分群分析。

背景技术

IP地址的识别通常是通过提取不同的用户行为特征进行多维度的IP画像构建来实现的。多数维度特征聚焦在黑产常见的行为识别上，如垃圾注册，薅羊毛，刷单，黄牛，撞库，垃圾信息等。每种特征的提取主要通过设备聚集性，行为聚集性实现对高危IP的标签化定义。

基于IP地址的特征提取，不同的风险业务类型的建模分析以及数据建模流程是有差异的。如垃圾注册的特征表现为连续短时间内(间隔时间在1分钟以内)，大量的账户注册行为；黄牛的表现特征为多账户多笔订单的收货地址一致，或者单账户订单数量巨大等。目前市面上第三方提供的IP甄别服务大多数是通过IP 上的账户行为分析，辅助设备聚集性等实现的。但是这些IP标签存在两个问题：

1.由于我国本身IP地址资源不足，运营商对IP地址的分配存在动态调整，且调整规律，幅度等都不透明，导致对IP的标记存在着不准确的问题。如Ip地址发生变更，新用户的表现和旧IP标签不匹配导致用于风险判断时出现问题。

2.当前大部分标签都是基于“坏”的行为的标签，因为对不同的企业，“好”的特征，标准都是不一致的，因此没有统一的好的标签标记。

这些标签用在反欺诈领域时，存在着大量的误杀，或者漏杀的情况，在标签不及时更新的情况下，对业务会造成误判的影响。

传统IP的识别是通过第三方企业构建的IP特征标签来判定的，第三方对IP 地址的标签处理是不透明的，其时效性也有待确认，如ipip.net，同盾科技等提供的IP地址也存在准确的问题。在访问’221.226.125.133’IP地址时，第三方给出的信息如图1所示，实际上该IP地址为苏宁金融公司的外部IP之一。

又如查询’101.230.205.17’得到的反馈结果如图2所示，当碰到描述为“商圈”的IP地址，这类标记无法清楚的告诉我们它是写字楼的办公使用IP还是饭馆，咖啡馆提供的公共wifi IP。这对电商企业判断来访IP背后的客户时，无法做出更为精准的判断。

对于电商公司来讲，用于稳定的工作，稳定的收入的顾客群体属于优质顾客群，可对该客户群体推广精准营销，互联网金融营销等活动。然而企业IP的精准识别存在错误、更新滞后等问题，导致我们使用外部IP数据标签做参考时，会出现错误的判断。

发明内容

发明目的：为了解决现有技术存在的企业IP识别精准度不高的问题，本发明提供一种用于识别企业IP的方法和装置。

技术方案：一种用于识别企业IP的方法，包括以下步骤：

(1)对时间段内的数据源进行预处理，提取设备指纹表中的IP关联数据；

(2)设置活跃阈值判断活跃度，筛选出IP地址出现频率高于活跃阈值的IP 地址作为活跃组IP；

(3)提取活跃组的IP地址24小时账户活跃特征、IP地址周度账户活跃度特征、IP地址账户稳定性特征；

(4)对于步骤(3)提取的特征，分别设置阈值进行IP特征的过滤，保留阈值范围内的IP关联数据，形成IP集合；

(5)将多个时间段的IP集合进行融合，得到过滤后IP关联数据的汇总；

(6)对汇总后的IP关联数据中的账户做客群标签；

(7)重复步骤(1)至(6)不断融合IP集合，追加新的IP特征记录。

进一步的，步骤(1)还包括提取商品实时交易表中的IP关联数据。

进一步的，步骤(4)还包括对IP集合进行进一步过滤，包括：

从IP集合中提取IP地址的账户收货地址聚集性特征、IP地址账户群体消费特征及IP地址账户支付类型特征；

分别设置阈值进行IP特征的过滤，保留阈值范围内的IP关联数据，形成最终IP集合。

进一步的，步骤(1)中设备指纹表中的IP关联数据包括IP，账户号，事件类型，发生时间，发生日期，网络类型。

进一步的，步骤(1)中商品实时交易表中的IP关联数据包括IP，账户号，收货地址，商品类型、支付类型。

进一步的，步骤(2)中出现频率低于活跃阈值的IP地址作为不活跃组IP，将不活跃组的IP关联数据存储并与其它时间段内的IP关联数据进行融合后再进行活跃度判断。

进一步的，步骤(2)中的IP地址出现频率提取方法为：

统计给定时间段内IP地址按照天出现的频率，形成频率特征数据集合IPf1：指在指定时间段[d1，d2)内，IP地址出现的次数。

进一步的，步骤(3)IP地址周度账户活跃度特征提取方法为：

对每个IP构建长度为7位的特征向量Vec_7d，每位对应周一到周日每天的账户统计数，形成IP特征集IP_f3：

(IP，Vec_7d)

where Vec_7d＝[∑_Mon∑(Acct)，∑_Tue∑(Acct)，...，∑_Sun∑(Acct)]，

其中∑(Acct)为每个周一到周日去重后的账户统计数量，∑_Mon*将每个周一的统计数值进行加和处理。

进一步的，步骤(3)IP地址账户稳定性特征提取方法为：

对于每个IP地址，统计每天出现的账户列表，并合并给定时间段内的所有账户列表信息，计算去重后的账户数和没去重的账户列表长度统计，形成IP特征集IP_f4：

(IP，∪Acct，∪dist(Acct)，len2/len1)

∪Acct是每天去重后账户列表在给定时间段内的账户合并的集合，∪dist(Acct)是对∪Acct去重后形成的集合，len1、len2分别是∪Acct、∪dist(Acct)的大小记录，定义a＝len2/len1表示该IP地址上账户的稳定性，账户越稳定，则频率越高，则a越小，a∈[0，1]。

一种用于识别企业IP的装置，包括数据清理模块、特征提取模块、特征融合提取模块、IP客群提取模块及IP客群更新模块，所述数据清理模块用于对数据源进行预处理，并提取IP关联数据；特征提取模块用于从IP关联数据中提取数据特征，数据特征包括IP地址24小时账户活跃特征、IP地址周度账户活跃度特征、IP地址账户稳定性特征；特征融合提取模块用于根据数据特征过滤IP关联数据，并将多个数据特征进行融合，形成IP集合；IP客群提取模块用于给IP 集合中的IP账户做客群标签；IP客群更新模块用于实时更新IP客群标签。

有益效果：本发明提供一种用于识别企业IP的方法和装置，有效将固定用户群体的IP和公共场所IP进行区分，有效将长期固定IP和短时间内的固定IP 区分，对电商CRM精准别企业客户IP以及背后的客户群起到关键作用。

附图说明

图1为传统IP识别的第三方给出的识别信息示例一；

图2为传统IP识别的第三方给出的识别信息示例二；

图3为用于识别企业IP的方法的流程图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明。

用户在登录互联网运营的企业时，每次登录，页面的浏览，以及发生购买的各种行为，都会生成相应的记录事项，存储到一个或者多个表格中。账户从登录到页面浏览，完成商品选购，下单，结算完成等全流程都会触发不同的事件，系统会记录各种触发的时间，触发时间，IP地址来源，设备硬件地址，网络信号标记(WiFi，4G)，业务类型，订单价格等多种信息。

以上信息通常存在在两类重要的表中：

1.设备指纹表-用于记录用户触发的各种事件，核心的数据包括：账户，设备号，事件标记，发生时间，登录IP，网络类型等多种信息。

2.商品实时交易表-用于记录某账户的购买订单记录，核心数据包括：账户，订单号，商品记录，订单总额，IP地址，交易时间，收货地址等信息。

通过IP，账户，可将账户行为，时间，收货地址等关联起来，对IP地址的分类识别起到至关重要的作用。

利用IP地址进行账户的聚集性分析时，通常IP地址按用途分成以下几类：

1.局域网IP-内部网络标记，无有效外部参考数据

2.教育网IP-专属IP地址段，属于固定IP，且每个IP可定位到具体的学校，单位

3.专线IP-企业申请的专线IP，IP地址固定，但是统计信息存在延迟或者错误(比如取消或者升级更换专线IP)

4.数据中心IP-可租用给第三方的IP服务，良莠不齐，黑产偏爱的代理地址，小微企业都可能使用的IP地址

5.基站IP-普通的家庭宽带，手机网络，以及公共场所，小微企业都可能使用过的IP地址。

现有的企业IP通常分三类：

1.超大规模企业，通常有专用的数据中心，包括提供数据中心IP给中小企业使用。常见的企业包括阿里云，华为云，腾讯云等。

2.大，中型企业自己的专线IP(未标记为IDC)，此类IP租用运营商网络，如中兴通讯以及其它成规模的公司

3.小微企业，可能租用IDC云服务，也可能租用电信运营商普通网络(无固定IP)。

通过用户在电商平台的表现，定义企业IP的特征建模算法。通过精准识别企业IP，并划分不同的层次，对IP进行企业标记和对应的用户群进行有效标记，从而给顾客分群，企业风险决策提供直接的帮助。例如超大规模IP，大中型企业IP的客户群可进行互联网金融营销等；小微企业的IP上的用户群，也可在风险决策时，提供辅助的风险判别依据，结合其它策略，模型等实现风险控制。

如图3，用于识别企业IP的方法具体包括以下步骤：

步骤一：数据源预处理，从设备指纹表、商品实时交易表数据中提取有效的 IP关联数据，去除空值。

提取给定时间段的设备指纹表数据，形成如下数据集TableA定义：

(IP，Acct，Time，Date，Event，conType，Country，Province)

以及同样给定时间段内的商品交易表数据，形成如下数据集TableB定义：

(IP，Acct，Time，Date，OrderId，Amount，[merchantList]，address)

步骤二：设置活跃阈值判断活跃度，将IP分成活跃组和不活跃组，筛选出IP地址出现频率高于活跃阈值的IP地址作为活跃组IP；出现频率低于活跃阈值的IP地址作为不活跃组IP，将不活跃组的IP关联数据存储并与其它时间段内的 IP关联数据进行融合后再进行活跃度判断。

IP地址活跃天数特征提取-统计给定时间段内(如一年，半年，一个月等) IP地址的出现频率，过滤掉频率(出现天数a)极低的IP地址(例如只出现过一次的IP地址，由于活跃度低，无法通过数据分析获取其可靠性验证)，设置的阈值a可根据一段时间内IP地址的平均天数加上权重来设置。

IP地址在系统中的频率特征提取：

IP地址按照天出现的频率特征，统计给定时间段内IP地址出现的频率，形成频率特征数据集合IP_f1：

频率特征汜录了在指定时间段[dl，d2)内，IP地址出现的次数。该特征用于过滤掉低频率的IP地址。

步骤三：提取活跃组的IP地址24小时账户活跃特征、IP地址周度账户活跃度特征、IP地址账户稳定性特征；

IP地址24小时账户活跃特征提取-统计每个IP上账户记录的24小时的分布情况；通过累加每天的24小时累计情况获取一段时间内的该IP上所有账户 24小时活跃分布。企业IP上的账户分布通常出现规律朝九晚五特征，反映在IP 上24小时的统计特征就是早晨8点到晚上19点之间是最活跃的，夜间23点到凌晨7点是极度不活跃，绝大部分没有活跃记录，个别企业有极低的活跃表现。阈值设置时，可考虑白天8-19点的平均活跃账户的百分比来过做凌晨(0-7h) 的过滤阈值。

假设任意一天某一IP上的账户记录(包括登录，购买，浏览等多种行为) 包含了IP，日期，账户，事件时间(登录，购买，浏览等事件的发生时间)。基于IP，日期，统计该日期内每小时的活跃用户数，对每个IP构建长度为24位的特征向量Vec_24h，每位对应24小时的一个时间段内统计每个时间段内的账户数 (去重)，形成IP特征集IP_f2：

(IP，Date，Vec_24h)

∑(Acct)代表该IP地址上24小时内每小时上出现的账户数，一个账户在不同时间段出现，都算到对应时间段内；Date标记了该IP的统计日期。

IP地址24小时活跃特征体现了在IP地址上用户群体的登录习惯，其表现形式可将企业IP或者公共场所IP(上班时间登录都在8点以后，23点结束)和普通的基站IP(包括家庭网络)，数据中心IP(代理，爬虫等)区分开。

IP地址周度账户活跃度特征提取-统计每个IP上账户在一段时间内的工作日和周末的活跃表现。企业IP上的账户在工作日和周末的活跃度有明显的区别，不排除周六有加班的情况，但是统计显示，周日的活跃度最低，周六的活跃度次之，工作活跃度远高于周末的活跃度。

对每个IP构建长度为7位的特征向量Vec_7d，每位对应周一到周日每天的账户统计数(去重)，形成IP特征集IP_f3：

(IP，Vec_7d)

其中∑(Acct)为每个周一到周日的账户统计数量，∑_Mon*将每个周一的统计数值进行加和处理，依次类推，完成每个周一到周日的加和处理。

IP地址额周度活跃特征将企业IP和其它基站IP(如公共场所IP)区分开来。从用户行为上看，企业IP的账户周一到周五的账户活跃统计明显大于周末，特别是周日的活跃表现。而公共场所IP周末的活跃表现有两类：7天都活跃(如 CBD附近的公共网络)，或者周末活跃统计值大于工作日统计值(如饭馆，商场等)。

IP地址账户稳定性特征提取-统计每个IP地址上账户出现的天数和账户数，利用账户数/总账户出现次数做稳定性标志参数来检测每个IP上账户的稳定性。该数值越小，则表明该IP上账户越稳定，越有利于判断是否为企业IP(固定人群登录固定网络)；最大值为1，表示越不稳定，意味着该IP上的人群只出现一次就结束，该网络很大可能是公共网络。可通过对该稳定性标志参数设置阈值来调整需要精准识别的企业IP群体。

对每个IP地址，统计每天出现的账户列表，并合并给定时间段内的所有账户列表信息，计算去重后的账户数和没去重的账户列表长度统计，形成IP特征集IP_f4：

(IP，∪Acct，∪dist(Acct)，len2/len1)

∪Acct是每天去重后账户列表在给定时间段内的账户合并的集合，∪dist(Acct)是对∪Acct去重后形成的集合，len1，len2分别是两个集合的大小记录，a＝len2/len1表示了该IP地址上账户的稳定性，账户越稳定，则频率越高，则len2/len1越小，a∈[0，1]。

IP地址一段时间内的账户出现频率特征可将有稳定账户登录的IP地址和普通基站不稳定的账户登录的IP(如公共场所IP)有效的区分开来。

步骤四：对于步骤三提取的三类特征，每种特征设置阈值进行IP集合的过滤，只保留阈值规定范围之内的IP集合。

步骤五：还包括对步骤四获得的IP集合进行进一步过滤：从IP集合中提取 IP地址的账户收货地址聚集性特征、IP地址账户群体消费特征及IP地址账户支付类型特征。

IP地址收货地址聚集性特征提取-统计每个IP上账户在指定时间段内的收货地址是否存在聚集性；企业IP上的账户存在收货地址设置为企业办公场所的情况，通过账户群收货地址的相似性判断，可获取对该IP是否为企业IP的进一步验证。根据收货地址判断聚集性性时，可利用文本对比算法中的最小相似度哈希算法判断同一IP下的收货地址地址的相似性。

对TableB上每个IP进行收货地址聚类。再对单一IP上的地址进行相似性去重，如采用局部敏感性哈希处理寻找相似的收货地址。经过局部敏感相似性去重时，统计每个收货地址上的重复个数。寻找最大重复地址对应的账户集合占该IP 地址上总账户集合的比率，形成IP特征集IP_f5：

(IP，max(addr)，ratio_addr)

ratio_addr定义了该IP地址上，公用收货地址占据总账户的覆盖率，该值如果为0，则反映无任何账户以公司地址为收货地址，通常具有工作单位的员工存在以单位地址做收货地址的现象，因此为0的为异常IP。

IP地址的群体消费特征-统计每个IP上账户的总的消费金额以及，该IP 上购买的商品种类数量。金额小，或者数量单一的属于异常的群体(如中介，黄牛套现)

对TableB上每个IP，计算该IP地址上消费总金额，以及消费商品种类列表，形成IP特征集IP_f6：

(IP，Σamount，∪merchantList)

其中∑amount代表该IP上所有的花费总额，∑merchantList代表该IP地址上去重后的商品类型列表，单一性的商品类型列表，以及0花费或者小额花费的统计都表示该IP地址上客群的异常。

IP地址的支付类型特征-统计每个IP上账户交易时的支付手段(金融贷款还是储蓄支付)。大量使用金融贷款的IP地址属于异常的地址(如苏宁金融任性贷套现)。

对TableB上每个IP，计算该IP地址上信用消费(信用卡，金融贷)和储蓄消费(储蓄卡消费)的比例关系，形成IP特征集IP_f7：

(IP，∑Credit/∑Saving)

在互联网金融领域，存在中介，黄牛套现账户，其在IP上的行为也符合企业用户的情况，如使用idc固定IP，活跃也在白天，工作日。但是由于其从事的风险业务决定了其金融贷款的比例要远高于储蓄消费的比例。因此该参数用于过滤掉这部分黑产信息。

步骤六：对于步骤五的三类特征，每种特征设置阈值进行IP集合的过滤，只保留阈值规定范围之内的IP集合。

步骤七：根据设备指纹表的关联，提取筛选后的IP集合关联的账户进行汇总，对汇总后的IP关联数据中的账户做客群标签；

步骤八：在一段时间后，如一个月，重复步骤一到步骤七，追加新的IP和账户群体，以及检验老的IP群体是否发生变化，更新IP集合以及账户集合，对每个IP地址关联的账户群设置标签，并对所有企业IP关联的账户进行合并处理，生成企业员工账户集合。设置的标签包括(用户规模，IP地址，关联企业收货地址等)。

用于识别企业IP的装置，包括数据清理模块、特征提取模块、特征融合提取模块、IP客群提取模块及IP客群更新模块，所述数据清理模块用于对数据源进行预处理，并提取IP关联数据；特征提取模块用于从IP关联数据中提取数据特征，数据特征包括IP地址24小时账户活跃特征、IP地址周度账户活跃度特征、 IP地址账户稳定性特征；特征融合提取模块用于根据数据特征过滤IP关联数据，并将多个数据特征进行融合，形成IP集合；IP客群提取模块用于实时更新IP客群标签。

该专利综合利用用户稳定性特征，用户24小时活跃特征，用户周度账户活跃特征以及收货地址聚集性特征，账户群体消费特征，交易类型特征，能够有效将固定用户群体的IP和公共场所IP进行区分。且稳定性时间段的选择(一周，半月，一个月，三个月，半年等)不同时间段的稳定性特征又能将长期固定IP (企业IP)和短时间内的固定IP(如小区基站)有效区分开。对电商CRM精准别企业客户IP以及背后的客户群起到关键作用。

Claims

1.一种用于识别企业IP的方法，其特征在于，包括以下步骤：

（1）对时间段内的数据源进行预处理，提取设备指纹表中的IP关联数据；

（2）设置活跃阈值判断活跃度，筛选出IP地址出现频率高于活跃阈值的IP地址作为活跃组IP；

（3）提取活跃组的IP地址24小时账户活跃特征、IP地址周度账户活跃度特征、IP地址账户稳定性特征；

（4）对于步骤（3）提取的特征，分别设置阈值进行IP特征的过滤，保留阈值范围内的IP关联数据，形成IP集合；

（5）将多个时间段的IP集合进行融合，得到过滤后IP关联数据的汇总；

（6）对汇总后的IP关联数据中的账户做客群标签；

（7）重复步骤（1）至（6）不断融合IP集合，追加新的IP特征记录。

2.根据权利要求1所述的用于识别企业IP的方法，其特征在于，步骤（1）还包括提取商品实时交易表中的IP关联数据。

3.根据权利要求2所述的用于识别企业IP的方法，其特征在于，步骤（4）还包括对IP集合进行进一步过滤，包括：

4.根据权利要求1所述的用于识别企业IP的方法，其特征在于，步骤（1）中设备指纹表中的IP关联数据包括IP，账户号，事件类型，发生时间，发生日期，网络类型。

5.根据权利要求2所述的用于识别企业IP的方法，其特征在于，步骤（1）中商品实时交易表中的IP关联数据包括IP，账户号，收货地址，商品类型、支付类型。

6.根据权利要求1所述的用于识别企业IP的方法，其特征在于，步骤（2）中出现频率低于活跃阈值的IP地址作为不活跃组IP，将不活跃组的IP关联数据存储并与其它时间段内的IP关联数据进行融合后再进行活跃度判断。

7.根据权利要求1所述的用于识别企业IP的方法，其特征在于，步骤（2）中的IP地址出现频率提取方法为：

统计给定时间段内IP地址按照天出现的频率，形成频率特征数据集合：；指在指定时间段[d1,d2)内，IP地址出现的次数。

8.根据权利要求1所述的用于识别企业IP的方法，其特征在于，步骤（3）IP地址周度账户活跃度特征提取方法为：

对每个IP构建长度为7位的特征向量，每位对应周一到周日每天的账户统计数，形成IP特征集：

，

其中为每个周一到周日去重后的账户统计数量，将每个周一的统计数值进行加和处理。

9.根据权利要求1所述的用于识别企业IP的方法，其特征在于，步骤（3）IP地址账户稳定性特征提取方法为：

对于每个IP地址，统计每天出现的账户列表，并合并给定时间段内的所有账户列表信息，计算去重后的账户数和没去重的账户列表长度统计，形成IP特征集：

是每天去重后账户列表在给定时间段内的账户合并的集合，是对去重后形成的集合，len1、len2分别是的大小记录，定义a=len2/len1表示该IP地址上账户的稳定性，账户越稳定，则频率越高，则a越小，。

10.一种用于识别企业IP的装置，其特征在于，包括数据清理模块、特征提取模块、特征融合提取模块、IP客群提取模块及IP客群更新模块，所述数据清理模块用于对数据源进行预处理，并提取IP关联数据；特征提取模块用于从IP关联数据中提取数据特征，数据特征包括IP地址24小时账户活跃特征、IP地址周度账户活跃度特征、IP地址账户稳定性特征；特征融合提取模块用于根据数据特征过滤IP关联数据，并将多个数据特征进行融合，形成IP集合；IP客群提取模块用于给IP集合中的IP账户做客群标签；IP客群更新模块用于实时更新IP客群标签。