CN108830052A - 一种基于ai的跨设备上网用户识别方法 - Google Patents

一种基于ai的跨设备上网用户识别方法 Download PDF

Info

Publication number
CN108830052A
CN108830052A CN201810515929.6A CN201810515929A CN108830052A CN 108830052 A CN108830052 A CN 108830052A CN 201810515929 A CN201810515929 A CN 201810515929A CN 108830052 A CN108830052 A CN 108830052A
Authority
CN
China
Prior art keywords
user
feature
url
recognition methods
online
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810515929.6A
Other languages
English (en)
Inventor
唐枭
唐一枭
崔渊博
阿曼太
王宇
金红
杨满智
刘长永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Heng Jia Jia (beijing) Technology Co Ltd
Eversec Beijing Technology Co Ltd
Original Assignee
Heng Jia Jia (beijing) Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Heng Jia Jia (beijing) Technology Co Ltd filed Critical Heng Jia Jia (beijing) Technology Co Ltd
Priority to CN201810515929.6A priority Critical patent/CN108830052A/zh
Publication of CN108830052A publication Critical patent/CN108830052A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/316—User authentication by observing the pattern of computer usage, e.g. typical user behaviour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2151—Time stamp

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种基于AI的跨设备上网用户识别方法，所述方法包括：提取不同屏下的每个用户上网的URL数据和时间戳数据，并针对每条数据添加该用户的身份id；分别统计该用户的上网意向特征、强识别URL特征及上网时间特征；根据统计完成的上述三个特征中的一种或者多种建立该用户的基础模型，并通过梯度增强回归树算法对上述每个特征进行权重训练，得到该用户最终的上网行为模型；通过形成的所述上网行为模型，识别出跨屏用户身份。本发明所述的基于AI的跨设备上网用户识别方法，统计与分析了上网意向、强识别url和上网时间等特征，通过使用多种构造特征对样本检测和学习，使用在线学习对识别错的样本加入训练集更新模型，保证了识别率和准确率。

Description

一种基于AI的跨设备上网用户识别方法
技术领域
本发明属于网络安全及互联网大数据领域，更具体来说，涉及一种基于AI的跨设备上网用户识别方法。
背景技术
目前已经有基于用户账号pin检测跨屏用户身份的方法，当前研究的热点是能够在不使用用户账号pin的情况下识别出跨屏用户身份的基于数据挖掘和机器学习的检测技术。
现有技术方案中，常采用“基于用户账号pin检测跨屏用户身份的方法”来进行检测；但是，在上述方法，存在如下缺点：
1、漏检率较高；2、在缺乏用户账号pin的情况下很难识别出用户身份；3、识别效率较低。
基于对用户上网行为的机器学习算法检测跨屏用户身份的方法，是目前一种新型的检测方法，并且该方法在识别的准确率方面有较大提升。
发明内容
本发明所要解决的问题就是在缺乏用户账号pin的情况下如何准确并高效识别出跨屏用户的身份。
为解决上述技术问题，本发明所采用的技术方案如下：
一种基于AI的跨设备上网用户识别方法，所述方法包括：
步骤S1、提取不同屏下的每个用户上网的URL数据和时间戳数据，并针对每条数据添加该用户的身份id；
步骤S2、分别统计该用户的上网意向特征、强识别URL特征及上网时间特征；
步骤S3、根据统计完成的上述三个特征中的一种或者多种建立该用户的基础模型，并通过梯度增强回归树算法对上述每个特征进行权重训练，得到该用户最终的上网行为模型；
步骤S4、通过形成的所述上网行为模型，识别出跨屏用户身份。
进一步地，在所述步骤S2中，所述上网意向特征的获取方法包括：
通过相似度计算，对用户上网的URL进行归并，将子级URL网址同归到其上一级URL网址，并作为一个上网意向特征。
进一步地，在所述步骤S2中，所述强识别URL特征的获取方法包括：
检测用户不同屏下是否出现相同的URL，如果是，且该URL均指向同一用户，则从该URL提取数据集作为强识别URL特征。
进一步地，在所述步骤S2中，所述上网时间特征的获取方法包括：
检测用户在不同的设备上的上网时间分布规律。
进一步地，所述方法还包括：
根据每次的识别结果，对模型的权重进行相应的更新。
进一步地，所述上网意向特征的获取方法还包括：
统计用户在不同设备下的访问意愿是否存在相似点；
根据不同的用户不同的访问意愿，对用户的上网行为进行切分；
通过对每次上网行为所访问的上网意向进行一次权重匹配，计算出每一个用户的每一个上网意向的权重；
将计算的权重作为用户基础模型的一个特征。
进一步地，所述对用户的上网行为进行切分的方法包括：
每间隔一段时间就对用户的上网行为进行一次记录。
进一步地，所述权重匹配通过TF-IDF进行。
进一步地，所述梯度增强回归树算法为GBRT梯度增强回归树算法，通过权重训练得到每个权重的最佳值。
进一步地，所述基础模型由所述用户的上网意向特征、强识别URL特征及上网时间特征三种特征综合判断并建立。
与现有技术相比，本发明所述的基于AI的跨设备上网用户识别方法，统计与分析了上网意向、强识别url和上网时间等特征，通过使用多种构造特征对样本检测和学习，使用在线学习对识别错的样本加入训练集更新模型，保证了识别率和准确率。
附图说明
图1为本发明实施例所述的基于AI的跨设备上网用户识别方法的原理示意图。
具体实施方式
以下结合附图对本发明作进一步详细说明，但不作为对本发明的限定。
本发明所要解决的问题就是在缺乏用户账号pin的情况下如何识别出跨屏用户的身份。
参照图1所示，一种基于AI的跨设备上网用户识别方法，所述方法包括：
步骤S1、提取不同屏下的每个用户上网的URL数据和时间戳数据，并针对每条数据添加该用户的身份id；
步骤S2、分别统计该用户的上网意向特征、强识别URL特征及上网时间特征；
步骤S3、根据统计完成的上述三个特征中的一种或者多种建立该用户的基础模型，并通过梯度增强回归树算法对上述每个特征进行权重训练，得到该用户最终的上网行为模型；
步骤S4、通过形成的所述上网行为模型，识别出跨屏用户身份。
首先对跨屏用户在不同屏幕上网产生的URL和时间戳进行提取，并且每条数据都标注上用户身份id。然后通过URL和时间戳样本提取出用户上网过程中的各项特征，例如常用上网时间、浏览数据集群等。然后使用梯度增强回归树算法进行特征的权重训练，训练出每一个特征的权重，然后形成每个用户的上网行为模型。最终达到通过互联网数据识别出跨屏用户身份的目的。最后根据每次的识别结果，对模型的权重进行相应的更新。
其中，URL(Uniform Resource Locator，统一资源定位符)是对可以从互联网上得到的资源的位置和访问方法的一种简洁的表示，是互联网上标准资源的地址。互联网上的每个文件都有一个唯一的URL，它包含的信息指出文件的位置以及浏览器应该怎么处理它。
下面来对本发明的流程作如下详细说明。
1、提取出用户上网的URL和时间戳，并且标注出每条数据的用户身份id。
2、通过对相似度计算，对URL进行归并，统计出用户的上网意愿。由于URL存在多级现象，就像文件目录一样，一个上级URL下可以有多个子级URL。例如某URL为aaa/bbb/ccc/ddd，则其上级URL可以是aaa、aaa/bbb、aaa/bbb/ccc这三种，将这一系列网址都归为1个网站或者一个上网意向。此外，由于用户在不同设备下的访问意愿多数情况下都有相似点，例如在手机上登录QQ的同时在电脑上也登录QQ，这样每个用户都有不同的上网意向。最后将用户的上网行为切分，例如每30分钟就记录为一次上网行为。然后通过对每次上网行为所访问的上网意向通过TF-IDF进行一次权重匹配，计算出每个用户的每一个上网意向的权重，然后将这个数据集作为用户模型的一个特征。
3、检测用户不同屏下是否出现相同的URL，如果是，且该URL均指向同一用户，则从该URL提取数据集作为强识别URL特征。某些URL对比普通的URL具有更强烈的用户身份特征，暂时称其为强势别URL。如果不同屏下的都出现了强识别URL，并且都指向同一用户，那么对识别用户身份就会有很高的参考价值。例如手机上出现aaaaa/mail/123456@11.com、电脑上也出现aaaaa/mail/123456@11.com。那么这个aaaaa/mail/就是一个强识别URL，则提取出该数据集作为用户模型的另一个特征。
4、检测用户在不同的设备上的上网时间分布规律。部分用户在不同的设备上的上网时间是有固定时间段的。举个例子，某互联网职员，周一到周五的工作日从上网9点到下午6点利用公司的电脑进行上网行为，然后下午6点到下午7点这段时间在回家路上利用手机产生上网行为，最后晚上8点到晚上10点这段时间利用平板电脑产生上网行为。每个用户的上网模式都会有细微的区别，通过这些区别能够了解不同的用户产生上网行为的时间段分布规律，这部分数据集也可以作为用户模型的一个特征。
5、综合上述三个特征参数，建立出一个基础的用户模型，然后通过梯度增强回归树算法对每个特征进行权重训练。通常来说，三个特征中，强识别url的特征占比权重是较高的，因为用户通常不会轻易的去改变自己的账号id或者昵称，其次用户的上网意向和上网时间特征的权重相对权重相对较低，需要通过训练来得出权重。例如对于喜欢猎奇或者生活圈较大的用户而言，其上网意向可能会有时间段的变化，例如新出了一款App——A，某用户1非常喜欢，但是可能使用了1个月就失去了兴趣，转而投向了另一款有相似点的App——B，但是对于生活圈较小的用户而言，其上网意向就会相对稳定，就算出现了一些上网意向的变化，也不会对总体的上网意向产生影响。对于时间特征而言，某些上班时间不太固定的用户，其上网时间就不会很固定，例如白班晚班。而学生类的用户相对而言时间特征就会更加精确。但是最终每个模型权重的最佳值还是需要经过训练数据得出。得出模型后，基于整个地区所有用户的移动流量和固网流量，匹配出来自同一用户的流量，从而实现跨屏用户的识别。其中，本发明实施例中的算法采用GBRT(Gradient Boost RegressionTree)来实现，它是一种迭代的实现回归的决策树算法，该算法由多棵决策树组成，所有树的结论累加起来做最终结果。
在形成了用户的最终模型时，还使用在线学习对识别错的样本加入训练集更新模型，使得模型检测更准确。
本发明在用户上网行为的时候，统计与分析了上网意向、强识别url和上网时间等特征，使用多种构造特征对样本检测和学习。对每个用户都构建了用户模型，使用在线学习对识别错的样本加入训练集更新模型，该方法与现有的其它方法选取维度更全面，可提高识别的准确率。
上述说明示出并描述了本发明的若干优选实施例，但如前所述，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (10)

1.一种基于AI的跨设备上网用户识别方法，其特征在于，所述方法包括：
步骤S1、提取不同屏下的每个用户上网的URL数据和时间戳数据，并针对每条数据添加该用户的身份id；
步骤S2、分别统计该用户的上网意向特征、强识别URL特征及上网时间特征；
步骤S3、根据统计完成的上述三个特征中的一种或者多种建立该用户的基础模型，并通过梯度增强回归树算法对上述每个特征进行权重训练，得到该用户最终的上网行为模型；
步骤S4、通过形成的所述上网行为模型，识别出跨屏用户身份。
2.如权利要求1所述的跨设备上网用户识别方法，其特征在于，在所述步骤S2中，所述上网意向特征的获取方法包括：
通过相似度计算，对用户上网的URL进行归并，将子级URL网址同归到其上一级URL网址，并作为一个上网意向特征。
3.如权利要求1所述的跨设备上网用户识别方法，其特征在于，在所述步骤S2中，所述强识别URL特征的获取方法包括：
检测用户不同屏下是否出现相同的URL，如果是，且该URL均指向同一用户，则从该URL提取数据集作为强识别URL特征。
4.如权利要求1所述的跨设备上网用户识别方法，其特征在于，在所述步骤S2中，所述上网时间特征的获取方法包括：
检测用户在不同的设备上的上网时间分布规律。
5.如权利要求1所述的跨设备上网用户识别方法，其特征在于，所述方法还包括：
根据每次的识别结果，对模型的权重进行相应的更新。
6.如权利要求2所述的跨设备上网用户识别方法，其特征在于，所述上网意向特征的获取方法还包括：
统计用户在不同设备下的访问意愿是否存在相似点；
根据不同的用户不同的访问意愿，对用户的上网行为进行切分；
通过对每次上网行为所访问的上网意向进行一次权重匹配，计算出每一个用户的每一个上网意向的权重；
将计算的权重作为用户基础模型的一个特征。
7.如权利要求6所述的跨设备上网用户识别方法，其特征在于，所述对用户的上网行为进行切分的方法包括：
每间隔一段时间就对用户的上网行为进行一次记录。
8.如权利要求6所述的跨设备上网用户识别方法，其特征在于，所述权重匹配通过TF-IDF进行。
9.如权利要求1所述的跨设备上网用户识别方法，其特征在于，所述梯度增强回归树算法为GBRT梯度增强回归树算法，通过权重训练得到每个权重的最佳值。
10.如权利要求1所述的跨设备上网用户识别方法，其特征在于，所述基础模型由所述用户的上网意向特征、强识别URL特征及上网时间特征三种特征综合判断并建立。
CN201810515929.6A 2018-05-25 2018-05-25 一种基于ai的跨设备上网用户识别方法 Pending CN108830052A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810515929.6A CN108830052A (zh) 2018-05-25 2018-05-25 一种基于ai的跨设备上网用户识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810515929.6A CN108830052A (zh) 2018-05-25 2018-05-25 一种基于ai的跨设备上网用户识别方法

Publications (1)

Publication Number Publication Date
CN108830052A true CN108830052A (zh) 2018-11-16

Family

ID=64146128

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810515929.6A Pending CN108830052A (zh) 2018-05-25 2018-05-25 一种基于ai的跨设备上网用户识别方法

Country Status (1)

Country Link
CN (1) CN108830052A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110752958A (zh) * 2019-10-29 2020-02-04 北京字节跳动网络技术有限公司 用户行为分析方法、装置、设备及存储介质
CN110781066A (zh) * 2019-10-29 2020-02-11 北京字节跳动网络技术有限公司 用户行为分析方法、装置、设备及存储介质
CN113158163A (zh) * 2021-05-13 2021-07-23 内蒙古工业大学 一种计算机系统及其用户的身份识别方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103533530A (zh) * 2013-09-26 2014-01-22 林毅 一种跨设备的用户对应及用户追踪方法、系统
CN106528777A (zh) * 2016-10-27 2017-03-22 北京百分点信息科技有限公司 跨屏用户标识归一的方法及其系统
US20170111369A1 (en) * 2007-05-03 2017-04-20 Gary Stephen Shuster Redirection method for electronic content

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170111369A1 (en) * 2007-05-03 2017-04-20 Gary Stephen Shuster Redirection method for electronic content
CN103533530A (zh) * 2013-09-26 2014-01-22 林毅 一种跨设备的用户对应及用户追踪方法、系统
CN106528777A (zh) * 2016-10-27 2017-03-22 北京百分点信息科技有限公司 跨屏用户标识归一的方法及其系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110752958A (zh) * 2019-10-29 2020-02-04 北京字节跳动网络技术有限公司 用户行为分析方法、装置、设备及存储介质
CN110781066A (zh) * 2019-10-29 2020-02-11 北京字节跳动网络技术有限公司 用户行为分析方法、装置、设备及存储介质
CN110781066B (zh) * 2019-10-29 2023-04-11 北京字节跳动网络技术有限公司 用户行为分析方法、装置、设备及存储介质
CN113158163A (zh) * 2021-05-13 2021-07-23 内蒙古工业大学 一种计算机系统及其用户的身份识别方法及系统

Similar Documents

Publication Publication Date Title
CN110223168B (zh) 一种基于企业关系图谱的标签传播反欺诈检测方法及系统
CN107577688B (zh) 基于媒体信息采集的原创文章影响力分析系统
CN107515915B (zh) 基于用户行为数据的用户标识关联方法
CN102937951B (zh) 建立ip地址分类模型的方法、对用户分类的方法及装置
CN110198310A (zh) 一种网络行为反作弊方法、装置及存储介质
CN109726744A (zh) 一种网络流量分类方法
CN103838754A (zh) 信息搜索装置及方法
CN106453357A (zh) 一种网络购票异常行为的识别方法、系统及设备
CN106055617A (zh) 一种数据推送方法及装置
CN109120429B (zh) 一种风险识别方法及系统
CN109711890B (zh) 一种用户数据处理方法及其系统
CN108830052A (zh) 一种基于ai的跨设备上网用户识别方法
CN104933622A (zh) 一种基于用户和微博主题的微博流行度预测方法及系统
CN105260414B (zh) 用户行为相似性计算方法及装置
CN109191191B (zh) 基于代价敏感卷积神经网络的广告点击欺诈检测方法
CN106528777A (zh) 跨屏用户标识归一的方法及其系统
Monedero et al. Midas: Detection of non-technical losses in electrical consumption using neural networks and statistical techniques
CN112632405B (zh) 一种推荐方法、装置、设备及存储介质
CN105809573A (zh) 一种基于大数据分析的用电性质认证方法
CN107945050A (zh) 一种用电客户类型的识别与标识方法、装置及中央服务器
CN105530265A (zh) 一种基于频繁项集描述的移动互联网恶意应用检测方法
CN106600007A (zh) 活动质量评估方法及装置
CN111310052A (zh) 用户画像构建方法、装置及计算机可读存储介质
CN109150894A (zh) 一种鉴定恶意用户的方法及系统
CN110519263A (zh) 防刷量方法、装置、设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181116