CN112269937A - 一种计算用户相似度的方法、系统及装置 - Google Patents

一种计算用户相似度的方法、系统及装置 Download PDF

Info

Publication number
CN112269937A
CN112269937A CN202011280928.1A CN202011280928A CN112269937A CN 112269937 A CN112269937 A CN 112269937A CN 202011280928 A CN202011280928 A CN 202011280928A CN 112269937 A CN112269937 A CN 112269937A
Authority
CN
China
Prior art keywords
user
detected
user data
similarity
classification model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011280928.1A
Other languages
English (en)
Other versions
CN112269937B (zh
Inventor
余承乐
彭喜喜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Addnewer Corp
Original Assignee
Addnewer Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Addnewer Corp filed Critical Addnewer Corp
Priority to CN202011280928.1A priority Critical patent/CN112269937B/zh
Publication of CN112269937A publication Critical patent/CN112269937A/zh
Application granted granted Critical
Publication of CN112269937B publication Critical patent/CN112269937B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155—Bayesian classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请公开了本申请实施例提供了一种计算用户相似度的方法、系统及装置，用于解决当用户的特征数据变量存在缺失时，造成计算用户之间的相似度不够精确的问题。本申请实施例方法包括：获取待测用户数据对；对所述待测用户数据对进行特征提取，获取所述待测用户数据对中每组待测用户数据的待测用户特征，所述待测用户特征包括待测用户最近一个月媒体APP所关联的网络IP信息、WiFi连接信息、APP使用时间和待测用户的设备信息；根据所述待测用户特征和预先训练好的相似度分类模型，计算所述待测用户数据对中的两组待测用户数据对应的用户之间的相似度。

Description

一种计算用户相似度的方法、系统及装置
技术领域
本申请实施例涉及数据处理领域，尤其涉及一种计算用户相似度的方法、系统及装置。
背景技术
随着互联网大数据的飞速发展和相关技术的成熟，各行各业利用大数据给自己带来了充足的机遇和广阔的发展，但同时信息资源呈指数膨胀，也带来了信息过载的问题。用户画像是大数据技术的重要应用，其目标是在很多的维度上建立针对用户的描述性标签属性，从而利用这些标签属性对用户多方面的真实个人特征进行勾勒，进而可以利用用户画像发掘用户需求，分析用户偏好，并通过匹配用户画像提供给用户更高效和更有针对性的信息输送以及更贴近个人习惯的用户体验。
基于用户画像的用户相似度计算在网络推荐方面应用已经很广泛，但是由于采集的用于描述人物画像的基础数据不全面,存在生成的用户画像标签是无法覆盖所有用户的，同时由于用户画像一般都是基于用户过去历史一段时间内的行为数据来开发的，这也决定了用户画像无法支持实时画像和完全准确。
现常用于计算用户之间相似性的几种方法有余弦相似性、皮尔森系数和调整余弦相似性，余弦相似性和调整余弦相似性对于用户未评价项目会做评分为0的假设；皮尔森系数中用户共同评分项目集可能很小，目标用户对未评分项目的评分通过相似性较大的邻居对项目的评分的加权平均值进行预测。这种计算方式会造成在用户画像数据不够全面的情况下，对基于用户画像的计算用户相似度不具有准确性。
发明内容
本申请实施例提供了一种计算用户相似度的方法、系统及装置，用于解决当用户的特征数据变量存在缺失时，造成计算用户之间的相似度不够精确的问题。
为实现上述目的，本发明提供如下技术方案：
本发明第一方面提供一种计算用户相似度的方法，包括：
获取待测用户数据对；
对所述待测用户数据对进行特征提取，获取所述待测用户数据对中每组待测用户数据的待测用户特征，所述待测用户特征包括待测用户最近一个月媒体APP所关联的网络IP信息、WiFi连接信息、APP使用时间和待测用户的设备信息；
根据所述待测用户特征和预先训练好的相似度分类模型，计算所述待测用户数据对中的两组待测用户数据对应的用户之间的相似度。
可选的，在根据所述用户特征和预先训练好的的相似度分类模型，确定所述待测用户数据对中的两组待测用户数据对应的用户之间的相似度之前，所述方法还包括：
获取多个训练用户数据对，所述多个训练用户数据对包括正样本数据对和负样本数据对，所述正样本数据对和负样本数据对的比例为1:1；
所述多个用户数据对中的每个用户数据对进行特征提取，获取每个用户数据对中每组用户数据的用户特征，得到正样本特征和负样本特征；
将所述正样本特征和负样本特征作为用于训练相似度分类模型的样本数据；
利用所述样本数据对所述相似度分类模型进行训练，得到训练好的相似度分类模型。
可选的，所述网络IP信息包括所述待测用户最近一个月工作日内和非工作日的线下轨迹。
可选的，所述WiFi连接信息包括所述待测用户最近一个月工作日内和非工作日的线下轨迹以及非公共场合的WiFi名称。
可选的，所述APP使用时间包括打开时间和关闭时间。
可选的，所述设备信息包括手机品牌、型号、操作系统和运营商。
可选的，所述相似度分类模型为二分类LightGBM模型。
本发明第二方面提供一种计算用户相似度的系统，包括：
第一获取单元，用于获取待测用户数据对；
第二特征获取单元，用于对待测用户数据对进行特征提取，获取所述待测用户数据对中每组待测用户数据的待测用户特征，所述待测用户特征包括最近一个月待测用户媒体APP所关联的网络IP信息、WiFi连接信息、APP使用时间和用户设备信息；
计算单元，用于根据所述待测用户特征和预先训练好的相似度分类模型，计算所述待测用户数据对中的两组待测用户数据对应的用户之间的相似度。
可选的，所述系统还包括：
第三获取单元，用于获取多个训练用户数据对，所述多个训练用户数据对包括正样本数据对和负样本数据对，所述正样本数据对和负样本数据对的比例为1:1；
第四获取单元，用于对所述多个用户数据对中的每个用户数据对进行特征提取，获取每个用户数据对中每组用户数据的用户特征，得到正样本特征和负样本特征，所述用户特征包括最近一个月用户媒体APP所关联的网络IP信息、WiFi连接信息、APP使用时间和用户设备信息；
样本确定单元，用于将所述正样本特征和负样本特征确定作为用于训练相似度分类模型的样本数据；
训练单元，用于利用所述样本数据对所述相似度分类模型进行训练，得到训练好的相似度分类模型。
本发明第三方面提供一种计算用户相似度的装置，包括：
处理器、存储器、输入输出单元、总线；
所述处理器与所述存储器、所述输入输出单元以及所述总线相连；
所述处理器具体执行如下操作：
获取待测用户数据对；
对待测用户数据对进行特征提取，获取所述待测用户数据对中每组待测用户数据的待测用户特征，所述用户特征包括最近一个月待测用户媒体APP所关联的网络IP信息、WiFi连接信息、APP使用时间和用户设备信息；
根据所述待测用户特征和预先训练好的相似度分类模型，计算所述待测用户数据对中的两组待测用户数据对应的用户之间的相似度。
可选的，处理器还用于执行第一方面以及第一方面的可选方案中的方法。
本申请实施例第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质上保存有程序，所述程序在计算机上执行时执行前述一种计算用户相似度的方法。
在以上技术方案中，通过累计待测用户最近一个月媒体APP所关联的网络IP信息、WiFi连接信息、APP使用时间和待测用户的设备信息的基础数据作为用户特征，使得用于计算用户相似度的基础数据更具有稳定性，解决当用户的特征数据变量存在缺失时，造成计算用户之间的相似度不够精确。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见的，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请所提供的一种计算用户相似度的方法的一个实施例流程示意图；
图2为本申请所提供的一种计算用户相似度的方法的另一个实施例流程示意图；
图3为本申请实施例中提供一种计算用户相似度的系统一个实施例结构示意图；
图4为本申请实施例中提供一种计算用户相似度的系统另一个实施例结构示意图；
图5为本申请实施例中提供一种计算用户相似度的装置一个实施例结构示意图。
具体实施方式
本申请实施例提供了一种计算用户相似度的方法、系统及装置，用于解决当原始数据存在缺失时，直接对原始数据进行特征数值化，影响用户相似度计算的准确性。
下面将结合本申请实施例中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请第一方面提供了一种计算用户相似度的方法，该方法的执行主体可以为终端设备或服务器，其中的终端设备可以是个人计算机等，服务器可以是独立的一个服务器，也可以是由多个服务器组成的服务器集群。本申请实施例中为了提高计算的效率，该方法的执行主体以服务器为例进行详细说明。
请参阅图1，图1为本申请实施例中一种计算用户相似度的方法的一个实施例流程示意图，包括：
101、获取待测用户数据对；
用户数据是与某用户相关的画像数据，可以通过多种方式获取用户数据，例如，当用户打开某个媒体APP的时候，为了保证基本功能的使用，媒体APP会在用户确认的前提下，采集一些设备基础信息等，其中，具体通过何种方式获取用户数据，本申请实施例对此不做限定。该待测用户数据对可以是用户数据对中的两组用户数据，也可以是上述用户数据经过某种处理后得到的数据等。
102、对所述待测用户数据对进行特征提取，获取所述待测用户数据对中每组待测用户数据的待测用户特征，所述待测用户特征包括待测用户最近一个月媒体APP所关联的网络IP信息、WiFi连接信息、APP使用时间和待测用户的设备信息；
待测用户特征可以是待检测的用户的用户数据的特征。在实施中，可以获取上述待测用户数据对中每组待测用户数据，针对其中的任意一组待测用户数据，可以使用预先设置的特征提取算法，从该待测用户数据中提取相应的特征，可以将提取的特征作为该待测用户数据对应的待测用户特征。通过上述方式可以得到待测用户数据对中每组待测用户数据对应的待测用户特征。待测用户特征包括待测用户最近一个月媒体APP所关联的网络IP信息、WiFi连接信息、APP使用时间和待测用户的设备信息。
103、根据所述待测用户特征和预先训练好的相似度分类模型，计算所述待测用户数据对中的两组待测用户数据对应的用户之间的相似度。
其中，分类模型可以是任意分类模型，如朴素贝叶斯分类模型、Logistic回归分类模型或者决策树分类模型等，本申请实施例中考虑到分类模型仅用于判断两个不同用户之间是否相似，因此，该分类模型可以选用二分类模型。将步骤202得到的待测用户特征作为变量输入到预先训练好的相似度分类模型中，获取预先训练好的相似度分类模型输出结果，即为待测用户数据对中的两组待测用户数据对应的用户之间的相似度。
本实施例中，通过挖掘用户最近一个月所使用的移动设备网络IP、WiFi信息、最近一个月媒体APP的使用情况以及移动设备的基本信息，利用相关技术和算法进行特征处理，提取有效特征变量作为模型输入，用训练好的模型进行用户相似度预测，可以避免因为用户特征部分缺失导致的用户之间相似度计算结果不够准确。
请参阅图2，图2为本申请实施例中一种计算用户相似度的方法的一个实施例流程示意图，包括：
201、获取待测用户数据对；
本实施例中的步骤201与前述实施例中步骤101类似，此处不再赘述。
202、对所述待测用户数据对进行特征提取，获取所述待测用户数据对中每组待测用户数据的待测用户特征，所述待测用户特征包括待测用户最近一个月媒体APP所关联的网络IP信息、WiFi连接信息、APP使用时间和待测用户的设备信息；
具体的，当用户设备开启数据流量进行使用媒体APP时，媒体APP能够获取到用户设备网络信号对应的基站IP。通过收集用户最近一个月每天的24个时间段关联到的所有基站IP，利用聚类算法获取每个时间段的聚类中心；假设某个时间段出现空值，采用时间序列算法进行插补。将这一个月的时间按照工作日和非工作日进行划分，并分别拟合出一条完整的网络IP线下行为轨迹，该网络IP线下行为轨迹可作为模型输入变量；当用户设备连接上WiFi的时候，媒体APP可以识别到当前已连接的WiFi名称和Mac地址,通过相关技术手段就可以计算出无线路由器的位置信息。同样，通过分析用户最近一个月的WiFi连接信息，利用聚类算法获取每个时间段的聚类中心；假设某个时间段出现空值，采用时间序列算法进行插补，将这一个月的时间按照工作日和非工作日进行划分，并分别拟合出一条完整的WiFi名称线下行为轨迹，该WiFi名称线下行为轨迹可作为模型输入变量。同时，更细粒度的提取用户设备最近一个月连接过的所有非公共场所的WiFi名称作为模型输入变量。获取用户设备的基本信息作为模型输入变量，如手机品牌、型号、操作系统和运营商；另外将用户最近一个月每次打开和关闭媒体APP的时间也作为模型输入变量。
对上述获取的模型输入变量作为待测用户特征进行分析处理，共分解出11个建模所需的特征变量，分别为X1：通过网络IP拟合的用户最近一个月工作日内的线下轨迹；X2：通过网络IP拟合的用户最近一个月非工作日内的线下轨迹；X3：通过WiFi报点拟合的用户最近一个月工作日内的线下轨迹；X4：通过WiFi报点拟合的用户最近一个月非工作日内的线下轨迹；X5：用户最近一个月连接过的非公共WiFi名称；X6：用户手机品牌；X7：用户手机型号；X8：用户手机的操作系统；X9：手机运营商；X10：用户最近一个月打开媒体APP的时间；X11：用户最近一个月关闭媒体应用的时间；对这11个特征变量进行空值、异常值处理，特征数值化和分箱操作后，作为相似度分类模型的变量输入，以计算用户之间的相似度。
203、获取多个训练用户数据对，所述多个训练用户数据对包括正样本数据对和负样本数据对，所述正样本数据对和负样本数据对的比例为1:1；
因为训练用户数据对时用于训练相似度分类模型的变量输入，训练用户数据对数量需要足够大，比如至少为50000个，或者更多，这里对训练用户数据对的具体数量不做限定。每个训练用户数据对中可以包含两个不同用户的多个用户数据，例如，多个用户数据对中包括用户数据对A、用户数据对B和用户数据对C，其中，用户数据对A中包括用户数据1和用户数据2，用户数据对B中包括用户数据3和用户数据4，用户数据对C中包括用户数据5和用户数据6等。多个训练用户数据对包括正样本数据对和负样本数据对，可以预先设置相似度阈值，可以将用户相似度大于相似度阈值为80％的用户数据对确定为正样本数据对，用户相似度小于该相似度阈值10％的用户数据对确定为正样本数据对，正样本数据对和负样本数据对的比例为1:1。
204、所述多个用户数据对中的每个用户数据对进行特征提取，获取每个用户数据对中每组用户数据的用户特征，得到正样本特征和负样本特征；
需要说明的是，正样本特征并不是指其中包含的特征全部都是用户相似度大于相似度阈值为80％的用户数据对的用户特征，在实际应用中，负样本特征的用户特征也可能在负样本特征中的比例极少，还可能在负样本特征中包含有少量的正样本特征，而这样并不会影响分类模型的训练，反而会有助于提升相似度分类模型的鲁棒性。
205、将正样本特征和负样本特征作为用于训练相似度分类模型的样本数据；
在实施中，将正样本特征和负样本特征作为用于训练分类模型的样本数据。
206、利用所述样本数据对所述相似度分类模型进行训练，得到训练好的相似度分类模型。
在实施中，可以分别将正样本特征输入到分类模型中进行计算，得到的计算结果可以与该正样本特征相应的用户相似度对比，如果两者相匹配，则可以选择下一个正样本特征或负样本特征输入到分类模型中进行计算。得到的计算结果继续与该正样本特征相应的用户相似度匹配对比。如果两者不匹配，则可以调整分类模型中的相关参数的数值，然后再将该正样本特征输入到分类模型中进行计算，得到的计算结果再与该正样本特征相应的用户相似度匹配对比，即重复上述过程，直到两者相匹配为止。通过上述方式，可以将所有的正样本特征和负样本特征输入到分类模型中进行计算，从而达到对分类模型进行训练的目的，可以将最终训练得到的分类模型作为相似度分类模型。
207、根据所述待测用户特征和预先训练好的相似度分类模型，计算所述待测用户数据对中的两组待测用户数据对应的用户之间的相似度。
本实施例中的步骤207与前述实施例中步骤103类似，此处不再赘述。
本申请第二方面提供了一种计算用户相似度的系统，请参阅图3，图3为本申请实施例中提供一种计算用户相似度的系统一个实施例结构示意图，包括：
第一获取单元301，用于获取待测用户数据对；
第二获取单元302，用于对待测用户数据对进行特征提取，获取所述待测用户数据对中每组待测用户数据的待测用户特征，所述待测用户特征包括最近一个月待测用户媒体APP所关联的网络IP信息、WiFi连接信息、APP使用时间和用户设备信息；
计算单元303，用于根据所述待测用户特征和预先训练好的相似度分类模型，计算所述待测用户数据对中的两组待测用户数据对应的用户之间的相似度。
本申请实施例提供一种数据相似度的确定装置，通过第一获取单元301获取的待测用户数据对，通过第二获取单元302对待测用户数据对进行特征提取，获取所述待测用户数据对中每组待测用户数据的待测用户特征，所述待测用户特征包括最近一个月待测用户媒体APP所关联的网络IP信息、WiFi连接信息、APP使用时间和用户设备信息；计算单元303根据所述待测用户特征和预先训练好的相似度分类模型，计算所述待测用户数据对中的两组待测用户数据对应的用户之间的相似度。用于避免当用户的某些原始数据存在缺失时，直接对原始数据进行特征数值化，影响用户相似度计算的准确性。
请参阅图4，图4为本申请实施例中提供一种计算用户相似度的系统另一个实施例结构示意图，包括：
第一获取单元401，用于获取待测用户数据对；
第二获取单元402，用于对待测用户数据对进行特征提取，获取所述待测用户数据对中每组待测用户数据的待测用户特征，所述待测用户特征包括最近一个月待测用户媒体APP所关联的网络IP信息、WiFi连接信息、APP使用时间和用户设备信息；
计算单元407，用于根据所述待测用户特征和预先训练好的相似度分类模型，计算所述待测用户数据对中的两组待测用户数据对应的用户之间的相似度。
所述系统还包括：
第三获取单元403，用于获取多个训练用户数据对，所述多个训练用户数据对包括正样本数据对和负样本数据对，所述正样本数据对和负样本数据对的比例为1:1；
第四获取单元404，用于对所述多个用户数据对中的每个用户数据对进行特征提取，获取每个用户数据对中每组用户数据的用户特征，得到正样本特征和负样本特征，所述用户特征包括最近一个月用户媒体APP所关联的网络IP信息、WiFi连接信息、APP使用时间和用户设备信息；
样本确定单元405，用于将所述正样本特征和负样本特征确定作为用于训练相似度分类模型的样本数据；
训练单元406，用于利用所述样本数据对所述相似度分类模型进行训练，得到训练好的相似度分类模型。
本申请第三方面提供了一种计算用户相似度的装置，请参阅图5，图5为本申请实施例中提供一种计算用户相似度的系统一个实施例结构示意图，包括：
处理器501、存储器502、输入输出单元503以及总线504；
所述处理器501与所述存储器502、所述输入输出单元503以及所述总线504相连；
所述处理器501具体执行如下操作：
获取待测用户数据对；
对待测用户数据对进行特征提取，获取所述待测用户数据对中每组待测用户数据的待测用户特征，所述用户特征包括最近一个月待测用户媒体APP所关联的网络IP信息、WiFi连接信息、APP使用时间和用户设备信息；
根据所述待测用户特征和预先训练好的相似度分类模型，计算所述待测用户数据对中的两组待测用户数据对应的用户之间的相似度。
可选的，处理器还用于执行第一方面以及第一方面的可选方案中的方法。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请中所附图式所绘制的结构、比例、大小等，均仅用于配合说明书所揭示的内容，以供本领域技术人员了解与阅读，并非用于限定本申请中可实施的限定条件，故不具有技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本申请所能产生的功效及所能达成的目的下，均仍应落在本申请所揭示的技术内容涵盖的范围内。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，read-onlymemory)、随机存取存储器(RAM，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种计算用户相似度的方法，其特征在于，包括：
获取待测用户数据对；
对所述待测用户数据对进行特征提取，获取所述待测用户数据对中每组待测用户数据的待测用户特征，所述待测用户特征包括待测用户最近一个月媒体APP所关联的网络IP信息、WiFi连接信息、APP使用时间和待测用户的设备信息；
根据所述待测用户特征和预先训练好的相似度分类模型，计算所述待测用户数据对中的两组待测用户数据对应的用户之间的相似度。
2.根据权利要求1所述的方法，其特征在于，在根据所述用户特征和预先训练好的的相似度分类模型，确定所述待测用户数据对中的两组待测用户数据对应的用户之间的相似度之前，所述方法还包括：
获取多个训练用户数据对，所述多个训练用户数据对包括正样本数据对和负样本数据对，所述正样本数据对和负样本数据对的比例为1:1；
所述多个用户数据对中的每个用户数据对进行特征提取，获取每个用户数据对中每组用户数据的用户特征，得到正样本特征和负样本特征；
确定所述正样本特征和负样本特征作为用于训练相似度分类模型的样本数据；
利用所述样本数据对所述相似度分类模型进行训练，得到训练好的相似度分类模型。
3.根据权利要求1所述的方法，其特征在于，所述网络IP信息包括所述待测用户最近一个月工作日内和非工作日的线下轨迹。
4.根据权利要求1所述的方法，其特征在于，所述WiFi连接信息包括所述待测用户最近一个月工作日和非工作日的线下轨迹以及非公共场合的WiFi名称。
5.根据权利要求1所述的方法，其特征在于，所述APP使用时间包括打开时间和关闭时间。
6.根据权利要求1所述的方法，其特征在于，所述设备信息包括手机品牌、型号、操作系统和运营商。
7.根据权利要求1所述的方法，其特征在于，所述相似度分类模型为二分类LightGBM模型。
8.一种计算用户相似度的系统，其特征在于，包括：
第一获取单元，用于获取待测用户数据对；
第二获取单元，用于对待测用户数据对进行特征提取，获取所述待测用户数据对中每组待测用户数据的待测用户特征，所述待测用户特征包括最近一个月待测用户媒体APP所关联的网络IP信息、WiFi连接信息、APP使用时间和用户设备信息；
计算单元，用于根据所述待测用户特征和预先训练好的相似度分类模型，计算所述待测用户数据对中的两组待测用户数据对应的用户之间的相似度。
9.根据权利要求8所述的系统，其特征在于，所述系统还包括：
第三获取单元，用于获取多个训练用户数据对，所述多个训练用户数据对包括正样本数据对和负样本数据对，所述正样本数据对和负样本数据对的比例为1:1；
第四获取单元，用于对所述多个用户数据对中的每个用户数据对进行特征提取，获取每个用户数据对中每组用户数据的用户特征，得到正样本特征和负样本特征，所述用户特征包括最近一个月用户媒体APP所关联的网络IP信息、WiFi连接信息、APP使用时间和用户设备信息；
样本确定单元，用于确定将所述正样本特征和负样本特征作为用于训练相似度分类模型的样本数据；
训练单元，用于利用所述样本数据对所述相似度分类模型进行训练，得到训练好的相似度分类模型。
10.一种计算用户相似度的装置，其特征在于，包括：
处理器、存储器、输入输出单元、总线；
所述处理器与所述存储器、所述输入输出单元以及所述总线相连；
所述处理器具体执行如下操作：
获取待测用户数据对；
对待测用户数据对进行特征提取，获取所述待测用户数据对中每组待测用户数据的待测用户特征，所述用户特征包括最近一个月待测用户媒体APP所关联的网络IP信息、WiFi连接信息、APP使用时间和用户设备信息；
根据所述待测用户特征和预先训练好的相似度分类模型，计算所述待测用户数据对中的两组待测用户数据对应的用户之间的相似度。
CN202011280928.1A 2020-11-16 2020-11-16 一种计算用户相似度的方法、系统及装置 Active CN112269937B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011280928.1A CN112269937B (zh) 2020-11-16 2020-11-16 一种计算用户相似度的方法、系统及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011280928.1A CN112269937B (zh) 2020-11-16 2020-11-16 一种计算用户相似度的方法、系统及装置

Publications (2)

Publication Number Publication Date
CN112269937A true CN112269937A (zh) 2021-01-26
CN112269937B CN112269937B (zh) 2024-02-02

Family

ID=74340073

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011280928.1A Active CN112269937B (zh) 2020-11-16 2020-11-16 一种计算用户相似度的方法、系统及装置

Country Status (1)

Country Link
CN (1) CN112269937B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112990989A (zh) * 2021-05-17 2021-06-18 太平金融科技服务(上海)有限公司深圳分公司 价值预测模型输入数据生成方法、装置、设备和介质
CN114331696A (zh) * 2021-12-31 2022-04-12 北京瑞莱智慧科技有限公司 风险评估方法、装置及存储介质

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017101506A1 (zh) * 2015-12-14 2017-06-22 乐视控股（北京）有限公司 信息处理方法及装置
CN107346496A (zh) * 2016-05-05 2017-11-14 腾讯科技（北京）有限公司 目标用户定向方法及装置
CN107463628A (zh) * 2017-07-12 2017-12-12 北京京东尚科信息技术有限公司 数据填充方法及其系统
CN107609461A (zh) * 2017-07-19 2018-01-19 阿里巴巴集团控股有限公司 模型的训练方法、数据相似度的确定方法、装置及设备
CN108596815A (zh) * 2018-04-08 2018-09-28 深圳市和讯华谷信息技术有限公司 基于移动终端的用户行为相似度识别方法、系统及装置
CN108665311A (zh) * 2018-05-08 2018-10-16 湖南大学 一种基于深度神经网络的电商用户时变特征相似性计算推荐方法
CN108734327A (zh) * 2017-04-20 2018-11-02 腾讯科技（深圳）有限公司 一种数据处理方法、装置及服务器
US20190102453A1 (en) * 2017-10-02 2019-04-04 Kabushiki Kaisha Toshiba Information processing device, information processing method, and computer program product
CN109800325A (zh) * 2018-12-26 2019-05-24 北京达佳互联信息技术有限公司 视频推荐方法、装置和计算机可读存储介质
CN109951289A (zh) * 2019-01-25 2019-06-28 北京三快在线科技有限公司 一种识别方法、装置、设备及可读存储介质
CN110097066A (zh) * 2018-01-31 2019-08-06 阿里巴巴集团控股有限公司 一种用户分类方法、装置及电子设备
CN110213325A (zh) * 2019-04-02 2019-09-06 腾讯科技（深圳）有限公司 数据处理方法以及数据推送方法
CN110335139A (zh) * 2019-06-21 2019-10-15 深圳前海微众银行股份有限公司 基于相似度的评估方法、装置、设备及可读存储介质
CN110852767A (zh) * 2018-08-20 2020-02-28 Tcl集团股份有限公司 客流量聚类方法及终端设备
CN110875856A (zh) * 2018-08-31 2020-03-10 北京京东尚科信息技术有限公司 激活数据异常检测与分析的方法和装置
CN111124860A (zh) * 2019-12-16 2020-05-08 电子科技大学 一种在不可控环境下使用键盘和鼠标数据识别用户的方法
CN111291867A (zh) * 2020-02-17 2020-06-16 北京明略软件系统有限公司 数据预测模型生成方法、装置及数据预测方法、装置
CN111339829A (zh) * 2020-01-19 2020-06-26 海通证券股份有限公司 用户身份鉴定方法、装置、计算机设备和存储介质
CN111866023A (zh) * 2020-08-04 2020-10-30 深圳供电局有限公司 一种异常用户行为审计方法和装置

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017101506A1 (zh) * 2015-12-14 2017-06-22 乐视控股（北京）有限公司 信息处理方法及装置
CN107346496A (zh) * 2016-05-05 2017-11-14 腾讯科技（北京）有限公司 目标用户定向方法及装置
CN108734327A (zh) * 2017-04-20 2018-11-02 腾讯科技（深圳）有限公司 一种数据处理方法、装置及服务器
CN107463628A (zh) * 2017-07-12 2017-12-12 北京京东尚科信息技术有限公司 数据填充方法及其系统
CN107609461A (zh) * 2017-07-19 2018-01-19 阿里巴巴集团控股有限公司 模型的训练方法、数据相似度的确定方法、装置及设备
US20190102453A1 (en) * 2017-10-02 2019-04-04 Kabushiki Kaisha Toshiba Information processing device, information processing method, and computer program product
CN110097066A (zh) * 2018-01-31 2019-08-06 阿里巴巴集团控股有限公司 一种用户分类方法、装置及电子设备
CN108596815A (zh) * 2018-04-08 2018-09-28 深圳市和讯华谷信息技术有限公司 基于移动终端的用户行为相似度识别方法、系统及装置
CN108665311A (zh) * 2018-05-08 2018-10-16 湖南大学 一种基于深度神经网络的电商用户时变特征相似性计算推荐方法
CN110852767A (zh) * 2018-08-20 2020-02-28 Tcl集团股份有限公司 客流量聚类方法及终端设备
CN110875856A (zh) * 2018-08-31 2020-03-10 北京京东尚科信息技术有限公司 激活数据异常检测与分析的方法和装置
CN109800325A (zh) * 2018-12-26 2019-05-24 北京达佳互联信息技术有限公司 视频推荐方法、装置和计算机可读存储介质
CN109951289A (zh) * 2019-01-25 2019-06-28 北京三快在线科技有限公司 一种识别方法、装置、设备及可读存储介质
CN110213325A (zh) * 2019-04-02 2019-09-06 腾讯科技（深圳）有限公司 数据处理方法以及数据推送方法
CN110335139A (zh) * 2019-06-21 2019-10-15 深圳前海微众银行股份有限公司 基于相似度的评估方法、装置、设备及可读存储介质
CN111124860A (zh) * 2019-12-16 2020-05-08 电子科技大学 一种在不可控环境下使用键盘和鼠标数据识别用户的方法
CN111339829A (zh) * 2020-01-19 2020-06-26 海通证券股份有限公司 用户身份鉴定方法、装置、计算机设备和存储介质
CN111291867A (zh) * 2020-02-17 2020-06-16 北京明略软件系统有限公司 数据预测模型生成方法、装置及数据预测方法、装置
CN111866023A (zh) * 2020-08-04 2020-10-30 深圳供电局有限公司 一种异常用户行为审计方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
汤颖;钟南江;范菁;: "一种结合用户评分信息的改进好友推荐算法", 计算机科学, no. 09, pages 117 - 121 *
王嘉春: "基于用户签到行为的兴趣点推荐方法研究", 中国优秀硕士学位论文全文数据库 信息科技辑, no. 10, pages 138 - 986 *
黎万英;黄瑞章;丁志远;陈艳平;徐立洋;: "基于用户行为特征的多维度文本聚类", 计算机应用, no. 11, pages 81 - 85 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112990989A (zh) * 2021-05-17 2021-06-18 太平金融科技服务(上海)有限公司深圳分公司 价值预测模型输入数据生成方法、装置、设备和介质
CN112990989B (zh) * 2021-05-17 2021-07-30 太平金融科技服务(上海)有限公司深圳分公司 价值预测模型输入数据生成方法、装置、设备和介质
CN114331696A (zh) * 2021-12-31 2022-04-12 北京瑞莱智慧科技有限公司 风险评估方法、装置及存储介质

Also Published As

Publication number Publication date
CN112269937B (zh) 2024-02-02

Similar Documents

Publication Publication Date Title
CN108229262B (zh) 一种色情视频检测方法及装置
CN110674144A (zh) 用户画像生成方法、装置、计算机设备和存储介质
CN111078742B (zh) 用户分类模型训练方法、用户分类方法及装置
CN112269937A (zh) 一种计算用户相似度的方法、系统及装置
CN111931809A (zh) 数据的处理方法、装置、存储介质及电子设备
CN111090807A (zh) 一种基于知识图谱的用户识别方法及装置
CN111353103B (zh) 用于确定用户社群信息的方法和装置
CN114638633A (zh) 异常流量检测的方法和装置、电子设备和存储介质
CN108076032B (zh) 一种异常行为用户识别方法及装置
CN110688319B (zh) 应用保活能力测试方法及相关装置
CN114223012A (zh) 推送对象确定方法、装置、终端设备及存储介质
CN113556368A (zh) 用户识别方法、装置、服务器及存储介质
CN113011966A (zh) 基于深度学习的信用评分方法及装置
CN111915378A (zh) 用户属性预测方法、装置、计算机设备及存储介质
CN110198299B (zh) 一种入侵检测方法和装置
CN111340062A (zh) 一种映射关系确定方法及装置
CN114048294B (zh) 相似人群扩展模型训练方法、相似人群扩展方法和装置
CN111368858A (zh) 用户满意度评估方法及装置
CN112214675B (zh) 用户购机的确定方法、装置、设备及计算机存储介质
CN111723872B (zh) 行人属性识别方法及装置、存储介质、电子装置
CN115423031A (zh) 一种模型训练的方法以及相关装置
CN114943273A (zh) 数据处理方法、存储介质以及计算机终端
CN110232393B (zh) 数据的处理方法、装置、存储介质和电子装置
CN115082071A (zh) 一种异常交易账户的识别方法、装置及存储介质
CN114282531B (zh) 一种题目检测方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant