CN107391760A - 用户兴趣识别方法、装置及计算机可读存储介质 - Google Patents

用户兴趣识别方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN107391760A
CN107391760A CN201710749088.0A CN201710749088A CN107391760A CN 107391760 A CN107391760 A CN 107391760A CN 201710749088 A CN201710749088 A CN 201710749088A CN 107391760 A CN107391760 A CN 107391760A
Authority
CN
China
Prior art keywords
text data
mrow
msub
topic
regression models
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710749088.0A
Other languages
English (en)
Other versions
CN107391760B (zh
Inventor
王健宗
黄章成
吴天博
肖京
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201710749088.0A priority Critical patent/CN107391760B/zh
Priority to PCT/CN2017/103944 priority patent/WO2019037195A1/zh
Priority to US16/318,818 priority patent/US10977447B2/en
Priority to JP2018559983A priority patent/JP6799081B2/ja
Priority to SG11201902986QA priority patent/SG11201902986QA/en
Publication of CN107391760A publication Critical patent/CN107391760A/zh
Application granted granted Critical
Publication of CN107391760B publication Critical patent/CN107391760B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35Clustering; Classification
    • G06F16/355Class or cluster creation or modification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/04Inference or reasoning models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00Computing arrangements based on specific mathematical models
    • G06N7/01Probabilistic graphical models, e.g. probabilistic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201Market modelling; Market analysis; Collecting market data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Computational Linguistics (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Medical Informatics (AREA)
  • Marketing (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种用户兴趣识别方法,该方法包括:获取训练样本和测试样本,其中训练样本为根据文本数据训练出对应话题模型后经人工标注获得的;利用第一预设算法提取训练样本和测试样本的特征,并根据训练样本的特征通过迭代算法计算逻辑回归模型的最优模型参数;根据测试样本的特征和ROC曲线下面积AUC对含最优模型参数的逻辑回归模型进行评价,训练出第一主题分类器;利用第一主题分类器确定文本数据所属主题,根据含最优模型参数的逻辑回归模型计算文本数据所属主题的得分,并根据第二预设算法计算用户对所述主题感兴趣的信心分。本发明还公开了一种用户兴趣识别装置及计算机可读存储介质,可识别用户兴趣,帮助企业准确定位潜在客户。

Description

用户兴趣识别方法、装置及计算机可读存储介质
技术领域
本发明涉及数据处理领域,尤其涉及一种用户兴趣识别方法、装置及计算机可读存储介质。
背景技术
近年来,随着互联网的快速发展,尤其是社会化媒体的异军突起,人们越来越体会到其对自身和信息传播环境的各种影响。以往人们一直是被动的从互联网上获取信息,但是现在越来越多的人主动地参与社会化媒体上信息的产生与传播,随之产生了海量的用户信息和社交关系信息。
然而,目前很多企业的内部数据中通常以交易记录为主,所包含的客户信息不够全面,无法准确定位潜在客户,了解用户需求。因此,如何通过互联网数据信息识别用户兴趣,全方面了解用户,从而帮助企业准确定位潜在客户已成为目前亟待解决的问题。
发明内容
本发明的主要目的在于提供一种用户兴趣识别方法、装置及计算机可读存储介质,旨在通过互联网的数据信息识别用户兴趣,全方面了解用户,帮助企业快速准确地定位潜在客户,从而提高营销效率。
为实现上述目的,本发明提供一种用户兴趣识别方法,所述用户兴趣识别方法包括以下步骤:
获取训练样本和测试样本,其中,所述训练样本为根据文本数据训练出对应的话题模型后经过人工标注获得的;
利用第一预设算法分别提取所述训练样本和所述测试样本的特征,并根据所述训练样本的特征,通过迭代算法计算出逻辑回归模型的最优模型参数,训练出含最优模型参数的逻辑回归模型;
根据所述测试样本的特征和所述含最优模型参数的逻辑回归模型绘制受试者工作特征ROC曲线,并根据ROC曲线下面积AUC对所述含最优模型参数的逻辑回归模型进行评价,训练出第一主题分类器;
利用所述第一主题分类器对所述文本数据进行分类,确定所述文本数据所属的主题,并根据所述含最优模型参数的逻辑回归模型计算所述文本数据所属主题的得分;
根据所述得分和第二预设算法计算撰写所述文本数据的用户对所述主题感兴趣的信心分,根据所述信心分识别所述用户的兴趣。
可选地,所述根据所述得分和第二预设算法计算撰写所述文本数据的用户对所述主题感兴趣的信心分,根据所述信心分识别所述用户的兴趣,包括:
根据所述得分和第三预设算法计算所述文本数据所属主题的平均得分;
根据所述平均得分和第二预设算法计算撰写所述文本数据的用户对所述主题感兴趣的信心分,根据所述信心分识别所述用户的兴趣;
其中,所述第三预设算法的计算公式为:
其中,Avg(ui,topicj)为用户ui在主题topicj上的平均得分,s(ui,tweetm,topicj)为用户ui的文本数据tweetm分类之后属于主题topicj的得分,n为用户ui的文本数据信息tweetm中关于主题topicj的总数量。
可选地,所述第二预设算法的计算公式为:
其中,TNj为所有用户对主题topicj感兴趣的文本数,xj0为TNj的中位数,TNij为用户ui发表的关于主题topicj的微博数,s(ui,topicj,TNij)为用户ui对所述主题topicj感兴趣的信心分。
可选地,所述获取训练样本和测试样本,其中,所述训练样本为根据文本数据训练出对应的话题模型后经过人工标注获得的,包括:
采集文本数据,并对所述文本数据进行预处理,获得对应的第一关键词集;
根据所述第一关键词集和预设数量的话题,利用预设主题模型计算得到所述文本数据在所述话题上的分布,并根据所述文本数据在所述话题上的分布情况进行聚类,训练出所述文本数据对应的话题模型;
根据基于所述话题模型对所述文本数据的人工标注结果,从所述文本数据中筛选出与目标主题分类器对应的训练样本,并将除所述训练样本之外的文本数据作为测试样本。
可选地,所述利用第一预设算法分别提取所述训练样本和所述测试样本的特征,并根据所述训练样本的特征,通过迭代算法计算出逻辑回归模型的最优模型参数,训练出含最优模型参数的逻辑回归模型,包括:
利用第一预设算法分别提取所述训练样本和所述测试样本的特征,对应建立第一哈希散列表和第二哈希散列表;
将所述第一哈希散列表代入逻辑回归模型,并通过迭代算法计算出逻辑回归模型的最优模型参数,训练出含最优模型参数的逻辑回归模型。
可选地,所述根据所述测试样本的特征和所述含最优模型参数的逻辑回归模型绘制受试者工作特征ROC曲线,并根据ROC曲线下面积AUC对所述含最优模型参数的逻辑回归模型进行评价,训练出第一主题分类器,包括:
将所述第二哈希散列表代入所述含最优模型参数的逻辑回归模型,得到真阳性TP,真阴性TN,伪阴性FN和伪阳性FP;
根据所述TP,TN,FN和FP绘制ROC曲线;
计算ROC曲线下面积AUC,根据AUC值对所述含最优模型参数的逻辑回归模型进行评价;
当所述AUC值小于或等于预设AUC阈值时,则判定所述含最优模型参数的逻辑回归模型不符合要求,并返回步骤:通过迭代算法计算出逻辑回归模型的最优模型参数,训练出含最优模型参数的逻辑回归模型;
当所述AUC值大于所述预设AUC阈值时,则判定所述含最优模型参数的逻辑回归模型符合要求,训练出第一主题分类器;
其中,所述根据所述TP,TN,FN和FP绘制ROC曲线,包括:
根据所述TP,TN,FN和FP计算出伪阳性率FPR和真阳性率TPR,对应的计算公式分别为FPR=FP/(FP+TN),TPR=TP/(TP+FN);
以所述FPR为横坐标,所述TPR为纵坐标,绘制ROC曲线。
可选地,所述根据所述测试样本的特征和所述含最优模型参数的逻辑回归模型绘制受试者工作特征ROC曲线,并根据ROC曲线下面积AUC对所述含最优模型参数的逻辑回归模型进行评价,训练出第一主题分类器的步骤之后,包括:
将所述第二哈希散列表代入所述第一主题分类器,得到所述测试样本属于对应话题的概率;
调整所述预设AUC阈值,并根据所述TP,FP和FN计算准确率p和召回率r;
当所述p小于或等于预设p阈值,或所述r小于或等于预设r阈值时,则返回步骤:调整所述预设AUC阈值,直至所述p大于所述预设p阈值,且所述r大于所述预设r阈值时,训练出第二主题分类器;
利用所述第一主题分类器对所述文本数据进行分类,确定所述文本数据所属的主题的步骤包括:
利用所述第二主题分类器对所述文本数据进行分类,确定所述文本数据所属的主题。
可选地,所述采集文本数据,并对所述文本数据进行预处理,获得对应的第一关键词集,包括:
采集文本数据,并对所述文本数据进行分词;
根据预设停用词表去除分词后的文本数据中的停用词,得到第二关键词集;
计算所述第二关键词集中各关键词的词频TF和逆向文件频率IDF;
根据所述TF和IDF计算所述第二关键词集中各关键词的词频-逆向文件频率TF-IDF值,并去除TF-IDF值低于预设TF-IDF阈值的关键词,得到对应的第一关键词集。
此外,为实现上述目的,本发明还提供一种用户兴趣识别装置,所述用户兴趣识别装置包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的用户兴趣识别程序,所述用户兴趣识别程序被所述处理器执行时实现上述的用户兴趣识别方法的步骤。
此外,为实现上述目的,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有用户兴趣识别程序,所述用户兴趣识别程序被处理器执行时实现上述的兴趣识别方法的步骤。
本发明通过获取训练样本和测试样本,其中训练样本为根据文本数据训练出对应话题模型后经人工标注获得的;利用第一预设算法提取训练样本和测试样本的特征,并根据训练样本的特征通过迭代算法计算逻辑回归模型的最优模型参数;根据测试样本的特征和ROC曲线下面积AUC对含最优模型参数的逻辑回归模型进行评价,训练出第一主题分类器;利用第一主题分类器对文本数据进行分类,确定文本数据所属的主题,并根据含最优模型参数的逻辑回归模型计算所述文本数据所属主题的得分;根据所述得分和第二预设算法计算撰写所述文本数据的用户对所述主题感兴趣的信心分,根据所述信心分识别所述用户的兴趣。通过上述方式,本发明利用第一预设算法对训练样本和测试样本进行特征提取,缩短了特征提取和模型训练的时间,提高了分类效率。本发明采用人工标注的方式筛选训练样本,并采用ROC曲线下面积AUC对所述含最优模型参数的逻辑回归模型进行评价训练出主题分类器,可提高主题分类的准确率,同时,本发明利用了含最优模型参数的逻辑回归模型和第二预设算法,可提高信心分计算的准确性,从而根据计算得到的用户对所述主题感兴趣的信心分识别出用户兴趣,帮助企业全方面了解用户,从而快速准确地定位潜在客户,提高营销效率。
附图说明
图1为本发明实施例方案涉及的用户兴趣识别装置结构示意图;
图2为本发明用户兴趣识别方法第一实施例的流程示意图;
图3为本发明实施例中利用第一预设算法分别提取所述训练样本和所述测试样本的特征,并根据所述训练样本的特征,通过迭代算法计算出逻辑回归模型的最优模型参数,训练出含最优模型参数的逻辑回归模型的细化流程示意图;
图4为本发明实施例中根据所述得分和第二预设算法计算撰写所述文本数据的用户对所述主题感兴趣的信心分,根据所述信心分识别所述用户的兴趣的细化流程示意图;
图5为本发明实施例中获取训练样本和测试样本,其中,所述训练样本为根据文本数据训练出对应的话题模型后经过人工标注获得的的细化流程示意图;
图6为本发明实施例中根据所述测试样本的特征和所述含最优模型参数的逻辑回归模型绘制受试者工作特征ROC曲线,并根据ROC曲线下面积AUC对所述含最优模型参数的逻辑回归模型进行评价,训练出第一主题分类器的细化流程示意图;
图7为本发明用户兴趣识别方法第二实施例的流程示意图;
图8为本发明实施例中采集文本数据,并对所述文本数据进行预处理,获得对应的第一关键词集的细化流程示意图;
图9为本发明实施例中计算所述第二关键词集中各关键词的词频-逆向文件频率TF-IDF值,并去除TF-IDF值低于预设TF-IDF阈值的关键词,得到对应的第一关键词集的细化流程示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
由于现有分类技术的分类效率和准确率较低,导致用户面对海量的信息资源时,难以准确快捷地获取自身所需的相关主题信息。
为了解决上述技术问题,本发明提供一种用户兴趣识别方法,通过获取训练样本和测试样本,其中训练样本为根据文本数据训练出对应话题模型后经人工标注获得的;利用第一预设算法提取训练样本和测试样本的特征,并根据训练样本的特征通过迭代算法计算逻辑回归模型的最优模型参数;根据测试样本的特征和ROC曲线下面积AUC对含最优模型参数的逻辑回归模型进行评价,训练出第一主题分类器;利用第一主题分类器对文本数据进行分类,确定文本数据所属的主题,并根据含最优模型参数的逻辑回归模型计算所述文本数据所属主题的得分;根据所述得分和第二预设算法计算撰写所述文本数据的用户对所述主题感兴趣的信心分,根据所述信心分识别所述用户的兴趣。通过上述方式,本发明利用第一预设算法对训练样本和测试样本进行特征提取,缩短了特征提取和模型训练的时间,提高了分类效率。本发明采用人工标注的方式筛选训练样本,并采用ROC曲线下面积AUC对所述含最优模型参数的逻辑回归模型进行评价训练出主题分类器,可提高主题分类的准确率,同时,本发明利用了含最优模型参数的逻辑回归模型和第二预设算法,可提高信心分计算的准确性,根据计算得到的用户对所述主题感兴趣的信心分识别出用户兴趣,帮助企业全方面了解用户,从而快速准确地定位潜在客户,提高营销效率。
请参阅图1,为本发明实施例方案涉及的用户兴趣识别装置结构示意图。
本发明实施例终端可以是PC,也可以是智能手机、平板电脑、便携计算机等具有显示功能的终端设备。
如图1所示,该终端可以包括:处理器1001,例如CPU,网络接口1004,用户接口1003,存储器1005,通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地,终端还可以包括摄像头、RF(Radio Frequency,射频)电路,传感器、音频电路、Wi-Fi模块等等。其中,传感器比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示屏的亮度,接近传感器可在移动终端移动到耳边时,关闭显示屏和/或背光。作为运动传感器的一种,重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别移动终端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;当然,移动终端还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
本领域技术人员可以理解,图1中示出的终端结构并不构成对终端的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种计算机可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及用户兴趣识别程序。
在图1所示的终端中,网络接口1004主要用于连接后台服务器,与后台服务器进行数据通信;用户接口1003主要用于连接客户端(用户端),与客户端进行数据通信;而处理器1001可以用于调用存储器1005中存储的用户兴趣识别程序,以实现以下步骤:
获取训练样本和测试样本,其中,所述训练样本为根据文本数据训练出对应的话题模型后经过人工标注获得的;
利用第一预设算法分别提取所述训练样本和所述测试样本的特征,并根据所述训练样本的特征,通过迭代算法计算出逻辑回归模型的最优模型参数,训练出含最优模型参数的逻辑回归模型;
根据所述测试样本的特征和所述含最优模型参数的逻辑回归模型绘制受试者工作特征ROC曲线,并根据ROC曲线下面积AUC对所述含最优模型参数的逻辑回归模型进行评价,训练出第一主题分类器;
利用所述第一主题分类器对所述文本数据进行分类,确定所述文本数据所属的主题,并根据所述含最优模型参数的逻辑回归模型计算所述文本数据所属主题的得分;
根据所述得分和第二预设算法计算撰写所述文本数据的用户对所述主题感兴趣的信心分,根据所述信心分识别所述用户的兴趣。
进一步地,处理器1001可以调用存储器1005中存储的用户兴趣识别程序,以实现以下步骤:
根据所述得分和第三预设算法计算所述文本数据所属主题的平均得分;
根据所述平均得分和第二预设算法计算撰写所述文本数据的用户对所述主题感兴趣的信心分,根据所述信心分识别所述用户的兴趣。
进一步地,处理器1001可以调用存储器1005中存储的用户兴趣识别程序,以实现以下步骤:
所述第三预设算法的计算公式为:
其中,Avg(ui,topicj)为用户ui在主题topicj上的平均得分,s(ui,tweetm,topicj)为用户ui的文本数据tweetm分类之后属于主题topicj的得分,n为用户ui的文本数据信息tweetm中关于主题topicj的总数量。
进一步地,处理器1001可以调用存储器1005中存储的用户兴趣识别程序,以实现以下步骤:
所述第二预设算法的计算公式为:
其中,TNj为所有用户对主题topicj感兴趣的文本数,xj0为TNj的中位数,TNij为用户ui发表的关于主题topicj的微博数,s(ui,topicj,TNij)为用户ui对所述主题topicj感兴趣的信心分。
进一步地,处理器1001可以调用存储器1005中存储的用户兴趣识别程序,以实现以下步骤:
采集文本数据,并对所述文本数据进行预处理,获得对应的第一关键词集;
根据所述第一关键词集和预设数量的话题,利用预设主题模型计算得到所述文本数据在所述话题上的分布,并根据所述文本数据在所述话题上的分布情况进行聚类,训练出所述文本数据对应的话题模型;
根据基于所述话题模型对所述文本数据的人工标注结果,从所述文本数据中筛选出与目标主题分类器对应的训练样本,并将除所述训练样本之外的文本数据作为测试样本。
进一步地,处理器1001可以调用存储器1005中存储的用户兴趣识别程序,以实现以下步骤:
利用第一预设算法分别提取所述训练样本和所述测试样本的特征,对应建立第一哈希散列表和第二哈希散列表;
将所述第一哈希散列表代入逻辑回归模型,并通过迭代算法计算出逻辑回归模型的最优模型参数,训练出含最优模型参数的逻辑回归模型。
进一步地,处理器1001可以调用存储器1005中存储的用户兴趣识别程序,以实现以下步骤:
将所述第二哈希散列表代入所述含最优模型参数的逻辑回归模型,得到真阳性TP,真阴性TN,伪阴性FN和伪阳性FP;
根据所述TP,TN,FN和FP绘制ROC曲线;
计算ROC曲线下面积AUC,根据AUC值对所述含最优模型参数的逻辑回归模型进行评价;
当所述AUC值小于或等于预设AUC阈值时,则判定所述含最优模型参数的逻辑回归模型不符合要求,并返回步骤:通过迭代算法计算出逻辑回归模型的最优模型参数,训练出含最优模型参数的逻辑回归模型;
当所述AUC值大于所述预设AUC阈值时,则判定所述含最优模型参数的逻辑回归模型符合要求,训练出第一主题分类器。
进一步地,处理器1001可以调用存储器1005中存储的用户兴趣识别程序,以实现以下步骤:
根据所述TP,TN,FN和FP计算出伪阳性率FPR和真阳性率TPR,对应的计算公式分别为FPR=FP/(FP+TN),TPR=TP/(TP+FN);
以所述FPR为横坐标,所述TPR为纵坐标,绘制ROC曲线。
进一步地,处理器1001可以调用存储器1005中存储的用户兴趣识别程序,以实现以下步骤:
将所述第二哈希散列表代入所述第一主题分类器,得到所述测试样本属于对应话题的概率;
调整所述预设AUC阈值,并根据所述TP,FP和FN计算准确率p和召回率r;
当所述p小于或等于预设p阈值,或所述r小于或等于预设r阈值时,则返回步骤:调整所述预设AUC阈值,直至所述p大于所述预设p阈值,且所述r大于所述预设r阈值时,训练出第二主题分类器;
利用所述第一主题分类器对所述文本数据进行分类,确定所述文本数据所属的主题的步骤包括:
利用所述第二主题分类器对所述文本数据进行分类,确定所述文本数据所属的主题。
进一步地,处理器1001可以调用存储器1005中存储的用户兴趣识别程序,以实现以下步骤:
采集文本数据,并对所述文本数据进行分词;
根据预设停用词表去除分词后的文本数据中的停用词,得到第二关键词集;
计算所述第二关键词集中各关键词的词频-逆向文件频率TF-IDF值,并去除TF-IDF值低于预设TF-IDF阈值的关键词,得到对应的第一关键词集。
进一步地,处理器1001可以调用存储器1005中存储的用户兴趣识别程序,以实现以下步骤:
计算所述第二关键词集中各关键词的词频TF和逆向文件频率IDF;
根据所述TF和IDF计算所述第二关键词集中各关键词的词频-逆向文件频率TF-IDF值,并去除TF-IDF值低于预设TF-IDF阈值的关键词,得到对应的第一关键词集。
请参阅图2,为本发明用户兴趣识别方法第一实施例的流程示意图。
在本发明实施例中,所述用户兴趣识别方法包括:
步骤S100,获取训练样本和测试样本,其中,所述训练样本为根据文本数据训练出对应的话题模型后经过人工标注获得的;
在本实施例中,获取训练主题分类器所需的训练样本和测试样本,其中,训练样本为根据文本数据训练处对应的话题模型后经过人工标注获得的,用于优化模型的参数,而测试样本为除训练样本之外的文本数据,用于对建立的模型进行性能评价。在具体实施例中,训练样本和测试样本的获得还可以通过程序直接从互联网中查找到的微博进行抽样,例如数学软件Matlab的Svmtrain函数。
步骤S200,利用第一预设算法分别提取所述训练样本和所述测试样本的特征,并根据所述训练样本的特征,通过迭代算法计算出逻辑回归模型的最优模型参数,训练出含最优模型参数的逻辑回归模型;
具体地,请参阅图3,图3为本发明实施例中利用第一预设算法分别提取所述训练样本和所述测试样本的特征,并根据所述训练样本的特征,通过迭代算法计算出逻辑回归模型的最优模型参数,训练出含最优模型参数的逻辑回归模型的细化流程示意图,步骤S200包括:
步骤S210,利用第一预设算法分别提取所述训练样本和所述测试样本的特征,对应建立第一哈希散列表和第二哈希散列表;
在本实施例中,利用第一预设算法分别提取训练样本和测试样本的特征,在本实施例中,采用二进制哈希散列表的字节4元语法Byte 4-gram算法分别提取所述训练样本和测试样本的特征,把每一个训练样本或测试样本对应地表示为一个由一组特征组成的特征向量。该方法抽取每一训练样本或测试样本数据中所有连续的4个字节为键(key),将字符串转换成字符串的UTF-8编码所对应的byte数组,值为32bit的整数。进一步地,通过除留余数法构造出哈希函数,并分别对应建立第一哈希散列表和第二哈希散列表。其中,需要说明的是,对于散列表长为m的散列函数公式为:f(key)=key mod p,(p≤m)。其中,mod表示求余数。在具体实施方式中,为例减小冲突的发生,避免哈希散列表分布过于稀疏,p通常取小于散列表长的最大素数。
步骤S220,将所述第一哈希散列表代入逻辑回归模型,并通过迭代算法计算出逻辑回归模型的最优模型参数,训练出含最优模型参数的逻辑回归模型。
进一步地,将所述第一哈希散列表代入逻辑回归模型,并通过优化方法迭代计算出最优的模型参数,训练出逻辑回归模型,其中逻辑回归模型用于估计某种事物的可能性,或者说判断一个样本属于某种类别的概率是多少。逻辑回归模型为:
其中,xj表示第j个训练样本的特征向量,x(i)表示第i次取样,θ表示模型参数。
此外,还需说明的是迭代算法包括梯度下降,共轭梯度法和拟牛顿法等。在具体实施例中,可以通过上述任一迭代算法计算出逻辑回归模型的最优模型参数,训练出含最优模型参数的逻辑回归模型。当然,在具体实施例中,还可以采用其他方法分别提取训练样本和测试样本的特征,例如向量空间模型VSM、信息增益方法、期望交叉熵等。
步骤S300,根据所述测试样本的特征和所述含最优模型参数的逻辑回归模型绘制受试者工作特征ROC曲线,并根据ROC曲线下面积AUC对所述含最优模型参数的逻辑回归模型进行评价,训练出第一主题分类器;
在本实施例中,将根据测试样本建立的第二哈希散列表代入所述含最优模型参数的逻辑回归模型,从而得到真阳性TP,真阴性TN,伪阴性FN和伪阳性FP,其中TP是利用逻辑回归模型对训练样本中正类进行判断后属于仍是正类的数目,TN利用逻辑回归模型对训练样本中负类进行判断后属于仍是负类的数目,FN利用逻辑回归模型对训练样本中负类进行判断后属于是正类的数目和FP利用逻辑回归模型对训练样本中正类进行判断后属于是负类的数目,正类和负类是指人工对训练样本标注的两种类别,即人工标注某个样本属于特定的类,则该样本属于正类,不属于该特定类的样本则属于负类。并根据所述TP,TN,FN和FP计算出伪阳性率FPR和真阳性率TPR,以FPR为横坐标,TPR为纵坐标,绘制出ROC曲线,ROC曲线是获得的各指标的特征曲线,用于展示各指标之间的关系,并进一步计算出ROC曲线下面积AUC,ROC曲线是获得的各指标的特征曲线,用于展示各指标之间的关系,AUC即ROC曲线下面积,AUC越大越好,提示该试验的诊断价值越高,对所述含最优模型参数的逻辑回归模型进行评价,当所述AUC值小于或等于预设AUC阈值时,则判定所述含最优模型参数的逻辑回归模型不符合要求,并返回步骤:通过迭代算法计算出逻辑回归模型的最优模型参数,训练出含最优模型参数的逻辑回归模型,直至所述AUC值大于所述预设AUC阈值时,则判定所述含最优模型参数的逻辑回归模型符合要求,训练出第一主题分类器。
步骤S400,利用所述第一主题分类器对所述文本数据进行分类,确定所述文本数据所属的主题,并根据所述含最优模型参数的逻辑回归模型计算所述文本数据所属主题的得分;
步骤S500,根据所述得分和第二预设算法计算撰写所述文本数据的用户对所述主题感兴趣的信心分,根据所述信心分识别所述用户的兴趣。
具体地,请参阅图4,图4为本发明实施例中根据所述得分和第二预设算法计算撰写所述文本数据的用户对所述主题感兴趣的信心分,根据所述信心分识别所述用户的兴趣的细化流程示意图,步骤S500包括:
步骤S510,根据所述得分和第三预设算法计算所述文本数据所属主题的平均得分;
步骤S520,根据所述平均得分和第二预设算法计算撰写所述文本数据的用户对所述主题感兴趣的信心分,根据所述信心分识别所述用户的兴趣。
在本实施例中,利用训练出的第一主题分类器对文本数据进行分类,确定所述文本数据所属的主题,从中挑选出目标主题所对应的文本数据,并根据所述含最优模型参数的逻辑回归模型计算所述目标主题所对应的文本数据在所属目标主题上的得分,并根据该得分和第三预设算法计算所述目标主题所对应的文本数据所属主题的平均得分,第三预设算法的计算公式如下:
其中,Avg(ui,topicj)为用户ui在主题topicj上的平均得分,s(ui,tweetm,topicj)为用户ui的文本数据tweetm分类之后属于主题topicj的得分,n为用户ui的文本数据信息tweetm中关于主题topicj的总数量。
进一步地,根据所述平均得分和第二预设算法计算撰写所述文本数据的用户对所述主题感兴趣的信心分,第二预设算法的计算公式如下:
其中,TNj为所有用户对主题topicj感兴趣的文本数,xj0为TNj的中位数,TNij为用户ui发表的关于主题topicj的微博数,s(ui,topicj,TNij)为用户ui对所述主题topicj感兴趣的信心分。
进一步地,根据计算得到的信心分识别所述用户的兴趣。例如,根据第一主题分类器确定出用户的微博文本数据属于金融类话题,而且计算出的信心分大于预设信心分阈值,则说明该用户对金融产品感兴趣,从而帮助金融企业定位到该潜在用户,可以向其推荐相关的金融产品。
此外,需要说明的是,在本实施例中,利用所述第一主题分类器对所述文本数据进行分类时,所述文本数据可以为步骤S100中的文本数据,也可以为从其他网络社交平台或信息资源数据库获得的文本数据。
本发明实施例通过获取训练样本和测试样本,其中训练样本为根据文本数据训练出对应话题模型后经人工标注获得的;利用第一预设算法提取训练样本和测试样本的特征,并根据训练样本的特征通过迭代算法计算逻辑回归模型的最优模型参数;根据测试样本的特征和ROC曲线下面积AUC对含最优模型参数的逻辑回归模型进行评价,训练出第一主题分类器;利用第一主题分类器对文本数据进行分类,确定文本数据所属的主题,并根据含最优模型参数的逻辑回归模型计算所述文本数据所属主题的得分;根据所述得分和第二预设算法计算撰写所述文本数据的用户对所述主题感兴趣的信心分,根据所述信心分识别所述用户的兴趣。通过上述方式,本发明利用第一预设算法对训练样本和测试样本进行特征提取,缩短了特征提取和模型训练的时间,提高了分类效率。本发明采用人工标注的方式筛选训练样本,并采用ROC曲线下面积AUC对所述含最优模型参数的逻辑回归模型进行评价训练出主题分类器,可提高主题分类的准确率,同时,本发明利用了含最优模型参数的逻辑回归模型和第二预设算法,可提高信心分计算的准确性,从而根据计算得到的用户对所述主题感兴趣的信心分识别出用户兴趣,帮助企业全方面了解用户,从而快速准确地定位潜在客户,提高营销效率。
基于图2所示的第一实施例,请参阅图5,为本发明实施例中获取训练样本和测试样本,其中,所述训练样本为根据文本数据训练出对应的话题模型后经过人工标注获得的的细化流程示意图,步骤S100包括:
步骤S110,采集文本数据,并对所述文本数据进行预处理,获得对应的第一关键词集;
在本发明实施例中,文本数据可以从各大网络社交平台获得,例如微博、QQ空间、知乎、百度贴吧等,也可以从各大信息资源数据库获得,例如腾讯视频,知网,电子报等。本实施例以微博文本为例进行说明,具体地,微博文本数据的采集可以通过新浪API(Application Programming Interface)获取新浪微博文本数据,所述文本数据包括微博正文和评论。
在本发明实施例中,对所述文本数据进行预处理的过程包括对所述文本数据进行分词,并进行词性标注,再根据预设停用词表去除分词后的文本数据中的停用词表,得到第二关键词集。进一步地,计算所述第二关键词集中各关键词的词频TF,逆向文件频率IDF及词频-逆向文件频率TF-IDF值,并去除TF-IDF值低于预设TF-IDF阈值的关键词,得到对应的第一关键词集。
步骤S120,根据所述第一关键词集和预设数量的话题,利用预设主题模型计算得到所述文本数据在所述话题上的分布,并根据所述文本数据在所述话题上的分布情况进行聚类,训练出所述文本数据对应的话题模型;
在本发明实施例中,预设主题模型采用LDA主题模型,该模型是一种非监督机器学习技术,可用于识别大规模文档集或语料库中潜藏的主题信息,将文档集中的每一篇文档用潜在主题的概率分布进行表示,而每一个潜在主题由词项的概率分布进行表示。具体地,本实施例在终端接收到输入的第一关键词集和设定的话题数量时,LDA主题模型会根据关键词在文档中的分布,计算得到所述话题在关键词上的分布,及文本数据在所述话题上的分布。进一步地,根据所述文本数据在所述话题上的分布情况进行聚类,训练出所述文本数据对应的话题模型。
步骤S130,根据基于所述话题模型对所述文本数据的人工标注结果,从所述文本数据中筛选出与目标主题分类器对应的训练样本,并将除所述训练样本之外的文本数据作为测试样本。
在本实施例中,由于LDA模型是一种话题生成模型,无法控制所得到的话题的种类,因此,需要对得到的话题进行人工标注,从而筛选出与目标主题相对应的文本数据,以此作为主题分类器的训练样本,有利于提高主题分类器的分类准确率。此外,将除训练样本之外的文本数据作为测试样本,用于对训练出的逻辑回归模型进行评价。
基于图2所示的第一实施例,请参阅图6,为本发明实施例中根据所述测试样本的特征和所述含最优模型参数的逻辑回归模型绘制受试者工作特征ROC曲线,并根据ROC曲线下面积AUC对所述含最优模型参数的逻辑回归模型进行评价,训练出第一主题分类器的细化流程示意图,步骤S300包括:
步骤S310,将所述第二哈希散列表代入所述含最优模型参数的逻辑回归模型,得到真阳性TP,真阴性TN,伪阴性FN和伪阳性FP;
步骤S320,根据所述TP,TN,FN和FP绘制ROC曲线;
步骤S330,计算ROC曲线下面积AUC,根据AUC值对所述含最优模型参数的逻辑回归模型进行评价;
步骤S340,当所述AUC值小于或等于预设AUC阈值时,则判定所述含最优模型参数的逻辑回归模型不符合要求,并返回步骤:通过迭代算法计算出逻辑回归模型的最优模型参数,训练出含最优模型参数的逻辑回归模型;
步骤S350,当所述AUC值大于所述预设AUC阈值时,则判定所述含最优模型参数的逻辑回归模型符合要求,训练出第一主题分类器。
在本实施例中,将所述第二哈希散列表代入所述含最优模型参数的逻辑回归模型,对测试样本进行分析,会出现以下四种情况:如果一个文本数据属于某一话题,同时被含最优模型参数的逻辑回归模型预测为属于该话题,则为真阳性TP;如果一个文本数据不属于某一话题,同时被预测为不属于该话题,则为真阴性TN;如果一个文本数据属于某一话题,却被预测为不属于该话题,则为伪阴性FN;如果一个文本数据不属于某一话题,却被预测为属于该话题,则为伪阳性FP。
进一步,根据所述TP,TN,FN和FP绘制ROC曲线,具体地,ROC曲线以伪阳性率FPR为横坐标,以真阳性率TPR为纵坐标,具体计算公式如下:
FPR=FP/(FP+TN),TPR=TP/(TP+FN)。
进一步地,计算ROC曲线下面积AUC,计算公式如下:
在本实施例中,AUC值越大表示该含最优模型参数的逻辑回归模型的性能越好。当计算得到的AUC值小于或等于预设AUC阈值时,则判定所述含最优模型参数的逻辑回归模型不符合要求,并返回步骤:通过迭代算法计算出逻辑回归模型的最优模型参数,训练出含最优模型参数的逻辑回归模型。直至所述AUC值大于所述预设AUC阈值时,则判定所述含最优模型参数的逻辑回归模型符合要求,训练出第一主题分类器。
基于图2所示的第一实施例,请参阅图7,为本发明用户兴趣识别方法第二实施例的流程示意图,该用户兴趣识别方法还包括:
步骤S600,将所述第二哈希散列表代入所述第一主题分类器,得到所述测试样本属于对应话题的概率;
步骤S700,调整所述预设AUC阈值,并根据所述TP,FP和FN计算准确率p和召回率r;
步骤S800,当所述p小于或等于预设p阈值,或所述r小于或等于预设r阈值时,则返回步骤:调整所述预设AUC阈值,直至所述p大于所述预设p阈值,且所述r大于所述预设r阈值时,训练出第二主题分类器;
步骤S900,利用所述第二主题分类器对所述文本数据进行分类,确定所述文本数据所属的主题,并根据所述含最优模型参数的逻辑回归模型计算所述文本数据所属主题的得分。
需要说明的是,相对于图2所示的第一实施例,图7所示第二实施例的区别在于:在实际使用过程中,由于文本数据过多,人工标注样本劳动力过大,可能无法涵盖所有可能的文本数据,导致使用效果不佳。此外,在使用ROC曲线下面积AUC对所述含最优模型参数的逻辑回归模型进行评价时,默认使用0.5作为预设AUC阈值,大于0.5则逻辑回归模型的预测结果为1,即表示属于该话题;小于或等于0.5时则逻辑回归模型的预测结果为0,即表示不属于该话题。因此,在第二实施例中,通过调整所述预设AUC阈值,在保证准确率p和召回率r的同时,进一步提高所述第二主题分类器的分类准确率。
在本发明实施例中,将所述第二哈希散列表代入所述第一主题分类器,得到所述测试样本属于对应话题的概率。进一步地,调整所述预设AUC阈值,并根据所述TP,FP和FN计算出准确率p和召回率r,计算公式如下:
当所述p小于或等于预设p阈值,或所述r小于或等于预设r阈值时,则返回步骤:调整所述预设AUC阈值,继续进行调整,直至所述p大于所述预设p阈值,且所述r大于所述预设r阈值,训练出第二主题分类器,并利用所述第二主题分类器对所述文本数据进行分类。
基于图5所示的实施方式,请参阅图8,为本发明实施例中采集文本数据,并对所述文本数据进行预处理,获得对应的第一关键词集的细化流程示意图,步骤S110包括:
步骤S111,采集文本数据,并对所述文本数据进行分词;
步骤S112,根据预设停用词表去除分词后的文本数据中的停用词,得到第二关键词集;
步骤S113,计算所述第二关键词集中各关键词的词频-逆向文件频率TF-IDF值,并去除TF-IDF值低于预设TF-IDF阈值的关键词,得到对应的第一关键词集。
具体地,请参阅图9,图9为本发明实施例中计算所述第二关键词集中各关键词的词频-逆向文件频率TF-IDF值,并去除TF-IDF值低于预设TF-IDF阈值的关键词,得到对应的第一关键词集的细化流程示意图,步骤S113包括:
步骤S1131,计算所述第二关键词集中各关键词的词频TF和逆向文件频率IDF;
步骤S1132,根据所述TF和IDF计算所述第二关键词集中各关键词的词频-逆向文件频率TF-IDF值,并去除TF-IDF值低于预设TF-IDF阈值的关键词,得到对应的第一关键词集。
在本发明实施例中,文本数据可以从各大网络社交平台获得,例如微博、QQ空间、知乎、百度贴吧等,也可以从各大信息资源数据库获得,例如腾讯视频,知网,电子报等。本实施例以微博文本为例进行说明,具体地,微博文本数据的采集可以通过新浪API(Application Programming Interface)获取新浪微博文本数据,所述文本数据包括微博正文和评论。
进一步地,对所述文本数据进行预处理,预处理过程包括对所述文本数据进行分词,并进行词性标注。需要说明的是,分词处理可以通过分词工具实施,例如汉语词法分析系统ICTCLAS,清华大学中文词法分析程序THULAC,语言技术平台LTP等。分词主要是根据中文语言的特点,将所述样本数据中的每条中文文本切割成一个一个的单词,并进行词性标注。
进一步地,预处理过程还包括根据预设停用词表去除分词后的文本数据中的停用词。停用词的去除有利于提高关键词的密度,从而有利于文本数据所属话题的确定。需要说明的是,停用词主要包括两类:第一类是使用过于频繁的一些单词,例如“我”,“就”等,这类词几乎在每个文档中均会出现;第二类是在文本中出现频率很高,但无实际意义的单词,这类词只有将其放入一个完整的句子中才有一定作用,包括语气助词、副词、介词、连接词等,如“的”、“在”,“接着”等。
进一步地,预处理过程还包括计算所述第一关键词集中各关键词的词频-逆向文件频率TF-IDF值,并去除TF-IDF值低于预设TF-IDF阈值的关键词,得到对应的第二关键词集。具体地,首先计算词频IF和逆向文件频率IDF,其中,TF表示某个关键词在当前文档中出现的频率,IDF表示该关键词在所有文本数据的文档中的分布情况,是一个词语普遍重要性的度量。TF和IDF的计算公式为:
其中,ni表示该关键词在当前文档中出现的次数,n表示当前文档中的关键词总数,N表示数据集的文档总数,Ni表示在文本数据集在该关键词i的文档数。
进一步地,根据公式TF-IDF=TF×IDF计算TF-IDF值,去除TF-IDF值低于预设TF-IDF阈值的关键词,得到对应的关键词集。
此外,本发明实施例还提出一种计算机可读存储介质,所述计算机可读存储介质上存储有用户兴趣识别程序,所述用户兴趣识别程序被处理器执行时实现如上所述的用户兴趣识别方法的步骤。
其中,在所述处理器上运行的用户兴趣识别程序被执行时所实现的方法可参照本发明用户兴趣识别方法的各个实施例,在此不作赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种用户兴趣识别方法,其特征在于,所述用户兴趣识别方法包括以下步骤:
获取训练样本和测试样本,其中,所述训练样本为根据文本数据训练出对应的话题模型后经过人工标注获得的;
利用第一预设算法分别提取所述训练样本和所述测试样本的特征,并根据所述训练样本的特征,通过迭代算法计算出逻辑回归模型的最优模型参数,训练出含最优模型参数的逻辑回归模型;
根据所述测试样本的特征和所述含最优模型参数的逻辑回归模型绘制受试者工作特征ROC曲线,并根据ROC曲线下面积AUC对所述含最优模型参数的逻辑回归模型进行评价,训练出第一主题分类器;
利用所述第一主题分类器对所述文本数据进行分类,确定所述文本数据所属的主题,并根据所述含最优模型参数的逻辑回归模型计算所述文本数据所属主题的得分;
根据所述得分和第二预设算法计算撰写所述文本数据的用户对所述主题感兴趣的信心分,根据所述信心分识别所述用户的兴趣。
2.如权利要求1所述的用户兴趣识别方法,其特征在于,所述根据所述得分和第二预设算法计算撰写所述文本数据的用户对所述主题感兴趣的信心分,根据所述信心分识别所述用户的兴趣,包括:
根据所述得分和第三预设算法计算所述文本数据所属主题的平均得分;
根据所述平均得分和第二预设算法计算撰写所述文本数据的用户对所述主题感兴趣的信心分,根据所述信心分识别所述用户的兴趣;
其中,所述第三预设算法的计算公式为:
<mrow> <mi>A</mi> <mi>v</mi> <mi>g</mi> <mrow> <mo>(</mo> <msub> <mi>u</mi> <mi>i</mi> </msub> <mo>,</mo> <msub> <mi>topic</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>m</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <mi>s</mi> <mrow> <mo>(</mo> <msub> <mi>u</mi> <mi>i</mi> </msub> <mo>,</mo> <msub> <mi>tweet</mi> <mi>m</mi> </msub> <mo>,</mo> <msub> <mi>topic</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> </mrow> <mi>n</mi> </mfrac> <mo>,</mo> </mrow>
其中,Avg(ui,topicj)为用户ui在主题topicj上的平均得分,s(ui,tweetm,topicj)为用户ui的文本数据tweetm分类之后属于主题topicj的得分,n为用户ui的文本数据信息tweetm中关于主题topicj的总数量。
3.如权利要求1或2所述的用户兴趣识别方法,其特征在于,所述第二预设算法的计算公式为:
<mrow> <msub> <mi>k</mi> <mi>j</mi> </msub> <mo>=</mo> <mfrac> <mn>10</mn> <mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> <mrow> <mo>(</mo> <msub> <mi>TN</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> <mo>-</mo> <mi>m</mi> <mi>i</mi> <mi>n</mi> <mrow> <mo>(</mo> <msub> <mi>TN</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> </mrow> </mfrac> <mo>,</mo> <msub> <mi>x</mi> <mrow> <mi>j</mi> <mn>0</mn> </mrow> </msub> <mo>=</mo> <mi>m</mi> <mi>e</mi> <mi>d</mi> <mi>i</mi> <mi>a</mi> <mi>n</mi> <mrow> <mo>(</mo> <msub> <mi>TN</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> <mo>,</mo> </mrow>
<mrow> <mi>s</mi> <mrow> <mo>(</mo> <msub> <mi>u</mi> <mi>i</mi> </msub> <mo>,</mo> <msub> <mi>topic</mi> <mi>j</mi> </msub> <mo>,</mo> <msub> <mi>TN</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <msub> <mi>TN</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mo>*</mo> <mi>A</mi> <mi>v</mi> <mi>g</mi> <mrow> <mo>(</mo> <msub> <mi>u</mi> <mi>i</mi> </msub> <mo>,</mo> <msub> <mi>topic</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> </mrow> <mrow> <mn>1</mn> <mo>+</mo> <msup> <mi>e</mi> <mrow> <mo>-</mo> <msub> <mi>k</mi> <mi>j</mi> </msub> <mo>*</mo> <mrow> <mo>(</mo> <msub> <mi>TN</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mo>-</mo> <msub> <mi>x</mi> <mrow> <mi>j</mi> <mi>o</mi> </mrow> </msub> <mo>)</mo> </mrow> </mrow> </msup> </mrow> </mfrac> <mo>,</mo> </mrow>
其中,TNj为所有用户对主题topicj感兴趣的文本数,xj0为TNj的中位数,TNij为用户ui发表的关于主题topicj的微博数,s(ui,topicj,TNij)为用户ui对所述主题topicj感兴趣的信心分。
4.如权利要求1所述的用户兴趣识别方法,其特征在于,所述获取训练样本和测试样本,其中,所述训练样本为根据文本数据训练出对应的话题模型后经过人工标注获得的,包括:
采集文本数据,并对所述文本数据进行预处理,获得对应的第一关键词集;
根据所述第一关键词集和预设数量的话题,利用预设主题模型计算得到所述文本数据在所述话题上的分布,并根据所述文本数据在所述话题上的分布情况进行聚类,训练出所述文本数据对应的话题模型;
根据基于所述话题模型对所述文本数据的人工标注结果,从所述文本数据中筛选出与目标主题分类器对应的训练样本,并将除所述训练样本之外的文本数据作为测试样本。
5.如权利要求1所述的用户兴趣识别方法,其特征在于,所述利用第一预设算法分别提取所述训练样本和所述测试样本的特征,并根据所述训练样本的特征,通过迭代算法计算出逻辑回归模型的最优模型参数,训练出含最优模型参数的逻辑回归模型,包括:
利用第一预设算法分别提取所述训练样本和所述测试样本的特征,对应建立第一哈希散列表和第二哈希散列表;
将所述第一哈希散列表代入逻辑回归模型,并通过迭代算法计算出逻辑回归模型的最优模型参数,训练出含最优模型参数的逻辑回归模型。
6.如权利要求5所述的用户兴趣识别方法,其特征在于,所述根据所述测试样本的特征和所述含最优模型参数的逻辑回归模型绘制受试者工作特征ROC曲线,并根据ROC曲线下面积AUC对所述含最优模型参数的逻辑回归模型进行评价,训练出第一主题分类器,包括:
将所述第二哈希散列表代入所述含最优模型参数的逻辑回归模型,得到真阳性TP,真阴性TN,伪阴性FN和伪阳性FP;
根据所述TP,TN,FN和FP绘制ROC曲线;
计算ROC曲线下面积AUC,根据AUC值对所述含最优模型参数的逻辑回归模型进行评价;
当所述AUC值小于或等于预设AUC阈值时,则判定所述含最优模型参数的逻辑回归模型不符合要求,并返回步骤:通过迭代算法计算出逻辑回归模型的最优模型参数,训练出含最优模型参数的逻辑回归模型;
当所述AUC值大于所述预设AUC阈值时,则判定所述含最优模型参数的逻辑回归模型符合要求,训练出第一主题分类器;
其中,所述根据所述TP,TN,FN和FP绘制ROC曲线,包括:
根据所述TP,TN,FN和FP计算出伪阳性率FPR和真阳性率TPR,对应的计算公式分别为FPR=FP/(FP+TN),TPR=TP/(TP+FN);
以所述FPR为横坐标,所述TPR为纵坐标,绘制ROC曲线。
7.如权利要求6所述的用户兴趣识别方法,其特征在于,所述根据所述测试样本的特征和所述含最优模型参数的逻辑回归模型绘制受试者工作特征ROC曲线,并根据ROC曲线下面积AUC对所述含最优模型参数的逻辑回归模型进行评价,训练出第一主题分类器的步骤之后,包括:
将所述第二哈希散列表代入所述第一主题分类器,得到所述测试样本属于对应话题的概率;
调整所述预设AUC阈值,并根据所述TP,FP和FN计算准确率p和召回率r;
当所述p小于或等于预设p阈值,或所述r小于或等于预设r阈值时,则返回步骤:调整所述预设AUC阈值,直至所述p大于所述预设p阈值,且所述r大于所述预设r阈值时,训练出第二主题分类器;
利用所述第一主题分类器对所述文本数据进行分类,确定所述文本数据所属的主题的步骤包括:
利用所述第二主题分类器对所述文本数据进行分类,确定所述文本数据所属的主题。
8.如权利要求1所述的用户兴趣识别方法,其特征在于,所述采集文本数据,并对所述文本数据进行预处理,获得对应的第一关键词集,包括:
采集文本数据,并对所述文本数据进行分词;
根据预设停用词表去除分词后的文本数据中的停用词,得到第二关键词集;
计算所述第二关键词集中各关键词的词频TF和逆向文件频率IDF;
根据所述TF和IDF计算所述第二关键词集中各关键词的词频-逆向文件频率TF-IDF值,并去除TF-IDF值低于预设TF-IDF阈值的关键词,得到对应的第一关键词集。
9.一种用户兴趣识别装置,其特征在于,所述用户兴趣识别装置包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的用户兴趣识别程序,所述用户兴趣识别程序被所述处理器执行时实现如权利要求1至8中任一项所述的用户兴趣识别方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有用户兴趣识别程序,所述用户兴趣识别程序被处理器执行时实现如权利要求1至8中任一项所述的兴趣识别方法的步骤。
CN201710749088.0A 2017-08-25 2017-08-25 用户兴趣识别方法、装置及计算机可读存储介质 Active CN107391760B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201710749088.0A CN107391760B (zh) 2017-08-25 2017-08-25 用户兴趣识别方法、装置及计算机可读存储介质
PCT/CN2017/103944 WO2019037195A1 (zh) 2017-08-25 2017-09-28 用户兴趣识别方法、装置及计算机可读存储介质
US16/318,818 US10977447B2 (en) 2017-08-25 2017-09-28 Method and device for identifying a user interest, and computer-readable storage medium
JP2018559983A JP6799081B2 (ja) 2017-08-25 2017-09-28 ユーザ興味の識別方法、装置およびコンピュータ読み取り可能な記憶媒体
SG11201902986QA SG11201902986QA (en) 2017-08-25 2017-09-28 Method and device for identifying interest of user, and computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710749088.0A CN107391760B (zh) 2017-08-25 2017-08-25 用户兴趣识别方法、装置及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN107391760A true CN107391760A (zh) 2017-11-24
CN107391760B CN107391760B (zh) 2018-05-25

Family

ID=60345492

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710749088.0A Active CN107391760B (zh) 2017-08-25 2017-08-25 用户兴趣识别方法、装置及计算机可读存储介质

Country Status (5)

Country Link
US (1) US10977447B2 (zh)
JP (1) JP6799081B2 (zh)
CN (1) CN107391760B (zh)
SG (1) SG11201902986QA (zh)
WO (1) WO2019037195A1 (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108108912A (zh) * 2018-01-10 2018-06-01 百度在线网络技术(北京)有限公司 互动低质量用户的判别方法、装置、服务器及存储介质
CN109145162A (zh) * 2018-08-21 2019-01-04 慧安金科(北京)科技有限公司 用于确定数据相似度的方法、设备和计算机可读存储介质
CN109408531A (zh) * 2018-09-25 2019-03-01 平安科技(深圳)有限公司 缓慢下跌型数据的检测方法及装置、电子设备、存储介质
CN110147384A (zh) * 2019-04-17 2019-08-20 平安科技(深圳)有限公司 数据查找模型建立方法、装置、计算机设备和存储介质
CN110956224A (zh) * 2019-08-01 2020-04-03 平安科技(深圳)有限公司 评估模型生成、评估数据处理方法、装置、设备及介质
CN111026942A (zh) * 2019-11-01 2020-04-17 平安科技(深圳)有限公司 基于网络爬虫的热点词汇提取方法、装置、终端及介质
CN111274338A (zh) * 2020-01-08 2020-06-12 重庆邮电大学 一种基于移动大数据的预出境用户识别方法
CN111401962A (zh) * 2020-03-20 2020-07-10 上海络昕信息科技有限公司 一种关键意见消费者挖掘方法、装置、设备以及介质
CN111582448A (zh) * 2020-04-30 2020-08-25 广州市百果园信息技术有限公司 一种权重训练方法、装置、计算机设备和存储介质
CN111984839A (zh) * 2019-05-21 2020-11-24 北京沃东天骏信息技术有限公司 绘制用户画像的方法和装置
CN112036572A (zh) * 2020-08-28 2020-12-04 上海冰鉴信息科技有限公司 基于文本列表的用户特征提取方法及装置
CN112434688A (zh) * 2020-12-01 2021-03-02 北京爱论答科技有限公司 一种试题评价模型的训练方法及装置
CN113239179A (zh) * 2021-07-12 2021-08-10 北京邮电大学 科研技术兴趣领域识别模型训练方法、科技资源查询方法及装置
CN113590926A (zh) * 2020-04-30 2021-11-02 北京爱笔科技有限公司 用户兴趣的识别方法、装置、设备及计算机可读介质

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11430312B2 (en) * 2018-07-05 2022-08-30 Movidius Limited Video surveillance with neural networks
JP7196542B2 (ja) * 2018-11-05 2022-12-27 株式会社リコー 学習装置および学習方法
CN111861521B (zh) * 2019-04-26 2024-07-26 财付通支付科技有限公司 数据处理方法、装置、计算机可读介质及电子设备
CN110807086B (zh) * 2019-10-08 2024-02-06 腾讯科技(深圳)有限公司 文本数据标注方法及装置、存储介质、电子设备
JP7477608B2 (ja) * 2019-12-05 2024-05-01 オルボテック リミテッド 分類モデルの正解率の改良
WO2021146996A1 (zh) * 2020-01-22 2021-07-29 京东方科技集团股份有限公司 设备指标优良性等级预测模型训练方法、监控系统和方法
CN112507792B (zh) * 2020-11-04 2024-01-23 华中师范大学 在线视频关键帧定位方法、定位系统、设备及存储介质
US12033619B2 (en) * 2020-11-12 2024-07-09 International Business Machines Corporation Intelligent media transcription
KR20230036384A (ko) * 2021-09-07 2023-03-14 현대자동차주식회사 이상 탐지 시스템 및 그의 임계치 설정 방법
CN114237460B (zh) * 2021-10-14 2024-01-30 北京淘友天下科技发展有限公司 标签显示方法、装置、终端、存储介质及计算机程序产品
CN114003725A (zh) * 2021-12-30 2022-02-01 深圳佑驾创新科技有限公司 信息标注模型的构建方法以及信息标注的生成方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103218436A (zh) * 2013-04-17 2013-07-24 中国科学院自动化研究所 一种融合用户类别标签的相似问题检索方法及装置
CN106157151A (zh) * 2016-06-29 2016-11-23 厦门趣处网络科技有限公司 一种基于用户兴趣的信息聚合方法、系统
US20170103343A1 (en) * 2012-12-31 2017-04-13 Google Inc. Methods, systems, and media for recommending content items based on topics

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030066068A1 (en) * 2001-09-28 2003-04-03 Koninklijke Philips Electronics N.V. Individual recommender database using profiles of others
NO316480B1 (no) * 2001-11-15 2004-01-26 Forinnova As Fremgangsmåte og system for tekstuell granskning og oppdagelse
US20140032529A1 (en) * 2006-02-28 2014-01-30 Adobe Systems Incorporated Information resource identification system
US8260846B2 (en) * 2008-07-25 2012-09-04 Liveperson, Inc. Method and system for providing targeted content to a surfer
US20100114929A1 (en) * 2008-11-06 2010-05-06 Yahoo! Inc. Diverse query recommendations using clustering-based methodology
US20120102121A1 (en) * 2010-10-25 2012-04-26 Yahoo! Inc. System and method for providing topic cluster based updates
WO2012075335A2 (en) * 2010-12-01 2012-06-07 Google Inc. Recommendations based on topic clusters
US9147159B2 (en) * 2011-12-30 2015-09-29 Certona Corporation Extracting predictive segments from sampled data
US9477749B2 (en) * 2012-03-02 2016-10-25 Clarabridge, Inc. Apparatus for identifying root cause using unstructured data
US10460347B2 (en) * 2012-12-30 2019-10-29 Certona Corporation Extracting predictive segments from sampled data
US9477752B1 (en) * 2013-09-30 2016-10-25 Verint Systems Inc. Ontology administration and application to enhance communication data analytics
US20160203523A1 (en) * 2014-02-21 2016-07-14 Lithium Technologies, Inc. Domain generic large scale topic expertise and interest mining across multiple online social networks
CN106156878B (zh) * 2015-04-21 2020-09-15 深圳市腾讯计算机系统有限公司 广告点击率矫正方法及装置
US9864803B2 (en) * 2015-07-22 2018-01-09 TCL Research America Inc. Method and system for multimodal clue based personalized app function recommendation
US10482119B2 (en) * 2015-09-14 2019-11-19 Conduent Business Services, Llc System and method for classification of microblog posts based on identification of topics
CN107133628A (zh) * 2016-02-26 2017-09-05 阿里巴巴集团控股有限公司 一种建立数据识别模型的方法及装置
US11042802B2 (en) * 2016-10-07 2021-06-22 Global Optimal Technology, Inc. System and method for hierarchically building predictive analytic models on a dataset
CN107633317B (zh) * 2017-06-15 2021-09-21 北京百度网讯科技有限公司 建立行程规划模型以及规划出游行程的方法、装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170103343A1 (en) * 2012-12-31 2017-04-13 Google Inc. Methods, systems, and media for recommending content items based on topics
CN103218436A (zh) * 2013-04-17 2013-07-24 中国科学院自动化研究所 一种融合用户类别标签的相似问题检索方法及装置
CN106157151A (zh) * 2016-06-29 2016-11-23 厦门趣处网络科技有限公司 一种基于用户兴趣的信息聚合方法、系统

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108108912A (zh) * 2018-01-10 2018-06-01 百度在线网络技术(北京)有限公司 互动低质量用户的判别方法、装置、服务器及存储介质
CN109145162B (zh) * 2018-08-21 2021-06-15 慧安金科(北京)科技有限公司 用于确定数据相似度的方法、设备和计算机可读存储介质
CN109145162A (zh) * 2018-08-21 2019-01-04 慧安金科(北京)科技有限公司 用于确定数据相似度的方法、设备和计算机可读存储介质
CN109408531A (zh) * 2018-09-25 2019-03-01 平安科技(深圳)有限公司 缓慢下跌型数据的检测方法及装置、电子设备、存储介质
CN109408531B (zh) * 2018-09-25 2023-04-18 平安科技(深圳)有限公司 缓慢下跌型数据的检测方法及装置、电子设备、存储介质
CN110147384A (zh) * 2019-04-17 2019-08-20 平安科技(深圳)有限公司 数据查找模型建立方法、装置、计算机设备和存储介质
CN110147384B (zh) * 2019-04-17 2023-06-20 平安科技(深圳)有限公司 数据查找模型建立方法、装置、计算机设备和存储介质
CN111984839A (zh) * 2019-05-21 2020-11-24 北京沃东天骏信息技术有限公司 绘制用户画像的方法和装置
CN110956224A (zh) * 2019-08-01 2020-04-03 平安科技(深圳)有限公司 评估模型生成、评估数据处理方法、装置、设备及介质
CN110956224B (zh) * 2019-08-01 2024-03-08 平安科技(深圳)有限公司 评估模型生成、评估数据处理方法、装置、设备及介质
CN111026942A (zh) * 2019-11-01 2020-04-17 平安科技(深圳)有限公司 基于网络爬虫的热点词汇提取方法、装置、终端及介质
CN111026942B (zh) * 2019-11-01 2024-04-16 平安科技(深圳)有限公司 基于网络爬虫的热点词汇提取方法、装置、终端及介质
CN111274338A (zh) * 2020-01-08 2020-06-12 重庆邮电大学 一种基于移动大数据的预出境用户识别方法
CN111401962A (zh) * 2020-03-20 2020-07-10 上海络昕信息科技有限公司 一种关键意见消费者挖掘方法、装置、设备以及介质
CN113590926A (zh) * 2020-04-30 2021-11-02 北京爱笔科技有限公司 用户兴趣的识别方法、装置、设备及计算机可读介质
CN111582448A (zh) * 2020-04-30 2020-08-25 广州市百果园信息技术有限公司 一种权重训练方法、装置、计算机设备和存储介质
CN112036572A (zh) * 2020-08-28 2020-12-04 上海冰鉴信息科技有限公司 基于文本列表的用户特征提取方法及装置
CN112036572B (zh) * 2020-08-28 2024-03-12 上海冰鉴信息科技有限公司 基于文本列表的用户特征提取方法及装置
CN112434688A (zh) * 2020-12-01 2021-03-02 北京爱论答科技有限公司 一种试题评价模型的训练方法及装置
CN113239179A (zh) * 2021-07-12 2021-08-10 北京邮电大学 科研技术兴趣领域识别模型训练方法、科技资源查询方法及装置

Also Published As

Publication number Publication date
US10977447B2 (en) 2021-04-13
WO2019037195A1 (zh) 2019-02-28
CN107391760B (zh) 2018-05-25
JP6799081B2 (ja) 2020-12-09
JP2019536119A (ja) 2019-12-12
SG11201902986QA (en) 2019-05-30
US20210034819A1 (en) 2021-02-04

Similar Documents

Publication Publication Date Title
CN107391760B (zh) 用户兴趣识别方法、装置及计算机可读存储介质
CN107704495B (zh) 主题分类器的训练方法、装置及计算机可读存储介质
CN108628971B (zh) 不均衡数据集的文本分类方法、文本分类器及存储介质
CN104463101B (zh) 用于文字性试题的答案识别方法及系统
CN103207913B (zh) 商品细粒度语义关系的获取方法和系统
CN103365867B (zh) 一种对用户评价进行情感分析的方法和装置
CN109271493A (zh) 一种语言文本处理方法、装置和存储介质
US20060218192A1 (en) Method and System for Providing Information Services Related to Multimodal Inputs
CN110413988A (zh) 文本信息匹配度量的方法、装置、服务器及存储介质
CN112270196A (zh) 实体关系的识别方法、装置及电子设备
CN108052505A (zh) 文本情感分析方法及装置、存储介质、终端
CN109299277A (zh) 舆情分析方法、服务器及计算机可读存储介质
CN110750648A (zh) 一种基于深度学习和特征融合的文本情感分类方法
CN109918648B (zh) 一种基于动态滑动窗口特征评分的谣言深度检测方法
CN110096681A (zh) 合同条款分析方法、装置、设备及可读存储介质
CN110489747A (zh) 一种图像处理方法、装置、存储介质及电子设备
Sheshikala et al. Natural language processing and machine learning classifier used for detecting the author of the sentence
CN110287311A (zh) 文本分类方法及装置、存储介质、计算机设备
CN112732974A (zh) 一种数据处理方法、电子设备及存储介质
CN111783427B (zh) 用于训练模型与输出信息的方法、装置、设备及存储介质
CN112948823A (zh) 一种数据泄露风险评估方法
CN115795030A (zh) 文本分类方法、装置、计算机设备和存储介质
CN110688540B (zh) 一种作弊账户筛选方法、装置、设备及介质
CN112052424A (zh) 一种内容审核方法及装置
CN108268602A (zh) 分析文本话题点的方法、装置、设备和计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1243796

Country of ref document: HK