CN106095813A - 一种用户标识识别方法和装置 - Google Patents

一种用户标识识别方法和装置 Download PDF

Info

Publication number
CN106095813A
CN106095813A CN201610377674.2A CN201610377674A CN106095813A CN 106095813 A CN106095813 A CN 106095813A CN 201610377674 A CN201610377674 A CN 201610377674A CN 106095813 A CN106095813 A CN 106095813A
Authority
CN
China
Prior art keywords
matrix
row
similarity
hash
mark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610377674.2A
Other languages
English (en)
Inventor
沈一
鲍新平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201610377674.2A priority Critical patent/CN106095813A/zh
Publication of CN106095813A publication Critical patent/CN106095813A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/951Indexing; Web crawling techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01Social networking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种用户标识识别方法和装置,涉及计算机技术领域。所述方法包括:获取多个用户标识;计算所述多个用户标识中各用户标识之间的相似度;针对所述多个用户标识中的任一用户标识,判断当前用户标识是否与超过第一数值的其他用户标识的相似度超过第一阈值;若当前用户标识与超过第一数值的其他用户标识的相似度超过第一阈值,则确认所述当前用户标识为网络水军用户标识。由此解决了现有的基于规则的定性识别方法需要较多的人工干预且适用性不高,以及机器学习的方法时间成本过高且对数据的完备性要求较高,效率较低等问题,取得了降低时间成本以及对数据的完备性要求,提高了用户识别的效率以及适用性的有益效果。

Description

一种用户标识识别方法和装置
技术领域
本发明涉及计算机技术领域,具体涉及一种用户标识识别方法和一种用户标识识别装置。
背景技术
随着网络技术的不断发展,互联网信息交互平台逐渐成为人们获取信息的主要渠道。所谓互联网信息交互平台,简称信息交互平台IIP(Information InteractionPlatform)是指:所有的可以进行信息发布、表达、交互(包括回复、转载)等操作的信息系统和平台,形式如社区、论坛、社交网络、媒体、门户等等。然而随着IIP营销的普及,IIP平台中的网络水军的数量也急剧增长。网络水军可以制造大量无意义或者是不真实的垃圾信息,不仅严重影响了IIP平台的用户体验,而且制造了大量的噪音,影响了IIP平台数据的可信度。具体而言,IIP网络水军可以分为由水军算法控制的僵尸网络水军和真人网络水军,其中大多数僵尸网络水军经过不断的进化,已经具备高度的智能,伪装程度越来越高。真人网络水军在大多数情况下与真实的普通用户无异,仅仅在特定的情况下,例如被营销需求方雇佣等,间断地发布特定的内容,以达到宣传和营销的目的。
现有的IIP水军识别方法可以分为两类:一类是基于规则的定性识别,另一类是采用机器学习的方式进行识别,然而这两类方法都存在一定的局限性。
其中,基于规则的定性识别方法主要通过分析IIP转发和评论的时序特征、内容特征或者用户的属性特征等,人工总结一些规则,然后定性地判别水军,而并没有定量的模型和方法。例如基于用户发布的内容特征进行水军识别,但是对于例如微博等新媒体形式的IIP平台,一条微博的内容被限制为140个字符以内,上下文信息相对较少,单纯依赖传统的基于语义的方法判断发布该微博的用户是否为网络水军的准确率较低。这类方法的缺陷是需要较多的人工干预,且人工总结出的规则往往仅仅适用于部分水军,而IIP水军又在不断地进化,因此这些规则往往仅仅在一段时间内有效,适用性不高。
机器学习的方法是通过人为总结特征,基于标注好的数据集来训练分类器来识别水军。然而由于没有公开的IIP水军数据集,基于机器学习的方法依赖的训练数据难以获取,而单纯依赖人工标注时间成本过高。此外,基于机器学习的方法需要较多的用户信息才可以判别当前用户是否为水军,对数据的完备性要求较高。因此,机器学习的方法效率也较低,且适用性不高。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种用户标识识别方法和相应的一种用户标识识别装置。
依据本发明的一个方面,提供了一种用户标识识别方法,包括:
获取多个用户标识;
计算所述多个用户标识中各用户标识之间的相似度;
针对所述多个用户标识中的任一用户标识,判断当前用户标识是否与超过第一数值的其他用户标识的相似度超过第一阈值;
若当前用户标识与超过第一数值的其他用户标识的相似度超过第一阈值,则确认所述当前用户标识为网络水军用户标识。
可选地,在所述计算所述多个用户标识中各用户标识之间的相似度的步骤之前,还包括:
将所述多个用户标识中的各用户标识分别转换成分块策略集合;所述分块策略集合包括相应的用户标识的切片。
可选地,所述计算所述多个用户标识中各用户标识之间的相似度的步骤,包括:
分别计算各个用户标识的分块策略集合之间的交集以及并集;
将任意两个所述分块策略集合之间的交集与并集相除,得到对应该两个分块策略集合的用户标识之间的相似度。
可选地,所述计算所述多个用户标识中各用户标识之间的相似度的步骤,包括:
利用N个第一哈希函数分别计算各个用户标识的分块策略集合包含的元素的哈希签名;所述N个第一哈希函数各不相同;
针对每个第一哈希函数,分别选择各个用户标识的分块策略集合包含的元素对应于该第一哈希函数的哈希签名中的最小值,构建第二矩阵;所述第二矩阵的列分别对应所述多个用户标识中的各用户标识,所述第二矩阵的行分别对应各个第一哈希函数。
根据所述第二矩阵,获取所述多个用户标识中的相似候选用户标识对;
计算每个所述相似候选用户标识对对应的两个用户标识之间的相似度。
可选地,所述根据所述第二矩阵,获取所述多个用户标识中的相似候选用户标识对的步骤,包括:
以行为单位,将所述第二矩阵切分为至少两个子矩阵;所述子矩阵中包含的行数相同;
利用第二哈希函数分别计算当前子矩阵中各个列的哈希值;
根据当前子矩阵中各个列的哈希值,获取相似候选用户标识对。
可选地,所述计算所述多个用户标识中各用户标识之间的相似度的步骤,包括:
根据所述多个用户标识中各用户标识与各用户标识的分块策略集合中各元素之间的关系,构建第一矩阵;其中,所述第一矩阵的列对应于各用户标识;所述第一矩阵的行对应于各用户标识的分块策略集合中的各元素;如果用户标识中包含所述元素中的任一元素,则对应在所述第一矩阵中的值为第二数值;如果用户标识中不包含该元素,则对应在所述第一矩阵中的值为第三数值;
对所述第一矩阵进行N次随机行变换,并且在每次随机行变换后,选择各个用户标识包含的元素在本次随机行变换后的第一矩阵中行号的最小值,构建第三矩阵;所述第三矩阵的行分别对应随机行变换的次数,所述第三矩阵的列分别对应各个用户标识;
根据所述第三矩阵,获取所述多个用户标识中的相似候选用户标识对;
计算每个所述相似候选用户标识对对应的两个用户标识之间的相似度。
可选地,所述根据所述第三矩阵,获取所述多个用户标识中的相似候选用户标识对的步骤,包括:
以行为单位,将所述第三矩阵切分为至少两个子矩阵;所述子矩阵中包含的行数相同;
利用第二哈希函数分别计算当前子矩阵中各个列的哈希值;
根据当前子矩阵中各个列的哈希值,获取相似候选用户标识对。
可选地,所述根据当前子矩阵中各个列的哈希值,获取相似候选用户标识对的步骤,包括:
获取当前子矩阵中哈希值相同的列对应的各用户标识,并以其中的任意两个用户标识作为一个相似候选用户标识对;
按照切分的顺序,将当前子矩阵的下一个子矩阵作为当前子矩阵,并利用第二哈希函数分别计算当前子矩阵中除了已确认为相似候选用户标识对的用户标识对应的列以外的各个列的哈希值,然后针对当前子矩阵,进入获取当前子矩阵中哈希值相同的列对应的各用户标识,并以其中的任意两个用户标识作为一个相似候选用户标识对的步骤。
可选地,所述针对所述多个用户标识中的任一用户标识,判断当前用户标识是否与超过第一数值的其他用户标识的相似度超过第一阈值的步骤,包括:
判断各个相似候选用户标识对包含的两个用户标识之间的相似度是否超过第一阈值;若超过,则确认该相似候选用户标识对为相似用户标识对;
判断包含当前用户标识的相似用户标识对的数量是否超过第一数值,若包含当前用户标识的相似用户标识对的数量超过第一数值,则确认当前用户标识为网络水军用户标识。
可选地,在所述将所述多个用户标识中的各用户标识分别转换成分块策略集合的步骤之前,还包括:
过滤掉所述多个用户标识中已经通过用户标识所在平台认证的用户标识;
和/或,过滤掉所述多个用户标识中长度小于第一长度阈值的用户标识;
和/或,过滤掉所述多个用户标识中完全由字母组成的用户标识,以及由连续的汉字加上连续的字母组成的用户标识。
可选地,所述过滤掉所述多个用户标识中完全由字母组成的用户标识,以及由连续的汉字加上连续的字母组成的用户标识的步骤,包括:
利用正则表达式匹配所述多个用户标识中各用户标识的组成;
过滤掉所述多个用户标识中匹配为完全由字母组成的用户标识,以及匹配为由连续的汉字加上连续的字母组成的用户标识。
可选地,在所述若当前用户标识与超过第一数值的其他用户标识的相似度超过第一阈值,则确认所述当前用户标识为网络水军用户标识的步骤之后,还包括:
利用已经确定的网络水军用户标识作为训练集训练一个语言模型。
可选地,在所述利用已经确定的网络水军用户标识作为训练集训练一个语言模型的步骤之后,还包括:
当获取一个新的用户标识时,利用所述语言模型计算所述新的用户标识为网络水军用户标识的概率;
如果所述概率超过第二阈值,则确认所述新的用户标识为网络水军用户标识。
根据本发明的另一方面,提供了一种用户标识识别装置,包括:
用户标识获取模块,用于获取多个用户标识;
计算模块,用于计算所述多个用户标识中各用户标识之间的相似度;
判断模块,用于针对所述多个用户标识中的任一用户标识,判断当前用户标识是否与超过第一数值的其他用户标识的相似度超过第一阈值;
第一水军确认模块,用于若当前用户标识与超过第一数值的其他用户标识的相似度超过第一阈值,则确认所述当前用户标识为网络水军用户标识。
可选地,还包括:
转换模块,用于将所述多个用户标识中的各用户标识分别转换成分块策略集合;所述分块策略集合包括相应的用户标识的切片。
可选地,所述计算模块,包括:
交并集计算子模块,用于分别计算各个用户标识的分块策略集合之间的交集以及并集;
相似度计算子模块,用于将任意两个所述分块策略集合之间的交集与并集相除,得到对应该两个分块策略集合的用户标识之间的相似度。
可选地,所述计算模块,包括:
哈希签名计算子模块,用于利用N个第一哈希函数分别计算各个用户标识的分块策略集合包含的元素的哈希签名;所述N个第一哈希函数各不相同;
第二矩阵构建子模块,用于针对每个第一哈希函数,分别选择各个用户标识的分块策略集合包含的元素对应于该第一哈希函数的哈希签名中的最小值,构建第二矩阵;所述第二矩阵的列分别对应所述多个用户标识中的各用户标识,行分别对应各个第一哈希函数;
第一相似候选用户标识对获取子模块,用于根据所述第二矩阵,获取所述多个用户标识中的相似候选用户标识对;
计算子模块,用于计算每个所述相似候选用户标识对对应的两个用户标识之间的相似度。
可选地,所述第一相似候选用户标识对获取子模块,包括:
第二矩阵切分单元,用于以行为单位,将所述第二矩阵切分为至少两个子矩阵;所述子矩阵中包含的行数相同;
哈希值计算单元,用于利用第二哈希函数分别计算当前子矩阵中各个列的哈希值;
相似候选用户标识对获取单元,用于根据当前子矩阵中各个列的哈希值,获取相似候选用户标识对。
可选地,所述计算模块,还包括:
第一矩阵构建子模块,用于根据所述多个用户标识中各用户标识与各用户标识的分块策略集合中各元素之间的关系,构建第一矩阵;其中,所述第一矩阵的列对应于各用户标识;所述第一矩阵的行对应于各用户标识的分块策略集合中的各元素;如果用户标识中包含所述元素中的任一元素,则对应在所述第一矩阵中的值为第二数值;如果用户标识中不包含该元素,则对应在所述第一矩阵中的值为第三数值;
第三矩阵构建子模块,用于对所述第一矩阵进行N次随机行变换,并且在每次随机行变换后,选择各个用户标识包含的元素在本次随机行变换后的第一矩阵中行号的最小值,构建第三矩阵;所述第三矩阵的行分别对应随机行变换的次数,所述第三矩阵的列分别对应各个用户标识;
第二相似候选用户标识对获取子模块,用于根据所述第三矩阵,获取所述多个用户标识中的相似候选用户标识对。
可选地,所述第二相似候选用户标识对获取子模块,包括:
第三矩阵切分单元,用于以行为单位,将所述第三矩阵切分为至少两个子矩阵;所述子矩阵中包含的行数相同;
哈希值计算单元,用于利用第二哈希函数分别计算当前子矩阵中各个列的哈希值;
相似候选用户标识对获取单元,用于根据当前子矩阵中各个列的哈希值,获取相似候选用户标识对。
可选地,所述相似候选用户标识对获取单元,包括:
相似候选用户标识对获取子单元,用于获取当前子矩阵中哈希值相同的列对应的各用户标识,并以其中的任意两个用户标识作为一个相似候选用户标识对;
当前子矩阵确认子单元,用于按照切分的顺序,将当前子矩阵的下一个子矩阵作为当前子矩阵,并利用第二哈希函数分别计算当前子矩阵中除了已确认为相似候选用户标识对的用户标识对应的列以外的各个列的哈希值,然后进入相似候选用户标识对获取子单元。
可选地,所述判断模块,包括:
第一判断子模块,用于判断各个相似候选用户标识对包含的两个用户标识之间的相似度是否超过第一阈值;若超过,则进入第一确认子模块;
第一确认子模块,用于确认该相似候选用户标识对为相似用户标识对;
第二判断子模块,用于判断包含当前用户标识的相似用户标识对的数量是否超过第一数值,若包含当前用户标识的相似用户标识对的数量超过第一数值,则进入第一水军确认模块。
可选地,还包括:
第一过滤模块,用于过滤掉所述多个用户标识中已经通过用户标识所在平台认证的用户标识;
和/或,第二过滤模块,用于过滤掉所述多个用户标识中长度小于第一长度阈值的用户标识;
和/或,第三过滤模块,用于过滤掉所述多个用户标识中完全由字母组成的用户标识,以及由连续的汉字加上连续的字母组成的用户标识。
可选地,所述第三过滤模块,包括:
组成匹配子模块,用于利用正则表达式匹配所述多个用户标识中各用户标识的组成;
第三过滤子模块,用于过滤掉所述多个用户标识中匹配为完全由字母组成的用户标识,以及匹配为由连续的汉字加上连续的字母组成的用户标识。
可选地,还包括:
语言模型训练模块,适于利用已经确定的网络水军用户标识作为训练集训练一个语言模型。
可选地,还包括:
概率计算模块,适于当获取一个新的用户标识时,利用所述语言模型计算所述新的用户标识为网络水军用户标识的概率;如果所述概率超过第二阈值,则进入第二水军确认模块;
第二水军确认模块,适于确认所述新的用户标识为网络水军用户标识。
根据本发明的一种用户标识识别方法可以获取多个用户标识,计算所述多个用户标识中各用户标识之间的相似度,针对所述多个用户标识中的任一用户标识,判断当前用户标识是否与超过第一数值的其他用户标识的相似度超过第一阈值,若当前用户标识与超过第一数值的其他用户标识的相似度超过第一阈值,则确认所述当前用户标识为网络水军用户标识。由此解决了背景技术中的基于规则的定性识别方法需要较多的人工干预且仅在一段时间内有效,适用性不高,以及机器学习的方法时间成本过高且对数据的完备性要求较高,进而导致效率也较低,且适用性不高等问题,取得了降低了时间成本以及对数据的完备性要求,进而提高了对用户识别的效率以及适用性的有益效果。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了根据本发明一个实施例的一种用户标识识别方法实施例的步骤流程图;
图1A示出了根据本发明一个实施例的用户标识的示例;
图2示出了根据本发明一个实施例的一种用户标识识别方法实施例的步骤流程图;
图2A示出了根据本发明一个实施例的一种将第二矩阵切分为多个子矩阵的示例;
图3示出了根据本发明一个实施例的一种用户标识识别方法实施例的步骤流程图;
图3A示出了根据本发明一个实施例的一个第一矩阵的示意图;
图3B示出了根据本发明一个实施例的一个对图3A所示的第一矩阵进行随机行变换后的示意图;
图4示出了根据本发明一个实施例的一种用户标识识别装置实施例的结构框图;
图5示出了根据本发明一个实施例的一种用户标识识别装置实施例的结构框图;以及
图6示出了根据本发明一个实施例的一种用户标识识别装置实施例的结构框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
实施例一
参照图1,示出了根据本发明一个实施例的一种用户标识识别方法实施例的步骤流程图,具体可以包括如下步骤:
步骤110,获取多个用户标识。
在本发明实施例中,用户标识可以指在IIP中标识用户身份的名称,例如用户昵称、用户名、用户账号等等都属于用户标识。在实际应用中,用户标识是由一系列IIP系统可识别的字符组成,例如字母、汉字、阿拉伯数字、特殊符号等等。如图1A为一些用户标识的示例。可以看出,其中第1-4个用户标识是由汉字、下划线、字母组成,而后续的第5-8、12-16个是由汉字和字母组成,另外的第9-11是完全由汉字组成。在本发明实施例中,各个用户标识均可以由IIP系统可识别的任意一种或多种字符组成,对此本发明实施例不加以限定。
本发明实施例介绍的是一种针对用户标识的网络水军账号识别算法,首先需要从IIP中获取需要进行识别的用户标识。具体地,可以从IIP用以存储用户标识的存储空间中直接导出多个用户标识,当然也可以采用现有的其他可利用的方法获取用户标识,对此本发明实施例不加以限定。而且在本发明实施例中,可以获取IIP中所有用户标识,或者是随机或按照一定规则获取IIP中部分用户标识,对此本发明实施例也不加以限定。
步骤160,计算所述多个用户标识中各用户标识之间的相似度。
用户标识之间的相似度,可以用以衡量各个用户标识之间的相似程度。比如用户标识的字符组合之间的文本相似度等。
在本发明实施例中,可以计算各用户标识两两之间的相似度。
例如,对于两个用户标识a和b,其中用户标识a为“李易峰_栀Y子花为你开”,用户标识b为“李易峰_栀子p花为你开”。
若以单个字符为单位,计算用户标识a和b的相似度,可以看出,用户标识a和b中都包括字符“李”“易”“峰”“_”“栀”“子”“花”“为”“你”“开”10个字符,用户标识a另外还包括一个字符“Y”,用户标识b另外还包括一个字符“p”。此时,用户标识a和用户标识b之间的相似度可以为用户标识a和用户标识b包含的字符的交集与用户标识a和用户标识b包含的字符的并集的商值,即10/12,相似度最终为0.833。
需要说明的是,此时相似度的取值范围为0-1,相似度的值越大,说明两个用户标识越相似。
但是从上面的过程可以看出,若以单个字符为单位,按照上述方法计算两个用户标识符之间的相似度,并不会考虑到用户标识中所包含的字符的先后关系,例如,若两个用户标识所包含的字符完全一样,但是在每个用户标识中各字符的先后顺序不一致,而此时若以单个字符为单位,按照上述方法计算两个用户之间的相似度为1,但是此时两个用户标识并不是完全一致,相似程度并不是最高,所以对于此类情况,以单个字符为单位计算的相似度不是很精确。
所以,在本发明实施例中,可以将各用户标识进行切分,每个切片中包含多个字符,然后将同一个用户标识的切片构建一个分块策略集合,即k-shingle集合,其中k是指集合中每个切片所包含的字符数,k的值可以根据需求或多次试验确定,对此本发明实施例不加以限定,但是对于需要计算相似度的两个用户标识而言,分别将两个用户标识转换成k-shingle集合时的k的取值是一致的。具体的切分过程可以为:从用户标识中的首个字符开始,逐个从当前字符向后提取k个字符作为一个切片,直至将用户标识的最后一个字符提取至一个切片中为止。
例如,当k取2时,用户标识a“李易峰_栀Y子花为你开”对应集合A{李易,易峰,峰_,_栀,栀Y,Y子,子花,花为,为你,你开},用户标识b“李易峰_栀子p花为你开”对应集合B{李易,易峰,峰_,_栀,栀子,子p,p花,花为,为你,你开}。
此时可以定义两个用户标识之间的相似度为
Jaccard(a,b)=(|A∩B|)/(|A∪B|) (1)
其中,Jaccard(a,b)表示a和b之间的相似度,A是对应于a的分块策略集合,B是对应于b的分块策略集合。需要说明的是,|A∩B|是指对应于a的分块策略集合与对应于b的分块策略集合的交集中包含的元素,即切片的数量,|A∪B|指对应于a的分块策略集合与对应于b的分块策略集合的并集中所包含的元素的数量。例如上述的用户标识a和用户标识b,利用式(1)可以得知,用户标识a和用户标识b之间的相似度为7/13,换算作小数为0.538。
当然,对于公式(1)中的a和b可以为获取的多个用户标识中的任意两个用户标识,并不限于上述的用户标识a和用户标识b,对此本发明实施例不加以限定;另外,对于公式(1)中的A是对应于a的分块策略集合,B是对应于b的分块策略集合,所以相应地,A和B也并不限于上述集合A和集合B,对此本发明实施例也不加以限定。
需要说明的是,具体地计算用户标识相似度的方法并不限于公式(1)所示的方法,对此本发明实施例不加以限定。
优选地,在本发明实施例中,在步骤160之前,还包括:
步骤150,将所述多个用户标识中的各用户标识分别转换成分块策略集合;所述分块策略集合包括相应的用户标识的切片。
在本发明实施例中,可以在计算各用户标识的相似度之前,将各个用户标识分别转换成分块策略集合,可以理解为两种情况,其一可以在当前计算某两个用户标识的相似度之前,先将该两个用户标识转换成分块策略集合,而对于之后计算相似度的用户标识,此时并不转换;其二可以在开始计算多个用户标识中各个用户标识之间的相似度之前,将需要计算相似度的全部用户标识都转换成分块策略集合。在实际应用中,可以根据情况选择上述的任意一种情况,对此本发明实施例不加以限定。
对于具体的转换过程,如步骤160所述,在此不再赘述。
优选地,在本发明实施例中,步骤160包括:
子步骤161,分别计算各个用户标识的分块策略集合之间的交集以及并集。
在将用户标识转换为分块策略集合之后,可以分别计算各个用户标识的对应的分块策略集合之间的交集以及并集。
如上述的用户标识a的分块策略集合A{李易,易峰,峰_,_栀,栀Y,Y子,子花,花为,为你,你开},用户标识b的分块策略集合B{李易,易峰,峰_,_栀,栀子,子p,p花,花为,为你,你开}。
则分块策略集合A与分块策略集合B之间的交集为{李易,易峰,峰_,_栀,花为,为你,你开},分块策略集合A与分块策略集合B之间的并集为{李易,易峰,峰_,_栀,栀Y,Y子,子花,花为,为你,你开,栀子,子p,p花}。
子步骤162,将任意两个所述分块策略集合之间的交集与并集相除,得到对应该两个分块策略集合的用户标识之间的相似度。
需要说明的是,在本发明实施例中,将任意两个用户标识的分块策略集合之间的交集与并集相除,可以是将任意两个用户标识的分块策略集合之间的交集包含的切片个数与并集包含的切片个数相除,也即任意两个用户标识的分块策略集合之间的交集包含的元素个数与并集包含的元素个数相除,进而得到对应该两个用户标识之间的相似度。
例如,前述的用户标识a的分块策略集合A,用户标识b的分块策略集合B。其中分块策略集合A与分块策略集合B之间的交集所包含的切片个数为7,分块策略集合A与分块策略集合B之间的并集所包含的切片个数为13,因此用户标识a和用户标识b之间的相似度为7/13。
步骤170,针对所述多个用户标识中的任一用户标识,判断当前用户标识是否与超过第一数值的其他用户标识的相似度超过第一阈值;若当前用户标识与超过第一数值的其他用户标识的相似度超过第一阈值,则进入步骤180;若当前用户标识未与超过第一数值的其他用户标识的相似度超过第一阈值,则不确认该用户标识为网络水军用户标识。
在本发明实施例中,可以预置一个第一阈值,如果两个用户标识之间的相似度超过第一阈值,则说明该两个用户标识之中存在网络水军用户标识的可能性相较于相似度低于第一阈值的用户标识更高。其中第一阈值可以在本步骤之前,或者是本步骤之前的任一步骤之前根据多次试验或者实际需求设定,对此本发明实施例不加以限定。
另外,在本发明实施例中,还可以预置一个第一数值,如果同一个用户标识与超过第一数值的其他用户标识的相似度超过第一阈值,则可以确认该用户标识为网络水军用户标识。其中第一阈值也可以在本步骤之前,或者是本步骤之前的任一步骤之前根据多次试验或者实际需求设定,对此本发明实施例不加以限定。
步骤180,确认所述当前用户标识为网络水军用户标识。
优选地,在本发明实施例中,在步骤150之前,还包括:
步骤120,过滤掉所述多个用户标识中已经通过用户标识所在平台认证的用户标识。
因为本发明是基于用户标识对用户身份进行识别,而在实际应用中,IIP中的网络水军用户标识所占的比例并不大,为了避免不必要的工作量,导致工作量过大,所以在本发明实施例中,可以对从IIP中获取的多个用户标识进行筛选,过滤掉其中水军概率较低的用户标识,进而还可以降低对用户标识的误判率。
而对于已经通过所在平台认证的用户标识而言,在认证过程中已经对该用户标识的身份进行了相关的验证,因此该用户标识为网络数据用户标识的概率非常小,因此在本发明实施例中可以直接过滤掉多个用户标识中已经通过用户标识所在平台认证的用户标识。
和/或,步骤130,过滤掉所述多个用户标识中长度小于第一长度阈值的用户标识。
在实际应用中,用户标识的长度越短,其与其他用户标识相似的概率就越高,因此其被误判为网络水军用户标识的概率也就相应越高。因此在本发明实施例中,可以预置一个第一长度阈值,进而过滤掉多个用户标识中长度小于第一长度阈值的用户标识。其中,第一长度阈值可以在本步骤之前,或者是本步骤之前的任一步骤之前根据多次试验或者实际需求设定,对此本发明实施例不加以限定。
和/或,步骤140,过滤掉所述多个用户标识中完全由字母组成的用户标识,以及由连续的汉字加上连续的字母组成的用户标识。
另外,在实际应用中,绝大多数的IIP会要求用户标识必须唯一,所以一部分IIP用户会在自己的用户标识中加入了自己的英文名或拼音用于区分,而一些常见的英文名较为相似,汉字也存在很多同音字,进而导致完全由字母组成的用户标识,以及由连续的汉字加上连续的字母组成的用户标识被误判的概率也较高。所以为了尽可能地降低误判率,在本发明实施例中,也可以将这部分用户剔除。
需要说明的是,步骤120-140只是按照部分规则对用户标识进行过滤,在实际应用中,还可以根据需求按照其他的规则对用户标识进行过滤,对此本发明实施例不加以限定。
优选地,在本发明实施例中,步骤140包括:
子步骤141,利用正则表达式匹配所述多个用户标识中各用户标识的组成。
其中,用户标识的组成是指用户标识的组成结构,包括用户标识中包含的字符以及各字符的前后关系等;正则表达式,又称正规表示法、常规表示法,正则表达式可以使用单个字符串来描述、匹配一系列符合某个句法规则的字符串。
例如,用以匹配纯字母的字符串的正则表达式为:^[a-zA-Z]+$;
用以匹配纯汉字的字符串的正则表达式为:^[\u4E00-\u9FFF]+$;
用以匹配连续的汉字加上连续的字母的字符串的正则表达式为:^[\u4E00-\u9FFF]+[a-zA-Z]+$。
其中,^表示起始位置,$表示结尾位置,+表示前面的模式(中括号里的内容)可以出现任意次数(大于1次)。
在实际应用中,还有其他多种正则表达式,分别可以匹配符合不同句法规则的字符串,在此不再赘述。
如前述,本发明实施例中的用户标识是由IIP可识别的字符组成的,可以认为是字符串。因此,在本发明实施例中,可以利用^[a-zA-Z]+$匹配出完全由字母组成的用户标识,利用^[\u4E00-\u9FFF]+[a-zA-Z]+$匹配出由连续的汉字加上连续的字母组成的用户标识。
子步骤142,过滤掉所述多个用户标识中匹配为完全由字母组成的用户标识,以及匹配为由连续的汉字加上连续的字母组成的用户标识。
如上述,在本发明实施例中,只需过滤掉多个用户标识中匹配为完全由字母组成的用户标识,以及匹配为由连续的汉字加上连续的字母组成的用户标识,而对于匹配为其他类型的用户标识,不需要过滤。
优选地,在本发明实施例中,在步骤180之后,还包括:
步骤190,利用已经确定的网络水军用户标识作为训练集训练一个语言模型。
在本发明实施例中,如果某种切片出现的频率越高,则可以认为包含该切片的用户标识为网络水军用户标识的可能性就越大。
例如,考虑下述两句话:
1、你吃过饭了吗
2、你饭吃过了吗
明显第一句话更合理,所谓合理就是这句话出现的频率会更高。可以将上述两句话划分为五个词:“你”、“吃过”、“饭”、“了”、“么”,那么第一句话出现的频率可以用上述五个词的出现概率来表示:
P(你吃过饭了吗)=P(你)P(你|吃过)P(你吃过|饭)P(你吃过饭|了)P(你吃过饭了|吗) (2)
其中,P(你)表示“你”这个词出现的概率,P(你|吃过)表示“吃过”出现在“你”后面的概率,以此类推。
为了简化,可以认为每个词只与其前一个词或两个词有关。其中,每个词与其前一个词有关可以称为二元语言模型,每个词与其前两个词有关可以称为三元语言模型。在本发明实施例中,语言模型可以为二元语言模型,也可以为三元语言模型,对此本发明实施例不加以限定。
以二元语言模型为例:
P(你吃过饭了吗)=P(你)P(你|吃过)P(吃过|饭)P(饭|了)P(了|吗)(3)
此时只要知道式(3)右边的条件概率就可以算出整句话的概率,概率越高这句话越合理。由于在上面第二句话中P(饭|吃过)很低,导致第二句话的概率很小,也就是越不合理。
如果给定一个训练集,其中包括成千上万的句子以及上万个词,如果已知了诸如P(吃过|饭)的所有词之间的条件概率,就可以计算出任意一句话是否合理的概率。
所以在本发明实施例中的语言模型就可以表现为一系列词语是否出现的条件概率。例如P(吃过|饭)P(你|吃过)等等。
在实际应用中,上述的条件概率的计算方法有很多。例如可以通过最大似然估计(Maximum Likelihood,ML)来获得。最大似然估计是一种统计方法,它用来求一个样本集的相关概率密度函数的参数。
在本发明实施例中,可以将已经确定的网络水军用户标识作为训练集,使用最大似然估计得出一个语言模型。因为训练集中全部是已经确定的网络水军用户标识,所以利用该语言模型,计算一个新的用户标识出现的概率,也即为该新的用户标识为网络水军用户标识的概率,概率越高,其为网络水军用户标识的可能性越高。
因为训练集中的用户标识都是由字符构成,所以训练出的语言模型也是以字符为单位的语言模型。具体的训练过程可以为利用初始的语言模型,基于训练集,计算训练集中全部用户标识中所包含的每个字符出现的概率,例如,利用三元语言模型,计算已知两个字符,第三个字符出现的概率,如P(峰|李易),P(a|易峰)等等,然后保存这些条件概率。
优选地,在本发明实施例中,在步骤190之后,还包括:
步骤1110,当获取一个新的用户标识时,利用所述语言模型计算所述新的用户标识为网络水军用户标识的概率;如果所述概率超过第二阈值,则进入步骤1120。
在训练过语言模型之后,当获取一个新的用户标识需要进行识别时,可以将该新的用户标识作为输入值,输入语言模型,然后根据训练过的语言模型中已有的各个字符的条件概率计算该新的用户标识出现的概率,即该新的用户标识为网络水军用户标识的概率。
在本发明实施例中,可以在本步骤之前预置一个第二阈值,若计算出的该新的用户标识为网络水军用户标识的概率超过第二阈值,则可以确认该新的用户标识为网络水军用户标识,而若该新的用户标识为网络水军用户标识的概率未超过第二阈值,则不可以确认该新的用户标识为网络水军用户标识。其中,第二阈值可以根据多次试验或实际需求设定,对此本发明实施例不加以限定。
步骤1120,确认所述新的用户标识为网络水军用户标识。
在本发明实施例中,获取多个用户标识,计算所述多个用户标识中各用户标识之间的相似度,针对所述多个用户标识中的任一用户标识,判断当前用户标识是否与超过第一数值的其他用户标识的相似度超过第一阈值,若当前用户标识与超过第一数值的其他用户标识的相似度超过第一阈值,则确认所述当前用户标识为网络水军用户标识。以用户标识作为参数,对各用户标识进行身份识别,从而降低了时间成本以及对数据的完备性要求,进而提高了对用户识别的效率以及适用性。
实施例二
参照图2,示出了根据本发明一个实施例的一种用户标识识别方法实施例的步骤流程图,具体可以包括如下步骤:
步骤210,获取多个用户标识。
步骤220,将所述多个用户标识中的各用户标识分别转换成分块策略集合;所述分块策略集合包括相应的用户标识的切片。
步骤230,利用N个第一哈希函数分别计算各个用户标识的分块策略集合包含的元素的哈希签名;所述N个第一哈希函数各不相同。
在实际应用中,如果按照实施例一的方法,直接依次比较各个用户昵称之间的相似度,时间复杂度为O(n2),其中,O(f(n))是时间复杂度函数,可以定量的描述算法f(n)的运行时间,n为需要进行识别的用户标识的数量,通常n可以高达数亿,因此直接进行比较的效率还是比较低。
在本发明实施例中,为了进一步提高识别的效率,可以采用基于最小哈希(MinHash)算法的局部敏感哈希方法(Locality Sensitive Hashing,LSH)以降低比较的次数。
其中,MinHash算法是用于快速检测两个集合的相似性的方法。
定义,h(x)为把x映射成一个整数的哈希(Hash)函数,该整数可以称为x的哈希值;hmin(S)为集合S中的各元素经过h(x)哈希后得到的哈希值中最小的哈希值。其中,哈希算法将任意长度的二进制值映射为较短的固定长度的二进制值,这个小的二进制值称为哈希值。哈希值是一段数据唯一且极其紧凑的数值表示形式。
常用的构造哈希算法的方法包括:直接寻址法、数字分析法、平方取中法、折叠法、随机数法、除留余数法等等。
其中,直接寻址法就是选取关键字的某个线性函数值为哈希值。哈希函数的一般形式为:h(key)=a*key+b,其中a、b为常量参数,key为要计算哈希值的关键字;
数字分析法是取关键字中某些取值较分散的数字位作为哈希值的方法,它适合于所有关键字已知的情况。例如,可以取关键字的最后两位作为哈希值;
平方取中法是取关键字平方的中间几位作为哈希值的方法,具体取多少位视实际要求而定;
折叠法是首先将关键字分割成位数相同的几段,段的位数取决于哈希值的位数,由实际需要而定,然后将他们叠加求和作为哈希值的方法;
随机数法是选择一个随机函数,取关键字的随机函数值作为哈希值的方法。哈希函数的一般形式为:h(key)=random(key),其中random为随机函数。
除留余数法,就是选取关键字除以整数p的余数作为哈希值。哈希函数的一般形式为:h(key)=key%p,其中p是一个整数;
常用的哈希算法包括:MD4(Message Digest 4,信息摘要算法4)、MD5(MessageDigest 5,信息摘要算法5)、SHA-1(Secure Hash Algorithm,安全散列算法),等等。
对于一个包含多个元素的集合而言,hmin(S)为一个值,所以hmin(S)的数量必然小于集合S中包含的元素的数量。
那么对集合A、B,hmin(A)=hmin(B)成立的条件是A∪B中具有最小哈希值的元素也在A∩B中。
所以有,P[hmin(A)=hmin(B)]=Jaccard(A,B),即集合A和B的相似度为集合A、B经过hash后最小哈希值相等的概率。
所以在本发明实施例中,可以基于各个用户标识的分块策略集合,利用N个第一哈希函数,分别计算各个分块策略集合的最小哈希签名,即上述的最小哈希值。其中,N的取值大于2,且可以根据需求N的具体取值,对此本发明实施例不加以限定。而且,N个第一哈希函数互不相同,具体的互不相同,可以包括,同一类型的哈希函数但是参数有所不同,或者是不同类型的哈希函数,对此本发明实施例不加以限定。
由上述分析可知,经过MinHash算法之后,可以得到各个分块策略集合的最小哈希签名,因此最小哈希签名的数量等于分块策略集合的数量,也即等于多个用户标识的数量,如经过实施例一中步骤120-140对获取的多个用户标识进行筛选的过程后,则最小哈希签名的数量等于筛选后的用户标识的数量。相对于实施例一中需要考虑各个分块策略集合中包含的切片,即上述的集合中的元素,进而计算各用户标识之间的相似度,此时需要考虑的数据量明显减少很多。
另外,局部敏感哈希方法的基本思想是:将原始数据空间中的两个相邻数据点通过相同的映射或投影变换(projection)后,这两个数据点被映射到同一个存储空间的概率很大,而不相邻的数据点被映射到同一个存储空间的概率很小。
所以,在本发明实施例中,在利用N个第一哈希函数,构建第二矩阵后,可以利用局部敏感哈希算法判断各个用户标识是否为映射到同一个存储空间。
步骤240,针对每个第一哈希函数,分别选择各个用户标识的分块策略集合包含的元素对应于该第一哈希函数的哈希签名中的最小值,构建第二矩阵;所述第二矩阵的列分别对应所述多个用户标识中的各用户标识,行分别对应各个第一哈希函数。
在本发明实施例中,因为N个第一哈希函数互不相同,所以各个哈希函数针对同一集合中的元素计算得出的哈希签名也不完全相同。当然,若其中存在w个第一哈希函数相同的情况,则相当于是利用N-w+1个第一哈希函数,构建第二矩阵。
对于为何选择当前用户标识的哈希签名中的最小值,即最小哈希签名作为当前用户标识以及当前第一哈希函数对应在所述第二矩阵中的取值,原因如下:
因为对于任意两个集合而言,两集合的最小hash签名值相等的概率就等于集合之间的相似度。这个结论也是上述的MinHash算法的核心思想。具体证明过程可以如下:
假设在图3A所示的第一矩阵中只考虑用户标识S1和S2对应的列,那么它们的行的所有的取值结果必定属于以下三类:
(1)X类,两列在该行的取值均为1,即两个用户标识中都包含该行对应的元素。
(2)Y类,其中一列在该行的取值为1,另一列在该行的取值为0,即其中一个用户标识包含该行对应的元素,而另一个用户标识不包含该行对应的元素。
(3)Z类,两列在该行的取值均为0,即两个用户标识中都不包含该行对应的元素。
在实际应用中,任意两个用户标识包含同一元素的概率比较小,因此大多数的行都属于Z类。假设属于X类的行的数目为x,属于Y类的行的数目为y,那么S1与S2的交集中包含的元素个数就等于x,S1与S2的并集中包含的元素个数就等于x+y。因此,S1与S2的相似度等于x/(x+y)。
考虑S1和S2的最小hash值相等的概率,假设对所有行进行随机排列转换,然后从上向下进行扫描,在碰到Y类的行之前先遇到X类的行的概率等于x/(x+y)。而从上往下扫描且在Y类之前先遇到X类,意味着在Y类之前的某一行如果不属于Z类则必然属于X类,而X类就意味着hmin(S1)=hmin(S2),也就是S1和S2的最小hash签名值相等。因此hmin(S1)=hmin(S2)的概率等于S1和S2的相似度。
因此,在本发明实施例中,可以直接选择利用当前第一哈希函数计算出的当前用户标识的哈希签名中的最小值,即最小哈希签名值,作为当前用户标识对应于当前第一哈希函数在所述第二矩阵中的取值,此时最小哈希签名值相等的概率即为对应各用户标识之间的相似度。
例如,对任一用户标识S,调用N个随机生成的hash函数h1,h2,h3…hn,则可以获取n个最小hash签名,进而构建用户标识S对应的最小hash签名向量,因此可以针对各个用户标识,构建一个第二矩阵。根据前文的论述,两个集合S1与S2之间的Jaccard相似度可以由hmin(S1)=hmin(S2)的概率来度量,也就是说,当N足够大时,根据大数定理,S1与S2的相似度就近似等于S1与S2在第二矩阵中对应的列向量中相等的元素所占的比例,通常根据此方法得到的相似度的估算值与真实值的误差很小。这个过程即为上述的MinHash算法。
在本发明实施例中的各个第一哈希函数可以是随机生成的哈希函数,其具体形式可以为上述的任意一种常用哈希算法或者哈希函数,但是N个哈希函数互不相同。对此本发明实施例不加以限定。
在本发明实施例中,所构建的第二矩阵的列可以分别对应所述多个用户标识中的各用户标识,行则可以分别对应各个第一哈希函数。也可以,第二矩阵的列分别对应各个第一哈希函数,行分别对应所述多个用户标识中的各用户标识。对此本发明实施例不加以限定。
步骤250,根据所述第二矩阵,获取所述多个用户标识中的相似候选用户标识对。
在实际应用中,即使可以利用MinHash算法,将各个用户标识的分块策略集合整合压缩成第二矩阵并且保持了任意用户标识对之间的相似度,但是此时需要比较的用户标识的数目仍然为初始获取的用户标识数目,因此需要找到一种可以减小比较次数方法。
由于本发明实施例的目标是计算相似度超过某个阈值的用户标识对,所以可以只关注所获取的多个用户标识中的可能相似的用户标识对,即本发明实施例所称的相似候选用户标识对,而不需要研究所有的用户标识对。如前述,在本发明实施例中可以利用LSH方法根据第二矩阵,获取多个用户标识中的相似候选用户标识对。
LSH算法可以对目标项进行多次hash处理,从而使相似项比不相似项更可能被hash到同一个存储空间中,然后将至少有一次hash到一个桶中的目标项作为候选相似对;或者是对目标项进行多次hash处理,将至少有一次hash值相同的目标项作为候选相似对。在本发明实施例中,目标项可以为第二矩阵中的最小哈希签名。
优选地,在本发明实施例中,步骤250,包括:
子步骤251,以行为单位,将所述第二矩阵切分为至少两个子矩阵;所述子矩阵中包含的行数相同。
在本发明实施例中,在获取了用户标识对应的第二矩阵后,可以首先以行为单位,将第二矩阵切分为至少两个子矩阵,每个子矩阵中所包含的行数是相同的。在实际应用中,具体将第二矩阵切分为子矩阵的个数,以及每个子矩阵中包含的行数可以根据第二矩阵的尺寸,按照经验或者实际需求等设置,对此本发明实施例不加以限定。
例如,图2A所示将第二矩阵切分为多个子矩阵的示例。其中,行条1、行条2、行条3、行条4分别为一个子矩阵。可以看出该图所示的是将一个哈希签名矩阵切分为四个子矩阵,每个子矩阵中包含四行。因为在本发明实施例中,第二矩阵中的每行所包含的最小哈希签名的个数是一致的,因此每个子矩阵中包含的最小哈希签名的个数也是一致的。
需要说明的是,若此时第二矩阵的列分别对应各个第一哈希函数,行分别对应所述多个用户标识中的各用户标识,那么此时是以列为单位,将所述第二矩阵切分为至少两个子矩阵;所述子矩阵中包含的列数相同。
子步骤252,利用第二哈希函数分别计算当前子矩阵中各个列的哈希值。
在本发明实施例中,可以利用第二哈希函数分别计算当前子矩阵中各个列所包含的最小哈希签名的哈希值,第二哈希函数也可以是随机生成的哈希函数,其也可以为前述的常用的哈希算法或者哈希函数中的任意一种,对此本发明实施例不加以限定。但是对于属于同一个第二矩阵的各个子矩阵而言,所利用的第二哈希函数是一致的。
需要说明的是,在本发明实施例中第二哈希函数与第一哈希函数的具体作用以及操作对象不同。第一哈希函数的作用是计算各个用户标识包含元素的哈希签名,第一哈希函数的操作对象是各个用户标识包含的元素;而第二哈希函数的作用是计算当前子矩阵中各个列所包含的最小哈希签名的哈希值,其操作对象是第二矩阵切分得到的各个子矩阵。
在本发明实施例中,可以按照一定顺序利用第二哈希函数分别计算当前子矩阵中各个列的哈希值,也即各个列包含的最小哈希签名的哈希值。例如,对于图2A所示的四个子矩阵,可以按照从上到下的顺序利用第二哈希函数依次分别计算当前子矩阵中的各个列包含的最小哈希签名的哈希值。当然,也可以按照从下往上,或者是其他顺序,对此本发明实施例不加以限定。
需要说明的是,若此时第二矩阵的列分别对应各个第一哈希函数,行分别对应所述多个用户标识中的各用户标识,那么此时是利用第二哈希函数分别计算当前子矩阵中的各个行的哈希值。具体的过程与上述的类似,只是把列替换为行,在此不再赘述。
子步骤253,根据当前子矩阵中各个列的哈希值,获取相似候选用户标识对。
在获取了当前子矩阵中各个列所包含的最小哈希签名的哈希值之后,可以进一步比较各个列所包含的最小哈希签名的哈希值,如果存在多个列所包含的最小哈希签名的哈希值分别依次相等,则可以认为这多个列中的任意两列对应的用户标识为相似候选用户标识对。
其中,多个列所包含的最小哈希签名的哈希值分别依次相等,是指每列包含的属于同一行的最小哈希签名的哈希值相等。例如,对于一个包含的行数为3的子矩阵中的两列最小哈希签名,每一列对应一个用户昵称。如果第一列第一行的最小哈希签名的哈希值为3,第一列第二行的最小哈希签名的哈希值为5,第一列第三行的最小哈希签名的哈希值为7,第二列第一行的最小哈希签名的哈希值为3,第二列第二行的最小哈希签名的哈希值为5,第二列第三行的最小哈希签名的哈希值为7,则对应这两列的两个用户标识可以被判定为相似候选用户标识对。
在本发明实施例中,还可以利用第二哈希函数将当前子矩阵中的各个列映射到M个存储空间中。其中,M个存储空间是可以根据实际情况,例如第二哈希函数、哈希签名矩阵等,预先设置的M个存储空间,M的具体取值也可以根据实际情况设置,对此本发明实施例不加以限定。在预置M个存储空间时,可以分别设置每个存储空间对应于一个数值。另外,存储空间的具体存在形式包括队列、数组等等,对此本发明实施例也不加以限定。
在本发明实施例中,可以按照一定顺序利用第二哈希函数分别将各个子矩阵中包含的列映射到存储空间中。例如,对于图2A所示的四个子矩阵,可以按照从上到下的顺序利用第二哈希函数依次分别将各个子矩阵中包含的列映射到存储空间中。当然,也可以按照从下往上,或者是其他顺序,对此本发明实施例不加以限定。
具体地,可以利用第二哈希函数分别计算当前子矩阵中的各个列中各个最小哈希签名的哈希值,若计算得到的当前子矩阵中的某个列的某个最小哈希签名的哈希值为某个存储空间对应的数值,则可以将该最小哈希签名映射到该存储空间中。
例如,可以分别将M个存储空间编号为O0、O1、O2、......、Om-1,各个存储空间对应的数值依次分别为0、1、2......、9。假设此时采用x%10(除10取余)作为第二哈希函数,计算当前子矩阵中的各个列中各个最小哈希签名的哈希值,那么如果最小哈希签名x的值为12,则x就被映射到编号为O2的存储空间中,如果x值为13,那么x就被映射到编号为O3的存储空间中。
在本发明实施例中,对于当前子矩阵而言,如果其中两列所包含的最小哈希签名依次被映射到同样的存储空间中,则可以判定该两列对应的用户标识为相似候选用户标识对。
例如,对于一个包含的行数为3的子矩阵中的两列最小哈希签名,每一列对应一个用户昵称。如果第一列的三个最小哈希签名被第二哈希函数依次映射至的存储空间编号依次为O3、O5、O7,第二列的三个最小哈希签名映射后对应的存储空间编号也是O3、O5、O7,则对应这两列的两个用户标识可以被判定为相似候选用户标识对。而如果第二列的三个最小哈希签映射后对应的存储空间编号是O3、O6、O7,或者O7、O5、O3,则对于当前子矩阵,对应这两列的两个用户标识不可以被判定为相似候选用户标识对,需要通过后面的子矩阵继续进行判定。
需要说明的是,若此时第二矩阵的列分别对应各个第一哈希函数,行分别对应所述多个用户标识中的各用户标识,那么此时是根据当前子矩阵中的各个行的哈希值,获取相似候选用户标识对。具体的过程与上述的类似,只是把列替换为行,在此不再赘述。
优选地,在本发明实施例中,子步骤253包括:
子步骤2531,获取当前子矩阵中哈希值相同的列对应的各用户标识,并以其中的任意两个用户标识作为一个相似候选用户标识对。
其中,哈希值相同的列是指各列包含的属于同一行的最小哈希签名的哈希值相同。此时可以以当前子矩阵中哈希值相同的任意两列对应的用户标识作为一个相似候选用户标识对。
如前述,在本发明实施例中,若利用第二哈希函数将当前子矩阵中的各个列映射到M个存储空间中,则此时可以通过获取当前子矩阵中映射到同样存储空间的列对应的各用户标识,并以其中的任意两个用户标识作为一个相似候选用户标识对。其中,映射到同样存储空间是指各个列中包含的对应各行的最小哈希签名,对应同一行的最小哈希签名映射至同一存储空间。
例如,对于前述的一个包含的行数为3的子矩阵中的两列最小哈希签名,每一列对应一个用户昵称。如果第一列第一行的最小哈希签名映射至O3,第一列第二行的最小哈希签名映射至O5,第一列第三行的最小哈希签名映射至O7,第二列第一行的最小哈希签名映射至O3,第二列第二行的最小哈希签名映射至O5,第二列第三行的最小哈希签名映射至O7,则此时可以认为该两列被映射到同样的存储空间,那么对应这两列的两个用户标识可以被判定为相似候选用户标识对。
而在实际应用中,可能存在多个列映射到同样的存储空间中,则此时可以确认映射到同样存储空间中的列对应的各用户标识中的任意两个用户标识为一个相似候选用户标识对。
例如,若存在三个列映射到同样的存储空间中,这三个列对应的用户标识分别为S1、S2、S3。那么此时可以确认的相似候选用户标识对包括:S1和S2、S1和S3、S2和S3。
需要说明的是,若此时第二矩阵的列分别对应各个第一哈希函数,行分别对应所述多个用户标识中的各用户标识,那么此时是获取当前子矩阵中哈希值相同的行对应的各用户标识,并以其中的任意两个用户标识作为一个相似候选用户标识对。具体的过程与上述的类似,只是把列替换为行,在此不再赘述。
子步骤2532,按照切分的顺序,将当前子矩阵的下一个子矩阵作为当前子矩阵,并利用第二哈希函数分别计算当前子矩阵中除了已确认为相似候选用户标识对的用户标识对应的列以外的各个列的哈希值,然后进入步骤2531。
在本发明实施例中,对于已经确认为相似候选用户标识对的用户标识对应的列,为了减少计算量,在后续的计算子矩阵的哈希值的过程中,可以不需要再计算已经确认为相似候选用户标识对的用户标识对应的列中的最小哈希签名的哈希值。
例如,对于图2A中前两列,如果已经计算出行条1中包含的前两列的部分的哈希值相同,则可以确认这两列对应的用户标识为相似候选用户标识对,那么对于后续的行条2、行条3、行条4,则不需要利用第二哈希函数,计算其中包含的前两列的部分的哈希值。
需要说明的是,若此时第二矩阵的列分别对应各个第一哈希函数,行分别对应所述多个用户标识中的各用户标识,那么此时是按照切分的顺序,将当前子矩阵的下一个子矩阵作为当前子矩阵,并利用第二哈希函数分别计算当前子矩阵中除了已确认为相似候选用户标识对的用户标识对应的行以外的各个行的哈希值,然后获取当前子矩阵中哈希值相同的行对应的各用户标识,并以其中的任意两个用户标识作为一个相似候选用户标识对。具体的过程与上述的类似,只是把列替换为行,在此不再赘述。
步骤260,计算每个所述相似候选用户标识对对应的两个用户标识之间的相似度。
此时是计算每个相似候选用户标识对对应的两个用户标识之间的相似度。例如,对于由用户标识S1、用户标识S2组成的相似候选用户标识对,以及由用户标识S3、用户标识S4组成的相似候选用户标识对。则此时只需计算S1与S2之间的相似度,以及S3与S4之间的相似度,而不需要计算S1与S3、S2与S3,等等之间的相似度。
具体的计算相似度的方法与前述的步骤120类似,在此不再赘述。
步骤270,判断各个相似候选用户标识对包含的两个用户标识之间的相似度是否超过第一阈值;若超过,则进入步骤280;若未超过,则不对该相似候选用户标识执行后续的操作。
在本发明实施例中,确认了相似候选用户标识对后,可以只计算各个相似候选用户标识对包含的两个用户标识之间的相似度,进一步地,可以判断各个相似候选用户标识对包含的两个用户标识之间的相似度是否超过第一阈值。
步骤280,确认该相似候选用户标识对为相似用户标识对。
步骤290,判断包含当前用户标识的相似用户标识对的数量是否超过第一数值,若包含当前用户标识的相似用户标识对的数量超过第一数值,则进入步骤2110。
如果某一个用户标识存在于超过第一数值的相似用户标识对中,则说明该用户标识与超过第一数值的其他用户标识之间的相似度超过第一阈值,那么可以确认该用户标识为网络水军用户标识。
步骤2110,确认所述当前用户标识为网络水军用户标识。
在确认网络水军用户标识之后,在实际应用中,对于确认的网络水军用户标识,为了达到提高IIP平台中数据的有效性,降低IIP平台中的非法广告、无效数据等冗余数据等目的,可以将网络水军用户标识发布的消息屏蔽,或者是直接将网络水军用户标识删除。当然,具体的应用还有很多,在此不再赘述。
在本发明实施例中,同样获取多个用户标识,计算所述多个用户标识中各用户标识之间的相似度,针对所述多个用户标识中的任一用户标识,判断当前用户标识是否与超过第一数值的其他用户标识的相似度超过第一阈值,若当前用户标识与超过第一数值的其他用户标识的相似度超过第一阈值,则确认所述当前用户标识为网络水军用户标识。以用户标识作为参数,对各用户标识进行身份识别,从而降低了时间成本以及对数据的完备性要求,进而提高了对用户识别的效率以及适用性。
另外,本发明实施例利用基于MinHash的LSH算法,首先利用第一哈希函数创建第二矩阵,然后对第二矩阵进行切分成多个子矩阵,进一步利用第二哈希函数依次将各个子矩阵映射到不同的存储空间中,从而可以从多个用户标识中选择出相似度较高的相似候选用户标识对,最终只需计算各个相似用户标识对中包含的两个用户标识之间的相似度,从而进一步地降低了计算量,提高了水军用户识别的效率。
实施例三
参照图3,示出了根据本发明一个实施例的一种用户标识识别方法实施例的步骤流程图,具体可以包括如下步骤:
步骤310,获取多个用户标识。
步骤320,将所述多个用户标识中的各用户标识分别转换成分块策略集合;所述分块策略集合包括相应的用户标识的切片。
步骤330,根据所述多个用户标识中各用户标识与各用户标识的分块策略集合中的各元素之间的关系,构建第一矩阵;其中,所述第一矩阵的列对应于各用户标识;所述第一矩阵的行对应于各用户标识的分块策略集合中的各元素;如果用户标识中包含所述元素中的任一元素,则对应在所述第一矩阵中的值为第二数值;如果用户标识中不包含该元素,则对应在所述第一矩阵中的值为第三数值。
在本发明实施例中,用户标识中包含的是字符。而为了进一步降低构建第三矩阵的过程中第一哈希函数处理的数据量大小,同时便于构建第三矩阵,所以首先可以根据所述多个用户标识中各用户标识与各用户标识的分块策略集合中的各元素之间的关系,构建第一矩阵。第一矩阵的列对应于各个用户标识,行对应于各用户标识的分块策略集合中的各元素。
具体地,如果用户标识中包含所述元素中的任一元素,则对应在所述第一矩阵中的值为第二数值;如果用户标识中不包含该元素,则对应在所述第一矩阵中的值为第三数值。其中的元素可以为前述的各个分块策略集合中的切片。
其中,第二数值和第三数值可以为任意的互不相同的数值,对此本发明实施例不加以限制。在实际应用中,为了节约存储空间,可以只记录第二数值在第一矩阵中的位置。
在本发明实施例中,优选地,可以取第二数值为1,第三数值为0。如图3A即为有优选地一种第一矩阵示意图。其中,S1、S2、S3、S4表示4个分块策略集合,也可以理解为4个用户标识,a、b、c、d、e表示元素,如果集合包含某元素,则矩阵中相应位置的值为1,否则为0。
另外需要说明的是,在本发明实施例中,在创建了第一矩阵之后,还可以分别针对任意两个用户标识对应的列,判断它们的行的所有的取值结果分别属于上述的X类的行的数目x,以及Y类的行的数目y,那么此时该两个用户标识之间的相似度为x/(x+y)。
步骤340,对所述第一矩阵进行N次随机行变换,并且在每次随机行变换后,选择各个用户标识包含的元素在本次随机行变换后的第一矩阵中行号的最小值,构建第三矩阵;所述第三矩阵的行分别对应随机行变换的次数,所述第三矩阵的列分别对应各个用户标识。
在本发明实施例中,还可以对第一矩阵进行N次随机行变换,每次随机行变换后取各个用户标识的元素在本次变换后的第一矩阵中的最小行号作为各个用户标识对应本次随机行变换在第三矩阵中的取值。而若在第一矩阵中的列对应各个元素,行对应各个用户标识,那么此时可以对第一矩阵进行N次随机列变换,每次随机列变换后取各个用户标识的元素在本次变换后的第一矩阵中的最小列号作为各个用户标识对应本次随机列变换在第三矩阵中的取值。下面以随机行变换为例详细说明。
如图3B为对图3A所示的第一矩阵进行随机行变换后的示意图。可以看出,经过随机行变换之后,a对应的行向量由第一行移动到了第三行,b对应的行向量由第二行移动到了第一行,c对应的行向量由第三行移动到了第五行,e对应的行向量由第四行移动到了第二行,而d对应的行向量为变化。
在对第一矩阵进行随机行变换之后,可以进一步地相应获取变换后的第一矩阵各个列中取值为第二数值的元素所在的行号,然后取最小的行号作为各个列对应的用户标识对应于本次随机行变换在第三矩阵中的取值。
在本发明实施例中,若以变换后的第一矩阵各个列中取值为第二数值的元素在第一矩阵中的行号,作为该元素的哈希签名。那么在本发明实施例中,选择哈希签名中的最小值作为当前用户标识对应于本次随机行变换在第三矩阵中的取值,也即,以变换后的第一矩阵各个列中取值为第二数值的元素在第一矩阵中的行号的最小值,作为该列对应的用户标识对应于本次随机行变换在第三矩阵中的取值。
例如,对于图3B所示的经过随机行变换后的第一矩阵。其中,S1对应的列中取值为1的元素a、d所在的行中最小行号是第3行,S2对应的列中取值为1的元素c首先出现在第5行,S3对应的列中取值为1的元素b、e、d所在的行中最小行号是第1行,S4对应的列中取值为1的元素a、d、c所在的行中最小行号是第3行。
因此可知,S1在第三矩阵中对应于本次随机行变换的取值为3,S2在第三矩阵中对应于本次随机行变换的取值为5,S3在第三矩阵中对应于本次随机行变换的取值为1,S4在第三矩阵中对应于本次随机行变换的取值为3。
步骤350,根据所述第三矩阵,获取所述多个用户标识中的相似候选用户标识对。
本步骤与实施例二中的步骤250类似,本步骤中的第三矩阵相当于步骤250中的第二矩阵,在此不再赘述。
优选地在本发明实施例中,所述步骤350可以包括:
子步骤351,以行为单位,将所述第三矩阵切分为至少两个子矩阵;所述子矩阵中包含的行数相同。
本步骤与实施例二中的步骤251类似,本步骤中的第三矩阵相当于步骤251中的第二矩阵,在此不再赘述。
子步骤352,利用第二哈希函数分别计算当前子矩阵中各个列的哈希值。
子步骤353,根据当前子矩阵中各个列的哈希值,获取相似候选用户标识对。
优选地,在本发明实施例中,所述步骤353可以包括:
子步骤3531,获取当前子矩阵中哈希值相同的列对应的各用户标识,并以其中的任意两个用户标识作为一个相似候选用户标识对。
子步骤3532,按照切分的顺序,将当前子矩阵的下一个子矩阵作为当前子矩阵,并利用第二哈希函数分别计算当前子矩阵中除了已确认为相似候选用户标识对的用户标识对应的列以外的各个列的哈希值,然后进入子步骤3531。
步骤360,计算每个所述相似候选用户标识对对应的两个用户标识之间的相似度。
步骤370,针对所述多个用户标识中的任一用户标识,判断当前用户标识是否与超过第一数值的其他用户标识的相似度超过第一阈值;若当前用户标识与超过第一数值的其他用户标识的相似度超过第一阈值,则进入步骤380。
步骤380,确认所述当前用户标识为网络水军用户标识。
在本发明实施例中,同样获取多个用户标识,计算所述多个用户标识中各用户标识之间的相似度,针对所述多个用户标识中的任一用户标识,判断当前用户标识是否与超过第一数值的其他用户标识的相似度超过第一阈值,若当前用户标识与超过第一数值的其他用户标识的相似度超过第一阈值,则确认所述当前用户标识为网络水军用户标识。以用户标识作为参数,对各用户标识进行身份识别,从而降低了时间成本以及对数据的完备性要求,进而提高了对用户识别的效率以及适用性。
另外,在本发明实施例中,可以先基于各个用户标识的分块策略集合,创建第一矩阵,然后对第一矩阵进行N次随机行变换,创建第三矩阵,从而可以从多个用户标识中选择出相似度较高的相似候选用户标识对,最终只需计算各个相似用户标识对中包含的两个用户标识之间的相似度,从而也可以降低计算量,提高水军用户识别的效率。但是,相对于实施例二中利用N个第一哈希函数创建第二矩阵的方法,本发明实施例随机行变换仍然会耗费比较多的时间,所以相对而言,实施例二对水军用户识别的效率更高。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请实施例并不受所描述的动作顺序的限制,因为依据本申请实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本申请实施例所必须的。
实施例四
参照图4,示出了根据本发明一个实施例的一种用户标识识别装置实施例的结构框图,具体可以包括如下模块:
用户标识获取模块410,用于获取多个用户标识。
计算模块420,用于计算所述多个用户标识中各用户标识之间的相似度。
优选地,在本发明实施例中,还包括:
转换模块,用于将所述多个用户标识中的各用户标识分别转换成分块策略集合;所述分块策略集合包括相应的用户标识的切片。
在实际应用中,转换模块可以在计算模块420之前执行操作。
优选地,在本发明实施例中,所述计算模块420,包括:
交并集计算子模块,用于分别计算各个用户标识的分块策略集合之间的交集以及并集。
相似度计算子模块,用于将任意两个所述分块策略集合之间的交集与并集相除,得到对应该两个分块策略集合的用户标识之间的相似度。
判断模块430,用于针对所述多个用户标识中的任一用户标识,判断当前用户标识是否与超过第一数值的其他用户标识的相似度超过第一阈值。若当前用户标识与超过第一数值的其他用户标识的相似度超过第一阈值,则进入第一水军确认模块440。
第一水军确认模块440,用于若当前用户标识与超过第一数值的其他用户标识的相似度超过第一阈值,则确认所述当前用户标识为网络水军用户标识。
优选地,在本发明实施例中,还包括:
第一过滤模块,用于过滤掉所述多个用户标识中已经通过用户标识所在平台认证的用户标识。
和/或,第二过滤模块,用于过滤掉所述多个用户标识中长度小于第一长度阈值的用户标识。
和/或,第三过滤模块,用于过滤掉所述多个用户标识中完全由字母组成的用户标识,以及由连续的汉字加上连续的字母组成的用户标识。
上述的第一过滤模块,和/或第二过滤模块,和/或第三过滤模块都可以在转换模块之前,用户标识获取模块之后执行。
优选地,在本发明实施例中,所述第三过滤模块,包括:
组成匹配子模块,用于利用正则表达式匹配所述多个用户标识中各用户标识的组成。
第三过滤子模块,用于过滤掉所述多个用户标识中匹配为完全由字母组成的用户标识,以及匹配为由连续的汉字加上连续的字母组成的用户标识。
优选地,在本发明实施例中,还包括:
语言模型训练模块,适于利用已经确定的网络水军用户标识作为训练集训练一个语言模型。
在本发明实施例中,语言模型训练模块可以在第一水军确认模块340之后执行具体操作。
优选地,在本发明实施例中,还包括:
概率计算模块,适于当获取一个新的用户标识时,利用所述语言模型计算所述新的用户标识为网络水军用户标识的概率;如果所述概率超过第二阈值,则进入第二水军确认模块;
第二水军确认模块,适于确认所述新的用户标识为网络水军用户标识。
在本发明实施例中,概率计算模块和第二水军确认模块可以依次在语言模型训练模块之后执行具体操作。
在本发明实施例中,获取多个用户标识,计算所述多个用户标识中各用户标识之间的相似度,针对所述多个用户标识中的任一用户标识,判断当前用户标识是否与超过第一数值的其他用户标识的相似度超过第一阈值,若当前用户标识与超过第一数值的其他用户标识的相似度超过第一阈值,则确认所述当前用户标识为网络水军用户标识。以用户标识作为参数,对各用户标识进行身份识别,从而降低了时间成本以及对数据的完备性要求,进而提高了对用户识别的效率以及适用性。
实施例五
参照图5,示出了根据本发明一个实施例的一种用户标识识别装置实施例的结构框图,具体可以包括如下模块:
用户标识获取模块510,用于获取多个用户标识。
转换模块520,用于将所述多个用户标识中的各用户标识分别转换成分块策略集合;所述分块策略集合包括相应的用户标识的切片。
计算模块530,用于计算所述多个用户标识中各用户标识之间的相似度。具体包括:
哈希签名计算子模块531,用于利用N个第一哈希函数分别计算各个用户标识的分块策略集合包含的元素的哈希签名;所述N个第一哈希函数各不相同。
第二矩阵构建子模块532,用于针对每个第一哈希函数,分别选择各个用户标识的分块策略集合包含的元素对应于该第一哈希函数的哈希签名中的最小值,构建第二矩阵;所述第二矩阵的列分别对应所述多个用户标识中的各用户标识,行分别对应各个第一哈希函数。
第一相似候选用户标识对获取子模块533,用于根据所述第二矩阵,获取所述多个用户标识中的相似候选用户标识对。
优选地,在本发明实施例中,所述第一相似候选用户标识对获取子模块533,包括:
第二矩阵切分单元,用于以行为单位,将所述第二矩阵切分为至少两个子矩阵;所述子矩阵中包含的行数相同。
哈希值计算单元,用于利用第二哈希函数分别计算当前子矩阵中各个列的哈希值。
相似候选用户标识对获取单元,用于根据当前子矩阵中各个列的哈希值,获取相似候选用户标识对。
优选地,在本发明实施例中,所述相似候选用户标识对获取单元,包括:
相似候选用户标识对获取子单元,用于获取当前子矩阵中哈希值相同的列对应的各用户标识,并以其中的任意两个用户标识作为一个相似候选用户标识对;
当前子矩阵确认子单元,用于按照切分的顺序,将当前子矩阵的下一个子矩阵作为当前子矩阵,并利用第二哈希函数分别计算当前子矩阵中除了已确认为相似候选用户标识对的用户标识对应的列以外的各个列的哈希值,然后针对当前子矩阵,进入相似候选用户标识对获取子单元。
计算子模块534,用于计算每个所述相似候选用户标识对对应的两个用户标识之间的相似度。
在本发明实施例中,上述的哈希签名计算子模块、第一第二矩阵构建子模块以及相似候选用户标识对获取子模块都可以依次在计算模块之前,或者是在计算模块之前的任一模块之前,执行具体的操作,对此本发明不加以限定。
判断模块540,用于针对所述多个用户标识中的任一用户标识,判断当前用户标识是否与超过第一数值的其他用户标识的相似度超过第一阈值。具体包括:
第一判断子模块541,用于判断各个相似候选用户标识对包含的两个用户标识之间的相似度是否超过第一阈值;若超过,则进入第一确认子模块542。
第一确认子模块542,用于确认该相似候选用户标识对为相似用户标识对。
第二判断子模块543,用于判断包含当前用户标识的相似用户标识对的数量是否超过第一数值,若包含当前用户标识的相似用户标识对的数量超过第一数值,则进入第一水军确认模块550。
第一水军确认模块550,用于若当前用户标识与超过第一数值的其他用户标识的相似度超过第一阈值,则确认所述当前用户标识为网络水军用户标识。
在本发明实施例中,同样获取多个用户标识,计算所述多个用户标识中各用户标识之间的相似度,针对所述多个用户标识中的任一用户标识,判断当前用户标识是否与超过第一数值的其他用户标识的相似度超过第一阈值,若当前用户标识与超过第一数值的其他用户标识的相似度超过第一阈值,则确认所述当前用户标识为网络水军用户标识。以用户标识作为参数,对各用户标识进行身份识别,从而降低了时间成本以及对数据的完备性要求,进而提高了对用户识别的效率以及适用性。
另外,本发明实施例利用基于MinHash的LSH算法,首先利用第一哈希函数创建第二矩阵,然后对第二矩阵进行切分成多个子矩阵,进一步利用第二哈希函数依次将各个子矩阵映射到不同的存储空间中,从而可以从多个用户标识中选择出相似度较高的相似候选用户标识对,最终只需计算各个相似用户标识对中包含的两个用户标识之间的相似度,从而进一步地降低了计算量,提高了水军用户识别的效率。
实施例六
参照图6,示出了根据本发明一个实施例的一种用户标识识别装置实施例的结构框图,具体可以包括如下模块:
用户标识获取模块610,用于获取多个用户标识。
转换模块620,用于将所述多个用户标识中的各用户标识分别转换成分块策略集合;所述分块策略集合包括相应的用户标识的切片。
计算模块630,用于计算所述多个用户标识中各用户标识之间的相似度。具体包括:
第一矩阵构建子模块631,用于根据所述多个用户标识中各用户标识与各用户标识的分块策略集合中的各元素之间的关系,构建第一矩阵;其中,所述第一矩阵的列对应于各用户标识;所述第一矩阵的行对应于各用户标识的分块策略集合中的各元素;如果用户标识中包含所述元素中的任一元素,则对应在所述第一矩阵中的值为第二数值;如果用户标识中不包含该元素,则对应在所述第一矩阵中的值为第三数值.
第三矩阵构建子模块632,用于对所述第一矩阵进行N次随机行变换,并且在每次随机行变换后,选择各个用户标识包含的元素在本次随机行变换后的第一矩阵中行号的最小值,构建第三矩阵;所述第三矩阵的行对应随机行变换的次数,列对应各个用户标识。
第二相似候选用户标识对获取子模块633,用于根据所述第三矩阵,获取所述多个用户标识中的相似候选用户标识对。
优选地,在本发明实施例中,所述第二相似候选用户标识对获取子模块633,包括:
第三矩阵切分单元,用于以行为单位,将所述第三矩阵切分为至少两个子矩阵;所述子矩阵中包含的行数相同。
哈希值计算单元,用于利用第二哈希函数分别计算当前子矩阵中各个列的哈希值。
相似候选用户标识对获取单元,用于根据当前子矩阵中各个列的哈希值,获取相似候选用户标识对。
优选地,在本发明实施例中,所述相似候选用户标识对获取单元,包括:
相似候选用户标识对获取子单元,用于获取当前子矩阵中哈希值相同的列对应的各用户标识,并以其中的任意两个用户标识作为一个相似候选用户标识对。
当前子矩阵确认子单元,用于按照切分的顺序,将当前子矩阵的下一个子矩阵作为当前子矩阵,并利用第二哈希函数分别计算当前子矩阵中除了已确认为相似候选用户标识对的用户标识对应的列以外的各个列的哈希值,然后进入相似候选用户标识对获取子单元。
计算子模块634,用于计算每个所述相似候选用户标识对对应的两个用户标识之间的相似度。
判断模块640,用于针对所述多个用户标识中的任一用户标识,判断当前用户标识是否与超过第一数值的其他用户标识的相似度超过第一阈值。
第一水军确认模块650,用于若当前用户标识与超过第一数值的其他用户标识的相似度超过第一阈值,则确认所述当前用户标识为网络水军用户标识。
在本发明实施例中,同样获取多个用户标识,计算所述多个用户标识中各用户标识之间的相似度,针对所述多个用户标识中的任一用户标识,判断当前用户标识是否与超过第一数值的其他用户标识的相似度超过第一阈值,若当前用户标识与超过第一数值的其他用户标识的相似度超过第一阈值,则确认所述当前用户标识为网络水军用户标识。以用户标识作为参数,对各用户标识进行身份识别,从而降低了时间成本以及对数据的完备性要求,进而提高了对用户识别的效率以及适用性。
另外,在本发明实施例中,可以先基于各个用户标识的分块策略集合,创建第一矩阵,然后对第一矩阵进行N次随机行变换,创建第三矩阵,从而可以从多个用户标识中选择出相似度较高的相似候选用户标识对,最终只需计算各个相似用户标识对中包含的两个用户标识之间的相似度,从而也可以降低计算量,提高水军用户识别的效率。但是,相对于实施例二中利用N个第一哈希函数创建第二矩阵的方法,本发明实施例随机行变换仍然会耗费比较多的时间,所以相对而言,实施例二对水军用户识别的效率更高。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的用户标识识别设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (26)

1.一种用户标识识别方法,包括:
获取多个用户标识;
计算所述多个用户标识中各用户标识之间的相似度;
针对所述多个用户标识中的任一用户标识,判断当前用户标识是否与超过第一数值的其他用户标识的相似度超过第一阈值;
若当前用户标识与超过第一数值的其他用户标识的相似度超过第一阈值,则确认所述当前用户标识为网络水军用户标识。
2.根据权利要求1所述的方法,其特征在于,在所述计算所述多个用户标识中各用户标识之间的相似度的步骤之前,还包括:
将所述多个用户标识中的各用户标识分别转换成分块策略集合;所述分块策略集合包括相应的用户标识的切片。
3.根据权利要求2所述的方法,其特征在于,所述计算所述多个用户标识中各用户标识之间的相似度的步骤,包括:
分别计算各个用户标识的分块策略集合之间的交集以及并集;
将任意两个所述分块策略集合之间的交集与并集相除,得到对应该两个分块策略集合的用户标识之间的相似度。
4.根据权利要求2所述的方法,其特征在于,所述计算所述多个用户标识中各用户标识之间的相似度的步骤,包括:
利用N个第一哈希函数分别计算各个用户标识的分块策略集合包含的元素的哈希签名;所述N个第一哈希函数各不相同;
针对每个第一哈希函数,分别选择各个用户标识的分块策略集合包含的元素对应于该第一哈希函数的哈希签名中的最小值,构建第二矩阵;所述第二矩阵的列分别对应所述多个用户标识中的各用户标识,所述第二矩阵的行分别对应各个第一哈希函数。
根据所述第二矩阵,获取所述多个用户标识中的相似候选用户标识对;
计算每个所述相似候选用户标识对对应的两个用户标识之间的相似度。
5.根据权利要求4所述的方法,其特征在于,所述根据所述第二矩阵,获取所述多个用户标识中的相似候选用户标识对的步骤,包括:
以行为单位,将所述第二矩阵切分为至少两个子矩阵;所述子矩阵中包含的行数相同;
利用第二哈希函数分别计算当前子矩阵中各个列的哈希值;
根据当前子矩阵中各个列的哈希值,获取相似候选用户标识对。
6.根据权利要求2所述的方法,其特征在于,所述计算所述多个用户标识中各用户标识之间的相似度的步骤,包括:
根据所述多个用户标识中各用户标识与各用户标识的分块策略集合中各元素之间的关系,构建第一矩阵;其中,所述第一矩阵的列对应于各用户标识;所述第一矩阵的行对应于各用户标识的分块策略集合中的各元素;如果用户标识中包含所述元素中的任一元素,则对应在所述第一矩阵中的值为第二数值;如果用户标识中不包含该元素,则对应在所述第一矩阵中的值为第三数值;
对所述第一矩阵进行N次随机行变换,并且在每次随机行变换后,选择各个用户标识包含的元素在本次随机行变换后的第一矩阵中行号的最小值,构建第三矩阵;所述第三矩阵的行分别对应随机行变换的次数,所述第三矩阵的列分别对应各个用户标识;
根据所述第三矩阵,获取所述多个用户标识中的相似候选用户标识对;
计算每个所述相似候选用户标识对对应的两个用户标识之间的相似度。
7.根据权利要求6所述的方法,其特征在于,所述根据所述第三矩阵,获取所述多个用户标识中的相似候选用户标识对的步骤,包括:
以行为单位,将所述第三矩阵切分为至少两个子矩阵;所述子矩阵中包含的行数相同;
利用第二哈希函数分别计算当前子矩阵中各个列的哈希值;
根据当前子矩阵中各个列的哈希值,获取相似候选用户标识对。
8.根据权利要求5或7所述的方法,其特征在于,所述根据当前子矩阵中各个列的哈希值,获取相似候选用户标识对的步骤,包括:
获取当前子矩阵中哈希值相同的列对应的各用户标识,并以其中的任意两个用户标识作为一个相似候选用户标识对;
按照切分的顺序,将当前子矩阵的下一个子矩阵作为当前子矩阵,并利用第二哈希函数分别计算当前子矩阵中除了已确认为相似候选用户标识对的用户标识对应的列以外的各个列的哈希值,然后针对当前子矩阵,进入获取当前子矩阵中哈希值相同的列对应的各用户标识,并以其中的任意两个用户标识作为一个相似候选用户标识对的步骤。
9.根据权利要求4或6所述的方法,其特征在于,所述针对所述多个用户标识中的任一用户标识,判断当前用户标识是否与超过第一数值的其他用户标识的相似度超过第一阈值的步骤,包括:
判断各个相似候选用户标识对包含的两个用户标识之间的相似度是否超过第一阈值;若超过,则确认该相似候选用户标识对为相似用户标识对;
判断包含当前用户标识的相似用户标识对的数量是否超过第一数值,若包含当前用户标识的相似用户标识对的数量超过第一数值,则确认当前用户标识为网络水军用户标识。
10.根据权利要求2所述的方法,其特征在于,在所述将所述多个用户标识中的各用户标识分别转换成分块策略集合的步骤之前,还包括:
过滤掉所述多个用户标识中已经通过用户标识所在平台认证的用户标识;
和/或,过滤掉所述多个用户标识中长度小于第一长度阈值的用户标识;
和/或,过滤掉所述多个用户标识中完全由字母组成的用户标识,以及由连续的汉字加上连续的字母组成的用户标识。
11.根据权利要求10所述的方法,其特征在于,所述过滤掉所述多个用户标识中完全由字母组成的用户标识,以及由连续的汉字加上连续的字母组成的用户标识的步骤,包括:
利用正则表达式匹配所述多个用户标识中各用户标识的组成;
过滤掉所述多个用户标识中匹配为完全由字母组成的用户标识,以及匹配为由连续的汉字加上连续的字母组成的用户标识。
12.根据权利要求1所述的方法,其特征在于,在所述若当前用户标识与超过第一数值的其他用户标识的相似度超过第一阈值,则确认所述当前用户标识为网络水军用户标识的步骤之后,还包括:
利用已经确定的网络水军用户标识作为训练集训练一个语言模型。
13.根据权利要求12所述的方法,其特征在于,在所述利用已经确定的网络水军用户标识作为训练集训练一个语言模型的步骤之后,还包括:
当获取一个新的用户标识时,利用所述语言模型计算所述新的用户标识为网络水军用户标识的概率;
如果所述概率超过第二阈值,则确认所述新的用户标识为网络水军用户标识。
14.一种用户标识识别装置,包括:
用户标识获取模块,用于获取多个用户标识;
计算模块,用于计算所述多个用户标识中各用户标识之间的相似度;
判断模块,用于针对所述多个用户标识中的任一用户标识,判断当前用户标识是否与超过第一数值的其他用户标识的相似度超过第一阈值;
第一水军确认模块,用于若当前用户标识与超过第一数值的其他用户标识的相似度超过第一阈值,则确认所述当前用户标识为网络水军用户标识。
15.根据权利要求14所述的装置,其特征在于,还包括:
转换模块,用于将所述多个用户标识中的各用户标识分别转换成分块策略集合;所述分块策略集合包括相应的用户标识的切片。
16.根据权利要求15所述的装置,其特征在于,所述计算模块,包括:
交并集计算子模块,用于分别计算各个用户标识的分块策略集合之间的交集以及并集;
相似度计算子模块,用于将任意两个所述分块策略集合之间的交集与并集相除,得到对应该两个分块策略集合的用户标识之间的相似度。
17.根据权利要求15所述的装置,其特征在于,所述计算模块,包括:
哈希签名计算子模块,用于利用N个第一哈希函数分别计算各个用户标识的分块策略集合包含的元素的哈希签名;所述N个第一哈希函数各不相同;
第二矩阵构建子模块,用于针对每个第一哈希函数,分别选择各个用户标识的分块策略集合包含的元素对应于该第一哈希函数的哈希签名中的最小值,构建第二矩阵;所述第二矩阵的列分别对应所述多个用户标识中的各用户标识,行分别对应各个第一哈希函数;
第一相似候选用户标识对获取子模块,用于根据所述第二矩阵,获取所述多个用户标识中的相似候选用户标识对;
计算子模块,用于计算每个所述相似候选用户标识对对应的两个用户标识之间的相似度。
18.根据权利要求17所述的装置,其特征在于,所述第一相似候选用户标识对获取子模块,包括:
第二矩阵切分单元,用于以行为单位,将所述第二矩阵切分为至少两个子矩阵;所述子矩阵中包含的行数相同;
哈希值计算单元,用于利用第二哈希函数分别计算当前子矩阵中各个列的哈希值;
相似候选用户标识对获取单元,用于根据当前子矩阵中各个列的哈希值,获取相似候选用户标识对。
19.根据权利要求15所述的装置,其特征在于,所述计算模块,还包括:
第一矩阵构建子模块,用于根据所述多个用户标识中各用户标识与各用户标识的分块策略集合中各元素之间的关系,构建第一矩阵;其中,所述第一矩阵的列对应于各用户标识;所述第一矩阵的行对应于各用户标识的分块策略集合中的各元素;如果用户标识中包含所述元素中的任一元素,则对应在所述第一矩阵中的值为第二数值;如果用户标识中不包含该元素,则对应在所述第一矩阵中的值为第三数值;
第三矩阵构建子模块,用于对所述第一矩阵进行N次随机行变换,并且在每次随机行变换后,选择各个用户标识包含的元素在本次随机行变换后的第一矩阵中行号的最小值,构建第三矩阵;所述第三矩阵的行分别对应随机行变换的次数,所述第三矩阵的列分别对应各个用户标识;
第二相似候选用户标识对获取子模块,用于根据所述第三矩阵,获取所述多个用户标识中的相似候选用户标识对。
20.根据权利要求19所述的装置,其特征在于,所述第二相似候选用户标识对获取子模块,包括:
第三矩阵切分单元,用于以行为单位,将所述第三矩阵切分为至少两个子矩阵;所述子矩阵中包含的行数相同;
哈希值计算单元,用于利用第二哈希函数分别计算当前子矩阵中各个列的哈希值;
相似候选用户标识对获取单元,用于根据当前子矩阵中各个列的哈希值,获取相似候选用户标识对。
21.根据权利要求18或20所述的装置,其特征在于,所述相似候选用户标识对获取单元,包括:
相似候选用户标识对获取子单元,用于获取当前子矩阵中哈希值相同的列对应的各用户标识,并以其中的任意两个用户标识作为一个相似候选用户标识对;
当前子矩阵确认子单元,用于按照切分的顺序,将当前子矩阵的下一个子矩阵作为当前子矩阵,并利用第二哈希函数分别计算当前子矩阵中除了已确认为相似候选用户标识对的用户标识对应的列以外的各个列的哈希值,然后进入相似候选用户标识对获取子单元。
22.根据权利要求17或19所述的装置,其特征在于,所述判断模块,包括:
第一判断子模块,用于判断各个相似候选用户标识对包含的两个用户标识之间的相似度是否超过第一阈值;若超过,则进入第一确认子模块;
第一确认子模块,用于确认该相似候选用户标识对为相似用户标识对;
第二判断子模块,用于判断包含当前用户标识的相似用户标识对的数量是否超过第一数值,若包含当前用户标识的相似用户标识对的数量超过第一数值,则进入第一水军确认模块。
23.根据权利要求15所述的装置,其特征在于,还包括:
第一过滤模块,用于过滤掉所述多个用户标识中已经通过用户标识所在平台认证的用户标识;
和/或,第二过滤模块,用于过滤掉所述多个用户标识中长度小于第一长度阈值的用户标识;
和/或,第三过滤模块,用于过滤掉所述多个用户标识中完全由字母组成的用户标识,以及由连续的汉字加上连续的字母组成的用户标识。
24.根据权利要求23所述的装置,其特征在于,所述第三过滤模块,包括:
组成匹配子模块,用于利用正则表达式匹配所述多个用户标识中各用户标识的组成;
第三过滤子模块,用于过滤掉所述多个用户标识中匹配为完全由字母组成的用户标识,以及匹配为由连续的汉字加上连续的字母组成的用户标识。
25.根据权利要求14所述的装置,其特征在于,还包括:
语言模型训练模块,适于利用已经确定的网络水军用户标识作为训练集训练一个语言模型。
26.根据权利要求25所述的装置,其特征在于,还包括:
概率计算模块,适于当获取一个新的用户标识时,利用所述语言模型计算所述新的用户标识为网络水军用户标识的概率;如果所述概率超过第二阈值,则进入第二水军确认模块;
第二水军确认模块,适于确认所述新的用户标识为网络水军用户标识。
CN201610377674.2A 2016-05-31 2016-05-31 一种用户标识识别方法和装置 Pending CN106095813A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610377674.2A CN106095813A (zh) 2016-05-31 2016-05-31 一种用户标识识别方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610377674.2A CN106095813A (zh) 2016-05-31 2016-05-31 一种用户标识识别方法和装置

Publications (1)

Publication Number Publication Date
CN106095813A true CN106095813A (zh) 2016-11-09

Family

ID=57230978

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610377674.2A Pending CN106095813A (zh) 2016-05-31 2016-05-31 一种用户标识识别方法和装置

Country Status (1)

Country Link
CN (1) CN106095813A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709800A (zh) * 2016-12-06 2017-05-24 中国银联股份有限公司 一种基于特征匹配网络的社团划分方法和装置
CN110019193A (zh) * 2017-09-25 2019-07-16 腾讯科技(深圳)有限公司 相似帐号识别方法、装置、设备、系统及可读介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102571484A (zh) * 2011-12-14 2012-07-11 上海交通大学 一种检测网络水军以及找到网络水军的方法
CN103617235A (zh) * 2013-11-26 2014-03-05 中国科学院信息工程研究所 一种基于粒子群算法的网络水军账号识别方法及系统
CN103944901A (zh) * 2014-04-18 2014-07-23 中国科学院信息工程研究所 社交僵尸网络控制节点的检测方法及装置
CN105224606A (zh) * 2015-09-02 2016-01-06 新浪网技术(中国)有限公司 一种用户标识的处理方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102571484A (zh) * 2011-12-14 2012-07-11 上海交通大学 一种检测网络水军以及找到网络水军的方法
CN103617235A (zh) * 2013-11-26 2014-03-05 中国科学院信息工程研究所 一种基于粒子群算法的网络水军账号识别方法及系统
CN103944901A (zh) * 2014-04-18 2014-07-23 中国科学院信息工程研究所 社交僵尸网络控制节点的检测方法及装置
CN105224606A (zh) * 2015-09-02 2016-01-06 新浪网技术(中国)有限公司 一种用户标识的处理方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
方明等: "一种新型智能僵尸粉甄别方法", 《计算机工程》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709800A (zh) * 2016-12-06 2017-05-24 中国银联股份有限公司 一种基于特征匹配网络的社团划分方法和装置
WO2018103456A1 (zh) * 2016-12-06 2018-06-14 中国银联股份有限公司 一种基于特征匹配网络的社团划分方法、装置及电子设备
CN106709800B (zh) * 2016-12-06 2020-08-11 中国银联股份有限公司 一种基于特征匹配网络的社团划分方法和装置
CN110019193A (zh) * 2017-09-25 2019-07-16 腾讯科技(深圳)有限公司 相似帐号识别方法、装置、设备、系统及可读介质

Similar Documents

Publication Publication Date Title
CN111159395B (zh) 基于图神经网络的谣言立场检测方法、装置和电子设备
CN104850574B (zh) 一种面向文本信息的敏感词过滤方法
CN104169909B (zh) 上下文解析装置及上下文解析方法
CN107122416A (zh) 一种中文事件抽取方法
CN104408153A (zh) 一种基于多粒度主题模型的短文本哈希学习方法
CN109359439A (zh) 软件检测方法、装置、设备及存储介质
CN105224600B (zh) 一种样本相似度的检测方法及装置
CN107066262A (zh) 源代码文件克隆邻接表合并检测方法
CN103617213B (zh) 识别新闻网页属性特征的方法和系统
CN107330798A (zh) 一种基于种子节点传播的社交网络间用户身份识别方法
CN110830489B (zh) 基于内容抽象表示的对抗式欺诈网站检测方法及系统
CN109670306A (zh) 基于人工智能的电力恶意代码检测方法、服务器及系统
CN107341399A (zh) 评估代码文件安全性的方法及装置
CN106570566A (zh) 一种基于本体的茶树虫害知识表示和共享方法
Vargas-Quesada et al. Showing the essential science structure of a scientific domain and its evolution
CN114357190A (zh) 一种数据检测方法、装置、电子设备及存储介质
CN114386100A (zh) 一种公有云用户敏感数据管理方法
Upadhyay et al. Semantic knowledge extraction from research documents
CN111680506A (zh) 数据库表的外键映射方法、装置、电子设备和存储介质
CN116361815B (zh) 基于机器学习的代码敏感信息及硬编码检测方法及装置
CN109325125A (zh) 一种基于cnn优化的社交网络谣言方法
CN112182275A (zh) 一种基于多维度特征融合的商标近似检索系统和方法
CN112148997A (zh) 一种用于灾害事件检测的多模态对抗模型的训练方法和装置
CN105426392A (zh) 一种协同过滤推荐方法及系统
CN106095813A (zh) 一种用户标识识别方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20161109

RJ01 Rejection of invention patent application after publication