CN109446409A - 一种疑似传销行为的目标对象的识别方法 - Google Patents

Abstract

本发明涉及一种疑似传销行为的目标对象的识别方法，更新获得最新词库，以词库构建搜索关键词，基于搜索关键词搜索采集舆情信息，进行分析并过滤，最终统计并输出疑似传销行为的目标对象。本发明基于搜索引擎技术以及分词技术，搜索引擎保证了互联网上大量网站的页面信息的收集，可以从庞大的互联网信息中提取出与传销相关的舆情信息，分词保证了从大量的舆情信息中分析出疑似传销行为的目标对象，准确性更强，以机器代替人力，克服传统方式的不足，可自动识别并输出疑似传销行为的目标对象，提高人力物力利用率、节省调查成本，效率高，有利于及时、准确发现和打击传销行为。

Description

一种疑似传销行为的目标对象的识别方法

技术领域

本发明涉及数据识别；数据表示；记录载体；记录载体的处理的技术领域，特别涉及一种获取与传销相关的网络舆情信息并从中抽取疑似的目标的疑似传销行为的目标对象的识别方法。

背景技术

传销是组织者通过上线发展下线、以下线养上线，通过对被发展人员以其直接或者间接发展的人员数量或者业绩为依据计算和给付报酬，或者要求被发展人员以交纳一定费用为条件取得加入资格等方式获得财富的违法行为。传销活动小则危害个人、家庭，大则危害社会、国家，其本质是诈骗、谋取非法利益，是危害社会安定的潜在因素之一，如果能尽早发现传销活动并及时打击制止，可有效减少传销给人民和社会带来的危害。

现有技术中，传销行为的目标对象锁定的主要手段是通过人工在互联网上搜索与传销相关的信息，以匿名举报或实地调查的方式发现疑似传销行为的目标，然而，由于传销活动一般都具有较强的隐蔽性，不易发现和打击，人工检索、匿名举报、实地调查等传统的传销发现方式往往依赖性比较强，而且存在效率低、人力物力利用率低等问题，不仅使得调查成本居高不下，而且对传销行为的发现和打击也不及时。

发明内容

本发明解决的技术问题是，现有技术中，传统的传销发现方式往往依赖性比较强，存在效率低、人力物力利用率低，不仅使得调查成本居高不下，而且对传销行为的发现和打击也不及时的问题，本发明提供了一种优化的疑似传销行为的目标对象的识别方法。

本发明所采用的技术方案是，一种疑似传销行为的目标对象的识别方法，所述方法包括以下步骤：

步骤1：判断是否有传销行为的更新词汇，如有，则更新词库；通过词库构建搜索关键词；

步骤2：根据搜索关键词，搜索采集舆情信息；

步骤3：对搜索采集的舆情信息数据进行分析并过滤；

步骤4：统计并输出疑似传销行为的目标对象。

优选地，所述步骤1中，词库包括左词库和右词库，搜索关键词包括1个或多个左词库中的词、空格及至少1个右词库中的词。

优选地，所述左词库包括常用字、数字、字母、地名及传销词汇；所述右词库为语义格式词。

优选地，所述步骤2包括以下步骤：

步骤2.1：根据不同的搜索引擎，基于搜索关键词构造请求体；

步骤2.2：分别向不同的搜索引擎发送已构造请求体，获取对应的响应报文；

步骤2.3：从响应报文中，根据相关搜索的节点属性在文档中查找节点，提取出节点内容，进行下一步。

优选地，所述步骤3包括以下步骤：

步骤3.1：对搜索采集的舆情信息数据进行分词；

步骤3.2：将分词后产生的1个或多个结果进行识别，将识别后的分词结果输出至过滤单元；

步骤3.3：过滤单元进行过滤。

优选地，所述步骤3.1中，分词为全切分算法。

优选地，所述步骤3.2中，所述识别包括词性标注和命名实体；词性包括实词和虚词；命名实体包括人名、地名和专有名词。

优选地，所述识别还对文本串进行主谓宾语的分析。

优选地，所述过滤单元包括过滤规则，所述过滤规则包括：

判重处理规则，用于过滤重复出现的词汇；

判断词性规则，用于过滤所有的虚词、保留名词和借用量词、保留组成主语的区别词、过滤在停用词库中的数词、过滤其他词；

命名实体识别规则，用于过滤人名、地名；

文本串主谓宾语规则，用于保留主语和宾语、过滤谓语。

优选地，所述步骤4中，统计每一个输出的疑似目标出现的频率和次数，并根据频率进行排序输出。

本发明提供了一种优化的疑似传销行为的目标对象的识别方法，通过更新获得最新词库，以词库构建搜索关键词，基于搜索关键词搜索采集舆情信息，进行分析并过滤，最终统计并输出疑似传销行为的目标对象。本发明基于搜索引擎技术以及分词技术，搜索引擎保证了互联网上大量网站的页面信息的收集，可以从庞大的互联网信息中提取出与传销相关的舆情信息，分词保证了从大量的舆情信息中分析出疑似传销行为的目标对象，准确性更强，以机器代替人力，克服传统方式的不足，可自动识别并输出疑似传销行为的目标对象，提高人力物力利用率、节省调查成本，效率高，有利于及时、准确发现和打击传销行为。

本发明可以将输出信息提供给相关部门，使其可以有针对性的进行调查，提高工作效率、提升人力物力的利用率，并可在一定程度上提高真正传销活动的发现率。

具体实施方式

下面结合实施例对本发明做进一步的详细描述，但本发明的保护范围并不限于此。

本发明涉及一种疑似传销行为的目标对象的识别方法，可以将输出信息提供给相关部门，使其可以有针对性的进行调查，提高工作效率、提升人力物力的利用率，并可在一定程度上提高真正传销活动的发现率。

所述方法包括以下步骤。

步骤1：判断是否有传销行为的更新词汇，如有，则更新词库；通过词库构建搜索关键词。

所述步骤1中，词库包括左词库和右词库，搜索关键词包括1个或多个左词库中的词、空格及至少1个右词库中的词。

所述左词库包括常用字、数字、字母、地名及传销词汇；所述右词库为语义格式词。

本发明中，步骤1中词库的构建及更新保证了词库的准确度，词库的构建是根据最终的输出结果逐步扩充和完善的，并且可根据需要进行更新，这使得最新的传销信息被搜索得到的概率大大增加。

本发明中，搜索关键词质量的好坏与否、完备与否都会直接影响到最终的输出结果，一般来说，搜索关键词的构建顺次包括1个或多个左词库中的词、空格及至少1个右词库中的词。

本发明中，词库包括左词库和右词库，其中，左词库范围较广，目的在于扩大搜索范围，而右词库相对较少，主要为语义格式词式的传销相关的舆情词条。

本发明中，举例来说，左词库的词包括“积分”、“奖金”、“代理”、“会员”、“理财”、“微商”等，而右词库的词包括“是不是传销”、“是传销吗”、“涉嫌传销”等，将左词库和右词库两两组合，就是取左词库中的一个词，再取右词库中的一个词，组成短句“左词+空格+右词”，例如取左词为“奖金”，取右词为“是不是传销”，组成的短句就是“奖金 是不是传销”；而当左词库有N个词、右词库有M个词时，则就共有N*M种组合方式。

步骤2：根据搜索关键词，搜索采集舆情信息。

所述步骤2包括以下步骤：

步骤2.1：根据不同的搜索引擎，基于搜索关键词构造请求体；

步骤2.2：分别向不同的搜索引擎发送已构造请求体，获取对应的响应报文；

步骤2.3：从响应报文中，根据相关搜索的节点属性在文档中查找节点，提取出节点内容，进行下一步。

本发明中，随着词库的扩充和更新，使得搜索关键词的数量较大，故采用多线程并发处理的方式来提高搜索采集舆情信息的速度和效率，能够在有效时间内处理大量的数据。

本发明中，搜索采集舆情信息主要使用网页爬虫技术。

本发明中，搜索引擎主要包括百度、搜狗及360等，一般情况下，采用三种不同的搜索引擎中获取的舆情信息是有效的。

本发明中，步骤2.3主要通过爬虫技术中的XPath工具来实现，XPath是一种用来在XML（标准通用标记语言的子集）文档中查找某部分位置内容的语言工具，可以根据节点属性在树状结构的文档中快速方便的查找节点，并提取出节点内容，步骤2.2中获取的对应的响应报文实际上是一个html文档，即为XML格式文档的应用扩展，可以由XPath工具解析当前文档，获取节点内容。

本发明中，相关搜索是指各个引擎提供的“相关搜索”功能，一般显示在搜索结果末尾，用作用户搜索及进一步搜索的参考。

本发明中，响应报文的包体一般是html格式的文档，其中，类似于“<a>b</a>”这样的格式的内容可以称为一个节点或标签，此时a即为节点属性，b称为节点内容。

步骤3：对搜索采集的舆情信息数据进行分析并过滤。

所述步骤3包括以下步骤：

步骤3.1：对搜索采集的舆情信息数据进行分词；

步骤3.2：将分词后产生的1个或多个结果进行识别，将识别后的分词结果输出至过滤单元；

步骤3.3：过滤单元进行过滤。

所述步骤3.1中，分词为全切分算法。

所述步骤3.2中，所述识别包括词性标注和命名实体；词性包括实词和虚词；命名实体包括人名、地名和专有名词。

所述识别还对文本串进行主谓宾语的分析。

所述过滤单元包括过滤规则，所述过滤规则包括：

判重处理规则，用于过滤重复出现的词汇；

判断词性规则，用于过滤所有的虚词、保留名词和借用量词、保留组成主语的区别词、过滤在停用词库中的数词、过滤其他词；

命名实体识别规则，用于过滤人名、地名；

文本串主谓宾语规则，用于保留主语和宾语、过滤谓语。

本发明中，由于步骤3得到的节点内容一般是短文本串，故需要先切分为单个的词。

本发明中，分词是指将一个文本序列根据一定的规则或算法切分成一个一个单独的词，如本发明中采用的全切分，即是首先切分出所有与词库中匹配的词，再根据统计语言模型判断出较优的切分策略，该方法的主要优点在于可以较好的解决歧义的问题。

本发明中，由于词库的不断更新，分词后有极大概率产生1个或多个结果，如“老山神酒是不是传销”可能被切分为“老/山神/酒/是不是/传销”或“老山神酒/是不是/传销”，这需要在分词算法中对词汇的边界判断及统计模型做更加符合此逻辑的调整和优化，当然，本着全面、准确、不遗漏的原则，这些分词结果都会进行下一步操作。

本发明中，词性包括实词和虚词，例如名词、动词、形容词、数词、量词等为实词，副词、介词、助词、语气词等为虚词。

本发明中，借用量词是指把本来不是量词的词当做量词使用，如“一车苹果”，“车”即是借用量词；区别词是指表示人和事物的属性或区域性特征、有区分事物的分类作用的词，其不能单独作主语、谓语、宾语，但是组合联合短语或成双对比后可以做主语，例如“西式服装”、“大型轿车”中的“西式”、“大型”。

本发明中，命名实体包括人名、地名和专有名词等具有特定意义的词汇。

本发明中，判重处理规则是指一个词汇只需要输出一次即可。

本发明中，命名实体识别规则过滤的人名是指纯粹的人名。

本发明中，文本串主谓宾语规则的优先级为所有过滤规则的最高级。

本发明中，对于词汇边界的判断，就是把一句话切分成单个的词汇，切分的前提是知晓应当在哪个位置进行切分，这个位置就是词汇的边界，英文中一般以空格作为分隔词，但中文没有这么方便的边界判断，故在中文的切分中，部分操作需要人工介入、调整和优化，如更新词库或发现更好的边界判断方式。

步骤4：统计并输出疑似传销行为的目标对象。

所述步骤4中，统计每一个输出的疑似目标出现的频率和次数，并根据频率进行排序输出。

本发明中，给出一个实施例。取左词“酒”、右词“是不是传销”，组成短句“酒 是不是传销”，以百度搜索为例进行搜索，获取搜索结果最末尾的“相关搜索”中的短句，再以其中的“大地魂酒是不是传销”为例，可能的切分包括“大地/魂/酒/是不是/传销”、“大/地魂/酒/是不是/传销”、“大地魂酒/是不是/传销”，得到去重后的词汇表为“大地”、“魂”、“酒”、“是不是”、“传销”、“大”、“地魂”、“大地魂酒”，根据过滤规则，去除虚词、数词、谓语、常见字词等，最后输出结果为“大地魂酒”。

本发明通过更新获得最新词库，以词库构建搜索关键词，基于搜索关键词搜索采集舆情信息，进行分析并过滤，最终统计并输出疑似传销行为的目标对象。本发明基于搜索引擎技术以及分词技术，搜索引擎保证了互联网上大量网站的页面信息的收集，可以从庞大的互联网信息中提取出与传销相关的舆情信息，分词保证了从大量的舆情信息中分析出疑似传销行为的目标对象，准确性更强，以机器代替人力，克服传统方式的不足，可自动识别并输出疑似传销行为的目标对象，提高人力物力利用率、节省调查成本，效率高，有利于及时、准确发现和打击传销行为。

Claims (10)

1.一种疑似传销行为的目标对象的识别方法，其特征在于：所述方法包括以下步骤：

步骤1：判断是否有传销行为的更新词汇，如有，则更新词库；通过词库构建搜索关键词；

步骤2：根据搜索关键词，搜索采集舆情信息；

步骤3：对搜索采集的舆情信息数据进行分析并过滤；

步骤4：统计并输出疑似传销行为的目标对象。

2.根据权利要求1所述的一种疑似传销行为的目标对象的识别方法，其特征在于：所述步骤1中，词库包括左词库和右词库，搜索关键词包括1个或多个左词库中的词、空格及至少1个右词库中的词。

3.根据权利要求2所述的一种疑似传销行为的目标对象的识别方法，其特征在于：所述左词库包括常用字、数字、字母、地名及传销词汇；所述右词库为语义格式词。

4.根据权利要求1所述的一种疑似传销行为的目标对象的识别方法，其特征在于：所述步骤2包括以下步骤：

步骤2.1：根据不同的搜索引擎，基于搜索关键词构造请求体；

步骤2.2：分别向不同的搜索引擎发送已构造请求体，获取对应的响应报文；

步骤2.3：从响应报文中，根据相关搜索的节点属性在文档中查找节点，提取出节点内容，进行下一步。

5.根据权利要求1所述的一种疑似传销行为的目标对象的识别方法，其特征在于：所述步骤3包括以下步骤：

步骤3.1：对搜索采集的舆情信息数据进行分词；

步骤3.2：将分词后产生的1个或多个结果进行识别，将识别后的分词结果输出至过滤单元；

步骤3.3：过滤单元进行过滤。

6.根据权利要求5所述的一种疑似传销行为的目标对象的识别方法，其特征在于：所述步骤3.1中，分词为全切分算法。

7.根据权利要求5所述的一种疑似传销行为的目标对象的识别方法，其特征在于：所述步骤3.2中，所述识别包括词性标注和命名实体；词性包括实词和虚词；命名实体包括人名、地名和专有名词。

8.根据权利要求7所述的一种疑似传销行为的目标对象的识别方法，其特征在于：所述识别还对文本串进行主谓宾语的分析。

9.根据权利要求8所述的一种疑似传销行为的目标对象的识别方法，其特征在于：所述过滤单元包括过滤规则，所述过滤规则包括：

判重处理规则，用于过滤重复出现的词汇；

判断词性规则，用于过滤所有的虚词、保留名词和借用量词、保留组成主语的区别词、过滤在停用词库中的数词、过滤其他词；

命名实体识别规则，用于过滤人名、地名；

文本串主谓宾语规则，用于保留主语和宾语、过滤谓语。

10.根据权利要求1所述的一种疑似传销行为的目标对象的识别方法，其特征在于：所述步骤4中，统计每一个输出的疑似目标出现的频率和次数，并根据频率进行排序输出。