CN116910231A - 一种基于自然语言处理的微信群舆情预警方法和系统 - Google Patents

Abstract

本发明公开了一种基于自然语言处理的微信群舆情预警方法和系统，涉及信息技术领域，微信群采集模块，获取群信息；微信群存储模块，存储群信息，并形成群信息库；消息采集模块，获取群聊消息；消息存储模块，储存群聊消息，形成群聊信息库；文本消息预处理模块，用于数据预处理得到词库；消息过滤模块，从词库中过滤掉通知文本；预警处理模块，用于设置预警词以及预警规则，以及当文本消息出现预警词且符合预警规则时，触发预警提示。本发明能够精准高效的对微信群中发生的居民问题进行预警，降低预警误报、漏报的几率，为社区、街道、区县各层级管理部门快速响应居民诉求和解决公共问题提供了一条快速有效的渠道。

Description

一种基于自然语言处理的微信群舆情预警方法和系统

技术领域

本发明涉及信息技术领域，具体的说，是一种基于自然语言处理的微信群舆情预警方法和系统。

背景技术

现代化的社区管理、行政区域管理工作中，经常会遇到某一类工作任务需要群发消息，以传达通知、任务等。比如社区管理中存在大量由楼栋长维护的居民群，超过6000个群，大量微信群主要为人工管理，存在以下问题：群数量多且分散，管理效率低，群主或管理员同时身兼其他工作，无法及时回复居民诉求，特别是紧急问题。迫切希望对辖区内的微信群进行高效管理，及时发现民情民意，进行舆情预警的精准提示，解决居民问题。

发明内容

本发明的目的在于提供一种基于自然语言处理的微信群舆情预警方法和系统，用于解决现有技术中无法高效群消息管理、无法及时回应居民诉求和舆情监控的问题。

本发明通过下述技术方案解决上述问题：

一种基于自然语言处理的微信群舆情预警系统，包括：

微信群采集模块，用于通过接口获取群信息，群信息包括微信群名称、群身份标识ID和群主ID；

微信群存储模块，用于接收微信群采集模块采集的群信息并存储，并设置群的组织架构信息，形成群信息库；还用于将预警提示按照微信群名称进行消息定位、聚合、统计和显示；

消息采集模块，通过群接口获取群聊消息，包括消息类型、消息内容、消息ID、消息发送人ID、发送时间以及消息所在群ID；

消息存储模块，用于接收消息采集模块采集的群聊消息并储存，形成群聊信息库；

文本消息预处理模块，用于录入并存储分词语料库和停用词，还用于将群聊信息库中原始的文本数据进行格式转换和文本预处理，得到词库，文本预处理包括分词处理和去除停用词；

消息过滤模块，用于根据设置的通知类消息关键词以及消息发送人ID，从词库中过滤掉通知文本；

预警处理模块，用于设置预警词以及预警规则，以及将消息过滤模块过滤后的文本消息与预警词进行比较，当文本消息中出现预警词且符合预警规则时，触发预警提示。

所述预警处理模块包括：

预警词管理模块，用于设置预警词、预警词组合以及相似预警词，以及用于将消息过滤模块过滤后的文本消息与预警词进行对比分析，确定文本消息中是否出现预警词；

时间周期模块，用于设定时间周期，并分别统计预警词、预警词组合、相似预警词在该时间周期内出现的次数，当出现次数超过设定数值后，则命中该预警词、预警词组合、相似预警词所在的消息；

微信群范围模块，用于统计预警词、预警词组合、相似预警词在单个群或多个群的出现次数，当在单个群出现次数超过设定值，或在设定数量的群中出现，则命中该预警词、预警词组合、相似预警词所在的消息；

情感属性精准预警模块，用于将群聊信息库中命中预警词、预警词组合、相似预警词的消息嵌入情感分析模型，将消息根据情感倾向分类为积极、中性和消极三个类型，当消息是消极类消息时进行预警提示。

所述预警词组合，由同时出现在同一条消息中的两个或多个预警词组成。

所述相似预警词通过比较词语的词相似度，将与预警词词义相近的词语与该预警词合并形成的。

相似预警词的生成方法具体为：

将过滤掉通知文本后的词库嵌入词向量模型Word2Vec，计算出向量空间上的相似度，若词库中词语与预警词的相似度大于阈值，则将该词语与对应的预警词合并，组成相似预警词。

所述预警词、预警词组合以及相似预警词还按照预警词规则设置为一级、二级、三级三个等级，根据预警规则触发的预警提示则为对应的等级，供接收者根据自身的需求选择一个或多个等级的预警提示。

所述预警词、预警词组合以及相似预警词还分别按照预警词规则设置为安全类型、投诉类型、敏感事件类型和服务类型，根据预警规则触发的预警提示则为对应的类型，供接收者根据自身的需求选择一个或多个类型的预警提示。

所述微信群存储模块包括微信群检索模块和微信群统计模块，其中：

微信群检索模块，用于将预警提示按照微信群名称进行聚合，查找当前预警内容出现的微信群名称，并定位到微信群的具体群聊消息；

微信群统计模块，用于将预警提示按照微信群名称进行统计并显示。

一种基于自然语言处理的微信群舆情预警方法，包括：

步骤S100、通过接口获取群信息并存储，设置群的组织架构信息，形成群信息库；群信息包括微信群名称、群身份标识ID和群主ID；

步骤S200、通过群接口获取群聊消息并存储，形成群聊信息库，群聊消息包括消息类型、消息内容、消息ID、消息发送人ID、发送时间以及消息所在群ID；

步骤S300、录入并存储分词语料库和停用词，将群聊信息库中原始的文本数据进行格式转换，根据分词语料库和停用词对文本进行分词处理和去除停用词，得到词库；根据设置的通知类消息关键词以及消息发送人ID，从词库中过滤掉通知文本；

步骤S400、设置预警词以及预警规则，以及将消息过滤模块过滤后的文本消息与预警词进行比较，当文本消息中出现预警词且符合预警规则时，触发预警提示；

步骤S500、将预警提示按照微信群名称进行聚合，查找当前预警内容出现的微信群名称，并定位到微信群的具体群聊消息；并将预警提示按照微信群名称进行统计并显示。

本发明与现有技术相比，具有以下优点及有益效果：

本发明基于自然语言处理技术，通过细化和全面的预警算法，旨在精准高效的对微信群中发生的居民问题进行预警，降低预警误报、漏报的几率，为社区、街道、区县各层级管理部门快速响应居民诉求和解决公共问题提供了一条快速有效的渠道。

附图说明

图1为本发明的系统框图；

图2为本发明中预警处理模块的子功能模块框图；

图3为本发明的流程图。

具体实施方式

下面结合实施例对本发明作进一步地详细说明，但本发明的实施方式不限于此。

实施例1：

结合附图1所示，一种基于自然语言处理的微信群舆情预警系统，包括：

微信群采集模块，用于通过接口获取群信息，群信息包括微信群名称、群身份标识ID和群主ID；

微信群存储模块，用于接收微信群采集模块采集的群信息并存储，并设置群的组织架构信息，形成群信息库；所述微信群存储模块包括微信群检索模块和微信群统计模块，其中：

微信群检索模块，用于将预警提示按照微信群名称进行聚合，查找当前预警内容出现的微信群名称，并定位到微信群的具体群聊消息；

微信群统计模块，用于将预警提示按照微信群名称进行统计并显示；

消息采集模块，通过群接口获取群聊消息，包括消息类型、消息内容、消息ID、消息发送人ID、发送时间以及消息所在群ID；

消息存储模块，用于接收消息采集模块采集的群聊消息并储存，形成群聊信息库；

文本消息预处理模块，用于录入并存储分词语料库和停用词，还用于将群聊信息库中原始的文本数据进行格式转换和文本预处理，得到词库，文本预处理包括分词处理、去除停用词、词干提取、词形还原等操作；消息语义分词基于分词模型和基础语料库，在基础分词语料库之外，增加了机构名词典、全国地名大全、人名词典、现代汉语补充词库和敏感词库，同时系统提供关键词录入，结合地域和业务特色，随时添加用于分词的关键词。停用词方面，在开源基础停用词之外，增加了微信emoji表情作为停用词，同时提供系统录入停用词功能，结合业务需求，随时添加停用词。

消息过滤模块，用于根据设置的通知类消息关键词以及消息发送人ID，从词库中过滤掉通知文本；

为排除官方通知类消息，根据通知类消息特点总结关键词，通知中一般会出现“温馨提示”等模式，通过编写正则表达式，判断挖掘文本内容中是否有：“温馨提示”等通知文本模式信息，将挖掘的消息作为通知文本的身份标签信息。将此类消息过滤后，包含此类过滤关键词的消息就算命中预警关键词也不触发预警。

预警处理模块，用于设置预警词以及预警规则，以及将消息过滤模块过滤后的文本消息与预警词进行比较，当文本消息中出现预警词且符合预警规则时，触发预警提示。通过设置不同预警词出现的时间周期、出现次数、微信群范围、相似词合并、消息情感分析等多个维度的组合规则，来作为预警提醒的条件。结合图2和图3所示，所述预警处理模块具体包括：

预警词管理模块，用于设置预警词、预警词组合以及相似预警词，以及用于将消息过滤模块过滤后的文本消息与预警词进行对比分析，确定文本消息中是否出现预警词；

时间周期模块，用于设定时间周期，并分别统计预警词、预警词组合、相似预警词在该时间周期内出现的次数，当出现次数超过设定数值后，则命中该预警词、预警词组合、相似预警词所在的消息；

比如预警词（预警词组合、相似预警词）可任选每日、每周、每月三个周期中的一个周期，当预警词在这个时间周期出现次数达到一定数值后，即触发预警提示。如每日某个预警词出现达到2次则触发一次预警提示。

微信群范围模块，用于统计预警词、预警词组合、相似预警词在单个群或多个群的出现次数，当在单个群出现次数超过设定值，或在设定数量的群中出现，则命中该预警词、预警词组合、相似预警词所在的消息；

预警词可选择设置在单个群聊或者多个群聊累计，出现次数超过一定数值后，触发预警提示。多个群聊预警用于群体性事件场景，用以判断某个事件出现的广度，如“大运会礼包”，通过预警可以了解哪些社区的礼包没有发送到位。具体实现方法是在数据库的全部微信群消息中累计统计某预警词，一旦达到设定阈值，即进行预警。单个群聊用于单点重要事件，即发生一次也很重要需要预警的事件，如“火灾”，在每个微信群单独统计出现次数，一旦某个群到达设定阈值即提示，如果另一个群又触发阈值，则再次提醒。

情感属性精准预警模块，用于将群聊信息库中命中预警词、预警词组合、相似预警词的消息嵌入情感分析模型，将消息根据情感倾向分类为积极、中性和消极三个类型，当消息是消极类消息时进行预警提示。

所述预警词组合，由同时出现在同一条消息中的两个或多个预警词组成。

本发明支持词组预警，即几个词组同时出现在一条消息中才触发预警。同样是为了提升预警的准确性，有些词语相伴出现才能被定义为需要预警，比如“家里”和“小偷”同时出现是居民家里有入室盗窃，如果“小偷”和“频繁”同时出现则极有可能是一则提示居民的通知。

所述相似预警词通过比较词语的词相似度，将与预警词词义相近的词语与该预警词合并形成的。相似预警词的生成方法具体为：

将过滤掉通知文本后的词库嵌入词向量模型Word2Vec，计算出向量空间上的相似度，若词库中词语与预警词的相似度大于阈值，则将该词语与对应的预警词合并，组成相似预警词。

本发明通过相似预警词，加入词相似度比较，与设置预警词词义接近的词语合并预警，避免漏报。如火灾预警，“着火了”、“燃起来了”、“烧起来了”、“好大的烟”等等词语都是“火灾”的相似词，通过相似词合并预警，可以准确了解事件范围，避免漏报误报。将词库过滤通知类消息后，嵌入词向量模型Word2Vec，把对文本内容的处理简化为向量空间中的向量运算，计算出向量空间上的相似度，来表示文本语义上的相似度，如分词词库中词语与预警词的相似度大于0.8，则认为高度相似，需要合并到设定的预警词规则中一并预警。

所述预警词、预警词组合以及相似预警词还按照预警词规则设置为一级、二级、三级三个等级，根据预警规则触发的预警提示则为对应的等级，供接收者根据自身的需求选择一个或多个等级的预警提示。

所述预警词、预警词组合以及相似预警词还分别按照预警词规则设置为安全类型、投诉类型、敏感事件类型和服务类型等，根据预警规则触发的预警提示则为对应的类型，供接收者根据自身的需求选择一个或多个类型的预警提示。

预警词库调优：定期对预警词的词汇库进行更新和优化，根据实际情况添加、删除或调整关键词。同时，也可以根据预警的触发情况来调整预警阈值，以确保系统的准确性和有效性。

实施例2：

一种基于自然语言处理的微信群舆情预警方法，包括：

步骤S100、通过接口获取群信息并存储，设置群的组织架构信息，形成群信息库；群信息包括微信群名称、群身份标识ID和群主ID；

步骤S200、通过群接口获取群聊消息并存储，形成群聊信息库，群聊消息包括消息类型、消息内容、消息ID、消息发送人ID、发送时间以及消息所在群ID；

步骤S300、录入并存储分词语料库和停用词，将群聊信息库中原始的文本数据进行格式转换，根据分词语料库和停用词对文本进行分词处理和去除停用词，得到词库；根据设置的通知类消息关键词以及消息发送人ID，从词库中过滤掉通知文本；

步骤S400、设置预警词以及预警规则，以及将消息过滤模块过滤后的文本消息与预警词进行比较，当文本消息中出现预警词且符合预警规则时，触发预警提示；

步骤S500、将预警提示按照微信群名称进行聚合，查找当前预警内容出现的微信群名称，并定位到微信群的具体群聊消息；并将预警提示按照微信群名称进行统计并显示。

尽管这里参照本发明的解释性实施例对本发明进行了描述，上述实施例仅为本发明较佳的实施方式，本发明的实施方式并不受上述实施例的限制，应该理解，本领域技术人员可以设计出很多其他的修改和实施方式，这些修改和实施方式将落在本申请公开的原则范围和精神之内。

Claims (9)

1.一种基于自然语言处理的微信群舆情预警系统，其特征在于，包括：

微信群采集模块，用于通过接口获取群信息，群信息包括微信群名称、群身份标识ID和群主ID；

微信群存储模块，用于接收微信群采集模块采集的群信息并存储，并设置群的组织架构信息，形成群信息库；还用于将预警提示按照微信群名称进行消息定位、聚合、统计和显示；

消息采集模块，通过群接口获取群聊消息，包括消息类型、消息内容、消息ID、消息发送人ID、发送时间以及消息所在群ID；

消息存储模块，用于接收消息采集模块采集的群聊消息并储存，形成群聊信息库；

文本消息预处理模块，用于录入并存储分词语料库和停用词，还用于将群聊信息库中原始的文本数据进行格式转换和文本预处理，得到词库，文本预处理包括分词处理和去除停用词；

消息过滤模块，用于根据设置的通知类消息关键词以及消息发送人ID，从词库中过滤掉通知文本；

预警处理模块，用于设置预警词以及预警规则，以及将消息过滤模块过滤后的文本消息与预警词进行比较，当文本消息中出现预警词且符合预警规则时，触发预警提示。

2.根据权利要求1所述的一种基于自然语言处理的微信群舆情预警系统，其特征在于，所述预警处理模块包括：

预警词管理模块，用于设置预警词、预警词组合以及相似预警词，以及用于将消息过滤模块过滤后的文本消息与预警词进行对比分析，确定文本消息中是否出现预警词；

时间周期模块，用于设定时间周期，并分别统计预警词、预警词组合、相似预警词在该时间周期内出现的次数，当出现次数超过设定数值后，则命中该预警词、预警词组合、相似预警词所在的消息；

微信群范围模块，用于统计预警词、预警词组合、相似预警词在单个群或多个群的出现次数，当在单个群出现次数超过设定值，或在设定数量的群中出现，则命中该预警词、预警词组合、相似预警词所在的消息；

情感属性精准预警模块，用于将群聊信息库中命中预警词、预警词组合、相似预警词的消息嵌入情感分析模型，将消息根据情感倾向分类为积极、中性和消极三个类型，当消息是消极类消息时进行预警提示。

3.根据权利要求2所述的一种基于自然语言处理的微信群舆情预警系统，其特征在于，所述预警词组合，由同时出现在同一条消息中的两个或多个预警词组成。

4.根据权利要求2所述的一种基于自然语言处理的微信群舆情预警系统，其特征在于，所述相似预警词通过比较词语的词相似度，将与预警词词义相近的词语与该预警词合并形成的。

5.根据权利要求4所述的一种基于自然语言处理的微信群舆情预警系统，其特征在于，相似预警词的生成方法具体为：

将过滤掉通知文本后的词库嵌入词向量模型Word2Vec，计算出向量空间上的相似度，若词库中词语与预警词的相似度大于阈值，则将该词语与对应的预警词合并，组成相似预警词。

6.根据权利要求2所述的一种基于自然语言处理的微信群舆情预警系统，其特征在于，所述预警词、预警词组合以及相似预警词还按照预警词规则设置为一级、二级、三级三个等级，根据预警规则触发的预警提示则为对应的等级，供接收者根据自身的需求选择一个或多个等级的预警提示。

7.根据权利要求5所述的一种基于自然语言处理的微信群舆情预警系统，其特征在于，所述预警词、预警词组合以及相似预警词还分别按照预警词规则设置为安全类型、投诉类型、敏感事件类型和服务类型，根据预警规则触发的预警提示则为对应的类型，供接收者根据自身的需求选择一个或多个类型的预警提示。

8.根据权利要求1所述的一种基于自然语言处理的微信群舆情预警系统，其特征在于，所述微信群存储模块包括微信群检索模块和微信群统计模块，其中：

微信群检索模块，用于将预警提示按照微信群名称进行聚合，查找当前预警内容出现的微信群名称，并定位到微信群的具体群聊消息；

微信群统计模块，用于将预警提示按照微信群名称进行统计并显示。

9.一种基于自然语言处理的微信群舆情预警方法，其特征在于，包括：

步骤S100、通过接口获取群信息并存储，设置群的组织架构信息，形成群信息库；群信息包括微信群名称、群身份标识ID和群主ID；

步骤S200、通过群接口获取群聊消息并存储，形成群聊信息库，群聊消息包括消息类型、消息内容、消息ID、消息发送人ID、发送时间以及消息所在群ID；

步骤S300、录入并存储分词语料库和停用词，将群聊信息库中原始的文本数据进行格式转换，根据分词语料库和停用词对文本进行分词处理和去除停用词，得到词库；根据设置的通知类消息关键词以及消息发送人ID，从词库中过滤掉通知文本；

步骤S400、设置预警词以及预警规则，以及将消息过滤模块过滤后的文本消息与预警词进行比较，当文本消息中出现预警词且符合预警规则时，触发预警提示；

步骤S500、将预警提示按照微信群名称进行聚合，查找当前预警内容出现的微信群名称，并定位到微信群的具体群聊消息；并将预警提示按照微信群名称进行统计并显示。