CN109740053A - 基于nlp技术的敏感词屏蔽方法和装置 - Google Patents

Abstract

本发明公开了一种基于NLP技术的敏感词屏蔽方法和装置，其中，所述方法包括获取用于表征用户发送的信息内容的文本信息；基于NLP技术对文本信息进行语义分析并获取分析结果；判断分析结果是否合法；如果分析结果不合法，则输出用于表征对文本信息进行屏蔽的屏蔽信号。本发明公开的方案能够对用户所输入的语句进行分析以确定是否需要屏蔽，进而提高屏蔽效果和改善用户体验。

Description

基于NLP技术的敏感词屏蔽方法和装置

技术领域

本发明属于词语屏蔽过滤技术领域，具体涉及一种基于NLP技术的敏感词屏蔽方法和装置。

背景技术

随着互联网的迅猛发展，人们的衣食住行越来越离不开网络，而随着网络的普及，我们会在互联网上看到一些不合适的言论，例如对他人的人身攻击，对政治的过激言论。这些不文明用语或者敏感词汇的传播会产生不良的社会影响或者造成较差的用户体验。

现有的敏感词屏蔽方法大多是直接判断用户的言论中是否有某个词在敏感词库中，然后直接将这些词替换成*号，有时用户只是恰巧不小心输入了敏感词库中的字，可能语境上完全不是不当言论，但是却被屏蔽了，给用户造成了不好的体验。并且由于敏感词库是预先设定好的，因此用户可以通过同音字或者谐音等方式绕过敏感词库，使得屏蔽的效果不佳。

因此，如何对用户所输入的语句进行分析以确定是否需要屏蔽，进而提高屏蔽效果和改善用户体验成为亟待解决的技术问题。

发明内容

本发明要解决的技术问题在于如何对用户所输入的语句进行分析以确定是否需要屏蔽，进而提高屏蔽效果和改善用户体验。

为此，根据第一方面，本发明实施例公开了一种基于NLP技术的敏感词屏蔽方法，包括：

获取用于表征用户发送的信息内容的文本信息；基于NLP技术对文本信息进行语义分析并获取分析结果；判断分析结果是否合法；如果分析结果不合法，则输出用于表征对文本信息进行屏蔽的屏蔽信号。

可选地，在获取用于表征用户发送的信息内容的文本信息与基于NLP技术对文本信息进行语义分析并获取分析结果之间，还包括：对文本信息进行相似分析，相似分析是指对文本信息进行同音和/或谐音的比对分析。

可选地，对文本信息进行相似分析，相似分析是指对文本信息进行同音和/或谐音的比对分析包括：将文本信息转化为拼音信息；将拼音信息与预设敏感词库进行匹配以获取待分析拼音信息，待分析拼音信息为拼音信息中与预设敏感词库匹配一致的拼音信息；将匹配成功的拼音信息按预设规则转化为待分析文本信息进行语义分析。

可选地，基于NLP技术对文本信息进行语义分析并获取分析结果包括：分析文本信息中各个字段的组合概率以获取词向量；将词向量与预设敏感词库进行匹配以获取待分析敏感词向量，待分析敏感词向量为词向量中与预设敏感词库匹配一致的词向量；根据文本信息中的上下文信息判断待分析敏感词向量的真实语义，并基于真实语义生成分析结果。

可选地，判断分析结果是否合法是指判断待分析敏感词向量的真实语义是否为不需要进行屏蔽的正常言论。

根据第二方面，本发明实施例提供了一种基于NLP技术的敏感词屏蔽装置，包括：

文本信息模块，用于获取用于表征用户发送的信息内容的文本信息；分析结果模块，用于基于NLP技术对文本信息进行语义分析并获取分析结果；结果判断模块，用于判断分析结果是否合法；屏蔽信号模块，用于如果分析结果不合法，则输出用于表征对文本信息进行屏蔽的屏蔽信号。

可选地，还包括：相似分析模块，用于对文本信息进行相似分析，相似分析是指对文本信息进行同音和/或谐音的比对分析。

可选地，相似分析模块包括：信息转化单元，用于将文本信息转化为拼音信息；信息匹配单元，用于将拼音信息与预设敏感词库进行匹配以获取待分析拼音信息，待分析拼音信息为拼音信息中与预设敏感词库匹配一致的拼音信息；语义分析单元，用于将匹配成功的拼音信息按预设规则转化为待分析文本信息进行语义分析。

根据第三方面，本发明提供了一种计算机装置，包括处理器，处理器用于执行存储器中存储的计算机程序实现上述第一方面任意一项的基于NLP技术的敏感词屏蔽方法。

根据第四方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，处理器用于执行存储介质中存储的计算机程序实现上述第一方面任意一项的基于NLP技术的敏感词屏蔽方法。

本发明的有益效果在于：

本发明实施例公开的一种基于NLP技术的敏感词屏蔽方法和装置，首先获取到表征着用户发送的信息内容的文本信息，基于NLP技术对文本信息进行语义分析，并且获取分析结果，判断分析结果是否合法，如果分析结果不合法，则输出用于表征对文本信息进行屏蔽的屏蔽信号。相对于现有技术中将获得的用户发送的文本信息与敏感词库进行比对后，生硬的将比对成功的文本直接过滤的方案，本发明实施例公开的方案使用了NLP技术对用户发送的文本信息进行了语义分析，然后对分析结果进行合法性判断，如果不合法，则对文本信息进行屏蔽。避免用户因为无意中输入存在于敏感词库中的文本，导致用户发送的信息被屏蔽的情况发生，提高屏蔽效果，改善用户的使用体验。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例基于NLP技术的敏感词屏蔽方法的流程图；

图2为本发明实施例基于NLP技术的敏感词屏蔽装置的结构示意图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1，为本实施例公开的基于NLP技术的敏感词屏蔽方法的流程图，该基于NLP技术的敏感词屏蔽方法包括：

步骤S101，获取用于表征用户发送的信息内容的文本信息。

在本实施例中，用户发送的信息既可以是以文字为信息载体，也可以是以语音为信息载体，当用户发送的信息是以语音为信息载体时，可以先将用户的语音信息转换为本文信息。

作为可选地实施例，在步骤S101和步骤S102之间，还可以包括以下步骤：对文本信息进行相似分析，相似分析是指对文本信息进行同音和/或谐音的比对分析。

在具体实施过程中，该步骤具体的包括：将文本信息转化为拼音信息；将拼音信息与预设敏感词库进行匹配以获取待分析拼音信息，待分析拼音信息为拼音信息中与预设敏感词库匹配一致的拼音信息；将匹配成功的拼音信息按预设规则转化为待分析文本信息进行语义分析。

其中，预设敏感词库为自建的敏感词库。将匹配成功的拼音信息按照预设规则转化为待分析文本信息进行语义分析是指将匹配成功的拼音信息按预设规则转化为存在于敏感词库中的敏感词等文本信息，然后将转化后的文本信息作为待分析文本信息进行进一步的语义分析。将文本信息转化为拼音信息后，使用拼音信息在预设的敏感词库中进行匹配，能够避免用户使用同音词、同音字来绕过敏感词库，有效的提高了对敏感词的屏蔽效果。

步骤S102，基于NLP技术对文本信息进行语义分析并获取分析结果。

在本实施例中，步骤S102具体的包括：通过对预设敏感词库及历史语料进行训练，生成敏感词词向量库；分析文本信息中各个字段的组合概率以获取词向量；将词向量与敏感词词向量库进行比对以获取待分析敏感词向量，待分析敏感词向量为词向量中与敏感词词向量库匹配一致的词向量；根据文本信息中的上下文信息判断待分析敏感词向量的真实语义，并基于真实语义生成分析结果。

在具体实施过程中，通过分析文本信息中各个字段的组合概率，确定组合概率最高的为一个词向量，对整条文本信息进行断句，然后针对各个词向量分别在预设的敏感词库中进行匹配，如果词向量与敏感词词向量库比对成功，则确定该匹配成功的词向量为待分析敏感词向量。然后根据上下文信息利用自建的上下文分析算法和推理来判断待分析的敏感词向量的真实语义，然后根据真实语义生成分析结果。

步骤S103，判断分析结果是否合法。

在本实施例中，判断分析结果是否合法是指判断待分析敏感词向量的真实语义是否为不需要进行屏蔽的正常言论。

步骤S104，如果分析结果不合法，则输出用于表征对文本信息进行屏蔽的屏蔽信号。

如果经过步骤S103判断分析结果不合法，也即待分析敏感词向量的真实语义是需要进行屏蔽的非正常言论，则输出屏蔽信号，根据该屏蔽信号对文本信息进行屏蔽。

在具体实施过程中，可以根据屏蔽信号对整条文本信息进行全部屏蔽，也可以根据屏蔽信号对文本信息中的敏感词向量进行部分屏蔽。

本实施例还公开了一种基于NLP技术的敏感词屏蔽装置，请参考图2，为该基于NLP技术的敏感词屏蔽装置结构示意图，该基于NLP技术的敏感词屏蔽装置包括：

文本信息模块201，用于获取用于表征用户发送的信息内容的文本信息；分析结果模块202，用于基于NLP技术对文本信息进行语义分析并获取分析结果；结果判断模块203，用于判断分析结果是否合法；屏蔽信号模块204，用于如果分析结果不合法，则输出用于表征对文本信息进行屏蔽的屏蔽信号。

作为可选地实施例，该基于NLP技术的敏感词屏蔽装置还包括：相似分析模块，用于对文本信息进行相似分析，相似分析是指对文本信息进行同音和/或谐音的比对分析。

作为可选地实施例，相似分析模块包括：信息转化单元，用于将文本信息转化为拼音信息；信息匹配单元，用于将拼音信息与预设敏感词库进行匹配以获取待分析拼音信息，待分析拼音信息为拼音信息中与预设敏感词库匹配一致的拼音信息；语义分析单元，用于将匹配成功的拼音信息按预设规则转化为待分析文本信息进行语义分析。

此外，本发明实施例中还提供一种计算机装置，处理器通过执行所述计算机指令，从而实现以下方法：

获取用于表征用户发送的信息内容的文本信息；基于NLP技术对文本信息进行语义分析并获取分析结果；判断分析结果是否合法；如果分析结果不合法，则输出用于表征对文本信息进行屏蔽的屏蔽信号。

本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(ROM)或随机存储记忆体(RAM)等。计算机处理器用于执行存储介质中存储的计算机程序实现以下方法：

获取用于表征用户发送的信息内容的文本信息；基于NLP技术对文本信息进行语义分析并获取分析结果；判断分析结果是否合法；如果分析结果不合法，则输出用于表征对文本信息进行屏蔽的屏蔽信号。

以上所述的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进。这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。

Claims (10)

1.一种基于NLP技术的敏感词屏蔽方法，其特征在于，包括：

获取用于表征用户发送的信息内容的文本信息；

基于NLP技术对所述文本信息进行语义分析并获取分析结果；

判断所述分析结果是否合法；

如果所述分析结果不合法，则输出用于表征对所述文本信息进行屏蔽的屏蔽信号。

2.如权利要求1所述的基于NLP技术的敏感词屏蔽方法，其特征在于，在所述获取用于表征用户发送的信息内容的文本信息与所述基于NLP技术对所述文本信息进行语义分析并获取分析结果之间，还包括：

对所述文本信息进行相似分析，所述相似分析是指对所述文本信息进行同音和/或谐音的比对分析。

3.如权利要求2所述的基于NLP技术的敏感词屏蔽方法，其特征在于，所述对所述文本信息进行相似分析，所述相似分析是指对所述文本信息进行同音和/或谐音的比对分析包括：

将所述文本信息转化为拼音信息；

将所述拼音信息与预设敏感词库进行匹配以获取待分析拼音信息，所述待分析拼音信息为所述拼音信息中与所述预设敏感词库匹配一致的拼音信息；

将所述匹配成功的拼音信息按预设规则转化为待分析文本信息进行语义分析。

4.如权利要求1-3任一项所述的基于NLP技术的敏感词屏蔽方法，其特征在于，所述基于NLP技术对所述文本信息进行语义分析并获取分析结果包括：

通过对预设敏感词库及历史语料进行训练，生成敏感词词向量库；

分析所述文本信息中各个字段的组合概率以获取词向量；

将所述词向量与所述敏感词词向量库进行比对以获取待分析敏感词向量，所述待分析敏感词向量为所述词向量中与所述敏感词词向量库匹配一致的词向量；

根据所述文本信息中的上下文信息判断所述待分析敏感词向量的真实语义，并基于真实语义生成分析结果。

5.如权利要求4所述的基于NLP技术的敏感词屏蔽方法，其特征在于，所述判断分析结果是否合法是指判断所述待分析敏感词向量的真实语义是否为不需要进行屏蔽的正常言论。

6.一种基于NLP技术的敏感词屏蔽装置，其特征在于，包括：

文本信息模块，用于获取用于表征用户发送的信息内容的文本信息；

分析结果模块，用于基于NLP技术对所述文本信息进行语义分析并获取分析结果；

结果判断模块，用于判断所述分析结果是否合法；

屏蔽信号模块，用于如果所述分析结果不合法，则输出用于表征对所述文本信息进行屏蔽的屏蔽信号。

7.如权利要求6所述的基于NLP技术的敏感词屏蔽装置，其特征在于，还包括：

相似分析模块，用于对所述文本信息进行相似分析，所述相似分析是指对所述文本信息进行同音和/或谐音的比对分析。

8.如权利要求7所述的基于NLP技术的敏感词屏蔽装置，其特征在于，所述相似分析模块包括：

信息转化单元，用于将所述文本信息转化为拼音信息；

信息匹配单元，用于将所述拼音信息与预设敏感词库进行匹配以获取待分析拼音信息，所述待分析拼音信息为所述拼音信息中与所述预设敏感词库匹配一致的拼音信息；

语义分析单元，用于将所述匹配成功的拼音信息按预设规则转化为待分析文本信息进行语义分析。

9.一种计算机装置，其特征在于，包括处理器，所述处理器用于执行存储器中存储的计算机程序实现如权利要求1-5任意一项的所述的基于NLP技术的敏感词屏蔽方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，处理器用于执行存储介质中存储的计算机程序实现如权利要求1-5任意一项所述的基于NLP技术的敏感词屏蔽方法。