CN108052529A - 一种敏感词过滤方法及终端 - Google Patents

Abstract

本发明涉及数据处理领域，尤其涉及一种敏感词过滤方法及终端。本发明通过当客户端启动时，从资源终端获取第一词库；客户端加载预设的第二词库；在客户端运行过程中，同步更新服务器新增的敏感词至所述第二词库；客户端根据所述第一词库和所述第二词库过滤敏感词。实现在提高敏感词过滤及时性的同时降低服务器的资源消耗。

Description

一种敏感词过滤方法及终端

技术领域

本发明涉及数据处理领域，尤其涉及一种敏感词过滤方法及终端。

背景技术

申请号为201310741002.1的专利文献公开了一种网络游戏中敏感词过滤方法及系统，并具体公开了客户端对输入的文本内容进行敏感词过滤后发送至服务器；服务器设置有过滤开关及服务器敏感词库，当过滤开关开启时，服务器利用服务器敏感词库对接收的文本内容进行敏感词过滤，并将再次过滤后的文本内容发送至客户端；当过滤开关关闭时，服务器将接收的文本内容发送至客户端；其中，当服务器敏感词库增加新的敏感词时，触发过滤开关开启。

上述网络游戏中敏感词过滤方法及系统，实现了在例行更新客户端的敏感词库前，可根据新增敏感词对用户发送的语句进行过滤。但是，现在的手机游戏，尤其是MMORPG(大型多人在线角色扮演游戏)，在线玩家非常多，聊天非常活跃，一秒钟好几十条消息，若这些消息都在服务器进行敏感词的过滤操作，会非常耗费服务器资源，导致原本繁忙的服务处理更加繁忙，从而降低游戏的流畅度，影响用户体验。

发明内容

本发明所要解决的技术问题是：如何在提高敏感词过滤及时性的同时降低服务器的资源消耗。

为了解决上述技术问题，本发明采用的技术方案为：

本发明提供一种敏感词过滤方法，包括：

S1、当客户端启动时，从资源终端获取第一词库；

S2、客户端加载预设的第二词库；

S3、在客户端运行过程中，同步更新服务器新增的敏感词至所述第二词库；

S4、客户端根据所述第一词库和所述第二词库过滤敏感词。

本发明还提供一种敏感词过滤终端，包括一个或多个处理器及存储器，所述存储器存储有程序，并且被配置成由所述一个或多个处理器执行以下步骤：

S1、当客户端启动时，从资源终端获取第一词库；

S2、客户端加载预设的第二词库；

S3、在客户端运行过程中，同步更新服务器新增的敏感词至所述第二词库；

S4、客户端根据所述第一词库和所述第二词库过滤敏感词。

本发明的有益效果在于：本发明通过在客户端启动时从资源终端获取含有大量敏感词的第一词库，并在客户端运行过程中将服务器新增的敏感词实时同步更新至客户端的第二词库中，使得客户端可及时根据服务器新增的敏感词对用户输入的语句进行敏感词过滤，实现了在提高敏感词过滤及时性的同时降低服务器的资源消耗。

附图说明

图1为本发明提供的一种敏感词过滤方法的具体实施方式的流程框图；

图2为本发明提供的一种敏感词过滤终端的具体实施方式的结构框图；

标号说明：

1、处理器； 2、存储器。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。

请参照图1以及图2，

如图1所示，本发明提供一种敏感词过滤方法，包括：

S1、当客户端启动时，从资源终端获取第一词库；

S2、客户端加载预设的第二词库；

S3、在客户端运行过程中，同步更新服务器新增的敏感词至所述第二词库；

S4、客户端根据所述第一词库和所述第二词库过滤敏感词。

进一步地，所述S3之前，还包括：

获取服务器新增的敏感词数量和与资源终端对应的敏感词数量，得到第一敏感词总数；

获取所述第一词库和所述第二词库的敏感词数量总和，得到第二敏感词总数；

当所述第二敏感词总数小于所述第一敏感词总数时，增量更新服务器中的敏感词至所述第二词库。

由上述描述可知，实现及时更新客户端与服务器断开连接期间，服务器新增的且未更新至资源终端中第一词库的敏感词。

进一步地，所述S2之前，还包括：

获取同时存在于所述第一词库和所述第二词库中的敏感词，得到重复敏感词集合；

从所述第二词库中删除与所述重复敏感词集合对应的敏感词。

由上述描述可知，降低第二词库的冗余性，从而提高客户端过滤敏感词的效率。

进一步地，所述S4具体为：

获取第一字符串；

删除所述第一字符串中的空格，得到第二字符串；

使用预设的字符替换所述第二字符串中与所述第一词库和所述第二词库包含的任一敏感词对应的子串，得到第三字符串。

由上述描述可知，先删除待过滤字符串中的空格，提高识别敏感词的精确度，以免由于空格的干扰未成功过滤敏感词。

进一步地，还包括：

当服务器新增的敏感词数量达到预设的数量阈值时，资源终端接收来自服务器的新增的敏感词，得到新增的敏感词集合；

资源终端根据所述新增的敏感词集合更新所述第一词库；

服务器删除与所述新增的敏感词集合对应的敏感词。

由上述描述可知，当服务器新增的敏感词数量大时，会造成较多客户端需在启动时与服务器进行数据交互以更新第二词库，从而耗费服务器的资源。因此，本发明在服务器新增的敏感词数量达到预设的数量阈值时，即将新增的敏感词更新至资源终端的第一词库中，使得客户端在从资源终端更新资源的同时批量更新新增的敏感词，降低了服务器的资源消耗。

如图2所示，本发明还提供一种敏感词过滤终端，包括一个或多个处理器1及存储器2，所述存储器2存储有程序，并且被配置成由所述一个或多个处理器1执行以下步骤：

S1、当客户端启动时，从资源终端获取第一词库；

S2、客户端加载预设的第二词库；

S3、在客户端运行过程中，同步更新服务器新增的敏感词至所述第二词库；

S4、客户端根据所述第一词库和所述第二词库过滤敏感词。

进一步地，所述S3之前，还包括：

获取服务器新增的敏感词数量和与资源终端对应的敏感词数量，得到第一敏感词总数；

获取所述第一词库和所述第二词库的敏感词数量总和，得到第二敏感词总数；

当所述第二敏感词总数小于所述第一敏感词总数时，增量更新服务器中的敏感词至所述第二词库。

进一步地，所述S2之前，还包括：

获取同时存在于所述第一词库和所述第二词库中的敏感词，得到重复敏感词集合；

从所述第二词库中删除与所述重复敏感词集合对应的敏感词。

进一步地，所述S4具体为：

获取第一字符串；

删除所述第一字符串中的空格，得到第二字符串；

使用预设的字符替换所述第二字符串中与所述第一词库和所述第二词库包含的任一敏感词对应的子串，得到第三字符串。

进一步地，还包括：

当服务器新增的敏感词数量达到预设的数量阈值时，资源终端接收来自服务器的新增的敏感词，得到新增的敏感词集合；

资源终端根据所述新增的敏感词集合更新所述第一词库；

服务器删除与所述新增的敏感词集合对应的敏感词。

本发明的实施例一为：

本实施例提供一种敏感词过滤方法，包括：

S1、当客户端启动时，从资源终端获取第一词库。

其中，服务商将运行客户端所需的资源存放于资源终端，客户端启动时会先与资源终端建立通信连接，并判断资源终端是否存在新的资源，若存在，则更新所述新的资源至客户端。一般情况下，资源终端存在的资源包括声音文件、图片、文本文件、LUA脚本文件等，除此之外，本实施例提供的资源终端还包括含有大量敏感词的第一词库。

S2、获取同时存在于所述第一词库和所述第二词库中的敏感词，得到重复敏感词集合；从所述第二词库中删除与所述重复敏感词集合对应的敏感词；客户端加载预设的第二词库。

其中，第一词库是与资源终端中的其它资源作为一个整体打包下载至客户端的，客户端在运行过程中，资源包中的资源可能处于使用状态，此时，对资源包中的第一词库进行更新操作，易出错致使退出游戏，严重影响用户体验。本领域常用的方法为通过重启客户端实现更新资源包中的敏感词库并使敏感词库生效，无法及时更新敏感词库。而本实施例通过在客户端预设一个第二词库，所述第二词库独立于第一词库所述的资源包，不受资源包中其它资源运行状态的影响，使得服务器可实时将新增的敏感词更新至客户端的第二词库中。因此，客户端的第二词库存储有服务器新增的敏感词。

本实施例在客户端加载第二词库之前，删除同时存在于第一词库和第二词库中的敏感词，有利于降低第二次库的冗余性，从而提高过滤敏感词的效率。例如，客户端在运行过程中从服务器同步更新到10个新增的敏感词，客户端断开与服务器的连接后，服务器将上述10个新增的敏感词更新至资源终端的第一词库中。当客户端下一次启动时，从资源终端加载了包含有上述10个新增的敏感词的第一词库，此时，第一词库和第二词库存在重复的10个新增的敏感词，第二词库存在冗余。故本实施例在加载第二词库前先删除第二词库中的冗余敏感词，以提高客户端过滤敏感词的效率。

S3、获取服务器新增的敏感词数量和与资源终端对应的敏感词数量，得到第一敏感词总数；获取所述第一词库和所述第二词库的敏感词数量总和，得到第二敏感词总数；当所述第二敏感词总数小于所述第一敏感词总数时，增量更新服务器中的敏感词至所述第二词库。

其中，客户端与服务器断开连接期间，服务器新增了3个敏感词，且上述3个敏感词尚未更新至资源终端的第一词库中。因此，当客户端下次启动时无法通过更新第一词库获取上述3个敏感词，需要从服务器增量更新第二词库以完善客户端的敏感词库。

S4、在客户端运行过程中，同步更新服务器新增的敏感词至所述第二词库。

S5、客户端根据所述第一词库和所述第二词库过滤敏感词；具体为：获取第一字符串；删除所述第一字符串中的空格，得到第二字符串；使用预设的字符替换所述第二字符串中与所述第一词库和所述第二词库包含的任一敏感词对应的子串，得到第三字符串。

例如，第一词库或第二词库中存在一敏感词“广告”。用户当前输入的语句为“点击广告”，“点击”和“广”之间存在空格，“广”和“告”之间存在空格。本实施例先滤掉空格符号，将“点击广告”转换为“点击广告”。再将字符串“点击广告”与第一词库和第二词库汇总的敏感词匹配，识别到字符串中包含敏感词“广告”，则将“广告”替换成“**”，得到最终的处理结果“点击**”。

S6、当服务器新增的敏感词数量达到预设的数量阈值时，资源终端接收来自服务器的新增的敏感词，得到新增的敏感词集合；资源终端根据所述新增的敏感词集合更新所述第一词库；服务器删除与所述新增的敏感词集合对应的敏感词。

例如：游戏刚发布时，游戏资源包里面包含图片、配置文件、脚本文件、敏感词列表文件(第一词库)word1.ini和配置文件config.ini。其中，word1.ini存放初始敏感词列表，config.ini中存放第一词库的配置信息，内容含有:

[config]

index1＝0

index1(索引1)用来存放对应服务器敏感词库的索引。

服务器有一个敏感词表格：server_word，包含索引字段，词条字段；初始时，表格数据是空的。

当服务器的敏感词表格server_word新增加了100个对应索引为1-100的敏感词时，将上述100个新增加的敏感词加入到资源终端的word1.ini尾部去，修改config.ini里面的index1＝100，以便客户端更新。

当客户端启动时，资源更新模块会进行更新处理，把资源终端中的word1.ini和config.ini文件都更新到客户端。此时，客户端指示的索引是100。

在游戏的过程中，服务器又新增了3个敏感词，对应的索引是101-103；服务器将新增的3个敏感词和服务器当前的最大索引103一起推送到客户端；客户端接收到服务端推送的敏感词数据后，会把最新索引103还有接收到的3个新增的敏感词存储在本地可读写目录下的文件word2.ini(词库2)中。

在玩家下线期间，服务器又新增了两个敏感词，对应的索引是104-105。下次玩家重新客户端进入游戏的时候，客户端会先加载词库1(word1.ini)到缓存中，然后读取config.ini里面的index1得到索引1为100；然后加载词库2(word2.ini)到缓存中，得到索引2为103；比较两个索引100和103，设置当前最大的索引为103。客户端向服务器发送当前客户端中的最大的索引103，服务器收到客户端发送的当前最大索引103之后，会检查服务器目前敏感词最大的索引是105，因此会把索引号为104和105的敏感词以增量更新的方式同步至客户端。客户端收到索引号为104和105的敏感词后，将接收到的敏感词加入word2.ini尾部，并把最大索引由103改成105。

经过一段时间积累之后，服务端敏感词汇索引到达200了，到达预设的数量阈值，则把索引1-200的敏感词加入到资源终端的word1.ini尾部(去掉重复的)，并修改config.ini里面的index1＝200。

本发明的实施例二为：

本实施例提供一种敏感词过滤终端，包括一个或多个处理器1及存储器2，所述存储器2存储有程序，并且被配置成由所述一个或多个处理器1执行以下步骤：

S1、当客户端启动时，从资源终端获取第一词库。

其中，服务商将运行客户端所需的资源存放于资源终端，客户端启动时会先与资源终端建立通信连接，并判断资源终端是否存在新的资源，若存在，则更新所述新的资源至客户端。一般情况下，资源终端存在的资源包括声音文件、图片、文本文件、LUA脚本文件等，除此之外，本实施例提供的资源终端还包括含有大量敏感词的第一词库。

S2、获取同时存在于所述第一词库和所述第二词库中的敏感词，得到重复敏感词集合；从所述第二词库中删除与所述重复敏感词集合对应的敏感词；客户端加载预设的第二词库。

其中，第一词库是与资源终端中的其它资源作为一个整体打包下载至客户端的，资源包中的资源可能处于使用状态，此时，对资源包中的第一词库进行更新操作，易出错致使退出游戏，严重影响用户体验。本领域常用的方法为通过重启客户端实现更新资源包中的敏感词库并使敏感词库生效，无法及时更新敏感词库。而本实施例通过在客户端预设一个第二词库，所述第二词库独立于第一词库所述的资源包，不受资源包中其它资源运行状态的影响，使得服务器可实时将新增的敏感词更新至客户端的第二词库中。因此，客户端的第二词库存储有服务器新增的敏感词。

本实施例在客户端加载第二词库之前，删除同时存在于第一词库和第二词库中的敏感词，有利于降低第二次库的冗余性，从而提高过滤敏感词的效率。例如，客户端在运行过程中从服务器同步更新到10个新增的敏感词，客户端断开与服务器的连接后，服务器将上述10个新增的敏感词更新至资源终端的第一词库中。当客户端下一次启动时，从资源终端加载了包含有上述10个新增的敏感词的第一词库，此时，第一词库和第二词库存在重复的10个新增的敏感词，第二词库存在冗余。故本实施例在加载第二词库前先删除第二词库中的冗余敏感词，以提高客户端过滤敏感词的效率。

S3、获取服务器新增的敏感词数量和与资源终端对应的敏感词数量，得到第一敏感词总数；获取所述第一词库和所述第二词库的敏感词数量总和，得到第二敏感词总数；当所述第二敏感词总数小于所述第一敏感词总数时，增量更新服务器中的敏感词至所述第二词库。

其中，客户端与服务器断开连接期间，服务器新增了3个敏感词，且上述3个敏感词尚未更新至资源终端的第一词库中。因此，当客户端下次启动时无法通过更新第一词库获取上述3个敏感词，需要从服务器增量更新第二词库以完善客户端的敏感词库。

S4、在客户端运行过程中，同步更新服务器新增的敏感词至所述第二词库。

S5、客户端根据所述第一词库和所述第二词库过滤敏感词；具体为：获取第一字符串；删除所述第一字符串中的空格，得到第二字符串；使用预设的字符替换所述第二字符串中与所述第一词库和所述第二词库包含的任一敏感词对应的子串，得到第三字符串。

S6、当服务器新增的敏感词数量达到预设的数量阈值时，资源终端接收来自服务器的新增的敏感词，得到新增的敏感词集合；资源终端根据所述新增的敏感词集合更新所述第一词库；服务器删除与所述新增的敏感词集合对应的敏感词。

综上所述，本发明提供的一种敏感词过滤方法及终端，通过在客户端启动时从资源终端获取含有大量敏感词的第一词库，并在客户端运行过程中将服务器新增的敏感词实时同步更新至客户端的第二词库中，使得客户端可及时根据服务器新增的敏感词对用户输入的语句进行敏感词过滤，实现了在提高敏感词过滤及时性的同时降低服务器的资源消耗。进一步地，实现及时更新客户端与服务器断开连接期间，服务器新增的且未更新至资源终端中第一词库的敏感词。进一步地，降低第二词库的冗余性，从而提高客户端过滤敏感词的效率。进一步地，先删除待过滤字符串中的空格，提高识别敏感词的精确度，以免由于空格的干扰未成功过滤敏感词。进一步地，本发明在服务器新增的敏感词数量达到预设的数量阈值时，即将新增的敏感词更新至资源终端的第一词库中，使得客户端在从资源终端更新资源的同时批量更新新增的敏感词，降低了服务器的资源消耗。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种敏感词过滤方法，其特征在于，包括：

S1、当客户端启动时，从资源终端获取第一词库；

S2、客户端加载预设的第二词库；

S3、在客户端运行过程中，同步更新服务器新增的敏感词至所述第二词库；

S4、客户端根据所述第一词库和所述第二词库过滤敏感词。

2.根据权利要求1所述的一种敏感词过滤方法，其特征在于，所述S3之前，还包括：

获取服务器新增的敏感词数量和与资源终端对应的敏感词数量，得到第一敏感词总数；

获取所述第一词库和所述第二词库的敏感词数量总和，得到第二敏感词总数；

当所述第二敏感词总数小于所述第一敏感词总数时，增量更新服务器中的敏感词至所述第二词库。

3.根据权利要求1所述的一种敏感词过滤方法，其特征在于，所述S2之前，还包括：

获取同时存在于所述第一词库和所述第二词库中的敏感词，得到重复敏感词集合；

从所述第二词库中删除与所述重复敏感词集合对应的敏感词。

4.根据权利要求1所述的一种敏感词过滤方法，其特征在于，所述S4具体为：

获取第一字符串；

删除所述第一字符串中的空格，得到第二字符串；

使用预设的字符替换所述第二字符串中与所述第一词库和所述第二词库包含的任一敏感词对应的子串，得到第三字符串。

5.根据权利要求1所述的一种敏感词过滤方法，其特征在于，还包括：

当服务器新增的敏感词数量达到预设的数量阈值时，资源终端接收来自服务器的新增的敏感词，得到新增的敏感词集合；

资源终端根据所述新增的敏感词集合更新所述第一词库；

服务器删除与所述新增的敏感词集合对应的敏感词。

6.一种敏感词过滤终端，其特征在于，包括一个或多个处理器及存储器，所述存储器存储有程序，并且被配置成由所述一个或多个处理器执行以下步骤：

S1、当客户端启动时，从资源终端获取第一词库；

S2、客户端加载预设的第二词库；

S3、在客户端运行过程中，同步更新服务器新增的敏感词至所述第二词库；

S4、客户端根据所述第一词库和所述第二词库过滤敏感词。

7.根据权利要求6所述的一种敏感词过滤终端，其特征在于，所述S3之前，还包括：

获取服务器新增的敏感词数量和与资源终端对应的敏感词数量，得到第一敏感词总数；

获取所述第一词库和所述第二词库的敏感词数量总和，得到第二敏感词总数；

当所述第二敏感词总数小于所述第一敏感词总数时，增量更新服务器中的敏感词至所述第二词库。

8.根据权利要求6所述的一种敏感词过滤终端，其特征在于，所述S2之前，还包括：

获取同时存在于所述第一词库和所述第二词库中的敏感词，得到重复敏感词集合；

从所述第二词库中删除与所述重复敏感词集合对应的敏感词。

9.根据权利要求6所述的一种敏感词过滤终端，其特征在于，所述S4具体为：

获取第一字符串；

删除所述第一字符串中的空格，得到第二字符串；

使用预设的字符替换所述第二字符串中与所述第一词库和所述第二词库包含的任一敏感词对应的子串，得到第三字符串。

10.根据权利要求6所述的一种敏感词过滤终端，其特征在于，还包括：

当服务器新增的敏感词数量达到预设的数量阈值时，资源终端接收来自服务器的新增的敏感词，得到新增的敏感词集合；

资源终端根据所述新增的敏感词集合更新所述第一词库；

服务器删除与所述新增的敏感词集合对应的敏感词。