CN110674262A - 词语识别方法、装置、电子设备和介质 - Google Patents

Abstract

本申请实施例公开了一种词语识别方法、装置、电子设备和介质，涉及智能搜索技术领域。具体实现方案为：确定目标词语的拼音特征；其中，所述拼音特征至少包括单字拼音特征和/或相似全词拼音特征；将所述目标词语的拼音特征与拼音倒排索引进行匹配，确定所述目标词语是否命中所述拼音倒排索引；若命中，则确定所述目标词语属于规避词语。基于单字拼音特征和/或相似全词拼音特征，放松检索尺度，扩大检索范围，以对规避词语及其变形进行识别，提高规避词语的检测准确率。

Description

词语识别方法、装置、电子设备和介质

技术领域

本申请实施例涉及计算机技术领域，尤其涉及智能搜索技术领域，具体涉及一种词语识别方法、装置、电子设备和介质。

背景技术

随着互联网的快速发展，在用户发表的字符当中，对于规避词语进行屏蔽等处理，而其中用户为了避免字符被屏蔽，还会对词语进行形式变种，例如采用同音字等来表示。相应的，对于规避词语及其变种形式的有效识别尤为重要。

目前可以将字符转为拼音，基于拼音进行精确匹配。然而词语的变种形式并不局限于同音字的替换，对于其他的词语变种形式则无法识别，降低规避词语的识别效率和准确率。

发明内容

本申请实施例提供了一种词语识别方法、装置、电子设备和介质，能够识别规避词语的任何变种形式，提高规避词语及其相关变种形式的匹配命中率。

第一方面，本申请实施例提供了一种词语识别方法，包括：

确定目标词语的拼音特征；其中，所述拼音特征至少包括单字拼音特征和/或相似全词拼音特征；

将所述目标词语的拼音特征与拼音倒排索引进行匹配，确定所述目标词语是否命中所述拼音倒排索引；

若命中，则确定所述目标词语属于规避词语。

上述申请中的一个实施例具有如下优点或有益效果：基于单字拼音特征和/或相似全词拼音特征，放松检索尺度，扩大检索范围，以对规避词语及其变形进行识别，提高规避词语的检测准确率。

可选的，所述拼音倒排索引包括如下至少一项：全词拼音倒排索引、单字拼音倒排索引和相似拼音倒排索引，用于存储拼音特征与倒排规避词语或相似拼音特征之间的映射关系。

上述申请中的一个实施例具有如下优点或有益效果：基于倒排索引中拼音特征与倒排规避词语或相似拼音特征之间的映射关系，能够提高规避词语的匹配效率。

可选的，所述确定目标词语的拼音特征，包括：

将所述目标词语拆分为单字，并将所述单字转换为单字拼音，得到所述目标词语的单字拼音特征；

将所述目标词语的单字拼音特征与相似拼音倒排索引进行匹配，确定所述单字拼音特征的相似单字拼音集合；

根据所述单字拼音特征的相似单字拼音集合，对所述目标词语的全词拼音进行组合，得到所述目标词语的相似全词拼音特征。

上述申请中的一个实施例具有如下优点或有益效果：基于单字拼音特征和/或相似全词拼音特征，放松检索尺度，扩大检索范围。

可选的，所述将所述目标词语的拼音特征与拼音倒排索引进行匹配，确定所述目标词语是否命中所述拼音倒排索引，包括：

将所述目标词语的单字拼音特征与单字拼音倒排索引进行匹配，确定所述单字拼音特征的规避词语集合；

确定所述规避词语集合的交集；

根据所述交集确定所述目标词语是否命中所述单字拼音倒排索引。

上述申请中的一个实施例具有如下优点或有益效果：规避词语的匹配，并非局限于全词拼音的精确匹配，基于单字拼音特征，有利于放松检索尺度，扩大检索范围，实现对规避词语及其变形的识别。

可选的，所述将所述目标词语的拼音特征与拼音倒排索引进行匹配，确定所述目标词语是否命中所述拼音倒排索引，包括：

将所述目标词语的相似全词拼音特征与全词拼音倒排索引进行匹配，确定所述目标词语是否命中所述全词拼音倒排索引。

上述申请中的一个实施例具有如下优点或有益效果：规避词语的匹配，并非局限于全词拼音的精确匹配，基于相似全词拼音特征，有利于进一步放松检索尺度，扩大检索范围，实现对规避词语及其变形的识别。

可选的，在所述确定目标词语的拼音特征之前，还包括：

根据哈希函数确定所述目标词语的哈希值；

根据所述目标词语的哈希值和精确词表进行精确匹配，确定相匹配的精确词语的规避标识；

根据所述规避标识确定所述目标词语是否属于规避词语。

上述申请中的一个实施例具有如下优点或有益效果：可以首先对目标词语进行精确匹配，待无匹配结果时再逐步放松检索尺度，扩大检索范围，其中基于哈希值的精确匹配，有利于减少系统内存的占用，提高匹配速度。

可选的，所述确定目标词语的拼音特征，包括：

将所述目标词语转换为拼音，得到所述目标词语的全词拼音特征；

相应的，所述将所述目标词语的拼音特征与拼音倒排索引进行匹配，确定所述目标词语是否命中所述拼音倒排索引，包括：

将所述目标词语的全词拼音特征与全词拼音倒排索引进行匹配，确定所述目标词语是否命中所述全词拼音倒排索引。

上述申请中的一个实施例具有如下优点或有益效果：可以首先对目标词语进行全词拼音的精确匹配，待无匹配结果时再逐步放松检索尺度，扩大检索范围。

第二方面，本申请实施例提供了一种词语识别装置，包括：

拼音特征确定模块，用于确定目标词语的拼音特征；其中，所述拼音特征至少包括单字拼音特征和/或相似全词拼音特征；

倒排索引匹配模块，用于将所述目标词语的拼音特征与拼音倒排索引进行匹配，确定所述目标词语是否命中所述拼音倒排索引；

规避词语识别模块，用于若命中，则确定所述目标词语属于规避词语。

第三方面，本申请实施例提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请任意实施例所述的词语识别方法。

第四方面，本申请实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本申请任意实施例所述的词语识别方法。

上述申请中的一个实施例具有如下优点或有益效果：以目标词语为待识别的词语，通过确定目标词语的单字拼音特征和/或相似全词拼音特征，将单字拼音特征和/或相似全词拼音特征与拼音倒排索引进行匹配，若命中拼音倒排索引，则确定目标词语为规避词语。基于单字拼音特征和/或相似全词拼音特征，放松检索尺度，扩大检索范围，以对规避词语及其变形进行识别，提高规避词语的检测准确率，规避用户对于规避词语的作弊行为。

上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是根据本申请第一实施例的一种词语识别方法的流程图；

图2是根据本申请第二实施例的一种词语识别方法的流程图；

图3是根据本申请第二实施例的一种词语识别方法的流程图；

图4是根据本申请第二实施例的一种词语识别方法的流程图；

图5是根据本申请第三实施例的一种词语识别方法的流程图；

图6是根据本申请第四实施例的一种词语识别装置的结构示意图；

图7是用来实现本申请实施例的词语识别方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

第一实施例

图1是根据本申请第一实施例的一种词语识别方法的流程图，本实施例可适用于识别规避词语及其变形形式的情况，该方法可由一种词语识别装置来执行，该装置采用软件和/或硬件的方式实现，优选是配置于电子设备中，例如手机、电脑或服务器等。如图1所示，该方法具体包括如下：

S110、确定目标词语的拼音特征；其中，拼音特征至少包括单字拼音特征和/或相似全词拼音特征。

在本申请具体实施例中，目标词语是指待进行规避性识别的未知词语，目标词语可以是通过网络发送、上传、发表等文本中的任意词语。拼音特征是指目标词语转换后的拼音，可以是目标词语的全词拼音，也可以是目标词语中各个字符的单字拼音，还可以是目标词语的相似全词拼音。其中，基于不同尺度的规避词语匹配时，可以相应的采用不同的拼音特征。其中，规避词语是指预先设定的不能在公开场景中显示、传播，且需要被规避掉的词语，例如敏感词语，以便在识别出规避词语之后，对规避词语进行规避处理，例如用特殊符号替换等。

具体的，可以将目标词语转换为拼音，得到目标词语的全词拼音特征。或者，可以将目标词语拆分为单字，并将单字转换为单字拼音，得到目标词语的单字拼音特征。或者，在单字拼音特征的基础上，可以通过拼音与相似拼音之间的映射关系，得到各个单字拼音特征的相似单字拼音特征集合，并依据目标词语中各个字符的排列顺序，将各个单字拼音特征的相似单字拼音特征集合中的相似单字拼音进行组合，得到目标词语的相似全词拼音特征。

其中，鉴于基于拼音特征进行规避词语匹配的尺度较大，因此可以在根据拼音特征进行规避词语匹配之前，进行尺度较严的精确匹配。相应的，若目标词语为非变形的规避词语，则可以首先通过精确匹配进行一次性快速匹配，避免拼音特征的获取等操作。示例性的，可以预先保存包含精确词语的精确词表，精确词表中可以包括词语名称字段和词语标识字段。将精确词表加载到内存hash中，通过哈希值来表示各个精确词语，并为每个精确词语添加规避标识。从而根据哈希函数确定目标词语的哈希值，根据目标词语的哈希值和精确词表进行精确匹配，确定相匹配的精确词语的规避标识；根据规避标识确定目标词语是否属于规避词语。

S120、将目标词语的拼音特征与拼音倒排索引进行匹配，确定目标词语是否命中拼音倒排索引。

在本申请具体实施例中，拼音倒排索引包括如下至少一项：全词拼音倒排索引、单字拼音倒排索引和相似拼音倒排索引，用于存储拼音特征与倒排规避词语或相似拼音特征之间的映射关系。其中，全词拼音倒排索用于存储全词拼音与倒排规避词语之间的映射关系；单字拼音倒排索引用于存储单字拼音与倒排规避词语之间的映射关系；相近拼音倒排索引用于存储单字拼音与倒排相似拼音之间的映射关系。

通过拼音倒排索引，可以根据目标词语的拼音特征，快速的检索到具有该拼音特征的候选规避词语或候选相似拼音。鉴于拼音倒排索引中仅包含规避词语，因此只需将目标词语的拼音特征与拼音倒排索引进行匹配，若匹配结果命中拼音倒排索引，则说明目标词语属于规避词语。

具体的，可以直接依据单字拼音特征和/或相似全词拼音特征，将单字拼音特征与单字拼音倒排索引进行匹配，和/或将相似全词拼音特征与相近拼音倒排索引进行匹配，以此直接进行检索尺度和检索范围较大的匹配。示例性的，将目标词语的单字拼音特征与单字拼音倒排索引进行匹配，确定单字拼音特征的规避词语集合；确定规避词语集合的交集；若交集为非空则确定目标词语命中单字拼音倒排索引。和/或将目标词语的相似全词拼音特征与全词拼音倒排索引进行匹配，确定目标词语是否命中全词拼音倒排索引。

此外，鉴于基于单字拼音特征和/或相似全词拼音特征进行规避词语匹配的尺度较大，因此可以在根据单字拼音特征和/或相似全词拼音特征进行规避词语匹配之前，进行尺度相对较严一点的全词拼音匹配。相应的，若目标词语为基于同音字变形的规避词语，则可以首先通过全词拼音特征进行快速匹配，避免单字拼音特征和/或相似全词拼音特征的获取等操作。示例性的，将目标词语的全词拼音特征与全词拼音倒排索引进行匹配，确定目标词语是否命中全词拼音倒排索引。

S130、若命中，则确定目标词语属于规避词语。

在本申请具体实施例中，若目标词语的各个单字拼音特征的规避词语集合的交集为非空，则确定目标词语命中单字拼音倒排索引，进而确定目标词语属于规避词语。和/或，若相似全词拼音特征命中全词拼音倒排索引，则确定目标词语属于规避词语。相应的，对于识别出的规避词语，可以对规避词语进行添加马赛克或符号代替等屏蔽处理，防止规避词语对于规避信息的泄露、对于网络文明环境的影响等。

其中，基于上述的精确匹配、全词拼音匹配、单字拼音匹配以及相似全词拼音匹配，均是尺度逐渐扩大的检索。可以按照此顺序进行规避词语识别，也可以采用其中的至少一项进行规避词语的识别。并且一旦其中的任一一项的匹配成功，方可识别确定目标词语属于规避词语。

本实施例的技术方案，以目标词语为待识别的词语，通过确定目标词语的单字拼音特征和/或相似全词拼音特征，将单字拼音特征和/或相似全词拼音特征与拼音倒排索引进行匹配，若命中拼音倒排索引，则确定目标词语为规避词语。基于单字拼音特征和/或相似全词拼音特征，放松检索尺度，扩大检索范围，以对规避词语及其变形进行识别，提高规避词语的检测准确率，规避用户对于规避词语的作弊行为。

第二实施例

本实施例在上述第一实施例的基础上，进一步对将目标词语的拼音特征与拼音倒排索引进行匹配，确定目标词语是否命中拼音倒排索引进行解释说明。

图2是根据本申请第二实施例的一种词语识别方法的流程图，能够通过单字拼音特征来放松规避词语的检索尺度，扩大规避词语的检索范围，以便识别规避词语的各种变形形式。如图2所示，该方法具体包括如下：

S210、将目标词语拆分为单字，并将单字转换为单字拼音，得到目标词语的单字拼音特征。

在本申请具体实施例中，单字拼音特征是指目标词语中每个字符的拼音。例如，以“第一大厦”为目标词语，则目标词语的单字拼音特征可以包括di、yi、da和sha。

S220、将目标词语的单字拼音特征与单字拼音倒排索引进行匹配，确定单字拼音特征的规避词语集合。

在本申请具体实施例中，单字拼音倒排索引用于存储单字拼音与倒排规避词语之间的映射关系。基于目标词语中每个字符的单字拼音特征，从单字拼音倒排索引中检索具有该单字拼音特征的候选规避词语，构成该单字拼音特征的规避词语集合。

示例性的，假设以“第一大厦”、“第二大厦”和“第三大厦”都作为规避词语，则单字拼音倒排索引可以如表1所示。以“第一大厦”为目标词语，则根据目标词语的单字拼音特征di、yi、da和sha，可以获得单字拼音特征di的规避词语集合为{第一大厦，第二大厦，第三大厦，……}，单字拼音特征yi的规避词语集合为{第一大厦，……}，单字拼音特征da的规避词语集合为{第一大厦，第二大厦，第三大厦，……}，单字拼音特征sha的规避词语集合为{第一大厦，第二大厦，第三大厦，……}。

表1单字拼音倒排索引示例表

单字拼音	候选规避词语
		di	第一大厦，第二大厦，第三大厦，……
da	第一大厦，第二大厦，第三大厦，……
		sha	第一大厦，第二大厦，第三大厦，……
yi	第一大厦，……
		er	第二大厦，……
san	第三大厦，……

S230、确定规避词语集合的交集，根据交集确定目标词语是否命中单字拼音倒排索引。

在本申请具体实施例中，通过目标词语每个字符的单字拼音特征进行的检索，得到包含每个字符的规避词语集合，取所有规避词语集合的交集，若交集为非空，则确定目标词语命中单字拼音倒排索引。

示例性的，在上述示例中，取目标词语的单字拼音特征的所有规避词语集合为{第一大厦}，进而可以确定目标词语命中单字拼音倒排索引。

S240、若命中，则确定目标词语属于规避词语。

本实施例的技术方案，以目标词语为待识别的词语，通过确定目标词语的单字拼音特征，将单字拼音特征与单字拼音倒排索引进行匹配，得到单字拼音特征的规避词语集合，若规避词语集合的交集非空，则确定目标词语命中拼音倒排索引，确定目标词语为规避词语。基于单字拼音特征的倒排索引检索，放松检索尺度，扩大检索范围，以对规避词语及其变形进行识别，提高规避词语的检测准确率，规避用户对于规避词语的作弊行为。

图3是根据本申请第二实施例的一种词语识别方法的流程图，能够通过相似全词拼音特征来放松规避词语的检索尺度，扩大规避词语的检索范围，以便识别规避词语的各种变形形式。如图3所示，该方法具体包括如下：

S310、将目标词语拆分为单字，并将单字转换为单字拼音，得到目标词语的单字拼音特征。

在本申请具体实施例中，单字拼音特征是指目标词语中每个字符的拼音。例如，以“第一大厦”为目标词语，则目标词语的单字拼音特征可以包括di、yi、da和sha。

S320、将目标词语的单字拼音特征与相似拼音倒排索引进行匹配，确定单字拼音特征的相似单字拼音集合。

在本申请具体实施例中，相近拼音倒排索引用于存储单字拼音与倒排相似拼音之间的映射关系。基于目标词语中每个字符的单字拼音特征，从相似拼音倒排索引中检索具有该单字拼音特征的候选相似单字拼音，构成该单字拼音特征的相似单字拼音集合。

示例性的，假设以di、yi、da和sha作单字拼音特征，则相似拼音倒排索引可以如表2所示。以“第一大厦”为目标词语，则根据目标词语的单字拼音特征di、yi、da和sha，可以获得单字拼音特征di的相似单字拼音集合为{ding，dai，……}，单字拼音特征yi的相似单字拼音集合为{yin，ying，……}，单字拼音特征da的相似单字拼音集合为{dan，dang，……}，单字拼音特征sha的相似单字拼音集合为{cha，zha，san，shan，shang，……}。

表2相似拼音倒排索引示例表

单字拼音	候选相似拼音
		di	ding，dai，……
da	dan，dang，……
		sha	cha，zha，san，shan，shang，……
yi	yin，ying，……
		er	en，eng，……
san	sa，sang，sha，shan，shang，……

S330、根据单字拼音特征的相似单字拼音集合，对目标词语的全词拼音进行组合，得到目标词语的相似全词拼音特征。

在本申请具体实施例中，按照目标词语中各字符的排列顺序，从各个单字拼音特征的相似单字拼音集合中，依次取得一个候选相似拼音进行组合，得到目标词语的相似全词拼音特征。

示例性的，在上述示例中，可以得到目标词语“第一大厦”的相似全词拼音特征为：dingyidasha、daiyidasha、diyindasha等。

S340、将目标词语的相似全词拼音特征与全词拼音倒排索引进行匹配，确定目标词语是否命中全词拼音倒排索引。

在本申请具体实施例中，全词拼音倒排索用于存储全词拼音与倒排规避词语之间的映射关系。基于目标词语的相似全词拼音特征，从全词拼音倒排索引中检索发音完全相同的候选规避词语，若存在候选规避词语，则确定目标词语命中全词拼音倒排索引，进而防止用户采用相近字代替规避词语中的个别字符进行文字的发表。

示例性的，假设以“第一大厦”、“第二大厦”和“第三大厦”都作为规避词语，则全词拼音倒排索引可以如表3所示。以“第一大厦”为目标词语，则根据目标词语的全词拼音特征为diyidasha。将全词拼音特征diyidasha与全词拼音倒排索引进行匹配，可以确定与该目标词语发音相同的候选规避词语至少包括{第一大厦，第一大煞，……}，即目标词语命中全词拼音倒排索引。

表3全词拼音倒排索引示例表

全词拼音	候选规避词语
		diyidasha	第一大厦，第一大煞，……
dierdasha	第二大厦，第二大煞，……
		disandasha	第三大厦，第三大煞，……

S350、若命中，则确定目标词语属于规避词语。

本实施例的技术方案，以目标词语为待识别的词语，通过确定目标词语的单字拼音特征，将单字拼音特征与相似拼音倒排索引进行匹配，得到单字拼音特征的相似单字拼音集合，根据每个单字拼音特征的相似单字拼音集合，对目标词语的全词拼音进行组合，得到目标词语的相似全词拼音特征，将相似全词拼音特征与全词拼音倒排索引进行匹配，若目标词语命中全词拼音倒排索引，则确定目标词语为规避词语。基于相似全词拼音特征的倒排索引检索，放松检索尺度，扩大检索范围，以对规避词语及其变形进行识别，提高规避词语的检测准确率，规避用户对于规避词语的作弊行为。

图4是根据本申请第二实施例的一种词语识别方法的流程图，能够通过单字拼音特征和相似全词拼音特征来放松规避词语的检索尺度，扩大规避词语的检索范围，以便识别规避词语的各种变形形式。如图4所示，该方法具体包括如下：

S410、将目标词语拆分为单字，并将单字转换为单字拼音，得到目标词语的单字拼音特征。

S420、将目标词语的单字拼音特征与单字拼音倒排索引进行匹配，确定单字拼音特征的规避词语集合。

S430、确定规避词语集合的交集，根据交集确定目标词语是否命中单字拼音倒排索引。

S440、若未命中单字拼音倒排索引，则将目标词语的单字拼音特征与相似拼音倒排索引进行匹配，确定单字拼音特征的相似单字拼音集合。

S450、根据单字拼音特征的相似单字拼音集合，对目标词语的全词拼音进行组合，得到目标词语的相似全词拼音特征。

S460、将目标词语的相似全词拼音特征与全词拼音倒排索引进行匹配，确定目标词语是否命中全词拼音倒排索引。

S470、若命中，则确定目标词语属于规避词语。

本实施例的技术方案，以目标词语为待识别的词语，通过确定目标词语的单字拼音特征和/或相似全词拼音特征，将单字拼音特征和/或相似全词拼音特征与拼音倒排索引进行匹配，若命中拼音倒排索引，则确定目标词语为规避词语。基于单字拼音特征和/或相似全词拼音特征，放松检索尺度，扩大检索范围，以对规避词语及其变形进行识别，提高规避词语的检测准确率，规避用户对于规避词语的作弊行为。

第三实施例

图5是根据本申请第三实施例的一种词语识别方法的流程图，本实施例在上述第一实施例的基础上，进一步对规避词语的匹配方式进行解释说明，能够通过精确匹配、全词拼音匹配、单字拼音匹配和相似全词拼音匹配等方式，逐步放松规避词语的检索尺度，扩大规避词语的检索范围。如图5所示，该方法具体包括如下：

S501、根据哈希函数确定目标词语的哈希值，根据目标词语的哈希值和精确词表进行精确匹配，确定相匹配的精确词语的规避标识。

在本申请具体实施例中，鉴于基于拼音特征进行规避词语匹配的尺度较大，因此可以在根据拼音特征进行规避词语匹配之前，进行尺度较严的精确匹配。相应的，若目标词语为非变形的规避词语，则可以首先通过精确匹配进行一次性快速匹配，避免拼音特征的获取等操作。

示例性的，可以预先保存包含精确词语的精确词表，精确词表中可以包括词语名称字段和词语标识字段，如表4所示。其中，精确词表中可以仅包含规避词语，也可同时包含规避词语和非规避词语。词语标识用于为对应的词语添加全局唯一标识。

表4精确词表示例表

将精确词表加载到内存hash中，可以得到如表5所示的内存hash。其中，key表示词语对应的哈希值，value为规避标识，例如1标识规避，0标识非规避。

表5精确词表的内存hash示例表

词语名称	key	value
			第一大厦	123	1
第二大厦	233	1
			第三大厦	157	0

具体的，通过哈希函数计算目标词语的哈希值，将计算得到的目标词语的哈希值，与精确词表中的哈希值key进行匹配，并获得相匹配的哈希值关联的规避标识。

S502、根据规避标识确定目标词语是否属于规避词语。

在本申请具体实施例中，在获得规避标识后，即可根据规避标识的含义确定目标词语是否属于规避词语。示例性的，在上述示例中，若value为1，则确定目标词语属于规避词语；否则，目标词语不属于规避词语，或通过精确匹配失败，尚不能确定目标词语是否属于规避词语，需要进一步后续的扩展检索。

S503、若目标词语基于哈希值的精确匹配失败，则将目标词语转换为拼音，得到目标词语的全词拼音特征。

S504、将目标词语的全词拼音特征与全词拼音倒排索引进行匹配，确定目标词语是否命中全词拼音倒排索引。

在本申请具体实施例中，基于全词拼音特征的检索，确保了在用户采用同音字代替规避词语中至少一个字符的情况下，仍然能够对规避词语进行准确识别。

S505、若目标词语未命中全词拼音倒排索引，则将目标词语拆分为单字，并将单字转换为单字拼音，得到目标词语的单字拼音特征。

S506、将目标词语的单字拼音特征与单字拼音倒排索引进行匹配，确定单字拼音特征的规避词语集合。

S507、确定规避词语集合的交集；根据交集确定目标词语是否命中单字拼音倒排索引。

S508、若目标词语未命中单字拼音倒排索引，则将目标词语的单字拼音特征与相似拼音倒排索引进行匹配，确定单字拼音特征的相似单字拼音集合。

S509、根据单字拼音特征的相似单字拼音集合，对目标词语的全词拼音进行组合，得到目标词语的相似全词拼音特征。

S510、将目标词语的相似全词拼音特征与全词拼音倒排索引进行匹配，确定目标词语是否命中全词拼音倒排索引。

S511、若命中，则确定目标词语属于规避词语。

本实施例的技术方案，通过精确匹配、全词拼音匹配、单字拼音匹配和相似全词拼音匹配等方式，逐步放松规避词语的检索尺度，扩大规避词语的检索范围，以对规避词语及其变形进行识别，提高规避词语的检测准确率，规避用户对于规避词语的作弊行为。

第四实施例

图6是根据本申请第四实施例的一种词语识别装置的结构示意图，本实施例可适用于识别规避词语及其变形形式的情况，该装置可实现本申请任意实施例所述的词语识别方法。该装置600具体包括如下：

拼音特征确定模块610，用于确定目标词语的拼音特征；其中，所述拼音特征至少包括单字拼音特征和/或相似全词拼音特征；

倒排索引匹配模块620，用于将所述目标词语的拼音特征与拼音倒排索引进行匹配，确定所述目标词语是否命中所述拼音倒排索引；

规避词语识别模块630，用于若命中，则确定所述目标词语属于规避词语。

可选的，所述拼音倒排索引包括如下至少一项：全词拼音倒排索引、单字拼音倒排索引和相似拼音倒排索引，用于存储拼音特征与倒排规避词语或相似拼音特征之间的映射关系。

可选的，所述拼音特征确定模块610具体用于：

将所述目标词语拆分为单字，并将所述单字转换为单字拼音，得到所述目标词语的单字拼音特征；

将所述目标词语的单字拼音特征与相似拼音倒排索引进行匹配，确定所述单字拼音特征的相似单字拼音集合；

根据所述单字拼音特征的相似单字拼音集合，对所述目标词语的全词拼音进行组合，得到所述目标词语的相似全词拼音特征。

可选的，所述倒排索引匹配模块620具体用于：

将所述目标词语的单字拼音特征与单字拼音倒排索引进行匹配，确定所述单字拼音特征的规避词语集合；

确定所述规避词语集合的交集；

根据所述交集确定所述目标词语是否命中所述单字拼音倒排索引。

可选的，所述倒排索引匹配模块620具体用于：

将所述目标词语的相似全词拼音特征与全词拼音倒排索引进行匹配，确定所述目标词语是否命中所述全词拼音倒排索引。

进一步的，所述装置还包括精确匹配模块640，具体用于：

在所述确定目标词语的拼音特征之前，根据哈希函数确定所述目标词语的哈希值；

根据所述目标词语的哈希值和精确词表进行精确匹配，确定相匹配的精确词语的规避标识；

根据所述规避标识确定所述目标词语是否属于规避词语。

可选的，所述拼音特征确定模块610具体用于：

将所述目标词语转换为拼音，得到所述目标词语的全词拼音特征；

相应的，所述倒排索引匹配模块620具体用于：

将所述目标词语的全词拼音特征与全词拼音倒排索引进行匹配，确定所述目标词语是否命中所述全词拼音倒排索引。

本实施例的技术方案，通过各个功能模块之间的相互配合，实现了拼音倒排索引的构建、词语的精确匹配、全词拼音特征的确定、单字拼音特征的确定、相似全词拼音特征的确定、拼音特征的扩展检索等功能。基于单字拼音特征和/或相似全词拼音特征，放松检索尺度，扩大检索范围，以对规避词语及其变形进行识别，提高规避词语的检测准确率，规避用户对于规避词语的作弊行为。

第五实施例

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

如图7所示，是根据本申请实施例的词语识别方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图7所示，该电子设备包括：一个或多个处理器701、存储器702，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置，诸如，耦合至接口的显示设备，其上显示图形用户界面(Graphical User Interface，GUI)的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作，例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统。图7中以一个处理器701为例。

存储器702即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的词语识别方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的词语识别方法。

存储器702作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的词语识别方法对应的程序指令/模块，例如，附图6所示的拼音特征确定模块610、倒排索引匹配模块620、规避词语识别模块630和精确匹配模块640。处理器701通过运行存储在存储器702中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的词语识别方法。

存储器702可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据词语识别方法的电子设备的使用所创建的数据等。此外，存储器702可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器702可选包括相对于处理器701远程设置的存储器，这些远程存储器可以通过网络连接至词语识别方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

词语识别方法的电子设备还可以包括：输入装置703和输出装置704。处理器701、存储器702、输入装置703和输出装置704可以通过总线或者其他方式连接，图7中以通过总线连接为例。

输入装置703可接收输入的数字或字符信息，以及产生与词语识别方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置704可以包括显示设备、辅助照明装置和触觉反馈装置等，其中，辅助照明装置例如发光二极管(LightEmitting Diode，LED)；触觉反馈装置例如，振动电机等。该显示设备可以包括但不限于，液晶显示器(Liquid Crystal Display，LCD)、LED显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用集成电路(Application Specific Integrated Circuit，ASIC)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序，也称作程序、软件、软件应用、或者代码，包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置，例如，磁盘、光盘、存储器、可编程逻辑装置(Programmable Logic Device，PLD)，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置，例如，阴极射线管(Cathode Ray Tube，CRT)或者LCD监视器；以及键盘和指向装置，例如，鼠标或者轨迹球，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈，例如，视觉反馈、听觉反馈、或者触觉反馈；并且可以用任何形式，包括声输入、语音输入或者、触觉输入，来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统，例如，数据服务器，或者实施在包括中间件部件的计算系统，例如，应用服务器、或者实施在包括前端部件的计算系统，例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互，或者实施在包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信，例如，通信网络，来将系统的部件相互连接。通信网络的示例包括：局域网(Local Area Network，LAN)、广域网(Wide Area Network，WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

根据本申请实施例的技术方案，基于单字拼音特征和/或相似全词拼音特征，放松检索尺度，扩大检索范围，以对规避词语及其变形进行识别，提高规避词语的检测准确率。

另外，上述申请中的一个实施例具有如下优点或有益效果：基于倒排索引中拼音特征与倒排规避词语或相似拼音特征之间的映射关系，能够提高规避词语的匹配效率。

另外，上述申请中的一个实施例具有如下优点或有益效果：基于单字拼音特征和/或相似全词拼音特征，放松检索尺度，扩大检索范围。

另外，上述申请中的一个实施例具有如下优点或有益效果：规避词语的匹配，并非局限于全词拼音的精确匹配，基于单字拼音特征，有利于放松检索尺度，扩大检索范围，实现对规避词语及其变形的识别。

另外，上述申请中的一个实施例具有如下优点或有益效果：规避词语的匹配，并非局限于全词拼音的精确匹配，基于相似全词拼音特征，有利于进一步放松检索尺度，扩大检索范围，实现对规避词语及其变形的识别。

另外，上述申请中的一个实施例具有如下优点或有益效果：可以首先对目标词语进行精确匹配，待无匹配结果时再逐步放松检索尺度，扩大检索范围，其中基于哈希值的精确匹配，有利于减少系统内存的占用，提高匹配速度。

另外，上述申请中的一个实施例具有如下优点或有益效果：可以首先对目标词语进行全词拼音的精确匹配，待无匹配结果时再逐步放松检索尺度，扩大检索范围。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (10)

1.一种词语识别方法，其特征在于，包括：

确定目标词语的拼音特征；其中，所述拼音特征至少包括单字拼音特征和/或相似全词拼音特征；

将所述目标词语的拼音特征与拼音倒排索引进行匹配，确定所述目标词语是否命中所述拼音倒排索引；

若命中，则确定所述目标词语属于规避词语。

2.根据权利要求1所述的方法，其特征在于，所述拼音倒排索引包括如下至少一项：全词拼音倒排索引、单字拼音倒排索引和相似拼音倒排索引，用于存储拼音特征与倒排规避词语或相似拼音特征之间的映射关系。

3.根据权利要求1所述的方法，其特征在于，所述确定目标词语的拼音特征，包括：

将所述目标词语拆分为单字，并将所述单字转换为单字拼音，得到所述目标词语的单字拼音特征；

将所述目标词语的单字拼音特征与相似拼音倒排索引进行匹配，确定所述单字拼音特征的相似单字拼音集合；

根据所述单字拼音特征的相似单字拼音集合，对所述目标词语的全词拼音进行组合，得到所述目标词语的相似全词拼音特征。

4.根据权利要求1所述的方法，其特征在于，所述将所述目标词语的拼音特征与拼音倒排索引进行匹配，确定所述目标词语是否命中所述拼音倒排索引，包括：

将所述目标词语的单字拼音特征与单字拼音倒排索引进行匹配，确定所述单字拼音特征的规避词语集合；

确定所述规避词语集合的交集；

根据所述交集确定所述目标词语是否命中所述单字拼音倒排索引。

5.根据权利要求1所述的方法，其特征在于，所述将所述目标词语的拼音特征与拼音倒排索引进行匹配，确定所述目标词语是否命中所述拼音倒排索引，包括：

将所述目标词语的相似全词拼音特征与全词拼音倒排索引进行匹配，确定所述目标词语是否命中所述全词拼音倒排索引。

6.根据权利要求1所述的方法，其特征在于，在所述确定目标词语的拼音特征之前，还包括：

根据哈希函数确定所述目标词语的哈希值；

根据所述目标词语的哈希值和精确词表进行精确匹配，确定相匹配的精确词语的规避标识；

根据所述规避标识确定所述目标词语是否属于规避词语。

7.根据权利要求1所述的方法，其特征在于，所述确定目标词语的拼音特征，包括：

将所述目标词语转换为拼音，得到所述目标词语的全词拼音特征；

相应的，所述将所述目标词语的拼音特征与拼音倒排索引进行匹配，确定所述目标词语是否命中所述拼音倒排索引，包括：

将所述目标词语的全词拼音特征与全词拼音倒排索引进行匹配，确定所述目标词语是否命中所述全词拼音倒排索引。

8.一种词语识别装置，其特征在于，包括：

拼音特征确定模块，用于确定目标词语的拼音特征；其中，所述拼音特征至少包括单字拼音特征和/或相似全词拼音特征；

倒排索引匹配模块，用于将所述目标词语的拼音特征与拼音倒排索引进行匹配，确定所述目标词语是否命中所述拼音倒排索引；

规避词语识别模块，用于若命中，则确定所述目标词语属于规避词语。

9.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的词语识别方法。

10.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-7中任一项所述的词语识别方法。

Images