CN110929477B - 关键词变体的确定方法和装置 - Google Patents

Abstract

本申请公开了一种关键词变体的确定方法和装置。该方法包括如下步骤:将待测文本拆分为多个文本字符串；利用汉字在多种编码形式下的字形相似关系，获取所述文本字符串的异构图特征；利用所述异构图特征，通过机器学习模型确定所述文本字符串与预设的关键词的相似度；根据所述相似度判断所述文本字符串是否为所述关键词变体，以判断所述待测文本中是否包含所述关键字变体。在本发明实施例提出的方案中，不同的形码编码在各个维度刻画了字形的结构，综合使用多种编码方式形成异构图，可以形成了互补，比单纯用某一种形码能更好地计算字形相似度。通过异构图存储不同编码的字形相似度信息，可以加强字形间的传递关系，有效降低了误判。

Description

关键词变体的确定方法和装置

技术领域

本申请涉及计算处理领域，特别是涉及一种关键词变体的确定方法和装置。

背景技术

在中文的文本反垃圾中，一个需要解决的问题是解决文本变异问题。垃圾内容(如色情、广告、辱骂等)通常是不良用户在评论、讨论、网页上发布的内容，为了规避网站对关键字的过滤，不良用户会通过字形变异的方式，传达与垃圾内容同样的信息。

通常变异可分为四种：

1.同音/近音变异，如“刷单返现”被改写为“刷耽反现”

2.字形变异，如“微信”被改写为“徽信”

3.拆字变异，如“招募水军”被改写为“扌召募水军"

4.干扰变异，如"刷单返现"被改写为“刷--单--返--现”

在传统的文本反垃圾中，业内人士一般通过如下方法实现变异字形的检测：

1.通过预先制定好的形近字表，对垃圾关键词进行全扩展后进行精确匹配。

2.通过五笔字根等编码方式来表示字，并根据编码计算两个字的编辑距离，通过设定距离的阈值，来界定形近字。之后，对垃圾关键词根据形近字进行全扩展，然后进行精确匹配。

但是，现有的两种方法中，第一种方法依赖预先定义好的形近字表，而目前没有一个较全的中文形近字表，获取成本高；第二种方法对字形相似度的计算依赖于编码方式和所设定的阈值。一种编码方式无法全面的衡量字形的相似度。譬如两个看似不相近的字，但编码相近；两个相近的字，编码很远。容易造成漏判。再者，通过设定距离的阈值来界定形近字不够灵活，阈值的高低会影响识别垃圾文本的准确率和召回率。

发明内容

鉴于上述问题，本发明一实施例提出一种关键词变体的确定方法和装置，以解决现有技术存在的问题。

为了解决上述问题，本申请一实施例公开一种关键词变体的确定方法，包括如下步骤：

将待测文本拆分为多个文本字符串；

利用汉字在多种编码形式下的字形相似关系，获取所述文本字符串的异构图特征；

利用所述异构图特征，通过机器学习模型确定所述文本字符串与预设的关键词的相似度；

根据所述相似度判断所述文本字符串是否为所述关键词变体，以判断所述待测文本中是否包含所述关键字变体。

为了解决上述问题，本申请一实施例公开一种关键词变体的确定装置，包括：

文本字符串获取模块，用于将所述待测文本拆分为多个文本字符串；

相似度计算模块，用于利用汉字在多种编码形式下的字形相似关系，获取所述文本字符串的异构图特征，并利用所述异构图特征，通过机器学习模型确定所述文本字符串与预设的关键词的相似度；

确定模块，用于根据所述相似度判断所述文本字符串是否为所述关键词变体，以判断所述待测文本中是否包含所述关键字变体。

本申请一实施例还公开一种终端设备，包括：

一个或多个处理器；和

其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述终端设备执行上述的方法。

本申请一实施例还公开一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得终端设备执行上述的方法。

由上述可知，本申请实施例包括以下优点：

在本发明实施例提出的方案中，不同的形码编码在各个维度刻画了字形的结构，综合使用多种编码方式形成异构图，可以形成了互补，比单纯用某一种形码能更好地计算字形相似度。通过异构图存储不同编码的字形相似度信息，可以加强字形间的传递关系，譬如在某些形近字在某些编码上差异很大，但他们通过另外一种编码的路径连通，便可以在对异构图进行特征提取时捕获这种联系。

相比于现有技术提出的方案，本发明改进了现有技术因扩展词表易造成误判的问题，选用了不扩展词表，有效降低了误判。

另外，针对现有技术形近字表不全、获取成本高、用单种编码方式有误差的缺点，本方法采用了综合使用多种字形编码的表示方法，克服了单一编码不足，不全的问题。本方法通过异构图，增强了形近字之间的字形传递关系，更有效的挖掘了汉字间潜在的字形相似度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1所示为本发明第一实施例键词变体的确定方法的示意图。

图2是本申请第一实施例的关键词变体的确定方法的流程图。

图3所示为“未”字的异构图的一部分的示意图。

图4是本申请第二实施例的关键词变体的确定方法的流程图。

图5所示为本发明第二实施例键词变体的确定方法的示意图。

图6所示为本发明第二实施例步骤S401包含的子步骤的流程图。

图7所示为本发明第二实施例步骤S403包含的子步骤的流程图。

图8所示为本发明机器学习模型的示意图。

图9是本申请第三实施例的关键词变体的确定装置的方框图。

图10是本申请第三实施例的关键词变体的确定装置的方框图。

图11示意性地示出了用于执行根据本发明的方法的终端设备的框图；以及

图12示意性地示出了用于保持或者携带实现根据本发明的方法的程序代码的存储单元。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本申请保护的范围。

本申请的核心思想之一在于，提出一种关键词变体的确定方法，针对汉字利用多种编码方式进行编码，获取各种编码下汉字的关联关系，并利用该关联关系识别待检测文本的文本字符串中是否包含预设的关键词的变体。本发明提出的方案中使用了多种编码形式，从更多角度挖掘汉字与汉字之间的联系，避免了单一角度的判断导致的误判或漏判。

第一实施例

本发明第一实施例提出一种关键词变体的确定方法。图1所示为该方法所示的关键词变体的确定方法的示意图。图2所示为本发明第一实施例的关键词变体的确定方法的步骤流程图。如图2所示，本发明实施例的关键词变体的确定方法包括如下步骤：

S101,获取待测文本，将所述待测文本拆分为多个文本字符串(也即是图1所示的待检测文本字符串)；

在这一步骤中，当服务器检测到待测文本时，例如，用户聊天输入的“招兼职刷椫领取红包”，可以将该待测文本分成多个文本字符串，在分成文本字符串的过程中，一方面可以利用分词的方法，将这一段划分为，招/兼职/刷椫/领取/红包。另一方面，可以根据ngram算法，例如按照n等于3，将该文本分为多个文本字符串，例如：招兼职，兼职刷，职刷椫，刷椫领，椫领取，领取红，取红包。

将待测文本拆分为多个文本字符串的方法，在现有技术中有多种，在此并不特别限定，同样地，上述的ngram算法也仅是举例，并不具体限定。

S102，利用汉字在多种编码形式下的字形相似关系，获取所述文本字符串的异构图特征；

具体地，可以预先针对汉字的多种编码形式，确定每一种编码形式下汉字之间的关联关系(也就是字形相似关系)，并基于汉字在多种编码形式下的字形相似关系生成结构化字形关系图；而后从结构化字形关系图中获取所述文本字符串的异构特征。结构化字形关系图可以包括节点和连接节点的边，所述节点为汉字，所述边具有对应于编码形式种类的边类型，所述边为所连接的两个汉字在边类型对应的编码形式下的字形相似度。

具体地，从结构化字形关系图中获取所述文本字符串的异构图特征的步骤可以包括：对于文本字符串中的每一个汉字，从所述结构化字形关系图中获取所述汉字与所述关键词中位置对应的汉字的相邻关系(两汉字是否相邻，此处相邻是指节点是否直接通过边相连)、邻居阶数(如果不是直接相连，则经过几个节点相连)和在多种编码模式下的字形相似度，以得到每个汉字的异构图特征。最后由每个汉字的异构图特征形成该文本字符串的异构图特征。

在这一步骤中，执行主体，例如服务器，可以通过应用程序接口，获取多个汉字，例如新华字典中的所有汉字。并针对汉字的每一种编码，获取该编码下的某一个汉字与其他汉字之间的关联关系。

假设所获取的汉字为5000个汉字，则可以将这5000个汉字中的每个汉字分别转化为现有的五笔编码、郑码编码、四角码编码、笔顺编码四种编码。五笔输入法是最常用的形码输入法；郑码输入法是一种形码输入法，与五笔类似，编码上更有规律和逻辑。四角码是一种计算机四角汉字输入法，和五笔相比，四角码不用记字根但绝大多数字词有重码。字根是由若干笔划交叉连接而形成的相对不变的结构，是构成汉字最重要、最基本的单位，不同的形码输入法有不同的字根。

例如针对“科”这个字，每一种编码方式下分别为：tufh(五笔)、mfte(郑码)、24900(四角码)、撇横竖撇点点点横竖(笔顺)。

每一种编码形式下汉字之间两两的关联关系可以用编辑距离(Edit Distance)来计算。编辑距离是指两个字串之间，由一个转成另一个所需的最少编辑操作次数，用于后续衡量各类编码下汉字的相似度。许可的编辑操作包括将一个字符替换成另一个字符，插入一个字符，删除一个字符。一般来说，编辑距离越小，两个串的相似度越大。

例如，图3所示的未、味、和末三个字，从笔顺的角度来说，未和末的编辑距离较为相近，而未与味读音相似，但在五笔上(FII——GS)和郑码上(BDKO——AFVV)非常不一样。再例如，鄙和啚，在郑码上表达非常相似(JEJY——JEJJ)，但四角码很不一样(67627——60604)。

为了将不同的编码形式下的汉字之间的关系反映在一张图中，可以采用异构图(也就是结构化字形关系图)。异构图又称异构信息网络，是一种图结构。相比于同构图只包含一种类型的节点，一种类型的边，通常异构图包含一种以上的节点类型，以及一种以上的边类型。在本发明实施例中，如果编码方式为四种，则异构图的边包括四种情况，分别是五笔编码，郑码编码，四角码编码和笔顺编码的编辑距离。

值得注意的是，在这一步骤中，如果计算每一个汉字与其他所有汉字之间生成的异构图，则可能存在生成的异构图过大的问题，在特征提取时不仅开销大，而且带来很多不必要的噪声信息，过多地占用计算资源。为了解决这样的问题，在可选实施例中，为了保证异构图的稀疏性，可以取每一种编码方式下与当前汉字相似度为前预定比例(例如1％、2％或5％)以内的汉字，生成较小的异构图。

S103，至少利用所述异构图特征，通过机器学习模型确定所述文本字符串与预设的关键词的相似度；

在这一步骤中，利用已经获得的异构图特征和多个文本字符串，可以利用机器学习模型判断每一个文本字符串和预设的关键词之间的相似度。这里的关键词，可以是系统设置的、不良用户试图规避的敏感词等。例如为平台设置的、交流中不允许出现的刷单、水军等关键词。

上述的机器学习模型可以是DSSM(Deep Structured Semantic Models，深度语义匹配模型)模型、基于char embedding+cnn或siamese LSTM、word mover distance等相似度模型、或者线性模型等机器学习模型，或者是几种模型的叠加，本发明并不限制其类型，只要是能够实现本发明方案的机器学习模型即可。

以判断文本字符串“伽徽言”和预设的关键词“加微信”的相似度为例，判断方式可以采用如下的方式：

如果待测对象中包含“伽徽言”，用于代替关键字加微信，则在这一步骤中，首先可以计算“加”和“伽”的异构图特征，以四种编码方式为例，这两个字的异构图特征会得到6个维度的特征，这些特征分别是：每一种编码方式下“加”和“伽”的相似度特征(例如异构图的边长)、“加”和“伽”的相邻程度(例如相邻则为1，不相邻则为0)、“加”和“伽”之间的邻居阶数维度(例如这两个字如果不直接相邻，其是通过几级相邻的)。针对这三个字，分别进行上述计算，获得18维度的特征。

将这一向量输入机器学习模型，利用已经用大量的样本训练出的机器学习模型，可以计算出“伽徽言”和预设的关键词“加微信”的相似度。

S104，根据所述相似度判断所述文本字符串是否为所述关键词变体，以判断所述待测文本中是否包含所述关键字变体。

在这一步骤中，可以根据机器学习模型计算的相似度，判断该文本字符串是否是关键词的变体(也就是形近词，形变字体)，即，该待测文本是否包含关键词的形变字体。

本发明的方案中，还可以将判断结果输入各类型的文本反垃圾识别模块，例如，广告识别模块可以检测出该文本为垃圾广告。在检测出之后，可以在网页或者App、群聊群组等，对用户发出警告，提示所发出的内容存在风险，已经被过滤。消息在推送至其他用户前，已经被后台拦截，成功实现了群聊场景下的其他用户无感知的反垃圾。

由上述可知，本发明第一实施例提出的关键词变体的确定方法至少具有如下技术效果：

在本发明实施例提出的方案中，不同的形码编码在各个维度刻画了字形的结构，综合使用多种编码方式形成异构图，可以形成了互补，比单纯用某一种形码能更好地计算字形相似度。通过异构图存储不同编码的字形相似度信息，可以加强字形间的传递关系，譬如在某些形近字在某些编码上差异很大，但他们通过另外一种编码的路径连通，便可以在对异构图进行特征提取时捕获这种联系。

相比于现有技术提出的方案，本发明改进了现有技术因扩展词表易造成误判的问题，选用了不扩展词表，有效降低了误判。另外，针对现有技术形近字表不全、获取成本高、用单种编码方式有误差的缺点，本方法采用了综合使用多种字形编码的表示方法，克服了单一编码不足，不全的问题。本方法通过异构图，增强了形近字之间的字形传递关系，更有效的挖掘了汉字间潜在的字形相似度。

第二实施例

本发明第二实施例提出一种关键词变体的确定方法。图4所示为本发明第二实施例的关键词变体的确定方法的步骤流程图，图5为对应的确定方法的示意图。如图4和图5所示，本发明实施例的关键词变体的确定方法如下步骤：

S201，获取待测文本，将所述待测文本拆分为多个文本字符串；

S202,利用汉字在多种编码形式下的字形相似关系，获取所述文本字符串的异构图特征；

S203，利用所述异构图特征，通过机器学习模型确定所述文本字符串与预设的关键词的相似度；

S204，根据所述相似度判断所述文本字符串是否为所述关键词变体，以判断所述待测文本中是否包含所述关键字变体。

上述步骤S201至步骤S204与上一实施例的步骤S101至步骤S104相同或相似，在此不再赘述。本实施例重点说明与上一实施例的不同之处。

如图6所示，在本发明一实施例中，所述方法还可以包括生成异构图的步骤，该步骤可以包括如下子步骤：

S2011，根据多种编码形式的编码规则，将多个汉字中的每一个转换为多种编码形式；

在这一子步骤中，可以根据新华字典提供的应用程序编程接口，获得包含多个汉字的文本，例如常用的5000个汉字中的每一个汉字进行处理，将每一个汉字转换为多种编码，常见的输入法包括五笔输入法、郑码输入法、四角号码、字根输入法等。

举例来说：“科”这个字，可以转换为如下编码：tufh(五笔)、mfte(郑码)、24900(四角码)、撇横竖撇点点点横竖(笔顺)。

S2012，计算每一种编码规则下汉字之间的编辑距离，依据所述编辑距离确定所述汉字的字形相似度；

在这一步骤中，可以计算当前选定的汉字与其他汉字之间的编辑距离，由于每一个汉字对应有上述至少四种编码方式，因此可以计算出在每一种方式下该汉字与其他汉字之间的编辑距离。在这一步骤中可以计算出两两汉字之间的编辑距离。

由于每一种编码方式下有其特定的编辑距离的衡量方式，在生成的异构图中，可以对这些编辑距离进行归一化，获得统一的编辑距离计算方法，即异构图的两个汉字之间的边长。该边长可以衡量两个汉字之间的相似度。边长越短，则相似度越高。

S2013，选取每一编码规则下汉字之间的相似度满足条件的汉字生成异构图；

在这一子步骤中，在四种编码方式下，该汉字与其他任意汉字之间，具有特定的编辑距离，如果计算每一个汉字与其他所有汉字之间生成的异构图，则可能存在生成的异构图过大的问题，在特征提取时不仅开销大，而且带来很多不必要的噪声信息，过多地占用计算资源。为了解决这样的问题，在可选实施例中，为了保证异构图的稀疏性，可以取每一种编码方式下与当前汉字相似度为前1％、2％或5％以内的汉字，生成较小的异构图。

在本发明一实施例中，所述步骤S203，即利用异构图特征，通过机器学习模型确定文本字符串与预设的关键词的相似度的步骤例如可以包括如下子步骤：

S2031，构造所述文本字符串与所述预设的关键词的匹配向量，所述匹配向量至少包括所述文本字符串的异构图特征；

在这一步骤中，可以将文本字符串中的每一个汉字，和关键词中每一个汉字对比，生成异构图特征，以构造匹配向量。例如针对“伽徽言”和关键字“加微信”，首先可以计算“加”和“伽”的异构图特征，以四种编码方式为例，这两个字的异构图特征会得到6个维度的特征，这些特征分别是：每一种编码方式下“加”和“伽”的相似度特征(例如异构图的边长)、“加”和“伽”的相邻程度(例如相邻则为1，不相邻则为0)、“加”和“伽”之间的邻居阶数维度(例如这两个字如果不直接相邻，其是通过几级相邻的)。针对这三个字，分别进行上述计算，获得18维度的特征。可以预设最长的关键词为五个字，不足的部分的向量维度用0补齐。

S2032，利用所述匹配向量通过机器学习模型确定确定所述文本字符串与所述关键词的相似度。

在这一步骤中，可以将所获得的特征输入机器学习模型，利用机器学习模型对该向量进行分析，从而根据所述文本字符串与所述关键词的相似度判断当前的文本字符串是否与关键词相似，从而确定待测文本是否包含关键词的变异体。

上述的机器学习模型可以是DSSM模型、基于char embedding+cnn或siameseLSTM、word mover distance等相似度模型、或者线性模型等机器学习模型，或者是几种模型的叠加，本发明并不限制其类型，只要是能够实现本发明方案的机器学习模型即可。机器学习模型可以理解为具有f＝A₁X₁+A₂X₂+A₃X₃……+A_nX_n的形式，在使用机器学习模型之前，需要利用历史数据对机器学习模型进行训练，获得一组权重A₁～A_n。在使用机器学习模型时，根据已经训练获得的权重A₁～A_n和已知的向量维度X₁～X_n，可以计算出待测文本中每一个文本字符串和预设的关键词的相似度，从而确定待测文本是否包含关键词的变异体。

在本发明一实施例中，上述的匹配向量中，还可以包括其他维度，例如所述匹配向量还包括所述文本字符串的文本特征，所述文本特征的获取步骤如下：通过所述机器学习模型获取所述文本字符串的文本特征，所述文本特征指示所述文本字符串与所述关键词的语义相似度。所述匹配向量还可以包括所述文本字符串的上下文特征、成词特征和长度特征中的至少一个，其中所述上下文特征指示所述文本字符串的前后文本字符串的关键词相似比例，所述成词特征指示所述文本字符串及前后文本字符串的成词概率、所述长度特征指示所述文本字符串的长度。

上下文特征，是指该文本字符串(也就是ngram)上下文的文本字符串在垃圾文本和正常文本中的占比。譬如某句待检测的句子是：“有福利哦加徽信吧”，当前检测的ngram是“加徽信”，那么上下文特征会遍历“加徽信”周围的ngram，即“有福利”、“福利哦”、“徽信吧”，分别计算他们在垃圾文本中出现的次数除以在正常文本中出现的次数，并且求平均，就是上下文特征。

例如是该文本特征的上下文在垃圾文本和正常文本中的占比。例如，不良用户输入的内容给包括“招兼职刷椫领红包”，经过拆分后，形成如下ngram文本字符串：

招兼职刷椫，兼职刷椫领，职刷椫领红，刷椫领红包。

在判断“招兼职刷椫”这个词中是否包括关键词的变异时，可以判断这个文本字符串的上下文的文本字符串，是否有较大概率出现在已经确认过的垃圾文本中。

例如，这个文本字符串“招兼职刷椫”之后的文本字符串“刷椫领红包”或者“领红包”这个词，经过判断，在已确定的垃圾文本中的占比远高于在正常文本中的占比，则可以根据领红包这三个字使得指标“招兼职刷椫”疑似关键词变异的疑似程度的指数上升。即，当该文本字符串“招兼职刷椫”前后文本的关键词相似比例较高(例如该前后文本在垃圾文本中出现次数与在正常文本中出现次数的比例相对较高)，则提升了“招兼职刷椫”为关键词变异的可能性。

垃圾文本和正常文本来源于服务器之前采集的大量用于研究学习的文本信息，从文本信息中可以判断出垃圾文本和正常文本。

因此，可以将“所述文本字符串的前后文本字符串的关键词相似比例”这一维度加入匹配向量，用于衡量该文本字符串是关键词的变异的可能性。

再例如，可以将“所述文本字符串及其前后文本的成词概率”这一维度加入匹配向量，用于衡量该文本字符串前后成词的可能性，从而避免误判。

成词概率是指该待测文本各个字之间的成词的概率，具体为计算周围ngram和当前ngram的成词概率，并求平均。即上下文所有的文字序列的成词概率。

成词概率为(内部完整度+边界自由度)

内部完整度由PMI＝p(x,y)/(p(x)*p(y))来计算；

边界自由度用左右熵计算：

例如，招兼职，兼职刷，职刷椫，刷椫领，椫领红，领红包这些文本字符串中，“招兼职”的概率较高，“领红包”的成词概率也比较高，其他的则相对概率较低。利用成词特征可以判断该文本字符串以及上下文是否可以成词。成词概率判断的意义在于，可以判断当前词的上下文是否成词，避免误判，例如可以避免将前文所述的“安徽信息工程学院”判断成为包括了关键词“微信”的变体“徽信”。成词概率判断为已有技术，在此不再赘述。

再例如，还可以将长度特征加入匹配向量，长度特征为拆分的文本字符串的长度，用于进行辅助判断。

在本发明一实施例中，还可以在匹配向量中加入原始文本特征(也即是文本字符串的文本特征)的维度，如图8所示，可以利用DSSM模型、基于char embedding+cnn或siamese LSTM、word mover distance等相似度模型，计算原始文本字符串与关键词的相似度。加入原始文本特征的维度，可以跳过对原始文本的处理步骤，直接从根本上判断原始文本与关键词的相似度，计算所述文本字符串的原始文本特征可以是计算文本字符串的词袋特征与预设关键词的词袋特征的余弦相似度。将原始文本特征作为机器学习模型的一个维度，可以避免漏判，提高判断的准确率。

在一实施例中，如图8所示，前述的异构图特征、上下文特征和成词特征可以利用线性模型叠加的方法输出，而原始文本特征可以利用DSSM等相似度模型计算获得。在图8中，输出层P(N|Q)代表该文本字符串——例如ngram序列属于该垃圾关键词的概率，可以由softmax计算获得。DSSM BLOCK输出2个128维语义向量的相似度，再通过线性上下文特征、异构图特征、成词特征，由输出层P(N|Q)综合输出当前的文本字符串与垃圾关键词的相似度，即成词概率。

在本发明一实施例中，所述方法还可以包括训练机器学习模型的步骤，例如：

S200，利用历史数据训练机器学习模型，所述历史数据包括:历史待测文本、历史关键字、判断结果；

在这一步骤中，可以利用历史数据来训练机器学习模型，所述的历史数据可以包括历史的待测文本和历史的关键字，例如历史的垃圾关键字，在获得了再次文本和关键字之后，还要获得历史判断结果，利用历史的待测文本和历史的关键字、历史判断结果作为样本，输入机器学习模型进行学习。

所谓的历史判断结果是指，经过人工上报的或者历史机器学习获得的确定为关键词的变异的内容，利用大量的历史数据来训练机器学习模型，可以赋予每一个机器学习模型维度的权重，从而可以获得一个相对准确的机器学习模型。

由前述可知，现有技术提出的两种方法都对垃圾关键词进行了全扩展，并没有考虑在识别垃圾文本时上下文的影响，该字周围的成词概率、以及所匹配的垃圾关键词长度等因素，会造成一定的误判。譬如某垃圾关键词是“裸聊”，待识别的样本为“用苹果聊天速度快”，其中“果聊”会被识别成“裸聊”的形近字，再譬如“微信”和“徽信”，但如果后者处于“安徽信息工程学院”，则明显不存在“微信”的变异。

相比而言，本实施例优选提出的关键词变体的确定方法至少具有如下优点：

在本发明实施例提出的方案中，不同的形码编码在各个维度刻画了字形的结构，综合使用多种编码方式形成异构图，可以形成了互补，比单纯用某一种形码能更好地计算字形相似度。通过异构图存储不同编码的字形相似度信息，可以加强字形间的传递关系，譬如在某些形近字在某些编码上差异很大，但他们通过另外一种编码的路径连通，便可以在对异构图进行特征提取时捕获这种联系。

相比于现有技术提出的方案，本发明改进了现有技术因扩展词表易造成误判的问题，选用了不扩展词表，有效降低了误判。

另外，针对现有技术形近字表不全、获取成本高、用单种编码方式有误差的缺点，本方法采用了综合使用多种字形编码的表示方法，克服了单一编码不足，不全的问题。本方法通过异构图，增强了形近字之间的字形传递关系，更有效的挖掘了汉字间潜在的字形相似度。

除此之外，本实施例提出的关键词变体的确定方法至少还包括如下优点：

在本发明可选实施例中，在构造匹配向量是利用了多种不同的维度，对可能发生变异的字，改进了传统规则方法的发现变异即召回的模式，而是结合上下文信息和成词概率等特征，综合考虑在当前环境下，是否存在垃圾字形变异。

在本发明可选实施例中，通过基于线性模型和DSSM等metric learning机器学习模型，结合线上真实变异情况，对机器学习模型进行训练，深度识别垃圾字形变异。

第三实施例

本发明第三实施例提出一种关键词变体的确定装置，如图9所示，该装置包括：

文本字符串获取模块301，用于获取待测文本，将所述待测文本拆分为多个文本字符串；

相似度计算模块302，用于利用汉字在多种编码形式下的字形相似关系，获取所述文本字符串的异构图特征，并利用所述异构图特征通过机器学习模型确定所述文本字符串与预设的关键词的相似度；

确定模块303，用于根据所述相似度判断所述文本字符串是否为所述关键词变体，以判断所述待测文本中是否包含所述关键字变体。

所述相似度计算模块还用于从结构化字形关系图中获取所述文本字符串的异构特征，所述结构化字形关系图基于汉字在多种编码形式下的字形相似关系而建立，并包括节点和连接节点的边，所述节点为汉字，所述边具有对应于编码形式种类的边类型，所述边为所连接的两个汉字在边类型对应的编码形式下的字形相似度。所述相似度计算模块还用于对于文本字符串中的每一个汉字，从所述结构化字形关系图中获取所述汉字与所述关键词中位置对应的汉字的相邻关系、邻居阶数和在多种编码模式下的字形相似度。

综上所述，本实施例提出的关键词变体的确定装置至少具有如下优点：

在本发明实施例提出的方案中，不同的形码编码在各个维度刻画了字形的结构，综合使用多种编码方式形成异构图，可以形成了互补，比单纯用某一种形码能更好地计算字形相似度。通过异构图存储不同编码的字形相似度信息，可以加强字形间的传递关系，譬如在某些形近字在某些编码上差异很大，但他们通过另外一种编码的路径连通，便可以在对异构图进行特征提取时捕获这种联系。

相比于现有技术提出的方案，本发明改进了现有技术因扩展词表易造成误判的问题，选用了不扩展词表，有效降低了误判。

另外，针对现有技术形近字表不全、获取成本高、用单种编码方式有误差的缺点，本方法采用了综合使用多种字形编码的表示方法，克服了单一编码不足，不全的问题。本方法通过异构图，增强了形近字之间的字形传递关系，更有效的挖掘了汉字间潜在的字形相似度。

第四实施例

本发明第四实施例提出一种关键词变体的确定装置，如图10所示，该装置包括：

文本字符串获取模块402，用于获取待测文本，将所述待测文本拆分为多个文本字符串；

相似度计算模块403，用于利用汉字在多种编码形式下的字形相似关系，获取所述文本字符串的异构图特征，并利用所述异构图特征通过机器学习模型确定每一个所述文本字符串与预设的关键词的相似度；

确定模块404，用于根据所述相似度判断所述文本字符串是否为所述关键词变体，以判断所述待测文本中是否包含所述关键字变体。

在本发明一可选实施例中，装置还包括用于生成所述结构化字形关系图的关联关系确定模块401，所述关联关系确定模块401包括：

编码转换子模块，用于根据多种编码形式的编码规则，将多个汉字中的每一个转换为编码形式下的编码；

相似度计算子模块，用于计算每一种编码规则下汉字之间的编辑距离，依据所述编辑距离确定所述汉字之间的字形相似度；

异构图生成子模块，用于选取每一种编码规则下汉字之间的相似度满足预设条件的汉字生成异构图。

在本发明一可选实施例中，所述编码规则包括：五笔输入法编码、郑码输入法编码、四角号码编码、字根编码、笔画顺序编码中的两种以上。

在本发明一可选实施例中，所述相似度计算模块403包括：

向量构造子模块，用于构造所述文本字符串与所述关键词的匹配向量，所述匹配向量至少包括所述文本字符串的异构图特征；

相似度判断子模块，用于利用所述匹配向量，通过机器学习模型确定所述待测文本的文本字符串与所述关键词的相似度。

在本发明一可选实施例中，所述匹配向量还包括：所述文本字符串的文本特征，所述相似度计算模块还用于通过所述机器学习模型获取所述文本字符串的文本特征，所述文本特征指示所述文本字符串与所述关键词的语义相似度。

在本发明一可选实施例中，所述匹配向量还包括所述文本字符串的上下文特征、成词特征和长度特征中的至少一个，其中所述上下文特征指示所述文本字符串的前后文本字符串的关键词相似比例，所述成词特征指示所述文本字符串及前后文本字符串的成词概率、所述长度特征指示所述文本字符串的长度。。

在本发明一可选实施例中，所述装置还包括：

模型训练模块405，用于利用历史数据训练机器学习模型，所述历史数据包括:历史待测文本和历史关键字、判断结果。

综上所述，本实施例提出的关键词变体的确定装置至少具有如下优点：

在本发明实施例提出的方案中，不同的形码编码在各个维度刻画了字形的结构，综合使用多种编码方式形成异构图，可以形成了互补，比单纯用某一种形码能更好地计算字形相似度。通过异构图存储不同编码的字形相似度信息，可以加强字形间的传递关系，譬如在某些形近字在某些编码上差异很大，但他们通过另外一种编码的路径连通，便可以在对异构图进行特征提取时捕获这种联系。

相比于现有技术提出的方案，本发明改进了现有技术因扩展词表易造成误判的问题，选用了不扩展词表，有效降低了误判。

另外，针对现有技术形近字表不全、获取成本高、用单种编码方式有误差的缺点，本方法采用了综合使用多种字形编码的表示方法，克服了单一编码不足，不全的问题。本方法通过异构图，增强了形近字之间的字形传递关系，更有效的挖掘了汉字间潜在的字形相似度。

除此之外，本实施例提出的关键词变体的确定装置至少还包括如下优点：

在本发明可选实施例中，在构造匹配向量是利用了多种不同的维度，对可能发生变异的字，改进了传统规则方法的发现变异即召回的模式，而是结合上下文信息和成词概率等特征，综合考虑在当前环境下，是否存在垃圾字形变异。

在本发明可选实施例中，通过基于线性模型和DSSM等metric learning机器学习模型，结合线上真实变异情况，对机器学习模型进行训练，深度识别垃圾字形变异。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。

图11为本申请一实施例提供的终端设备的硬件结构示意图。如图11所示，该终端设备可以包括输入设备90、处理器91、输出设备92、存储器93和至少一个通信总线94。通信总线94用于实现元件之间的通信连接。存储器93可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，存储器93中可以存储各种程序，用于完成各种处理功能以及实现本实施例的方法步骤。

可选的，上述处理器91例如可以为中央处理器(Central Processing Unit，简称CPU)、应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，该处理器91通过有线或无线连接耦合到上述输入设备90和输出设备92。

可选的，上述输入设备90可以包括多种输入设备，例如可以包括面向用户的用户接口、面向设备的设备接口、软件的可编程接口、摄像头、传感器中至少一种。可选的，该面向设备的设备接口可以是用于设备与设备之间进行数据传输的有线接口、还可以是用于设备与设备之间进行数据传输的硬件插入接口(例如USB接口、串口等)；可选的，该面向用户的用户接口例如可以是面向用户的控制按键、用于接收语音输入的语音输入设备以及用户接收用户触摸输入的触摸感知设备(例如具有触摸感应功能的触摸屏、触控板等)；可选的，上述软件的可编程接口例如可以是供用户编辑或者修改程序的入口，例如芯片的输入引脚接口或者输入接口等；可选的，上述收发信机可以是具有通信功能的射频收发芯片、基带处理芯片以及收发天线等。麦克风等音频输入设备可以接收语音数据。输出设备92可以包括显示器、音响等输出设备。

在本实施例中，该终端设备的处理器包括用于执行各设备中数据处理装置各模块的功能，具体功能和技术效果参照上述实施例即可，此处不再赘述。

图12为本申请另一实施例提供的终端设备的硬件结构示意图。图12是对图11在实现过程中的一个具体的实施例。如图12所示，本实施例的终端设备包括处理器101以及存储器102。

处理器101执行存储器102所存放的计算机程序代码，实现上述实施例中图2-图7的关键词变体的确定方法。

存储器102被配置为存储各种类型的数据以支持在终端设备的操作。这些数据的示例包括用于在终端设备上操作的任何应用程序或方法的指令，例如消息，图片，视频等。存储器102可能包含随机存取存储器(random access memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

可选地，处理器101设置在处理组件100中。该终端设备还可以包括：通信组件103，电源组件104，多媒体组件105，音频组件106，输入/输出接口107和/或传感器组件108。终端设备具体所包含的组件等依据实际需求设定，本实施例对此不作限定。

处理组件100通常控制终端设备的整体操作。处理组件100可以包括一个或多个处理器101来执行指令，以完成上述图2-图7方法的全部或部分步骤。此外，处理组件100可以包括一个或多个模块，便于处理组件100和其他组件之间的交互。例如，处理组件100可以包括多媒体模块，以方便多媒体组件105和处理组件100之间的交互。

电源组件104为终端设备的各种组件提供电力。电源组件104可以包括电源管理系统，一个或多个电源，及其他与为终端设备生成、管理和分配电力相关联的组件。

多媒体组件105包括在终端设备和用户之间的提供一个输出接口的显示屏。在一些实施例中，显示屏可以包括液晶显示器(LCD)和触摸面板(TP)。如果显示屏包括触摸面板，显示屏可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。

音频组件106被配置为输出和/或输入音频信号。例如，音频组件106包括一个麦克风(MIC)，当终端设备处于操作模式，如语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器102或经由通信组件103发送。在一些实施例中，音频组件106还包括一个扬声器，用于输出音频信号。

输入/输出接口107为处理组件100和外围接口模块之间提供接口，上述外围接口模块可以是点击轮，按钮等。这些按钮可包括但不限于：音量按钮、启动按钮和锁定按钮。

传感器组件108包括一个或多个传感器，用于为终端设备提供各个方面的状态评估。例如，传感器组件108可以检测到终端设备的打开/关闭状态，组件的相对定位，用户与终端设备接触的存在或不存在。传感器组件108可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在，包括检测用户与终端设备间的距离。在一些实施例中，该传感器组件108还可以包括摄像头等。

通信组件103被配置为便于终端设备和其他设备之间有线或无线方式的通信。终端设备可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个实施例中，该终端设备中可以包括SIM卡插槽，该SIM卡插槽用于插入SIM卡，使得终端设备可以登录GPRS网络，通过互联网与服务端建立通信。

由上可知，在图12实施例中所涉及的通信组件103、音频组件106以及输入/输出接口107、传感器组件108均可以作为图11实施例中的输入设备的实现方式。

本申请实施例提供了一种终端设备，包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述终端设备执行如本申请实施例中一个或多个所述的方法。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本申请所提供的一种关键词变体的确定方法和装置，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (18)

1.一种关键词变体的确定方法，其特征在于，包括：

将待测文本拆分为多个文本字符串；

利用汉字在多种编码形式下的字形相似关系，获取所述文本字符串的异构图特征；

利用所述异构图特征，通过机器学习模型确定所述文本字符串与预设的关键词的相似度；

根据所述相似度判断所述文本字符串是否为所述关键词变体，以判断所述待测文本中是否包含所述关键词变体；

其中，获取所述文本字符串的异构特征的步骤包括：

从结构化字形关系图中获取所述文本字符串的异构特征，所述结构化字形关系图基于汉字在多种编码形式下的字形相似关系而建立，并包括节点和连接节点的边，所述节点为汉字，所述边具有对应于编码形式种类的边类型，所述边为所连接的两个汉字在边类型对应的编码形式下的字形相似度。

2.根据权利要求1所述的方法，其中，所述从结构化字形关系图中获取所述文本字符串的异构图特征的步骤包括：

对于文本字符串中的每一个汉字，从所述结构化字形关系图中获取所述汉字与所述关键词中位置对应的汉字的相邻关系、邻居阶数和在多种编码模式下的字形相似度。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括生成结构化字形关系图的步骤，所述步骤包括：

根据多种编码形式的编码规则，将多个汉字中的每一个转化为多种编码形式；

计算每一种编码规则下汉字之间的编辑距离，依据所述编辑距离确定所述汉字之间的字形相似度；

选取每一种编码规则下汉字之间的相似度满足预设条件的汉字生成结构化字形关系图。

4.根据权利要求3所述的方法，其特征在于，所述多种编码规则包括：五笔输入法编码、郑码输入法编码、四角号码编码、字根编码、拼音编码、笔画顺序编码其中两种以上。

5.根据权利要求1所述的方法，其特征在于，利用文本字符串的异构图特征，通过机器学习模型确定所述文本字符串与关键词的相似度的步骤包括：

构造所述文本字符串与所述关键词的匹配向量，所述匹配向量至少包括所述文本字符串的异构图特征；

利用所述匹配向量，通过机器学习模型确定所述文本字符串与所述关键词的相似度。

6.根据权利要求5所述的方法，其中，所述匹配向量还包括所述文本字符串的文本特征，所述方法还包括：

通过所述机器学习模型获取所述文本字符串的文本特征，所述文本特征指示所述文本字符串与所述关键词的语义相似度。

7.根据权利要求5或6所述的方法，其中，所述匹配向量还包括所述文本字符串的上下文特征、成词特征和长度特征中的至少一个，其中所述上下文特征指示所述文本字符串的前后文本字符串的关键词相似比例，所述成词特征指示所述文本字符串及前后文本字符串的成词概率、所述长度特征指示所述文本字符串的长度。

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

利用历史数据训练机器学习模型，所述历史数据包括:历史待测文本、历史关键字、判断结果。

9.一种关键词变体的确定装置，其特征在于，包括：

文本字符串获取模块，用于将待测文本拆分为多个文本字符串；

相似度计算模块，用于利用汉字在多种编码形式下的字形相似关系，获取所述文本字符串的异构图特征，并利用所述异构图特征，通过机器学习模型确定所述文本字符串与预设的关键词的相似度；

确定模块，用于根据所述相似度判断所述文本字符串是否为所述关键词变体，以判断所述待测文本中是否包含所述关键词变体；

其中，所述相似度计算模块还用于从结构化字形关系图中获取所述文本字符串的异构特征，所述结构化字形关系图基于汉字在多种编码形式下的字形相似关系而建立，并包括节点和连接节点的边，所述节点为汉字，所述边具有对应于编码形式种类的边类型，所述边为所连接的两个汉字在边类型对应的编码形式下的字形相似度。

10.根据权利要求9所述的装置，其中，所述相似度计算模块还用于对于文本字符串中的每一个汉字，从所述结构化字形关系图中获取所述汉字与所述关键词中位置对应的汉字的相邻关系、邻居阶数和在多种编码模式下的字形相似度。

11.根据权利要求9所述的装置，其特征在于，还包括用于生成所述结构化字形关系图的关联关系确定模块，所述关联关系确定模块包括：

编码转换子模块，用于根据多种编码形式的编码规则，将多个汉字中的每一个转换为编码形式；

相似度计算子模块，用于计算每一种编码规则下汉字之间的编辑距离，依据所述编辑距离确定所述汉字之间的字形相似度；

异构图生成子模块，用于选取每一种编码规则下汉字之间的相似度满足预设条件的汉字生成结构化字形关系图。

12.根据权利要求9所述的装置，其特征在于，所述编码规则包括：五笔输入法编码、郑码输入法编码、四角号码编码、字根编码、笔画顺序编码中的两种以上。

13.根据权利要求9所述的装置，其特征在于，所述相似度计算模块包括：

向量构造子模块，用于构造所述文本字符串与所述关键词的匹配向量，所述匹配向量至少包括所述文本字符串的异构图特征；

相似度判断子模块，用于利用所述匹配向量，通过机器学习模型确定所述文本字符串与所述关键词的相似度。

14.根据权利要求13所述的装置，其特征在于，所述匹配向量还包括所述文本字符串的文本特征，所述相似度计算模块还用于通过所述机器学习模型获取所述文本字符串的文本特征，所述文本特征指示所述文本字符串与所述关键词的语义相似度。

15.根据权利要求13或14所述的装置，其中，所述匹配向量还包括所述文本字符串的上下文特征、成词特征和长度特征中的至少一个，其中所述上下文特征指示所述文本字符串的前后文本字符串的关键词相似比例，所述成词特征指示所述文本字符串及前后文本字符串的成词概率、所述长度特征指示所述文本字符串的长度。

16.根据权利要求9所述的装置，其特征在于，所述装置还包括：

模型训练模块，用于利用历史数据训练机器学习模型，所述历史数据包括:历史待测文本和历史关键字、判断结果。

17. 一种终端设备，其特征在于，包括：

一个或多个处理器；和

其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述终端设备执行如权利要求1-8中任一项所述的方法。

18.一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得终端设备执行如权利要求1-8中任一项所述的方法。

Images