CN112100361B - 一种基于ac自动机的字符串多模模糊匹配方法 - Google Patents

Abstract

本发明公开了一种基于AC自动机的字符串多模模糊匹配方法，该方式包括以下步骤：利用规则对多组带有标签的模式串集合进行定义，将定义后的带有标签的模式串加入数据库；判断文本内容是否为首次查询；若文本内容为首次查询，则将数据库中所有带有标签的模式串读取，并通过预先配置的方法实现对Trie树的构建；在Trie树上采用预设规则完成fail指针的构建；采用预设方法实现文本内容与多组带有标签的模式串集合之间的查询匹配。有益效果：本发明在AC自动机的基础上加入模糊匹配的功能，不仅能够有效利用到多模字符串中的公共前缀，减少比较次数，而且能支持模糊匹配，具有一定的鲁棒性，简单高效。

Description

一种基于AC自动机的字符串多模模糊匹配方法

技术领域

本发明涉及字符串多模模糊匹配领域，具体来说，涉及一种基于AC自动机的字符串多模模糊匹配方法。

背景技术

互联网中充斥着大量的文本数据，从文本中快速提取到关键信息有助于文本的快速定位、查找并且方便用户进行决策。文本的标签往往是对于文本信息的高度概括，用于呈现出文本中的关键信息。文本标签化是一个从非结构化文本转化成结构化的标签的过程，对于文本处理系统至关重要。一篇文本可能存在多个标签，所以文本标签化过程中需要将文本与大量的自定义的规则字符串进行多模匹配，而且为了实现较强的鲁棒性，字符串匹配时需要实现模糊匹配的功能，所以急需一种快速的字符串多模模糊匹配方法。

字符串匹配方法中比较经典的是KMP(Knuth-Morris-Pratt)算法和BM(Boyer-Moore)算法，在此基础上有很多变体，虽然KMP算法和BM算法能够比较高效的实现字符串的匹配，但是不支持多模的字符串匹配，而多模字符串匹配方法中比较经典的AC(Aho-Corasick)自动机，不支持模糊匹配。现有的模糊匹配算法大多要进行文本的相似度计算，比如基于编辑距离的字符串模糊匹配算法，以编辑距离作为相似度的指标，编辑距离越小，代表相似程度越高，编辑距离越大，代表相似程度就越低。对于海量字符串来讲，相似度计算需要匹配时，进行与数据库中字符串数量相等的计算次数，具有较低的实时性，并且相似度的计算没有充分利用到多模字符串中存在相等的部分的特性，重复且低效。因此需要一种快速的字符串多模模糊匹配方法去克服这些缺点。

针对相关技术中的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中的问题，本发明提出一种基于AC自动机的字符串多模模糊匹配方法，以克服现有相关技术所存在的上述技术问题。

为此，本发明采用的具体技术方案如下：

一种基于AC自动机的字符串多模模糊匹配方法，该方式包括以下步骤：

S1、利用规则对多组带有标签的模式串集合进行定义，将定义后的带有标签的模式串加入数据库；

S2、判断文本内容是否为首次查询；

S3、若文本内容为首次查询，则将数据库中所有带有标签的模式串读取，并通过预先配置的方法实现对Trie树(字典树)的构建；

S4、在Trie树上采用预设规则完成fail(失败)指针的构建；

S5、采用预设方法实现文本内容与多组带有标签的模式串集合之间的查询匹配；

其中，若所述S2中的文本内容不是首次查询，则判断数据库是否有更新；

若数据库更新，则执行所述S3中的步骤，若数据库没有更新，则执行所述S5中的步骤。

进一步的，所述S1中利用规则对多组带有标签的模式串集合进行定义具体包括以下步骤：

S101、设置多组模式串的内容分别为j1、j2、j3……，定义n个模式串；

S102、设置n个模式串的输出标签内容分别为e1、e2、e3……；

S103、将所有定义完成的模式串和标签导入数据库中。

进一步的，所述模式串包括但不限于完整的字符串内容或带有若干个通配符的模式串。

进一步的，所述S3中通过预先配置的方法实现对Trie树的构建具体包括以下步骤：

S301、将模式串i中的每个字符作为一个节点依次加入Trie树中；

S302、将根节点到任一节点路径上所有的字符连接起来，作为该节点对应的字符串；

S302、在依次加入字符时，若当前字符与Trie树中的字符相同，则将当前字符的后一个字符加入Trie树中该字符的子节点中，若该子节点与该后一个字符相同，则继续判断下一个加入的字符与Trie树中该字符的子节点是否相同，直到加入的字符与Trie树中的字符不同或执行到加入字符串的结尾。

进一步的，所述S302步骤执行时，将模式串的最后一个字符存储为emit。

进一步的，所述S4中在Trie树上采用预设规则完成fail指针的构建具体包括以下步骤：

S401、从根节点开始借助广度优先算法遍历Trie树的每一个节点；

S402、对根节点的子节点进行入栈，并依次将每个字符出栈；

S403、取出一个字符之后，将该节点的所有子节点进行入栈，依次类推。

进一步的，所述S401中遍历时，具体包括以下步骤：

若n节点的父节点为f，则查找f的fail指针的子节点中是否有与n节点字符相等或者字符为#的节点m，若有，则将n节点的失败指针指向m节点，否则，查找f节点的父节点的fail指针，依次类推，若最终没有查找到相等的字符串，则使节点f的fail指针指向根节点。

进一步的，所述S5中采用预设方法具体包括以下步骤：

S501、实现当前节点的fail指针指向Trie根节点；

S502、完成文本串中一个待匹配字符C的读取；

S503、完成一个待匹配字符C与模式串的查询匹配；

S504、取出文本串中的下一个字符，将步骤S503中所有节点当作当前节点，重复步骤S503，直到该文本串的最后一个字符。

进一步的，所述S503具体包括以下步骤：

在当前节点的所有子节点中寻找与待匹配字符C相同的节点；

若找到相同的节点，则将待匹配的节点加入集合中，若当前节点的子节点中有#，则将匹配的#节点加入集合中，若当前节点是#字符，则将当前节点加入集合中，若当前节点的子节点中没有与待匹配字符C相等的节点，则当前节点指向当前节点的fail指针；

判断fail指针指向的节点的子节点中是否有与待匹配字符C相等的节点或#节点，若有则将此节点加入集合中，若此时fail指针指向的节点是#，则将fail指针指向的节点加入集合中，若都不满足，则继续查找fail指针，直到fail指针指向根节点为止。

进一步的，所述S504后还具体包括以下步骤：

对集合中所有节点进行遍历，若节点是某个模式串的最后一个节点，则将该字符串的emit加入到结果中，并实现所有emit结果的返回。

本发明的有益效果为：

(1)本发明在AC自动机的基础上加入模糊匹配的功能，不仅能够有效利用到多模字符串中的公共前缀，减少比较次数，而且能支持模糊匹配，具有一定的鲁棒性，简单高效。

(2)本发明对于海量字符串来讲，在相似度计算需要匹配时，具有较高的实时性，并且相似度的计算时充分利用到多模字符串中存在相等的部分的特性，简洁且高效。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的一种基于AC自动机的字符串多模模糊匹配方法的流程图；

图2是根据本发明实施例的一种基于AC自动机的字符串多模模糊匹配方法的Trie树构建示意图。

具体实施方式

为进一步说明各实施例，本发明提供有附图，这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理，配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点，图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。

根据本发明的实施例，提供了一种基于AC自动机的字符串多模模糊匹配方法。

现结合附图和具体实施方式对本发明进一步说明，如图1所示，根据本发明实施例的基于AC自动机的字符串多模模糊匹配方法，该方式包括以下步骤：

S1、利用规则对多组带有标签的模式串集合进行定义，将定义后的带有标签的模式串加入数据库；

S2、判断文本内容是否为首次查询；

S3、若文本内容为首次查询，则将数据库中所有带有标签的模式串读取，并通过预先配置的方法实现对Trie树的构建；

S4、在Trie树上采用预设规则完成fail指针的构建；

S5、采用预设方法实现文本内容与多组带有标签的模式串集合之间的查询匹配；

其中，若所述S2中的文本内容不是首次查询，则判断数据库是否有更新；

若数据库更新，则执行所述S3中的步骤，若数据库没有更新，则执行所述S5中的步骤。

再次查询时不再构建Trie树和fail指针，只有当新的模式串加入到数据库时才重新构建Trie树和fail指针。

在一个实施例中，所述S1中利用规则对多组带有标签的模式串集合进行定义具体包括以下步骤：

S101、设置多组模式串的内容分别为j1、j2、j3……，定义n个模式串；

S102、设置n个模式串的输出标签内容分别为e1、e2、e3……；

S103、将所有定义完成的模式串和标签导入数据库中。

在一个实施例中，所述模式串包括但不限于完整的字符串内容(如表1中的序号5表示的文本内容)或带有若干个通配符的模式串(如表1中的序号1-4表示的文本内容)。这里以#通配符为例，#的位置代表与i进行匹配时，i字符串中此位置可以是空也可以是任意其他的字符串。将所有的模式串和标签都加入到数据库中，数据库中有两列，第一列是模式串的内容，第二列是标签内容。

在一个实施例中，所述S3中通过预先配置的方法实现对Trie树的构建具体包括以下步骤：

S301、(从数据库中读取所有的模式串和标签，构建成Trie树。在Trie树中，根节点不包含字符，Emit为空)将模式串i中的每个字符作为一个节点依次加入Trie树中；

S302、将根节点到任一节点路径上所有的字符连接起来，作为该节点对应的字符串；

S302、(Trie树中每一个节点的子节点都不同)在依次加入字符时，若当前字符与Trie树中的字符相同，则将当前字符的后一个字符加入Trie树中该字符的子节点中，若该子节点与该后一个字符相同，则继续判断下一个加入的字符与Trie树中该字符的子节点是否相同，直到加入的字符与Trie树中的字符不同或执行到加入字符串的结尾。表1的5个模式串构建好的Trie树如图2所示。

在一个实施例中，所述S302步骤执行时，将模式串的最后一个字符存储为emit。

在一个实施例中，在Trie树上构建fail指针，fail指针的意思是如果一个点n的fail指针指向m，那么从根节点到m的字符串是根节点到n的字符串的一个后缀，所述S4中在Trie树上采用预设规则完成fail指针的构建具体包括以下步骤：

S401、从根节点开始借助广度优先算法遍历Trie树的每一个节点；

S402、对根节点的子节点进行入栈，并依次将每个字符出栈；

S403、取出一个字符之后，将该节点的所有子节点进行入栈，依次类推。首先遍历深度为1的节点，也就是每个字符串首字母，把每个字符串首字母的fail指针都指向根节点，然后依次其他深度的节点。

在一个实施例中，所述S401中遍历时，具体包括以下步骤：

若n节点的父节点为f，则查找f的fail指针的子节点中是否有与n节点字符相等或者字符为#的节点m，若有，则将n节点的失败指针指向m节点，否则，查找f节点的父节点的fail指针，依次类推，若最终没有查找到相等的字符串，则使节点f的fail指针指向根节点。因为通配符#可代表任意字符或者字符串，在进行比较时，不管n节点中是什么字符，回溯时父节点失败指针中有#子节点，也可代表相等，则最终n节点的fail指针指向#节点。

在一个实施例中，在构建好Trie树后，将待匹配字符串与模式串进行查询匹配。遍历待匹配字符串中的每一个字符，所述S5中采用预设方法具体包括以下步骤：

S501、实现当前节点的fail指针指向Trie根节点；

S502、完成文本串中一个待匹配字符C的读取；

S503、完成一个待匹配字符C与模式串的查询匹配；

S504、取出文本串中的下一个字符，将步骤S503中所有节点当作当前节点，重复步骤S503，直到该文本串的最后一个字符。

在一个实施例中，所述S503具体包括以下步骤：

在当前节点的所有子节点中寻找与待匹配字符C相同的节点；

若找到相同的节点，则将待匹配的节点加入集合中，若当前节点的子节点中有#，则将匹配的#节点加入集合中，若当前节点是#字符，则将当前节点加入集合中，若当前节点的子节点中没有与待匹配字符C相等的节点，则当前节点指向当前节点的fail指针；

判断fail指针指向的节点的子节点中是否有与待匹配字符C相等的节点或#节点，若有则将此节点加入集合中，若此时fail指针指向的节点是#，则将fail指针指向的节点加入集合中，若都不满足，则继续查找fail指针，直到fail指针指向根节点为止。

在一个实施例中，所述S504后还具体包括以下步骤：

对集合中所有节点进行遍历，若节点是某个模式串的最后一个节点，则将该字符串的emit加入到结果中，并实现所有emit结果的返回。

本方法以如下内容为例，“关于举办第一届编程大赛的通知”作为待匹配的字符串，将此字符串与表1中五个字符串进行匹配，其中Emit是模式串代表的标签，如果待匹配的字符串与模式串匹配，则可以打上Emit所在的标签。表1中序号为1，2，3的模式串都与待匹配字符串匹配。

表1多模串举例

综上所述，借助于本发明的上述技术方案，本发明在AC自动机的基础上加入模糊匹配的功能，不仅能够有效利用到多模字符串中的公共前缀，减少比较次数，而且能支持模糊匹配，具有一定的鲁棒性，简单高效。本发明对于海量字符串来讲，在相似度计算需要匹配时，具有较高的实时性，并且相似度的计算时充分利用到多模字符串中存在相等的部分的特性，简洁且高效。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于AC自动机的字符串多模模糊匹配方法，其特征在于，该方法包括以下步骤：

S1、利用规则对多组带有标签的模式串集合进行定义，将定义后的带有标签的模式串加入数据库；

S2、判断文本内容是否为首次查询；

S3、若文本内容为首次查询，则将数据库中所有带有标签的模式串读取，并通过预先配置的方法实现对Trie树的构建；

S4、在Trie树上采用预设规则完成fail指针的构建；

S5、采用预设方法实现文本内容与多组带有标签的模式串集合之间的查询匹配；

其中，若所述S2中的文本内容不是首次查询，则判断数据库是否有更新；

若数据库更新，则执行所述S3中的步骤，若数据库没有更新，则执行所述S5中的步骤；

所述S1中利用规则对多组带有标签的模式串集合进行定义还包括以下步骤：

S101、设置多组模式串的内容分别为j1、j2、j3……，定义n个模式串；

S102、设置n个模式串的输出标签内容分别为e1、e2、e3……；

S103、将所有定义完成的模式串和标签导入数据库中；

所述S5中采用预设方法还包括以下步骤：

S501、实现当前节点的fail指针指向Trie根节点；

S502、完成文本串中一个待匹配字符C的读取；

S503、完成一个待匹配字符C与模式串的查询匹配；

S504、取出文本串中的下一个字符，将步骤S503中所有节点当作当前节点，重复步骤S503，直到该文本串的最后一个字符。

2.根据权利要求1所述的一种基于AC自动机的字符串多模模糊匹配方法，其特征在于，所述模式串包括但不限于完整的字符串内容或带有若干个通配符的模式串。

3.根据权利要求1所述的一种基于AC自动机的字符串多模模糊匹配方法，其特征在于，所述S3中通过预先配置的方法实现对Trie树的构建还包括以下步骤：

S301、将模式串i中的每个字符作为一个节点依次加入Trie树中；

S302、将根节点到任一节点路径上所有的字符连接起来，作为该节点对应的字符串；

S303、在依次加入字符时，若当前字符与Trie树中的字符相同，则将当前字符的后一个字符加入Trie树中该字符的子节点中，若该子节点与该后一个字符相同，则继续判断下一个加入的字符与Trie树中该字符的子节点是否相同，直到加入的字符与Trie树中的字符不同或执行到加入字符串的结尾。

4.根据权利要求3所述的一种基于AC自动机的字符串多模模糊匹配方法，其特征在于，所述S302步骤执行时，将模式串的最后一个字符存储为emit。

5.根据权利要求1所述的一种基于AC自动机的字符串多模模糊匹配方法，其特征在于，所述S4中在Trie树上采用预设规则完成fail指针的构建还包括以下步骤：

S401、从根节点开始借助广度优先算法遍历Trie树的每一个节点；

S402、对根节点的子节点进行入栈，并依次将每个字符出栈；

S403、取出一个字符之后，将该节点的所有子节点进行入栈，依次类推。

6.根据权利要求5所述的一种基于AC自动机的字符串多模模糊匹配方法，其特征在于，所述S401中遍历时，还包括以下步骤：

若n节点的父节点为f，则查找f的fail指针的子节点中是否有与n节点字符相等或者字符为#的节点m，若有，则将n节点的失败指针指向m节点，否则，查找f节点的父节点的fail指针，依次类推，若最终没有查找到相等的字符串，则使节点f的fail指针指向根节点。

7.根据权利要求1所述的一种基于AC自动机的字符串多模模糊匹配方法，其特征在于，所述S503还包括以下步骤：

在当前节点的所有子节点中寻找与待匹配字符C相同的节点；

若找到相同的节点，则将待匹配的节点加入集合中，若当前节点的子节点中有#，则将匹配的#节点加入集合中，若当前节点是#字符，则将当前节点加入集合中，若当前节点的子节点中没有与待匹配字符C相等的节点，则当前节点指向当前节点的fail指针；

判断fail指针指向的节点的子节点中是否有与待匹配字符C相等的节点或#节点，若有则将此节点加入集合中，若此时fail指针指向的节点是#，则将fail指针指向的节点加入集合中，若都不满足，则继续查找fail指针，直到fail指针指向根节点为止。

8.根据权利要求7所述的一种基于AC自动机的字符串多模模糊匹配方法，其特征在于，所述S504后还包括以下步骤：

对集合中所有节点进行遍历，若节点是某个模式串的最后一个节点，则将该字符串的emit加入到结果中，并实现所有emit结果的返回。

Images