CN110543548A - 物联网设备通信内容的多关键词快速匹配方法及匹配系统 - Google Patents

Abstract

本发明公开了一种物联网终端设备通信内容的多关键词快速匹配方法及匹配系统，匹配系统包括物联网终端设备通信内容预处理模块，待检测关键词处理模块和多关键词匹配模块；匹配方法的具体步骤为：首先对物联网终端设备通信内容进行分组预处理，得到待检测关键词的摘要值，形成待测文本的摘要值序列；其次构建关键词的逆向后缀树，将后缀树转换成后缀自动机；最后按从右往左的顺序将待测文本的摘要值序列以块为单位逐个输入到后缀自动机进行匹配，直到产生匹配为止。本发明和现有技术相比，能克服现有物联网终端通信内容检测和过滤时所采用的字符串模式匹配算法对多关键词匹配计算复杂度较高的问题，实现快速检测和过滤。

Description

物联网设备通信内容的多关键词快速匹配方法及匹配系统

技术领域

本发明涉及通信内容关键词匹配方法，尤其涉及一种物联网设备通信内容的多关键词快速匹配方法，同时还涉及一种物联网设备通信内容的多关键词快速匹配系统。

背景技术

随着全球联网设备数量高速增长，“万物互联”成为全球网络未来发展的重要方向。据预测2025年全球物联网设备联网数量将达到252亿，在智慧城市、智慧交通、智能生产和智能家居等众多领域得到广泛应用。与此同时，与之相关的一系列安全问题和威胁也日益受到人们的关注。

现有的物联网终端设备通信协议主要负责实现终端设备获取信息的传递和处理。由于物联网涉及的网络多种多样，例如有从无线、红外线等的射频网络；有从窄带物联网络、无线局域网、蜂窝移动通信网、无线自组网等的无线接入网；例如有经过互联网。因此物联网终端设备通信协议面临的网络安全威胁更为复杂，其主要表现为：

1.通信链路的脆弱性：物联网的数据传输一般借助无线射频信号进行通信，无线网络固有的脆弱性使系统很容易受到各种形式的攻击和干扰。攻击者可以通过发射干扰信号使物联网通信内容发生错误导致系统异常终端；

2.通信链路的易侵性：由于无线链路的开发性，使得攻击者很容易通过劫持信道入侵网络。攻击者可以通过窃听并篡改物联网终端设备通信协议内容，或者是发送大量伪造的含有非法数据字段的物联网终端设备通信协议恶意数据报文实现网络攻击，从而导致非授权接入和访问物联网或是导致物联网络的拥塞、瘫痪以及服务中断。

对物联网终端设备通信内容进行有效的关键词过滤和检测是一种防范攻击者针对通信链路进行的干扰或入侵的有效手段。由于物联网终端设备具有设备体积小、计算能力有限，低功耗运行等特点，其使用的通信协议通常采用简单的字符格式传输，因此基于字符串模式匹配的关键词识别算法是物联网终端设备通信内容过滤和检测中一类重要的分析方法。

在字符模式匹配算法研究方面：暴力匹配算法(BF，Brute Force算法)最先被提出，该算法顺序比较字符串中每个字符，但由于对回溯的处理过于简单导致算法效率较低，匹配的时间复杂度为O(mn)，其中m，n分别为模式串和目标串长度。Cho等人提出的BM算法(Boyer-Moore算法)匹配和搜索效率都得到了提高。BM算法采用了启发式规则来跳过不必要的比较，减少比较的数量。BM算法从左到右检查文本中是否有模式字符串，在匹配时将文本和模式字符串对齐，首先比较匹配窗口内模式字符串的最后一个字符，从右到左进行逆向匹配比较。其通过逆向匹配思想最大限度地增加了匹配失败时的跳跃距离，减少了匹配字符数目，在最优情况下算法的时间复杂度减少到O(n/m)。

BM算法在单一关键词匹配过程是被认为是目前性能最佳的匹配算法。但在物联网终端设备通信环境下，由于设备类型多样，传输内容复杂，需对终端设备通信内容设置多个关键词进行内容过滤和检测。若采用BM算法需要对每一种关键词分别进行匹配，假设需检测k个关键词，则使用BM算法的计算复杂度为O(kn/m)。可见，在物联网终端通信内容检测和过滤时若采用字符串模式匹配算法，对多关键词的匹配计算存在复杂度较高的问题。

同时考虑物联网终端设备通信协议其需匹配的关键词有其固有的特性：通常协议帧的格式由不同分组组成，不同分组之间由特定的分割符号来区分，或者是有固定的分组长度。因此，在进行匹配检测时以数据分组为单位，而非以字符为单位。如直接应用BM算法匹配，经过右移后模式串的块与目标串的块并未对齐，从而导致效率降低。

发明内容

发明目的：为了克服现有技术存在的问题，本发明的目的是提供一种物联网终端设备通信内容的多关键词快速识别和检测方法。

技术方案：一种物联网终端设备通信内容的多关键词快速匹配方法，包括以下内容：

步骤1、对物联网终端设备通信内容进行分组预处理，提取待分析字段，对字段进行摘要计算并将其转换为等字节长度，拼接形成待测文本的摘要值序列；

步骤2、对待检测关键词进行摘要计算并将其转换为等字节长度，将摘要值逆序排列，生成关键词逆向后缀树，并生成多关键词的后缀自动机；

步骤3、基于启发式跳跃规则，将步骤1所述待测文本的摘要值序列与步骤2所述后缀自动机进行多关键词匹配。

进一步的，所述步骤1具体包括以下内容：

步骤1.1、分析物联网终端设备通信协议，按照协议标准对通信内容进行分组；

步骤1.2、选取待分析字段，对每一字段进行摘要计算，将生成的摘要值按预设块长度进行截断，生成等字节长度的摘要值输出；

步骤1.3、将所生成的等字节长度的摘要值按原字段在协议数据里的先后顺序拼接构成待测文本的摘要值序列。

进一步的，所述步骤2具体包括如下内容：

步骤2.1、对待检测关键词进行摘要计算，将生成的摘要值进行截断处理，转换成等字节长度的待检测摘要值输出；

步骤2.2、将所述待检测摘要值进行逆序排列得到逆向序列集合；

步骤2.3、生成由所有待检测关键词摘要值逆向的序列后缀树；

步骤2.4、遍历所有逆向序列后缀树，通过后缀链接构造生成对应的后缀自动机。

优选的，所述步骤2.3中，采用Ukkonen算法生成逆向序列后缀树：从左往右逐个读入字符，由读到的字符串前缀逐步构建后缀树。

优选的，所述步骤2.4中，采用Ukkonen算法，通过后缀链接构造生成对应的后缀自动机。

进一步的，所述步骤3具体包括如下内容：

按从右往左的顺序进行关键词匹配，将待测文本的摘要值序列以块为单位逐个输入到后缀自动机进行匹配；在匹配过程中，算法寻找待测文本的后缀和模式中的前缀相匹配的部分，并逐渐增大待测文本后缀的长度，直到找到所有的最大匹配前缀，，则检测通过。所述最大匹配前缀的最小跳跃值为搜索树的跳跃值，所述跳跃值根据如下计算规则得到：

上式中，P＝{p₁,p₂,…,p_m}为关键词字符串，T＝{t₁,t₂,…,t_m}为待匹配的文本；匹配时从P的尾部开始从右往左进行匹配；其中，文本中和关键词匹配成功的部分子字符串称为好后缀，未匹配成功的字符称为坏字符；令中t_bad为坏字符，在此规则下，字符串将持续移动直到t_bad＝p_s-r；K为已匹配成功的字符串长度；skip(t_j)为坏字符跳跃距离，以预设块长度为单位；shift(p_m-k)为p_m-k匹配失败时跳跃的跳跃值；r为对于任意s，满足{p_m-r+1,p_m-r+2,…,p_m＝{p_s-r+1,p_s-r+2,…,p_s}的最大值；s为在确定r之后满足{p_m-r+1,p_m-r+2,…,p_m}＝{p_s-r+1,p_s-r+2,…,p_s}条件的最大值。

优选的，采用MD5算法或者SHA算法计算摘要值。

一种物联网终端设备通信内容的多关键词快速匹配系统，包括：

物联网终端设备通信内容预处理模块，包括通信内容分组处理单元、摘要值处理单元以及检测序列拼接单元，所述通信内容分组处理单元与摘要值处理单元电连接，所述摘要值处理单元与检测序列拼接单元电连接；所述通信内容分组处理单元对物联网终端设备通信内容进行分组，并提取待分析字段，所述摘要值处理单元计算待分析字段的摘要值并将其转换为等字节长度，所述检测序列拼接单元将等字节长度的摘要值拼接形成待测文本的摘要值序列；

待检测关键词处理模块，包括关键词摘要值处理单元、逆序排列单元、逆序后缀树单元以及后缀自动机单元，所述关键词摘要值处理单元与逆序排列单元电连接，所述逆序排列单元与逆序后缀树单元电连接，所述逆序后缀树单元与后缀自动机单元电连接；所述关键词摘要值处理单元对待检测关键词进行摘要计算并将其转换为等字节长度，所述逆序排列单元将摘要值进行逆序排列生成逆向序列集合，所述逆序后缀树单元基于逆向序列集合生成关键词的逆向后缀树，所述后缀自动机单元根据关键词的逆向后缀树，生成多关键词的后缀自动机；

多关键词匹配模块，用于将待测文本的摘要值序列与后缀自动机进行匹配，与物联网终端设备通信内容预处理模块、待检测关键词处理模块分别电连接。

有益效果

和现有技术相比，本发明具有如下显著进步：在进行匹配检测时采用基于分组的处理方式，充分考虑了多关键词的固有特性；能克服现有物联网终端通信内容检测和过滤时所采用的字符串模式匹配算法对多关键词匹配计算复杂度较高的问题，实现快速检测和过滤。

附图说明

图1是本发明的物联网终端设备通信多关键词快速匹配方法的流程图。

具体实施方式

以下将结合附图及实施例对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程进行详细说明。

另外，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

如图1所示，本发明的一种物联网终端设备通信多关键词快速匹配系统，包括物联网终端设备通信内容预处理模块101，待检测关键词处理模块102和多关键词匹配模块103。其中，物联网终端设备通信内容预处理模块101包括通信内容分组处理单元1011、摘要值处理单元1012以及检测序列拼接单元1013；其中，通信内容分组处理单元1011与摘要值处理单元1012电连接，摘要值处理单元1012与检测序列拼接单元1013电连接；通信内容分组处理单元1011对物联网终端设备通信内容进行分组，并提取待分析字段，摘要值处理单元1012计算待分析字段的摘要值并将其转换为等字节长度，检测序列拼接单元1013将等字节长度的摘要值拼接形成待测文本的摘要值序列；

待检测关键词处理模块102包括关键词摘要值处理单元1021、逆序排列单元1022、逆序后缀树单元1023以及后缀自动机单元1024，关键词摘要值处理单元1021与逆序排列单元1022电连接，逆序排列单元1022与逆序后缀树单元1023电连接，逆序后缀树单元1023与后缀自动机单元1024电连接；关键词摘要值处理单元1021对待检测关键词进行摘要计算并将其转换为等字节长度，逆序排列单元1022将摘要值进行逆序排列生成逆向序列集合，逆序后缀树单元1023基于逆向序列集合生成关键词的逆向后缀树，后缀自动机单元1024根据关键词的逆向后缀树，生成多关键词的后缀自动机；

多关键词匹配模块用于将待测文本的摘要值序列与后缀自动机进行匹配，与物联网终端设备通信内容预处理模块101、待检测关键词处理模块102分别电连接。

一种物联网终端设备通信多关键词快速匹配方法，包括如下步骤：

101、物联网终端设备通信内容基于分组的预处理：

1011、分析物联网终端设备通信协议，按协议标准对通信内容进行分段。

1012、选取需检测字段，对该字段的值进行摘要计算，将其转换成等字节长度的摘要值。

1013、将生成的摘要值按原字段在协议数据里的先后顺序拼接构成待检测序列。

102、构建关键词的逆向后缀树，生成多关键词的后缀自动机：

1021、将待检测关键词(即需检测字段)进行摘要计算并进行截断处理，将不同长度的多个关键词转换成等长字节长度的检测值。

1022、将关键词集合里的所有前缀重新按逆序排列，生成逆向序列集合。

1023、采用Ukkonen算法生成逆向序列后缀树：即从左往右逐个读入字符，由读到的字符串前缀逐步构建后缀树。

1024、将生成的后缀树转换成后缀自动机：遍历逆序集合里所有序列的后缀树，通过其后缀链接构造生成对应的后缀自动机，其构造方式采用Ukkonen算法实现。

103、进行多关键词匹配：

在关键词进行匹配时按从右往左的顺序进行，将待测文本的摘要值序列以块为单位逐个输入到后缀自动机进行匹配，直到产生匹配为止。在匹配过程中，算法寻找文本的后缀和模式中的前缀相匹配的部分，并逐渐增大文本后缀的长度，直到找到所有的最大匹配前缀.同时计算相应的跳跃值。所有最大匹配前缀中最小的跳跃值就是搜索树的跳跃值。

在步骤103中的跳跃值计算方法如下：

上式中，P＝{p₁,p₂,…,p_m}为关键词字符串，T＝{t₁,t₂,…,t_m}为待匹配的文本；匹配时从P的尾部开始从右往左进行匹配；其中，文中和关键词匹配成功的部分子字符串称为好后缀，未匹配成功的字符称为坏字符；令中t_bad为坏字符，在此规则下，字符串将持续移动直到t_bad＝p_s-r；K为已匹配成功的字符串长度；skip(t_j)为坏字符跳跃距离，以预设块长度为单位；shift(p_m-k)为p_m-k匹配失败时跳跃的跳跃值；r为对于任意s，满足{p_m-r+1,p_m-r+2,…,p_m＝{p_s-r+1,p_s-r+2,…,p_s}的最大值；s为在确定r之后满足{p_m-r+1,p_m-r+2,…,p_m}＝{p_s-r+1,p_s-r+2,…,p_s}条件的最大值。

实施例：

某通信网移动终端通信内容按照协议标准格式需检测四个字段内容，该四个字段内容分别是aaaaaaaa，bbbbbbb，cccccc，ddddd。则对每一字段内容进行摘要转换，摘要算法可采用常见使用的MD5，SHA摘要算法，这里以MD5算法为例，生成其对应摘要值后进行截断处理，转换成固定长度的两字节输出，其具体计算结果如下：

协议待检测字段内容	MD5摘要算法输出(16进制)	截断后结果(16进制)
			aaaaaaaa	67653A1AAEE01D93	6765
bbbbbbb	C3C801F2F8C3FBE7	C3C8
			cccccc	6B490B3ECB4066B1	6B49
ddddd	3A6DFD6A9F20C9F8	3A6D

则被测序列为6765C3C86B493A6D(16进制表示)，分组长度为2字节。

设待检测关键词bbbbbbb及ddddd，则其对应的MD5摘要值截断后的输出分别为C3C8及3A6D。其对应的逆序为C8C3及6D3A。按照Ukkonen算法生成其后缀树如下：

根据生成的后缀树转换成对应的后缀自动机，后缀自动机构建算法微代码如下：

后缀自动机通过后缀链接suffixlink得到构建。在流程中，x表示待检测的字符串，root表示根节点,last表示最后插入的那个节点，q表示当前需要插入的那个节点，A表示后缀自动机，insert(A,p,c,q)表示在p节点下输入字符c得到下一个状态节点q，如果q节点不存在，则生成一个新的节点q。while循环为所有的后缀链接指向的节点设置相同的状态转换关系。任意从根节点到叶子节点的字符串表示了某一个模式的某一个后缀，因此在x模式字符串全部插入到后缀自动机后，需要设置叶子节点标志。

将待检测文本序列6765C3C86B493A6D送到生成的后缀自动机进行匹配，跳跃的距离单位为2字符长度，采用步骤3定义的跳跃距离生成规则计算跳跃距离，得到匹配结果。

Claims (9)

1.一种物联网终端设备通信内容的多关键词快速匹配方法，其特征在于，包括以下内容：

步骤1、对物联网终端设备通信内容进行分组预处理，提取待分析字段，对字段进行摘要计算并将其转换为等字节长度，拼接形成待测文本的摘要值序列；

步骤2、对待检测关键词进行摘要计算并将其转换为等字节长度，将摘要值逆序排列，生成关键词逆向后缀树，并生成多关键词的后缀自动机；

步骤3、基于启发式跳跃规则，将步骤1所述待测文本的摘要值序列与步骤2所述后缀自动机进行多关键词匹配。

2.根据权利要求1所述的物联网终端设备通信内容的多关键词快速匹配方法，其特征在于，所述步骤1具体包括以下内容：

步骤1.1、分析物联网终端设备通信协议，按照协议标准对通信内容进行分组；

步骤1.2、选取待分析字段，对每一字段进行摘要计算，将生成的摘要值按预设块长度进行截断，生成等字节长度的摘要值输出；

步骤1.3、将所生成的等字节长度的摘要值按原字段在协议数据里的先后顺序拼接构成待测文本的摘要值序列。

3.根据权利要求1所述的物联网终端设备通信内容的多关键词快速匹配方法，其特征在于，所述步骤2具体包括如下内容：

步骤2.1、对待检测关键词进行摘要计算，将生成的摘要值进行截断处理，转换成等字节长度的待检测摘要值输出；

步骤2.2、将所述待检测摘要值进行逆序排列得到逆向序列集合；

步骤2.3、生成由所有待检测关键词摘要值逆向的序列后缀树；

步骤2.4、遍历所有逆向序列后缀树，通过后缀链接构造生成对应的后缀自动机。

4.根据权利要求3所述的物联网终端设备通信内容的多关键词快速匹配方法，其特征在于，所述步骤2.3中，采用Ukkonen算法生成逆向序列后缀树：从左往右逐个读入字符，由读到的字符串前缀逐步构建后缀树。

5.根据权利要求3所述的物联网终端设备通信内容的多关键词快速匹配方法，其特征在于，所述步骤2.4中，采用Ukkonen算法，通过后缀链接构造生成对应的后缀自动机。

6.根据权利要求1所述的物联网终端设备通信内容的多关键词快速匹配方法，其特征在于，所述步骤3具体包括如下内容：

按从右往左的顺序进行关键词匹配，将待测文本的摘要值序列以块为单位逐个输入到后缀自动机进行匹配；在匹配过程中，算法寻找待测文本的后缀和模式中的前缀相匹配的部分，并逐渐增大待测文本后缀的长度，直到找到所有的最大匹配前缀，则检测通过。

7.根据权利要求6所述的物联网终端设备通信内容的多关键词快速匹配方法，其特征在于，所述最大匹配前缀的最小跳跃值为搜索树的跳跃值，所述跳跃值根据如下计算规则得到：

上式中，P＝{p₁,p₂,…,p_m}为关键词字符串，T＝{t₁,t₂,…,t_m}为待匹配的文本；匹配时从P的尾部开始从右往左进行匹配；其中，文本中和关键词匹配成功的部分子字符串称为好后缀，未匹配成功的字符称为坏字符；令中t_bad为坏字符，在此规则下，字符串将持续移动直到t_bad＝p_s-r；K为已匹配成功的字符串长度；skip(t_j)为坏字符跳跃距离，以预设块长度为单位；shift(p_m-k)为p_m-k匹配失败时跳跃的跳跃值；r为对于任意s，满足{p_m-r+1,p_m-r+2,…,p_m＝{p_s-r+1,p_s-r+2,…,p_s}的最大值；s为在确定r之后满足{p_m-r+1,p_m-r+2,…,p_m}＝{p_s-r+1,p_s-r+2,…,p_s}条件的最大值。

8.根据权利要求1所述的物联网终端设备通信内容的多关键词快速匹配方法，其特征在于：采用MD5算法或者SHA算法计算摘要值。

9.一种采用如权利要求1-8任一所述多关键词快速匹配方法的物联网终端设备通信内容的多关键词快速匹配系统，其特征在于，包括：

物联网终端设备通信内容预处理模块，包括通信内容分组处理单元、摘要值处理单元以及检测序列拼接单元，所述通信内容分组处理单元与摘要值处理单元电连接，所述摘要值处理单元与检测序列拼接单元电连接；所述通信内容分组处理单元对物联网终端设备通信内容进行分组，并提取待分析字段，所述摘要值处理单元计算待分析字段的摘要值并将其转换为等字节长度，所述检测序列拼接单元将等字节长度的摘要值拼接形成待测文本的摘要值序列；

待检测关键词处理模块，包括关键词摘要值处理单元、逆序排列单元、逆序后缀树单元以及后缀自动机单元，所述关键词摘要值处理单元与逆序排列单元电连接，所述逆序排列单元与逆序后缀树单元电连接，所述逆序后缀树单元与后缀自动机单元电连接；所述关键词摘要值处理单元对待检测关键词进行摘要计算并将其转换为等字节长度，所述逆序排列单元将摘要值进行逆序排列生成逆向序列集合，所述逆序后缀树单元基于逆向序列集合生成关键词的逆向后缀树，所述后缀自动机单元根据关键词的逆向后缀树，生成多关键词的后缀自动机；

多关键词匹配模块，用于将待测文本的摘要值序列与后缀自动机进行匹配，与所述物联网终端设备通信内容预处理模块、待检测关键词处理模块分别电连接。