CN102238021A - 报文序列查找方法、协议分析引擎和协议分析仪 - Google Patents

Abstract

本发明提供了一种报文序列查找的方法、协议分析引擎和协议分析仪，根据输入的过滤条件和所述过滤条件的序列表达式，在捕获的报文序列中查找并保存匹配的报文序列，所述序列表达式用于在符合所述过滤条件的报文中查找符合特定联系的报文序列。用户只需通过定义过滤条件和序列表达式便可以查找到符合要求的报文序列，满足非常多的分析需求，设计简单直观，易于后期维护，对设计人员要求较低，不需要学习其他复杂的编程语言。

Description

报文序列查找方法、协议分析引擎和协议分析仪

技术领域

本发明涉及一种信息查找方法和处理器，尤其涉及一种报文序列查找方法、协议分析引擎和协议分析仪。

背景技术

协议分析仪是一种可以用来捕获并记录流经网络或者其中一部分数据的工具，可以根据适当的RFC或者其他规范来对所捕获的数据报文进行解码，显示其中的内容，方便用户分析网络状态。

协议分析仪不仅对于网络管理和故障检测而言非常重要，同样有益于协议的开发和执行、网络安全和网络协议学习等等。

根据协议分析仪的定义，它包括若干重要的组成部分，其中有嗅探器(sniffer)、解码器(decoder)和分析引擎，其中，嗅探器可以用来捕获网络报文，解码器则用来根据特定的规范来对报文进行解码，而分析引擎则可以用来帮助分析所捕获的网络报文，以发现特定的问题、验证网络中的特定状态，所以，也可以将分析引擎称为协议分析引擎。

现有技术中有些协议分析仪可以用来分析特定网络中的特定问题，比如在防火墙中使用的状态包过滤技术，但是，此种协议分析仪只可以分析特定的问题，不能普遍适用于其他情况，例如中科网威公司的“长城”防火墙，只能够根据数据包的源地址、目标地址、协议类型、源端口、目标端口以及网络接口等数据包进行控制，记录通过防火墙的连接状态，通过连接状态进行过滤，而网络中的分析需求各不相同，如果要分析其它的需求，比如分析从源地址到目标地址之间哪个报文丢失、在何处丢失等等其他一些需求时，该分析仪则无法实现该功能。

现有技术中还有一些分析仪，针对不同的分析需求，可以使用不同的插件(plug-in)，每个插件都是使用一种程序语言编写的程序，执行该程序便可以满足特定的分析需求，但是，因为网络中所存在的问题各不相同，所以需要准备大量的专用分析插件，而且各个插件还可能使用不同的程序语言，难以在其他的分析仪中重复使用，也增加了维护的负担。

发明内容

本发明旨在提供一种省去大量专用分析插件的报文序列查找方法、协议分析引擎和协议分析仪。

为实现上述目的，本发明提出了一种报文序列查找的方法，根据输入的过滤条件和所述过滤条件的序列表达式，在捕获的报文序列中查找并保存匹配的报文序列，所述序列表达式用于在符合所述过滤条件的报文中查找符合特定联系的报文序列。

优选地，还根据输入的停止条件，与所述过滤条件和所述过滤条件的序列表达式，在捕获的报文序列中查找并保存匹配的报文序列，所述停止条件用于限定所述捕获的报文序列的查找范围。

优选地，所述过滤条件中包含报文信息，所述报文信息包括报文属性和/或报文内容。

优选地，所述过滤条件中包含使用逻辑运算符组合的不同报文信息。

优选地，所述在捕获的报文序列中查找并保存匹配的报文序列进一步包括：

找到一条报文序列后，将其保存，并从所述报文序列中第一个匹配的报文之后的报文开始查找其他匹配的报文序列。

优选地，还包括：将所查找到的报文序列和对应的信息保存成结果文件。

优选地，还包括：根据输入的深入分析标准，对所述保存的报文序列进行进一步过滤，所述深入分析标准为所述保存的报文序列信息的表达式，所述报文序列信息包括报文序列属性和/或报文序列内容。

本发明还提供了一种协议分析引擎，包括一个输入端口和一个分析单元，其中，

所述输入端口，用于接收输入的过滤条件和所述过滤条件的序列表达式，所述序列表达式用于在符合所述过滤条件的报文中查找符合特定联系的报文序列，

所述分析单元，用于根据所述输入的过滤条件和所述过滤条件的序列表达式，在捕获的报文序列中查找并保存匹配的报文序列。

优选地，所述输入端口还用于接收输入的停止条件，用于限定所述捕获的报文序列的查找范围，所述正分析单元用于将所述输入的过滤条件、过滤条件序列表达式和停止条件，在捕获的报文序列中查找并保存匹配的报文序列。

优选地，所述输入端口还用于接收输入的深入分析标准，用于对所述保存的报文序列进行进一步过滤，所述深入分析标准为所述保存的报文序列信息的表达式，所述报文序列信息包括报文序列属性和/或报文序列内容，所述协议分析引擎还包括一个后续处理单元，用于根据所述深入分析标准，对所述分析单元所查找到的报文序列进行过滤。

本发明还提供了一种协议分析仪，包括一个嗅探器和一个解码器，其中，所述嗅探器用于捕获网络报文，所述解码器用于根据特定的规范来对所捕获的报文进行解码，还包括如上任意所述的一种协议分析引擎。

本发明还公开了一种信息查找的方法，根据输入的过滤条件和所述过滤条件的序列表达式，在查找对象中查找并保存匹配的信息序列，所述序列表达式用于在符合所述过滤条件的信息中查找符合特定联系的信息序列。

优选地，所述查找对象为文本、日志文件、用户行为模型、系统状况监控结果。

本发明还公开了一种处理器，包括一个输入单元和一个处理单元，所述输入单元用于接收输入的过滤条件和所述过滤条件的序列表达式，所述序列表达式用于表示信息之间的特定联系，所述处理单元用于根据所述过滤条件和所述过滤条件的序列表达式在查找对象中查找并保存匹配的信息序列。

可以看出，利用本发明所提供的实施例，用户只需了解被分析协议的相关知识，通过定义过滤条件(查询彼此间无联系的报文)、序列表达式(查询序列模式)便可以查找到符合要求的报文序列(彼此之间符合一定联系)。

利用不同的输入可以满足非常多的分析需求，比如查找报文是如何从源节点传送到目标节点的，中间用时多少，哪一跳耗时最久，哪一个报文没有到达目标节点，在哪一个节点处发生丢包。理论上讲，通过定义足够充分的报文序列表达式，所有基于状态机的复杂协议中的所有事件都可以被查找出来，从而避免了针对每个分析需求单独设置插件的情况。

而且，这种应用还可以扩展到更广泛的范围，比如对文本中符合特定联系的若干字符的查找，还可以用于对日志文件的分析、系统状态监控、网络入侵监测和用户行为建模等等。只需输入过滤条件和用于在符合所述过滤条件的信息中查找符合特定联系的信息序列的过滤条件序列表达式，处理器就可以在对象中查找并保存匹配的信息序列。

附图说明

以下附图仅旨在于对本发明做示意性说明和解释，并不限定本发明的范围。其中，

图1是本发明报文序列查找方法一种实施例的流程示意图；

图2是本发明报文序列查找方法实施例的一种应用示意图；

图3是本发明协议分析仪实施例的结构框图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图说明本发明的具体实施方式。

在本发明的实施例中，根据用户输入的过滤条件和所述过滤条件的序列表达式(表示报文之间的特定联系，可以用来在符合所述过滤条件的报文中查找符合此特定联系的报文)，在捕获的报文序列中查找并保存匹配的报文序列(即报文之间符合特定的联系的一组报文)的结果，然后还可以根据深入分析标准，对所找出的结果进行深入分析，以获得更准确的结果。

如图1所示的流程示意图，示出了使用本发明实施例来进行检索的过程。现在根据图1并结合图3予以说明：

S10：根据分析需求设置并输入检索条件(过滤条件、过滤条件序列表达式、停止条件)。

其中，在单独使用过滤条件时，可以根据报文信息(如报文属性或者内容)找到一条或者若干条彼此之间没有联系的报文，过滤条件可以针对报文的属性或者预先定义的值的任何数学表达式给出“是”或者“否”的描述，而且，不同的过滤条件之间还可以进行反向引用，即，使用在先的过滤条件所得到的结果，以此来定义在后的过滤条件。

比如可以使用以下表达作为过滤条件：

1、可以使用报文的任何属性

即可以将报文的实质内容作为一项过滤标准，比如判断报文某一域的值的大小：msg.field2between(value1，value2)，便可以用来查找报文第2个域的值是否大于value1且小于value2的报文；

还比如可以使用反向引用，如查找源地址是否为符合第一个过滤条件报文的目标地址的报文：msg.source＝M[F1].destination；

还可以判断报文某一位或者若干位的值，如msg[5，8]＝＝0xA，便可以用来查找第5位至第8位为0xA(即字符为1010)的报文。

2、可以使用正则表达式

即可以将报文的本身内容作为一项过滤标准，而正则表达式可以用来描述或者匹配一系列符合某个句法规则的字符串的单个字符串，在此处，使用正则表达式则可以找到特定的一条符合特定规则的报文，比如ab+c＊a，便可以用来查找报文中符合该规则的报文，如包含abbca字符串的报文等等。

3、可以使用逻辑运算符来组合过滤条件

比如过滤条件1为F1，过滤条件2为F2，过滤条件3为F3，那么便可以使用F1and F2or F3来表示同时满足F1和F2的报文，或者满足F3的报文。

可以看出，利用过滤条件只可以查找出能够匹配该检索条件的报文，但是对于查找报文之间存在特定联系的报文序列则无能为力，所以，我们无法单独使用上述过滤条件来查找彼此之间有联系的报文序列。

如果需要查找彼此之间存在特定联系的报文序列，则可以使用过滤条件序列表达式。过滤条件的表达式使用表达式(比如类似于正则表达式的表达式)来对不同的过滤条件进行组合，限定报文之间的联系，进而可以找到符合要求的报文序列模式，即报文之间满足特定联系，比如过滤条件1为F1，过滤条件2为F2，过滤条件3为F3，过滤条件4为F4，则可以使用F1(F2|F3)+F4来表示首先找符合F1的报文，找到后再找符合F2或F3的报文，这样的报文要至少存在一个，最后找符合F4的报文。与过滤条件中可以使用逻辑运算符不同的是，过滤条件序列表达式中使用的是表达式，逻辑运算符只能表示“与”或者“或”，并不能对过滤条件之间的联系进行限定，而使用表达式，能够限定过滤条件之间的联系，比如先后顺序、出现次数等等。

结合过滤条件和过滤条件序列表达式，便可以对所捕获的报文进行检索。

在实际使用中，还可以设定停止条件，以便限制一个结果(报文序列)的范围，比如：当找到第一条符合条件的报文后，这个停止条件就开始起作用了，假定停止条件为10s或1000个报文内的报文，则如果在所定范围内(10s，或1000个报文)没有找到符合条件的报文序列，则停止对该结果的搜索，进行下一次搜索。

相应地，输入停止条件和上述过滤条件、过滤条件序列表达式，也可以进行相应地检索。可以看出，随着过滤条件、过滤条件序列表达式、停止条件的不同，所生成的检索条件也会相应地发生变化，利用上述输入，用户可以非常简便地针对分析需求而设置各种过滤条件，并利用过滤条件序列表达式和停止条件找到满足需求的报文结果，无需针对单独的分析需求准备大量的分析程序，也无需针对不同的协议学习不同的程序语言，只需使用一种语言进行简单的输入，便可以满足不同协议、不同场合、不同目的的分析需求，设计简单直观，易于后期维护，对设计人员要求较低，不需要学习其他复杂的编程语言。

S20：确定目标文件，即捕获并解码后的报文序列，这也便是需要使用检索条件进行检索的目标对象。捕获报文序列属于现有技术，此处不再赘述。当然，S10与S20之间并无实质上的顺序限制，完全可以先执行步骤S20再执行S10，或者二者同时进行。

S30：协议分析引擎使用检索条件在目标文件中检索，并判断是否找到一条报文序列结果。

S40：如果在步骤S30中没有找到结果，则说明目标文件中不存在匹配该检索条件的报文，流程结束。

S50：如果在步骤S30中找到一条结果，则将该结果予以保存。

S60：协议分析引擎会再次在目标文件中检索，并判断是否还能找到其他结果，在步骤S50找到一条结果后，步骤S60中下一轮的查找程序会在前一结果中第一个匹配的报文之后开始。

S70：如果还能查找到结果，则保存该结果，并重新执行步骤S60，查找其他的结果。

S80：如果找不到结果了，则生成一个结果文件，该文件中包含所有查找到的报文序列和对应的信息，比如报文本身、报文在该报文序列中的位置、所匹配的过滤条件、所引用的报文(如果使用反向引用的话)等等。

S90：设置深入分析标准来对结果文件进行深入分析。对于得到的结果，用户还可以设置更为细致的深入分析标准，从而得到更为精确的结果。该深入分析标准是基于过滤结果的表达式，可以对报文序列属性或者内容的任何数学表达给出“是”或者“否”的描述，从而从过滤所得到的报文结果中找到一个报文模式。比如：M[F4][1].field1-M[F1][1].field1＜＝v1，便可以用来表达符合第4个过滤条件F4的第一个报文的第一个域减去符合第1个过滤条件F1的第一个报文的第一个域，结果不大于v1的报文。再比如：M[F1].count+M[F2].count＞10，便可以来表示符合第1个过滤条件F1的报文个数与符合第2个过滤条件F2的报文个数之和大于10的情况。

S100：利用深入分析标准，后续处理引擎在结果文件中检索报文序列，是否找到一条结果。

S110：如果利用深入分析标准查找不到结果，则结束流程。

S120：如果利用深入分析标准查找到一条结果，则将该结果予以保存。

S130：后续处理引擎在结果文件中再次检索序列模式，是否还能找到一条结果。

S140：如果能够找到一条结果，则将该结果予以保存，并从该结果后的下一个结果开始再次执行步骤S130。

S150：如果找不到其他结果了，则生成一个包含了所有可以匹配深入分析标准的结果的文件。至此，便找到了符合分析需求的所有结果，用户可以直接根据该结果进行分析。

在本发明的一种实施例中，过滤条件的序列可以使用一种类似于正则表达式的规则来表达关系，但是与普通的正则表达式相比，该实施例中的表达式存在以下不同：

1、对于模式的定义，在本发明实施例中使用过滤条件作为基本数据单元，而在普通的正则表达式中使用的则是字符；在本发明实施例中所分析或者检索的对象并不是字符串，而是报文序列。

2、对于匹配过程的控制而言，本发明实施例中还可以使用停止条件，比如只对符合第1个过滤条件(F1)的报文组合(M[F1])里的第1个报文(M[F1][1])的时间戳(M[F1][1].time)10s内的报文进行查找，或者到第1000个符合第1个过滤条件(F1)的报文时停止本次结果的查找(1000messages after M[F1][1].lineNumber)，而在普通的正则表达式中则不使用停止条件。

另外，对于在当前状态不符合过滤条件的报文，本发明实施例会予以忽略，而不是停止当前的匹配检索过程。

在找到一条结果后，下一轮的查找程序会在前一结果中第一个匹配的报文之后开始，因为这两个结果(报文模式)有可能会在序列上有所重叠。但是，在普通的正则表达式中，查找程序会在前一结果的最后才开始。

3、对于利用检索条件查找后所得到的结果而言，本发明实施例所得到的是一组符合预设模式的连续或者不连续的报文序列，而优选地，这些连续或者不连续的报文序列会予以保存，以便进行更深入地分析，优选地，结果中的各个报文，连同其全部或者部分信息，比如报文本身、报文在报文序列中的位置、所匹配的过滤条件、所引用的报文(如果使用反向引用的话)，都会予以保存。

而且，本发明不仅可以使用上述类似于正则表达式的表达式，还可以利用其他表达式，比如采用通配符形式的表达式等等。

下面以一个具体的场景并结合图2来说明本发明实施例。

假设网络中的源节点的IP地址和MAC地址分别为ip_addr_src和mac_addr_src，目标节点的IP地址和MAC地址分别为ip_addr_dst和mac_addr_dst，如果要求网络这两个节点之间的TCP发送时延应少于5s，利用本发明实施例便可以找出发送时延超过5s的报文。

我们使用第一个过滤条件(F1)来查找从源节点发出的报文，使用第二个过滤条件(F2)来查找到达目标节点的同一个报文。可以看出，过滤条件F2使用了符合第一个过滤条件F1报文的相关信息来确定到达目标节点的报文与从源节点发出的报文是否同一个报文。因为目标节点在传送的过程中由于重发和备用路由机制的缘故可能会收到多份同样的报文，因此，使用过滤条件序列表达式“F1 F2+”来查找满足F1的报文和满足F2的报文，同时使用30s的停止条件，即只查找符合第1个过滤条件的报文时戳后30s内的报文。

根据上述要求，从源节点发出和到达目标节点的所有报文(既包括完全匹配的报文序列(既有符合F1的报文，也有符合F2的报文)，也包括部分匹配的报文序列(只有符合F1的报文，而没有找到符合F2的报文))都会保存在所捕获的跟踪文件中。

为了进一步分析，用户还可以使用深入分析标准，在本例中，将深入分析标准设置为“M[F2][1].time-M[F1][1].time＞5s”，即表示满足第1个过滤条件的第1个报文与满足第2个过滤条件的第1个报文之间的时差大于5s，也就是说，报文从源节点到目标节点之间的时延大于5s，这样，就会找到所有时延大于5s的报文。

可以看出，利用本发明所提供的实施例，用户只需了解被分析协议的相关知识，通过定义过滤条件(查询彼此间无联系的报文)、序列表达式(查询序列模式)便可以查找到符合要求的报文序列(彼此之间符合一定联系)。

利用不同的输入可以满足非常多的分析需求，比如查找报文是如何从源节点传送到目标节点的，中间用时多少，哪一跳耗时最久，哪一个报文没有到达目标节点，在哪一个节点处发生丢包。理论上讲，通过定义足够充分的报文序列表达式，所有基于状态机的复杂协议中的所有事件都可以被查找出来，从而避免了针对每个分析需求单独设置插件的情况。

在找到上述结果后，用户还可以使用不同的输入使用深入分析标准，进一步地缩小结果范围，根据需要准确而便捷地查找到所需的结果。

如图3所示，本发明还提供了一种协议分析引擎100，包括输入端口101、分析单元103和后续处理单元104，

其中，可以通过输入端口101输入过滤条件和过滤条件序列表达式，其中过滤条件用于查找彼此之间无联系的报文，过滤条件序列表达式则可以限定报文之间的联系，可以用于查找报文序列，可选地，还可以通过输入端口101输入停止条件用于限定查找的报文范围，输入端口101接收到这些信息后，会提供给分析单元103。

分析单元103则可以根据输入端口101所接收到的输入进行检索，以找到符合特定联系的结果。

同时，还可以通过输入端口101输入深入分析标准，后续处理单元104则可以根据该标准，对分析单元103所查找到的结果进行深入的分析，从而得到最终的分析结果。

再如图3所示，本发明还提供了一种报文分析仪10，不仅包括前述的协议分析引擎100，还至少包括一个嗅探器200和一个解码器300，其中嗅探器200可以用来捕获网络报文，解码器300则用来根据特定的规范来对所捕获的报文进行解码，而协议分析引擎100则用来根据前述方法对解码后的报文进行分析。

当然，在实际应用中，此种方法还可以运用到其他对象中，比如对文本中符合特定联系的若干字符的查找，还可以用于对日志文件的分析、系统状态监控、网络入侵监测和用户行为建模等等。只需输入过滤条件和用于表示信息之间特定联系的过滤条件序列表达式，处理器就可以在对象中查找并保存匹配的信息序列。这样的处理器可以包括一个输入单元和一个处理单元，输入单元会接收所输入的过滤条件和所述过滤条件的序列表达式，而处理单元则会根据这些输入在查找对象中查找并保存匹配的信息序列。

以上所述仅为本发明示意性的具体实施方式，并非用以限定本发明的范围。任何本领域的技术人员，在不脱离本发明的构思和原则的前提下所作的等同变化、修改与结合，均应属于本发明保护的范围。

Claims (14)

1.一种报文序列查找的方法，其特征在于，根据输入的过滤条件和所述过滤条件的序列表达式，在捕获的报文序列中查找并保存匹配的报文序列，所述序列表达式用于表示报文之间的特定联系。

2.如权利要求1所述的方法，其特征在于，还根据输入的停止条件，与所述过滤条件和所述过滤条件的序列表达式，在捕获的报文序列中查找并保存匹配的报文序列，所述停止条件用于限定所述捕获的报文序列的查找范围。

3.如权利要求1所述的方法，其特征在于，所述过滤条件中包含报文信息，所述报文信息包括报文属性和/或报文内容。

4.如权利要求3所述的方法，其特征在于，所述过滤条件中包含使用逻辑运算符组合的不同报文信息。

5.如权利要求1所述的方法，其特征在于，所述在捕获的报文序列中查找并保存匹配的报文序列进一步包括：

找到一条报文序列后，将其保存，并从所述报文序列中第一个匹配的报文之后的报文开始查找其他匹配的报文序列。

6.如权利要求1所述的方法，其特征在于，还包括：将所查找到的报文序列和对应的信息保存成结果文件。

7.如权利要求6所述的方法，其特征在于，还包括：根据输入的深入分析标准，对所述保存的报文序列进行进一步过滤，所述深入分析标准为所述保存的报文序列信息的表达式，所述报文序列信息包括报文序列属性和/或报文序列内容。

8.一种协议分析引擎，其特征在于，包括一个输入端口和一个分析单元，其中，

所述输入端口，用于接收输入的过滤条件和所述过滤条件的序列表达式，所述序列表达式用于表示报文之间的特定联系，

所述分析单元，用于根据所述输入的过滤条件和所述过滤条件的序列表达式在捕获的报文序列中查找并保存匹配的报文序列。

9.如权利要求8所述的协议分析引擎，其特征在于，所述输入端口还用于接收输入的停止条件，所述停止条件用于限定所述捕获的报文序列的查找范围，所述分析单元用于将所述输入的过滤条件、过滤条件序列表达式和停止条件，在捕获的报文序列中查找并保存匹配的报文序列。

10.如权利要求8所述的协议分析引擎，其特征在于，所述输入端口还用于接收输入的深入分析标准，用于对所述保存的报文序列进行进一步过滤，所述深入分析标准为所述保存的报文序列信息的表达式，所述报文序列信息包括报文序列属性和/或报文序列内容，

所述协议分析引擎还包括一个后续处理单元，用于根据所述深入分析标准，对所述分析单元所查找到的报文序列进行过滤。

11.一种协议分析仪，包括一个嗅探器和一个解码器，其中，所述嗅探器用于捕获网络报文，所述解码器用于根据特定的规范来对所捕获的报文进行解码，其特征在于，还包括一个如权利要求8-10任意一项所述的协议分析引擎。

12.一种信息查找的方法，其特征在于，根据输入的过滤条件和所述过滤条件的序列表达式，在查找对象中查找并保存匹配的信息序列，所述序列表达式用于表示信息之间的特定联系。

13.如权利要求12所述的方法，其特征在于，所述查找对象为文本、日志文件、用户行为模型或系统状况监控结果。

14.一种处理器，其特征在于，包括一个输入单元和一个处理单元，所述输入单元用于接收输入的过滤条件和所述过滤条件的序列表达式，所述序列表达式用于表示信息之间的特定联系，所述处理单元用于根据所述过滤条件和所述过滤条件的序列表达式在查找对象中查找并保存匹配的信息序列。

Images