CN110347567B

CN110347567B - 一种基于协议匹配的二进制数据日志分析方法和系统

Info

Publication number: CN110347567B
Application number: CN201910560202.4A
Authority: CN
Inventors: 宋坦路; 黄鹏杰; 宋新强
Original assignee: Henan Splendor Science and Technology Co Ltd
Current assignee: Henan Splendor Science and Technology Co Ltd
Priority date: 2019-06-26
Filing date: 2019-06-26
Publication date: 2022-12-06
Anticipated expiration: 2039-06-26
Also published as: CN110347567A

Abstract

本发明提供了一种基于协议匹配的二进制数据日志分析方法和系统，数据发送方按照约定的通信协议将数据包通过接口发送至数据接收方；数据接收方在接收到所述数据包后生成并存储二进制数据日志文件，再按照所述通信协议解析所述数据包后，对解析出的数据进行加工处理，而后进行展示；当展示的数据中存在异常数据时，则提取所述二进制数据日志文件进行解析，判断所述异常数据是否出现在所述二进制数据日志文件中；若出现在所述二进制数据日志文件中，则判定所述异常数据来自数据发送方；若未出现在所述二进制数据日志文件中，则判定所述异常数据为数据接收方自身加工处理产生的数据。本发明提高了分析效率，加快了问题处理速度。

Description

一种基于协议匹配的二进制数据日志分析方法和系统

技术领域

本发明涉及日志数据分析技术领域，具体的说，涉及了一种基于协议匹配的二进制数据日志分析方法和系统。

背景技术

不同软件系统之间的信息接口通常采用约定的通信协议来实现，通信协议不仅规定了硬件接口方式，包括：串口、CAN总线、RJ45等；更重要的是定义了接口所传输的二进制数据的组成方式和含义。由于系统间接口具有数据量大、协议易变、故障多发的特点，接口软件通常对系统接口收发的原始数据（即二进制数据）进行日志记录，以方便对系统接口问题的分析。

目前，针对系统接口问题，分析软件系统间接口二进制数据日志的方法通常有两种：（1）人工按照接口协议对二进制数据进行逐条分析，经常使用，但存在分析工作量大，重复投入的缺点。（2）针对接口协议编写对应的二进制数据解析软件，通过软件进行自动解析；方法2作为方法1的改进，提高了分析效率，但存在着筛选条件不够灵活，在日志分析条件变化时，现场工程人员还需要人工分析或等待开发人员重新编写分析软件的问题。

为了解决以上存在的问题，人们一直在寻求一种理想的技术解决方案。

发明内容

本发明的目的是针对现有技术的不足，从而提供一种基于协议匹配的二进制数据日志分析方法和系统。

为了实现上述目的，本发明第一方面提出一种基于协议匹配的二进制数据日志分析方法，

数据发送方按照约定的通信协议将数据包通过接口发送至数据接收方；

数据接收方在接收到所述数据包后生成并存储二进制数据日志文件，再按照所述通信协议解析所述数据包后，对解析出的数据进行加工处理，而后进行展示；

当展示的数据中存在异常数据时，则提取所述二进制数据日志文件进行解析，判断所述异常数据是否出现在所述二进制数据日志文件中；

若出现在所述二进制数据日志文件中，则判定所述异常数据来自数据发送方；

若未出现在所述二进制数据日志文件中，则判定所述异常数据为数据接收方自身加工处理产生的数据。

本方案中，提取所述二进制数据日志文件进行解析时，执行以下操作步骤：

步骤1，预先配置通信协议，构建二进制数据日志对应的协议库；

步骤2，获得待分析的日志数据；

接收用户输入的数据时间范围和数据收发类型；

判断所述数据时间范围和所述数据收发类型，与日志数据的数据时间范围和数据收发类型是否一致；

若一致，则筛选出该日志数据作为待分析的日志数据；

步骤3，获得待分析的解析数据；

选择所述协议库中的一个通讯协议；

判断该通讯协议与所述待分析的日志数据的通讯协议是否匹配；

若匹配成功，则对所述待分析的日志数据进行解析，获得待分析的解析数据。

本方案中，获得待分析的解析数据后，还包括对关键数据进行筛选分析的步骤：

接收用户输入的筛选条件；

判断所述待分析的解析数据是否符合所述筛选条件；

若符合所述筛选条件，则提取该待分析的解析数据作为目标解析数据。

本发明第二方面还提出一种基于协议匹配的二进制数据日志分析系统，所述基于协议匹配的二进制数据日志分析系统包括存储器及处理器，所述存储器中包括一种基于协议匹配的二进制数据日志分析方法程序，所述基于协议匹配的二进制数据日志分析方法程序被所述处理器执行时，实现如上述基于协议匹配的二进制数据日志分析方法的步骤。

本发明相对现有技术具有突出的实质性特点和显著的进步，具体的说，本发明提出了一种基于协议匹配的二进制数据日志分析方法和系统，数据接收方在接收到所述数据包后生成并存储二进制数据日志文件，再按照所述通信协议解析所述数据包后，对解析出的数据进行加工处理，而后进行展示；当展示的数据中存在异常数据时，则提取所述二进制数据日志文件进行解析，判断所述异常数据是否出现在所述二进制数据日志文件中；若出现在所述二进制数据日志文件中，则判定所述异常数据来自数据发送方；若未出现在所述二进制数据日志文件中，则判定所述异常数据为数据接收方自身加工处理产生的数据；本发明一方面节省了人力，提高了二进制数据日志的分析效率，加快了问题处理速度；本发明另一方面支持输入灵活的筛选条件，避免了分析软件的重复修改，方便现场工程人员使用。

附图说明

图1是本发明的结构示意图。

图2是本发明的可视化交互界面框图。

具体实施方式

下面通过具体实施方式，对本发明的技术方案做进一步的详细描述。

实施例1

如附图1和附图2所示，一种基于协议匹配的二进制数据日志分析方法，所述二进制数据日志分析方法为：数据发送方按照约定的通信协议将数据包通过接口发送至数据接收方；数据接收方在接收到所述数据包后生成并存储二进制数据日志文件，再按照所述通信协议解析所述数据包后，对解析出的数据进行加工处理，而后进行展示；当展示的数据中存在异常数据时，则提取所述二进制数据日志文件进行解析，判断所述异常数据是否出现在所述二进制数据日志文件中；若出现在所述二进制数据日志文件中，则判定所述异常数据来自数据发送方；若未出现在所述二进制数据日志文件中，则判定所述异常数据为数据接收方自身加工处理产生的数据。其中，所述二进制数据日志文件中包含至少一条日志数据。

本实施例中，提取所述二进制数据日志文件进行解析时，执行以下操作步骤：

步骤2，获得待分析的日志数据；

接收用户输入的数据时间范围和数据收发类型；

若一致，则筛选出该日志数据作为待分析的日志数据；

步骤3，获得待分析的解析数据；

选择所述协议库中的一个通讯协议；

遍历所述通讯协议的特征字段，在所述待分析的日志数据中，根据特征字段的取值进行匹配，即判断该通讯协议与所述待分析的日志数据的通讯协议是否匹配；

若匹配成功，则对所述待分析的日志数据进行解析，获得待分析的解析数据；否则，将继续遍历所述通讯协议，若遍历结束仍未能匹配成功的，则跳过该待分析的日志数据的分析；

获得待分析的解析数据后，判断所述异常数据是否出现在待分析的解析数据；若所述异常数据出现在所述待分析的解析数据中，则判定所述异常数据来自数据发送方；若未出现在所述待分析的解析数据中，则判定所述异常数据为数据接收方自身加工处理产生的数据。

本实施例中，在对所述待分析的日志数据进行解析时：若所述待分析的日志数据的字段类型与所述通信协议一致，且所述待分析的日志数据的值类型与所述通信协议一致，则进行解析；若所述待分析的日志数据的字段类型与所述通信协议不一致，或者所述待分析的日志数据的值类型与所述通信协议不一致，则跳过该待分析的日志数据。具体的，按照所述通讯协议的每个字段的值类型在所述待分析的日志数据中进行顺序取值，根据字段类型对该字段的取值和后续字段进行解析，对于异常字段进行标记。其中，异常字段为字段值超过正常范围的字段。

本实施例中，所述字段类型和所述值类型在配置通信协议时预先设置；所述通讯协议划分为多个字段，每个字段设置字段名称、字段类型和值类型；所述字段名称用于区分通信协议中不同的字段；所述字段类型为该字段或后续字段的二进制数据值的解析方法的类型，不同的字段类型对应的数据值的解析方法不同；所述值类型为通信协议中该字段在二进制数据中的类型，不同的值类型在二进制数据中所取数据的长度不同。

本实施例给出了编制二进制数据日志对应通信协议的具体实施方式，按照二进制数据对应的协议进行协议编制，该协议由不同字段顺序组成，是后续分析条件输入和数据日志分析的基础。

所述字段名称为类型、字长、局代码、时间、各站信息、站码、站码信息长、车次号、运行方向值、运行方向或者显示方向。

所述字段类型为不同的协议字段解析方法，具体可以为Data、DataLenth、String、StringWithLen、ListCount、KeyValue、ByteArray、BitDataIndex或者BitData；其中：Data类型将数据直接转为数值；DataLength类型将值数据为后续字段的总字节长度；String类型将读取数据中的字符串，以’\0’结束；StringWithLen类型将读取数据中以值数据为长度的字符串；ListCount类型将按照List列表的方式循环读取列表字段数据，值类型为Empty则全部读取，否则以值数据为循环次数读取数据；KeyValue类型将值数据按照配置的字典（某数值代表何种意义，如：局代码字段中96表示郑州局）进行对照解析；ByteArray类型将后续的数据读取为字节数组；BitDataIndex类型和BitData类型配合使用，BitData类型将值数据按照Bit位进行分段解析，其中每个分段的字段类型为BitDataIndex，表示从BitData字段的值数据的哪几个Bit位的取值进行解析。

所述值类型为编程语言中常见的数据类型，具体可以为Empty、Boolean、Byte、SByte、Char、String、UInt16、Int16、UInt32、Int32、UInt64、Int64、Single、Double、Decimal或者DateTime。例如：二进制数据01 02 03 04 05 06，值类型为Byte则字段的值为0x01；值类型为UInt16则字段的值为0x0201；值类型为UInt32则字段的值为0x04030201；值类型为String则字段的值为读取一个字符串；特殊的值类型Empty不需要读取数据，而是通过字段的字段类型表示后续数据的读取方式。

例如：二进制数据为：01 20 00 06 E3 07 05 07 09 10 00 90 09 00 03 4B 3132 21 02 54 37 1256 0D 00 04 4B 35 37 31 12 05 31 30 30 30 32 21。按照通信协议的各字段进行如下解析：类型字段1个字节，值为1；字长字段2个字段，值为32（即0x0020）；局代码字段为1字节，值为6，即郑州局；时间字段7个字节（E3 07 05 07 09 10 00），年为2019（即0x07E3），月为5，日为7，时为9，分为16（即0x10）,秒为0；各站信息列表的站1信息：站码字段1字节，值为144（即0x90）；站信息长字段2字节，值为9（即0x0009）；站1的车次信息列表的车次1信息：车次号字段1字节，值为3，车次号再读取后续3字节，为K12（即4B 3132）；运行方向值字段1字节，值为0x21；运行方向字段从0x21的Bit位D4D5D6D7取值为2，对应为上行；显示方向字段从0x21的Bit位D0D1D2D3取值为1，对应为左。站1的车次信息列表的车次2信息：车次号字段1字节，值为2，车次号再读取后续2字节，为T7（即54 37）；运行方向值字段1字节，值为0x12；运行方向字段从0x12的Bit位D4D5D6D7取值为1，对应为下行；显示方向字段从0x12的Bit位D0D1D2D3取值为2，对应为右。

各站信息列表的站2信息：站码字段1字节，值为86（即0x56）。站信息长字段2字节，值为13（即0x000D）。站2的车次信息列表的车次1信息：车次号字段1字节，值为4，车次号再读取后续4字节，为K571（即4B 35 37 31）；运行方向值字段1字节，值为0x12；运行方向字段从0x12的Bit位D4D5D6D7取值为1，对应为下行；显示方向字段从0x12的Bit位D0D1D2D3取值为2，对应为右。站2的车次信息列表的车次2信息：车次号字段1字节，值为5，车次号再读取后续5字节，为10002（即31 30 30 30 32）；运行方向值字段1字节，值为0x21；运行方向字段从0x21的Bit位D4D5D6D7取值为2，对应为上行；显示方向字段从0x21的Bit位D0D1D2D3取值为1，对应为左。

将所述通讯协议用字段列表进行描述，如下表所示：

本实施还采用实例表格的形式，对所述通讯协议各个字段进行说明，其中，类型码、字长、局代码和时间等对应的字节数和内容说明，如下表所示：

其中，车次号长度、车次号和运行方向的字节数和内容说明，如下表所示：

在上述基于协议匹配的二进制数据日志分析方法的基础上，本实施例还给出了一种基于协议匹配的二进制数据日志分析系统的具体实施方式，所述基于协议匹配的二进制数据日志分析系统包括存储器及处理器，所述存储器中包括一种基于协议匹配的二进制数据日志分析方法程序，所述基于协议匹配的二进制数据日志分析方法程序被所述处理器执行时，实现如上述基于协议匹配的二进制数据日志分析方法的步骤。

综上所述，数据发送方的信息按照协议打包后通过接口发送给数据接收方，数据接收方在收到接口数据后为了后期问题分析进行二进制数据日志的存储，同时按照协议进行解析数据，对解析出的信息进行加工处理后再进行展示。需要确定异常数据的来源是数据发送方的接口数据还是数据接收方自身的数据解析或信息加工处理环节时；采用本发明来对数据接收方的二进制的数据日志进行分析，从而从数据接收方的异常数据的根源（即接口二进制数据）来分析关注的内容，或者确定异常数据在数据根源是否出现。

实施例2

数据接收方在收到接口数据后为了后期问题分析进行二进制数据日志的存储，除了需要确认数据接收方的异常数据的根源外，还需要对关键数据进行分析，例如，某个信息的变化顺序或者时间等。因此，本实施例给出了一种针对关键数据的基于协议匹配的二进制数据日志分析方法。

具体的，获得待分析的解析数据后，还包括对关键数据进行筛选分析的步骤：接收用户输入的筛选条件；判断所述待分析的解析数据是否符合所述筛选条件；若符合所述筛选条件，则提取该待分析的解析数据作为目标解析数据。

在获得所述目标解析数据后，还包括对所述目标解析数据、所述待分析的解析数据、以及所述待分析的解析数据对应的二进制数据流的组织展示。

为了应对用户多变的筛选分析需求，本发明支持简单到复杂多种不同的条件格式；所述筛选条件包括简单筛选条件、组合筛选条件和嵌套筛选条件。

所述简单筛选条件的格式为：[协议字段名称:协议字段值]。其中，符号[]为筛选条件的标记符号；所述协议字段值为数值时，可以为具体的值，多于1个值时，用+连接；也可以为数值范围如<=**或>=**。例如，如果要筛选字长为500到1000的数据，条件为[字长:>=500<=1000]；如果要筛选郑州局的数据，条件为[局代码:郑州]，该条件中郑州为局代码字段的值对应的字典中的取值，必须协议中该字典存在才能填写，否则要填写数值；如果要筛选站码为144的数据，条件为[站码:144]；如果要筛选站码为144、86的数据，条件为[站码:144+86]。

所述组合筛选条件的格式为：[[协议字段名:协议字段值]&[协议字段名:协议字段值]]，或者[[协议字段名:协议字段值] | [协议字段名:协议字段值]]；应尽可能少用或条件，而用字段取值的范围来代替。在多个条件的外层必须加上筛选条件的标记符号[]。例如，如果要筛选字长为在500到1000之间的郑州局的数据，则条件为[[字长:>=500<=1000]&[局代码:郑州]]。

所述嵌套筛选条件的格式为：[协议字段名:协议字段值 ([协议字段名:协议字段值或者])]。在过滤需要同时满足的条件时，如果子条件不在同一层次（有的条件在列表数据中），则需要设置嵌套筛选条件。例如，如果要筛选站码144且该站有车次号为K571的数据，则条件为:[站码:144([车次号:K571])]；如果条件为: [[站码:144]&[车次号:K571]]，则数据中站1站码为144，没有K571车次，但站2的站码不是144，但有K571车次时会被错误筛选出来。

在编制完成要分析的协议后，选择要分析的二进制数据日志文件，选择要分析的数据时间范围和数据收发类型；根据用户分析要求，输入筛选条件后，本发明能够筛选出符合所述筛选条件的解析数据。对每条二进制数据日志，按照匹配协议、字段解析、筛选过滤、组织结果的步骤进行处理。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制；尽管参照较佳实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者对部分技术特征进行等同替换；而不脱离本发明技术方案的精神，其均应涵盖在本发明请求保护的技术方案范围当中。

Claims

1.一种基于协议匹配的二进制数据日志分析方法，其特征在于：

若未出现在所述二进制数据日志文件中，则判定所述异常数据为数据接收方自身加工处理产生的数据；

提取所述二进制数据日志文件进行解析时，执行以下操作步骤：

步骤2，获得待分析的日志数据；

接收用户输入的数据时间范围和数据收发类型；

若一致，则筛选出该日志数据作为待分析的日志数据；

步骤3，获得待分析的解析数据；

选择所述协议库中的一个通讯协议；

若匹配成功，则对所述待分析的日志数据进行解析，获得待分析的解析数据；

获得待分析的解析数据后，还包括对关键数据进行筛选分析的步骤：接收用户输入的筛选条件；判断所述待分析的解析数据是否符合所述筛选条件；若符合所述筛选条件，则提取该待分析的解析数据作为目标解析数据；所述筛选条件包括简单筛选条件、组合筛选条件和嵌套筛选条件。

2.根据权利要求1所述的基于协议匹配的二进制数据日志分析方法，其特征在于：所述简单筛选条件的格式为：[协议字段名称:协议字段值]；

所述组合筛选条件的格式为：[[协议字段名:协议字段值]&[协议字段名:协议字段值]]；

所述嵌套筛选条件的格式为：[协议字段名:协议字段值([协议字段名:协议字段值])]。

3.根据权利要求1所述的基于协议匹配的二进制数据日志分析方法，其特征在于：在获得所述目标解析数据后，还包括对所述目标解析数据、所述待分析的解析数据、以及所述待分析的解析数据对应的二进制数据流的组织展示。

4.根据权利要求1所述的基于协议匹配的二进制数据日志分析方法，其特征在于，在对所述待分析的日志数据进行解析时：

若所述待分析的日志数据的字段类型与所述通信协议一致，且所述待分析的日志数据的值类型与所述通信协议一致，则进行解析；

若所述待分析的日志数据的字段类型与所述通信协议不一致，或者所述待分析的日志数据的值类型与所述通信协议不一致，则跳过该待分析的日志数据。

5.根据权利要求4所述的基于协议匹配的二进制数据日志分析方法，其特征在于：预先配置的所述通讯协议划分为多个字段，每个字段设置字段名称、字段类型和值类型；

其中，所述字段名称为类型、字长、局代码、时间、各站信息、站码、站码信息长、车次号、运行方向值、运行方向或者显示方向；

所述字段类型为Data、DataLenth、String、StringWithLen、ListCount、KeyValue、ByteArray、BitDataIndex或者BitData；

所述值类型为Empty、Boolean、Byte、SByte、Char、String、UInt16、Int16、UInt32、Int32、UInt64、Int64、Single、Double、Decimal或者DateTime。

6.一种基于协议匹配的二进制数据日志分析系统，其特征在于：所述基于协议匹配的二进制数据日志分析系统包括存储器及处理器，所述存储器中包括一种基于协议匹配的二进制数据日志分析方法程序，所述基于协议匹配的二进制数据日志分析方法程序被所述处理器执行时，实现如权利要求1至5中任一项所述基于协议匹配的二进制数据日志分析方法的步骤。