CN112511213A - 基于日志分析的缺陷定位方法及系统 - Google Patents

Abstract

基于日志分析的缺陷定位方法及系统，方法包括根据问题现象描述，寻找对应的问题ID，获取需要采集的LOG列表，采集设备黑匣子日志；获取每个黑匣子日志对应的检查点，提取检查点并进行判决，发现异常点，完成问题定位，流程结束；若未发现异常，采集设备操作日志，通过对应的操作ID获取需要采集的LOG列表从设备采集黑匣子日志；再次分析检查点，完成问题定位后，更新到关系数据库；若还未完成定位，人工分析并在分析后，更新关系数据库。自动基于问题现象或问题发生前对设备的操作，关联可能涉及的日志，进一步关联可能出现的异常点，从而进行疑似异常点检测，快速找到缺陷点界，能将定位手段更新至关系数据库，达到问题定位经验传承的目的。

Description

基于日志分析的缺陷定位方法及系统

技术领域

本发明涉及缺陷定位，尤其涉及一种基于日志分析的缺陷定位方法及系统。

背景技术

在当代科技产品中，如卫星通讯设备，日志&黑匣子通常为盒式设备或框式设备的问题定位重要依据。而基于日志的常规问题定位手段均为基于人工定位，存在：日志种类多，信息量大，通过人工方式分析效率非常低；问题定位手段强依赖于开发人员经验，如没有一个平台承载问题定位经验，很难达到技术传承；通常一个问题会涉及多个开发领域联合定位，比如底层软件、逻辑、产品、硬件等，定位效率低等问题。

现有自动定位过程中，存在至少以下三方面问题：

1、在测试周期紧张的版本，当存在某个产品问题未定界时，需要多个周边领域开发人员联合定位或逐一定位，定位效率低下；

2、由于公司人员流动，导致问题定位经验传承断层的问题；

3、大量日志人工定位效率问题。

现有技术中相关的缺陷定位方法，比如有利用“打桩”思路，在软件功能模块中加入缺陷分析准则+缺陷插入点的方式来进行缺陷定位的，但其仅适用于产品在未发布前的测试验证活动，且相对固化；也有通过机器学习完成的，但需要利用互联网大数据并依赖机器学习算法来定位的，应用极大受限；也有单纯异常堆栈信息展开分析完成定位的，存在定位手段单薄、相对固化的问题，同样使其应用受限；还有利用系统的运行视频与运行日志为基础开展问题定位的，基于操作指令的标准结果与实际运行结果相比较来判断，定位手段单薄，仅能简化定位、缩小定位范围。这些技术虽然能实现缺陷或问题定位，但是或多或少都存在一些缺陷，也无法同时解决前文所述的现有定位过程存在的问题。

发明内容

本发明主要针对上述相关现有技术的不足与缺陷，提供一种基于日志分析的缺陷定位方法及系统，自动基于问题现象或问题发生前对设备的操作，关联可能涉及的日志，进一步关联可能出现的异常点，从而进行疑似异常点检测，快速找到缺陷点界，能将定位手段更新至关系数据库，达到问题定位经验传承的目的。

为了实现上述目的，本发明采用以下技术：

基于日志分析的缺陷定位方法，其特征在于，包括步骤：

S1接收输入的至少一个问题现象描述；

S2根据问题现象描述，通过模糊匹配在关系数据库中寻找对应的问题ID：

若找到，则遍历每个问题ID，从关系数据库中获取需要采集的LOG列表，并根据该LOG列表采集设备的黑匣子日志，执行S3；

若未找到，则执行S4；

S3查询采集的每个黑匣子日志，从关系数据库中获取每个黑匣子日志对应的检查点，通过关键字检索的方式提取检查点并进行判决，若发现检查结果实际与预期不符，反馈解析结果并输出，完成问题定位，流程结束；若未发现检查点异常，则执行S4；

S4采集设备的操作日志，通过关键字解析提取出一定时间范围内的操作日志列表，根据操作日志列表从关系数据库中找到对应的操作ID，遍历每个操作ID，从关系数据库中获取需要采集的LOG列表，并根据该LOG列表从设备采集黑匣子日志；

S5查询步骤S4采集的每个黑匣子日志，从关系数据库中获取每个黑匣子日志对应的检查点，通过关键字检索的方式提取检查点并进行判决，若发现检查结果实际与预期不符，反馈解析结果并输出，完成问题定位，并将定位的问题现象与对应的日志建立关联关系，更新到关系数据库，流程结束；若未发现检查点异常，则执行S6；

S6人工根据当前采集的已有黑匣子日志搜索新的关键字进行分析：

若完成问题定位，反馈解析结果并输出，并将支撑问题定位的全新检查点加入到当前日志的检查点集合中，更新关系数据库，并将定位的问题现象与对应的日志建立关联关系，更新到关系数据库，结束流程；

若未完成定位，执行S7；

S7人工采集新的黑匣子日志继续进行定位：

若完成问题定位，反馈解析结果并输出，并将新的黑匣子日志更新到关系数据库中；并将支撑问题定位的全新检查点加入到新更新的黑匣子日志的检查点集合中，更新到关系数据库；并将定位的问题现象与新更新的黑匣子日志建立的关联关系，并更新到关系数据库，流程结束；

若未完成定位，结束流程。

关系数据库中具有问题管理单元、操作管理单元、LOG单元、检查单元；

问题管理单元，存储有问题ID、问题现象对应关系的问题List，以及问题ID与LOGID关联关系表，并提供添加问题现象的接口、添加问题ID与LOG ID关联关系表的接口；

操作管理单元，存储有操作ID、操作类型对应关系的操作List，以及操作ID与LOGID关联关系表，并提供添加操作类型的接口、添加操作ID与LOG ID关联关系表的接口；

LOG单元，存储有LOG ID、LOG名称对应关系的Log List，以及LOG ID与检查点关联关系表，并提供添加LOG名称的接口；

检查单元，存储有各检查点，并提供添加检查点的接口。

步骤S2中通过模糊匹配在问题List中寻找对应的问题ID，并通过遍历问题ID，在问题ID与LOG ID关联关系表中获取对应的LOG ID，并根据Log List生成需要采集的LOG列表；

步骤S4中根据操作日志列表从操作List中寻找对应的操作ID，并通过遍历操作ID，在操作ID与LOG ID关联关系表中获取对应的LOG ID，并根据Log List生成需要采集的LOG列表；

步骤S3和步骤S5中，从Log List和LOG ID与检查点关联关系表中获取每个黑匣子日志对应的检查点，通过关键字检索的方式提取检查点并进行判决。

步骤S5中：将定位的问题现象与对应的日志建立关联关系，通过问题管理单元的添加接口更新到问题管理单元；

步骤S6中：将支撑问题定位的全新检查点加入到当前日志的检查点集合中，通过检查单元的添加接口更新检查单元；将定位的问题现象与对应的日志建立关联关系，通过问题管理单元的添加接口更新到问题管理单元；

步骤S7中：将新的黑匣子日志，通过LOG单元的添加接口更新到LOG单元；将支撑问题定位的全新检查点加入到新更新的黑匣子日志的检查点集合中，通过检查单元的添加接口更新检查单元；将定位的问题现象与新更新的黑匣子日志建立的关联关系，通过问题管理单元的添加接口更新到问题管理单元。

基于日志分析的缺陷定位方法，应用于卫星通讯设备，采集卫星通讯设备的黑匣子日志和/或操作日志，是通过Telnet方式、Serial方式、SSH方式中一种或多种完成。

基于日志分析的缺陷定位系统，其特征在于，包括日志采集模块、日志分析模块、回填模块；

日志采集模块，用于接收输入的至少一个问题现象描述，并根据问题现象描述，通过模糊匹配在关系数据库中寻找对应的问题ID，若找到，则遍历每个问题ID，从关系数据库中获取需要采集的LOG列表，并根据该LOG列表从设备采集黑匣子日志以供日志分析模块分析；

日志分析模块，用于查询采集的每个黑匣子日志，从关系数据库中获取每个黑匣子日志对应的检查点，通过关键字检索的方式提取检查点并进行判决，若发现检查结果实际与预期不符，反馈解析结果并输出，完成问题定位；

日志采集模块，用于在对应的问题ID若未找到或日志分析模块通过问题ID获得的黑匣子日志未完成问题定位时，采集设备的操作日志，通过关键字解析提取出一定时间范围内的操作日志列表，根据操作日志列表从关系数据库中找到对应的操作ID，遍历每个操作ID，从关系数据库中获取需要采集的LOG列表，并根据该LOG列表从设备采集黑匣子日志以供日志分析模块分析；

回填模块，用于在日志分析模块通过操作ID获得的黑匣子日志完成问题定位时，将定位的问题现象与对应的日志建立关联关系，并更新到关系数据库；并用于在日志分析模块通过问题ID和操作ID获得的黑匣子日志均未完成问题定位、并人工分析完成问题定位时：

将支撑问题定位的全新检查点加入到当前日志的检查点集合中，将定位的问题现象与对应的日志建立关联关系，并更新到关系数据库；或

将新的黑匣子日志更新到关系数据库中，将支撑问题定位的全新检查点加入到新更新的黑匣子日志的检查点集合中，将定位的问题现象与新更新的黑匣子日志建立的关联关系，并更新到关系数据库。

关系数据库中具有问题管理单元、操作管理单元、LOG单元、检查单元；

问题管理单元，存储有问题ID、问题现象对应关系的问题List，以及问题ID与LOGID关联关系表，并提供添加问题现象的接口、添加问题ID与LOG ID关联关系表的接口；

操作管理单元，存储有操作ID、操作类型对应关系的操作List，以及操作ID与LOGID关联关系表，并提供添加操作类型的接口、添加操作ID与LOG ID关联关系表的接口；

LOG单元，存储有LOG ID、LOG名称对应关系的Log List，以及LOG ID与检查点关联关系表，并提供添加LOG名称的接口；

检查单元，存储有各检查点，并提供添加检查点的接口。

日志采集模块，用于通过模糊匹配在问题List中寻找对应的问题ID，并通过遍历问题ID，在问题ID与LOG ID关联关系表中获取对应的LOG ID，并根据Log List生成需要采集的LOG列表；

日志采集模块，用于根据操作日志列表从操作List中寻找对应的操作ID，并通过遍历操作ID，在操作ID与LOG ID关联关系表中获取对应的LOG ID，并根据Log List生成需要采集的LOG列表；

日志分析模块，用于从Log List和LOG ID与检查点关联关系表中获取每个黑匣子日志对应的检查点，通过关键字检索的方式提取检查点并进行判决；

回填模块，用于在日志分析模块通过操作ID获得的黑匣子日志完成问题定位时，将定位的问题现象与对应的日志建立关联关系，通过问题管理单元的添加接口更新到问题管理单元；并用于在日志分析模块通过问题ID和操作ID获得的黑匣子日志均未完成问题定位、并人工分析完成问题定位时：

将支撑问题定位的全新检查点加入到当前日志的检查点集合中，通过检查单元的添加接口更新检查单元，将定位的问题现象与对应的日志建立关联关系，通过问题管理单元的添加接口更新到问题管理单元；或

将新的黑匣子日志通过LOG单元的添加接口更新到LOG单元，将支撑问题定位的全新检查点加入到新更新的黑匣子日志的检查点集合中，通过检查单元的添加接口更新检查单元，将定位的问题现象与新更新的黑匣子日志建立的关联关系，通过问题管理单元的添加接口更新到问题管理单元。

进一步，基于日志分析的缺陷定位系统还包括客户端，用于提供问题现象输入端口，并用于将日志分析模块或人工分析完成的问题定位，进行输出显示，并用于提供对关系数据库进行手动维护的端口。

基于日志分析的缺陷定位系统应用于卫星通讯设备，日志采集模块通过Telnet方式、Serial方式、SSH方式中一种或多种完成采集卫星通讯设备的黑匣子日志和/或操作日志。

本发明有益效果在于：

1、提供一个集底层软件、逻辑、产品、硬件等领域为一体的日志采集、日志分析、问题定位方法及系统，可达成问题自动快速定位，或者问题所属领域的快速定界。

2、提供一个关系数据库，可自动基于问题现象或问题发生前对设备的操作，关联到可能涉及的日志子模块；再基于该日志模块，关联到可能出现的异常点，从而进行疑似异常点检测，快速找到缺陷点；

3、提供外部接口，在关系数据库无法定位到问题缺陷，人工介入完成定位后，能将定位手段更新至关系数据库，从而达到问题定位经验传承的目的；

4、相比于现有技术的“打桩”思路、依赖互联网数据和机器学习算法的方法、单纯异常堆栈信息展开方式、视频运行方式比对标准和实操的方式等，本申请具有以下优势：

独立于待检测的系统，所有实现均基于产品已有的可维护性功能，读操作日志+读黑匣子日志，不会对故障设备实际运行进行干预，避免了问题现象被破坏的风险，对现网实际运行设备的问题定位也适合，并且本申请的问题定位经验积累的方法，工具的使用过程也是丰富缺陷定位手段的过程；

适用于基于嵌入式系统的盒式硬件设备，比如卫星通讯设备，且本申请的故障定位依据以被检测设备的故障类型+日志系统为基础，可利用开发人员的实际成功定位经验，针对性更强，定位更精准；

可直接定位到问题根因，且将从程序中断、异常堆栈、进程运行、配置下发、寄存器状态等方面对故障设备进行全面调查，定位手段更丰富，且具有问题定位经验累积的特点，进一步丰富缺陷定位手段。

附图说明

本文描述的附图只是为了说明所选实施例，而不是所有可能的实施方案，更不是意图限制本发明的范围。

图1为本申请实施例的方法流程示意图。

图2为本申请实施例的系统结构架构图。

图3为本申请实施例的系统软件架构图。

图4为本申请实施例的面向对象设计的七大类结构及关联框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面结合附图对本发明的实施方式进行详细说明，但本发明所描述的实施例是本发明一部分实施例，而不是全部的实施例。

实施例一

本实例提供一种基于日志分析的缺陷定位方法，其流程如图1所示。

作为本实例方法的具体实施方式，其中用到的关系数据库，其存储有预先写入的日志与问题现象关系表、日志与设备操作关系表、日志与检查点关系表，通过三张关系表，可完成基于问题现象和基于设备操作的日志采集与日志解析，从而达到问题定位的目的。该三表，在预先写入后，可通过执行步骤中更新到关系数据库更新，进行对应更新。

具体的，关系数据库中包括有问题管理单元、操作管理单元、LOG单元、检查单元。

其中，问题管理单元，存储有问题ID、问题现象对应关系的问题List，以及问题ID与LOG ID关联关系表，并提供添加问题现象的接口、添加问题ID与LOG ID关联关系表的接口。

其中，操作管理单元，存储有操作ID、操作类型对应关系的操作List，以及操作ID与LOG ID关联关系表，并提供添加操作类型的接口、添加操作ID与LOG ID关联关系表的接口；

其中，LOG单元，存储有LOG ID、LOG名称对应关系的Log List，以及LOG ID与检查点关联关系表，并提供添加LOG名称的接口；

其中，检查单元，存储有各检查点，并提供添加检查点的接口。

本实例基于日志分析的缺陷定位方法的步骤如下：

S1接收输入的至少一个问题现象描述。

S2根据问题现象描述，需要先判断其是否为已知问题现象，通过模糊匹配在关系数据库中寻找对应的问题ID，具体是通过模糊匹配在问题List中寻找对应的问题ID：

若找到，则为已知问题现象，则遍历每个问题ID，从关系数据库中获取需要采集的LOG列表，具体是在问题ID与LOG ID关联关系表中获取对应的LOG ID，并根据Log List生成需要采集的LOG列表，并根据该LOG列表采集设备的黑匣子日志，继续向下执行步骤S3；

若未找到，则为为止问题现象，则跳转至执行步骤S4。

S3查询采集的每个黑匣子日志，从关系数据库中获取每个黑匣子日志对应的检查点，具体是从Log List和LOG ID与检查点关联关系表中获取每个黑匣子日志对应的检查点，通过关键字检索的方式提取检查点并进行判决：

若发现检查结果实际与预期不符，反馈解析结果并输出，完成问题定位，流程结束；

若未发现检查点异常，则继续向下执行步骤S4。

S4采集设备的操作日志，通过关键字解析提取出一定时间范围内的操作日志列表，根据操作日志列表从关系数据库中找到对应的操作ID，遍历每个操作ID，从关系数据库中获取需要采集的LOG列表，具体是，根据操作日志列表从操作List中寻找对应的操作ID，并通过遍历操作ID，在操作ID与LOG ID关联关系表中获取对应的LOG ID，并根据Log List生成需要采集的LOG列表；并根据该LOG列表从设备采集黑匣子日志。

S5查询步骤S4采集的每个黑匣子日志，从关系数据库中获取每个黑匣子日志对应的检查点，具体是，从Log List和LOG ID与检查点关联关系表中获取每个黑匣子日志对应的检查点，通过关键字检索的方式提取检查点并进行判决：

若发现检查结果实际与预期不符，反馈解析结果并输出，完成问题定位，并将定位的问题现象与对应的日志建立关联关系，通过问题管理单元的添加接口更新到关系数据库的问题管理单元，流程结束；

若未发现检查点异常，则继续向下执行步骤S6。

S6人工根据当前采集的已有黑匣子日志搜索新的关键字进行分析：

若完成问题定位，反馈解析结果并输出，并将支撑问题定位的全新检查点加入到当前日志的检查点集合中，通过检查单元的添加接口更新到关系数据库的检查单元，并将定位的问题现象与对应的日志建立关联关系，通过问题管理单元的添加接口更新到关系数据库的问题管理单元，结束流程；

若未完成定位，则继续向下执行步骤S7。

S7人工采集新的黑匣子日志继续进行定位：

若完成问题定位，反馈解析结果并输出，并将新的黑匣子日志通过LOG单元的添加接口更新到关系数据库的LOG单元；并将支撑问题定位的全新检查点加入到新更新的黑匣子日志的检查点集合中，通过检查单元的添加接口更新到关系数据库的检查单元；并将定位的问题现象与新更新的黑匣子日志建立的关联关系，通过问题管理单元的添加接口更新到关系数据库的问题管理单元，流程结束；

若未完成定位，结束流程。

作为本实例基于日志分析的缺陷定位方法的一种具体应用实例，可应用于卫星通讯设备，采集卫星通讯设备的黑匣子日志和/或操作日志，是通过Telnet方式、Serial方式、SSH方式中一种或多种完成。比如中频日志、射频日志通过Telnet方式采集，逻辑日志需通过Serial方式采集，所以需要对所有日志按采集方式进行分类，针对每类采集方式，打通软件与设备的通讯方式，分别完成日志采集。

对于卫星通讯设备，日志与问题现象关系表、日志与设备操作关系表、日志与检查点关系表，即关系数据库存储的问题ID与LOG ID关联关系表、操作ID与LOG ID关联关系表、LOG ID与检查点关联关系表，如下所示：

日志与问题现象关系表，对应关系数据库存储的问题ID与LOG ID关联关系表，作为列名称的问题ID包括：业务不通、业务丢包、异常复位、链路中断、时钟未同步，关联的LOGID对应的LOG名称作为行名称，包括：中频、射频、ACM、端口、时钟、逻辑、底软、QOS。

日志与设备操作关系表，对应关系数据库存储的操作ID与LOG ID关联关系表，作为列名称的操作ID包括：配置带宽、配置频点、重启设备、设置QOS队列、开启ACM，关联的LOGID对应的LOG名称作为行名称，包括：中频、射频、ACM、端口、时钟、逻辑、底软、QOS。

日志与检查点关系表，对应关系数据库存储的LOG ID与检查点关联关系表：

中频，对应的检查点包括：带宽下发是否生效、滚降下发是否生效、调整模式下发是否生效、编码方式下发是否生效、编码效率下发是否生效；

射频，对应的检查点包括：频点下发是否生效、发送功率下发是否生效、收发频点是否一致、是否开启扫频功能；

ACM，对应的检查点包括：ACM开启状态、收到Es/N0是否是对端设备所发送的、设备ID是否冲突、SAT口是否每10s收到对端发送的Es/N0反馈值、ACM门限配置是否异常、当前生效调整模式是否在对应Es/N0门限范围内；

端口，对应的检查点包括：端口link状态是否up、ETH口Rx接收报文数是否等于SAT口发送报文数、SAT口Rx接收报文数是否等于ETH口发送报文数、卫星接收端Es/N0是否正常、端口是否处于环回状态、端口是否处于PRBS测试状态；

时钟，对应的检查点包括：所有时钟源的跟踪状态是否正常、时钟跟踪是否成环、TXC晶振输出是否异常；

逻辑，对应的检查点包括：逻辑业务转发报文统计、逻辑业务转发标签表内容是否正确、关键寄存器是否与配置值一致、关键寄存器生效值是否正确；

底软，对应的检查点包括：系统双区是否运行正常、是否存在异常的堆栈调用信息、关键进程运行状态是否正常、配置接口中断相应是否正常；

QOS，对应的检查点包括：每个QOS队列跟速测量是否与配置一致、QOS报文统计模块是否存在丢包、每个QOS队列流量统计。

实施例二

本实例提供基于日志分析的缺陷定位系统，其结构如图2~3所示，包括日志采集模块、日志分析模块、回填模块，以及关系数据库、客户端。

客户端，用于提供问题现象输入端口，并用于将日志分析模块或人工分析完成的问题定位，进行输出显示，并用于提供对关系数据库进行手动维护的端口。

在如图3所示的架构中，具体的，客户端提供系统与待定位设备交互，以及系统与关系数据库交互的可视化界面，主要分别完成通过输入问题现象，得到问题定位结论，以及在人工介入定位完成后维护关系数据库的功能。客户端界面可以是web页面、exe文件，甚至Excel+VBA。

日志采集模块、日志分析模块、回填模块在软件架构中作为后台。后台由逻辑实现和关系数据库两部分组成。逻辑实现部分可选择免费开源、具有强大而丰富的第三方标准库、兼容性强的主流编程语言，如python，实现三部分的功能交互：

第一部分，与设备进行通讯，进行日志采集；

第二部分，与关系数据库进行交互，完成从数据库中获取日志采集策略和日志分析策略，以及回填日志采集策略及日志分析策略；

第三部分，与客户端的交互，将用户输入的信息传入程序进行分析，并将分析结论输出到客户端。

设备，提供不同通讯方式的定位通道，完成针对设备不同模块的日志采集。

关系数据库需要预先写入三张关系表：日志与问题现象关系表、日志与设备操作关系表、日志与检查点关系表。通过三张关系表，可完成基于问题现象和基于设备操作的日志采集与日志解析，从而达到问题定位的目的。

具体的，关系数据库中具有问题管理单元、操作管理单元、LOG单元、检查单元。

问题管理单元，存储有问题ID、问题现象对应关系的问题List，以及问题ID与LOGID关联关系表，并提供添加问题现象的接口、添加问题ID与LOG ID关联关系表的接口。

操作管理单元，存储有操作ID、操作类型对应关系的操作List，以及操作ID与LOGID关联关系表，并提供添加操作类型的接口、添加操作ID与LOG ID关联关系表的接口。

LOG单元，存储有LOG ID、LOG名称对应关系的Log List，以及LOG ID与检查点关联关系表，并提供添加LOG名称的接口。

检查单元，存储有各检查点，并提供添加检查点的接口。

对于具体设备，日志与问题现象关系表、日志与设备操作关系表、日志与检查点关系表，即关系数据库存储的问题ID与LOG ID关联关系表、操作ID与LOG ID关联关系表、LOGID与检查点关联关系表。

以某卫星通讯设备为例，如下：

日志与问题现象关系表，对应关系数据库存储的问题ID与LOG ID关联关系表，作为列名称的问题ID包括：业务不通、业务丢包、异常复位、链路中断、时钟未同步，关联的LOGID对应的LOG名称作为行名称，包括：中频、射频、ACM、端口、时钟、逻辑、底软、QOS。

日志与设备操作关系表，对应关系数据库存储的操作ID与LOG ID关联关系表，作为列名称的操作ID包括：配置带宽、配置频点、重启设备、设置QOS队列、开启ACM，关联的LOGID对应的LOG名称作为行名称，包括：中频、射频、ACM、端口、时钟、逻辑、底软、QOS。

日志与检查点关系表，对应关系数据库存储的LOG ID与检查点关联关系表：

中频，对应的检查点包括：带宽下发是否生效、滚降下发是否生效、调整模式下发是否生效、编码方式下发是否生效、编码效率下发是否生效。

射频，对应的检查点包括：频点下发是否生效、发送功率下发是否生效、收发频点是否一致、是否开启扫频功能。

ACM，对应的检查点包括：ACM开启状态、收到Es/N0是否是对端设备所发送的、设备ID是否冲突、SAT口是否每10s收到对端发送的Es/N0反馈值、ACM门限配置是否异常、当前生效调整模式是否在对应Es/N0门限范围内。

端口，对应的检查点包括：端口link状态是否up、ETH口Rx接收报文数是否等于SAT口发送报文数、SAT口Rx接收报文数是否等于ETH口发送报文数、卫星接收端Es/N0是否正常、端口是否处于环回状态、端口是否处于PRBS测试状态。

时钟，对应的检查点包括：所有时钟源的跟踪状态是否正常、时钟跟踪是否成环、TXC晶振输出是否异常。

逻辑，对应的检查点包括：逻辑业务转发报文统计、逻辑业务转发标签表内容是否正确、关键寄存器是否与配置值一致、关键寄存器生效值是否正确。

底软，对应的检查点包括：系统双区是否运行正常、是否存在异常的堆栈调用信息、关键进程运行状态是否正常、配置接口中断相应是否正常。

QOS，对应的检查点包括：每个QOS队列跟速测量是否与配置一致、QOS报文统计模块是否存在丢包、每个QOS队列流量统计。

为了完成如上三张关系表的数据联动，利用面向对象思想设计七个类，每个类定义的属性及函数，如4图所示。

其中Operate、LOG、Trouble类维护三表的关联关系，具体关联关系可通过外部载体承载，载体可选择SQL数据库、XML文件、Json文件、Excel文件或Txt文件。

OperateManage类：管理所有设备操作类型，用列表方式存储，并提供添加操作类型的接口。

TroubleManage类：管理所有问题现象，用列表方式存储，并提供添加问题现象的接口。

LOGManage类：管理所有日志，用列表方式存储，并提供添加日志的接口。

Operate类：针对每一种具体的操作类型，通过OperateID与LogIDList对应关系，将操作类型与待采集日志列表建立关联关系。同时提供增加操作类型与日志关联关系的接口。

Trouble类：针对每一种问题现象，通过TroubleID与LogIDList对应关系，将问题现象与待采集日志列表建立关联关系。同时提供增加问题现象与日志关联关系的接口。

LOG类：针对每一个LOG日志，管理该日志与日志检查项的关联关系。

CHECK类：管理每个日志的检查点，并提供增加日志检查点的接口。

在完成上述关系的预先搭建及向关系数据库对应单元的存储后，即可进行基于日志分析的缺陷定位系统的运行，其运行流程参考如图1所示的流程：

步骤1，日志采集模块工作

接收客户端输入的一个或多个问题现象，通过模糊匹配在ToubleManage中找到对应的TroubleID，遍历每个TroubleID，通过Trouble类中的LogIDList得到需要采集的LOG列表。

步骤2，日志采集模块工作

由于不同的LOG可能需要通过不同的访问方式在设备上去采集，比如中频日志、射频日志通过Telnet方式采集，逻辑日志需通过Serial方式采集，所以需要对所有日志按采集方式进行分类，针对每类采集方式，打通软件与设备的通讯方式，分别完成日志采集。

步骤3，日志分析模块工作

针对步骤2查询得到的每个日志，通过LOG类获取到对应的检查点解析LOG日志，通过关键字检索的方式提取检查点并进行判决，如果发现检查结果实际与预期不符，将解析结果反馈到客户端，完成问题定位，流程结束。

步骤4，日志采集模块工作

如果在步骤3未检查出异常点，软件主动采集设备的操作日志，通过关键字解析提取出一定时间范围内的操作List，通过模糊匹配在OperateManage找到对应的OperateID，遍历每个OperateID，通过Operate类中的LogIDList得到需要采集的LOG列表。

步骤5，日志采集模块工作

同步骤2、3的方式，在设备上采集目标日志，并对日志进行解析、分析。如果该阶段发现检查结果与预期不符，将解析结果反馈到客户端，并执行步骤6，完成问题定位。如果未发现异常点，执行步骤7。

步骤6，关系数据库回填模块工作

调用Trouble类的AddLogRelation()函数，将该问题现象与日志建立新的关联关系，并更新到关系数据库中。

步骤7

进入此步骤，说明基于数据库中定义的日志采集及日志解析无法支撑定位问题，需要人工介入。开发人员如果基于当前采集的已有日志搜索新的关键字完成定位，执行步骤8，流程结束；如果仍未定位出问题根因，说明当前的日志无法支撑问题定位，需要采集新的日志继续定位。如果完成问题定位，执行步骤9，流程结束；如果仍未完成问题定位，则说明该问题现象无法仅通过日志系统完成定位，已超出本软件的处理范畴，流程结束。

步骤8，关系数据库回填模块工作

调用CHEK类的AddCheckPoint()，将支撑问题定位的全新检查点加入到当前日志的检查点集合中，并更新到数据库；同时再调用Trouble类的AddLogRelation()函数，将该日志与问题现象建立关联关系，并更新到关系数据库中。

步骤9，关系数据库回填模块工作

调用LOGMange类的AddLog()函数将新日志加入到日志管理中，并调用CHEK类的AddCheckPoint()，将支撑问题定位的全新检查点加入到新添加日志的检查点集合中，然后调用Trouble类的AddLogRelation()将问题现象与新添加日志建立关联关系，最后将所有数据更新到关系数据库。

上述步骤中，对于完成问题定位的情况，通过客户端进行所有异常点及问题定位结果的输出。

上述步骤中，对于人工分析步骤中，进行更新关系数据库，是通过客户端提供的输入端口完成。

以上仅为本发明的优选实施例，并不用于限制本发明，显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.基于日志分析的缺陷定位方法，其特征在于，包括步骤：

S1接收输入的至少一个问题现象描述；

S2根据问题现象描述，通过模糊匹配在关系数据库中寻找对应的问题ID：

若找到，则遍历每个问题ID，从关系数据库中获取需要采集的LOG列表，并根据该LOG列表采集设备的黑匣子日志，执行S3；

若未找到，则执行S4；

S3查询采集的每个黑匣子日志，从关系数据库中获取每个黑匣子日志对应的检查点，通过关键字检索的方式提取检查点并进行判决，若发现检查结果实际与预期不符，反馈解析结果并输出，完成问题定位，流程结束；若未发现检查点异常，则执行S4；

S4采集设备的操作日志，通过关键字解析提取出一定时间范围内的操作日志列表，根据操作日志列表从关系数据库中找到对应的操作ID，遍历每个操作ID，从关系数据库中获取需要采集的LOG列表，并根据该LOG列表从设备采集黑匣子日志；

S5查询步骤S4采集的每个黑匣子日志，从关系数据库中获取每个黑匣子日志对应的检查点，通过关键字检索的方式提取检查点并进行判决，若发现检查结果实际与预期不符，反馈解析结果并输出，完成问题定位，并将定位的问题现象与对应的日志建立关联关系，更新到关系数据库，流程结束；若未发现检查点异常，则执行S6；

S6人工根据当前采集的已有黑匣子日志搜索新的关键字进行分析：

若完成问题定位，反馈解析结果并输出，并将支撑问题定位的全新检查点加入到当前日志的检查点集合中，更新关系数据库，并将定位的问题现象与对应的日志建立关联关系，更新到关系数据库，结束流程；

若未完成定位，执行S7；

S7人工采集新的黑匣子日志继续进行定位：

若完成问题定位，反馈解析结果并输出，并将新的黑匣子日志更新到关系数据库中；并将支撑问题定位的全新检查点加入到新更新的黑匣子日志的检查点集合中，更新到关系数据库；并将定位的问题现象与新更新的黑匣子日志建立的关联关系，并更新到关系数据库，流程结束；

若未完成定位，结束流程。

2.根据权利要求1所述的基于日志分析的缺陷定位方法，其特征在于：

关系数据库中具有问题管理单元、操作管理单元、LOG单元、检查单元；

问题管理单元，存储有问题ID、问题现象对应关系的问题List，以及问题ID与LOG ID关联关系表，并提供添加问题现象的接口、添加问题ID与LOG ID关联关系表的接口；

操作管理单元，存储有操作ID、操作类型对应关系的操作List，以及操作ID与LOG ID关联关系表，并提供添加操作类型的接口、添加操作ID与LOG ID关联关系表的接口；

LOG单元，存储有LOG ID、LOG名称对应关系的Log List，以及LOG ID与检查点关联关系表，并提供添加LOG名称的接口；

检查单元，存储有各检查点，并提供添加检查点的接口。

3.根据权利要求2所述的基于日志分析的缺陷定位方法，其特征在于：

步骤S2中通过模糊匹配在问题List中寻找对应的问题ID，并通过遍历问题ID，在问题ID与LOG ID关联关系表中获取对应的LOG ID，并根据Log List生成需要采集的LOG列表；

步骤S4中根据操作日志列表从操作List中寻找对应的操作ID，并通过遍历操作ID，在操作ID与LOG ID关联关系表中获取对应的LOG ID，并根据Log List生成需要采集的LOG列表；

步骤S3和步骤S5中，从Log List和LOG ID与检查点关联关系表中获取每个黑匣子日志对应的检查点，通过关键字检索的方式提取检查点并进行判决。

4.根据权利要求2所述的基于日志分析的缺陷定位方法，其特征在于：

步骤S5中：将定位的问题现象与对应的日志建立关联关系，通过问题管理单元的添加接口更新到问题管理单元；

步骤S6中：将支撑问题定位的全新检查点加入到当前日志的检查点集合中，通过检查单元的添加接口更新检查单元；将定位的问题现象与对应的日志建立关联关系，通过问题管理单元的添加接口更新到问题管理单元；

步骤S7中：将新的黑匣子日志，通过LOG单元的添加接口更新到LOG单元；将支撑问题定位的全新检查点加入到新更新的黑匣子日志的检查点集合中，通过检查单元的添加接口更新检查单元；将定位的问题现象与新更新的黑匣子日志建立的关联关系，通过问题管理单元的添加接口更新到问题管理单元。

5.根据权利要求2所述的基于日志分析的缺陷定位方法，其特征在于，应用于卫星通讯设备，采集卫星通讯设备的黑匣子日志和/或操作日志，是通过Telnet方式、Serial方式、SSH方式中一种或多种完成；

关系数据库存储的问题ID与LOG ID关联关系表，作为列名称的问题ID包括：业务不通、业务丢包、异常复位、链路中断、时钟未同步，关联的LOG ID对应的LOG名称作为行名称，包括：中频、射频、ACM、端口、时钟、逻辑、底软、QOS；

关系数据库存储的操作ID与LOG ID关联关系表，作为列名称的操作ID包括：配置带宽、配置频点、重启设备、设置QOS队列、开启ACM，关联的LOG ID对应的LOG名称作为行名称，包括：中频、射频、ACM、端口、时钟、逻辑、底软、QOS；

关系数据库存储的LOG ID与检查点关联关系表：

中频，对应的检查点包括：带宽下发是否生效、滚降下发是否生效、调整模式下发是否生效、编码方式下发是否生效、编码效率下发是否生效；

射频，对应的检查点包括：频点下发是否生效、发送功率下发是否生效、收发频点是否一致、是否开启扫频功能；

ACM，对应的检查点包括：ACM开启状态、收到Es/N0是否是对端设备所发送的、设备ID是否冲突、SAT口是否每10s收到对端发送的Es/N0反馈值、ACM门限配置是否异常、当前生效调整模式是否在对应Es/N0门限范围内；

端口，对应的检查点包括：端口link状态是否up、ETH口Rx接收报文数是否等于SAT口发送报文数、SAT口Rx接收报文数是否等于ETH口发送报文数、卫星接收端Es/N0是否正常、端口是否处于环回状态、端口是否处于PRBS测试状态；

时钟，对应的检查点包括：所有时钟源的跟踪状态是否正常、时钟跟踪是否成环、TXC晶振输出是否异常；

逻辑，对应的检查点包括：逻辑业务转发报文统计、逻辑业务转发标签表内容是否正确、关键寄存器是否与配置值一致、关键寄存器生效值是否正确；

底软，对应的检查点包括：系统双区是否运行正常、是否存在异常的堆栈调用信息、关键进程运行状态是否正常、配置接口中断相应是否正常；

QOS，对应的检查点包括：每个QOS队列跟速测量是否与配置一致、QOS报文统计模块是否存在丢包、每个QOS队列流量统计。

6.基于日志分析的缺陷定位系统，其特征在于，包括日志采集模块、日志分析模块、回填模块；

日志采集模块，用于接收输入的至少一个问题现象描述，并根据问题现象描述，通过模糊匹配在关系数据库中寻找对应的问题ID，若找到，则遍历每个问题ID，从关系数据库中获取需要采集的LOG列表，并根据该LOG列表从设备采集黑匣子日志以供日志分析模块分析；

日志分析模块，用于查询采集的每个黑匣子日志，从关系数据库中获取每个黑匣子日志对应的检查点，通过关键字检索的方式提取检查点并进行判决，若发现检查结果实际与预期不符，反馈解析结果并输出，完成问题定位；

日志采集模块，用于在对应的问题ID若未找到或日志分析模块通过问题ID获得的黑匣子日志未完成问题定位时，采集设备的操作日志，通过关键字解析提取出一定时间范围内的操作日志列表，根据操作日志列表从关系数据库中找到对应的操作ID，遍历每个操作ID，从关系数据库中获取需要采集的LOG列表，并根据该LOG列表从设备采集黑匣子日志以供日志分析模块分析；

回填模块，用于在日志分析模块通过操作ID获得的黑匣子日志完成问题定位时，将定位的问题现象与对应的日志建立关联关系，并更新到关系数据库；并用于在日志分析模块通过问题ID和操作ID获得的黑匣子日志均未完成问题定位、并人工分析完成问题定位时：

将支撑问题定位的全新检查点加入到当前日志的检查点集合中，将定位的问题现象与对应的日志建立关联关系，并更新到关系数据库；或

将新的黑匣子日志更新到关系数据库中，将支撑问题定位的全新检查点加入到新更新的黑匣子日志的检查点集合中，将定位的问题现象与新更新的黑匣子日志建立的关联关系，并更新到关系数据库。

7.根据权利要求6所述的基于日志分析的缺陷定位系统，其特征在于，

关系数据库中具有问题管理单元、操作管理单元、LOG单元、检查单元；

问题管理单元，存储有问题ID、问题现象对应关系的问题List，以及问题ID与LOG ID关联关系表，并提供添加问题现象的接口、添加问题ID与LOG ID关联关系表的接口；

操作管理单元，存储有操作ID、操作类型对应关系的操作List，以及操作ID与LOG ID关联关系表，并提供添加操作类型的接口、添加操作ID与LOG ID关联关系表的接口；

LOG单元，存储有LOG ID、LOG名称对应关系的Log List，以及LOG ID与检查点关联关系表，并提供添加LOG名称的接口；

检查单元，存储有各检查点，并提供添加检查点的接口。

8.根据权利要求7所述的基于日志分析的缺陷定位系统，其特征在于，

日志采集模块，用于通过模糊匹配在问题List中寻找对应的问题ID，并通过遍历问题ID，在问题ID与LOG ID关联关系表中获取对应的LOG ID，并根据Log List生成需要采集的LOG列表；

日志采集模块，用于根据操作日志列表从操作List中寻找对应的操作ID，并通过遍历操作ID，在操作ID与LOG ID关联关系表中获取对应的LOG ID，并根据Log List生成需要采集的LOG列表；

日志分析模块，用于从Log List和LOG ID与检查点关联关系表中获取每个黑匣子日志对应的检查点，通过关键字检索的方式提取检查点并进行判决；

回填模块，用于在日志分析模块通过操作ID获得的黑匣子日志完成问题定位时，将定位的问题现象与对应的日志建立关联关系，通过问题管理单元的添加接口更新到问题管理单元；并用于在日志分析模块通过问题ID和操作ID获得的黑匣子日志均未完成问题定位、并人工分析完成问题定位时：

将支撑问题定位的全新检查点加入到当前日志的检查点集合中，通过检查单元的添加接口更新检查单元，将定位的问题现象与对应的日志建立关联关系，通过问题管理单元的添加接口更新到问题管理单元；或

将新的黑匣子日志通过LOG单元的添加接口更新到LOG单元，将支撑问题定位的全新检查点加入到新更新的黑匣子日志的检查点集合中，通过检查单元的添加接口更新检查单元，将定位的问题现象与新更新的黑匣子日志建立的关联关系，通过问题管理单元的添加接口更新到问题管理单元。

9.根据权利要求6所述的基于日志分析的缺陷定位系统，其特征在于，还包括客户端，用于提供问题现象输入端口，并用于将日志分析模块或人工分析完成的问题定位，进行输出显示，并用于提供对关系数据库进行手动维护的端口。

10.根据权利要求7所述的基于日志分析的缺陷定位系统，其特征在于，应用于卫星通讯设备，日志采集模块通过Telnet方式、Serial方式、SSH方式中一种或多种完成采集卫星通讯设备的黑匣子日志和/或操作日志；

关系数据库存储的问题ID与LOG ID关联关系表，作为列名称的问题ID包括：业务不通、业务丢包、异常复位、链路中断、时钟未同步，关联的LOG ID对应的LOG名称作为行名称，包括：中频、射频、ACM、端口、时钟、逻辑、底软、QOS；

关系数据库存储的操作ID与LOG ID关联关系表，作为列名称的操作ID包括：配置带宽、配置频点、重启设备、设置QOS队列、开启ACM，关联的LOG ID对应的LOG名称作为行名称，包括：中频、射频、ACM、端口、时钟、逻辑、底软、QOS；

关系数据库存储的LOG ID与检查点关联关系表：

中频，对应的检查点包括：带宽下发是否生效、滚降下发是否生效、调整模式下发是否生效、编码方式下发是否生效、编码效率下发是否生效；

射频，对应的检查点包括：频点下发是否生效、发送功率下发是否生效、收发频点是否一致、是否开启扫频功能；

ACM，对应的检查点包括：ACM开启状态、收到Es/N0是否是对端设备所发送的、设备ID是否冲突、SAT口是否每10s收到对端发送的Es/N0反馈值、ACM门限配置是否异常、当前生效调整模式是否在对应Es/N0门限范围内；

端口，对应的检查点包括：端口link状态是否up、ETH口Rx接收报文数是否等于SAT口发送报文数、SAT口Rx接收报文数是否等于ETH口发送报文数、卫星接收端Es/N0是否正常、端口是否处于环回状态、端口是否处于PRBS测试状态；

时钟，对应的检查点包括：所有时钟源的跟踪状态是否正常、时钟跟踪是否成环、TXC晶振输出是否异常；

逻辑，对应的检查点包括：逻辑业务转发报文统计、逻辑业务转发标签表内容是否正确、关键寄存器是否与配置值一致、关键寄存器生效值是否正确；

底软，对应的检查点包括：系统双区是否运行正常、是否存在异常的堆栈调用信息、关键进程运行状态是否正常、配置接口中断相应是否正常；

QOS，对应的检查点包括：每个QOS队列跟速测量是否与配置一致、QOS报文统计模块是否存在丢包、每个QOS队列流量统计。

Images