CN109818822A - 一种采用深度学习机制的数据回放的测试方法及系统 - Google Patents

Abstract

本发明涉及通信数据回放解析领域，具体涉及一种采用深度学习机制的数据回放的测试方法及系统。通过本发明的采用深度学习机制的数据回放的测试方法，对于未收录在协议库中的数据格式和协议，经过拆分和不断自我学习与优化的过程，完善协议库。系统可以在非测试运行时间不断解析并分析样包，以方便在以后的测试项目当中更快的投入并执行任务。

Description

一种采用深度学习机制的数据回放的测试方法及系统

技术领域

本发明涉及通信数据回放解析领域，具体涉及一种采用深度学习机制的数据回放的测试方法及系统。

背景技术

现有通信测试领域采取的“录制”及“回放”的机制无法支撑针对“未知协议”的多业务场景的模式，导致许多业务测试通过“人工”定制化开发或者编辑的角度极大降低测试效率及成功率。

当前通信测试领域采取的“录制”及“回放”，存在以下一些缺点：1、“未知协议”的不可识别性，引起的一些场景的测试不可实现；2、人工手动编辑测试脚本，对测试人员的技能要求很高，并且极大影响到测试效率；3、无法灵活适配被测系统消息发送的随机性及不可确定性；4、无法从“协议的一致”面向“性能”规模化测试；

发明内容

本发明针对未知协议的识别，提供一种采用深度学习机制的数据回放的测试方法及系统，灵活应用场景提高测试效率及测试成功率。

本发明的目的是提供通信测试过程中的未知格式协议数据的解析方法。

本发明的再一目的是提供采用深度学习机制的数据回放的测试方法。

本发明的再一目的是提供采用深度学习机制的数据回放的测试系统。

根据本发明的通信测试过程中的未知格式协议数据的解析方法，包括以下步骤：

数据解析步骤：以缩写为s的Scope表示在每一个时间节点，需解析的协议所处的环境，以缩写为a的Action表示在每一个Scope中解析协议可以采取的动作，以缩写为r的Result表示每处理一个Scope系统就有会收到一个result反馈，以函数Q表示在状态s中采取动作a能够得到的最大r，通过迭代的方法不停地更新Q值，再不停地模拟采取各种动作，收到各种反馈，通过Q(s,a)+α[r+γarg maxa′Q(s′,a′)-Q(s,a)]公式得出，Q(s,a)表示当前时间的动作，Q(s′，a′)表示下一个时间点的动作，学习参数γ为0<γ<1的常数，最后得出准确的Q值，并把这个Q值记录到规则库当中为Q1，继续按照此规则进行循环处理，产生Q2，Q3，当把未知协议中的所有内容都解析完成后，形成的一系列数组(Q1，Q2，Q3，Qn,……)，即为最终的协议内容，完成对未知规则数据的解析；

随机学习步骤：经过解析的数据在以后的多次测试、实验当中不断的进行完善与随机学习，通过多次的解析而得出趋于稳定的Q值，所述随机学习包括以下步骤：

对数据的协议进行解析，并与规则库中的所有协议进行比对，采集和协议库中已知内容条数m相同个数的样本，这样得到的采样集与协议内容样本的个数相同，但是样本内容不同，

将采集到的数据(Q1，Q2，Q3，Qn,……)，与被解析的数据(Q1，Q2，Q3，Qn,……)进行比对，对相同的内容进行补充与替换，从而实现初步学习；

剩下的未采集到的数据重复循环上述步骤。

根据本发明的通信测试过程中的未知格式协议数据的解析方法，其中，在随机学习过程中，将未被采集到或未识别的协议信息的数据标识为x，如果，在测试过程中与对方服务器进行交互时解析x返回错误消息，则改变传输的值，进行多次传输之后，直至反馈得到正确消息。

根据本发明的通信测试过程中的未知格式协议数据的解析方法，其中，如果经多次传输之后，反馈的消息依然错误，则人为分析已被去重的所有错误消息，并输入人为分析的结果。

根据本发明的通信测试过程中的未知格式协议数据的解析方法，其中，剩下的未采集到的数据重复循环数据解析步骤和随机学习步骤4次。

根据本发明的采用深度学习机制的数据回放的测试方法包括以下步骤：

数据采集：录制通过网络之间传输的未知格式协议数据；

数据处理：将录制的未知格式协议数据与已知的数据文件/协议的格式进行匹配，将被录制的数据分为规则已知数据和待验证数据，

针对所述规则已知数据类型，保留在仿真数据文件中，形成具体的配置文件及脚本文件，

数据解析步骤：以缩写为s的Scope表示在每一个时间节点，需解析的协议所处的环境，以缩写为a的Action表示在每一个Scope中解析协议可以采取的动作，以缩写为r的Result表示每处理一个Scope系统就有会收到一个result反馈，以函数Q表示在状态s中采取动作a能够得到的最大r，通过迭代的方法不停地更新Q值，再不停地模拟采取各种动作，收到各种反馈，通过Q(s,a)+α[r+γarg maxa′Q(s′,a′)-Q(s,a)]公式得出，Q(s,a)表示当前时间的动作，Q(s′，a′)表示下一个时间点的动作，学习参数γ为0<γ<1的常数，最后得出准确的Q值，并把这个Q值记录到规则库当中为Q1，继续按照此规则进行循环处理，产生Q2，Q3，当把未知协议中的所有内容都解析完成后，形成的一系列数组(Q1，Q2，Q3，Qn,……)，即为最终的协议内容，完成对未知规则数据的解析，

数据完善：经过解析的数据在以后的多次测试、实验当中不断的进行完善与随机学习，通过多次的解析而得出趋于稳定的Q值，所述随机学习包括以下步骤：

对数据的协议进行解析，并与规则库中的所有协议进行比对，采集和协议库中已知内容条数m相同个数的样本，这样得到的采样集与协议内容样本的个数相同，但是样本内容不同，

将采集到的数据(Q1，Q2，Q3，Qn,……)，与被解析的数据(Q1，Q2，Q3，Qn,……)进行比对，对相同的内容进行补充与替换，从而实现初步学习，

剩下的未采集到的数据重复循环上述步骤；

后处理步骤：排列解析后的数据，录制完成。

根据本发明的采用深度学习机制的数据回放的测试方法，其中，在随机学习过程中，将未被采集到或未识别的协议信息的数据标识为x，如果，在测试过程中与对方服务器进行交互时解析x返回错误消息，则改变传输的值，进行多次传输之后，直至反馈得到正确消息。

根据本发明的采用深度学习机制的数据回放的测试方法，其中，如果经多次传输之后，反馈的消息依然错误，则人为分析已被去重的所有错误消息，并输入人为分析的结果

根据本发明的采用深度学习机制的数据回放的测试系统包括：

系统配置模块，包括：

协议类型配置单元，对传输的协议类型进行配置，

协议内容分类配置单元，对协议中的内容进行分类配置功能，

规则库配置单元，对学习的规则、强度进行配置，

匹配库配置单元，配置协议内容匹配的规则，以及

系统配置单元，用于基本系统功能配置；

测试过程管理模块，包括：

测试协议录制单元，在测试过程中对被测传输协议进行录制与解析的功能，

规则库单元，提供对规则库中内容编辑的功能，

测试过程执行单元，执行测试的功能，在此功能模块中会对，

测试过程信息分析单元，在测试过程中实时反馈测试结果，错误信息提醒，被测系统反馈的结果的功能，

测试过程流量配置单元；以及

结果分析模块，包括：

测试结果分析单元，对测试结果进行自动分析并生成报告，

测试过程回放单元，通过测试过程中记录的内容，回放整个测试过程，并可基于测试过程中发生的问题作出调整，

测试数据整理单元，通过测试过程中记录的数据，在后台进行自动数据整体，并将整理后的结果存入到数据库，

深度学习单元，配置机器学习的功能模块，可根据配置调整学习的力度。

根据本发明的采用深度学习机制的数据回放的测试系统，其中，深度学习单元执行随机学习过程，所述随机学习过程包括以下步骤：

对数据的协议进行解析，并与规则库中的所有协议进行比对，采集和协议库中已知内容条数m相同个数的样本，这样得到的采样集与协议内容样本的个数相同，但是样本内容不同；

将采集到的数据(Q1，Q2，Q3，Qn,……)，与被解析的数据(Q1，Q2，Q3，Qn,……)进行比对，对相同的内容进行补充与替换。

测试协议录制单元在运行时，会进行数据与协议的解析功能。

测试过程执行单元在运行时，会进行数据与协议的解析，解析完毕后会进行机器自我学习的过程。

测试过程回放单元在运行时，计算机会自动识别未进行完的任务，包括未成功解析完毕的数据协议和未完成的学习过程，开始继续执行任务。

本发明的采用深度学习机制的数据回放的测试方法，应用于通信、IT领域及互联网领域的大数据应用等未知协议及数据流格式的“回放”机制。

根据本发明的采用深度学习机制的数据回放的测试方法实现了对未知数据文件/协议业务过程的仿真，通过匹配库单元不断地机器学习，修订及优化现有相关规则，来最终实现对“未知数据格式的新认知能力”。

本发明的采用深度学习机制的数据回放的测试方法对于“新”规则的验证采取“潜在”新规则与被测系统的实际验证的方法来确定新的规则，并储备到“规则库”中，实现无协议业务仿真的深度积累。

利用本发明的采用深度学习机制的数据回放的测试方法通过仿真“单侧设备”的方式进行数据“回放”，对被测设备完成相关测试。

附图说明

图1为本发明的采用深度学习机制的数据回放的测试系统的结构示意图。

图2为本发明的采用深度学习机制的数据回放的测试方法的流程示意图.

具体实施方式

如图1所示，根据本发明的采用深度学习机制的数据回放的测试系统包括：

系统配置模块，包括：

协议类型配置单元，对传输的协议类型进行配置，数据来源于系统自动学习，也可以进行人工干预，

协议内容分类配置单元，对协议中的内容进行分类的配置，如定义内容的意义，

规则库配置单元，对机器学习的规则、强度进行配置，如重复学习，尝试连接的次数，以及导入一些新的协议内容，

匹配库配置单元，配置协议内容匹配的规则，也可手动编写或修改匹配规则，

系统配置单元，基本系统功能配置，如用户，组织权限，导出文件的模板等；

测试过程管理模块，包括：

测试协议录制单元，在测试过程中对被测传输协议进行录制与解析的功能，

规则库单元，提供对规则库中内容编辑的功能，

测试过程执行单元，执行测试的功能，

测试过程信息分析单元，在测试过程中实时反馈测试结果，错误信息提醒，被测系统反馈的结果，

测试过程流量配置单元，配置执行测试过程中流量并发数、执行时间等选，

结果分析模块，包括：

测试结果分析单元，对测试结果进行自动分析并生成报告，

测试过程回放单元，通过测试过程中记录的内容，回放整个测试过程，并可基于测试过程中发生的问题作出调整，

测试数据整理单元，通过测试过程中记录的数据，在后台进行自动数据整体，并将整理后的结果存入到数据库汇总，

深度学习机制单元，配置机器学习的功能模块，可根据配置调整学习的力度，并可手动导入一些数据。

本发明的测试系统不仅提供测试之后的过程回放功能，同时也提供数据解析的过程回放功能，技术人员可通过回放或回放记录功能，查看数据解析的执行过程，在需要人为干预的情况下，更快的分析出问题所在。

本发明的测试系统与被测系统通过网络进行连接，配置好IP等基本信息。本发明的测试系统按照测试要求给被测系统发送数据，测试系统内部会在此时进行抓包处理，并将抓到的信息包按照系统中设定的类型进行分类，每一类中数据横向对比，并与规则库中的数据比对，智能分析出每类的数据的类型，例如进行比对的信息与资源库中电话号码一项内容匹配度达95％以上，则初步判定此类为电话号码。经过初步判定的信息类，会通过本发明的测试系统发送至被测系统中，被测系统如无异常信息返回，则最终判定此类信息的类型准确。如果在本发明的测试系统的资源库中匹配度低于95％，则会尝试与被测系统进行交互，如果被测系统返回异常信息，本发明的测试系统会逐步尝试其他匹配度低的分类，如果完全尝试完所有的分类，依然无正确的信息，则将此条信息存放至暂存列表，待人为进行干预，测试人员会手动补充上协议分类的具体内容，本发明的测试系统会将手动补充的协议内容，拆分并添加至协议库，规则库中，供以后测试场景使用。

每次在信息交互或测试进行的过程中，测试系统会自动搜集测试过程中发生的所有过程信息，待测试结束之后，测试系统将执行过程信息解析的操作，解析之后的内容会与现有系统中的协议库，规则库中的数据进行比对和添加，差异率高于3％的情况下，会将差异列出，提醒人为进行干预，判读数据的准确性。

如图2所示，根据本发明的采用深度学习机制的数据回放的测试方法包括以下步骤：

录制通过网络之间传输的未知格式协议数据；

将录制的未知格式协议的数据与已知的数据文件/协议的格式进行匹配，将被录制的数据分为规则已知数据和待验证数据；

针对所述规则已知数据类型，保留在仿真数据文件中，形成具体的配置文件及脚本文件，

对于未知规则的待验证数据进行解析，以缩写为s的Scope表示在每一个时间节点，需解析的协议所处的环境，以缩写为a的Action表示在每一个Scope中，解析协议可以采取的动作，以缩写为r的Result表示每处理一个Scope，系统就有会收到一个result反馈，解析过程为在Scope、Action、Result、Scope……之间转换直到结束，

以函数Q表示在状态s中采取动作a能够得到的最大r，通过迭代的方法不停地更新Q值，再不停地模拟采取各种动作，收到各种反馈，通过Q(s,a)+α[r+γarg maxa′Q(s′,a′)-Q(s,a)]公式得出，Q(s,a)表示当前时间的动作，Q(s′，a′)表示下一个时间点的动作，学习参数γ为0<γ<1的常数，最后得出准确的Q值，并把这个Q值记录到规则库当中为Q1，继续按照此规则进行循环处理，产生Q2，Q3，当把未知协议中的所有内容都解析完成后，形成的一系列数组(Q1，Q2，Q3，Qn,……)，即为最终的协议内容，完成对未知规则数据的解析。

经过解析的数据还需要在以后的多次测试、实验当中不断的进行完善与学习，通过多次的解析而得出趋于稳定的Q值，通过以下方法进行随机学习，系统接收到相同或不同的协议的时，会对协议进行解析，并与规则库中的所有协议进行比对，一般会采集和协议库中已知内容条数m一样个数的样本。这样得到的采样集和协议内容样本的个数相同，但是样本内容不同。如果对有m个样本训练集做T次的随机采样，则由于随机性，T个采样集各不相同。在含m个样本的训练集的随机采样中，每次被采集到的概率是1/m。不被采集到的概率为1-1/m。如果m次采样都没有被采集中的概率是(1-1/m)^m。当m→∞时，(e为无限循环数)。也就是说，在每轮随机采样中，训练集中大约有36.8％的数据没有被采样集采集到,我们将采集到数据(Q1，Q2，Q3，Qn,……)，与被解析的数据(Q1，Q2，Q3，Qn,……)进行比对，对相同的内容进行补充与替换，从而实现初步学习的过程，通过这样的方法，首先可以让系统自动学习掉一部分的数据。剩下的未采集到的数据将继续按照此方法再进行4次循环，剩余依然未被采集到的数据，预计占原采集样本的0.68％，接下来针对这些数据进行针对性的学习。

对于未被采集到或为识别的协议信息，这些数据在自我学习的过程中系统会将这些数据进行标识x，在测试过程中与对方服务器进行交互的时，会解析x返回的消息，如果返回的为错误消息，系统会根据错误消息反馈的内容进行，改变传输的值，进行多次传输之后，且反馈的消息依然无正确时，提示进行人为干预，将过程中所有错误消息进行去重处理后的结果展示给工程师进行分析，工程师将分析后的结果输入到系统中后，基于此结果，系统会自动针对此协议其他未解析的数据按照顺序进行采集处理，交互式处理和人为干预处理，直到所有内容被解析，从而达到机器自我学习的目的。

通过本发明的采用深度学习机制的数据回放的测试方法，对于未收录在协议库中的数据格式和协议，经过拆分和不断自我学习与优化的过程，完善协议库。系统可以在非测试运行时间不断解析并分析样包，以方便在以后的测试项目当中更快的投入并执行任务。

通过本发明的采用深度学习机制的数据回放的测试方法，对于未收录在协议库中的数据格式和协议，经过拆分和不断自我学习与优化的过程，完善协议库。测试系统可以在非测试运行时间不断解析并分析样包，以方便在以后的测试项目当中更快的投入并执行任务。

Claims (9)

1.通信测试过程中的未知格式协议数据的解析方法，其特征在于，所述方法包括以下步骤：

数据解析步骤：以缩写为s的Scope表示在每一个时间节点，需解析的协议所处的环境，以缩写为a的Action表示在每一个Scope中解析协议可以采取的动作，以缩写为r的Result表示每处理一个Scope系统就有会收到一个result反馈，以函数Q表示在状态s中采取动作a能够得到的最大r，通过迭代的方法不停地更新Q值，再不停地模拟采取各种动作，收到各种反馈，通过Q(s,a)+α[r+γarg maxa′Q(s′,a′)-Q(s,a)]公式得出，Q(s,a)表示当前时间的动作，Q(s′，a′)表示下一个时间点的动作，学习参数γ为0<γ<1的常数，最后得出准确的Q值，并把这个Q值记录到规则库当中为Q1，继续按照此规则进行循环处理，产生Q2，Q3，当把未知协议中的所有内容都解析完成后，形成的一系列数组(Q1，Q2，Q3，Qn,……)，即为最终的协议内容，完成对未知规则数据的解析；

随机学习步骤：经过解析的数据在以后的多次测试、实验当中不断的进行完善与随机学习，通过多次的解析而得出趋于稳定的Q值，所述随机学习包括以下步骤：

对数据的协议进行解析，并与规则库中的所有协议进行比对，采集和协议库中已知内容条数m相同个数的样本，这样得到的采样集与协议内容样本的个数相同，但是样本内容不同，

将采集到的数据(Q1，Q2，Q3，Qn,……)，与被解析的数据(Q1，Q2，Q3，Qn,……)进行比对，对相同的内容进行补充与替换，从而实现初步学习；

剩下的未采集到的数据重复循环上述步骤。

2.根据权利要求1所述的通信测试过程中的未知格式协议数据的解析方法，其特征在于，在随机学习过程中，将未被采集到或未识别的协议信息的数据标识为x，如果，在测试过程中与对方服务器进行交互时解析x返回错误消息，则改变传输的值，进行多次传输之后，直至反馈得到正确消息。

3.根据权利要求2所述的通信测试过程中的未知格式协议数据的解析方法，其特征在于，如果经多次传输之后，反馈的消息依然错误，则人为分析已被去重的所有错误消息，并输入人为分析的结果。

4.根据权利要求1所述的通信测试过程中的未知格式协议数据的解析方法，其特征在于，剩下的未采集到的数据重复循环数据解析步骤和随机学习步骤4次。

5.一种采用深度学习机制的数据回放的测试方法，其特征在于，所述包括以下步骤：

数据采集：录制通过网络之间传输的未知格式协议数据；

数据处理：将录制的未知格式协议数据与已知的数据文件/协议的格式进行匹配，将被录制的数据分为规则已知数据和待验证数据，

针对所述规则已知数据类型，保留在仿真数据文件中，形成具体的配置文件及脚本文件，

数据解析步骤：以缩写为s的Scope表示在每一个时间节点，需解析的协议所处的环境，以缩写为a的Action表示在每一个Scope中解析协议可以采取的动作，以缩写为r的Result表示每处理一个Scope系统就有会收到一个result反馈，以函数Q表示在状态s中采取动作a能够得到的最大r，通过迭代的方法不停地更新Q值，再不停地模拟采取各种动作，收到各种反馈，通过Q(s,a)+α[r+γarg max_a′Q(s′,a′)-Q(s,a)]公式得出，Q(s,a)表示当前时间的动作，Q(s′，a′)表示下一个时间点的动作，学习参数γ为0<γ<1的常数，最后得出准确的Q值，并把这个Q值记录到规则库当中为Q1，继续按照此规则进行循环处理，产生Q2，Q3，当把未知协议中的所有内容都解析完成后，形成的一系列数组(Q1，Q2，Q3，Qn,……)，即为最终的协议内容，完成对未知规则数据的解析，

数据完善：经过解析的数据在以后的多次测试、实验当中不断的进行完善与随机学习，通过多次的解析而得出趋于稳定的Q值，所述随机学习包括以下步骤：

对数据的协议进行解析，并与规则库中的所有协议进行比对，采集和协议库中已知内容条数m相同个数的样本，这样得到的采样集与协议内容样本的个数相同，但是样本内容不同，

将采集到的数据(Q1，Q2，Q3，Qn,……)，与被解析的数据(Q1，Q2，Q3，Qn,……)进行比对，对相同的内容进行补充与替换，从而实现初步学习，

剩下的未采集到的数据重复循环上述步骤；

后处理步骤：排列解析后的数据，录制完成。

6.根据权利要求5所述的采用深度学习机制的数据回放的测试方法，其特征在于，在随机学习过程中，将未被采集到或未识别的协议信息的数据标识为x，如果，在测试过程中与对方服务器进行交互时解析x返回错误消息，则改变传输的值，进行多次传输之后，直至反馈得到正确消息。

7.根据权利要求6所述的采用深度学习机制的数据回放的测试方法，其特征在于，如果经多次传输之后，反馈的消息依然错误，则人为分析已被去重的所有错误消息，并输入人为分析的结果。

8.一种采用深度学习机制的数据回放的测试系统，其特征在于，所述系统包括：

系统配置模块，包括：

协议类型配置单元，对传输的协议类型进行配置，

协议内容分类配置单元，对协议中的内容进行分类配置功能，

规则库配置单元，对学习的规则、强度进行配置，

匹配库配置单元，配置协议内容匹配的规则，以及

系统配置单元，用于基本系统功能配置；

测试过程管理模块，包括：

测试协议录制单元，在测试过程中对被测传输协议进行录制与解析的功能，

规则库单元，提供对规则库中内容编辑的功能，

测试过程执行单元，执行测试的功能，

测试过程信息分析单元，在测试过程中实时反馈测试结果，错误信息提醒，被测系统反馈的结果的功能，

测试过程流量配置单元；以及

结果分析模块，包括：

测试结果分析单元，对测试结果进行自动分析并生成报告，

测试过程回放单元，通过测试过程中记录的内容，回放整个测试过程，并可基于测试过程中发生的问题作出调整，

测试数据整理单元，通过测试过程中记录的数据，在后台进行自动数据整体，并将整理后的结果存入到数据库，

深度学习单元，配置机器学习的功能模块，可根据配置调整学习的力度。

9.根据权利要求8所述的采用深度学习机制的数据回放的测试系统，其特征在于，深度学习单元执行随机学习过程，所述随机学习过程包括以下步骤：

对数据的协议进行解析，并与规则库中的所有协议进行比对，采集和协议库中已知内容条数m相同个数的样本，这样得到的采样集与协议内容样本的个数相同，但是样本内容不同；

将采集到的数据(Q1，Q2，Q3，Qn,……)，与被解析的数据(Q1，Q2，Q3，Qn,……)进行比对，对相同的内容进行补充与替换。