CN111124892B - 基于命令行的自动化测试方法及系统 - Google Patents

Abstract

一种基于命令行的自动化测试方法，包括：对输入的组网场景进行初始化：对输入的测试数据进行初始化：从测试对象全集中提取当前测试特性所需要的对应测试对象，进行分类实例化处理，使得每一个对应测试对象具有多个不同的功能实例；根据对应测试对象从特性测试数据字典集合中提取出与对应测试对象具有映射关系的测试数据字典；根据对应测试对象，以及测试数据字典，动态适配命令行命令；下发命令行命令，对组网场景中的个体进行测试，反馈下发结果。解决：测试对象和场景变更导致的测试脚本适配；不同设备和版本间的命令行命令差异性；设备规格变更、测试数据变更导致脚本维护成本变高；命令行数量多，覆盖可能存在遗漏的问题。

Description

基于命令行的自动化测试方法及系统

技术领域

本发明涉及卫星通信与计算机技术，尤其与一种基于命令行的自动化测试方法及系统相关。

背景技术

在现代科技产品中，有很多产品设备支持命令行直接进行配置和使用，这类产品的测试基本都是通过命令行命令来进行的。

通常一个设备支持的命令可能有成百上千条，甚至更多，而且不同的设备之间命令行业可能存在差异；另外，这些设备在实际的应用场景中也是千变万化，随着组网场景的变化，如卫星网络组网不同，测试对象也需要不停的根据需求不断的变换，测试工作将面临相当大的工作量，特别在版本快速迭代中，普通的测试手段更是难以为继。在当前业界的研发测试过程中，通常用到了一下两种测试手段：

1、传统手工测试：通过人为进行命令行下发配置，命令行命令数量多，配置繁琐，效率低，易出错；

2、自动化执行：第一，测试对象与测试用例脚本绑定，在测试用例脚本中指定测试对象，当测试对象变更时，只有修改脚本，否则脚本可能无法正常运行，第二，测试数据，如有效值、无效值、边界值等直接写在用例之中随着脚本下发，当设备规格有变更时，脚本将大范围修改，人力投入成本巨大。

发明内容

本申请提出一种基于命令行的自动化测试方法及系统，以同时解决：由于测试对象和场景变更导致的测试脚本适配问题，不同设备和版本间的命令行命令差异性问题，设备规格变更、测试数据变更导致脚本维护成本变高的问题，以及命令行数量多，覆盖可能存在遗漏的问题。

为了实现上述目的，本发明采用以下技术：

一种基于命令行的自动化测试方法，其特征在于，包括步骤：

对输入的组网场景进行初始化：从所述组网场景中抽离出所有独立存在的个体，并实例化出测试对象，生成测试对象全集；

对输入的测试数据进行初始化：按照所述测试数据在设备类型和版本上的表现差异将所述测试数据分为多类，并生成特性测试数据字典集合；

从所述测试对象全集中提取当前测试特性所需要的对应测试对象，进行分类实例化处理，使得每一个所述对应测试对象具有多个不同的功能实例；

根据所述对应测试对象从所述特性测试数据字典集合中提取出与所述对应测试对象具有映射关系的测试数据字典；

根据所述对应测试对象，以及所述测试数据字典，动态适配命令行命令；

下发所述命令行命令，对所述对应测试对象对应的组网场景中的个体进行测试，并反馈下发结果。

进一步，从所述组网场景中抽离出所有独立存在的个体，并实例化出测试对象，包括：

将组网场景中的设备及各设备的下属器件抽离，实例化为设备对象Dev1、Dev2、……、Devn及设备下子对象Dev1 child1、Dev1 child2、……、Devn childn；

将组网场景中的设备之间连接器件抽离，实例化为连接对象Link1、Link2、……、Linkn；

将组网场景中的其他独立存在个体抽离，实例化为其他对象OtherObj1、OtherObj2、……、OtherObjn。

进一步，按照所述测试数据在设备类型和版本上的表现差异将所述测试数据分为三类：

公共测试数据集：在所有设备和所有版本上的测试数据和结果表现都一致，无差异的测试数据；

设备差异性测试数据集：在不同的设备类型上测试数据规格和结果表现存在差异的测试数据；以及

设备内部版本差异性测试数据集：在相同设备类型下因版本不同而产生的不同测试数据。

进一步，为各测试数据集设定同一tag标记，生成特性数据字典Dictionary1，以tag标记作为Dictionary1的key值且key值唯一，以各测试数据集作为对应key值的value值；

在所述各测试数据集作为对应key值的value值中嵌套一层Dictionary2，Dictionary2中key值分别为common/device；

在device中嵌套一层Dictionary3，Dictionary3中key值分别为各设备类型；Dictionary3中，无版本差异的各测试数据直接写入Dictionary3中key值对应的value值，有版本差异的测试数据再嵌套一层Dictionary4，Dictionary4中key值为设备存在差异的版本号，Dictionary4中key值对应value值为版本差异性测试数据；

最终生成一个多层嵌套，key值唯一的特性测试数据字典集合。

进一步，动态适配命令行命令，具体是：

首先，对多个版本间的命令行进行由旧到新的增量处理：当版本里有新增命令行，则放在新的版本命令行文件里面；旧的命令行直接在老版本适配；

然后，将适配到的命令行set到入口处定义的命令行对象属性中，作为所述对应测试对象的实例化属性，随着所述对应测试对象一起往后传递；

其中，所述命令行命令与所述对应测试对象一一对应绑定。

一种基于命令行的自动化测试系统，其特征在于，包括：

组网场景初始化模块，用于从所述组网场景中抽离出所有独立存在的个体，并实例化出测试对象，生成测试对象全集；

测试数据初始化模块，用于按照所述测试数据在设备类型和版本上的表现差异将所述测试数据分为多类，并生成特性测试数据字典集合；

功能特性逻辑处理模块，用于从所述测试对象全集中提取当前测试特性所需要的对应测试对象，进行分类实例化处理，使得每一个所述对应测试对象具有多个不同的功能实例；并根据所述对应测试对象从所述特性测试数据字典集合中提取出与所述对应测试对象具有映射关系的测试数据字典；

命令行提取模块，用于根据所述对应测试对象，以及所述测试数据字典，动态适配命令行命令；

命令行下发和统计模块，用于下发所述命令行命令，对所述对应测试对象对应的组网场景中的个体进行测试，并获取反馈的下发结果。

本发明有益效果在于：

1、当测试场景和组网变更时，不用修改脚本中命令行下发的对象，通过框架中的组网初始化提取模块处理，即可抽象出当前的测试对象，做到命令行的动态下发；

2、不同的设备类型及版本之间存在差异的命令行，都通过框架的命令适配层进行适配处理，从而达到相同的测试脚本在不同的设备类型和版本上，所下发的命都是自身设备适配的命令；

3、测试与数据分离，即测试方法和用例脚本完全与测试数据分离开来，当测试数据输入输出有变更时，直接修改测试数据字典，无需修改测试脚本，从而减少脚本维护成本，更容易把握测试数据的准确性和完整性；

4、命令下发过程中做命令行记录，与命令行全集做对比，智能分析出未覆盖到的命令，从而帮助测试人员完善测试方案和用例脚本，提高产品质量。

附图说明

图1为本申请实施例提供的测试方法流程图。

图2为本申请实施例提供的测试系统的结构图。

图3为本申请实施例提供的流程架构图。

图4为本申请实施例提供的组网场景初始化示意图。

图5为本申请实施例提供的测试数据初始化示意图。

图6为本申请实施例提供的特性测试数字字典生成实例。

图7为本申请实施例提供的功能特性逻辑处理示意图一。

图8为本申请实施例提供的功能特性逻辑处理示意图二。

图9为本申请实施例提供的命令行提取示意图。

图10为本申请实施例提供的命令行下发和统计示意图。

实施方式

下面结合附图对本发明进行详细说明。

如图1所示，为本申请提供的基于命令行的自动化测试方法实施例流程图。

步骤（1）：对输入的组网场景进行初始化：从组网场景中抽离出所有独立存在的个体，并实例化出测试对象，生成测试对象全集。

步骤（2）：对输入的测试数据进行初始化：按照测试数据在设备类型和版本上的表现差异将测试数据分为多类，并生成特性测试数据字典集合。

步骤（3）：从测试对象全集中提取当前测试特性所需要的对应测试对象，进行分类实例化处理，使得每一个对应测试对象具有多个不同的功能实例。

步骤（4）：根据对应测试对象从特性测试数据字典集合中提取出与对应测试对象具有映射关系的测试数据字典。

步骤（5）：根据对应测试对象，以及测试数据字典，动态适配命令行命令。

步骤（6）：下发命令行命令，对所述对应测试对象对应的组网场景中的个体进行测试，并反馈下发结果。

如图2所示，为本申请提供的基于命令行的自动化测试方法实施例结构图。

具体包括：组网场景初始化模块、测试数据初始化模块、功能特性逻辑处理模块、命令行提取模块、命令行下发和统计模块。

其中，组网场景初始化模块、测试数据初始化模块，分别连接功能特性逻辑处理模块；功能特性逻辑处理模块分别连接命令行提取模块、命令行下发和统计模块。

具体的，组网场景初始化模块，用于从所述组网场景中抽离出所有独立存在的个体，并实例化出测试对象，生成测试对象全集。

具体的，测试数据初始化模块，用于按照所述测试数据在设备类型和版本上的表现差异将所述测试数据分为多类，并生成特性测试数据字典集合。

具体的，功能特性逻辑处理模块，用于从所述测试对象全集中提取当前测试特性所需要的对应测试对象，进行分类实例化处理，使得每一个所述对应测试对象具有多个不同的功能实例；并根据所述对应测试对象从所述特性测试数据字典集合中提取出与所述对应测试对象具有映射关系的测试数据字典。

具体的，命令行提取模块，用于根据所述对应测试对象，以及所述测试数据字典，动态适配命令行命令。

具体的，命令行下发和统计模块，用于下发所述命令行命令，对所述对应测试对象对应的组网场景中的个体进行测试，并获取反馈的下发结果。

作为具体的实施例，如图3所示的架构及流程框图。

本申请实施例的方法/系统，应用在在整个框架的数据输入和数据输出之间，主要包括以下：组网场景初始化、测试数据初始化、功能特性逻辑处理、命令行提取、命令行下发和统计。

其中：

组网场景初始化：根据输入的测试组网场景，实例化出一个个测试对象，是所有测试对象的全集Environment Object。

测试数据初始化：提取所有的测试数据，按照特性功能模块分类，生成测试数据字典Test Dictionary。

功能特性逻辑处理：中心处理模块，从所有的Environment Object中抽象出各自特性所需的测试对象，并进行分类实例化处理，使得同一个测试对象具有很多个不同的功能实例；通过抽象对象的设备类型或者版本信息，与命令行提取模块进行交互，动态适配对象的命令行命令；根据特性数据地图Feature Data Map与数据字典Test Dictionary的映射关系，抽取测试数据。其中，特性数据地图Feature Data Map是一种映射关系地图：所有的测试数据是一个整体集合，但是各个特性功能点所用到测试数据是不一样的，需要一种特性与数据之间的映射关系来做指向，以这种映射关系地图即为特性数据地图。

命令行提取：根据特性逻辑模块传递过来的测试对象实例信息，动态提取命令行命令，并传递给特性模块等待处理。

命令行下发和统计：根据功能特性模块传递过来的命令行命令，以及绑定的测试对象，下发命令，并反馈下发后的相关结果。

具体的，分模块详细说明各部分的实施方式：

第一、组网场景初始化

如图4所示是本申请实施例提供的组网场景初始化示意图。

1、组网场景文件：多样化的文件，可以是xml文件、json文件、excel文件、txt文本文件、数据库文件、其它自定义文件均可。

2、测试对象抽离：将组网场景中的设备、连线等独立抽离出来，实例化成单个独立的class；根据实际测试场景，可能包含如下抽离出的对象：设备对象Dev，设备下的子对象Dev child，如设备板卡，设备端口等，子对象与父对象之间通过属性的方式传递；设备间的连线对象，连线对象以实际组网而定，没有连线的组网场景即是一个个的独立设备对象；其它对象，组网中任何可以独立存在的个体，都可以抽离出来，实例化成一个个对象。

整个实例化抽离的过程，就是组网场景的初始化操作，这些实例对象将传递到特性逻辑模块中，等待进一步的“加工”。

第二、测试数据初始化

如图5所示是本申请实施例提供的测试数据初始化示意图。

1、测试数据集：测试数据集是根据功能测试点以及设备产品设计规格提取出的在整个测试验证过程中需要用到的全部测试数据，其可以包括有效等价类，无效等价类，边界值，默认值，常规配置项，特殊配置项等等，视具体的测试对象及其功能而定。

2、测试数据划分：将测试数据集根据特性功能模块进行划分，可以给每个特性分类打上tag标记，用作生成特性数据字典Dictionary1的key值，key值必须唯一，可以使用特性名称或者特性编号作为字典key值。

3、功能特性分类：将功能特性测试数据分为三类，即特性公共测试数据集、设备差异性测试数据集、设备内部版本差异性测试数据集。

其中，公共测试数据集是指在所有设备和所有版本上的测试数据和结果表现都是一致的，无差异的；设备差异性测试数据集是指在不同的设备类型上测试数据规格和结果表现存在差异的；版本差异性测试数据集是指在相同设备类型下因版本不同而产生的不同测试数据。

三个测试数据分类都作为这个特性测试数据key对应的value值，三个测试数据分类中又嵌套一层Dictionary2，key值分别为common/device，其中device下再嵌套一层Dictionary3，key值分别为各设备类型，Dictionary3中，无版本差异的各测试数据直接写入value值，有版本差异的测试数据还需再嵌套一层Dictionary4，其中key值为设备存在差异的版本号，value为版本差异性测试数据，最终生成一个多层嵌套，key值唯一的、总的特性测试数据字典集合(Feature Dictionary)。以上功能特性测试数据分类描述的具体数据结构呈现。

如图6所示是本申请实施例提供的特性测试数字字典生成实例，图中的数据格式使用大部分面相对象的编程语言中的字典、列表、数组、元祖等数据类型即可实现，无任何受限，甚至可以用json文件或xml文件等结构鲜明的文件存储，当测试数据注入到功能特性逻辑处理模块再解析出来即可。

第三、功能特性逻辑处理

如图7~8所是本申请实施例提供的功能模块逻辑处理示意图。

1、提取特性所需测试对象：

根据特性规格需求，从输入的测试对象中提取出各自特性可以或者说需要在哪些对象上进行测试，将这些对象提取并保存。

2、提取特性测试数据字典：

根据当前测试特性提取出对应的特性数据字典，再通过特性提取模块提取出的测试对象进行进一步的筛选映射，即根据测试对象设备名称和测试设备版本信息，提取出只与本特性和特性测试对象有关的测试数据字典，提取格式参照图6。

3、命令行提取模块：

根据特性模块名称以及测试对象相关信息，动态加载命令行模块，并作为测试对象的实例化属性传递到特性模块中，等待处理。

4、特性模块全局初始化：

在获取到特性测试对象输入、特性数据字典输入、测试对象对应的命令行实例输入后，需要在__init__()函数中，做最初始的集中处理，处理包括如下方面：

第一方面，测试对象分类，结合实际需求，可以根据测试对象的类型，作用等等分类；

第二方面，测试数据字典分类，可以根据特性子功能模块进行测试数据划分并保存；

第三方面，测试命令行命令已作为测试对象的实例化属性进行传递，只需与分类后的测试对象类型进行一一绑定。

5、特性模块基类：

所有__init__()初始化函数处理过后的数据都作为特性模块基类BaseObject的实例化属性，所有数据都会跟着BaseObject进行传递。

6、派生处理：

每个功能子特性均可从BaseObject中派生，从而得到一个子功能对象，每个子功能对象按需从BaseObject继承与功能相关的属性，从而做到精准测试。子功能下的每一个测试点都可以封装成一个个的测试方法，即外部用例脚本调用的测试接test interface，接口方法无需传递任何参数，所有测试参数(数据)、测试对象均从内部属性获取，这样带来的好显而易见，脚本维护成本相当低，测试有变更，只需要改变入口数据即可。

第四、命令行提取

如图9所示为本申请实施例提供的命令行提取示意图。

当特性测试对象输入后，获取到这些对象的设备类型信息和版本信息，并为测试对象定义一个命令行对象属性。

通过设备类型找到类型下当前设备所有对应的命令行版本，由于同一类设备，可能存在开发多个版本的情况，对多个版本间的命令行由旧到新做增量处理，即版本里有新增命令行，则放在新的版本命令行文件里面，旧的命令行直接在老版本适配即可，这样可以大大的缩减了命令行维护成本。

最终，将适配到的命令行set到入口处定义的命令行对象属性中，随着整个测试对象一起往后传递。

第五、命令行下发

如图10所示为本申请实施例提供的命令行下发示意图。

命令下发协议可以是常见的telnet,ssh,grpc等，也可以是自定义私有协议。

捕获到命令下发回显后，根据具体的审视需求，可以格式化为表格格式，关系结构格式等。

针对格式化输出数据的处理涉及两个方面，

第一方面：上层阅读，这里主要是方便测试人员阅读，分析问题和测试结果；

第二方面，做下发记录存库处理是，可以记录为关系型数据库数据，可以很快速的和特性命令行做全量对比，从而分析得出测试覆盖情况。

通过本申请实施例的实施，可以实现：

1、根据不同组网场景抽象测试对象，不用修改脚本即可开始测试；

2、动态获取命令行命令，屏蔽不同设备产品之间命令的差异性；

3、测试与数据分离，极大程度上降低脚本维护成本，且使得测试数据分析更加清晰；

4、命令下发记录统计，通过全量对比，可以得到版本测试的覆盖情况。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一计算机可读存储介质中，如ROM/RAM、磁碟或光盘等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (8)

1.一种基于命令行的自动化测试方法，其特征在于，包括步骤：

对输入的组网场景进行初始化：从所述组网场景中抽离出所有独立存在的个体，并实例化出测试对象，生成测试对象全集；

对输入的测试数据进行初始化：按照所述测试数据在设备类型和版本上的表现差异将所述测试数据分为多类数据集，为各测试数据集设定同一tag标记，生成特性数据字典Dictionary1，以tag标记作为Dictionary1的key值且key值唯一，以各测试数据集作为对应key值的value值；在所述各测试数据集作为对应key值的value值中嵌套一层Dictionary2，Dictionary2中key值分别为common/device；在device中嵌套一层Dictionary3，Dictionary3中key值分别为各设备类型；Dictionary3中，无版本差异的各测试数据直接写入Dictionary3中key值对应的value值，有版本差异的测试数据再嵌套一层Dictionary4，Dictionary4中key值为设备存在差异的版本号，Dictionary4中key值对应value值为版本差异性测试数据；最终生成一个多层嵌套，key值唯一的特性测试数据字典集合；

从所述测试对象全集中提取当前测试特性所需要的对应测试对象，进行分类实例化处理，使得每一个所述对应测试对象具有多个不同的功能实例；

根据所述对应测试对象从所述特性测试数据字典集合中提取出与所述对应测试对象具有映射关系的测试数据字典；

根据所述对应测试对象，以及所述测试数据字典，动态适配命令行命令；

下发所述命令行命令，对所述对应测试对象对应的组网场景中的个体进行测试，并反馈下发结果。

2.根据权利要求1所述的基于命令行的自动化测试方法，其特征在于，从所述组网场景中抽离出所有独立存在的个体，并实例化出测试对象，包括：

将组网场景中的设备及各设备的下属器件抽离，实例化为设备对象Dev1、Dev2、……、Devn及设备下子对象Dev1 child1、Dev1 child2、……、Devn childn；

将组网场景中的设备之间连接器件抽离，实例化为连接对象Link1、Link2、……、Linkn；

将组网场景中的其他独立存在个体抽离，实例化为其他对象OtherObj1、OtherObj2、……、OtherObjn。

3.根据权利要求1所述的基于命令行的自动化测试方法，其特征在于：

按照所述测试数据在设备类型和版本上的表现差异将所述测试数据分为三类：

公共测试数据集：在所有设备和所有版本上的测试数据和结果表现都一致，无差异的测试数据；

设备差异性测试数据集：在不同的设备类型上测试数据规格和结果表现存在差异的测试数据；以及

设备内部版本差异性测试数据集：在相同设备类型下因版本不同而产生的不同测试数据。

4.根据权利要求1所述的基于命令行的自动化测试方法，其特征在于：动态适配命令行命令，具体是：

首先，对多个版本间的命令行进行由旧到新的增量处理：当版本里有新增命令行，则放在新的版本命令行文件里面；旧的命令行直接在老版本适配；

然后，将适配到的命令行set到入口处定义的命令行对象属性中，作为所述对应测试对象的实例化属性，随着所述对应测试对象一起往后传递；

其中，所述命令行命令与所述对应测试对象一一对应绑定。

5.一种基于命令行的自动化测试系统，其特征在于，包括：

组网场景初始化模块，用于从所述组网场景中抽离出所有独立存在的个体，并实例化出测试对象，生成测试对象全集；

测试数据初始化模块，用于按照所述测试数据在设备类型和版本上的表现差异将所述测试数据分为多类数据集，为各测试数据集设定同一tag标记，生成特性数据字典Dictionary1，以tag标记作为Dictionary1的key值且key值唯一，以各测试数据集作为对应key值的value值；在所述各测试数据集作为对应key值的value值中嵌套一层Dictionary2，Dictionary2中key值分别为common/device；在device中嵌套一层Dictionary3，Dictionary3中key值分别为各设备类型；Dictionary3中，无版本差异的各测试数据直接写入Dictionary3中key值对应的value值，有版本差异的测试数据再嵌套一层Dictionary4，Dictionary4中key值为设备存在差异的版本号，Dictionary4中key值对应value值为版本差异性测试数据；最终生成一个多层嵌套，key值唯一的特性测试数据字典集合；

功能特性逻辑处理模块，用于从所述测试对象全集中提取当前测试特性所需要的对应测试对象，进行分类实例化处理，使得每一个所述对应测试对象具有多个不同的功能实例；并根据所述对应测试对象从所述特性测试数据字典集合中提取出与所述对应测试对象具有映射关系的测试数据字典；

命令行提取模块，用于根据所述对应测试对象，以及所述测试数据字典，动态适配命令行命令；

命令行下发和统计模块，用于下发所述命令行命令，对所述对应测试对象对应的组网场景中的个体进行测试，并获取反馈的下发结果。

6.根据权利要求5所述的基于命令行的自动化测试系统，其特征在于：组网场景初始化模块，用于：

将组网场景中的设备及各设备的下属器件抽离，实例化为设备对象Dev1、Dev2、……、Devn及设备下子对象Dev1 child1、Dev1 child2、……、Devn childn；

将组网场景中的设备之间连接器件抽离，实例化为连接对象Link1、Link2、……、Linkn；

将组网场景中的其他独立存在个体抽离，实例化为其他对象OtherObj1、OtherObj2、……、OtherObjn。

7.根据权利要求5所述的基于命令行的自动化测试系统，其特征在于：测试数据初始化模块，用于按照所述测试数据在设备类型和版本上的表现差异将所述测试数据分为三类：

公共测试数据集：在所有设备和所有版本上的测试数据和结果表现都一致，无差异的测试数据；

设备差异性测试数据集：在不同的设备类型上测试数据规格和结果表现存在差异的测试数据；以及设备内部版本差异性测试数据集：在相同设备类型下因版本不同而产生的不同测试数据。

8.一种计算机可读存储介质，其上存储有指令，当其在计算机上运行时，使得计算机执行如权利要求1-4中任一项所述的方法。

Images