CN101414935B - 测试用例生成方法及系统 - Google Patents

Abstract

本发明提供一种测试用例生成方法及系统，所述方法包括下列步骤：接收客户端反馈的测试特征值，该测试特征值包括产品类型、测试类型、功能模块、功能子模块、邻居数量、路由容量、报文过滤选项、报文过滤的关键值；根据预先定义的算法对所述测试特征值进行计算，生成实际测试数值反馈回所述客户端；根据功能模块、功能子模块，在预先定义的脚本模板中选择对应的脚本反馈回客户端；根据报文过滤选项、报文过滤关键值，对客户端上传的报文进行分析，生成波形图反馈回客户端。本发明的方法和系统能够根据测试人员输入的特征值，生成基于市场应用的功能测试实际值、测试脚本以及报文分析图等测试用例，以供实际测试时使用。

Description

测试用例生成方法及系统

技术领域

本发明涉及产品的测试，尤其涉及一种基于市场环境的测试用例生成方法及系统，数据通信产品的测试方法和系统。

背景技术

目前软件的测试上分为白盒测试(white-box Testing)和黑盒测试(Black-box Testing)。白盒测试，也称结构测试或逻辑驱动测试，它是按照程序内部的结构测试程序，通过测试来检测产品内部动作是否按照设计规格说明书的规定正常进行，检验程序中的每条通路是否都能按预定要求正确工作，这一方法是把测试对象看作一个打开的盒子，测试人员依据程序内部逻辑结构相关信息，设计或选择测试用例，对程序所有逻辑路径进行测试，通过在不同点检查程序的状态，确定实际的状态是否与预期的状态一致。黑盒测试，又称为功能测试或数据驱动测试，它是把测试对象看作一个黑盒子，简单的理解，就是把测试产品比喻成一家房间，我们在门外，关注的是门外直观所应有的功能和结构，利用黑盒测试法进行动态测试时，需要测试软件产品的功能，不需测试软件产品的内部结构和处理过程。

黑盒测试的主要目的包括：

1、功能错误或遗漏；

2、界面错误；

3、数据结构或外部数据库访问错误；

4、性能错误；

5、初始化和终止错误。

一般情况下，数据通信产品在出厂前需要进行基本功能点测试、路由协议系统测试，然后解决问题后推向市场。但是实际的测试数据表明，目前的 测试方法无法很好的满足市场对产品质量的要求，比如产品出厂前的测试都通过，但是到市场实际环境运行后，发现问题依然存在。

鉴于传统的简单功能测试无法满足产品质量的要求，目前各大厂商，开始逐步追求产品功能的耦合性，网络产品测试区分为功能测试、简单系统环境测试、实际市场环境测试。而目前的测试方法中包括但不限于功能测试，简单系统环境测试、实验室环境测试、实际市场环境测试，基本上采用黑盒测试的方法。其中：

功能测试主要是针对产品单一的功能点的基本实现、CLI(command-lineinterface，命令行界面)吻合程度、show显示命令的简单测试、边界值的范围。

简单系统环境测试主要是针对路由协议，如BGP(Border GatewayProtocol，边界网关协议)，按照核心层、汇聚层、接入层(网络分层)，构建相应的拓扑，导入数据流，然后进行针对功能应用的测试。

实验室环境测试是通过对市场动态的了解以及基本拓扑信息的提取，依赖测试工具的分析，模拟用户实际使用的数据流、网络拓扑，并且根据分析结果进行必要的扩展，进行内部的模拟测试。

实际市场环境的测试有别于实验室环境测试，实验室环境测试集中在模拟，而实际市场环境更加注重的是还原市场的应用需求，更加倾向于客户的实际使用需求，集中要点就是“用户用什么，产品测试过程中就测试什么”，这并不是简单的对每个客户建立一套独立的环境，而是针对不同的客户区分客户群，区分的原则是网络拓扑结构类似、使用环境类似；然后根据不同客户群进行市场环境的实际尽可能的还原，之所以单独提出来，主要是实际市场环境的测试在追求质量、快速满足客户软件版本需求上有着实验室环境无法比拟的优势。而用户的需求是通过市场支持人员反馈获得的，通过这样的数据上提取后的环境测试，最大限度还原客户应用环境，提高测试的针对性。通过市场支持人员在现场收集的信息包括但不限于报文流、用户使用的功 能、参数范围、拓扑，通过渠道反馈回测试部门，通过测试人员根据收集到的实际信息，然后构建实际的测试环境包括但不限于数据流、拓扑、使用功能、参数。根据实际的应用功能、环境、数据流等进行更加有针对性的测试。

然而，目前实际市场环境的测试，主要是根据市场支持人员收集的客户使用信息，然后进行原原本本的模拟实现，属于生搬硬套型。

如图1所示，其是通常的测试方法的流程图，目前这种测试方法存在一定的缺点：

1、测试的强度不够：由于直接套用市场支持人员反馈的信息，无法很好的预见客户需求的扩展，无法避免市场支持人员收集过程中的疏漏所带来的产品质量风险。

2、测试功能覆盖度不够：无法满足客户潜在的相似功能的需求，假设未来几个月，甚至一到两年间，客户使用了类似的替代功能，旧有测试方法无法防范此类风险。

3、在实际数通产品测试过程中，会专门在实验室对实际市场环境进行模拟，但是这样的模拟或多或少都不能完全等同于市场环境，该测试方法同样存在功能点覆盖、强度覆盖上的不足。

4、测试的效率不够高：目前只能按照市场支持人员的反馈信息，然后通过测试人员的分析，然后再进行简单的整理后输出测试用例、脚本；并且这些用例和脚本均有数据通信产品测试的局限性；针对不同数通产品的、不同时期的相似的功能测试，仍然需要测试人员的参与和分析，甚至是重复的劳动，耗费大量的时间。

如图2所示，其是举例说明实际市场环境测试的操作过程，其中左框是市场人员反馈经过测试人员提取的数据，右框是最终测试结果数据。当然每个公司在实际测试过程中得到的最终测试数据略有不同，但是所采用的方法是一样，就是通过市场人员反馈的数据，稍加处理或者不加处理的应用到测试过程中。

这种传统的测试方法和强度远远无法满足现在测试产业对产品的高质量、测试人员效率的要求，特别是对于数通产品测试而言，任何的产品质量问题都会对客户的信任度造成一定的影响，并且产品返工所消耗的人力、物力也是不可估量的。

发明内容

由于通常的实验室环境测试方法和实际市场环境测试方法在功能点的覆盖、测试强度、以及对市场环境的模拟上都存在一定的缺陷，无法很好的还原实际的测试环境，缺乏测试强度，同时无法满足客户潜在功能需求，因此，本发明的主要目的是针对通常的测试方法的不足所提出的改进。

本发明公开了一种测试用例生成系统，该系统包括客户端和服务器端，其中，所述客户端用于提供可操作的界面及接口，该客户端主要包括：特征值输入单元，用于输入测试特征值；数据转换单元，用于将所述测试特征值转换为所述服务器端可识别的信息；以及特征值传输单元，用于将所述转换后的测试特征值传输到所述服务器端；所述服务器端用于接收所述测试特征值，按照预先定义的算法和处理动作，对客户端产生的请求进行响应，生成所需的测试用例，该服务器端主要包括：实际测试数据生成器，用于根据预先定义的算法对所述测试特征值进行计算，生成实际测试数值反馈回客户端，该测试特征值包括产品类型、测试类型、功能模块、功能子模块、邻居数量以及路由容量；测试脚本生成器，用于根据所述测试特征值，在预先定义的脚本模板中选择对应所述测试特征值的脚本反馈回所述客户端，该测试特征值包括功能模块、功能子模块；以及报文分析器，用于根据所述测试特征值，对客户端上传的报文进行分析，生成波形图反馈回所述客户端，该测试特征值包括报文过滤选项、报文过滤关键值。

本发明还公开了一种测试用例生成方法，该方法包括下列步骤：接收客户端反馈的测试特征值，该测试特征值包括产品类型、测试类型、功能模块、功能子模块、邻居数量、路由容量、报文过滤选项、报文过滤的关键值；根据预先定义的算法对所述测试特征值进行计算，生成实际测试数值反馈回所述客户端；根据所述测试特征值，在预先定义的脚本模板中选择对应所述测试特征值的脚本反馈回所述客户端，该测试特征值包括功能模块、功能子模块；根据所述测试特征值，对所述客户端上传的报文进行分析，生成波形图反馈回所述客户端，该测试特征值包括报文过滤选项、报文过滤关键值。

根据本发明一实施例，所述预先定义的算法包括加量测试方法，该方法包括下列步骤：

判断产品类型是否是异常测试；

如果是，则根据客户端反馈的产品类型，选择产品理论承受的最大值，输出实际测试值＝理论最大值×A，其中A为预先定义的加强系数权值；

如果不是，则根据邻居数量或路由容量，输出实际测试值＝客户端反馈值×B，其中B为预先定义的加强系数权值。

根据本发明另一实施例，所述预先定义的算法还包括点加量测试方法，该方法包括下列步骤：

根据所述功能模块提取预先定义的功能子模块模板；

将所述功能子模块与功能子模块模板进行比较，找出功能子模块模板中与所述功能子模块相似功能的功能子模块，与所述功能模块一起作为实际需要测试的功能模块输出。

根据本发明一实施例，根据所述测试特征值，在预先定义的脚本模板中选择对应所述测试特征值的脚本反馈回所述客户端，具体包括下列步骤：

根据所述功能模块与功能子模块，与预先定义的脚本模块进行比较；

找出与所述功能模块和功能子模块对应的脚本作为实际测试需要的脚本输出。

根据本发明另一实施例，根据所述测试特征值，对所述客户端上传的报文进行分析，生成波形图反馈回所述客户端，具体包括下列步骤：

根据所述报文过滤选项和报文过滤关键值，采用分类法和对比法对客户端上传的报文进行分析，生成报文分析结果输出。

本发明的方法和系统能够根据测试人员输入的特征值，通过系统预先定义好的算法、功能模块模板、功能子模块模板、脚本模板以及报文分析器，生成基于市场应用的功能测试实际值、测试脚本以及报文分析图等测试用例，以供实际测试时使用。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：

图1为现有技术中通常的测试方法的流程图；

图2为现有技术中通常的测试方法的举例说明；

图3为根据本发明实施例的系统结构框图；

图4为根据本发明实施例的客户端界面示意图；

图5为根据本发明实施例的加量测试方法流程图；

图6A-图6B为根据本发明实施例的点加量测试方法流程图；

图7A-图7B为根据本发明实施例的脚本生成器处理流程图；

图8为根据本发明实施例的报文示意图；

图9为根据图8所示实施例的报文处理后的示意图；

图10为根据本发明实施例的系统组成示意图；

图11为根据本发明实施例的报文处理结果的数据包大小分布图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。

本发明公开了一种测试用例生成方法和系统，可以提高产品覆盖度以及测试强度，并且可以通过预先定义的脚本、自动报文分析器，实现测试的半自动化，提升了测试工程师的执行效率。本发明经过扩展后，不但能够用于数据通讯产品的测试，而且适合于一切具有共性的产品类型或者一条完整的产品线。

本发明的核心内容在于，通过服务器端的实际数据生成器、报文分析器 和脚本生成器三大功能组件，由客户端根据测试工程师输入的数据生成消息反馈回服务器端，再通过对比服务器端的模板，最后输出测试功能模块、测试脚本、报文分析图返回给测试工程师的客户端，而测试工程师根据反馈回来的信息，对测试环境进行必要的测试，包括但不限于多少个邻居数、多少条路由、功能模块；同时运行反馈回的测试脚本对测试环境进行半自动化测试，而环境中的数据流是根据报文分析器取得的直观图形来明确报文种类、报文大小等参数。

本发明能够通过测试工程师客户端和服务器端的通信，完成测试的产品功能、功能容量、脚本、报文分析图表等的输出。这个整理后的结果直接作用于新的产品、新的项目的测试过程。通过服务器预留的插件，可以对该系统的测试方法，以及脚本进行丰富和修改，达到满足不同项目、不同产品的测试需求。

下面结合附图和具体实施例对本发明进行详细说明。

请参照图3，本发明的测试用例生成系统主要包括客户端和服务器端，其中：

客户端主体部分属于测试用例数据导入部分，负责向服务器端提供消息，其具体功能主要是提供一个测试工程师可操作、可视化的界面，可以通过安装在PC上的一个供测试工程师操作的图形界面来实现，该部分不需要执行任何的算法和操作，所要做的仅仅是把测试工程师输入的数据转化为服务器端可识别的消息，然后通过特定的语言传送到服务器端，为服务器和测试工程师的“中介”。

根据本发明的一个较佳实施例，该客户端主要包括特征值输入单元31、数据转换单元32以及特征值传输单元33，其中的特征值输入单元31是客户端向测试工程师提供的不同的功能键，以提供到服务器端的测试特征值，便于服务器根据该测试特征值进行相应的处理，而该客户端的功能键可根据不同数据产品类型、不同功能进行必要的扩展。其中的数据转换单元32是将 通过特征值输入单元31输入的测试特征值转换为服务器端可识别的消息，通过特征值传输单元33传输到服务器端。其中的特征值传输单元33是用于将转换后的测试特征值传输到服务器端，可以采用FTP的方式或其他方式，其中，FTP是文件传输协议的简称，用于Internet上的控制文件的双向传输。

其中，特征值输入单元31主要包括：

功能模块输入单元：用于输入可选的功能模块，该功能模块输入单元主要提供测试人员所需要关心的测试模块，通过客户端的数据转换单元32的处理形成消息，通过特征值传输单元33与服务器通信，把该消息所携带的特征值(在这里指具体的功能模块)反馈回服务器，便于服务器通过特征值来获取对该消息处理的输入指令。其中的功能模块包括：大型边界网关协议(BGP：Border Gateway Protocol)、开放式最短路径优先(OSPF：Open ShortestPath First)、路由信息协议(RIP：Routing Information Protocol)等，如下表一所示，其为根据本发明的较佳实施例的功能模块的详细定义。

功能模块名称	名词解释
		BGP	Border Gateway Protocol，边界网关协议。
Bpg 4+	基于ipv6的bgp。
		OSPF	Open Shortest Path First；开放式最短路径优先。
Ospf v3	基于ipv6的Ospf。
		IS-IS	IS-IS：Intermediate System to Intermediate System Routing Protocol， 中间系统到中间系统的路由选择协议。
Rip v1 & v2	RIP/RIP2：Routing Information Protocol，路由信息协议。
		Rip ng	基于IPV6的rip。
静态路由	静态路由是指由网络管理员手工配置的单播路由信息。
		Ipv6静态路由	下一代网络静态路由是指由网络管理员手工配置的路由信息。
静态多播路由	静态路由是指由网络管理员手工配置的多播路由信息。
		Pim-dm	Protocol Independent Multicast-Dense Mode，密集模式独立组播协议。
Pim-sm	Protocol Independent Multicast-Sparse Mode， 稀疏模式独立组播协议。

Pim-sm v6	基于ipv6的pim-sm。
		Igmp	Internet Group Management Protocol， Internet组管理协议(IGMP)是因特网协议家族中的一个组播协议， 用于IP主机向任一个直接相邻的路由器报告他们的组成员情况。
MId v1 & v2	基于ipv6的组管理协议版本1和版本2。
		Vrrp	Virtual Router Redundancy Protocol， 虚拟路由器冗余协议(VRRP)是一种选择协议，它可以把一个虚 拟路由器的责任动态分配到局域网上的VRRP路由器中的一台。
Vlan	虚拟局域网(VLAN)，是英文Virtual Local Area Network的缩写， 是指网络中的站点不拘泥于所处的物理位置，而可以根据需要灵 活地加入不同的逻辑子网中的一种网络技术。
		ACL	访问控制列表(Access Control List，ACL)是路由器接口的指令 列表，用来控制端口进出的数据包。
Mac	MAC(Media Access Control，介质访问控制)MAC地址是烧录在 Network Interface Card(网卡，NIC)里的。MAC地址，也叫硬件地 址，是由48比特长(6字节)，16进制的数字组成。0-23位是由厂 家自己分配。24-47位，叫做组织唯一标志符(oganizationally unique，是识别LAN(局域网)节点的标识。
		Span/Rspan	SPAN技术主要是用来监控交换机上的数据流，大体分为两种类 型，本地SPAN(Local Switched Port Analyzer)和远程SPAN(Remote SPAN)。

TACACS	Terminal Access Controller Access-Control System， 终端访问控制器访问控制系统，对于Unix网络来说是一个比较老 的认证协议，它允许远程访问服务器传送用户登录密码给认证服 务器，认证服务器决定该用户是否可以登录系统。TACACS是一 个加密协议，因此它的安全性不及之后的TACACS+和远程身份验 证拨入用户服务协议。
		TACACS+	Terminal Access Controller Access Control System， 终端访问控制器访问控制系统。
802.1x	基于Client/Server的访问控制和认证协议。

Arp	Address Resolution Protocol，地址解析协议，地址解析就是主机在  发送帧前将目标IP地址转换成目标MAC地址的过程。
		Vty	路由器的远程登录的虚拟端口。
接口类型	数通产品能支持的通讯接口类型。

表一

功能子模块输入单元：用于输入大型边界网关协议(BGP)下的路由属性值，通过客户端的数据转换单元32处理形成消息，通过特征值传输单元33与服务器通讯，把该消息所携带的特征值(在这里指具体的功能子模块，如：community)反馈回服务器，便于服务器通过该特征值比对采用相应算法提高测试功能点覆盖度。路由属性值用于数据流在传输过程中选择路径使用，如：团体属性(Community Attribute)、本地优先级属性(Local-preferenceAttribute)等，如下表二所示，其为根据本发明的较佳实施例的功能子模块的详细定义。

表二

邻居数量输入单元：用于输入邻居数量，该邻居数量输入单元主要提供测试人员所需要关心的邻居数量，通过客户端的数据转换单元32处理形成消息，通过特征值传输单元33与服务器通讯，把该消息所携带的特征值(在这里指具体的邻居数量，如邻居数量：100)反馈回服务器，便于服务器采用该特征值，应用算法增加提高邻居数量测试强度。该邻居数量主要是整数值类型，范围为0-1000。

路由容量输入单元：用于输入路由容量，通过客户端的数据转换单元32处理形成消息，通过特征值传输单元33与服务器通讯，把该消息所携带的特征值(在这里指具体的路由容量，如路由容量：1000)反馈回服务器，便于服务器采用该特征值，采用算法提高路由数量测试强度。该路由容量主要是整数值类型，范围为0-1000000。

测试类型输入单元：用于输入测试的类型，通过客户端的数据转换单元32处理形成消息，通过特征值传输单元33与服务器通讯，把该消息所携带的特征值(在这里指具体测试模型，如：异常测试或正常测试)反馈回服务器，为服务器利用该特征值选择正常/异常测试方法提供支撑。可选类型包括 正常测试、异常测试。

产品类型输入单元：用于输入待测试产品的类型，通过客户端的数据转换单元32处理形成消息，通过特征值传输单元33与服务器通讯，把该消息所携带的特征值(在这里指具体产品类型，各个公司可自行定义)反馈回服务器，以便服务器针对不同产品所预定义的默认值进行相应处理。具体的产品类型的可选范围可以根据实际产品进行定义。

报文过滤选项输入单元：用于输入报文的过滤选项，通过客户端的数据转换单元32处理形成消息，通过特征值传输单元33与服务器通讯，把该消息所携带的特征值(在这里指具体的报文过滤选项)反馈回服务器，以便服务器对报文通过这种选定的规则进行分析。

如：

select related packets by soure(通过源IP)；

select related packets by destination(通过目的IP)；

select related packets by source and destination(通过源和目的IP)。

报文过滤关键值输入单元：用于输入报文过滤的关键值，通过客户端的数据转换单元32处理形成消息，通过特征值传输单元33与服务器通讯，把该消息所携带的特征值(在这里指具体报文过滤关键值：如源ip 1.1.1.1)反馈回服务器，以便服务器根据报文过滤选项中的特征值进行报文过滤、处理。如：报文过滤选项输入单元中的源IP地址、目的IP地址。

操作维护单元：用于通过服务器端对该客户端的界面和预定义接口选项进行更新、增加、修改，删除等操作，达到可扩展的目的，该操作维护单元可以通过预留的功能扩展插件来实现。

请参照图4，其为根据本发明实施例的客户端界面的示意图。

根据本发明的较佳实施例，客户端还包括一个测试用例接收单元34，用于接收服务器端经处理测试特征值后反馈回的实际测试用例，展现给测试工程师，以便其根据该实际测试用例进行测试工作。下面将进行详细说明。

服务器端负责所有数据的处理和报文的分析，是本系统的关键，其中，服务器端又包括实际测试数据生成器35、测试脚本生成器36、报文分析器37三大部分，服务器端通过三大组件完成数据处理和报文分析后，反馈相应的数据和图形到客户端，实现客户端和服务器端交互处理。其中：

实际测试数据生成器35，主要作用是对客户端反馈回的消息进行处理，通过预先定义的算法，计算出实际测试数据，反馈回客户端，这个实际测试数据作为后续测试工程师实际测试时必须使用的测试数值。

其中，客户端反馈回来的消息内容包括产品类型、测试类型、功能模块、邻居数量、路由容量、功能子模块。该实际测试数据生成器35就是根据产品类型和测试类型，对功能模块、邻居数量、路由容量、功能子模块这些参数作处理。

其中，预先定义的算法包括加量测试方法和点加量测试方法。

其中，还要根据预先定义的算法预先定义符合测试过程的加强系数值。

加量测试方法主要包括下述内容：

如果测试类型为异常测试，则执行下述步骤：

根据客户端反馈的产品类型，选择产品功能模块的理论承受的最大值，然后通过加强系数权值A，最终输出实际测试值＝理论最大值×权值A；

对于异常测试的加量测试方法，为了增加进行异常性测试，根据市场支持人员反馈的信息，由测试工程师提取客户使用的功能模块，然后提取出该功能模块的理论最大值，那么对于异常测试，所采取的算法是“理论最大值×A”，而目前所预先定义的A值建议范围为1.5-2的范围内。

如果测试类型为正常测试，则执行下述步骤：

根据邻居数量或路由容量，通过加强系数权值B，得到最后的实际测试值＝客户端反馈值×权值B。

对于正常测试的加量测试方法，为了提高测试的强度，根据市场支持人员反馈的信息，由测试工程师提取实际使用数值，那么对于正常测试，所采 取的算法是“实际使用数值×B”，而目前所预先定义的B值建议范围为2-10的范围内。

其中，权值A和权值B是预先定义的，可以通过服务器端预留的控件，由管理员登录进行修改、更新、删除等，以适应每个项目的需求。

计算出实际应该测试的数值后，通过实际测试数据生成器35反馈回客户端，而客户端一般装在测试工程师的本地PC，因此可以很容易明确后续测试的实际值。

举例说明：

对于异常测试：直接由实际测试数据生成器根据输入产品类型选择该产品理论的最大值假设为100000，然后乘以加强系数权值A假设为1.5，最后输出给测试工程师的测试值为：100000×1.5＝150000。

对于正常测试：测试输入的邻居数＝100，实际测试数据生成器设定的加强系数权值B假设为2，最后输出给测试工程师的测试值为：100×2＝200。

具体的处理流程详见图5，包括下列步骤：

接收客户端反馈的数据(步骤511)，该数据是由客户端根据测试工程师输入的测试特征值，如产品类型、功能模块、功能子模块、邻居数量、路由容量，经过数据转换单元32的转换而形成的实际测试数据生成器可识别的消息；

判断测试类型是否是异常测试(步骤512)，该步骤是根据客户端的测试类型输入单元输入的测试类型来判断的；

如果是，则根据客户端反馈的产品类型，选择产品理论承受的最大值，然后通过加强系数权值A，最终输出实际测试值＝理论最大值×权值A(步骤513)；

如果不是，则根据邻居数量、路由容量，通过加强系数权值B，得到最后的实际测试值＝客户端反馈值×权值B(步骤514)；

将所述实际测试值反馈回客户端(步骤515)。

点加量测试方法主要包括下述内容：

根据输入的功能模块以及输入的功能子模块，对比实际测试数据生成器35预先定义的模板(如表二所示的功能子模块模板)，取出相似的功能，得到最后的测试功能模块，然后通过该实际测试数据生成器35反馈到客户端，作为测试工程师测试的实际功能模块。

举例说明：

假设输入的功能模块是BGP，输入的功能子模块是BGP的Local-preference Attribute属性，那么这些测试特征值通过客户端的处理作为相应的消息反馈回服务器端的实际测试数据生成器35，实际测试数据生成器35进行如下处理：

1、找到预先定义的BGP模块；

2、取出上述BGP模块下的功能子模块模板(如表二所示的功能子模块模板)；

3、将上述输入的功能子模块与所述功能子模块模板进行比较；

4、找出与所述输入的功能子模块相似功能的功能子模块反馈给客户端。

例如Multi_exit_disc Attribute等N个功能子模块都是与Local-preferenceAttribute属性功能相似的功能子模块，那么这些功能子模块就由实际测试数据生成器反馈回客户端，测试工程师得到的结果就是：Loacal-preferenceAttribute、Multi_exit_disc Attribute等需要测试的功能子模块。

其中，所述模板可以由管理员通过控件对实际测试数据生成器35上定义的模板进行更新、增加、删除、修改等。

具体的处理流程详见图6A，包括下列步骤：

接收客户端反馈的功能模块以及功能子模块的消息(步骤611)：这里的功能模块和功能子模块是由客户端根据测试工程师输入的功能模块及功能子模块的测试特征值，经过数据转换单元32的转换而形成的实际测试生成器可识别的消息；

将所述功能子模块与预先定义的功能子模块模板进行比较(步骤612)，找出该功能子模块模板中与该功能子模块相似功能的功能子模块与所述功能模块一起作为实际需要测试的功能模块(步骤613)；

将所述实际需要测试的功能模块反馈回客户端(步骤614)。

详见图6B，其中，测试功能模块包括了客户反馈的功能模块和与客户反馈的功能子模块功能类似的功能子模块1～n。

脚本生成器36，主要作用是对客户端反馈回的消息进行处理，通过比较预先定义的脚本模板，自动下发相应功能模块的脚本模板，反馈回客户端，作为测试工程师实际测试过程中使用的脚本，达到测试的高效性。

其中，客户端反馈的消息包括功能模块和功能子模块。

其中，脚本是采用visual basic和java script编写，可以在登录到被测产品命令行界面的软件工具运行。测试工程师可以利用终端登录软件，如windows xp操作系统自带的超级终端，登录到被测产品，运行测试脚本，在测试人员不参与的情况下实现对被测产品的半自动化测试。

其中，脚本扩展是通过插件来实现的，可以由管理人员进行必要的添加、修改、删除等。通过该插件提高该脚本生成器组件的可扩展性，满足不同项目、不同产品的需求。根据本发明的较佳实施例，脚本模板定义如下：

脚本模板1：

for a＝1 to 20000000   ----循环次数

cmd“router bgp 65535“-----进入BGP的配置模式

crt.sleep 500

cmd“neighbor 10.254.250.97 route-reflector-client“----添加路由反射器的属性

crt.sleep 500                                       ---停顿0.5S，后续继续执行

cmd“neighbor 10.254.250.98 route-reflector-client“

crt.sleep 20000

cmd“no neighbor 10.254.250.97 route-reflector-client“----珊除路由反射器的属性

crt.sleep 500

cmd“no neighbor 10.254.250.98 route-reflector-client“

crt.sleep 20000

cmd“exit“

脚本模板2：

for a＝1000to 1254----循环次数

cmd″int vlan″&a&″″---进入接口配置模式

crt.sleep 100         ---等待时间

cmd″ip add 211.1.″&(a-999)&″.1255.255.255.0″----配置接口的IP地址

crt.sleep 500

cmd″router ospf 1000″---进入OSPF路由协议的配置模式

crt.sleep 100

cmd″net 211.1.″&(a-999)&″.00.0.0.255 area 1000″--配置通过OSPF的邻居

crt.sleep 500

cmd″exit″----退出

next    ---循环，进入下一次

脚本生成器36具体的处理流程详见图7A，包括下列步骤：

接收客户端反馈的功能模块以及功能子模块的消息(步骤711)：这里的功能模块和功能子模块是由客户端根据测试工程师输入的功能模块及功能子模块的测试特征值，经过数据转换单元32的转换而形成的脚本生成器36可识别的消息；

根据所述功能模块与功能子模块消息，找出对应的脚本模板作为实际测试需要的脚本(步骤712、713)；

将所述实际测试需要的脚本反馈回客户端(步骤714)。

详见图7B，其中，测试执行的脚本是与客户反馈的功能模块、功能子模块对应的脚本，格式为vb.js。

报文分析器37，主要作用是根据客户端反馈回的报文以及客户选择的报文分析条件，由报文分析器37进行自动的分析，最终输出到客户端，呈现给测试工程师更加具体和直观的图形界面。

其中，所述报文分析条件包括报文过滤选项、报文过滤关键值，通过这些分析条件(如目的IP、源IP等)对报文进行分析，形成波形图输出，用于指导测试工程的测试环境搭建过程中需要覆盖的报文流种类以及报文流的带宽。

需要说明的是，一般客户现场截获的报文，往往是通过抓包工具来抓取的，没有任何规律可言，仅仅显示的是某时刻网络中存在的哪些报文、这些报文的具体内容是什么，而网络流量究竟是怎么样的、网络带宽实际的分配情况无法直接有效的反馈给测试人员，同时网络中报文的种类和流量之大，使得测试工程师难于分析，或者分析起来非常耗时。

根据本发明实施例的报文分析器37，把简单的客户在现场截获的报文，通过一定的规则和关键值字段，进行必要的筛选和区分，建立起必要的报文模型，能够直观地反应网络具体到每个报文的流量和带宽占用情况。

报文分析器37处理报文图形主要是通过如下算法完成的，主要包括：

分类法：通过客户端反馈的特征值，这里主要包括报文过滤选项和报文过滤关键值，对所提交的报文进行分类，如分成报文1、报文2、报文3。

比较法：通过报文分类后，统计每类报文在一定时间段的流量，然后对比总流量，得出每类报文所占的网络带宽的比例，可以采用饼图、图表、条形图等形式直观显示每类报文在网络中的实际情况。

所述比较法可以有如下的方式(包括但不限于)：比较同一时段，不同类报文的分布情况；比较不同时段，同一类报文的分布情况；所有时段，每类报文的分布情况等等。

举例说明：

如图8所示的报文，通过报文分析器37根据报文过滤关键值如：目的地址、源地址、不同报文大小等进行分析排列，得出如图9所示的结果。

下面结合图10所示的系统组成示意图对本发明的系统和方法进行说明。

如图10所示，每个环节的处理步骤如下：

①：此步骤输入为市场反馈的信息，由市场支持人员提供。该市场反馈信息主要包括客户使用的功能模块信息、网络拓扑信息、实际使用的功能参数等未经分析过的数据；

②：此步骤为测试工程师根据市场反馈的信息进行提取，提取客户使用的具体功能模块、网络拓扑信息、路由条目等，作为客户端的输入；

③：此步骤是由客户端根据测试工程师输入的信息(如功能模块，功能子模块，路由信息等)转化为服务器可识别的消息，通过客户端与服务器间通讯通道反馈到服务器，作为服务器组件(实际测试数据生成器、测试脚本生成器、报文分析器)的输入；

④：此步骤是根据客户端反馈到服务器的消息中，提取出相应的功能模块，子功能模块、路由信息等部分，然后根据定义好的算法进行计算，输出测试数据。

⑤：此步骤是根据客户端反馈到服务器的消息中，提取出相应的功能模块，子功能模块等部分，然后根据脚本比对，输出脚本。

⑥：此步骤是根据客户端反馈到服务器的文件中，根据报文分析器的条件进行报文的分类、比较，输出报文分析后的图形。

⑦：此步骤是集④⑤⑥处理后的数据(实际测试数据、脚本、报文分析图)反馈回客户端。

⑧：通过前面几个步骤的处理，客户端得到了⑦步骤从服务器反馈回来的实际测试数据、脚本、报文分析图形，而这些数据经由测试工程师提取，得到实际测试必须使用的邻居数、路由条目、测试功能、子功能模块，同时 得到测试过程中需要执行的脚本；而对服务器反馈的报文图形进行分析，得到报文的种类，各个报文的大小等数据，作为测试环境的数据流。

⑨：⑧步骤测试结束后，根据测试工程师对整个测试过程的总结，可以通过插件对服务器中的实际测试数据生成器的算法、脚本模板、报文分析器的算法等进行必要的更新和丰富，不断强大服务器的处理功能。

需要特别说明的是，本发明该系统的客户端安装没有任何的限制，可以自由安装在测试工程师的PC上，主要是提供一个易于操作的界面和接口。而服务器，由专门的server充当，并且由项目管理者或者制定的工程师进行维护，主要是提供接收客户端返回的信息，并且按照预先定义好的算法和处理动作，对客户端产生的请求进行响应。

实际操作过程中，测试工程师对市场支持人员收集的数据进行分析提取，利用系统客户端给定的界面要求输入实际的特征值，经过客户端软件转化为服务器端可识别的消息，传输到本系统的服务器端，服务器端再通过预先定义的算法、报文分析器、脚本生成器，最终反馈回客户端具体的测试数据、需要覆盖的功能点、运行脚本、报文分析后的结果，而这些内容成为测试工程师在测试过程中需要覆盖的功能点和数值、脚本、报文流等。

本发明的系统同时具有良好的扩展性，可以根据系统预留的插件进行相应的管理，针对不同的数通产品、不同的功能、不同客户的需求进行必要的扩展，满足不断变化的数通产品测试需求。

总之，本发明提供了一个客户端-服务器端(C-S：Client/Server)结构的系统，通过该系统可以充分利用两端硬件环境的优势，将任务合理分配到Client端和Server端来实现，降低了系统的通讯开销，用户通过client端进行操作，而数据的处理均在服务器端完成。同时本发明也可以进行简单的扩展，形成B/S(Browser/Server)结构，即浏览器和服务器结构，用户可以通过3W浏览器进行操作，极少部分事务逻辑在前端(Browser)实现，但是主要事务逻辑在服务器端(Server)实现，形成所谓三层3-tier结构。这样就 大大简化了客户端电脑载荷，减轻了系统维护与升级的成本和工作量，降低了用户的总体成本。

下面列举一个路由协议测试过程中的例子对本发明进行进一步详细说明：

客户端输入：

功能模块：BGP；

功能子模块：med；

邻居数：100；

路由数：1000；

测试模型：异常测试；

产品类型：XXX(这里是指产品型号，可由厂家根据其为产品定义的型号自行定义，便于识别即可)；

报文选择：通过源地址

报文提交：以*.cap，*.pcap为后缀文件名。

客户端处理流程：

1、把上述信息打包成服务器可识别的消息；

2、通过FTP提交报文到服务器端。

服务器端处理流程：

实际测试数据生成器处理流程：

实际测试数据生成器接收到客户端反馈的消息，提取到：

功能模块：BGP；子功能模块：med；邻居数：100；路由数：1000；测试类型：异常测试；产品类型：XXX。

根据预先定义的点加量测试方法和内部存储的功能子模块模板(表二)，输出：

功能模块：BGP

子功能模块：(参见表二)

Orign Attribute

As_path Attribute

Next_hop Attribute

Local_preference Attribute

Atomic_aggregate Attribute

Aggregator Attribute

Community Attribute

Originator_ID Attribute

Cluster_list Attribute

根据测试模型为异常测试，调用步骤513(详见图5)，同时根据产品类型XXX，实际测试生成器输出：

路由数：XXX的最大路由理论值×1.5(加权系数)＝10000×1.5＝15000；

邻居数：100(客户端反馈值)×3(加权系数)＝300。

脚本生成器处理流程：

脚本生成器接收到客户端反馈的消息，提取到：

功能模块：BGP；子功能模块：med。

根据对比预先定义好的脚本，服务器输出脚本1：

for a＝1to 20000000  ----循环次数

cmd“router bgp 65535“-----进入BGP的配置模式

crt.sleep 500

cmd“neighbor 10.254.250.97 route-reflector-client“----添加路由反射器的属性

crt.sleep 500                                       ---停顿0.5S，后续继续执行

cmd“neighbor 10.254.250.98 route-reflector-client“

crt.sleep 20000

cmd“no neighbor 10.254.250.97route-reflector-client“----删除路由反射器的属性

crt.sleep 500

cmd“no neighbor 10.254.250.98route-reflector-client“

crt.sleep 20000

cmd“exit“

报文生成器处理流程：

报文生成器接收到客户端提交的报文，根据分类法和比对法，服务器输出报文分析结果，如图11所示的数据包大小分布图。在该图中，横轴表示报文的分类，纵轴表示占用的比例，根据这个报文分析结果图，可以清楚每类报文所占用总带宽的一个比例值，使得报文分析更加直观。

客户端接收服务端反馈后的处理流程：

接收实际测试数据生成器的数据：

对于实际测试数据生成器反馈过来的数据，如功能模块、功能子模块、邻居数、路由数等，这部分数据作为测试工程师测试过程的输入，在搭建环境和测试过程中必须覆盖，包括功能点、邻居数、路由数。

接收脚本生成器的数据：

对于脚本生成器产生的脚本，作为测试工程师测试过程必须使用的脚本，通过脚本的执行来达到测试设备的半自动化，提高测试的效率。

接收报文分析器的数据：

对于报文分析器分析的报文图形，测试工程师通过对报文图形的简单分析，得到报文的种类、报文的大小(这些可从图中直观获得)，在搭建环境过程中必须覆盖到分析后的报文，以及各个报文的大小。

本发明的有益效果在于：

1、本系统可以提高测试的强度，通过服务器预定好的测试方法，能够对测试工程的测试强度进行必要的增加，从而提高产品的稳定性。其中，通过预先定义好的测试方法(如加量测试方法、点加量测试方法等)根据预先定义的加强系数权值，把市场得到的测试特征值与加强系数权值相乘，例如： 市场人员反馈回的路由协议邻居数200，加强系数权值为A，那么测试工程师提取的实际值便为200×A，得到测试工程师实际测试过程中使用的具体数值，来提高产品功能点的覆盖度，满足客户的潜在需求，并且可以通过该算法提高测试的强度。

2、提高了测试的覆盖度，通过预定的点加量测试方法，得到相应类似功能的输出，通过这个输出指导测试工程师完成必要的产品功能覆盖，从而提高产品的覆盖度。

3、完善实验室测试过程中对实际市场环境模拟的不足，提高数通产品测试质量。

4、通过预先定义的脚本，根据测试工程师输入的测试特征值自动下发测试脚本；根据提交的报文，通过不同的分析方法，自动分析报文，能够实现测试的半自动化，提高测试工程师的执行效率。

总之，本发明立志于提升产品的质量，达到基于市场应用测试的高强度、高覆盖率、高效率。通过本发明的运用，在数通产品的测试前期通过客户端收集输入后，由客户端对收集的数据进行分类处理后提交到服务器端；同时通过本系统的服务端运行，对客户端输入的数据进行加工处理，从而达到集数据分析、数据处理、报文分析、脚本输出为一体的效果，进而提高测试的强度、覆盖度、测试效率。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种测试用例生成系统，该系统包括客户端和服务器端，其特征在于：

所述客户端用于提供可操作的界面及接口，该客户端主要包括：

特征值输入单元，用于输入测试特征值；

数据转换单元，用于将所述测试特征值转换为所述服务器端可识别的信息；以及

特征值传输单元，用于将所述转换后的测试特征值传输到所述服务器端；

所述服务器端用于接收所述测试特征值，按照预先定义的算法和处理动作，对客户端产生的请求进行响应，生成所需的测试用例，该服务器端主要包括：

实际测试数据生成器，用于根据预先定义的算法对所述测试特征值进行计算，生成实际测试数值反馈回客户端，该测试特征值包括产品类型、测试类型、功能模块、功能子模块、邻居数量以及路由容量；

测试脚本生成器，用于根据所述测试特征值，在预先定义的脚本模板中选择对应所述测试特征值的脚本反馈回所述客户端，该测试特征值包括功能模块和功能子模块；以及

报文分析器，用于根据所述测试特征值，对客户端上传的报文进行分析，生成波形图反馈回所述客户端，该测试特征值包括报文过滤选项和报文过滤关键值。

2.根据权利要求1所述的系统，其特征在于，所述特征值输入单元包括：

产品类型输入单元，用于输入产品类型，该产品类型包括数据通信产品；

测试类型输入单元，用于输入测试类型，该测试类型包括正常测试或异常测试。

3.根据权利要求2所述的系统，其特征在于，所述特征值输入单元还包括：

功能模块输入单元，用于输入测试模块，该测试模块包括大型边界网关协议模块、开放式最短路径优先模块或者路由信息协议模块；

功能子模块输入单元，用于输入所述测试模块下的路由属性值，该路由属性值包括团体属性或本地优先级属性；

邻居数量输入单元，用于输入邻居数量，该邻居数量为整数值，范围为0-1000；

路由容量输入单元，用于输入路由容量，该路由容量为整数值，范围为0-1000000。

4.根据权利要求3所述的系统，其特征在于，所述特征值输入单元包括：

报文过滤选项输入单元，用于输入报文过滤选项；

报文过滤的关键值输入单元，用于输入报文过滤关键值。

5.根据权利要求4所述的系统，其特征在于，所述特征值输入单元还包括：

操作维护单元，用于通过所述服务器端对该客户端的界面及接口进行更新、增加、修改和删除操作。

6.一种测试用例生成方法，其特征在于，该方法包括下列步骤：

接收客户端反馈的测试特征值，该测试特征值包括产品类型、测试类型、功能模块、功能子模块、邻居数量、路由容量、报文过滤选项和报文过滤的关键值；

通过以下三种情况分别生成各自的测试用例反馈回客户端，包括：

根据预先定义的算法对所述测试特征值进行计算，生成实际测试数值反馈回所述客户端，该测试特征值包括产品类型、测试类型、功能模块、功能子模块、邻居数量和路由容量；

根据所述测试特征值，在预先定义的脚本模板中选择对应所述测试特征值的脚本反馈回所述客户端，该测试特征值包括功能模块和功能子模块；

根据所述测试特征值，对所述客户端上传的报文进行分析，生成波形图反馈回所述客户端，该测试特征值包括报文过滤选项和报文过滤关键值。

7.根据权利要求6所述的方法，其特征在于，所述预先定义的算法包括加量测试方法，该方法包括下列步骤：

判断测试类型是否是异常测试；

如果是，则根据客户端反馈的产品类型，选择产品理论承受的最大值，输出实际测试值＝理论最大值×A，其中A为预先定义的加强系数权值；

如果不是，则根据邻居数量或路由容量，输出实际测试值＝客户端反馈值×B，其中B为预先定义的加强系数权值。

8.根据权利要求7所述的方法，其特征在于，所述预先定义的算法还包括点加量测试方法，该方法包括下列步骤：

根据所述功能模块提取预先定义的功能子模块模板；

将所述功能子模块与功能子模块模板进行比较，找出功能子模块模板中与所述功能子模块相似功能的功能子模块，与所述功能模块一起作为实际需要测试的功能模块输出。

9.根据权利要求6所述的方法，其特征在于，根据所述测试特征值，在预先定义的脚本模板中选择对应所述测试特征值的脚本反馈回所述客户端，具体包括下列步骤：

根据所述功能模块与功能子模块，与预先定义的脚本模块进行比较；

找出与所述功能模块和功能子模块对应的脚本作为实际测试需要的脚本输出。

10.根据权利要求6所述的方法，其特征在于，根据所述测试特征值，对所述客户端上传的报文进行分析，生成波形图反馈回所述客户端，具体包括下列步骤：

根据所述报文过滤选项和报文过滤关键值，采用分类法和对比法对客户端上传的报文进行分析，生成报文分析结果输出。

Images