CN114363226B - 一种基于虚拟化复杂网络场景中设备自动测试方法和系统 - Google Patents

Abstract

本申请提供一种基于虚拟化复杂网络场景中设备自动测试方法和系统，其中方法包括：使用主控设备定制并调取测试用例，使用主控设备配置OVS命令以及OVS接口，根据测试用例，使用主控设备在宿主机内部创建测试需要的虚拟网络，根据虚拟网络的虚拟化版本，创建多个虚拟化设备，使用虚拟化网络设备运行测试用例,获取测试结果。系统包括：宿主机模块、主控设备模块、测试设备模块、测试网络模块以及控制网络模块，所述测试设备模块包括虚拟测试设备模块以及外部测试设备模块。本申请主控设备根据测试用例使用OVS建立复杂的软件模拟网络环境，用于自动化测试网络设备，很好的解决了无法自动切换测试的拓扑，浪费人力和测试时间的问题。

Description

一种基于虚拟化复杂网络场景中设备自动测试方法和系统

技术领域

本发明涉及网络通信技术领域，特别是涉及一种基于虚拟化复杂网络场景中设备自动测试方法和系统。

背景技术

随着网络的发展，大量的网络设备被投入使，使得网络设备生产商不得不扩大生产规模以应付越来越大的市场需求。而且网络功能虚拟化已成为当下一个主要技术热点，每一个网络功能业务都希望通过基础硬件设施层获得最大可能的网络转发性能。

在对网络设备进行测试的过程中，往往要使用各种测试方法和测试设备。目前的自动化测试方法只是涉及到通过测试设备实现对待测试的网络设备的自动化测试，而测试设备本身是需要手动控制的，就是说如果要测试多个网络设备的复杂网络设备场景。需要测试人员手动将设备按照测试用例中的网络拓扑连接起来。然后开始加载自动化测试工具开始测试，然后等待返回测试结果。这样无法做到全流程的自动化，随着生产规模的扩大，在无人值守的情况下，无法自动切换测试的拓扑，浪费人力和测试时间。

发明内容

针对现有测试设备在进行自动化测设的过程中所存在的无法自动切换测试的拓扑，导致浪费人力和测试时间的问题，本申请提供一种基于虚拟化复杂网络场景中设备自动测试方法和系统，以解决现有测试设备无法切换测试的拓扑、浪费人力和测试时间的问题。

第一方面，本申请提供一种基于虚拟化复杂网络场景中设备自动测试方法，包括：

S1,使用主控设备定制并调取测试用例；

S2,使用所述主控设备配置OVS命令以及OVS接口；

S3,根据所述测试用例和所述OVS命令以及OVS接口，使用所述主控设备在宿主机内部创建测试需要的虚拟网络；

S4,根据所述虚拟网络的虚拟化版本，创建多个虚拟化设备，所述虚拟化设备包括虚拟化网络设备以及虚拟化测试设备；

S5,使用所述虚拟化网络设备运行测试用例,获取测试结果。

进一步地，所述开始运行测试用例包括：

所述主控设备通过所述虚拟化设备的虚拟控制台给所述虚拟化设备配置基础网络配置；

所述主控设备通过所述虚拟化设备的虚拟控制台，下发所有命令；

所述主控设备自动检查下发命令结果，得到检查结果，所述自动检查方式包括直接配置检查以及间接配置检查；

判断所述检查结果，如果所述检查结果为下发命令结果正常，所述主控设备控制所述虚拟化测试设备，发起拟真测试流量，生成拟真测试结果。

进一步地，所述根据所述虚拟网络的虚拟化版本，创建多个虚拟化设备包括：

根据所述OVS命令以及OVS接口，将所述虚拟化设备的管理口加入管理网络中；

根据所述OVS命令、OVS接口以及测试用例，将所述虚拟化网络设备的业务口以及所述虚拟测试设备的测试口加入到对应的OVS网络中；

根据所述测试用例，使用主控设备给所述虚拟化设备配置地址。

进一步地，所述使用所述虚拟化网络设备运行测试用例,获取测试结果包括：

所述主控设备生成自动化测试的测试报告；

清理测试现场，删除所述虚拟化设备。

进一步地，所述主控设备生成自动化测试的测试报告包括：

所述主控设备综合所述检查结果以及所述拟真测试结果，生成自动化测试的测试报告。

进一步地，所述仿真场景的测试结果包括：

所述主控设备自动根据所述测试用例，实现自动化测试拓扑，并在所述宿主机中，生成仿真流量，进行复杂网络环境的场景仿真测试。

进一步地，所述主控设备自动检查下发命令结果，得到检查结果包括：

主控设备自动根据所述测试用例，进行配置检查；

所述配置检查方法包括，SSH、TELNET、WEBUI以及RESTfulAPI配置方式。

第二方面，本申请提供一种基于虚拟化复杂网络场景中设备自动测试系统，适用于一种基于虚拟化复杂网络场景中设备自动测试方法，其特征在于，所述系统包括：

宿主机模块、主控设备模块、测试设备模块、测试网络模块以及控制网络模块，所述测试设备模块包括虚拟测试设备模块以及外部测试设备模块；

所述宿主机模块被配置为创建测试需要的虚拟网络；

所述主控设备模块被配置为控制系统运行；

所述测试设备模块被配置为测试虚拟网络设备；

所述控制网络模块被配置为连接所述主控模块、测试设备模块与宿主机模块；

所述测试网络模块被配置为连接所述测试设备模块与虚拟网络设备。

针对现有测试设备在进行自动化测设的过程中所存在的无法自动切换测试的拓扑，导致浪费人力和测试时间的问题，本申请提供一种基于虚拟化复杂网络场景中设备自动测试方法和系统，其中方法包括：使用主控设备定制并调取测试用例，使用主控设备配置OVS命令以及OVS接口；根据测试用例和OVS命令以及OVS接口，使用主控设备在宿主机内部创建测试需要的虚拟网络，根据虚拟网络的虚拟化版本，创建多个虚拟化设备，使用虚拟化网络设备运行测试用例,获取测试结果。系统包括：宿主机模块、主控设备模块、测试设备模块、测试网络模块以及控制网络模块，所述测试设备模块包括虚拟测试设备模块以及外部测试设备模块。本申请可以通过OVS在宿主机内部实现多设备，多网络的负载网络环境。并且可以灵活的做出修改。同时，测试过程完全避免了有人值守，可以持续的自动化测试。最后，使用此方法，一台服务器可以替代多台实体的网络设备，更加省电，节能环保。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一种基于虚拟化复杂网络场景中设备自动测试方法流程图；

图2是本申请一种基于虚拟化复杂网络场景中设备自动测试系统框图。

具体实施方式

下面将详细地对实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下实施例中描述的实施方式并不代表与本申请相一致的所有实施方式。仅是与权利要求书中所详述的、本申请的一些方面相一致的系统和方法的示例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

第一方面，如图1所示，本申请提供一种基于虚拟化复杂网络场景中设备自动测试方法，包括：

S1,使用主控设备定制并调取测试用例；

S2,使用所述主控设备配置OVS命令以及OVS接口；

S3,根据所述测试用例和所述OVS命令以及OVS接口，使用所述主控设备在宿主机内部创建测试需要的虚拟网络，比如创建多个虚拟网桥等；

S4,根据所述虚拟网络的虚拟化版本，创建多个虚拟化设备，所述虚拟化设备包括虚拟化网络设备以及虚拟化测试设备；其中网络设备包含防火墙，路由器，上网行为管理等实现网络传输功能的设备，测试设备指测试中需要的用于网络功能测试的专有设备，比如ixia等。

S5,使用所述虚拟化网络设备运行测试用例,获取测试结果。

软件工程中的测试用例是一组条件或变量，测试者根据它来确定应用软件或软件系统是否正确工作。确定软件程序或系统是否通过测试的方法叫做测试准则。

测试用例是将软件测试的行为活动做一个科学化的组织归纳，目的是能够将软件测试的行为转化成可管理的模式；同时测试用例也是将测试具体量化的方法之一，不同类别的软件，测试用例是不同的。不同于诸如系统、工具、控制、游戏软件，管理软件的用户需求更加不同的趋势。

要使最终用户对软件感到满意，最有力的举措就是对最终用户的期望加以明确阐述，以便对这些期望进行核实并确认其有效性。测试用例反映了要核实的需求。然而，核实这些需求可能通过不同的方式并由不同的测试员来实施。例如，执行软件以便验证它的功能和性能，这项操作可能由某个测试员采用自动测试技术来实现；计算机系统的关键步骤可通过手工测试和观察来完成；不过，市场占有率和销售数据(以及产品需求)，只能通过评测产品和竞争销售数据来完成。

既然可能无法(或不必负责)核实所有的需求，那么是否能为测试挑选最适合或最关键的需求则关系到项目的成败。选中要核实的需求将是对成本、风险和对该需求进行核实的必要性这三者权衡考虑的结果。

进一步地，所述开始运行测试用例包括：

所述主控设备通过所述虚拟化设备的虚拟控制台给所述虚拟化设备配置基础网络配置；

所述主控设备通过所述虚拟化设备的虚拟控制台，下发所有命令；其中命令包括：通过SSH或TELNET等命令行接口，使用python的模块pexpect下发命令配置；或者通过HTTP或HTTPS接口，使用python的selenium下发WEBUI配置；或者通过CURL程序下发RESTful配置。并且主控设备需要检查配置下发的结果，检查方式可以是直接检查，比如通过命令行检查命令下发结果、通过WEBUI检查UI下发结果。或者交叉检查，通过命令行检查WEBUI下发结果，通过WEBUI检查命令行下发结果。

所述主控设备自动检查下发命令结果，得到检查结果，所述自动检查方式包括直接配置检查以及间接配置检查；

判断所述检查结果，如果所述检查结果为下发命令结果正常，所述主控设备控制所述虚拟化测试设备，发起拟真测试流量，生成拟真测试结果。

进一步地，所述根据所述虚拟网络的虚拟化版本，创建多个虚拟化设备包括：

根据所述OVS命令以及OVS接口，将所述虚拟化设备的管理口加入管理网络中；

根据所述OVS命令、OVS接口以及测试用例，将所述虚拟化网络设备的业务口以及所述虚拟测试设备的测试口加入到对应的OVS网络中；

根据所述测试用例，使用主控设备给所述虚拟化设备配置IP地址，子接口或者桥接等基础网络配置。

其中，OVS翻译为利用软件的方式形成交换部件，所以也叫软件交换机，是一个高质量的，多层虚拟交换机(网络分层的层)，其目的是让大规模网络自动化可以通过编程扩展，同时仍然支持标准的管理接口和协议：NetFlow.SFlow...等，并且它还支持多个物理机的分布式环境，跟传统的物理交换机相比，虚拟交换机有很多优点：1.配置灵活，因为是软件实现的，一台物理服务器上可以配置数十台或者数百台虚拟交换机，而且端口数目可以灵活选择。2.成本低廉，通过软件的方式可轻易达到10Gbps的交换速度。

虽然是虚拟交换机，但是其工作原理与物理交换机类似。在虚拟交换机的实现中，其两端分别连接着物理网卡和多块虚拟网卡。，当数据包从虚拟机发出后，首先将通过虚拟机上配置的虚拟网卡。虚拟网卡会根据一些既定的规则决定如何处理数据包，例如放行、阻隔或者修改。数据包在被网卡放行后将转发至虚拟交换机，与其他虚拟交换机不同的是，提供了OpenFlow支持能力的OVS将根据自身保存的流表对数据包进行匹配，如果匹配成功则按照相应的指令进行数据包操作，如果匹配未成功则将数据包发给控制器等待相关流表的指定和下发。当数据包需要通过物理网卡转发时，它将会被发送到与虚拟交换机相连的物理网卡上，进而被转发给外部网络设备。

其中，ovsdb-sever是OVS的数据库服务器，用于管理ovsdb，通过与ovs-vswitchd之间的UNIXsocket机制进行通信，来存储虚拟交换机的配置信息。ovs-vswitchd是OVS的核心部件，它和上层controller通信遵从OPENFLOW协议，它与ovsdb-server通信使用OVSDB协议，它和内核模块通过netlink通信。ovskernelmodule是OVS的内核模块，如果在内核的缓存中找到转发规则就转发，否则发向用户空间去处理。

虚拟化，是指通过虚拟化技术将一台计算机虚拟为多台逻辑计算机。在一台计算机上同时运行多个逻辑计算机，每个逻辑计算机可运行不同的操作系统，并且应用程序都可以在相互独立的空间内运行而互不影响，从而显著提高计算机的工作效率。

网络功能虚拟化已成为当下一个主要技术热点，每一个网络功能业务都希望通过基础硬件设施层获得最大可能的网络转发性能。传统虚拟化技术中，由于在处理来自于虚拟机操作系统的I/O请求时，为了保证隔离性和安全性，通常需要虚拟机监控程序介入，即陷入到虚拟机监控程序并模拟硬件执行，引入了额外的I/O开销，而又由于I/O通常是计算机系统中较为频繁的操作，因此导致了I/O虚拟化的效率低下。

进一步地，所述使用所述虚拟化网络设备运行测试用例,获取测试结果包括：

所述主控设备生成自动化测试的测试报告；

清理测试现场，删除所述虚拟化设备。

进一步地，所述主控设备生成自动化测试的测试报告包括：

所述主控设备综合所述检查结果以及所述拟真测试结果，生成自动化测试的测试报告。

进一步地，所述仿真场景的测试结果包括：

所述主控设备自动根据所述测试用例，实现自动化测试拓扑，并在所述宿主机中，生成仿真流量，进行复杂网络环境的场景仿真测试，设备配置文件将在测试过程当中用于取得各测试设备控制权、自动化划分拓扑。当我们在执行自动化脚本之前，往往需要检查一下各测试设备的物理连接是否正常，否则测试设备的连接问题可能会导致大量的测试失败，用例执行失败之后往往也需要确定是否与各测试设备物理连接相关。一股来说一个自动化系统中的测试设备有几十台，多的甚至上百台，每台测试设备有多条连接。这样一来，就可能有几百上千条测试设备连接需要检查，甚至更多。这将会耗费大量的人力去检查设备连接，并且操作稍有不慎可能导致已经检查过的连接又断掉了。这样不但会耗费大量人力，还会常常因为设备的连接问题导致测试计划延迟，严重影响项目测试进度。因此需要通过自动化测试拓扑方法来对测试设备进行检查，检查方法包括：通过链路层的发现协议来检查设备连接；以及通过接口的链路状态变化来检查。

进一步地，所述主控设备自动检查下发命令结果，得到检查结果包括：

主控设备自动根据所述测试用例，进行配置检查；

所述配置检查方法包括，SSH、TELNET、WEBUI以及RESTfulAPI配置方式等，其中，SSH为SecureShell的缩写，由IETF的网络工作小组(NetworkWorkingGroup)所制定；SSH为建立在应用层和传输层基础上的安全协议。SSH是目前较可靠，专为远程登录会话和其他网络服务提供安全性的协议。利用SSH协议可以有效防止远程管理过程中的信息泄露问题。SSH最初是UNIX系统上的一个程序，后来又迅速扩展到其他操作平台。SSH在正确使用时可弥补网络中的漏洞。SSH客户端适用于多种平台。几乎所有UNIX平台-包括HP-UX、Linux、AIX、Solaris、DigitalUNIX、Irix，以及其他平台，都可运行SSH。而Telnet协议是TCP/IP协议族中的一员，是Internet远程登陆服务的标准协议和主要方式。它为用户提供了在本地计算机上完成远程主机工作的能力。在终端使用者的电脑上使用telnet程序，用它连接到服务器。终端使用者可以在telnet程序中输入命令，这些命令会在服务器上运行，就像直接在服务器的控制台上输入一样。可以在本地就能控制服务器。要开始一个telnet会话，必须输入用户名和密码来登录服务器。Telnet是常用的远程控制Web服务器的方法。

WebUI则是网络产品界面设计(WebsiteUserInterface)的意思，设计范围包括常见的网站设计(如电商网站、社交网站)、网络软件设计(如邮箱、Saas产品)等。WUI设计与常见网站建设的区别是，WUI注重人与网站的互动和体验，以人为中心进行设计，而传统的网站建设是以功能为中心进行设计，随着用户对网站体验的日渐挑剔，网站建设的思想逐渐被淘汰。

第二方面，如图2所示，本申请提供一种基于虚拟化复杂网络场景中设备自动测试系统，适用于一种基于虚拟化复杂网络场景中设备自动测试方法，其特征在于，所述系统包括：

宿主机模块、主控设备模块、测试设备模块、测试网络模块以及控制网络模块，所述测试设备模块包括虚拟测试设备模块以及外部测试设备模块；

所述宿主机模块被配置为创建测试需要的虚拟网络；

所述主控设备模块被配置为控制系统运行；

所述测试设备模块被配置为测试虚拟网络设备；

所述控制网络模块被配置为连接所述主控模块、测试设备模块与宿主机模块；

所述测试网络模块被配置为连接所述测试设备模块与虚拟网络设备。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

本领域技术人员在考虑说明书及实践这里公开的申请后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (7)

1.一种基于虚拟化复杂网络场景中设备自动测试方法，其特征在于，包括：

使用主控设备定制并调取测试用例；

使用所述主控设备配置OVS命令以及OVS接口；

根据所述测试用例和所述OVS命令以及OVS接口，使用所述主控设备在宿主机内部创建测试需要的虚拟网络；

根据所述虚拟网络的虚拟化版本，创建多个虚拟化设备，所述虚拟化设备包括虚拟化网络设备以及虚拟化测试设备；

使用所述虚拟化网络设备运行测试用例,获取测试结果，包括：

所述主控设备通过所述虚拟化设备的虚拟控制台给所述虚拟化设备配置基础网络配置；

所述主控设备通过所述虚拟化设备的虚拟控制台，下发所有命令；所述命令包括：通过SSH或TELNET命令行接口，使用python的模块pexpect下发的命令配置；通过HTTP或HTTPS接口，使用python的selenium下发的WEBUI配置；通过CURL程序下发的RESTful配置；

所述主控设备自动检查下发命令结果，得到检查结果，所述自动检查方式包括直接配置检查以及间接配置检查；

判断所述检查结果，如果所述检查结果为下发命令结果正常，所述主控设备控制所述虚拟化测试设备，发起拟真测试流量，生成拟真测试结果。

2.根据权利要求1所述的一种基于虚拟化复杂网络场景中设备自动测试方法，其特征在于，所述根据所述虚拟网络的虚拟化版本，创建多个虚拟化设备包括：

根据所述OVS命令以及OVS接口，将所述虚拟化设备的管理口加入管理网络中；

根据所述OVS命令、OVS接口以及测试用例，将所述虚拟化网络设备的业务口以及虚拟测试设备的测试口加入到对应的OVS网络中；

根据所述测试用例，使用主控设备给所述虚拟化设备配置地址。

3.根据权利要求1所述的一种基于虚拟化复杂网络场景中设备自动测试方法，其特征在于，所述使用所述虚拟化网络设备运行测试用例,获取测试结果包括：

所述主控设备生成自动化测试的测试报告；

清理测试现场，删除所述虚拟化设备。

4.根据权利要求3所述的一种基于虚拟化复杂网络场景中设备自动测试方法，其特征在于，所述主控设备生成自动化测试的测试报告包括：

所述主控设备综合所述检查结果以及所述拟真测试结果，生成自动化测试的测试报告。

5.根据权利要求4所述的一种基于虚拟化复杂网络场景中设备自动测试方法，其特征在于，还包括：

所述主控设备自动根据所述测试用例，实现自动化测试拓扑，并在所述宿主机中，生成仿真流量，进行复杂网络环境的场景仿真测试。

6.根据权利要求1所述的一种基于虚拟化复杂网络场景中设备自动测试方法，其特征在于，所述主控设备自动检查下发命令结果，得到检查结果包括：

主控设备自动根据所述测试用例，进行配置检查；

所述配置检查方法包括，SSH、TELNET、WEBUI以及RESTful API配置方式。

7.一种基于虚拟化复杂网络场景中设备自动测试系统，适用于如权利要求1-6任一项所述一种基于虚拟化复杂网络场景中设备自动测试方法，其特征在于，所述系统包括：

宿主机模块、主控设备模块、测试设备模块、测试网络模块以及控制网络模块，所述测试设备模块包括虚拟测试设备模块以及外部测试设备模块；

所述宿主机模块被配置为创建测试需要的虚拟网络；

所述主控设备模块被配置为控制系统运行；

所述测试设备模块被配置为测试虚拟网络设备；

所述控制网络模块被配置为连接所述主控设备模块、测试设备模块与宿主机模块；

所述测试网络模块被配置为连接所述测试设备模块与虚拟网络设备。