CN102377733A - 应用层协议的自动化测试系统及其自动化测试方法 - Google Patents
应用层协议的自动化测试系统及其自动化测试方法 Download PDFInfo
- Publication number
- CN102377733A CN102377733A CN2010102520549A CN201010252054A CN102377733A CN 102377733 A CN102377733 A CN 102377733A CN 2010102520549 A CN2010102520549 A CN 2010102520549A CN 201010252054 A CN201010252054 A CN 201010252054A CN 102377733 A CN102377733 A CN 102377733A
- Authority
- CN
- China
- Prior art keywords
- test
- layer protocol
- application layer
- virtual
- protocol
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Maintenance And Management Of Digital Transmission (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明关于一种应用层协议的自动化测试系统及其自动化测试方法，其包括网络设备、与网络设备互联的虚拟服务端及虚拟客户端，及可远程登录操控网络设备、虚拟服务端及虚拟客户端的测试平台。测试平台执行用户提交的测试用例并调用虚拟客户端建立网络连接对应用层协议的调用。虚拟服务端接受和处理调用的请求并返回应用层协议的调用结果返回给虚拟客户端。测试平台测试测试用例执行后的返回值并输出测试结果。本发明的应用层协议的自动化测试系统及其方法节约大量进行人工搭建环境的时间，自动化程度高。
Description
技术领域
本发明涉及一种应用层协议的自动化测试系统及其自动化测试方法，尤其涉及一种应用于网络应用层协议的自动化测试系统及其方法。
背景技术
在过去的20多年中，人们已经发明了许多非常富有创造性的和奇妙的应用。例如，网页(Web)、文件传输、电子邮件、网络新闻和远程存取等等，以及现在正在构思和开发中的应用，例如声音点播、网际多目标网络广播(IP multicasting)、影视点播和因特网电话等等，这些叫做网络应用(networking applications)。
这些网络应用通过相应的应用层协议(application-layer protocol)来支持。例如，HTTP，FTP，SMTP，网络新闻传输协议(Network News TransferProtocol，NNTP)和Telnet等等。这些应用层协议的主要职责是把文件从一台主机传送到另一台主机，协议的主要内容是定义：
(1)消息的内容，例如请求消息和响应消息。
(2)各种消息类型的语法结构，也就是消息中的域(field)以及如何描述消息中的域。
(3)域的语义，也就是域所包含的信息的含义。
(4)确定通信程序何时发送消息和接收消息的规则。
图1列出了流行的部分应用层协议。这些应用层协议留驻在协议堆的最高层(层5)，它们依赖传输层(层4)提供两种类型的服务，一种是使用TCP的面向连接服务，另一种是使用用户数据包(User DatagramProtocol，UDP)的无连接服务。例如，HTTP使用TCP协议提供可靠的面向连接的服务，而为多媒体应用制定的协议一般都使用UDP协议提供不可靠的服务，所谓不可靠是指不保证在传输过程不丢失信息包，出现的错误数据既不纠正也不重传。
网络应用和网络应用层协议是两个不同的概念。例如，万维网(Web，World Wide Web，WWW)是环球超媒体信息网，是网络应用的典范，它可让用户从Web服务器上得到文档资料，它所运行的模式叫做客户机/服务机(Client/Server)模式，如图2所示。Web应用主要由下面几个部分组成：①文档格式标准(如HTML)，②Web浏览器(如Netscape Navigator，Internet Explorer)，③Web服务器(如Microsoft公司和Netscape公司的服务器)，④应用层上的协议HTTP。Web系统是负责把以HTML语言编写的多媒体文件从运行Web服务器的服务机上传送到运行Web浏览器的客户机，而Web的超文本传输协议(Hypertext Transfer Protocol，HTTP)是网络应用的一小部分。又如电子邮件系统是负责把电子邮件从源端电子邮件服务器(mail server)传送到终端电子邮件服务器，而简单邮件传输协议(Simple Message Transfer Protocol，SMTP)是该应用系统的一部分。
因特网的许多协议都定义在征求评议文件(Request For Comments，RFC)中。例如，应用层协议HTTP/1.1定义在RFC 2068中，简单邮件传输协议SMTP定义在RFC 821中。随着技术的不断更新，RFC也在不断修改。RFC经过讨论和实践之后就成为标准，并用“STD XXXX”来命名。
执行应用层协议的软件有两个单独的部分：一部分在服务机上运行，通常称为server(服务器)，另一部分在客户机上运行。例如，执行HTTP协议的软件，在服务机上的软件叫做HTTP服务器或者叫做WWW服务器，在客户机上的软件通常称为浏览器(browser)。
随着计算机和通信技术的飞速发展，网络管理技术已成为重要的前沿技术。在软件测试技术领域，目前对于应用层协议的测试主要采用的测试方法为人工测试，同时需要借助商用测试工具，如测试仪，交换机，测试平台等。人工测试有诸多缺点，测试数据随机，每次测试都需要人工进行比较判断，效率低，浪费人力资源；其次，受商用工具本身的限制，可重用性和可维护性差；再者，应用层协议的种类繁杂，人工测试容易出错；最后，不利于回归测试，需要人工反复测试。
近年来，也相继出现了一些网路应用和网路应用协议方面的自动化测试的方案，以下有所描述。
中国发明专利200910225682.5涉及一种应用层协议自动化测试方法及装置。其中，自动化测试方法包括：解析模式文件，并根据所述模式文件中的报文控制逻辑生成报文发送控制序列，所述报文发送控制序列用于控制所述模式文件中的报文内容；根据所述报文发送控制序列，发送包含有从所述模式文件中解析得到的所述报文内容的应用层报文；接收经由被测设备处理后的应用层报文，并从所述处理后的应用层报文中获得处理后的报文内容；根据所述模式文件中的报文检查规则检测所述处理后的报文内容。该专利揭示的应用层协议自动化测试方法及装置，实现对安全网管设备进行全面的自动化测试。
该发明专利虽然提供了一种自动化测试方案，但其侧重点是其自动化测试装置，并没有给出一个具体的自动化测试的基本流程。因此，该技术虽然在一定程度上实现了自动化测试，但不能在网络设备系统层面上对应用层协议进行较为完善的自动化测试。
有鉴于此，有必要提出一种全新的应用层协议的自动化测试系统及其方法以完成高自动化程度的网络应用层协议的自动化测试。
发明内容
本发明的目的在于提供一种应用层协议的自动化测试系统，其自动化程度高，节约大量进行人工搭建环境的时间。
本发明的又一目的在于提供一种应用层协议的自动化测试方法，其自动化程度高，测试效率高。
为实现上述目的，本发明是关于一种应用层协议的自动化测试系统，其包括网络设备、与网络设备互联的虚拟服务端及虚拟客户端，及可远程登录操控网络设备、虚拟服务端及虚拟客户端的测试平台。测试平台执行用户提交的测试用例并调用虚拟客户端建立网络连接对应用层协议的调用。虚拟服务端接受和处理调用的请求并返回应用层协议的调用结果返回给虚拟客户端。测试平台测试测试用例执行后的返回值并输出测试结果。
作为本发明的进一步改进，所述虚拟服务端和虚拟客户端建立相应的应用层的监视模块以判别各个不同的应用层协议。
作为本发明的进一步改进，所述监视模块是需要在虚拟服务端和虚拟客户端建立的相对应的应用协议进程。
为实现上述目的，本发明是关于一种应用层协议的自动化测试方法，其包括以下步骤：
S101：建立并初始化虚拟服务端、虚拟客户端及网络设备；
S102：检查网络的连通性，保证环境的正常工作；
S103：用户向测试平台提交网络应用层协议的相关测试用例，并由测试平台执行；
S104：虚拟服务端和虚拟客户端建立系统应用层的监视模块，判别各个不同的应用层协议；
S105：测试平台执行测试验证代码，并通过远程登录调用虚拟客户端，建立网络连接对应用层协议的调用，调用的请求由虚拟服务端接收和处理，然后将应用层协议的调用结果返回给虚拟客户端；
S106：执行所述测试验证代码测试其返回值；
S107：输出测试结果；
S108：结束测试。
作为本发明的进一步改进，所述步骤S103中用户向测试平台提交测试验证代码，并通过在测试平台上建立专门的文件夹提交测试用例。
作为本发明的进一步改进，所述系统应用层的监视模块为需要在虚拟服务端和虚拟客户端之间建立的相对应的应用协议进程。
作为本发明的进一步改进，所述步骤S106中，测试平台执行测试用例的测试验证代码并测试测试用例执行后的结果(即返回值)；在这个过程中，测试用例会对各种协议的相关特性进行判断，如果测试用例执行后的结果与期望结果相符合，则返回值为pass；若测试用例执行后的结果与期望结果不相符，则返回值为fail。
本发明的有益效果是：利用虚拟客户端和虚拟服务端完成应用层协议的自动化测试，节约大量人工搭建环境的时间，自动化程度高。
附图说明
图1是现有技术中流行的部分应用层协议列表；
图2是现有技术中客户机/服务机(Client/Server)模式的示意图；
图3是本发明应用层协议的自动化测试系统基本结构；
图4是本发明应用层协议的自动化测试方法的基本流程图。
具体实施方式
请参阅图3，本发明应用层协议自动化测试系统包括与网路设备连接的虚拟服务端及虚拟客户端、及通过网路远程登录以远程操控上述虚拟服务端、虚拟客户端及网路设备的测试平台。于本发明的较佳实施例中，测试平台通过专用的远程连接服务的标准协议来实现远程登录上述终端设备，如telnet软件。
图4为本发明的基本流程图，其处理流程如下：
S101：建立并初始化虚拟服务端、虚拟客户端及网络设备；
S102：检查网络的连通性，保证环境的正常工作；
S103：用户提交网络应用层协议的相关测试用例，并执行；其中本步骤中用户向测试平台提交测试验证代码，并通过在测试平台上建立专门的文件夹提交测试用例。然后测试平台执行这些提交的测试用例。
S104：建立系统应用层的监视模块，判别各个不同的应用层协议；本步骤中，系统应用层的监视模块由虚拟服务端和虚拟客户端建立，其为需要在虚拟服务端和虚拟客户端之间建立的相对应的应用协议进程。
S105：测试平台执行测试验证代码，并通过远程登录调用虚拟客户端，建立网络连接对应用层协议的调用，调用的请求由虚拟服务端接收和处理，然后将应用层协议的调用结果返回给虚拟客户端；
S106：执行所述测试验证代码测试其返回值；本步骤中，测试平台执行测试用例的测试验证代码并测试测试用例执行后的结果(即返回值)。在这个过程中，测试用例会对各种协议的相关特性进行判断，如果测试用例执行后的结果与期望结果相符合，则返回值为pass；若测试用例执行后的结果与期望结果不相符，则返回值为fail。
S107：输出测试结果；
S108：结束测试。
本发明的应用层协议的自动化测试方法通过虚拟机模拟多服务器端和多客户端的方法，实现现有测试平台调用测试用例，节约大量进行人工搭建环境的时间，解决了不便于回归测试的问题。同时，仅需要编写一些网络应用层协议的测试用例就可以完成网络应用层协议的测试，省却了人工进行网络应用层协议测试部署的步骤，从而实现了自动化测试。
特别需要指出的是，本发明具体实施方式中仅以该应用层协议的自动化测试方法作为示例，在实际应用中任何类型的应用层协议的自动化测试方法均适用本发明揭示的原理。对于本领域的普通技术人员来说，在本发明的教导下所作的针对本发明的等效变化，仍应包含在本发明权利要求所主张的范围中。
Claims (7)
1.一种应用层协议的自动化测试系统，其特征在于：其包括网络设备、与网络设备互联的虚拟服务端及虚拟客户端，及可远程登录操控网络设备、虚拟服务端及虚拟客户端的测试平台；测试平台执行用户提交的测试用例并调用虚拟客户端建立网络连接对应用层协议的调用；虚拟服务端接受和处理调用的请求并返回应用层协议的调用结果返回给虚拟客户端；测试平台测试测试用例执行后的返回值并输出测试结果。
2.如权利要求1所述的应用层协议的自动化测试系统，其特征在于，所述虚拟服务端和虚拟客户端建立相应的应用层的监视模块以判别各个不同的应用层协议。
3.如权利要求2所述的应用层协议的自动化测试系统，其特征在于，所述监视模块是需要在虚拟服务端和虚拟客户端建立的相对应的应用协议进程。
4.如权利要求1所述的应用层协议的自动化测试系统的应用层协议的自动化测试方法，其特征在于，其包括以下步骤：
S101：建立并初始化虚拟服务端、虚拟客户端及网络设备；
S102：检查网络的连通性，保证环境的正常工作；
S103：用户向测试平台提交网络应用层协议的相关测试用例，并由测试平台执行；
S104：虚拟服务端和虚拟客户端建立系统应用层的监视模块，判别各个不同的应用层协议；
S105：测试平台执行测试验证代码，并通过远程登录调用虚拟客户端，建立网络连接对应用层协议的调用，调用的请求由虚拟服务端接收和处理，然后将应用层协议的调用结果返回给虚拟客户端；
S106：执行所述测试验证代码测试其返回值；
S107：输出测试结果；
S108：结束测试。
5.如权利要求4所述的应用层协议的自动化测试系统的应用层协议的自动化测试方法，其特征在于，所述步骤S103中用户向测试平台提交测试验证代码，并通过在测试平台上建立专门的文件夹提交测试用例。
6.如权利要求4所述的应用层协议的自动化测试系统的应用层协议的自动化测试方法，其特征在于，所述系统应用层的监视模块为需要在虚拟服务端和虚拟客户端之间建立的相对应的应用协议进程。
7.如权利要求4所述的应用层协议的自动化测试系统的应用层协议的自动化测试方法，其特征在于，步骤S106中，测试平台执行测试用例的测试验证代码并测试测试用例执行后的结果(即返回值)；在这个过程中，测试用例会对各种协议的相关特性进行判断，如果测试用例执行后的结果与期望结果相符合，则返回值为pass；若测试用例执行后的结果与期望结果不相符，则返回值为fail。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2010102520549A CN102377733A (zh) | 2010-08-12 | 2010-08-12 | 应用层协议的自动化测试系统及其自动化测试方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2010102520549A CN102377733A (zh) | 2010-08-12 | 2010-08-12 | 应用层协议的自动化测试系统及其自动化测试方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN102377733A true CN102377733A (zh) | 2012-03-14 |
Family
ID=45795713
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2010102520549A Pending CN102377733A (zh) | 2010-08-12 | 2010-08-12 | 应用层协议的自动化测试系统及其自动化测试方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102377733A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106603328A (zh) * | 2016-12-01 | 2017-04-26 | 杭州迪普科技股份有限公司 | 一种测试流控设备协议识别能力的方法及装置 |
| CN107171854A (zh) * | 2017-06-19 | 2017-09-15 | 深圳市共进电子股份有限公司 | 一种自动化测试中模拟独立广域网服务器的方法 |
| CN107454124A (zh) * | 2016-05-31 | 2017-12-08 | 阿里巴巴集团控股有限公司 | 设备自动化方法及装置 |
| CN109857507A (zh) * | 2019-02-21 | 2019-06-07 | 成都安恒信息技术有限公司 | 一种自动化远程执行Windows程序的方法 |
| CN111130927A (zh) * | 2019-12-04 | 2020-05-08 | 中国电子科技集团公司第三十研究所 | 一种网络层通信终端设备业务测试自动化实现方法 |
| CN112738230A (zh) * | 2020-12-29 | 2021-04-30 | 成都三零瑞通移动通信有限公司 | 一种自动化网闸测试系统及其工作方法 |
| CN113726922A (zh) * | 2021-09-01 | 2021-11-30 | 北京百度网讯科技有限公司 | 一种网络应用层连接协议确定方法、装置及电子设备 |
| CN113938886A (zh) * | 2021-11-30 | 2022-01-14 | 上海派拉软件股份有限公司 | 身份认证平台测试方法、装置、设备及存储介质 |
| CN113960414A (zh) * | 2021-10-20 | 2022-01-21 | 珠海菲森电力科技有限公司 | 一种用于配电终端的虚拟测试方法 |
| CN114205274A (zh) * | 2021-11-02 | 2022-03-18 | 北京百度网讯科技有限公司 | 网络设备的测试方法及其装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040210665A1 (en) * | 2002-12-19 | 2004-10-21 | Ntt Docomo, Inc. | Protocol testing system and protocol testing method |
| CN1791037A (zh) * | 2005-12-26 | 2006-06-21 | 北京航空航天大学 | 一种实现Web服务自动化测试的方法 |
| WO2006119480A2 (en) * | 2005-05-03 | 2006-11-09 | Mcafee, Inc. | Website reputation product architecture |
| CN101162426A (zh) * | 2007-11-15 | 2008-04-16 | 中兴通讯股份有限公司 | 基于数据驱动的测试用例设计测试方法及自动测试平台 |
| CN101271423A (zh) * | 2008-05-19 | 2008-09-24 | 中兴通讯股份有限公司 | 一种软件接口测试方法及系统 |
-
2010
- 2010-08-12 CN CN2010102520549A patent/CN102377733A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040210665A1 (en) * | 2002-12-19 | 2004-10-21 | Ntt Docomo, Inc. | Protocol testing system and protocol testing method |
| WO2006119480A2 (en) * | 2005-05-03 | 2006-11-09 | Mcafee, Inc. | Website reputation product architecture |
| CN1791037A (zh) * | 2005-12-26 | 2006-06-21 | 北京航空航天大学 | 一种实现Web服务自动化测试的方法 |
| CN101162426A (zh) * | 2007-11-15 | 2008-04-16 | 中兴通讯股份有限公司 | 基于数据驱动的测试用例设计测试方法及自动测试平台 |
| CN101271423A (zh) * | 2008-05-19 | 2008-09-24 | 中兴通讯股份有限公司 | 一种软件接口测试方法及系统 |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107454124B (zh) * | 2016-05-31 | 2020-11-03 | 创新先进技术有限公司 | 设备自动化方法及装置 |
| CN107454124A (zh) * | 2016-05-31 | 2017-12-08 | 阿里巴巴集团控股有限公司 | 设备自动化方法及装置 |
| CN106603328A (zh) * | 2016-12-01 | 2017-04-26 | 杭州迪普科技股份有限公司 | 一种测试流控设备协议识别能力的方法及装置 |
| CN106603328B (zh) * | 2016-12-01 | 2019-11-12 | 杭州迪普科技股份有限公司 | 一种测试流控设备协议识别能力的方法及装置 |
| CN107171854A (zh) * | 2017-06-19 | 2017-09-15 | 深圳市共进电子股份有限公司 | 一种自动化测试中模拟独立广域网服务器的方法 |
| CN109857507B (zh) * | 2019-02-21 | 2022-03-08 | 成都安恒信息技术有限公司 | 一种自动化远程执行Windows程序的方法 |
| CN109857507A (zh) * | 2019-02-21 | 2019-06-07 | 成都安恒信息技术有限公司 | 一种自动化远程执行Windows程序的方法 |
| CN111130927A (zh) * | 2019-12-04 | 2020-05-08 | 中国电子科技集团公司第三十研究所 | 一种网络层通信终端设备业务测试自动化实现方法 |
| CN111130927B (zh) * | 2019-12-04 | 2021-12-17 | 中国电子科技集团公司第三十研究所 | 一种网络层通信终端设备业务测试自动化实现方法 |
| CN112738230A (zh) * | 2020-12-29 | 2021-04-30 | 成都三零瑞通移动通信有限公司 | 一种自动化网闸测试系统及其工作方法 |
| CN113726922A (zh) * | 2021-09-01 | 2021-11-30 | 北京百度网讯科技有限公司 | 一种网络应用层连接协议确定方法、装置及电子设备 |
| CN113726922B (zh) * | 2021-09-01 | 2023-10-31 | 北京百度网讯科技有限公司 | 一种网络应用层连接协议确定方法、装置及电子设备 |
| CN113960414A (zh) * | 2021-10-20 | 2022-01-21 | 珠海菲森电力科技有限公司 | 一种用于配电终端的虚拟测试方法 |
| CN113960414B (zh) * | 2021-10-20 | 2024-04-19 | 珠海菲森电力科技有限公司 | 一种用于配电终端的虚拟测试方法 |
| CN114205274A (zh) * | 2021-11-02 | 2022-03-18 | 北京百度网讯科技有限公司 | 网络设备的测试方法及其装置 |
| CN114205274B (zh) * | 2021-11-02 | 2024-06-11 | 北京百度网讯科技有限公司 | 网络设备的测试方法及其装置 |
| CN113938886A (zh) * | 2021-11-30 | 2022-01-14 | 上海派拉软件股份有限公司 | 身份认证平台测试方法、装置、设备及存储介质 |
| CN113938886B (zh) * | 2021-11-30 | 2024-04-05 | 上海派拉软件股份有限公司 | 身份认证平台测试方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102377733A (zh) | 应用层协议的自动化测试系统及其自动化测试方法 | |
| CN105302732B (zh) | 一种移动终端的自动测试方法及装置 | |
| US8965961B1 (en) | System and method of reducing latency using adaptive retransmission timeouts | |
| Binder et al. | Decentralized orchestration of compositeweb services | |
| WO2008067446A3 (en) | Ip based notification of device management operations in a network | |
| HK1106637A1 (en) | Server for routing connection to client device | |
| CN104519129A (zh) | 一种数据传输方法、设备及系统 | |
| WO2007040936A3 (en) | Providing and receiving content for computer networks using a gateway and server | |
| EP3809222B1 (en) | Vehicle remote diagnosis method and system | |
| CN106888272A (zh) | 基于第三方推送平台的客户端消息刷新方法 | |
| CN108282381A (zh) | 网络丢包率监控方法、装置及测试服务器 | |
| WO2008103565A1 (en) | Dispatching client requests to appropriate server-side methods | |
| CN103167535A (zh) | 一种用于wlan网络中ap的升级方法 | |
| CN102438015A (zh) | 一种物联网节点访问系统及方法 | |
| CN107124483A (zh) | 域名解析方法及服务器 | |
| CN107342910A (zh) | 模拟多用户进行网络访问的自动化测试方法及工具 | |
| Yue et al. | A MQTT protocol message push server based on RocketMQ | |
| CN107171889A (zh) | 网络应用接口的测试方法、装置及电子设备 | |
| CN104243482A (zh) | 一种智能设备控制方法及设备 | |
| CN108694121A (zh) | 一种自动化测试方法、装置及系统 | |
| CN102647432B (zh) | 一种认证信息传输方法、装置及认证中间件 | |
| CN101621532A (zh) | 一种使用线程池实现超文本传输协议应用的方法 | |
| CN101699823A (zh) | 一种在curl库中实现资源缓存的方法 | |
| CN102546737A (zh) | 无线互联网门户接入系统及方法 | |
| CN110798355A (zh) | 一种智能插座的配网方法、装置及智能插座和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20120314 |