CN106534289A - 自动化测试方法、装置及系统 - Google Patents

自动化测试方法、装置及系统 Download PDF

Info

Publication number
CN106534289A
CN106534289A CN201610958336.8A CN201610958336A CN106534289A CN 106534289 A CN106534289 A CN 106534289A CN 201610958336 A CN201610958336 A CN 201610958336A CN 106534289 A CN106534289 A CN 106534289A
Authority
CN
China
Prior art keywords
terminal
test
control unit
remote control
address
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610958336.8A
Other languages
English (en)
Other versions
CN106534289B (zh
Inventor
钟伟伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Comba Network Systems Co Ltd
Original Assignee
Comba Telecom Technology Guangzhou Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Comba Telecom Technology Guangzhou Ltd filed Critical Comba Telecom Technology Guangzhou Ltd
Priority to CN201610958336.8A priority Critical patent/CN106534289B/zh
Publication of CN106534289A publication Critical patent/CN106534289A/zh
Application granted granted Critical
Publication of CN106534289B publication Critical patent/CN106534289B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/06—Generation of reports
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/50—Testing arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0876—Network architectures or network communication protocols for network security for authentication of entities based on the identity of the terminal or configuration, e.g. MAC address, hardware or software configuration or device fingerprint
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Power Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及一种自动化测试方法、装置及系统，其中，自动化测试方法包括以下步骤：与终端进行通信，获取终端的IP地址和终端识别码；根据终端识别码，对终端进行识别与合法性校验；在终端通过合法性校验时，绑定IP地址与终端识别码，将终端列入待测终端队列；根据待测终端队列，向各终端分别发送测试指令，并接收各终端根据测试指令反馈的测试结果；统计分析测试结果，生成测试报告。本发明具有可实现远程操控、大数据流量成本低的优点，提高了测试效率和自动化程度。

Description

自动化测试方法、装置及系统
技术领域
本发明涉及移动通信技术领域，特别是涉及一种自动化测试方法、装置及系统。
背景技术
本地IP接入(Local IP Access，LIPA)和IP数据分流(Selected IP TrafficOffload，SIPTO)技术最初是基于家庭基站(Home(enhanced)Node B，H(e)NB)网络提出的，其含义是用户的业务流数据直接从家庭基站进行接入，不经过运营商的核心网络。LIPA技术是对H(e)NB功能的增强，允许终端通过H(e)NB访问家庭/企业内部的IP资源，为基于H(e)NB，开发更多的家庭/企业特色的应用提供了可能。
随着无线接入技术的发展，数据传输以更高的速率传递，用户数量的增加和用户数据传输速率的提高都对系统网元性能提出了更高要求。同时，数据流量的剧增造成了庞大的测试费用成本。随着移动通信技术的发展，数据费用问题更加突出。
在实现过程中，发明人发现传统技术中至少存在如下问题：传统的H(e)NB组网，由于组网架构以及安全性要求，加上终端IP地址、USIM卡的非固定的情况，网络侧设备无法实现终端测试的远程自动化控制。而当采用近端控制时，由于终端App(Application：测试软件)对USB(Universal Serial Bus：通用串行总线)、PC(Personal computer)机的依赖性强，在有大用户接入测试情况下，易导致测试场地和设备成本非常高。
发明内容
基于此，有必要针对移动通信系统中传统技术远程终端监控难、大数据测试流量成本高的问题，提供一种自动化测试方法、装置及系统。
为了实现上述目的，本发明技术方案的实施例为：
一方面，提供了一种自动化测试方法，包括以下步骤：
与终端进行通信，获取终端的IP地址和终端识别码；
根据终端识别码，对终端进行识别与合法性校验；
在终端通过合法性校验时，绑定IP地址与终端识别码，将终端列入待测终端队列；
根据待测终端队列，向各终端分别发送测试指令，并接收各终端根据测试指令反馈的测试结果；
统计分析测试结果，生成测试报告。
一方面，还提供了一种自动化测试方法，包括以下步骤：
与远程控制单元通信；
接收远程控制单元根据通信的结果输出的测试指令，根据测试指令进行相应测试，并向远程控制单元反馈测试结果。
另一方面，提供了一种自动化测试装置，包括：
通信配置模块，用于与终端进行通信，获取终端的IP地址和终端识别码；
校验识别模块，用于根据终端识别码，对终端进行识别与合法性校验；
终端管理模块，用于在终端通过合法性校验时，绑定IP地址与终端识别码，将终端列入待测终端队列；
指令模块，用于根据待测终端队列，向各终端分别发送测试指令；
数据处理模块，用于接收各终端根据测试指令反馈的测试结果，并统计分析测试结果，生成测试报告。
另一方面，还提供了一种自动化测试装置，包括：
通信模块，用于与远程控制单元通信；
测试模块，用于接收远程控制单元根据通信的结果输出的测试指令，根据测试指令进行相应测试，并向远程控制单元反馈测试结果。
一方面，提供了一种自动化测试系统，包括连接接入侧设备的各终端，以及连接在接入侧设备与网络侧设备之间的远程控制单元；
远程控制单元通过接入侧设备与终端进行通信，获取终端的IP地址和终端识别，并根据终端识别码，对终端进行识别与合法性校验；在终端通过合法性校验时，绑定IP地址与终端识别码，将终端列入待测终端队列；并根据待测终端队列，向各终端分别发送测试指令；
各终端根据测试指令向远程控制单元反馈测试结果；远程控制单元统计分析测试结果，生成测试报告。
上述技术方案具有如下有益效果：
本发明自动化测试方法、装置及系统，远程控制单元通过接入侧设备实现对终端的远程控制，实现自动化测试，可扩展性高。终端分析接收到的测试指令，并根据指令内容执行相应的测试，向远程控制单元返回测试结果；远程控制单元完成测试指令的维护与管理，并且接收终端返回的测试结果，根据测试结果生成测试报告。终端通过接入侧设备实现与远程控制单元的互联互通，从而实现远程控制的自动化测试。可以有效降低大数据量下的流量成本问题，本发明具有可实现远程操控、大数据流量成本低的优点，提高了测试效率和自动化程度。
附图说明
图1为本发明从远程控制单元角度实施的自动化测试方法实施例1的流程示意图；
图2为本发明从终端角度实施的自动化测试方法实施例1的流程示意图；
图3为本发明从终端角度实施的自动化测试方法一具体实施例的流程示意图；
图4为本发明自动化测试方法实施例1的流程示意图；
图5为本发明自动化测试方法实施例1中终端数据面的数据流通方式示意图；
图6为本发明从远程控制单元侧实施的自动化测试装置实施例1的结构示意图；
图7为本发明从终端侧实施的自动化测试系统实施例1的结构示意图；
图8为本发明自动化测试系统实施例1的结构示意图；
图9为本发明自动化测试系统中远程控制单元的结构示意图；
图10为本发明自动化测试系统一实际应用中的结构示意图。
具体实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的首选实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
本发明从远程控制单元角度实施的自动化测试方法实施例1：
为了解决移动通信系统中传统远程终端监控难、大数据测试流量成本高的问题，本发明提供了一种从远程控制单元角度实施的自动化测试方法实施例1；图1为本发明从远程控制单元角度实施的自动化测试方法实施例1的流程示意图；如图1所示，可以包括以下步骤：
步骤S110：与终端进行通信，获取终端的IP地址和终端识别码；
步骤S120：根据终端识别码，对终端进行识别与合法性校验；
步骤S130：在终端通过合法性校验时，绑定IP地址与终端识别码，将终端列入待测终端队列；
步骤S140：根据待测终端队列，向各终端分别发送测试指令，并接收各终端根据测试指令反馈的测试结果；
步骤S150：统计分析测试结果，生成测试报告。
具体而言，本发明各实施例中提到的远程控制单元属于网络侧设备中的一种，即远程控制单元位于网络侧设备，属于独立的网元，可以作为远程控制的主体。同时，远程控制单元和终端(或终端测试软件)可以是一对多的关系，使得在以真实终端展开的类似大话务测试中，保证各终端的自动化测试更便捷更可控，提高测试效率。
通常将移动通信系统分用户终端、接入侧和网络侧，本发明各实施例中出现的接入侧设备、网络侧设备的名称是为了方便区分对象所在的位置。接入侧设备可以指能够为终端提供移动信号和业务接入，使终端能够获得网络服务的中间设备；而网络侧设备，指的是处于网络端的服务器，例如FTP(File Transfer Protocol：文件传输协议)服务器、Web服务器、百度服务器等等；移动通信系统中，接入侧设备通常可以包括基站设备、网关设备等；接入侧设备因其组网方式不同，接入侧设备也不同，例如基站、基站+本地控制器、基站+网关等(具体可参见图5)。
其中，在实际应用中，本发明各实施例中提到的终端，还可以为安装有App(测试软件)的终端，远程控制单元同样可以通过与该终端测试软件的通信实现对终端自动化测试的远程控制。
而由于安装有App(测试软件)的终端，不一定是需要测试的终端，也可能是测试员工的个人手机。如果没有对终端进行识别与合法性校验，终端或安装有App的终端，在链路正常的情况下，接入系统后远程控制单元都可以向其下发指令，例如让手机自动电话，会干扰用户的正常使用。此外，为了防止伪装管理消息给系统带来的不利影响，需要对终端进行合法性校验。
其中，本发明各实施例中提到的“相应的测试”，主要可以指利用终端(例如手机)能够支持的功能而设计的测试。主要可以包含以下的测试：
(1)业务类的测试，例如FTP上传、下载测试，HTTP上传和下载测试、Web浏览、Web视频播放、短信、彩信以及电话拨打测试等；
(2)辅助类测试：如tcpdump抓包、Ping功能、信号检测、LAC位置区检测等。
本发明从远程控制单元角度实施的自动化测试方法实施例1中，远程控制单元可通过接入侧设备实现对终端(或终端App测试软件)的远程控制，实现自动化测试，可扩展性高。终端分析接收到的测试指令，并根据指令内容执行相应的测试，向远程控制单元返回测试结果；远程控制单元完成测试指令的维护与管理，对用户终端的检测和控制，并且接收终端返回的测试结果，根据测试结果生成测试报告。终端通过接入侧设备实现与远程控制单元的互联互通，从而实现远程控制的自动化测试。可以有效降低大数据量下的流量成本问题，使得本发明具有可实现远程操控、大数据流量成本低的优点，提高测试效率和自动化程度。
在一个具体的实施例中，在步骤S110与终端进行通信，获取终端的IP地址和终端识别码的步骤包括：
在连接终端的接入侧设备开启本地分流时，接收接入侧设备转发的终端的PING命令；
解析PING命令，得到IP地址和终端识别码。
具体而言，本发明提供了一种基于本地分流的远程控制的自动化测试系统和方法。其中，接入侧设备支持本地分流功能，可支持基于访问配置IP地址或网段的分流功能。终端App(即终端测试软件)可以通过移动网络接入本发明的自动化测试系统，通过本地分流技术，远程控制单元可实现和终端的互联互通，由远程控制单元下发测试指令，终端App分析并执行测试，从而实现远程控制的自动化测试。
接入侧设备开启本地分流，可基于访问配置IP地址或网段的分流，终端App访问互联网的数据经过接入侧系统到达远程控制单元，实现远程控制单元与终端的互联互通。其中，接入侧设备可以通过本地分流技术使远程通信单元实现通过接入侧设备与终端进行通信的功能；本地分流技术可以指用户的业务流数据直接从家庭基站进行接入，不经过运营商的核心网络。本地分流技术可以包含本地IP接入(Local IP Access，LIPA)和IP数据分流(Selected IP Traffic Offload，SIPTO)技术，在3GPP TR 23.829和3GPP TS 22.220中对本地分流技术有相应描述。
具体而言，在接入侧设备未开启本地分流功能的情况下，终端访问网络侧设备的上行数据链路，是由接入侧设备转发给运营商网络，再由运营商网络转发到网络侧设备。而本地分流功能开启的情况下，终端上行数据链路，由接入侧设备转发给远程控制单元，再由远程控制单元转发至网络侧设备；
本发明各实施例中的自动化测试方法可以在本地分流开启的情况下展开；本地分流由接入侧设备实现，接入侧设备支持基于访问IP地址或网段的分流功能，将远程控制单元的IP配置为访问IP，开启本地分流后，接入设备将终端数据面的数据转发至远程控制单元。
要实现远程控制的功能，远程控制单元需要获取终端的IP地址，在一个具体示例中，可采用终端App主动发起ICMP(Internet Control Message Protocol：Internet控制报文协议)消息的办法来获得，同时也可以检测远程控制单元是否能够在线使用。
而在实际运用中，考虑到测试环境中手机(即终端或终端测试软件)和SIM/USIM卡不一定是绑定一起的，而且终端分配的IP地址是动态的，IP地址不能作为终端的唯一标识，因此可以绑定另外的可唯一识别终端的识别码，例如移动通信设备的IMSI(InternationalMobile Subscriber Identification Number：国际移动用户识别码)或IMEI(International Mobile Equipment Identity：移动设备国际识别码，又称为国际移动设备标识)。
其中，根据上述3GPP的定义，依据IMSI号的组成结构，可以对终端做合法性校验。另外，可以通过黑白名单(即通过终端返回的唯一标识码来实现，比对事先已配置好或已导入的黑白名单中的IMSI号的方法可判定)中的IMSI列表和管理者IMSI列表，从而判断出该IMSI的归属。
当合法性校验不通过时，远程控制单元可以判定该终端是该系统的非法用户，会继续检测其Ping包间隔周期，如果该用户发包频率不正常，例如类似攻击者频繁发包，远程控制单元会将其列入黑名单。
远程控制单元在完成合法性校验后，主要可以生成2类数据：一类是KPI(KeyPerformance Indicator)数据，如接收到XX个终端，其中XX个为不合法用户，实际终端数XX个；另外一类，主要是友好性类的提醒，例如：“IMSI为XXXXXXX的用户接入，合法性验证失败”，“IMSI为XXXXXXX的用户接入、合法性验证失败、其行为不正常、疑似攻击者”等等，目的在于方便问题的跟踪与排查。
在一个具体示例中，在本发明的各实施例中可使用商用手机作为终端，使得本发明相比使用模拟工具的办法，具有更高的有效性；
在一个具体的实施例中，终端通过移动网络与接入侧设备通信连接。
具体而言，本发明各实施例中提到的移动网络(Mobile Web)，指的是使用移动设备，如手机、掌上电脑或其它便携式工具连接到公共网络，实现互联网访问的方式，一般不需要固定的设备进行访问。而终端通过移动网络接入，相比WIFI(Wireless Fidelity：无线保真)在用户接入数以及覆盖范围上，更具优势；通过移动网络接入，使得终端可以有效摆脱对PC机和USB线的依赖。
在一个具体的实施例中，在步骤S110在测试周期开始时，通过接入侧设备与终端进行通信的步骤中采用TCP/IP协议与终端进行通讯。
在一个具体示例中，远程控制单元生成测试报告，终端App将各自的测试结果进行上报，远程控制单元对结果进行统计和分析，并产生测试报告；远程控制单元还具备通知的能力，可以根据预设的配置，决定是否将测试报告通知相关责任人。
本发明从终端角度实施的自动化测试方法实施例1：
为了解决移动通信系统中传统远程终端监控难、大数据测试流量成本高的问题，同时基于以上从远程控制单元角度实施的自动化测试方法实施例1的技术思想，本发明还提供了从终端角度实施的自动化测试方法实施例1；图2为本发明从终端角度实施的自动化测试方法实施例1的流程示意图；如图2所示，可以包括步骤：
步骤S210：与远程控制单元通信；
步骤S220：接收远程控制单元根据通信的结果输出的测试指令，根据测试指令进行相应测试，并向远程控制单元反馈测试结果。
具体而言，本发明各实施例中的测试执行主体是终端或终端App软件，可扩展性高，原则上可与控制单元互联互通，即可考虑自动化；而且该技术可应用在2G、3G、4G中，甚至未来的通信网络也通用；例如在支持GSM和LTE的多模手机上安装有App测试软件，用以开展基站产品的测试，不管是GSM基站还是LTE基站都是通用的，使得本发明的技术通用性强。
在一个具体的实施例中，步骤S210中与远程控制单元通信的步骤包括：
在接入侧设备开启本地分流时，通过接入侧设备向远程控制单元发送PING命令。由远程控制单元解析PING命令，获取终端的IP地址和终端识别码，并根据终端识别码对终端进行识别和合法性校验，在终端通过合法性校验时，绑定IP地址和终端识别码，将终端列入待测终端队列；并根据待测终端队列，向各终端分别发送测试指令。
具体而言，PING命令可以用来检测网络的连通性和分析网络速度；远程控制单元向终端发送Socket消息，需要提前获取终端的IP地址，可以从PING消息中解析到该IP地址；同时通过PING命令可以检测链路，能够知道终端与远程控制单元的链路是否保持通路，也可了解链路的时延、抖动、RTT等信息，有助于了解网络情况；当网络发生故障时，终端检测链路可得知，从而进行异常处理，这样也有助于测试问题的排查和定位。
PING命令是测试网络联接状况以及信息包发送和接收状况非常有用的工具。PING向目标主机(地址)发送一个回送请求数据包，要求目标主机收到请求后给予答复，从而判断网络的响应时间和本机是否与目标主机(地址)联通。
图3为本发明从终端角度实施的自动化测试方法一具体实施例的流程示意图；如图3所示，当接收到远程控制单元发来的指令消息后，终端测试软件App进行消息处理，判断业务类型，提取消息并执行测试，主要可以包括如下步骤：
步骤S310，侦听与远程控制单元的通信端口；
步骤S320，终端App侧对接收到的消息进行分析；
步骤S330，判断指令消息是否能够正常识别或者业务类型是否支持；若不支持执行步骤S340进行异常处理；若支持，执行步骤S350，开展相应的测试；
步骤S360，测试结束后，分析并生成测试数据的测试结果；
步骤S370，上报测试结果至远程控制单元。
本发明从终端角度实施的自动化测试方法实施例1，远程控制单元通过接入侧设备实现对终端或终端App测试软件的远程控制，实现自动化测试，可扩展性高。终端分析接收到的测试指令，并根据指令内容执行相应的测试，向远程控制单元返回测试结果；远程控制单元完成测试指令的维护与管理，对用户终端的检测和控制，并且接收终端返回的测试结果，根据测试结果生成测试报告。测试终端通过接入侧设备实现与远程控制单元的互联互通，从而实现远程控制的自动化测试。可以有效降低大数据量下的流量成本问题，本发明具有可实现远程操控、大数据流量成本低的优点，提高了测试效率和自动化程度。
本发明自动化测试方法实施例1：
为了进一步阐述本发明的技术构思，特以实际运用本发明自动化测试方法为例，说明本发明的具体实现流程，图4为本发明自动化测试方法实施例1的流程示意图；如图4所示，
步骤S402：(测试工程师)启动远程控制单元程序，(远程控制单元)启动测试周期定时器，该定时器用于整个测试周期的控制，测试周期开始；
步骤S404：(测试工程师)启动终端App测试软件或唤醒终端，(终端)定期向远程控制单元发起PING消息，检测链路是否正常；若链路异常，进入异常处理进程；
步骤S406：(远程控制单元)侦听并处理ICMP消息，获取UE IP(User EquipmentInternet Protocol：用户设备IP协议)，其中，UE：(User Equipment)用户设备，在移动通信3GPP协议中也可用来表示终端；
步骤S408：(远程控制单元)侦听并处理ICMP消息，获取UE IP后向该IP下发GETIMSI指令以获取终端IMSI号；
步骤S410：(远程控制单元)等待终端返回结果，并根据返回结果情况，对终端进行识别；
步骤S412：(远程控制单元)根据返回情况，结合UE管理模块，对IMSI号进行合法性校验；若通过，则执行步骤S414；若不通过，则执行步骤S422控制单元分析并生成数据；
步骤S414：(远程控制单元)更新数据库，由于UE的IP会存在变动的问题，不能单独作为唯一标识，因此需要UE的IP和IMSI号绑定；同时，将该UE加入待测试UE队列；
步骤S416：(远程控制单元)根据待测UE队列，下发测试指令；
步骤S418：(终端)分析测试指令，根据测试指令内容执行相应的测试用例，开展业务测试；
步骤S420：(终端)测试完成后，返回测试结果；
步骤S422：(远程控制单元)接收数据，并生成测试数据，同时分析是否达到测试终止条件；
步骤S424：(远程控制单元)判断整个测试周期定时器是否超时；若是，执行步骤S430进入报告生成环节；若否，进入下一个步骤S426；
步骤S426：(远程控制单元)判断所有的终端是否已上报完毕；若是，进入步骤S428；若否，远程控制单元继续等待，跳至步骤S422；
步骤S428：(远程控制单元)停止测试周期定时器；
步骤S430：进入报告生成环节，(远程控制单元)生成测试报告，并根据配置决定是否发送通知给管理员。
具体而言，与传统技术相比，本发明可以提供一种采用真实终端，高效对接入侧设备，例如基站设备进行测试的可行性方法。具有以下优点：(1)实现了对终端设备的可远程操控性，测试的发起变得更方便，特别是以真实终端展开的大话务测试，变得更便捷更可控；(2)结合终端或终端App软件，实现自动化测试，可扩展性高；业务实现部分，由终端实现，原则上可与控制单元互联互通，即可考虑自动化；(3)技术通用性强，测试执行主体是终端或终端App软件，可扩展性高，原则上可与控制单元互联互通，即可考虑自动化；而且该技术可应用在2G、3G、4G中，甚至未来的通信网络也通用；例如在支持GSM和LTE的多模手机上安装有App测试软件，用以开展基站产品的测试，不管是GSM基站还是LTE基站都是通用的。(4)终端可以摆脱对USB和PC机等的依赖，终端通过移动网络接入，无需提供额外的工具或设备。
本发明各实施例中，远程控制单元与终端是一对多的关系，因为终端的IP地址、SIM/USIM卡都容易发生变化，因此需要对用户的合法性和一致性进行校验。
具体而言，上述步骤中提到的定时器属于远程控制单元；在实际操作中，可以通过登陆控制单元所在的设备，进入界面人工启动；也可以通过手机(例如有管理员权限的手机，管理员权限可以通过类似黑白名单的功能来实现)来启动远程控制单元的程序，这样可以做到“随处发起测试”的便捷性。
同时由远程控制单元自动启动定时器，定时器可通过界面进行配置，测试程序启动后，代码中开启定时器。
在一个具体示例中，远程控制单元可以通过测试周期总时长定时器来判断是否超时；针对每次测试，可以设置有一个用于检测测试周期总时长的定时器，目的是防止网络异常造成的长时间无结果等待，同时，也可以提醒测试人员，当前测试任务是否已结束。
在一个具体示例中，远程控制单元可以通过计数器或者任务队列来判断所有的终端或终端App已上报完毕；例如：
计数器方式：使用计数器C1，记录向多少个UE下发测试指令；使用计数器C2，记录返回的结果数，根据C1和C2的差值，可判定是否已上报完毕；
队列方式：当向UE下发测试指令，则添加队列；当收到UE返回的结果，则移出队列，检查队列长度，即可判断是否已上报完毕；
在一个具体示例中，远程控制单元可以根据配置(即呈现至界面的参数配置，可由用户填写)决定是否发送通知给管理员；具体而言，(测试工程师)在测试前可预先配置好参数，例如勾选“测试结束后下发通知”，并填写管理员的通信信息，如Email地址。远程控制单元生成报告后，读取参数配置信息，发现需要下发通知时，启动通知模块进程，从而向管理员发送通知。
其中，发送给管理员的通知具体可以包括以下内容：测试类型、测试时间、测试结果的简要描述、关键KPI数据(例如：FTP下载测试，测试结果失败，共XX个终端进行测试，失败XX个，成功率XXX，时间2016-08-09 11：11：11)。
本发明自动化测试方法实施例1中终端数据面的数据流通方式：
为了进一步阐述本发明的技术方案，结合上述自动化测试方法实施例1的实现流程，特对本发明各实施例中涉及到的终端数据面的数据流通方式进行详细说明；图5为本发明自动化测试方法实施例1中终端数据面的数据流通方式示意图；如图5所示，终端数据面的数据流通方式如下： 在此，以终端访问百度服务器(网络侧服务器)为例，终端数据面的关联关系为：
在未开启本地分流的情况下，终端(例如手机)访问百度服务器的数据流如下：手机通过接入侧设备接入移动网络并获得服务，手机打开百度网址，数据流通过接入侧设备经运营商网络发送至百度服务器，从而实现访问百度服务器。
为了实现自动化测试，本发明各实施例通过远程控制单元向终端下方访问网页的指令，将访问地址带下，未分流的情况下，网络侧的设备无法访问到终端，因此采用分流的办法，实现互联互通，在打开本地分流的情况下，终端访问百度服务器的数据通过接入侧转发至远程控制单元，远程控制单元可通过NAT或代理方式，将数据转发至网络服务器。因此通过本发明可以实现自动化测试，同时数据未流经运用商网络，可以实现免终端流量成本。
本发明从远程控制单元侧实施的自动化测试装置实施例1。
为了解决移动通信系统中传统远程终端监控难、大数据测试流量成本高的问题，本发明还提供了一种自动化测试系统实施例1；图6为本发明从远程控制单元侧实施的自动化测试装置实施例1的结构示意图；如图6所示，自动化测试装置实施例1可以包括：
通信配置模块610，用于与终端进行通信，获取终端的IP地址和终端识别码；
校验识别模块620，用于根据终端识别码，对终端进行识别与合法性校验；
终端管理模块630，用于在终端通过合法性校验时，绑定IP地址与终端识别码，将终端列入待测终端队列；
指令模块640，用于根据待测终端队列，向各终端分别发送测试指令；
数据处理模块650，用于接收各终端根据测试指令反馈的测试结果，并统计分析测试结果，生成测试报告。
在一个具体的实施例中，通信配置模块610包括：
通信模块，用于在连接终端的接入侧设备开启本地分流时，接收接入侧设备转发的终端的PING命令；
解析模块，用于解析PING命令，得到IP地址和终端识别码。
其中，从远程控制单元侧实施的自动化测试装置的具体实施流程可通过上述相应方法对应实现，此处不再赘述。
从终端侧实施的自动化测试系统实施例1：
图7为本发明从终端侧实施的自动化测试系统实施例1的结构示意图；如图7所示，自动化测试装置可以包括：
通信模块710，用于与远程控制单元通信；
测试模块720，用于接收远程控制单元根据通信的结果输出的测试指令，根据测试指令进行相应测试，并向远程控制单元反馈测试结果。
其中，从终端侧实施的自动化测试装置的具体实施流程可通过上述相应方法对应实现，此处不再赘述。
本发明自动化测试系统实施例1：
为了解决移动通信系统中传统远程终端监控难、大数据测试流量成本高的问题，本发明提供了一种自动化测试系统实施例1；图8为本发明自动化测试系统实施例1的结构示意图，如图8所示，包括连接接入侧设备的各终端，以及连接在接入侧设备与网络侧设备之间的远程控制单元；
远程控制单元通过接入侧设备与终端进行通信，获取终端的IP地址和终端识别，并根据终端识别码，对终端进行识别与合法性校验；在终端通过合法性校验时，绑定IP地址与终端识别码，将终端列入待测终端队列；并根据待测终端队列，向各终端分别发送测试指令；
各终端根据测试指令向远程控制单元反馈测试结果；远程控制单元统计分析测试结果，生成测试报告。
图9为本发明自动化测试系统中远程控制单元的结构示意图，如图9所示：远程控制单元可以包括配置模块、用户管理模块、指令模块、数据处理模块。其中：
配置模块，用于作为当前系统的配置参数；
用户管理模块，用于用户终端的鉴别，支持黑白名单功能；
指令模块，用于指令消息的维护和管理，并对指令的有效性进行判断，指令消息是本发明中远程控制单元与终端App之间的通信消息。
数据处理模块，负责对该系统的控制消息的处理、异常数据处理，以及终端App软件返回结果的统计和分析，生成测试报告。同时，判断任务是否结束，根据是否通知系统管理员的要求，决定是否将测试结果发送给通知模块。
其中，远程控制单元可通过实现NAT或代理技术，实现访问互联网的功能。
本发明各实施例中，远程控制单元与终端App是一对多的关系，而且终端App的IP地址、SIM/USIM卡都容易发生变化，因此需要用户管理模块，对用户的合法性和一致性进行校验。
指令模块，负责指令的管理和维护。远程控制单元通过指令消息实现远程控制的功能，例如远程控制单元下发CALL_TEST消息，消息中携带有被叫号码，终端接收后分析，可发起被叫号码的语音呼叫，从而实现语音业务的自动化测试。不同指令的下发控制远端App执行不同的测试，以产生不同的测试用例。本发明各实施例中涉及到的指令参数列表如下表1所示：
表1指令消息列表
参数名 参数含义
GET_IMSI 获取IMSI号
GET_IP 获取终端业务IP地址
CALL_TEST 拨打语音电话
FTPD_TEST FTP下载测试
FTPU_TEST FTP上传测试
HTTP_TEST HTTP流媒体测试
PING_TEST PING包测试
SMS_TEST 短信测试
MMS_TEST 彩信测试
图10为本发明自动化测试系统一实际应用中的结构示意图；如图10所示，本发明的远程控制单元通过本地分流技术实现对终端App测试软件的远程控制。App测试软件，与远程控制单元进行通信，分析所接收的指令信息，并根据指令内容执行相应的测试，并向远程控制单元返回测试结果；远程控制单元，负责测试指令的维护与管理，对用户终端的检测和控制，并且接收终端返回的测试结果，根据测试结果生成测试报告。
本发明中远程控制单元可以远程操控测试App执行相应的测试，测试效率和自动化程度高；终端通过移动通信网络接入，可以摆脱对PC的依赖，节约测试设备的投入，并且方案中采用本地分流技术，测试中的数据并且测试中的数据由本地分流至远程控制单元，可以有效解决流量成本问题。本发明实现了远程操控、大数据流量成本低、对PC电脑依赖性小的特征，提高了测试效率。
具体而言，本发明通过获取IP和IMSI号方式建立与终端的匹配标识，然后再进行远程控制，在测试未开展前，远程控制单元并没有和终端建立连接，这样可以减少带宽的占有。本发明还可应对终端IP变化、SIM/USIM卡变更的情况。本发明采用本地分流的方式实现远程控制单元与终端的互联互通，可以有效解决大数据测试中的流量费用问题。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种自动化测试方法，其特征在于，包括以下步骤：
与终端进行通信，获取所述终端的IP地址和终端识别码；
根据所述终端识别码，对所述终端进行识别与合法性校验；
在所述终端通过所述合法性校验时，绑定所述IP地址与所述终端识别码，将所述终端列入待测终端队列；
根据所述待测终端队列，向各所述终端分别发送测试指令，并接收各所述终端根据所述测试指令反馈的测试结果；
统计分析所述测试结果，生成测试报告。
2.根据权利要求1所述的自动化测试方法，其特征在于，与终端进行通信，获取终端的IP地址和终端识别码的步骤包括：
在连接所述终端的接入侧设备开启本地分流时，接收所述接入侧设备转发的所述终端的PING命令；
解析所述PING命令，得到所述IP地址和所述终端识别码。
3.根据权利要求2所述的自动化测试方法，其特征在于，所述终端通过移动网络与所述接入侧设备通信连接。
4.根据权利要求1或2所述的自动化测试方法，其特征在于，与终端进行通信，获取所述终端的IP地址和终端识别码的步骤中：
采用TCP/IP协议与所述终端进行通讯。
5.一种自动化测试方法，其特征在于，包括以下步骤：
与远程控制单元通信；
接收所述远程控制单元根据所述通信的结果输出的测试指令，根据所述测试指令进行相应测试，并向所述远程控制单元反馈测试结果。
6.根据权利要求5所述的自动化测试方法，其特征在于，与远程控制单元通信的步骤包括：
在接入侧设备开启本地分流时，通过所述接入侧设备向所述远程控制单元发送PING命令。
7.一种自动化测试装置，其特征在于，包括：
通信配置模块，用于与终端进行通信，获取所述终端的IP地址和终端识别码；
校验识别模块，用于根据所述终端识别码，对所述终端进行识别与合法性校验；
终端管理模块，用于在所述终端通过所述合法性校验时，绑定所述IP地址与所述终端识别码，将所述终端列入待测终端队列；
指令模块，用于根据所述待测终端队列，向各所述终端分别发送测试指令；
数据处理模块，用于接收各所述终端根据所述测试指令反馈的测试结果，并统计分析所述测试结果，生成测试报告。
8.根据权利要求7所述的自动化测试装置，其特征在于，所述通信配置模块包括：
通信模块，用于在连接所述终端的接入侧设备开启本地分流时，接收所述接入侧设备转发的所述终端的PING命令；
解析模块，用于解析所述PING命令，得到所述IP地址和所述终端识别码。
9.一种自动化测试装置，其特征在于，包括：
通信模块，用于与远程控制单元通信；
测试模块，用于接收所述远程控制单元根据所述通信的结果输出的测试指令，根据所述测试指令进行相应测试，并向所述远程控制单元反馈测试结果。
10.一种自动化测试系统，其特征在于，包括连接接入侧设备的各终端，以及连接在所述接入侧设备与网络侧设备之间的远程控制单元；
所述远程控制单元通过所述接入侧设备与所述终端进行通信，获取所述终端的IP地址和终端识别，并根据所述终端识别码，对所述终端进行识别与合法性校验；在所述终端通过所述合法性校验时，绑定所述IP地址与所述终端识别码，将所述终端列入待测终端队列；并根据所述待测终端队列，向各所述终端分别发送测试指令；
各所述终端根据所述测试指令向所述远程控制单元反馈测试结果；所述远程控制单元统计分析所述测试结果，生成测试报告。
CN201610958336.8A 2016-11-03 2016-11-03 自动化测试方法、装置及系统 Expired - Fee Related CN106534289B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610958336.8A CN106534289B (zh) 2016-11-03 2016-11-03 自动化测试方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610958336.8A CN106534289B (zh) 2016-11-03 2016-11-03 自动化测试方法、装置及系统

Publications (2)

Publication Number Publication Date
CN106534289A true CN106534289A (zh) 2017-03-22
CN106534289B CN106534289B (zh) 2019-12-10

Family

ID=58326904

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610958336.8A Expired - Fee Related CN106534289B (zh) 2016-11-03 2016-11-03 自动化测试方法、装置及系统

Country Status (1)

Country Link
CN (1) CN106534289B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107026772A (zh) * 2017-04-28 2017-08-08 北京北信源软件股份有限公司 一种面向网络准入控制系统的测试系统、测试床和测试方法
CN108490265A (zh) * 2018-04-24 2018-09-04 深圳远征技术有限公司 接地电阻测试方法、装置及测试仪
CN108650335A (zh) * 2018-04-10 2018-10-12 Oppo广东移动通信有限公司 与待测试移动终端进行通信连接的方法、装置及测试设备
CN108768916A (zh) * 2018-03-13 2018-11-06 新华三信息安全技术有限公司 一种获取安全配置信息的方法及装置
CN109756394A (zh) * 2018-12-28 2019-05-14 东信和平科技股份有限公司 一种通信产品现网测试方法及系统
CN110149241A (zh) * 2019-04-09 2019-08-20 广州市高科通信技术股份有限公司 一种基于ims设备的自动化测试方法及存储介质
CN110826646A (zh) * 2019-11-27 2020-02-21 深圳市优必选科技股份有限公司 机器人视觉测试方法、装置、存储介质及终端设备
CN111131468A (zh) * 2019-12-27 2020-05-08 珠海市竞争电子科技有限公司 云端产品测试方法
CN111858078A (zh) * 2020-07-15 2020-10-30 江门市俐通环保科技有限公司 高并发数据擦除方法、装置、设备及存储介质
CN117675633A (zh) * 2024-02-02 2024-03-08 苏州跬步信息技术有限公司 一种智能硬件设备测试方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009116694A1 (en) * 2008-03-20 2009-09-24 Min-Gyu Han Terminal device and server for remote diagnosis for communication terminal and method thereof
CN104581802A (zh) * 2015-02-13 2015-04-29 北京北交信控科技有限公司 一种gsm-r网络测试方法及系统
CN105094062A (zh) * 2014-04-30 2015-11-25 惠州市德赛西威汽车电子有限公司 一种车载远程控制系统的数据采集及调试方法
CN105491140A (zh) * 2015-12-15 2016-04-13 上海斐讯数据通信技术有限公司 一种终端的远程测试方法和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009116694A1 (en) * 2008-03-20 2009-09-24 Min-Gyu Han Terminal device and server for remote diagnosis for communication terminal and method thereof
CN105094062A (zh) * 2014-04-30 2015-11-25 惠州市德赛西威汽车电子有限公司 一种车载远程控制系统的数据采集及调试方法
CN104581802A (zh) * 2015-02-13 2015-04-29 北京北交信控科技有限公司 一种gsm-r网络测试方法及系统
CN105491140A (zh) * 2015-12-15 2016-04-13 上海斐讯数据通信技术有限公司 一种终端的远程测试方法和系统

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107026772B (zh) * 2017-04-28 2020-06-16 北京北信源软件股份有限公司 一种面向网络准入控制系统的测试系统、测试床和测试方法
CN107026772A (zh) * 2017-04-28 2017-08-08 北京北信源软件股份有限公司 一种面向网络准入控制系统的测试系统、测试床和测试方法
CN108768916A (zh) * 2018-03-13 2018-11-06 新华三信息安全技术有限公司 一种获取安全配置信息的方法及装置
CN108768916B (zh) * 2018-03-13 2020-11-13 新华三信息安全技术有限公司 一种获取安全配置信息的方法及装置
CN108650335A (zh) * 2018-04-10 2018-10-12 Oppo广东移动通信有限公司 与待测试移动终端进行通信连接的方法、装置及测试设备
CN108490265A (zh) * 2018-04-24 2018-09-04 深圳远征技术有限公司 接地电阻测试方法、装置及测试仪
CN108490265B (zh) * 2018-04-24 2024-04-02 深圳远征技术有限公司 接地电阻测试方法、装置及测试仪
CN109756394A (zh) * 2018-12-28 2019-05-14 东信和平科技股份有限公司 一种通信产品现网测试方法及系统
CN109756394B (zh) * 2018-12-28 2022-04-05 东信和平科技股份有限公司 一种通信产品现网测试方法及系统
CN110149241A (zh) * 2019-04-09 2019-08-20 广州市高科通信技术股份有限公司 一种基于ims设备的自动化测试方法及存储介质
CN110826646A (zh) * 2019-11-27 2020-02-21 深圳市优必选科技股份有限公司 机器人视觉测试方法、装置、存储介质及终端设备
CN111131468A (zh) * 2019-12-27 2020-05-08 珠海市竞争电子科技有限公司 云端产品测试方法
CN111858078A (zh) * 2020-07-15 2020-10-30 江门市俐通环保科技有限公司 高并发数据擦除方法、装置、设备及存储介质
CN111858078B (zh) * 2020-07-15 2024-06-04 江门市俐通环保科技有限公司 高并发数据擦除方法、装置、设备及存储介质
CN117675633A (zh) * 2024-02-02 2024-03-08 苏州跬步信息技术有限公司 一种智能硬件设备测试方法及系统
CN117675633B (zh) * 2024-02-02 2024-04-30 苏州跬步信息技术有限公司 一种智能硬件设备测试方法及系统

Also Published As

Publication number Publication date
CN106534289B (zh) 2019-12-10

Similar Documents

Publication Publication Date Title
CN106534289A (zh) 自动化测试方法、装置及系统
CN103262625B (zh) 用于dsds的基于ip的寻呼
US9407522B2 (en) Initiating data collection based on WiFi network connectivity metrics
CN101958810B (zh) 用于中间节点自主实现故障定位的方法及系统
CN113206814B (zh) 一种网络事件处理方法、装置及可读存储介质
CN112312466A (zh) 一种事件报告的发送方法、装置及系统
US20170339589A1 (en) Network-Controlled Terminal Data Call Performance Testing
CN112333019B (zh) 路由器的配置、测试方法及系统和可读存储介质
CN110659481A (zh) 基于代理的漏洞扫描方法
CN105009625A (zh) 业务测试方法、设备和系统、网络节点及质量处理节点
CN103987098B (zh) Ipv4网络与ipv6网络间的切换方法和系统
JP6065916B2 (ja) 通信挙動の解析が可能な情報処理装置、移動端末制御方法、およびコンピュータ・プログラム
CN106973396A (zh) 一种手机黑屏状态下的捕获系统及方法
CN113365300A (zh) 一种移动网络的仿真模拟系统和移动网络的业务测试方法
CN102917386B (zh) 一种lte无线网s1接口一致性协议验证装置及方法
CN102075588A (zh) 一种实现网络地址转换nat穿越的方法、系统和设备
KR100590863B1 (ko) 사설 무선 고속 데이터 시스템에서 단말기 인증 및 호처리 장치 및 그 방법
JP2015526937A (ja) データパケット処理の方法、システム、およびデバイス
CN100372420C (zh) 一种用户呼叫故障检测方法
CN102232311A (zh) 实现家庭基站服务质量控制的方法和设备及系统
CN101616367B (zh) 呼叫跟踪方法和装置
JP2006352625A (ja) 通信試験装置と通信試験システム，通信試験方法及び通信試験プログラム
CN103546558A (zh) Ott应用的数据抓取方法及装置
CN109089002A (zh) 一种非法网络电话的封堵方法及设备
CN108811042A (zh) 一种无线局域网络选择方法、装置及终端

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20180214

Address after: 510663 Shenzhou Road 10, Guangzhou Science City, Guangzhou economic and Technological Development Zone, Guangzhou, Guangdong

Applicant after: COMBA TELECOM SYSTEMS (CHINA) Ltd.

Applicant after: COMBA TELECOM SYSTEMS (GUANGZHOU) Ltd.

Applicant after: COMBA TELECOM TECHNOLOGY (GUANGZHOU) Ltd.

Applicant after: TIANJIN COMBA TELECOM SYSTEMS Ltd.

Address before: 510663 Guangdong city of Guangzhou province Guangzhou economic and Technological Development Zone Jinbi Road No. 6

Applicant before: COMBA TELECOM TECHNOLOGY (GUANGZHOU) Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20200110

Address after: 510663 Shenzhou Road 10, Guangzhou Science City, Guangzhou economic and Technological Development Zone, Guangzhou, Guangdong

Patentee after: COMBA TELECOM SYSTEMS (CHINA) Ltd.

Address before: 510663 Shenzhou Road 10, Guangzhou Science City, Guangzhou economic and Technological Development Zone, Guangzhou, Guangdong

Co-patentee before: COMBA TELECOM SYSTEMS (GUANGZHOU) Ltd.

Patentee before: COMBA TELECOM SYSTEMS (CHINA) Ltd.

Co-patentee before: COMBA TELECOM TECHNOLOGY (GUANGZHOU) Ltd.

Co-patentee before: TIANJIN COMBA TELECOM SYSTEMS Ltd.

TR01 Transfer of patent right
CP01 Change in the name or title of a patent holder

Address after: 510663 Shenzhou Road 10, Guangzhou Science City, Guangzhou economic and Technological Development Zone, Guangzhou, Guangdong

Patentee after: Jingxin Network System Co.,Ltd.

Address before: 510663 Shenzhou Road 10, Guangzhou Science City, Guangzhou economic and Technological Development Zone, Guangzhou, Guangdong

Patentee before: COMBA TELECOM SYSTEMS (CHINA) Ltd.

CP01 Change in the name or title of a patent holder
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20191210