CN105009500A - 用于测试的装置和方法 - Google Patents

用于测试的装置和方法 Download PDF

Info

Publication number
CN105009500A
CN105009500A CN201380072113.6A CN201380072113A CN105009500A CN 105009500 A CN105009500 A CN 105009500A CN 201380072113 A CN201380072113 A CN 201380072113A CN 105009500 A CN105009500 A CN 105009500A
Authority
CN
China
Prior art keywords
test
network simulator
network
simulator
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380072113.6A
Other languages
English (en)
Other versions
CN105009500B (zh
Inventor
C·哈德逊
M·奥加拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Deutsche Technologies Singapore (Sales) Private Limited
Original Assignee
Anite Telecoms Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anite Telecoms Ltd filed Critical Anite Telecoms Ltd
Publication of CN105009500A publication Critical patent/CN105009500A/zh
Application granted granted Critical
Publication of CN105009500B publication Critical patent/CN105009500B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/22Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
    • G06F11/26Functional testing
    • G06F11/263Generation of test inputs, e.g. test vectors, patterns or sequences ; with adaptation of the tested hardware for testability with external testers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3457Performance evaluation by simulation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B17/00Monitoring; Testing
    • H04B17/0082Monitoring; Testing using service channels; using auxiliary channels
    • H04B17/0085Monitoring; Testing using service channels; using auxiliary channels using test signal generators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B17/00Monitoring; Testing
    • H04B17/10Monitoring; Testing of transmitters
    • H04B17/15Performance testing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/24Testing correct operation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/24Testing correct operation
    • H04L1/242Testing correct operation by comparing a transmitted test signal with a locally generated replica
    • H04L1/244Testing correct operation by comparing a transmitted test signal with a locally generated replica test sequence generators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14Network analysis or design
    • H04L41/145Network analysis or design involving simulating, designing, planning or modelling of a network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/18Protocol analysers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/50Testing arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W24/00Supervisory, monitoring or testing arrangements
    • H04W24/06Testing, supervising or monitoring using simulated traffic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W24/00Supervisory, monitoring or testing arrangements
    • H04W24/08Testing, supervising or monitoring using real traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • General Physics & Mathematics (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种测试装置,该测试装置被配置为对设备进行非确定性测试。测试装置包括测试计算机,该测试计算机被配置为在测试应用程序的控制下自动执行非确定性测试机制。与测试计算机连接的网络模拟器被提供有通信电路,该通信电路可操作以与被测设备通信。网络模拟器根据非确定性测试机制可配置为不同网络状态,并且测试应用程序可操作以控制网络模拟器在多个不同网络状态之间转换。与网络模拟器和被测设备之间的通信相关的数据被监控,并且能够对其进行分析,从而得到测试结论。<pb pnum="1" />

Description

用于测试的装置和方法
技术领域
本发明涉及一种用于测试的装置和方法,特别是用于测试或无线测试用户设备的性能、互操作性和无线标准兼容性的计算机实施的装置和方法。
背景技术
用于对用户设备进行测试的装置和方法早就存在,但是,现有的装置和测试方法存在诸多问题。
在第一种已知类型的无线测试-称为“基于脚本的”测试中,测试计算机控制网络模拟器自动执行高度定义的测试脚本,网络模拟器将根据该测试脚本向用户设备发送一系列消息,并且用户设备将进行响应。这是一种确定性测试,其中通过结果是前因的必然结果。前因可能是单个消息或者一系列消息,但是必然结果要么被来自被测设备的响应满足,要么不满足。在这种基于脚本的测试中,满足必然结果表示“通过”,而缺少预期的必然结果表示“失败”。基于脚本的测试适于无线用户设备的自动化大规模测试,但是它不是很灵活,不能通过高度定义的测试脚本,经常漏掉未明确识别的各类故障。
一个替代选择是基于用户的测试,其中操作者认知地确定将发送给用户设备的测试消息,并对响应进行监控以确定接下来测试什么。这是个手动过程,其中用户确定每个测试消息,并对响应进行评估。它易受任务失误的影响,并且可扩展性有限。
所有以上已知的测试技术对在不同网络条件下用户设备的行为进行可重复大规模测试根本不起作用。
本发明的实施方式要提供一种对设备特别是无线设备进行测试的改进的装置和方法。
发明内容
本发明内容部分以简化的形式介绍了一系列概念,在下面的具体实施方式部分中对这些概念进行进一步描述。本发明内容部分不是为了对所要求保护的主题的关键特征或必要特征进行确认,也不应用于对所要求保护的主题的范围进行确定。
根据本发明的一个方面,提供了一种可以被配置为对设备进行测试的测试装置,该装置包括:测试计算机,该测试计算机被配置为在测试应用程序的控制下执行测试;以及被提供有通信电路的网络模拟器,该通信电路可操作以与被测设备进行通信,其中所述测试应用程序可操作以控制所述网络模拟器在多个不同网络状态之间转换,并且其中在至少一个所述网络状态下,与所述设备和所述网络模拟器之间的非脚本(unscripted)通信相关的数据被监控。所述数据可以随后被分析,从而确定测试结论。
根据本发明的另一个方面,提供了一种可以被配置为对设备进行非确定性测试的测试装置,该装置包括:测试计算机,该测试计算机被配置为在测试应用程序的控制下执行非确定性测试机制;以及网络模拟器,该网络模拟器连接至所述测试计算机并被提供有通信电路,该通信电路可操作以和被测设备进行通信,其中所述网络模拟器可以根据所述非确定性测试机制配置为不同网络状态,并且其中所述测试应用程序可操作以控制所述网络模拟器在多个不同网络状态之间转换,并且在所述转换之间的交互周期中监控与所述网络模拟器和所述设备之间的非脚本通信相关的数据。
根据本发明的另一个方面,提供了一种测试应用程序,该测试应用程序用于对设备进行基于网络模拟器的测试,包括适于在计算机上运行的计算机程序代码,当在计算机上运行时,所述计算机代码可操作以引起所述计算机:利用根据非确定性测试机制使用的网络参数确立第一网络模拟器状态;监控当所述网络模拟器处于所述第一状态时所述网络模拟器与所述设备之间的一段时间的非脚本通信;基于根据所述测试机制的第二组网络参数引起所述网络模拟器转换为第二网络模拟器状态,监控当所述网络模拟器处于所述第二状态时所述网络模拟器与所述设备之间的一段时间的非脚本通信;并且引起与每个网络模拟器状态相关的日志数据和所述网络模拟器与所述用户设备之间的相关通信被记录在日志文件中。
根据本发明的另一个方面,提供了一种被配置为对设备进行测试的网络模拟器,该网络模拟器包括:协议栈模块;传输电路,该传输电路包括与用户设备进行通信的至少一个天线;以及控制器,该控制器具有针对测试应用程序的接口,其中所述控制器可操作以从所述应用程序接收参数,该参数包括协议栈参数,并且基于所述参数引起所述网络模拟器依次在多个编程网络模拟器状态之间转换,并且其中所述控制器可操作以在每个网络状态期间监控被测设备和所述网络模拟器之间的一段时间的非脚本通信。
在权利要求中提供了测试装置、测试应用程序和网络模拟器的其他可选特征。
本发明还公开了用于实施本发明的任意上述方面的系统、装置和制品。
优选特征视情况可以组合在一起,这对于本领域技术人员来说是明显的,并且可以与本发明的任意方面组合。
附图说明
现在参考以下附图对本发明进行详细说明:
图1是根据现有技术的无线测试装置图;
图2是根据基于脚本的测试的测试脚本的示意图;
图3是根据本发明的实施方式的测试装置图;
图4是根据本发明的实施方式的非脚本自动测试的示意图;以及
图5显示了来自日志文件的数据的一部分。
现在通过举例的方式描述本发明的实施方式。
可以理解,尽管每个实施方式的特征在附图和整个说明书中由不同的附图标记识别,但是来自一个实施方式的相似特征,包括特性和归属于该特性的功能可以与另一个实施方式的特征互换。
具体实施方式
图1显示了已知类型的无线测试装置。该装置具有测试计算机100,该测试计算机100连接至数据库102,并连接至任意网络模拟器104。网络模拟器具有协议栈,在这种情况下,该协议栈能够根据已知的无线通信标准对基站行为进行仿真。网络模拟器的协议栈与无线收发器模块相连,无线收发器模块连接至天线106,天线106能够与用户设备108双向无线通信。
在图1的结构中,用户设备108是被测设备。在测试计算机100上运行的测试应用程序120从数据库102调用测试规范,并配置测试脚本,以使测试脚本通过网络模拟器104执行。可以记录在数据库中的测试脚本可能是基于3GPP技术规范,例如24.008,24.301,25.331,36.331或44.018系列。
在使用过程中,测试应用程序120根据测试脚本确定网络模拟器的控制参数,包括但是不限于协议栈不同层的设置和其他可配置网络设置。优选地,测试应用程序120还根据测试脚本安排和/或控制网络模拟器收发器单元106和用户设备108之间的消息发送。
图2显示了一种示例性的基于脚本的确定性测试技术的测试脚本。在时间T1,根据测试脚本的第一消息200(举例来说,通过网络模拟器收发器单元106)从网络模拟器发送至用户设备108。在时间R1,网络模拟器从用户设备108接收到响应消息220。在时间T2,从网络模拟器向用户设备108发送第二测试消息202,响应于此,在时间R2,网络模拟器从用户设备108接收到另一个响应消息222。在该示例中,测试脚本的已展示部分包括测试消息204和响应消息224的第三循环。
消息的类型可以包括,但是不限于无线资源控制消息(例如,无线承载建立消息和无线承载建立完成响应),认证和安全控制消息(例如,安全模式命令,安全模式完成响应)。通常,脚本涉及数十至数百个消息,并可能运行数分钟至数小时。
从网络模拟器发送的每个消息都根据测试脚本精确规定,即使脚本中的某些稍后测试消息会考虑来自用户设备108的稍早响应。因此,即使这些测试脚本包括测试分支,但是它们仍然保持高度确定性,取决于来自用户设备108的响应,这些测试分支可能会进行或不进行。这些响应提供了结论250,它可以是“通过”或“失败”。在这类确定性测试中,所期望的响应是前因的必然结果。前因可能是单个测试消息或者一系列测试消息,但是必然结果要么被被测设备108响应满足,要么不满足。在这种基于脚本的测试中测试软件识别出必然结果则表示“通过”,而缺少所预期的必然结果则表示“失败”。
另一个极端是非自动的,用户驱动的测试,根据该测试,在执行测试时,网络模拟器图形用户界面的操作人员生成将被发送至用户设备108的测试消息,并分析从用户设备108接收的响应。操作人员接下来-通常参考指导材料-可以确定接下来发送什么消息,此外还决定用户设备108是通过还是失败。
图3显示了根据本发明一个实施方式的无线测试装置。
该装置具有测试计算机300,该测试计算机300连接至数据库310,并连接至任意网络模拟器328。网络模拟器328包括控制器332,协议栈模块330,以及无线收发器334。协议栈模块330连接至无线收发器334,无线收发器334连接至天线336,天线336能够与用户设备340双向无线通信。被测设备340可以-举例来说-手机,PDA,平板计算机或其他移动计算机,连接至计算机的软件狗(dongle),在计算机上运行的基于软件的协议栈,原型硬件和/或用于机器对机器式应用程序的嵌入式无线设备。
测试计算机300具有一套应用程序,在该示例中,包括测试应用程序302,记录器应用程序304和后处理应用程序306。在测试计算机300上运行的新型测试应用程序302从数据库310调用测试规范,并修改新型非确定性测试机制,从而使它们能够通过网络模拟器328被自动执行。可能被记录在数据库的某些测试规范的例子包括,但是不限于确定长期信令开销(即,信令量)的测试规范,和/或确定信令时间频率(信令定时)的测试规范。
在该示例中,协议栈模块330是可配置的协议栈,它的不同层能够支持各种已知的无线通信无线电接入技术,包括-举例来说-2G,3G和/或LTE(也称为4G)通信协议。
在使用过程中,测试应用程序302根据测试规范确定网络模拟器328的控制参数,包括协议栈330的不同层的设置和其他可配置网络设置。测试应用程序302被配置为将控制参数发送给网络模拟器328的控制器332。控制器332接下来根据测试的初始部分设置网络模拟器328的协议栈内的可配置块的控制参数,优选所需的任何其他的网络模拟器设置。例如,根据来自测试应用程序302的指令,控制器322可以设置协议栈中不同层的可配置参数,包括层3、2或1(层1也称为物理层或PHY层)。为了达到根据非确定性测试机制的第一期望网络状态而对网络模拟器328进行的测参数设置可以包括根据测试的第一部分中所期望的第一网络状态设置-举例来说-PDCP参数,RLC/MAC参数和物理层参数。特别地,这在这些类型的测试中有用,能够设置用户设备340所发起的接受/拒绝/忽略配置程序,以及信号发送给用户设备的计时器和/或计数器的值。
将在测试用户设备340的过程中使用的初始网络状态可以是特定的参数化网络设置。或者,或另外地,它可以引起消息或一系列消息从处于特定参数化状态的网络模拟器328发送。随后,测试应用程序302控制网络模拟器328进入互动模式,在互动模式中,参数化的网络模拟器和用户设备以非脚本的方式通信。例如,在采用将在测试中使用的初始网络状态之后可以将一个或多个消息从用户设备340传输至网络模拟器328,网络模拟器328可以基于它的状态进行响应。
在执行测试机制的过程中,测试计算机300与网络模拟器328的控制器332保持通信。记录器软件304在日志文件中记录与网络模拟器328和用户设备340之间的系列事件以及通信相关的数据。这种日志文件可以包括-举例来说-网络模拟器和用户设备所采用的各种状态和条件的时间戳记录,和/或它们之间发送的消息的记录。日志文件还可以包括与消息自身相关的数据,包括-举例来说-有效载荷数据和/或尺寸数据。
在一个时间点之后,测试应用程序302引起网络模拟器328改变为第二网络状态,从而进入第二交互模式,实现用户设备340和处于其第二状态的网络模拟器328之间的进一步非脚本交互。从初始网络状态到第二网络状态的改变可以-举例来说-自动或手动编程为-举例来说-在某个时间延迟之后发生,在特定时间发生,或者可以编程为响应于与用户设备340或网络模拟器328相关的触发器而发生。例如,触发器可以是与用户设备340相关的特定事件,或者可以是与网络模拟器328相关的特定事件。对于网络模拟器328或用户设备340而言,触发事件可以包括,例如,特定条件的确立或者特定消息的发送。第二网络状态可以是为了的重新参数化。或者,或另外地,第二网络状态可以是从参数化(或重新参数化)的网络模拟器328向用户设备340发送特定消息或一组消息。
根据测试应用程序所执行的测试机制,可能存在任意数量的编程网络模拟器状态改变,在这些改变之间插入有非脚本互动周期。根据本说明书,很明显,在部署初始网络状态的情况下,测试应用程序302不会驱动网络模拟器无线收发器334和用户设备340之间高度定义的脚本消息的发送,如同已知测试脚本一样。相反,交互模式表示用户设备340和网络模拟器328之间的一种一段时间的非脚本通信,在此期间,受测试应用程序302控制的网络模拟器328对非脚本通信进行监控和记录。这些可能包括信令序列,用户数据,静止周期或者任何其他系统行为。这些类型的通信包括-例如-用户设备340尝试注册到网络上,请求数据通道以传输用户设备340产生的数据,和/或发送与用户设备340所监控的网络条件有关的测量值。当检测到针对下一个网络模拟器状态改变的编程触发器时,控制器根据测试机制将进程前移。
图4显示了根据本发明一种实施方式的,尤其是网络模拟器328和用户设备340之间的通信,所述实施方式执行非确定性测试机制。
在时间TS1,网络模拟器328根据测试软件302正在执行的测试机制采取初始网络状态度。在该示例中,初始网络状态包括网络模拟器328的参数化和从网络模拟器328向用户设备340发送测试消息400。在此之后,网络模拟器328进入交互模式,在该模式期间,网络模拟器328和用户设备340之间存在一段时间的非脚本通信402。根据前面的解释,“交互模式”在此背景下意指用户设备340和参数化的网络模拟器之间的一段时间的通信,该通信是没有脚本的或者直接由测试应用程序302控制,而不是说用户设备340和网络模拟器328在这种情况下能够根据它们的正常运行模式继续交互式通信。通信被运行测试应用程序302和记录器应用程序307的测试计算机300监控和记录。
在稍晚的时间TSC1,测试应用程序302识别针对网络模拟器328状态改变的编程触发器,并实施状态改变,由此网络模拟器328在必要时重新参数化并在时间TS2采用它的第二网络状态。在其第二网络状态中,网络模拟器328进入与用户设备340进行交互式通信的模式。如前所述,测试计算机300监控处于其第二状态的网络模拟器和用户设备340之间的一段时间交互式非脚本通信,并在日志文件中记录相关数据。当测试应用程序302的控制器确定针对网络模拟器328的进一步状态改变的触发器时,第二段时间的交互式通信404在时间TSC2结束。
网络模拟器328改变为第三网络状态的这种进一步状态改变在时间TS3发生。在该示例中,网络模拟器328的第三网络状态是通过重新参数化实现的,不向用户设备340发送任何测试消息。在此之后,网络模拟器328和用户设备340进入第三段时间404的交互式非脚本通信,该通信由测试计算机记录在日志文件中。如前所述,当编程触发器的控制器确定时,所述交互式通信在时间TSC3结束。
实施的测试机制可以包括任意期望数量的编程网络模拟器状态改变和交互通信周期。日志文件可以包括-举例来说-信息,该信息包括网络模拟器设置,用户设备条件或设置,用户设备ID,用户设备类型和/或制造商,消息类型,时间戳,有效载荷数据,应用程序代码,和/或在用户设备的非确定性无线测试机制背景下有用的任何其他数据。
使用后处理软件306来自动解析日志文件,从而确定测试结论。例如,后处理软件可以解析日志文件以确定在不同网络设置(例如,在变化的收发器功率水平和/或信道质量)下达到的数据吞吐量。或者,或另外地,后处理软件可以自动识别用户设备340和网络模拟器328之间不同类型的过量通信,包括特定用户设备导致的同网络的高水平不必要通信。后处理软件优选生成关于消息计数和/或消息延迟的有用报告和/或自动将结果与测试规范比较,从而警示特定问题。
本领域技术人员可以理解,测试计算机300和网络模拟器328可以包括一个以上的计算机,并且这里所描述的不同测试应用程序和网络模拟功能可以不同方式实施和/或在多个计算机上实施。例如,测试应用程序300可以由自动化计算机辅助,该自动化计算机被配置为控制设备和/或执行应用程序。测试脚本可以包含命令,这些命令通过预定义连接发送至自动化计算机。自动化计算机可以在用户定义的配置文件中查找命令,并采取合适动作,该动作可以是-举例来说-控制测试计算机范围外的应用程序或硬件,和/或从应用程序或硬件请求状态信息。根据需要,协议栈,或者协议栈内的层,或者网络模拟器的其他组件可以通过与所示方式不同的方式实施,网络模拟器的一部分在不同计算机上实施。或者,测试计算机和网络模拟器可以作为一个设备来提供。
在纯软件环境下对用户设备或其他设备,包括协议栈功能进行测试是可能的。在这些实施方式中,测试设备不需要与无线用户设备,例如手机相关的所有标准硬件。因此,本发明的其他实施方式被配置为在软件环境下执行设备测试,无需标准硬件,例如天线。
计算机的硬件元件,操作系统和编程语言可以在本质上是传统的,并且假定本领域技术人员对此足够熟悉。当然,所述功能可以-至少部分地-在专用硬件或应用程序特定的固件中实施。所描述的任意组件或功能-它们的一部分对于实施本发明是必需的-可以任意合适的方式分布在多个组件或平台上,从而分散处理负载。
在此,这里所描述的方法和装置的各个方面可以在计算设备,例如服务器上执行。技术的程序方面可以被认为是“产品”或“制品”,其形式通常是可执行的代码和/或机器可读介质上承载的或包含在机器可读介质中的相关数据。
“存储”式介质包括以下特征中的任意特征或所有特征:计算机的存储器,处理器等,或它们的相关模块,例如各种半导体存储器,磁带驱动器,硬盘驱动器等,它们可以在任意时间为软件编程提供存储。软件的全部或部分可以时时通过互联网或各种其他通信网络通信。所述通信-举例来说-可以实现将软件从一个计算机上加载到另一个计算机或处理器中。因此,可以承载软件元件的其他类型的介质包括光波,电波和电磁波,例如在本地设备之间的物理接口上使用,通过有线和光学固网和在各种空中链路上使用的光波,电波和电磁波。能够承载这些波-例如,有线或无线链路,光学链路等-的物理元件也可以视为承载软件的介质。除非限制为有形非瞬时性“存储”介质,这里所使用的术语,例如计算机或机器“可读介质”指的是向处理器提供将执行指令的任意介质。
因此,机器可读介质可以是任意形式,包括但是不限于有形存储载体,载波介质,或物理处理介质。非易失存储介质包括-举例来说-光盘或磁盘,例如计算机等之中使用的任意存储设备,举例来说,可以用于实施如图所示的编码器,解码器等。易失存储介质包括动态存储器,例如计算机平台的主存储器。有形传输介质包括同轴电缆;铜线和光纤,包括计算机系统中包括总线的电线。载波传输介质的形式可以是电信号或电磁信号,或声波或光波,例如在射频(RF)和红外(IR)数据通信中生成的那些。因此,举例来说,计算机可读介质的通常形式包括:软盘,柔性碟,硬盘,磁带,任意其他磁性介质,CD-ROM,DVD或DVD-ROM,任意其他光学介质,穿孔卡,纸带,具有带孔图形的任意其他物理存储介质,RAM,PROM和EPROM,FLASH-EPROM,任意其他存储器芯片或卡匣,传输数据或指令的载波,传输载波的线缆或链路,或任意其他介质,计算机可以从这些任意其他介质中读取编程编码和/或数据。计算机可读介质的很多这种形式可以涉及将一个或多个指令的一个或多个序列传递至处理器以执行。
本领域技术人员将会理解,尽管上面的内容描述了被视为最佳的实施方式和实施本发明的其他实施方式,但是本发明不应局限于在描述优选实施方式的过程中公开的特定装置配置或方法步骤。应该理解,可以对本发明进行各种修改,此处公开的发明主题可以通过不同形式和实施例来实施,并且本发明的教导可以在大量应用中使用,这里只公开了一部分。权利要求对落入本发明的真实范围内的所有应用,修改和变化进行保护。本领域技术人员将认识到,本发明包括大量的应用,并且在不偏离权利要求所限定的范明概念的前提下,可以对实施方式进行大量的修改。
尽管根据特定示例性实施方式对本发明进行了描述,但是可以理解,对在这里公开的特征进行的各种修改,变更和/或组合对于本领域技术人员来说是明显的,不超出权利要求所限定的本发明的精神和范围。

Claims (16)

1.一种测试装置,该测试装置能配置为对设备进行非确定性测试,所述装置包括:
测试计算机,该测试计算机被配置为在测试应用程序的控制下自动执行非确定性测试机制;以及
网络模拟器,该网络模拟器连接至所述测试计算机并被提供有通信电路,该通信电路可操作以与被测设备进行通信,其中所述网络模拟器能根据所述非确定性测试机制配置为不同网络状态,并且其中所述测试应用程序可操作以控制所述网络模拟器在多个不同网络状态之间转换,并且在所述转换之间的交互周期中监控与所述网络模拟器和所述设备之间的非脚本通信相关的数据。
2.如权利要求1所述的测试装置,其中所述网络模拟器包括能由所述测试应用程序配置的协议栈模块。
3.如前述权利要求中任意一项所述的测试装置,其中所述网络模拟器包括协议栈模块,该协议栈模块能经由所述测试应用程序在采用不同无线电接入技术的网络状态之间配置。
4.如前述权利要求中任意一项所述的测试装置,其中所述测试应用程序包括测试机制,该测试机制包括在不同网络状态之间的多个预编程转换。
5.如前述权利要求中任意一项所述的测试装置,其中所述测试应用程序可操作以引起所述网络模拟器采用新的网络设置来作为到新网络状态的转换的一部分。
6.如前述权利要求中任意一项所述的测试装置,其中所述测试应用程序可操作以引起处于新网络状态的网络模拟器向所述设备发送测试消息。
7.如前述权利要求中任意一项所述的测试装置,其中所述网络模拟器可操作以基于特定时间或时间延迟中的一个或多个而在不同网络状态之间转换。
8.如前述权利要求中任意一项所述的测试装置,其中所述网络模拟器可操作以响应于与所述设备和所述网络模拟器中的一个或多个相关的触发事件而在不同网络状态之间转换。
9.如前述权利要求中任意一项所述的测试装置,其中所述网络模拟器可操作以响应于触发事件而在不同网络状态之间转换,并且其中所述触发事件是在所述设备和所述网络模拟器中的一个或多个中被满足的条件。
10.如前述权利要求中任意一项所述的测试装置,其中所述网络模拟器可操作以响应于触发事件而在不同网络状态之间转换。
11.如权利要求10所述的测试装置,其中所述触发事件是所述网络模拟器从所述设备接收的预定消息。
12.如前述权利要求中任意一项所述的测试装置,该测试装置还包括记录器,该记录器可操作以记录与所述多个网络状态相关的数据,并且对于相关网络状态,所述相关的数据与所述网络模拟器和所述设备之间的通信相关。
13.如权利要求12所述的测试装置,该测试装置还包括软件工具,该软件工具可操作以自动分析所述记录器所记录的数据,从而确定测试结果。
14.一种测试应用程序,该测试应用程序用于对设备进行基于网络模拟器的测试,所述测试应用程序包括适于在计算机上运行的计算机程序代码,当在计算机上运行时,所述计算机代码可操作以引起所述计算机:
利用根据非确定性测试机制使用的网络参数确立第一网络模拟器状态;
监控当所述网络模拟器处于所述第一状态时所述网络模拟器与所述设备之间一段时间的非脚本通信;
基于根据所述测试机制的第二组网络参数引起所述网络模拟器转换为第二网络模拟器状态,监控当所述网络模拟器处于所述第二状态时所述网络模拟器与所述设备之间的一段时间的非脚本通信;以及
引起与每个网络模拟器状态相关的日志数据和所述网络模拟器与所述用户设备之间的相关通信被记录在日志文件中。
15.一种用于对设备进行测试的网络模拟器,该网络模拟器包括:协议栈模块;
与所述设备通信的传输电路;以及
控制器,该控制器具有针对测试应用程序的接口,其中所述控制器可操作以从所述应用程序接收参数,该参数包括协议栈参数,并且基于所述参数引起所述网络模拟器依次在多个编程网络模拟器状态之间转换,并且其中所述控制器可操作以在每个网络状态期间监控被测设备和所述网络模拟器之间的一段时间的非脚本无线通信。
16.如权利要求15所述的网络模拟器,其中与所述设备通信的传输电路包括至少一个天线。
CN201380072113.6A 2012-12-04 2013-11-14 用于测试的装置 Active CN105009500B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1221810.3 2012-12-04
GB1221810.3A GB2511027A (en) 2012-12-04 2012-12-04 Apparatus and method for testing
PCT/GB2013/053006 WO2014087130A1 (en) 2012-12-04 2013-11-14 Apparatus and method for testing

Publications (2)

Publication Number Publication Date
CN105009500A true CN105009500A (zh) 2015-10-28
CN105009500B CN105009500B (zh) 2019-03-15

Family

ID=49622843

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380072113.6A Active CN105009500B (zh) 2012-12-04 2013-11-14 用于测试的装置

Country Status (7)

Country Link
US (1) US9774407B2 (zh)
KR (1) KR102064634B1 (zh)
CN (1) CN105009500B (zh)
DE (1) DE112013005799T5 (zh)
GB (1) GB2511027A (zh)
TW (1) TW201427335A (zh)
WO (1) WO2014087130A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107734532A (zh) * 2017-10-10 2018-02-23 广东欧珀移动通信有限公司 检测终端接入的方法及相关产品
CN109271310A (zh) * 2017-07-18 2019-01-25 北京京东尚科信息技术有限公司 移动应用程序网络功能的开发测试方法和装置
CN109314653A (zh) * 2016-06-06 2019-02-05 讯宝科技有限责任公司 用于分析与耦合到wlan的无线电相关联的预定参数集的客户端设备和方法
CN110865931A (zh) * 2018-08-28 2020-03-06 阿里巴巴集团控股有限公司 模拟方法、装置、电子设备和存储介质

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10433195B2 (en) 2014-10-14 2019-10-01 Rohde & Schwarz Gmbh & Co. Kg Technique for testing wireless network load produced by mobile app-carrying devices
SG10201406596XA (en) 2014-10-14 2016-05-30 Rohde & Schwarz Asia Pte Ltd Technique for testing wireless network load produced by mobile app-carrying devices
US11539454B2 (en) * 2014-12-31 2022-12-27 Arris Enterprises Llc Service validation using emulated virtual clients
CN104822159A (zh) * 2015-01-04 2015-08-05 杭州敦崇科技股份有限公司 一种模拟sta对ap进行wlan测试的系统和方法
US10169203B2 (en) * 2015-10-14 2019-01-01 At&T Intellectual Property I, L.P. Test simulation for software defined networking environments
PL3371997T3 (pl) * 2015-11-05 2024-02-26 Nokia Technologies Oy Specjalne funkcje testowe do zależnej od aplikacji transmisji danych
CN105808427A (zh) * 2016-03-02 2016-07-27 厦门美图移动科技有限公司 一种移动终端软件测试方法、装置和系统
US9749884B1 (en) 2016-03-22 2017-08-29 T-Mobile Usa, Inc. Mobile device validation
EP3319362B1 (en) 2016-11-04 2019-09-11 Rohde & Schwarz GmbH & Co. KG Communication device and testing method
EP3402241B1 (en) * 2017-05-09 2021-08-04 Rohde & Schwarz GmbH & Co. KG System simulator and simulation method
US11412396B2 (en) * 2018-01-09 2022-08-09 Keysight Technologies, Inc. Methods, systems and computer readable media for stimulating and testing wireless devices
US10404386B1 (en) 2018-05-30 2019-09-03 Rohde & Schwarz Gmbh & Co. Kg Mobile radio communication test system and method
CN109857638B (zh) * 2018-12-28 2022-10-28 北京航天测控技术有限公司 一种测试系统软件通用框架
CN111866918A (zh) * 2019-04-30 2020-10-30 大唐联仪科技有限公司 一种终端测试系统及方法
WO2023113828A1 (en) * 2021-12-17 2023-06-22 Visa International Service Association Simulator application on mobile device for integration testing
CN115174461B (zh) * 2022-09-08 2022-12-23 北京迎风知至科技有限公司 一种基于网络请求的系统测试方法以及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0589576A2 (en) * 1992-09-08 1994-03-30 AT&T Corp. Communications network test environment
US6011830A (en) * 1996-12-10 2000-01-04 Telefonaktiebolaget Lm Ericsson Operational test device and method of performing an operational test for a system under test
EP1463353A2 (en) * 2003-03-24 2004-09-29 Anritsu Corporation System and method for testing handovers in a mobile communication network and for displaying the results
CN101690302A (zh) * 2007-06-27 2010-03-31 罗德施瓦兹两合股份有限公司 用于测试移动无线设备的方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7487396B2 (en) * 2004-10-15 2009-02-03 Broadcom Corporation System and method to locate and correct software errors within a protocol stack for wireless devices
US8599820B2 (en) 2010-09-21 2013-12-03 Anite Finland Oy Apparatus and method for communication
US8406789B1 (en) 2011-12-22 2013-03-26 Anite Finland Oy Apparatus and method for detecting co-channels signals
US20150237199A1 (en) 2014-02-19 2015-08-20 Anite Finland Oy Testing apparatus for communication system and method therefor

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0589576A2 (en) * 1992-09-08 1994-03-30 AT&T Corp. Communications network test environment
US6011830A (en) * 1996-12-10 2000-01-04 Telefonaktiebolaget Lm Ericsson Operational test device and method of performing an operational test for a system under test
EP1463353A2 (en) * 2003-03-24 2004-09-29 Anritsu Corporation System and method for testing handovers in a mobile communication network and for displaying the results
CN101690302A (zh) * 2007-06-27 2010-03-31 罗德施瓦兹两合股份有限公司 用于测试移动无线设备的方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109314653A (zh) * 2016-06-06 2019-02-05 讯宝科技有限责任公司 用于分析与耦合到wlan的无线电相关联的预定参数集的客户端设备和方法
CN109271310A (zh) * 2017-07-18 2019-01-25 北京京东尚科信息技术有限公司 移动应用程序网络功能的开发测试方法和装置
CN107734532A (zh) * 2017-10-10 2018-02-23 广东欧珀移动通信有限公司 检测终端接入的方法及相关产品
CN107734532B (zh) * 2017-10-10 2021-01-22 Oppo广东移动通信有限公司 检测终端接入的方法及相关产品
CN110865931A (zh) * 2018-08-28 2020-03-06 阿里巴巴集团控股有限公司 模拟方法、装置、电子设备和存储介质
CN110865931B (zh) * 2018-08-28 2023-05-12 阿里巴巴集团控股有限公司 模拟方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
KR102064634B1 (ko) 2020-01-09
US20150318935A1 (en) 2015-11-05
US9774407B2 (en) 2017-09-26
GB2511027A (en) 2014-08-27
WO2014087130A1 (en) 2014-06-12
KR20150135198A (ko) 2015-12-02
TW201427335A (zh) 2014-07-01
DE112013005799T5 (de) 2015-08-20
CN105009500B (zh) 2019-03-15

Similar Documents

Publication Publication Date Title
CN105009500A (zh) 用于测试的装置和方法
KR101052167B1 (ko) 무선 장치의 네트워크 액세스 성능을 결정하기 위한 장치 및 방법
CN105764081B (zh) 检测通讯链路的方法、基站、网管及系统
CN106685676B (zh) 一种节点切换方法及装置
CN105205003A (zh) 一种基于集群化系统的自动化测试方法和装置
JP7135969B2 (ja) 情報処理方法及び情報処理装置
CN102388644A (zh) 检测睡眠小区的方法和系统
CN104811979A (zh) 基于fota升级的压力测试方法和装置
US20170187585A1 (en) Technologies for validating operations of devices
CN103856959A (zh) 无线局域网络质量监控方法、设备和系统
CN105588989B (zh) 单板测试方法及装置
US9743297B1 (en) Methods, systems, and computer readable media for testing wireless devices in wireless environments
CN101291521A (zh) 获取接入信道使用情况的方法及装置
US10674337B2 (en) Method and device for processing operation for device peripheral
CN112788636B (zh) 小区状态的确定方法、装置及网管系统
CN109391328B (zh) 一种切换方法和系统
CN109150578B (zh) 一种cors站远程批量参数配置方法
CN107483295B (zh) 一种网管系统处理能力的测试方法
CN107678905B (zh) 一种监控方法和装置
CN105101242A (zh) 一种呼叫自动化测试的实现方法
CN111090586B (zh) 代码覆盖率数据文件的上报方法、装置和计算机设备
CN110662242A (zh) 天馈系统检测方法、网管设备及计算机可读存储介质
EP2745547B1 (en) App driven base station man-machine interface
CN114089086B (zh) 一种通讯管理机测试设备及其测试方法
US20200412620A1 (en) Wireless configuration diagnosis framework

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160107

Address after: Singapore Singapore

Applicant after: Tak Technology Singapore (Holdings) Pte Ltd

Address before: Burke County, England

Applicant before: ANITE TELECOMS LIMITED

TA01 Transfer of patent application right

Effective date of registration: 20181207

Address after: Singapore City

Applicant after: Deutsche Technologies Singapore (Sales) Private Limited

Address before: Singapore Singapore

Applicant before: Tak Technology Singapore (Holdings) Pte Ltd

TA01 Transfer of patent application right
CB02 Change of applicant information

Address after: Singapore Singapore

Applicant after: Deutsche Technologies Singapore (Sales) Private Limited

Address before: Singapore City

Applicant before: Deutsche Technologies Singapore (Sales) Private Limited

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant