CN108536579A - 资源受限设备测试系统和方法 - Google Patents

资源受限设备测试系统和方法 Download PDF

Info

Publication number
CN108536579A
CN108536579A CN201810135522.0A CN201810135522A CN108536579A CN 108536579 A CN108536579 A CN 108536579A CN 201810135522 A CN201810135522 A CN 201810135522A CN 108536579 A CN108536579 A CN 108536579A
Authority
CN
China
Prior art keywords
test
resource
executable files
original executable
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810135522.0A
Other languages
English (en)
Other versions
CN108536579B (zh
Inventor
S·杜塔
D·钱达
S·曼达尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wipro Ltd
Original Assignee
Wipro Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wipro Ltd filed Critical Wipro Ltd
Publication of CN108536579A publication Critical patent/CN108536579A/zh
Application granted granted Critical
Publication of CN108536579B publication Critical patent/CN108536579B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
    • G06F11/2294—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing by remote test
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3688—Test management for test execution, e.g. scheduling of test suites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3684—Test management for test design, e.g. generating new test cases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3676—Test management for coverage analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3692—Test management for test results analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明总体涉及设备测试，尤其涉及一种资源受限设备测试系统和方法。在一种实施方式中，提供一种资源受限设备测试方法，该方法包括：确定用于测试所述资源受限设备的测试用例；以及访问与所述测试用例对应的测试脚本。该测试脚本包括相互独立的一组原始可执行文件。所述方法还包括：将所述一组原始可执行文件当中的每一个发送至所述资源受限设备以供执行；以及接收与所述一组原始可执行文件当中的每一个的执行相对应的结果。

Description

资源受限设备测试系统和方法
技术领域
本发明总体涉及设备测试，尤其涉及一种资源受限设备的测试系统和方法。
背景技术
过去数年中，计算设备的物理尺寸急剧下降。尺寸规格为微型至超微型且具有有限计算能力和较低功耗要求的微型设备已经变得无处不在，并且对机器帮助人类的方式进行着持续的革新。这些设备正被广泛地应用于例如零售、交通运输、国防及医疗保健等各行各业。由于此类微型设备的性质及其目标用途，其上运行的应用程序正在变得越来越复杂而且对质量的要求也越来越高。
现有应用程序开发过程指导标准规定了保证应用程序质量和稳健性所需的合适的测试工作量。然而，在许多情况下，针对微型设备的应用程序的开发周期较短，全面测试将对上市时间产生不利影响。此外，现有测试方法需要目标设备具有大量的计算资源(如内存、处理功能等)。可以理解的是，此类微型设备的计算资源量可能极为有限，因此这些设备内的应用程序或组件的测试可能会受到限制。例如，微型设备的内存甚至可能不足以完整地设置某些现有测试方法所需的设备代理程序(DA)。此外，在测试执行过程中，资源的可用状况可能发生动态变化，并从而可能导致此类微型设备内的测试进程终止。简而言之，微型设备可用资源的有限性和动态性使得现有测试方法不适宜于微型设备的测试，而且测试效率较低。
发明内容
在一种实施方式中，公开一种资源受限设备测试方法。在一个实施例中，该方法包括确定用于测试所述资源受限设备的测试用例。该方法还包括访问与所述测试用例对应的测试脚本。该测试脚本包括相互独立的一组原始可执行文件。该方法还包括将所述一组原始可执行文件当中的每一个发送至所述资源受限设备以供执行。该方法还包括接收与所述一组原始可执行文件当中的每一个的执行相对应的结果。
在一种实施方式中，公开一种资源受限设备测试系统。在一个实施例中，该系统包括：至少一个处理器；以及与该至少一个处理器以可通信方式联结的存储器。该存储器存有处理器可执行指令，该指令在执行时使得所述处理器确定用于测试所述资源受限设备的测试用例。所述处理器可执行指令在执行时还使得所述处理器访问与所述测试用例对应的测试脚本。该测试脚本包括相互独立的一组原始可执行文件。所述处理器可执行指令在执行时还使得所述处理器将所述一组原始可执行文件当中的每一个发送至所述资源受限设备以供执行。所述处理器可执行指令在执行时还使得所述处理器接收与所述一组原始可执行文件当中的每一个的执行相对应的结果。
在一种实施方式中，公开一种非暂时性计算机可读存储介质，其上存有一组用于测试资源受限设备的计算机可执行指令。在一个实施例中，所存指令在由处理器执行时使得该处理器执行操作，该操作包括确定用于测试所述资源受限设备的测试用例。该操作还包括访问与所述测试用例对应的测试脚本。该测试脚本包括相互独立的一组原始可执行文件。所述操作还包括将所述一组原始可执行文件当中的每一个发送至所述资源受限设备以供执行。所述操作还包括接收与所述一组原始可执行文件当中的每一的执行相对应的结果。
需要理解的是，以上概略描述与以下详细描述均仅在于例示和说明，而不在于限制所要求保护的发明。
附图说明
所附各图并入本发明之内并构成本发明的一部分，用于对例示实施方式进行描述，并与说明书一道阐明所公开的原理。
图1为用于设备测试的现有系统框图。
图2为用于设备测试的另一现有系统框图。
图3为根据本发明一些实施方式的用于资源受限设备测试的例示系统框图。
图4为根据本发明一些实施方式的用于资源受限设备测试的例示方法概要流程图。
图5为根据本发明一些实施方式的用于资源受限设备测试的例示方法流程图。
图6为用于实施符合本发明实施方式的例示计算机系统框图。
具体实施方式
以下，参考附图，对例示实施方式进行描述。在任何方便之处，各图中均采用相同附图标记指代相同或类似部件。虽然本文中描述了所公开原理的实施例和特征，但是在不脱离所公开实施方式的精神和范围的前提下，还可进行修改、调整以及做出其他实施方式。以下具体描述意在仅视作例示，而真正的范围及精神如权利要求书所示。
现在参考图1，该图所示为用于设备测试的现有系统100。系统100包括设置于目标设备103内的测试套件101和测试代理程序102。需要注意的是，目标设备103可以为具有足够计算资源(如存储器、处理功能等)的设备。举例而言，目标设备103可以例如为企业资源规划(ERP)系统、客户关系管理(CRM)系统、计算机服务器等企业系统。测试套件101包括一套测试脚本104，这些测试脚本对应于在目标设备103测试期间在目标设备103上执行的各种测试用例。在测试期间，测试代理程序102可访问并执行测试脚本104，以对目标设备103的各种组件105(COMP1，COMP2，……，COMPn)进行测试。此外，调度程序106根据预定义调度表或在用户发起时，对目标设备103的测试进程(test session)进行调度。测试脚本104在测试进程内的执行结果可在测试套件101内保存为测试报告107。在一些实施方式中，测试套件101可包括来自多个测试进程的测试报告107。随后，这些测试报告107可呈现给用户。
运行过程中，测试代理程序102从调度程序106接收在目标设备103上实施测试的请求。当从调度程序106接收到请求后，测试代理程序102通过与目标设备103内的各种组件105进行交互而执行测试套件101内的可用的一套测试脚本104。测试脚本104在该测试进程内的执行结果可被收集为测试报告107并保存于测试套件101内。
在一些实施方式中，测试套件和测试代理程序可设置于远离目标设备的专用系统内，并且可通过有线或无线通信信道对目标设备进行测试。可以理解的是，这一方式可能需要较少的计算资源，并且可被具有适量计算资源的设备方便地使用。举例而言，所述具有适量计算资源的目标设备可以为移动电话、个人数字助理(PDA)、笔记本计算机、便携式计算机、台式计算机等嵌入式设备。
现在参考图2，该图所示为用于设备测试的另一现有系统200。系统200包括远离一个或多个待测目标设备202的测试系统201。测试系统201包括测试套件203和测试代理程序204。测试套件203包括多个测试脚本205，这些测试脚本对应于对目标设备202进行测试的各种测试用例。测试代理程序204可对所述多个测试脚本205当中待在给定目标设备202上执行的一个或多个测试脚本进行访问。
目标设备202当中的每一个均包括设备代理程序206，该设备代理程序通过有线或无线通信信道与测试代理程序204通信。可以理解的是，测试代理程序204与设备代理程序206之间的通信可基于任何简单的请求/响应协议，而且可以为在线或离线通信。设备代理程序206从测试代理程序204接收所述多个测试脚本205当中的所述一个或多个测试脚本，并在测试期间执行所接收的测试脚本205，以实现对目标设备202的各种组件207(COMP1，COMP2，……，COMPn)的测试。调度程序208根据预定义调度表或在用户发起时，对每个目标设备202的测试进程进行调度。测试脚本205在测试进程内的执行结果可由设备代理程序206收集并发送至测试代理程序204。随后，测试代理程序204可将该结果在测试套件203内保存为测试报告209。如上所述，测试套件203可包括来自每个所述目标设备202的多个测试进程的测试报告209。此外，保存后的测试报告209可呈现给用户。
运行过程中，测试代理程序204可从调度程序208接收用于在给定目标设备202上进行测试的请求。当从调度程序208接收到请求后，测试代理程序204可对测试套件203内的测试脚本205当中的针对给定目标设备202的一个或多个测试脚本进行访问。之后，测试代理程序204可通过与给定目标设备202内的设备代理程序206进行交互而启动给定目标设备202的测试。测试代理程序204将所述测试脚本205当中的所述一个或多个测试脚本发送至设备代理程序206，然后该设备代理程序可通过与目标设备202的各种组件207进行交互而执行所接收的测试脚本。测试脚本205在给定目标设备202的测试进程内的所述执行结果可被收集为测试报告209并保存于测试套件203之内。
如前所述，对于微型计算设备而言，上述测试技术因要求较大的计算资源而可能并不适用于此类微型计算设备。所述微型计算设备可包括，但不限于，活动追踪器、智能手表、智能眼镜、智能传感器、微型即插即用设备、微型存储解决方案、物联网(IoT)设备以及其他可穿戴设备。此类微型设备可运行轻量级优化操作系统(如Windows 10 IoT、GoogleBrillio、RIOTOS等)上的一个或多个实时应用程序。此类微型设备的内存设置甚至可能不足以对设备代理程序进行完整设置。此外，在测试执行过程中，资源的可用状况可能发生动态变化，并从而可能导致此类微型设备内的测试进程终止。换而言之，此类微型设备的可用资源的有限性和动态性使得上述测试技术不适用且效率低。
因此，需要提供一种在不牺牲质量的同时，保持开发速度的微型计算设备测试技术。例如，需要提供一种用于资源受限设备测试的定制技术以使得减少待测资源受限设备上的计算负载。此外，还需要提供一种能够实施完全测试的高效以及高成本效率的优化测试技术。
现在参考图3，该图所示为根据本发明一些实施方式的用于资源受限设备测试的例示系统300。系统300包括远离一个或多个待测目标设备302的测试系统301。目标设备302也可称为待测设备(DUT)。测试系统301包括测试套件303，用户界面304以及测试代理程序305。测试套件303包括数个原始可执行文件(EXE)306，与用于对目标设备302进行测试的各种测试用例对应的数个测试脚本307，以及测试报告308。目标设备302包括设备代理程序309，该设备代理程序通过与目标设备302内的各种组件311(COMP1，COMPp，……，COMPt，COMPn)交互而对接收自测试代理程序305的一个或多个原始可执行文件310(EXE1，EXE2，……，EXEn)进行执行。
原始可执行文件306为与需要在目标设备302上执行的各种原子操作相对应的可执行文件。原始可执行文件306既可手动，也可自动生成，以对所述原子操作进行执行。每个测试脚本307均对应于对给定目标设备302进行测试的测试用例。可以理解的是，该测试用例可随目标设备302而变化。测试脚本307可利用与测试脚本307内的步骤相对应的原始可执行文件306生成。需要注意的是，每个该测试步骤均可包含相关测试步骤的信息。测试脚本307通过执行原始可执行文件306并将执行结果与测试用例内所述的预期结果相比较的方式对所述测试用例进行评价。每个测试报告308均为测试脚本307(即相关原始可执行文件306)的执行结果。
用户界面304允许用户(如测试人员)上传测试用例。用户界面304还允许用户将测试用例分组，以使得可根据情形(如压力、回归等)执行一组测试用例。此外，用户界面304还允许用户上传或创建与测试用例对应的测试脚本307。举例而言，用户界面304提供编辑器(如WYSIWYG编辑器)，以允许用户针对每个测试用例创建测试脚本，以及/或者创建测试用例与测试脚本之间的映射。用户界面304还允许用户根据测试执行结果生成测试报告。在一些实施方式中，用户可以以.xls、.doc、.pdf或任何其他预定义或用户选择格式查看或导出测试报告。此外，用户界面304还允许测试人员针对每个上传或创建的测试脚本307上传或创建目标设备特定的原始可执行文件306。
测试代理程序305利用任何简单的请求/响应协议，经相应的设备代理程序309，与一个或多个目标设备302交互。在一些实施方式中，测试代理程序305经测试TP与设备代理程序309通信，其中该测试TP用作与设备代理程序309通信的通信载体。可以理解的是，对目标设备302进行测试的测试进程由调度程序312触发。在一些实施方式中，调度程序312使用用户界面304从测试套件303中选择合适测试用例并选择目标设备302，然后经测试代理程序305触发测试进程。测试代理程序305访问与对应于所选测试用例的测试脚本相对应的原始可执行文件，并将其提供于所选目标设备的设备代理程序309，以供执行。测试代理程序305还从目标设备302接收所述原始可执行文件的执行结果，并通过对其进行编译而确定测试脚本307的执行结果。该结果作为测试报告308提供给测试套件303。
每个目标设备302的设备代理程序309均与测试系统301的测试代理程序305通信。在一些实施方式中，设备代理程序309经设备TP与测试代理程序305通信，其中该设备TP用作与测试代理程序305通信的通信载体。设备代理程序309可执行从测试代理程序305接收的命令。如此，设备代理程序309便可按照从测试代理程序305接收的指令，在目标设备302上执行与测试用例对应的测试脚本307。设备代理程序309接收与测试脚本307相对应的原始可执行文件310，并通过与目标设备302内的各种组件311交互而对其进行执行。设备代理程序309还将原始可执行文件310的执行结果提供给测试代理程序305。此外，设备代理程序309还对目标设备302内的计算资源可用性进行测定，并将其告知于测试代理程序305。可以理解的是，所述可用性的测定既可以周期性间隔实施，也可在运行过程中应测试代理程序305的请求而实施。该周期性可根据目标设备的性质预先定义。
如此，每个测试脚本307均由一组原始原子操作构成。为了实现这些原子操作的执行，可以针对每个此类操作开发合适的原始可执行文件306。测试代理程序305通过向用于执行相应操作的设备代理程序309发送所述一组原始可执行文件306的方式执行所述测试脚本。可以理解的是，所述原始可执行文件大小较小，并且与目标设备302的组件311相交互。测试代理程序305对运行时的资源可用性进行考量，并对测试执行顺序进行排序，以实现在保证最优测试执行时间和组件覆盖率的同时，克服运行时的资源限制。
举例而言，用户通过用户界面304创建或上传多个原始可执行文件306。用户还经用户界面304，使用多个原始可执行文件306创建与测试用例对应的测试脚本307。运行过程中，测试代理程序305从调度程序312接收要求在给定目标设备302上实施测试的请求。当从调度程序312接收到请求时，测试代理程序305可访问与给定目标设备302的测试脚本307相关的原始可执行文件，并将其提供给设备代理程序309，以供执行。测试代理程序305首先通过设备代理程序309测定给定目标设备302的计算资源可用性。测试代理程序305然后根据目标设备302的资源可用性，将所述相关原始可执行文件按顺序或分批提供给设备代理程序309。设备代理程序309通过执行所接收的相关原始可执行文件310而实现测试脚本307的执行，并将执行结果提供回测试代理程序305。测试代理程序305接收每次执行时的原始可执行文件310的执行结果，并在所有原始可执行文件的执行结果全部接收后将其整合，以确定测试脚本307在目标设备302上的执行结果。其后，测试代理程序305将测试脚本307的执行结果作为测试报告308提供。
需要注意的是，上述子系统、组件、引擎、模块、代理程序等可在可编程门阵列、可编程阵列逻辑、可编程逻辑设备等可编程硬件设备中实施。或者，该子系统、组件、引擎、模块、代理程序等可在由各类型处理器执行的软件内实施。已认定的可执行代码的引擎例如可包括计算机指令的一个或多个物理块或逻辑块，这些物理块或逻辑块例如组织为对象、程序、功能、模块或其他构建体。然而，在物理形式上，被认定引擎的可执行代码无需位于一处，而是可包括存于不同位置处的不同指令，当这些指令在逻辑上相互结合时，可包括所述引擎并实现该引擎的标称目的。实际上，可执行代码引擎可以为单个指令或多个指令，而且甚至可分布于不同应用程序的多个不同代码段上以及可分布于多个存储器装置之上。举例而言，本领域技术人员可理解的是，所有此类上述模块(如测试套件303，用户界面304，测试代理程序305，设备代理程序309，调度程序312等)可表示为单个模块或不同模块的组合。此外，本领域技术人员可理解的是，每个该模块均可完整地设于一个设备，或分成各部分并设于彼此通信的多个设备上。
现在参考图4，该图为以流程图表示的根据本发明一些实施方式的用于资源受限设备测试的例示方法400的概要。方法400包括如下步骤：在步骤401中，创建原始可执行文件；在步骤402中，利用所述原始可执行文件，创建测试脚本；在步骤403中，选择候选测试用例；在步骤404中，对所述候选测试用例进行排序；以及在步骤405中，执行对应的测试脚本。以下，将对这些步骤中的每一步骤进行更加详细的描述。
在步骤401中，方法400识别出需在所述目标设备(即待测设备)上实施的一组原子操作。此外，方法400还创建或允许创建与所述一组原子操作对应的独立运行的原始可执行文件。之后，方法400对每个所述原始可执行文件的资源使用要求(如内存、MIPS等)进行估算。用户(如开发人员、测试人员等)可将上述经过充分测试的原始可执行文件连同以下执行参数一起上传至存储库中，所述参数为：所述原始可执行文件的名称，输入参数(如用于调用的参数)，输出参数(如输出响应格式)，预计执行时间，预计资源用量，预计组件覆盖率等。可以理解的是，该存储库随后可由所述测试代理程序引用。
在步骤402中，方法400利用步骤401所创建的原始可执行文件，创建或允许创建测试脚本。需要注意的是，该测试脚本对应于测试用例。方法400为每个所述测试脚本确定各个步骤，并为该多个步骤当中的每个步骤确定一个或多个原始可执行文件。需要注意的是，测试步骤的预期目标通常应通过执行一个或多个原始可执行文件实现。可以理解的是，为了执行所述测试步骤，待执行的原始可执行文件列表可与其相应输入参数一起被说明。此外，对于每个测试步骤而言，如果其取决于之前的测试步骤时，则可与该之前测试步骤一起说明。此外，所述测试步骤还可对可分批执行或不取决于其他可执行文件的一个或多个原始可执行文件进行说明。可以理解的是，当多个原始可执行文件均不取决于其他可执行文件时，这些原始可执行文件可并行运行，从而改善测试执行方法。在此之后，可计算测试脚本结果(即通过或失败)，并根据每个与测试脚本相对应的原始可执行文件的执行结果，生成或更新测试报告。
在一些实施方式中，利用原始可执行文件创建测试脚本的步骤可通过WYSIWYG编辑器实施。该测试脚本可与以下执行参数一道存入所述存储库中：预计执行时间，预计资源用量，预计组件覆盖率等。测试脚本的执行参数(即脚本执行参数)根据相关原始可执行文件的执行参数(即可执行文件执行参数)确定。因此，给定测试脚本的预计资源用量、预计执行时间及预计组件覆盖率可分别根据相关原始可执行文件的预计资源用量、预计执行时间及预计组件覆盖率确定。或者，在一些实施方式中，给定测试脚本的预计组件覆盖率也可由用户(如测试设计人员)通过分析测试脚本对组件的影响而提供。
在步骤403中，方法400确定用于测试所述资源受限设备的测试用例。可先根据相应测试脚本的多个脚本执行参数计算多个测试用例当中每个用例的测试得分，然后根据所述多个测试用例当中每个用例的测试得分选择候选测试用例。可按照如下方式，计算每个测试用例的测试得分：
首先，针对所述目标设备内的所有资源(如内存、MIPS等)，根据式(1)，将资源使用量(RU)计算为测试用例所需资源与该目标设备内可用资源的函数f(.)：
RU＝f(TR1/R1,…,TRn/Rn) (1)
对于第i个资源(其中，i＝1,…,n)，TRi表示所述测试用例的资源需求量，Ri表示所述目标设备内的可用资源。换句话说，可根据所述目标设备的资源处理能力确定函数f(.)。
其次，可根据式(2)，将测试用例优先度(X)计算为测试用例(TE)执行时间与组件覆盖率(CC)的函数g(.)：
X＝g(TE,CC) (2)
换句话说，可根据需要确定函数g(.)。
最后，可根据式(3)，将测试得分(TV)计算为资源使用量(RU)与测试用例优先度(X)的函数h(.)：
TV＝h(RU,X) (3)
在步骤404中，方法400根据最高测试得分，确定测试用例顺序。如此，TV值最高的测试用例可被选为下一待执行的测试用例。在步骤405中，方法400执行与所选测试用例(即测试得分最高的测试用例)相对应的测试脚本。方法400首先访问与所选测试用例对应的测试脚本，然后检查所述目标设备内的可用资源。该目标设备内资源的可用性可由所述测试代理程序根据从该目标设备的设备代理程序接收的信息确定。该设备代理程序以周期间隔或在运行时对所述目标设备内的可用资源进行报告。
此后，方法400将与所选测试脚本相关的原始可执行文件发送至所述目标设备，以供执行。如此，所述测试代理程序将与所述测试脚本相关的原始可执行文件当中的一个或多个推送至所述目标设备中的设备代理程序。在一些实施方式中，所述测试代理程序将所述原始可执行文件分批推送至所述设备代理程序。所述发送可利用串行或并行通信信道，也可利用有线或无线通信网络。可以理解的是，该发送可根据上述可用性实施。如此，所述原始可执行文件当中的所述一个或多个原始可执行文件仅在当所述目标设备在运行时具有足够的资源时才被发送。
所述设备代理程序执行所接收的原始可执行文件，并且当执行时，将执行结果发送至所述测试代理程序。该测试代理程序从所述设备代理程序接收所述结果，并计算出中间结果。上述过程一直重复，直至与所述测试脚本(即该测试脚本的所有测试步骤)相关的所有原始可执行文件均已执行完毕。其后，可由所述测试代理程序根据每一步骤所接收的中间结果，计算出最终结果。然后，该最终结果可作为测试报告保存于所述存储库中，以及/或者呈现给用户。
本领域技术人员可理解的是，多种方法可用于测试资源受限设备。例如，例示系统300可通过本文所述实施所述资源受限设备的测试。具体而言，本领域技术人员可理解的是，用于实施本文所述技术和步骤的控制逻辑和/或自动化程序可由系统300通过硬件、软件或硬件及软件的组合实现。例如，系统300的所述一个或多个处理器可对合适的代码进行访问和执行，以实现本文所述的部分或所有技术。类似地，系统300的所述一个或多个处理器还可包括用于实施本文所述的部分或所有方法的专用集成电路(ASIC)。
举例而言，现在参考图5，该图为以流程图表示的根据本发明一些实施方式的用于通过系统300等系统测试资源受限设备的例示控制逻辑500。如该流程图所示，控制逻辑500包括如下步骤：在步骤501中，确定用于测试所述资源受限设备的测试用例；以及在步骤502中，访问与该测试用例相对应的测试脚本。该测试脚本包括一组互相独立的原始可执行文件。控制逻辑500还包括以下步骤：在步骤503中，将所述一组原始可执行文件当中的每个文件发送至所述资源受限设备，以供执行；以及在步骤504中，接收与所述一组原始可执行文件当中的每个文件的执行相对应的结果。
在一些实施方式中，控制逻辑500还包括创建多个原始可执行文件的步骤，以及为所述多个原始可执行文件当中的每个原始可执行文件确定多个可执行文件的执行参数的步骤。此外，在一些实施方式中，所述多个可执行文件的执行参数当中的每个执行参数包括原始可执行文件名称、多个输入参数、多个输出参数、预计执行时间、一个或多个资源的预计使用量、以及所述资源受限设备的一个或多个组件的覆盖率当中的至少一个。
在一些实施方式中，控制逻辑500还包括创建与多个测试用例相对应的多个测试脚本的步骤，以及为所述多个测试脚本当中的每个测试脚本确定多个脚本执行参数的步骤。在一些实施方式中，创建所述多个测试脚本当中的每个测试脚本包括：确定该测试脚本的多个步骤；以及为该多个步骤当中的每个步骤确定一个或多个原始可执行文件。此外，在一些实施方式中，控制逻辑500包括如下步骤：确定每个所述测试步骤与多个之前步骤当中的每个步骤的依赖性。此外，在一些实施方式中，控制逻辑500包括如下步骤：为所述多个步骤当中的每个步骤，确定所述一个或多个原始可执行文件的批量执行。在一些实施方式中，所述多个脚本执行参数当中的每个执行参数包括预计执行时间、一个或多个资源的预计使用量以及所述资源受限设备的一个或多个组件的覆盖率当中的至少一个。
在一些实施方式中，在步骤501中确定所述测试用例包括：根据相应测试脚本的多个脚本执行参数，计算多个测试用例当中的每个测试用例的测试得分；以及根据所述多个测试用例当中的每个测试用例的测试得分，选择测试用例。此外，在一些实施方式中，在步骤501中确定所述测试用例还包括：根据最高测试得分，对所述测试用例进行排序。
在一些实施方式中，在步骤503中发送所述一组原始可执行文件当中的每个文件以供执行包括：确定所述资源受限设备的一个或多个资源当中的每个资源的可用性；以及根据该可用性，将所述一组原始可执行文件当中的每个可执行文件发送至所述资源受限设备。此外，在一些实施方式中，以周期间隔或在运行过程中，确定所述一个或多个资源当中的每个资源的可用性。
还应理解的是，上述技术可采用如下形式：计算机或控制器执行方法；以及用于实施这些方法的装置。本发明还可以以含有指令的计算机程序代码的形式实施，所述指令包含于软盘、固态硬盘、只读光盘存储器(CD-ROM)、硬盘驱动器或任何其他计算机可读存储介质等有形介质中，其中，当所述计算机程序代码载入计算机或控制器内并由该计算机或控制器执行时，所述计算机即成为一种用于实施本发明的装置。本发明还可以以计算机程序代码或信号的形式实施，所述计算机程序代码或信号例如存储于存储介质中，或者载入计算机或控制器内并由该计算机或控制器执行，或者经电线或电缆、光纤或电磁辐射等传输介质传输，其中，当所述计算机程序代码载入计算机内并由该计算机执行时，该计算机即成为一种用于实施本发明的装置。当在通用微处理器中实施时，所述计算机程序代码的代码段对所述微处理器进行配置，以创建出特定的逻辑电路。
以上公开的方法和系统可在个人计算机(PC)或服务器计算机等常规或通用计算机系统内实施。现在参考图6，该图为用于实施符合本发明实施方式的例示计算机系统601的框图。计算机系统601的各种变形可用于实现资源受限设备测试的系统300。计算机系统601可包括中央处理单元(“CPU”或“处理器”)。处理器602可包括至少一个用于执行程序组件的数据处理器，所述程序组件用于执行用户或系统生成的请求。用户可包括使用设备(例如，本发明范围内的设备)的个人或此类设备本身。所述处理器可包括集成系统(总线)控制器、内存管理控制单元、浮点单元、图形处理单元、数字信号处理单元等专用处理单元。所述处理器可包括微处理器，例如AMD速龙(Athlon)、毒龙(Duron)或皓龙(Opteron)，ARM应用处理器，嵌入式或安全处理器，IBM PowerPC，Intel Core、安腾(Itanium)、至强(Xeon)、赛扬(Celeron)或其他处理器产品线等。处理器602可通过主机、分布式处理器、多核、并行、网格或其他架构实现。一些实施方式可使用专用集成电路(ASIC)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)等嵌入式技术。
处理器602可通过输入/输出(I/O)接口603与一个或多个I/O设备进行通信。I/O接口603可采用通信协议/方法，例如但不限于，音频、模拟、数字、单声道、RCA、立体声、IEEE-1394、串行总线、通用串行总线(USB)、红外、PS/2、BNC、同轴、组件、复合、数字视觉接口(DVI)、高清晰度多媒体接口(HDMI)、射频天线、S-视频，VGA、IEEE802.n/b/g/n/x、蓝牙、蜂窝(例如码分多址(CDMA)、高速分组接入(HSPA+)、移动通信全球系统(GSM)、长期演进(LTE)、WiMax等)等。
通过使用I/O接口603，计算机系统601可与一个或多个I/O设备进行通信。举例而言，输入设备604可以为天线、键盘、鼠标、操纵杆、(红外)遥控、摄像头、读卡器、传真机、加密狗、生物计量阅读器、麦克风、触摸屏、触摸板、轨迹球、传感器(例如加速度计、光传感器、GPS、陀螺仪、接近传感器等)、触控笔、扫描仪、存储设备、收发器、视频设备/视频源、头戴式显示器等。输出设备605可以为打印机、传真机、视频显示器(例如阴极射线管(CRT)、液晶显示器(LCD)、发光二极管(LED)、等离子等)、音频扬声器等。在一些实施方式中，收发器606可与处理器602连接。所述收发器可促进各类无线传输或接收。例如，该收发器可包括以可操作方式连接至收发器芯片(例如德州仪器(Texas Instruments)WiLink WL1283、博通(Broadcom)BCM4750IUB8、英飞凌科技(Infineon Technologies)X-Gold 618-PMB9800等)的天线，以实现IEEE802.11a/b/g/n、蓝牙、FM、全球定位系统(GPS)、2G/3GHSDPA/HSUPA通信等。
在一些实施方式中，处理器602可通过网络接口607与通信网络608进行通信。网络接口607可与通信网络608通信。所述网络接口可采用连接协议，包括但不限于，直接连接，以太网(例如双绞线10/100/1000 Base T)，传输控制协议/网际协议(TCP/IP)，令牌环，IEEE802.11a/b/g/n/x等。通信网络608可包括，但不限于，直接互连、局域网(LAN)、广域网(WAN)、无线网络(例如使用无线应用协议)、因特网等。通过网络接口607和通信网络608，计算机系统601可与设备609、610和611通信。这些设备可包括，但不限于，个人计算机，服务器，传真机，打印机，扫描仪，以及各种移动设备，例如蜂窝电话、智能电话(例如苹果(Apple)iPhone、黑莓(Blackberry)、基于安卓(Android)系统的电话等)、平板电脑、电子书阅读器(亚马逊(Amazon)Kindle，Nook等)、膝上型计算机、笔记本电脑、游戏机(微软(Microsoft)Xbox、任天堂(Nintendo)DS，索尼(Sony)PlayStation等)等。在一些实施方式中，计算机系统601可本身包含一个或多个上述设备。
在一些实施方式中，处理器602可通过存储接口612与一个或多个存储设备(例如RAM 613、ROM 614等)进行通信。所述存储接口可采用串行高级技术连接(SATA)、集成驱动电子设备(IDE)、IEEE1394、通用串行总线(USB)、光纤通道、小型计算机系统接口(SCSI)等连接协议连接至存储设备，该存储设备包括，但不限于，存储驱动器、可移除磁盘驱动器等。所述存储驱动器还可包括磁鼓、磁盘驱动器、磁光驱动器、光盘驱动器、独立磁盘冗余阵列(RAID)、固态存储设备、固态驱动器等。
所述存储设备可存储一系列程序或数据库组件，包括但不限于，操作系统616、用户界面617、网页浏览器618、邮件服务器619、邮件客户端620、用户/应用程序数据621(例如本发明中所述的任何数据变量或数据记录)等。操作系统616可促进计算机系统601的资源管理和运行。操作系统例如包括，但不限于，苹果Macintosh OS X、Unix、类Unix系统套件(例如伯克利软件套件(BSD)、FreeBSD、NetBSD、OpenBSD等)、Linux套件(如Red Hat、Ubuntu、Kubuntu等)、IBM OS/2、微软Windows(XP，Vista/7/8等)、苹果iOS、谷歌(Google)安卓、黑莓操作系统等。用户界面617可利用文本或图形工具促进程序组件的显示、执行、互动、操控或操作。例如，用户界面可在以可操作方式连接至计算机系统601的显示系统上提供光标、图标、复选框、菜单、滚动条、窗口、窗口部件等计算机交互界面元件。此外，还可采用图形用户界面(GUI)，包括但不限于，苹果Macintosh操作系统的Aqua、IBM OS/2、微软Windows(例如Aero、Metro等)、Unix X-Windows、网页界面库(例如ActiveX、Java、Javascript、AJAX、HTML、Adobe Flash等)等。
在一些实施方式中，计算机系统601可执行网页浏览器618存储的程序组件。所述网页浏览器可以为微软Internet Explorer、谷歌Chrome、谋智(Mozilla)火狐(Firefox)、苹果Safari等超文本浏览应用程序。安全网页浏览可通过HTTPS(安全超文本传输协议)、安全套接字层(SSL)、安全传输层(TLS)等实现。网页浏览器可使用AJAX、DHTML、Adobe Flash、JavaScript、Java、应用程序编程接口(API)等工具。在一些实施方式中，计算机系统601可执行邮件服务器619存储的程序组件。所述邮件服务器可以为微软Exchange等因特网邮件服务器。所述邮件服务器可使用ASP、ActiveX、ANSIC++/C#、微软.NET、CGI脚本、Java、JavaScript、PERL、PHP、Python、WebObjects等工具。所述邮件服务器还可使用因特网信息访问协议(IMAP)，邮件应用程序编程接口(MAPI)，微软Exchange，邮局协议(POP)，简单邮件传输协议(SMTP)等通信协议。在一些实施方式中，计算机系统601可执行邮件客户端620存储的程序组件。所述邮件客户端可为苹果Mail、微软Entourage、微软Outlook、谋智Thunderbird等邮件查看程序。
在一些实施方式中，计算机系统601可存储用户/应用程序数据621，例如本发明中的所述数据、变量、记录等(如原始可执行文件，原始可执行文件的执行参数，测试用例，测试脚本，测试脚本的执行参数，执行结果，测试报告，测试调度表，目标设备资源的可用性等)。此类数据库可以为容错、关系、可扩展、安全数据库，例如甲骨文(Oracle)或赛贝斯(Sybase)。或者，上述数据库可通过数组、散列、链表、结构、结构化文本文件(例如XML)、表格等标准化数据结构实现，或者实施为面向对象的数据库(例如通过ObjectStore、Poet、Zope等)。上述数据库可以为合并或分布数据库，有时分布于本发明所讨论的上述各种计算机系统之间。应该理解的是，上述任何计算机或数据库组件的结构及操作可以以任何可工作的组合形式进行组合、合并或分布。
本领域技术人员可理解的是，上述各实施方式中描述的技术提供一种优化、高效且高成本效益的资源受限设备的测试机制。上述各实施方式所描述的技术所提供的新设置架构与所述目标设备内用于执行所述测试用例的有限资源的限制相匹配。其中，为了与微型设备的资源限制相匹配，测试脚本分割成与测试步骤相对应的多个原始可执行文件，以降低资源使用量。
在现有技术中，无论有多少个待执行的测试用例，均要求将包含所有可能情形的整个设备代理程序载入目标设备。此类设备代理程序的大小通常可达300～400千字节。相比之下，上述本发明技术所需的设备代理程序的大小约为20～30千字节。上述本发明技术所公开的设备代理程序需要能够执行用于实施原子操作的原始可执行文件。此外，该轻量级设备代理程序还可对性能(MIPS)产生积极影响。
此外，由于以上各实施方式所描述的技术将测试用例的执行按照运行时目标设备内的可用资源及原始可执行文件的预计资源用量进行了排序，因此其降低了测试用例在资源受限设备上执行时失败的概率。举例而言，在RAM和ROM分别为64KB和4MB的远程信息处理微型设备中，以上各实施方式所描述的技术可将测试用例执行的失败概率降低约30％。
本说明书已对用于资源受限设备测试的系统和方法进行了描述。所示步骤用于说明所述例示实施方式，并且应当预想到的是，随着技术的不断发展，特定功能的执行方式也将发生改变。本文所呈现的上述实施例用于说明而非限制目的。此外，为了描述的方便性，本文对各功能构建模块边界的定义为任意性的，只要其上述功能及其关系能够获得适当执行，也可按其他方式定义边界。根据本申请的发明内容，替代方案(包括本申请所述方案的等同方案、扩展方案、变形方案、偏差方案等)对于相关领域技术人员是容易想到的。这些替代方案均落入所公开实施方式的范围和精神内。
此外，一个或多个计算机可读存储介质可用于实施本发明的实施方式。计算机可读存储介质是指可对由处理器可读取的信息或数据进行存储的任何类型的物理存储器。因此，计算机可读存储介质可对由一个或多个处理器执行的指令进行存储，包括用于使处理器执行根据本申请实施方式的步骤或阶段的指令。“计算机可读介质”一词应理解为包括有形物件且不包括载波及瞬态信号，即为非暂时性介质，例如包括随机存取存储器(RAM)、只读存储器(ROM)、易失性存储器、非易失性存储器、硬盘驱动器、CD-ROM、DVD、闪存驱动器、磁盘以及其他任何已知物理存储介质。
以上公开内容及实施例旨在仅视为示例性内容及实施例，所公开实施方式的真正范围和精神由权利要求给出。

Claims (20)

1.一种资源受限设备测试方法，其特征在于，所述方法包括：
通过测试引擎，确定用于测试所述资源受限设备的测试用例；
通过所述测试引擎，访问与所述测试用例对应的测试脚本，其中，所述测试脚本包括相互独立的一组原始可执行文件；
通过所述测试引擎，将所述一组原始可执行文件当中的每一个发送至所述资源受限设备以供执行；以及
通过所述测试引擎，接收与所述一组原始可执行文件当中的每一个的所述执行相对应的结果。
2.如权利要求1所述的方法，其特征在于，还包括：
创建多个原始可执行文件；以及
为所述多个原始可执行文件当中的每一个确定多个可执行文件执行参数。
3.如权利要求2所述的方法，其特征在于，所述多个可执行文件执行参数当中的每一个包括原始可执行文件的名称，多个输入参数，多个输出参数，预计执行时间，一个或多个资源的预计使用量以及所述资源受限设备的一个或多个组件的覆盖率当中的至少一个。
4.如权利要求1所述的方法，其特征在于，还包括：
创建与多个测试用例对应的多个测试脚本；以及
为所述多个测试脚本当中的每一个确定多个脚本执行参数。
5.如权利要求4所述的方法，其特征在于，创建所述多个测试脚本当中的每一个包括：
确定所述测试脚本的多个步骤；以及
为所述多个步骤当中的每一个确定一个或多个原始可执行文件。
6.如权利要求5所述的方法，其特征在于，还包括以下当中的至少一个：
确定每个测试步骤相对于多个之前步骤当中的每一个的依赖度；以及
为所述多个步骤中的每一个确定所述一个或多个原始可执行文件的批量执行。
7.如权利要求4所述的方法，其特征在于，所述多个脚本执行参数当中的每一个包括预计执行时间，一个或多个资源的预计使用量以及所述资源受限设备的一个或多个组件的覆盖率当中的至少一个。
8.如权利要求1所述的方法，其特征在于，确定所述测试用例包括：
根据相应测试脚本的多个脚本执行参数，为多个测试用例当中的每一个计算测试得分；
根据所述多个测试用例当中的每一个的所述测试得分，选择所述测试用例。
9.如权利要求8所述的方法，其特征在于，确定所述测试用例还包括：根据最高测试得分，对所述多个测试用例进行排序。
10.如权利要求1所述的方法，其特征在于，发送所述一组原始可执行文件当中的每一个以供执行包括：
确定所述资源受限设备内的一个或多个资源当中的每一个的可用性；以及
根据所述可用性，将所述一组原始可执行文件当中的每一个发送至所述资源受限设备。
11.如权利要求10所述的方法，其特征在于，以周期间隔或者在运行过程中，确定所述一个或多个资源当中的每一个的可用性。
12.一种资源受限设备测试系统，其特征在于，所述系统包括：
至少一个处理器；以及
存有指令的计算机可读介质，当所述指令在由所述至少一个处理器执行时使得所述至少一个处理器执行操作，所述操作包括：
确定用于测试所述资源受限设备的测试用例；
访问与所述测试用例对应的测试脚本，其中，所述测试脚本包括相互独立的一组原始可执行文件；
将所述一组原始可执行文件当中的每一个发送至所述资源受限设备以供执行；
接收与所述一组原始可执行文件当中的每一个的执行相对应的结果。
13.如权利要求12所述的系统，其特征在于，所述操作还包括：
创建多个原始可执行文件；以及
为所述多个原始可执行文件当中的每一个确定多个可执行文件执行参数，
其中，所述多个可执行文件执行参数当中的每一个包括原始可执行文件的名称，多个输入参数，多个输出参数，预计执行时间，一个或多个资源的预计使用量以及所述资源受限设备的一个或多个组件的覆盖率当中的至少一个。
14.如权利要求12所述的系统，其特征在于，所述操作还包括：
通过：
为多个测试脚本当中的每一个确定多个步骤，以及
为所述多个步骤当中的每一个确定一个或多个原始可执行文件
创建与多个测试用例对应的多个测试脚本；以及
为所述多个测试脚本当中的每一个确定多个脚本执行参数，
其中，所述多个脚本执行参数当中的每一个包括预计执行时间，一个或多个资源的预计使用量以及所述资源受限设备的一个或多个组件的覆盖率当中的至少一个。
15.如权利要求14所述的系统，其特征在于，所述操作还包括以下当中的至少一个：
确定每个测试步骤相对于多个之前步骤当中的每一个的依赖度；以及
为所述多个步骤当中的每一个确定所述一个或多个原始可执行文件的批量执行。
16.如权利要求12所述的系统，其特征在于，确定所述测试用例包括：
根据相应测试脚本的多个脚本执行参数，为多个测试用例当中的每一个计算测试得分；
根据所述多个测试用例当中的每一个的所述测试得分，选择所述测试用例。
17.如权利要求16所述的系统，其特征在于，确定所述测试用例还包括：根据最高测试得分，对所述多个测试用例进行排序。
18.如权利要求12所述的系统，其特征在于，发送所述一组原始可执行文件当中的每一个以供执行包括：
确定所述资源受限设备内的一个或多个资源当中的每一个的可用性；以及
根据所述可用性，将所述一组原始可执行文件当中的每一个发送至所述资源受限设备。
19.如权利要求18所述的系统，其特征在于，以周期间隔或者在运行过程中，确定所述一个或多个资源当中的每一个的可用性。
20.一种非暂时性计算机可读存储介质，其上存有一组计算机可执行指令，所述指令用于使包含一个或多个处理器的计算机执行步骤，其特征在于，所述步骤包括：
确定用于测试资源受限设备的测试用例；
访问与所述测试用例对应的测试脚本，其中，所述测试脚本包括相互独立的一组原始可执行文件；
将所述一组原始可执行文件当中的每一个发送至所述资源受限设备以供执行；
接收与所述一组原始可执行文件当中的每一个的所述执行相对应的结果。
CN201810135522.0A 2017-03-01 2018-02-09 资源受限设备测试系统和方法 Active CN108536579B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
IN201741007241 2017-03-01
IN201741007241 2017-03-01

Publications (2)

Publication Number Publication Date
CN108536579A true CN108536579A (zh) 2018-09-14
CN108536579B CN108536579B (zh) 2021-04-16

Family

ID=59296699

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810135522.0A Active CN108536579B (zh) 2017-03-01 2018-02-09 资源受限设备测试系统和方法

Country Status (3)

Country Link
US (1) US10606737B2 (zh)
EP (1) EP3370154B1 (zh)
CN (1) CN108536579B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110597707A (zh) * 2019-08-02 2019-12-20 华为技术有限公司 一种内存越界故障检测方法及终端设备
CN112363914A (zh) * 2020-10-22 2021-02-12 北京电子工程总体研究所 一种并行测试资源配置寻优的方法、计算设备及存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10261892B2 (en) * 2017-05-24 2019-04-16 Bank Of America Corporation Cloud-based automated test execution factory
US10733070B2 (en) * 2018-03-29 2020-08-04 Bank Of America Corporation Executing test scripts with respect to a server stack
CN109857655B (zh) * 2019-01-17 2022-07-01 珠海金山网络游戏科技有限公司 一种检测美术资源动态性能的方法和系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060179363A1 (en) * 2005-02-07 2006-08-10 Labanca John Online testing unification system with remote test automation technology
US20080120521A1 (en) * 2006-11-21 2008-05-22 Etaliq Inc. Automated Testing and Control of Networked Devices
CN101855864A (zh) * 2007-09-11 2010-10-06 霍尼韦尔国际公司 用于给资源受限装置部署无线网络入侵检测系统的设备和方法
US20150026665A1 (en) * 2013-07-17 2015-01-22 Ebay Inc. Automated test on applications or websites in mobile devices
CN105074662A (zh) * 2013-04-02 2015-11-18 苹果公司 用于系统适配的动态程序评估
CN105453033A (zh) * 2013-05-02 2016-03-30 亚马逊技术股份有限公司 程序测试服务

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030208542A1 (en) 2002-05-01 2003-11-06 Testquest, Inc. Software test agents
US7493544B2 (en) 2005-01-21 2009-02-17 Microsoft Corporation Extending test sequences to accepting states
US20090006066A1 (en) * 2007-06-28 2009-01-01 Behm Michael L Method and System for Automatic Selection of Test Cases
US9071989B2 (en) * 2012-02-01 2015-06-30 Dynatrace Llc System and methods that enable automated testing of mobile devices at a remote monitor site
US10346770B2 (en) * 2013-07-19 2019-07-09 Motio, Inc. Supplemental system for business intelligence systems
US9208065B1 (en) * 2014-05-14 2015-12-08 International Business Machines Corporation Correlating out-of-band process data during mobile test automation
US20150358810A1 (en) * 2014-06-10 2015-12-10 Qualcomm Incorporated Software Configurations for Mobile Devices in a Collaborative Environment
US20170337116A1 (en) * 2016-05-18 2017-11-23 Google Inc. Application testing on different device types
US10055339B2 (en) * 2016-09-28 2018-08-21 Wipro Limited Methods and systems for testing mobile applications

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060179363A1 (en) * 2005-02-07 2006-08-10 Labanca John Online testing unification system with remote test automation technology
US20080120521A1 (en) * 2006-11-21 2008-05-22 Etaliq Inc. Automated Testing and Control of Networked Devices
CN101855864A (zh) * 2007-09-11 2010-10-06 霍尼韦尔国际公司 用于给资源受限装置部署无线网络入侵检测系统的设备和方法
CN105074662A (zh) * 2013-04-02 2015-11-18 苹果公司 用于系统适配的动态程序评估
CN105453033A (zh) * 2013-05-02 2016-03-30 亚马逊技术股份有限公司 程序测试服务
US20150026665A1 (en) * 2013-07-17 2015-01-22 Ebay Inc. Automated test on applications or websites in mobile devices

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110597707A (zh) * 2019-08-02 2019-12-20 华为技术有限公司 一种内存越界故障检测方法及终端设备
CN112363914A (zh) * 2020-10-22 2021-02-12 北京电子工程总体研究所 一种并行测试资源配置寻优的方法、计算设备及存储介质
CN112363914B (zh) * 2020-10-22 2024-03-19 北京电子工程总体研究所 一种并行测试资源配置寻优的方法、计算设备及存储介质

Also Published As

Publication number Publication date
US10606737B2 (en) 2020-03-31
US20180253365A1 (en) 2018-09-06
EP3370154A1 (en) 2018-09-05
CN108536579B (zh) 2021-04-16
EP3370154B1 (en) 2022-01-19

Similar Documents

Publication Publication Date Title
CN108536579A (zh) 资源受限设备测试系统和方法
EP3301580B1 (en) System for automatically generating test data for testing applications
US9946754B2 (en) System and method for data validation
US10223240B2 (en) Methods and systems for automating regression testing of a software application
US20150278393A1 (en) System and method for business intelligence data testing
CN108536580A (zh) 利用轻量级设备验证协议测试设备的系统和方法
US20150227452A1 (en) System and method for testing software applications
US11526814B2 (en) System and method for building ensemble models using competitive reinforcement learning
US9886370B2 (en) Method and system for generating a test suite
US20160019484A1 (en) System and method for managing resources of a project
US20140244362A1 (en) System and method to provide predictive analysis towards performance of target objects associated with organization
US20190370162A1 (en) Method, system, and framework for testing a human machine interface (hmi) application on a target device
US11119900B2 (en) Modular testing kit and testing framework for testing a human machine interface (HMI) application
US20170118094A1 (en) System and method for generating a report in real-time from a resource management system
US10613966B2 (en) Method of controlling automation of testing applications and a system therefor
JP5684878B2 (ja) ソフトウェアアプリケーションのコンプライアンス検査および詳細な解析を提供するためのシステムおよび方法
US11327873B2 (en) System and method for identification of appropriate test cases using artificial intelligence for software testing
EP3404551A1 (en) Method and device for performing testing across a plurality of smart devices
US10990718B2 (en) Method and device for generating physical design parameters of an object
US20160012366A1 (en) System and method for optimizing project operations, resources and associated processes of an organization
US20160267600A1 (en) Methods and systems for information technology (it) portfolio transformation
EP3137987B1 (en) A method and a plan optimizing apparatus for optimizing query execution plan
US20200372291A1 (en) System and method for automated 3d training content generation
JP2014089705A (ja) ソフトウェアアプリケーションにおける設定可能なエントリーポイントの生成および検証補助用システムおよび方法
US11481602B2 (en) System and method for hierarchical category classification of products

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant