CN1359492A - 对具有嵌入式操作系统的设备进行测试和确认的系统和方法 - Google Patents

对具有嵌入式操作系统的设备进行测试和确认的系统和方法 Download PDF

Info

Publication number
CN1359492A
CN1359492A CN 00802922 CN00802922A CN1359492A CN 1359492 A CN1359492 A CN 1359492A CN 00802922 CN00802922 CN 00802922 CN 00802922 A CN00802922 A CN 00802922A CN 1359492 A CN1359492 A CN 1359492A
Authority
CN
China
Prior art keywords
test
operating system
target device
computer
program
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN 00802922
Other languages
English (en)
Inventor
彼得·R·格雷戈里
詹姆斯·佛洛伊德·沃尔特斯
杰纳得哈那·拉奥·迪卡拉
伊恩·山朴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bsquare Corp
Original Assignee
Bsquare Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bsquare Corp filed Critical Bsquare Corp
Publication of CN1359492A publication Critical patent/CN1359492A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3688—Test management for test execution, e.g. scheduling of test suites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
    • G06F11/26—Functional testing
    • G06F11/263—Generation of test inputs, e.g. test vectors, patterns or sequences ; with adaptation of the tested hardware for testability with external testers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/362—Software debugging
    • G06F11/366—Software debugging using diagnostics

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)
  • Test And Diagnosis Of Digital Computers (AREA)

Abstract

一种用于改进质量保证、节省许多人一月的时间和费用,并使目标设备中使用了商业可用的操作系统的产品开发过程流线化的系统和方法,该种操作系统如Windows CE,其中,包括一个测试设备,该设备提供了一组综合的确认测试程序。这个系统和方法,O/S确认器(1),通过使用一个主机图形用户界面装置(12)、一个主机到目标的通信(3)、至少一个测试程序(11)以及结果捕捉方法(12),提供了一个完全自动化设计的校验程序包,用于商业上可用的操作系统(1000a),该种操作系统如Windows CE。O/S确认器(1)提供了一种更快和更为精确的自动测试程序技术,用于对一个商业上可用的操作系统,例如Windows CE到目标硬件(1000,9)的一个端口进行测试。另外,O/S确认器(1)包括一个综合的代码基准,它专门被开发出来有目的的对操作系统O/S、设备驱动器、OEM适配层(OAL)以及硬件的相互作用施加应力。测试程序(11)集中识别三种主要的故障,其中包括:硬件设计、硬件编程(驱动器/OAL)以及操作系统相互作用。特定诊断的重点放在历史显示出最多问题的操作子系统上。

Description

对具有嵌入式操作系统的设备进行测试和 确认的系统和方法
对相关申请的交叉引用
本专利申请与1999年1月21日提交的名为“CE的确认器测试程序”的美国临时专利申请第60/116,824号，以及1999年6月4日提交的名为“同类系统间的协议应答”的美国临时专利申请第60/137,629号相关。
本发明所属技术领域
本发明涉及产品质量保证和用于对计算机化的产品中所提供的操作系统进行确认的测试系统和方法。本申请尤其涉及产品质量保证和用于在计算机化产品的开发中对操作系统进行确认的测试系统和方法。更为具体地说，本发明涉及产品质量保证和对通常在计算机化的产品中所提供的操作系统，如由华盛顿州雷德蒙的微软公司生产和销售的Windows CE，进行确认的测试系统和方法。
与本发明相关的背景技术
现在开发人员正越来越多的将操作系统，例如Windows CE，嵌入到许多不同类型的计算机化的产品中，这其中包括机顶盒、游戏系统、条形码扫描器以及工厂的自动化系统。随着Windows CE的发展，对于现有的软件开发工具有太多的需要。尽管市场上有很多用于节省设备设计时间，导向快速的设备开发的工具和现货供应的软件包，但却没有对这些新产品的兼容性进行检查的快速测试系统和方法，特别是在设备开发的最后阶段。
传统上仅有两种可用的操作系统设备测试选项：(1)内部对测试代码进行编写，或者(2)外购其他公司开发的定制代码。为了在内部完成测试方案，原始设备制造商(OEM)必须花费数月时间来对其工作人员进行培训，并花费更多的月数来开发测试代码，并且在使用这些代码对其产品进行测试之前，还需要甚至更多的月份进行准备。同样的，外部采办的客户代码开发公司将花费数月时间来编写代码。因此，这两种选择都很耗时，并且成本很高。
前述的耗时的操作系统设备测试选择使人们一直感到需要有固定的测试系统和方法，以此来提高产品质量，节约许多人-月的时间和费用，并使产品开发过程流线化。尤其需要有能用于对安装有嵌入的Windows CE操作系统的设备进行测试和确认的系统和方法，来克服前述问题，并由此提供一种系统和方法，它能提高产品质量，节省许多人-月的时间和费用，并使产品的开发过程流线化，从而为设计者提供一套完全自动设计的确认程序。
发明简述
因此，在申请人和受让人的商标“CEValidatorTM”保护下而在商业上可用的本发明，是一种操作系统的确认程序(这里还引做O/S确认器，并在图1中以标号1标出)，它通过提供一个测试系统来解决前述问题，该系统中含有一种自动测试程序方法，用于对在新近开发的目标设备的硬件和/或软件中的操作系统，如WindowsCE中的一个端口进行测试。该O/S确认器包括一个综合的代码基准，它专门被开发出来有目的地向O/S、设备驱动器、OEM适配层(OAL)，以及硬件的相互作用施加应力，所提供的测试程序集中在确认三种主要的故障上：硬件设计、硬件编程(驱动器/OAL)以及操作系统的相互作用。特定的诊断重点在于Windows CE的子系统上，它能对最多的问题进行历史显示。测试程序中含有将近1500个测试，其中包括系统应力测试例行程序以及特性和功能测试，来提供对Windows CE端口的完整分析。这些测试由O/S确认器进行分组。用于测试的测试源代码和执行程序二者都被包含在O/S确认器中。
为了简化测试程序的执行和对记录结果的收集，需要使用一个用于O/S确认器主机构件的直观的用户界面，例如一个支持微软Windows用户界面的标准Windows应用。O/S确认器将测试程序作为客户端/服务器的应用进行分发。一个图形用户界面(GUI)与一个小型应用，例如目标设备上运行的CEHarness.exe相互作用。由于这种通信可能会出现在以太网上，因此至少是一台主机对至少一台目标设备来运行该程序。
当目标设备无法完成测试时，O/S确认器将产生有用的差错信息。程序组运行时，其结果被显示在多个动态创建的记录窗口以及一个配置的摘要标签中。该记录窗口中包含了所给出测试结果的全部文本。其中失败用红色标记，以便于识别。记录窗口中的导航键使您能快速的从一个失败移动到另外一个。测试中的记录API同样在每个结果文件中生成一个开端和结尾。同时运行的进程、电池的功率电平以及运行的日期和时间这样的信息都被自动记录在结果文件中，并被显示在记录窗口中。有用的摘要信息，例如程序内存的损耗、存储内存的损耗或总的测试运行时间，都被提供在一个记录窗口标签中。所给出测试结果的摘要信息也被收集并显示在配置窗口的摘要标签中。摘要标签实时对测试情况为PASS和FAIL的数目进行报告。用于单个程序的分类总结出的PASS和FAIL数目也被显示。该配置窗口的摘要标签简化了对数千个测试结果中单个失败的快速定位。对应于记录失败的确切的源文件和行数自动由OS确认器的记录API进行报告。由于O/S测试程序为其所有的可执行文件提供了源代码，因此能够直接转向源代码并报告差错，这对于对失败所进行的文本描述来说，是一种很有用的附加。
本发明的其他特性将在名为“发明详细描述”的部分被公开并变得显而易见。
附图简要描述
为了能更好的对本发明进行理解，请参考所附的附图，其中：
图1是表示目前在控制单元中具有嵌入式操作系统的计算机化产品的原理图；
图2是说明根据本发明，对具有嵌入式操作系统的计算机化产品进行质量确保测试的制造流程图；
图3所示是本发明中操作系统确认器的主要部件的方框图，其中包括一个图形用户界面、一个引擎、多个测试程序以及一个记录库；
图4所示是根据本发明，从主机设备上执行多个测试程序配置，用于对多个具有嵌入式操作系统的目标设备进行测试的本发明的方框图；
图5A所示实质上是图4中所描述的本发明，除了主机上的O/S确认器1经由以太网设备而与目标设备进行通信的方框图；
图5B所示是可能在以太网上出现的多个主机和目标设备之间进行通信的方案；
图6所示是另一种测试程序执行情况的方案；
图7是列出自动和手动测试程序的执行中被测试的特定API的功能区域的表格；
图8A、图8B和图8C是列出了在自动和手动模式中被测试的功能区域及其API的综合列表的表格；
图9是列出了用于建立自动化脚本而被选出的API的表格；
图10是表示为所有可执行程序提供了源代码的本发明的原理图；
图11是代表显示了测试程序选择项以及其他相关摘要功能的窗口的方框图；
图12是代表用于显示测试结果、测试失败和相关测试摘要选项的标签的窗口的方框图；
图13以图表形式显示了测试周期相对于同时被测的测试设备数目之间的关系；
图14是代表显示用于执行多种配置相关功能的标签的窗口的方框图；
图15A、图15B和图15C是列出了根据本发明而得的操作系统部件的测试细节的表格。
发明详述
图1所示是一个计算机化产品1000，(9)，典型的计算机化产品，例如计算机工作站、机顶盒、游戏系统、条形码扫描仪以及工厂的自动化系统，目前都被提供了嵌入的操作系统，该系统由标号1001a来描述。如图所示，并如这里所描述的，产品1000中包括一台典型的目标设备，该设备具有嵌入的操作系统1001a，例如嵌入的Windows CE操作系统(O/S)。计算机化产品1000可以作为一台独立设备来运行，并具有本发明中的一种装置，O/S确认器1，来对自身的操作系统1001a进行测试和确认。独立测试简化了新测试的开发和对报告的错误所进行的除错，而不必对O/S确认器的基础结构具有详尽的知识。然而，在更多可能的应用中，如图2所示，产品1000可以运行在一个制造质量确保的测试环境M中，并且主计算机4具有本发明中的装置，用于对具有操作系统1001a的目标设备9进行测试的O/S确认器1。回过来参考图1，举例来说，一个计算机化产品1000可能包括几个子部件，这其中包括一个具有多个输入/输出端口1021的控制单元1020，一个键盘1009，一个打印机1010，一个鼠标1011以及一个监视器1012。其中子部件1009、1010、1011、1012自身就可以是可测试的目标设备。典型的控制单元1020自身有几个子部件，这其中包括一个中央处理器1001，硬盘驱动器1004这样的存储设备，其他存储部件如RAM1002，ROM1003，光盘1005，音频部件1006，网络/服务器卡1007以及调制解调器1008。控制单元中所必须具有的是一个操作系统1001a，用于使产品1000作为一台有用的设备来运行。
图3所示是O/S确认器1的主要部件，其中包括一个图形用户界面(GUI)2，一个引擎3、多个测试程序11和一个记录库12。图形用户界面2和引擎3在内部通过O/S确认器1中一个名为HarnessLink.dll、并在O/S确认器1中以标号7标出的部件进行双向通信，在下面将对该部件进行更为详尽的描述。图4所示是具有O/S确认器1的主计算机4。如图所示，多个目标设备9具有根据本发明来被测试的O/S1001a。O/S确认器1具有产生测试配置的能力，例如多个测试配置21a、21b和21c，用于对在目标设备9中的O/S1001a控制下的多种特定功能进行测试。名为CEHarness 8的设备端部件，与O/S确认器1中的引擎3进行通信。如图5A和图5B中所描述的，CEHarness 8还经由以太网设备4a与O/S确认器1中的引擎3通信。图5B说明由于通信可能出现在以太网上的，因此多个主机4可能向多个目标设备9运行程序。而在另一种替换中，如图6所描述的，对一种测试程序执行情况来说，CEHarness 8还会经由程序执行连接1021a与O/S确认器1中的引擎3进行通信，其中主计算机4可能包括一台NT主计算机，并且在目标设备9中还提供了记录库12，测试结果经由套接字连接被提供给主计算机4。
在操作中，O/S确认器1对具有嵌入的操作系统，例如WindowsCE操作系统的目标设备进行测试和确认。概括的说，O/S确认器1起作用是通过：(1)对Windows CE到目标设备的端口进行确认，(2)提供应力和性能测试，(3)记录和分析结果，(4)对多个功能区域进行测试，其中包括多个应用程序接口(API)，(5)在多个测试程序中执行多个通过/失败测试，(6)简化自动程序中对测试的定制，(7)提供主机端的图形测试装置，(8)对存储器性能施加应力并对其进行评估，(9)提供用于建立测试自动化的设备，其中包括多个API，参见图9中的表3，(10)提供名为CEAnalyzer的结果分析工具。如前所述，并如图10中所描述的，O/S确认器1中包括用于所有测试的测试源代码SC和可执行程序EP(同样被引作测试可执行文件)。对测试可执行文件EP的专门的执行要求是通过使用两个特定API，WRITETESTPASS()和WRITETESTFAIL()，来报告测试情况是“通过”还是“失败”。这些宏与众所周知的printf()函数具有相近的鲜明特征，但对它们的使用使得在对自动化摘要可进行修正的“结果”文件中产生了一个标准的测试情况结果格式，并且还使得该报告与主机用户界面相结合。O/S确认器1的方法进一步包括在图形用户界面2和封装在测试可执行文件EP中的测试情况之间进行调停，以及提供一种设备，通过该设备图形用户界面2对测试的执行进行分布和调整。测试程序11含有由程序语言命令(例如PUT、RUN、WAIT和DELETE)所组成的文本文件5，该程序语言命令是分配和执行测试所需任务的直接表述。其它得到支持的程序语言命令有：用于从目标设备9检索文件的GET；用于在一台对客户/服务器形式有用的主计算机4上运行可执行程序EP的RUNHOST，这对客户机/服务器形式的测试是有用的；用于等待主计算机4上进程中断的WAITHOST，它对客户/服务器形式的测也是有用的；用于将一个文件送入设备系统目录(/Windows)中的PUTSYSTEM；用于当其他一切都失败时进行基本定时的SLEEP；用于在主机上显示消息框的MSGBOX；用于加入或改变设备上的注册设置的SETREG；以及用从设备中删除注册设置的DELREG。初始程序文件注释，除了提供内部程序文档之外，还作为对程序的描述而在图形用户界面2中被给出。O/S确认器1的方法，包括根据测试程序文件5在主计算机4的目录结构中分级位置来对它们进行组织。如图11所示，测试程序11在最高级被分作自动Au测试程序，手动Ma测试程序，或应力SS测试程序。自动程序Au是在运行中不需要任何用户干预的测试。与此相反，手工程序Ma需要用户的干预(例如键盘或是触摸屏)。O/S确认器1的方法包括通过应力程序SS向系统施加应力，应力程序是通过将输入/输出(I/O)的通过量加到极限，用很少或是没有可用程序或对象的存储内存进行操作，以及通过多线程的并行应力以尽可能降低文件系统来进行的。在这个分级结构的最高级之下，O/S确认器1的方法包括通过功能区域对测试程序11进行调整，这一点主要参见图7。
如上面所指出的，图3所示是O/S确认器1的主要部件，这其中包括图形用户界面(GUI)2，引擎3，多个测试程序11以及记录库12。由于Visual Basic对所有用户等级来说都是比较好用的，因此O/S确认器1将图形用户界面用作一个Visual Basic组件。图形用户界面2的设计是基于将用户输入与基础组件相连接的概念之上的。而引擎3占据了主机4上的功能体的核心。引擎3读取多个程序文件5，对其进行解析，并执行这些命令。引擎3获取来自图形用户界面2的信息并使用该信息建立多种运行选项。引擎3是用C/C++语言来编写的。引擎3经由一个名为HarnessLink.dll 7的组件与图形用户界面2相连，该组件是一个ActiveX控件。HarnessLink.dll 7是通过多种信息而被图形用户界面2例示和调用的，该信息在开始执行之前先被传送到引擎3。Dll连接7还在执行中用于执行引擎3和图形用户界面2之间的通信，以此转发信息，转发差错消息，并转发一些动态运行时间命令。目标设备9中包括一个名为CEHarness 8的设备端(与主机端相对立)部件。CEHarness是一个驻留在目标设备9上的C/C++程序，并且如图4所示，它与引擎3几乎专有的进行通信，除非是在网络上广播目标信息的情况下，图形用户界面2收到这种信息并将其传送到引擎3，参见图5A和图5B。CEHarness 8是一个事件驱动的应用，其中引擎3发送事件并且CEHarness 8对其进行响应。剩下的两个部件，测试程序11和记录库12是相互盘绕的，这是因为测试程序11是用多个作为记录库12的一部分的应用程序接口(API)13编写的，参见图8A、图8B和图8C。这些API13具有实质的功能体并有点依赖于通过组件链而被传送的信息。记录库12具有简单的功能体概念，它通过将记录的TCP/IP信息16返回给图形用户界面2，参见图5A，或是通过直接向设备9中写入结果14和记录文件15，参见图6，来创建记录文件15，以此对测试结果14进行传达。如图12中所描述的，记录窗口LW显示了测试文件15中的测试结果14，失败F和一个用于简化用户对程序内存、合格、失败以及定时信息所作访问的摘要标签SumT。测试程序11中的大多数包括必不可少的O/S确认器1的部件。图13以图表形式说明测试周期CT会由于测试设备数目同时也被测试而减小。
更详细的，图形用户界面2是一个合成的代码，这是由于它处理其部件层所需要的功能体等级。图形用户界面2提供了一个“向导”，它的主要功能是使新的用户一步一步的通过各种可选择的设置并列出缺省设置。如图14所示，图形用户界面2还提供了一个配置窗口CW，作为执行一个试运行的设备，该试运行包括一个经过目标设备9上一组选定程序11的单独通路。如图4中所示，可以运行多个配置21a、21b和21c来对不同的情况进行模拟。配置窗口CW的内容包括多个用于用户控制的标签。举例来说，程序标签S提供了一个O/S确认器目录下的程序文件目录的树状视图。这个树状视图被组织起来为用户提供所选择的测试11的类型之间有意义的区别。另外，这个树状视图在当用户打开配置窗口CW时被创建，它使得用户能够通过向O/S确认器1的安装程序所创建的程序文件目录中添加新的用户输入的程序，以此来扩展O/S确认器1。测试程序11是命令脚本，引擎3对该脚本进行读取，然后对应于脚本中的命令来完成其作用。程序文件5的开始之处通常有一连串注释。这些注释出现在文件的程序文件信息部分中。如果单词“Manual”出现在程序文件5的停止处，那么文件被认为是需要手工执行的，并因此分配以一个不同的图标。在测试程序部分中，如图11所示，用户可以用任何方式对测试程序文件5进行重新排序。仍旧参考图14，记录标签中含有需要注意的、有价值的信息。用户可以选择三种记录方法，也就是记录到主机4的LH，记录到目标设备9的LTD，或者既记录到主机又记录到目标设备4的LHD。然后记录信息被存储在一个在编辑框中被列出的可配置目录下。所有这些信息都被通过DLL 7发送到引擎3，然后再被发送到目标设备9中的CEHarness 8。随后，在运行一个测试11时，该信息被记录库12获取。配置窗口CW中的其他标签包括一组应力条件标签SC，在程序执行中通过选择线程标签T来选择具有高优先级的线程，通过选择标签PM和SM来减少程序和存储内存，通过选择标签SRT对运行时间进行选择以及通过选择标签STOP来停止运行。用户可以使用无限循环标签Iloop来找出系统中的内存遗漏。有用的摘要信息，例如程序内存的损耗、存储内存的损耗或是总的测试执行时间都在摘要标签SumT中被提供。所给出测试结果的摘要信息也被收集并显示在摘要标签SumT中。摘要标签实时的对测试情况为PASS和FAIL的数目进行通告。分类总结出的单独程序的PASS和FAIL数目也被显示。配置窗口的摘要标签简化了对成千上万个测试结果中一个单独失败的快速定位。对应于一个记录失败的确切的源文件和行数自动由O/S确认器1的记录API进行通告。由于O/S确认程序1对其所有可执行文件都提供了源代码，因此对失败所作的文本描述来说，能够直接转向源代码报告差错是一种很有用的附加。记录选项在其执行和效果上是动态变化的。第一选项假定无论什么时候用户运行一个结果为“合格”的测试程序11，都会有一组概述了这些测试结果14的记录文件15自动发布。取决于所选择的记录方法，摘要文件15是由CEHarness 8或是引擎3所创建的。基本上引擎3遍历记录目录中的所有记录文件16，因此用户可以接收一个不对应于正在运行的测试11的记录文件列表。为了使摘要文件15能更好的表现出运行的测试11，用户可以在运行之前删除记录目录，或者用户可以选择一个记录选项来选择“只返回最新的摘要结果(Return only the newest summary result)”，这会使得引擎3仅仅遍历每个测试11的唯一记录文件15。这意味着如果用户在给定的一天中运行了30次文件系统测试，那么在摘要日志中只会有一条记录，对应于最后一次所执行的测试。摘要日志对每一个日志文件15仍驻留在记录目录中的测试11都只会有一条记录。其他两个选项在图形用户界面2中被处理。如果用户经由TCP/IP连接4a登录到主机4，那么在当该记录出现在图形用户界面2的记录窗口中时，它也将进入用户主机4上创建的日志文件15中。这使得用户能够在O/S确认器1的环境中对日志文件15进行检查，这是一个优点，因为用户可以立即对合格以及更重要的错误进行监视。然而，在一些情况下，可能会由于测试11运行的大小而有过多的记录文件15，因此，关闭记录窗口LW，并且不再打开它，将会维持主机4上的内存，并为O/S确认器1给出一个清楚的观察区域。关闭所有没有错误的窗口也是有好处的。失败将会向产品设计人员指出目标设备9需要进一步的发展。用户可能想要保持打开所有出现失败的记录窗口F，这通过点击记录窗口中的一个选项来保持F窗口是打开的。
当对图5B中所示的本发明进行操作时，一个名为“AvailableTargets”的窗口将显示网络中向图形用户界面2广播信息的有效设备。该有效设备发送大量的信息，其中一些被显示在AvailableTargets窗口中。用户可以通过选择一个“View/Available Targets”菜单来察看这些信息。必须对其他窗口进行访问以获取一组完整的广播信息。这个广播信息是有价值的，因为它被用于对引擎3与测试目标设备9中一个特定的CEHarness 8的连接进行初始化。
参考图11，应力测试设置SS现在将被进一步描述。应力程序11是用多种形式表明的；然而，它们的基本目的是用于向目标设备9施加压力，这是通过运行一个很长时间的测试，或是多次重复的运行一个简短测试，抑或是在一次测试中选择一个较宽的参数范围来完成。这些对其自己的测试11的区域仍然是特定的，一个数据库应力程序仅仅向Windows CE这样的O/S数据库功能体施加应力。应力测试选项与应力程序11是相互区别的。应力测试选项是不同的，因为它们是以功能体为目标，来提供更多与真实世界所使用的模型等价的宽带应力情况。这些情况的运行结合了任何一组用户选择的测试程序文件5。应力测试选项可以而且也应该既能结合起来又能单独运行，这样做是对所提供任何测试计划范围的一个重要提高。前两个应力测试选项与目标设备9上的内存相关。第一应力测试选项是低虚拟内存选项，它极大减少了运行所选测试11之前，目标设备中虚拟内存的数量。这模拟了用户打开了15个应用时，可能会出现的实际的苛刻情况。第二个应力测试选项是低存储内存选项。当被选择时，该第二应力测试选项将目标设备9的存储内存填充至其最大容量，以此来对目标设备9对低存储内存进行应答的解决方案进行试验。在一些情况下，这个第二应力测试选项还有益于测试包含在目标设备9中应用程序，这是因为他们可能依赖于不存在的存储内存。接着的三个应力测试选项是执行选项。第一个可执行应力选项是无限循环，它对长的测试循环来说是理想的。许多设备驱动器所共有的一个问题是在长期、紧张、压力较大的情况下会出现故障。该无限循环应力测试提供了一种用于判定可能出现的故障的测试。这个无限循环测试将运行所选择的程序11至用户手动点击Stop按钮为止。下一个应力执行选项是作为O/SValidator\Tests\TestInputFiles目录下名为Data.txt的文本文件而可用的可配置的重要处理器循环脱除测试。该文件中给出了两个例子，用户可以对该文件进行拷贝、重用或修改。该文本文件Data.txt，对线程的数目和用户可能在其试运行中所包含的属性进行控制。换句话说，用户可以运行测试，而其他进程则消耗中央处理器时间，消除许多问题，其中包括定时。最后的应力测试选项是随机执行。当用户选择该选项时，图形用户界面2将在运行时对测试程序11的列表重新排序，使得它们能以一种不同的顺序运行。这个选项是理想的，因为它简化了对不同部件所具有的相互作用问题的诊断。
剩下的试运行选项是用户可能控制的一般活动。第一选项，“Use Selected Target Exclusively”是很重要的，因为当目标设备9通过以太网相连时，子网上的其他用户可以通过O/S确认器1的可用目标设备窗口来访问目标设备。这有助于在目标设备9上产生应力。在用户希望将问题隔离开的情况下，不应提供额外的应力。在这种情况下，用户应具有对目标设备9的专门接入。最后的试运行选项是设置目标时间，这促使引擎3从主计算机4向目标设备9发送时间，从而将目标设备9的系统时间与主计算机4的时间相互同步。同步是有利的，这是因为记录文件返回时带有一个与目标设备的日期和时间相关的日期和时间印记。为了确保这些是精确的，用户应当设置目标设备9的日期和时间。在运行测试之前的最后的标签是环境设置标签，其中包含了对不同的可选环境变量来说，具有价值的信息。这些环境设置被加以设计，通过示测试程序文件能够包含环境变量而不是硬卡片化的信息，来扩展和精简测试程序。例如，串行测试将一个可用的com端口作为参数。如果该com端口没有作为环境变量被记录，那么测试将会失败，这是因为它无法打开一个com端口。所有用于程序中的所有环境变量都应被提供，然而，任何附加环境变量都可由用户加入到用户输入的程序中。在运行了一个测试之后，一个测试状态可以被用于获取当前所作试运行的状态信息。该信息是被动态更新的。
在一个测试程序部分窗口列出了已经开始运行的被选程序。用户可以通过选择一个希望的测试图标从该窗口中打开任何一个日志文件。失败图标也被加以显示，举例来说，将其显示为一个画着红“X”的固定形状的烧杯。试运行摘要信息保持对运行的测试程序文件数目、被选程序、失败的程序以及失败程序所占百分比的记录。在试运行结束时，用户可以选择一个配置失败程序标签，以此提示出现一个新的配置窗口，来对当前试运行中所有的失败程序进行选择，以简化回归测试。
剩下的两个部分叫做测试细节。其中一个测试细节部分监视单个的测试情况的合格和失败，这个部分对测量试运行的数值是有价值的。剩下的测试细节部分是失败程序部分，其中所有被选的失败程序都以程序名列出，显示响应于合格和失败的测试情况的数目。所有这些信息向用户给出了一个非常好的对试运行中其目标设备9的极限的认识。(例如，什么是合格的，更重要的什么失败了)。
本发明的主要目的是恰当的对如Windows CE这样的O/S1001a的端口进行测试。为了完成这个任务，需要数以百计的程序测试11并且这些程序由O/S确认程序1来提供。举例来说，由已证实的O/S子系统进行分组的将近1500个测试程序11被提供。如图10中所指出的，O/S确认器1包括用于所有测试11的源代码和可执行代码，覆盖主要的O/S1001a子系统和普通的适配驱动器，并对历史显示出最多问题的子系统专门进行强调。由O/S确认器1所测试的O/S子系统部件包括：以太网/NDIS，串口驱动器、显示驱动器、触摸台驱动器、鼠标驱动器、键盘驱动器、OEM适配层以及PC卡适配器驱动器。图15A、图15B和图15C所示是一张列出了这些系统部件的测试细节的表格。
如上面所论述的，并如图3所示，引擎3经由名为HarnessLink.dll 7的部件与图形用户界面2相连，该部件是一个ActiveX控件。特别的，HarnessLink.dll 7提供一组关于图形用户界面2的函数用于调用(例如影响)引擎3。大多数HarnessLink.dll 7的函数调用建立一些用于引擎3的命令行的参数。所有初始化信息经过该命令行被传送到引擎3，确保用于特定执行的引擎3准备就绪。多个与图形用户界面相关的函数提供关于命令行的信息。这些关于命令行的信息响应图形用户界面2的信息。其他HarnessLink.dll7所完成的主要功能，是在引擎3的运行中通过打开一个已命名的管道来进行有效的通信。如果出现一个差错或需要，要求传送一些内存信息，引擎3通过该命名的管道进行通信。如果多个引擎3正在运行，那么一个命名的管道可以确保引擎3和特定的Harness连接是直接、精确并且不具有重复问题。当HarnessLink.dll 7接收到一条来自通道的消息时，它向恰当的VB事件发出信号，该事件转而使图形用户界面2获得这条消息并据此对其进行处理。如联系图5A所描述的，引擎3与一个HarnessLink.dll 7进行通信，HarnessLink.dll 7转而与一个CEHarness 8进行通信。引擎3的执行很简单：接收命令行并对其进行处理，建立到目标设备的执行套接字连接，打开用于与图形用户界面2通信的通道，读取测试程序文件5，其后在三个阶段，PreExecution、Execution以及PostExecution中执行测试。PreExecution阶段在目标设备9和主机4之间建立差错的套接字连接。相应的数据，例如记录路径及类型、不同的试运行信息以及应力情况都在PreExecution阶段中被发送。Execution阶段包括一个对每个顺序的程序命令的应答。程序命令通常由主机4发送并由CEHarness 8进行处理，当命令的执行完成时，CEHarness8转而用一个套接字信息应答。PostExecution阶段主要包括减少记录信息和产生摘要日志。在这些摘要日志完成时，引擎3退出。测试目标设备9中的CEHarness 8是一个比引擎3更为复杂的部件。这种复杂性在于在任何给定的时间，每个设备9都具有一个CEHarness 8的实例；然而，该设备可以处理多个同时发生的连接，这对一个由O/S确认器1所提供的测试方法来说，是极其重要的特性。当用户开始CEHarness 8时，它创建两个在整个执行时间一直持续的线程：一个广播线程和一个执行线程。这个广播线程对如设备IP、连接类型以及每隔10秒的可用com端口这样的信息进行更新，并以相同速率向网络发送一个广播消息。如果设备9经过Windows CE服务(例如在NT端)被连到主计算机4，并被连接到remnet或是repllog(例如在设备端)，连接类型将变成PPP_PEER。如果这一切发生，广播消息将只被发送到主计算机4上，通过它目标设备9被直接连接。如果运行中用户在某个点改变了连接，那么消息会被更新。此时，执行线程等待来自引擎3的连接尝试。当执行线程收到该连接时，它产生另一个线程，即完成所需要的不同功能的主执行线程。主执行线程开始另一个套接字来发送任何差错和内存信息。因此，执行线程是事件驱动的，接收一条命令并恰当的应答。每个连接尝试都产生其自身的执行线程；因此，一个单独的CEHarness 8可能具有许多有效的连接，通过在一台目标设备上同时运行多个配置，使得测试功能得到扩展，并由此创建了一个更为实际的应力情况。
图3中所示的记录库12是一个以各种方式集成在O/S确认器1中的综合工具。首先，记录库12被集成到源文件中用于测试。测试产生对库的API的调用，因此库对所有关于捕捉和记录测试结果的细节进行处理。记录库12还支持多种通信选项。推荐的选项是通过TCP，当记录文件从TCP连接中移出时，它允许用户查看日志文件的读出。另一个通信选项是直接登录到设备的文件中。这是有好处的，例如，如果用户想要记录到一个PCMCIA卡上，但是不想在网络上广播额外的信息。尽管记录库对TCP通信来说是充当设备端部件，主机4的部件对通信来说却是充当图形用户界面2端的部件。记录库12的这一方面在主机4上提供了一个记录窗口并且将测试结果用颜色代码给出。举例来说，失败消息被显示成一条红线。产生消息的源代码文件和线数，其名称和位置被包括在记录库12的消息中。同样，非常重要的一点是提供一个详细的差错信息，来描述程序文件中的当前事件。每一个记录窗口具有一个摘要标签，它简化了用户对程序内存、合格、失败以及定时信息的访问。日志文件的另一个重要特性是它们在测试开始和结束时捕捉大量的信息。该信息为内存、系统、电源以及其他有价值的信息提供了一个快照。
本发明已经根据一定的优选实施例及其特性进行了说明和描述。然而，在不脱离由所附的权利要求限制的本发明的实质和范围的前提下，对形式、材料以及设计细节所作的变换和修改，对本领域普通技术人员来说，都是显而易见的。

Claims (20)

1.一种对嵌入在目标设备中的操作系统进行测试和确认的基于计算机的系统，包括：
(a).一台主机；
(b).一台具有嵌入的操作系统的目标设备；
(c).一种用作系统测试和确认的软件程序，所述程序在所述主计算机中被提供，其中所述程序包括一个用于与用户交互的图形用户界面程序装置，一个用于与所述目标设备进行通信，并对来自所述图形用户界面的命令进行应答的引擎装置，多个包括至少一个用于对所述操作系统中的至少一个部件进行测试的测试程序；以及
(d).一个记录库装置，用于对由所述操作系统的测试和确认软件程序生成的测试相关信息进行操作和存储。
2.根据权利要求1所述的基于计算机的系统，其特征在于：所述操作系统的测试和确认软件程序进一步包括一作关于图形用户界面的函数，用于对引擎设备进行调用。
3.根据权利要求1所述的基于计算机的系统，其特征在于：所述目标设备进一步包括一个事件驱动应用程序，用于与所述引擎设备进行通信，其中，所述引擎设备发送事件并且所述事件驱动的应用对该事件应答。
4.根据权利要求1所述的基于计算机的系统，其特征在于：所述目标设备中的所述操作系统包括一个Windows CE操作系统。
5.根据权利要求1所述的基于计算机的系统，其特征在于：所述测试程序包括至少一个系统应力测试程序；以及至少一个特性和功能测试。
6.根据权利要求5所述的基于计算机的系统，其特征在于：所述系统应力测试程序包括，一个用于对所述操作系统的所述至少一个部件进行应力测试的代码基准，所述操作系统的所述至少一个部件被从一组操作系统部件中选出，这组操作系统部件包括：以太网/NDIS、PCMIA、内存、文件系统、串行口、具有多个应用程序接口的视频系统、红外线系统、原始设备制造商的适配层、触摸屏、鼠标、键盘、音频/波形系统，所述测试可识别至少三种故障，也就是硬件设计、硬件编程以及操作系统相互作用，并且是以自动或手动模式执行的。
7.根据权利要求1所述的基于计算机的系统，其特征在于：所述目标设备包括一个独立的单元，该单元具有用于进行独立于所述主计算机的确认和应力测试的所述操作系统测试和确认软件程序。
8.根据权利要求1所述的基于计算机的系统，更进一步包括：一个把所述主机和所述目标设备相连，用于执行测试和确认任务的以太网连接。
9.根据权利要求1所述的基于计算机的系统，其特征在于：所述记录库装置包括至少一个使用WRITETESTPASS应用程序接口的合格的测试结果文件。
10.根据权利要求9所述的基于计算机的系统，其特征在于：所述至少一个合格测试文件驻留在所述目标设备中。
11.根据权利要求1所述的基于计算机的系统，其特征在于：所述记录库包括至少一个使用WRITETESTFAIL应用程序接口的失败测试结果文件。
12.根据权利要求11所述的基于计算机的系统，其特征在于：所述至少一个失败测试文件驻留在所述目标设备中。
13.一种对嵌入在目标设备中的操作系统进行测试和确认的基于计算机的方法，包括步骤：
(a).提供一台主计算机；
(b).提供一台具有操作系统的目标设备；
(c).提供一种对操作系统进行测试和确认的软件程序，
所述程序被提供在所述主计算机上，其中所述程序包括一个用于与用户交互的图形用户界面程序装置，一个用于与所述目标设备进行通信，并对来自所述图形用户界面的命令进行应答的引擎装置，多个包括至少一个用于对所述操作系统中的至少一个部件进行测试的测试程序；
(d).提供一个记录库装置，用于对由所述操作系统的测试和确认软件程序生成的测试相关信息进行操作和存储；
(e).在所述目标设备上执行所述操作系统测试和确认软件程序并对所述操作系统进行测试和确认；以及
(f).生成合格和失败的测试结果。
14.根据权利要求13所述的用于对嵌入的操作系统进行测试和确认的基于计算机的方法，进一步包括步骤：提供具有一组关于图形用户接口函数的操作系统测试和确认软件程序，用于对引擎装置进行调用。
15.根据权利要求13所述的用于对嵌入的操作系统进行测试和确认的基于计算机的方法，进一步包括步骤：为所述目标设备提供一个事件驱动应用程序，来与所述引擎装置通信，其中所述引擎装置发送事件，并且所述事件驱动应用程序对该事件应答。
16.根据权利要求13所述的用于对嵌入的操作系统进行测试和确认的基于计算机的方法，进一步包括步骤：为所述目标设备提供一个Windows CE操作系统。
17.根据权利要求13所述的用于对嵌入的操作系统进行测试和确认的基于计算机的方法，进一步包括步骤：提供一包括一个用于对所述操作系统的所述至少一个部件进行应力测试的代码基准的系统应力测试程序为形式的测试程序，所述操作系统的至少一个部件是从一组操作系统部件中选出的，其中包括：以太网/NDIS、PCMIA、内存、文件系统、串行口、具有多个应用程序接口的视频系统、红外线系统、原始设备制造商的适配层、触摸屏、鼠标、键盘、音频/波形系统，所述测试可识别至少三种故障，也就是硬件设计、硬件编程以及操作系统相互作用，并且是以自动或手动模式执行的。
18.根据权利要求13所述的用于对嵌入的操作系统进行测试和确认的基于计算机的方法，进一步包括步骤：提供用于连接所述主机和所述目标设备的以太网连接，用于执行在所述目标设备上的测试和确认任务。
19.根据权利要求13所述的用于对嵌入的操作系统进行测试和确认的基于计算机的方法，进一步包括步骤：为所述记录库装置提供至少一个使用了WRITETESTPASS应用程序接口的合格测试结果文件。
20.根据权利要求13所述的用于对嵌入的操作系统进行测试和确认的基于计算机的方法，进一步包括步骤：为所述记录库装置提供至少一个使用了WRITETESTFAIL应用程序接口的失败测试结果文件。
CN 00802922 1999-01-21 2000-01-21 对具有嵌入式操作系统的设备进行测试和确认的系统和方法 Pending CN1359492A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US11682499P 1999-01-21 1999-01-21
US13762999P 1999-06-04 1999-06-04
US60/116,824 1999-06-04
US60/137,629 1999-06-04

Publications (1)

Publication Number Publication Date
CN1359492A true CN1359492A (zh) 2002-07-17

Family

ID=26814666

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 00802922 Pending CN1359492A (zh) 1999-01-21 2000-01-21 对具有嵌入式操作系统的设备进行测试和确认的系统和方法

Country Status (7)

Country Link
EP (1) EP1236108A1 (zh)
JP (1) JP2002535773A (zh)
KR (1) KR20010112250A (zh)
CN (1) CN1359492A (zh)
AU (1) AU3212300A (zh)
BR (1) BR0009008A (zh)
WO (1) WO2000043880A1 (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1316358C (zh) * 2004-03-05 2007-05-16 英业达股份有限公司 信息平台测试环境自动化建置方法及系统
CN100375058C (zh) * 2004-12-24 2008-03-12 北京中星微电子有限公司 一种嵌入式产品软件调试方法
CN100403701C (zh) * 2004-08-09 2008-07-16 华为技术有限公司 目标设备业务实现的测试方法及系统
CN100440162C (zh) * 2005-04-08 2008-12-03 环达电脑(上海)有限公司 嵌入式设备的调试方法
CN100456043C (zh) * 2003-02-14 2009-01-28 爱德万测试株式会社 检测集成电路的方法和装置
CN101452415B (zh) * 2007-11-30 2011-05-04 鸿富锦精密工业（深圳）有限公司 嵌入式系统测试的辅助装置及方法
CN102339248A (zh) * 2010-07-20 2012-02-01 上海闻泰电子科技有限公司 一种嵌入式终端的在线调试系统及方法
CN102782649A (zh) * 2010-03-04 2012-11-14 日本电气株式会社 应用程序修改部分搜索装置和应用程序修改部分搜索方法
US8966098B2 (en) 2008-09-25 2015-02-24 Avago Technologies General Ip (Singapore) Pte. Ltd. Method and/or apparatus for certifying an out of band management application in an external storage array
CN105445644A (zh) * 2015-11-18 2016-03-30 南昌欧菲生物识别技术有限公司 多类型芯片测试板、测试系统及测试机台
CN106201765A (zh) * 2016-07-21 2016-12-07 中国人民解放军国防科学技术大学 基于μC/OS‑II操作系统的任务堆栈区数据校验恢复方法
CN109960590A (zh) * 2019-03-26 2019-07-02 北京简约纳电子有限公司 一种优化嵌入式系统诊断打印的方法
US20190266127A1 (en) * 2010-05-26 2019-08-29 Red Hat, Inc. Managing and archiving system and application log files
CN110221974A (zh) * 2019-05-22 2019-09-10 深圳壹账通智能科技有限公司 服务平台系统自检方法、装置、计算机设备以及存储介质
CN110226095A (zh) * 2016-10-20 2019-09-10 Y软股份公司 嵌入式系统的通用自动化测试
CN113590475A (zh) * 2021-07-13 2021-11-02 北京快乐茄信息技术有限公司 一种在线开发平台的联调测试方法以及联调测试装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100367238C (zh) * 2001-08-22 2008-02-06 深圳市索普卡软件开发有限公司 一种x86系列兼容机及其操作系统的生成方法
CN100356738C (zh) * 2005-07-29 2007-12-19 杭州华三通信技术有限公司 自动化测试框架系统及方法
FI118578B (fi) * 2006-01-23 2007-12-31 Mika Pollari Testauslaite ja menetelmä laitteen testaamiseksi
CN102916848B (zh) * 2012-07-13 2014-12-10 北京航空航天大学 一种基于脚本技术的以太网接口设备的自动测试方法
CN112306888B (zh) * 2020-11-13 2022-05-10 武汉天喻信息产业股份有限公司 一种基于设备库文件接口的测试系统和方法
CN116743990B (zh) * 2023-08-16 2023-10-27 北京智芯微电子科技有限公司 嵌入式设备的视频流测试方法和视频流测试处理方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0636976B1 (en) * 1993-07-28 1998-12-30 Koninklijke Philips Electronics N.V. Microcontroller provided with hardware for supporting debugging as based on boundary scan standard-type extensions
US5724505A (en) * 1996-05-15 1998-03-03 Lucent Technologies Inc. Apparatus and method for real-time program monitoring via a serial interface

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100456043C (zh) * 2003-02-14 2009-01-28 爱德万测试株式会社 检测集成电路的方法和装置
CN1316358C (zh) * 2004-03-05 2007-05-16 英业达股份有限公司 信息平台测试环境自动化建置方法及系统
CN100403701C (zh) * 2004-08-09 2008-07-16 华为技术有限公司 目标设备业务实现的测试方法及系统
CN100375058C (zh) * 2004-12-24 2008-03-12 北京中星微电子有限公司 一种嵌入式产品软件调试方法
CN100440162C (zh) * 2005-04-08 2008-12-03 环达电脑(上海)有限公司 嵌入式设备的调试方法
CN101452415B (zh) * 2007-11-30 2011-05-04 鸿富锦精密工业（深圳）有限公司 嵌入式系统测试的辅助装置及方法
US8966098B2 (en) 2008-09-25 2015-02-24 Avago Technologies General Ip (Singapore) Pte. Ltd. Method and/or apparatus for certifying an out of band management application in an external storage array
CN102782649A (zh) * 2010-03-04 2012-11-14 日本电气株式会社 应用程序修改部分搜索装置和应用程序修改部分搜索方法
US9003370B2 (en) 2010-03-04 2015-04-07 Nec Corporation Application modification portion searching device and application modification portion searching method
US20190266127A1 (en) * 2010-05-26 2019-08-29 Red Hat, Inc. Managing and archiving system and application log files
US11868308B2 (en) * 2010-05-26 2024-01-09 Red Hat, Inc. Managing and archiving system and application log files
CN102339248A (zh) * 2010-07-20 2012-02-01 上海闻泰电子科技有限公司 一种嵌入式终端的在线调试系统及方法
CN105445644A (zh) * 2015-11-18 2016-03-30 南昌欧菲生物识别技术有限公司 多类型芯片测试板、测试系统及测试机台
CN106201765B (zh) * 2016-07-21 2019-03-15 中国人民解放军国防科学技术大学 基于μC/OS-II操作系统的任务堆栈区数据校验恢复方法
CN106201765A (zh) * 2016-07-21 2016-12-07 中国人民解放军国防科学技术大学 基于μC/OS‑II操作系统的任务堆栈区数据校验恢复方法
CN110226095A (zh) * 2016-10-20 2019-09-10 Y软股份公司 嵌入式系统的通用自动化测试
US10997045B2 (en) 2016-10-20 2021-05-04 Y Soft Corporation, A.S. Universal automated testing of embedded systems
CN110226095B (zh) * 2016-10-20 2022-06-17 Y软股份公司 嵌入式系统的通用自动化测试
CN109960590A (zh) * 2019-03-26 2019-07-02 北京简约纳电子有限公司 一种优化嵌入式系统诊断打印的方法
CN110221974A (zh) * 2019-05-22 2019-09-10 深圳壹账通智能科技有限公司 服务平台系统自检方法、装置、计算机设备以及存储介质
CN113590475A (zh) * 2021-07-13 2021-11-02 北京快乐茄信息技术有限公司 一种在线开发平台的联调测试方法以及联调测试装置
CN113590475B (zh) * 2021-07-13 2024-05-31 北京快乐茄信息技术有限公司 一种在线开发平台的联调测试方法以及联调测试装置

Also Published As

Publication number Publication date
EP1236108A1 (en) 2002-09-04
BR0009008A (pt) 2002-02-13
AU3212300A (en) 2000-08-07
WO2000043880A1 (en) 2000-07-27
KR20010112250A (ko) 2001-12-20
JP2002535773A (ja) 2002-10-22

Similar Documents

Publication Publication Date Title
CN1359492A (zh) 对具有嵌入式操作系统的设备进行测试和确认的系统和方法
US6360332B1 (en) Software system and methods for testing the functionality of a transactional server
US6810494B2 (en) Software system and methods for testing transactional servers
US8027745B1 (en) Non-linear, animated, interactive assembly guide and method for controlling production
US7032170B2 (en) Creating data structures from a form file and creating a web page in conjunction with corresponding data structures
AU2004233548B2 (en) Method for Computer-Assisted Testing of Software Application Components
US7620885B2 (en) Automatic generation of documentation for component-based computing solution
US7770151B2 (en) Automatic generation of solution deployment descriptors
US5903897A (en) Software documentation release control system
US20090037881A1 (en) Systems and methods for testing the functionality of a web-based application
US20170199809A1 (en) Graphical transaction model
US6944647B2 (en) Methods and apparatus for bookmarking and annotating data in a log file
US8204711B2 (en) System and apparatus for managing test procedures within a hardware-in-the-loop simulation system
US20060200701A1 (en) Kernel-mode in-flight recorder tracing mechanism
US20160170719A1 (en) Software database system and process of building and operating the same
US20100180260A1 (en) Method and system for performing an automated quality assurance testing
US20070005300A1 (en) Systems and methods for graphically defining automated test procedures
US20050097516A1 (en) Extensible and dynamically-configurable problem-reporting client
WO2004055633A2 (en) System and method for software application development in a portal environment
US20060004848A1 (en) Methods and system for presenting attributes and associations of managed objects
WO1998014869A1 (en) Software release control system and method
CN104007957A (zh) 在编辑期间显示实时数据的改进图形用户界面编辑器
US11200140B2 (en) Software performance testing
CN102144221B (zh) 用于自动化测试的紧凑架构
CN1353835A (zh) 同类系统之间的协议确认

Legal Events

Date Code Title Description
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C06 Publication
PB01 Publication
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication