CN1967503A - 测试软件应用的方法 - Google Patents
测试软件应用的方法 Download PDFInfo
- Publication number
- CN1967503A CN1967503A CNA2006101424444A CN200610142444A CN1967503A CN 1967503 A CN1967503 A CN 1967503A CN A2006101424444 A CNA2006101424444 A CN A2006101424444A CN 200610142444 A CN200610142444 A CN 200610142444A CN 1967503 A CN1967503 A CN 1967503A
- Authority
- CN
- China
- Prior art keywords
- data
- login
- task
- daily record
- infrastructure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000012360 testing method Methods 0.000 title claims abstract description 50
- 238000011084 recovery Methods 0.000 claims abstract description 18
- 238000012795 verification Methods 0.000 claims abstract description 9
- 238000010223 real-time analysis Methods 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 16
- 238000003860 storage Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims 1
- 238000004590 computer program Methods 0.000 abstract description 10
- 238000012545 processing Methods 0.000 abstract description 9
- 238000013524 data verification Methods 0.000 abstract description 2
- 101001074449 Crotalus durissus terrificus Phospholipase A2 inhibitor CNF Proteins 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000007726 management method Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000011112 process operation Methods 0.000 description 2
- 238000007634 remodeling Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013481 data capture Methods 0.000 description 1
- 238000013479 data entry Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000012432 intermediate storage Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 229910002059 quaternary alloy Inorganic materials 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3688—Test management for test execution, e.g. scheduling of test suites
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明揭示了测试软件应用程序的方法和计算机程序产品。为登录基础设施提供随机化输入后，在多处理环境内执行登录基础设施的自动化测试。然后对从登录基础设施取回的数据执行自验证，以确保未因由测试工具驱动的外部系统事件或故障导致发生数据丢失。再根据对登录基础设施的随机化输入对由测试工具接收的结果执行实时分析。捕获第一故障数据，并在灾难恢复情形中执行对登录基础设施的数据恢复操作的结果的自验证。
Description
技术领域
本发明的实施例涉及验证多系统分布式计算环境内数据登录基础设施的操作和功能的方法和计算机程序产品。
背景技术
IBM z/OS系统登录器(logger)为由操作系统向在z/OS上运行的开发器(exploiter)提供的功能。这个组件的开发器的数目随着其相对于系统性能和可用性方面的重要性而不断增多。
系统登录器是使应用可以登录来自系统联合体(sysplex)的数据的z/OS多虚拟存储(MVS)组件。可以将系统联合体看作一组计算机系统，这些计算机系统通过在操作系统层次上相互通信而起着单个实体的作用。应用可以登录来自系统联合体内的一个系统或多个系统的数据。
使用系统登录器的优点是免除日志记录的创建者对诸如保存日志数据(以请求的持续时间)、取回数据(可能从系统联合体内任何系统取回)、将数据存档和使数据满期之类的任务的职责。此外，系统登录器提供具有单个融合的日志的能力，所述日志含有来自系统联合体内的应用的多个实例的数据。
在z/OS系统登录器的功能和系统验证测试期间，一直存在如何在多系统环境内用单个方法动态和持续地驱动z/OS系统登录器的所有操作的问题。有驱动z/OS系统登录器的各个部分的多种不同测试工具和应用，但是还没有可用来将所有这些一起放在单个应用内的已知工具或方法。
发明内容
本发明的实施例包括一种测试软件应用程序的方法和计算机程序产品，这种方法包括：向登录基础设施提供随机化输入；在多处理环境内执行登录基础设施的自动化测试；对从登录基础设施取回的数据执行自验证，以确保未因由测试工具驱动的外部系统事件或故障导致发生数据丢失；根据对登录基础设施的随机化输入对由测试工具接收的结果执行实时分析；捕获第一故障数据；以及对在灾难恢复情形中登录基础设施的数据恢复操作的结果执行自验证。
本发明的其他一些实施例包括一种测试软件应用程序的方法和计算机程序产品，这种方法包括：向登录基础设施提供随机化输入；在多处理环境内执行登录基础设施的自动化测试；以及执行作为z/OS系统登录器的登录功能；其中系统登录器的自动化测试包括以下任务：用户接口任务，事件通知基础设施(ENF)监视任务，主过程任务，以及辅助任务。
附图说明
从以下说明、所附权利要求书和附图中可以更为清楚地看到本发明的实施例的设备和方法的更多特征、形态和优点，在这些附图中：
图1示出了具有耦接基础设施的系统z/OS系统登录器配置的例子；以及
图2示出了在系统联合体环境内的登录器测试工具的任务布置结构。
具体实施方式
本发明的实施例涉及计算机体系结构领域，具体地说，涉及在多处理环境内自动测试登录基础设施的方法和系统。特别是，本发明的实施例涉及对从登录基础设施取回(retrieve)的数据进行自验证和根据随机化输入对测试工具接收到的结果进行实时分析。
本发明的实施例所解决的问题适用于其中需要测试跨不同系统的多系统登录实体和连续用数据驱动登录实体以便测试它的功能的任何环境。本发明的实施例还提供了将智能建入测试应用，以响应与z/OS系统登录器操作有关的系统事件的方法。
提供了一种系统，在这种系统内在多处理环境内执行登录基础设施的自动化测试，并且同时在共享这样的配置内的资源的多个系统上执行这样的自动化测试。还提供了一种对从登录基础设施取回的数据进行自验证，以便保证没有因由测试工具驱动的外部系统事件/故障而发生数据丢失的方法。
此外，还提供了一种由测试工具根据对登录基础设施的随机化输入和第一故障数据捕获对结果进行实时分析，以便帮助进行意外结果的问题确定的方法。此外，还提供了一种对灾难恢复情形中登录基础设施的数据恢复操作的结果进行自验证的方法。
本发明的实施例的功能在于其在执行对多系统登录实体的功能验证测试的同时执行长期稳定性验证、数据完整性核实和使用第一故障数据捕获技术的能力。
本发明的软件实施例满足了单个方法驱动和验证(verify)系统联合体范围的登录功能的所有方面的需要。本发明的实施例作为同时从多个并行系统连续写入数据的登录应用进行操作。它还执行自验证，以通过从登录基础设施读回数据并将它与数据的独立副本相比较来保证无数据丢失。
这种方法通过写入随机大小的数据块而引入了可变性，而且向操作系统发出动态命令，以改变登录基础设施的特性。它还驱动异步登录事件，动态地更新永久日志的属性。在检测到数据丢失时，本发明的实施例捕获所有相关第一故障数据捕获信息，以便帮助确定丢失了什么数据以及识别数据丢失的原因。
本发明的实施例不仅驱动系统登录器内许多不同的功能通路，而且还自动响应外部和内部驱动的激励，并对使用z/OS系统登录器服务写入的所有数据执行自验证。
可以用独立的(self-contained)应用来模拟具有难以用依赖于受控输入的测试以手工方式产生的随机事件和定时窗口的活动登录环境。应用实现用于对写入登录功能的数据进行自验证的算法，而不依赖于手工干预来验证在处理应用所用的数据时登录功能没有丢失任何数据。应用设计成连续运行它的算法，直到被告知停止(无论是用用户命令还是自动方式)。除非在系统有故障的情况下，应用保持持续并执行使数据流入和流出登录功能所必需的任何功能。对于系统故障和灾难恢复的情况，在故障系统的随后重新初始化之后，应用使用它的独立数据副本验证登录功能已经将数据恢复到一致的时间点。
z/OS操作系统是IBM的64位服务器操作系统。它是IBM主机操作系统OS/390的后继操作系统，组合了多虚拟存储(MVS)和UNIX系统服务(UNIX的遵从POSIX的主机实现，以前称为MVS开放版)。z/OS是高度安全、可缩放的高性能企业操作系统，在该操作系统上可以构建和部署因特网和Java启动的应用或者传统应用，提供综合性、多样化的应用执行环境。
典型的是，传统应用是在大型机或微计算机上运行的数据库管理系统(DBMS)。新的软件产品的重要特色是能够与公司的传统应用一起工作，或者至少能从它们导入数据。在信息技术中，传统应用(legacy application)和数据是从比当前技术早的语言、平台和技术继承下来的应用和数据。大多数企业运用具有为关键性业务需要服务的传统应用和数据库的计算机。
实施例是用与z/OS MVS系统登录器有关的特定术语来说明的。相同或等效的技术可用于不同的环境，在这些环境中具有从多系统收集数据的登录应用，且其主要功能是维护日志数据的真实性和完整性。
参见图1，图中例示了具有z/OS系统登录器、使用耦接基础设施在系统之间共享日志数据的多系统配置的例子。这个例子示出了当前使用z/OS系统登录器在系统之间共享数据的不同MVS应用(IMS、CICS、RRS)。可以将在这里所说明的登录测试工具认为是另一种z/OS系统登录器应用。
IMS是信息管理系统。IMS由数据库管理器包括两个系统：(IMSDB)和事务管理器(IMS TM)。
事务管理器与终端用户(通过TCP/IP和Web用户接口连接的)或者其他应用交互，处理商务功能(诸如银行账户取款)和维护整个过程的状态，确保系统将商务功能正确地记录到数据存储中。
IMS TM使用消息接发和排队范型。IMS控制程序接收从终端(或者Web浏览器或其他应用)输入的事务，将事务存储在消息队列(在存储器或数据集内)内。然后，IMS对排队的事务调用它的调度器，以启动处在消息处理区域中的商务应用程序。
消息处理区域从IMS消息队列取回事务并加以处理，读取和更新IMS和/或DB 2数据库，保证事务的适当记录。然后，如果需要的话，IMS将响应消息发回给IMS消息队列。一旦输出消息完成和可用，IMS控制程序就将它发回给始发终端。IMS TM每秒可以处理这整个过程几千次。
CICS(客户信息控制系统)是一系列应用服务器和连接器，其为任务关键的应用提供工业强度的在线事务管理和接续性。CICS是在z/OS或z/VSE中在IBM主机系统上运行的事务服务器。CICS可用于其他操作系统，其中值得注意的有i5/OS、OS/2，并作为在AIX、Windows和Linux(除其他之外)上的最密切相关的IBM TXSeries软件。到目前为止，z/OS实现是最普遍的，重要的CICS应用只要稍作修改也可以在微软的.NET平台上运行。
CICS是为在线和批作业两者设计的事务处理系统。在大的IBMzSeries和系统z9服务器上，CICS很容易支持每秒几千个事务，这使它成为企业计算的主要支柱。CICS应用可以用许多程序设计语言编写，包括COBOL、PL/I、C、C++、汇编语言、REXX和Java。
资源恢复服务(RRS)提供在z/OS上的任何资源管理器都可以使用的全局同步点管理器。它使事务能更新由许多资源管理器管理的受保护资源。RRS越来越成为新的资源管理器和在现有资源管理器内的新能力所必须具备的。这些产品可以使用由RRS提供的支持，而不是必需执行它们自己的两阶段承诺协议。通常，RRS需要为系统登录器定义的五个日志流。
有以下两种类型的日志流：(1)耦接基础设施日志流；以及(2)仅直接存取存储设备(DASD)日志流。这两种类型的日志流之间的主要差别是用来存放临时日志数据的存储介质。在耦接基础设施日志流内，日志数据的临时存储包含在耦接基础设施列表结构内，而在仅DASD日志流内，日志数据的临时存储包含在系统上本地存储缓冲器内。对于本发明的实施例来说，使用CF和仅DASD日志流两者。
系统联合体是由使用一定的硬件和软件产品相互协作处理作业的一些MVS系统组成的集体。传统的大型计算机系统也使用相互协作处理作业的硬件和软件。系统联合体与传统的大型计算机系统之间的主要差别是在系统联合体内改进了可用性的增长潜力和层次。系统联合体增加了可以协作的处理单元和MVS操作系统的数目，从而增大了可以处理的作业量。
将大量的系统连接在一起引起了一些专门要考虑的问题，诸如大量的系统怎样进行通信和它们怎样协作来共享资源之类。这些要考虑的问题影响到MVS系统的整体运行。
系统联合体显著地改变了MVS系统可以共享数据的方式。随着系统的增多，必需要有有效的方式来跨系统共享数据。耦接基础设施针对授权的应用(诸如在系统联合体内运行的子系统和MVS组件)实现中央可访问的高性能数据共享。这些子系统和组件于是透明地将数据共享的效益扩展给它们的应用。使用耦接基础设施大大改善了在系统联合体内将许多MVS系统连接在一起以并行处理作业的可行性。
登录器自治测试工具是多任务z/OS MVS系统登录器应用，其执行由本发明的实施例描述的方法和算法。该应用通过使耦接基础设施(CF)结构重构、驱动日志流从耦接基础设施结构卸载到DASD和动态更新日志流的属性来模拟z/OS操作系统环境状况。下面所说明的这组任务在多系统的系统联合体内的每个系统上同时运行。例如，图2示出了在2系统的系统联合体内测试工具的任务结构。这些任务组中的每一个在作为多系统的系统联合体的一部分的每个系统上运行。
任务综述
登录器自治测试工具包括四个主任务加一个第五恢复验证任务。
任务1是用户接口任务，使系统操作员可以与工具交互，以启动/停止处理和查询登录器自治测试工具的状态。
任务2是事件通知基础设施(ENF)监视任务，其监视指出系统登录器内的状态改变和由工具使用的关联日志流的登录器ENF 48事件。
任务3是驱动写入/读取/验证和外部驱动事件通路的主过程。
任务4是在独立的地址空间内运行、并针对任务3所用的相同日志流执行附加的写入/读取/查询功能，以便在处理日志流时为系统登录器创建附加的“忙作业”的辅助任务。每个系统有一个或多个活动的辅助任务。
任务5只在系统故障和灾难恢复情况下使用，以便验证系统登录器从辅助记录介质(诸如双工耦接基础设施结构或分段数据集合)恢复数据的能力。
系统联合体内系统上的登录器测试工具的每个实例使用已经作为用来测试z/OS的测试环境的一部分可用的组件测试工具多系统通信任务(GTTX)与另一个实例通信。CTTX使登录器测试工具可以在系统联合体内不同系统之间同步其启动、关闭、I/O和验证功能。
应用作业负荷算法
在多线程系统联合体环境内，一旦建立了与日志流的连接，任务3就用以下算法针对系统登录器日志流驱动作业：
a)用系统登录器IXGWRITE服务将若干(N)个登录块写入日志流。每个登录块是在1024到64532字节之间的随机大小的块。跟踪信息存储在每个登录块内，以有助于保证无数据丢失的自验证。有关每个所写的块的信息存储在数据结构内，其还被复制到非独立的写入资源，以便用于验证没有出现数据丢失。
b)每逢第五个迭代(iteration)，通过发出系统登录器IXGOFFLD强制日志数据从主存储器卸载给DASD。这确保在稍后的步骤中从辅助存储器以及主存储器读回日志数据，因为这些代表系统登录器的不同处理通路。可以用任何迭代频率来确保从辅助存储器读回卸载的数据。
c)每逢第五个迭代，用系统登录器IXGINVNT服务执行日志流属性的动态更新。更新的属性包括与SMS有关的类名称、日志流长度和门限卸载值。这强制对激活的日志流连接的未决改变，其随后在系统登录器处理卸载期间被适当应用。可以用任何迭代频率来保证在系统登录器卸载处理期间应用未决的动态更新改变。
d)每逢第10个迭代，用SETXCF操作员命令在CF结构DUPLEX和SIMPLEX模式之间交换日志流的双工(duplexing)。这确保了对日志流的处理在两个双工模式执行。可以用任何迭代频率来保证登录器处理在CF结构单工和双工两个环境内进行。
e)从日志流读出在这个当前迭代期间写的所有N个登录块。每个迭代随机地在日志流的开始或结束处启动，沿相应方向读取，以便用在以上步骤(a)期间保存的数据结构进行比较来执行没有出现数据丢失的验证。
f)每个系统执行同步(“synch up”)操作并暂停，直到每个系统上的工具的所有实例都已完成在步骤(e)执行的它的数据验证。这个同步用CTTX SYNCHUP功能实现。
g)验证成功完成后，用系统登录器IXGDELET服务从日志流中删除比N/2+1早的登录块。
h)每逢第五个迭代，随机地判定是否针对日志流执行DISCONNECT/CONNECT，以便强制以上步骤(c)的未决更新付诸实施。可以用任何迭代频率来保证定期执行登录器断开/连接处理，以便施加任何未决的动态更新。
如果在以上任何步骤中登录资源成为暂时不可用(即中间存储为满)，任务3就等待登录器通过ENF监视任务(任务4)通知登录资源重新可用。任务3和任务4通过z/OS MVS WAIT/POST系统服务进行通信。
适当的话，每个迭代针对三个日志流执行以上这些步骤。这三个日志流用不同的特性(STRUCTURE vs.DASDONLY，LOGGERDUPLEX(COND)vs.LOGGERDUPLEX(UNCOND)STG_DUPLEX(YES)vs.STG_DUPLEX(NO))定义，以确保覆盖可由系统登录器处理的每种类型的日志流。
数据和状态登录的验证
验证登录块数据的方法涉及将每个读出的登录块的所有属性与所期望的属性相比较。时戳、登录块标识符、登录块内容和指出登录块是从主存储还是辅助存储读出的专用描述符属性被用于核实登录块。
z/OS系统登录器需要定期将“填充器”登录块写入用来保持已从CF结构卸载的日志数据的DASD数据组。随着工具将数据写入日志流，它用计算来预测应已为下一个对日志流的成功写请求分配的下一个块标识符。如果从系统登录器返回的块标识符不是所预测的值，这就意味着在数据集合内这个位置存在一个填充器块。工具检测到这个情况，记住所遇到的填充器区域的数目。这个信息可以稍后用作第一故障数据捕获分析的一部分。
在以上步骤(a)至(g)期间出现的每个有意义的事件前和后，将事件登录到数据结构和第四系统登录器日志流，以使工具可以记住最后采取的动作。系统联合体范围的同步用来保证系统联合体内每个系统上的所有任务都在处理相同的步骤迭代。一旦所有系统都已指出步骤(a)至(h)已经完成，所有系统在一个新的迭代中继续处理步骤(a)。
附加作业负荷数据流算法
建立与日志流的连接后，任务4用以下重复顺序给日志流添加附加作业：
a)将一个块写入日志流，其内容将块标识为由任务4写入的块。
b)用系统登录器IXGBRWSE READCURSOR服务从最早到最近读出日志流内的所有登录块。
c)用系统登录器IXGBRWSE READCURSOR服务从最近到最早读出日志流内的所有登录块。
d)用系统登录器IXGQUERY服务查询日志流属性。
在执行以上步骤(b)和(c)的读出时，任务4检验每个登录块的内容，只确认具有指出任务4写入该登录块的唯一系统标识符的块。由任务3写入的任何登录块只被读出而不确认内容。
范围和保留时间
上面描述的四个主任务一起设计成能处理以下情况：
1)所有暂时不可用的日志流事件，其需要工具等待，直到登录器发出ENF 48，指出什么时侯日志流资源又是可用的。这些事件包括结构重构、日志流存储满状况和CF接续性丢失。登录器测试工具ENF监视器任务(任务3)从z/OS系统登录器接收ENF 48通知，并相应通知任何等待这个事件的登录器测试任务。
2)所有永久不可用的日志流事件，诸如系统登录器或整个系统有故障。对于这些情况，工具能用从属写资源来验证z/OS系统登录器在出现事件后执行日志流资源恢复时没有丢失数据。
在由所有任务建立对日志流的所有连接时，这建立系统联合体范围的系统登录器应用环境，具有：
1)每个系统总共四个日志流，(每个系统联合体2+2*S，其中S为系统联合体内的系统的个数)；
a)每个系统的具有两个连接的两个基于结构的日志流，以及S*2个跨系统联合体连接
b)每个系统一个具有两个连接的仅dasd日志流
c)每个系统一个具有一个连接的基于结构的检查点日志流
第一故障数据捕获
第一故障数据捕获(FFDC)是应用于在出现错误时自动捕获的诊断信息组的通称。
第一故障数据捕获(FFDC)提供在出现意外内部错误时系统环境的自动化快照。利用这个快照可以更好地理解在出现问题时的系统状态。该信息减轻了对再现错误以获取诊断信息的需要。
第一故障数据捕获(FFDC)是登录器自治测试工具的另一个基本组件。由于登录块验证方法相继验证登录块，因此任何偏差都可以立刻予以识别，用期望和实际登录块数据报告给测试者。此外，还试图继续读取第一偏差点后的日志流，以便帮助确定丢失了多少与当前迭代相应的块。
通过毫无疑问地从最早到最近浏览日志流和收集日志流内所有登录块的属性和登录块数据，产生附加的FFDC。最后，产生系统登录器和登录器自治测试工具的系统转储，以供进一步进行可能的分析。所捕获的附加数据可以有助于测试者直观地确认在工具验证步骤期间指出的偏差是意外的数据丢失状况的结果。
灾难恢复验证
灾难恢复规划包括运行关键性商业应用和关联过程以在自然或人为灾难事件中平滑地过渡所需的硬件和软件。灾难恢复系统帮助客户机在火灾、恐怖主义袭击及其他危机后恢复数据和系统。灾难恢复服务范围从咨询到远地数据备份、到专用的其他办公室和设备、到可运行到客户现场的移动站。
在系统故障或灾难恢复的情况下，用任务5来验证由系统登录器恢复的数据是否与由工具在它的从属写资源内登录的数据一致。这个资源含有对所有值得注意的事件的状态检查点，而且含有有关什么数据应驻留在工具所使用的日志流内的完整信息。在这里使用任务3所用的相同的验证方法。一旦任务5已经验证没有出现数据丢失，四个主任务可以重新启动，继续执行在上个检查点时执行的任何处理。
为了达到坚实的验证，首先，验证事件。重要的是知道备份成功完成，没有任何错误。然后，第二阶段是验证数据。最后，第三阶段是验证配置。这些步骤为成功的灾难恢复管理创造条件。
如上面所说明的，本发明的实施例可以体现为计算机实现的过程和实现这些过程的设备。本发明的实施例可以体现为含有体现在诸如系统存储器、CD-ROM、硬盘驱动器或任何其他计算机可读存储介质之类的有形媒体内的指令的计算机程序代码，其中，在将计算机程序代码装入一个计算机执行时，该计算机就成为实现本发明的设备。本发明还可以体现为例如无论是存储在存储介质内装入计算机和/或由计算机执行的计算机程序代码，还是在诸如电气线路或电缆线路之类的传输媒体上、通过光纤或通过电磁辐射发送的计算机程序代码，其中，在计算机程序代码装入一个计算机执行时，该计算机就成为实现本发明设备。在通用微处理器上实现时，计算机程序代码段将微处理器配置成产生特定的逻辑事件。
虽然以上就例示性和预先形成的实施例具体示出和说明了本发明的实现方式，但熟悉该技术的人员可以理解，其中在形式和细节上都可以作上述及其他一些改变，这并不背离本发明的实现方式的精神和范围。本发明的专利保护范围应仅由所附权利要求书限定。
Claims (18)
1.一种测试软件应用程序的方法，所述方法包括：
向登录基础设施提供随机化输入；
在多处理环境内执行登录基础设施的自动化测试；
对从登录基础设施取回的数据执行自验证，以确保未因由测试工具驱动的外部系统事件或故障导致发生数据丢失；
根据对登录基础设施的随机化输入对由测试工具接收的结果执行实时分析；
捕获第一故障数据；以及
对在灾难恢复情形中登录基础设施的数据恢复操作的结果执行自验证。
2.权利要求1的方法，其中登录基础设施的自动化测试在共享多个资源的多个系统上同时执行。
3.权利要求1的方法，其中所述自动化测试驱动和验证在多处理环境中登录功能的功能和能力，以便促进对登录功能的自动化回归测试(ART)。
4.根据权利要求3所述的方法，其中所述多处理环境使用多个日志流，以便驱动定时窗口。
5.按照权利要求1所述的方法，还包括向操作系统发出动态命令，以便改变登录基础设施的特性。
6.按照权利要求1所述的方法，还包括异步登录事件和动态更新永久登录的属性。
7.按照权利要求1所述的方法，其中在检测到数据丢失时，捕获相关的第一故障数据捕获信息，并关于(i)丢失的数据和(ii)数据丢失的一个或多个原因进行确定。
8.按照权利要求1所述的方法，其中对登录块数据的验证涉及将每个读取的登录块的属性与期望属性相比较。
9.按照权利要求1所述的方法，其中对登录块的验证涉及时戳属性、登录块标识符属性、登录块内容属性和脚本描述符属性。
10.一种测试软件应用程序的方法，所述方法包括：
向登录基础设施提供随机化输入；
在多处理环境内执行登录基础设施的自动化测试；以及
执行作为系统登录器的登录功能，
其中所述系统登录器的自动化测试包括以下任务：
用户接口任务，
事件通知基础设施(ENF)监视任务，
主过程任务，以及
一个或多个辅助任务。
11.按照权利要求10所述的方法，其中
所述事件通知基础设施(ENF)监视任务监视指出系统登录器和相关联的日志流内的状态变化的ENF事件。
12.按照权利要求10所述的方法，其中
每个辅助任务在独立的地址空间中运行，并执行附加写入、读取和查询功能。
13.按照权利要求10所述的方法，其中只有在检测到系统故障和灾难恢复情形时才运行系统故障和灾难恢复任务。
14.按照权利要求13所述的方法，其中所述系统故障和灾难恢复任务验证系统登录器从辅助记录介质恢复数据的能力。
15.按照权利要求10所述的方法，其中所述系统登录器的自动化测试通过组件测试工具多系统通信任务(CTTX)执行。
16.按照权利要求15所述的方法，其中CTTX允许系统登录器的自动化测试同步系统联合体中不同系统间的启动、关闭、输入/输出(I/O)和验证功能。
17.按照权利要求10所述的方法，其中所述主过程任务执行如下操作：
将若干个登录块写入日志流；
强制日志数据从主存储器卸载到直接存取存储设备(DASD)；
执行日志流属性的动态更新；
交换日志流的双工；
从日志流读取所述若干个登录块；以及
执行同步操作。
18.按照权利要求10所述的方法，其中每个辅助任务执行以下操作：
将具有标识块的内容的块写入日志流；
用第一命令从最早的登录块到最近的登录块读取日志流内的每个登录块；
用第二命令从最近的登录块到最早的登录块读取日志流内的每个登录块；以及
查询日志流属性。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US11/259,893 US8032790B2 (en) | 2005-10-27 | 2005-10-27 | Testing of a system logging facility using randomized input and iteratively changed log parameters |
| US11/259,893 | 2005-10-27 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN1967503A true CN1967503A (zh) | 2007-05-23 |
| CN100461130C CN100461130C (zh) | 2009-02-11 |
Family
ID=38076286
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNB2006101424444A Expired - Fee Related CN100461130C (zh) | 2005-10-27 | 2006-10-26 | 测试软件应用的方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US8032790B2 (zh) |
| CN (1) | CN100461130C (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101526917B (zh) * | 2009-04-22 | 2011-08-10 | 南京大学 | 一种基于数据驱动的测试脚本繁殖方法 |
| CN108604205A (zh) * | 2016-12-08 | 2018-09-28 | 华为技术有限公司 | 测试点的创建方法,装置和系统 |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2435655A1 (en) * | 2003-07-21 | 2005-01-21 | Symbium Corporation | Embedded system administration |
| CA2504333A1 (en) * | 2005-04-15 | 2006-10-15 | Symbium Corporation | Programming and development infrastructure for an autonomic element |
| US7925624B2 (en) | 2006-03-31 | 2011-04-12 | Amazon Technologies, Inc. | System and method for providing high availability data |
| US7707136B2 (en) | 2006-03-31 | 2010-04-27 | Amazon Technologies, Inc. | System and method for providing high availability data |
| US8170545B1 (en) * | 2007-02-05 | 2012-05-01 | Sprint Communications Company L.P. | Information technology support system and method |
| US8468528B2 (en) * | 2008-06-02 | 2013-06-18 | Microsoft Corporation | Method for selective flushing logs within multiple queues concurrently |
| CN102117272A (zh) * | 2009-12-30 | 2011-07-06 | 中兴通讯股份有限公司 | 一种嵌入式文件系统稳定性的验证方法及装置 |
| US10318477B2 (en) | 2010-05-26 | 2019-06-11 | Red Hat, Inc. | Managing and archiving system and application log files |
| US8918885B2 (en) * | 2012-02-09 | 2014-12-23 | International Business Machines Corporation | Automatic discovery of system integrity exposures in system code |
| US9037913B2 (en) | 2012-04-30 | 2015-05-19 | Microsoft Technology Licensing, Llc | Dynamic event generation for user interface control |
| US9529699B2 (en) | 2013-06-11 | 2016-12-27 | Wipro Limited | System and method for test data generation and optimization for data driven testing |
| US9430313B2 (en) | 2013-09-10 | 2016-08-30 | International Business Machines Corporation | Generation of debugging log list in a blade server environment |
| US9304887B2 (en) | 2013-09-16 | 2016-04-05 | International Business Machines Corporation | Method and system for operating system (OS) verification |
| US9280453B1 (en) * | 2013-09-27 | 2016-03-08 | Emc Corporation | Method and system for test automation framework for backup and recovery applications |
| US9922069B2 (en) | 2015-03-16 | 2018-03-20 | International Business Machines Corporation | Establishing a chain of trust in a system log |
Family Cites Families (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4698757A (en) | 1984-11-15 | 1987-10-06 | International Business Machines Corp. | Terminal procedure for utilizing host processor log on and log off prompts |
| US5218605A (en) * | 1990-01-31 | 1993-06-08 | Hewlett-Packard Company | Software modules for testing computer hardware and software |
| EP0660235A1 (en) * | 1993-12-22 | 1995-06-28 | International Business Machines Corporation | Method for automated software application testing |
| US5673386A (en) * | 1994-06-29 | 1997-09-30 | U S West Technologies, Inc. | Method and system for identification of software application faults |
| US5877483A (en) * | 1995-07-18 | 1999-03-02 | Dell Usa, L.P. | Method and apparatus for automatically implementing computer power on and logon functions using encoded ID card |
| US6067639A (en) * | 1995-11-09 | 2000-05-23 | Microsoft Corporation | Method for integrating automated software testing with software development |
| US5758062A (en) * | 1996-04-30 | 1998-05-26 | Oracle Corporation | Method and apparatus for regression testing of application logic |
| JP3489969B2 (ja) | 1997-07-09 | 2004-01-26 | シャープ株式会社 | マルチユーザログイン／ログアウト管理方法、その方法の実施に用いる記録媒体及びマルチユーザ情報処理端末装置 |
| US6192108B1 (en) * | 1997-09-19 | 2001-02-20 | Mci Communications Corporation | Performing automated testing using automatically generated logs |
| US6826692B1 (en) * | 1998-12-23 | 2004-11-30 | Computer Associates Think, Inc. | Method and apparatus to permit automated server determination for foreign system login |
| US6349393B1 (en) * | 1999-01-29 | 2002-02-19 | International Business Machines Corporation | Method and apparatus for training an automated software test |
| US6301701B1 (en) * | 1999-11-10 | 2001-10-09 | Tenfold Corporation | Method for computer-assisted testing of software application components |
| US6871221B1 (en) * | 2000-01-21 | 2005-03-22 | Scriptlogic Corporation | Method and apparatus to manage network client logon scripts using a graphical management and administration tool |
| US6754842B2 (en) * | 2000-02-22 | 2004-06-22 | International Business Machines Corporation | Facilitating a restart operation within a data processing system |
| US20020026301A1 (en) * | 2000-06-14 | 2002-02-28 | Kazuyoshi Takeda | Automatic evaluation method, automatic evaluation system, and storage medium storing automatic evaluation program |
| JP2002032216A (ja) | 2000-07-19 | 2002-01-31 | Fujitsu Ltd | アプリケーションのホスティング装置 |
| US7120685B2 (en) * | 2001-06-26 | 2006-10-10 | International Business Machines Corporation | Method and apparatus for dynamic configurable logging of activities in a distributed computing system |
| US7356537B2 (en) * | 2002-06-06 | 2008-04-08 | Microsoft Corporation | Providing contextually sensitive tools and help content in computer-generated documents |
| WO2005036418A1 (en) * | 2003-10-13 | 2005-04-21 | Illuminator (Israel) Ltd. | Apparatus and method for information recovery quality assessment in a computer system |
| US7665068B2 (en) * | 2003-12-12 | 2010-02-16 | Oracle International Corporation | Methods and systems for testing software applications |
-
2005
- 2005-10-27 US US11/259,893 patent/US8032790B2/en not_active Expired - Fee Related
-
2006
- 2006-10-26 CN CNB2006101424444A patent/CN100461130C/zh not_active Expired - Fee Related
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101526917B (zh) * | 2009-04-22 | 2011-08-10 | 南京大学 | 一种基于数据驱动的测试脚本繁殖方法 |
| CN108604205A (zh) * | 2016-12-08 | 2018-09-28 | 华为技术有限公司 | 测试点的创建方法,装置和系统 |
| CN108604205B (zh) * | 2016-12-08 | 2021-02-12 | 华为技术有限公司 | 测试点的创建方法，装置和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| US8032790B2 (en) | 2011-10-04 |
| US20070168967A1 (en) | 2007-07-19 |
| CN100461130C (zh) | 2009-02-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN100461130C (zh) | 测试软件应用的方法 | |
| US10175978B2 (en) | Monitoring code sensitivity to cause software build breaks during software project development | |
| US20210311858A1 (en) | System and method for providing a test manager for use with a mainframe rehosting platform | |
| US8522207B1 (en) | Systems and methods for automated centralized build/merge management | |
| US11048572B2 (en) | System and method for failure management using distributed execution traces | |
| CN112668386A (zh) | 使用机器人过程自动化用于文档处理的长时间运行工作流 | |
| CN1573697A (zh) | 在软件环境中用于保持资源完整性的装置和方法 | |
| Gunter et al. | Online workflow management and performance analysis with stampede | |
| CN110188103A (zh) | 数据对账方法、装置、设备和存储介质 | |
| Frampton | Big Data made easy: A working guide to the complete Hadoop toolset | |
| US10657027B2 (en) | Aggregating data for debugging software | |
| CN110494849B (zh) | 用于确定跨平台应用迁移的成功的系统和方法 | |
| Blaschke et al. | Real‐time XFEL data analysis at SLAC and NERSC: A trial run of nascent exascale experimental data analysis | |
| US8380729B2 (en) | Systems and methods for first data capture through generic message monitoring | |
| US10291700B2 (en) | Network optimized scan with dynamic fallback recovery | |
| Arshad et al. | Big Data testing techniques: taxonomy, challenges and future trends | |
| Mascheroni et al. | Nets-Within-Nets paradigm and grid computing | |
| Bosch et al. | Towards automated detection of data pipeline faults | |
| Mattmann et al. | Revisiting the Anatomy and Physiology of the Grid | |
| Simonet et al. | Active data: a data-centric approach to data life-cycle management | |
| Singh et al. | Evaluating scientific workflow engines for data and compute intensive discoveries | |
| Lim et al. | TAOS-CI: lightweight & modular continuous integration system for edge computing | |
| Choudhry | HBase High Performance Cookbook | |
| Kumar et al. | Architectural refactoring of a mission critical integration application: A case study | |
| CN117453190A (zh) | 基于云计算的软件开发方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20090211 Termination date: 20181026 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |