JP2011128940A

JP2011128940A - Software test automation system and software test automation method

Info

Publication number: JP2011128940A
Application number: JP2009287492A
Authority: JP
Inventors: Kenichiro Abe; 健一郎阿部; Katsutoshi Ishikawa; 勝敏石川
Original assignee: ARP CO Ltd
Current assignee: ARP CO Ltd
Priority date: 2009-12-18
Filing date: 2009-12-18
Publication date: 2011-06-30

Abstract

<P>PROBLEM TO BE SOLVED: To quickly and surely execute a software test by automating the software test required upon software development, change, correction, or the like. <P>SOLUTION: A server 10 for controlling the whole system includes: a storage device 100 respectively including a test script file 101, test project file 102, client information file 103, test result file 104 and test reservation file 105; an operation recording part 106; a data editing part 107; a reproduction instructing part 108; an information transmitting and receiving part 109; a result confirming part 110, a schedule reserving part 111; and a starting part 112. Respective client devices 20-1, ..., 20-n cooperating with the server 10 through a network 30 are configured to include an information transmitting and receiving part 200, a test reproducing part 201, a test script 202, an information acquiring part 203 and a program 300 to be a test object in a client. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、各種コンピュータシステムを作動させ、その後にも最適状態を維持するために、「ソフトウェアテスト」を迅速かつ確実に実行するためのソフトウェアテスト自動化システム及びソフトウェアテスト自動化方法に関する。 The present invention relates to a software test automation system and a software test automation method for quickly and reliably executing a “software test” in order to operate various computer systems and maintain an optimum state thereafter.

ここにいうソフトウェアテストは、ソフトウェア開発段階における品質の評価、障害確認、環境構築などのために重要な作業である。さらに、既存のシステムに対してソフトウェアの品質維持のためのソフトウェア変更・修正が必要となることがあり、遠隔地に設置された複数のクライアントに対し各種ネットワークを介して逐次実施する必要があることも考慮しなければならない。 The software test mentioned here is an important work for quality evaluation, fault confirmation, environment construction, etc. in the software development stage. In addition, software changes / modifications may be required for existing systems to maintain software quality, and multiple clients installed at remote locations must be implemented sequentially via various networks. Must also be considered.

近年、工鉱業、商業、流通、エネルギー、情報、運輸、教育、開発等あらゆる分野の管理、運営、制御等に関して規模の大小はあるもののコンピュータシステムが必須となっている。このようなコンピュータシステムは、それぞれの分野における神経系として機能しており、一旦障害や不調が発生すると対応分野の制御系が麻痺してしまう可能性がある。このような事態を回避するために、ソフトウェア開発に当たっては適用分野における過去・現在そして未来に向けて実績・可能性等を考慮して可能な限り適切なシステムを構築する必要がある。 In recent years, computer systems are indispensable, although they are large and small in terms of management, operation, control, etc. in all fields such as industrial mining, commerce, distribution, energy, information, transportation, education, and development. Such a computer system functions as a nervous system in each field, and once a failure or malfunction occurs, the control system in the corresponding field may be paralyzed. In order to avoid such a situation, in software development, it is necessary to construct an appropriate system as much as possible in consideration of the past and present and the future in the application field.

さらに、その後における周辺事情の変化や運用状況に応じてソフトウェアの変更、修正、改変等を伴うメンテナンスが適時に実施されなければならない。すなわち、ソフトウェア開発時はもとより、その後の変更、修正、改変等に伴うソフトウェアテストが自動的にかつ正確に実行されることが望まれる。 Furthermore, maintenance with software changes, corrections, alterations, etc. must be performed in a timely manner according to changes in the surrounding circumstances and operational conditions. In other words, it is desired that software tests associated with subsequent changes, modifications, alterations and the like are automatically and accurately executed during software development.

コンピュータのプログラムをテストするための先行技術として、特許文献１は、ＧＵＩ（ＧｒａｐｈｉｃＵｓｅｒＩｎｔｅｒｆａｃｅ）による対話型プログラムのテストの効率化を図り、さらにエラー発生要因の把握の容易化を実現するためのプログラムテスト支援装置及びかかるプログラムテスト支援プログラムを記録した記憶媒体を開示している。 As a prior art for testing a computer program, Patent Document 1 discloses a program for improving the efficiency of an interactive program test using a GUI (Graphical User Interface) and further facilitating the understanding of the cause of an error. A test support apparatus and a storage medium storing such a program test support program are disclosed.

この場合のプログラムテスト支援装置は、被テストプログラムに関連するオペレータの操作手順データを記録しておき、この操作手順データから入力操作の入力項目を抽出してそれぞれの入力項目毎に入力値を設定する手段を設けておき、これら入力値の組み合わせから複数のテストケースを自動生成する手段、各テストケース毎の新しい操作手順データを作成してテストしようとするプログラムのテストを実施する手段、各テストケース毎にテスト結果を評価して、この評価結果に応じて各入力値を強調表示し、また失敗の要因となっている入力値を抽出する手段を設けることを開示している。さらに、かかるプログラムテスト支援プログラムを記録した記録媒体についても言及している。 In this case, the program test support apparatus records the operation procedure data of the operator related to the program under test, extracts the input items of the input operation from the operation procedure data, and sets the input value for each input item Means for automatically generating a plurality of test cases from combinations of these input values, means for creating a new operation procedure data for each test case and testing a program to be tested, each test It is disclosed that a test result is evaluated for each case, each input value is highlighted according to the evaluation result, and a means for extracting an input value that causes a failure is provided. Furthermore, a recording medium on which such a program test support program is recorded is also mentioned.

特許文献２は、ウィンドウズＧＵＩおよびウェブＧＵＩの操作記録再生機能の２系統を実装し、操作対象によって両機能の記録再生状態を切替えて利便性を十分に発揮させるＧＵＩテスト支援システムを開示している。このシステムは、ＯＳ、テスト対象のウィンドウズＧＵＩを有するアプリケーションプログラム、アプリケーションプログラムのテストをオブジェクト記述方式で実行するテスト実行ツール、このテスト実行ツールで得られたテストスクリプトを格納する記憶装置を備えている。 Patent Document 2 discloses a GUI test support system that implements two systems of operation recording / playback functions of Windows GUI and Web GUI, and switches between the recording / playback states of both functions depending on the operation target to sufficiently exhibit convenience. . This system includes an OS, an application program having a Windows GUI to be tested, a test execution tool for executing a test of the application program by an object description method, and a storage device for storing a test script obtained by the test execution tool. .

また、この場合のテスト実行ツールは、ウィンドウズＧＵＩおよびウェブＧＵＩの操作経緯をそれぞれスクリプトとして個別に格納するＧＵＩ操作記録部と、個別のスクリプトを合体して格納したスクリプトを用いてウィンドウズＧＵＩ操作再生部と、を備えている。さらにかかる構成を有するシステムを作動させるためのテスト支援用アプリケーションプログラムについても開示している。 In this case, the test execution tool includes a GUI operation recording unit that individually stores the operation history of the Windows GUI and the web GUI as scripts, and a Windows GUI operation playback unit using a script that is stored by combining the individual scripts. And. Furthermore, a test support application program for operating a system having such a configuration is also disclosed.

上記各特許文献で開示されている解決手段にあっては、以下のような問題点がある。
（１）複数の機器間においてそれぞれに連携したテストの実行が困難である。
（２）テスト進行中にいずれかのテスト対象機器が再起動されると、これに伴ってテストプログラムも停止してしまう。そのため、停止中のテスト状況や既に得られたテスト結果が保存されず消去されてしまう。
（３）機器類のテスト実行態様を、当該機器類にとって都合の良い任意の時間帯に設定し、そのテストが自動的に実行されるようなスケジュール予約を行うことができない。
（４）動作環境の相違する複数の機器類の情報の差異や当該機器におけるテスト前後の情報を対比することが困難である。
（５）複数の機器間で連携してテストを行う場合、被テスト機器の性能に応じてテスト機器の負荷が異なることがある。そのため、テスト効率を最大化することができなかった。 The solving means disclosed in the above patent documents have the following problems.
(1) It is difficult to execute a test in cooperation between a plurality of devices.
(2) If any of the test target devices is restarted while the test is in progress, the test program also stops. For this reason, the stopped test status and the already obtained test results are not saved but deleted.
(3) It is not possible to make a schedule reservation such that the test execution mode of the device is set to an arbitrary time zone convenient for the device and the test is automatically executed.
(4) It is difficult to compare the difference between information of a plurality of devices having different operating environments and information before and after the test on the device.
(5) When a test is performed in cooperation between a plurality of devices, the load on the test device may differ depending on the performance of the device under test. As a result, the test efficiency could not be maximized.

特開２０００−１１２７８４号公報JP 2000-112784 A

特開２００８−４０５３７号公報JP 2008-40537 A

本発明は、上述のような問題点を解消しつつ、複数のクライアントを単一のサーバによって制御するように構成されたコンピュータシステムにおいて、ソフトウェアの開発段階をはじめ、その後システム内外の諸事情に基づく変化や運用状況に合わせて適時にソフトウェアの変更、修正、改変等を伴う各クライアントにおけるソフトウェアテストを自動的に実施するためのソフトウェアテスト自動化システム及びかかるソフトウェアテストを自動的に実行するためのソフトウェアテスト自動化方法を提供することを課題とする。 The present invention is based on various circumstances inside and outside the system in a computer system configured to control a plurality of clients by a single server while solving the above-mentioned problems. Software test automation system for automatically executing software tests in each client with software changes, corrections, alterations, etc. in a timely manner according to changes and operational conditions, and software tests for automatically executing such software tests It is an object to provide an automated method.

請求項１に記載の発明は、システム全体を制御するためのサーバ１０と、ネットワーク３０を介して連携される複数の被制御クライアント装置群２０−１、２０−２、・・・２０−ｎとから成るコンピュータシステムに対するソフトウェアテスト自動化システムおいて、前記サーバ１０は、テストスクリプトファイル（ＴＳＦ）１０１、テストプロジェクトファイル（ＴＰＦ）１０２、クライアント情報ファイル１０３、テスト結果ファイル１０４、およびテスト予約ファイル１０５のそれぞれを含む記憶装置１００と、操作記録部１０６と、データ編集部１０７と、再生指示部１０８と、情報送受信部１０９と、結果確認部１１０と、スケジュール予約部１１１と、起動部１１２と、を包含し、前記クライアント装置群２０−１、２０−２、・・・２０−ｎのそれぞれは、情報送受信部２００と、テスト再生部２０１と、テストスクリプト２０２と、情報取得部２０３と、およびクライアント内においてテスト対象となるテスト対象プログラム３００と、を包含するソフトウェアテスト自動化システムであることを特徴とする。 The invention described in claim 1 includes a server 10 for controlling the entire system, and a plurality of controlled client device groups 20-1, 20-2,... 20-n linked via a network 30. The server 10 includes a test script file (TSF) 101, a test project file (TPF) 102, a client information file 103, a test result file 104, and a test reservation file 105. Including a storage device 100, an operation recording unit 106, a data editing unit 107, a reproduction instruction unit 108, an information transmission / reception unit 109, a result confirmation unit 110, a schedule reservation unit 111, and an activation unit 112. The client device groups 20-1, 20-2 ... 20-n includes an information transmitting / receiving unit 200, a test reproducing unit 201, a test script 202, an information acquiring unit 203, and a test target program 300 to be tested in the client. It is a software test automation system.

請求項２に記載の発明は、サーバ１０の情報送受信部１０９が前記ネットワーク３０に相互接続されており、各クライアント装置群２０−１、２０−２、・・・２０−ｎそれぞれの情報送受信部２００に対して前記ネットワークに対し適時連携可能に構成されるソフトウェアテスト自動化システムであることを特徴とする。 According to the second aspect of the present invention, the information transmitting / receiving unit 109 of the server 10 is interconnected to the network 30, and each client device group 20-1, 20-2,. 200 is a software test automation system configured to be able to cooperate with the network in a timely manner.

請求項３に記載の発明は、サーバ１０の起動部１１２がサーバ１０と各クライアント装置群２０−１、２０−２、・・・２０−ｎそれぞれの起動および停止を制御し、または前記サーバ１０のスケジュール予約部１１１に予め設定されたタイミングに応じて制御可能に構成されたソフトウェアテスト自動化システムであることを特徴とする。 In the invention according to claim 3, the activation unit 112 of the server 10 controls activation and deactivation of the server 10 and each of the client device groups 20-1, 20-2,. This is a software test automation system configured to be controllable in accordance with a timing preset in the schedule reservation unit 111.

請求項４に記載の発明は、サーバ１０の保有するテストプロジェクトファイル（ＴＰＦ）１０２、テストスクリプトファイル（ＴＳＦ）１０１、クライアント情報ファイル１０３から、テストプロジェクト、テストスクリプト、クライアント情報を読み出してデータ編集部１０７においてそれらの情報の編集を行い；前記データ編集部１０７において編集され保持されているテストプロジェクト、テストスクリプト、クライアント情報を分析してテスト実行の指示を再生指示部１０８において行ない；クライアント情報ファイル１０３に記録されているクライアント２０に対して、テストプロジェクトファイル（ＴＰＦ）１０２に記録されているテスト実行順番で、サーバ側の情報送受信部１０９からテストスクリプトを送信し；各クライアント２０は上記サーバ側の情報送受信部１０９からテストスクリプトを受取って、これら内容をメモリ上に展開し；クライアント２０におけるテストスクリプトをテスト再生部２０１において実行することにより、テストを実施しようとするテスト対象プログラム３００に所要の操作を加え；情報取得部２０３は、テスト対象プログラム３００を操作した結果や期待値の比較結果など、当該時点において取得する各種情報を収集し；上記過程において収集された情報をクライアント側の情報送受信部２００からサーバ１０に対して送信し；前記サーバ側の情報送受信部１０９は前記クライアント側の情報送受信部２００から送信された各種情報を受信してサーバ１０内の結果確認部１１０に記録し；そして、サーバ１０におけるテストプロジェクトファイル（ＴＰＦ）１０２、テストスクリプトファイル（ＴＳＦ）１０１、クライアント情報ファイル１０３における記述内容の全てが完了するまで、上記処理を繰り返し、処理完了後サーバ側の情報送受信部１０９および対応するクライアント側の情報送受信部２００を介してテスト結果を表示すると共にサーバ１０のテスト結果ファイル１０４に保存するソフトウェアテスト自動化方法であることを特徴とする。 The invention according to claim 4 reads out the test project, test script, and client information from the test project file (TPF) 102, test script file (TSF) 101, and client information file 103 held by the server 10, and edits the data. 107, editing the information; analyzing the test project, test script, and client information edited and held in the data editing unit 107 and instructing execution of the test in the reproduction instructing unit 108; client information file 103 The test script is transmitted from the information transmitting / receiving unit 109 on the server side in the test execution order recorded in the test project file (TPF) 102 to the client 20 recorded in the client; The test 20 receives the test script from the information transmission / reception unit 109 on the server side, expands these contents on the memory; and executes the test script in the client 20 in the test playback unit 201 to perform a test to be performed. A required operation is added to the target program 300; the information acquisition unit 203 collects various types of information acquired at the time, such as a result of operating the test target program 300 and a comparison result of expected values; information collected in the above process Is transmitted from the client-side information transmission / reception unit 200 to the server 10; the server-side information transmission / reception unit 109 receives various information transmitted from the client-side information transmission / reception unit 200 and confirms the result in the server 10 Recorded in section 110; and a test program in server 10 The above processing is repeated until all the description contents in the test file (TPF) 102, test script file (TSF) 101, and client information file 103 are completed. After the processing is completed, the server-side information transmitting / receiving unit 109 and the corresponding client-side information It is a software test automation method for displaying a test result via the information transmitting / receiving unit 200 and storing it in a test result file 104 of the server 10.

請求項５に記載の発明は、サーバ１０における再生指示部１０８ならびに情報送受信部１０９を協働せしめることにより、複数のクライアントにおけるソフトウェアテストを順次実行するために、サーバ内の再生指示部１０８から情報送受信部１０９に対して対応するクライアントに適用されるテストスクリプト２０２の送信を指示し；上記サーバ側の情報送受信部１０９はクライアント側の対応する情報送受信部２００に対してテストスクリプト２０２を送信し；該サーバ側の情報送受信部１０９から送信されたテストスクリプトを受信した自クライアント内のテスト再生部２０１は所要処理を実行し、処理結果を自クライアント側の情報送受信部２００ならびにサーバ側の情報送受信部１０９を介してサーバ内の再生指示部１０８に結果を報知し、次いで異なる処理対象のクライアントの対応部位との間で上記処理を順次繰り返すソフトウェアテスト自動化方法であることを特徴とする。 According to the fifth aspect of the present invention, the reproduction instruction unit 108 and the information transmission / reception unit 109 in the server 10 cooperate with each other in order to sequentially execute software tests in a plurality of clients. Instructs the transmission / reception unit 109 to transmit the test script 202 applied to the corresponding client; the server-side information transmission / reception unit 109 transmits the test script 202 to the corresponding information transmission / reception unit 200 on the client side; The test playback unit 201 in the own client that has received the test script transmitted from the server-side information transmitting / receiving unit 109 executes the required processing, and the processing result is sent to the own-client-side information transmitting / receiving unit 200 and the server-side information transmitting / receiving unit. 109 to the playback instruction unit 108 in the server Informing, and wherein the followed between the corresponding sites of the different managed clients is sequentially repeating software testing automated methods the process.

請求項６に記載の発明は、サーバ１０における再生指示部１０８ならびに情報送受信部１０９を協働せしめ、さらに複数のクライアントにおける情報送受信部２００に対してテストスクリプトを重復して送信し、各クライアント内のそれぞれのテスト再生部２０１において並列的に所要処理が実行されるソフトウェアテスト自動化方法であることを特徴とする。 According to the sixth aspect of the present invention, the reproduction instruction unit 108 and the information transmission / reception unit 109 in the server 10 cooperate with each other, and the test script is duplicated and transmitted to the information transmission / reception unit 200 in a plurality of clients. This is a software test automation method in which required processing is executed in parallel in each of the test playback units 201.

請求項７に記載の発明は、複数のクライアントに対するソフトウェアテストの実行中にクライアントが再起動された状況下において、引き続きソフトウェアテストを継続実行するために、サーバ１０のデータ編集部１０７は、対象クライアントの再起動が完了して通信可能となるまで待機し、当該クライアントの情報送受信部２００と通信可能となった後に待機中の機能を再開せしめ、所要処理ステップを順次実行するように構成されたソフトウェアテスト自動化方法であることを特徴とする。 According to the seventh aspect of the present invention, in order to continue to execute the software test under the situation where the client is restarted during execution of the software test for a plurality of clients, the data editing unit 107 of the server 10 Is configured to wait until communication of the client is completed and communication is possible, to resume the waiting function after communication with the information transmitting / receiving unit 200 of the client is performed, and to sequentially execute the required processing steps It is a test automation method.

以上のような構成ならびに動作を実行するソフトウェアテスト自動化システム及びソフトウェアテスト自動化方法によれば、サーバ側から複数のクライアントに対するソフトウェアテストが自動的に実行可能であり、以下のような特徴が得られる。
（１）各クライアントに対してクライアントそれぞれの稼動状態、入−切、交信の可否等の諸事情を考慮したソフトウェアテストが実行可能となる。
（２）複数のクライアントに対して任意のタイミングでソフトウェアテストが可能となる。したがって、それぞれの使用環境に合わせて、同時実行、連続実行、間歇的実行などが選択可能となる。
（３）クライアントを再起動させた後であっても、引き続きソフトウェアテストが実行可能である。
（４）各クライアントの情報をサーバ側において任意のタイミングにより取得可能である。
（５）テストスクリプトをクライアント毎にコンパイルすることにより、どのクライアントに対しても実行可能である。
（６）それぞれのクライアントの負荷状態が確認可能であり、空いているクライアントマシンを選んで、ソフトウェアテストが実行可能である。
（７）ソフトウェアテストの実行開始時間を、任意に設定可能である。 According to the software test automation system and the software test automation method for executing the configuration and operation as described above, a software test for a plurality of clients can be automatically executed from the server side, and the following characteristics are obtained.
(1) For each client, a software test can be executed in consideration of various circumstances such as the operating state of each client, ON / OFF, and communication availability.
(2) A software test can be performed on a plurality of clients at an arbitrary timing. Therefore, simultaneous execution, continuous execution, intermittent execution, etc. can be selected in accordance with each use environment.
(3) The software test can be continuously executed even after the client is restarted.
(4) Information of each client can be acquired at an arbitrary timing on the server side.
(5) The test script can be executed for any client by compiling for each client.
(6) The load state of each client can be confirmed, and a software test can be executed by selecting an available client machine.
(7) The software test execution start time can be arbitrarily set.

本発明に係るソフトウェアテスト自動化システムのブロック図である。1 is a block diagram of a software test automation system according to the present invention. 複数のクライアントに対してソフトウェアテストを実行するフロー図である。It is a flowchart which performs a software test with respect to a some client. ２台のクライアントに対しソフトウェアテストを順次実行するシーケンス図である。It is a sequence diagram which performs a software test sequentially with respect to two clients. ２台のクライアントに対しソフトウェアテストを同時実行するシーケンス図である。It is a sequence diagram which performs a software test simultaneously with respect to two clients. クライアントの再起動後、ソフトウェアテストを引き続き実行するフロー図である。FIG. 9 is a flowchart for continuously executing a software test after restarting a client. ソフトウェアテスト実行のスケジュール予約を行う際のフロー図である。It is a flowchart at the time of performing schedule reservation of software test execution. クライアント機器から任意のタイミングで各種情報を取得及び保存する際のフロー図である。It is a flowchart at the time of acquiring and preserve | saving various information at arbitrary timings from a client apparatus. クライアントの負荷分散に関するフロー図である。It is a flowchart regarding the load distribution of a client. 複数クライアントにおいて負荷分散する際のシーケンス図である。It is a sequence diagram at the time of load distribution in a plurality of clients.

以下、本発明に係るソフトウェアテスト自動化システム及びソフトウェアテスト自動化方法に関する実施の形態について開示する。図１は、本発明を実施するためのコンピュータシステムを模式的に図示したブロック図であり、サーバ１０と、ネットワーク３０を介して接続された複数のクライアント群２０−１、２０−２、・・・２０−ｎから構成されている。サーバは本発明において実施するソフトウェアテストの管理装置であり、クライアントは当該テストを実行する対象装置である。 Hereinafter, embodiments relating to a software test automation system and a software test automation method according to the present invention will be disclosed. FIG. 1 is a block diagram schematically showing a computer system for carrying out the present invention, and a plurality of client groups 20-1, 20-2 connected to the server 10 via a network 30. -It is composed of 20-n. The server is a management apparatus for software tests executed in the present invention, and the client is a target apparatus for executing the test.

サーバ１０は、目的とする処理の種類、容量、規模等により構成が異なる可能性はあるものの、一般的に記憶装置１００、操作記録部１０６、データ編集部１０７、再生指示部１０８、サーバ側の情報送受信部１０９、結果確認部１１０、スケジュール予約部１１１、起動部１１２等から構成される。なお、記憶装置１００は、例えば、テストスクリプトファイル（「ＴＳＦ」と略記することがある）１０１、テストプロジェクトファイル（「ＴＰＦ」と略記することがある）１０２、クライアント情報ファイル１０３、テスト結果ファイル１０４、テスト予約ファイル１０５等を包含するものとする。 Although the configuration of the server 10 may vary depending on the type, capacity, scale, etc. of the target processing, generally the storage device 100, the operation recording unit 106, the data editing unit 107, the reproduction instruction unit 108, the server side An information transmitting / receiving unit 109, a result confirmation unit 110, a schedule reservation unit 111, an activation unit 112, and the like are included. The storage device 100 includes, for example, a test script file (sometimes abbreviated as “TSF”) 101, a test project file (sometimes abbreviated as “TPF”) 102, a client information file 103, and a test result file 104. The test reservation file 105 and the like are included.

テストスクリプトファイル（ＴＳＦ）１０１はテストの手順や情報の取得内容を記述したテストスクリプトを記録して保存するもの、テストプロジェクトファイル（ＴＰＦ）１０２はテストスクリプトの実行順番や繰り返し回数等を記述したテストプロジェクトを記録して保存するもの、クライアント情報ファイル１０３はテスト対象となるクライアントのマシン名やマシンアドレス等の情報を記述したクライアント情報を記録して保存するもの、テスト結果ファイル１０４はテスト実行結果や取得した各種情報を記録して保存するもの、テスト予約ファイル１０５はテスト実行の予約日時等を記録して保存するものである。 A test script file (TSF) 101 records and saves a test script that describes test procedures and information acquisition contents, and a test project file (TPF) 102 describes a test script that describes the execution order and the number of repetitions of the test script. The client information file 103 records and saves client information describing information such as the machine name and machine address of the client to be tested, and the test result file 104 stores test execution results and The acquired various information is recorded and saved, and the test reservation file 105 is used to record and save the test execution reservation date and time.

操作記録部１０６はテストの操作手順を記録するもの、データ編集部１０７はテストスクリプト、テストプロジェクト、クライアント情報を編集するもの、再生指示部１０８はテストスクリプト、テストプロジェクト、クライアント情報を分析再生してテスト実行の指示を行なうもの、情報送受信部１０９はテストスクリプト、テストプロジェクトをクライアントに対し送信し、クライアント側からテスト結果や各種情報を受信するもの、結果確認部１１０は実行して得たテスト結果や各種情報を表示・確認するもの、スケジュール予約部１１１はテスト実行の日時を予約するもの、起動部１１２は予約された日時にソフトウェアテストを起動させるものである。 The operation recording unit 106 records test operation procedures, the data editing unit 107 edits test scripts, test projects, and client information, and the reproduction instruction unit 108 analyzes and reproduces test scripts, test projects, and client information. An information transmission / reception unit 109 transmits a test script and a test project to the client and receives a test result and various information from the client side. A result confirmation unit 110 executes the test result obtained by executing the test execution instruction. In addition, the schedule reservation unit 111 reserves the date and time of the test execution, and the activation unit 112 activates the software test at the reserved date and time.

クライアント２０は、例えば、クライアント側の情報送受信部２００、テスト再生部２０１、テストスクリプト２０２、情報取得部２０３等から構成され、必然的に該クライアントに対して所望の機能を発揮せしめるためのプログラムを保有している。これは、本発明においてテストの対象となるクライアントを作動させるソフトウェアであるテスト対象プログラム３００として示している。なお、このようなクライアントは、２０−１、２０−２、・・・２０−ｎのように複数台接続され、容量的ないし機能的には個々に異なることもあり得るが、テスト対象プログラム３００は、本発明に係るソフトウェアテスト自動化システムにより自動的に機能チェック、修正、改変、置換等を含むソフトウェアテストが実行可能である。 The client 20 includes, for example, an information transmission / reception unit 200 on the client side, a test playback unit 201, a test script 202, an information acquisition unit 203, and the like, and a program for inevitably exerting a desired function on the client is provided. I have it. This is shown as a test target program 300 which is software for operating a client to be tested in the present invention. It should be noted that a plurality of such clients, such as 20-1, 20-2,... 20-n, are connected and may be different in terms of capacity or function. The software test automation system according to the present invention can automatically execute a software test including a function check, correction, alteration, replacement and the like.

ネットワーク３０はケーブル類による有線ネットワーク方式をはじめ、種々の無線媒体を利用するワイヤレス方式等、所望の機能を発揮するものであれば足り、任意である。いずれの場合にあっても、サーバ１０および各クライアント２０−１、２０−２、・・・２０−ｎ間の連携はそれぞれのネットワーク様式に適合せしめられる。なお、クライアントがサーバに同居しているような構成であっても、情報送受信部による情報の送受によって本発明に係るソフトウェアテスト自動化システム及び自動化方法は適用可能である。 The network 30 is arbitrary as long as it exhibits a desired function, such as a wired network system using cables and a wireless system using various wireless media. In any case, the cooperation between the server 10 and each of the clients 20-1, 20-2,... 20-n is adapted to each network format. Note that the software test automation system and the automation method according to the present invention can be applied by transmitting and receiving information by the information transmission / reception unit even in a configuration in which the client coexists with the server.

図２は、サーバ１０から複数のクライアント２０−１、２０−２、・・・２０−ｎに対してソフトウェアテストを自動的に実行する際のフロー図である。サーバ１０では、自動テストを行うためのテストプロジェクトファイル（ＴＰＦ）１０２、テストスクリプトファイル（ＴＳＦ）１０１、クライアント情報ファイル１０３から、テストプロジェクト、テストスクリプト、クライアント情報をデータ編集部１０７に読み込む（ステップＡ１０１）。この際、テストの実行効率を向上させる等の観点から必要であればそれらの情報の所要の編集を実行しておくことができる（ステップＡ１０２）。その後、再生指示部１０８は、前記データ編集部１０７において編集され保持されているテストプロジェクト、テストスクリプト、クライアント情報を分析して所要処理を実行する（ステップＡ１０３）。 FIG. 2 is a flowchart when the software test is automatically executed from the server 10 to the plurality of clients 20-1, 20-2,... 20-n. In the server 10, the test project, test script, and client information are read into the data editing unit 107 from the test project file (TPF) 102, test script file (TSF) 101, and client information file 103 for automatic testing (step A101). ). At this time, if necessary from the viewpoint of improving the execution efficiency of the test, necessary editing of the information can be executed (step A102). Thereafter, the reproduction instruction unit 108 analyzes the test project, test script, and client information edited and held in the data editing unit 107, and executes a required process (step A103).

再生指示部１０８は情報送受信部１０９に対しクライアントに向けてテストスクリプトを送信する指示を行ない、情報送受信部１０９は、クライアント情報ファイル１０３によって特定されるクライアント２０に対して、テストプロジェクトファイル（ＴＰＦ）１０２に記録されているテスト実行順番で、テストスクリプトを送信し、複数のクライアントが指定されている場合は、サーバ１０の情報送受信部１０９から複数のクライアントに向けてテストスクリプトを送信する（ステップＡ１０４）。各クライアント２０−１、２０−２、・・・２０−ｎは、それぞれの情報送受信部２００からテストスクリプトを受取り、図示していないメモリ上に展開する（ステップＡ１０５）。 The reproduction instruction unit 108 instructs the information transmission / reception unit 109 to transmit a test script to the client. The information transmission / reception unit 109 transmits a test project file (TPF) to the client 20 specified by the client information file 103. The test scripts are transmitted in the test execution order recorded in 102, and when a plurality of clients are designated, the test scripts are transmitted from the information transmitting / receiving unit 109 of the server 10 to the plurality of clients (step A104). ). Each of the clients 20-1, 20-2,... 20-n receives the test script from the respective information transmitting / receiving unit 200 and expands it on a memory (not shown) (step A105).

各クライアントは、受取ったテストスクリプト２０２をテスト再生部２０１において実行することにより、テスト対象プログラム３００に対して所要の修正、改変、削除等の操作を実行する（ステップＡ１０６）。情報取得部２０３は、テスト対象プログラム３００を操作した結果や期待値の比較結果等の、そのときに取得する各種情報を収集する（ステップＡ１０７）。収集した情報はクライアント側の情報送受信部２００を介してサーバ１０側へ送信される（ステップＡ１０８）。 Each client executes the received test script 202 in the test reproduction unit 201, thereby executing necessary operations such as correction, alteration, and deletion on the test target program 300 (step A106). The information acquisition unit 203 collects various types of information acquired at that time, such as results of operating the test target program 300 and comparison results of expected values (step A107). The collected information is transmitted to the server 10 side via the information transmitting / receiving unit 200 on the client side (step A108).

サーバ１０側の情報送受信部１０９において各種情報を受信し、結果確認部１１０に記録する（ステップＡ１０９）。次いで、ステップＡ１１０においてテストプロジェクトファイル（ＴＰＦ）１０２、テストスクリプトファイル（ＴＳＦ）１０１、クライアント情報ファイル１０３における全記述を終了したか否かの判定を行う（ステップＡ１１０）。この判定において「ＮＯ」と判定された場合は、ステップＡ１０３からステップＡ１０９の各ステップを繰り返し実行する。他方、ステップＡ１１０において「ＹＥＳ」と判定された場合は、サーバ１０の結果確認部１１０によりテスト結果を表示すると共にテスト結果ファイル１０４として保存し、一連の処理を終了する（ステップＡ１１１）。 Various information is received by the information transmitting / receiving unit 109 on the server 10 side and recorded in the result confirming unit 110 (step A109). Next, in step A110, it is determined whether or not all descriptions in the test project file (TPF) 102, test script file (TSF) 101, and client information file 103 have been completed (step A110). If “NO” is determined in this determination, the steps A103 to A109 are repeatedly executed. On the other hand, if “YES” is determined in step A110, the result confirmation unit 110 of the server 10 displays the test result and saves it as the test result file 104, and the series of processing ends (step A111).

図３は、２台のクライアントに対するテストを順次実行するシーケンスを図示したものである。サーバ１０内の再生指示部１０８、情報送受信部１０９を経て、図示していないネットワーク３０を介して、第１のクライアント１の情報送受信部２００に対しテストスクリプトを送信する。受信されたテストスクリプトは、クライアント１内のテスト再生部２０１に転送されて、テスト過程における所要処理が実行される。この処理における実行結果は当該クライアント内のテスト再生部２０１から情報送受信部２００に伝えられる。情報送受信部２００は、ネットワーク３０を介してサーバ１０の情報送受信部１０９に対して結果送信を行い、そしてサーバ１０内の再生指示部１０８に伝送される。この結果送信を受信したサーバ１０は、引き続き第２のクライアント２に対して、上記のクライアント１と同様の手順によりテストスクリプト送信以降のステップを繰り返し実行する。 FIG. 3 illustrates a sequence for sequentially executing tests for two clients. A test script is transmitted to the information transmitting / receiving unit 200 of the first client 1 via the network 30 (not shown) via the reproduction instruction unit 108 and the information transmitting / receiving unit 109 in the server 10. The received test script is transferred to the test playback unit 201 in the client 1 and a required process in the test process is executed. An execution result in this process is transmitted from the test reproducing unit 201 in the client to the information transmitting / receiving unit 200. The information transmitting / receiving unit 200 transmits a result to the information transmitting / receiving unit 109 of the server 10 via the network 30 and is transmitted to the reproduction instruction unit 108 in the server 10. The server 10 that has received the result transmission continuously executes the steps after the test script transmission for the second client 2 by the same procedure as the client 1 described above.

図４は、例えば同種の構成及び機能を有する２台のクライアントに対するテストを同時実行する場合のシーケンスを図示したものである。サーバ内の再生指示部１０８、情報送受信部１０９から、図示していないネットワーク３０を介して、クライアント１およびクライアント２それぞれの情報送受信部２００に対して同時にテストスクリプトを送信する。それぞれの情報送受信部２００で受信されたテストスクリプトは、クライアント１および２内のテスト再生部２０１にそれぞれ転送されて、各クライアント毎に所要の処理が実行される。この処理における実行結果は両クライアント内のテスト再生部２０１から情報送受信部２００にそれぞれ伝えられる。双方の情報送受信部２００は、図示していないネットワーク３０を介してサーバ１０側の情報送受信部１０９に対してそれぞれ結果送信を行い、そしてサーバ１０内の再生指示部１０８に個別に伝送される。この結果送信を受信したサーバ１０は、両クライアントにおけるテストがそれぞれ完了したことを確認すると共に所定の記録を実行する。 FIG. 4 shows a sequence in the case where tests for two clients having the same type of configuration and function are executed simultaneously, for example. A test script is simultaneously transmitted from the reproduction instruction unit 108 and the information transmission / reception unit 109 in the server to the information transmission / reception units 200 of the client 1 and the client 2 via the network 30 (not shown). The test script received by each information transmitting / receiving unit 200 is transferred to the test playback unit 201 in each of the clients 1 and 2, and a required process is executed for each client. The execution result in this process is transmitted from the test playback unit 201 in both clients to the information transmitting / receiving unit 200. Both information transmission / reception units 200 transmit results to the information transmission / reception unit 109 on the server 10 side via the network 30 (not shown), and are individually transmitted to the reproduction instruction unit 108 in the server 10. The server 10 that has received the transmission confirms that the tests in both clients have been completed, and executes predetermined recording.

図５は、一連のクライアントの中で、特定のクライアントを再起動した後に、引き続きテストが実行される状態を示すフロー図である。テスト開始に応じて図２に示したフローのステップＡ１０１からＡ１０９を実行する（ステップＢ１０１）。実行にあたり、ステップＡ１０６においてマシンの再起動要求を行う（ステップＢ１０２）。サーバ１０の再生指示部１０８は、対象クライアントが再起動して、情報送受信部２００と通信可能になるまで待機する（ステップＢ１０３）。情報送受信部２００と通信可能になったことが確認されると、図２のステップＡ１０３からＡ１１０までを引き続き実行する（ステップＢ１０４）。さらに、クライアント側の情報送受信部２００と通信可能になると、図２のステップＡ１０４からＡ１１０を引き続き実行する（ステップＢ１０５）。 FIG. 5 is a flowchart showing a state in which a test is continuously executed after a specific client is restarted in a series of clients. In response to the test start, steps A101 to A109 of the flow shown in FIG. 2 are executed (step B101). In execution, a machine restart request is made in step A106 (step B102). The reproduction instruction unit 108 of the server 10 waits until the target client is restarted and can communicate with the information transmitting / receiving unit 200 (step B103). When it is confirmed that communication with the information transmitting / receiving unit 200 is possible, steps A103 to A110 in FIG. 2 are continuously executed (step B104). Further, when communication with the information transmitting / receiving unit 200 on the client side becomes possible, steps A104 to A110 in FIG. 2 are continuously executed (step B105).

図６は、テスト実行にあたり必要なスケジュール予約を行う際のフロー図であり、テストプロジェクトファイル（ＴＰＦ）１０２、テストスクリプトファイル（ＴＳＦ）１０１、クライアント情報ファイル１０３から読み出したテストプロジェクト、テストスクリプト、クライアント情報を編集して保存しておく（ステップＣ１０１）。
次いで、スケジュール予約部１１１でテストを実行する日時と、実行するテストプロジェクト、テストスクリプト、クライアント情報を指定し、その情報をテスト予約ファイル１０５に保存する（ステップＣ１０２）。起動部１１２はテスト予約ファイル１０５の内容を読み取り、指定された日時に再生指示部１０８に処理を引き渡す（ステップＣ１０３）。その後、再生指示部１０８は図２に示したフローのステップＡ１０３からＡ１１１までを実行して、処理結果をテスト結果ファイル１０４に保存する（ステップＣ１０４）。 FIG. 6 is a flowchart for making a schedule reservation necessary for test execution. The test project, test script, and client read from the test project file (TPF) 102, test script file (TSF) 101, and client information file 103 are shown in FIG. The information is edited and saved (step C101).
Next, the date and time when the test is executed by the schedule reservation unit 111, the test project to be executed, the test script, and the client information are designated, and the information is stored in the test reservation file 105 (step C102). The activation unit 112 reads the contents of the test reservation file 105 and delivers the processing to the reproduction instruction unit 108 at the designated date and time (step C103). Thereafter, the reproduction instruction unit 108 executes steps A103 to A111 of the flow shown in FIG. 2 and stores the processing result in the test result file 104 (step C104).

図７は、クライアント機器から任意のタイミングで各種情報を取得及び保存する際の一連の動作を示すフロー図である。各種情報の取得指示命令はテストスクリプトファイル（ＴＳＦ）１０１に記述しておく（ステップＤ１０１）。この場合、各種情報取得の記述位置は任意となっている。次いで、各種情報の取得は図２のステップＡ１０３からＡ１１１までを実行し、その処理結果をテスト結果ファイル１０４に保存する(ステップＤ１０２)。 FIG. 7 is a flowchart showing a series of operations when acquiring and saving various types of information from a client device at an arbitrary timing. Various information acquisition instruction commands are described in the test script file (TSF) 101 (step D101). In this case, the description position for acquiring various information is arbitrary. Next, various types of information are acquired by executing steps A103 to A111 in FIG. 2 and storing the processing results in the test result file 104 (step D102).

図８は、クライアントの負何分散している状態におけるフローを示すものである。負荷分散を行うために、複数のクライアントをクライアント情報ファイル１０３に登録して、保存しておく（ステップＥ１０１）。次いで、負何分散が必要な箇所をテストプロジェクトファイル（ＴＰＦ）１０２およびテストスクリプトファイル（ＴＳＦ）１０１に記述する（ステップＥ１０２）。そして、起動時に負荷分散対象となるクライアントの各種情報を、図７のフローにおけるステップＤ１０１、Ｄ１０２の処理によって収集する（ステップＥ１０３）。 FIG. 8 shows a flow in a state where clients are distributed in a negative amount. In order to perform load distribution, a plurality of clients are registered in the client information file 103 and stored (step E101). Next, a place where negative dispersion is required is described in the test project file (TPF) 102 and the test script file (TSF) 101 (step E102). Then, various types of information about the clients that are load distribution targets at the time of activation are collected by the processing of steps D101 and D102 in the flow of FIG. 7 (step E103).

前記ステップＥ１０３において取得した情報を比較して、再生指示部１０８は早期に処理可能なクライアントの選択を行う（ステップＥ１０４）。ステップＥ１０４において選択された処理先クライアントに対し、図２のフローのＡ１０３からＡ１０９までを実行する（ステップＥ１０５）。次いで、テストプロジェクトファイル（ＴＰＦ）１０２およびテストスクリプトファイル（ＴＳＦ）１０１に負荷分散の記述があった時点において、再生指示部１０８が処理していないクライアントに対し送信する（ステップＥ１０６）。その後、ステップＥ１０５とＥ１０６とを、ＴＰＦ１０２およびＴＳＦ１０１の全ての記述が終了するまで繰り返し実行する（ステップＥ１０７）。 By comparing the information acquired in step E103, the reproduction instruction unit 108 selects a client that can be processed at an early stage (step E104). The processing from A103 to A109 in the flow of FIG. 2 is executed for the processing destination client selected in step E104 (step E105). Next, when the load distribution is described in the test project file (TPF) 102 and the test script file (TSF) 101, the reproduction instructing unit 108 transmits the data to a client not processed (step E106). Thereafter, steps E105 and E106 are repeatedly executed until all the descriptions of the TPF 102 and the TSF 101 are completed (step E107).

図９は、複数台クライアントで負荷分散する際のシーケンスを示すものであり、ここでは３台のクライアント１、２、３の場合の実施例を示している。サーバ１０の再生指示部１０８から情報送受信部１０９を介して、当初クライアント１の情報送受信部２００に向けてテストスクリプトの送信を行い、次いでクライアント２に対して同様のテストを実施する。それぞれのクライアントにおけるテスト再生部２０１での処理が行われ、その結果はそれぞれの情報送受信部２００およびサーバ側の送受信部１０９を介してサーバ１０側に送信される。そして負荷比較を行った後、クライアント１、クライアント３に対しても同様のテストを行うシーケンスを示している。 FIG. 9 shows a sequence when the load is distributed by a plurality of clients. Here, an embodiment in the case of three clients 1, 2 and 3 is shown. A test script is initially transmitted from the reproduction instruction unit 108 of the server 10 to the information transmission / reception unit 200 of the client 1 via the information transmission / reception unit 109, and then the same test is performed on the client 2. The processing in the test playback unit 201 in each client is performed, and the result is transmitted to the server 10 side via the respective information transmitting / receiving unit 200 and the server-side transmitting / receiving unit 109. Then, after performing the load comparison, a sequence in which the same test is performed for the client 1 and the client 3 is shown.

１台のサーバと複数のクライアントがネットワークを介して連携される一連のコンピュータシステムにあっては、ソフトウェアが完全であることが望まれるが、開発段階から実際の稼動の期間を通じて完全であり続けることは困難である。開発時において見落とされたバグなどによる不具合や使用中の不注意によるデグレードの発生なども懸念される。さらに、運用にあたって確認された問題点を改良する必要なども生じてくる。 In a series of computer systems in which one server and multiple clients are linked via a network, it is desirable that the software be complete, but it should remain complete from the development stage to the actual operation period. It is difficult. There are also concerns about problems such as bugs that were overlooked during development and degradation caused by carelessness during use. In addition, there is a need to improve the problems identified during operation.

このような、ソフトウェアの不具合が発見された場合に、小規模なシステムであればソフト担当者による対応も容易であるが、大規模なシステムにおいて人手によるソフトウェアテストを実行することはマンパワーおよび所要時間の観点から困難が伴う。そのため、各種のテスト自動化が試みられているが、実施の順序、時期、サーバ対クライアントの接続状況等が予め限定されることが多く、多数のクライアントに対するテストの実行が妨げられる事態が多かった。本発明に係るソフトウェアのテスト自動化システムおよび方法によれば、予め設定されたテスト内容により、任意の順序、任意のタイミングで、信頼性の高いソフトウェアテストが省力かつ省時間で実行可能である。 When such software defects are discovered, it is easy for software personnel to handle small-scale systems. However, manual software testing on large-scale systems requires manpower and time required. From the point of view, it is difficult. For this reason, various types of test automation have been attempted, but the order of execution, timing, server-to-client connection status, and the like are often limited in advance, and there are many cases where execution of tests on a large number of clients is hindered. According to the software test automation system and method of the present invention, a highly reliable software test can be executed in an arbitrary order and at an arbitrary timing in a labor-saving and time-saving manner according to preset test contents.

１０サーバ
２０−１、２０−２、・・・２０−ｎクライアント
３０ネットワーク
１００記憶装置
１０１テストスクリプトファイル（ＴＳＦ）
１０２テストプロジェクトファイル（ＴＰＦ）
１０３クライアント情報ファイル
１０４テスト結果ファイル
１０５テスト予約ファイル
１０６操作記録部
１０７データ編集部
１０８再生指示部
１０９情報送受信部
１１０結果確認部
１１１スケジュール予約部
１１２起動部
２００情報送受信部
２０１テスト再生部
２０２テストスクリプト
２０３情報取得部
３００テスト対象プログラム 10 Servers 20-1, 20-2,... 20-n Client 30 Network 100 Storage device 101 Test script file (TSF)
102 Test project file (TPF)
103 client information file 104 test result file 105 test reservation file 106 operation recording unit 107 data editing unit 108 reproduction instruction unit 109 information transmission / reception unit 110 result confirmation unit 111 schedule reservation unit 112 activation unit 200 information transmission / reception unit 201 test reproduction unit 202 test script 203 Information acquisition unit 300 Program to be tested

Claims

In a software test automation system for a computer system consisting of a server for controlling the entire system and a plurality of controlled client devices linked via a network,
The server includes a storage device including a test script file (TSF), a test project file (TPF), a client information file, a test result file, and a test reservation file, an operation recording unit, a data editing unit, and a reproduction instruction. Including an information transmission / reception unit, a result confirmation unit, a schedule reservation unit, and an activation unit,
Each of the client device groups includes an information transmission / reception unit, a test reproduction unit, a test script, an information acquisition unit, and a test target program to be tested in the client. Test automation system.

The information transmission / reception unit of a server is interconnected to the network, and the information transmission / reception unit of each client device group is configured to be able to cooperate with the network in a timely manner. Software test automation system.

The server startup unit is configured to be able to control startup and stop of each of the server and each client device group, or to be controlled according to a timing preset in the schedule reservation unit of the server. The software test automation system according to either 1 or 2.

Read the test project, test script, and client information from the test project file (TPF), test script file (TSF), and client information file held by the server, and edit the information in the data editing unit;
Analyzing the test project, test script, and client information edited and held in the data editing unit and instructing execution of the test in the reproduction instruction unit;
A test script is transmitted from the information transmitting / receiving unit on the server side to the client recorded in the client information file in the test execution order recorded in the test project file (TPF);
Each client receives the test script from the information transmission / reception unit on the server side, and expands the contents on the memory;
By executing the test script on the client in the test playback unit, the required operation is added to the test target program to be tested;
The information acquisition unit collects various types of information acquired at the time, such as results of operating the test target program and comparison results of expected values;
Transmitting the information collected in the above process from the information transmitting / receiving unit on the client side to the server;
The server-side information transmission / reception unit receives various information transmitted from the client-side information transmission / reception unit and records the information in a result confirmation unit in the server;
Then, the above processing is repeated until all of the description contents in the test project file (TPF), test script file (TSF), and client information file in the server are completed, and after the processing is completed, the information transmission / reception unit on the server side and the corresponding client side A test result is displayed via the information transmission / reception unit and stored in a test result file of the server;

A test applied to the corresponding client from the reproduction instruction unit in the server to the information transmission / reception unit in order to sequentially execute the software test in a plurality of clients by cooperating the reproduction instruction unit and the information transmission / reception unit in the server Instructs the transmission of the script; the information transmitting / receiving unit on the server side transmits a test script to the corresponding information transmitting / receiving unit on the client side; the own client that has received the test script transmitted from the information transmitting / receiving unit on the server side The test playback unit executes necessary processing, informs the processing result to the playback instruction unit in the server via the information transmission / reception unit on the own client side and the information transmission / reception unit on the server side, and then the client for different processing target The above process is sequentially repeated with the corresponding part of Software test automation method according to 4.

The reproduction instruction unit and the information transmission / reception unit in the server cooperate with each other, and the test script is duplicated and transmitted to the information transmission / reception units in a plurality of clients, and the required processing is performed in parallel in each test reproduction unit in each client. The software test automation method according to claim 4, wherein the software test automation method is executed.

In a situation where the client is restarted during execution of the software test for a plurality of clients, the data editing unit of the server can communicate after the restart of the target client is completed in order to continue the software test. 7. The system according to claim 4, wherein the waiting function is resumed after the communication with the information transmitting / receiving unit of the client becomes possible, and the required processing steps are sequentially executed. The software test automation method described in Crab.