JP2011123780A - Test management device - Google Patents
Test management device Download PDFInfo
- Publication number
- JP2011123780A JP2011123780A JP2009282383A JP2009282383A JP2011123780A JP 2011123780 A JP2011123780 A JP 2011123780A JP 2009282383 A JP2009282383 A JP 2009282383A JP 2009282383 A JP2009282383 A JP 2009282383A JP 2011123780 A JP2011123780 A JP 2011123780A
- Authority
- JP
- Japan
- Prior art keywords
- scenario
- test
- correct answer
- test scenario
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Debugging And Monitoring (AREA)
Abstract
Description
本発明は、ソフトウェアの開発において、対象となるソフトウェアの試験を管理する試験管理装置に関し、より詳細には、対象となるソフトウェアに与える命令について記述した試験シナリオに基づいて試験を管理する試験管理装置に関する。 The present invention relates to a test management apparatus that manages a test of a target software in software development. More specifically, the present invention relates to a test management apparatus that manages a test based on a test scenario describing instructions to be given to the target software. About.
短い納期で高品質なソフトウェアを開発するためには、ソフトウェアに対する試験を確実かつ効率的に実施できる環境が必要である。ソフトウェアに対する試験を効率的に実施するための装置が、たとえば特許文献１，２に開示されている。
In order to develop high-quality software with a short delivery time, an environment in which software testing can be performed reliably and efficiently is necessary. For example,
特許文献１に開示されるソフトウェアのシステムテスト装置では、テストシナリオ実行手段によって、テストシナリオの内容を基にシステムテストを実行するとともに、実行結果照合手段によって、システムテストの実行結果が仕様に合致するかどうかの合否判定を行うことによって、ソフトウェアの試験を自動化している。実行結果照合手段は、システムテストの実行結果と、予め定義した個別状態仕様情報に記載されている値とを照合することによって、合否判定を行う。
In the system test apparatus for software disclosed in
また特許文献２に開示されるソフトウェアテスト装置では、試験シナリオに記録されているテスト項目に関するテストをテスト手段によって行い、そのテスト結果をオペレータに提示して、テスト結果に対する合否の入力を促し、判定結果をテスト結果受付手段で受付け、テスト結果集計手段で集計する。
Further, in the software test apparatus disclosed in
特許文献１に開示されるソフトウェア自動試験装置では、実施する試験毎に、対応する個別状態仕様情報を正解データとして予め作成しておく必要がある。したがって、ソフトウェアを構成するプログラムのうち、試験の対象となる対象プログラムに対する試験の数が増加するほど、正解データの作成に多くの時間および労力が必要となり、コストが高くなるという問題がある。
In the software automatic test apparatus disclosed in
特許文献２に開示されるソフトウェアテスト装置では、個々の試験シナリオが独立に管理されているので、試験実行後に行われる仕様に合致するか否かの合否判定は、全ての試験シナリオに対して行う必要がある。たとえば、対象プログラムに対する操作として、全く同一の内容が複数の試験シナリオ内に存在していても、別々に合否を判定する必要があるので、１つの試験シナリオにおける合否判定に使用される正解データを、別の試験シナリオにおける合否判定に利用することはできない。したがって、試験シナリオ毎に正解データを作成する必要があるので、正解データの作成に時間および労力がかかり、コストが高くなる。
In the software test apparatus disclosed in
このように特許文献１，２に開示される技術では、試験対象のソフトウェアが仕様に合致しているか否かの合否判定に使用する正解データの作成に時間および労力がかかり、コストが高くなるので、低コストでソフトウェアに対する試験を構築し、維持することが難しいという問題がある。
As described above, in the techniques disclosed in
本発明の目的は、対象プログラムに対する試験の数が増えた場合でも、時間および労力をかけることなく、低コストで試験の構築および維持が可能な試験管理装置を提供することである。 An object of the present invention is to provide a test management apparatus capable of constructing and maintaining a test at a low cost without spending time and effort even when the number of tests for a target program increases.
本発明の試験管理装置は、ソフトウェアに対する試験を管理する試験管理装置であって、前記ソフトウェアを構成するプログラムのうち、試験の対象となる対象プログラムに対する処理を記述したシナリオ要素を保持するシナリオ要素保持手段と、前記シナリオ要素保持手段によって保持される前記シナリオ要素の実行順序を記述した試験シナリオを、前記試験シナリオにおける前記シナリオ要素の先頭からの出現順序に基づいて管理する試験シナリオ管理手段と、前記試験シナリオ管理手段によって管理される前記試験シナリオに基づいて前記対象プログラムを制御することによって、前記対象プログラムに対する試験を実行する試験実行手段と、前記試験実行手段によって前記試験が実行されたときに前記対象プログラムが出力する出力データを保持する出力保持手段と、前記対象プログラムが、予め定める仕様に合致する動作を行ったときに出力するべきデータとして予め定められる正解データを含む正解情報を、前記シナリオ要素毎に保持する正解保持手段と、前記出力保持手段によって保持される前記出力データと、前記正解保持手段によって保持される前記正解情報に含まれる前記正解データとを比較し、前記出力データと前記正解データとが一致しているか否かを判定する結果判定手段とを備え、前記試験シナリオ管理手段によって複数の試験シナリオが管理され、前記複数の試験シナリオが共通のシナリオ要素を含み、かつ前記共通のシナリオ要素の出現順序が一致するとき、前記結果判定手段は、前記共通のシナリオ要素の各シナリオ要素に対応する前記正解データとして、同じ正解データを用いることを特徴とする。 A test management apparatus according to the present invention is a test management apparatus that manages a test for software, and includes a scenario element holding that holds a scenario element describing a process for a target program to be tested among programs constituting the software. And test scenario management means for managing a test scenario describing the execution order of the scenario elements held by the scenario element holding means based on the appearance order from the top of the scenario elements in the test scenario, and By controlling the target program based on the test scenario managed by the test scenario management means, a test execution means for executing a test on the target program, and when the test is executed by the test execution means Output output by the target program Output holding means for holding data, and correct information including correct answer data that is predetermined as data to be output when the target program performs an operation that matches a predetermined specification, for each scenario element The correct answer holding means, the output data held by the output holding means, and the correct data included in the correct answer information held by the correct answer holding means are compared, and the output data and the correct answer data are A result determination unit that determines whether or not the test scenario is managed, wherein a plurality of test scenarios are managed by the test scenario management unit, the plurality of test scenarios include a common scenario element, and the appearance of the common scenario element When the order is the same, the result determination unit is configured to output the correct answer data corresponding to each scenario element of the common scenario element. As data, characterized by using the same correct data.
本発明の試験管理装置によれば、シナリオ要素保持手段によってシナリオ要素が保持され、このシナリオ要素の実行順序を記述した試験シナリオが試験シナリオ管理手段によって管理される。この試験シナリオに基づいて試験実行手段によって対象プログラムが制御されることによって、対象プログラムに対する試験が実行される。この試験によって対象プログラムから出力され、出力保持手段によって保持される出力データと、正解保持手段によって保持される正解情報の正解データとが結果判定手段によって比較され、出力データと正解データとが一致しているか否かが判定される。 According to the test management apparatus of the present invention, scenario elements are held by the scenario element holding means, and the test scenario describing the execution order of the scenario elements is managed by the test scenario management means. A test for the target program is executed by controlling the target program by the test execution means based on the test scenario. The output data output from the target program by this test and held by the output holding means and the correct data of the correct information held by the correct holding means are compared by the result determining means, and the output data and the correct data match. It is determined whether or not.
試験シナリオ管理手段は、試験シナリオにおけるシナリオ要素の先頭からの出現順序に基づいて試験シナリオを管理する。この試験シナリオ管理手段によって複数の試験シナリオが管理され、この複数の試験シナリオが共通のシナリオ要素を含み、かつ共通のシナリオ要素の出現順序が一致するとき、結果判定手段は、共通のシナリオ要素の各シナリオ要素に対応する正解データとして同じ正解データを用いて、出力データとの比較を行う。これによって、複数の試験シナリオ間で共通のシナリオ要素に対しては、正解保持手段で別個に正解データを保持しておく必要がないので、正解保持手段によって保持しておくべき正解データの数を削減することができる。したがって、正解データの作成数および作成に要する作業時間を低減することができるので、対象プログラムに対する試験の数が増えた場合でも、時間および労力をかけることなく、低コストでソフトウェア試験の構築および維持を実現することができる。 The test scenario management means manages the test scenario based on the appearance order from the top of the scenario elements in the test scenario. When a plurality of test scenarios are managed by the test scenario management means, the plurality of test scenarios include a common scenario element, and when the appearance order of the common scenario elements matches, the result determination means Using the same correct answer data as correct answer data corresponding to each scenario element, the output data is compared. As a result, it is not necessary for the correct answer holding means to hold the correct answer data separately for the scenario elements that are common among a plurality of test scenarios, so the number of correct answer data to be held by the correct answer holding means is determined. Can be reduced. Therefore, it is possible to reduce the number of correct data to be created and the work time required to create it, so that even if the number of tests for the target program increases, software tests can be constructed and maintained at low cost without taking time and effort. Can be realized.
＜第１の実施の形態＞
図１は、本発明の第１の実施の形態である試験管理装置１０の構成の一例を示すブロック図である。試験管理装置１０は、試験実行手段１２、試験シナリオ管理手段１３、シナリオ要素保持手段１４、出力保持手段１５、結果判定手段１６および正解保持手段１７を備えて構成される。試験管理装置１０は、ソフトウェアに対する試験（以下、単に「試験」という場合がある）を管理する。ソフトウェアは、１つまたは複数のプログラムによって構成される。試験管理装置１０は、ソフトウェアを構成するプログラムのうち、試験の対象となるプログラムである対象プログラム１１に対する処理を記述したシナリオ要素を含む試験シナリオに基づいて試験を実行する。試験シナリオは、試験シナリオ管理手段１３によって保持される。
<First Embodiment>
FIG. 1 is a block diagram showing an example of the configuration of the
対象プログラム１１に対する試験が実行されるとき、試験シナリオ管理手段１３に保持されている試験シナリオのうち、対象プログラム１１の試験を行う試験シナリオが、試験実行手段１２からの要求によって取出される。試験実行手段１２は、取出された試験シナリオの内容に従って対象プログラム１１を制御する。これによって、対象プログラム１１が動作する。対象プログラム１１は、プログラム内部の動作に対応した情報を出力する。以下、対象プログラム１１が出力する情報を、出力データという場合がある。本実施の形態における対象プログラム１１は、操作が行われる前の状態が同じであれば、同じ操作を加えた後の動作は、全く同一になるものとする。
When the test for the
試験シナリオは、１つまたは複数のシナリオ要素によって構成される。試験シナリオには、実行する順にシナリオ要素が記述される。対象プログラム１１に対する処理は、シナリオ要素単位で実行される。
A test scenario is composed of one or more scenario elements. In the test scenario, scenario elements are described in the order of execution. Processing for the
シナリオ要素は、対象プログラム１１に対して行う操作の記述（以下「操作記述」という場合がある）、および対象プログラム１１に対して行う検証の記述（以下「検証記述」という場合がある）を含む。検証は、対象プログラム１１からの出力データの取得、出力保持手段１５への出力データの格納、および正解保持手段１７の保持する正解データと出力データとの比較による結果判定手段１６での成功判定を含む。
The scenario element includes a description of an operation performed on the target program 11 (hereinafter sometimes referred to as “operation description”) and a description of a verification performed on the target program 11 (hereinafter also referred to as “verification description”). . The verification is performed by the
個々のシナリオ要素には、他のシナリオ要素と区別するための識別子であるシナリオ要素識別子（以下、単に「識別子」という場合がある）が付されている。たとえば、他のシナリオ要素と区別するためのシナリオ要素識別子を「Ｎ」と記述し、対象プログラム１１に含まれる関数の実行命令を「操作」と記述し、対象プログラム１１に対する検証を「検証」と記述するように定義した場合、「操作」および「検証」の２つの制御を順番に実行するシナリオ要素は、以下のように記述できる。ここで、「操作」の記述は、操作記述に該当し、「検証」の記述は、検証記述に該当する。
Each scenario element is assigned a scenario element identifier (hereinafter sometimes simply referred to as “identifier”) that is an identifier for distinguishing from other scenario elements. For example, a scenario element identifier for distinguishing from other scenario elements is described as “N”, an execution instruction of a function included in the
Ｎ
操作
検証
N
Operation Verification
シナリオ要素は、シナリオ要素保持手段１４によって保持される。試験シナリオ管理手段１３は、対象プログラム１１の試験を行う試験シナリオと、試験シナリオに含まれるシナリオ要素の実行順序を表すシナリオ構成情報とを保持している。試験シナリオ管理手段１３によって保持される試験シナリオは、シナリオ要素の実行順序を記述したものであり、その試験シナリオに含まれるべきシナリオ要素のシナリオ要素識別子が、そのシナリオ要素識別子を含むシナリオ要素の実行順序に従って記述されて構成される。
The scenario element is held by the scenario element holding means 14. The test scenario management means 13 holds a test scenario for testing the
試験シナリオ管理手段１３は、試験シナリオを、その試験シナリオにおけるシナリオ要素の先頭からの出現順序に基づいて管理する。前述のように、試験シナリオ管理手段１３によって保持されるシナリオ構成情報は、シナリオ要素の実行順序を表し、試験シナリオ管理手段１３によって保持される試験シナリオは、シナリオ要素の実行順序を記述したものであるので、試験シナリオにおけるシナリオ要素の先頭からの出現順序は、シナリオ構成情報から求めることができる。
The test scenario management means 13 manages the test scenario based on the appearance order from the top of the scenario elements in the test scenario. As described above, the scenario configuration information held by the test
試験実行手段１２から試験シナリオが要求されると、試験シナリオ管理手段１３は、シナリオ構成情報に基づいて、要求された試験シナリオに含まれるシナリオ要素を特定し、特定したシナリオ要素をシナリオ要素保持手段１４から取出す。試験シナリオ管理手段１３は、取出したシナリオ要素を、シナリオ構成情報に基づいて、シナリオ要素の実行順序に従って連結して試験シナリオを作成し、作成した試験シナリオを試験実行手段１２に与える。このとき、試験シナリオを構成するシナリオ要素の識別子には、そのシナリオ要素のシナリオ構成情報における位置を表す番号である位置番号が割当てられ、置換される。試験シナリオ管理手段１３で作成された試験シナリオは、シナリオ要素の識別子が位置番号に置換された状態で、試験実行手段１２に与えられる。 When a test scenario is requested from the test execution means 12, the test scenario management means 13 identifies a scenario element included in the requested test scenario based on the scenario configuration information, and the identified scenario element is a scenario element holding means. Remove from 14. The test scenario management means 13 creates a test scenario by connecting the extracted scenario elements in accordance with the execution order of the scenario elements based on the scenario configuration information, and gives the created test scenario to the test execution means 12. At this time, a position number that is a number representing a position in the scenario configuration information of the scenario element is assigned to the identifier of the scenario element that configures the test scenario, and is replaced. The test scenario created by the test scenario management means 13 is given to the test execution means 12 with the scenario element identifier replaced with the position number.
試験実行手段１２は、試験シナリオ管理手段１３から与えられた試験シナリオに基づいて、対象プログラム１１を制御することによって、対象プログラム１１に対する試験を実行する。これによって、対象プログラム１１は、プログラム内部の動作に応じた情報を出力データとして出力する。対象プログラム１１から出力された出力データは、試験実行手段１２を介して出力保持手段１５に与えられる。
The test execution means 12 executes a test for the
出力保持手段１５は、試験実行手段１２から与えられる対象プログラム１１の出力データを保持する。出力保持手段１５は、不図示のメモリを含んで構成され、試験実行手段１２から与えられる対象プログラム１１の出力データを、そのまま、またはファイルとして、不図示のメモリに保持する。
The
正解保持手段１７は、結果判定手段１６で行う検証に用いる正解データを含む正解情報を保持する。正解保持手段１７は、正解情報をシナリオ要素毎に保持する。換言すれば、正解保持手段１７は、各シナリオ要素に対応する正解情報を保持する。ここで、「正解データ」とは、シナリオ要素の操作記述に従って対象プログラム１１を処理したときに、対象プログラム１１が、予め定める仕様に合致する動作を行った場合に出力するべきデータとして予め定められるデータを記述したものである。
The correct answer holding means 17 holds correct answer information including correct answer data used for verification performed by the
正解データには、他の正解データと識別するための識別子である正解データ識別子が付されている。正解データと正解データ識別子とを合わせて、前述の正解情報という。正解情報は、正解データと正解データ識別子とを含む。たとえば、他の正解データと区別するための正解データ識別子を「Ａ」と記述し、正解データの内容を「正解」と記述するように定義した場合、正解データは、以下のように記述できる。 The correct answer data identifier is attached to the correct answer data, which is an identifier for identifying the correct answer data. The correct data and the correct data identifier are collectively referred to as the above-mentioned correct information. The correct answer information includes correct answer data and a correct answer data identifier. For example, when the correct data identifier for distinguishing from other correct data is described as “A” and the content of the correct data is defined as “correct”, the correct data can be described as follows.
Ａ
正解
A
Correct answer
結果判定手段１６は、出力保持手段１５によって保持される出力データと、正解保持手段１７によって保持される正解データとを比較し、出力データと正解データとが一致しているか否かを判定する。これによって結果判定手段１６は、検証を行い、その検証が成功か失敗か、すなわち対象プログラム１１が、仕様に合致する出力データの出力に成功したか失敗したかを判定する成功判定を行う。このとき、試験実行手段１２は、実行している試験シナリオの操作記述に対応するシナリオ要素識別子と等しい正解データ識別子が付された正解データを正解保持手段１７から読出して結果判定手段１６に与える。結果判定手段１６は、試験実行手段１２から与えられた正解データと、出力保持手段１５が保持する出力データとの比較を行い、正解データと出力データとが一致していれば検証成功と判定し、一致していなければ検証失敗と判定する。
The
結果判定手段１６で行った検証の結果、すなわち検証成功か、検証失敗かの判定結果は、不図示の結果通知部に与えられる。結果通知部は、検証の結果を試験者に通知する。結果通知部は、たとえば、コンピュータのモニタ、または電子メールを送信する送信部などによって実現される。結果通知部がコンピュータのモニタによって実現される場合、たとえばモニタ画面に検証結果を表示することによって、検証結果が試験者に通知される。また結果通知部が送信部によって実現される場合、たとえば検証結果を記述した電子メールを試験者に宛てて送信することによって、検証結果が試験者に通知される。
The result of the verification performed by the
図２は、試験シナリオ管理手段１３によって保持される試験シナリオの一例を示す図である。図３は、試験シナリオ管理手段１３によって保持されるシナリオ構成情報の一例を示す図である。図４は、シナリオ要素保持手段１４によって保持されるシナリオ要素の一例を示す図である。
FIG. 2 is a diagram illustrating an example of a test scenario held by the test
図２に示すように、試験シナリオ管理手段１３で管理される対象の試験シナリオＭは、対象プログラム１１を操作するための複数のシナリオ要素を備えて構成される。試験シナリオは、その試験シナリオＭを構成するシナリオ要素を特定するために、そのシナリオ要素の識別子が実行順に記述されて構成される。たとえば、図２に示す試験シナリオＭは、３つのシナリオ要素から構成されており、これらのシナリオ要素に含まれる３つの識別子ｍ１〜ｍ３が、そのシナリオ要素の実行順序に従って記述されて構成される。以下、図２に示す３つのシナリオ要素をその識別子ｍ１〜ｍ３で区別し、第１シナリオ要素ｍ１、第２シナリオ要素ｍ２および第３シナリオ要素ｍ３という場合がある。
As shown in FIG. 2, the target test scenario M managed by the test
図３に示すように、試験シナリオ管理手段１３に、試験シナリオＭとともに保持されるシナリオ構成情報Ｎは、各試験シナリオＭを構成するシナリオ要素とその実行順序とが特定できるように、シナリオ要素の識別子を用いて表される。たとえば、図２に示す試験シナリオＭが保持される場合のシナリオ構成情報Ｎは、「ｍ１」−「ｍ２」−「ｍ３」と記述される。以下では、シナリオ構成情報における各シナリオ要素の位置を「節」という。図３に示す例では、「ｍ１」、「ｍ２」および「ｍ３」の位置が、それぞれ節である。 As shown in FIG. 3, the scenario configuration information N held together with the test scenario M in the test scenario management means 13 includes the scenario elements so that the scenario elements constituting each test scenario M and the execution order thereof can be identified. Represented using an identifier. For example, the scenario configuration information N when the test scenario M shown in FIG. 2 is held is described as “m1”-“m2”-“m3”. Hereinafter, the position of each scenario element in the scenario configuration information is referred to as a “section”. In the example shown in FIG. 3, the positions of “m1”, “m2”, and “m3” are nodes.
シナリオ構成情報は、試験シナリオと、その試験シナリオを構成するシナリオ要素の実行順序とが特定できるように、節に、その節を表す番号（以下「節番号」という場合がある）を付して管理される。節番号は、位置番号に相当する。本実施の形態では、節番号は、試験シナリオ名とシナリオ要素の識別子とを用いて表される。たとえば図３に示す例では、試験シナリオＭにおける節「ｍ１」の節番号を「Ｍ＿ｍ１」と表し、節「ｍ２」の節番号を「Ｍ＿ｍ１−Ｍ＿ｍ２」と表し、節「ｍ３」の節番号を「Ｍ＿ｍ１−Ｍ＿ｍ２−Ｍ＿ｍ３」と表す。 In the scenario configuration information, a number indicating the section (hereinafter sometimes referred to as “section number”) is attached to the section so that the test scenario and the execution order of the scenario elements constituting the test scenario can be identified. Managed. The node number corresponds to the position number. In the present embodiment, the section number is represented using a test scenario name and a scenario element identifier. For example, in the example shown in FIG. 3, the node number of the node “m1” in the test scenario M is expressed as “M_m1”, the node number of the node “m2” is expressed as “M_m1-M_m2”, and the node number of the node “m3” is This is expressed as “M_m1-M_m2-M_m3”.
図２に示す試験シナリオＭが試験シナリオ管理手段１３によって保持される場合、シナリオ要素保持手段１４は、図４に示すように、図２に示す試験シナリオＭに必要なシナリオ要素、すなわち第１シナリオ要素ｍ１〜第３シナリオ要素ｍ３を保持する。各シナリオ要素ｍ１〜ｍ３は、たとえば図４に示すように、識別子と操作記述と検証記述とで記述される。 When the test scenario M shown in FIG. 2 is held by the test scenario management means 13, the scenario element holding means 14, as shown in FIG. 4, is a scenario element necessary for the test scenario M shown in FIG. The element m1 to the third scenario element m3 are held. Each scenario element m1 to m3 is described by an identifier, an operation description, and a verification description, for example, as shown in FIG.
試験シナリオ管理手段１３は、図２に示すように識別子で記述された試験シナリオＭを保持している状態で、試験実行手段１２から試験シナリオＭが要求されると、保持しているシナリオ構成情報Ｎから、試験シナリオＭを構成するシナリオ要素を読取る。図２〜図４に示す例では、試験シナリオ管理手段１３は、試験シナリオＭを構成するシナリオ要素が、第１シナリオ要素ｍ１、第２シナリオ要素ｍ２および第３シナリオ要素ｍ３であることを読取る。続いて試験シナリオ管理手段１３は、読取ったシナリオ要素をシナリオ要素保持手段１４から取出す。図２〜図４に示す例では、試験シナリオ管理手段１３は、シナリオ要素保持手段１４から、第１シナリオ要素ｍ１、第２シナリオ要素ｍ２および第３シナリオ要素ｍ３を取出す。
When the test scenario M is requested from the test execution means 12 in the state where the test scenario M described by the identifier is held as shown in FIG. 2, the test scenario management means 13 holds the scenario configuration information held. From N, the scenario elements constituting the test scenario M are read. In the example shown in FIGS. 2 to 4, the test scenario management means 13 reads that the scenario elements constituting the test scenario M are the first scenario element m1, the second scenario element m2, and the third scenario element m3. Subsequently, the test
次いで、試験シナリオ管理手段１３は、取出したシナリオ要素、図２〜図４に示す例では第１〜第３シナリオ要素ｍ１〜ｍ３を、シナリオ構成情報Ｎを元に連結して、試験シナリオＭを作成する。図２〜図４に示す例では、試験シナリオＭのシナリオ構成情報Ｎは「ｍ１−ｍ２−ｍ３」となっているので、試験シナリオ管理手段１３は、第１シナリオ要素ｍ１に続けて第２シナリオ要素ｍ２を連結し、さらに第３シナリオ要素ｍ３を連結することで、試験シナリオＭを作成する。このとき、試験シナリオ管理手段１３は、シナリオ要素の識別子の記述を、そのシナリオ要素のシナリオ構成情報における位置を表す節番号に書換える。たとえば第３シナリオ要素ｍ３の識別子「ｍ３」は、シナリオ構成情報Ｎの節「ｍ３」における節番号「Ｍ＿ｍ１−Ｍ＿ｍ２−Ｍ＿ｍ３」に書換えられる。 Next, the test scenario management means 13 concatenates the extracted scenario elements, the first to third scenario elements m1 to m3 in the examples shown in FIGS. create. In the example shown in FIGS. 2 to 4, since the scenario configuration information N of the test scenario M is “m1-m2-m3”, the test scenario management means 13 follows the first scenario element m1 and the second scenario. The test scenario M is created by connecting the element m2 and further connecting the third scenario element m3. At this time, the test scenario management means 13 rewrites the description of the identifier of the scenario element with a node number representing the position of the scenario element in the scenario configuration information. For example, the identifier “m3” of the third scenario element m3 is rewritten to the node number “M_m1-M_m2-M_m3” in the node “m3” of the scenario configuration information N.
図５は、試験シナリオ管理手段１３で作成され、試験実行手段１２に与えられる試験シナリオＭの一例を示す図である。図５に示すように、試験シナリオ管理手段１３から試験実行手段１２に与えられる試験シナリオＭは、識別子が節番号に書換えられたシナリオ要素３Ａ〜３Ｃで記述される。図５において、参照符３Ａで表されるシナリオ要素は、第１シナリオ要素ｍ１の識別子が、その節番号「Ｍ＿ｍ１」に書換えられたものであり、参照符３Ｂで表されるシナリオ要素は、第２シナリオ要素ｍ２の識別子が、その節番号「Ｍ＿ｍ１−Ｍ＿ｍ２」に書換えられたものであり、参照符３Ｃで表されるシナリオ要素は、第３シナリオ要素ｍ３の識別子が、その節番号「Ｍ＿ｍ１−Ｍ＿ｍ２−Ｍ＿ｍ３」に書換えられたものである。
FIG. 5 is a diagram showing an example of a test scenario M created by the test
図６は、正解保持手段１７によって保持される正解データの一例を示す図である。図６では、図２〜図５に示す試験シナリオＭの検証に用いる正解データを含む正解情報を示す。前述のように、正解データは、正解データの内容に、他の正解データと区別するための正解データ識別子を付して記述される。本実施の形態では、正解データに付される正解データ識別子には、試験シナリオ管理手段１３が保持するシナリオ構成情報における各シナリオ要素の節番号が用いられる。シナリオ要素の操作記述によって対象プログラム１１が出力した出力データの検証には、そのシナリオ要素のシナリオ構成情報における節番号と同じ正解データ識別子が付された正解データが用いられる。
FIG. 6 is a diagram showing an example of correct answer data held by the correct answer holding means 17. FIG. 6 shows correct answer information including correct answer data used for verification of the test scenario M shown in FIGS. As described above, the correct answer data is described by adding the correct answer data identifier for distinguishing the correct answer data from other correct answer data. In the present embodiment, the node number of each scenario element in the scenario configuration information held by the test scenario management means 13 is used as the correct data identifier attached to the correct data. In order to verify the output data output by the
たとえば、図３に示すシナリオ構成情報Ｎにおいて、試験シナリオＭの第１シナリオ要素ｍ１の操作記述によって対象プログラム１１が出力した出力データの検証には、第１シナリオ要素ｍ１の節番号である「Ｍ＿ｍ１」と同じ識別子が付された正解データ（以下「第１正解データ」という場合がある）４Ａが用いられる。また第２シナリオ要素ｍ２の操作記述によって対象プログラム１１が出力した出力データの検証には、第２シナリオ要素ｍ２の節番号である「Ｍ＿ｍ１−Ｍ＿ｍ２」と同じ正解データ識別子が付された正解データ（以下「第２正解データ」という場合がある）４Ｂが用いられる。また第３シナリオ要素ｍ３の操作記述によって対象プログラム１１が出力した出力データの検証には、第３シナリオ要素ｍ３の節番号である「Ｍ＿ｍ１−Ｍ＿ｍ２−Ｍ＿ｍ３」と同じ正解データ識別子が付された正解データ（以下「第３正解データ」という場合がある）４Ｃが用いられる。
For example, in the scenario configuration information N shown in FIG. 3, the verification of the output data output by the
つまり、図６に示す３つの正解データ４Ａ〜４Ｃのうち、第１シナリオ要素ｍ１の節番号と同じ正解データ識別子が付された第１正解データ４Ａは、第１シナリオ要素ｍ１の検証に用いられる。第２シナリオ要素ｍ２の節番号と同じ正解データ識別子が付された第２正解データ４Ｂは、第１シナリオ要素ｍ１の操作を行った後の第２シナリオ要素ｍ２の検証に用いられる。第３シナリオ要素ｍ３の節番号と同じ正解データ識別子が付された第３正解データ４Ｃは、第１シナリオ要素ｍ１および第２シナリオ要素ｍ２の操作を行った後の第３シナリオ要素ｍ３の検証に用いられる。
That is, among the three
本実施の形態では、正解データは、試験シナリオにおけるシナリオ要素毎に、かつ実行順序に応じて作成する必要がある。換言すると、試験シナリオを構成するシナリオ要素の組合せが同じでも、シナリオ要素の実行順序が入れ替わると、新たな正解データを作成する必要がある。 In the present embodiment, the correct answer data needs to be created for each scenario element in the test scenario and according to the execution order. In other words, even if the combination of scenario elements constituting the test scenario is the same, it is necessary to create new correct answer data when the execution order of the scenario elements is changed.
作成した正解データは、正解データ識別子として、シナリオ要素の節番号が付されて正解保持手段１７によって保持される。節番号は、シナリオ要素の出現順序、ひいては実行順序を表すので、シナリオ要素の出現順序が同じ試験シナリオについては、同じ正解データを共用することができる。したがって、前述のように、試験シナリオ管理手段１３によって、シナリオ構成情報を用いて、試験シナリオおよびその試験シナリオを構成するシナリオ要素を、シナリオ要素の出現順序がわかる形で保持しておくことによって、正解データの作成数を減らすことができる。この正解データの作成数を減らすことができるという効果について、以下に、具体的な試験を例に取上げて説明する。 The created correct answer data is held by the correct answer holding means 17 with the node number of the scenario element as a correct data identifier. Since the section number represents the appearance order of the scenario elements, and hence the execution order, the same correct answer data can be shared for the test scenarios having the same appearance order of the scenario elements. Therefore, as described above, the test scenario management means 13 uses the scenario configuration information to hold the test scenario and the scenario elements constituting the test scenario in a form in which the appearance order of the scenario elements is known. The number of correct data created can be reduced. The effect of reducing the number of created correct answer data will be described below by taking a specific test as an example.
図７は、対象プログラム１１の一例を模式的に示す図である。図７では、対象プログラム１１の一例として、使用者が不図示の入力操作部によって項目を選択すると、次々に画面を遷移するプログラムを示す。不図示の入力操作部は、表示画面に対し、次の画面を表示するのに必要な操作を与えるものであり、たとえばキーボードまたはマウスなどによって実現される。たとえば、キーボードによって文字を入力するか、またはマウス操作によって項目をクリックすることによって、表示されている項目の中から目的の項目を選択すると、新たな選択項目が表示され、表示された選択項目の中から目的の項目を選択すると、次の選択項目が表示される。
FIG. 7 is a diagram schematically illustrating an example of the
図７に示す対象プログラム１１は、プログラムを起動すると初期画面５０を表示する。初期画面５０では、「Ａ」と「Ｂ」と「Ｃ」の３つの項目が表示される。初期画面５０において、不図示の入力操作部によって、たとえば項目「Ａ」が選択されると、対象プログラム１１は、Ａ選択画面５１を表示する。Ａ選択画面５１では、「Ａ−１」、「Ａ−２」および「Ａ−３」の３つの項目が表示される。Ａ選択画面５１において、項目「Ａ−２」は、省略して「２」と表示され、項目「Ａ−３」は、省略して「３」と表示される。
The
Ａ選択画面５１で、項目「Ａ−１」が選択されると、対象プログラム１１は、Ａ−１選択画面５２を表示する。またＡ選択画面５１で、項目「Ａ−２」が選択されると、対象プログラム１１は、Ａ−２選択画面５３を表示する。また初期画面５０で項目「Ｂ」が選択されると、対象プログラム１１は、Ｂ選択画面５４を表示する。
When the item “A-1” is selected on the A selection screen 51, the
以上の説明では、対象プログラム１１に対して、使用者が不図示の入力操作部を利用して、項目を選択する操作を加える場合の対象プログラム１１の動作を説明したが、対象プログラム１１は、個々の選択画面において選択する項目を、たとえばプログラム内部で実行する関数の引数として与えて適切な関数を実行することによって、使用者が操作を加える場合と同様の動作が得られるものとする。また対象プログラム１１は、プログラム内部で実行された内容に応じた出力データを出力するものとする。本実施の形態では、対象プログラム１１が出力する出力データは、文字列情報であるものとして説明する。
In the above description, the operation of the
図７に示す対象プログラム１１に対し、第１の試験として、プログラムの起動、初期画面５０の表示、Ａ選択画面５１の表示の順に動作させる試験を実行する場合を考える。図８は、第１の試験における試験シナリオ６０を示す図である。試験シナリオ６０は、対象プログラム１１を操作するための複数のシナリオ要素を備えて構成される。図７に示す例では、試験シナリオ６０は、２個のシナリオ要素６Ａ，６Ｂ、すなわち第１シナリオ要素６Ａおよび第２シナリオ要素６Ｂを備えて構成される。
Consider a case in which a test for operating the program, the display of the initial screen 50, and the display of the A selection screen 51 is executed as the first test for the
具体的に述べると、第１の試験を実行する試験シナリオ（以下「第１試験シナリオ」という場合がある）６０は、対象プログラム１１に対し、プログラムの起動および初期画面５０の表示の動作を行い、その動作結果である出力データを検証する第１シナリオ要素６Ａと、初期画面５０で項目「Ａ」を選択する動作およびＡ選択画面５１の表示の動作を行い、その動作結果である出力データを検証する第２シナリオ要素６Ｂとを備えて構成される。第１シナリオ要素６Ａの識別子を「１００」とし、第２シナリオ要素６Ｂの識別子を「２００」とする。
More specifically, a test scenario 60 (hereinafter sometimes referred to as a “first test scenario”) 60 for executing the first test performs an operation of starting the program and displaying the initial screen 50 for the
図９は、試験シナリオ管理手段１３が保持する第１試験シナリオ６０のシナリオ構成情報６０Ａの内容を示す図である。シナリオ構成情報６０Ａは、第１シナリオ要素６Ａの識別子「１００」と、第２シナリオ要素６Ｂの識別子「２００」とを用いて、「１００」−「２００」と記述される。図９では、シナリオ構成情報６０Ａにおける第１シナリオ要素６Ａの節を、参照符６Ｃで表し、第２シナリオ要素６Ｂの節を、参照符６Ｄで表す。第１シナリオ要素６Ａの節６Ｃには、節番号「６０＿１００」が付され、第２シナリオ要素６Ｂの節６Ｄには、節番号「６０＿１００−６０＿２００」が付される。
FIG. 9 is a diagram showing the contents of the
図１０は、試験シナリオ管理手段１３から試験実行手段１２に与えられる第１試験シナリオ６０を示す図である。図１０に示すように、試験シナリオ管理手段１３から試験実行手段１２に与えられる第１試験シナリオ６０は、対象プログラム１１を操作するための複数のシナリオ要素、本実施の形態では２個のシナリオ要素６Ｅ，６Ｆ、すなわち第１シナリオ要素６Ｅおよび第２シナリオ要素６Ｆを備えて構成される。図１０に示す第１シナリオ要素６Ｅおよび第２シナリオ要素６Ｆは、前述の手順によって、図８に示す第１シナリオ要素６Ａおよび第２シナリオ要素６Ｂの識別子が、それぞれ節番号に書換えられたものである。
FIG. 10 is a diagram showing a
図１０に示す第１シナリオ要素６Ｅには、識別子６１として「６０＿１００」が記述され、操作記述６２として「プログラム起動」が記述され、検証記述６３として「ログ検証」が記述される。第２シナリオ要素６Ｆには、識別子６４として「６０＿１００−６０＿２００」が記述され、操作記述６５として「Ａを選択」が記述され、検証記述６６として「ログ検証」が記述される。
In the
このような第１試験シナリオ６０に基づいて、試験実行手段１２によって対象プログラム１１が制御され、第１の試験が実行される。対象プログラム１１は、試験実行手段１２によって制御されて、操作記述の内容に従って対象プログラム１１の関数を実行すると、画面を変えるように動作するとともに、プログラム内部で実行された内容に応じた出力データを出力する。
Based on such a
具体的に述べると、対象プログラム１１は、図１０に示す第１試験シナリオ６０に基づいて、以下の処理を行う。まず第１シナリオ要素６Ｅの操作記述６２である「プログラム起動」に従って、関数「Start_program()」を実行すると、対象プログラム１１は、前述の図７に示す初期画面５０を表示するとともに、プログラム内部の実行に応じた出力データを出力する。対象プログラム１１が出力した出力データは、出力保持手段１５によって保持される。その後、試験実行手段１２は、検証記述６３である「ログ検証」に従って、操作記述６２の操作によって対象プログラム１１が出力した出力データを結果判定手段１６によって検証する。
More specifically, the
その後、対象プログラム１１は、第２シナリオ要素６Ｆの操作記述６５である「Ａを選択」に従って、関数「Select_Menu(A)」を実行すると、図７に示すＡ選択画面５１を表示するとともに、プログラム内部の実行に応じた出力データを出力する。その後、試験実行手段１２は、検証記述６６である「ログ検証」に従って、操作記述６５による出力データを結果判定手段１６によって検証する。
Thereafter, when the
図１１は、結果判定手段１６による第１の試験における検証に用いられる正解データの一例を示す図である。図１１では、図１０に示す第１試験シナリオ６０の各シナリオ要素６Ｅ，６Ｆにおける検証記述６３，６６を実行するときに、正解保持手段１４から読出される正解データの一例を示す。図１０に示す第１試験シナリオ６０では、２個の検証記述６３，６６が存在するので、正解データとしても、２個の正解データ、すなわち第１正解データ７Ａおよび第２正解データ７Ｂが必要になる。
FIG. 11 is a diagram illustrating an example of correct answer data used for verification in the first test by the
試験実行手段１２が図１０に示す第１試験シナリオ６０における検証記述６３，６６を実行して、出力データを検証するときには、試験実行手段１２の命令に従って正解保持手段１７から読出された正解データ７Ａ，７Ｂと、出力保持手段１５によって保持される出力データとの比較が結果判定手段１６で行われる。
When the test execution means 12 executes the
具体的に述べると、図１０に示す第１試験シナリオ６０の第１シナリオ要素６Ｅの検証記述６３で行われる検証では、試験実行手段１２は、第１シナリオ要素６Ｅの識別子６１である「６０＿１００」を読取る。そして、試験実行手段１２の命令によって、正解データ識別子として「６０＿１００」が付された正解データである第１正解データ７Ａが正解保持手段１７から読出され、結果判定手段１６に送られる。試験実行手段１２は、正解保持手段１４から与えられた第１正解データ７Ａと、出力保持手段１５に保持されている出力データとが合致するか否かを、結果判定手段１６で比較することで検証を行う。
Specifically, in the verification performed in the
同様に、第２シナリオ要素６Ｆの検証記述６６の検証では、試験実行手段１２によって、第２シナリオ要素６Ｆの識別子６４である「６０＿１００−６０＿２００」が読取られ、正解保持手段１７が保持する正解データの中から、正解データ識別子として「６０＿１００−６０＿２００」が付された正解データである第２正解データ７Ｂが読出され、結果判定手段１６で行われる検証に用いられる。
Similarly, in the verification of the
本実施の形態では、対象プログラム１１が出力する出力データは文字列であるので、結果判定手段１６では、出力保持手段１５に保持されている出力データの文字と、正解保持手段１７から読出された正解データの文字とを一字ずつ比較し、全ての文字が一致した場合は成功と判定し、一致しない場合は失敗と判定する。
In the present embodiment, since the output data output from the
以上の説明では、前述の図７に示す対象プログラム１１の一例において、第１の試験として、プログラムの起動、初期画面５０の表示、Ａ選択画面５１の表示の順に動作させる試験について説明した。続いて、第２の試験として、プログラムの起動、初期画面５０の表示、Ｂ選択画面５４の表示の順に動作させる試験について考える。
In the above description, in the example of the
図１２は、第２の試験における試験シナリオ８０を示す図である。第２の試験を実行する試験シナリオ（以下「第２試験シナリオ」という場合がある）８０は、対象プログラム１１に対し、プログラムの起動および初期画面５０の表示の動作を行い、その動作結果である出力データを検証する第１シナリオ要素８Ａと、初期画面５０で項目「Ｂ」を選択する動作およびＢ選択画面５４の表示の動作を行い、その動作結果である出力データを検証する第２シナリオ要素８Ｂとを備えて構成される。
FIG. 12 is a diagram showing a
第２試験シナリオ８０における第１シナリオ要素８Ａは、前述の図８に示す第１試験シナリオ６０における第１シナリオ要素６Ａで実現可能である。これは、第２試験シナリオ８０における第１シナリオ要素８Ａと、第１試験シナリオ６０における第１シナリオ要素６Ａとでは、シナリオ要素による操作が行われる前の状態が、対象プログラム１１が起動する前の状態であって、同じであり、この状態から「プログラム起動」という同じ操作が加えられて、初期画面５０を表示するという同じ結果が得られるためである。第２試験シナリオ８０の第１シナリオ要素８Ａの識別子には、第１試験シナリオ６０の第１シナリオ要素６Ａと同じ識別子である「１００」が用いられる。
The
第２試験シナリオ８０を構成するシナリオ要素のうち、残りの第２シナリオ要素８Ｂは、第１試験シナリオ６０を構成する他のシナリオ要素である第２シナリオ要素６Ｂでは実行が不可能である。したがって、第２試験シナリオ８０の第２シナリオ要素８Ｂには、第１試験シナリオ６０のシナリオ要素を利用することはできない。第２試験シナリオ８０の第２シナリオ要素８Ｂの識別子には、第１試験シナリオ６０の第２シナリオ要素８Ｂの識別子とは別の識別子、たとえば「２１０」が用いられる。
Of the scenario elements constituting the
図１３は、試験シナリオ管理手段１３が保持する第２試験シナリオ８０のシナリオ構成情報８０Ａの内容を示す図である。第２試験シナリオ８０のシナリオ構成情報８０Ａは、第１シナリオ要素８Ａの識別子であって、第１試験シナリオ６０の第１シナリオ要素６Ａと同じ識別子である「１００」と、第２シナリオ要素８Ｂの識別子である「２１０」とを用いて、「１００−２１０」と記述される。第２試験シナリオ８０の第１シナリオ要素８Ａの節８Ｃには、節番号として「８０＿１００」が付され、第２シナリオ要素８Ｂの節８Ｄには、節番号として「８０＿１００−８０＿２１０」が付される。
FIG. 13 is a diagram showing the contents of the
図１４は、試験シナリオ管理手段１３から試験実行手段１２に与えられる第２試験シナリオ８０を示す図である。図１４では、前述の図１０に示す第１試験シナリオ６０と同じ内容の記述には、同一の参照符号を付して示す。図１４に示すように、第２試験シナリオ８０は、対象プログラム１１を操作するための複数のシナリオ要素、本実施の形態では２個のシナリオ要素８Ｅ，８Ｆ、すなわち第１シナリオ要素８Ｅおよび第２シナリオ要素８Ｆを備えて構成される。図１４に示す第１シナリオ要素８Ｅおよび第２シナリオ要素８Ｆは、前述の手順によって、図１２に示す第１シナリオ要素８Ａおよび第２シナリオ要素８Ｂの識別子が、それぞれ節番号に書換えられたものである。
FIG. 14 is a diagram showing a
図１０に示す第２試験シナリオ８０の第１シナリオ要素８Ｅには、識別子８１として「８０＿１００」が記述される。操作記述６２としては、第１試験シナリオ６０の第１シナリオ要素６Ａと同様に「プログラム起動」が記述される。検証記述６３としては、第１試験シナリオ６０の第１シナリオ要素６Ａと同様に「ログ検証」が記述される。第２シナリオ要素８Ｆには、識別子８４として「８０＿１００」が記述され、操作記述８５として「Ｂを選択」が記述され、検証記述８６として「ログ検証」が記述される。
In the
図１５は、第２の試験における検証に用いられる正解データの一例を示す図である。第２の試験における検証では、前述の第１の試験における検証と同様に、２個の正解データ、すなわち第１正解データ９Ａおよび第２正解データ９Ｂが必要である。第１正解データ９Ａとしては、正解データ識別子として「８０＿１００」が付された正解データが作成され、第２正解データ９Ｂとしては、正解データ識別子として「８０＿１００−８０＿２１０」が付された正解データが作成される。第１および第２正解データ９Ａ，９Ｂは、正解保持手段１７によって保持される。
FIG. 15 is a diagram illustrating an example of correct data used for verification in the second test. The verification in the second test requires two pieces of correct answer data, that is, the first
第２の試験は、図１４に示す第２試験シナリオ８０に基づいて、試験実行手段１２によって対象プログラム１１が制御されることによって実行される。対象プログラム１１は、第２試験シナリオ８０の第１シナリオ要素８Ｅの操作記述６２である「プログラム起動」に従って、関数「Start_Program()」を実行すると、前述の図７に示す初期画面５０を表示するとともに、プログラム内部の実行に応じた出力データを出力する。対象プログラム１１が出力した出力データは、出力保持手段１５によって保持される。その後、試験実行手段１２は、検証記述６３である「ログ検証」に従い、仕様に合致する出力データの出力に成功したか失敗したかの判定を結果判定手段１６で行う。具体的には、試験実行手段１２は、第１シナリオ要素８Ｅの識別子である「８０＿１００」を読取り、読取った識別子「８０＿１００」と同じ正解データ識別子が付された正解データである第１正解データ９Ａを正解保持手段１７から読出し、読出した第１正解データ９Ａと、出力保持手段１５に保持されている出力データとを結果判定手段１６で比較させて判定させる。
The second test is executed when the
その後、試験実行手段１２は、第２シナリオ要素８Ｆの操作記述８５である「Ｂを選択」に従い、対象プログラム１１に関数「Select_Menu(B)」を実行させる。これによって対象プログラム１１は、前述の図７に示すＢ選択画面５４を表示するとともに、出力データを出力する。その後、試験実行手段１２は、検証記述８６である「ログ検証」に従い、正解データ識別子として「８０＿１００−８０＿２１０」が付された正解データである第２正解データ９Ｂを正解保持手段１７から読出し、読出した第２正解データ９Ｂを用いて、結果判定手段１６で出力結果の判定を行う。
Thereafter, the test execution means 12 causes the
以上に述べた第１および第２の試験における検証では、試験シナリオ６０，８０に含まれる検証記述の数の正解データが必要である。第１試験シナリオ６０には、図１０に示す２つの検証記述６３，６６が含まれるので、第１の試験では、図１１に示す２つの正解データ７Ａ，７Ｂが必要である。第２試験シナリオ８０には、図１４に示す２つの検証記述６３，８６が含まれるので、第２の試験では、図１５に示す２つの正解データ９Ａ，９Ｂが必要である。したがって、第１および第２の試験では、図１１に示す第１の試験における２つの正解データ７Ａ，７Ｂと、図１５に示す第２の試験における２つの正解データ９Ａ，９Ｂとの合計４個の正解データが必要である。
In the verification in the first and second tests described above, the correct data of the number of verification descriptions included in the
以下、正解データの作成数を減らすことができるという前述の効果を具体的に説明するために、第１の試験および第２の試験の内容をより詳細に説明する。 Hereinafter, the contents of the first test and the second test will be described in more detail in order to specifically explain the above-described effect that the number of correct answer data can be reduced.
前述の図１０に示す第１の試験における第１シナリオ要素６Ｅは、操作記述６２の操作を実行し、検証記述６３に従い、対象プログラム１１が、図１１に示す第１正解データ７Ａと等しい出力データを出力するか否かを検証する処理を表す。また前述の図１４に示す第２の試験における第１シナリオ要素８Ｅは、操作記述６２の操作を実行し、検証記述６３に従い、対象プログラム１１が、図１５に示す第１正解データ９Ａと等しい出力データを出力するか否かを検証する処理を表す。
The
このように、対象プログラム１１に操作を加える前の状態、すなわちプログラムを起動する前の状態に対し、第１の試験では図１０に示す第１シナリオ要素６Ｅの操作記述６２の操作を行い、第２の試験では図１４に示す第１シナリオ要素８Ｅの操作記述６２の操作を行っている。これらの２つの操作記述によって対象プログラム１１に操作を加える前の状態は同じであり、この同じ状態に対して、全く同一の操作を行っているので、対象プログラム１１は、いずれの操作を行っても「初期画面」を表示し、かつ同じ出力データを出力する。この出力データを、第１の試験では図１１に示す第１正解データ７Ａと比較して検証を行い、第２の試験では図１５に示す第１正解データ９Ａと比較して検証を行っているが、第１の試験における第１正解データ７Ａと、第２の試験における第１正解データ９Ａとは、全く同一の内容となっている。
In this way, in the first test, the
したがって、第２の試験における第１シナリオ要素８Ｅの検証には、第１の試験における第１シナリオ要素６Ｅの検証で用いられる第１正解データ７Ａの利用が可能であり、第２の試験における第１シナリオ要素８Ｅのために、図１５に示す第１正解データ９Ａを別途用意する必要は無い。さらに述べると、第２の試験における第１シナリオ要素８Ｅは、第１の試験における第１シナリオ要素６Ｅに置換え可能である。
Therefore, for the verification of the
これに対し、第１の試験における第２シナリオ要素６Ｆの操作記述６５、第２の試験における第２シナリオ要素８Ｆの操作記述８５とでは、対象プログラム１１に操作を加える前の状態は同じであり、いずれも図７に示す初期画面５０が表示されているが、対象プログラム１１に加える操作が異なるので、対象プログラム１１の動作結果および出力データは異なる。したがって、第１の試験における第２シナリオ要素６Ｆの検証記述６５による検証必要な正解データ７Ａと、第２の試験における第２シナリオ要素８Ｆの検証記述８５による検証に必要な正解データ９Ｂとは、内容が異なるので、別々に必要である。
On the other hand, in the
以上のように、複数の試験シナリオ６０，８０におけるシナリオ要素の実行順および記述に着目することによって、正解データを共用することが可能になるので、作成すべき正解データの数を削減することができる。本実施の形態では、第１の試験および第２の試験における検証に用いる正解データとしては、３個の正解データを作成すればよく、１個の正解データを削減することができる。
As described above, by focusing on the execution order and description of the scenario elements in the plurality of
以上のように複数の試験シナリオにおいて正解データを共用するために、本実施の形態では、以下のようにしてシナリオ構成情報を作成して試験シナリオ管理手段１３に保持する。図１６は、シナリオ構成情報の作成処理の手順を示すフローチャートである。図１６に示すフローチャートの各処理は、試験シナリオ管理手段１３によって実行される。ここでは、図１６に示すフローチャートの各処理が実行される前は、前述の図８〜図１０に示す第１の試験の試験シナリオである第１試験シナリオ６０およびそのシナリオ構成情報が試験シナリオ管理手段１３に登録されている状態であり、この状態から前述の図１２および図１４に示す第２の試験の試験シナリオである第２試験シナリオ８０を試験シナリオ管理手段１３に追加する処理を考える。図１６に示すフローチャートの処理は、使用者が不図示の試験シナリオ作成部で試験シナリオを作成し、試験シナリオを試験シナリオ管理手段１３に登録する指示を入力することによって、試験シナリオの登録指令が試験シナリオ管理手段１３に与えられると開始され、ステップａ１に移行する。試験シナリオ作成部については後述する。
As described above, in order to share correct answer data in a plurality of test scenarios, in the present embodiment, scenario configuration information is created and held in the test scenario management means 13 as follows. FIG. 16 is a flowchart showing a procedure of scenario configuration information creation processing. Each process of the flowchart shown in FIG. 16 is executed by the test scenario management means 13. Here, before each process of the flowchart shown in FIG. 16 is executed, the
ステップａ１では、試験シナリオ管理手段１３は、不図示の試験シナリオ作成部で使用者によって作成されて入力された試験シナリオを、登録すべき試験シナリオとして取得し、ステップａ２に移行する。前述の第２試験シナリオ８０を追加する処理の場合は、ステップａ１において第２試験シナリオ８０が取得される。
In step a1, the test scenario management means 13 acquires the test scenario created and input by the user in a test scenario creation unit (not shown) as a test scenario to be registered, and proceeds to step a2. In the case of the process of adding the
ステップａ２では、試験シナリオ管理手段１３は、既に試験シナリオ管理手段１３に試験シナリオがあるか否か、すなわち既に試験シナリオ管理手段１３で管理されている試験シナリオがあるか否かを判断し、試験シナリオがあると判断するとステップａ３に移行し、試験シナリオがないと判断するとステップａ７に移行する。前述の第２試験シナリオ８０を追加する処理の場合は、既に第１試験シナリオ６０が試験シナリオ管理手段１３で管理されているので、ステップａ２において試験シナリオがあると判断されて、ステップａ３に移行する。
In step a2, the test scenario management means 13 determines whether or not there is already a test scenario in the test scenario management means 13, that is, whether or not there is a test scenario already managed by the test scenario management means 13. If it is determined that there is a scenario, the process proceeds to step a3. If it is determined that there is no test scenario, the process proceeds to step a7. In the case of the process of adding the
ステップａ３では、試験シナリオ管理手段１３は、ステップａ１において取得した試験シナリオのシナリオ要素と、ステップａ２において既に試験シナリオ管理手段１３にある試験シナリオとして検出された試験シナリオ（以下「既存の試験シナリオ」という場合がある）のシナリオ要素とを取出し、ステップａ４に移行する。図１６に示すフローチャートの処理が開始されてから最初にステップａ３が実行される場合は、ステップａ１において取得された試験シナリオの先頭のシナリオ要素と、既存の試験シナリオの先頭のシナリオ要素とが取出される。前述の第２試験シナリオ８０を追加する処理では、ステップａ１において第２試験シナリオ８０が取得され、ステップａ２において第１試験シナリオ６０が検出されるので、ステップａ３では、第２試験シナリオ８０の先頭の試験シナリオである第１シナリオ要素８Ａと、第１試験シナリオ６０の先頭のシナリオ要素である第１シナリオ要素６Ａとが取出される。
In step a3, the test scenario management means 13 detects the test scenario scenario element acquired in step a1 and the test scenario already detected in the test scenario management means 13 in step a2 (hereinafter referred to as “existing test scenario”). The scenario element is taken out and the process proceeds to step a4. When step a3 is first executed after the processing of the flowchart shown in FIG. 16 is started, the first scenario element of the test scenario acquired in step a1 and the first scenario element of the existing test scenario are extracted. Is done. In the process of adding the
ステップａ４では、試験シナリオ管理手段１３は、ステップａ１において取得した試験シナリオからステップａ３において取出したシナリオ要素の出現順序と、既存の試験シナリオからステップａ３において取出したシナリオ要素の出現順序とが同じであるか否かを判断する。試験実行手段１２は、ステップａ３において取出した２個のシナリオ要素の識別子を比較して、識別子が等しいか否かを判断することによって、シナリオ要素の出現順序が同じであるか否かを判断する。試験実行手段１２は、ステップａ３において取出した２個のシナリオ要素の識別子が等しいと判断すると、シナリオ要素の出現順序が同じであると判断してステップａ５に移行し、ステップａ３において取出した２個のシナリオ要素の識別子が等しくないと判断すると、シナリオ要素の出現順序が同じでないと判断してステップａ７に移行する。 In step a4, the test scenario management means 13 has the same appearance order of the scenario elements extracted in step a3 from the test scenario acquired in step a1 and the appearance order of the scenario elements extracted in step a3 from the existing test scenario. Judge whether there is. The test execution means 12 compares the identifiers of the two scenario elements extracted in step a3, and determines whether the identifiers are equal, thereby determining whether the appearance order of the scenario elements is the same. . When the test execution means 12 determines that the identifiers of the two scenario elements extracted in step a3 are equal, the test execution means 12 determines that the appearance order of the scenario elements is the same and proceeds to step a5, and the two extracted in step a3. If the identifiers of the scenario elements are not equal, it is determined that the appearance order of the scenario elements is not the same, and the process proceeds to step a7.
前述の第２試験シナリオ８０を追加する処理の場合、ステップａ４では、第２試験シナリオ８０の第１シナリオ要素８Ａの識別子と、第１試験シナリオ６０の第１シナリオ要素６Ａの識別子とが比較される。図８および図１２に示すように、第２試験シナリオ８０の第１シナリオ要素８Ａの識別子は「１００」であり、第１試験シナリオ６０の第１シナリオ要素６Ａの識別子は「１００」であるので、ステップａ４では、２個のシナリオ要素の識別子が等しいと判断されて、シナリオ要素の出現順序が同じであると判断され、ステップａ５に移行する。
In the case of the process of adding the
ステップａ５では、試験シナリオ管理手段１３は、ステップａ３において取出した２個のシナリオ要素を共通して管理するために、ステップａ４において出現順序が同じであると判断したシナリオ要素に共通の節番号を付加する。具体的には、試験シナリオ管理手段１３は、ステップａ１において取得した試験シナリオからステップａ３において取出したシナリオ要素に、節番号として、既存の試験シナリオからステップａ３において取出したシナリオ要素のシナリオ構成情報における節番号と同じ節番号を付加する。前述の第２試験シナリオ８０を追加する処理の場合は、ステップａ５において、第２試験シナリオ８０の第１シナリオ要素８Ａに、節番号として、第１試験シナリオ６０の第１シナリオ要素のシナリオ構成情報における節番号である「６０＿１００」が付加されている。このようにして節番号が付加されると、ステップａ６に移行する。
In step a5, the test scenario management means 13 manages the two scenario elements extracted in step a3 in common, so that a common node number is assigned to the scenario elements determined to have the same appearance order in step a4. Append. Specifically, the test scenario management means 13 uses the scenario element extracted in step a3 from the test scenario acquired in step a1 as the section number in the scenario configuration information of the scenario element extracted in step a3 from the existing test scenario. Add the same section number as the section number. In the case of the process of adding the
ステップａ６では、試験シナリオ管理手段１３は、ステップａ１において取得した試験シナリオに、ステップａ３において取出したシナリオ要素に続くシナリオ要素が存在するか否かを判断する。試験シナリオ管理手段１３は、続くシナリオ要素が存在すると判断するとステップａ３に戻り、続くシナリオ要素が存在しないと判断すると全ての処理手順を終了する。前述の第２試験シナリオ８０を追加する処理の場合、第２試験シナリオ８０には第２シナリオ要素８Ｂが存在するので、ステップａ３に戻る。
In step a6, the test scenario management means 13 determines whether or not a scenario element following the scenario element extracted in step a3 exists in the test scenario acquired in step a1. If the test scenario management means 13 determines that there is a subsequent scenario element, it returns to step a3, and if it determines that there is no subsequent scenario element, it ends all processing procedures. In the case of the process of adding the
ステップａ３に戻ると、試験シナリオ管理手段１３は、ステップａ１において取得した試験シナリオおよびステップａ２において検出した既存の試験シナリオから、前回のステップａ３における処理で取出されたシナリオ要素に続くシナリオ要素、すなわち前回取出されたシナリオ要素の次に記述されたシナリオ要素を取出し、ステップａ４に移行する。前述の第２試験シナリオ８０を追加する処理の場合、第２試験シナリオ８０の第２シナリオ要素８Ｂと、第１試験シナリオ６０の第２シナリオ要素６Ｂとが取出され、ステップａ４に移行する。ステップａ４では、図８および図１２に示すように、第２試験シナリオ８０の第２シナリオ要素８Ｂの識別子は「２１０」であり、第１試験シナリオ６０の第２シナリオ要素６Ｂの識別子は「２００」であるので、シナリオ要素の出現順序が同じでないと判断され、ステップａ７に移行する。
Returning to step a3, the test scenario management means 13 is a scenario element following the scenario element extracted by the process in the previous step a3 from the test scenario acquired in step a1 and the existing test scenario detected in step a2, that is, The scenario element described next to the previously extracted scenario element is taken out, and the process proceeds to step a4. In the case of the process of adding the
ステップａ３において、既存の試験シナリオに、前回のステップａ３における処理で取出されたシナリオ要素に続くシナリオ要素が存在しない場合には、ステップａ１において取得した試験シナリオのみから、続くシナリオ要素が取出され、ステップａ４に移行する。この場合、ステップａ４では、シナリオ要素の出現順序が同じでないと判断されて、ステップａ７に移行する。 In step a3, when there is no scenario element following the scenario element extracted in the process in the previous step a3 in the existing test scenario, the subsequent scenario element is extracted only from the test scenario acquired in step a1, The process proceeds to step a4. In this case, in step a4, it is determined that the appearance order of the scenario elements is not the same, and the process proceeds to step a7.
ステップａ７では、ステップａ１において取得した試験シナリオのシナリオ要素のうち、シナリオ構成情報に含まれていないシナリオ要素に節番号を付加して、シナリオ構成情報に追加する。前述の第２試験シナリオ８０を追加する処理の場合、第２試験シナリオ８０の第２シナリオ要素８Ｂに、節番号として「８０＿２１０」を付加し、シナリオ構成情報における節「１００」の後に追加する。このようにして節番号を付加してシナリオ構成情報にシナリオ要素を追加すると、全ての処理手順を終了する。
In step a7, a node number is added to the scenario elements that are not included in the scenario configuration information among the scenario elements of the test scenario acquired in step a1, and added to the scenario configuration information. In the process of adding the
図１７は、図１６に示すフローチャートの処理によって作成されるシナリオ構成情報１２０の一例を示す図である。前述の図１２に示す第２試験シナリオ８０を追加する場合、図１６に示すフローチャートの処理によって、第１試験シナリオ６０および第２試験シナリオ８０のシナリオ構成情報として、図１７に示す木構造、すなわちツリー構造を有するシナリオ構成情報１２０が作成され、試験シナリオ管理手段１３によって保持される。
FIG. 17 is a diagram showing an example of the scenario configuration information 120 created by the processing of the flowchart shown in FIG. When the
図１８は、図１７に示すシナリオ構成情報１２０を用いて作成された第２試験シナリオ１１０を示す図である。図１８に示す第２試験シナリオ１１０は、前述の図１４に示す第２試験シナリオ８０と同様に、２個のシナリオ要素６Ｅ，１１Ｆ、すなわち第１シナリオ要素６Ｅおよび第２シナリオ要素１１Ｆを備えて構成される。
FIG. 18 is a diagram showing a
図１２に示す第２試験シナリオ８０の第１シナリオ要素８Ａの節番号は、図１７に示すように、第１試験シナリオ６０の第１シナリオ要素６Ａと同じ「６０＿１００」である。したがって、図１８に示す第２試験シナリオ１１０の第１シナリオ要素６Ｅは、前述の図１０に示す第１試験シナリオ６０の第１シナリオ要素６Ｅと同一となる。また図１２に示す第１試験シナリオ８０の第２シナリオ要素８Ｂの節番号は、図１７に示すように、第１試験シナリオ６０の第２シナリオ要素６Ｂとは異なり、「６０＿１００−８０＿２１０」である。したがって、図１８に示す第２試験シナリオ１１０の第２シナリオ要素１１Ｆには、識別子１１４として「６０＿１００−８０＿２１０」が記述される。
The node number of the
図１９は、第１の試験および第２の試験に必要な正解データの一例を示す図である。図１７に示す木構造のシナリオ構成情報１２０が試験シナリオ管理手段１３に保持されている場合、第１の試験および第２の試験では、図１９に示すように、３個の正解データ１２Ａ〜１２Ｃがあればよい。図１９に示す３個の正解データ１２Ａ〜１２Ｃのうち、正解データ識別子として「６０＿１００」が付された第１正解データ１２Ａは、前述の図１１に示す第１正解データ７Ａと同じであり、第１および第２の試験で利用される。
FIG. 19 is a diagram illustrating an example of correct answer data necessary for the first test and the second test. When the tree-structure scenario configuration information 120 shown in FIG. 17 is held in the test scenario management means 13, in the first test and the second test, as shown in FIG. 19, three pieces of
正解データ識別子として「６０＿１００−６０＿２００」が付された第２正解データ１２Ｂは、前述の図１１に示す第２正解データ７Ｂと同じであり、第１の試験で利用される。正解データ識別子として「６０＿１００−８０＿２１０」が付された第３正解データ１２Ｃは、前述の図１５に示す第２正解データ９Ｂの正解データ識別子を、第２試験シナリオ８０の第２シナリオ要素８Ｂの節番号「６０＿１００−８０＿２１０に書換えたものであり、第２の試験で利用される。このように本実施の形態によれば、図１１および図１５に示す４個の正解データ７Ａ，７Ｂ，９Ａ，９Ｂから、１個の正解データを削減することができる。
The second
以上のように本実施の形態によれば、試験シナリオ管理手段１３は、試験シナリオにおけるシナリオ要素の先頭からの出現順序に基づいて試験シナリオを管理する。具体的には、試験シナリオ管理手段１３は、共通のシナリオ要素を含み、かつ共通のシナリオ要素の出現順序が一致する複数の試験シナリオを管理するときには、複数の試験シナリオ間におけるシナリオ要素の内容の一致を検出し、内容が一致するシナリオ要素を示すシナリオ構成情報で試験シナリオを管理する。
As described above, according to the present embodiment, the test
この場合、結果判定手段１６では、共通のシナリオ要素の各シナリオ要素に対応する正解データとして同じ正解データを用いて、対象プログラム１１からの出力データとの比較を行う。これによって、正解データを共用することができ、複数の試験シナリオ間で共通のシナリオ要素に対しては、正解保持手段１７で別個に正解データを保持しておく必要がないので、正解保持手段によって保持しておくべき正解データの数を削減することができる。したがって、正解データの作成数および作成に要する作業時間を低減することができるので、対象プログラムに対する試験の数が増えた場合でも、時間および労力をかけることなく、低コストでソフトウェア試験の構築および維持を実現することができる。
In this case, the result determination means 16 performs comparison with the output data from the
以上のように試験シナリオ管理手段１３は、試験シナリオ管理手段１３に複数の試験シナリオが格納されたとき、複数の試験シナリオ間でシナリオ要素の内容および出現順序に重複がある場合は、重複するシナリオ要素を一つにまとめて管理するシナリオ構成情報を作成する。次に、シナリオ構成情報のより詳細な作成方法について、図２０〜図２５を用いて説明する。
As described above, when a plurality of test scenarios are stored in the test
図２０は、試験シナリオ管理手段１３の管理対象となる試験シナリオ１３Ａ〜１３Ｃを示す図である。図２０において、識別子の記号は、シナリオ要素の違いを表しており、識別子の記号が同じ場合は、同じシナリオ要素を表し、識別子の記号が異なる場合は、異なるシナリオ要素を表している。図２１は、試験シナリオ管理手段１３が保持するシナリオ構成情報１４０を示す図である。本実施の形態では、試験シナリオにおけるシナリオ構成情報の構造が、図２１に示すシナリオ構成情報１４０のように、木構造を成すものとして説明する。図２２は、図２１に示すシナリオ構成情報１４０の各節に付加された節番号を示す図である。図２３〜２５は、図２０に示す試験シナリオ１３Ａ〜１３Ｃを一つずつシナリオ構成情報１４０に登録する処理の手順を示すフローチャートである。図２３〜図２５に示すフローチャートの各処理は、試験シナリオ管理手段１３によって実行される。
FIG. 20 is a diagram showing
図２３〜２５に示すフローチャートの各処理が実行される前の状態は、図２１に示すシナリオ構成情報１４０が空の状態であり、不図示のシナリオ要素作成部で作成されたシナリオ要素がシナリオ要素保持手段１４に格納され、不図示の正解データ作成部で作成された正解データが正解保持手段１７に格納されている状態であるとする。 The state before each process of the flowcharts shown in FIGS. 23 to 25 is executed is the scenario configuration information 140 shown in FIG. 21 being empty, and the scenario element created by the scenario element creation unit (not shown) is the scenario element. It is assumed that correct data stored in the holding means 14 and created by a correct data creation unit (not shown) is stored in the correct answer holding means 17.
ここで、不図示のシナリオ要素作成部とは、シナリオ要素保持手段１４に保持するシナリオ要素を作成するものである。また、不図示の正解データ作成部とは、正解保持手段１７に保持する正解データを作成するものである。シナリオ要素作成部および正解データ作成部は、たとえば、キーボードまたはマウスによって実現される。シナリオ要素および正解データの作成方法としては、たとえば、キーボードまたはマウスなどによって実現されるシナリオ要素作成部または正解データ作成部を使用し、モニタ画面で確認しながらシナリオ要素または正解データを作成する方法、およびテキストエディタを起動し、キーボードから文字を入力して、シナリオ要素または正解データを作成する方法などが考えられる。 Here, the scenario element creation unit (not shown) creates a scenario element to be held in the scenario element holding means 14. The correct data creation unit (not shown) creates correct data to be held in the correct holding means 17. The scenario element creation unit and the correct answer data creation unit are realized by, for example, a keyboard or a mouse. As a method of creating scenario elements and correct answer data, for example, a scenario element creating part or correct answer creating part realized by a keyboard or a mouse is used, and a scenario element or correct answer data is created while checking on a monitor screen, A method of creating a scenario element or correct data by starting a text editor and inputting characters from a keyboard can be considered.
図２３〜図２５に示すフローチャートの処理は、使用者が不図示の試験シナリオ作成部で試験シナリオを作成し、試験シナリオ管理手段１３へ登録するときに実行される。ここで、不図示の試験シナリオ作成部とは、試験シナリオ管理手段１３で管理する試験シナリオを作成するものであり、たとえば、キーボードまたはマウスによって実現される。試験シナリオの作成方法としては、たとえば、キーボードまたはマウスなどによって実現される試験シナリオ作成部を使用し、シナリオ要素保持手段１４によって保持される試験シナリオを構成するシナリオ要素を組み合わせ、モニタ画面で確認しながら試験シナリオを作成する方法、およびテキストエディタを起動し、キーボードから文字を入力して試験シナリオを作成する方法などが考えられる。 The processing of the flowcharts shown in FIGS. 23 to 25 is executed when the user creates a test scenario by a test scenario creation unit (not shown) and registers it in the test scenario management means 13. Here, the test scenario creation unit (not shown) creates a test scenario managed by the test scenario management means 13, and is realized by, for example, a keyboard or a mouse. As a test scenario creation method, for example, a test scenario creation unit realized by a keyboard or a mouse is used, and scenario elements constituting the test scenario held by the scenario element holding means 14 are combined and confirmed on the monitor screen. A method of creating a test scenario while starting a text editor and inputting characters from a keyboard can be considered.
図２３〜図２５に示すフローチャートの処理は、使用者が試験シナリオ作成部で試験シナリオを作成し、作成した試験シナリオを試験シナリオ管理手段１３に登録する指示を入力することによって、試験シナリオの登録指令が試験シナリオ管理手段１３に与えられると開始され、ステップｂ１に移行する。 The process of the flowcharts shown in FIGS. 23 to 25 is performed by registering a test scenario by the user creating a test scenario in the test scenario creating unit and inputting an instruction to register the created test scenario in the test scenario management means 13. When the command is given to the test scenario management means 13, it is started and the process proceeds to step b1.
ステップｂ１では、試験シナリオ管理手段１３は、不図示の試験シナリオ作成部で使用者によって作成されて入力された試験シナリオ１３Ａを、登録すべき試験シナリオとして取得し、ステップｂ２に移行する。本実施の形態では、図２０に示す３つの試験シナリオ１３Ａ〜１３Ｃ、すなわち第１試験シナリオ１３Ａ、第２試験シナリオ１３Ｂおよび第３試験シナリオ１３Ｃが作成されて入力されるものとする。また第１〜第３試験シナリオ１３Ａ〜１３Ｃのうち、ステップｂ１では、第１試験シナリオ１３Ａが取得されるものとする。ステップｂ１は、前述の図１６に示すフローチャートのステップａ１に相当する。
In step b1, the test scenario management means 13 acquires the
ステップｂ２では、試験シナリオ管理手段１３は、試験シナリオ管理手段１３が保持するシナリオ構成情報に、既に登録されている試験シナリオがあるか否かを判断し、あると判断すると図２４のステップｃ１に移行し、ないと判断するとステップｂ３に移行する。本実施の形態では、シナリオ構成情報は空である、すなわちシナリオ構成情報には試験シナリオが登録されていないので、ステップｂ３に移行する。ステップｂ２は、前述の図１６に示すフローチャートのステップａ２に相当する。
In step b2, the test
ステップｂ３では、試験シナリオ管理手段１３は、ステップｂ１において取得した登録すべき試験シナリオの先頭のシナリオ要素の識別子を取出し、ステップｂ４に移行する。本実施の形態では、ステップｂ１において図２０に示す第１試験シナリオ１３Ａが取得されるので、ステップｂ３では、第１試験シナリオ１３Ａの第１シナリオ要素１３０の識別子「ａ」が取出され、ステップｂ４に移行する。
In step b3, the test scenario management means 13 takes out the identifier of the first scenario element of the test scenario to be registered acquired in step b1, and proceeds to step b4. In the present embodiment, since the
ステップｂ４では、試験シナリオ管理手段１３は、ステップｂ３において取出したシナリオ要素の識別子に基づいて、そのシナリオ要素の節に節番号を付加して、シナリオ構成情報に節を登録する。本実施の形態では、ステップｂ３において取出された第１シナリオ要素１３０の識別子「ａ」から、この第１シナリオ要素１３０の節「ａ」の節番号を「１３Ａ＿ａ」とし、シナリオ構成情報に節「ａ」を格納する。このようにして節および節番号を登録した後、ステップｂ５に移行する。
In step b4, the test scenario management means 13 adds a section number to the section of the scenario element based on the scenario element identifier extracted in step b3, and registers the section in the scenario configuration information. In the present embodiment, from the identifier “a” of the
ステップｂ５では、試験シナリオ管理手段１３は、ステップｂ１において取得した試験シナリオに、取出していないシナリオ要素が存在するか否かを判断し、存在すると判断するとステップｂ３に戻り、存在しないと判断するとステップｂ６に移行する。本実施の形態では、ステップｂ１において取得された第１試験シナリオ１３Ａには、図２０に示すように、取出していないシナリオ要素として、第２シナリオ要素１３１および第３シナリオ要素１３２が残っているので、ステップｂ３に戻る。ステップｂ３〜ステップｂ５は、前述の図１６に示すフローチャートの処理において、ステップａ２から移行した場合のステップａ７に相当する。
In step b5, the test scenario management means 13 determines whether or not a scenario element that has not been extracted exists in the test scenario acquired in step b1, and returns to step b3 if it is determined that it exists, Move to b6. In the present embodiment, as shown in FIG. 20, the
ステップｂ５からステップｂ３に戻ると、試験シナリオ管理手段１３は、ステップｂ１において取得した登録すべき試験シナリオから、前回のステップｂ３における処理で取出したシナリオ要素の次に記述されたシナリオ要素の識別子を取出し、ステップｂ４に移行する。本実施の形態では、図２０に示す第１試験シナリオ１３Ａの第２シナリオ要素１３１の識別子「ｂ」が取出され、ステップｂ４に移行する。ステップｂ４では、ステップｂ３において取出した識別子「ｂ」から、節「ｂ」に節番号が付加され、シナリオ構成情報に登録される。第２シナリオ要素１３１の節「ｂ」は、第１シナリオ要素１３０の節「ａ」に続く節であるので、節「ｂ」には、節番号として、「１３Ａ＿ａ−１３Ａ＿ｂ」が付加され、シナリオ構成情報の節「ａ」に続けて節「ｂ」が格納される。このようにして節および節番号を登録した後、ステップｂ５に移行する。
When returning from step b5 to step b3, the test scenario management means 13 obtains the identifier of the scenario element described next to the scenario element extracted in the process in the previous step b3 from the test scenario to be registered acquired in step b1. Take out and go to step b4. In the present embodiment, the identifier “b” of the
ステップｂ５では、前述のようにして、ステップｂ１において取得された試験シナリオに、取出していない試験シナリオが存在するか否かが判断される。本実施の形態では、ステップｂ１において取得された第１試験シナリオ１３Ａには、図２０に示すように、取出していないシナリオ要素として、第３シナリオ要素１３２が残っていることが検出されるので、再びステップｂ３に戻る。
In step b5, as described above, it is determined whether or not a test scenario that has not been taken out exists in the test scenario acquired in step b1. In the present embodiment, as shown in FIG. 20, it is detected that the
ステップｂ３に再び戻ると、試験シナリオ管理手段１３は、ステップｂ１において取得した試験シナリオから、前回のステップｂ３における処理で取出したシナリオ要素の次に記述されたシナリオ要素の識別子を取出し、ステップｂ４に移行する。本実施の形態では、ステップｂ３において、図２０に示す第１試験シナリオ１３Ａの第３シナリオ要素１３２の識別子「ｃ」が取出される。ステップｂ４では、ステップｂ３において取出した識別子「ｃ」から、節「ｃ」に節番号が付加され、シナリオ構成情報に登録される。第３シナリオ要素１３２の節「ｃ」は、第２シナリオ要素１３１の節「ｂ」に続く節であるので、節「ｃ」には、節番号として、「１３Ａ＿ａ−１３Ａ＿ｂ−１３Ａ＿ｃ」が付加され、シナリオ構成情報の節「ｂ」に続けて節「ｃ」が格納される。このようにして節を登録した後、ステップｂ５に移行する。
When returning to step b3 again, the test scenario management means 13 takes out the identifier of the scenario element described next to the scenario element extracted in the process in the previous step b3 from the test scenario acquired in step b1, and returns to step b4. Transition. In the present embodiment, in step b3, the identifier “c” of the
ステップｂ５では、前述のようにして、ステップｂ１において取得された試験シナリオに、取出していない試験シナリオが存在するか否かが判断される。本実施の形態では、ステップｂ１において取得された第１試験シナリオ１３Ａに含まれる第１〜第３シナリオ要素１３０〜１３２は全て取出されており、取出していないシナリオ要素は無いので、ステップｂ６に移行する。
In step b5, as described above, it is determined whether or not a test scenario that has not been taken out exists in the test scenario acquired in step b1. In the present embodiment, since all the first to
ステップｂ６では、試験シナリオ管理手段１３は、入力された試験シナリオを全て登録したか否かを判断する。試験シナリオ管理手段１３は、入力された試験シナリオを全て登録した、すなわち登録すべき試験シナリオは存在しないと判断すると全ての処理手順を終了し、入力された試験シナリオを全ては登録していない、すなわち登録していない試験シナリオが存在すると判断するとステップｂ１に戻る。本実施の形態では、図２０に示す第２試験シナリオ１３Ｂおよび第３試験シナリオ１３Ｃが残っているので、ステップｂ１に戻る。 In step b6, the test scenario management means 13 determines whether or not all the input test scenarios have been registered. When the test scenario management means 13 has registered all the input test scenarios, that is, when it is determined that there is no test scenario to be registered, it ends all processing procedures and does not register all the input test scenarios. That is, if it is determined that there is an unregistered test scenario, the process returns to step b1. In the present embodiment, since the second test scenario 13B and the third test scenario 13C shown in FIG. 20 remain, the process returns to step b1.
ステップｂ１に戻ると、試験シナリオ管理手段１３は、前回のステップｂ１における処理で取得した試験シナリオの次に記述された試験シナリオを取得し、ステップｂ２に移行する。本実施の形態では、図２０に示す第２試験シナリオ１３Ｂが取出され、ステップｂ２に移行する。 Returning to step b1, the test scenario management means 13 acquires the test scenario described next to the test scenario acquired in the previous processing in step b1, and proceeds to step b2. In the present embodiment, the second test scenario 13B shown in FIG. 20 is taken out, and the process proceeds to step b2.
ステップｂ２では、前述のようにして、試験シナリオ管理手段１３が保持するシナリオ構成情報に、既に登録されている試験シナリオがあるか否かが判断される。本実施の形態では、既に第１試験シナリオ１３Ａがシナリオ構成情報に存在するので、図２４のステップｃ１に移行する。
In step b2, as described above, it is determined whether or not there is a test scenario already registered in the scenario configuration information held by the test scenario management means 13. In the present embodiment, since the
図２３のステップｂ２から図２４のステップｃ１に移行すると、試験シナリオ管理手段１３は、図２３のステップｂ１で取得した、登録すべき試験シナリオの先頭のシナリオ要素である第１シナリオ要素の識別子を取出し、ステップｃ２に移行する。本実施の形態では、図２３のステップｂ１において第２試験シナリオ１３Ｂが取得されるので、ステップｃ１では、図２０に示す第２試験シナリオ１３Ｂの先頭のシナリオ要素である第１シナリオ要素１３３の識別子「ａ」が取出され、ステップｃ２に移行する。 When the process proceeds from step b2 in FIG. 23 to step c1 in FIG. 24, the test scenario management means 13 obtains the identifier of the first scenario element, which is the first scenario element of the test scenario to be registered, acquired in step b1 in FIG. Take out and go to step c2. In the present embodiment, since the second test scenario 13B is acquired in step b1 of FIG. 23, in step c1, the identifier of the first scenario element 133 that is the first scenario element of the second test scenario 13B shown in FIG. “A” is taken out and the process proceeds to step c2.
ステップｃ２では、試験シナリオ管理手段１３は、シナリオ構成情報に既に存在する試験シナリオである既存の試験シナリオを取出し、ステップｃ３に移行する。本実施の形態では、シナリオ構成情報には、第１試験シナリオ１３Ａが存在するので、ステップｃ２では、既存の試験シナリオとして、第１試験シナリオ１３Ａが取出され、ステップｃ３に移行する。
In step c2, the test scenario management means 13 takes out an existing test scenario that is a test scenario that already exists in the scenario configuration information, and proceeds to step c3. In the present embodiment, since the
ステップｃ３では、試験シナリオ管理手段１３は、ステップｃ２において取出した試験シナリオの最初の節、すなわち先頭のシナリオ要素である第１シナリオ要素の識別子を取出し、ステップｃ４に移行する。本実施の形態では、第１試験シナリオ１３Ａの最初の節である第１の節、すなわち先頭のシナリオ要素である第１シナリオ要素１３０の識別子「ａ」が取出され、ステップｃ４に移行する。ステップｃ１〜ステップｃ３は、前述の図１６に示すフローチャートのステップａ３に相当する。
In step c3, the test scenario management means 13 takes out the first clause of the test scenario taken out in step c2, that is, the identifier of the first scenario element which is the first scenario element, and proceeds to step c4. In the present embodiment, the first clause that is the first clause of the
ステップｃ４では、試験シナリオ管理手段１３は、ステップｃ１において取出した登録すべき試験シナリオの第１シナリオ要素の識別子と、ステップｃ３において取出した既存の試験シナリオの第１シナリオ要素の識別子とを比較して、２つの識別子が一致するか否かを判断する。試験シナリオ管理手段１３は、２つの識別子が一致すると判断すると図２５のステップｄ１に移行し、一致しないと判断するとステップｃ５に移行する。本実施の形態では、ステップｃ１において取出された第２試験シナリオ１３Ｂの第１シナリオ要素１３３の識別子と、ステップｃ３において取出された第１試験シナリオ１３Ａの第１シナリオ要素１３０の識別子とは、「ａ」で一致するので、図２５のステップｄ１に移行する。複数のシナリオ要素間で識別子が一致することは、そのシナリオ要素同士が一致することを意味する。ステップｃ４は、前述の図１６に示すフローチャートのステップａ４に相当する。
In step c4, the test scenario management means 13 compares the identifier of the first scenario element of the test scenario to be registered extracted in step c1 with the identifier of the first scenario element of the existing test scenario extracted in step c3. Then, it is determined whether or not the two identifiers match. If the test scenario management means 13 determines that the two identifiers match, the test scenario management means 13 proceeds to step d1 in FIG. 25, and if it does not match, the test scenario management means 13 proceeds to step c5. In the present embodiment, the identifier of the first scenario element 133 of the second test scenario 13B extracted in step c1 and the identifier of the
ステップｄ１では、試験シナリオ管理手段１３は、シナリオ構成情報に対して、図２３のステップｂ１において取得した登録すべき試験シナリオの第１シナリオ要素における節番号の付加および節の登録を行う。前述のように、登録すべき試験シナリオの第１シナリオ要素の識別子と、既存の試験シナリオの第１シナリオ要素の識別子とは、図２４のステップｃ４において一致すると判断されている。したがって、ステップｄ１では、試験シナリオ管理手段１３は、登録すべき試験シナリオの第１シナリオ要素の節および節番号に、既存の試験シナリオの第１シナリオ要素の節および節番号をそれぞれ割当て、シナリオ構成情報に格納する。 In step d1, the test scenario management means 13 adds a section number and registers a section in the first scenario element of the test scenario to be registered acquired in step b1 of FIG. 23 for the scenario configuration information. As described above, it is determined that the identifier of the first scenario element of the test scenario to be registered matches the identifier of the first scenario element of the existing test scenario in step c4 of FIG. Accordingly, in step d1, the test scenario management means 13 assigns the section and section number of the first scenario element of the existing test scenario to the section and section number of the first scenario element of the test scenario to be registered, respectively. Store in information.
本実施の形態では、ステップｄ１において、シナリオ構成情報に対して、第２試験シナリオ１３Ｂの第１シナリオ要素１３３における節番号の付加および節の登録が行われる。前述の図２４のステップｃ５では、第２試験シナリオ１３Ｂの第１シナリオ要素１３３は、シナリオ構成情報で管理されている第１試験シナリオ１３Ａの第１シナリオ要素１３０と一致すると判断されている。したがって、ステップｄ１では、第２試験シナリオ１３Ｂの第１シナリオ要素１３３の節に、第１試験シナリオ１３Ａの第１シナリオ要素１３０の節「ａ」が割当てられ、節番号に、第１試験シナリオ１３Ａの第１シナリオ要素１３０の節番号「１３Ａ＿ａ」が割当てられ、シナリオ構成情報に格納される。このようにして節および節番号を割当ててシナリオ構成情報に登録すると、ステップｄ２に移行する。
In the present embodiment, in step d1, the node number is added and the node is registered in the first scenario element 133 of the second test scenario 13B with respect to the scenario configuration information. In step c5 of FIG. 24 described above, it is determined that the first scenario element 133 of the second test scenario 13B matches the
ステップｄ２では、試験シナリオ管理手段１３は、図２３のステップｂ５と同様にして、図２３のステップｂ１において取得した登録すべき試験シナリオに、取出していないシナリオ要素が存在するか否かを判断し、存在すると判断するとステップｄ３に移行し、存在しないと判断すると図２３のステップｂ６に移行する。本実施の形態では、図２３のステップｂ１において取得された第２試験シナリオ１３Ｂには、図２０に示すように、取出していないシナリオ要素として、第２シナリオ要素１３４および第３シナリオ要素１３５が残っているので、ステップｄ３に移行する。
In step d2, the test scenario management means 13 determines whether there is a scenario element that has not been extracted in the test scenario to be registered acquired in step b1 in FIG. 23, as in step b5 in FIG. If it is determined that it exists, the process proceeds to step d3, and if it does not exist, the process proceeds to step b6 in FIG. In the present embodiment, as shown in FIG. 20, the
ステップｄ３では、試験シナリオ管理手段１３は、図２３のステップｂ１において取得した登録すべき試験シナリオから、図２４のステップｃ１において取出したシナリオ要素に続く試験シナリオ、すなわちステップｃ１において取出したシナリオ要素の次に記述されたシナリオ要素の識別子を取出し、ステップｄ４に移行する。本実施の形態では、図２０に示す第２試験シナリオ１３Ｂの第２シナリオ要素１３４の識別子「ｂ」が取出され、ステップｄ４に移行する。
In step d3, the test scenario management means 13 obtains the test scenario following the scenario element extracted in step c1 of FIG. 24 from the test scenario to be registered acquired in step b1 of FIG. 23, that is, the scenario element extracted in step c1. Next, the identifier of the described scenario element is taken out, and the process proceeds to step d4. In the present embodiment, the identifier “b” of the
ステップｄ４では、試験シナリオ管理手段１３は、図２４のステップｃ２において取出した既存の試験シナリオに、図２４のステップｃ３において取出したシナリオ要素、すなわち第１シナリオ要素に続くシナリオ要素が存在するか否かを判断し、存在すると判断するとステップｄ５に移行し、存在しないと判断するとステップｄ８に移行する。本実施の形態では、ステップｄ４において、第１試験シナリオ１３Ａに、第１シナリオ要素１３０に続くシナリオ要素が存在するか否かが判断される。第１試験シナリオ１３Ａには、図２０に示すように、第１シナリオ要素１３０に続いて、第２シナリオ要素１３１が存在するので、ステップｄ４からステップｄ５に移行する。
In step d4, the test scenario management means 13 determines whether the scenario element extracted in step c3 of FIG. 24, that is, the scenario element following the first scenario element exists in the existing test scenario extracted in step c2 of FIG. If it is determined that it exists, the process proceeds to step d5, and if it is determined that it does not exist, the process proceeds to step d8. In the present embodiment, in step d4, it is determined whether or not a scenario element following the
ステップｄ５では、試験シナリオ管理手段１３は、図２４のステップｃ３と同様にして、図２４のステップｃ２において取出した既存の試験シナリオのうち、図２４のステップｃ３において取出した第１シナリオ要素に続くシナリオ要素の識別子を取出し、ステップｄ６に移行する。本実施の形態では、図２０に示す第１試験シナリオ１３Ａの第２シナリオ要素１３１の識別子「ｂ」が取出され、ステップｄ６に移行する。
In step d5, the test scenario management means 13 follows the first scenario element extracted in step c3 in FIG. 24 among the existing test scenarios extracted in step c2 in FIG. 24 in the same manner as in step c3 in FIG. The scenario element identifier is extracted, and the process proceeds to step d6. In the present embodiment, the identifier “b” of the
ステップｄ６では、試験シナリオ管理手段１３は、図２４のステップｃ４と同様にして、ステップｄ３において取出した登録すべき試験シナリオの第１シナリオ要素に続くシナリオ要素、すなわち第２シナリオ要素の識別子と、ステップｄ５において取出した既存の試験シナリオの第１シナリオ要素に続くシナリオ要素、すなわち第２シナリオ要素の識別子とを比較して、２つの識別子が一致するか否かを判断する。ステップｄ６において、試験シナリオ管理手段１３は、２つの識別子が一致すると判断するとステップｄ７に移行し、一致しないと判断するとステップｄ８に移行する。本実施の形態では、ステップｄ３において取出された第２試験シナリオ１３Ｂの第２シナリオ要素１３４の識別子と、ステップｄ５において取出された第１試験シナリオ１３Ａの第２シナリオ要素１３１の識別子とは、「ｂ」で一致するので、ステップｄ７に移行する。
In step d6, the test scenario management means 13 is the same as step c4 in FIG. 24, and the scenario element following the first scenario element of the test scenario to be registered extracted in step d3, that is, the identifier of the second scenario element, The scenario element following the first scenario element of the existing test scenario extracted in step d5, that is, the identifier of the second scenario element is compared to determine whether or not the two identifiers match. In step d6, the test scenario management means 13 proceeds to step d7 when determining that the two identifiers match, and proceeds to step d8 when determining that they do not match. In the present embodiment, the identifier of the
ステップｄ７では、試験シナリオ管理手段１３は、ステップｄ１と同様にして、図２３のステップｂ１において取得した登録すべき試験シナリオのうち、ステップｄ３において取出したシナリオ要素に節および節番号を付加して、シナリオ構成情報に格納する。具体的には、試験シナリオ管理手段１３は、ステップｄ３で取出した第２シナリオ要素の節および節番号に、ステップｄ５で取出した既存の試験シナリオの第１シナリオ要素に続く第２シナリオ要素の節および節番号をそれぞれ割当て、シナリオ構成情報に格納する。本実施の形態では、ステップｄ３において取出された第２試験シナリオ１３Ｂの第２シナリオ要素１３４の節および節番号に、ステップｄ５において取出された第１試験シナリオ１３Ａの第２シナリオ要素１３１の節「ｂ」および節番号「１３Ａ＿ａ−１３Ａ＿ｂ」がそれぞれ割当てられ、シナリオ構成情報に格納される。このようにして節および節番号を割当ててシナリオ構成情報に登録すると、ステップｄ２に戻る。
In step d7, the test scenario management means 13 adds a node and a node number to the scenario element extracted in step d3 among the test scenarios to be registered acquired in step b1 in FIG. 23, as in step d1. And stored in the scenario configuration information. Specifically, the test scenario management means 13 adds the second scenario element section that follows the first scenario element of the existing test scenario extracted in step d5 to the section and section number of the second scenario element extracted in step d3. And a section number are assigned and stored in the scenario configuration information. In the present embodiment, the section and the node number of the
ステップｄ２に戻ると、試験シナリオ管理手段１３は、図２３のステップｂ１において取得した登録すべき試験シナリオに、取出していないシナリオ要素が存在するか否かを再度判断し、存在すると判断するとステップｄ３に移行し、存在しないと判断すると図２３のステップｂ６に移行する。本実施の形態では、図２３のステップｂ１において取得された第２試験シナリオ１３Ｂには、図２０に示すように、取出していないシナリオ要素として、第３シナリオ要素１３５が残っているので、ステップｄ３に移行し、ステップｄ３において、第３シナリオ要素１３５の識別子「ｄ」が取出され、ステップｄ４に移行する。
Returning to step d2, the test scenario management means 13 determines again whether or not there is a scenario element that has not been taken out in the test scenario to be registered acquired in step b1 of FIG. If it is determined that it does not exist, the process proceeds to step b6 in FIG. In the present embodiment, as shown in FIG. 20, the
ステップｄ４では、試験シナリオ管理手段１３は、図２４のステップｃ２において取出した既存の試験シナリオに、前回のステップｄ５における処理で取出したシナリオ要素、すなわち第２シナリオ要素に続くシナリオ要素が存在するか否かを判断し、存在すると判断するとステップｄ５に移行し、存在しないと判断するとステップｄ８に移行する。本実施の形態では、ステップｄ４において、図２４のステップｃ２において取出した第１試験シナリオ１３Ａに、前回のステップｄ５における処理で取出した第２シナリオ要素１３１に続くシナリオ要素、すなわち第３シナリオ要素が存在するか否かが判断される。第１試験シナリオ１３Ａには、図２０に示すように、第２シナリオ要素１３１に続いて、第３シナリオ要素１３２が存在するので、ステップｄ４からステップｄ５に移行する。
In step d4, the test scenario management means 13 determines whether or not the existing test scenario extracted in step c2 in FIG. 24 includes a scenario element extracted in the process in the previous step d5, that is, a scenario element following the second scenario element. If it is determined that it is present, the process proceeds to step d5, and if it is determined that it does not exist, the process proceeds to step d8. In the present embodiment, in step d4, a scenario element following the
ステップｄ５では、試験シナリオ管理手段１３は、図２４のステップｃ３と同様にして、図２４のステップｃ２において取出した既存の試験シナリオのうち、前回のステップｄ５における処理で取出した第２シナリオ要素に続くシナリオ要素、すなわち第３シナリオ要素の識別子を取出し、ステップｄ６に移行する。本実施の形態では、図２０に示す第１試験シナリオ１３Ａの第３シナリオ要素１３２の識別子「ｃ」が取出され、ステップｄ６に移行する。
In step d5, the test scenario management means 13 uses the second scenario element extracted in the previous step d5 among the existing test scenarios extracted in step c2 in FIG. 24, in the same manner as in step c3 in FIG. The identifier of the subsequent scenario element, that is, the third scenario element is taken out, and the process proceeds to step d6. In the present embodiment, the identifier “c” of the
ステップｄ６では、図２４のステップｃ４と同様にして、ステップｄ３で取出した登録すべき試験シナリオの第２シナリオ要素に続く第３シナリオ要素の識別子と、ステップｄ５で取出した既存の試験シナリオの第２シナリオ要素に続く第３シナリオ要素の識別子とが一致するか否かを判断する。試験シナリオ管理手段１３は、２つの識別子が一致すると判断するとステップｄ７に移行し、一致しないと判断するとステップｄ８に移行する。本実施の形態では、ステップｄ３で取出された第２試験シナリオ１３Ｂの第３シナリオ要素１３５の識別子「ｄ」と、ステップｄ５で取出された第１試験シナリオ１３Ａの第３シナリオ要素１３２の識別子「ｃ」とが比較される。２つの識別子は一致しないので、ステップｄ８に移行する。
In step d6, as in step c4 of FIG. 24, the identifier of the third scenario element following the second scenario element of the test scenario to be registered extracted in step d3, and the number of existing test scenarios extracted in step d5. It is determined whether or not the identifier of the third scenario element following the two scenario elements matches. If it is determined that the two identifiers match, the test scenario management means 13 proceeds to step d7, and if it does not match, the test scenario management means 13 proceeds to step d8. In the present embodiment, the identifier “d” of the
ステップｄ８では、試験シナリオ管理手段１３は、図２３のステップｂ４と同様にして、ステップｄ３で取出したシナリオ要素の識別子に基づいて、そのシナリオ要素の節に節番号を付加して、シナリオ構成情報に登録する。本実施の形態では、ステップｄ３で取出された第２試験シナリオ１３Ｂの第３シナリオ要素１３５の節には、第３シナリオ要素１３５の識別子「ｄ」が用いられる。第３シナリオ要素１３５の節「ｄ」は、第２シナリオ要素１３４の節「ｂ」に続く節であるので、第３シナリオ要素１３５の節番号は、第２シナリオ要素１３４の節番号「１３Ａ＿ａ−１３Ａ＿ｂ」に続けて「１３Ｂ＿ｄ」を記述した「１３Ａ_ａ−１３Ａ_ｂ−１３Ｂ_ｄ」とし、シナリオ構成情報の節「ｂ」に続けて節「ｄ」を格納する。このようにして節および節番号を登録すると、ステップｄ２に戻る。ステップｄ１〜ステップｄ８は、前述の図１６に示すフローチャートの処理において、ステップａ４から移行した場合のステップａ７の具体的な処理に相当する。
In step d8, the test scenario management means 13 adds a section number to the section of the scenario element based on the identifier of the scenario element extracted in step d3 in the same manner as in step b4 of FIG. Register with. In the present embodiment, the identifier “d” of the
ステップｄ２に戻ると、試験シナリオ管理手段１３は、図２３のステップｂ５と同様にして、図２３のステップｂ１において取得した登録すべき試験シナリオに、取出していないシナリオ要素が存在するか否かを判断し、存在すると判断するとステップｄ３に移行し、存在しないと判断すると図２３のステップｂ６に移行する。本実施の形態では、図２３のステップｂ１において取得された第２試験シナリオ１３Ｂに含まれる第１〜第３シナリオ要素１３３〜１３５は全て取出されており、取出されずに残っているシナリオ要素は存在しないことが検出されるので、図２３のステップｂ６に移行する。 Returning to step d2, the test scenario management means 13 determines whether or not there is a scenario element that has not been taken out in the test scenario to be registered acquired in step b1 in FIG. 23, as in step b5 in FIG. If it is determined that it exists, the process proceeds to step d3, and if it does not exist, the process proceeds to step b6 in FIG. In the present embodiment, all of the first to third scenario elements 133 to 135 included in the second test scenario 13B acquired in step b1 of FIG. 23 have been extracted, and the scenario elements remaining without being extracted are Since it is detected that it does not exist, the process proceeds to step b6 in FIG.
ステップｄ２から図２３のステップｂ６に移行すると、試験シナリオ管理手段１３は、入力された試験シナリオを全て登録したか否かを判断し、全て登録したと判断すると全ての処理手順を終了し、全ては登録していないと判断するとステップｂ１に戻る。本実施の形態では、図２０に示す登録すべき試験シナリオ１３Ａ〜１３Ｃのうち、第３試験シナリオ１３Ｃが登録されずに残っていることが検出されるので、ステップｂ１に戻る。
When the process proceeds from step d2 to step b6 in FIG. 23, the test scenario management means 13 determines whether or not all the input test scenarios have been registered. If it is determined that is not registered, the process returns to step b1. In the present embodiment, since it is detected that the third test scenario 13C remains unregistered among the
ステップｂ１に戻ると、試験シナリオ管理手段１３は、前回のステップｂ１における処理で取得した試験シナリオの次に記述された試験シナリオを取得し、ステップｂ２に移行する。本実施の形態では、図２０に示す第３試験シナリオ１３Ｃが取得され、ステップｂ２に移行する。ステップｂ２では、前述のようにして、試験シナリオ管理手段１３が保持するシナリオ構成情報に、既に登録されている試験シナリオがあるか否かが判断される。本実施の形態では、既に第１試験シナリオ１３Ａおよび第２試験シナリオ１３Ｂがシナリオ構成情報に存在するので、図２４のステップｃ１に移行する。
Returning to step b1, the test scenario management means 13 acquires the test scenario described next to the test scenario acquired in the previous processing in step b1, and proceeds to step b2. In the present embodiment, the third test scenario 13C shown in FIG. 20 is acquired, and the process proceeds to step b2. In step b2, as described above, it is determined whether or not there is a test scenario already registered in the scenario configuration information held by the test scenario management means 13. In the present embodiment, since the
ステップｂ２から図２４のステップｃ１に移行すると、前述のようにして、図２３のステップｂ１において取得した登録すべき試験シナリオの第１シナリオ要素の識別子が取出され、ステップｃ２に移行する。本実施の形態では、図２３のステップｂ１において第３試験シナリオ１３Ｃが取出されるので、ステップｃ１では、図２０に示す第３試験シナリオ１３Ｃの第１シナリオ要素１３６の識別子「ｅ」が取出され、ステップｃ２に移行する。 When the process proceeds from step b2 to step c1 in FIG. 24, the identifier of the first scenario element of the test scenario to be registered acquired in step b1 in FIG. 23 is taken out as described above, and the process proceeds to step c2. In the present embodiment, since the third test scenario 13C is extracted in step b1 of FIG. 23, the identifier “e” of the first scenario element 136 of the third test scenario 13C shown in FIG. 20 is extracted in step c1. The process proceeds to step c2.
ステップｃ２では、前述のようにして、シナリオ構成情報に存在する既存の試験シナリオが取出され、ステップｃ３に移行する。本実施の形態では、既存の試験シナリオとしてシナリオ構成情報に存在する第１試験シナリオ１３Ａおよび第２試験シナリオのうち、先に登録された第１試験シナリオ１３Ａが取出され、ステップｃ３に移行する。
In step c2, the existing test scenario existing in the scenario configuration information is taken out as described above, and the process proceeds to step c3. In the present embodiment, of the
ステップｃ３では、前述のようにして、ステップｃ２において取出された試験シナリオの第１シナリオ要素の識別子を取出し、ステップｃ４に移行する。本実施の形態では、ステップｃ２において第１試験シナリオ１３Ａが取出されるので、第１試験シナリオ１３Ａの第１シナリオ要素１３０の識別子「ａ」が取出され、ステップｃ４に移行する。
In step c3, as described above, the identifier of the first scenario element of the test scenario extracted in step c2 is extracted, and the process proceeds to step c4. In the present embodiment, since the
ステップｃ４では、前述のようにして、ステップｃ１において取出した登録すべき試験シナリオの第１シナリオ要素の識別子と、ステップｃ３において取出した既存の試験シナリオの第１シナリオ要素の識別子とを比較し、２つの識別子が一致すれば図２５のステップｄ１に移行し、一致しなければステップｃ５に移行する。本実施の形態では、ステップｃ１において取出された第３試験シナリオ１３Ｃの第１シナリオ要素１３６の識別子は「ｅ」であり、ステップｃ３において取出された第１試験シナリオ１３Ａの第１シナリオ要素１３０の識別子「ａ」とは一致しないので、ステップｃ５に移行する。
In step c4, as described above, the identifier of the first scenario element of the test scenario to be registered extracted in step c1 is compared with the identifier of the first scenario element of the existing test scenario extracted in step c3. If the two identifiers match, the process moves to step d1 of FIG. 25, and if they do not match, the process moves to step c5. In the present embodiment, the identifier of the first scenario element 136 of the third test scenario 13C extracted in step c1 is “e”, and the identifier of the
ステップｃ５では、試験シナリオ管理手段１３は、シナリオ構成情報で管理される既存の試験シナリオのうち、取出していない試験シナリオが存在するか否かを判断し、存在すると判断するとステップｃ２に戻り、存在しないと判断すると、図２３のステップｂ４に移行する。本実施の形態では、シナリオ構成情報で管理される第１試験シナリオ１３Ａおよび第２試験シナリオ１３Ｂのうち、第２試験シナリオ１３Ｂが取出されていないので、ステップｃ２に戻る。
In step c5, the test scenario management means 13 determines whether or not there is a test scenario that has not been taken out of the existing test scenarios managed by the scenario configuration information. If it is determined not to proceed, the process proceeds to step b4 in FIG. In the present embodiment, since the second test scenario 13B is not taken out of the
ステップｃ２に戻ると、ステップｃ２では、既存の試験シナリオのうち、取出されずに残っている試験シナリオ、具体的には、第２試験シナリオ１３Ｂが取出され、ステップｃ３に移行する。ステップｃ３では、ステップｃ２において取出された試験シナリオの第１シナリオ要素の識別子、具体的には、第２試験シナリオ１３Ｂの第１シナリオ要素１３３の識別子「ａ」が取出され、ステップｃ４に移行する。 Returning to step c2, in step c2, the remaining test scenario, that is, the remaining test scenario, specifically, the second test scenario 13B is extracted, and the process proceeds to step c3. In step c3, the identifier of the first scenario element of the test scenario extracted in step c2, specifically, the identifier “a” of the first scenario element 133 of the second test scenario 13B is extracted, and the process proceeds to step c4. .
ステップｃ４では、前述のようにして、ステップｃ１において取出した登録すべき試験シナリオの第１シナリオ要素の識別子と、ステップｃ３において取出した既存の試験シナリオの第１シナリオ要素の識別子とが比較される。本実施の形態では、ステップｃ１において取出された第３試験シナリオ１３Ｃの第１シナリオ要素１３６の識別子は「ｅ」であり、ステップｃ３において取出した第２試験シナリオ１３Ｂの第１シナリオ要素１３３の識別子「ａ」と一致しないので、ステップｃ５に移行する。 In step c4, as described above, the identifier of the first scenario element of the test scenario to be registered extracted in step c1 is compared with the identifier of the first scenario element of the existing test scenario extracted in step c3. . In the present embodiment, the identifier of the first scenario element 136 of the third test scenario 13C extracted in step c1 is “e”, and the identifier of the first scenario element 133 of the second test scenario 13B extracted in step c3. Since it does not match “a”, the process proceeds to step c5.
ステップｃ５では、再び、シナリオ構成情報で管理される既存の試験シナリオのうち、取出していない試験シナリオが存在するか否かが判断される。本実施の形態では、シナリオ構成情報で管理される全ての試験シナリオ、すなわち第１試験シナリオ１３Ａおよび第２試験シナリオ１３Ｂが取出されているので、図２３のステップｂ４に移行する。
In step c5, it is determined again whether there is a test scenario that has not been taken out of the existing test scenarios managed by the scenario configuration information. In this embodiment, since all the test scenarios managed by the scenario configuration information, that is, the
ステップｃ５から図２３のステップｂ４に移行すると、試験シナリオ管理手段１３は、前述のようにして、ステップｂ１で取得した登録すべき試験シナリオの図２４のステップｃ１において取出した第１シナリオ要素の識別子に基づいて、そのシナリオ要素の節に節番号を付加し、シナリオ構成情報に登録する。本実施の形態では、図２４のステップｃ１において取出された第３試験シナリオ１３Ｃの第１シナリオ要素１３６の識別子「ｅ」から、この第１シナリオ要素１３６の節「ｅ」に付加する節番号を「１３Ｃ＿ｅ」とし、シナリオ構成情報に格納する。このようにして節および節番号をシナリオ構成情報に登録すると、ステップｂ５に移行する。 When the process proceeds from step c5 to step b4 in FIG. 23, the test scenario management means 13 identifies the identifier of the first scenario element extracted in step c1 in FIG. 24 of the test scenario to be registered acquired in step b1 as described above. Based on the above, a section number is added to the section of the scenario element and registered in the scenario configuration information. In the present embodiment, the node number to be added to the node “e” of the first scenario element 136 from the identifier “e” of the first scenario element 136 of the third test scenario 13C extracted in step c1 of FIG. “13C_e” is stored in the scenario configuration information. When the section and the section number are registered in the scenario configuration information in this way, the process proceeds to step b5.
ステップｂ５では、前述のようにして、ステップｂ１において取得された登録すべき試験シナリオに、取出されていないシナリオ要素が存在するか否かが判断される。本実施の形態では、ステップｂ１において取得された第３試験シナリオ１３Ｃには、図２０に示すように、取出していないシナリオ要素として、第２シナリオ要素１３７および第３シナリオ要素１３８が残っているので、ステップｂ３に戻る。 In step b5, as described above, it is determined whether or not a scenario element that has not been extracted exists in the test scenario to be registered acquired in step b1. In the present embodiment, as shown in FIG. 20, the second scenario element 137 and the third scenario element 138 remain as unextracted scenario elements in the third test scenario 13C acquired in step b1. Return to step b3.
ステップｂ３では、前述のようにして、ステップｂ１において取得された登録すべき試験シナリオのうち、前回のステップｂ３における処理で取出されたシナリオ要素の次に記述されたシナリオ要素の識別子が取出され、ステップｂ４に移行する。本実施の形態では、図２０に示す第３試験シナリオ１３Ｃの第２シナリオ要素１３７の識別子「ｆ」が取出され、ステップｂ４に移行する。ステップｂ４では、ステップｂ３において取出された識別子「ｆ」に基づいて、その識別子の節「ｆ」に節番号が付加され、シナリオ構成情報に登録される。第３試験シナリオ１３Ｃの第２シナリオ要素１３７の節「ｆ」は、第３試験シナリオ１３Ｃの第１シナリオ要素１３６の節「ｅ」に続く節であるので、節番号としては、「１３Ｃ＿ｅ−１３Ｃ＿ｆ」が付加され、シナリオ構成情報の節「ｅ」に続けて節「ｆ」が格納される。このようにして節および節番号を登録した後、ステップｂ５に移行する。 In step b3, as described above, out of the test scenarios to be registered acquired in step b1, the identifier of the scenario element described next to the scenario element extracted in the process in the previous step b3 is extracted. The process proceeds to step b4. In the present embodiment, the identifier “f” of the second scenario element 137 of the third test scenario 13C shown in FIG. 20 is extracted, and the process proceeds to step b4. In step b4, based on the identifier “f” extracted in step b3, a node number is added to the node “f” of the identifier and registered in the scenario configuration information. Since the section “f” of the second scenario element 137 of the third test scenario 13C is a section following the section “e” of the first scenario element 136 of the third test scenario 13C, the section number is “13C_e-13C_f”. ”Is added, and the section“ f ”is stored after the section“ e ”of the scenario configuration information. After registering the section and the section number in this way, the process proceeds to step b5.
ステップｂ５では、前述のようにして、ステップｂ１において取得された登録すべき試験シナリオに、取出されていないシナリオ要素が存在するか否かが再び判断される。本実施の形態では、ステップｂ１において取得された第３試験シナリオ１３Ｃに、第３シナリオ要素１３８が取出されずに残っていることが検出されるので、ステップｂ５から再びステップｂ３に戻る。ステップｂ３では、前述のようにして、ステップｂ１において取得した第３試験シナリオ１３Ｃのうち、前回のステップｂ３における処理で取出された第２シナリオ要素１３７の次に記述された第３シナリオ要素１３８の識別子「ｇ」が取出され、ステップｂ４に移行する。ステップｂ４では、ステップｃ１において取出された第３試験シナリオ１３Ｃの第３シナリオ要素１３８の節「ｇ」に、節番号「１３Ｃ＿ｅ−１３Ｃ＿ｆ−１３Ｃ＿ｇ」が付加され、シナリオ構成情報の節「ｆ」に続けて節「ｇ」が格納される。このようにして節および節番号をシナリオ構成情報に登録すると、ステップｂ５に移行する。 In step b5, as described above, it is determined again whether there is a scenario element that has not been taken out in the test scenario to be registered acquired in step b1. In the present embodiment, since it is detected that the third scenario element 138 remains in the third test scenario 13C acquired in step b1, it returns from step b5 to step b3 again. In step b3, the third scenario element 138 described next to the second scenario element 137 extracted in the process in the previous step b3 out of the third test scenario 13C acquired in step b1 as described above. The identifier “g” is extracted, and the process proceeds to step b4. In step b4, the node number “13C_e-13C_f-13C_g” is added to the node “g” of the third scenario element 138 of the third test scenario 13C extracted in step c1, and the node “f” of the scenario configuration information is added. Subsequently, the clause “g” is stored. When the section and the section number are registered in the scenario configuration information in this way, the process proceeds to step b5.
ステップｂ５では、前述のようにして、ステップｂ１において取得された登録すべき試験シナリオに、取出されていないシナリオ要素が存在するか否かが判断される。本実施の形態では、ステップｂ１において取得された第３試験シナリオ１３Ｃに含まれるシナリオ要素のうち、全てのシナリオ要素、すなわち第１〜第３シナリオ要素１３６〜１３８が取出されており、取出されていないシナリオ要素は無いので、ステップｂ６に移行する。ステップｂ６では、前述のようにして、入力された試験シナリオが全て登録されたか否かが判断される。本実施の形態では、図２０に示す登録すべき全ての試験シナリオ１３Ａ〜１３Ｃが既に登録されているので、シナリオ管理手段１３は、入力された試験シナリオが全て登録されたと判断し、図２３〜図２５に示すフローチャートの全ての処理手順を終了する。
In step b5, as described above, it is determined whether or not a scenario element that has not been extracted exists in the test scenario to be registered acquired in step b1. In the present embodiment, among the scenario elements included in the third test scenario 13C acquired in step b1, all scenario elements, that is, the first to third scenario elements 136 to 138 have been taken out and taken out. Since there is no scenario element, the process proceeds to step b6. In step b6, as described above, it is determined whether or not all the input test scenarios have been registered. In this embodiment, since all the
以上のようにして、図２３〜図２５に示すフローチャートに従って、図２０に示す第１〜第３試験シナリオ１３Ａ〜１３Ｃの登録処理が実行されると、図２１に示す木構造のシナリオ構成情報１４０が作成され、試験シナリオ管理手段１３によって保持されることになる。図２１に示すシナリオ構成情報１４０において、図２０に示す各シナリオ要素１３０〜１３８の節ａ〜ｇには、図２２に示す識別子が節番号として割当てられている。
As described above, when the registration process for the first to
続いて、図２１に示すシナリオ構成情報１４０のような木構造のシナリオ構成情報で試験シナリオを管理した場合の検証に必要な正解データの数およびその内容について説明する。 Next, the number and contents of correct data necessary for verification when the test scenario is managed with the tree-structured scenario configuration information such as the scenario configuration information 140 shown in FIG. 21 will be described.
木構造のシナリオ構成情報で試験シナリオを管理しない場合、検証に必要な正解データは、試験シナリオに含まれる検証記述の数だけ必要である。たとえば、図２０に示す例の場合は、第１〜第３試験シナリオ１３Ａ〜１３Ｃに含まれる９個のシナリオ要素１３０〜１３８に対応した９個の正解データが必要である。
When the test scenario is not managed by the tree-structured scenario configuration information, the correct answer data necessary for verification is required for the number of verification descriptions included in the test scenario. For example, in the case of the example shown in FIG. 20, nine correct data corresponding to nine
本実施の形態では、前述のように木構造のシナリオ構成情報を用いて、試験シナリオ管理手段１３で試験シナリオを管理するので、検証に必要な正解データの数を削減することができる。具体的には、試験シナリオのシナリオ要素の記述および実行位置、すなわち先頭からの出現順序が一致する場合には、それらのシナリオ要素に同じ節および節番号を割当ててシナリオ構成情報に格納して管理することによって、シナリオ要素保持手段１４に保持するシナリオ要素の数を削減することができる。これによって、検証に必要な正解データの数を削減することができる。
In the present embodiment, as described above, the test scenario is managed by the test
たとえば、図２０に示す例では、第２試験シナリオ１３Ｂの第１シナリオ要素１３３および第２シナリオ要素１３４は、第１試験シナリオ１３Ａの第１シナリオ要素１３０および第２シナリオ要素１３１とそれぞれ同一になるので、シナリオ要素保持手段１４によって保持されるシナリオ要素は、７個に減少する。したがって、検証に必要な正解データは、９個から７個に減少する。
For example, in the example shown in FIG. 20, the first scenario element 133 and the
以上のように本実施の形態によれば、試験シナリオ管理手段１３は、複数の試験シナリオ間におけるシナリオ要素の内容の一致、具体的には識別子および出現順序の一致を検出し、一致するシナリオ要素に対しては、シナリオ構成情報で同じ節および節番号を割当てて管理する。これによって、複数のシナリオ要素間で、正解データを共用することができるので、シナリオ要素における検証に必要な正解データの数を削減することができる。したがって、対象プログラム１１の試験に必要な正解データの作成数および作成に要する時間を削減することができるので、対象プログラムに対する試験の数が増えた場合でも、時間および労力をかけることなく、低コストでソフトウェア試験の構築および維持を実現することができる。
As described above, according to the present embodiment, the test scenario management means 13 detects the match of the contents of the scenario elements among the plurality of test scenarios, specifically, the match of the identifier and the appearance order, and the matching scenario elements Are managed by assigning the same section and section number in the scenario configuration information. As a result, correct data can be shared among a plurality of scenario elements, so that the number of correct data required for verification in the scenario elements can be reduced. Therefore, since the number of correct data necessary for the test of the
また本実施の形態では、試験シナリオ管理手段１３は、前述の図１７および図２１に示す木構造のシナリオ構成情報１２０，１４０を用いて、一致するシナリオ要素に対して、同じ節および節番号を割当てて管理する。このように複数の試験シナリオ間で共通するシナリオ要素を、その複数の試験シナリオに共有させて管理することによって、前述のように対象プログラム１１の試験に必要な正解データの作成数および作成に要する時間を削減することが可能な試験管理装置１を容易に実現することができる。
In this embodiment, the test scenario management means 13 uses the tree-structured scenario configuration information 120 and 140 shown in FIGS. 17 and 21 to assign the same section and section number to the matching scenario elements. Assign and manage. As described above, by managing scenario elements that are common among a plurality of test scenarios by sharing the plurality of test scenarios, the number of correct data necessary for the test of the
また本実施の形態では、試験シナリオ管理手段１３は、シナリオ要素に、そのシナリオ要素の出現順序を特定可能な位置番号として、節番号を付加して試験シナリオを管理する。また試験シナリオ管理手段１３は、共通のシナリオ要素には、同じ位置番号、具体的には同じ節番号を付加する。これによって、節番号によって、シナリオ要素の出現順序が一致するか否かを容易に判断することができるので、前述のように対象プログラム１１の試験に必要な正解データの作成数および作成に要する時間を削減することが可能な試験管理装置１を容易に実現することができる。
In the present embodiment, the test scenario management means 13 manages the test scenario by adding a section number to the scenario element as a position number that can specify the appearance order of the scenario element. Further, the test scenario management means 13 adds the same position number, specifically the same section number, to the common scenario elements. As a result, it is possible to easily determine whether or not the appearance order of the scenario elements matches based on the section number. Therefore, as described above, the number of correct data necessary for the test of the
また本実施の形態では、正解情報は正解データ識別子を含み、正解データ識別子は、その正解データ識別子が含まれる正解情報に対応するシナリオ要素の位置番号である節番号で与えられる。これによって、各シナリオ要素に対応する正解情報を容易に探索することができるので、前述のように対象プログラム１１の試験に必要な正解データの作成数および作成に要する時間を削減することが可能な試験管理装置１を容易に実現することができる。
In the present embodiment, the correct answer information includes the correct answer data identifier, and the correct answer data identifier is given by a node number that is the position number of the scenario element corresponding to the correct answer information including the correct answer data identifier. This makes it possible to easily search for correct answer information corresponding to each scenario element, and as described above, it is possible to reduce the number of correct answer data required for the test of the
また本実施の形態では、試験シナリオ管理手段１３は、試験実行手段１２から試験シナリオを要求されると、その試験シナリオに含まれるシナリオ要素識別子を含むシナリオ要素をシナリオ要素保持手段１４から取出す。そして試験シナリオ管理手段１３は、取出したシナリオ要素を試験シナリオに記述される実行順序に従って連結するとともに、取出したシナリオ要素のシナリオ要素識別子を位置番号である節番号に置換して試験シナリオを作成し、作成した試験シナリオを試験実行手段１２に与える。 In the present embodiment, when a test scenario is requested from the test execution means 12, the test scenario management means 13 takes out a scenario element including a scenario element identifier included in the test scenario from the scenario element holding means 14. Then, the test scenario management means 13 connects the extracted scenario elements in accordance with the execution order described in the test scenario, and creates a test scenario by replacing the scenario element identifier of the extracted scenario element with a section number that is a position number. The created test scenario is given to the test execution means 12.
これによって、試験シナリオ管理手段１３は、シナリオ要素の出現順序がわかる形で試験シナリオを管理するとともに、試験実行手段１２から要求されたときには、試験実行手段１２で実行される形の試験シナリオを作成して試験実行手段１２に与えることができる。したがって、前述のように対象プログラム１１の試験に必要な正解データの作成数および作成に要する時間を削減することが可能な試験管理装置１を容易に実現することができる。
As a result, the test scenario management means 13 manages the test scenarios in such a way that the order of appearance of the scenario elements is known, and creates a test scenario that is executed by the test execution means 12 when requested by the test execution means 12. And can be given to the test execution means 12. Therefore, as described above, it is possible to easily realize the
前述の実施の形態は、本発明の例示に過ぎず、本発明の範囲内において構成を変更することができる。たとえば前述の実施の形態では、対象プログラムからの出力データは、文字列情報として説明したが、これに限らず、たとえば対象プログラムが表示する表示画面などのバイナリデータであってもよい。対象プログラムの出力データがバイナリデータである場合、出力データが仕様に合致するか否かの検証は、たとえばビット列が一致するか否かを判断することによって実現可能である。 The above-described embodiment is merely an example of the present invention, and the configuration can be changed within the scope of the present invention. For example, in the above-described embodiment, output data from the target program has been described as character string information. However, the present invention is not limited to this, and may be binary data such as a display screen displayed by the target program. When the output data of the target program is binary data, verification of whether or not the output data matches the specification can be realized by determining whether or not the bit strings match, for example.
また本実施の形態では、図２３〜図２５に示すフローチャートの処理が開始されるタイミングは、使用者によって試験シナリオが作成されて試験シナリオ管理手段１３に登録されるタイミングとしたが、これに限定されない。たとえば、一定周期毎に処理を開始するように構成されてもよいし、また、試験シナリオ管理手段１３に複数の新しい試験シナリオが格納されたときに処理を開始するように構成されてもよいし、試験管理装置１０によって、ソフトウェアに対する試験が開始されるときに処理を開始するように構成されてもよい。
Further, in the present embodiment, the timing at which the processing of the flowcharts shown in FIGS. 23 to 25 is started is the timing at which a test scenario is created and registered in the test scenario management means 13 by the user, but is not limited thereto. Not. For example, the processing may be configured to start at regular intervals, or may be configured to start processing when a plurality of new test scenarios are stored in the test
１０ 試験管理装置、１１ 対象プログラム、１２ 試験実行手段、１３ 試験シナリオ管理手段、１４ シナリオ要素保持手段、１５ 出力保持手段、１６ 結果判定手段、１７ 正解保持手段。
DESCRIPTION OF
Claims (5)
前記ソフトウェアを構成するプログラムのうち、試験の対象となる対象プログラムに対する処理を記述したシナリオ要素を保持するシナリオ要素保持手段と、
前記シナリオ要素保持手段によって保持される前記シナリオ要素の実行順序を記述した試験シナリオを、前記試験シナリオにおける前記シナリオ要素の先頭からの出現順序に基づいて管理する試験シナリオ管理手段と、
前記試験シナリオ管理手段によって管理される前記試験シナリオに基づいて前記対象プログラムを制御することによって、前記対象プログラムに対する試験を実行する試験実行手段と、
前記試験実行手段によって前記試験が実行されたときに前記対象プログラムが出力する出力データを保持する出力保持手段と、
前記対象プログラムが、予め定める仕様に合致する動作を行ったときに出力するべきデータとして予め定められる正解データを含む正解情報を、前記シナリオ要素毎に保持する正解保持手段と、
前記出力保持手段によって保持される前記出力データと、前記正解保持手段によって保持される前記正解情報に含まれる前記正解データとを比較し、前記出力データと前記正解データとが一致しているか否かを判定する結果判定手段とを備え、
前記試験シナリオ管理手段によって複数の試験シナリオが管理され、前記複数の試験シナリオが共通のシナリオ要素を含み、かつ前記共通のシナリオ要素の出現順序が一致するとき、
前記結果判定手段は、前記共通のシナリオ要素の各シナリオ要素に対応する前記正解データとして、同じ正解データを用いることを特徴とする試験管理装置。 A test management device for managing tests on software,
A scenario element holding means for holding a scenario element describing a process for a target program to be tested among programs constituting the software;
Test scenario management means for managing a test scenario describing the execution order of the scenario elements held by the scenario element holding means based on the appearance order from the top of the scenario elements in the test scenario;
Test execution means for executing a test on the target program by controlling the target program based on the test scenario managed by the test scenario management means;
Output holding means for holding output data output by the target program when the test is executed by the test execution means;
Correct answer holding means for holding, for each scenario element, correct answer information including correct answer data that is predetermined as data to be output when the target program performs an operation that matches a predetermined specification;
The output data held by the output holding means is compared with the correct data included in the correct answer information held by the correct answer holding means, and whether or not the output data and the correct data match. A result determination means for determining
When a plurality of test scenarios are managed by the test scenario management means, the plurality of test scenarios include a common scenario element, and the appearance order of the common scenario elements matches,
The result management means uses the same correct answer data as the correct answer data corresponding to each scenario element of the common scenario elements.
前記共通のシナリオ要素を含み、かつ前記共通のシナリオ要素の出現順序が一致する前記複数の試験シナリオを管理するとき、前記共通のシナリオ要素を前記複数の試験シナリオに共有させて管理することを特徴とする請求項１に記載の試験管理装置。 The test scenario management means includes:
When managing the plurality of test scenarios including the common scenario elements and having the same appearance order of the common scenario elements, the common scenario elements are managed by sharing the plurality of test scenarios. The test management apparatus according to claim 1.
前記シナリオ要素に、そのシナリオ要素の前記出現順序を特定可能な位置番号を付加して前記試験シナリオを管理し、前記共通のシナリオ要素には、同じ位置番号を付加することを特徴とする請求項２に記載の試験管理装置。 The test scenario management means includes:
The test scenario is managed by adding a position number capable of specifying the appearance order of the scenario elements to the scenario element, and the same position number is added to the common scenario element. 2. The test management device according to 2.
前記正解データ識別子は、その正解データ識別子が含まれる正解情報に対応するシナリオ要素の前記位置番号で与えられることを特徴とする請求項３に記載の試験管理装置。 The correct answer information includes a correct answer data identifier for distinguishing the correct answer data from other correct answer data included in other correct answer information,
The test management apparatus according to claim 3, wherein the correct data identifier is given by the position number of a scenario element corresponding to correct information including the correct data identifier.
前記試験シナリオは、前記シナリオ要素識別子が、そのシナリオ要素識別子を含むシナリオ要素の実行順序に従って記述されて構成され、
前記試験シナリオ管理手段は、
前記試験実行手段から前記試験シナリオを要求されると、前記試験シナリオに含まれる前記シナリオ要素識別子を含む前記シナリオ要素を前記シナリオ要素保持手段から取出し、取出した前記シナリオ要素を前記実行順序に従って連結するとともに、取出した前記シナリオ要素のシナリオ要素識別子を前記位置番号に置換して前記試験シナリオを作成し、作成した前記試験シナリオを前記試験実行手段に与えることを特徴とする請求項３または４に記載の試験管理装置。 The scenario element includes a scenario element identifier for distinguishing from other scenario elements,
The test scenario is configured such that the scenario element identifier is described according to the execution order of the scenario elements including the scenario element identifier,
The test scenario management means includes:
When the test scenario is requested by the test execution unit, the scenario element including the scenario element identifier included in the test scenario is extracted from the scenario element holding unit, and the extracted scenario elements are linked according to the execution order. 5. The test scenario is created by replacing a scenario element identifier of the extracted scenario element with the position number, and the created test scenario is given to the test execution means. Test management equipment.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009282383A JP2011123780A (en) | 2009-12-14 | 2009-12-14 | Test management device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009282383A JP2011123780A (en) | 2009-12-14 | 2009-12-14 | Test management device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2011123780A true JP2011123780A (en) | 2011-06-23 |
Family
ID=44287592
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009282383A Pending JP2011123780A (en) | 2009-12-14 | 2009-12-14 | Test management device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2011123780A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115225324A (en) * | 2022-06-15 | 2022-10-21 | 中国第一汽车股份有限公司 | ETC anti-disassembly safety testing method and device |
| JP7433553B1 (en) | 2023-03-13 | 2024-02-19 | 三菱電機株式会社 | Verification program, verification device, verification system, and verification method |
-
2009
- 2009-12-14 JP JP2009282383A patent/JP2011123780A/en active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115225324A (en) * | 2022-06-15 | 2022-10-21 | 中国第一汽车股份有限公司 | ETC anti-disassembly safety testing method and device |
| JP7433553B1 (en) | 2023-03-13 | 2024-02-19 | 三菱電機株式会社 | Verification program, verification device, verification system, and verification method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20180173606A1 (en) | Hybrid testing automation engine | |
| KR102341154B1 (en) | High-speed application for installation on mobile devices for permitting remote configuration of such mobile devices | |
| US20140181793A1 (en) | Method of automatically testing different software applications for defects | |
| JP5350428B2 (en) | Automatic program generation apparatus, method and computer program | |
| JP6268029B2 (en) | Test case generation apparatus and test case generation method | |
| JP2011060052A (en) | Method for executing software test | |
| US9135000B2 (en) | Runtime process diagnostics | |
| US20150254169A1 (en) | Method and system for creating reference data | |
| JP5726387B2 (en) | System construction support device | |
| US20130007697A1 (en) | Program creation support apparatus, program, and information system | |
| US9558046B2 (en) | Computer system and program for prior verification of a workflow program | |
| WO2014061093A1 (en) | Screen creation device and screen creation method | |
| JP2011123780A (en) | Test management device | |
| JP6904364B2 (en) | System construction support device, method and program | |
| JP2014164677A (en) | Specification verification support device, specification verification support method and program | |
| JP2008197897A (en) | Test pattern generation apparatus and generation method | |
| WO2022180704A1 (en) | Display control device, display control method, and display control program | |
| JP5119765B2 (en) | Specification creation support apparatus and support method | |
| JP6097231B2 (en) | Program generating apparatus and method | |
| CN113268420A (en) | Development method, device and system of data interface and computer storage medium | |
| WO2020230241A1 (en) | Testing device, testing method, and program | |
| JP2018092344A (en) | Data processing apparatus, data processing method, and data processing program | |
| JP7277694B2 (en) | Information processing device, its control method and program | |
| WO2018036530A1 (en) | Method for generating test design book | |
| JP2012174166A (en) | Program testing apparatus, program testing method for program testing apparatus, and program testing program |