JP2013120440A - Test system, test method, and program - Google Patents

Test system, test method, and program Download PDF

Info

Publication number
JP2013120440A
JP2013120440A JP2011267106A JP2011267106A JP2013120440A JP 2013120440 A JP2013120440 A JP 2013120440A JP 2011267106 A JP2011267106 A JP 2011267106A JP 2011267106 A JP2011267106 A JP 2011267106A JP 2013120440 A JP2013120440 A JP 2013120440A
Authority
JP
Japan
Prior art keywords
test
image
item
execution
virtual machine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011267106A
Other languages
Japanese (ja)
Other versions
JP5906705B2 (en
Inventor
Gakuo Ono
岳夫 大野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2011267106A priority Critical patent/JP5906705B2/en
Publication of JP2013120440A publication Critical patent/JP2013120440A/en
Application granted granted Critical
Publication of JP5906705B2 publication Critical patent/JP5906705B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To reduce a storage cost of VM images, even if a test scenario is multifaceted, under a test environment used for a virtual machine.SOLUTION: A test tree memory portion 111 stores a tree structure for indicating an execution sequence of a plurality of test items executed to a virtual machine. A difference image memory portion 114 stores difference images before/after the execution of each test item. A test control portion 201 restores a VM image of the virtual machine after the test execution of a master test item of a designated test item, on the basis of an initial VM image, and the difference image corresponding to each test item from a root node on the tree structure to the master test item of the designated test item.

Description

本発明は、プログラムのテストを行うテストシステム、テスト方法、及び、プログラムに関する。   The present invention relates to a test system, a test method, and a program for testing a program.

プログラムの開発プロセスでは、結合テストやシステムテストを行うためのテスト環境、障害発生時の再現環境、パッチ適用時のテスト環境、機能更新時のテスト環境等、さまざまなテスト環境が必要である。   In the program development process, various test environments such as a test environment for performing integration tests and system tests, a reproduction environment when a failure occurs, a test environment when applying a patch, and a test environment when updating a function are necessary.

テスト環境の準備を効率的に行う技術として、仮想マシン(VM(Virtual Machine))の利用が提案されている。例えば、特許文献1には、テスト対象システムのVMイメージを物理サーバに配備することにより、テスト環境を構築する技術が開示されている。テスト環境に仮想マシンを用いる利点として、データや設定の初期化が容易となる、オペレーティングシステム、アプリケーション、及び、データを含む環境を短時間で生成できる、1台の装置上で複数のテストを同時に実行できる、テスト途中のメモリ状態を保存し、テスト後にテスト結果を検証できる等が挙げられる。テスト環境の準備作業はプログラムの開発プロセスで繰り返し行われるため、仮想マシンの利用は、開発スピード向上やプログラム開発のコスト低減への効果が大きい。   As a technique for efficiently preparing a test environment, use of a virtual machine (VM (Virtual Machine)) has been proposed. For example, Patent Literature 1 discloses a technique for constructing a test environment by deploying a VM image of a test target system on a physical server. The advantage of using a virtual machine in a test environment is that it is easy to initialize data and settings. An environment that includes an operating system, applications, and data can be generated in a short time. Multiple tests can be performed simultaneously on a single device. It can be executed, the memory state during the test can be saved, and the test result can be verified after the test. Since the test environment preparation work is repeatedly performed in the program development process, the use of a virtual machine has a great effect on improving the development speed and reducing the cost of program development.

ところで、プログラム開発においては、複数のテスト項目から成るテストシナリオの最初のテスト項目からのテストではなく、あるテスト項目が終了した時点のテスト環境を復元し、当該テスト項目の次のテスト項目からテストを実行する場合がある。例えば、特許文献2には、プログラムの動作時のある時点のコンテキストを保存し、当該コンテキストをもとにプログラムの状態を復元し、所定のテストを行う開発支援装置が開示されている。   By the way, in program development, instead of testing from the first test item of a test scenario consisting of a plurality of test items, the test environment at the end of a certain test item is restored and the test is started from the test item next to the test item. May be executed. For example, Patent Document 2 discloses a development support apparatus that stores a context at a certain point in time of program operation, restores the state of the program based on the context, and performs a predetermined test.

上述の仮想マシンによるテスト環境において、テストシナリオの内の任意のテスト項目からのテストを可能にするためには、テストシナリオ内の各テスト項目に対してVMイメージを予め保存し、テストを行うたびに、必要なVMイメージを物理サーバに転送する必要がある。しかしながら、VMイメージのサイズは、1つの仮想マシンあたり数GBから数十GBと大きいため、VMイメージの保存にコストがかかる。   In the test environment using the virtual machine described above, in order to enable a test from an arbitrary test item in the test scenario, a VM image is stored in advance for each test item in the test scenario and the test is performed each time. In addition, the necessary VM image needs to be transferred to the physical server. However, since the size of the VM image is as large as several GB to several tens GB per virtual machine, it takes a cost to store the VM image.

このような、メモリイメージの保存コストを低減可能な技術として、プログラムのメモリイメージの差分をもとにメモリイメージを復元する技術が提案されている。例えば、特許文献3には、プログラムのメモリ情報を時間的経過に従って収集し、収集されたメモリ情報間の差分を保存し、保存された差分をもとにある時点のメモリ情報を復元するメモリ情報保存方法が開示されている。   As a technique capable of reducing the memory image storage cost, a technique for restoring a memory image based on a difference between memory images of a program has been proposed. For example, Patent Document 3 discloses memory information that collects memory information of a program over time, stores a difference between the collected memory information, and restores memory information at a certain point in time based on the stored difference. A storage method is disclosed.

特開2010‐113381号公報JP 2010-113381 A 特開2010‐113381号公報JP 2010-113381 A 特開昭63‐118847号公報JP-A-63-118847

プログラムのテストシナリオが多岐にわたる場合、あるテスト項目が終了した時点の同一の状態に対して、複数の異なるテスト項目を実行する必要がある。しかしながら、上述の特許文献3の技術は、連続した時間経過に従って、メモリ情報の差分を検出、保存する技術であり、あるテスト項目が終了した時点の同一の状態に対して、複数の異なるテスト項目を実行する場合については考慮されていない。   When the test scenarios of the program are diverse, it is necessary to execute a plurality of different test items for the same state when a certain test item is completed. However, the technique of the above-mentioned Patent Document 3 is a technique for detecting and storing a difference in memory information as time passes continuously, and a plurality of different test items with respect to the same state when a certain test item ends. Is not considered when running.

本発明の目的は、上述の課題を解決し、仮想マシンに用いたテスト環境において、テストシナリオが多岐にわたる場合であっても、VMイメージの保存コストを低減できるテストシステム、テスト方法、及び、プログラムを提供することにある。   SUMMARY OF THE INVENTION An object of the present invention is to solve the above-mentioned problems, and in a test environment used for a virtual machine, a test system, a test method, and a program that can reduce the storage cost of a VM image even when test scenarios are diverse. Is to provide.

本発明のテストシステムは、初期VMイメージを有する仮想マシンに対して実行される複数のテスト項目の各々を、ルートノードを起点とした各ノードに対応付けることにより、各テスト項目のテスト実行前に実行が必要な他のテスト項目を示した木構造を記憶するテストツリー記憶手段と、前記複数のテスト項目の各々の実行前の前記仮想マシンのVMイメージと実行後のVMイメージとの差分である差分イメージを、前記複数のテスト項目の各々に対応付けて記憶する差分イメージ記憶手段と、前記仮想マシンを用いてテストを実行するテスト項目が指定された場合、前記初期VMイメージ、及び、前記木構造上の前記ルートノードから前記指定されたテスト項目の親のテスト項目までの各テスト項目に対応する差分イメージをもとに、前記指定されたテスト項目の親のテスト項目のテスト実行後の前記仮想マシンのVMイメージを復元するテスト実行手段と、を含む。   The test system of the present invention executes each test item before executing the test by associating each of the plurality of test items executed on the virtual machine having the initial VM image with each node starting from the root node. A test tree storage unit that stores a tree structure indicating other test items that require a difference, and a difference that is a difference between a VM image of the virtual machine before execution of each of the plurality of test items and a VM image after execution When a difference image storage unit that stores an image in association with each of the plurality of test items and a test item for executing a test using the virtual machine are specified, the initial VM image and the tree structure Based on the difference image corresponding to each test item from the root node above to the parent test item of the specified test item, Serial includes a test execution means to restore the VM image of the virtual machine after the test run of the parent test item of the specified test items, the.

本発明のテスト方法は、初期VMイメージを有する仮想マシンに対して実行される複数のテスト項目の各々を、ルートノードを起点とした各ノードに対応付けることにより、各テスト項目のテスト実行前に実行が必要な他のテスト項目を示した木構造を記憶し、前記複数のテスト項目の各々の実行前の前記仮想マシンのVMイメージと実行後のVMイメージとの差分である差分イメージを、前記複数のテスト項目の各々に対応付けて記憶し、前記仮想マシンを用いてテストを実行するテスト項目が指定された場合、前記初期VMイメージ、及び、前記木構造上の前記ルートノードから前記指定されたテスト項目の親のテスト項目までの各テスト項目に対応する差分イメージをもとに、前記指定されたテスト項目の親のテスト項目のテスト実行後の前記仮想マシンのVMイメージを復元する。   The test method of the present invention is executed before the test execution of each test item by associating each of the plurality of test items executed on the virtual machine having the initial VM image with each node starting from the root node. Is stored, and a plurality of difference images, which are differences between a VM image of the virtual machine before execution of each of the plurality of test items and a VM image after execution, are stored in the plurality of test items. When a test item that is stored in association with each of the test items and executes a test using the virtual machine is specified, the specified from the initial VM image and the root node on the tree structure Test execution of the parent test item of the specified test item based on the difference image corresponding to each test item up to the test item of the test item parent To restore the VM image of the virtual machine.

本発明のテストプログラムは、コンピュータに、初期VMイメージを有する仮想マシンに対して実行される複数のテスト項目の各々を、ルートノードを起点とした各ノードに対応付けることにより、各テスト項目のテスト実行前に実行が必要な他のテスト項目を示した木構造を記憶し、前記複数のテスト項目の各々の実行前の前記仮想マシンのVMイメージと実行後のVMイメージとの差分である差分イメージを、前記複数のテスト項目の各々に対応付けて記憶し、前記仮想マシンを用いてテストを実行するテスト項目が指定された場合、前記初期VMイメージ、及び、前記木構造上の前記ルートノードから前記指定されたテスト項目の親のテスト項目までの各テスト項目に対応する差分イメージをもとに、前記指定されたテスト項目の親のテスト項目のテスト実行後の前記仮想マシンのVMイメージを復元する処理を実行させる。   The test program of the present invention performs test execution of each test item by associating each of a plurality of test items executed on a virtual machine having an initial VM image with each node starting from the root node. A tree structure indicating other test items that need to be executed before is stored, and a difference image that is a difference between the VM image of the virtual machine before execution of each of the plurality of test items and the VM image after execution is stored. When a test item to be stored in association with each of the plurality of test items and to execute a test using the virtual machine is designated, the initial VM image and the root node on the tree structure Based on the difference image corresponding to each test item up to the parent test item of the specified test item, the parent of the specified test item To execute a process to restore the VM image of the virtual machine after the test run of the list item.

本発明の効果は、仮想マシンに用いたテスト環境において、テストシナリオが多岐にわたる場合であっても、VMイメージの保存コストを低減できることである。   The effect of the present invention is that the storage cost of the VM image can be reduced even if the test scenario used in the virtual machine has a wide variety of test scenarios.

本発明の第1の実施の形態の特徴的な構成を示すブロック図である。It is a block diagram which shows the characteristic structure of the 1st Embodiment of this invention. 本発明の第1の実施の形態における、テストシステム1の構成を示すブロック図である。It is a block diagram which shows the structure of the test system 1 in the 1st Embodiment of this invention. 本発明の第1の実施の形態におけるテストツリー121の例を示す図である。It is a figure which shows the example of the test tree 121 in the 1st Embodiment of this invention. 本発明の第1の実施の形態におけるテスト情報122の例を示す図である。It is a figure which shows the example of the test information 122 in the 1st Embodiment of this invention. 本発明の第1の実施の形態におけるVMイメージの変化の例を示す図である。It is a figure which shows the example of the change of VM image in the 1st Embodiment of this invention. 本発明の第1の実施の形態における初期イメージ情報123の例を示す図である。It is a figure which shows the example of the initial image information 123 in the 1st Embodiment of this invention. 本発明の第1の実施の形態における差分イメージ情報124の例を示す図である。It is a figure which shows the example of the difference image information 124 in the 1st Embodiment of this invention. 本発明の第1の実施の形態における差分イメージ生成処理を示すフローチャートである。It is a flowchart which shows the difference image generation process in the 1st Embodiment of this invention. 本発明の第1の実施の形態におけるVMイメージ復元処理を示すフローチャートである。It is a flowchart which shows the VM image restoration process in the 1st Embodiment of this invention. 本発明の第2の実施の形態における、テストシステム1の構成を示すブロック図である。It is a block diagram which shows the structure of the test system 1 in the 2nd Embodiment of this invention. 本発明の第2の実施の形態におけるVMイメージ復元処理を示すフローチャートである。It is a flowchart which shows the VM image restoration process in the 2nd Embodiment of this invention.

(第1の実施の形態)
次に、本発明の第1の実施の形態について説明する。
(First embodiment)
Next, a first embodiment of the present invention will be described.

はじめに、本発明の第1の実施の形態の構成について説明する。図2は、本発明の第1の実施の形態における、テストシステム1の構成を示すブロック図である。   First, the configuration of the first exemplary embodiment of the present invention will be described. FIG. 2 is a block diagram showing the configuration of the test system 1 in the first embodiment of the present invention.

図2を参照すると、テスト実行システム1は、テスト管理装置100と1以上のテスト実行装置200とを含む。テスト管理装置100とテスト実行装置200とは、ネットワーク等により接続される。   Referring to FIG. 2, the test execution system 1 includes a test management device 100 and one or more test execution devices 200. The test management apparatus 100 and the test execution apparatus 200 are connected by a network or the like.

テスト管理装置100は、テスト実行装置200にテストの実行を指示する。テスト実行装置200は、テスト対象である(テストを行うプログラムを含む)仮想マシンのVMイメージを生成し、仮想マシンを用いてテストを行う。   The test management apparatus 100 instructs the test execution apparatus 200 to execute a test. The test execution device 200 generates a VM image of a virtual machine to be tested (including a program to be tested) and performs a test using the virtual machine.

テスト管理装置100は、テスト管理部101、テストツリー記憶部111、テスト情報記憶部112、初期イメージ記憶部113、及び、差分イメージ記憶部114を含む。   The test management apparatus 100 includes a test management unit 101, a test tree storage unit 111, a test information storage unit 112, an initial image storage unit 113, and a difference image storage unit 114.

テスト管理部101は、テスト項目に応じて、初期VMイメージ、及び、差分イメージをテスト実行装置200に送信する。また、テスト管理部101は、テスト実行装置200にテストの実行を指示する。   The test management unit 101 transmits the initial VM image and the difference image to the test execution device 200 according to the test item. In addition, the test management unit 101 instructs the test execution device 200 to execute a test.

ここで、テストツリー記憶部111は、テストツリー121を記憶する。テストツリー121は、テスト実行装置200において、テスト対象の仮想マシンの初期状態(初期VMイメージ)から実行される複数のテスト項目の各々の実行順序をツリー(木構造)形式で示す情報である。   Here, the test tree storage unit 111 stores the test tree 121. The test tree 121 is information indicating the execution order of each of a plurality of test items executed from the initial state (initial VM image) of the test target virtual machine in the test execution device 200 in a tree (tree structure) format.

図3は、本発明の第1の実施の形態におけるテストツリー121の例を示す図である。テストツリー121のルートノードは、上述の初期状態に対応する。そして、テストツリー121上のルートノードを起点とした各ノードには、上述の初期状態から実行される複数のテスト項目の各々の識別子が、実行順序に従って付与される。テストツリー121上の親のノードのテスト項目は、子のノードのテスト項目のテスト実行前に実行が必要なテスト項目を示す。   FIG. 3 is a diagram illustrating an example of the test tree 121 according to the first embodiment of this invention. The root node of the test tree 121 corresponds to the initial state described above. Then, each node starting from the root node on the test tree 121 is given the identifier of each of the plurality of test items executed from the above-described initial state according to the execution order. The test item of the parent node on the test tree 121 indicates a test item that needs to be executed before the test execution of the test item of the child node.

図3の例では、上述の初期状態から、例えば、テスト項目「テスト1」、「テスト1−1」、「テスト1−1−1」の順序、テスト項目「テスト2」、「テスト2−1」、「テスト2−1−1」の順序等でテストが実行される。   In the example of FIG. 3, for example, the order of the test items “Test 1”, “Test 1-1”, “Test 1-1-1”, Test items “Test 2”, “Test 2-” from the initial state described above. Tests are executed in the order of “1” and “Test 2-1-1”.

テスト情報記憶部112は、テスト情報122を記憶する。図4は、本発明の第1の実施の形態におけるテスト情報122の例を示す図である。テスト情報122は、テスト識別子対応に、テストの内容を含む。   The test information storage unit 112 stores test information 122. FIG. 4 is a diagram illustrating an example of the test information 122 according to the first embodiment of this invention. The test information 122 includes the contents of the test corresponding to the test identifier.

ここで、本発明の実施の形態におけるVMイメージの変化について説明する。図5は、本発明の第1の実施の形態におけるVMイメージの変化の例を示す図である。図5の例は、図3のテストツリー121に従ってテスト項目のテストが行われた場合の、VMイメージの変化を示す。   Here, the change of the VM image in the embodiment of the present invention will be described. FIG. 5 is a diagram illustrating an example of a change in the VM image according to the first embodiment of this invention. The example of FIG. 5 shows a change in the VM image when the test item is tested according to the test tree 121 of FIG.

図5に示すように、初期VMイメージに対して、例えば、「テスト1」、「テスト1−1」、の順にテストが実行されると、VMイメージは、初期VMイメージから、「VMI1」、「VMI1−1」の順に変化する。   As illustrated in FIG. 5, for example, when tests are performed on the initial VM image in the order of “test 1” and “test 1-1”, the VM image is changed from the initial VM image to “VMI1”, It changes in the order of “VMI1-1”.

初期イメージ記憶部113は、初期イメージ情報123を記憶する。図6は、本発明の第1の実施の形態における初期イメージ情報123の例を示す図である。初期イメージ情報123には、初期VMイメージが登録される。   The initial image storage unit 113 stores initial image information 123. FIG. 6 is a diagram illustrating an example of the initial image information 123 according to the first embodiment of this invention. In the initial image information 123, an initial VM image is registered.

差分イメージ記憶部114は、差分イメージ情報124を記憶する。図7は、本発明の第1の実施の形態における差分イメージ情報124の例を示す図である。差分イメージ情報124には、テスト識別子対応に、差分イメージが登録される。ここで、差分イメージは、対応するテスト識別子で示されるテスト項目のテスト前後のVMイメージの差分である。差分イメージは、例えば、VMイメージにおける、テストにより変更されたデータのアドレスと、当該アドレスにおける変更前、及び、変更後のデータの値を含む。差分イメージは、例えば、後述する処理部202のVM制御手段により生成される。   The difference image storage unit 114 stores difference image information 124. FIG. 7 is a diagram illustrating an example of the difference image information 124 according to the first embodiment of this invention. In the difference image information 124, a difference image is registered corresponding to the test identifier. Here, the difference image is a difference between the VM images before and after the test of the test item indicated by the corresponding test identifier. The difference image includes, for example, an address of data changed by the test in the VM image, and data values before and after the change at the address. The difference image is generated by, for example, a VM control unit of the processing unit 202 described later.

テスト実行装置200は、テスト制御部201、及び、処理部202を含む。   The test execution device 200 includes a test control unit 201 and a processing unit 202.

テスト制御部201は、テスト管理装置100から受信した、初期VMイメージ、及び、差分イメージから、テスト対象の仮想マシンのVMイメージを生成する。テスト制御部201は、生成した仮想マシンを処理部202に配備し、テストを実行する。   The test control unit 201 generates a VM image of a test target virtual machine from the initial VM image and the difference image received from the test management apparatus 100. The test control unit 201 deploys the generated virtual machine to the processing unit 202 and executes a test.

処理部202は、図示しないCPU(Central Processing Unit)、及び、CPU上で1以上の仮想マシンの動作を制御するVM制御手段を含む。VM制御手段は、例えば、VMモニタやハイパーバイザである。VM制御手段は、テスト対象である仮想マシンのVMイメージを用いて、仮想マシンを起動、実行する。ここで、VMイメージは、アプリケーション、ミドルウェア、及び、OSのイメージを含む。また、VMイメージは、データベースファイルを含んでいてもよい。さらに、VMイメージは、アプリケーションの変数領域等、RAM(Random Access Memory)上のデータを含んでいてもよい。   The processing unit 202 includes a CPU (Central Processing Unit) (not shown) and VM control means for controlling the operation of one or more virtual machines on the CPU. The VM control means is, for example, a VM monitor or a hypervisor. The VM control unit starts and executes the virtual machine using the VM image of the virtual machine to be tested. Here, the VM image includes an image of an application, middleware, and OS. The VM image may include a database file. Furthermore, the VM image may include data on a RAM (Random Access Memory) such as a variable area of an application.

なお、テスト管理部101と、テスト制御部201とは、CPUとプログラムを記憶した記憶媒体を含み、プログラムに基づく制御によって動作するコンピュータであってもよい。また、テストツリー記憶部111、テスト情報記憶部112、初期イメージ記憶部113、及び、差分イメージ記憶部114は、それぞれ個別の記憶媒体でも、1つの記憶媒体によって構成されてもよい。   Note that the test management unit 101 and the test control unit 201 may be a computer that includes a CPU and a storage medium storing a program, and operates by control based on the program. Further, the test tree storage unit 111, the test information storage unit 112, the initial image storage unit 113, and the difference image storage unit 114 may be configured as individual storage media or as a single storage medium.

また、テスト管理部101、テストツリー記憶部111、テスト情報記憶部112、初期イメージ記憶部113、差分イメージ記憶部114、テスト制御部201、及び、処理部202の内の1つまたは複数が、1つの装置を構成し、他の装置とネットワークを介して接続されていてもよい。   Also, one or more of the test management unit 101, test tree storage unit 111, test information storage unit 112, initial image storage unit 113, difference image storage unit 114, test control unit 201, and processing unit 202 are One device may be configured and connected to another device via a network.

次に、本発明の第1の実施の形態におけるテストシステム1の動作について説明する。   Next, the operation of the test system 1 in the first embodiment of the present invention will be described.

<差分イメージ生成処理>
はじめに、差分イメージ情報124を生成する差分イメージ生成処理について説明する。図8は、本発明の第1の実施の形態における差分イメージ生成処理を示すフローチャートである。
<Difference image generation processing>
First, the difference image generation process for generating the difference image information 124 will be described. FIG. 8 is a flowchart showing difference image generation processing according to the first embodiment of the present invention.

ここでは、テストツリー記憶部111、テスト情報記憶部112には、図4、図5のテストツリー121、テスト情報122がそれぞれ設定されており、初期イメージ記憶部113には、図6の初期イメージ情報123が設定されていると仮定する。   Here, the test tree storage unit 111 and the test information storage unit 112 are set with the test tree 121 and the test information 122 of FIGS. 4 and 5, respectively, and the initial image storage unit 113 has the initial image of FIG. Assume that information 123 is set.

テスト管理装置100のテスト管理部101は、テストシステム1のユーザから、テストを実行するテスト項目の範囲の指定を、テストツリー121上のルートノードを起点とした部分木により受け付ける(ステップS101)。   The test management unit 101 of the test management apparatus 100 receives from the user of the test system 1 designation of a range of test items for executing a test using a subtree starting from the root node on the test tree 121 (step S101).

例えば、テスト管理部101は、テスト範囲として、図4のテストツリー121上の「部分木A」を受け付ける。   For example, the test management unit 101 accepts “partial tree A” on the test tree 121 in FIG. 4 as the test range.

テスト管理部101は、テスト制御部201に、ステップS101で指定されたテスト項目の範囲(部分木)を送信し、テストの実行を指示する。テスト制御部201は、部分木におけるルートノードの子ノードからテスト項目を1つ選択し、対象テスト項目に設定する(ステップS102)。   The test management unit 101 transmits the test item range (subtree) specified in step S101 to the test control unit 201, and instructs execution of the test. The test control unit 201 selects one test item from the child nodes of the root node in the subtree and sets it as a target test item (step S102).

例えば、テスト制御部201は、「部分木A」におけるルートノードの子ノードからテスト項目「テスト1」を選択し、対象テスト項目に設定する。   For example, the test control unit 201 selects the test item “Test 1” from the child nodes of the root node in “Partial tree A” and sets it as the target test item.

テスト管理部101は、初期イメージ情報123から初期VMイメージを取得し、テスト実行装置200のテスト制御部201に送信する(ステップS103)。   The test management unit 101 acquires an initial VM image from the initial image information 123 and transmits it to the test control unit 201 of the test execution device 200 (step S103).

テスト制御部201は、処理部202に初期VMイメージを配備し、仮想マシンを起動する(ステップS104)。   The test control unit 201 deploys an initial VM image in the processing unit 202 and activates the virtual machine (step S104).

例えば、テスト制御部201は、図6の初期VMイメージを処理部202に配備する。   For example, the test control unit 201 deploys the initial VM image of FIG.

テスト制御部201は、処理部202上の仮想マシンを用いて、対象テスト項目のテストを実行する(ステップS105)。ここで、テスト制御部201は、テスト情報記憶部112のテスト情報122を参照し、対象テスト項目の処理を実行させるためのデータや指示を仮想マシンに入力し、当該入力に対する応答を検出する。   The test control unit 201 uses the virtual machine on the processing unit 202 to execute a test for the target test item (step S105). Here, the test control unit 201 refers to the test information 122 in the test information storage unit 112, inputs data and instructions for executing processing of the target test item to the virtual machine, and detects a response to the input.

例えば、テスト管理部101は、図5のテスト情報122を参照し、対象テスト項目「テスト1」に対する指示「データA追加」を仮想マシンに入力し、処理結果を検出する。   For example, the test management unit 101 refers to the test information 122 in FIG. 5, inputs an instruction “add data A” for the target test item “test 1” to the virtual machine, and detects a processing result.

テスト制御部201は、対象テスト項目の実行前のVMイメージと実行後のVMイメージとを比較することにより差分イメージを生成し、差分イメージ情報124に登録する(ステップS106)。ここで、テスト制御部201は、差分イメージを対象テスト項目の識別子に対応付けて登録する。   The test control unit 201 generates a difference image by comparing the VM image before execution of the target test item with the VM image after execution, and registers the difference image in the difference image information 124 (step S106). Here, the test control unit 201 registers the difference image in association with the identifier of the target test item.

例えば、テスト制御部201は、初期VMイメージと、対象テスト項目「テスト1」のテスト実行後のVMイメージ「VMI1」とから、差分イメージ「D1」を取得し、図7に示すように、テスト項目「テスト1」に対応付けて、差分イメージ情報124に登録する。   For example, the test control unit 201 acquires the difference image “D1” from the initial VM image and the VM image “VMI1” after the test execution of the target test item “test 1”, and the test image as illustrated in FIG. It is registered in the difference image information 124 in association with the item “test 1”.

次に、テスト制御部201は、部分木の範囲内の全てのテスト項目についてテストが実行されたかどうかを判定する(ステップS107)。   Next, the test control unit 201 determines whether or not a test has been executed for all test items within the range of the subtree (step S107).

ステップS107で全てのノードのテスト項目についてテストが実行されている場合(ステップS107/Yes)、テスト制御部201は、処理を終了する。   When the test is performed on the test items of all the nodes in step S107 (step S107 / Yes), the test control unit 201 ends the process.

ステップS107でテストが実行されていないテスト項目がある場合(ステップS107/No)、テスト制御部201は、テスト範囲で指定された部分木内でテストが実行されていないテスト項目であり、かつ、対象テスト項目の子(次)のテスト項目があるかどうかを判定する(ステップS108)。   When there is a test item for which a test has not been executed in step S107 (step S107 / No), the test control unit 201 is a test item for which a test has not been executed in the subtree specified by the test range and is a target. It is determined whether there is a test item child (next) test item (step S108).

ステップS108において、子のテスト項目がある場合(ステップS108/Yes)、テスト制御部201は、子のテスト項目からテスト項目を1つ選択して対象テスト項目に設定し(ステップS111)、ステップS105からの処理を実行する。   If there is a child test item in step S108 (step S108 / Yes), the test control unit 201 selects one test item from the child test items and sets it as the target test item (step S111), and step S105. The process from is executed.

例えば、テスト制御部201は、対象テスト項目「テスト1」のテスト実行後に、テスト項目「テスト1−1」を対象テスト項目に設定する。テスト制御部201は、対象テスト項目「テスト1−1」に対応する指示「データB追加」を仮想マシンに入力し、処理結果を検出する。テスト制御部201は、対象テスト項目「テスト1−1」の実行前後のVMイメージ「VMI1」「VMI1−1」から、差分イメージ「D1−1」を取得し、図7に示すように、テスト項目「テスト1−1」に対応付けて、差分イメージ情報124に登録する。   For example, the test control unit 201 sets the test item “Test 1-1” as the target test item after executing the test of the target test item “Test 1”. The test control unit 201 inputs an instruction “add data B” corresponding to the target test item “test 1-1” to the virtual machine, and detects a processing result. The test control unit 201 obtains the difference image “D1-1” from the VM images “VMI1” and “VMI1-1” before and after the execution of the target test item “test 1-1”, and performs the test as illustrated in FIG. The image is registered in the difference image information 124 in association with the item “Test 1-1”.

ステップS108において、子のテスト項目がない場合(ステップS108/No)、テスト制御部201は、対象テスト項目のテスト実行前の仮想システムのVMイメージを復元する(ステップS109)。ここで、テスト制御部201は、現在のVMイメージと、差分イメージ情報124の対象テスト項目に対する差分イメージとをもとに、対象テスト項目のテスト実行前の仮想システムのVMイメージを復元する。テスト制御部201は、例えば、現在のVMイメージのデータの内、差分イメージにより示されるアドレスのデータを、当該アドレスにおける変更前のデータの値で置き換えることにより、テスト実行前のVMイメージを復元する。   In step S108, when there is no child test item (step S108 / No), the test control unit 201 restores the VM image of the virtual system before executing the test of the target test item (step S109). Here, the test control unit 201 restores the VM image of the virtual system before the test of the target test item based on the current VM image and the difference image for the target test item of the difference image information 124. For example, the test control unit 201 restores the VM image before the test execution by replacing the data of the address indicated by the difference image in the data of the current VM image with the value of the data before the change at the address. .

そして、テスト制御部201は、対象テスト項目の親(前)のテスト項目を対象テスト項目に設定し(ステップS110)、ステップS108からの処理を実行する。   Then, the test control unit 201 sets the parent (previous) test item of the target test item as the target test item (step S110), and executes the processing from step S108.

例えば、テスト制御部201は、対象テスト項目「テスト1−1」のテスト実行後に、現在のVMイメージ「VMI1−1」と、図7の差分イメージ情報124のテスト項目「テスト1−1」に対する差分イメージ「D1−1」とをもとに、対象テスト項目「テスト1−1」のテスト実行前のVMイメージ「VMI1」を復元する。そして、テスト制御部201は、対象テスト項目「テスト1」を対象テスト項目に設定する。   For example, after executing the test of the target test item “Test 1-1”, the test control unit 201 performs the test for the current VM image “VMI1-1” and the test item “Test 1-1” of the difference image information 124 in FIG. Based on the difference image “D1-1”, the VM image “VMI1” before the test execution of the target test item “test1-1” is restored. Then, the test control unit 201 sets the target test item “Test 1” as the target test item.

そして、テスト制御部201は、テスト項目「テスト1−2」を対象テスト項目に設定し、テストを実行する。テスト制御部201は、対象テスト項目「テスト1−2」の実行前後のVMイメージ「VMI1」「VMI1−2」から、差分イメージ「D1−2」を取得し、図7に示すように、テスト項目「テスト1−2」に対応付けて、差分イメージ情報124に登録する。   Then, the test control unit 201 sets the test item “Test 1-2” as the target test item, and executes the test. The test control unit 201 acquires the difference image “D1-2” from the VM images “VMI1” and “VMI1-2” before and after the execution of the target test item “test 1-2”, and performs the test as illustrated in FIG. It is registered in the difference image information 124 in association with the item “test 1-2”.

そして、テスト制御部201は、対象テスト項目「テスト1−2」のテスト実行後に、現在のVMイメージ「VMI1−2」と、図7の差分イメージ情報124のテスト項目「テスト1−2」に対する差分イメージ「D1−2」とをもとに、対象テスト項目「テスト1−2」のテスト実行前のVMイメージ「VMI1」を復元する。テスト制御部201は、対象テスト項目「テスト1」を対象テスト項目に設定する。   Then, after executing the test of the target test item “Test 1-2”, the test control unit 201 applies the test item “Test 1-2” of the current VM image “VMI1-2” and the difference image information 124 of FIG. Based on the difference image “D1-2”, the VM image “VMI1” before the test execution of the target test item “test1-2” is restored. The test control unit 201 sets the target test item “Test 1” as the target test item.

さらに、テスト制御部201は、現在のVMイメージ「VMI1」と、図7の差分イメージ情報124のテスト項目「テスト1」に対する差分イメージ「D1」とをもとに、対象テスト項目「テスト1」のテスト実行前の初期VMイメージを復元する。   Further, the test control unit 201 uses the current VM image “VMI1” and the difference image “D1” for the test item “test 1” in the difference image information 124 of FIG. The initial VM image before the test execution is restored.

そして、テスト制御部201は、テスト項目「テスト2」「テスト2−1」「テスト2−2」の順序でテストを実行し、図7に示すように、差分イメージ「D2」「D2−1」「D2−2」を、それぞれ、差分イメージ情報124に登録する。   Then, the test control unit 201 executes the tests in the order of the test items “test 2”, “test 2-1”, and “test 2-2”, and as shown in FIG. 7, the difference images “D2”, “D2-1” "D2-2" is registered in the difference image information 124, respectively.

このように、テスト制御部201は、ステップS101で指定された部分木の範囲内の全テスト項目について、テストを実行し、差分イメージを差分イメージ情報124に登録する。   As described above, the test control unit 201 executes the test for all the test items within the range of the subtree specified in step S <b> 101 and registers the difference image in the difference image information 124.

<VMイメージ復元処理>
次に、指定されたテスト項目を実行するときに、差分イメージ情報124をもとに、仮想マシンのVMイメージを復元する処理について説明する。
<VM image restoration processing>
Next, a process of restoring a VM image of a virtual machine based on the difference image information 124 when executing a specified test item will be described.

図9は、本発明の第1の実施の形態におけるVMイメージ復元処理を示すフローチャートである。   FIG. 9 is a flowchart showing a VM image restoration process according to the first embodiment of the present invention.

ここでは、上述の差分イメージ生成処理によって、差分イメージ記憶部114に図7の差分イメージ情報124が登録されていると仮定する。   Here, it is assumed that the difference image information 124 of FIG. 7 is registered in the difference image storage unit 114 by the above-described difference image generation processing.

テスト管理装置100のテスト管理部101は、テストシステム1のユーザから、テストツリー121上で、テストを実行するテスト項目の指定を受け付ける(ステップS201)。テスト管理部101は、テスト制御部201に、ステップS201で指定されたテスト項目を送信し、テストの実行を指示する。   The test management unit 101 of the test management apparatus 100 accepts designation of a test item for executing a test on the test tree 121 from the user of the test system 1 (step S201). The test management unit 101 transmits the test item specified in step S201 to the test control unit 201 and instructs execution of the test.

例えば、テスト管理部101は、テスト項目として、図4のテストツリー121上のテスト項目「テスト1−1−1」を受け付ける。   For example, the test management unit 101 receives the test item “Test 1-1-1” on the test tree 121 in FIG. 4 as the test item.

テスト管理部101は、初期イメージ情報123の初期VMイメージを取得し、テスト実行装置200のテスト制御部201に送信する(ステップS202)。   The test management unit 101 acquires the initial VM image of the initial image information 123 and transmits it to the test control unit 201 of the test execution device 200 (step S202).

例えば、テスト管理部101は、図6の初期VMイメージをテスト制御部201に送信する。   For example, the test management unit 101 transmits the initial VM image in FIG. 6 to the test control unit 201.

テスト管理部101は、テストツリー121上のルートノードから、指定されたテスト項目の親(前)のテスト項目までの各テスト項目に対応する差分イメージを差分イメージ情報124から取得し、テスト制御部201に送信する(ステップS203)。   The test management unit 101 acquires a difference image corresponding to each test item from the root node on the test tree 121 to the parent (previous) test item of the specified test item from the difference image information 124, and the test control unit It transmits to 201 (step S203).

例えば、テスト管理部101は、図7の差分イメージ情報124から、テスト項目「テスト1」「テスト1−1」に対応する差分イメージ「D1」「D1−1」を取得し、テスト制御部201に送信する。   For example, the test management unit 101 acquires the difference images “D1” and “D1-1” corresponding to the test items “test 1” and “test 1-1” from the difference image information 124 of FIG. Send to.

テスト制御部201は、テスト管理部101から受信した初期VMイメージと各テスト項目に対応する差分イメージとをもとに、指示されたテスト項目の親(前)のテスト項目のテスト実行後のVMイメージを復元する(ステップS204)。ここで、テスト制御部201は、初期VMイメージに、各テスト項目に対応する差分イメージをテストツリー121上の実行順序に従って適用して、VMイメージを復元する。テスト制御部201は、例えば、VMイメージのデータの内、差分イメージにより示されるアドレスのデータを、当該アドレスにおける変更後のデータの値で置き換えることにより、各テスト実行後のVMイメージを復元する。   The test control unit 201 uses the initial VM image received from the test management unit 101 and the difference image corresponding to each test item, and the VM after the test execution of the test item that is the parent (previous) test item of the instructed test item. The image is restored (step S204). Here, the test control unit 201 restores the VM image by applying the difference image corresponding to each test item to the initial VM image according to the execution order on the test tree 121. For example, the test control unit 201 restores the VM image after the execution of each test by replacing the data at the address indicated by the difference image in the VM image data with the value of the changed data at the address.

例えば、テスト制御部201は、初期VMイメージに、テスト項目「テスト1」「テスト1−1」に対応する差分イメージ「D1」「D1−1」を順番に適用し、テスト項目「テスト1−1」のテスト実行後のVMイメージ「VMI1−1」を復元する。   For example, the test control unit 201 sequentially applies the difference images “D1” and “D1-1” corresponding to the test items “Test 1” and “Test 1-1” to the initial VM image, and the test item “Test 1-”. The VM image “VMI1-1” after the test “1” is restored.

テスト制御部201は、復元したVMイメージを処理部202に配備し、仮想マシンを起動する(ステップS205)。   The test control unit 201 deploys the restored VM image in the processing unit 202 and activates the virtual machine (step S205).

例えば、テスト制御部201は、VMイメージ「VMI1−1」を処理部202に配備する。   For example, the test control unit 201 deploys the VM image “VMI1-1” in the processing unit 202.

テスト制御部201は、処理部202上の仮想マシンを用いて、指示されたテスト項目のテストを実行する(ステップS206)。   The test control unit 201 uses the virtual machine on the processing unit 202 to execute a test for the instructed test item (step S206).

例えば、テスト制御部201は、仮想マシン(VMイメージ「VMI1−1」)を用いて、テスト項目「テスト1−1−1」のテストを実行する。   For example, the test control unit 201 uses the virtual machine (VM image “VMI1-1”) to execute the test of the test item “Test 1-1-1”.

なお、テスト制御部201は、上述の差分イメージ生成処理と同様に、さらに、指定されたテスト項目を起点とする部分木の範囲のテスト項目のテストを実行し、差分イメージ情報124を更新してもよい。   Note that, similarly to the above-described difference image generation process, the test control unit 201 further executes a test of a test item in the range of the subtree starting from the specified test item, and updates the difference image information 124. Also good.

以上により、本発明の第1の実施の形態の動作が完了する。   Thus, the operation of the first exemplary embodiment of the present invention is completed.

次に、本発明の第1の実施の形態の特徴的な構成を説明する。図1は、本発明の第1の実施の形態の特徴的な構成を示すブロック図である。   Next, a characteristic configuration of the first exemplary embodiment of the present invention will be described. FIG. 1 is a block diagram showing a characteristic configuration of the first embodiment of the present invention.

図1を参照すると、テストシステム1は、テストツリー記憶部111、差分イメージ記憶部114、及び、テスト制御部201を含む。   Referring to FIG. 1, the test system 1 includes a test tree storage unit 111, a difference image storage unit 114, and a test control unit 201.

テストツリー記憶部111は、初期VMイメージを有する仮想マシンに対して実行される複数のテスト項目の各々を、ルートノードを起点とした各ノードに対応付けることにより、各テスト項目のテスト実行前に実行が必要な他のテスト項目を示した木構造を記憶する。   The test tree storage unit 111 executes each test item before executing the test by associating each of the plurality of test items executed on the virtual machine having the initial VM image with each node starting from the root node. Stores a tree structure indicating other test items that are required.

差分イメージ記憶部114は、複数のテスト項目の各々の実行前の仮想マシンのVMイメージと実行後のVMイメージとの差分である差分イメージを、複数のテスト項目の各々に対応付けて記憶する。   The difference image storage unit 114 stores a difference image, which is a difference between the VM image of the virtual machine before execution of each of the plurality of test items and the VM image after execution, in association with each of the plurality of test items.

テスト制御部201は、仮想マシンを用いてテストを実行するテスト項目が指定された場合、初期VMイメージ、及び、木構造上のルートノードから指定されたテスト項目の親のテスト項目までの各テスト項目に対応する差分イメージをもとに、指定されたテスト項目の親のテスト項目のテスト実行後の仮想マシンのVMイメージを復元する。   When a test item for executing a test using a virtual machine is designated, the test control unit 201 performs each test from the initial VM image and the parent test item of the designated test item from the root node on the tree structure. Based on the difference image corresponding to the item, the VM image of the virtual machine after the test execution of the parent test item of the specified test item is restored.

本発明の第1の実施の形態によれば、仮想マシンに用いたテスト環境において、テストシナリオが多岐にわたる場合であっても、VMイメージの保存コストを低減できる。その理由は、テストツリー記憶部111が、仮想マシンに対して実行される複数のテスト項目の実行順序を示す木構造を記憶し、テスト制御部201が、初期VMイメージ、及び、木構造上のルートノードから指定されたテスト項目の親のテスト項目までの各テスト項目実行前後の差分イメージをもとに、指定されたテスト項目の親のテスト項目のテスト実行後の仮想マシンのVMイメージを復元するためである。これにより、テスト項目の各々に対して仮想マシンのVMイメージを保存する場合よりも、VMイメージを保存するためのコストが低減される。   According to the first embodiment of this invention, the storage cost of a VM image can be reduced even in a test environment used for a virtual machine, even when test scenarios are diverse. The reason is that the test tree storage unit 111 stores a tree structure indicating the execution order of a plurality of test items executed on the virtual machine, and the test control unit 201 stores the initial VM image and the tree structure on the tree structure. Restore VM image of virtual machine after test execution of test item parent of specified test item based on differential image before and after execution of each test item from root node to parent test item of specified test item It is to do. Thereby, the cost for storing the VM image is reduced as compared with the case of storing the VM image of the virtual machine for each of the test items.

また、本発明の第1の実施の形態によれば、テストシナリオが多岐にわたる場合であっても、VMイメージの転送コストを低減できる。その理由は、テスト制御部201が、テスト項目のテスト実行後に、当該テスト項目を実行前のVMイメージを復元する場合、差分イメージをもとに、実行前のVMイメージを復元するためである。これにより、テスト項目の各々に対して仮想マシンのVMイメージを転送する場合よりも、VMイメージを転送するためのコストが低減される。   Further, according to the first embodiment of the present invention, the transfer cost of the VM image can be reduced even when the test scenarios are diverse. The reason is that when the test control unit 201 restores the VM image before execution of the test item after executing the test of the test item, the VM image before execution is restored based on the difference image. Thereby, the cost for transferring the VM image is reduced as compared with the case of transferring the VM image of the virtual machine to each of the test items.

(第2の実施の形態)
次に、本発明の第2の実施の形態について説明する。
(Second Embodiment)
Next, a second embodiment of the present invention will be described.

本発明の第2の実施の形態においては、複数のテスト実行装置200で異なる複数のテスト項目のテストを行う場合に、同じ差分データを用いたテストが、同じテスト実行装置200で行われるように、各テスト実行装置200にテスト項目が割り当てられる。   In the second embodiment of the present invention, when a plurality of different test items are tested by a plurality of test execution devices 200, a test using the same difference data is performed by the same test execution device 200. A test item is assigned to each test execution device 200.

次に、本発明の第2の実施の形態の構成について説明する。図10は、本発明の第2の実施の形態における、テストシステム1の構成を示すブロック図である。   Next, the configuration of the second exemplary embodiment of the present invention will be described. FIG. 10 is a block diagram showing the configuration of the test system 1 according to the second embodiment of the present invention.

図10を参照すると、テスト実行システム1は、テスト管理装置100と複数のテスト実行装置200(200a、200b、…)とを含む。   Referring to FIG. 10, the test execution system 1 includes a test management apparatus 100 and a plurality of test execution apparatuses 200 (200a, 200b,...).

次に、本発明の第2の実施の形態におけるテストシステム1の動作について説明する。   Next, the operation of the test system 1 in the second embodiment of the present invention will be described.

<VMイメージ復元処理>
複数のテスト項目を実行するときに、テスト実行装置200にテスト項目を割り当て、各テスト実行装置200で仮想マシンのVMイメージを復元する処理について説明する。
<VM image restoration processing>
A process of assigning test items to the test execution device 200 when executing a plurality of test items and restoring the VM image of the virtual machine by each test execution device 200 will be described.

図11は、本発明の第2の実施の形態におけるVMイメージ復元処理を示すフローチャートである。   FIG. 11 is a flowchart showing a VM image restoration process according to the second embodiment of the present invention.

はじめに、上述の差分イメージ生成処理によって、差分イメージ記憶部114に図7の差分イメージ情報124が登録されていると仮定する。   First, it is assumed that the difference image information 124 of FIG. 7 is registered in the difference image storage unit 114 by the above-described difference image generation processing.

テスト管理装置100のテスト管理部101は、テストシステム1のユーザから、テストツリー121上で、テストを実行する複数のテスト項目の指定を受け付ける(ステップS301)。   The test management unit 101 of the test management apparatus 100 receives designation of a plurality of test items for executing a test on the test tree 121 from the user of the test system 1 (step S301).

例えば、テスト管理部101は、テスト項目として、図4のテストツリー121上の「テスト1−1−1」「テスト1−2−1」「テスト2−1−1」「テスト2−2−1」を受け付ける。   For example, the test management unit 101 uses “test 1-1-1”, “test 1-2-1”, “test 2-1-1”, “test 2-2” on the test tree 121 in FIG. 4 as test items. 1 ”is accepted.

テスト管理部101は、指定されたテスト項目の各々のテストを実行するテスト実行装置200を決定する。ここで、テスト管理部101は、指定されたテスト項目の内、テストツリー121上のルートノードから親(前)のテスト項目までに、共通なテスト項目を持つテスト項目の組を抽出し、抽出された組のテスト項目のテストが同じテスト実行装置200で実行されるように、テスト実行装置200を決定する(ステップS302)。テスト管理部101は、決定したテスト実行装置200の各々のテスト制御部201に、実行するテスト項目を送信し、テストの実行を指示する。   The test management unit 101 determines the test execution device 200 that executes each test of the specified test item. Here, the test management unit 101 extracts and extracts a set of test items having common test items from the root node on the test tree 121 to the parent (previous) test item among the specified test items. The test execution device 200 is determined so that the test of the set of test items is executed by the same test execution device 200 (step S302). The test management unit 101 transmits a test item to be executed to each test control unit 201 of the determined test execution device 200 and instructs execution of the test.

例えば、テスト管理部101は、ルートノードから親(前)のテスト項目までに、共通なテスト項目「テスト1」を持つ、テスト項目「テスト1−1−1」「テスト1−2−1」の組、及び、共通なテスト項目「テスト2」を持つ、テスト項目「テスト2−1−1」「テスト2−2−1」の組を抽出する。そして、テスト管理部101は、テスト項目「テスト1−1−1」「テスト1−2−1」をテスト実行装置200a、テスト項目「テスト2−1−1」「テスト2−2−1」をテスト実行装置200bに割り当てる。   For example, the test management unit 101 has test items “test 1-1-1” and “test 1-2-1” having a common test item “test 1” from the root node to the parent (previous) test item. And a set of test items “test 2-1-1” and “test 2-2-1” having a common test item “test 2”. Then, the test management unit 101 changes the test items “Test 1-1-1” and “Test 1-2-1” to the test execution device 200a, and the test items “Test 2-1-1” “Test 2-2-1”. Are assigned to the test execution device 200b.

テスト管理部101は、初期イメージ情報123の初期VMイメージ取得し、各組のテストを実行するテスト実行装置200のテスト制御部201に送信する(ステップS303)。   The test management unit 101 acquires the initial VM image of the initial image information 123 and transmits it to the test control unit 201 of the test execution apparatus 200 that executes each set of tests (step S303).

例えば、テスト管理部101は、図6の初期VMイメージをテスト実行装置200a、200bのテスト制御部201a、200bに送信する。   For example, the test management unit 101 transmits the initial VM image of FIG. 6 to the test control units 201a and 200b of the test execution devices 200a and 200b.

テスト管理部101は、ステップS302で抽出されたテスト項目の組の各々について、テストツリー121上のルートノードのテスト項目から指定されたテスト項目の親(前)のテスト項目までの各テスト項目に対応する差分イメージを差分イメージ情報124から取得し、各組のテストを実行するテスト実行装置200のテスト制御部201に送信する(ステップS304)。ここで、テスト管理部101は、ステップS302で抽出されたテスト項目の組の各々において、共通なテスト項目に対応する差分イメージについては、1つだけ送信する。   The test management unit 101 applies each test item from the test item of the root node on the test tree 121 to the parent (previous) test item of the specified test item for each set of test items extracted in step S302. The corresponding difference image is acquired from the difference image information 124 and transmitted to the test control unit 201 of the test execution apparatus 200 that executes each set of tests (step S304). Here, the test management unit 101 transmits only one difference image corresponding to a common test item in each of the test item sets extracted in step S302.

例えば、テスト管理部101は、共通なテスト項目「テスト1」に対応する差分イメージ「D1」、及び、「テスト1−1」「テスト1−2」に対応する差分イメージ「D1−1」「D1−2」をテスト制御部201aに送信する。また、テスト管理部101は、共通なテスト項目「テスト2」に対応する差分イメージ「D2」、及び、「テスト2−1」「テスト2−2」に対応する差分イメージ「D2−1」「D2−2」をテスト制御部201bに送信する。   For example, the test management unit 101 uses the difference image “D1” corresponding to the common test item “test 1” and the difference images “D1-1” and “D” corresponding to “test 1-1” and “test 1-2”. D1-2 "is transmitted to the test control unit 201a. In addition, the test management unit 101 uses the difference image “D2” corresponding to the common test item “test 2” and the difference images “D2-1” and “D” corresponding to “test 2-1” and “test 2-2”. D2-2 "is transmitted to the test control unit 201b.

各テスト制御部201は、テスト管理部101から受信した初期VMイメージと差分イメージとをもとに、指示されたテスト項目の親(前)のテスト項目のテスト実行後のVMイメージを復元する(ステップS305)。   Each test control unit 201 restores the VM image after the test execution of the test item parent (previous) of the instructed test item based on the initial VM image and the difference image received from the test management unit 101 ( Step S305).

例えば、テスト制御部201aは、初期VMイメージと差分イメージ「D1」「D1−1」からテスト項目「テスト1−1」のテスト実行後のVMイメージ「VMI1−1」、初期VMイメージと差分イメージ「D1」「D1−2」からテスト項目「テスト1−2」のテスト実行後のVMイメージ「VMI1−2」を復元する。また、テスト制御部201bは、初期VMイメージと差分イメージ「D2」「D2−1」からテスト項目「テスト2−1」のテスト実行後のVMイメージ「VMI2−1」、初期VMイメージと差分イメージ「D2」「D2−2」からテスト項目「テスト2−2」のテスト実行後のVMイメージ「VMI2−2」を復元する。   For example, the test control unit 201a performs the VM image “VMI1-1”, the initial VM image, and the difference image after the test execution of the test item “Test 1-1” from the initial VM image and the difference images “D1” and “D1-1”. The VM image “VMI1-2” after the test execution of the test item “Test1-2” is restored from “D1” and “D1-2”. Further, the test control unit 201b performs the VM image “VMI2-1” after the test execution of the test item “Test 2-1” from the initial VM image and the difference images “D2” and “D2-1”, the initial VM image, and the difference image. The VM image “VMI2-2” after the test execution of the test item “Test2-2” is restored from “D2” and “D2-2”.

テスト制御部201は、処理部202に復元したVMイメージを配備し、仮想マシンを起動する(ステップS306)。   The test control unit 201 deploys the restored VM image in the processing unit 202 and activates the virtual machine (step S306).

例えば、図10に示すように、テスト制御部201aは、VMイメージ「VMI1−1」「VMI1−2」を用いた2つの仮想マシンを処理部202aに配備する。また、テスト制御部201bは、VMイメージ「VMI2−1」「VMI2−2」を用いた2つの仮想マシンを処理部202bに配備する。   For example, as illustrated in FIG. 10, the test control unit 201a deploys two virtual machines using the VM images “VMI1-1” and “VMI1-2” in the processing unit 202a. In addition, the test control unit 201b deploys two virtual machines using the VM images “VMI2-1” and “VMI2-2” in the processing unit 202b.

テスト制御部201は、処理部202上の仮想マシンを用いて、指示されたテスト項目のテストを実行する(ステップS307)。   The test control unit 201 uses the virtual machine on the processing unit 202 to execute a test for the instructed test item (step S307).

例えば、テスト制御部201aは、2つの仮想マシン(VMイメージ「VMI1−1」「VMI1−2」)を用いて、テスト項目「テスト1−1−1」「テスト1−2−1」を、それぞれ実行する。また、テスト制御部201bは、2つの仮想マシン(VMイメージ「VMI2−1」「VMI2−2」)を用いて、テスト項目「テスト2−1−1」「テスト2−2−1」を、それぞれ実行する。   For example, the test control unit 201a uses two virtual machines (VM images “VMI1-1” and “VMI1-2”) to change the test items “Test 1-1-1” and “Test 1-2-1” Run each one. In addition, the test control unit 201b uses two virtual machines (VM images “VMI2-1” and “VMI2-2”) to test items “test 2-1-1” and “test 2-2-1” Run each one.

以上により、本発明の第2の実施の形態の動作が完了する。   Thus, the operation of the second exemplary embodiment of the present invention is completed.

本発明の第2の実施の形態によれば、複数のテスト実行装置200で異なる複数のテスト項目のテストを行う場合に、VMイメージの転送コストを低減できる。その理由は、テスト管理部101が、同じ差分データを用いたテストが、同じテスト実行装置200で行われるように、各テスト実行装置200にテスト項目を割り当てるためである。   According to the second embodiment of the present invention, when a plurality of different test items are tested by the plurality of test execution devices 200, the transfer cost of the VM image can be reduced. The reason is that the test management unit 101 assigns test items to the test execution devices 200 so that tests using the same difference data are performed by the same test execution device 200.

以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。   Although the present invention has been described with reference to the embodiments, the present invention is not limited to the above embodiments. Various changes that can be understood by those skilled in the art can be made to the configuration and details of the present invention within the scope of the present invention.

例えば、本発明の実施の形態では、テスト実行装置200のテスト制御部201が、処理部202上の仮想マシンに対してテストを行っているが、テスト実行装置200の外部の装置が処理部202上の仮想マシンに対してテストを実行してもよい。この場合、テスト制御部201が、仮想マシンにおける各テスト項目のテスト終了を検出し、テスト実行前後の差分イメージを生成する。   For example, in the embodiment of the present invention, the test control unit 201 of the test execution device 200 performs a test on the virtual machine on the processing unit 202, but a device external to the test execution device 200 performs processing on the processing unit 202. You may run a test on the virtual machine above. In this case, the test control unit 201 detects the test end of each test item in the virtual machine, and generates a difference image before and after the test execution.

また、本発明の実施の形態では、テスト制御部201が、生成した差分イメージを、差分イメージ記憶部114の差分イメージ情報124に登録しているが、テスト制御部201は、差分イメージを、テスト実行装置200の図示しない一時的な記憶部に保存し、テスト実行前のVMイメージの復元に用いてもよい。この場合、テスト制御部201は、複数の差分イメージをまとめて差分イメージ記憶部114の差分イメージ情報124に登録してもよい。   In the embodiment of the present invention, the test control unit 201 registers the generated difference image in the difference image information 124 of the difference image storage unit 114, but the test control unit 201 uses the difference image as a test. It may be stored in a temporary storage unit (not shown) of the execution apparatus 200 and used to restore the VM image before the test execution. In this case, the test control unit 201 may register a plurality of difference images together in the difference image information 124 of the difference image storage unit 114.

1 テスト実行システム
100 テスト管理装置
101 テスト管理部
111 テストツリー記憶部
112 テスト情報記憶部
113 初期イメージ記憶部
114 差分イメージ記憶部
121 テストツリー
122 テスト情報
123 初期イメージ情報
124 差分イメージ情報
200 テスト実行装置
201 テスト制御部
202 処理部
DESCRIPTION OF SYMBOLS 1 Test execution system 100 Test management apparatus 101 Test management part 111 Test tree storage part 112 Test information storage part 113 Initial image storage part 114 Difference image storage part 121 Test tree 122 Test information 123 Initial image information 124 Difference image information 200 Test execution apparatus 201 Test control unit 202 Processing unit

Claims (10)

初期VMイメージを有する仮想マシンに対して実行される複数のテスト項目の各々を、ルートノードを起点とした各ノードに対応付けることにより、各テスト項目のテスト実行前に実行が必要な他のテスト項目を示した木構造を記憶するテストツリー記憶手段と、
前記複数のテスト項目の各々の実行前の前記仮想マシンのVMイメージと実行後のVMイメージとの差分である差分イメージを、前記複数のテスト項目の各々に対応付けて記憶する差分イメージ記憶手段と、
前記仮想マシンを用いてテストを実行するテスト項目が指定された場合、前記初期VMイメージ、及び、前記木構造上の前記ルートノードから前記指定されたテスト項目の親のテスト項目までの各テスト項目に対応する差分イメージをもとに、前記指定されたテスト項目の親のテスト項目のテスト実行後の前記仮想マシンのVMイメージを復元するテスト実行手段と、
を含むテストシステム。
Other test items that need to be executed before the test execution of each test item by associating each of the plurality of test items executed on the virtual machine having the initial VM image with each node starting from the root node Test tree storage means for storing a tree structure indicating
Differential image storage means for storing a difference image, which is a difference between a VM image of the virtual machine before execution of each of the plurality of test items and a VM image after execution, in association with each of the plurality of test items; ,
When a test item for executing a test using the virtual machine is designated, each test item from the initial VM image and the root test item on the tree structure to a test item that is a parent of the designated test item A test execution means for restoring the VM image of the virtual machine after the test execution of the test item of the parent of the specified test item based on the difference image corresponding to
Including test system.
前記テスト実行手段は、前記仮想マシンにおいて、前記木構造に従って前記複数のテスト項目の各々のテスト実行後に、前記複数のテスト項目の各々について前記差分イメージを取得し、前記差分イメージ記憶手段に保存する
請求項1に記載のテストシステム。
The test execution unit acquires the difference image for each of the plurality of test items after the test execution of each of the plurality of test items according to the tree structure in the virtual machine, and stores the difference image in the difference image storage unit. The test system according to claim 1.
前記テスト実行手段は、前記仮想マシンにおいて、第1のテスト項目のテスト実行後に、前記木構造上の前記ルートノードから前記第1のテスト項目の親のテスト項目までのテスト項目の内の第2のテスト項目のテスト実行後の前記仮想マシンのVMイメージを復元する場合、前記第1のテスト項目実行後のVMイメージと、前記第2のテスト項目の子のテスト項目から前記第1のテスト項目までの各テスト項目に対応する差分イメージと、をもとに、前記第2のテスト項目のテスト実行後の前記仮想マシンのVMイメージを復元する
請求項1に記載のテストシステム。
In the virtual machine, after the test execution of the first test item in the virtual machine, the test execution means includes a second test item from the root node on the tree structure to the parent test item of the first test item. When the VM image of the virtual machine after the test execution of the test item is restored, the first test item is obtained from the VM image after the execution of the first test item and the child test item of the second test item. The test system according to claim 1, wherein the VM image of the virtual machine after the test execution of the second test item is restored based on the difference image corresponding to each of the test items up to.
複数の前記テスト実行手段を含み、
さらに、前記仮想マシンを用いてテストを実行する複数のテスト項目が指定された場合、前記指定された複数のテスト項目の内、前記木構造上のルートノードから親のテスト項目までに、共通なテスト項目を持つテスト項目の組を抽出し、抽出された組の各々を、前記複数の前記テスト実行手段の内の異なるテスト実行手段に割り当てるテスト管理手段を含む
請求項1に記載のテストシステム。
A plurality of the test execution means,
Further, when a plurality of test items for executing a test using the virtual machine is specified, a common test item from a root node on the tree structure to a parent test item among the specified test items is specified. The test system according to claim 1, further comprising: a test management unit that extracts a set of test items having test items, and assigns each of the extracted sets to a different test execution unit among the plurality of test execution units.
初期VMイメージを有する仮想マシンに対して実行される複数のテスト項目の各々を、ルートノードを起点とした各ノードに対応付けることにより、各テスト項目のテスト実行前に実行が必要な他のテスト項目を示した木構造を記憶し、
前記複数のテスト項目の各々の実行前の前記仮想マシンのVMイメージと実行後のVMイメージとの差分である差分イメージを、前記複数のテスト項目の各々に対応付けて記憶し、
前記仮想マシンを用いてテストを実行するテスト項目が指定された場合、前記初期VMイメージ、及び、前記木構造上の前記ルートノードから前記指定されたテスト項目の親のテスト項目までの各テスト項目に対応する差分イメージをもとに、前記指定されたテスト項目の親のテスト項目のテスト実行後の前記仮想マシンのVMイメージを復元する
テスト方法。
Other test items that need to be executed before the test execution of each test item by associating each of the plurality of test items executed on the virtual machine having the initial VM image with each node starting from the root node Remember the tree structure
A difference image that is a difference between a VM image of the virtual machine before execution of each of the plurality of test items and a VM image after execution is stored in association with each of the plurality of test items;
When a test item for executing a test using the virtual machine is designated, each test item from the initial VM image and the root test item on the tree structure to a test item that is a parent of the designated test item A test method for restoring the VM image of the virtual machine after the test execution of the test item that is the parent of the specified test item based on the difference image corresponding to
さらに、前記仮想マシンにおいて、前記木構造に従って前記複数のテスト項目の各々のテスト実行後に、前記複数のテスト項目の各々について前記差分イメージを取得する
請求項5に記載のテスト方法。
The test method according to claim 5, further comprising: acquiring the difference image for each of the plurality of test items in the virtual machine after executing the test for each of the plurality of test items according to the tree structure.
さらに、前記仮想マシンにおいて、第1のテスト項目のテスト実行後に、前記木構造上の前記ルートノードから前記第1のテスト項目の親のテスト項目までのテスト項目の内の第2のテスト項目のテスト実行後の前記仮想マシンのVMイメージを復元する場合、前記第1のテスト項目実行後のVMイメージと、前記第2のテスト項目の子のテスト項目から前記第1のテスト項目までの各テスト項目に対応する差分イメージと、をもとに、前記第2のテスト項目のテスト実行後の前記仮想マシンのVMイメージを復元する
請求項5に記載のテスト方法。
Furthermore, in the virtual machine, after the test of the first test item is executed, the second test item of the test items from the root node on the tree structure to the parent test item of the first test item When restoring the VM image of the virtual machine after the test execution, the VM image after the execution of the first test item and each test from the child test item to the first test item of the second test item The test method according to claim 5, wherein the VM image of the virtual machine after the test execution of the second test item is restored based on the difference image corresponding to the item.
コンピュータに、
初期VMイメージを有する仮想マシンに対して実行される複数のテスト項目の各々を、ルートノードを起点とした各ノードに対応付けることにより、各テスト項目のテスト実行前に実行が必要な他のテスト項目を示した木構造を記憶し、
前記複数のテスト項目の各々の実行前の前記仮想マシンのVMイメージと実行後のVMイメージとの差分である差分イメージを、前記複数のテスト項目の各々に対応付けて記憶し、
前記仮想マシンを用いてテストを実行するテスト項目が指定された場合、前記初期VMイメージ、及び、前記木構造上の前記ルートノードから前記指定されたテスト項目の親のテスト項目までの各テスト項目に対応する差分イメージをもとに、前記指定されたテスト項目の親のテスト項目のテスト実行後の前記仮想マシンのVMイメージを復元する
処理を実行させるテストプログラム。
On the computer,
Other test items that need to be executed before the test execution of each test item by associating each of the plurality of test items executed on the virtual machine having the initial VM image with each node starting from the root node Remember the tree structure
A difference image that is a difference between a VM image of the virtual machine before execution of each of the plurality of test items and a VM image after execution is stored in association with each of the plurality of test items;
When a test item for executing a test using the virtual machine is designated, each test item from the initial VM image and the root test item on the tree structure to a test item that is a parent of the designated test item A test program for executing a process of restoring the VM image of the virtual machine after the test execution of the test item that is the parent of the specified test item based on the difference image corresponding to.
さらに、前記仮想マシンにおいて、前記木構造に従って前記複数のテスト項目の各々のテスト実行後に、前記複数のテスト項目の各々について前記差分イメージを取得する
請求項8に記載のテストプログラム。
The test program according to claim 8, wherein the virtual machine acquires the difference image for each of the plurality of test items after executing the test for each of the plurality of test items according to the tree structure.
さらに、前記仮想マシンにおいて、第1のテスト項目のテスト実行後に、前記木構造上の前記ルートノードから前記第1のテスト項目の親のテスト項目までのテスト項目の内の第2のテスト項目のテスト実行後の前記仮想マシンのVMイメージを復元する場合、前記第1のテスト項目実行後のVMイメージと、前記第2のテスト項目の子のテスト項目から前記第1のテスト項目までの各テスト項目に対応する差分イメージと、をもとに、前記第2のテスト項目のテスト実行後の前記仮想マシンのVMイメージを復元する
請求項8に記載のテストプログラム。
Furthermore, in the virtual machine, after the test of the first test item is executed, the second test item of the test items from the root node on the tree structure to the parent test item of the first test item When restoring the VM image of the virtual machine after the test execution, the VM image after the execution of the first test item and each test from the child test item to the first test item of the second test item The test program according to claim 8, wherein the VM image of the virtual machine after the test execution of the second test item is restored based on the difference image corresponding to the item.
JP2011267106A 2011-12-06 2011-12-06 Test system, test method, and program Active JP5906705B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011267106A JP5906705B2 (en) 2011-12-06 2011-12-06 Test system, test method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011267106A JP5906705B2 (en) 2011-12-06 2011-12-06 Test system, test method, and program

Publications (2)

Publication Number Publication Date
JP2013120440A true JP2013120440A (en) 2013-06-17
JP5906705B2 JP5906705B2 (en) 2016-04-20

Family

ID=48773064

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011267106A Active JP5906705B2 (en) 2011-12-06 2011-12-06 Test system, test method, and program

Country Status (1)

Country Link
JP (1) JP5906705B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015035216A (en) * 2013-08-07 2015-02-19 飛捜股▲ふん▼有限公司 Application program search method and system thereof
JP2015090692A (en) * 2013-11-07 2015-05-11 富士通株式会社 Virtual machine arrangement method, virtual machine arrangement program and information processing device
WO2019069462A1 (en) * 2017-10-06 2019-04-11 三菱電機株式会社 State reproduction system, state reproduction program, security inspection system, and security inspection program
WO2020166345A1 (en) * 2019-02-15 2020-08-20 日立オートモティブシステムズ株式会社 Verification device and verification method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000020349A (en) * 1998-07-06 2000-01-21 Toshiba Corp Device and method for supporting program development and medium recording program for program development support
JP2011013792A (en) * 2009-06-30 2011-01-20 Fujitsu Ltd Device, method and program for control of database in program model inspection
JP2011242965A (en) * 2010-05-18 2011-12-01 Mitsubishi Electric Corp Data management device, and data management method and program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000020349A (en) * 1998-07-06 2000-01-21 Toshiba Corp Device and method for supporting program development and medium recording program for program development support
JP2011013792A (en) * 2009-06-30 2011-01-20 Fujitsu Ltd Device, method and program for control of database in program model inspection
JP2011242965A (en) * 2010-05-18 2011-12-01 Mitsubishi Electric Corp Data management device, and data management method and program

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015035216A (en) * 2013-08-07 2015-02-19 飛捜股▲ふん▼有限公司 Application program search method and system thereof
JP2015090692A (en) * 2013-11-07 2015-05-11 富士通株式会社 Virtual machine arrangement method, virtual machine arrangement program and information processing device
WO2019069462A1 (en) * 2017-10-06 2019-04-11 三菱電機株式会社 State reproduction system, state reproduction program, security inspection system, and security inspection program
WO2020166345A1 (en) * 2019-02-15 2020-08-20 日立オートモティブシステムズ株式会社 Verification device and verification method
JPWO2020166345A1 (en) * 2019-02-15 2021-09-30 日立Astemo株式会社 Verification device and verification method
JP7084505B2 (en) 2019-02-15 2022-06-14 日立Astemo株式会社 Verification device and verification method
US11487649B2 (en) 2019-02-15 2022-11-01 Hitachi Astemo, Ltd. Verification device and method for verifying a program using a tree structure of common and non-common test scenario phases

Also Published As

Publication number Publication date
JP5906705B2 (en) 2016-04-20

Similar Documents

Publication Publication Date Title
CN107438107B (en) Method and device for calling background service in micro-service architecture
JP5401922B2 (en) Virtual system control program, method and apparatus
JP5976946B2 (en) Virtual machine test system, virtual machine test method
CN104199957A (en) Redis universal agent implementation method
CN112035293A (en) Virtual machine cluster backup
US9229758B2 (en) Passive monitoring of virtual systems using extensible indexing
GB2499143A (en) Computer system
JP5906705B2 (en) Test system, test method, and program
CN109656569B (en) Multi-environment application deployment method, equipment, storage medium and device
US10860375B1 (en) Singleton coordination in an actor-based system
JP6202091B2 (en) Information processing apparatus and deployment method
CN107395710B (en) Method and device for realizing configuration and high availability HA of cloud platform network element
CN113382077B (en) Micro-service scheduling method, micro-service scheduling device, computer equipment and storage medium
CN109144485B (en) Micro-service deployment method, device, equipment and readable storage medium
CN110825399A (en) Deployment method and device of application program
US9183092B1 (en) Avoidance of dependency issues in network-based service startup workflows
JP5609527B2 (en) Network virtualization system, node, network virtualization method, and network virtualization program
CN110782040A (en) Method, device, equipment and medium for training tasks of pitorch
CN107885574B (en) Deployment method of virtual machine, service node, control device and control node
US9348672B1 (en) Singleton coordination in an actor-based system
US10180830B2 (en) Information processing device, deployment method, and recording medium
CN112698930A (en) Method, device, equipment and medium for obtaining server identification
JP2015204025A (en) Information processing system, arrangement device, arrangement method and program
WO2010035480A1 (en) Distributed processing system, distributed processing method, and program
CN110471767A (en) A kind of dispatching method of equipment

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141117

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150728

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150818

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151015

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160223

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160307

R150 Certificate of patent or registration of utility model

Ref document number: 5906705

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150