JP2014010581A - テスト装置、テストシステム、テスト方法、及びプログラム - Google Patents

テスト装置、テストシステム、テスト方法、及びプログラム Download PDF

Info

Publication number
JP2014010581A
JP2014010581A JP2012146146A JP2012146146A JP2014010581A JP 2014010581 A JP2014010581 A JP 2014010581A JP 2012146146 A JP2012146146 A JP 2012146146A JP 2012146146 A JP2012146146 A JP 2012146146A JP 2014010581 A JP2014010581 A JP 2014010581A
Authority
JP
Japan
Prior art keywords
test
test scenario
unit
data
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012146146A
Other languages
English (en)
Inventor
Ryunosuke Imayoshi
竜之介 今吉
Nobuhide Sugimoto
信秀 杉本
Minoru Saito
稔 斉藤
Daisuke Maeno
大輔 前野
Yuichi Handa
祐一 半田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Digital Solutions Corp
Original Assignee
Toshiba Corp
Toshiba Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Solutions Corp filed Critical Toshiba Corp
Priority to JP2012146146A priority Critical patent/JP2014010581A/ja
Publication of JP2014010581A publication Critical patent/JP2014010581A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Debugging And Monitoring (AREA)

Abstract

【課題】
複数のクライアントアプリアプリケーションを用いたテストの効率化を可能とするテスト装置を実現する。
【解決手段】
実施形態は、複数のクライアントアプリケーションを用いてアプリケーションのテストを実行するテスト装置であって、ユーザ操作を検出するユーザ操作検出部と、ユーザ操作に基づいて発生するイベントデータを取得するイベント取得部と、ユーザ操作結果の第1データを取得する操作結果取得部と、イベントデータと第1データとをそれぞれ複数のクライアントアプリケーションの共通書式に変換する書式変換部と、イベントデータと第1データとを含み、テストの手順を示すテストシナリオを記憶するテストシナリオ記憶部と、共通書式に変換されたテストシナリオをクライアントアプリケーションに配信するテストシナリオ配信部と、配信されたテストシナリオに基づいてアプリケーションのテストを実行するテストナリオ実行部と、を備える。
【選択図】図2

Description

本発明の実施形態は、テスト装置、テストシステム、テスト方法、及びプログラムに関する。
通信を行うアプリケーションプログラム(以下、アプリケーションという)をテストするためのテスト装置がある。このテスト装置は、テスト対象のアプリケーションにユーザ端末(以下、クライアント端末という)からアクセスし、クライアント端末の画面に表示されたボタンや入力フォーム等を操作して、その操作の実行結果を確認する。このときクライアント端末は、アプリケーションの操作を行なうクライアント向けアプリケーション(以下、クライアントアプリという)を備える。クライアントアプリは、例えばブラウザやアプリケーションの開発ツールである。
クライアント端末におけるクライアントアプリの操作やクライアントアプリからの処理要求をイベントといい、テストで実行するすべてのイベントのデータ(以下、イベントデータという)とその実行結果を、テストを実行する順に並べた集合体をテストシナリオという。
従来のテスト装置は、イベントデータだけでなくクライアントアプリを用いてアプリケーションを操作することによってクライアント端末の画面に描画されたボタン等の画像データそのものをテストシナリオに導入しテストを実行する場合であって、1つのアプリケーションへのテストを複数のクライアントアプリで実行する場合、1つのテストシナリオをそれぞれのクライアントアプリで実行し、全クライアントアプリに関するテスト結果にて問題がないかを確かめることも可能である。
しかしながら、上記のようなテスト装置では、画像データそのものをテストシナリオに導入する場合に、オペレーティングシステム(Operating System:以下、OSという)などの環境や、クライアントアプリが異なる場合はテストシナリオを再利用することができない。
これは、テスト装置は画面に表示された画像そのものを認識して動作するため、異なる環境下では、同じ部品画像で構成された画像データあっても表示された画像のレイアウト、文字のサイズ、もしくは背景色が異なってしまうためである。
したがって、画像データそのものをテストシナリオに導入する場合、クライアントアプリ毎にテストシナリオを作成する必要があるため、テストを実行する際の効率が悪いという問題がある。
一方、イベントデータのみをテストシナリオとするテスト装置では、異なるブラウザでテストシナリオを再利用することが可能である。しかしながら、テスト担当者(ユーザ)はそれぞれのブラウザにテストシナリオを手動で配置しなければならない。そのためテストシナリオ自体は1つでよいが、テストの事前準備は、テスト対象となるブラウザの数に比例して時間がかかってしまうという問題がある。また、ブラウザ以外のクライアントアプリではテストシナリオを再利用することができないため、複数のクライアントアプリにおけるイベントを組み合わせたテストの実行ができず、クライアント毎にテストを分けて実行しなければならず効率が悪いという問題もある。
特開2009−140155号公報
本発明が解決しようとする課題は、複数のクライアントアプリケーションを用いるテストの効率化を可能とするテスト装置を実現することである。
実施形態は、複数のクライアントアプリケーションを用いてアプリケーションのテストを実行するテスト装置であって、ユーザ操作を検出するユーザ操作検出部と、ユーザ操作に基づいて発生するイベントデータを取得するイベント取得部と、ユーザ操作部による操作結果である第1データを取得する操作結果取得部と、イベントデータと第1データとをそれぞれ複数のクライアントアプリケーションの共通書式に変換するルールに基づいてイベントデータと第1データとをそれぞれ共通書式に変換する書式変換部と、イベントデータと第1データとを含み、テストの手順を示すテストシナリオを記憶するテストシナリオ記憶部と、共通書式に変換されたテストシナリオをクライアントアプリケーションに配信するテストシナリオ配信部と、配信されたテストシナリオに基づいて複数のクライアントアプリケーションのテストを実行するテストナリオ実行部と、を備える。
本実施形態に係るテスト装置のハードウェア構成の一例を示すブロック図 本実施形態に係るテスト装置の機能構成の一例を示すブロック図。 本実施形態に係るテスト装置のステップ情報の一例を示す図。 本実施形態に係るテスト装置の動作の一例を示すフローチャート。 本実施形態に係るテスト装置のステップ情報作成処理の一例を示すフローチャート。 本実施形態に係るテスト装置のユーザ操作の概念図。 本実施形態に係るテスト装置のクライアント端末の画面の一例を示す図。 本実施形態に係るテスト装置のステップ情報の一例を示す図。 本実施形態に係るテスト装置の変換ルールの概念図。 本実施形態に係るテスト装置の操作結果画面の一例を示す図。 本実施形態に係るテスト装置のステップ情報の一例を示す図。 本実施形態に係るテスト装置の動作の一例を示すフローチャート。 本実施形態に係るテスト装置の動作の一例を示すフローチャート。 本実施形態に係るテスト装置のテストシナリオ記憶部に登録されたテストシナリオの一例を示す図。 本実施形態に係るテスト装置。 本実施形態に係るテスト装置のテスト結果記憶部に登録されたテスト結果合否定結果の一例を示す図。
以下、図面を参照して本発明の実施形態に係るテスト装置について説明する。
(本実施形態)
以下、図1乃至図16を参照して本実施形態のテスト装置100について説明する。
図1に示すように、本実施形態のテスト装置100は、アプリケーションプログラムのテストを実行する3つのクライアントアプリケーション(クライアントアプリ111、クライアントアプリ121、クライアントアプリ131)を1つずつ備える3台のクライアント端末(クライアント端末110、クライアント端末120、およびクライアント端末130)とサーバコンピュータ(以下、サーバという)200とが、ネットワーク300を介して接続された構成である。
クライアント端末110はクライアントアプリ111を備える端末であり、例えば一般的なパーソナルコンピュータ(以下、PCという)や、タブレットPC、スマートフォンなどである。
クライアント端末110と同様に、クライアント端末120はクライアントアプリ121を備える端末であり、クライアント端末130はクライアントアプリ131を備える端末である。
クライアント端末110、クライアント端末120、クライアント端末130は、それぞれが備えるクライアントアプリ111、クライアントアプリ121、クライアントアプリ131で実施したテストの手順とこのテストの動作結果の情報とを用いてテストシナリオを作成し、作成したテストシナリオをサーバ200に送信する機能を有する。また、クライアント端末110、クライアント端末120、クライアント端末130は、サーバ200から配信されたテストシナリオに基づいてそれぞれが備えるクライアントアプリ111、クライアントアプリ121、クライアントアプリ131を動作させ、アプリケーションのテストを実行する機能も有する。
クライアントアプリ111、クライアントアプリ121、クライアントアプリ131は、例えばテスト対象のアプリケーションのブラウザやアプリケーション開発ツール、もしくはアプリケーションプログラミングインタフェース(以下、APIという)である。本実施形態では3つのクライアントアプリ(クライアントアプリ111、クライアントアプリ121、クライアントアプリ131)は異なる種類であるとする。
なお、1つのクライアント端末110が複数の異なるクライアントアプリを備える構成も可能である。また、各クライアント端末110が、異なる個数のクライアントアプリを備えることも可能である。
サーバ200はコンピュータ210と記憶装置220を備える。コンピュータ210は、ハードディスクドライブなどの記憶装置220と接続されている。この記憶装置220は、コンピュータ210によって実行されるアプリケーションプログラムであるプログラム230を記憶している。すなわち、記憶装置220は、プログラム230を記憶する記憶媒体として機能する。このプログラム230によってテスト装置100の各機能が実現される。なお、記憶装置220がテスト対象のクライアントアプリを記憶してテストしてもよい。もしくは、サーバ200から外部にあるテスト対象のクライアントアプリにネットワーク経由でアクセスしてテストしてもよい。
サーバ200は、クライアント端末110、120、130のいずれかに1台において作成されたテストシナリオやクライアントアプリ111、クライアントアプリ121、クライアントアプリ131で実行されたテストの結果を記憶する。また、サーバ200はこのテストシナリオを、テストを実行するクライアントアプリ111、クライアントアプリ121、クライアントアプリ131に配信する。サーバ200は、例えば、一般的なPCで実現される。
ネットワーク300は、例えばLAN(Local Area Network)であり、クライアント端末110、120、130とサーバ200との間でデータの通信を行なう。
すなわち、テスト装置100はクライアント端末110、120、130とサーバ200とで構成されるテストシステム100といえる。なお、テスト装置100に含まれるクライアント端末は3台に限らない。
また、テスト装置100を1台のPCで構成することも可能である。1台のPCでテスト装置100を構成する場合、例えばサーバ200の機能を備えるPC上で複数のクライアントアプリが実行される。また、クライアント端末110、120、130とサーバ200はネットワーク300を介さず接続することも可能である。
ここで、図2を参照して、本実施形態のテスト装置100の機能構成について説明する。
なお、本実施形態ではクライアント端末110で動作するクライアントアプリ111においてテストシナリオが作成されるとし、図2にはクライアント端末110の機能構成のみを示す。テスト装置100が備える他の2台のクライアント端末120、130は、クライアント端末110とクライアントアプリの種類のみが異なり、他の機能構成は同一であるため説明は省略する。
図2に示すように、クライアント端末110は、クライアントアプリ111、クライアントアプリ登録部112、ユーザ操作検出部113、イベント取得部114、操作結果画面取得部115、テストシナリオ実行部116、書式変換部117、変換ルール記憶部118、及びテスト結果合否判定部119を備える。
クライアントアプリ登録部112は、アプリケーション上でテストを実行するクライアントアプリ111の情報(以下、クライアントアプリ情報という)をサーバ200に登録するため、サーバ200にクライアントアプリ情報を送信する。クライアントアプリ情報は、例えばクライアントアプリの種類と、当該クライアントアプリを有するクライアント端末110を示す識別子とを対応付けたデータである。送信されたクライアントアプリ情報は後述するクライアントアプリ情報記憶部202に登録される。
クライアントアプリ登録部112は、例えばクライアント端末110に備えられるプラグインによって実現される。本実施形態のテスト装置100では、テストを実行する事前に各クライアント端末111のクライアントアプリ登録部112によってクライアントアプリ1、クライアントアプリ2、及びクライアントアプリ3がサーバ200に登録される。
ユーザ操作検出部113は、ユーザがクライアントアプリ111に対して行なった操作を検出し、検出結果をイベント取得部114と操作結果画面取得部115に通知する。検出結果である操作情報(以下、ユーザ操作情報という)は、クライアントアプリ111のGraphical User Interfaceの部品(以下、GUI部品という)上でのマウスクリックやキーボードの入力等の情報を指す。GUI部品とは、GUIにおけるユーザが操作するためのボタンなどのことである。
イベント取得部114は、ユーザ操作検出部113によって検出されたユーザ操作情報を受信し、当該ユーザ操作情報に基づいて検出したクライアントアプリ111に発生したイベントの情報(以下、イベントデータという)を取得する。イベントは、例えば「IDがXXXのボタンが押された」「IDがYYYのフォームに文字列「abc」が入力された」等、ユーザによるクライアントアプリ111の操作によって発生する。
操作結果画面取得部115は、ユーザ操作検出部113によって検出されたユーザ操作情報の検出通知を受けて、その操作の結果としてクライアントアプリ111に表示された画面の情報(以下、第1データもしくは操作結果画面情報という)を取得する。操作結果画面情報とはソースコードを指す。例えば、クライアントアプリ111がインターネットブラウザの場合は、画面の情報はHTML形式の文書となる。
テストシナリオ実行部116は、ユーザ操作検出部113が検出したユーザ操作に基づいて、イベント取得部114が取得したイベントデータと、操作結果画面検出部115が検出した操作結果画面情報とを関連づけてテストの手順の1つであるステップ情報を作成する。また、テストシナリオ実行部116は、後述するテストシナリオ配信部204から配信されるテストシナリオに基づいて、クライアントアプリ111のテストを実行する。
ここで、図3を参照して本実施形態におけるステップ情報の一例について説明する。図3に示すように、ステップ情報120aは、ステップID120aA、クライアントアプリID120aB、イベントデータ120aC、入力データ120aD、操作結果画面情報120aE、及び結果比較フラグ120aFを含む。
ステップID120aAは、当該ステップ情報120aを一意に定めるための識別子であり、例えば、本実施形態ではステップ情報120aが作成された順に番号が付与される。
クライアントアプリID120aBは、当該ステップ情報120aが作成されたクライアントアプリを一意に定める識別子である。例えばクライアントアプリ111において作成されたステップ情報120aのクライアントアプリID120aBは「111」とする。このクライアントアプリID120aBによって、ユーザ操作検出部113がどのクライアントアプリ上のユーザ操作を検出したのかを判定する。
イベントデータ120aCは、イベント取得部114が取得したイベントデータであり、例えばユーザ操作情報や操作対象のGUI部品を含む。
入力データ120aDは、入力テキストの情報であり、イベントデータ120aCに含まれるGUI部品がフォームの場合などに取得される。
操作結果画面情報120aEは、操作結果画面取得部115が取得した結果画面情報(ソースコード)である。
結果比較フラグ120aFは、後述するテスト結果合否判定部119がテスト結果合否判定処理を行うか否かを指定するフラグである。このフラグが「true」の場合は、テスト結果合否判定処理を行い、「false」の場合は判定を行なわない。結果比較フラグ120aFはあらかじめ「true」で設定されており、例えばステップ情報120aに含まれるイベントデータ120aCがテストの途中の操作で発生した場合、この結果だけではテストの合否を判定できないため、後述するテストシナリオ編集処理においてこのフラグは「false」と編集する。
上述の項目が含まれる1つのステップ情報120aは1つのユーザ操作に相当する。本実施形態ではユーザがクライアントアプリ111の操作を1回実施する毎に、テストシナリオ実行部116はステップ情報120aを1つ作成する。ユーザがクライアントアプリ111に操作完了を入力すると、テストシナリオ実行部116が作成したステップ情報120aが書式変換部117によって共通書式に変換されサーバ200に送信される。
書式変換部117は、クライアント端末110とサーバ200とのテストシナリオの送受信において、後述する変換ルール記憶部118に記憶された変換ルールに基づいて、テストシナリオ作成対象のクライアントアプリ111ごとに固有の書式を、クライアントアプリ間の共通の書式(以下、共通書式という)に変換する共通書式化処理を行い、共通書式化処理後のテストシナリオをサーバ200に送信する。すなわち、共通書式化処理においては各ステップ情報120aが共通書式に変換される。サーバ200は、共通書式化後のテストシナリオデータを受信する。
変換ルール記憶部118は、書式変換部117に参照される変換ルールが記憶されている。変換ルールは、テストシナリオを共通書式に変換するためのルールである。
テスト結果合否判定部119は、サーバ200から配信されたテストシナリオに基づいて各クライアントアプリ111、121、131がテストを実行した結果、各クライアントアプリ111、121、131に表示される画面情報(第2データ)と、当該テストシナリオに含まれる操作結果画面情報120aE(第1データ)とを比較し、テスト結果が合格か否かを判定する。なお、画面の比較は、例えば画面の一部、あるいは全体を比較し、ほぼ一致すれば合格、そうでなければ不合格であると判定する。
クライアント端末110が接続されるサーバ200は、テストシナリオ配信部201、クライアントアプリ情報記憶部202、テストシナリオ登録部203、テストシナリオ記憶部204、テストシナリオ編集部205、及びテスト結果記憶部206を備える。
テストシナリオ配信部201は、クライアント端末110から送信されたクライアントアプリ情報と、ステップ情報116aと、テスト結果と、テスト結果の合否判定結果を受信する。
具体的には、テストシナリオ配信部201は、クライアント端末110のクライアント登録部112からクライアントアプリ情報を受信すると、このクライアントアプリ情報をクライアントアプリ情報記憶部202に登録する。また、テストシナリオ配信部201が、書式変換部117からステップ情報116aを受信すると、テストシナリオ登録部203がこのステップ情報116aをテストシナリオ記憶部204に登録する。また、テストシナリオ配信部201はテスト結果もしくはテスト結果の合否判定結果を受信すると、テスト結果記憶部206に登録する。
また、テストシナリオ配信部201は、テストシナリオ記憶部204に記憶されたテストシナリオを、テストを実行するクライアントアプリに配信する。このとき、テストシナリオ配信部201は、クライアント情報記憶部202に記憶されたクライアントアプリ情報に基づいて配信先のクライアントアプリを示す配信先クライアントデータを作成し、この配信先クライアントデータに基づいてテストシナリオを配信する。なお、本実施形態のテストシナリオ配信部201は、テストシナリオに含まれるステップ情報120a毎にクライアントアプリへ配信する。
テストシナリオ登録部203は、テストシナリオ配信部201がクライアント端末110から受信したステップ情報120aをテストシナリオとしてテストシナリオ記憶部204に登録する。
テストシナリオ編集部205は、テストシナリオ記憶部204に記憶されたテストシナリオやテストシナリオ配信部202によるテストシナリオの配信先を編集するテストシナリオ編集処理を行う。テストシナリオ編集処理は、例えばテストを実行するクライアントアプリ毎に異なる操作が必要な場合や、配信先のクライアントアプリにおけるテストの実行結果がテストシナリオに含まれる操作結果画面情報と必ず異なるものになることが事前に把握できている場合等に行なわれる。
なお、テスト装置100の各機能は、サーバ200の記憶装置220が記憶しているプログラム230をコンピュータ210が実行することによって実現する。
ここで、本実施形態におけるテスト装置100の動作について図4乃至図16を参照して説明する。図4は、本実施形態のテスト装置100における動作の一例を示すフローチャートである。以下、「クライアントアプリ111において表示される入力フォームに『abc』と入力し(以下、この操作をユーザ操作Aという)、その後送信ボタンを押す(以下、この操作をユーザ操作Bという)」というテストシナリオをクライアントアプリ111において作成してサーバ200に作成したテストシナリオを登録し、このテストシナリオをクライアント111、121、131に配信する場合のテスト装置100の動作について具体的に説明する。
図4に示すように、まず、テストの担当者(以下、ユーザという)が、テストを実行するクライアントアプリのうち、テストシナリオ作成対象であるクライアントアプリ111においてテストを実行するために必要な操作を順次実施すると、クライアントアプリ111を備えるクライアント端末110はユーザ操作ごとにステップ情報120aを作成し、作成したステップ情報120aをサーバに送信するステップ情報作成処理を行う(ステップS10)。
ここで、図5乃至図11を参照して、本実施形態のテスト装置100におけるステップ情報作成処理について説明する。図5は、本実施形態のテスト装置100におけるステップ情報作成処理の一例を示すフローチャートである。ここでは、クライアントアプリ111においてステップ情報120aが作成される。
ユーザがテスト装置100においてテストシナリオを作成するために必要な全てのユーザ操作を実行していない場合(ステップS11がNo)、ユーザがクライアント端末110上のクライアントアプリ111を操作すると、ユーザ操作検出部113がこのユーザ操作を検出する(ステップS12)。なお、ステップS11においてユーザがテスト装置100においてテストを実行するために必要な全てのユーザ操作を実行したかの判定は、前回のユーザ操作から所定以上の時間が経過したか、終了ボタン(図示しない)をクリックしたか、などで判定する。
ユーザ操作について、図6及び図7を参照して説明する。図6はクライアントアプリ111をユーザが操作するためのGUIであるクライアント端末110の画面140(以下、クライアント画面140という)の一例である。図6に示すように、クライアント画面140は入力フォーム141と送信ボタン142をGUI部品として備える。図7は本実施形態におけるユーザ操作Aにおけるクライアント画面140−Aの一例である。図7に示すようにクライアント画面140−Aは、クライアント画面140の入力フォーム141に「abc」が表示された画面である。すなわち、ステップS12では、ユーザ操作検出部113は入力フォーム141に「abc」が入力されたことを検出する。
続いて、イベント取得部114が、ユーザ操作検出部113が検出したユーザ操作Aによってクライアントアプリ111上に発生したイベントデータ120aCを取得する(ステップS13)。
また、操作結果画面取得部115は、ユーザ操作検出部113が検出したユーザ操作Aの結果の入力データ120aDと操作結果画面情報120aEを取得する(ステップS14)。ユーザ操作Aの結果、画面は変化していないため、ここで検出される操作結果画面情報120aEは「null」であり、入力データ120aDが取得される。
テストシナリオ実行部116は、イベント取得部114によって取得されたイベントデータ120aCと、操作結果画面取得部115によって取得された入力データ120aDと操作結果画面情報120aEとに基づいてステップ情報120aを作成する(ステップS15)。
図8に、ユーザ操作Aに対するステップ情報120a(以下、ステップ情報120a−Aと記載する)の具体例を示す。図8に示すように、ステップ情報120a−Aは、ステップID120aAが「step1」、クライアントアプリID120aBが「クライアントアプリ1」、イベントデータ120aCが、
「function test( ) {
document.getElementById("userId").value = "abc";
}」、
入力データ120aDが、「abc」、操作結果画面情報120aEが「null」、結果比較フラグ120aFが「true」である。
続いて、書式変換部117が、作成されたステップ情報120aを取得し、変換ルール記憶部118に記憶された変換ルールに基づいて、このステップ情報120aの書式を共通書式に変換する共通書式化処理を行う(ステップS16)。なお、ここでは、書式変換部117がステップ情報120aを取得するタイミングは、ステップ情報120aが作成される都度とするが、例えば作成されたステップ情報120aを記憶装置に保存し、あらかじめ設定された所定の周期が到来した場合に書式変換部117が保存されたステップ情報120aを取得してもよい。
イベント取得部114が取得するイベントデータ120aCや操作結果画面取得部115が取得する入力データ120aD、操作結果画面情報120aEは、クライアントアプリ111の種類に応じて異なる固有の書式で作成される。例えば、本実施形態ではクライアントアプリ111がInternetExplorer(登録商標:以下、IEと記載する)であり、クライアントアプリ121がFlexであり、クライアントアプリ131がWindows(登録商標)Formであるとすると、クライアントアプリ111、121、131で同じユーザ操作が行なわれたとしてもイベントデータ120aCや入力データ120aD、操作結果画面情報120aEの書式は異なる。本実施形態の共通書式化処理では、クライアントアプリの種類ごとに固有の書式を共通書式に変換してサーバ200に送信する。共通書式化することで、後述するテストシナリオ編集処理を一括して行なうことが可能になる。このとき変換する共通書式はあらかじめ設定されており、例えば、最も数が多いクライアントアプリの書式とする。
なお、クライアントアプリ111、121、131毎の固有書式から共通書式への変換する共通書式化処理は、変換ルール記憶部118に記憶された変換ルールに基づいて実施される。この変換ルールは、あらかじめクライアント端末110に配置された変換ルール記述ファイルから取得する。変換ルールはテストを実行するクライアントアプリの種類が共通書式と異なるものの数だけ必要である。本実施形態のテスト装置100におけるクライアント111、121、131の書式は、それぞれ、クライアントアプリ111がJavaScript(登録商標)であり、クライアントアプリ121がActionScriptであり、クライアントアプリ131がC++であるとし、共通書式をJavaScript(登録商標)とする。この場合本実施形態の変換ルールは2種類である。
図9を参照して本実施形態に変換ルール概念について説明する。図9は、本実施形態のクライアントアプリ111、121、131においてユーザ操作Aが行なわれた場合にイベント取得部114が取得するイベントデータ120aCを比較するテーブルである。図9に示すように、クライアントアプリ111、121、131で生成されるそれぞれのイベントデータ120aAは、「第1固定文字列120aC−1」、「部品ID120aC−2」、「第2固定文字列120aC−3」、「入力データ120aC−4」、「第3固定文字列120aC−5」という項目で構成される。
部品ID120aC−2及び入力データ120aC−4は、ユーザ操作Aから取得する共通の変数であるため変換は必要ない。これら以外の第1固定文字列1120aC−1、第2固定文字列120aC−3、第3固定文字列120aC−5についてはクライアントアプリの種類に応じて異なるため、共通書式に置き換えることで、クライアントアプリ間のデータ変換が可能となる。変換ルールは、例えば、上述のようにイベントデータ120aCの共通書式への変換が必要な部分と、変換が不要な部分とを判別するためのルールである。ここでは、入力フォームへの入力についての記述を一例としてあげているが、画面部品の操作についても同様にして書式変換を行なうことが可能である。
なお、本実施形態では共通書式をJavaScript(登録商標)とするため、クライアントアプリ111でテストシナリオを作成する場合は共通書式化処理を省略してステップS17に進んでもよい。
ステップS17では、書式変換部117は、共通書式化処理後のステップ情報120aをサーバ200に送信する(ステップS17)。その後、テスト装置100は、ステップS11に戻り処理を繰り返す。
続いて、ユーザ操作Bをユーザ操作検出部113が検出し(ステップS12)、以下ステップS13〜ステップS17の処理が実行される。図10にユーザ操作Bが実行された場合の操作結果画面140(以下、操作結果画面140−Bとする)の一例を示す。図10に示すように操作結果画面140−Bには「hello abc!」という文字列が表示されている。
また、図11にクライアントアプリ111においてユーザ操作Bが実行された場合に作成されるステップ情報120a−Bの一例を示す。
ユーザがテスト装置100においてテストを実行するために必要な全ての操作を実行した場合(ステップS11がYes)、テスト装置100はステップ情報作成処理を終了する。
ステップ情報作成処理が終了すると、サーバ200は受信したステップ情報120aに基づいてテストシナリオ登録処理を行う(図4のステップS20)。ここで、図12を参照して、テストシナリオ登録処理について説明する。
サーバ200のテストシナリオ配信部201は、書式変換部117から送信された共通書式のステップ情報120aを受信する(ステップS21)。テストシナリオ配信部201がステップ情報120aを受信すると、テストシナリオ登録部203は当該ステップ情報120aをテストシナリオとしてテストシナリオ記憶部204に登録する(ステップS22)。
すなわち、本実施形態のテストシナリオは、クライアントアプリ111において作成されたステップ情報120aをテストシナリオ配信部201が受信した順に並べたデータである。もしくは、クライアントアプリ111において作成された順にステップ情報120aを並べてもよい。これにより、テストシナリオ登録処理は終了する。
図4の説明に戻る。テストシナリオ登録処理が終了すると、テストシナリオ編集部205がテストシナリオ編集処理を行う(ステップS30)。
ここで、図13乃至図16を参照して、本実施形態のテストシナリオ編集処理について説明する。図13はテストシナリオ編集部205によるテストシナリオ編集処理の一例を示すフローチャートである。
まず、テストシナリオ編集部205は、テストシナリオ記憶部204からテストシナリオを取得し(ステップS31)、取得したテストシナリオをユーザからの入力に基づいて編集する(ステップS32)。なお、ユーザからの入力はクライアント端末110が備える入力部(図示しない)から行なわれる。もしくは、サーバ200が入力部(図示しない)を備える構成としてもよい。
テストシナリオの編集は、例えばテストシナリオに含まれる各ステップ情報120aの編集である。
例えば入力データ120aDは、入力値を別のものに変えてテストを実行したい場合に編集される。入力値を別のものに変えてテストを実行したい場合とは、例えば、「テキストボックスにユーザ名を入力する場合に、最初のテストと違うユーザ名でテストしたい場合などである。
操作結果画面情報120aEの編集は、例えば、最初の試験とは異なる結果になることが予測できる場合に行なわれる。例えば、ログイン日時を画面に出力するようなクライアントアプリにおいてテストを実行する場合、同じテストでも異なる画面が出力されることが予測できるため、あらかじめ日時を表示する部分の画面ソースコードに関しては操作結果画面情報120aEから除外し、テスト結果の判定根拠に含めないこととする。
結果比較フラグ120aFの編集は、後述するテスト結果合否判定処理を実行するか否かを変更したい場合に編集される。例えば、3回のユーザ操作で3画面遷移するようなテストシナリオデータにおいて、最後の画面だけにテスト結果合否判定処理を行いたい場合は3番目のステップ情報における結果比較のフラグのみ「true」のままとし、残り2つの結果比較フラグ120aFを「false」に変更する。
テストシナリオ編集部205によって編集されたステップ情報120aは、ステップID120aAが新しいIDに更新される。例えば、ステップID120aA「1」のステップ情報120aを編集した場合、新しいステップIDaAを「1−1」とする。
もしくは、ユーザがテストシナリオ編集部205を用いてステップID120aAを編集することも可能である。ステップID120aAの編集は、クライアントアプリへ配信する順番を編集したい場合に行なわれる。
図14に、テスト編集部205が編集したテストシナリオ203aの一例を示す。テストシナリオ203aはステップ情報120a−Aをクライアントアプリ121、及びクライアントアプリ131用に編集したステップ情報を含む。ステップ情報120a−Aをクライアントアプリ121用に編集したステップ情報120a−A−2は、図14に示す「ステップID=step1−2」を含むステップ情報であり、クライアントアプリ131用に編集したステップ情報120a−A−3は、図14に示す「ステップID=step1−3」を含むステップ情報である。なお、図14に示すように、クライアントアプリ121用に編集したステップ情報120a−A−2は、入力データを「def」に、画面情報を「hello def」に編集されている。クライアントアプリ131用に編集したステップ情報120a−A−3は、結果比較フラグを「false」に編集されている。
テストシナリオ編集部205がテストシナリオを編集すると、テストシナリオ登録部203は、編集後のテストシナリオにテストシナリオ記憶部204に登録するテストシナリオ更新処理を行う(ステップS33)。これにより、テストシナリオ編集処理は終了する。
テストシナリオ編集処理が終了すると、テストシナリオ配信部201がテストシナリオ記憶部205に登録されたテストシナリオをクライアント情報記憶部202に記憶されたクライアント情報に基づいてテストを実行するクライアントアプリに配信する。
まず、クライアント配信部202は、テストシナリオ記憶部204に記憶されたテストシナリオに含まれるすべてのステップ情報120aがクライアントアプリで実行されたか否かを判定する(ステップS40)。
テストシナリオに含まれる全てのステップ情報120aがクライアントアプリ111で実行済みであるか否かは、テスト結果記憶部206に全てのステップ情報120aに対するテスト結果が記憶されているかによって判定する。
テストシナリオに含まれる全てのステップ情報120aがクライアントアプリ111において実行済みでない場合(ステップS40がNo)、テストシナリオ配信部201は、テストシナリオに含まれる未実行のステップ情報120aから最もステップID120aAが小さいステップ情報120aを取得する(ステップS50)。すなわち、テストシナリオ配信部201はステップID120aAが小さい順にクライアント111に配信する。
テストシナリオ配信部201は、取得したステップ情報102aをテストを実行するクライアントアプリへ配信する(ステップS60)。
テストシナリオ配信部201が配信するクライアントアプリは、基本的にはクライアントアプリ情報記憶部202に記憶された全てのクライアントアプリであり、例えばクライアントアプリID120aBが小さいクライアントアプリへ順に配信する。
なお、テストシナリオ編集部205がテストシナリオの配信先クライアントアプリを編集することも可能である。配信先クライアントアプリの編集は例えば、図15に示すような配信先クライアントテーブル207を用いて行なわれる。配信先クライアントテーブル207は、各テストシナリオに含まれるステップ情報120aの配信順208と配信先のクライアントアプリ209とを管理するためのテーブルである。配信順208は、すなわちテストを実行する手順を示す。
ユーザは、この配信先クライアントテーブル207を確認し、配信するステップ情報の変更や削除や追加、もしくは配信順の編集を行う。本実施形態では、1番目にクライアントアプリ111にステップID120aAが「step1」のステップ情報120aを配信し、クライアントアプリ131にステップID120aAが「step1−3」のステップ情報120aを配信する。同様に、3番目までテストシナリオの配信が行なわれる。
クライアントアプリが、テストシナリオ配信部201からステップ情報120aを受信すると、書式変換部117が当該ステップ情報120aの固有書式化処理を行う(ステップS70)。本実施形態の固有書式化処理は、図5のステップS16におけるステップ情報120aの共通書式化と同様に、変換ルール記憶部118に記憶された変換ルールに基づいてクライアントアプリの種類に基づく書式に変換される。
固有書式に変換されたテストシナリオに基づいてクライアントアプリ111のクライアント実行部116はテストを実行する(ステップS80)。クライアント実行部116がテストを実行し終えると、テスト結果合否判定部119は、実行されたテスト結果の画面情報と、当該テストシナリオに含まれた結果比較フラグ120aF及び操作結果画面情報120aEとに基づいてテスト結果合否判定処理を行う(ステップS90)。
具体的には、テスト結果合否判定部119は、クライアントアプリが受信したテストシナリオのステップ情報120aに含まれる結果比較フラグ120aFを確認し、当該結果比較フラグ120aFが「true」の場合にテスト結果合否判定処理を実行する。当該結果比較フラグ120aFが「false」の場合、テスト結果合否判定処理と、続くステップS100におけるテスト結果登録処理は省略され、ステップS40に戻って処理を繰り返す。
当該結果比較フラグ120aFが「true」の場合、テスト結果合否判定部119は、実行されたテスト結果の画面情報と、配信されたステップ情報120aの操作結果画面情報120aEを比較する。操作結果画面情報120aEと実行されたテスト結果の画面情報が一致する場合、テスト結果合否判定部119は当該ステップ情報120aに基づいて実行されたテスト結果を「合格」と判定する。
配信されたステップ情報120aの操作結果画面情報120aEと実行されたテスト結果の画面情報が一致しない場合、テスト結果合否判定部119は当該テスト結果を「不合格」と判定する。あるいはテスト実行においてエラーが発生した場合、例えば指定したIDのGUI部品が画面上に存在しない場合等は、「不合格」と判定する。
判定結果は、テスト結果合否判定部119によってサーバ200に送信される。サーバ200のテストシナリオ配信部201は、当該判定結果を受信するとテスト結果記憶部206に登録するテスト結果登録処理を行う(ステップS100)。図16は、テスト結果記憶部206に登録されたテスト結果合否判定処理部119の合否判定結果の一例を示す図である。
図16に示すようにテスト結果記憶部206には、テストシナリオ配信部201が受信した合否判定結果がステップ情報毎に保存される。なお、図16における「−」はテスト結果合否判定処理が実行されていないことを示す。図15の配信クライアントテーブル207に示すようにクライアントアプリ131には手順1において「STEP1−3」がステップIDaAであるステップ情報120aAが配信されている。しかし、このステップ情報120aAは、図14に示すように「結果比較フラグ=false」であるため、テスト結果合否判定処理が実行されていない。
ユーザは、全てのテストが完了した時点で、テスト結果記憶部206に保存された合否判定結果を確認することで、テストを実行する全てのクライアントアプリにおけるテスト結果を確認できる。
テスト結果登録処理が終了すると、テスト装置100は、ステップS40に戻り処理を繰り返す。本実施形態では配信先クライアントテーブル207に手順が3つ格納されているため、3回繰り返される。
テストシナリオデータに含まれる全てのステップ情報が実行された場合(ステップS40がYes)、テスト装置100は動作を終了する。
上述のように、本実施形態のテスト装置100によると、あるクライアントアプリで実施したテストの手順とその動作結果を含むテストシナリオを複数のクライアントアプリに共通の書式にした後にテストシナリオ記憶部204に保存し、このテストシナリオを複数のクライアントアプリに配布してテストを実行することで、複数種類のクライアントアプリにおけるテストの効率的な実行及びテストの並列化を可能とする。また、異なるクライアントアプリの互換性のテストを効率的に行なうことができる。
また、試験シナリオを一元管理しているため、複数のアクセスに対する排他制御のテスト等の複雑なテスト試験も可能である。
また、本実施形態のテスト装置100においては、テストの担当者は、任意のクライアントアプリで一度だけ試験を実施して配布先を決定するだけでよい。
また、配布先となるクライアントアプリの種類はインターネットブラウザに限らず、あらゆるクライアントを選択できる。
以上、本発明の実施形態を説明したが、この実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
100…テスト装置、110,120,130…クライアント端末、111,121,131…クライアントアプリケーション、112…クライアントアプリ登録部、113…ユーザ操作検出部、114…イベント取得部、115…操作結果画面取得部、116…テストシナリオ実行部、117…書式変換部、118…変換ルール記憶部、119テスト結果合否判定部、120a…ステップ情報、120aA…ステップID、120aB…クライアントアプリID、120aC…イベントデータ、120aD…入力データ、120aE…操作結果画面情報、120aF…結果比較フラグ、200…サーバ、201…テストシナリオ配信部、202…クライアントアプリ情報記憶部、203…テストシナリオ登録部、204…テストシナリオ記憶部、205…テストシナリオ編集部、206…テスト結果記憶部、210…コンピュータ、220…記憶装置、230…プログラム、300…ネットワーク
本発明が解決しようとする課題は、複数のクライアントアプリケーションを用いるテストの効率化を可能とするテスト装置およびその方法、プログラムとシステムを実現することである。
実施形態は、複数のクライアントアプリケーションを用いてアプリケーションのテストを実行するテスト装置であって、ユーザ操作を検出するユーザ操作検出部と、ユーザ操作に基づいて発生するイベントデータを取得するイベント取得部と、前記ユーザ操作検出部による前記ユーザ操作の検出結果である第1データを取得する操作結果取得部と、イベントデータと第1データとをそれぞれ複数のクライアントアプリケーションの共通書式に変換するルールに基づいてイベントデータと第1データとをそれぞれ共通書式に変換する書式変換部と、イベントデータと第1データとを含み、テストの手順を示すテストシナリオを記憶するテストシナリオ記憶部と、共通書式に変換されたテストシナリオをクライアントアプリケーションに配信するテストシナリオ配信部と、配信されたテストシナリオに基づいて複数のクライアントアプリケーションのテストを実行するテストナリオ実行部と、を備えるテスト装置およびその方法、プログラムとシステムである。

Claims (8)

  1. 複数のクライアントアプリケーションを用いてアプリケーションのテストを実行するテスト装置であって、
    前記クライアントアプリケーション上のユーザ操作を検出するユーザ操作検出部と、
    前記ユーザ操作に基づいて前記クライアントアプリケーションに発生するイベントデータを取得するイベント取得部と、
    前記ユーザ操作部による操作検出結果である第1データを取得する操作結果取得部と、
    前記イベントデータ及び前記第1データを前記複数のクライアントアプリケーションの共通書式に変換する書式変換部と、
    前記イベントデータと前記第1データとを含み、テストの手順を示すテストシナリオを記憶するテストシナリオ記憶部と、
    共通書式に変換された前記テストシナリオを前記クライアントアプリケーションに配信するテストシナリオ配信部と、
    配信された前記テストシナリオに基づいて前記複数のクライアントアプリケーションのテストを実行するテストナリオ実行部と、
    を備えるテスト装置。
  2. 前記テストシナリオを編集するテストシナリオ編集部を備え、
    前記テストシナリオ実行部は、前記テストシナリオ編集部によって編集されたテストシナリオに基づいて前記複数のクライアントアプリケーションのテストを実行する請求項1に記載のテスト装置。
  3. 前記テストシナリオ編集部は、前記テストシナリオの配信先、前記テストシナリオに含まれる前記第1データ、もしくは前記テストの手順を編集する請求項1及び請求項2のいずれか1項に記載のテスト装置。
  4. 前記テストシナリオに含まれる前記第1データと前記テストシナリオ実行部が前記テストシナリオに基づいて実行したテスト結果である第2データとに基づいてテスト結果の合否を判定するテスト結果合否判定部を備える請求項1乃至請求項3のいずれか1項に記載のテスト装置。
  5. 前記テスト結果合否判定部の判定結果を記憶する合否判定結果記憶部を備える請求項4に記載のテスト装置。
  6. アプリケーションのテストを実行する際に用いる複数のクライアントアプリケーションと、前記クライアントアプリケーション上のユーザ操作を検出するユーザ操作検出部と、前記ユーザ操作に基づいて前記クライアントアプリケーションに発生するイベントデータを取得するイベント取得部と、前記ユーザ操作部による操作検出結果である第1データを取得する操作結果取得部と、前記イベントデータ及び前記第1データを前記複数のクライアントアプリケーションの共通書式に変換する書式変換部と、前記イベントデータと前記第1データとを含み、テストの手順を示すテストシナリオを記憶するテストシナリオ記憶部と、共通書式に変換された前記テストシナリオを前記クライアントアプリケーションに配信するテストシナリオ配信部と、配信された前記テストシナリオに基づいて前記複数のクライアントアプリケーションのテストを実行するテストナリオ実行部と、を備えるテスト装置におけるテスト方法であって、
    前記ユーザ操作検出部が前記クライアントアプリケーション上のユーザ操作を検出するステップと、
    前記イベント取得部が前記ユーザ操作に基づいて前記クライアントアプリケーションに発生するイベントデータを取得するステップと、
    前記操作結果取得部が前記ユーザ操作の検出結果である第1データを取得するステップと、
    前記書式変換部が前記イベントデータと前記第1データを前記複数のクライアントアプリケーションの共通書式に変換するステップと、
    前記テストシナリオ記憶部が前記イベントデータと前記第1データとを含む前記テストシナリオを前記テストシナリオ記憶部に記憶するステップと、
    前記テストシナリオ配信部が共通書式に変換された前記テストシナリオを前記クライアントアプリケーションに配信するステップと、
    前記テストナリオ実行部が配信された前記テストシナリオに基づいて前記複数のクライアントアプリケーションのテストを実行するステップと、
    を備えるテスト方法。
  7. アプリケーションのテストを実行する複数のクライアントアプリケーションと、前記クライアントアプリケーション上のユーザ操作を検出するユーザ操作検出部と、前記ユーザ操作に基づいて前記クライアントアプリケーションに発生するイベントデータを取得するイベント取得部と、前記ユーザ操作部による操作検出結果である第1データを取得する操作結果取得部と、前記イベントデータ及び前記第1データを前記複数のクライアントアプリケーションの共通書式に変換する書式変換部と、前記イベントデータと前記第1データとを含み、テストの手順を示すテストシナリオを記憶するテストシナリオ記憶部と、共通書式に変換された前記テストシナリオを前記クライアントアプリケーションに配信するテストシナリオ配信部と、配信された前記テストシナリオに基づいて前記複数のクライアントアプリケーションのテストを実行するテストナリオ実行部と、を備えるテスト装置のプログラムであって、
    コンピュータに、
    前記クライアントアプリケーション上のユーザ操作を検出する機能と、
    前記ユーザ操作に基づいて前記クライアントアプリケーションに発生するイベントデータを取得する機能と、
    前記ユーザ操作の検出結果である第1データを取得する機能と、
    前記イベントデータと前記第1データを前記複数のクライアントアプリケーションの共通書式に変換する変換する機能と、
    前記イベントデータと前記第1データとを含む前記テストシナリオを前記テストシナリオ記憶部に記憶する機能と、
    共通書式に変換された前記テストシナリオを前記クライアントアプリケーションに配信する機能と、
    配信された前記テストシナリオに基づいて前記複数のクライアントアプリケーションのテストを実行する機能と、
    を実現させるプログラム。
  8. アプリケーションのテストを実行する複数のクライアントアプリケーションと、前記複数のクライアントアプリケーションが動作する少なくとも1つのクライアント端末と、前記複数のクライアントアプリケーションがテストを実行する手順と各手順における動作結果とを含むテストシナリオを配信するサーバとを備えるテストシステムであって、
    前記クライアント端末は、
    前記クライアントアプリケーション上のユーザ操作を検出するユーザ操作検出部と、
    前記ユーザ操作に基づいて前記クライアントアプリケーションに発生するイベントデータを取得するイベント取得部と、
    前記ユーザ操作検出部による操作検出結果である第1データを取得する操作結果取得部と、
    前記イベントデータと前記第1データを前記複数のクライアントアプリケーションの共通書式に変換する書式変換部と、
    共通書式に変換された前記テストシナリオを前記サーバに送信するテストシナリオ送信部と、
    前記サーバから配信されたテストシナリオに基づいて前記複数のクライアントアプリケーションのテストを実行するテストシナリオ実行部と、
    を備え、
    前記サーバは、
    前記イベントデータと前記第1データとを含み、テストの手順を示すテストシナリオを記憶するテストシナリオ記憶部と、
    共通書式に変換された前記テストシナリオを前記複数クライアントアプリケーションに配信するテストシナリオ配信部と、
    を備えるテストシステム。
JP2012146146A 2012-06-28 2012-06-28 テスト装置、テストシステム、テスト方法、及びプログラム Pending JP2014010581A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012146146A JP2014010581A (ja) 2012-06-28 2012-06-28 テスト装置、テストシステム、テスト方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012146146A JP2014010581A (ja) 2012-06-28 2012-06-28 テスト装置、テストシステム、テスト方法、及びプログラム

Publications (1)

Publication Number Publication Date
JP2014010581A true JP2014010581A (ja) 2014-01-20

Family

ID=50107262

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012146146A Pending JP2014010581A (ja) 2012-06-28 2012-06-28 テスト装置、テストシステム、テスト方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP2014010581A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016071730A (ja) * 2014-09-30 2016-05-09 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation システムのテストを行う装置、方法およびプログラム
JP2016134020A (ja) * 2015-01-20 2016-07-25 株式会社日立製作所 テストシナリオを用いたテスト装置および方法
JP2018139106A (ja) * 2017-01-23 2018-09-06 アクセンチュア グローバル ソリューションズ リミテッド クラウド接続された自動テスティング
US11226810B1 (en) 2020-12-29 2022-01-18 Coupang Corp. Method for providing information based on expected result value and computing device using the same

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016071730A (ja) * 2014-09-30 2016-05-09 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation システムのテストを行う装置、方法およびプログラム
US9720791B2 (en) 2014-09-30 2017-08-01 International Business Machines Corporation Device, method and program for performing system testing
US9880914B2 (en) 2014-09-30 2018-01-30 International Business Machines Corporation Device, method and program for performing system testing
US10037255B2 (en) 2014-09-30 2018-07-31 International Business Machines Corporation Device, method and program for performing system testing
US10037254B2 (en) 2014-09-30 2018-07-31 International Business Machines Corporation Device, method and program for performing system testing
JP2016134020A (ja) * 2015-01-20 2016-07-25 株式会社日立製作所 テストシナリオを用いたテスト装置および方法
JP2018139106A (ja) * 2017-01-23 2018-09-06 アクセンチュア グローバル ソリューションズ リミテッド クラウド接続された自動テスティング
US11226810B1 (en) 2020-12-29 2022-01-18 Coupang Corp. Method for providing information based on expected result value and computing device using the same

Similar Documents

Publication Publication Date Title
US11086766B1 (en) Web services comparison tool
US9916224B2 (en) Integrating quality analysis with a code review tool
US11468226B2 (en) Systems and methods for presentation of a terminal application screen
US9336019B2 (en) Information processing apparatus and method therefor
US20200267106A1 (en) Method, apparatus and computer program product for metadata search in a group-based communication platform
JP2014010581A (ja) テスト装置、テストシステム、テスト方法、及びプログラム
US11204860B2 (en) Methods and apparatuses for generating smart contract test case
US20210334149A1 (en) Api adapter creation device, api adapter creation method, and api adapter creation program
US8117042B2 (en) Communication and interface support system
JP6441786B2 (ja) テスト支援装置、テスト支援方法、及びプログラム
US8307040B2 (en) Reducing errors in sending file attachments
JP2013020416A (ja) 画面設計支援装置、画面設計支援方法、及びプログラム
CN113296772A (zh) 页面配置方法、装置、计算机设备及可读存储介质
US10783063B2 (en) Systems and methods for testing a customer environment
WO2023169193A1 (zh) 用于生成智能合约的方法和装置
KR101794016B1 (ko) 분산 컴퓨팅 기반의 어플리케이션 객체 분석 방법, 이를 수행하는 어플리케이션 객체 분석 서버 및 이를 저장하는 기록매체
KR101681154B1 (ko) 데이터 수집기 구축 방법, 이를 수행하는 데이터 수집기 구축 서버 및 이를 저장하는 기록매체
US20210004524A1 (en) Catalog file creation assistance device, catalog file creation assistance method, and catalog file creation assistance program
JP2008269515A (ja) パラメータによる画面レイアウト動的生成方法
US20190213003A1 (en) Method, system and software application for developing mobile applications
US10977146B2 (en) Application operation monitoring apparatus and application operation monitoring method
JP2005085182A (ja) 試験支援システム
US20200133825A1 (en) Systems and methods for debugging applications created with a graphical programming language
JP2014044631A (ja) データチェック装置及びプログラム
WO2020162174A1 (ja) 解析装置、解析方法、および解析プログラム

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20131122