JP2007086899A - 試験結果判定表示方法、試験結果判定表示プログラム及び試験装置 - Google Patents
試験結果判定表示方法、試験結果判定表示プログラム及び試験装置 Download PDFInfo
- Publication number
- JP2007086899A JP2007086899A JP2005272256A JP2005272256A JP2007086899A JP 2007086899 A JP2007086899 A JP 2007086899A JP 2005272256 A JP2005272256 A JP 2005272256A JP 2005272256 A JP2005272256 A JP 2005272256A JP 2007086899 A JP2007086899 A JP 2007086899A
- Authority
- JP
- Japan
- Prior art keywords
- image
- test
- correct
- correct image
- confirmation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Debugging And Monitoring (AREA)
- Test And Diagnosis Of Digital Computers (AREA)
Abstract
【課題】本発明は、情報端末などのユーザーインターフェースの操作とその結果の妥当性を判断する自動試験方法において、試験後の目視での試験結果確認で、確認に手間がかかってしまったり、実画像および正解画像の差異が微小な画素に限られる場合、目視ではどこが異なるか判断し難い問題を容易に確認できるように表示する。
【解決手段】確認対象要素に対して、予め重み付けを指定することで、比較結果をレベル分けして表示し、判断基準パラメータ指定による試験結果の再表示および正解画像の更新が行えるようにした上、正解画像と実画像の各画素の排他的論理和、論理積を画像データとして表示、または、その相異画素の拡大した画素を表示することにより、試験結果確認を容易にするように表示を行う。
【選択図】図1
【解決手段】確認対象要素に対して、予め重み付けを指定することで、比較結果をレベル分けして表示し、判断基準パラメータ指定による試験結果の再表示および正解画像の更新が行えるようにした上、正解画像と実画像の各画素の排他的論理和、論理積を画像データとして表示、または、その相異画素の拡大した画素を表示することにより、試験結果確認を容易にするように表示を行う。
【選択図】図1
Description
本発明は、ユーザインターフェースの操作部と表示部を有する情報端末などをその試験対象とし、その操作と操作結果の妥当性を判断する自動試験方法に係わり、特に、試験後の画面結果の確認および正解値の更新を容易にする方法、プログラム及び装置に関する。
図15は、パーソナルコンピュータ等(以下、PCと呼ぶ)により、携帯情報端末(以下、端末と呼ぶ)を試験対象として、自動試験を行う従来の試験結果判定表示方法を説明する図である。PCと端末の間には試験機が介在し、端末のキー入力に相当する擬似入力信号やその操作結果の妥当性を確認する信号が本試験機を介して端末とPC間で送受される。また、PC内には所定の試験プログラムが用意されており、また予め準備した試験シナリオに基づいて、端末のキー入力に相当する擬似入力信号がPCから端末に送信され、その入力信号に基づいた結果の画面サンプルが端末に表示される。この画面サンプルデータの信号は、端末から試験機を介してPCが受け取ることにより、操作結果の妥当性が判断される。また、所定の試験が実行された後は、その試験結果のログがPC内にデータ入力される。さらに、試験結果の正誤判定を行うために、各確認箇所において、画像一致/不一致という基準にて判定結果を記号で順に表示し、それに対応する実画像および正解画像を並べて表示するものであるが、以下のような問題があった。
(1)試験ログ中の各確認箇所において、確認対象は複数存在する場合がある一方、試験内容によって確認の重点が異なる。そのため、単に「一致」「不一致」という結果を確認対象ごとに順に表示しただけであると確認に手間がかかってしまう。
(2)結果判定における画像の不一致となるケースは試験対象のソフトウェアの不具合によるものとソフトウェアの画面デザイン等の仕様変更によるものがあり、結果表示上の「不一致」にはこれらが混在している。特に、本来同一ケースと判定されるべき場合での不一致が多数含まれる場合が多い。従って、結果確認や仕様変更等による正解画像の更新作業は確認箇所毎に行う必要あり、手間がかかってしまう。
(3)実画像および正解画像の差異が微小な画素に限られる場合、目視ではどこが異なるか判断し難い。
(1)試験ログ中の各確認箇所において、確認対象は複数存在する場合がある一方、試験内容によって確認の重点が異なる。そのため、単に「一致」「不一致」という結果を確認対象ごとに順に表示しただけであると確認に手間がかかってしまう。
(2)結果判定における画像の不一致となるケースは試験対象のソフトウェアの不具合によるものとソフトウェアの画面デザイン等の仕様変更によるものがあり、結果表示上の「不一致」にはこれらが混在している。特に、本来同一ケースと判定されるべき場合での不一致が多数含まれる場合が多い。従って、結果確認や仕様変更等による正解画像の更新作業は確認箇所毎に行う必要あり、手間がかかってしまう。
(3)実画像および正解画像の差異が微小な画素に限られる場合、目視ではどこが異なるか判断し難い。
更に詳細に、このような自動試験方式における従来の試験結果判定表示方法における問題点を以下に述べる。
(1)試験シナリオを実行した後で結果を目視で確認する際に、1つの操作に対して、複数の確認対象がある場合(物理的に複数の画面または他のデバイスを対象としている場合、もしくは1つの画面に対して、画像比較/表示文字列などの、複数の確認要素がある場合)、それぞれの確認対象に対し判定結果を表示する必要があるが、従来のように単に結果を並べて表示しただけでは、全ての結果を順番に確認していくほかなく、その作業を効率的に行うことができず、試験結果を確認する上で支障を生じていた。
(1)試験シナリオを実行した後で結果を目視で確認する際に、1つの操作に対して、複数の確認対象がある場合(物理的に複数の画面または他のデバイスを対象としている場合、もしくは1つの画面に対して、画像比較/表示文字列などの、複数の確認要素がある場合)、それぞれの確認対象に対し判定結果を表示する必要があるが、従来のように単に結果を並べて表示しただけでは、全ての結果を順番に確認していくほかなく、その作業を効率的に行うことができず、試験結果を確認する上で支障を生じていた。
また、試験判定結果が比較不一致となったものでも、真の誤りによるもの以外の同一要因による不確定要素、画面仕様変更による不一致が多数含まれている場合があるが、それら多数の同一要因による不一致の中に他の要因による不一致が埋もれてしまい、確認するには多くの時間を要し、試験結果の確認を行う上で支障を生じていた。
(2)試験判定結果が比較不一致となったもので、真の誤りによるもの以外の同一要因による不確定要素、画面仕様変更による不一致が多数含まれている場合、それら多数の同一要因による不一致の中に他の要因による不一致が埋もれてしまい、正解画面を更新するには多くの時間を要し、試験の準備を行う上で支障を生じていた。
(3)単に正解画像および実画像を並べて表示しただけでは、試験ログ中の各正解画像および実画像の一部分の画素のみが不一致となっているような類似性の高い画像が試験結果中に多量に含まれる場合、その相異箇所を目視によって判別することは困難であり、結果として試験結果中のすべてのケースを確認するのには多くの時間を要し、試験結果の確認を行う上で支障を生じていた。
(4)正解画像と実画像の並列表示において、試験ログ中の各正解画像および実画像の一部の画素のみが不一致となっているような類似性の高い画像、特にその相異部分が微小領域に限定されるような場合、その相異箇所を目視によって判別することは不可能であり、試験結果の確認を行う上で支障を生じていた。
(5)正解画像と実画像の並列表示において、試験結果中の各正解画像および実画像の一部の画素のみが不一致となっているような類似性の高い画像、特にその相異部分が色成分の微妙な差異もしくは表示位置の微妙な差異のような場合、その相異の様子を目視によって判別することは困難であり、試験結果の確認を行う上で支障を生じていた。
(2)試験判定結果が比較不一致となったもので、真の誤りによるもの以外の同一要因による不確定要素、画面仕様変更による不一致が多数含まれている場合、それら多数の同一要因による不一致の中に他の要因による不一致が埋もれてしまい、正解画面を更新するには多くの時間を要し、試験の準備を行う上で支障を生じていた。
(3)単に正解画像および実画像を並べて表示しただけでは、試験ログ中の各正解画像および実画像の一部分の画素のみが不一致となっているような類似性の高い画像が試験結果中に多量に含まれる場合、その相異箇所を目視によって判別することは困難であり、結果として試験結果中のすべてのケースを確認するのには多くの時間を要し、試験結果の確認を行う上で支障を生じていた。
(4)正解画像と実画像の並列表示において、試験ログ中の各正解画像および実画像の一部の画素のみが不一致となっているような類似性の高い画像、特にその相異部分が微小領域に限定されるような場合、その相異箇所を目視によって判別することは不可能であり、試験結果の確認を行う上で支障を生じていた。
(5)正解画像と実画像の並列表示において、試験結果中の各正解画像および実画像の一部の画素のみが不一致となっているような類似性の高い画像、特にその相異部分が色成分の微妙な差異もしくは表示位置の微妙な差異のような場合、その相異の様子を目視によって判別することは困難であり、試験結果の確認を行う上で支障を生じていた。
特許文献1には、携帯電話のソフトウェアに対する機能試験作業を自動化するための、携帯電話機の操作を行うキー操作部と操作に対する動作試験を行う動作試験部、試験シナリオ、試験結果や判定結果を保持するデータ集計部などを備えた携帯電話のソフトウェアに対する機能試験装置が記載されているが、試験結果の画像を容易に確認/判定できるような処理を行うことの記載はなく、上記の(1)〜(5)の問題点を解決するようなものはなかった。
特開2000−99288号公報
本発明は、上記のような問題点を解決するためになされたものであり、以下の如く、確認対象要素に対して、予め重み付けを指定することで、比較結果をレベル分けして表示し、判断基準パラメータ指定による試験結果の再表示および正解画像の更新が行えるようにした上、正解画像と実画像の各画素の排他的論理和、論理積を画像データとして表示、または、その相異画素の拡大した画素を表示することにより、試験結果確認を容易にするように表示を行うものであり、
(1)第1に本発明は、目視による結果確認の際にオペレータが判断する基準を優先順位として設定できるようにし、それを結果に反映、表示することによって確認作業を効率的に行えるようにすると共に、試験ログ中の正解画像および実画像をもとに試験後にオペレータが与えた条件での再比較を行うことによって、結果確認作業を効率的に行えるようにすることを目的とする。
(2)第2に本発明は、試験ログ中の正解画像および実画像をもとに試験後にオペレータが与えた条件での再比較を行うことによって、正解画面更新作業を効率的に行えるようにすることを目的とする。
(3)第3に本発明は、試験結果中の各正解画像および実画像の相異を画像として表示することにより容易に判別できるようにすることを目的とする。
(4)第4に本発明は、試験結果中の各正解画像および実画像の微小な不一致画素の位置を検索、拡大表示により目視によって容易に判別できるようにすることを目的とする。
(5)第5に本発明は、試験結果中の各正解画像および実画像の相異を重ね合わせた画像として表示することにより目視によってそれを容易に判別できるようにすることを目的とする。
(1)第1に本発明は、目視による結果確認の際にオペレータが判断する基準を優先順位として設定できるようにし、それを結果に反映、表示することによって確認作業を効率的に行えるようにすると共に、試験ログ中の正解画像および実画像をもとに試験後にオペレータが与えた条件での再比較を行うことによって、結果確認作業を効率的に行えるようにすることを目的とする。
(2)第2に本発明は、試験ログ中の正解画像および実画像をもとに試験後にオペレータが与えた条件での再比較を行うことによって、正解画面更新作業を効率的に行えるようにすることを目的とする。
(3)第3に本発明は、試験結果中の各正解画像および実画像の相異を画像として表示することにより容易に判別できるようにすることを目的とする。
(4)第4に本発明は、試験結果中の各正解画像および実画像の微小な不一致画素の位置を検索、拡大表示により目視によって容易に判別できるようにすることを目的とする。
(5)第5に本発明は、試験結果中の各正解画像および実画像の相異を重ね合わせた画像として表示することにより目視によってそれを容易に判別できるようにすることを目的とする。
図1は、本発明の原理を説明する構成図であり、試験対象の端末と制御用のPCとを接続し、端末のキー入力に相当する擬似入力信号をPCから端末に送信するための試験機を介在させて、所定の試験が実行された後、その試験結果のログをPCの画面上に表示し、試験結果の妥当性を確認する試験方法として、確認対象要素毎に、予め重み付けを指定することで、比較結果をレベル分けして表示し、判断基準パラメータ指定による試験結果の再表示および正解画像の更新が行えるようにした上、正解画像と実画像の各画素の排他的論理和、論理積を画像データとして表示、または、その相異画素の拡大した画素を表示することにより、試験結果確認を容易にできるようにしたことを特徴とする。
本発明による画面表示方法によれば、試験実行後の単一又は複数の確認対象画面に対して、予め重み付け表示をし、オペレータに確認優先順位を表示することで、多量の結果確認を効率的に行うことが可能となった。また、試験実行後の試験ログの中の対象実画像に対し、画面領域および一致率というパラメータを与えることで、試験を再実行せずに結果に反映させることや、同一画面検索をすることにより置換すべき正解画像の特定ができ、多量の正解画像の更新を効率的に行うことが可能となった。
また、実画像および正解画像の各画素の色成分(RGB)の差を画像表示することで、同一画素と相異画素が異なる色で表示したり、正解画像と実画像の不一致画素を検出し、自動的に拡大表示したり、正解画像と実画像の各画素の論理積を計算し表示することで、正解画像の上に不一致画素のみ異なる色で表示したりすることにより、容易に不一致箇所の特定ができ、多量の不一致画面を効率的に確認することが可能となった。
図2は、本発明の一実施例の構成図であり、自動試験システムにおける試験結果判定表示方法を示している。本図は以下に説明する実施例1〜5に共通の構成図であり、1は端末、2はPC、3は試験機であり、端末1〜試験機3、試験機3〜PC2間はそれぞれ所定のケーブルで接続される。通常、端末1はユーザインターフェース部として、キー入力等を行う操作部があり、その操作の結果の妥当性を判断することが必要であることから、PC2と端末1の間には試験機3が介在し、端末1のキー入力に相当する擬似入力信号が本試験機3を介して、PC2から端末1に送信され、その操作結果の妥当性を確認する信号を同様に試験機3を介して端末1からPC2が受け取る。即ち、端末1に表示された画面サンプルデータの信号が試験機3経由でPC2に送信される。
また、自動試験方法に関しては、PC2内には所定の試験プログラムが用意されており、また予め準備した試験シナリオに基づいて、端末1のキー入力に相当する擬似入力信号をPC2から端末1に送信され、その結果の信号を端末1からPC2が受け取ることにより、操作結果の妥当性が判断される。つまり、所定の試験が実行された後に端末に表示された画面サンプルデータが、その試験結果のログとしてデータ入力されると共に、当該画面サンプルがPC2に表示され、試験結果の正誤判定を行うために、PC2の結果表示画面に、実画像および正解画像が並べて表示される。また、試験手順および判定結果として、重み付け指定した比較結果を表示したり、判断基準パラメータ指定による試験結果の再表示および正解画像の更新を行う上で、各確認箇所において、画像一致/不一致という基準にて判定結果を見易くするために記号で順に表示され、さらに、各実画像および正解画像における相異画素の強調表示として、XOR表示、AND表示、拡大表示をさせることができる。
図3は、第1の発明の実施例を説明するものであり、1つの操作に対して単一又は複数の確認対象がある場合、確認する方法やデバイス動作などの確認対象要素毎に対して、予め重み付けを指定した上で実動作と正解動作を比較することによって、比較結果をレベル分けして結果を表示するものである。
図3(a)において、まず、重み付け指定を行う。確認位置としては、操作1、操作2、操作3があり、それぞれの確認対象として、メイン画面、サブ画面、LED、メイン画面(領域A)、メイン画面(領域B)、メイン画面(ピクト)がある。そして、それぞれの操作、確認対象に対し、点数を設定し、同図(b)に記載されるように、該点数に応じて、確認レベルをA,B,Cとし、その意味付けとを定義する。
その上で、同図(c)に記載されるように、各確認対象にて、実動作と正解動作を比較し(ステップS11)、比較結果が不一致の場合、重み付け(点数)を計算し(ステップS12)、確認位置の各確認対象の点数を総計し(ステップS13)点数の総計値から確認レベル閾値定義に従い確認レベルを確定(ステップS14)し、確認レベルを付加して結果を表示する(ステップS15)。これにより、同図(e)に示す結果画面表示が表示され、操作A〜Cに対して確認箇所Aが○、確認箇所Bが×、確認箇所Cが△として、確認レベルをアイコン化して記号で表示される。
ここで、確認結果表示画面の例としては、図4(a)に記載するように、まず、確認レベル閾値定義を行い、確認レベルA,B,Cに対し、意味付け、点数、記号とを定義する。次に、同図(b)に示すように、試験シナリオとして、操作1〜4の各操作に対して確認内容を表示する。この結果、確認1〜4のそれぞれに対する確認対象および点数が得られる。例えば、操作1/確認1ではメイン画面8点サブ画面1点であり、操作4/確認4ではメイン画面8点、メイン画面(領域A)1点:サブ画面3点である。
これに対して、同図(c)に示すように、試験結果表示として、メイン画面やサブ画面などに対して、○(一致)、×(不一致)で表示される。また、確認レベルA,B,Cの意味付けに対応して、同図(a)に記したように「確認が必須である」=記号「×」、「確認をする必要がある」=記号「!」、「参考程度」=記号「?」として、同図(c)の確認1〜4の頭に記号で簡単に表示される。
即ち、操作1に対する確認1は、メイン画面/サブ画面共に○(一致)で確認1は○、操作2に対する確認2は、メイン画面が×(不一致)/サブ画面○(一致)で確認2は×であるので、メイン画面の確認が必須であることを表示している。さらに、操作3に対する確認3は、メイン画面が×(不一致)/サブ画面○(一致)で確認3は「!」であるので、メイン画面に関し「確認をする必要がある」ことを表示している。同様に、確認箇所操作4に対する確認4は、メイン画面/サブ画面共に○(一致)であるが、メイン画面(領域A)に関しては×(不一致)であるので、確認4には「?」が表示され、「参考程度」に確認することが表示される。以上の内容が、PC上の結果表示画面として同図(d)に、実画像と正解画像の画面表示と共に、操作1/確認1〜操作4/確認4について表示される。
このように、本実施例では、単一又は複数の確認対象に対して、それを結果画面に予め重み付けをして表示することで、オペレータに確認優先順位を容易に判断できるようにしているので、多量の結果確認を効率的に行うことが可能となる。
更に、本実施例では図5に示すように、試験ログ中の、ある選択された実画像および正解画像に対し、その画像が妥当であると判断する基準を画像の矩形領域およびその領域内に含まれる画素の一致率の閾値をパラメータとして設定できるようにしておき、オペレータが該一致率閾値を与えた上で試験ログ中の他の実画像と正解画像をその条件の下で比較することにより、試験判定結果を再表示することも可能である。
例えば、図5(a)に示すように、操作A,B,Cに対し、確認箇所A,B,Cが設定され、操作B,Cに関しては×(不一致)が示されている場合、実画像および正解画像の中の破線で示した矩形領域に対し、同図(b)に示すように矩形領域(x,y;w,h)に関して、同図(c)に示すように、一致率を、一致画素数/矩形領域内の全画素数×100(%)として計算する。また、一致率の閾値も同様に計算される。
さてここで、同図(d)にフロー的に示すように、特定の結果不一致画面に対し比較条件を設定(ステップS21)する、即ち、一致率の閾値をパラメータとして設定する。次に、各確認箇所の実画像および正解画像において、指定領域の一致率を計算する(ステップS22)。上記の一致率>設定された閾値の一致率(一致率閾値)となる場合、元の判定結果が不一致である場合には、判定結果を「一致」に結果表示を変更する(ステップS23)。即ち、図5(e)で、操作A,Bに関しては変わらないが、操作Cに関し確認箇所Cが○(一致)に変更される。以上の操作を試験ログ中の全ての実画像および正解画像に対して行う(ステップS24)。
上記に関して更に具体的に例示すると、図6に示すように、操作1〜3に対する試験結果の判定1〜3は全て×(不一致)であるが、判定1に関しては、実画像A’と正解画像Aが判定1で不一致と判定されたが、オペレータの目視による判断では明らかに同一と判断する場合には、基準ケースとして条件設定せずに以降の判定を「一致」に変更し、判定結果は「○判定1」となることを示している。
判定2に関しては、実画像Cに対し正解画像がBであり、オペレータの目視による判断でも、明らかに異なるケースの不一致である場合には、領域の設定や一致率の設定等の条件設定はせずに、以降も判定2は×(不一致)のままとすることを示している。判定3に関しては、実画像A’と正解画像Aが不一致と判定されたが、オペレータの目視による判断では以降は、同一ケースとして「一致」に変更したいので、相異を許容する一致率などの条件を設定することにより、以降は判定3は○(一致)となるように変更されることを示している。
このように、本実施例では、試験実行後に試験ログ中の実画像に対し、画面領域および一致率というパラメータを与えることで、試験を再実行せずに、結果に反映できるようにしている。従って、同一要因による不一致箇所の結果確認を効率的に行うことが可能となる。
図7は、第2の発明の実施例を説明するものであり、試験ログ中のある選択された実画像に対し、その画像が妥当であると判断する基準を画像の矩形領域およびその領域内に含まれる画素の一致率(閾値)をパラメータとして設定できるようにしておき、オペレータがそれを与えた上で試験ログ中の他の実画像の中からその条件下で一致する実画像を検索し、それが正解か画像同士が同一の場合には、それを正解画像として一括して置換するものである。
図7(a)に示すように、操作A,B,Cに対し、確認箇所A,B,Cが設定され、操作B,Cに関しては×(不一致)が示されている場合であることは、実施例2の説明と同様であり、実画像および正解画像の中の破線で示した矩形領域に対し、一致率や一致率の閾値も同様に計算される。その上で、同図(d)にフロー的に示すように、特定の確認箇所の結果不一致画面に対し、検索条件を設定(ステップS31)し、上記確認箇所の実画像と他の確認箇所における実画像を、上記条件の元で比較(ステップS32)し、上記比較結果が一致する場合、上記2つの確認箇所に対応する正解画像同士を上記条件の元で比較する(ステップS33)。そして、上記正解値同士が一致する場合、比較対象の確認箇所の正解画像を実画像にて置き換える(ステップS34)。即ち、同図(e)に示すように、検索条件の元で、実画像B=実画像Cであり、且つ、正解画像B=正解画像Cの場合には、正解画像Bが正解画像をCに置換されるものである。以上を試験ログ中の全ての確認箇所の実画像に対して行う(ステップS35)。
上記に関して更に具体的に例示すると、図8に示すように、操作1〜3に対する試験結果の判定1〜3は全て×(不一致)であるが、判定1に関しては、実画像A’と正解画像Aが判定1で不一致と判定されたが、オペレータの目視による判断で正解画像Aを実画像A’に置き換える場合には、基準ケースとして条件設定せずに以降の新しい正解画像をA’に変更することを示している。
判定2に関しては、実画像Cに対し正解画像がBであり、オペレータの目視による判断でも、明らかに異なるケースの不一致である場合には、領域の設定や一致率の設定等の条件設定はせずに、以降も判定2での正解画像はBのままとすることを示している。判定3に関しては、実画像A’と正解画像Aが判定3で不一致と判定されたが、オペレータの目視による判断では以降は、同一ケースとして一致に変更したいので、判定3では新しい正解画像がA’に変更されることを示している。
このように、本実施例では、試験実行後に試験ログ中の実画像に対し、画面領域および一致率というパラメータを与えることで、試験を再実行せずに、同一画面検索ができるようにしている。従って瞬時に置換すべき正解画像の特定ができ、多量の正解画像の更新を効率的に行うことが可能となる。
図9は、第3の発明の実施例を説明するものであり、試験結果中の各正解画像および実画像(特に、画像の一部だけが不一致となるような類似性がある画像)に対し、正解画像および実画像を並列表示した上で、それら2つの画像の同一座標における各画素の色成分(RGB値)同士の排他的論理和を計算し、それを画像データとして構成して、画像の差異を表示するものである。
即ち、同図(a)に示すように、実画像(x,y)のRGBとして、RGBact(x,y)、期待値としての正解画像(x,y)にて、RGBexp(x,y)とにより、同図(b)に示すように、実画像および正解画像より各画素の色成分(RGB)を取得し(ステップS41)、同一座標毎にRGB成分の排他的論理和(XOR)を計算し(ステップS42)、上記差分をRGB成分として画像を構成して結果画面に表示(操作/確認箇所との関連づけがされた状態で表示する)(ステップS43)。この結果で、同図(c)に示すように、実画像と正解画像のXOR画像が得られるが、同一画素では、RGBxor(x,y)=(0,0,0)となり、黒色表示となり、それ以外の不一致画素は違いに応じて、色で表示される(ステップS44)。
上記に関して更に具体的に例示したものが、図10であり、実画像と正解画像のXOR画像が作成され、相異画素は黒色以外で表示されるので、目視で相異画素が容易に判別できると共に、一致画素は黒色表示されることになる。
このように、本実施例では、実画像および正解画像の各画素の色成分(RGB)の差を画像として表示することで、同一画素と相異画素が異なる色で表示され、相異画素が目視で判別できるようにしている。従って容易に不一致箇所の特定ができ、多量の不一致画面を効率的に確認することが可能となる。
図11は、第4の発明の実施例を説明するものであり、試験結果中の各正解画像および実画像(特に、その相異部分が微小な領域に限定されるもの)に対し、正解画像および実画像を並列表示した上で、それら2つの画像の不一致画素を検索し、各々正解画像および実画像のその不一致画素の近傍の画像を抽出し、それを不一致画素の座標と関連付けて拡大表示するものである。
図11(a)に示すように、実画像(x,y)のRGBとしてRGBact(x,y)、期待値としての正解画像(x,y)としてRGBexp(x,y)とにより、同図(b)に示すように、実画像および正解画像より各画素の色成分(RGB)を取得し(ステップ51)、同一座標毎にRGB成分を比較し(ステップ52)、ステップ53でRGB成分不一致の場合には、不一致画素の座標近傍の領域に対して画像を抽出し(ステップ54)、上記の領域のみの拡大イメージを生成し、結果画面上に表示する(ステップ55)。その際、同図(c)に示すように、不一致座標を中心にその上に拡大画像を表示するか、もしくは、上記画像と不一致の座標を線分を表示して表示する。即ち、同図(d)に示すように、操作A、確認箇所A、操作B、確認箇所Bの中で、ハッチングの掛かっている確認箇所Aについて、実画像と正解画像のそれぞれに拡大画像が表示される。
上記に関して更に具体的に例示したものが図12であり、実画像と正解画像の相異画素近傍の拡大画像を表示し、実画像では4:36であり、正解画像では4:37であるように、微小な相異画素が容易に判別できる。
このように正解画像と実画像の不一致画素を検出し、自動的に拡大表示することで、不一致の領域が微小である場合でも、目視で判別できるようにしており、容易に不一致箇所の特定ができ、多量の不一致画面を効率的に確認することが可能となる。
図13は、第5の発明の実施例を説明するものであり、試験結果中の各正解画像および実画像(特に、その相異部分が色成分の微妙な差異もしくは表示位置の微妙な差異があるもの)に対し、正解画像および実画像を並列表示した上で、それら2つの画像の同一座標における各画素の色成分(RGB値)同士の論理積を計算し、それを画像データとして構成して、画像の差異を表示するものである。
即ち、図13(a)、(b)に示すように、実画像および正解画像より各画素の色成分(RGB)を取得し(ステップS61)、同一座標毎にRGB成分の排他的論理積(AND)を計算(ステップS62)し、上記差分をRGB成分として画像を構成して結果画面に表示。(操作/確認箇所との関連づけがされた状態で表示する)(ステップS63)。これにより、正解画像の上に不一致画素が重ね合わされたような画像が表示される(ステップS64)。例として、図14に示すように、実画像および正解画像のANDの画像が表示されるので、色成分の微妙な差異と表示位置の微妙な差異との区別が目視で容易に判別できる。
このように、本実施例では、正解画像と実画像の各画素の論理積を計算、それを画像として表示することで、正解画像の上に不一致画素のみ異なる色で表示され、不一致画素が色成分の微妙な差異と表示位置の微妙な差異との区別が目視で容易に判別できるようにしているので、容易に不一致箇所の特定ができ、多量の不一致画面を効率的に確認することが可能となる。
(付記1)
情報端末に実行させる動作試験の指示データを、コンピュータから情報端末に送信させ、
前記指示データに従って実行された情報端末の実画像の画面情報をコンピュータに受信させ、
前記受信した実画像と、予め用意された比較確認用の正解画像と、前記実画像と正解画像との一致度を判定すべき位置と必要度の情報とをあわせて、試験結果を判定する判定表示画面として、コンピュータに接続された表示画面に表示させることを特徴とする試験結果判定表示方法。(請求項1)
(付記2)
情報端末に動作試験を実行させる指示データを送信するステップと、
前記指示データに従って実行された情報端末の実画像の画面情報を受信するステップと、
前記受信した実画像と、予め用意された比較確認用の正解画像と、前記実画像と正解画像との一致度を判定すべき位置と必要度の情報とをあわせて、試験結果を判定する判定表示画面として、コンピュータに接続された表示画面に表示させるステップと、
をコンピュータに実行させるためのプログラム。(請求項2)
(付記3)
前記実画像と正解画像との一致度を判定すべき所定領域の画素の一致率を指定する基準値を変更することによって、一致度の判定を変更するステップを更に実行させる付記2に記載のプログラム。(請求項3)
(付記4)
前記実画像と正解画像との相異部分を、実画像と正解画像の各画素の排他的論理和として表示するステップを更に実行させる付記2に記載のプログラム。(請求項4)
(付記5)
情報端末とコンピュータを接続し、コンピュータからの指示によって情報端末の操作を行わせ、情報端末の試験を行わせる試験装置であって、
コンピュータから情報端末に動作試験を実行させる指示データを送信する手段と、
前記指示データに従って実行された情報端末の実画像の画面情報をコンピュータが受信する手段と、
前記受信した実画像と、予め用意された比較確認用の正解画像と、前記実画像と正解画像との一致度を判定すべき位置と必要度の情報とをあわせて、試験結果を判定する判定表示画面として、コンピュータに接続された表示画面に表示させる手段と、
を有することを特徴とする試験装置。(請求項5)
(付記6)
前記実画像と正解画像との一致度を判定すべき所定領域の画素の一致率を指定する基準値を変更することによって、一致度の判定を変更する手順を更に有することを特徴とする付記1に記載の試験結果判定表示方法。
(付記7)
前記実画像と正解画像との相異部分を、実画像と正解画像の各画素の排他的論理和として表示する手順を更に有することを特徴とする付記1に記載の試験結果判定表示方法。
(付記8)
前記実画像と正解画像との相異部分を、実画像と正解画像の拡大画像として表示する手順を更に有することを特徴とする付記1に記載の試験結果判定表示方法。
(付記9)
前記実画像と正解画像との相異部分を、実画像と正解画像の各画素の排他的論理積として表示する手順を更に有することを特徴とする付記1に記載の試験結果判定表示方法。
(付記10)
前記実画像と正解画像との相異部分を、実画像と正解画像の拡大画像として表示するステップを更に実行させる付記2に記載のプログラム。
(付記11)
前記実画像と正解画像との相異部分を、実画像と正解画像の各画素の排他的論理積として表示するステップを更に実行させる付記2に記載のプログラム。
(付記12)
前記実画像と正解画像との一致度を判定すべき所定領域の画素の一致率を指定する基準値を変更することによって、一致度の判定を変更する手段を更に有することを特徴とする付記5に記載の試験装置。
(付記13)
前記実画像と正解画像との相異部分を、実画像と正解画像の各画素の排他的論理和として表示する手段を更に有することを特徴とする付記5に記載の試験装置。
(付記14)
前記実画像と正解画像との相異部分を、実画像と正解画像の拡大画像として表示する 手段を更に有することを特徴とする付記5に記載の試験装置。
(付記15)
前記実画像と正解画像との相異部分を、実画像と正解画像の各画素の排他的論理積として表示する手段を更に有することを特徴とする付記5に記載の試験装置。
(付記1)
情報端末に実行させる動作試験の指示データを、コンピュータから情報端末に送信させ、
前記指示データに従って実行された情報端末の実画像の画面情報をコンピュータに受信させ、
前記受信した実画像と、予め用意された比較確認用の正解画像と、前記実画像と正解画像との一致度を判定すべき位置と必要度の情報とをあわせて、試験結果を判定する判定表示画面として、コンピュータに接続された表示画面に表示させることを特徴とする試験結果判定表示方法。(請求項1)
(付記2)
情報端末に動作試験を実行させる指示データを送信するステップと、
前記指示データに従って実行された情報端末の実画像の画面情報を受信するステップと、
前記受信した実画像と、予め用意された比較確認用の正解画像と、前記実画像と正解画像との一致度を判定すべき位置と必要度の情報とをあわせて、試験結果を判定する判定表示画面として、コンピュータに接続された表示画面に表示させるステップと、
をコンピュータに実行させるためのプログラム。(請求項2)
(付記3)
前記実画像と正解画像との一致度を判定すべき所定領域の画素の一致率を指定する基準値を変更することによって、一致度の判定を変更するステップを更に実行させる付記2に記載のプログラム。(請求項3)
(付記4)
前記実画像と正解画像との相異部分を、実画像と正解画像の各画素の排他的論理和として表示するステップを更に実行させる付記2に記載のプログラム。(請求項4)
(付記5)
情報端末とコンピュータを接続し、コンピュータからの指示によって情報端末の操作を行わせ、情報端末の試験を行わせる試験装置であって、
コンピュータから情報端末に動作試験を実行させる指示データを送信する手段と、
前記指示データに従って実行された情報端末の実画像の画面情報をコンピュータが受信する手段と、
前記受信した実画像と、予め用意された比較確認用の正解画像と、前記実画像と正解画像との一致度を判定すべき位置と必要度の情報とをあわせて、試験結果を判定する判定表示画面として、コンピュータに接続された表示画面に表示させる手段と、
を有することを特徴とする試験装置。(請求項5)
(付記6)
前記実画像と正解画像との一致度を判定すべき所定領域の画素の一致率を指定する基準値を変更することによって、一致度の判定を変更する手順を更に有することを特徴とする付記1に記載の試験結果判定表示方法。
(付記7)
前記実画像と正解画像との相異部分を、実画像と正解画像の各画素の排他的論理和として表示する手順を更に有することを特徴とする付記1に記載の試験結果判定表示方法。
(付記8)
前記実画像と正解画像との相異部分を、実画像と正解画像の拡大画像として表示する手順を更に有することを特徴とする付記1に記載の試験結果判定表示方法。
(付記9)
前記実画像と正解画像との相異部分を、実画像と正解画像の各画素の排他的論理積として表示する手順を更に有することを特徴とする付記1に記載の試験結果判定表示方法。
(付記10)
前記実画像と正解画像との相異部分を、実画像と正解画像の拡大画像として表示するステップを更に実行させる付記2に記載のプログラム。
(付記11)
前記実画像と正解画像との相異部分を、実画像と正解画像の各画素の排他的論理積として表示するステップを更に実行させる付記2に記載のプログラム。
(付記12)
前記実画像と正解画像との一致度を判定すべき所定領域の画素の一致率を指定する基準値を変更することによって、一致度の判定を変更する手段を更に有することを特徴とする付記5に記載の試験装置。
(付記13)
前記実画像と正解画像との相異部分を、実画像と正解画像の各画素の排他的論理和として表示する手段を更に有することを特徴とする付記5に記載の試験装置。
(付記14)
前記実画像と正解画像との相異部分を、実画像と正解画像の拡大画像として表示する 手段を更に有することを特徴とする付記5に記載の試験装置。
(付記15)
前記実画像と正解画像との相異部分を、実画像と正解画像の各画素の排他的論理積として表示する手段を更に有することを特徴とする付記5に記載の試験装置。
1 端末
2 PC
3 試験機
2 PC
3 試験機
Claims (5)
- 情報端末に実行させる動作試験の指示データを、コンピュータから情報端末に送信させ、
前記指示データに従って実行された情報端末の実画像の画面情報をコンピュータに受信させ、
前記受信した実画像と、予め用意された比較確認用の正解画像と、前記実画像と正解画像との一致度を判定すべき位置と必要度の情報とをあわせて、試験結果を判定する判定表示画面として、コンピュータに接続された表示画面に表示させることを特徴とする試験結果判定表示方法。 - 情報端末に動作試験を実行させる指示データを送信するステップと、
前記指示データに従って実行された情報端末の実画像の画面情報を受信するステップと、
前記受信した実画像と、予め用意された比較確認用の正解画像と、前記実画像と正解画像との一致度を判定すべき位置と必要度の情報とをあわせて、試験結果を判定する判定表示画面として、コンピュータに接続された表示画面に表示させるステップと、
をコンピュータに実行させるためのプログラム。 - 前記実画像と正解画像との一致度を判定すべき所定領域の画素の一致率を指定する基準値を変更することによって、一致度の判定を変更するステップを更に実行させる請求項2に記載のプログラム。
- 前記実画像と正解画像との相異部分を、実画像と正解画像の各画素の排他的論理和として表示するステップを更に実行させる請求項2に記載のプログラム。
- 情報端末とコンピュータを接続し、コンピュータからの指示によって情報端末の操作を行わせ、情報端末の試験を行わせる試験装置であって、
コンピュータから情報端末に動作試験を実行させる指示データを送信する手段と、
前記指示データに従って実行された情報端末の実画像の画面情報をコンピュータが受信する手段と、
前記受信した実画像と、予め用意された比較確認用の正解画像と、前記実画像と正解画像との一致度を判定すべき位置と必要度の情報とをあわせて、試験結果を判定する判定表示画面として、コンピュータに接続された表示画面に表示させる手段と、
を有することを特徴とする試験装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005272256A JP2007086899A (ja) | 2005-09-20 | 2005-09-20 | 試験結果判定表示方法、試験結果判定表示プログラム及び試験装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005272256A JP2007086899A (ja) | 2005-09-20 | 2005-09-20 | 試験結果判定表示方法、試験結果判定表示プログラム及び試験装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007086899A true JP2007086899A (ja) | 2007-04-05 |
Family
ID=37973851
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005272256A Pending JP2007086899A (ja) | 2005-09-20 | 2005-09-20 | 試験結果判定表示方法、試験結果判定表示プログラム及び試験装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007086899A (ja) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010219809A (ja) * | 2009-03-16 | 2010-09-30 | Fuji Xerox Co Ltd | 文書処理システム、画像形成装置およびプログラム |
JP2013168072A (ja) * | 2012-02-16 | 2013-08-29 | Fujitsu Fsas Inc | 支援装置、支援プログラムおよび支援方法 |
JP2014010630A (ja) * | 2012-06-29 | 2014-01-20 | Hitachi Systems Ltd | 検査装置、検査システム、検査方法、携帯端末、及びプログラム |
CN106681868A (zh) * | 2015-11-10 | 2017-05-17 | 技嘉科技股份有限公司 | 图像数据测试方法及系统 |
JP6130011B1 (ja) * | 2016-03-14 | 2017-05-17 | 株式会社リクルートホールディングス | ソフトウェアの動作検証装置、ソフトウェアの動作検証方法 |
JP2017138714A (ja) * | 2016-02-02 | 2017-08-10 | 日本電信電話株式会社 | 画面差異確認支援装置、画面差異確認支援方法、及びプログラム |
JP2017138713A (ja) * | 2016-02-02 | 2017-08-10 | 日本電信電話株式会社 | 画面差異抽出装置、画面差異抽出方法、及びプログラム |
JP2018190323A (ja) * | 2017-05-11 | 2018-11-29 | 富士通株式会社 | 比較プログラム、比較装置及び比較方法 |
JP2018190324A (ja) * | 2017-05-11 | 2018-11-29 | 富士通株式会社 | 比較プログラム、比較装置及び比較方法 |
JP2019086804A (ja) * | 2017-11-01 | 2019-06-06 | みずほ情報総研株式会社 | テスト支援システム、テスト支援方法及びテスト支援プログラム |
JP2021082939A (ja) * | 2019-11-19 | 2021-05-27 | 株式会社アクセル | 設計支援装置、設計支援方法、及びプログラム |
-
2005
- 2005-09-20 JP JP2005272256A patent/JP2007086899A/ja active Pending
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8976403B2 (en) | 2009-03-16 | 2015-03-10 | Fuji Xerox Co., Ltd. | Document processing system, image forming apparatus, document processing method and computer readable medium for generating a synthetic image |
JP2010219809A (ja) * | 2009-03-16 | 2010-09-30 | Fuji Xerox Co Ltd | 文書処理システム、画像形成装置およびプログラム |
JP2013168072A (ja) * | 2012-02-16 | 2013-08-29 | Fujitsu Fsas Inc | 支援装置、支援プログラムおよび支援方法 |
JP2014010630A (ja) * | 2012-06-29 | 2014-01-20 | Hitachi Systems Ltd | 検査装置、検査システム、検査方法、携帯端末、及びプログラム |
CN106681868A (zh) * | 2015-11-10 | 2017-05-17 | 技嘉科技股份有限公司 | 图像数据测试方法及系统 |
JP2017138713A (ja) * | 2016-02-02 | 2017-08-10 | 日本電信電話株式会社 | 画面差異抽出装置、画面差異抽出方法、及びプログラム |
JP2017138714A (ja) * | 2016-02-02 | 2017-08-10 | 日本電信電話株式会社 | 画面差異確認支援装置、画面差異確認支援方法、及びプログラム |
JP2017167642A (ja) * | 2016-03-14 | 2017-09-21 | 株式会社リクルートホールディングス | ソフトウェアの動作検証装置、ソフトウェアの動作検証方法 |
JP6130011B1 (ja) * | 2016-03-14 | 2017-05-17 | 株式会社リクルートホールディングス | ソフトウェアの動作検証装置、ソフトウェアの動作検証方法 |
WO2017159631A1 (ja) * | 2016-03-14 | 2017-09-21 | 株式会社リクルートホールディングス | ソフトウェアの動作検証装置、ソフトウェアの動作検証方法 |
JP2018190323A (ja) * | 2017-05-11 | 2018-11-29 | 富士通株式会社 | 比較プログラム、比較装置及び比較方法 |
JP2018190324A (ja) * | 2017-05-11 | 2018-11-29 | 富士通株式会社 | 比較プログラム、比較装置及び比較方法 |
US10620897B2 (en) | 2017-05-11 | 2020-04-14 | Fujitsu Limited | Comparison program, and comparison device |
JP2019086804A (ja) * | 2017-11-01 | 2019-06-06 | みずほ情報総研株式会社 | テスト支援システム、テスト支援方法及びテスト支援プログラム |
JP2021082939A (ja) * | 2019-11-19 | 2021-05-27 | 株式会社アクセル | 設計支援装置、設計支援方法、及びプログラム |
JP7025040B2 (ja) | 2019-11-19 | 2022-02-24 | 株式会社アクセル | 設計支援装置、設計支援方法、及びプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2007086899A (ja) | 試験結果判定表示方法、試験結果判定表示プログラム及び試験装置 | |
JP5767963B2 (ja) | 外観検査装置、外観検査方法及びコンピュータプログラム | |
JP6625398B2 (ja) | 点検案内システム | |
JP5628086B2 (ja) | 表示装置画面の全点試験方法及び全点試験装置 | |
US10996937B2 (en) | Automated software installation using a click area prediction model | |
WO2007123238A1 (ja) | 不良原因設備特定システム | |
KR101634063B1 (ko) | 프로그래밍 장치 | |
KR20230133831A (ko) | Bim 설계 데이터 내 설비 라인을 자동으로 설계하는 장치, 방법 및 프로그램 | |
JP4582038B2 (ja) | ソフトウェアの自動試験プログラム、ソフトウェアの自動試験装置、およびソフトウェアの自動試験方法 | |
JP4668059B2 (ja) | 目視検査支援装置、目視検査支援プログラムおよびそのプログラムを記録した記録媒体 | |
EP2068542A1 (en) | Method and system for providing a user interface to a call center agent which guides him through the conversation with a caller | |
US7739603B2 (en) | Signal routing apparatus and signal routing program | |
US8924871B2 (en) | GUI evaluation system, GUI evaluation method, and GUI evaluation program | |
JP2002251603A (ja) | 画像処理プログラム作成方法およびそのシステム | |
JPWO2018207481A1 (ja) | 自動検査装置 | |
JP2899174B2 (ja) | 監視装置 | |
CN112988568A (zh) | 游戏测试方法、装置及电子设备 | |
US20180374247A1 (en) | Graph display method, electronic device, and recording medium | |
US7076739B2 (en) | Data computation apparatus and method for using the data computation apparatus for adjustment of electronic controller | |
CN111538994A (zh) | 一种系统安全检测及修复方法、装置、存储介质及终端 | |
KR102603276B1 (ko) | Xr 기반의 감리 보조 장치, 방법 및 프로그램 | |
JP5153538B2 (ja) | 保守端末装置及びコンピュータプログラム | |
JP5308991B2 (ja) | 保守作業計画支援方法及びシステム | |
JP7385192B2 (ja) | 画像処理装置、画像処理方法、及びコンピュータプログラム | |
JP2016122361A (ja) | 道路構造物の点検情報管理システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080520 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080527 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080930 |