JP2020126591A - 情報処理装置、情報処理装置の制御方法、および制御プログラム - Google Patents

Abstract

【課題】画面表示試験における不具合の誤検出を低減する試験装置を提供する。【解決手段】試験装置３の第３制御部３３は、第１データ取得部３３１と、第２データ取得部３３２と、比較部３３３と、探索部３３４と、第３表示制御部３３５と、を備える。第１データ取得部は、参照機器１の第１キャプチャ部１３２から第１データを取得する。第２データ取得部は、対象機器２の第２キャプチャ部２３２から第２データを取得する。比較部は、第１データと第２データとを比較する。探索部は、第１データと第２データとが一致しないフレームが存在する場合、他方のフレーム画像の前後の所定数のフレームにおいて基準画像と一致するフレーム画像を探索する。第３表示制御部は、基準画像と一致するフレーム画像が存在しない場合、第２データに不具合が生じていることを出力部３５に出力させる。【選択図】図１

Description

本発明は、画面表示の試験を行う情報処理装置等に関する。

機器の画面表示が正常か否かを自動検査するための装置が、種々開発されている。例えば、特許文献１に記載の技術では、正解画面画像やマスクデータを自動生成したり、試験実施の環境やタイミングによって発生する差分の傾向を学習して試験時に用いたりすることによる、試験の効率化および精度向上が試みられている。

国際公開第２０１６／１７０６１８号パンフレット

一方、画面表示の不具合の有無を自動的に判別しようとした場合、本来は不具合として検出しなくて良い程度の微細な表示のずれを、誤って不具合として検出してしまう虞があった。例えば、試験対象の機器において生じる人間が目視できない程度の画面表示のずれを、不具合として検出してしまうことがあった。この場合、機器の不具合の検出数が増加し、結果的に人間が目視での再試験を実施する必要が生じることがあった。

本発明の一態様は、画面表示試験における不具合の誤検出を低減することが可能な情報処理装置等を実現することを目的とする。

本発明の一態様に係る情報処理装置は、第１データ取得部と、第２データ取得部と、比較部と、探索部と、表示制御部と、を備える。第１データ取得部は、第１データを取得する。第１データは、ユーザの操作内容および操作タイミングを示す情報を含む操作データに基づいて、参照機器において生成される動画データである。第２データ取得部は、第２データを取得する。第２データは、操作データと同一の操作データに基づいて、対象機器において生成される動画データである。比較部は、第１データと第２データとをフレーム単位で順次比較する。探索部は、比較部の比較の結果、第１データと第２データとが一致しないフレームが存在する場合、該フレームにおける第１データのフレーム画像または第２データのフレーム画像のいずれか一方を基準画像として、他方のフレーム画像の前後の所定数のフレームにおいて、基準画像と一致するフレーム画像が存在するか否か探索する。表示制御部は、基準画像と一致するフレーム画像が存在しない場合、第２データに不具合が生じていることを出力部に出力させる。

本発明の一態様に係る情報処理装置において、第２データ取得部は、対象機器で生成される第２データを順次リアルタイムで取得してもよい。そして、比較部は、第１データと、第２データ取得部が取得する第２データとを順次比較してもよい。

本発明の一態様に係る情報処理装置において、操作データは、定期的に更新される位置情報と、該位置情報の取得タイミングを示す情報を含んでいてもよい。そして、第１データおよび第２データは、位置情報に応じて生成される所定領域の地図画像を含んでいてもよい。

本発明の一態様に係る情報処理装置において、所定数は、第１データおよび第２データのフレームレートに換算した場合に０．３秒よりも短い時間に相当することが望ましい。

本発明の一態様に係る情報処理装置において、表示制御部は、基準画像と一致するフレーム画像が存在しない場合、基準画像のフレーム数を出力部に出力させてもよい。

本発明の一態様に係る情報処理装置において、出力部は、表示部および通信部の少なくとも一方を含んでいてもよい。前記表示部は、前記基準画像と一致するフレーム画像が存在しない場合、前記第２データに不具合が生じていることを表示してもよい。また、前記通信部は、前記基準画像と一致するフレーム画像が存在しない場合、前記第２データに不具合が生じていることを、外部の装置へ通知してもよい。

本発明の一態様に係る情報処理装置は、相違箇所特定部を備えていてもよい。相違箇所特定部は、第１データと第２データとが一致しないフレームが存在する場合、該フレームにおける第１データのフレーム画像と、第２データのフレーム画像との相違点を特定する。また、探索部は、相違点のフレーム画像上での位置に応じて所定数を決定してよい。

本発明の一態様に係る情報処理装置の制御方法は、第１データ取得ステップと、第２データ取得ステップと、比較ステップと、探索ステップと、表示制御ステップと、を含む。第１データ取得ステップでは、第１データを取得する。第１データは、ユーザの操作内容および操作タイミングを示す情報を含む操作データに基づいて、参照機器において生成される動画データである。第２データ取得ステップでは、第２データを取得する。第２データは、操作データと同一の操作データに基づいて、対象機器において生成される動画データである。比較ステップでは、第１データと第２データとをフレーム単位で順次比較する。探索ステップでは、比較ステップにおける比較の結果、第１データと第２データとが一致しないフレームが存在する場合、該フレームにおける第１データのフレーム画像または第２データのフレーム画像のいずれか一方を基準画像として、他方のフレーム画像の前後の所定数のフレームにおいて、基準画像と一致するフレーム画像が存在するか否か探索する。表示制御ステップでは、基準画像と一致するフレーム画像が存在しない場合、第２データに不具合が生じていることを出力部に出力させる。

本発明の一態様に係る制御プログラムは、情報処理装置としてコンピュータを機能させるための制御プログラムであって、第１データ取得ステップと、第２データ取得ステップと、比較ステップと、探索ステップと、表示制御ステップと、をコンピュータに実行させる。第１データ取得ステップでは、第１データを取得する。第１データは、ユーザの操作内容および操作タイミングを示す情報を含む操作データに基づいて、参照機器において生成される動画データである。第２データ取得ステップでは、第２データを取得する。第２データは、操作データと同一の操作データに基づいて、対象機器において生成される動画データである。比較ステップでは、第１データと第２データとをフレーム単位で順次比較する。探索ステップでは、比較ステップにおける比較の結果、第１データと第２データとが一致しないフレームが存在する場合、該フレームにおける第１データのフレーム画像または第２データのフレーム画像のいずれか一方を基準画像として、他方のフレーム画像の前後の所定数のフレームにおいて、基準画像と一致するフレーム画像が存在するか否か探索する。表示制御ステップでは、基準画像と一致するフレーム画像が存在しない場合、第２データに不具合が生じていることを出力部に出力させる。

本発明の一態様によれば、画面表示試験における不具合の誤検出を低減することができる。

実施形態１に係る試験システムに含まれる装置の要部構成を示すブロック図である。 試験装置における処理の流れの一例を示す図である。 試験処理の流れの一例を示す図である。 比較処理を模式的に示した図である。 第１データと第２データとを同時再生させる場合の表示画面の一例を示している。 試験結果画面の一例を示す図である。 実施形態２に係る試験システムに含まれる装置の要部構成を示すブロック図である。 実施形態２に係る試験システムにおける処理の流れの一例を示す図である。 実施形態３に係る試験システムに含まれる装置の要部構成を示すブロック図である。 試験装置における処理の流れの一例を示す図である。 実施形態４に係る試験システムに含まれる装置の要部構成を示すブロック図である。 試験装置における処理の流れの一例を示す図である。 実施形態５に係る試験システムに含まれる装置の要部構成を示すブロック図である。 結果再生画面の一例を示す図である。 操作データ確認画面の一例を示す図である。 実施形態１に係る試験システムの要部構成の変形例２及び要部構成の変形例３に含まれる装置の要部構成を示すブロック図である。 実施形態１に係る試験システムの要部構成の変形例４に含まれる装置の要部構成を示すブロック図である。

≪システム概要≫
本発明の各実施形態に係る試験システムは、画面表示試験を実行するためのシステムである。画面表示試験とは、試験対象の機器における画面表示が正常か異常か判別するための試験である。

ここで、「画面表示が正常」とは、例えば、試験対象の機器が、規定された画像を、規定された精度およびタイミングで表示画面に表示させることを意味する。なお、この画像には、動画も含まれ得る。以降の説明においても、画像とは静止画および動画の両方を意味する。一方、「画面表示が異常」とは、何らかの不具合によって、試験対象の機器が、規定された画像を、規定された精度およびタイミングで表示画面に表示していないことを意味する。

画面表示試験は、例えば出荷前の機器に対して、性能テストの一環として実行される。また例えば、画面表示試験は、画面表示に係るソフトウェアプログラムを作成または更新した場合に、そのプログラムをインストールした機器に対して、プログラムの動作テストの一環として実行される。

前述の画像には、ＧＵＩ（Graphical User Interface）が含まれ得る。画面表示試験において試験対象の機器に表示させる画像にＧＵＩが含まれている場合、画面表示試験は、ＧＵＩの動作テストの側面も有しているといえる。以下、実施形態１〜６において、本発明に係る試験システムの具体例を詳細に説明する。

〔実施形態１〕
≪要部構成≫
以下、実施形態１に係る試験システム６００について、図１から図６を用いて説明する。図１は、試験システム６００に含まれる装置の要部構成を示すブロック図である。試験システム６００は図示の通り、参照機器１と、対象機器２と、試験装置３と、記憶装置４とを含む。

試験装置３は、画面表示試験を実行する装置である。記憶装置４は、試験装置３の外部記憶装置である。対象機器２は、画面表示試験において試験対象となる機器である。一方、参照機器１は、試験システム６００が実行する画面表示試験において、対象機器２との比較対象になるリファレンス機である。

試験装置３は、１台以上の参照機器１と、１台以上の対象機器２と、１台以上の記憶装置４と有線または無線で接続している。本実施形態では、特段の記載が無い限り、図１に示すように、試験装置３は１台の参照機器１と、１台の対象機器２と、１台の記憶装置４と接続していることとする。

本実施形態においてリファレンス機とは、基準となる性能を有する機器である。参照機器１における画像の表示精度および表示タイミングは、対象機器２における画像の表示精度および表示タイミング、すなわち、対象機器２の画面表示が、正常であるか否かを判別するための基準となる。

なお、参照機器１と対象機器２とは同種類の機器であってもよいし、異種の機器であってもよい。本実施形態では、参照機器１と対象機器２とは同種類の機器であることとする。参照機器１および対象機器２は、例えば、車両に搭載される、カーナビゲーションシステムの端末の表示装置で実現される。

（参照機器１）
参照機器１は、第１操作データ取得部１１と、第１記憶部１２と、第１制御部１３と、第１表示部１４とを含む。

第１操作データ取得部１１は、試験装置３から操作データを取得する。操作データとは、ユーザの操作内容および操作タイミングを示す情報を含むデータである。操作データの詳細については後述する。第１操作データ取得部１１は、取得した操作データを第１記憶部１２に記憶させる。

第１記憶部１２は、操作データを記憶する記憶装置である。また、第１記憶部１２は、第１制御部１３が実行する各種プログラムを記憶する。例えば、第１記憶部１２は、第１制御部１３が実行する、表示制御に係るプログラムを記憶する。以下、表示制御に係るプログラムを表示プログラムと称する。

第１制御部１３は、第１記憶部１２に記憶された各種プログラムを実行することによって、参照機器１を統括的に制御する。例えば、第１制御部１３は、第１表示部１４の表示制御と、第１表示部１４の表示画面のキャプチャとを実行する機能を有する。第１制御部１３はこれらの機能を実現するため、第１表示制御部１３１と、第１キャプチャ部１３２とを含む。

第１表示制御部１３１は、第１記憶部１２から表示プログラムと、操作データとを読み出して、表示プログラムおよび操作データの記述の通りに第１表示部１４を制御する。これにより、操作データに記述された入力操作の内容に応じて表示プログラムを実行した結果としての画像が、第１表示部１４に表示される。

第１キャプチャ部１３２は、第１表示部１４の表示画面を動画データとしてキャプチャする。前述の通り、第１表示部１４は第１表示制御部１３１によって操作データの記述に従った画像を表示する。したがって、第１キャプチャ部１３２のキャプチャした動画データは、操作データに基づいて参照機器において生成される動画データであるといえる。第１キャプチャ部１３２は、キャプチャした動画データを試験装置３に送信する。以降、第１キャプチャ部１３２がキャプチャした動画データを、「第１データ」と称する。

なお、第１キャプチャ部１３２は、キャプチャした動画データに参照機器１の識別子を付したデータを、第１データとして試験装置３に送信してもよい。例えば、試験システム６００に複数の参照機器１が含まれる場合、試験装置３において、いずれの参照機器１由来の第１データかを判別できることが望ましい。したがって、この場合、第１データには参照機器１の識別子が付されていることが好ましい。

第１表示部１４は、第１制御部１３の制御に従って画像を表示する表示装置である。第１表示部１４の具体的な構成は特に限定されない。

（対象機器２）
対象機器２は、第２操作データ取得部２１と、第２記憶部２２と、第２制御部２３と、第２表示部２４と、を含む。

第２操作データ取得部２１は、試験装置３から操作データを取得する。ここで、第２操作データ取得部２１が取得する操作データは、参照機器１の第１操作データ取得部１１が取得する操作データと同じデータである。第２操作データ取得部２１は、取得した操作データを第２記憶部２２に記憶させる。

第２記憶部２２は、操作データを記憶する記憶装置である。また、第２記憶部２２は、第２制御部２３が実行する各種プログラムを記憶する。例えば、第２制御部２３は、第２制御部２３が実行する表示プログラムを記憶する。

第２制御部２３は、第２記憶部２２に記憶された各種プログラムを実行することによって、対象機器２を統括的に制御する。例えば、第２制御部２３は、第２表示部２４の表示制御と、第２表示部２４の表示画面のキャプチャとを実行する機能を有する。第２制御部２３はこれらの機能を実現するため、第２表示制御部２３１と、第２キャプチャ部２３２とを含む。

第２表示制御部２３１は、第２記憶部２２から表示プログラムと、操作データとを読み出して、表示プログラムおよび操作データの記述の通りに第２表示部２４を制御する。これにより、操作データに記述された入力操作の内容に応じて表示プログラムを実行した結果としての画像が、第２表示部２４に表示される。

第２キャプチャ部２３２は、第２表示部２４の表示画面を動画データとしてキャプチャする。前述の通り、第２表示部２４は第２表示制御部２３１によって操作データの記述に従った画像を表示する。したがって、第２キャプチャ部２３２のキャプチャした動画データは、操作データに基づいて参照機器において生成される動画データであるといえる。第２キャプチャ部２３２は、キャプチャした動画データを試験装置３に送信する。以降、第２キャプチャ部２３２がキャプチャした動画データを、「第２データ」と称する。

なお、第２キャプチャ部２３２は、キャプチャした動画データに対象機器２の識別子を付したデータを、第２データとして試験装置３に送信してもよい。例えば、試験システム６００に複数の対象機器２が含まれる場合、試験装置３において、いずれの対象機器２由来の第２データかを判別できることが望ましい。したがって、この場合、第２データには対象機器２の識別子が付されていることが好ましい。

第２表示部２４は、第２制御部２３の制御に従って画像を表示する表示装置である。第２表示部２４の具体的な構成は特に限定されない。

（記憶装置４）
記憶装置４は、操作データおよび試験結果を記憶する記憶装置である。記憶装置４は、操作データ４１を記憶する。また、記憶装置４は試験結果データ４２を記憶していてもよい。

操作データ４１は、ユーザの入力操作の内容および入力操作のタイミングを示すデータである。例えば、操作データ４１は、参照機器１または参照機器１と同種の機器においてユーザが実際に行った入力操作のログデータであってもよい。また例えば、操作データ４１は、試験装置３または他の外部装置によって自動生成されるデータであってもよい。また例えば、操作データ４１は、試験装置３または他の外部装置にインストールされた専用ツールを使用して、ユーザが作成および編集することが可能なデータであってもよい。

試験結果データ４２は、試験装置３における画面表示試験の結果を示すデータである。以降、画面表示試験の結果のことを、単に試験結果とも称する。

（試験装置３）
試験装置３は、データ収集部３１と、第３記憶部３２と、第３制御部３３と、入力部３４と、出力部３５と、操作データ出力部３６とを含む。

データ収集部３１は、参照機器１から第１データを受信する。データ収集部３１は受信した第１データを、第１データ３２１として第３記憶部３２に記憶させる。また、データ収集部３１は、対象機器２から第２データを受信する。データ収集部３１は収集した第２データを、第２データ３２２として第３記憶部３２に記憶させる。

なお、試験システム６００において、試験装置３が複数の参照機器１と接続し得る場合、データ収集部３１は、受信した第１データを第３記憶部３２に、参照機器１毎に記憶させることが望ましい。また、試験システム６００において、試験装置３が複数の対象機器２と接続し得る場合、データ収集部３１は、受信した第２データを第３記憶部３２に、対象機器２毎に記憶させることが望ましい。

第３記憶部３２は、試験装置３において必要な各種データを記憶する記憶装置である。第３記憶部３２は、第１データ３２１と、第２データ３２２とを記憶する。試験システム６００において、試験装置３が複数の参照機器１と接続し得る場合、第３記憶部３２は、第１データ３２１を、参照機器１毎に記憶する。また、試験システム６００において、試験装置３が複数の対象機器２と接続し得る場合、第３記憶部３２は、第２データ３２２を、対象機器２毎に記憶する。また、第３記憶部３２は試験装置３の第３制御部３３が実行する各種プログラムを記憶する。

操作データ出力部３６は、記憶装置４から操作データ４１を読み出して、参照機器１および対象機器２に送信する。操作データ出力部３６が参照機器１および対象機器２に操作データ４１を送信するタイミングは、特に限定されない。例えば、第３制御部３３が入力部３４において操作データの送信を指示する入力操作を受け付けたと特定した場合、操作データ出力部３６は、操作データ４１を参照機器１および対象機器２に送る。

入力部３４は、ユーザの入力操作を受け付ける入力インタフェースである。入力部３４は、例えば、試験装置３における物理ボタン、マウスで実現される。入力部３４は入力操作の内容を第３制御部３３に伝える。

出力部３５は、第３表示部３５１および通信部３５２のうち少なくとも一方を有する。第３表示部３５１は、第２制御部２３の制御に従って画像を表示する表示装置である。第２表示部２４の具体的な構成は特に限定されない。通信部３５２は、第２制御部２３の制御に従って画像をイーサネット（登録商標）等の有線通信やＷｉＦｉ（登録商標）、ＢｌｕｅＴｏｏｔｈ（登録商標）等の無線通信を用いて外部の装置に出力する。

（第３制御部３３）
第３制御部３３は、第３記憶部３２に記憶された各種プログラムを実行することによって、試験装置３を統括的に制御する情報処理装置である。第３制御部３３は入力部３４から伝えられた入力操作について、その指示内容を特定し、指示内容に応じて試験装置３の各部を制御する。

具体的には、第３制御部３３は、記憶装置４の操作データ４１を読み出して操作データ出力部３６に送る。また、第３制御部３３は、第１データ３２１と第２データ３２２とを取得してそれぞれの動画をフレーム単位で比較する。次に、第３制御部３３は、比較の結果、フレーム画像が一致しない場合、前後の所定数のフレームに一致するフレーム画像が有るか否かを探索することで、第２データ３２２に不具合があるか否かを判定する。そして、第３制御部３３は、判定結果、すなわち画面表示試験の結果を第３表示部３５１に表示させる。第３制御部３３はこれらの機能を実現するために、第１データ取得部３３１と、第２データ取得部３３２と、比較部３３３と、探索部３３４と、第３表示制御部３３５と、を含む。

第１データ取得部３３１は、第３記憶部３２から第１データ３２１を取得する。第１データ取得部３３１は、取得した第１データ３２１を比較部３３３に送る。なお、試験装置３が複数の参照機器１から第１データを受信する場合、第３記憶部３２には、参照機器１毎の第１データ３２１が記憶されている。このような場合、第１データ取得部３３１は、入力部３４に対するユーザの入力操作に応じて、読み出す第１データ３２１を決定してもよい。

第２データ取得部３３２は、第３制御部３３から第２データ３２２を取得する。第２データ取得部３３２は、取得した第２データ３２２を比較部３３３に送る。なお、試験装置３が複数の対象機器２から第２データを受信する場合、第３記憶部３２には、対象機器２毎の第２データ３２２が記憶されている。このような場合、第２データ取得部３３２は、入力部３４に対するユーザの入力操作に応じて、読み出す第２データ３２２を決定してもよい。

比較部３３３は、第１データ３２１と第２データ３２２とをフレーム単位で順次比較する。前述のように、第１データ３２１と第２データ３２２とは、それぞれ参照機器１と対象機器２とで、同一の操作データに基づいて生成される画像である。本実施形態では、第１データ３２１と第２データ３２２とは、同じフレーム数の動画データであることとして説明を行う。

比較部３３３は、比較結果を探索部３３４に通知する。すなわち、比較部３３３は、あるフレーム番号における第１データ３２１のフレーム画像と第２データ３２２のフレーム画像とが一致するか否かを判定し、フレーム番号と、判定結果とを対応付けて探索部３３４に通知する。なお、フレーム番号とは、動画データにおいて各フレーム画像に付される通し番号である。また、比較部３３３は、第１データ３２１と第２データ３２２の全フレームの比較が終了した場合、その旨を探索部３３４に通知する。

なお、比較部３３３は、全フレームの比較が終了してから、全フレームについて、フレーム番号と各フレーム番号における比較結果とを探索部３３４に通知してもよい。この場合、比較部３３３は、全フレームの比較が終了した旨を改めて探索部３３４に通知しなくてもよい。

探索部３３４は、比較部３３３からの通知内容に応じて、以下で説明する処理を実行する。まず、比較部３３３から、あるフレームについての判定結果として、第１データ３２１のフレーム画像と第２データ３２２のフレーム画像とが一致する旨を通知された場合、探索部３３４はそのフレームについては、第２データの試験結果が正常であると判定する。

一方、比較部３３３から、あるフレームについての判定結果として、第１データ３２１のフレーム画像と第２データ３２２のフレーム画像とが一致しない旨を通知された場合、探索部３３４は不一致フレームについて下記（１）および（２）の処理を実行する。以降、第１データ３２１のフレーム画像と第２データ３２２のフレーム画像とが一致しないフレームのことを、不一致フレームと称する。また、下記（１）および（２）の処理をまとめて探索処理とも称する。なお、探索処理の具体例は後で説明する。

（１）不一致フレームにおける第１データのフレーム画像、または第２データのフレーム画像のいずれか一方を基準画像とする。

（２）基準画像でない他方のフレーム画像の前および後の少なくとも一方について、探索対象画像から所定数のフレームのフレーム画像の中に、基準画像と一致するフレーム画像が無いか探索する。以降、基準画像でない他方のフレーム画像のことを、探索対象画像とも称する。

詳しくは後述するが、（２）における「所定数」とは、換言すると、基準画像とのずれとして許容可能なフレーム数を示している。以降、この所定数を「猶予フレーム数」とも称する。

（２）の処理の結果、不一致フレームにおける探索対象画像と一致するフレーム画像が存在した場合、探索部３３４は、不一致フレームについて、第２データの試験結果が正常であると判定する。すなわち、探索部３３４は、対象機器２から受信した第２データについて、第１データとの画像のずれが、猶予フレーム数の範囲内であれば、画面表示のずれを不具合と判定しない。なお、猶予フレーム数は、第１データ３２１および第２データ３２２のフレームレートに換算した場合に、０．３秒よりも短い時間に相当することが望ましい。一般的に、人間が認識可能な画面表示のずれは０．３秒程度であると言われている。したがって、フレーム数のずれの許容範囲を、前述のように０．３秒に相当する程度に収めることで、表示画面の不具合が起こった場合のうち、ユーザが認識できないほどの微細なずれは許容し、それよりずれが大きい場合のみを不具合として検出することができる。

一方、（２）の探索の結果、不一致フレームにおける探索対象画像と一致するフレーム画像が存在しなかった場合、探索部３３４は、不一致フレームについて、第２データの試験結果が異常であると判定する。すなわち、探索部３３４は、不一致フレームにおいて第２データに不具合が生じたと判定する。

探索部３３４は、比較部３３３から第１データ３２１のフレーム画像と第２データ３２２のフレーム画像とが一致しない旨を通知される度に、前述の（１）および（２）の処理を実行する。そして、探索部３３４は、比較部３３３から全フレームの比較が終了した旨を通知されると、各フレームについての試験結果を第３表示制御部３３５に通知する。もしくは、探索部３３４は、比較部３３３から全フレームの比較結果を一括で通知された場合は、各フレームについて前述の通りの場合分けで判定を行うことで各フレームについての試験結果を得て、試験結果を第３表示制御部３３５に通知する。

探索部３３４は試験結果として、例えば、フレーム番号と、各フレーム番号における第２データのフレーム画像が正常か異常かを示す情報と、を第３表示制御部３３５に通知してもよい。

また、探索部３３４は、各フレームについての試験結果に代わり、もしくは、各フレームについての試験結果とともに、第２データ全体としての試験結果を第３表示制御部３３５に通知してもよい。例えば、下記（Ａ）または（Ｂ）の条件に当てはまる場合、探索部３３４は第３表示制御部３３５に、試験結果として第２データが正常である旨を通知してもよい。

（Ａ）不一致フレームが存在しなかった。

（Ｂ）不一致フレームは存在したが、不一致フレームについて、第２データが全て正常であると判定した。

一方、上記（Ａ）または（Ｂ）以外の場合、すなわち、不一致フレームのいずれかにおいて、第２データが異常であると判定した場合、探索部３３４は第３表示制御部３３５に、第２データが異常である旨を通知してもよい。

なお、探索部３３４は各フレームについての試験結果、および第２データ全体についての試験結果の少なくとも一方を、試験結果データ４２として、記憶装置４に記憶させてもよい。

第３表示制御部３３５は、探索部３３４から通知された試験結果に応じて、試験結果を示す画像を作成して第３表示部３５１に表示させる。第３表示制御部３３５が作成する画像の具体例については、後で詳述する。

（要部構成の変形例１）
なお、試験システム６００において、記憶装置４は第３記憶部３２と一体に構成されていてもよい。例えば、試験装置３の内部記憶装置である第３記憶部３２が、第１データ３２１と、第２データ３２２と、操作データ４１と、試験結果データ４２とを記憶していてもよい。この場合、試験システム６００において記憶装置４は必須ではない。また例えば、試験装置３の外部記憶装置である記憶装置４が、第１データ３２１と、第２データ３２２と、操作データ４１と、試験結果データ４２とを記憶していてもよい。

いずれの場合も、第３制御部３３および第１データ取得部３３１、および第２データ取得部３３２、各部の動作に必要なデータを第３記憶部３２または記憶装置４から読み出せばよい。また、探索部３３４は、第３記憶部３２または記憶装置４のいずれかに試験結果データ４２を記憶させてよい。

（要部構成の変形例２）
本実施形態に係る試験システム６００は、第１カメラ５と第２カメラ６を含んでいてもよい。以下、第１カメラ５と第２カメラ６を含む試験システム１１００について、図１６を用いて説明する。

図１６は、試験システム６００の要部構成の変形例２および変形例３である、試験システム１１００に含まれる装置の要部構成を示すブロック図である。試験システム１１００は、第１カメラ５と第２カメラ６を含む点において、試験システム６００と異なる。なお、試験システム１１００では、第１キャプチャ部１３２および第２キャプチャ部２３２は必須構成ではない。

第１カメラ５は、第１表示部１４の表示画面を動画で撮影することで、第１表示部１４が表示する画像を順次映した動画、すなわち、第１データを取得する。第２カメラ６は、第２表示部２４の表示画面を撮影することで、第２表示部２４が表示する画像を順次映した動画、すなわち、第２データを取得する。試験システム１１００のデータ収集部３１は、第１カメラ５および第２カメラ６から、それぞれ第１データおよび第２データを取得する。この場合、第１データ取得部３３１と第２データ取得部３３２は、比較する画面部分の大きさの統一や、画像の色調や彩度等が近似するように第１データまたは第２データに調整を加えてもよい。これにより、比較部３３３による比較を精度よく行うことができる。

（要部構成の変形例３）
本実施形態に係る試験システム１１００は、図１６に示す通り、参照機器１および対象機器２へ操作データの送信を行う第１試験装置７を含んでいてもよい。また、試験システム１１００は、参照機器１の第１キャプチャ部１３２および対象機器２の第２キャプチャ部２３２はとから、もしくは、第１カメラ５および第２カメラ６から、各々がキャプチャする動画データを取得して比較する、第２試験装置８を備える構成にしてもよい。

第１試験装置７は、操作データ出力部３６と同様の機能を有する操作データ出力部５１と、第１試験装置７を統括的に制御する第４制御部５２と、第３表示制御部と同様の機能を有する第４表示制御部５２１と、入力部３４と同様の機能を有する第２入力部５３と、第３表示部３５１と同様の機能を有する第４表示部５４と、第２通信制御部５５と、を備えていてもよい。

第２試験装置８は、入力部３４と同様の機能を有する第１入力部３９を備えていてもよい。第２試験装置８は、参照機器１から取得する第１データと対象機器２から取得する第２データとの少なくとも一部が不一致である場合、不具合が発生したタイミングで、第１試験装置７に操作データ４１を取得する要求の送信を行い、第１試験装置７から送信された操作データ４１を取得する要求に応じた操作データ４１の受信を行う第１通信制御部３８を備える。第１試験装置７は、第２試験装置８から操作データ４１を取得する要求の受信を行い、第１試験装置７に受信した操作データ４１を取得する要求に応じた操作データ４１の送信を行う第２通信制御部５５を備えてもよい。

（要部構成の変形例４）
本実施形態に係る試験システム６００は、複数の参照機器１と、複数の対象機器２とに操作データ４１を送信してもよい。以下、以下、複数の参照機器１と、複数の対象機器２を含む試験システム１２００について、図１７を用いて説明する。

図１７は、試験システム６００の要部構成の変形例４である試験システム１２００に含まれる装置の、要部構成を示すブロック図である。参照機器１−１および参照機器１−２はそれぞれ、参照機器１と同様の構成を有する。対象機器２−１と、対象機器２−２とはそれぞれ、対象機器２と同様の構成を有する。操作データ出力部３６は、参照機器１−１、参照機器１−２、対象機器２−１、および対象機器２−２の少なくとも１つに操作データ４１を送信する。また、試験システム１２００において、データ収集部３１は、第１データ−１を参照機器１−１から収集し、第１データ−２を参照機器１−２から収集し、第２データ−１を対象機器２−１から収集し、第２データ−２を対象機器２−２から収集する。第１データ−１および第１データ−２はそれぞれ、参照機器１−１および参照機器１−２における第１データである。第２データ−１および第２データ−２はそれぞれ、対象機器２−１および対象機器２−２における第２データである。試験システム１２００は、データ収集部３１が収集した第１データ−１と、第２データ−１と、を比較する第１比較部３３３−１と、データ収集部３１が収集した第１データ−２と、第２データ−２と、を比較する第２比較部３３３−２を有する。そして、試験システム１２００は、第１比較部３３３−１および第２比較部３３３−２から、それぞれが行った比較の結果を取得し、該結果を用いて不具合箇所を探索する探索部３３４を含んでいる。なお、図１７の例では２つの参照機器および２つの対象機器が連携して動作するシステムの画面表示試験を行う構成を記載したが、画面表示試験を行う対象のシステムに含まれる参照機器および対象機器の数は２に限定されるものではなく、２を超える参照機器または対象機器が連携するシステムの画面表示試験も実施可能である。

≪処理の流れ≫
図２は、試験装置３の第３制御部３３における処理の流れの一例を示す図である。試験装置３の第３制御部３３は、所定のタイミングで、記憶装置４から操作データ４１を取得する（Ｓ１００）。第３制御部３３は例えば、入力部３４において受け付けた入力操作が、操作データ４１の送信を指示する入力操作であると特定した場合に、記憶装置４から操作データ４１を取得する。第３制御部３３は取得した操作データ４１を操作データ出力部３６に送る。

操作データ出力部３６は、参照機器１に操作データ４１を送信する（Ｓ１０２）。参照機器１の第１操作データ取得部１１は操作データ４１を受信すると、第１記憶部１２に操作データ４１を記憶させる。第１記憶部１２に既に操作データ４１が記憶されていた場合、第１操作データ取得部１１は第１記憶部１２の操作データ４１を更新してもよい。第１記憶部１２に操作データ４１が記憶される、または第１記憶部１２の操作データ４１が更新されると、第１制御部１３の第１表示制御部１３１は、操作データ４１および表示プログラムに基づいて、第１表示部１４に画像を表示させる。そして、第１制御部１３の第１キャプチャ部１３２は、画像を順次キャプチャすることにより、第１データを作成する。第１制御部１３は、第１キャプチャ部１３２が作成した第１データを試験装置３のデータ収集部３１に送信する。

データ収集部３１は、参照機器１から第１データを受信する（Ｓ１０４）。データ収集部３１は受信した第１データを第３記憶部３２に、第１データ３２１として記憶させる。

また、操作データ出力部３６は、対象機器２に操作データ４１を送信する（Ｓ１０６）。対象機器２の第２操作データ取得部２１は操作データ４１を受信すると、第２記憶部２２に操作データ４１を記憶させる。第２記憶部２２に既に操作データ４１が記憶されていた場合、第２操作データ取得部２１は第２記憶部２２の操作データ４１を更新してもよい。第２記憶部２２に操作データ４１が記憶される、または第２記憶部２２の操作データ４１が更新されると、第２制御部２３の第２表示制御部２３１は、操作データ４１および表示プログラムに基づいて、第２表示部２４に画像を表示させる。そして、第２制御部２３の第２キャプチャ部２３２は、画像を順次キャプチャすることにより、第２データを作成する。第２制御部２３は、第２キャプチャ部２３２が作成した第２データを試験装置３のデータ収集部３１に送信する。

データ収集部３１は、対象機器２から第２データを受信する（Ｓ１０８）。データ収集部３１は受信した第２データを第３記憶部３２に、第２データ３２２として記憶させる。

第３記憶部３２に第１データ３２１および第２データ３２２が記憶された後の所定のタイミングで、第３制御部３３は試験処理を実行する（Ｓ１１０）。試験処理とは、画面表示試験に係る処理であって、比較部３３３によるフレーム画像の比較から、探索部３３４における試験結果の判定までの一連の処理である。試験処理の詳細については後述する。第３制御部３３は例えば、入力部３４において受け付けた入力操作が、試験開始を指示する入力操作であると特定した場合に、試験処理を実行する。

試験処理が終了すると、探索部３３４は、第３表示制御部３３５に試験結果を通知する。第３表示制御部３３５は、試験結果を第３表示部３５１に表示させる（Ｓ１１２）。

図２で示した処理によれば、第１データ３２１と第２データ３２２との比較の結果、同一フレームの画像では画像が一致しない場合、前後の所定数のフレームに一致する画像が無いか探索する。そして、前後の所定数のフレームにも一致する画像が無い場合、第２データ３２２が異常である、すなわち、対象機器２における画面表示に不具合が生じているとユーザに通知する。これにより、ある程度のフレーム数のずれを許容しつつ、対象機器２における画面表示に不具合が無いかを自動的にチェックすることができる。したがって、画面表示試験における不具合の誤検出を低減することができる。

（処理の流れの変形例１）
なお、Ｓ１０２〜Ｓ１０４の処理と、Ｓ１０６〜Ｓ１０８の処理とは並行して実行されてもよいし、逆の順序で実行されてもよい。すなわち、操作データ出力部３６は、参照機器１および対象機器２の両方に操作データ４１を送信できれば、どちらにどのようなタイミングで操作データ４１を送信してもよい。また、データ収集部３１は、参照機器１の第１データと、対象機器２の第２データの両方を受信できれば、どちらを先に受信してもよい。

（処理の流れの変形例２）
なお、第１データ取得部３３１と第２データ取得部３３２とのデータの取得タイミングは異なっていてもよい。例えば、第１データ取得部３３１は予め第１データ３２１を取得して比較部３３３に送信しておいてもよい。そして、データ収集部３１は対象機器２から第２データをリアルタイムで受信してもよい。

この場合、第２データ取得部３３２は、第３記憶部３２に一旦格納された第２データ３２２を取得してもよいし、データ収集部３１から直接第２データを取得してもよい。いずれの場合も、第２データ取得部３３２は、対象機器２で生成される第２データを順次リアルタイムで取得して、比較部３３３に送信する。そして、比較部３３３は、第１データ３２１と、リアルタイムに受信する第２データとを順次比較する。

これにより、対象機器２を稼働させながら、その不具合の有無をリアルタイムに確認することができる。そのため、画面表示試験をより迅速に実行することができる。

≪試験処理の詳細≫
図３は、試験処理の流れの一例を示す図である。なお、図３の例は、探索処理において、第１データのフレーム画像を基準画像にした場合の処理の流れを示している。また、図３の例は、不一致フレームの後のフレームについて、基準画像と一致するフレーム画像を探索する場合の処理の流れを示している。

始めに、第１データ取得部３３１は、第３記憶部３２から第１データ３２１を取得する（Ｓ５００）。第１データ取得部３３１は第１データ３２１を比較部３３３に送る。第２データ取得部３３２は、第３記憶部３２から第２データ３２２を取得する（Ｓ５０２）。第２データ取得部３３２は第２データ３２２を比較部３３３に送る。なお、Ｓ５００とＳ５０２とは順不同で行われてよい。

比較部３３３は受信した第１データ３２１のフレーム画像と、第２データ３２２のフレーム画像と、を比較することで（Ｓ５０４）、これら２枚のフレーム画像が一致するか否かを判定する（Ｓ５０６）。比較部３３３は、第１データ３２１および第２データ３２２の１フレーム目から順次、同じフレーム数のフレーム画像を比較および判定する。例えば、比較部３３３は、第１データ３２１の１フレーム目の画像と、第２データ３２２の１フレーム目の画像とを比較して、両者が一致するか否かを判定し、判定結果を探索部３３４に通知する。

図４は、比較部３３３による比較処理を模式的に示した図である。図４の例では、画像ＰＡ１、ＰＡ２、およびＰＡ３は第１データ３２１のフレーム画像を示し、画像ＰＢ１、ＰＢ２、およびＰＢ３は、第２データ３２２のフレーム画像を示している。比較部３３３は例えば、図示のフレームｔ−１、フレームｔ、およびフレームｔ＋１をこの順序で比較していく。フレームｔ−１において、画像ＰＡ１およびＰＢ１は一致している。この場合、比較部３３３はフレームｔ−１について、第１データ３２１と第２データ３２２が一致している旨を探索部３３４に通知する。一方、フレームｔにおいては、画像ＰＡ２と画像ＰＢ２とは相違している。この場合、比較部３３３はフレームｔについて第１データ３２１と第２データ３２２とが不一致であると探索部３３４に通知する。フレームｔ＋１については、画像ＰＡ３と画像ＰＢ３とが一致している。したがって、比較部３３３はフレームｔ＋１について、第１データ３２１と第２データ３２２が一致している旨を探索部３３４に通知する。

Ｓ５０４における比較の結果、前述の２枚のフレーム画像が一致する場合（Ｓ５０６でＹＥＳ）、探索部３３４は、Ｓ５０４において比較したフレームの第２データのフレーム画像は正常であると判定する（Ｓ５０８）。

一方、Ｓ５０４における比較の結果、前述の２枚のフレーム画像が一致しない場合（Ｓ５０６でＮＯ）、探索部３３４は前述の（１）および（２）の処理を実行する。具体的には、探索部３３４はまず、自身が保持しているフレームカウントを初期化する（Ｓ５１０）。フレームカウントの初期値は特に限定されないが、ここでは０と仮定する。

フレームカウントを初期化した後、探索部３３４は基準画像を決定する。例えば、探索部３３４は、第１データのフレーム画像を基準画像に決定する（Ｓ５１２）。以降、基準画像のフレームのことを、基準フレームとも称する。

探索部３３４は次に、第２データについて、基準フレームの１フレーム後のフレーム画像を、基準画像と比較するための比較画像として抽出する（Ｓ５１４）。比較画像を抽出すると、探索部３３４は、フレームカウントを１増加させる（Ｓ５１６）。探索部３３４は基準画像と比較画像とを比較することで（Ｓ５１８）、基準画像と比較画像とが一致するか否かを判定する（Ｓ５２０）。なお、Ｓ５１８〜Ｓ５２０における比較および判定は、比較部３３３における比較判定と同様であってよい。また、探索部３３４は、比較判定を、比較部３３３に代わりに実行させ、比較部３３３から比較判定の結果を受信することとしてもよい。

基準画像と比較画像とが一致する場合（Ｓ５２０でＹＥＳ）、探索部３３４は基準フレームにおける第２データは、正常であると判定する（Ｓ５０８）。すなわち、探索部３３４は、対象機器２から受信した第２データについて、第１データとの画像のずれが、規定値（後述）以下の範囲内であれば、ずれを不具合と判定しないこととする。一方、基準画像と比較画像とが一致しない場合（Ｓ５２０でＮＯ）、探索部３３４は、フレームカウントが規定値と同じか、または規定値より大きいか否かを判定する（Ｓ５２２）。

フレームカウントが規定値未満の場合（Ｓ５２２でＮＯ）、探索部３３４は、Ｓ５１４以降の処理を繰り返す。すなわち、探索部３３４は、第２データ３２２のフレーム画像のうち、Ｓ５１８における比較画像よりも、さらに１フレーム後のフレーム画像を、次の比較画像として抽出し（Ｓ５１４）、フレームカウントの増加（Ｓ５１６）、および基準画像と比較画像との比較判定（Ｓ５１８〜Ｓ５２０）を実行する。

一方、フレームカウントがと同じか、または規定値より大きい場合（Ｓ５２２でＹＥＳ）、探索部３３４は、基準フレームにおける第２データのフレーム画像は異常であると判定する（Ｓ５２４）。なお、Ｓ５２２における規定値は、前述の（２）における猶予フレーム数に相当する。猶予フレーム数は、第１データ３２１および第２データ３２２のフレームレートに換算した場合に０．３秒よりも短い時間に相当することが望ましい。

図３に示した処理は、第１データ３２１および第２データ３２２の全フレームについて繰り返される。すなわち、Ｓ５０８またはＳ５２４の処理の後、探索部３３４は、全フレームについて探索処理が終了したか否かを判定する（Ｓ５２６）。

全フレームについて探索処理が終了していない場合（Ｓ５２６でＮＯ）、第３制御部３３はＳ５０４から処理を繰り返す。すなわち、比較部３３３は、第１データ３２１および第２データ３２２の次のフレーム番号のフレーム画像を比較し（Ｓ５０４）、２枚のフレーム画像が一致するか否かを判定し（Ｓ５０６）、判定結果を探索部３３４に通知する。以降の処理は前述の通りである。

一方、全フレームについて探索処理が終了した場合（Ｓ５２６でＹＥＳ）、第３制御部３３は試験処理を終了する。なお、探索部３３４は試験結果を試験結果データ４２として記憶装置４に記憶させてもよい。

（試験処理の変形例１）
なお、探索処理において、不一致フレームの前のフレームについて、基準画像と一致するフレーム画像を探索してもよい。この場合、探索部３３４はＳ５１４において、第２データについて基準フレームの１フレーム前のフレーム画像を、比較画像として抽出する。以降の処理は前述の通りである。

望ましくは、探索部３３４は、不一致フレームの前のフレームと、および後のフレームとの両方について探索処理を実行することが望ましい。これにより、試験結果の精度を向上させることができる。

（試験処理の変形例２）
また、探索処理において、第２データのフレーム画像を基準画像と決定してもよい。この場合、探索部３３４はＳ５１４において、第１データの１フレーム後の画像を比較画像として読み出し、以降の処理を実行する。

（試験処理の変形例３）
また、試験装置３はＳ５０４以降の処理を自動で行わなくてもよい。この場合、第１データ取得部３３１および第２データ取得部３３２は、それぞれ取得した第１データ３２１および第２データ３２２を、第３表示制御部３３５に送る。そして、第３表示制御部３３５は、第１データ３２１と第２データ３２２とをユーザが比較可能な表示態様で同時再生させる。これにより、ユーザは第１データ３２１と、第２データ３２２とを、それぞれ再生しながら目視で比較することができる。なお、この場合、試験装置３は比較部３３３および探索部３３４を備えていなくてもよい。また、同時再生のスピードは特に限定されないが、ユーザが容易に目視可能なスピードであることが望ましい。

図５は、第１データ３２１と第２データ３２２とを同時再生させる場合の、第３表示部３５１の表示画面の一例を示している。図示の通り、第３表示部３５１には、第１データ３２１の動画ＰＡ４と、第２データ３２２の動画ＰＢ４とが表示される。

また、第３表示部３５１には、表示中の第１データ３２１の取得先である参照機器１を特定するための情報を表示する欄Ｔ１が表示されてもよい。また、第３表示部３５１には、表示中の第２データ３２２の取得先である対象機器２を特定するための情報を表示する欄Ｔ２が表示されてもよい。図示の例では、欄Ｔ１および欄Ｔ２にはそれぞれ、参照機器１および対象機器２の名称が表示されている。

また、試験装置３が複数の参照機器１と接続可能な構成である場合、第３表示部３５１には、表示する第１データ３２１を変更するためのボタンＢ１が表示されていてもよい。ボタンＢ１を選択する入力操作がなされた場合、試験装置３の第３制御部３３は、表示する第１データ３２１を選択するための画面等を第３表示部３５１に表示させ、該画面において、ユーザに表示する第１データ３２１を選択させてよい。そして、第３表示制御部３３５は、選択された第１データ３２１の表示を開始してもよい。

同様に、試験装置３が複数の対象機器２と接続可能な構成である場合、第３表示部３５１には、表示する第２データ３２２を変更するためのボタンＢ２が表示されていてもよい。ボタンＢ２を選択する入力操作がなされた場合、試験装置３の第３制御部３３は、表示する第２データ３２２を選択するための画面等を第３表示部３５１に表示させ、該画面において、ユーザに表示する第２データ３２２を選択させてよい。そして、第３表示制御部３３５は、選択された第２データ３２２の表示を開始してもよい。また、第３表示部３５１には、第１データ３２１および第２データ３２２の再生の開始を指示するためのボタンＢ３、再生中の動画の一時停止を指示するためのボタンＢ４、および再生を停止するためのボタンＢ５が表示されていてもよい。

なお、図５における画像、ならびにアイコン、入力欄、およびボタン等のＵＩのレイアウトはあくまで一例であり、第３表示部３５１における各画像およびＵＩのレイアウトはこれに限定されない。

図５に示すように、第１データ３２１と第２データ３２２とを同時再生して表示することによって、ユーザは、第１データ３２１と第２データ３２２とを目視で確認することができる。これにり、ユーザに、参照機器１と対象機器２とで表示画面のずれが起こった場合のうち、人間が認識する程度の大きさの表示のずれのみを、不具合として特定させることができる。また、第１データと第２データとを同時再生するため、ユーザの両データの目視確認を容易にすることができる。

（試験処理の変形例４）
上述の通り、同一の操作データに基づいて生成される第１データ３２１と第２データ３２２とは、本来は同じフレーム数を有する動画である。しかしながら、実際には、同一の操作データに基づいて生成された動画であっても、数フレームのずれが生じることがある。

例えば、参照機器１および対象機器２を稼働させる際、それぞれの機器では、複数のプログラムを並行して動作させることになる。このとき、プログラム間のタスク処理の競合等によって、表示プログラムのタスクの処理が僅かに遅れてしてしまう事がある。このような遅れが原因で、同じ操作データに基づく第１データと第２データとの間でも、数フレームの長さの差が生じることがある。

また、例えば第１キャプチャ部１３２が、第１表示制御部１３１から第１表示部１４への表示制御指示を検知してキャプチャを開始する構成の場合、操作データに含まれる操作内容の始めまたは終わりの一部分に係る画像をキャプチャ出来ない虞がある。第２キャプチャ部２３２についても同様に、例えば第２表示制御部２３１から第２表示部２４への表示制御指示を検知してキャプチャを開始する構成の場合、操作データに含まれる操作内容の始めまたは終わりの一部分に係る画像をキャプチャ出来ない虞がある。

これは、第１キャプチャ部１３２が第１表示制御部１３１から第１表示部１４への画面表示の開始指示を検知してから、実際にキャプチャを開始するまでにタイムラグが生じ得るためである。第２キャプチャ部２３２についても同様に、第２表示制御部２３１から第２表示部２４への画面表示の開始指示を検知してから、実際にキャプチャを開始するまでにタイムラグが生じ得るため、同様の虞がある。

また、第１表示制御部１３１から第１表示部１４へ画面表示の終了指示を送信したとしても、第１表示部１４において操作データに基づく画面表示が直ちに終了するとは限らない。例えば、操作データに含まれる操作内容のうち最後のものが、特定のボタンを押下する操作である場合、該ボタンの押下に伴うアニメーションの画面処理が発生することがある。

このような場合、第１キャプチャ部１３２が、第１表示制御部１３１から第１表示部１４への画面表示の終了指示を検知して直ちにキャプチャを終了すると、キャプチャした動画において、前述のアニメーションの一部等、操作データに基づく画面表示の、最後の一部分が欠けてしまう虞がある。第２表示制御部２３１、第２表示部２４、および第２キャプチャ部２３２についても同様に、キャプチャした動画において、前述のアニメーションの一部等、操作データに基づく画面表示の、最後の一部分が欠けてしまう虞がある。

本実施形態に係る試験システム６００は、このようなフレームのずれが生じないように、以下の処理を実行してもよい。以降の実施形態に係る試験システムについても同様である。

例えば、第１表示制御部１３１は、第１表示部１４に、操作データに係る画面表示の開始前に、数フレーム分だけ余剰の画像を表示させてよい。該画像のことを便宜上「開始余フレーム画像」と称する。この場合、第１キャプチャ部１３２は、該開始余フレーム画像の表示の開始指示を検知して画面キャプチャを開始する。第２表示制御部２３１も第１表示制御部１３１と同様に、第２表示部２４に、操作データに係る画面表示の開始前に開始余フレーム画像を表示させてもよい。この場合、第２キャプチャ部２３２は、開始余フレーム画像の表示の開始指示を検知して画面キャプチャを開始する。これにより、第１キャプチャ部１３２および第２キャプチャ部２３２は、操作データに基づく画像を、始めから確実にキャプチャすることができる。

また、例えば、第１表示制御部１３１は、第１表示部１４に、操作データに係る画面表示の終了後に、数フレーム分だけ余剰の画像を表示させてよい。該画像のことを便宜上「終了余フレーム画像」と称する。この場合、第１キャプチャ部１３２は、終了余フレーム画像の表示の終了指示を検知して画面キャプチャを終了する。第２表示制御部２３１も第１表示制御部１３１と同様に、第２表示部２４に、操作データに係る画面表示の終了後に終了余フレーム画像を表示させてもよい。この場合、第２キャプチャ部２３２は、終了余フレーム画像の表示の終了指示を検知して画面キャプチャを終了する。これにより、第１キャプチャ部１３２および第２キャプチャ部２３２は、操作データに基づく画像を、終わりまで確実にキャプチャすることができる。

開始余フレーム画像および終了余フレーム画像は、第１キャプチャ部１３２および第２キャプチャ部２３２において、操作データに基づく画像と容易に区別可能な画像であることが望ましい。例えば、開始余フレーム画像および終了余フレーム画像は、黒一色または白一色等のブランク画像であることが望ましい。

また、開始余フレーム画像および終了余フレーム画像の表示フレーム数は特に限定されない。例えば、開始余フレーム画像は、第１キャプチャ部が画面キャプチャを開始するためにかかる時間以上の時間に相当するフレーム数だけ表示されることが望ましい。また例えば、終了余フレーム画像は、操作データの最後の操作内容に係る画像の出力指示後に、数秒間に相当するフレーム数だけ表示されることが望ましい。

また、開始余フレーム画像を含む動画をキャプチャした場合、第１キャプチャ部１３２および第２キャプチャ部２３２はそれぞれ、第１データおよび第２データの生成時に、キャプチャした動画から、開始余フレーム画像に相当する部分を削除することが望ましい。これにより、比較部３３３における比較処理を通常通り実行することができる。なお、第１キャプチャ部１３２および第２キャプチャ部２３２は、終了余フレーム画像については削除してもよいし、削除しないままでもよい。

このように、キャプチャ画像、すなわち、第１データおよび第２データに開始余フレーム画像が含まれている場合、比較部３３３は、第１データ３２１および第２データ３２２における開始位置、すなわち操作データに係る本来の１フレーム目の画像を検出し、該開始位置を合わせてから、フレーム毎の比較を開始してよい。

これにより、第１データ３２１および第２データ３２２に開始余フレーム画像が含まれる場合、比較部３３３は、参照機器１における操作データに係る画面表示と、対象機器２における操作データに係る画面表示とを確実に最初から比較することができる。

また、第１データ３２１および第２データ３２２に終了余フレーム画像が含まれる場合、比較部３３３は、参照機器１における操作データに係る画面表示と、対象機器２における操作データに係る画面表示とを最後まで確実に比較することができる。したがって、画面表示試験の精度を向上させることができる。

≪画面表示試験の適用例≫
本発明に係る試験システムが実行する画面表示試験は、カーナビゲーションシステムにおいて地図および車の走行ルート等を表示する、表示端末装置に適用することができる。以降、カーナビゲーションシステムにおける表示端末装置を、カーナビ端末とも称する。例えば、本実施形態に係る試験システム６００が実行する画面表示試験では、以下で説明する処理を実行することにより、カーナビ端末である対象機器２の試験を実行することができる。

カーナビ端末は、位置情報を定期的に取得して自身の現在位置を更新しつつ、該現在位置の周辺の地図を表示する。そのため、参照機器１および対象機器２がカーナビ端末である場合、記憶装置４の操作データ４１には、定期的に更新される位置情報と、位置情報の取得タイミングを示す情報が含まれる。これにより、参照機器１および対象機器２において、同じタイミングで同じ位置情報を取得し、かつ同じ入力操作を行った場合の画像をキャプチャすることができる。試験装置３の操作データ出力部３６は、操作データ４１を参照機器１および対象機器２に送信する。

第１制御部１３の第１表示制御部１３１、および第２制御部２３の第２表示制御部２３１はそれぞれ、操作データ４１を受信すると、操作データ４１に含まれる位置情報と、操作データ４１と、表示プログラムとに応じた画像を作成して第１表示部１４または第２表示部２４に表示させる。

例えば、第１表示制御部１３１および第２表示制御部２３１は、位置情報が示す現在位置周辺の所定領域の地図データを取得し、地図データに基づく地図を第１表示部１４および第２表示部２４に表示させる。そして、第１キャプチャ部１３２および第２キャプチャ部２３２はそれぞれ、位置情報に応じて生成される、所定領域の地図画像を含んだ画像を、第１データおよび第２データとして試験装置３に送信する。

なお、この場合、第１記憶部１２および第２記憶部２２は地図データを記憶していてもよい。もしくは、第１制御部１３および第２制御部２３は、図示しないサーバ等と通信することにより、地図データを取得して、第１表示部１４または第２表示部２４に表示してもよい。以降の処理は、前述の通りである。

以上の構成によれば、対象機器２において表示している地図画像に対する位置情報の反映遅延等、位置情報の変化に応じた画面表示の変化についての不具合も特定することができる。

≪試験結果の表示≫
図６は、試験結果画面の一例を示す図である。試験結果画面とは、試験装置３の第３表示部３５１に表示される、画面表示試験の結果を示す画面である。なお、図示の例では、参照機器１および対象機器２が前述のようなカーナビ端末である場合の、試験結果画面を示している。

試験結果画面は、少なくとも、第２データ３２２のいずれかのフレームにおいて異常が検出された場合に、第３表示制御部３３５によって表示される。換言すると、試験結果画面は、探索対象画像について、基準フレームから前または後の、猶予フレーム数の範囲内で、基準画像と一致するフレーム画像が存在しない場合に表示される。試験結果画面は、少なくとも、第２データに不具合が生じていることをユーザに示すことができれば、その画面レイアウトは特に限定されない。

図６の例の場合、試験結果画面には、第２データ３２２において異常と判定されたフレームのフレーム番号が、欄Ｔ３に示されている。換言すると、欄Ｔ３には、探索対象画像について、基準画像と一致するフレーム画像が猶予フレーム数の範囲で存在しなかった場合の、基準画像のフレーム数を表示しているといえる。このように、異常と判定されたフレームのフレーム番号を表示することで、ユーザは、不具合が起こった箇所を容易に特定することができる。

また、試験結果画面には、第１データ３２１のフレーム画像ＰＡ５と、第２データ３２２のフレーム画像ＰＢ５と、が表示されている。欄Ｔ４および欄Ｔ５には、現在第１データ３２１および第２データ３２２のうち、現在表示中のフレームのフレーム番号が表示される。欄Ｔ４および欄Ｔ５の数字は入力操作により変更可能であり、数字に応じたフレーム番号の画像ＰＡ５およびＰＢ５が試験結果画面に表示される。なお、図示の通り、欄Ｔ４および欄Ｔ５に入力可能な数字、すなわち、第１データ３２１および第２データ３２２の全フレーム数を示す情報が、併せて表示されていてもよい。

第１データ３２１と第２データ３２２とは、試験結果画面上でフレーム番号を合わせて１フレームずつ再生されてもよい。この場合、試験結果画面には、これらの動画の再生を指示するためのボタンＢ７が配置される。ボタンＢ７を押下する入力操作が実行された場合、第３表示制御部３３５は、第１データ３２１と第２データ３２２を同時再生して第３表示部３５１に表示させる。再生スピードは特に限定されないが、ユーザが容易に目視可能なスピードであることが望ましい。

また、試験結果画面には、第１データ３２１および第２データ３２２を１フレームずつコマ送りで再生するためのボタンＢ６およびＢ８が配置されていてもよい。ボタンＢ６は、現在再生中のフレームの１つ前のフレームを再生することを指示するためのボタンである。ボタンＢ８は、現在再生中のフレームの１つ後のフレームを再生することを指示するためのボタンである。

なお、第１データ３２１および第２データ３２２の再生箇所は、時間で指定可能であってもよい。例えば、図６の欄Ｔ７のように、秒数を入力することにより、表示中のフレームから、秒数に相当する分だけフレームを遡って、または先に進めて再生を再開することが可能であってもよい。

また、試験結果画面には、再生中の第１データ３２１および第２データ３２２に応じた操作データ４１が表示されていてもよい。例えば、図６の欄Ｔ６のように、第１データ３２１および第２データ３２２の再生に合わせて、各フレームのタイミングでの操作内容をリスト形式で表示してもよい。

なお、第３表示制御部３３５は、第２データ３２２の全フレームに異常がない場合、すなわち、第２データ３２２に不具合が無い場合も、不具合が無い旨を示す試験結果画面を第３表示部３５１に表示させてもよい。この場合、欄Ｔ３は空欄であってもよい。

〔実施形態２〕
本発明に係る試験システムは、参照機器１から第１データと操作データとを同じタイミングで受信してもよい。以下、本発明の実施形態２について説明する。なお、説明の便宜上、前述の実施形態で説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。これは、以降の実施形態についても同様である。

図７は、本実施形態に係る試験システム７００に含まれる装置の要部構成を示すブロック図である。試験システム７００は、参照機器１が第１操作データ取得部１１および第１記憶部１２を含んでおらず、参照機器入力部１５および参照機器データ作成部１３３を含んでいる点で、実施形態１に係る試験システム６００と異なる。

参照機器入力部１５は、参照機器１に対するユーザの入力操作を受け付ける。参照機器入力部１５は入力操作の内容を第１制御部１３に送信する。なお、参照機器入力部１５の具体的な構成は特に限定されない。例えば、参照機器入力部１５は第１表示部１４と一体に構成されたタッチパネルディスプレイであってもよい。

第１制御部１３は、参照機器入力部１５から伝えられた入力操作について、その指示内容を特定し、指示内容に応じて参照機器１の各部を制御する。例えば、第１表示制御部１３１は指示内容に応じた画像を第１表示部１４に表示させる。

第１制御部１３の参照機器データ作成部１３３は、参照機器入力部１５を介して受け付けたユーザの入力操作から、操作データを作成する。参照機器データ作成部１３３が操作データを作成するタイミングは特に限定されない。例えば、参照機器データ作成部１３３は、第１表示制御部１３１が第１表示部１４に画像を表示させるのと並行して、画像表示に係るユーザの指示内容、すなわち入力操作の内容と、操作のタイミングとを特定して、これらを含んだ操作データを作成してもよい。参照機器データ作成部１３３は、作成した操作データを試験装置３に送信する。なお、操作データは第１データとともに試験装置３に送信されてもよいし、別々に送信されてもよい。

≪処理の流れ≫
図８は、試験システム７００における処理の流れの一例を示す図である。図８は、Ｓ２００およびＳ２０２の処理を実行する点で、実施形態１および図２で示した処理の流れと異なる。なお、図８のＳ２０４〜Ｓ２１０の処理は、図２のＳ１０６〜Ｓ１１２の処理と同様であるので、ここでは説明を繰り返さない。

まず、参照機器１は、参照機器入力部１５を介してユーザの、画面表示に係る一連の入力操作を受け付ける。一連の入力操作に応じて参照機器１および対象機器２で表示される画像が、画面表示試験において試験対象となる画像である。

第１制御部１３は参照機器入力部１５の受け付けた入力操作の指示内容を特定する。第１表示制御部１３１は指示内容に応じた画像を第１表示部１４に表示させる。一方、参照機器データ作成部１３３は、ユーザの入力操作に基づいて操作データを作成する（Ｓ２００）。例えば、参照機器データ作成部１３３は、指示内容、すなわち操作の内容と、指示を受けたタイミング、すなわち操作タイミングと、を特定し、これらを含む操作データを作成する。

参照機器データ作成部１３３は作成した操作データを試験装置３へ送信する。また、実施形態１と同様、第１キャプチャ部１３２は、第１データを作成して試験装置３へ送信する。試験装置３のデータ収集部３１は、参照機器から第１データおよび操作データを取得する（Ｓ２０２）。データ収集部３１は取得した第１データおよび操作データを第３制御部３３に送る。

第３制御部３３は、第１データを第３記憶部３２に第１データ３２１として記憶させる。また、第３制御部３３は、操作データを記憶装置４に操作データ４１として記憶させる。以降の処理の流れは、実施形態１に係る試験システム６００と同様である。

図８に示した処理によれば、参照機器１から第１データと、操作データとの両方を取得することができる。このとき取得する操作データは、稼働中の参照機器１においてユーザが実際に行った入力操作を示すデータである。したがって、図８に示した処理によれば、参照機器１という実機での入力操作を示す操作データを用いて画面表示試験を実行することができる。したがって、適切な操作データで画面表示試験を実行することができるため、試験の精度が向上するという効果を奏する。

なお、参照機器１がカーナビ端末等、定期的に更新される位置情報に応じて生成される所定領域の地図画像を含む画像を表示する装置である場合は、以下の手順で操作データを得ることが好ましい。すなわち、参照機器１を搭載した車両に、画面表示テストに利用したい地図領域に相当する区間を実際に走行させて、走行途中に、ユーザに参照機器１に対する入力操作を実行させることが望ましい。これにより、走行中に図示しないＧＰＳ受信機、またはＧＰＳ受信機としての機能を有する第１制御部１３が定期的に取得する位置情報と、位置情報の取得タイミングと、入力操作の内容と、入力操作のタイミングと、を含む操作データを作成することができる。

≪画面表示試験の適用例≫
本実施形態に係る試験システム７００においても、カーナビ端末である対象機器２の試験を実行することができる。本実施形態で、カーナビ端末である対象機器２の試験を実行する場合、参照機器１はＧＰＳ受信機を備える。ＧＰＳ受信機は、ＧＰＳ衛星からの信号を受信することで、参照機器１の現在位置を示す情報を定期的に受信する。第１制御部１３はＧＰＳ受信機から、自機の現在位置を示す情報を定期的に取得する。これにより、参照機器１の現在位置の位置情報は、定期的に更新される。なお、第１制御部１３がＧＰＳ受信機の機能を兼ね備えていてもよい。

参照機器１の参照機器データ作成部１３３は、ユーザの入力操作に基づいて操作データを作成する。このとき、参照機器データ作成部１３３は、ＧＰＳ受信機から受信した位置情報と、該位置情報の取得タイミングを示す情報とを含んだ操作データを作成する。参照機器データ作成部１３３は、作成した操作データを試験装置３へ送信する。試験装置３は受信した操作データ４１を記憶装置４に記憶させる。これにより、記憶装置４には、定期的に更新される位置情報と、位置情報の取得タイミングを示す情報が含まれる操作データ４１が記憶される。後の処理は、実施形態１に係る試験システム６００において、カーナビ端末である対象機器２の試験を実行する場合と同様である。

〔実施形態３〕
本発明に係る試験システムでは、試験装置３において操作データを作成および編集することが可能であってもよい。以下、本発明の実施形態３について説明する。図９は、本実施形態に係る試験システム８００に含まれる装置の要部構成を示すブロック図である。試験システム８００は、試験装置データ作成部３３６を備える点で、試験システム６００および７００と異なる。

試験装置データ作成部３３６は、第２データ３２２および入力部３４に対するユーザの入力操作の少なくともいずれかに応じて、操作データを作成する。試験装置データ作成部３３６は作成した操作データを記憶装置４に操作データ４１として記憶させる。

≪処理の流れ≫
図１０は、試験装置３における処理の流れの一例を示す図である。図８は、Ｓ３１４およびＳ３１６の処理を実行する点で、実施形態１および図２で示した処理の流れと異なる。なお、図１０のＳ３００〜Ｓ３１２の処理は、図２のＳ１００〜Ｓ１１２の処理と同様であるので、ここでは説明を繰り返さない。

試験装置データ作成部３３６は、試験処理（Ｓ３１０）の終了後に、試験処理の対象となった第２データから操作データを作成する（Ｓ３１４）。なお、Ｓ３１４〜Ｓ３１６の処理とＳ３１２の処理とは順不同である。試験装置データ作成部３３６は作成した操作データを記憶装置４に操作データ４１として記憶させる。

そして、第３制御部３３は所定のタイミングで、操作データ４１を読み出し、操作データ出力部３６に送信する。操作データ出力部３６は操作データ４１を参照機器１に送信する（Ｓ３０２）。

図１０に示した処理によれば、画面表示試験の結果を踏まえて、第１データおよびユーザの入力操作の少なくとも一方に基づいて操作データを再作成し、再作成した操作データを用いて再度画面表示試験を実施することができる。したがって、より精密な試験を実施することができるため、試験結果の精度を向上させることができる。

なお、本実施形態に係る試験システム８００においても、カーナビ端末である対象機器２の試験を実行することができる。具体的な処理手順は、実施形態１および２で説明した方法のいずれかを採用すればよい。以降の実施形態に係る試験システムについても同様に、実施形態１および２で説明した方法のいずれかを採用することで、カーナビ端末である対象機器２の試験を実行することができる。

〔実施形態４〕
本発明に係る試験システムは、表示プログラムを更新する前の対象機器２においてキャプチャした動画データを第１データとし、表示プログラムを更新した後の対象機器２においてキャプチャした動画データを第２データとしてもよい。そして、試験装置３は、これらの第１データおよび第２データを取得して、比較および探索処理を実行してもよい。以下、本発明の実施形態４について説明する。

図１１は、本実施形態に係る試験システム９００に含まれる装置の要部構成を示すブロック図である。試験システム９００は、参照機器１を含まない点、対象機器２がプログラム受信部２５を含む点、試験装置３がプログラム送信部３７を含む点、および、記憶装置４が更新プログラムデータ４３を含む点で、試験システム６００、７００、および８００と異なる。

記憶装置４の更新プログラムデータ４３は、対象機器２の表示プログラムを更新するためのプログラムデータである。更新プログラムデータ４３は、対象機器２の表示プログラム全部を示すデータであってもよいし、対象機器２の表示プログラムの、更新差分のみを示すデータであってもよい。また、更新プログラムデータ４３は、試験システム９００以外の外部装置において作成されて記憶装置４に格納されてもよいし、試験装置３の第３制御部３３が作成して記憶装置４に格納されてもよい。

試験装置３の第３制御部３３は、所定のタイミングで更新プログラムデータ４３を読み出し、プログラム送信部３７に送信する。所定のタイミングは特に限定されないが、例えば、第３制御部３３は、入力部３４が、対象機器２の表示プログラムの更新を指示する入力操作を受け付けたと特定した場合に、更新プログラムデータ４３を読み出してプログラム送信部３７に送信する。

プログラム送信部３７は、第３制御部３３から受信した更新プログラムデータ４３を対象機器２に送信する。対象機器２のプログラム受信部２５は更新プログラムデータ４３を受信し、第２記憶部２２に記憶させる。これにより、第２記憶部２２において表示プログラムが更新される。

≪処理の流れ≫
図１２は、試験装置３の第３制御部３３における処理の流れの一例を示す図である。図８は、Ｓ４０２〜Ｓ４１０の処理を実行する点で、実施形態１および図２で示した処理の流れと異なる。なお、図１２のＳ４００およびＳ４０８〜Ｓ４１４の処理は、図２のＳ１００およびＳ１０６〜Ｓ１１２の処理と同様であるので、ここでは説明を繰り返さない。

第３制御部３３は所定のタイミングで記憶装置４から操作データ４１を読み出し、操作データ出力部３６に送信する。操作データ出力部３６は対象機器２に操作データ４１を送信する（Ｓ４０２）。

対象機器２の第２操作データ取得部２１は操作データ４１を受信すると、操作データ４１を第２記憶部２２に記憶させる。そして、第２制御部２３の第２表示制御部２３１は、第２記憶部２２に記憶された操作データ４１および表示プログラムに基づいて、第２表示部２４に画像を表示させる。第２キャプチャ部２３２は第２表示制御部２３１が第２表示部２４へ出力するデータをキャプチャし、これを第１データとして試験装置３に送信する。

データ収集部３１は参照機器１から第１データを受信する（Ｓ４０４）。その後、第３制御部３３は所定のタイミングで、対象機器２の表示プログラムの更新を行う。具体的には、第３制御部３３は記憶装置４から更新プログラムデータ４３を読み出し、プログラム送信部３７に送信する。プログラム送信部３７は対象機器２に更新プログラムデータ４３を送信する。対象機器２のプログラム受信部２５は更新プログラムデータ４３を受信し、第２記憶部２２に記憶させる。すなわち、対象機器２の表示プログラムを更新する（Ｓ４０６）。以降の処理は実施形態１のＳ１０６以降と同様である。

図１２に示した処理によれば、対象機器２の表示プログラムの更新によって、画面表示に不具合が発生したか否かを検査することができる。

〔実施形態５〕
本発明に係る試験システムの試験装置は、第１データ３２１と第２データ３２２とが一致しないフレームが存在する場合、そのフレームにおける第１データ３２１のフレーム画像と、第２データ３２２のフレーム画像との相違点を特定する相違箇所特定部３３７を備えていてもよい。そして、探索部３３４は、相違箇所特定部３３７が特定した相違点の、フレーム画像上での位置に応じて、ずれを許容するフレーム数、すなわち、実施形態１の図２における「規定値」を決定してもよい。以下、本発明の実施形態５について説明する。

図１３は、本実施形態に係る試験システム１０００に含まれる装置の要部構成を示すブロック図である。試験システム１０００は、試験装置３が相違箇所特定部３３７を含む点で試験システム６００、７００、８００、および９００と異なる。

相違箇所特定部３３７は、比較部３３３の比較結果により不一致フレームと判定されたフレームについて、そのフレームにおける第１データ３２１のフレーム画像と、第２データ３２２のフレーム画像との相違点を特定する。なお、ここで言う「相違点」とは、単に画像上の１点を示すだけではなく、特定のＵＩオブジェクトの表示領域、地図上の特定箇所の領域等、領域を示していてよい。

相違箇所特定部３３７は特定した相違点を探索部３３４に伝える。探索部３３４は、実施形態１において説明した探索処理の（２）における猶予フレーム数を、相違点に応じて変更する。例えば、相違点が特定のＵＩオブジェクトの表示領域の場合、それ以外の領域よりも猶予フレーム数を小さくしてもよい。例えば、特定のテキストを表示するＵＩオブジェクトの画像は、ユーザの入力操作や各種パラメータの変動に関わらず、常に一定の位置に配置される。このように、諸条件での表示のずれが起こりづらいと考えられる箇所については、猶予フレーム数を小さくし、その他の箇所については猶予フレーム数を大きくすることで、対象機器２の表示画像について、その画像の各部を表示するための負荷を考慮して試験処理を行うことができる。したがって、画面表示試験の精度を向上させることができる。

〔実施形態６〕
本発明に係る試験システムにおいて、試験結果データ４２は、試験結果に対応する第１データ３２１および第２データ３２２を含んでいてもよい。そして、試験装置３の第３表示制御部３３５は、第２データ３２２の不具合箇所を示す情報と、第１データ３２１および第２データ３２２の動画像とを含む画面を第３表示部３５１に表示させてもよい。以降、当画面のことを結果再生画面と称する。以下、本発明の実施形態６について説明する。

図１４は、結果再生画面の一例を示す図である。第３制御部３３は、例えば入力部３４に対して所定の入力操作が行われた場合に、第３表示部３５１に結果再生画面を表示させる。

結果再生画面には、少なくとも、試験結果データ４２に基づいた第２データ３２２の不具合箇所を示す情報と、試験結果データ４２に含まれる第１データ３２１の動画および第２データ３２２の動画と、が表示される。

図１４の例では、結果再生画面には、第１データ３２１のフレーム画像ＰＡ６と、第２データ３２２のフレーム画像ＰＢ６と、第２データ３２２の不具合箇所のリストＬ１と、が表示されている。第１データ３２１と第２データ３２２とは、結果再生画面上でフレーム番号を合わせて１フレームずつ再生される。再生スピードおよび自動再生するか否かは特に限定されないが、ユーザが容易に目視可能なスピードであることが望ましい。

リストＬ１は、例えば、「Ｎｏ．」列と、「不具合検出フレーム」列とから成る。「Ｎｏ．」列には、「不具合検出フレーム」列の情報で特定される不具合フレームが、動画の１フレーム目から数えて何番目の不具合箇所であるかを示す通し番号が表示される。「不具合検出フレーム」列には、不具合が検出された箇所のフレーム番号が表示される。また、リストＬ１は、第１データ３２１および第２データ３２２の動画の再生フレーム数に応じて、自動スクロールされてもよい。この場合、リストＬ１の右部分のボタンＬ１１〜Ｌ１３によって、リストＬ１の表示箇所をスクロールすることが可能であってもよい。具体的には、ユーザがボタンＬ１１を押下する入力操作を実行した場合、第３制御部３３の第３表示制御部３３５は、リストＬ１を所定行上にスクロールさせてもよい。また、ユーザがボタンＬ１２を押下する入力操作を実行した場合、第３表示制御部３３５は、リストＬ１のスクロールを停止させてもよい。また、ユーザがボタンＬ１３を押下する入力操作を実行した場合、第３表示制御部３３５は、リストＬ１を所定行下にスクロールさせてもよい。また、ユーザにより、リストＬ１における特定の行を選択する入力操作が実行された場合、第３表示制御部３３５は、第１データ３２１の動画ＰＡ６および第２データ３２２の動画ＰＢ６について、選択された行が示すフレーム番号から動画再生を再開してもよい。また、第２データ３２２に不具合が存在しない場合、リストＬ１は空欄であってもよい。

なお、結果再生画面には、試験結果データ４２を読み出すためのＵＩオブジェクトである、テスト結果読出しアイコンボタンＢ９が表示されていてもよい。ボタンＢ９が押下されると、第３表示制御部３３５は試験結果データ４２の選択および読み出しを実行するためのサブ画面を第３表示部３５１に表示させる。ユーザがサブ画面で試験結果データ４２を選択すると、第３制御部３３は選択された試験結果データ４２を記憶装置４から読み出し、第３表示制御部３３５は試験結果データ４２に含まれる第１データ３２１および第２データ３２２を同時再生する。また、第３表示制御部３３５は、試験結果データ４２に基づいた第２データ３２２の不具合箇所を示す情報を、リストＬ１に表示する。

また、結果再生画面には、第１データ３２１および第２データ３２２の再生方法を指定するためのＵＩオブジェクトが配置されていてもよい。例えば、図１４の例では、リストＬ２が配置されている。リストＬ２の「全フレーム」の欄が選択されると、第３表示制御部３３５は第１データ３２１および第２データ３２２を最初のフレームから最後のフレームまで通して同時再生させる。なお、第３表示制御部３３５は全フレーム数を併せて表示してもよい。図示の例では全フレーム数は１〜１００００である。リストＬ２の「指定フレーム」の欄が選択されると、第３表示制御部３３５は、第１データ３２１および第２データ３２２を、開始フレームとして指定されたフレーム番号から、終了フレームとして指定されたフレーム番号まで同時再生する。図示の例では、開始フレームとして指定されたフレーム番号は４００であり、終了フレームとして指定されたフレーム番号は６００である。リストＬ２の「表示中のフレーム」の欄を含む１列は、第１データ３２１および第２データ３２２のうち現在表示しているフレームのフレーム番号を示している。

また、結果再生画面には、第１データ３２１および第２データ３２２の再生、スキップ、一時停止、および停止を指示するためのＵＩオブジェクトが配置されていてもよい。図１４の例では、ボタン群Ｂ１０が配置されている。ボタン群Ｂ１０のボタンＢ１０１は、現在再生中のフレームを起点とした場合の、第２データ３２２の直前の不具合箇所のフレームにジャンプして再生することを指示するためのボタンである。ボタンＢ１０７は、現在再生中のフレームを起点とした場合の、第２データ３２２の直後の不具合箇所のフレームにジャンプして再生することを指示するためのボタンである。ボタンＢ１０２は、現在再生中のフレームの１つ前のフレームにジャンプして再生することを指示するためのボタンである。ボタンＢ１０６は、現在再生中のフレームの１つ先のフレームにジャンプして再生することを指示するためのボタンである。ボタンＢ１０３は、再生停止を指示するためのボタンである。ボタンＢ１０４は、再生の一時停止を指示するためのボタンである。ボタンＢ１０５は、再生を指示するためのボタンである。ボタンＢ１０５を押下する入力操作が実行された場合、それ以前に再生が一時停止されていた場合、第３表示制御部３３５は一時停止したフレームから、第１データ３２１および第２データ３２２の再生を再開する。一方、一時停止がなされていなかった場合、第３表示制御部３３５はリストＬ２で指定された、再生開始の最初のフレームから第１データ３２１および第２データ３２２の再生を開始する。

また、結果再生画面には、操作データの内容を確認するための画面である操作データ確認画面への画面遷移を指示するためのボタンＢ１１が配置されていてもよい。ボタンＢ１１を押下する入力操作が実行された場合、第３表示制御部３３５は、操作データ確認画面を第３表示部３５１に表示させる。

図１５は、操作データ確認画面の一例を示す図である。第３表示制御部３３５は、記憶装置４から操作データ４１を読み出すことで、操作データ確認画面の作成に必要な情報を得て画面を作成する。操作データ確認画面には、少なくとも、操作データが示す操作の内容と、操作のタイミングを示す情報とが含まれる。

図示の例では、操作データ確認画面には、リストＬ３が含まれている。リストＬ３の「フレームＮｏ」列には、入力操作が行われたフレーム番号が表示される。リストＬ３の「ステータス」列には、「フレームＮｏ」列が示すフレーム番号において、第２データ３２２が正常であったか、異常、すなわち第１データ３２１と不一致であったかが表示される。「コマンド種別」列には、後述する「操作コマンド」列に表示される操作コマンドの種別が表示される。「出力指定」列には、操作コマンドを出力するか否かの設定が表示される。

図示の例において、当列が「出力」に設定されている行の操作コマンドは、参照機器１および対象機器２において、ユーザの入力操作として出力される。例えば、ボタン等の特定のオブジェクトを選択する入力操作に対応する操作コマンド等は、当列が「出力」に設定される。一方、当列の情報が「非出力」である行の操作コマンドは、参照機器１および対象機器２において出力されない。例えば、操作データの中には、参照機器１および対象機器２の動作に関係は無いが、不具合発生時に解析を行う際に必要なチェックデータも含まれ得る。このようなチェックデータは、当列が「非出力」に設定される。

「操作コマンド」列には、各行の入力操作の内容を示す操作コマンドが表示される。なお、同列には、操作コマンドで設定されるパラメータの値を示す情報がともに格納されていてもよい。

リストＬ３は、第１データ３２１および第２データ３２２の動画の再生フレーム数に応じて、自動スクロールされてもよい。リストＬ３の右部分のボタンＬ３１〜Ｌ３３によって、リストＬ３をスクロールすることが可能であってもよい。具体的には、ユーザがボタンＬ３１を押下する入力操作を実行した場合、第３制御部３３の第３表示制御部３３５は、リストＬ３を所定行上にスクロールさせてもよい。また、ユーザがボタンＬ３２を押下する入力操作を実行した場合、第３表示制御部３３５は、リストＬ３のスクロールを停止させてもよい。また、ユーザがボタンＬ３３を押下する入力操作を実行した場合、第３表示制御部３３５は、リストＬ１を所定行下にスクロールさせてもよい。

また、実施形態３に示す試験システム８００の試験装置３のように、試験装置３において操作データ４１の編集が可能である場合、操作データ確認画面には、操作データ４１の追加、すなわちリストＬ３の行の追加を指示するためのボタンＢ１２と、操作データ４１の変更を指示するためのボタンＢ１３と、操作データ４１の一部または全部の削除を指示するためのボタンＢ１４と、操作データ４１の編集を中止する、すなわち、後述するボタンＢ１６を押下するまでに行った編集の内容の破棄を指示するためのボタンＢ１５と、操作データ４１の編集内容の保存を指示するためのボタンＢ１６と、が含まれていても良い。このように、リストＬ３で操作データ４１を確認しながらボタンＢ１２〜１６を操作して操作データ４１を編集することで、ユーザは操作データ４１を容易に編集することができる。

〔変形例〕
なお、本発明に係る試験システムは、対象機器２から、対象機器２において実行された入力操作の操作内容と操作タイミングとを示す操作データを取得してもよい。以下、対象機器２から取得する操作データを、便宜上、対象機器操作データと称する。

この場合、対象機器２は、対象機器入力部と、対象機器データ作成部とを備える。対象機器入力部は、対象機器２に対するユーザの入力操作を受け付ける。対象機器入力部は入力操作の内容を第２制御部２３に送信する。なお、対象機器入力部の具体的な構成は特に限定されない。例えば、対象機器入力部は、第２表示部２４と一体に構成されたタッチパネルディスプレイであってもよい。

対象機器データ作成部は、対象機器入力部を介して受け付けたユーザの入力操作から、操作データを作成する。対象機器入力部が操作データを作成するタイミングは特に限定されない。例えば、対象機器入力部は、第２表示制御部２３１が第２表示部２４に画像を表示させるのと並行して、画像表示に係るユーザの指示内容、すなわち入力操作の内容と、操作のタイミングとを特定して、これらを含んだ対象機器操作データを作成してもよい。対象機器入力部は、作成した対象機器操作データを試験装置３に送信する。なお、対象機器操作データは第２データとともに試験装置３に送信されてもよいし、別々に送信されてもよい。

試験装置３のデータ収集部３１は、対象機器操作データを受信し、記憶装置４に操作データ４１として記憶させる。なお、データ収集部３１は、参照機器１からも操作データを受信する場合、操作データと、対象機器操作データとを別個に記憶装置４に記憶させてもよい。以降、試験装置３は、対象機器操作データ、すなわち、対象機器２由来の操作データ４１を用いて、各実施形態で説明した処理を実行してもよい。

例えば、前記の構成によれば、不具合が発生した対象機器２から対象機器操作データ、すなわち、対象機器２の操作履歴を得て、これを用いて参照機器１において、対象機器操作データに基づく第１データを得ることができる。すなわち、不具合が発生した対象機器２と同様の操作条件下で参照機器１を動作させた場合の、第１データを得ることができる。そして、該第１データと第２データとを比較して、第２データに不具合があるか否かを判定することができる。この判定結果と、参照機器１とする機器の設定によって、対象機器２の不具合の原因を特定することができる。

例えば、対象機器２と同じ表示プログラムであるが、異なるバージョンの表示プログラムを実行する機器を参照機器１とし、対象機器操作データを用いて画面表示試験を行うことが考えられる。これにより、対象機器２の不具合の原因が、表示プログラムの特定のバージョンのみで発生するものか否かを確認することができる。

また、参照機器１と対象機器２とが共にカーナビ装置である場合、これらの機器を同じ車両に搭載して、車両を実際に走行させながら、試験者が参照機器１および対象機器２に入力操作を行ってもよい。なお、この入力操作は、２つの機器の間で同じ操作内容および同じ操作タイミングで行われることが望ましい。試験装置３のデータ収集部３１は、参照機器１からは操作データと第１データを、対象機器２からは対象機器操作データと第２データを受信する。

なお、この場合、対象機器２はＧＰＳ受信機を備える。ＧＰＳ受信機の機能は、参照機器１と同様である。また、対象機器データ作成部は、現在位置の位置情報と、該位置情報の取得タイミングを示す情報とを含む対象機器操作データを作成する。

試験装置３の比較部３３３は、上述の第１データおよび第２データを第１データ３２１と第２データ３２２として読み出し比較する。また、第３制御部３３は、操作データと対象機器操作データとの比較を行ってもよい。そして、第３表示制御部３３５は、該比較の結果を、第３表示部３５１に表示させてもよい。

これにより、同じ条件下で実際に参照機器１と対象機器２とを同様に動作させた場合の、画面表示試験の結果、および、操作データおよび対象機器操作データの比較を行うことができる。

〔ソフトウェアによる実現例〕
試験システム６００、７００、８００、９００、１０００、１１００、および１２００に含まれる各種装置の制御ブロック（特に第３制御部３３の各部）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。

後者の場合、試験システム６００、７００、８００、９００、１０００，１１００および１２００に含まれる各種装置は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

１ 参照機器
２ 対象機器
３ 試験装置
４ 記憶装置
５ 第１カメラ
６ 第２カメラ
７ 第１試験装置
８ 第２試験装置
１１ 第１操作データ取得部
１２ 第１記憶部
１３ 第１制御部
１４ 第１表示部
１５ 参照機器入力部
２１ 第２操作データ取得部
２２ 第２記憶部
２３ 第２制御部
２４ 第２表示部
２５ プログラム受信部
３１ データ収集部
３２ 第３記憶部
３３ 第３制御部（情報処理装置）
３４ 入力部
３５ 出力部
３６ 操作データ出力部
３７ プログラム送信部
３８ 第１通信制御部
３９ 第１入力部
４１ 操作データ
４２ 試験結果データ
４３ 更新プログラムデータ
５１ 操作データ出力部
５２ 第４制御部
５３ 第２入力部
５４ 第４表示部
５５ 第２通信制御部
１３１ 第１表示制御部
１３２ 第１キャプチャ部
１３３ 参照機器データ作成部
２３１ 第２表示制御部
２３２ 第２キャプチャ部
３２１ 第１データ
３２２ 第２データ
３３１ 第１データ取得部
３３２ 第２データ取得部
３３３ 比較部
３３４ 探索部
３３５ 第３表示制御部
３３６ 試験装置データ作成部
３３７ 相違箇所特定部
３５１ 第３表示部
３５２ 通信部
５２１ 第４表示制御部
６００、７００、８００、９００、１０００、１１００、１２００ 試験システム

Claims (9)

1. 第１データを取得する第１データ取得部と、
   第２データを取得する第２データ取得部と、
   前記第１データと前記第２データとをフレーム単位で順次比較する比較部と、
   前記比較部の比較の結果、前記第１データと前記第２データとが一致しないフレームが存在する場合、該フレームにおける前記第１データのフレーム画像または前記第２データのフレーム画像のいずれか一方を基準画像として、他方のフレーム画像の前後の所定数のフレームにおいて、前記基準画像と一致するフレーム画像が存在するか否か探索する探索部と、
   前記基準画像と一致するフレーム画像が存在しない場合、前記第２データに不具合が生じていることを出力部に出力させる表示制御部と、を備え、
   前記第１データは、ユーザの操作内容および操作タイミングを示す情報を含む操作データに基づいて、参照機器において生成される動画データであり、
   前記第２データは、前記操作データと同一の操作データに基づいて、対象機器において生成される動画データであることを特徴とする、情報処理装置。
2. 前記第２データ取得部は、前記対象機器で生成される前記第２データを順次リアルタイムで取得し、前記比較部は、前記第１データと、前記第２データ取得部が取得する前記第２データとを順次比較する、請求項１に記載の情報処理装置。
3. 前記操作データは、定期的に更新される位置情報と、該位置情報の取得タイミングを示す情報を含み、
   前記第１データおよび前記第２データは、前記位置情報に応じて生成される所定領域の地図画像を含む、請求項１または２に記載の情報処理装置。
4. 前記所定数は、前記第１データおよび前記第２データのフレームレートに換算した場合に０．３秒よりも短い時間に相当することを特徴とする、請求項１〜３のいずれか１項に記載の情報処理装置。
5. 前記表示制御部は、前記基準画像と一致するフレーム画像が存在しない場合、前記基準画像のフレーム数を前記出力部に出力させる、請求項１〜４のいずれか１項に記載の情報処理装置。
6. 前記出力部は、
   前記基準画像と一致するフレーム画像が存在しない場合、前記第２データに不具合が生じていることを表示する表示部と、
   前記基準画像と一致するフレーム画像が存在しない場合、前記第２データに不具合が生じていることを、外部の装置へ通知する通信部とのうち、
   少なくとも一方を含むことを特徴とする、請求項１〜５のいずれか１項に記載の情報処理装置。
7. 前記第１データと前記第２データとが一致しないフレームが存在する場合、該フレームにおける前記第１データのフレーム画像と、前記第２データのフレーム画像との相違点を特定する相違箇所特定部を備え、
   前記探索部は、前記相違点のフレーム画像上での位置に応じて前記所定数を決定する、請求項１〜６のいずれか１項に記載の情報処理装置。
8. 第１データを取得する第１データ取得ステップと、
   第２データを取得する第２データ取得ステップと、
   前記第１データと前記第２データとをフレーム単位で順次比較する比較ステップと、
   前記比較ステップにおける比較の結果、前記第１データと前記第２データとが一致しないフレームが存在する場合、該フレームにおける前記第１データのフレーム画像または前記第２データのフレーム画像のいずれか一方を基準画像として、他方のフレーム画像の前後の所定数のフレームにおいて、前記基準画像と一致するフレーム画像が存在するか否か探索する探索ステップと、
   前記基準画像と一致するフレーム画像が存在しない場合、前記第２データに不具合が生じていることを出力部に出力させる表示制御ステップと、を含み、
   前記第１データは、ユーザの操作内容および操作タイミングを示す情報を含む操作データに基づいて、参照機器において生成される動画データであり、
   前記第２データは、前記操作データと同一の操作データに基づいて、対象機器において生成される動画データであることを特徴とする、情報処理装置の制御方法。
9. 情報処理装置としてコンピュータを機能させるための制御プログラムであって、
   第１データを取得する第１データ取得ステップと、
   第２データを取得する第２データ取得ステップと、
   前記第１データと前記第２データとをフレーム単位で順次比較する比較ステップと、
   前記比較ステップにおける比較の結果、前記第１データと前記第２データとが一致しないフレームが存在する場合、該フレームにおける前記第１データのフレーム画像または前記第２データのフレーム画像のいずれか一方を基準画像として、他方のフレーム画像の前後の所定数のフレームにおいて、前記基準画像と一致するフレーム画像が存在するか否か探索する探索ステップと、
   前記基準画像と一致するフレーム画像が存在しない場合、前記第２データに不具合が生じていることを出力部に出力させる表示制御ステップと、をコンピュータに実行させ、
   前記第１データは、ユーザの操作内容および操作タイミングを示す情報を含む操作データに基づいて、参照機器において生成される動画データであり、
   前記第２データは、前記操作データと同一の操作データに基づいて、対象機器において生成される動画データであることを特徴とする、制御プログラム。

Images