JP2021002114A - 支援システム、支援方法および支援プログラム - Google Patents

Abstract

【課題】ＧＵＩテスト画面の目視試験を効率化する支援システムを提供する。【解決手段】ＧＵＩテスト画面１００１の目視試験を行う試験者に拡張現実ゴーグルを装着させ、目視試験中に試験者の視野を撮像するとともに、試験者の視線を検出する。撮像によって得られた画像データから、試験者の視野におけるＧＵＩテスト画面１００１の表示範囲を検知するとともに、ＧＵＩテスト画面１００１を構成する複数の領域について、当該領域ごとに注目領域か非注目領域かを決定する。注目領域には試験者の目視を促す太枠画像１００３を、非注目領域には試験者の目視を抑制するドットパターン画像１００２を、拡張現実によって、ＧＵＩテスト画面１００１に重畳表示して、目視試験の効率化を図る。【選択図】図１０

Description

本発明は、支援システム、支援方法および支援プログラムに関し、特に、ＧＵＩテスト画面の目視試験を効率化する技術に関する。

従来、システム開発を行う際には品質を管理することを目的として、プログラムを構成する比較的小さな単位が個々の機能を正しく果たしているかどうかを検証する単体テスト、単体テストで動作確認した単位プログラムを結合して、うまく連携・動作しているかを確認する結合テストおよび、システム全体を実稼働時に近い状況で動作させるＥ２Ｅ（End to End）テストが順次実行される。

これらの試験のうち、Ｅ２Ｅテストでは、数多くのＧＵＩ（Graphical User Interface）画面についてシステムの機能テストを行わなければならないため大変手間がかかるものになっている。この手間を削減するために様々なＧＵＩテストツールが提供されており、代表的なＧＵＩテストツールとしては、例えば、ユーザーのキー操作、マウス操作を記録して、スクリプトを自動生成し、テストの実行を自動化することで、繰り返しのテストの工数を削減するＴｅｓｔＣｏｍｐｌｅｔｅ（SmartBear Software社の登録商標）が知られている。

また、Ｗｅｂアプリケーションの機能テストを行うＳｅｌｅｎｉｕｍ（Software Freedom Conservancy, Inc.の登録商標）、ＷｅｂＵＩの自動テストツールであるCypress（Cypress.io, Incの登録商標）なども挙げることができる。これらのツールを用いれば、ＵＩ（User Interface）要素の有無を確認したりキャプチャー画面を比較したりすることによって、ＷｅｂアプリケーションやＷｅｂＵＩの実際の動作が所期の通りであるかどうかを確認することができる。

特開２０１８−１９０３２４号公報

上記のようなＧＵＩテストツールでは、例えば、ＧＵＩ画面の仕様の範囲外でＵＩが変更されていると、仕様の範囲内でＵＩ要素の有無を確認するだけでは、仕様の範囲外の変更を発見することができないまま、テストが成功してしまう場合がある。逆に、仕様上問題のない軽微な変更であっても、キャプチャー画面を比較するとテストが失敗してしまう場合もある。このように、ＧＵＩテストツールを用いてＧＵＩ画面のレイアウト崩れや表示崩れを適切に検出することは必ずしも容易でないため、目視確認を行う場合がある。

しかしながら、目視確認は、確認を行う試験者の主観による影響を排除し切ることができないため、例えば、古いバージョンのＧＵＩ画面と新しいバージョンのＧＵＩ画面の差分を無意識に感じ取って、その影響を受けることがある。また、目視確認は定量的な試験ではないため、主観の影響を受け易い。

更に、目視確認では、重点的に確認する必要がない箇所を、試験者が注視してしまったりすると、テスト効率が低下してしまう、という問題もある。

本発明は、上述のような問題に鑑みて為されたものであって、ＧＵＩ画面の目視確認を支援する支援システム、支援方法および支援プログラムを提供することを目的とする。

上記目的を達成するため、本発明の一形態に係る支援システムは、ＧＵＩテスト画面の目視試験を支援する支援システムであって、前記目視試験の試験者の視野における前記ＧＵＩテスト画面の表示範囲を検知する検知手段と、前記ＧＵＩテスト画面内の複数の領域について、当該領域ごとに注目領域か非注目領域かを決定する決定手段と、前記試験者に前記注目領域の目視を促し、前記非注目領域の目視を抑制する画像を、拡張現実によって、前記視野内で前記ＧＵＩテスト画面の表示範囲に重畳表示する表示手段と、を備えることを特徴とする。

この場合において、試験者の視線を検知する視線検知手段と、前記領域ごとに注目領域か非注目領域かを記憶する記憶手段と、前記決定手段の決定に応じて、前記記憶手段の記憶内容を更新する更新手段と、を備え、前記決定手段は、前記記憶手段の記憶内容に応じて、前記決定を行ってもよい。

また、前記ＧＵＩテスト画面の仕様並びにバグを管理するためのデータベースを備え、前記決定手段は、前記データベースを参照して前記決定を行ってもよい。

また、前記決定手段は、当該領域に視線が向けられた注目時間の長さが所定の時間を超えたら増加させ、超えなければ減少させた計数値を所定の閾値と比較して、前記決定を行ってもよい。

また、前記決定手段は、前記計数値が、第１の閾値を超えたら注目領域とし、前記第１の閾値よりも小さい第２の閾値を下回ったら非注目領域としてもよい。

また、試験者のジェスチャーを検知するジェスチャー検知手段と、所定のジェスチャーが検出されたときに、視線が向けられていた領域の注目時間を、前記第１の閾値および第２の閾値のどちらかとする閾値設定手段と、を備えてもよい。

また、前記記憶手段は、領域ごとに初期値を記憶してもよい。

また、前記表示手段は、前記領域ごとに注目領域か非注目領域かに応じて、当該領域の画像の濃度を変更してもよい。

また、前記表示手段は、前記領域ごとに注目領域か非注目領域かに応じたポインター画像を表示して、当該領域を指し示してもよい。

また、前記表示手段は、注目領域の情報をポップアップで示してもよい。

また、前記領域毎に、前記決定手段が当該領域を注目領域と決定した回数を計数する係数手段を備え、注目領域と決定された回数が所定回数以上である場合には、当該領域を重点注目領域と判定する 前記表示手段は、重点注目領域を表す表示を行ってもよい。

また、前記決定手段は、試験者のスキルに応じて、前記計数値を増加または減少させる値が異なっていてもよい。

また、前記領域ごとに、前記計数値と前記決定手段による決定結果とを記憶するデータベースを備えてもよい。

また、本発明の別の一形態に係る支援システムは、ＧＵＩテスト画面の目視試験を支援する支援システムであって、前記ＧＵＩテスト画面を表示する表示装置と、前記ＧＵＩテスト画面を目視する試験者に装着される拡張現実装置と、を備え、前記拡張現実装置は、前記試験者の視野における前記ＧＵＩテスト画面の表示範囲を検知する検知手段と、前記ＧＵＩテスト画面内の複数の領域について、当該領域ごとに注目領域か非注目領域かを決定する決定手段と、前記試験者に前記注目領域の目視を促し、前記非注目領域の目視を抑制する画像を、拡張現実によって、前記視野内で前記ＧＵＩテスト画面の表示範囲に重畳表示する表示手段と、を備えることを特徴とする。

また、本発明の一形態に係る支援方法は、ＧＵＩテスト画面の目視試験を支援する支援方法であって、前記目視試験の試験者の視野における前記ＧＵＩテスト画面の表示範囲を検知する検知ステップと、前記ＧＵＩテスト画面内の複数の領域について、当該領域ごとに注目領域か非注目領域かを決定する決定ステップと、前記試験者に前記注目領域の目視を促し、前記非注目領域の目視を抑制する画像を、拡張現実によって、前記視野内で前記ＧＵＩテスト画面の表示範囲に重畳表示する表示ステップと、を含むことを特徴とする。

また、本発明の一形態に係る支援プログラムは、ＧＵＩテスト画面の目視試験を支援する支援システムとしてコンピューターを動作させる支援プログラムであって、前記目視試験の試験者の視野における前記ＧＵＩテスト画面の表示範囲を検知する検知ステップと、前記ＧＵＩテスト画面内の複数の領域について、当該領域ごとに注目領域か非注目領域かを決定する決定ステップと、前記試験者に前記注目領域の目視を促し、前記非注目領域の目視を抑制する画像を、拡張現実によって、前記視野内で前記ＧＵＩテスト画面の表示範囲に重畳表示する表示ステップと、をコンピューターに実行させることを特徴とする。

このようにすれば、前記注目領域の目視を促し、前記非注目領域の目視を抑制する画像を、拡張現実によって、前記ＧＵＩテスト画面に重畳表示して、試験者が注視する必要のない領域を注視することなく、試験すべき領域を注視するように促すので、目視試験の効率化をはかることができる。

本発明の実施の形態に係る試験システムの構成を示す図である。 （ａ）は拡張現実ゴーグル１００の構成を示す図であり、（ｂ）は矢印Ａ方向から見た裏面図である。 拡張現実ゴーグル１００を制御する本体部２０１の構成を示すブロック図である。 拡張現実ゴーグル１００の動作のメインルーチンを表すフローチャートである。 注目フラグ更新処理を表すフローチャートである。 注目時間計測処理を表すフローチャートである。 （ａ）は試験者の目視範囲と視野撮像カメラ２０２の撮像範囲との関係を説明する図であり、（ｂ）は視線検出処理の概要を説明する図である。 （ａ）はＧＵＩテスト画面を例示する図であり、（ｂ）はＧＵＩテスト画面の領域分割を例示する図である。 重ね合わせ表示処理を表すフローチャートである。 （ａ）注目領域判断データベースのデータ構造を例示する表であり、（ｂ）は重ね合わせ画像を重畳表示したＧＵＩテスト画面を例示する図である。 試験サーバー１０２の主要な構成を示すブロック図である。 本発明の変形例に係る拡張現実ゴーグル１００と試験サーバー１０２との連係動作を説明するシーケンス図である。 （ａ）はポインティング表示重畳表示したＧＵＩテスト画面を例示する図であり、（ｂ）はポップアップ表示を重畳表示したＧＵＩテスト画面を例示する図である。

以下、本発明に係る支援システム、支援方法および支援プログラムの実施の形態について、図面を参照しながら説明する。
［１］試験システムの構成
まず、本実施の形態に係る試験システムの構成について説明する。

図１に示すように、試験システム１は、ＧＵＩテスト画面を目視確認する試験者が装着する拡張現実（AR: Augmented Reality）ゴーグル１００、試験者が目視確認するＧＵＩテスト画面を表示するパーソナル・コンピューター（PC）１０１およびＧＵＩテストを行うためのデータを格納した試験サーバー１０２を通信ネットワーク１０３に接続したものである。通信ネットワーク１０３には、無線ルーター１０４が接続されており、拡張現実ゴーグル１００は、無線ルーター１０４を経由して、試験サーバー１０２と相互通信することができる。
［２］拡張現実ゴーグル１００の構成
次に、拡張現実ゴーグル１００の構成について説明する。

図２（ａ）に示すように、拡張現実ゴーグル１００は、本体部２０１、視野撮像カメラ２０２、ディスプレイ２０３、眼部撮像カメラ２０５等を備えている。本体部２０１には、拡張現実ゴーグル１００の動作を制御するためのハードウェア、ソフトウェアが搭載されており、更に、拡張現実ゴーグル１００を動作させるための電源（バッテリー）が内蔵されている。

視野撮像カメラ２０２は、拡張現実ゴーグル１００を装着した試験者の右目の視野全体を撮像する。眼部撮像カメラ２０５は、図２（ｂ）に示すように、試験者が拡張現実ゴーグル１００を装着した状態で、試験者の眼部に対向する位置に配設されており、試験者の目頭と虹彩との位置関係を検出することができるように、眼部全体を撮像する。

ディスプレイ２０３は、透過型のディスプレイであって、試験者の視野に重畳して画像を表示する。更に、本体部２０１には、イヤホンジャック２０４が設けられており、拡張現実ゴーグル１００は、イヤホンジャック２０４に接続されたイヤホン等によって音声を出力することができる。また、本体部２０１は、不図示の電源ボタンやキャプチャーボタン、タッチパッドを備えている。電源ボタンは、拡張現実ゴーグル１００を起動したり停止したりするためのボタンであり、キャプチャーボタンは、視野撮像カメラ２０２を用いて撮影するためのボタンである。タッチパッドは、拡張現実ゴーグル１００の各種操作を行うための入力装置である。

本体部２０１は、拡張現実ゴーグル１００の右側のテンプル２１５に装着されているが、左側のテンプル２１６に装着してもよい。また、リム２１３、２１４を用いてレンズ２１１、２１２を保持しているが、レンズ２１１、２１２を省いてもよい。ブリッジ２１７は、リム２１３、２１４を接続する。
［３］本体部２０１の構成
次に、本体部２０１の構成について説明する。

本体部２０１は、図３に示すように、ＣＰＵ（Central Processing Unit）３０１、ＥＥＰＲＯＭ（Electrically Erasable Programable Read Only Memory）３０２、ＲＡＭ（Random Access Memory）３０３等を備えている。拡張現実ゴーグル１００の電源ボタンが押下されると、ＣＰＵ３０１はＥＥＰＲＯＭ３０２からブートプログラムを読み出して起動し、ＲＡＭ３０３を作業用記憶領域として、ＥＥＰＲＯＭ３０２から読み出した制御プログラムを実行する。

ＥＥＰＲＯＭ３０２には、後述する注目領域判断データベース３１１が記憶されている。注目領域判断データベース３１１は、ＧＵＩテスト画面の領域ごとに注目領域であるか非注目領域であるかを判断するためのデータを記憶する。ＲＡＭ３０３には、視野撮像カメラ２０２および眼部撮像カメラ２０５が撮像した画像データが格納される。ディスプレイ２０３はＲＡＭ３０３に書き込まれた画像データを表示する。

ＣＰＵ３０１は、タイマー３０４を参照して、現在の時刻を取得する。

画像処理部３０５は、ＲＡＭ３０３に格納された画像データを参照し、視野撮像カメラ２０２が撮像した画像を用いてＧＵＩテスト画面を検出したり、眼部撮像カメラ２０５が撮像した画像を用いて試験者の視線を検出したりすることによって、試験者がＧＵＩテスト画面のどの領域に注目しているかを検出する。通信処理部３０６は、無線ルーター１０４および通信ネットワーク１０３を経由した、試験サーバー１０２等の機器との通信処理を実行する。
［４］本体部２０１の動作
次に、本体部２０１の動作について説明する。
（４−１）メインルーチン
図４に示すように、本体部２０１は、まず、拡張現実ゴーグル１００の視野撮像カメラ２０２を用いて試験者の視野を撮像し、得られた画像データから矩形の図形を検出することによって、ＰＣ１０１のディスプレイに表示されているＧＵＩテスト画面を特定する（Ｓ４０１）。ＰＣ１０１のディスプレイに複数のウィンドウが表示されている場合には、試験サーバー１０２からＧＵＩテスト画面の画像データを取得して、各ウィンドウの画像データと比較し、一致度が最も高いウィンドウをＧＵＩテスト画面としてもよい。

次に、注目フラグ更新処理を実行する（Ｓ４０２）。注目フラグは、ＧＵＩテスト画面を複数の領域に分割した際に、領域ごとに割り当てられるフラグであって、当該領域が注目領域と非注目領域とのどちらであるかを表す。注目フラグ更新処理においては、後述のように、領域毎に試験者の注目時間を計測するとともに、過去の注目フラグを参照ことによって、領域毎に注目フラグを更新する。

次に、重ね合わせ表示処理を実行する（Ｓ４０３）、重ね合わせ表示処理は、ＧＵＩテスト画面の領域ごとに、その注目フラグの値に応じた画像を、拡張現実ゴーグル１００のディスプレイ２０３に表示させることによって、ＧＵＩテスト画面に重畳して当該画像を表示する処理である。
（４−２）注目フラグ更新処理（Ｓ４０２）
注目フラグ更新処理においては、図５に示すように、まず、注目時間計測処理を実行する（Ｓ５０１）。注目時間計測処理においては、ＧＵＩテスト画面の領域毎に試験者が注目した時間を計測する。

具体的には、図６に示すように、領域ごとの注目時間Ｔａを０に初期化し（Ｓ６０１）、上述のステップＳ４０１と同様にＧＵＩテスト画面を検出する（Ｓ６０２）。図７（ａ）に示すように、視野撮像カメラ２０２の撮像範囲（画角）は、試験者の右眼７０１による目視範囲（右眼視野）全体を含んでいる。試験者がＧＵＩテスト画面を試験するためにＰＣ１０１のディスプレイ７０３を目視すると、視野撮像カメラ２０２はＧＵＩテスト画面を含む試験者の目視範囲全体を撮像して、画像データを生成する。当該画像データを参照して、本体部２０１は、ＧＵＩテスト画面を特定する。

次に、本体部２０１は試験者の視線を検出する（Ｓ６０３）。すなわち、眼部撮像カメラ２０５にて試験者の右眼を撮像して、図７（ｂ）に示すように、右眼７０１の目頭と虹彩の中心とを特定し、目頭から虹彩の中心へ向かうベクトル７１１、７１２の距離と角度とを算出する。なお、拡張現実ゴーグル１００は試験者に装着されているため、試験者の右眼と眼部撮像カメラ２０５との位置関係は、試験者の姿勢や視線の方向に関わらず一定である。

目頭の座標を（ｘ０、ｙ０）とし、虹彩の中心の座標を（ｘ１、ｙ１）とすると、両者の距離Ｄは、次式（１）を用いて算出することができる。

Ｄ ＝ ｛（ｘ１−ｘ０）²＋（ｙ１−ｙ０）²｝^1/2 …（１）
また、角度θは、次式（２）を用いて算出することができる。

θ ＝ ａｒｃｔａｎ｛（ｙ１−ｙ０）／（ｘ１−ｘ０）｝ …（２）
眼部撮像カメラ２０５と視野撮像カメラ２０２はどちらも拡張現実ゴーグル１００に固定されており、位置関係が一定であるので、極座標（Ｄ、θ）と視野撮像カメラ２０２が生成する画像データ上の座標（ｘ、ｙ）とは一対一に対応付けることができる。本体部２０１のＥＥＰＲＯＭ３０２には、この対応付けのための表または関数が記憶されており、本体部２０１は当該表または関数を用いて、視野撮像カメラ２０２が撮像した試験者の視野における注目点の座標を求める。

このようにすれば、試験者の視野におけるＧＵＩテスト画面の表示範囲を検出することができる。

視野撮像カメラ２０２は、例えば、図８（ａ）に示すようなＧＵＩテスト画面を撮像する。視野撮像カメラ２０２が撮像したＧＵＩテスト画面は、図８（ｂ）に示すように、縦横どちらも４分割した１６の領域Ａ〜Ｐに分割されている。試験者の注目点が領域Ａ〜Ｐのどれにも入っておらず、したがって試験者の視線がどの領域にも向かっていないと判断される場合には（Ｓ６０４：ＮＯ）、ステップＳ６０２に戻って、次の撮像をおこなう。

試験者の注目点が領域Ａ〜Ｐのどれかに入っており、試験者の視線が当該領域に向かっていると判断される場合には（Ｓ６０４：ＹＥＳ）、タイマー３０４を参照して現時刻Ｔ１を取得する（Ｓ６０５）。その後さらにＧＵＩテスト画面を検出し（Ｓ６０６）、試験者の視線を検出して（Ｓ６０７）、試験者の視線が当該領域に留まっている場合には（Ｓ６０８：ＮＯ）、ステップＳ６０６へ進んで上記の処理を繰り返す。

試験者の視線が当該領域から外れた場合には（Ｓ６０８：ＹＥＳ）、タイマー３０４を参照して現時刻Ｔ２を取得し（Ｓ６０９）、次式（３）のように経過時間Ｔｅを算出する（Ｓ６１０）。

Ｔｅ ＝ Ｔ２ − Ｔ１ …（３）
算出した経過時間Ｔｅを所定の最短時間Ｔｍｉｎと比較して、経過時間Ｔｅが最短時間Ｔｍｉｎ以下である場合には（Ｓ６１１：ＮＯ）、試験者は当該領域に注目したと判定するには経過時間Ｔｅが短過ぎるので、当該経過時間Ｔｅを注目時間Ｔａに計上することなく、ステップＳ６１３へ進む。

経過時間Ｔｅが最短時間Ｔｍｉｎよりも長い場合には（Ｓ６１１：ＹＥＳ）、試験者は当該領域に注目したと判定して、当該領域の注目時間Ｔａに経過時間Ｔｅを加算する（Ｓ６１２）。

その後、注目時間の計測を終了する場合には（Ｓ６１３：ＹＥＳ）、上位ルーチンである注目フラグ更新処理に復帰する。注目時間の計測を継続する場合には（Ｓ６１３：ＮＯ）、ステップＳ６０２へ進んで上記の処理を繰り返す。注目時間の計測を終了するかどうかは、例えば、ステップＳ６０１で注目時間Ｔａの値を初期化してから所定の時間を経過したかどうかで判断してもよいし、所定の個数の領域について注目時間Ｔａを計測したかどうかで判断してもよい。また、他の基準で判断してもよい。

図５に戻って、注目時間計測処理（Ｓ５０１）の完了後、本体部２０１は、注目領域判断データベース３１１から領域ごとの注目フラグと注目領域カウントとを読み出して（Ｓ５０２）、すべての領域についてステップＳ５０３からステップＳ５１１までの処理を実行する。

すなわち、計測によって得られた注目時間Ｔａが所定時間Ｔｔよりも長い場合には（Ｓ５０４：ＹＥＳ）、試験者が当該領域に確実に注目したと判断されるので、注目領域カウントＣａを１だけ増加させる（Ｓ５０５）。一方、計測によって得られた注目時間Ｔａが所定時間Ｔｔ以下である場合には（Ｓ５０４：ＮＯ）、試験者が当該領域に注目したとは言えないので、注目領域カウントＣａを１だけ減少させる（Ｓ５０６）。

注目カウントＣａが第１の閾値よりも大きい場合には（Ｓ５０７：ＹＥＳ）、注目フラグＦａの値を１に設定して、当該領域を注目領域と判定する（Ｓ５０８）。また、注目カウントＣａが第２の閾値よりも小さい場合には（Ｓ５０９：ＹＥＳ）、注目フラグＦａの値を０に設定して、当該領域を非注目領域と判定する（Ｓ５１０）。このように第１、第２の２つの閾値を用いれば、注目領域カウントＣａが頻繁に増減した場合であっても、注目フラグＦａの値を安定させることができるので、後述する拡張現実を用いた重ね合わせ画像の表示状態を安定させることができる。

その後、更新した注目フラグＦａの値並びに注目領域カウントＣａの値を注目領域判断データベース３１１に記録し（Ｓ５１２）、上位ルーチンであるメインルーチンに復帰する。
（４−３）重ね合わせ表示処理（Ｓ４０３）
次に、重ね合わせ表示処理について説明する。

重ね合わせ表示処理においては、図９に示すように、本体部２０１は、まず注目領域判断データベース３１１を参照して、注目フラグ更新処理（Ｓ４０２）で更新した領域ごとの注目フラグＦａの値を取得する（Ｓ９０１）。図１０（ａ）の例では、注目領域判断データベース３１１に注目フラグＦａの値と注目領域カウントＣａの値とが領域毎に記録されている。ただし、図１０（ａ）では、第１の閾値の値が６、第２の閾値の値が４になっている。

本体部２０１は、次に、注目フラグＦａの値に応じた重ね合わせ画像を生成する（Ｓ９０２）。図１０（ａ）で領域Ａ〜Ｄ、Ｎ〜Ｐは注目フラグＦａの値が０になっている注目フラグＦａの値が０になっているのに対応して、図１０（ｂ）では領域Ａ〜Ｄ、Ｎ〜Ｐに重ね合わせる重ね合わせ画像として、不透明なドットパターン画像１００２が生成されている。領域Ｆ、Ｇ、Ｊ、Ｋは注目フラグＦａの値が１なので、注目すべき画像であることを表す太枠画像１００３が生成されている。

また、領域Ｅ、Ｈ、Ｉ、Ｌは、注目領域カウントＣａの値が第１の閾値と第２の閾値との間にあり、注目フラグＦａの値が確定されていないので、重ね合わせ画像は生成されていない。

次に、本体部２０１は、視野撮像カメラ２０２を用いて試験者の視野を撮像し、得られた画像データからＧＵＩテスト画面の位置を特定し（Ｓ９０３）、当該位置に重なるように、拡張現実ゴーグル１００のディスプレイ２０３に重ね合わせ画像を表示する。その後、時々刻々変化する試験者の姿勢に追随して、ステップＳ９０３、Ｓ９０４の処理を繰り返す。

このようにすれば、試験者の注目度が低く、従って、目視試験の対象ではないと推定される領域である非注目領域を見え難くし、かつ試験者の注目度が高く、従って、目視試験の対象であると推定される領域である注目領域を強調する重ね合わせ画像を、ＧＵＩテスト画面に重畳表示して、試験者の視線を目視によって確認すべき領域へ導くので、目視試験の効率化を図ることができる。
［５］試験サーバー１０２
試験サーバー１０２は、所謂サーバー装置であって、図１１に示すように、ＣＰＵ１１０１、ＲＯＭ（Read Only Memory）１１０２、ＲＡＭ１１０３、ＨＤＤ（Hard Disk Drive）１１０４および通信処理部１１０５を備えている。ＣＰＵ１１０１は、リセットされると、ＲＯＭ１１０２からブートプログラムを読み出して起動し、ＲＡＭ１１０３を作業用記憶領域として、ＨＤＤ１１０４から読み出したＯＳ（Operating System）やアプリケーション・プログラムを実行する。

ＨＤＤ１１０４には、画面仕様／バグ管理データベース１１１１が記憶されている。画面仕様／バグ管理データベース１１１１は、ＧＰＵテスト画面の仕様データとバグを管理するためのデータを記憶するデータベースである。ＰＣ１０１は、通信ネットワーク１０３を経由して試験サーバー１０２からＧＵＩテスト画面の使用データを取得することによって、ディスプレイ７０３にＧＵＩテスト画面を表示する。

また、試験者は、ＰＣ１０１を操作することによって、通信ネットワーク１０３を経由して、試験サーバー１０２の画面仕様／バグ管理データベース１１１１に試験結果を登録する。試験結果を登録するためのウィンドウは、ＰＣ１０１のディスプレイ７０３上で、ＧＵＩテスト画面を表示するためのウィンドウとは別のウィンドウとして表示される。試験者は、ＰＣ１０１のキーボードやマウスを操作することによって試験結果を登録する。
［５］変形例
以上、本発明を実施の形態に基づいて説明してきたが、本発明が上述の実施の形態に限定されないのは勿論であり、以下のような変形例を実施することができる。
（５−１）上記実施の形態においては、注目領域判断データベース３１１を拡張現実ゴーグル１００の本体部２０１に搭載されたＥＥＰＲＯＭ３０１に記憶させる場合を例にとって説明したが、本発明がこれに限定されないのは言うまでもなく、これに代えて次のようにしてもよい。

例えば、注目領域判断データベースを試験サーバー１０２に記憶させてもよい。この場合に、図１２に示すように、拡張現実ゴーグル１００は、試験者がＰＣ１０１のディスプレイ７０３にＧＵＩテスト画面を表示させて、目視確認を開始すると、まず、ＧＵＩテスト画面の位置を検出した後、当該ＧＵＩテスト画面に重ね合わせる重ね合わせ画像を生成するための重ね合わせ用データ（領域ごとの注目フラグＦａおよび注目領域カウントＣａの値）を、試験サーバー１０２に記憶されている注目領域判断データベースに要求する重ね合わせ用データリクエストを送信する。

注目領域判断データベースは、重ね合わせ用データリクエストを受信すると、画面仕様／バグ管理データベースに注目領域を決定するためのデータを要求する。このデータは、例えば、試験者が目視確認すべきＧＵＩ要素（ＧＵＩテスト画面に表示される図形、テキストなど）を示すデータであって、画面仕様／バグ管理データベースは試験内容に応じて当該データを生成する。

例えば、フォントやアイコンのエッジは厳密に目視する必要は無い一方、ＱＲ（Quick Response）コードやバーコードは厳密に目視確認する必要がある。画面仕様／バグ管理データベースは、生成したデータを含むデータレスポンスを注目領域判断データベースへ応答する。

注目領域判断データベースは、画面仕様／バグ管理データベースからデータレスポンスを受信すると、ＧＵＩテスト画面を１６の領域に分割して、試験者が目視確認すべきＧＵＩ要素が含まれている領域は注目フラグＦａの値を１とし、目視確認すべきＧＵＩ要素が含まれていない領域は注目フラグＦａの値を０とした重ね合わせ用データを生成して、拡張現実ゴーグル１００へ当該重ね合わせ用データを応答する。

拡張現実ゴーグル１００は、重ね合わせ用データレスポンスを受信すると、重ね合わせ画像を生成して、ＧＵＩテスト画面に重なるようにディスプレイ２０３に表示する。その後、ＧＵＩテスト画面への視線を検知して、視線先の領域のテスト結果を判定する。このテスト結果を、拡張現実ゴーグル１００が注目領域判断データベースへ送信すると、注目領域判断データベースは注目領域データを更新する。

なお、テスト結果の送信は別デバイスを使用してデータ送信してもよい。また、注目領域判断データベースが画面仕様／バグ管理データベースに注目領域決定のためのデータリクエストを行うのは、当該ＧＵＩテスト画面について注目フラグを決定するのが１回目である場合や、ＧＵＩテスト画面をバージョンアップしたときなど、所定のタイミングでのみ実施するのが望ましい。

このように、試験者が注目すべき領域と注目しなくてもよい領域を、画面仕様／バグ管理データベースを元に判断して、ＧＵＩテスト画面に重なるよう拡張現実ゴーグル１００にて重ね合わせ画像を表示してもよい。また、領域ごとに注目フラグＦａや注目領域カウントＣａを、試験者の注目の仕方に応じて適宜調整すれば、目視によるＧＵＩテストにおいて、重点的に見るべきエリアとそれほど見なくてもよいエリアが提示されるので、テスト者の時間と労力の低減を図ることができる。
（５−２）上記実施の形態においては特に言及しなかったが、注目領域判断データベースは、ＧＵＩテスト画面のすべての領域について、注目領域カウントＣａの初期値を第１の閾値を超える値とし、注目フラグＦａの値の初期値を１として記憶してもよい。このようにすれば、初期状態においては、試験者がすべての領域においてＧＵＩテスト画面を見ることができるので、すべての領域について注目時間Ｔａを計測し、その計測結果を反映した重ね合わせ画像を生成することができる。
（５−３）上記実施の形態においては、注目フラグＦａの値を決定する際に用いる第１の閾値および第２の閾値として固定値を用いる場合を例にとって説明したが、本発明がこれに限定されないのは言うまでもなく、これに代えて次のようにしてもよい。

例えば、視野撮像カメラ２０２や眼部撮像カメラ２０５を用いて試験者のジェスチャーを検出し、試験者が特定のジェスチャーを行ったときに、試験者の視線が向かっていた領域の注目領域カウントＣａを第１の閾値や第２の閾値として用いてもよい。このようにすれば、試験者の都合に応じて柔軟に第１の閾値や第２の閾値を変更することができる。従って、注目領域であるか非注目領域であるかを精度よく判断することができる。
（５−４）上記実施の形態においては、注目領域であるか非注目領域であるかに応じたドットパターン画像や太枠画像をＧＵＩテスト画面に重畳して表示する場合を例にとって説明したが、本発明がこれに限定されないのは言うまでもなく、これに代えて次のようにしてもよい。

例えば、当該領域が注目領域である場合には、ＧＵＩテスト画面の当該領域部分の画像の濃度を濃くした画像を重ね合わせ画像として表示し、当該領域が非注目領域である場合には、ＧＵＩテスト画面の当該領域部分の画像の濃度を薄くした画像を重ね合わせ画像として表示してもよい。

また、図１３（ａ）に示すように、太い矢印１３０１を用いて注目領域を指し、細い矢印１３０２を用いて非注目領域を指してもよい。また、矢印に代えて、カーソル等、矢印以外のポインターを用いて注目領域と非注目領域とをポインティングしてもよい。また、非注目領域をポインティングすることなく、注目領域のみをポインティングしてもよいことは言うまでもない。

更に、ポップアップを用いて注目領域や非注目領域の情報を示してもよい。図１３（ｂ）の例では、注目領域であるか非注目領域であるかのみを示しているが、これに代えて、或いはこれに加えて他の情報を示してもよい。また、この場合においても、非注目領域の情報をポップアップ表示することなく、注目領域の情報のみをポップアップ表示してもよい。
（５−５）上記実施の形態においては、重ね合わせ画像を用いて注目領域であるか非注目領域であるかのみを表示する場合を例にとって説明したが、本発明がこれに限定されないのは言うまでもなく、これに代えて次のようにしてもよい。

例えば、注目領域であると判定された回数が所定の回数以上である領域については、重点注目領域であると判定して、非注目領域とも注目領域とも異なる重ね合わせ画像を表示してもよい。このようにすれば、目視試験の効率を更に向上させることができる。
（５−６）上記実施の形態においては、注目時間Ｔａの長短に応じて、注目領域カウントＣａを１ずつ増減する場合を例にとって説明したが、本発明がこれに限定されないのは言うまでもなく、これに代えて次のようにしてもよい。

例えば、試験者のスキルに応じて注目領域カウントＣａを増減させる加減算値を１以外の値にしてもよい。例えば、過去に試験した項目数が多く、目視試験のスキルが高い試験者については、適切な領域を選んで目視している可能性が高いので、当該加減算値を大きくして、注目領域カウントＣａを速やかに第１の閾値よりも大きくしたり、第２の閾値よりも小さくしたりすれば、適切な重ね合わせ画像を迅速に表示することができるので、目視試験の効率を速やかに向上させることができる。

一方、過去に試験した項目数が少なく、目視試験のスキルが低い試験者については、適切な領域を選ぶのに手間取っていたり、試験項目とは関係ない領域を誤って注視したりする可能性が高いので、当該加減算値が大きいと、不適切な重ね合わせ画像が表示されてしまう恐れがある。このような問題に対して、加減算値を小さくすれば、適切な領域の注目領域カウントＣａが他の領域の注目領域カウントＣａよりも十分大きくなってから、重ね合わせ画像を生成することができるので、目視試験の効率を確実に向上させることができる。
（５−７）上記実施の形態においては、目頭と虹彩の中心との位置関係から視線を検出する場合を例にとって説明したが、本発明がこれに限定されないのは言うまでもなく、他の方法を用いて試験者の視線を検出してもよい。例えば、赤外線ＬＥＤ（Light Emitting Diode）で試験者の眼部を照明して、赤外線カメラで試験者の眼部を撮像する。赤外線ＬＥＤの照明によって生じた反射光の角膜上の位置（角膜反射）を基準点して、角膜反射の位置に対する瞳孔の位置に基づいて、視線を検出してもよい。例えば、左目の角膜反射よりも瞳孔が目尻側にあれば、試験者は左側を見ており、角膜反射よりも瞳孔が目頭側にあれば、試験者は右側を見ていると判定することができる。
（５−８）本発明に係る支援システムは、上述したような拡張現実ゴーグル１００であってもよいし、拡張現実ゴーグル１００と試験サーバー１０２とが連携するシステムであってもよい。更に、拡張現実ゴーグル１００、ＰＣ１０１および試験サーバー１０２が連携するシステムであってもよい。

また、上述したように、拡張現実ゴーグル１００および試験システム１は、どちらもマイクロプロセッサーとメモリとを備えたコンピューターシステムである。メモリは、コンピューター・プログラムを記憶しており、マイクロプロセッサーは、コンピューター・プログラムに従って動作するとしてもよい。

ここで、コンピューター・プログラムは、所定の機能を達成するために、コンピューターに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

また、コンピューター・プログラムは、コンピューター読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、光ディスク、半導体メモリなどに記録されているとしてもよい。

また、コンピューター・プログラムを、有線又は無線の電気通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送してもよい。

また、本発明は、拡張現実ゴーグル１００や試験システム１が、当該コンピューター・プログラムを実行することによって、使用する方法であるとしてもよい。
（５−９）上記実施の形態及び上記変形例をそれぞれ組み合わせてもよい。

本発明に係る支援システム、支援方法および支援プログラムは、ＧＵＩテスト画面の目視試験を効率化する技術として有用である。

１…………試験システム
１００……拡張現実ゴーグル
１０１……パーソナル・コンピューター
１０２……試験サーバー
２０１……本体部
２０２……視野撮像カメラ
２０３……ディスプレイ
２０５……眼部撮像カメラ
３１１……注目領域判断データベース
１１１１…画面仕様／バグ管理データベース

Claims (16)

1. ＧＵＩテスト画面の目視試験を支援する支援システムであって、
   前記目視試験の試験者の視野における前記ＧＵＩテスト画面の表示範囲を検知する検知手段と、
   前記ＧＵＩテスト画面内の複数の領域について、当該領域ごとに注目領域か非注目領域かを決定する決定手段と、
   前記試験者に前記注目領域の目視を促し、前記非注目領域の目視を抑制する画像を、拡張現実によって、前記視野内で前記ＧＵＩテスト画面の表示範囲に重畳表示する表示手段と、を備える
   ことを特徴とする支援システム。
2. 試験者の視線を検知する視線検知手段と、
   前記領域ごとに注目領域か非注目領域かを記憶する記憶手段と、
   前記決定手段の決定に応じて、前記記憶手段の記憶内容を更新する更新手段と、を備え、
   前記決定手段は、前記記憶手段の記憶内容に応じて、前記決定を行う
   ことを特徴とする請求項１に記載の支援システム。
3. 前記ＧＵＩテスト画面の仕様並びにバグを管理するためのデータベースを備え、
   前記決定手段は、前記データベースを参照して前記決定を行う
   ことを特徴とする請求項１または２に記載の支援システム。
4. 前記決定手段は、当該領域に視線が向けられた注目時間の長さが所定の時間を超えたら増加させ、超えなければ減少させた計数値を所定の閾値と比較して、前記決定を行う
   ことを特徴とする請求項２または３のいずれかに記載の支援システム。
5. 前記決定手段は、前記計数値が、第１の閾値を超えたら注目領域とし、前記第１の閾値よりも小さい第２の閾値を下回ったら非注目領域とする
   ことを特徴とする請求項４に記載の支援システム。
6. 試験者のジェスチャーを検知するジェスチャー検知手段と、
   所定のジェスチャーが検出されたときに、視線が向けられていた領域の注目時間を、前記第１の閾値および第２の閾値のどちらかとする閾値設定手段と、を備える
   ことを特徴とする請求項５に記載の支援システム。
7. 前記記憶手段は、領域ごとに初期値を記憶している
   ことを特徴とする請求項２に記載の支援システム。
8. 前記表示手段は、前記領域ごとに注目領域か非注目領域かに応じて、当該領域の画像の濃度を変更する
   ことを特徴とする請求項１から７のいずれかに記載の支援システム。
9. 前記表示手段は、前記領域ごとに注目領域か非注目領域かに応じたポインター画像を表示して、当該領域を指し示す
   ことを特徴とする請求項１から７のいずれかに記載の支援システム。
10. 前記表示手段は、注目領域の情報をポップアップで示す
    ことを特徴とする請求項１から７のいずれかに記載の支援システム。
11. 前記領域毎に、前記決定手段が当該領域を注目領域と決定した回数を計数する係数手段を備え、
    注目領域と決定された回数が所定回数以上である場合には、当該領域を重点注目領域と判定する
    前記表示手段は、重点注目領域を表す表示を行う
    ことを特徴とする請求項１から９に記載の支援システム。
12. 前記決定手段は、試験者のスキルに応じて、前記計数値を増加または減少させる値が異なる
    ことを特徴とする請求項４または５に記載の支援システム。
13. 前記領域ごとに、前記計数値と前記決定手段による決定結果とを記憶するデータベースを備える
    ことを特徴とする請求項４、５および１２のいずれかに記載の支援システム。
14. ＧＵＩテスト画面の目視試験を支援する支援システムであって、
    前記ＧＵＩテスト画面を表示する表示装置と、
    前記ＧＵＩテスト画面を目視する試験者に装着される拡張現実装置と、を備え、
    前記拡張現実装置は、
    前記試験者の視野における前記ＧＵＩテスト画面の表示範囲を検知する検知手段と、
    前記ＧＵＩテスト画面内の複数の領域について、当該領域ごとに注目領域か非注目領域かを決定する決定手段と、
    前記試験者に前記注目領域の目視を促し、前記非注目領域の目視を抑制する画像を、拡張現実によって、前記視野内で前記ＧＵＩテスト画面の表示範囲に重畳表示する表示手段と、を備える
    ことを特徴とする支援システム。
15. ＧＵＩテスト画面の目視試験を支援する支援方法であって、
    前記目視試験の試験者の視野における前記ＧＵＩテスト画面の表示範囲を検知する検知ステップと、
    前記ＧＵＩテスト画面内の複数の領域について、当該領域ごとに注目領域か非注目領域かを決定する決定ステップと、
    前記試験者に前記注目領域の目視を促し、前記非注目領域の目視を抑制する画像を、拡張現実によって、前記視野内で前記ＧＵＩテスト画面の表示範囲に重畳表示する表示ステップと、を含む
    ことを特徴とする支援方法。
16. ＧＵＩテスト画面の目視試験を支援する支援システムとしてコンピューターを動作させる支援プログラムであって、
    前記目視試験の試験者の視野における前記ＧＵＩテスト画面の表示範囲を検知する検知ステップと、
    前記ＧＵＩテスト画面内の複数の領域について、当該領域ごとに注目領域か非注目領域かを決定する決定ステップと、
    前記試験者に前記注目領域の目視を促し、前記非注目領域の目視を抑制する画像を、拡張現実によって、前記視野内で前記ＧＵＩテスト画面の表示範囲に重畳表示する表示ステップと、をコンピューターに実行させる
    ことを特徴とする支援プログラム。

Images