JP2018147289A - 表示装置、表示システム及びプログラム - Google Patents

Abstract

【課題】端末において表示されていた画像のどこを点検者が注視して点検の操作をしたかを検証する。【解決手段】第１取得部１１１は、端末の表示部の表示画面に表示された画像の履歴を示す表示履歴を取得する。第２取得部１１２は、端末の表示部の表示画面に注がれた点検者の注視点の履歴を示す注視点履歴を取得する。第３取得部１１３は、端末の操作部に対する点検者の操作の履歴を示す操作履歴を取得する。抽出部１１５は、第３取得部１１３が取得した操作履歴から点検の項目ごとに対応する操作を抽出する。表示制御部１１７は、取得した表示履歴及び注視点履歴に基づいて、抽出された操作に応じた期間における注視点を示す図形を、この期間に端末の表示部の表示画面に表示された画像に重ねて表示部１４に表示させる。【選択図】図１１

Description

本発明は、表示装置、表示システム及びプログラムに関する。

特許文献１には、ユーザがデータ閲覧を行う際の視線情報を取得してデータ検索処理の効率化を試みる情報処理装置が開示されている。
特許文献２には、文書を閲覧する閲覧者の閲覧箇所を検出して付加情報の表示を制御する文書閲覧システムが開示されている。

特開２００５−１８２６０３号公報 特開２００９−２７１７３５号公報

本発明は、端末において表示されていた画像のどこを点検者が注視して点検の操作をしたかを検証することを目的とする。

上述した課題を解決するため、本発明の請求項１に係る表示装置は、端末の表示画面に表示された画像の履歴を示す表示履歴を取得する第１取得部と、前記表示画面に注がれた点検者の注視点の履歴を示す注視点履歴を取得する第２取得部と、前記端末に対する前記点検者の操作の履歴を示す操作履歴を取得する第３取得部と、前記操作履歴から操作を抽出する抽出部と、前記表示履歴及び前記注視点履歴に基づいて、抽出された前記操作に応じた期間における前記注視点を示す図形を、該期間に前記表示画面に表示された前記画像に重ねて表示部に表示させる表示制御部と、を有する。

本発明の請求項２に係る表示装置は、請求項１に記載の態様において、前記画像において前記操作ごとに対応付けられた領域を示す領域情報を取得する第４取得部、を有し、前記表示制御部は、前記操作ごとに対応付けられた前記領域を、該操作に応じた期間に表示された前記画像に重ねて表示させることを特徴とする。

本発明の請求項３に係る表示装置は、請求項２に記載の態様において、前記表示部により表示される前記領域と、前記注視点とに基づいて、前記点検者による点検を評価する評価部、を有することを特徴とする。

本発明の請求項４に係る表示装置は、請求項３に記載の態様において、前記評価部は、前記注視点が前記領域の内側に存在した時間が長いほど前記点検を高く評価することを特徴とする。

本発明の請求項５に係る表示装置は、請求項３又は４に記載の態様において、前記表示制御部は、前記評価部による評価の結果に応じて前記画像を表示させることを特徴とする。

本発明の請求項６に係る表示システムは、表示画面を有する端末、該端末と通信するサーバ装置、及び該サーバ装置と通信する表示装置を有し、前記サーバ装置は、前記表示画面に表示された画像の履歴を示す表示履歴を取得する第１取得部と、前記表示画面に注がれた点検者の注視点の履歴を示す注視点履歴を取得する第２取得部と、前記端末に対する前記点検者の操作の履歴を示す操作履歴を取得する第３取得部と、前記操作履歴から操作を抽出する抽出部と、を有し、前記表示装置は、前記表示履歴及び前記注視点履歴に基づいて、抽出された前記操作に応じた期間における前記注視点を示す図形を、該期間に前記表示画面に表示された前記画像に重ねて表示部に表示させる表示制御部を有する。

本発明の請求項７に係るプログラムは、表示部を有するコンピュータを、端末の表示画面に表示された画像の履歴を示す表示履歴を取得する第１取得部と、前記表示画面に注がれた点検者の注視点の履歴を示す注視点履歴を取得する第２取得部と、前記端末に対する前記点検者の操作の履歴を示す操作履歴を取得する第３取得部と、前記操作履歴から操作を抽出する抽出部と、前記表示履歴及び前記注視点履歴に基づいて、抽出された前記操作に応じた期間における前記注視点を示す図形を、該期間に前記表示画面に表示された前記画像に重ねて前記表示部に表示させる表示制御部として機能させるためのプログラムである。

請求項１、６、７に係る発明によれば、端末において表示されていた画像のどこを点検者が注視して点検の操作をしたかを検証することができる。
請求項２に係る発明によれば、点検者の行った操作ごとにその点検者が注視すべきであった領域を検証者が知ることができる。
請求項３に係る発明によれば、注視すべきであった領域を注視していたか否かを評価させることができる。
請求項４に係る発明によれば、注視していた時間に応じて点検者の点検が評価される。
請求項５に係る発明によれば、注視すべきであった領域を注視していたか否かについて検証者が知ることができる。

本実施形態に係る表示システム９の全体構成を示す図。 画像読取装置３の構成の一例を示す図。 端末２の構成を示す図。 画像ＤＢ２２１の例を示す図。 表示装置１の構成を示す図。 表示履歴ＤＢ１２１の例を示す図。 注視点履歴ＤＢ１２２の例を示す図。 操作履歴ＤＢ１２３の例を示す図。 点検項目ＤＢ１２４の例を示す図。 ガイド領域ＤＢ１２５の例を示す図。 表示装置１の機能的構成を示す図。 表示装置１により検証者に表示される画像の例を示す図。 表示装置１の動作の流れを説明するフロー図。 制御部１１が点検者の点検を高く評価する場合の表示の例を示す図。 制御部１１が点検者の点検を低く評価する場合の表示の例を示す図。 サーバ装置５の構成の例を示す図。 変形例１における表示装置１の機能的構成を示す図。

１．実施形態
１−１．表示システムの全体構成
図１は、本実施形態に係る表示システム９の全体構成を示す図である。表示システム９は、ＬＡＮ（Local Area Network）及びＷＡＮ（Wide Area Network）等を形成する通信回線４と、この通信回線４に接続された表示装置１、端末２、及び画像読取装置３を有する。

図１に示す画像読取装置３は、通信回線４を介して端末２と接続する。画像読取装置３は、媒体等に形成された画像を読取ってその画像を示す画像データを生成し、端末２に送信する装置である。表示システム９が有する画像読取装置３は図１に示す通り１つであってもよいし、複数であってもよい。

図１に示す端末２は、画像読取装置３から送信された画像データが示す画像を表示画面に表示し、利用者にその画像を点検させる情報処理装置である。端末２の利用者を「点検者」ともいう。点検者とは、端末２を利用してこの端末２で表示される画像を点検する利用者である。端末２は、表示した画像を点検者が点検するときの、その点検者の注視点を検出するとともに、点検の結果に応じたその点検者の操作を受付ける。表示システム９が有する端末２は図１に示す通り、２つであってもよいし、１つであっても３つ以上であってもよい。

図１に示す表示装置１は、端末２の表示画面に表示された画像の履歴と、その表示画面に注がれた点検者の注視点の履歴と、点検者の操作の履歴とを取得して、点検者が点検した画像と、その点検時に注視した注視点とを重ねて表示する装置である。表示装置１の利用者を「検証者」ともいう。検証者とは、点検者が点検した画像、及びその点検の際に注視した注視点を、表示装置１を利用して確認し、その点検者の点検内容を検証する利用者である。表示システム９が有する表示装置１は図１に示す通り１つであってもよいし、複数であってもよい。

１−２．画像読取装置の構成
図２は、画像読取装置３の構成の一例を示す図である。画像読取装置３は、制御部３１、記憶部３２、通信部３３、表示部３４、操作部３５、及び読取部３６を有する。

制御部３１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を有し、ＣＰＵがＲＯＭや記憶部３２に記憶されているコンピュータプログラム（以下、単にプログラムという）を読み出して実行することにより画像読取装置３の各部を制御する。

記憶部３２は、ソリッドステートドライブ等の大容量の記憶手段であり、制御部３１のＣＰＵに読み込まれる各種のプログラムを記憶する。

通信部３３は、無線又は有線により通信回線４に接続する通信回路である。画像読取装置３は、通信部３３により通信回線４を介して端末２と情報を遣り取りする。

操作部３５は、各種の指示をするための操作ボタン等の操作子を備えており、利用者による操作を受付けてその操作内容に応じた信号を制御部３１に供給する。また、操作部３５は、利用者の指やスタイラスペン等の操作体を検知するタッチパネルを有していてもよい。

表示部３４は、液晶ディスプレイを有しており、制御部３１の制御の下、画像を表示する。表示部３４の液晶ディスプレイの上には、操作部３５の透明のタッチパネルが重ねて配置されてもよい。

なお、画像読取装置３は、例えば通信回線４を介して外部の操作端末から操作を受付けてもよい。外部の操作端末から操作を受付ける場合、画像読取装置３には操作部３５を有しなくてもよい。また、画像読取装置３は、表示部３４を有しなくてもよい。

読取部３６は、例えばイメージスキャナであり、原稿を光学的に読取って画像データを生成する。読取部３６には、積み重ねられた原稿を１枚ずつ読取位置に送り出す原稿送り装置が設けられていてもよい。

１−３．端末の構成
図３は、端末２の構成を示す図である。端末２は、制御部２１、記憶部２２、通信部２３、表示部２４、操作部２５、及び検出部２６を有する。

制御部２１は、ＣＰＵ、ＲＯＭ、ＲＡＭを有し、ＣＰＵがＲＯＭや記憶部２２に記憶されているプログラムを読み出して実行することにより端末２の各部を制御する。

記憶部２２は、ハードディスクドライブ等の大容量の記憶手段であり、制御部２１のＣＰＵに読み込まれる各種のプログラムを記憶する。

また、記憶部２２は、画像読取装置３から送られた画像を示す画像データを記憶するデータベースである画像ＤＢ２２１を有する。

図４は、画像ＤＢ２２１の例を示す図である。画像ＤＢ２２１は、複数の画像のそれぞれを示す画像データと、その画像を識別する識別情報である画像ＩＤとを対応付けて記憶する。なお、画像読取装置３が複数枚の原稿で構成される書類から、それらの原稿を１枚ずつ連続して読取ってそれぞれ画像データを生成した場合、生成した複数の画像データは１つの書類を構成するものとして関連付けられて画像ＤＢ２２１に記憶されてもよい。

通信部２３は、無線又は有線により通信回線４に接続する通信回路である。端末２は、通信部２３により通信回線４を介して表示装置１及び画像読取装置３と情報を遣り取りする。

操作部２５は、各種の指示をするための操作ボタン等の操作子を備えており、点検者による操作を受付けてその操作内容に応じた信号を制御部２１に供給する。また、操作部２５は、点検者の指やスタイラスペン等の操作体を検知するタッチパネルを有していてもよい。

表示部２４は、液晶ディスプレイ等の表示画面を有しており、制御部２１の制御の下、画像を表示する。表示部２４の表示画面の上には、操作部２５の透明のタッチパネルが重ねて配置されてもよい。

検出部２６は、点検者が注視している表示画面の位置、すなわち注視点を検出する。検出部２６は、点検者の瞳を撮像して注視点を検出してもよいし、マウスカーソル、レーザーポインタ、タッチペン等の操作で示される点を注視点と見做してもよい。検出部２６は、例えば、点検者が装着するメガネ型等のウェアラブル装置であってもよいし、点検者の瞳を撮像する固定されたカメラであってもよい。

検出部２６は、例えば１０ミリ秒ごと等、予め決められた周期で点検者の瞳を撮像して、それぞれ注視点を検出してもよい。検出部２６は、決められた速度以上で注視点が移動したときに、その注視点を検出してもよい。

１−４．表示装置の構成
図５は、表示装置１の構成を示す図である。表示装置１は、制御部１１、記憶部１２、通信部１３、表示部１４、及び操作部１５を有する。

制御部１１は、ＣＰＵ、ＲＯＭ、ＲＡＭを有し、ＣＰＵがＲＯＭや記憶部１２に記憶されているプログラムを読み出して実行することにより表示装置１の各部を制御する。

通信部１３は、無線又は有線により通信回線４に接続する通信回路である。表示装置１は、通信部１３により通信回線４を介して端末２と情報を遣り取りする。

操作部１５は、各種の指示をするための操作ボタン等の操作子を備えており、検証者による操作を受付けてその操作内容に応じた信号を制御部１１に供給する。また、操作部１５は、検証者の指やスタイラスペン等の操作体を検知するタッチパネルを有していてもよい。

表示部１４は、液晶ディスプレイ等の表示画面を有しており、制御部１１の制御の下、画像を表示する。表示部１４の表示画面の上には、操作部１５の透明のタッチパネルが重ねて配置されてもよい。

記憶部１２は、ハードディスクドライブ等の大容量の記憶手段であり、制御部１１のＣＰＵに読み込まれる各種のプログラムを記憶する。また、記憶部１２は、表示履歴ＤＢ１２１、注視点履歴ＤＢ１２２、及び操作履歴ＤＢ１２３を記憶する。また、記憶部１２は、図５に示す通り、点検項目ＤＢ１２４、及びガイド領域ＤＢ１２５を記憶してもよい。

図６は、表示履歴ＤＢ１２１の例を示す図である。表示履歴ＤＢ１２１は、端末２の表示画面に表示された画像の履歴を示す表示履歴を記憶するデータベースである。図６に示す通り、表示履歴ＤＢ１２１には、端末２の表示部２４の表示画面において表示された画像の識別情報を示す「画像ＩＤ」と、その画像が表示された位置を示す「表示位置」とが、その画像が表示された時刻を示す「時刻情報」に対応付けて記憶される。

図６に示す例で、例えば、表示履歴ＤＢ１２１には、時刻「２０１６／１１／１６ ０９：３８：２９」に、画像ＩＤが「ｄｏｃ００１」の画像が、表示画面の表示位置「ｘ１，ｙ１」に表示されたことが記憶されている。

なお、表示履歴ＤＢ１２１には、図６に示した情報のほか、例えば、画像の拡大率や向き、回転方向等が記憶されていてもよい。要するに、表示履歴ＤＢ１２１は、いつ、どの画素に画像のどの部分が端末２の表示画面において表示されていたか、が特定できる情報を記憶していればよい。

図７は、注視点履歴ＤＢ１２２の例を示す図である。注視点履歴ＤＢ１２２は、端末２の表示画面に注がれた点検者の注視点の履歴を示す注視点履歴を記憶するデータベースである。図７に示す通り、注視点履歴ＤＢ１２２には、端末２の検出部２６の検出結果に基づいて、点検者が表示部２４の表示画面のうち注視していた位置を示す「注視点位置」が、その注視していた時刻を示す「時刻情報」に対応付けて記憶される。

図７に示す例で、例えば、注視点履歴ＤＢ１２２には、時刻「２０１６／１１／１６ ０９：３９：１０」に、点検者が表示画面の注視点位置「ｘ３，ｙ３」を注視していたことが記憶されている。

図８は、操作履歴ＤＢ１２３の例を示す図である。操作履歴ＤＢ１２３は、端末２に対する点検者の操作の履歴を示す操作履歴を記憶するデータベースである。図８に示す通り、操作履歴ＤＢ１２３には、点検者が端末２の操作部２５を操作して行った点検の項目（点検項目）ごとの識別情報である「点検項目ＩＤ」と、その点検項目に対する点検者の点検の結果である「点検結果」とが、その点検が行われた時刻を示す「時刻情報」に対応付けて記憶される。

図８に示す例で、例えば、操作履歴ＤＢ１２３には、時刻「２０１６／１１／１６ ０９：３８：２８」に、点検者が点検項目ＩＤ「ｃｈｋ１０１」の項目に対して、点検結果「承認」を示す操作をしたことが記憶されている。

図９は、点検項目ＤＢ１２４の例を示す図である。点検項目ＤＢ１２４は、点検の項目ごとにその点検の内容と点検者が見て確認すべき画像とを対応付けて記憶するデータベースである。図９に示す通り、点検項目ＤＢ１２４には、点検の項目ごとの識別情報である「点検項目ＩＤ」と、その点検の対象となる画像の識別情報である「点検画像ＩＤ」と、その点検において比較すべき画像（比較画像）がある場合にその比較画像の識別情報である「比較画像ＩＤ」と、その点検の項目の名称である「点検項目名」と、その点検の項目で点検すべき内容とが対応付けて記憶されている。

図９に示す例で、例えば、点検項目ＤＢ１２４には、点検項目ＩＤ「ｃｈｋ１０４」で識別される点検において、点検者が点検項目名「金額」について、点検画像ＩＤ「ｄｏｃ００１」で識別される点検画像を、比較画像ＩＤ「ｄｏｃ００２」で識別される比較画像と比較して、点検内容「稟議金額と一致するか否か」という観点から点検をすべきであることが記憶されている。

図１０は、ガイド領域ＤＢ１２５の例を示す図である。ガイド領域ＤＢ１２５は、点検項目ごとに確認すべき点検画像及び、ある場合には比較画像について注視すべき領域を示す枠等のガイドを表示する位置（表示位置）と、そのガイドのデータ（ガイドデータ）とを、それぞれガイドの識別情報である「ガイドＩＤ」に対応付けて記憶するデータベースである。

図１０に示す例で、例えば、ガイド領域ＤＢ１２５には、ガイドＩＤ「ｇ２０５」で識別されるガイドは、点検項目ＩＤ「ｃｈｋ１０４」について案内をするガイドであって、画像ＩＤ「ｄｏｃ００１」で識別される画像に重なる表示位置「ｒｘ５，ｒｙ５」に領域を示すものであることが記憶されている。ガイドデータにはそのガイドの色や形状等が記憶されていてもよい。

点検項目ＤＢ１２４とガイド領域ＤＢ１２５とを組合せることで、点検の項目ごとにどの画像のどの領域を注視すべきであるかが把握される。この領域は、点検時に端末２に表示される画像に対して操作ごとに対応付けられた領域である。

１−５．表示装置の機能的構成
図１１は、表示装置１の機能的構成を示す図である。図１１に示す表示装置１の制御部１１は、記憶部１２に記憶されたプログラムを実行することにより、第１取得部１１１、第２取得部１１２、第３取得部１１３、抽出部１１５、及び表示制御部１１７として機能する。また、図１１に示す通り、制御部１１は、これらに加えて第４取得部１１４、及び評価部１１６として機能してもよい。

第１取得部１１１は、端末２の表示部２４の表示画面に表示された画像の履歴を示す表示履歴を取得する。第１取得部１１１は、通信部１３を介して端末２から表示履歴を取得し、記憶部１２の表示履歴ＤＢ１２１に記憶する。また、第１取得部１１１は、検証者による表示装置１の操作部１５（図５参照）に対する操作に応じて表示履歴ＤＢ１２１から表示履歴を取得する。なお、第１取得部１１１は、検証者の操作に依らず、例えば決められた時刻に表示履歴ＤＢ１２１から決められた表示履歴を取得してもよい。

第２取得部１１２は、端末２の表示部２４の表示画面に注がれた点検者の注視点の履歴を示す注視点履歴を取得する。第２取得部１１２は、通信部１３を介して端末２から注視点履歴を取得し、記憶部１２の注視点履歴ＤＢ１２２に記憶する。また、第２取得部１１２は、検証者の操作に応じて注視点履歴ＤＢ１２２から注視点履歴を取得する。

第３取得部１１３は、端末２の操作部２５に対する点検者の操作の履歴を示す操作履歴を取得する。第３取得部１１３は、通信部１３を介して端末２から操作履歴を取得し、記憶部１２の操作履歴ＤＢ１２３に記憶する。また、第３取得部１１３は、検証者の操作に応じて操作履歴ＤＢ１２３から操作履歴を取得する。

抽出部１１５は、第３取得部１１３が取得した操作履歴から点検の項目ごとに対応する操作を抽出する。

表示制御部１１７は、取得した表示履歴及び注視点履歴に基づいて、抽出された操作に応じた期間における注視点を示す図形を、この期間に端末２の表示部２４の表示画面に表示された画像に重ねて表示部１４に表示させる。

第４取得部１１４は、点検の対象となる画像において操作ごとに対応付けられた領域を示す領域情報を取得する。例えば、第４取得部１１４は、図１１に示す通り、点検項目ＤＢ１２４及びガイド領域ＤＢ１２５を参照して、点検の項目ごとにどの画像のどの領域を注視すべきであるかを示す領域情報を取得する。この場合、表示制御部１１７は、取得した領域情報により示される領域を、上述した操作に応じた期間に表示された画像に重ねて表示させる。

評価部１１６は、表示部１４により表示される領域と、注視点とに基づいて、点検者による点検を評価する。

例えば、評価部１１６は、注視点が領域の内側に存在した時間が長いほど、点検者による点検を高く評価してもよい。

なお、制御部１１が評価部１１６として機能する場合、表示制御部１１７は、評価部１１６による評価の結果に応じて画像を表示させてもよい。

例えば、表示制御部１１７は、評価部１１６による評価の結果が高評価である点検項目ほど、これに対応する画像を表示する順序を先にしてもよい。すなわち、表示制御部１１７は、評価部１１６による評価の結果に応じて検証者が検証する点検項目の順序を並べ替えてもよい。

また、例えば、表示制御部１１７は、評価部１１６による評価の結果が閾値を下回る低評価である場合には、その点検項目に対応する画像に警告を示す文字や図形を重ねて表示してもよい。また、表示制御部１１７は、評価部１１６による評価の結果が閾値を超える高評価である場合には、その点検項目に対応する画像の表示を行わなくてもよい。

図１２は、表示装置１により検証者に表示される画像の例を示す図である。表示装置１の制御部１１は、表示履歴、注視点履歴、及び操作履歴を取得し、操作履歴から点検項目ごとに対応する操作を抽出する。そして、制御部１１は、表示履歴に基づいてこの操作が行われた期間に端末２において表示されていた画像の画像ＩＤとその画像が表示されていた位置（表示位置）とを特定し、表示部１４において、この画像をこの表示位置に表示させる。

また、制御部１１は、注視点履歴に基づいて上述の操作が行われた期間に点検者が注視していた表示部２４の表示画面のおける注視点を特定し、この注視点を示す図形を表示部１４に表示させる。

また、制御部１１は、記憶部１２の点検項目ＤＢ１２４及びガイド領域ＤＢ１２５から点検項目ごとのガイドデータを取得し、上述した画像に重ねてこのガイドデータで示されるガイドを表示部１４に表示させる。

図１２に示す例では、端末２において点検項目ＩＤ「ｃｈｋ１０１」の点検が行われたときに表示されていた画像と注視点とが再現されている。図８に示す時刻「２０１６／１１／１６ ０９：４１：３０」に点検者は、点検項目ＩＤ「ｃｈｋ１０１」の点検結果として「承認」を操作している。このとき、表示位置「ｘ１，ｙ１」には画像ＩＤ「ｄｏｃ００１」の画像が、表示位置「ｘ２，ｙ２」には画像ＩＤ「ｄｏｃ００２」の画像が、それぞれ表示されている。そして、上述の「承認」の操作をする前の「２０１６／１１／１６ ０９：３９：１０」に点検者は、注視点「ｘ３，ｙ３」を見ている。

また、上述した点検項目ＩＤ「ｃｈｋ１０１」に対応するガイドの識別情報はガイドＩＤ「ｇ２０１」であり、表示位置「ｒｘ１，ｒｙ１」に表示される。

１−６．表示装置の動作
図１３は、表示装置１の動作の流れを説明するフロー図である。表示装置１の制御部１１は、操作履歴を取得して（ステップＳ１０１）、この操作履歴に抽出すべき操作が残っているか否か判断する（ステップＳ１０２）。抽出すべき操作が残っていないと判断する場合（ステップＳ１０２；ＮＯ）、制御部１１は処理を終了する。

一方、抽出すべき操作が操作履歴に残っていると判断する場合（ステップＳ１０２；ＹＥＳ）、制御部１１は、操作履歴から点検項目ごとの操作を抽出する（ステップＳ１０３）。

制御部１１は、表示履歴を取得して（ステップＳ１０４）、この表示履歴に基づき、上述した操作が行われた期間に端末２において表示されていた画像を表示部１４に表示させる（ステップＳ１０５）。

制御部１１は、記憶部１２から上述した操作が対象とする点検項目に対応付けられたガイドを取得し（ステップＳ１０６）、このガイドを表示部１４に表示させる（ステップＳ１０７）。

制御部１１は、注視点履歴を取得して（ステップＳ１０８）、上述した操作が行われた期間に点検者が注視していた注視点を表示部１４に表示させる（ステップＳ１０９）。

制御部１１は、上述した期間が終了するか否か判断し（ステップＳ１１０）、この期間が終了していないと判断する間は（ステップＳ１１０；ＮＯ）、ステップＳ１０９に戻って注視点を表示させる。これにより、この期間における注視点に動きがあれば、その動きが再現される。一方、この期間が終了したと判断すると（ステップＳ１１０；ＹＥＳ）、制御部１１は、ステップＳ１０２に制御を戻す。これにより操作履歴に未抽出の操作が残っている間は、それぞれの操作ごとに表示されていた画像と注視点の動き、及びガイドが表示される。

以上の動作により、表示システム９の表示装置１は、点検者が行った点検の項目ごとに、その点検の期間に表示されていた画像と点検者が注視していた位置を表示するので、検証者は、点検者による点検が正確に行われていたか否かの検証をしやすくなる。また、点検項目に応じたガイドを表示させる場合、検証者はこのガイドを参考にして検証する。

なお、上述した期間における点検者の注視点の動きを再現する必要がない場合、制御部１１は、ステップＳ１１０の判断を行わなくてもよい。この場合、表示部１４には、点検項目ごとの操作の期間に注視点が存在した位置が重ねて表示される。

また、表示装置１の制御部１１は、ガイドが表示される領域と注視点とに基づいて点検者の点検を評価し、評価結果を表示部１４に表示させてもよい。

図１４は、制御部１１が点検者の点検を高く評価する場合の表示の例を示す図である。点検項目ＩＤ「ｃｈｋ１０４」の点検は、図９に示す通り、金額が稟議金額に一致するか否かを点検するものである。この点検に対して図１０に示す通り、ガイドＩＤ「ｇ２０５」及び「ｇ２０６」のガイドが用意されている。これにより、図１４に示す通り、表示装置１の表示部１４には、ガイドＩＤ「ｇ２０５」及び「ｇ２０６」の２つのガイドが表示される。これら２つのガイドは、それぞれの内側に記載された金額が一致しているか否かを点検者が点検すべきであったことを検証者に伝える。

図１４に示す注視点は、上述した２つのガイドの外側よりも内側に多く含まれている。これは、点検が行われた期間にわたって、注視点がガイドの示す領域の内側に存在した時間が、外側に存在した時間よりも長いことを意味する。したがって、点検者はこの点検の際に注視すべき領域を注視していた可能性が高い。表示装置１は、このガイドと注視点との関係からこの点検を高く評価し、例えば、図１４に示す通り、「正しく点検された可能性が高いです」というコメントＣ１を表示する。

一方、図１５は、制御部１１が点検者の点検を低く評価する場合の表示の例を示す図である。図１５に示す注視点は、全てが上述した２つのガイドの外側に存在している。したがって、点検者はこの点検の際に注視すべき領域を注視していなかった可能性が高い。表示装置１は、このガイドと注視点との関係からこの点検を低く評価し、例えば、図１５に示す通り、「警告：点検が誤っている可能性があります」というコメントＣ２を表示する。

この表示を参考にすることにより検証者は、注視点がガイドの示す領域から閾値を超えて離れているときには、注視点がガイドの示す領域に含まれている場合に比べて注意して点検の検証を行うので、検証者の負担が軽減する。

２．変形例
以上が実施形態の説明であるが、この実施形態の内容は以下のように変形し得る。また、以下の変形例を組合せてもよい。

２−１．変形例１
上述した実施形態において、表示システム９の表示装置１は、端末２から通信回線４を介して直接、表示履歴、注視点履歴、及び操作履歴を取得していたが、他の装置を仲介してこれらを取得してもよい。例えば、図１に破線で示す通り、表示システム９は、表示装置１及び端末２に接続し、端末２における操作の履歴を蓄積して表示装置１に提供するサーバ装置５を有してもよい。

図１６は、サーバ装置５の構成の例を示す図である。図１６に示すサーバ装置５は、制御部５１、記憶部５２、及び通信部５３を有する。これらの機能はそれぞれ、上述した実施形態における表示装置１の、制御部１１、記憶部１２、及び通信部１３に相当する。

また、記憶部５２は、表示履歴ＤＢ５２１、注視点履歴ＤＢ５２２、及び操作履歴ＤＢ５２３を記憶する。これらはそれぞれ、上述した実施形態における記憶部１２に記憶される表示履歴ＤＢ１２１、注視点履歴ＤＢ１２２、及び操作履歴ＤＢ１２３に相当する。記憶部５２がこれらのデータベースを記憶する場合、表示装置１の記憶部１２は、これらのデータベースを記憶しなくてもよい。

図１７は、変形例１における表示装置１の機能的構成を示す図である。サーバ装置５の制御部５１は、記憶部５２に記憶されたプログラムを実行することにより、第１取得部５１１、第２取得部５１２、第３取得部５１３、及び抽出部５１５として機能する。これらは、図１１に示した第１取得部１１１、第２取得部１１２、第３取得部１１３、及び抽出部１１５の機能をサーバ装置５の制御部５１が実現するものである。

この場合、サーバ装置５の制御部５１は、取得した操作履歴から点検項目ごとの操作を抽出し、それぞれの操作に応じた期間において端末２が表示していた画像と、点検者が注視していた注視点とを、取得した表示履歴及び注視点履歴に基づいて特定して、これらを示す情報を表示装置１の制御部１１に送る。

表示装置１の制御部１１は、上述した期間において端末２で表示されていた画像に重ねて点検者の注視点を示す図形を表示部１４に表示させる表示制御部１１７として機能する。すなわち、この変形例では、実施形態に示した制御部１１の機能のうち、一部が制御部５１により実現される。

この変形例において、表示システム９は、表示画面を有する端末２、端末２と通信するサーバ装置５、及びサーバ装置５と通信する表示装置１を有し、サーバ装置５は、端末２の表示画面に表示された画像の履歴を示す表示履歴を取得する第１取得部５１１と、表示画面に注がれた点検者の注視点の履歴を示す注視点履歴を取得する第２取得部５１２と、端末２に対する点検者の操作の履歴を示す操作履歴を取得する第３取得部５１３と、操作履歴から操作を抽出する抽出部５１５と、を有する。また、この変形例において、表示装置１は、表示履歴及び注視点履歴に基づいて、抽出された操作に応じた期間における注視点を示す図形を、この期間に表示画面に表示された画像に重ねて表示部に表示させる表示制御部１１７を有する。

なお、制御部１１は、サーバ装置５に対して点検項目ごとの操作を示す情報と、その操作に対応する上述した画像及び注視点の情報を要求する要求部１１８として機能してもよい。この場合、抽出部５１５は、要求部１１８の要求に応じて、操作を抽出し、抽出した操作を示す情報を表示装置１に提供すればよい。

また、この場合にも、図１７に示す通り、制御部１１は、第４取得部１１４及び評価部１１６として機能してもよい。

２−２．変形例２
上述した実施形態において、領域情報を取得する第４取得部１１４として機能していたが、この第４取得部１１４としての機能はなくてもよい。

例えば、検証者が点検内容について熟知している場合等において、表示装置１は、ガイドを表示しなくてもよい。この場合、制御部１１は、第４取得部１１４として機能しなくてもよく、記憶部１２は、点検項目ＤＢ１２４及びガイド領域ＤＢ１２５を記憶しなくてもよい。そして、制御部１１は、図１３に示したステップＳ１０６及びステップＳ１０７を行わなくてもよい。

２−３．変形例３
上述した実施形態において、表示装置１の制御部１１は、第４取得部１１４により取得された領域情報により示される領域であって、表示部１４により表示される領域と、注視点とに基づいて、点検者による点検を評価する評価部１１６として機能していたが、評価部１１６としての機能はなくてもよい。

２−４．変形例４
上述した実施形態において、注視点が領域の内側に存在した時間が長いほど、点検者による点検を高く評価する評価部１１６の例を挙げたが、評価部１１６による評価の基準はこれに限られない。例えば、注視点が領域の内側に存在しているときの注視点の移動速度及び加速度が決められた条件を満たしている場合に、評価部１１６は、点検者による点検を高く評価してもよい。

なお、表示制御部１１７は、点検者の視線が注がれた時間に応じた態様で注視点を示す図形を表示させてもよい。例えば、点検者の視線が注がれた時間が長いほど、その視線が注がれた注視点を示す図形の色を濃くして表示部１４に表示させてもよい。

２−５．変形例５
上述した実施形態において、表示制御部１１７は、評価部１１６による評価の結果に応じて画像を表示させていたが、制御部１１は、画像の表示以外の方法で、評価部１１６による評価の結果に応じた情報を点検者に対して提示してもよい。例えば、表示装置１はスピーカ等の音声を出力する装置を有しており、制御部１１は、評価部１１６による評価の結果に応じた音声を出力させてもよい。

２−６．変形例６
上述した実施形態において、表示装置１と端末２とは別体であったが、端末２の機能を表示装置１が有していてもよい。

２−７．変形例７
表示装置１の制御部１１によって実行されるプログラムは、磁気テープや磁気ディスク等の磁気記録媒体、光ディスク等の光記録媒体、光磁気記録媒体、半導体メモリ等の、コンピュータ装置が読取り可能な記録媒体に記憶された状態で提供し得る。また、このプログラムを、インターネット等の通信回線経由でダウンロードさせることも可能である。なお、上記の制御部１１によって例示した制御手段としてはＣＰＵ以外にも種々の装置が適用される場合があり、例えば、専用のプロセッサ等が用いられる。

１…表示装置、１１…制御部、１１１…第１取得部、１１２…第２取得部、１１３…第３取得部、１１４…第４取得部、１１５…抽出部、１１６…評価部、１１７…表示制御部、１１８…要求部、１２…記憶部、１２１…表示履歴ＤＢ、１２２…注視点履歴ＤＢ、１２３…操作履歴ＤＢ、１２４…点検項目ＤＢ、１２５…ガイド領域ＤＢ、１３…通信部、１４…表示部、１５…操作部、２…端末、２１…制御部、２２…記憶部、２２１…画像ＤＢ、２３…通信部、２４…表示部、２５…操作部、２６…検出部、３…画像読取装置、３１…制御部、３２…記憶部、３３…通信部、３４…表示部、３５…操作部、３６…読取部、４…通信回線、５…サーバ装置、５１…制御部、５１１…第１取得部、５１２…第２取得部、５１３…第３取得部、５１５…抽出部、５２…記憶部、５２１…表示履歴ＤＢ、５２２…注視点履歴ＤＢ、５２３…操作履歴ＤＢ、５３…通信部、９…表示システム、Ｃ１…コメント、Ｃ２…コメント。

Claims (7)

1. 端末の表示画面に表示された画像の履歴を示す表示履歴を取得する第１取得部と、
   前記表示画面に注がれた点検者の注視点の履歴を示す注視点履歴を取得する第２取得部と、
   前記端末に対する前記点検者の操作の履歴を示す操作履歴を取得する第３取得部と、
   前記操作履歴から操作を抽出する抽出部と、
   前記表示履歴及び前記注視点履歴に基づいて、抽出された前記操作に応じた期間における前記注視点を示す図形を、該期間に前記表示画面に表示された前記画像に重ねて表示部に表示させる表示制御部と、
   を有する表示装置。
2. 前記画像において前記操作ごとに対応付けられた領域を示す領域情報を取得する第４取得部、を有し、
   前記表示制御部は、前記操作ごとに対応付けられた前記領域を、該操作に応じた期間に表示された前記画像に重ねて表示させる
   ことを特徴とする請求項１に記載の表示装置。
3. 前記表示部により表示される前記領域と、前記注視点とに基づいて、前記点検者による点検を評価する評価部、
   を有することを特徴とする請求項２に記載の表示装置。
4. 前記評価部は、前記注視点が前記領域の内側に存在した時間が長いほど前記点検を高く評価する
   ことを特徴とする請求項３に記載の表示装置。
5. 前記表示制御部は、前記評価部による評価の結果に応じて前記画像を表示させる
   ことを特徴とする請求項３又は４に記載の表示装置。
6. 表示画面を有する端末、該端末と通信するサーバ装置、及び該サーバ装置と通信する表示装置を有し、
   前記サーバ装置は、
   前記表示画面に表示された画像の履歴を示す表示履歴を取得する第１取得部と、
   前記表示画面に注がれた点検者の注視点の履歴を示す注視点履歴を取得する第２取得部と、
   前記端末に対する前記点検者の操作の履歴を示す操作履歴を取得する第３取得部と、
   前記操作履歴から操作を抽出する抽出部と、を有し、
   前記表示装置は、
   前記表示履歴及び前記注視点履歴に基づいて、抽出された前記操作に応じた期間における前記注視点を示す図形を、該期間に前記表示画面に表示された前記画像に重ねて表示部に表示させる表示制御部
   を有する表示システム。
7. 表示部を有するコンピュータを、
   端末の表示画面に表示された画像の履歴を示す表示履歴を取得する第１取得部と、
   前記表示画面に注がれた点検者の注視点の履歴を示す注視点履歴を取得する第２取得部と、
   前記端末に対する前記点検者の操作の履歴を示す操作履歴を取得する第３取得部と、
   前記操作履歴から操作を抽出する抽出部と、
   前記表示履歴及び前記注視点履歴に基づいて、抽出された前記操作に応じた期間における前記注視点を示す図形を、該期間に前記表示画面に表示された前記画像に重ねて前記表示部に表示させる表示制御部
   として機能させるためのプログラム。

Images