JP2018045373A - 情報処理プログラム、情報処理端末及び情報処理方法 - Google Patents

Abstract

【課題】ユーザが表示内容を確認したことを精度よく判定する。【解決手段】情報処理プログラムは、情報処理端末の画面に表示情報が表示されている際に、前記情報処理端末に搭載される第１の撮像装置を用いて前記画面に向けられている前記ユーザの視線方向を検知するとともに、前記情報処理端末に搭載される第２の撮像装置を用いて画像を撮影し、前記視線方向及び前記画像に基づいて、前記表示情報に関連する警告の出力制御を行う、処理を情報処理端末に実行させる。【選択図】図３

Description

本発明は、装着型の情報処理端末に関する。

ヘッドマウントディスプレイ（以下、ＨＭＤと称す）などの装着型の情報処理端末を使用して日常の点検業務をサポートする技術の開発が進められている。例えば、作業者は、設備や施設などの点検作業において、ＨＭＤの表示画面に表示される注意点や点検項目などを確認し、その後に点検作業を行う。これにより、作業者は、作業におけるミスを減らすことができる。

表示部がユーザにより観察可能な状況でない場合に、音により報知を行うことで、ユーザに表示部に表示されている情報を確認するように促すことができる情報入出力装置が知られている（例えば、特許文献１を参照）。

特開２０１４−１４５７３４号公報

ＨＭＤを装着したまま点検作業をすると、ユーザの視界は、表示画面で塞がれてしまう。そのため、ユーザは、表示画面を視界から外した位置に動かしてから作業をすることがある。しかし、表示画面を目視できない状態にして作業をした場合、表示画面を１度目視した後であっても、表示内容を確認するように促す警告がユーザに対して行われることがある。

本発明は１つの側面において、ユーザが表示内容を確認したことを精度よく判定することを目的とする。

情報処理プログラムは、情報処理端末の画面に表示情報が表示されている際に、前記情報処理端末に搭載される第１の撮像装置を用いて前記画面に向けられている前記ユーザの視線方向を検知するとともに、前記情報処理端末に搭載される第２の撮像装置を用いて画像を撮影し、前記視線方向及び前記画像に基づいて、前記表示情報に関連する警告の出力制御を行う、処理を情報処理端末に実行させる。

本発明によれば、ユーザが表示内容を確認したことを精度よく判定することができる。

本実施形態に係る情報処理端末の構成の例を説明する図である。 情報処理端末を装着した際の表示装置の位置の例を説明する図である。 本実施形態に係る情報処理端末が実行する処理の例を説明するブロック図である。 本実施形態に係る情報処理端末のハードウェア構成の例を説明する図である。 情報処理端末の警告要否判定処理に係る処理の例を説明するフローチャートである。 状態検出部の処理の例を説明するフローチャートである。 目視判定処理に係る処理の例を説明するフローチャートである。 表示装置の移動判定処理に係る処理の例を説明するフローチャートである。 別の実施形態に係る情報処理端末が実行する処理の例を説明するブロック図である。 別の実施形態に係る目視判定処理に係る処理の例を説明するフローチャートである。 別の実施形態に係る表示装置の移動判定処理に係る処理の例を説明するフローチャートである。

本実施形態に係る発明は、表示画面を目視できる状態からユーザが頭上に表示画面を移動させた場合に、第一のカメラと第二のカメラに写る画像の変化に着目している。

表示画面を目視できる状態からユーザが頭上に表示画面を移動させた場合に、第二のカメラで撮影される外界画像（ユーザの前方の画像）は下方向に移動する。そこで、本実施形態に係るＨＭＤは、外界画像が下方向に所定量以上移動した場合に、表示画面がユーザにより移動させられたと判定する。

表示画面に表示情報が表示されているときに、第一のカメラは、表示画面に向けられたユーザの目を撮影する。ＨＭＤは、撮影されたユーザの目の画像を用いて、ユーザが所定時間以上表示画面を目視した（確認した）か否かを判定する。ユーザが所定時間以上表示画面を目視している場合、ＨＭＤは、警告をユーザに出力しない。一方、ユーザが所定時間以上表示画面を目視していない場合、ＨＭＤは、警告をユーザに出力する。

そのため、本実施形態に係るＨＭＤは、ユーザが表示画面を目視した後に、意図的に表示画面を移動させたか否かを判定して、ユーザに対して余計な警告を出さない。

図１は、本実施形態に係る情報処理端末の構成の例を説明する図である。図２は、情報処理端末を装着した際の表示装置の位置の例を説明する図である。図１の情報処理端末１００は、表示装置１１０とユーザの頭部に装着され表示装置１１０を支持するヘッドバンド１２０と、を備えた単眼式のヘッドマウントディスプレイである。情報処理端末１００は、ユーザの頭部に装着し、ユーザの点検作業の補助に用いられる。表示装置１１０は、ユーザの右目、左目のどちらか一方で使用可能であればよい。

表示装置１１０ａは、矢印Ａ方向から見た表示装置１１０の例である。表示装置１１０ａは、ユーザの目の前に表示情報を表示するディスプレイ２２０と、ディスプレイ２２０に向けられたユーザの目を撮影する第一のカメラ２１０を備える。表示装置１１０ｂは、矢印Ｂ方向から見た表示装置１１０の例である。表示装置１１０ｂは、ユーザの前方を撮影する第二のカメラ２３０を備える。

表示装置１１０は、図２のようにユーザの目の前と頭上に移動可能である。表示装置１１０がユーザの目の前にある状態１５０ａにある場合、第一のカメラ２１０は、ユーザの目を撮影可能である。又、表示装置１１０がユーザの目の前にある状態１５０ａにある場合、第二のカメラ２３０は、ユーザの前方方向を撮影可能である。以下において、第二のカメラ２３０が撮影する方向を、外側や外界と称す。

頭上に表示装置１１０がある状態１５０ｂで、第一のカメラ２１０は、ユーザの方向を撮影するものの、ユーザの目を撮影できない。又、頭上に表示装置１１０がある状態１５０ｂで、第二のカメラ２３０は、ユーザの前方の上方を撮影する。

図３は、本実施形態に係る情報処理端末が実行する処理の例を説明するブロック図である。情報処理端末１００は、目領域撮影部３０１、視線方向検知部３０２、目視判定部３０３、目視時間算出部３０４、外界撮影部３０５、状態検出部３０６、移動判定部３０７、警告判定部３０８、警告部３０９、表示部３１０、記憶部３１１を備える。記憶部３１１は、目領域撮影部３０１や外界撮影部３０５で撮影された画像を保存可能なメモリである。

表示部３１０は、点検作業において、作業の進行に係る情報や作業内容を示す情報などの表示情報を表示する。目領域撮影部３０１は、第一のカメラ２１０である。表示部３１０に表示情報が表示されているときに、目領域撮影部３０１は、所定の時間間隔でユーザの方向を撮影する。目領域撮影部３０１は、表示装置１１０がユーザの目の前にある状態１５０ａにおいて、ユーザの目を撮影可能である。目領域撮影部３０１は、頭上に表示装置１１０がある状態１５０ｂにおいては、ユーザの目を撮影できない。

視線方向検知部３０２は、目領域撮影部３０１が撮影したユーザの目の画像に基づいて、視線方向を検知する。目領域撮影部３０１が、頭上に表示装置１１０がある状態１５０ｂで画像を撮影した場合は、視線方向検知部３０２は、視線方向を検知できない。

目視判定部３０３は、視線方向検知部３０２で検知した視線方向が表示部３１０に向いているか否かを判定する。目視時間算出部３０４は、目視判定部３０３で所定時間内にユーザの視線方向が表示部３１０に向いていると判定された時間を加算（積算していく）する。

外界撮影部３０５は、第二のカメラ２３０である。表示部３１０に表示情報が表示されているときに、外界撮影部３０５は、所定の時間間隔で外界の撮影をする。外界撮影部３０５は、表示装置１１０がユーザの目の前にある状態１５０ａにおいて、ユーザの前方方向を撮影可能である。外界撮影部３０５は、頭上に表示装置１１０がある状態１５０ｂにおいては、ユーザの前方上方を撮影する。

状態検出部３０６は、外界撮影部３０５が撮影した画像に道具や手が写っているかなどの情報に基づいて、ユーザが作業中であるか否かを判定する。又、状態検出部３０６は、外界画像が動いているか否かによって歩行中であるか否かを判定する。

移動判定部３０７は、表示装置１１０がユーザの目の前にある状態１５０ａから頭上に表示装置１１０がある状態１５０ｂに、表示装置１１０が移動されたか否かを判定する。具体的には、移動判定部３０７は、過去の所定フレーム数の外界画像から特徴点を抽出する。特徴点を抽出する対象となる外界画像のフレーム数は、適宜、変更可能である。その後、移動判定部３０７は、抽出した特徴点から過去の所定フレーム数での表示装置１１０の移動量をベクトル値で算出する。移動判定部３０７は、移動量のベクトル値が所定値以上である場合に、表示装置１１０がユーザの目の前にある状態１５０ａから頭上に表示装置１１０がある状態１５０ｂに、表示装置１１０が移動したと判定する。一方、移動判定部３０７は、移動量のベクトル値が所定値に達していない場合、表示装置１１０がユーザの目の前にある状態１５０ａから移動していないと判定する。

警告判定部３０８は、移動判定部３０７で表示装置１１０がユーザの目の前にある状態１５０ａから移動していないと判定された場合、警告を出力しないと判定する。警告判定部３０８は、移動判定部３０７で表示装置１１０がユーザの目の前にある状態１５０ａから移動していると判定された場合で、且つ、目視時間算出部３０４で算出された目視時間が所定の時間以上である場合、警告を出力しないと判定する。言い換えると、警告判定部３０８は、目視時間算出部３０４で算出された目視時間が所定の時間以上である場合には、既に、ユーザが表示装置１１０の表示情報を確認したと判定する。警告判定部３０８は、移動判定部３０７で表示装置１１０がユーザの目の前にある状態１５０ａから移動していると判定された場合で、且つ、目視時間算出部３０４で算出された目視時間が所定の時間よりも小さい場合、警告を出力すると判定する。言い換えると、警告判定部３０８は、目視時間算出部３０４で算出された目視時間が所定の時間よりも小さい場合には、ユーザが表示装置１１０の表示情報を確認していないと判定する。警告部３０９は、警告判定部３０８が警告を出力すると判定した場合に、警告を出力する。

このように、本実施形態に係る情報処理端末１００は、表示部３１０に表示情報が表示されているときに、外界撮影部３０５は、ユーザの前方の画像を撮影する。移動判定部３０７は、外界撮影部３０５で撮影された画像に基づいて、表示装置１１０がユーザの目の前にある状態１５０ａにあることを判定する。併せて、表示部３１０に表示情報が表示されているときに、目領域撮影部３０１は、ユーザの目を撮影する。表示装置１１０がユーザの目の前にある状態１５０ａにある場合、警告判定部３０８は、ユーザが所定時間以上表示部３１０を目視したか否かを判定し、警告を出力するか否かを判定する。

そのため、本実施形態に係る情報処理端末１００は、ユーザが表示部３１０を目視した後に、意図的に表示装置１１０を移動させたか否かを判定して、ユーザに対して余計な警告を出さない。

図４は、本実施形態に係る情報処理端末のハードウェア構成の例を説明する図である。情報処理端末１００は、プロセッサ１１、メモリ１２、入出力装置１３、通信装置１４、バス１５、第一のカメラ１６、第二のカメラ１７、警告装置１８を備える。

プロセッサ１１は、Central Processing Unit(CPU)などの任意の処理回路である。プロセッサ１１は、複数のCPUでもよい。プロセッサ１１は、情報処理端末１００における視線方向検知部３０２、目視判定部３０３、目視時間算出部３０４、状態検出部３０６、移動判定部３０７、警告判定部３０８として動作する。なお、プロセッサ１１は、メモリ１２に記憶されたプログラムを実行することができる。メモリ１２は、記憶部３１１として動作する。メモリ１２は、プロセッサ１１の動作により得られたデータや、プロセッサ１１の処理に用いられるデータも、適宜、記憶する。通信装置１４は、他の装置との通信に使用される。

入出力装置１３は、例えば、ボタン、キーボード、マウス等の入力装置として実現され、ディスプレイなどの出力装置として実現される。入出力装置１３の出力装置は、表示部３１０として動作する。警告装置１８は、音や振動などで警告を出力し、警告部３０９として動作する。第一のカメラ１６は、ユーザ方向を撮影する撮像装置であり、第一のカメラ２１０、目領域撮影部３０１として動作する。第二のカメラ１７は、ユーザの目の前に表示装置１１０がある状態１５０ａでは、ユーザの前方を撮影する。第二のカメラ１７は、ユーザの頭上に表示装置１１０がある状態１５０ｂでは、ユーザの前方情報を撮影する。第二のカメラ１７は、第二のカメラ２３０と外界撮影部３０５として動作する。バス１５は、プロセッサ１１、メモリ１２、入出力装置１３、通信装置１４、第一のカメラ１６、第二のカメラ１７、警告装置１８の間を相互にデータの受け渡しが行えるように接続する。

図５は、情報処理端末の警告要否判定処理に係る処理の例を説明するフローチャートである。目領域撮影部３０１は、ユーザの目の画像を撮影する（ステップＳ１０１）。視線方向検知部３０２は、目領域撮影部３０１が撮影したユーザの目の画像に基づいて、視線方向を検知する（ステップＳ１０２）。外界撮影部３０５は、外界（ユーザの前方、又は、ユーザの前方上方）の画像を撮影する（ステップＳ１０３）。状態検出部３０６は、ユーザが作業中であるか否かを判定する（ステップＳ１０４）。

目視時間算出部３０４は、目視判定部３０３でユーザの視線方向が表示部３１０に向いていると判定された時間を加算する（ステップＳ１０５）。移動判定部３０７は、表示装置１１０が目の前（図２の状態１５０ａ）から移動したか否かを判定する（ステップＳ１０６）。

表示装置１１０が目の前にある状態１５０ａから移動している場合（ステップＳ１０６でＹＥＳ）、警告判定部３０８は、目視時間が所定の時間以上であるか否かを判定する（ステップＳ１０７）。目視時間が所定の時間よりも少ない場合（ステップＳ１０７でＮＯ）、警告部３０９は、警告を出力する（ステップＳ１０８）。ステップＳ１０８の処理が終了した場合、もしくは時間が所定の時間以上の場合（ステップＳ１０７でＹＥＳ）、表示装置１１０が目の前にある状態１５０ａから移動していない場合（ステップＳ１０６でＮＯ）、情報処理端末１００の警告要否判定処理に係る処理を終了する。

なお、本実施形態に係る図５の警告要否判定処理は、表示部３１０に表示内容が表示されている間、所定の間隔で処理を行うものとする。

図６は、状態検出部の処理の例を説明するフローチャートである。図６のフローチャートの処理は、図５のステップＳ１０４の処理を詳しく説明したものである。状態検出部３０６は、外界撮影部３０５が撮影した画像に道具や手が写っているか否かを判定する（ステップＳ２０１）。外界撮影部３０５が撮影した画像に道具や手が写っている場合（ステップＳ２０１でＹＥＳ）、状態検出部３０６は、外界撮影部３０５が撮影した画像から、道具や手が動いているか否かを判定する（ステップＳ２０２）。ここで、状態検出部３０６は、外界撮影部３０５で撮影された過去の所定フレーム数の画像を用いて、道具や手が動いているかを判定する。道具や手が動いている場合（ステップＳ２０２でＹＥＳ）、状態検出部３０６は、ユーザが作業中であると判定する（ステップＳ２０３）。

外界撮影部３０５が撮影した画像に道具や手が写っていない場合（ステップＳ２０１でＮＯ）、状態検出部３０６は、外界撮影部３０５で撮影された過去の所定フレーム数の画像を用いて、静止しているか否かを判定する（ステップＳ２０４）。静止している場合（ステップＳ２０４でＹＥＳ）、状態検出部３０６は、ユーザが作業中でないと判定する（ステップＳ２０５）。同様に、道具や手が動いていない場合（ステップＳ２０２でＮＯ）、状態検出部３０６は、ユーザが作業中でないと判定する（ステップＳ２０５）。外界撮影部３０５で撮影された過去の所定フレーム数の画像において画像が静止していない場合（ステップＳ２０４でＮＯ）、状態検出部３０６は、ユーザが作業中であると判定する（ステップＳ２０３）。

ユーザが作業中（ステップＳ２０３）、又は、ユーザが作業中ではない（ステップＳ２０４）、などのユーザの状態が判定されると、状態検出部３０６の処理（図５のステップＳ１０４）は、終了する。

図７は、目視判定処理に係る処理の例を説明するフローチャートである。図７のフローチャートの処理は、図５のステップＳ１０５の処理を詳しく説明したものである。

目視判定部３０３は、視線方向が表示部３１０に向いているか否かを判定する（ステップＳ３０１）。視線方向が表示部３１０に向いている場合（ステップＳ３０１でＹＥＳ）、目視時間算出部３０４は、目視していた時間を積算する（ステップＳ３０２）。視線方向が表示部３１０に向いていない場合（ステップＳ３０１でＮＯ）、又は、ステップＳ３０２が終了すると、図７に係る目視判定処理は終了する。

図８は、表示装置の移動判定処理に係る処理の例を説明するフローチャートである。図８のフローチャートの処理は、図５のステップＳ１０６の処理を詳しく説明したものである。移動判定部３０７は、過去の所定フレーム数の外界画像から特徴点を抽出する（ステップＳ４０１）。移動判定部３０７は、抽出した特徴点から過去の所定フレーム数での表示装置１１０の移動量のベクトル値を算出する（ステップＳ４０２）。移動判定部３０７は、移動量のベクトル値が所定値以上か否かを判定する（ステップＳ４０３）。

移動量のベクトル値が所定値以上である場合（ステップＳ４０３でＹＥＳ）、移動判定部３０７は、表示装置１１０が状態１５０ａ（目の前）から移動したと判定する（ステップＳ４０４）。移動量のベクトル値が所定値よりも少ない場合（ステップＳ４０３でＮＯ）、移動判定部３０７は、表示装置１１０が状態１５０ａから移動していないと判定する（ステップＳ４０５）。ステップＳ４０４又はステップＳ４０５の処理が終了すると、移動判定部３０７は、表示装置１１０の移動判定処理を終了する。

このように、本実施形態に係る情報処理端末１００は、表示部３１０に表示情報が表示されているときに、外界撮影部３０５は、ユーザの前方の画像を撮影する。移動判定部３０７は、外界撮影部３０５で撮影された画像に基づいて、表示装置１１０がユーザの目の前にある状態１５０ａにあることを判定する。併せて、表示部３１０に表示情報が表示されているときに、目領域撮影部３０１は、ユーザの目を撮影する。表示装置１１０がユーザの目の前にある状態１５０ａにある場合、警告判定部３０８は、ユーザが所定時間以上表示部３１０を目視したか否かを判定し、警告を出力するか否かを判定する。

そのため、本実施形態に係る情報処理端末１００は、ユーザが表示部３１０を目視した後に、意図的に表示装置１１０を移動させたか否かを判定して、ユーザに対して余計な警告を出さない。

＜他の実施形態＞
図９は、別の実施形態に係る情報処理端末が実行する処理の例を説明するブロック図である。図９において、図３と同じものには、同じ番号を付す。図９は、図３のブロック図から更に、状態検出部３０６から目視判定部３０３への矢印と、視線方向検知部３０２から移動判定部３０７への矢印が加えられた図である。

別の実施形態に係る目視判定部３０３は、外界画像に基づいてユーザが作業中であるか否かの状態情報を状態検出部３０６から取得する。目視時間算出部３０４は、ユーザの視線方向が表示部３１０に向いている場合であっても、状態検出部３０６がユーザは作業中でないと判定した場合に、目視時間を積算しない。これにより、作業中以外の時間において単に視線が表示部３１０に向いているだけの時間を、目視時間から除外することができ、ユーザが表示内容を確認したことを精度よく判定できる。

別の実施形態に係る移動判定部３０７は、外界画像による表示装置１１０の移動判定から、更に、目領域撮影部３０１で撮影された画像を用いて、表示装置１１０が目の前にある状態１５０ａから移動したか否かを判定する。移動判定部３０７は、目領撮影部３０１で撮影された画像に、目が写っているか否かを判定する。目が画像に写っている場合に、移動判定部３０７は、表示装置１１０が目の前にある状態１５０ａから移動していないと判定する。一方、目が画像に写っていない場合に、移動判定部３０７は、表示装置１１０が目の前にある状態１５０ａから移動したと判定する。これにより、表示装置１１０が目の前にあるか頭上にあるかの位置判定をより正確に行うことができる。

図１０は、別の実施形態に係る目視判定処理に係る処理の例を説明するフローチャートである。別の実施形態における情報処理端末１００は、図１０のフローチャートに係る処理を、図５のステップＳ１０５の処理で実行する。

目視判定部３０３は、視線方向が表示部３１０に向いているか否かを判定する（ステップＳ５０１）。視線方向が表示部３１０に向いている場合（ステップＳ５０１でＹＥＳ）、目視判定部３０３は、状態検出部３０６から取得したユーザが作業中であるか否かを示す情報が、作業中を示す情報であるか否かを判定する（ステップＳ５０２）。ユーザが作業中であることを示す情報を状態検出部３０６から取得した場合（ステップＳ５０２でＹＥＳ）、目視時間算出部３０４は、目視していた時間を積算する（ステップＳ５０３）。

視線方向が表示部３１０に向いていない場合（ステップＳ５０１でＮＯ）、及び、ユーザが作業中でないことを示す情報を取得している場合（ステップＳ５０２でＮＯ）、目視時間算出部３０４は、目視判定処理に係る処理を終了する。

図１１は、別の実施形態に係る表示装置の移動判定処理に係る処理の例を説明するフローチャートである。別の実施形態における情報処理端末１００は、図１１のフローチャートに係る処理を、図５のステップＳ１０６の処理で実行する。

移動判定部３０７は、目領域撮影部３０１で撮影された過去の所定フレーム数の画像に目が写っているか否かを判定する（ステップＳ６０１）。目領域撮影部３０１で撮影された過去の所定フレーム数の画像に目が写っている場合（ステップＳ６０１でＹＥＳ）、移動判定部３０７は、表示装置１１０が目の前にある状態１５０ａから移動していないと判定する（ステップＳ６０２）。目領域撮影部３０１で撮影された過去の所定フレーム数の画像に目が写っていない場合（ステップＳ６０１でＮＯ）、移動判定部３０７は、表示装置１１０が目の前にある状態１５０ａから移動したと判定する（ステップＳ６０３）。

なお、移動判定部３０７は、外界撮影部３０５で撮影された画像と、目領域撮影部３０１のどちらか一方により、表示装置１１０が目の前にある状態１５０ａから移動したかを判定してもよい。又、移動判定部３０７は、外界撮影部３０５で撮影された画像と、目領域撮影部３０１の両方を表示装置１１０が目の前にある状態１５０ａから移動したかの判定に用いてもよい。

なお、警告判定部３０８は、ユーザが表示部３１０を確認していないと判定した場合であっても、以前に同一の表示内容をユーザが確認していた場合には、警告を出力しないと判定してもよい。

又、警告判定部３０８は、警告を出力しないと判定した場合であっても、頭上に表示装置１１０がある状態で表示内容が変化した場合に、警告を出力すると判定してもよい。

以上記載した各実施例を含む実施形態に関し、さらに以下の付記を開示する。
（付記１）
情報処理端末の画面に表示情報が表示されている際に、前記情報処理端末に搭載される第１の撮像装置を用いて前記画面に向けられている前記ユーザの視線方向を検知するとともに、前記情報処理端末に搭載される第２の撮像装置を用いて画像を撮影し、
前記視線方向及び前記画像に基づいて、前記表示内容に関連する警告の出力制御を行う、処理を情報処理端末に実行させる
ことを特徴とする情報処理プログラム。
（付記２）
前記第１の撮像装置で検知された前記視線方向が前記画面に向けられている時間である目視時間を積算し、
前記目視時間が所定の時間以上である場合に、前記ユーザが前記画面に表示されている前記表示情報を確認したと判定する
ことを特徴とする付記１に記載の情報処理プログラム。
（付記３）
前記第２の撮像装置で撮影された前記画像から複数の特徴点を抽出し、
前記表示装置の移動量のベクトル値が所定値よりも小さい場合に、前記ユーザが作業状態にあると判定する
ことを特徴とする付記１に記載の情報処理プログラム。
（付記４）
前記第２の撮像装置で撮影された前記画像から複数の特徴点を抽出し、
前記特徴点の移動量のベクトル値が所定値以上の場合に、前記画面が、前記ユーザが目視可能な位置にないと判定する
ことを特徴とする付記１に記載の情報処理プログラム。
（付記５）
前記第１の撮像装置で検知された前記視線方向が前記画面に向けられている時間である目視時間を積算し、
前記目視時間が所定の時間よりも小さい場合に、前記ユーザが前記画面に表示されている前記表示情報を確認していないと判定する、
ことを特徴とする付記１に記載の情報処理プログラム。
（付記６）
前記ユーザが前記表示内容を確認していない場合にも、以前に前記表示内容と同一の表示内容を前記ユーザが確認していた場合は、前記警告を出力しない
ことを特徴とする付記１に記載の情報処理プログラム。
（付記７）
前記画面が前記ユーザの目視可能な位置にない状態で、前記表示内容が変化した場合に、警告を出力する、
ことを特徴とする付記１に記載の情報処理プログラム。
（付記８）
表示情報を表示する表示部と、
第１の撮像装置と、
前記表示部に表示情報が表示されている際に、前記第１の撮像装置を用いて前記表示部に向けられている前記ユーザの視線方向を検知する検知部と、
画像を撮影する第２の撮像装置と、
前記視線方向及び前記画像に基づいて、前記表示情報に関連する警告の出力制御を行う警告部と、
を備えることを特徴とする情報処理端末。
（付記９）
検知された前記視線方向が前記表示部に向けられている時間である目視時間を積算して算出する算出部と、
前記目視時間が所定の時間以上である場合に、前記ユーザが前記表示部に表示されている前記表示情報を確認したと判定する判定部と、を更に備える
ことを特徴とする付記８に記載の情報処理端末。
（付記１０）
前記画像から複数の特徴点を抽出し、前記特徴点の移動量のベクトル値が所定値よりも小さい場合に、前記ユーザが作業状態にあると判定する検出部を、更に備える、
ことを特徴とする付記８に記載の情報処理端末。
（付記１１）
前記画像から複数の特徴点を抽出し、前記特徴点の移動量のベクトル値が所定値以上の場合に、前記表示部が、前記ユーザが目視可能な位置にないと判定する検出部を、更に備える、
ことを特徴とする付記８に記載の情報処理端末。
（付記１２）
検知された前記視線方向が前記表示部に向けられている時間である目視時間を積算する算出部と、
前記目視時間が所定の時間よりも小さい場合に、前記ユーザが前記表示部に表示されている前記表示情報を確認していないと判定する判定部と、を更に備える
ことを特徴とする付記８に記載の情報処理端末。
（付記１３）
情報処理端末の画面に表示情報が表示されている際に、前記情報処理端末に搭載される第１の撮像装置を用いて前記画面に向けられている前記ユーザの視線方向を検知するとともに、前記情報処理端末に搭載される第２の撮像装置を用いて画像を撮影し、
前記視線方向及び前記画像に基づいて、前記表示情報に関連する警告の出力制御を行う
ことを特徴とする情報処理方法。
（付記１４）
前記第１の撮像装置で検知された前記視線方向が前記画面に向けられている時間である目視時間を積算し、
前記目視時間が所定の時間以上である場合に、前記ユーザが前記画面に表示されている前記表示情報を確認したと判定する
ことを特徴とする付記１３に記載の情報処理方法。
（付記１５）
前記第２の撮像装置で撮影された前記画像から複数の特徴点を抽出し、
前記表示装置の移動量のベクトル値が所定値よりも小さい場合に、前記ユーザが作業状態にあると判定する
ことを特徴とする付記１３に記載の情報処理方法。
（付記１６）
前記第２の撮像装置で撮影された前記画像から複数の特徴点を抽出し、
前記特徴点の移動量のベクトル値が所定値以上の場合に、前記画面が、前記ユーザが目視可能な位置にないと判定する
ことを特徴とする付記１３に記載の情報処理方法。
（付記１７）
前記第１の撮像装置で検知された前記視線方向が前記画面に向けられている時間である目視時間を積算し、
前記目視時間が所定の時間よりも小さい場合に、前記ユーザが前記画面に表示されている前記表示情報を確認していないと判定する、
ことを特徴とする付記１３に記載の情報処理方法。

１００ 情報処理端末
１１０ 表示装置
１２０ ヘッドバンド
２１０ 第一のカメラ
２２０ ディスプレイ
２３０ 第二のカメラ
３０１ 目領域撮影部
３０２ 視線方向検知部
３０３ 目視判定部
３０４ 目視時間算出部
３０５ 外界撮影部
３０６ 状態検出部
３０７ 移動判定部
３０８ 警告判定部
３０９ 警告部
３１０ 表示部
３１１ 記憶部

Claims (9)

1. 情報処理端末の画面に表示情報が表示されている際に、前記情報処理端末に搭載される第１の撮像装置を用いて前記画面に向けられている前記ユーザの視線方向を検知するとともに、前記情報処理端末に搭載される第２の撮像装置を用いて画像を撮影し、
   前記視線方向及び前記画像に基づいて、前記表示情報に関連する警告の出力制御を行う、処理を情報処理端末に実行させる
   ことを特徴とする情報処理プログラム。
2. 前記第１の撮像装置を用いて検知された前記視線方向が前記画面に向けられている時間である目視時間を積算し、
   前記目視時間が所定の時間以上である場合に、前記ユーザが前記画面に表示されている前記表示情報を確認したと判定する
   ことを特徴とする請求項１に記載の情報処理プログラム。
3. 前記第２の撮像装置で撮影された前記画像から複数の特徴点を抽出し、
   前記表示装置の移動量のベクトル値が所定値よりも小さい場合に、前記ユーザが作業状態にあると判定する
   ことを特徴とする請求項１に記載の情報処理プログラム。
4. 前記第２の撮像装置で撮影された前記画像から複数の特徴点を抽出し、
   前記特徴点の移動量のベクトル値が所定値以上の場合に、前記画面が、前記ユーザが目視可能な位置にないと判定する
   ことを特徴とする請求項１に記載の情報処理プログラム。
5. 前記第１の撮像装置で検知された前記視線方向が前記画面に向けられている時間である目視時間を積算し、
   前記目視時間が所定の時間よりも小さい場合に、前記ユーザが前記画面に表示されている前記表示情報を確認していないと判定する、
   ことを特徴とする請求項１に記載の情報処理プログラム。
6. 前記ユーザが前記表示内容を確認していない場合にも、以前に前記表示内容と同一の表示内容を前記ユーザが確認していた場合は、前記警告を出力しない
   ことを特徴とする請求項１に記載の情報処理プログラム。
7. 前記画面が前記ユーザの目視可能な位置にない状態で、前記表示内容が変化した場合に、警告を出力する、
   ことを特徴とする請求項１に記載の情報処理プログラム。
8. 表示情報を表示する表示部と、
   第１の撮像装置と、
   前記表示部に表示情報が表示されている際に、前記第１の撮像装置を用いて前記表示部に向けられている前記ユーザの視線方向を検知する検知部と、
   画像を撮影する第２の撮像装置と、
   前記視線方向及び前記画像に基づいて、前記表示情報に関連する警告の出力制御を行う警告部と、
   を備えることを特徴とする情報処理端末。
9. 情報処理端末の画面に表示情報が表示されている際に、前記情報処理端末に搭載される第１の撮像装置を用いて前記画面に向けられている前記ユーザの視線方向を検知するとともに、前記情報処理端末に搭載される第２の撮像装置を用いて画像を撮影し、
   前記視線方向及び前記画像に基づいて、前記表示情報に関連する警告の出力制御を行う
   ことを特徴とする情報処理方法。