JP2010277340A

JP2010277340A - 入力装置及び入力方法

Info

Publication number: JP2010277340A
Application number: JP2009129203A
Authority: JP
Inventors: Shinmin Ko; 新民黄; Susumu Furushima; 進古島; Takuya Tanaka; 拓也田中
Original assignee: Panasonic Corp
Current assignee: Panasonic Corp
Priority date: 2009-05-28
Filing date: 2009-05-28
Publication date: 2010-12-09

Abstract

【課題】繰り返し微調整する必要をなくするとともに、表示画面上に表示される項目を選択するまでの時間を短くすること。
【解決手段】表示部１０７は、画像を表示する表示画面を有する。目標対象領域移動決定部１０４は、カメラ１０１により撮影した画像より、表示画面上における目線の位置を検出する。第１の目標対象選定部１０５は、表示画面上における、目線の位置を含む目標対象領域を決定するとともに、目標対象領域に表示される複数の対象物を選択する。第２の目標対象選定部１０６は、第１の目標対象選定部１０５により選択した複数の対象物のうち、目線の位置に対応する対象物を選択する。
【選択図】図１

Description

本発明は、例えば目の動きに応じて画面上のカーソルを移動させる入力装置及び入力方法に関する。

従来、ユーザの顔画像から眼球の黒目部分の動きを検出し、黒目部分の移動によりポインティングの制御を行う入力方法が知られている（例えば、特許文献１）。具体的には、ユーザの眼球の黒目部分の動きをポインティングデバイスの操作情報に置き換え、表示画面上の項目選択手段を黒目部分の動きに対応する方向に移動させるとともに、所定時間内に２回の瞬きを検出した場合に、項目選択手段の位置において選択確定処理を行う。

特開２００７−１０２４１５号公報

しかしながら、特許文献１においては、眼球の黒目部分の動きの検出誤差が大きいので、表示画面上に表示される項目を選択するまでに繰り返し微調整を行う必要があるという問題がある。特に、表示画面が小さい場合、または表示画面上の狭い領域内において項目選択手段を移動させる場合には、上記の問題は顕著である。

本発明はかかる点に鑑みてなされたものであり、繰り返し微調整する必要をなくすることができるとともに、表示画面上に表示される項目を選択するまでの時間を短くすることができる入力装置及び入力方法を提供することを目的とする。

本発明の入力装置は、撮影手段と、画像を表示する表示画面を有する表示手段と、前記撮影手段により撮影した画像より前記表示画面上における目線の位置を検出する位置検出手段と、前記表示画面上における、前記目線の位置を含む所定の領域を決定するとともに、前記領域に表示される複数の対象物を選択する第１の選択手段と、選択した前記複数の対象物のうち、前記目線の位置に対応する対象物を選択する第２の選択手段と、を具備する構成を採る。

本発明の入力方法は、表示画面を有する入力装置における入力方法であって、撮影した画像より前記表示画面上における目線の位置を検出するステップと、前記表示画面上における、前記目線の位置を含む所定の領域を決定するとともに、前記領域に表示される複数の対象物を選択するステップと、選択した前記複数の対象物のうち、前記目線の位置に対応する対象物を選択するステップと、を具備するようにした。

本発明によれば、繰り返し微調整する必要をなくすることができるとともに、表示画面上に表示される項目を選択するまでの時間を短くすることができる。

本発明の実施の形態１に係る入力装置の構成を示すブロック図本発明の実施の形態１に係る入力装置の動作を示すフロー図本発明の実施の形態１に係る眼球の黒目部分と表示画面との関係を示す図本発明の実施の形態２に係る入力装置の構成を示すブロック図本発明の実施の形態２に係る入力装置の動作を示すフロー図本発明の実施の形態２に係るユーザと表示画面との距離が遠い場合の眼球の黒目部分と表示画面との関係を示す図本発明の実施の形態２に係るユーザと表示画面との距離が近い場合の眼球の黒目部分と表示画面との関係を示す図本発明の実施の形態３に係る入力装置の構成を示すブロック図本発明の実施の形態３に係る入力装置の動作を示すフロー図本発明の実施の形態３に係るユーザの目線が上方向に移動した場合の眼球の黒目部分と表示画面との関係を示す図本発明の実施の形態３に係るユーザの目線が右上方向に移動した場合の眼球の黒目部分と表示画面との関係を示す図本発明の実施の形態３に係る目標対象領域形状決定部における目標対象領域の形状を決定する処理を説明する図

以下、本発明の実施の形態について、図面を参照して詳細に説明する。

（実施の形態１）
図１は、本発明の実施の形態１に係る入力装置１００の構成を示すブロック図である。

入力装置１００は、カメラ１０１と、画像処理部１０２と、移動検出部１０３と、目標対象領域移動決定部１０４と、第１の目標対象選定部１０５と、第２の目標対象選定部１０６と、表示部１０７とから主に構成される。また、入力装置１００は、例えば携帯電話等の通信端末装置に搭載される。以下に、各構成について詳細に説明する。

カメラ１０１は、入力装置１００のユーザの目に焦点を合わせて撮影する。そして、カメラ１０１は、撮影した画像の画像データを画像処理部１０２へ出力する。

画像処理部１０２は、カメラ１０１から入力した画像データより、眼球の黒目部分の大きさ及び位置を検出する。そして、画像処理部１０２は、検出結果を移動検出部１０３へ出力する。眼球の黒目部分の大きさ及び位置の検出は、既知の方法を用いる。

移動検出部１０３は、画像処理部１０２から入力する検出結果に基づいて、所定時間における眼球の黒目部分の位置の変化を検出し、眼球の黒目部分の移動方向及び所定時間における移動量を検出する。そして、移動検出部１０３は、検出結果を目標対象領域移動決定部１０４へ出力する。

目標対象領域移動決定部１０４は、移動検出部１０３から入力した検出結果における移動方向及び移動量を、後述する表示部１０７の表示画面上における目線の位置に変換して、表示部１０７の表示画面上における目線の位置の移動方向及び移動量を制御する。例えば、目標対象領域移動決定部１０４は、カメラ１０１において撮影したユーザの目の画像をマトリクス状にするとともに、表示部１０７の表示画面をマトリクス状にし、マトリクス状にした目の画像における黒目部分の位置座標を、マトリクス状にした表示画面の位置座標に変換する。そして、目標対象領域移動決定部１０４は、表示画面上における目線の位置情報を第１の目標対象選定部１０５及び第２の目標対象選定部１０６へ出力する。

第１の目標対象選定部１０５は、目標対象領域移動決定部１０４から入力した表示画面上における目線の位置情報に基づいて、表示画面上の目標対象領域として、目線の位置を含む目標対象領域を決定する。また、第１の目標対象選定部１０５は、目標対象領域移動決定部１０４から入力した表示画面上における目線の位置情報と現在の目標対象領域とを比較して、目線の位置が現在の目標対象領域内または現在の目標対象領域外であるか否かを判定する。また、第１の目標対象選定部１０５は、目線の位置が現在の目標対象領域外であると判定した場合には、移動後の表示画面上における目線の位置情報に基づいて、新たに目標対象領域を決定する。また、第１の目標対象選定部１０５は、決定した目標対象領域を第２の目標対象選定部１０６及び表示部１０７へ出力する。

第２の目標対象選定部１０６は、目標対象領域移動決定部１０４から入力した表示画面上における目線の位置情報に基づいて、第１の目標対象選定部１０５から入力した目標対象領域内の複数の目標対象のうち、目線の位置に対応する目標対象を選択する。また、第２の目標対象選定部１０６は、選択した目標対象を表示部１０７へ出力する。

表示部１０７は、図示しない表示画面を有し、目標対象領域移動決定部１０４の制御に従って、表示画面上における目線の位置にカーソルを表示する。また、表示部１０７は、第１の目標対象選定部１０５から入力した目標対象領域を表示画面上に表示する。また、表示部１０７は、第２の目標対象選定部１０６において選択した目標対象を表示する。以上で、入力装置１００の構成の説明を終える。

次に、入力装置１００の動作について、図２を用いて説明する。図２は、入力装置１００の動作を示すフロー図である。

最初に、入力装置１００は、ユーザ操作等により、目線に応じて表示画面上の目線の位置を移動させるモードである目線モードの動作を開始する（ステップＳＴ２０１）。

次に、カメラ１０１は、入力装置１００を操作するユーザの目にフォーカスする（ステップＳＴ２０２）。

次に、移動検出部１０３は、眼球の黒目部分の移動方向及び所定時間における移動量を検出し、目標対象領域移動決定部１０４は、移動検出部１０３による移動方向及び移動量の検出結果を、表示部１０７の表示画面上における目線の位置の移動方向及び移動量に変換する（ステップＳＴ２０３）。

次に、第１の目標対象選定部１０５は、目線の位置を中心とする目標対象領域を決定する。また、第１の目標対象選定部１０５は、現在の目標対象領域と表示画面上における目線の位置とを比較して、目線の位置が現在の目標対象領域外であるか否かを判定する（ステップＳＴ２０４）。なお、目標対象領域がまだ決定されていない初期の段階の際には、ステップＳＴ２０４の判定を飛ばしてステップＳＴ２０５に処理を進める。

目線の位置が現在の目標対象領域外である場合には（ステップＳＴ２０４：Ｙｅｓ）、第１の目標対象選定部１０５は、現在の目標対象領域を、表示画面上における目線の位置を中心とする新規な目標対象領域にする（ステップＳＴ２０５）。なお、ステップＳＴ２０５において、目標対象領域がまだ決定されていない初期の段階の際には、第１の目標対象選定部１０５は、目標対象領域を新規に決定する。

一方、目線の位置が現在の目標対象領域内である場合には（ステップＳＴ２０４：Ｎｏ）、入力装置１００は、ステップＳＴ２０５を飛ばしてステップＳＴ２０６に処理を進める。

また、第２の目標対象選定部１０６は、目標対象領域内の目標対象を選定する（ステップＳＴ２０６）。

次に、入力装置１００は、目線モードを停止するか否かを判定する（ステップＳＴ２０７）。

そして、入力装置１００は、目線モードを停止しない場合には（ステップＳＴ２０７：Ｎｏ）、ステップＳＴ２０３に処理を戻し、目線モードを停止する場合には（ステップＳＴ２０７：Ｙｅｓ）、目線モードを終了する（ステップＳＴ２０８）。

このように、本実施の形態では、目標対象の選択処理を、目標対象領域内に表示される目標対象の選択と目標対象領域内に表示される目標対象の中からの選択との二段階に分けて行う。また、ステップＳＴ２０４において、第１の目標対象選定部１０５は、目線の位置が現在の目標対象領域内あると判定した場合、新規に目標対象領域を決定することはない。この結果、目標対象領域内の複数の目標対象の中から目標対象を選択する第２の目標対象選定部１０６における処理のみを継続する。

図３は、眼球の黒目部分と表示画面との関係を示す図である。図３より、第１の目標対象選定部１０５は、表示画面＃３０２において、ユーザの眼球の黒目部分＃３０１の目線ｒ１に応じた目標対象領域ｅ１を決定する。目標対象領域ｅ１には、複数の目標対象＃３１１、＃３１２が含まれる。目標対象＃３１１、＃３１２は、例えばメニュー画面において各メニューを選択する画面上のスイッチである。また、第２の目標対象選定部１０６は、目標対象領域ｅ１内の目標対象＃３１１、＃３１２の何れにカーソルを移動させるかを決定する。この際、第２の目標対象選定部１０６は、目標対象領域ｅ１内の目標対象＃３１１及び目標対象＃３１２のみに着目して決定処理を行う。そして、第２の目標対象選定部１０６は、最終的に、目標対象＃３１１にカーソルを移動させることを決定し、目標対象＃３１１が選択される。

また、移動検出部１０３及び目標対象領域移動決定部１０４は、眼球の黒目部分＃３０１の目線ｒ１から目線ｒ２への移動を検出し、第１の目標対象選定部１０５は、現在のカーソルの位置と目標対象領域ｅ１とを比較して、現在のカーソルの位置が目標対象領域ｅ１外であることを検出する。この場合、第１の目標対象選定部１０５は、現在のカーソルの位置を中心とする新たな目標対象領域ｅ２を決定する。目標対象領域ｅ２には、複数の目標対象＃３１３、＃３１４、＃３１５が含まれる。目標対象＃３１３、＃３１４、＃３１５は、例えばメニュー画面において各メニューを選択する画面上のスイッチである。また、第２の目標対象選定部１０６は、目標対象領域ｅ２内の目標対象＃３１３、＃３１４、＃３１５の何れにカーソルを移動させるかを決定する。この際、第２の目標対象選定部１０６は、目標対象領域ｅ２内の目標対象＃３１３と、目標対象＃３１４と、目標対象＃３１５のみに着目して決定処理を行う。そして、第２の目標対象選定部１０６は、最終的に、目標対象＃３１５にカーソルを移動させることを決定し、目標対象＃３１５が選択される。

このように、本実施の形態によれば、目線の位置を中心とする目標対象領域を決定し、続けて目標対象領域内の目標対象のみに着目して目標対象を選択することにより、目標対象を選択するまでに、検出結果を繰り返し微調整する必要をなくすることができるとともに、表示画面上に表示される項目を選択するまでの時間を短くすることができる。また、本実施の形態によれば、目線の位置が目標対象領域外に移動しない限り、新規の目標対象領域を決定しないことより、黒目部分が僅かに動いた程度であれば、第２の目標対象選定部における選択処理のみを継続するので、選択処理に伴う処理負荷を軽減することができる。

（実施の形態２）
図４は、本発明の実施の形態２に係る入力装置４００の構成を示すブロック図である。

図４に示す入力装置４００は、図１に示す実施の形態１に係る入力装置１００に対して、距離検出部４０１及び目標対象領域サイズ決定部４０２を追加し、第１の目標対象選定部１０５の代わりに第１の目標対象選定部４０３を有する。なお、図４において、図１と同一構成である部分には同一の符号を付してその説明を省略する。

入力装置４００は、カメラ１０１と、画像処理部１０２と、移動検出部１０３と、目標対象領域移動決定部１０４と、第２の目標対象選定部１０６と、表示部１０７と、距離検出部４０１と、目標対象領域サイズ決定部４０２と、第１の目標対象選定部４０３とから主に構成される。また、入力装置４００は、例えば携帯電話等の通信端末装置に搭載される。

画像処理部１０２は、カメラ１０１から入力した画像データより、眼球の黒目部分の大きさ及び位置を検出する。そして、画像処理部１０２は、検出結果を移動検出部１０３及び距離検出部４０１へ出力する。

距離検出部４０１は、画像処理部１０２から入力した検出結果に基づいて、ユーザの目と表示画面との距離を検出する。そして、距離検出部４０１は、検出結果を目標対象領域サイズ決定部４０２へ出力する。

目標対象領域サイズ決定部４０２は、距離検出部４０１から入力した検出結果に基づいて、目標対象領域の表示画面上におけるサイズを決定する。具体的には、目標対象領域サイズ決定部４０２は、ユーザの目と表示画面との距離が近いほど小さい表示面積になるようなサイズを決定する。また、目標対象領域サイズ決定部４０２は、例えば、距離と目標対象領域の表示画面上の半径とを対応付けたサイズ選択用情報を記憶し、距離検出部４０１から入力した距離の検出結果を用いてサイズ選択用情報を参照することにより、目標対象領域の表示画面上の半径を選択してサイズを決定する。そして、目標対象領域サイズ決定部４０２は、決定したサイズを第１の目標対象選定部４０３に通知するとともに、決定したサイズの目標対象領域を表示画面上に表示するように表示部１０７を制御する。

目標対象領域移動決定部１０４は、移動検出部１０３から入力した検出結果における移動方向及び移動量を、表示部１０７の表示画面上における目線の位置に変換して、表示部１０７の表示画面上における目線の位置の移動方向及び移動量を制御する。そして、目標対象領域移動決定部１０４は、表示画面上における目線の位置情報を第１の目標対象選定部４０３及び第２の目標対象選定部１０６へ出力する。

第１の目標対象選定部４０３は、目標対象領域移動決定部１０４から入力した表示画面上における目線の位置情報、及び目標対象領域サイズ決定部４０２から通知された目標対象領域のサイズに基づいて、表示画面上の目標対象領域として、目線の位置を含む目標対象領域を決定する。また、第１の目標対象選定部４０３は、目標対象領域移動決定部１０４から入力した表示画面上における目線の位置情報と現在の目標対象領域とを比較して、目線の位置が現在の目標対象領域内または現在の目標対象領域外であるか否かを判定する。また、第１の目標対象選定部４０３は、目線の位置が現在の目標対象領域外であると判定した場合には、移動後の表示画面上における目線の位置情報及び目標対象領域サイズ決定部４０２から入力したサイズに基づいて、新たに目標対象領域を決定する。また、第１の目標対象選定部４０３は、決定した目標対象領域を第２の目標対象選定部１０６及び表示部１０７へ出力する。

第２の目標対象選定部１０６は、目標対象領域移動決定部１０４から入力した表示画面上における目線の位置情報に基づいて、第１の目標対象選定部４０３から入力した目標対象領域内の複数の目標対象のうち、目線の位置に対応する目標対象を選択する。また、第２の目標対象選定部１０６は、選択した目標対象を表示部１０７へ出力する。以上で、入力装置４００の構成の説明を終える。

次に、入力装置４００の動作について、図５を用いて説明する。図５は、入力装置４００の動作を示すフロー図である。

最初に、入力装置４００は、ユーザ操作等により、目線に応じて表示画面上の目線の位置を移動させるモードである目線モードの動作を開始する（ステップＳＴ５０１）。

次に、カメラ１０１は、入力装置４００を操作するユーザの目にフォーカスする（ステップＳＴ５０２）。

次に、距離検出部４０１は、ユーザの目と表示画面との距離を検出し、目標対象領域サイズ決定部４０２は、検出した距離に基づいて目標対象領域のサイズを決定する（ステップＳＴ５０３）。

次に、移動検出部１０３は、眼球の黒目部分の移動方向及び所定時間における移動量を検出し、目標対象領域移動決定部１０４は、移動検出部１０３による移動方向及び移動量の検出結果を、表示部１０７の表示画面上における目線の位置の移動方向及び移動量に変換する（ステップＳＴ５０４）。

次に、第１の目標対象選定部４０３は、現在の目標対象領域と目線の位置とを比較して、目線の位置が現在の目標対象領域外であるか否かを判定する（ステップＳＴ５０５）。なお、目標対象領域がまだ決定されていない初期の段階の際には、ステップＳＴ５０５の判定を飛ばしてステップＳＴ５０６に処理を進める。

目線の位置が現在の目標対象領域外である場合には（ステップＳＴ５０５：Ｙｅｓ）、目標対象領域移動決定部１０４は、現在の目標対象領域を、表示画面上における目線の位置を中心とする新規な目標対象領域にする（ステップＳＴ５０６）。なお、ステップＳＴ５０６において、目標対象領域がまだ決定されていない初期の段階の際には、目標対象領域を新規に決定する。

一方、目線の位置が現在の目標対象領域内である場合には（ステップＳＴ５０５：Ｎｏ）、入力装置４００は、ステップＳＴ５０６を飛ばしてステップＳＴ５０７に処理を進める。

また、第２の目標対象選定部１０６は、目標対象領域内の目標対象を選定する（ステップＳＴ５０７）。

次に、入力装置４００は、目線モードを停止するか否かを判定する（ステップＳＴ５０８）。

そして、入力装置４００は、目線モードを停止しない場合には（ステップＳＴ５０８：Ｎｏ）、ステップＳＴ５０３に処理を戻し、目線モードを停止する場合には（ステップＳＴ５０８：Ｙｅｓ）、目線モードを終了する（ステップＳＴ５０９）。以上で、入力装置４００の動作の説明を終える。

図６は、ユーザと表示画面との距離が遠い場合の眼球の黒目部分と表示画面との関係を示す図である。また、図７は、ユーザと表示画面との距離が近い場合の眼球の黒目部分と表示画面との関係を示す図である。なお、図３と同一部分には同一の符号を付して、その説明を省略する。

図６より、ユーザと表示画面との距離が遠い場合には、目標対象領域ｅ１１には目標対象＃３１１、＃３１２が含まれ、移動後の目標対象領域ｅ１２には目標対象＃３１３、＃３１４、＃３１５が含まれる。

一方、図７より、ユーザと表示画面との距離が図６に比べて近い場合には、一般に、眼球の黒目部分の移動距離及び移動量の検出誤差は図６よりも小さいと考えられる。従って、図７より、目標対象領域ｅ２１のサイズは、目標対象領域ｅ１１のサイズよりも小さくし、目標対象領域ｅ２２のサイズは、目標対象領域ｅ１２のサイズよりも小さくする。これにより、目標対象領域ｅ２１には目標対象＃３１１が含まれ、目標対象領域ｅ２２には目標対象＃３１４が含まれる。

即ち、ユーザの目と表示画面との距離が遠い場合には、眼球の黒目部分の移動量が小さいことにより、黒目部分の移動量の検出は困難であるので、目標対象領域のサイズを大きくして、極力微調整を行わないようにする。一方、ユーザの目と表示画面との距離が近い場合には、眼球の黒目部分の移動量が大きいことにより、黒目部分の移動量の検出が比較的容易であるので、目標対象領域のサイズを小さくして、第２の目標対象選定部１０６における選択処理を速く行えるようにする。

このように、本実施の形態によれば、上記の実施の形態１の効果に加えて、ユーザと表示画面との距離に応じて、目標対象領域のサイズを可変にすることにより、目標対象を容易に特定でき、使い勝手を向上させることができる。

（実施の形態３）
図８は、本発明の実施の形態３に係る入力装置８００の構成を示すブロック図である。

図８に示す入力装置８００は、図１に示す実施の形態１に係る入力装置１００に対して、距離検出部８０１及び目標対象領域サイズ決定部８０２を追加し、第１の目標対象選定部１０５の代わりに第１の目標対象選定部８０３を有する。なお、図８において、図１と同一構成である部分には同一の符号を付してその説明を省略する。

入力装置８００は、カメラ１０１と、画像処理部１０２と、移動検出部１０３と、目標対象領域移動決定部１０４と、第２の目標対象選定部１０６と、表示部１０７と、距離検出部８０１と、目標対象領域サイズ決定部８０２と、第１の目標対象選定部８０３とから主に構成される。また、入力装置８００は、例えば携帯電話等の通信端末装置に搭載される。

画像処理部１０２は、カメラ１０１から入力した画像データより、眼球の黒目部分の大きさ及び位置を検出する。そして、画像処理部１０２は、検出結果を移動検出部１０３及び距離検出部８０１へ出力する。

距離検出部８０１は、画像処理部１０２から入力した検出結果に基づいて、眼球の黒目部分と表示画面との距離を検出する。そして、距離検出部８０１は、検出結果を目標対象領域サイズ決定部８０２へ出力する。

移動検出部１０３は、画像処理部１０２から入力する検出結果に基づいて、所定時間における眼球の黒目部分の位置の変化を検出し、眼球の黒目部分の移動方向及び所定時間における移動量を検出する。そして、移動検出部１０３は、検出結果を目標対象領域移動決定部１０４及び目標対象領域サイズ決定部８０２へ出力する。

目標対象領域サイズ決定部８０２は、距離検出部８０１から入力した検出結果に基づいて、目標対象領域の表示画面上のサイズを決定するとともに、移動検出部１０３から入力した検出結果に基づいて、目標対象領域の表示画面上における形状を決定する。具体的には、目標対象領域サイズ決定部８０２は、目線の移動方向に延びた形状を決定する。ここで、目線の移動方向に延びた形状とは、目線の移動方向と平行な半径が目線の移動方向と垂直な半径よりも大きい楕円、目線の移動方向と平行な対角線が目線の移動方向と垂直な対角線よりも大きい菱形、または目線の移動方向と平行な辺の長さが目線の移動方向と垂直な辺の長さよりも大きい長方形等である。そして、目標対象領域サイズ決定部８０２は、決定したサイズ及び形状を第１の目標対象選定部８０３に通知するとともに、決定したサイズ及び形状の目標対象領域を表示画面上に表示するように表示部１０７を制御する。なお、目標対象領域のサイズを決定する具体的な処理は、上記の実施の形態２と同一であるので、その説明を省略する。

目標対象領域移動決定部１０４は、移動検出部１０３から入力した検出結果における移動方向及び移動量を、表示部１０７の表示画面上における目線の位置に変換して、表示部１０７の表示画面上における目線の位置の移動方向及び移動量を制御する。そして、目標対象領域移動決定部１０４は、表示画面上における目線の位置情報を第１の目標対象選定部８０３及び第２の目標対象選定部１０６へ出力する。

第１の目標対象選定部８０３は、目標対象領域移動決定部１０４から入力した表示画面上における目線の位置情報と、目標対象領域サイズ決定部８０２から入力した目標対象領域のサイズ及び形状とに基づいて、表示画面上の目標対象領域として、目線の位置を含む目標対象領域を決定する。また、第１の目標対象選定部８０３は、目標対象領域移動決定部１０４から入力した表示画面上における目線の位置情報と現在の目標対象領域とを比較して、目線の位置が現在の目標対象領域内または現在の目標対象領域外であるか否かを判定する。また、第１の目標対象選定部８０３は、目線の位置が現在の目標対象領域外であると判定した場合には、目標対象領域移動決定部１０４から入力した移動後の表示画面上における目線の位置情報と、目標対象領域サイズ決定部８０２から入力した目標対象領域の形状とに基づいて、新たに目標対象領域を決定する。また、第１の目標対象選定部８０３は、決定した目標対象領域を第２の目標対象選定部１０６及び表示部１０７へ出力する。

第２の目標対象選定部１０６は、目標対象領域移動決定部１０４から入力した表示画面上における目線の位置情報に基づいて、第１の目標対象選定部８０３から入力した目標対象領域内の複数の目標対象のうち、目線の位置に対応する目標対象を選択する。また、第２の目標対象選定部１０６は、選択した目標対象を表示部１０７へ出力する。以上で、入力装置８００の構成の説明を終える。

次に、入力装置８００の動作について、図９を用いて説明する。図９は、入力装置８００の動作を示すフロー図である。

最初に、入力装置８００は、ユーザ操作等により、目線に応じて表示画面上の目線の位置を移動させるモードである目線モードの動作を開始する（ステップＳＴ９０１）。

次に、カメラ１０１は、入力装置８００を操作するユーザの目にフォーカスする（ステップＳＴ９０２）。

次に、距離検出部８０１は、ユーザの目と表示画面との距離を検出し、目標対象領域サイズ決定部８０２は、検出した距離に基づいて目標対象領域のサイズを決定する。また、移動検出部１０３は、眼球の黒目部分の移動方向を検出し、目標対象領域サイズ決定部８０２は、検出した移動方向に基づいて目標対象領域の形状を決定する（ステップＳＴ９０３）。例えば、目標対象領域サイズ決定部８０２は、黒目部分の移動方向に基づいて、目標対象領域の互いに垂直な半径を調整することにより、目標対象領域の形状を決定する。なお、目標対象領域の形状を決定する方法の詳細については後述する。

次に、目標対象領域移動決定部１０４は、移動検出部１０３による移動方向及び移動量の検出結果を、表示部１０７の表示画面上における目線の位置の移動方向及び移動量に変換する（ステップＳＴ９０４）。

次に、第１の目標対象選定部８０３は、現在の目標対象領域と目線の位置とを比較して、目線の位置が現在の目標対象領域外であるか否かを判定する（ステップＳＴ９０５）。なお、目標対象領域がまだ決定されていない初期の段階の際には、ステップＳＴ９０５の判定を飛ばしてステップＳＴ９０６に処理を進める。

目線の位置が現在の目標対象領域外である場合には（ステップＳＴ９０５：Ｙｅｓ）、第１の目標対象選定部８０３は、現在の目標対象領域を、表示部１０７の表示画面上における目線の位置を中心とし、黒目部分の移動方向と同一方向における半径を、黒面部分の移動方向と垂直方向と同一方向における半径よりも大きくする新規な目標対象領域にする（ステップＳＴ９０６）。なお、ステップＳＴ９０６において、目標対象領域がまだ決定されていない初期の段階の際には、目標対象領域を新規に決定する。

一方、目線の位置が現在の目標対象領域内である場合には（ステップＳＴ９０５：Ｎｏ）、入力装置８００は、ステップＳＴ９０６を飛ばしてステップＳＴ９０７に処理を進める。

また、第２の目標対象選定部１０６は、目標対象領域内の目標対象を選定する（ステップＳＴ９０７）。

次に、入力装置８００は、目線モードを停止するか否かを判定する（ステップＳＴ９０８）。

そして、入力装置８００は、目線モードを停止しない場合には（ステップＳＴ９０８：Ｎｏ）、ステップＳＴ９０３に処理を戻し、目線モードを停止する場合には（ステップＳＴ９０８：Ｙｅｓ）、目線モードを終了する（ステップＳＴ９０９）。以上で、入力装置８００の動作の説明を終える。

図１０は、ユーザの目線が上方向に移動した場合の眼球の黒目部分と表示画面との関係を示す図である。また、図１１は、ユーザの目線が右上方向に移動した場合の眼球の黒目部分と表示画面との関係を示す図である。なお、図３と同一部分には同一の符号を付して、その説明を省略する。

図１０より、ユーザの目線が図１０の上方向に移動した場合には、目標対象領域ｅ３２を、図１０の上方向、即ちユーザの目線の移動方向と同一方向の半径が、図１０の横方向、即ちユーザの目線の移動方向と垂直方向の半径よりも大きい楕円形状にする。

一方、図１１より、ユーザの目線が図１１の右上方向に移動した場合には、目標対象領域ｅ４２を、図１１の右上方向、即ちユーザの目線の移動方向と同一方向の半径が、図１１の左上方向、即ちユーザの目線の移動方向と垂直方向の半径よりも大きい楕円形状にする。この場合、目標対象領域ｅ４２には、目標対象＃１１０１、＃１１０２、＃１１０３が含まれる。

即ち、目標対象領域をユーザの目線の移動方向に向けて延びる形状にすることにより、目標対象領域内のユーザの目線の移動方向に表示される目標対象の数を多くすることができる。

図１２は、目標対象領域サイズ決定部８０２における、目標対象領域の形状を決定する処理を説明する図である。図１２より、目標対象領域サイズ決定部８０２は、ユーザの目線の移動方向に応じて、目標対象領域ｅ５１の互いに垂直な半径ａと半径ｂとを可変にすることにより、目標対象領域ｅ５１の楕円形状を任意の形状に変形することができる。

このように、本実施の形態によれば、上記の実施の形態１の効果に加えて、ユーザの目線の移動方向に延びる形状の目標対象領域を決定することにより、検出誤差に伴う微調整の処理をさらに少なくすることができる。

なお、本実施の形態において、ユーザの目と表示画面との距離に応じて目標対象領域のサイズを変更したが、本実施の形態はこれに限らず、距離検出部８０１を削除することにより目標対象領域のサイズを変更せずに、目標対象領域の形状のみを変更するようにしても良い。

本発明にかかる入力装置及び入力方法は、例えば目の動きに応じて画面上のカーソルを移動させるのに好適である。

１００入力装置
１０１カメラ
１０２画像処理部
１０３移動検出部
１０４目標対象領域移動決定部
１０５第１の目標対象選定部
１０６第２の目標対象選定部
１０７表示部

Claims

撮影手段と、
画像を表示する表示画面を有する表示手段と、
前記撮影手段により撮影した画像より前記表示画面上における目線の位置を検出する位置検出手段と、
前記表示画面上における、前記目線の位置を含む所定の領域を決定するとともに、前記領域に表示される複数の対象物を選択する第１の選択手段と、
選択した前記複数の対象物のうち、前記目線の位置に対応する対象物を選択する第２の選択手段と、
を具備する入力装置。
前記第１の選択手段は、前記位置検出手段により検出した前記目線の位置が、前記領域内から前記領域外に移動した場合に、新たな前記領域を決定する請求項１記載の入力装置。
前記撮影手段により撮影する被写体と前記表示画面との距離を検出する距離検出手段をさらに具備し、
前記第１の選択手段は、前記距離が近いほど小さい面積の前記領域を決定する請求項１記載の入力装置。
前記位置検出手段は、前記目線の位置に加えて、前記目線の位置の移動方向を検出し、
前記第１の選択手段は、検出した前記移動方向に延びた形状の前記領域を決定する請求項１記載の入力装置。
請求項１記載の入力装置を具備する通信端末装置。
表示画面を有する入力装置における入力方法であって、
撮影した画像より前記表示画面上における目線の位置を検出するステップと、
前記表示画面上における、前記目線の位置を含む所定の領域を決定するとともに、前記領域に表示される複数の対象物を選択するステップと、
選択した前記複数の対象物のうち、前記目線の位置に対応する対象物を選択するステップと、
を具備する入力方法。