JP2001100903A - 視線検出機能搭載装置 - Google Patents
視線検出機能搭載装置Info
- Publication number
- JP2001100903A JP2001100903A JP27496599A JP27496599A JP2001100903A JP 2001100903 A JP2001100903 A JP 2001100903A JP 27496599 A JP27496599 A JP 27496599A JP 27496599 A JP27496599 A JP 27496599A JP 2001100903 A JP2001100903 A JP 2001100903A
- Authority
- JP
- Japan
- Prior art keywords
- cursor
- line
- sight
- user
- detecting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
(57)【要約】
【課題】 ユーザのジェスチャ、音声、操作、視線、瞬
きの少なくとも一つの情報に基づき、視線検出の機能を
中断、再開することで、ユーザの意思に従ってカーソル
を制御するインタフェースを備えた装置を提供するこ
と。 【解決手段】 利用者の視線方向を検出する視線検出手
段１０と、検出した視線位置にカーソルを移動させるか
させないかのカーソル追従モードを管理するカーソル管
理手段１６と、検出された視線位置にカーソルを移動さ
せるカーソル制御部１２と、を備える。
きの少なくとも一つの情報に基づき、視線検出の機能を
中断、再開することで、ユーザの意思に従ってカーソル
を制御するインタフェースを備えた装置を提供するこ
と。 【解決手段】 利用者の視線方向を検出する視線検出手
段１０と、検出した視線位置にカーソルを移動させるか
させないかのカーソル追従モードを管理するカーソル管
理手段１６と、検出された視線位置にカーソルを移動さ
せるカーソル制御部１２と、を備える。
Description
【０００１】
【発明の属する技術分野】本発明は、視線検出機能を搭
載する装置において、ユーザの指示に基づいて視線検出
機能の中断、再開を制御することで、ユーザの意思に従
ってカーソルを制御することができる視線検出機能搭載
装置に関する。
載する装置において、ユーザの指示に基づいて視線検出
機能の中断、再開を制御することで、ユーザの意思に従
ってカーソルを制御することができる視線検出機能搭載
装置に関する。
【０００２】
【従来の技術】従来、視線検出装置を用いて検出された
視線位置にカーソルを移動させる方法が、例えば、特開
平５−２９８０１５号、特開平７−２８５８９号に開示
されている。視線を検出する方法としては、カメラで取
り込んだユーザの顔の映像からディスプレイ上の視線の
位置を検出する方法、または、眼球に照射した近赤外線
光の反射をとらえ、瞳孔とその反射角度とにより算出さ
れる眼球の方向から視線の方向を検出する方法、または
ゴーグル型の眼球測定装置を顔に装着したりする方法が
ある。
視線位置にカーソルを移動させる方法が、例えば、特開
平５−２９８０１５号、特開平７−２８５８９号に開示
されている。視線を検出する方法としては、カメラで取
り込んだユーザの顔の映像からディスプレイ上の視線の
位置を検出する方法、または、眼球に照射した近赤外線
光の反射をとらえ、瞳孔とその反射角度とにより算出さ
れる眼球の方向から視線の方向を検出する方法、または
ゴーグル型の眼球測定装置を顔に装着したりする方法が
ある。
【０００３】
【発明が解決しようとする課題】しかし、従来の視線検
出システムでは、これらの装置を使用しているときは常
に視線検出機能を作動させ、検出された視線の位置にカ
ーソルが移動することになる。つまり、ユーザの注視位
置に絶えずカーソルが移動することになり、例えば、文
章を読んでいるときには目障りとなる。また、モニタ上
のボタンやアイコン等の選択を注視時間で制御するイン
タフェースの場合は、ただ単にボタンやアイコンを眺め
ることができない。
出システムでは、これらの装置を使用しているときは常
に視線検出機能を作動させ、検出された視線の位置にカ
ーソルが移動することになる。つまり、ユーザの注視位
置に絶えずカーソルが移動することになり、例えば、文
章を読んでいるときには目障りとなる。また、モニタ上
のボタンやアイコン等の選択を注視時間で制御するイン
タフェースの場合は、ただ単にボタンやアイコンを眺め
ることができない。
【０００４】そこで、本発明では、ユーザのジェスチ
ャ、音声、操作、視線、瞬きの少なくとも一つの情報に
基づき、視線検出の機能を中断、再開することで、ユー
ザの意思に従ってカーソルを制御する機能を備えた装置
を提供することを目的とするものである。
ャ、音声、操作、視線、瞬きの少なくとも一つの情報に
基づき、視線検出の機能を中断、再開することで、ユー
ザの意思に従ってカーソルを制御する機能を備えた装置
を提供することを目的とするものである。
【０００５】
【課題を解決するための手段】本発明は、上記問題を解
決するためになされたものであって、第１には、利用者
の視線方向を検出する視線検出手段と、前記視線検出手
段によって検出された視線位置に基づき表示装置上のカ
ーソルの位置制御を行うカーソル制御手段と、カーソル
制御手段の制御モードを管理するカーソル管理手段とを
有することを特徴とする。
決するためになされたものであって、第１には、利用者
の視線方向を検出する視線検出手段と、前記視線検出手
段によって検出された視線位置に基づき表示装置上のカ
ーソルの位置制御を行うカーソル制御手段と、カーソル
制御手段の制御モードを管理するカーソル管理手段とを
有することを特徴とする。
【０００６】この第１の構成の視線検出機能搭載装置に
於いては、利用者の視線方向を検出し、カーソル制御手
段の制御モードに従い検出された視線位置にカーソルを
制御すると共に、カーソルを視線に追従させるかさせな
いかをカーソル制御モードを管理することにより管理す
ることができる。
於いては、利用者の視線方向を検出し、カーソル制御手
段の制御モードに従い検出された視線位置にカーソルを
制御すると共に、カーソルを視線に追従させるかさせな
いかをカーソル制御モードを管理することにより管理す
ることができる。
【０００７】また、第２には、上記第１に記載の構成に
於いて、前記カーソル管理手段は、前記利用者のジェス
チャ、音声、視線、操作の少なくとも一つの情報に基づ
いて、前記カーソル制御手段の制御モードを管理するこ
とを特徴とする。
於いて、前記カーソル管理手段は、前記利用者のジェス
チャ、音声、視線、操作の少なくとも一つの情報に基づ
いて、前記カーソル制御手段の制御モードを管理するこ
とを特徴とする。
【０００８】また、第３には、上記第２に記載の構成に
於いて、前記視線は、前記利用者が所定の箇所を注視し
ている注視時間、瞬きのいずれかであることを特徴とす
る。
於いて、前記視線は、前記利用者が所定の箇所を注視し
ている注視時間、瞬きのいずれかであることを特徴とす
る。
【０００９】この第３の構成の視線検出機能搭載装置に
於いては、利用者の視線方向を検出し、その検出された
視線が所定の位置に注視し、所定の時間以上注視した
時、または前記利用者の瞬きによりカーソル制御手段の
制御モードを切り替える。よって、利用者は、カーソル
を視線に追従させるかさせないかを視線により制御する
ことができる。
於いては、利用者の視線方向を検出し、その検出された
視線が所定の位置に注視し、所定の時間以上注視した
時、または前記利用者の瞬きによりカーソル制御手段の
制御モードを切り替える。よって、利用者は、カーソル
を視線に追従させるかさせないかを視線により制御する
ことができる。
【００１０】第４には、利用者の視線方向を検出する視
線検出手段と、前記視線検出手段によって検出された視
線位置に基づき表示装置上のカーソルの位置制御を行う
カーソル制御手段と、前記利用者を撮像する撮像手段
と、前記利用者のジェスチャを認識するジェスチャ認識
手段と、前記ジェスチャ認識によって得た結果に基づい
てカーソル制御手段の制御モードを管理するカーソル管
理手段とを有することを特徴とする。
線検出手段と、前記視線検出手段によって検出された視
線位置に基づき表示装置上のカーソルの位置制御を行う
カーソル制御手段と、前記利用者を撮像する撮像手段
と、前記利用者のジェスチャを認識するジェスチャ認識
手段と、前記ジェスチャ認識によって得た結果に基づい
てカーソル制御手段の制御モードを管理するカーソル管
理手段とを有することを特徴とする。
【００１１】この第４の構成の視線検出機能搭載装置に
於いては、利用者を撮像しているカメラの映像からユー
ザのジェスチャを認識し、その結果に基づいてカーソル
制御手段の制御モードを切り替える。よって、利用者は
カーソル制御手段の制御モードをジェスチャにより容易
に切り替えることができる。
於いては、利用者を撮像しているカメラの映像からユー
ザのジェスチャを認識し、その結果に基づいてカーソル
制御手段の制御モードを切り替える。よって、利用者は
カーソル制御手段の制御モードをジェスチャにより容易
に切り替えることができる。
【００１２】第５には、利用者の視線方向を検出する視
線検出手段と、前記視線検出手段によって検出された視
線位置に基づき表示装置上のカーソルの位置制御を行う
カーソル制御手段と、前記利用者の音声を入力する音声
入力手段と、前記利用者の音声を認識する音声認識手段
と、前記音声認識によって得た結果に基づいてカーソル
制御手段の制御モードを管理するカーソル管理手段とを
有することを特徴とする。
線検出手段と、前記視線検出手段によって検出された視
線位置に基づき表示装置上のカーソルの位置制御を行う
カーソル制御手段と、前記利用者の音声を入力する音声
入力手段と、前記利用者の音声を認識する音声認識手段
と、前記音声認識によって得た結果に基づいてカーソル
制御手段の制御モードを管理するカーソル管理手段とを
有することを特徴とする。
【００１３】この第５の構成の視線検出機能搭載装置に
於いては、利用者の声を認識し、その結果に基づきカー
ソル制御手段の制御モードを切り替える。よって、利用
者はカーソル追従モードを音声により容易に切り替える
ことができる。
於いては、利用者の声を認識し、その結果に基づきカー
ソル制御手段の制御モードを切り替える。よって、利用
者はカーソル追従モードを音声により容易に切り替える
ことができる。
【００１４】また、第６には、上記第１乃至５の構成に
於いて、カーソル管理手段の管理状況を表示装置に表示
することを特徴とする。
於いて、カーソル管理手段の管理状況を表示装置に表示
することを特徴とする。
【００１５】
【発明の実施の形態】本発明実施の形態としての実施例
について図面を利用して説明する。
について図面を利用して説明する。
【００１６】本発明に基づく視線検出機能搭載装置Ａ１
は、図１に示されるように、視線検出部１０と、カーソ
ル制御部１２と、カーソル管理部１４と、制御装置１６
とを有している。
は、図１に示されるように、視線検出部１０と、カーソ
ル制御部１２と、カーソル管理部１４と、制御装置１６
とを有している。
【００１７】ここで、上記視線検出部１０は、利用者の
視線方向を検出するものである。視線の検出方法として
は、例えば、特開平５−２９８０１５号、特開平７−２
８５８９号で開示されているように、カメラまたは赤外
線を用いて、視線方向を算出することができる。
視線方向を検出するものである。視線の検出方法として
は、例えば、特開平５−２９８０１５号、特開平７−２
８５８９号で開示されているように、カメラまたは赤外
線を用いて、視線方向を算出することができる。
【００１８】上記カーソル制御部１２は、検出された視
線位置にカーソルを移動させるものである。但し、前記
カーソル管理部１４に従い、カーソル追従モードがＯＮ
の場合、カーソルを移動させることになる。また、利用
者の視線位置と注視時間によりカーソル追従モードを切
り替える。
線位置にカーソルを移動させるものである。但し、前記
カーソル管理部１４に従い、カーソル追従モードがＯＮ
の場合、カーソルを移動させることになる。また、利用
者の視線位置と注視時間によりカーソル追従モードを切
り替える。
【００１９】また、制御装置１６は、視線情報に基づい
て制御する装置である。
て制御する装置である。
【００２０】なお、上記視線検出機能搭載装置Ａ１のう
ち、視線検出部１０と、カーソル制御部１２と、カーソ
ル管理部１４とが上記視線検出機能搭載装置として機能
する。
ち、視線検出部１０と、カーソル制御部１２と、カーソ
ル管理部１４とが上記視線検出機能搭載装置として機能
する。
【００２１】上記構成に基づく視線検出機能搭載装置Ａ
１の動作について、図２を利用して説明する。
１の動作について、図２を利用して説明する。
【００２２】まず、視線検出部１０で利用者の視線方向
を検出する（Ｓ１０）。そして、カーソル管理部１４で
検出された視線位置が所定の場所を所定の時間以上注視
しているかを判定する（Ｓ１１）。その結果、注視して
いると判断されると、カーソル追従モードを切り替える
（Ｓ１２）。ステップ１３では、カーソル追従モードが
ＯＮかＯＦＦかを確認し、ＯＮの場合、カーソル制御部
１２が視線位置にカーソルを移動させる（Ｓ１４）。Ｏ
ＦＦの場合は、カーソルを移動させず終了する。
を検出する（Ｓ１０）。そして、カーソル管理部１４で
検出された視線位置が所定の場所を所定の時間以上注視
しているかを判定する（Ｓ１１）。その結果、注視して
いると判断されると、カーソル追従モードを切り替える
（Ｓ１２）。ステップ１３では、カーソル追従モードが
ＯＮかＯＦＦかを確認し、ＯＮの場合、カーソル制御部
１２が視線位置にカーソルを移動させる（Ｓ１４）。Ｏ
ＦＦの場合は、カーソルを移動させず終了する。
【００２３】以上のように、本実施例の視線検出機能搭
載装置Ａ１によれば、利用者の視線によりカーソル追従
モードを切り替えることで、利用者は簡単にカーソル追
従モードを変更することができる。
載装置Ａ１によれば、利用者の視線によりカーソル追従
モードを切り替えることで、利用者は簡単にカーソル追
従モードを変更することができる。
【００２４】次に、第２実施例について説明する。第２
実施例に基づく視線検出機能搭載装置Ａ２は、図３に示
されるように構成され、視線検出部１０と、カーソル制
御部１２と、カーソル管理部１４と、制御装置１６と、
カメラ３０と、ジェスチャ認識部３２とを有している。
実施例に基づく視線検出機能搭載装置Ａ２は、図３に示
されるように構成され、視線検出部１０と、カーソル制
御部１２と、カーソル管理部１４と、制御装置１６と、
カメラ３０と、ジェスチャ認識部３２とを有している。
【００２５】ここで、上記視線検出部１０と、カーソル
制御部１２と、カーソル管理部１４と、制御装置１６の
各部の構成は上記第１実施例と同様であるので、その説
明を省略する。
制御部１２と、カーソル管理部１４と、制御装置１６の
各部の構成は上記第１実施例と同様であるので、その説
明を省略する。
【００２６】また、カメラ３０は、利用者を撮像し、ジ
ェスチャ認識部３２は、前記カメラ３０からの映像を元
に手領域を抽出し、手の形状、つまり手によるサインを
識別する。手領域の抽出には、色情報を用いて肌色領域
を抽出することで検出することができる。前記ジェスチ
ャ認識部３２で得た結果に基づき、前記カーソル管理部
１４において、カーソル追従モードの切替指示のジェス
チャかを判断し、その結果に基づきカーソル追従モード
を切り替える。
ェスチャ認識部３２は、前記カメラ３０からの映像を元
に手領域を抽出し、手の形状、つまり手によるサインを
識別する。手領域の抽出には、色情報を用いて肌色領域
を抽出することで検出することができる。前記ジェスチ
ャ認識部３２で得た結果に基づき、前記カーソル管理部
１４において、カーソル追従モードの切替指示のジェス
チャかを判断し、その結果に基づきカーソル追従モード
を切り替える。
【００２７】上記構成の視線検出機能搭載装置Ａ２の動
作について、図４を使用して説明する。
作について、図４を使用して説明する。
【００２８】まず、カメラ３０で撮像した利用者の画像
を入力する（Ｓ４０）。次に、ジェスチャ認識部３２で
手領域を抽出する。手領域が抽出されない場合は、ステ
ップ４４に進む。なお、手領域の抽出方法は、肌色情報
を用いて抽出する。このとき、顔領域と区別する必要が
ある。区別する方法としては、例えば、平均顔画像テン
プレートを用いて類似度を比較することで顔か手かを判
断することができる。手領域が抽出された場合、前記ジ
ェスチャ認識部３２で手の形状を認識する。例えば、指
を１本立てている場合は、カーソル追従モードをＯＮに
し、拳を握って指を立てていない場合は、カーソル追従
モードをＯＦＦにする（Ｓ４３）。ステップ４４では、
カーソル追従モードがＯＮまたはＯＦＦかを判断し、Ｏ
Ｎの場合は、視線検出部１０で利用者の視線を検出し
（Ｓ４５）、カーソル制御部１２で検出された視線位置
にカーソルを移動する。カーソル追従モードがＯＦＦの
場合は処理を終了する。
を入力する（Ｓ４０）。次に、ジェスチャ認識部３２で
手領域を抽出する。手領域が抽出されない場合は、ステ
ップ４４に進む。なお、手領域の抽出方法は、肌色情報
を用いて抽出する。このとき、顔領域と区別する必要が
ある。区別する方法としては、例えば、平均顔画像テン
プレートを用いて類似度を比較することで顔か手かを判
断することができる。手領域が抽出された場合、前記ジ
ェスチャ認識部３２で手の形状を認識する。例えば、指
を１本立てている場合は、カーソル追従モードをＯＮに
し、拳を握って指を立てていない場合は、カーソル追従
モードをＯＦＦにする（Ｓ４３）。ステップ４４では、
カーソル追従モードがＯＮまたはＯＦＦかを判断し、Ｏ
Ｎの場合は、視線検出部１０で利用者の視線を検出し
（Ｓ４５）、カーソル制御部１２で検出された視線位置
にカーソルを移動する。カーソル追従モードがＯＦＦの
場合は処理を終了する。
【００２９】なお、上記視線検出装置Ａ２のうち、視線
検出部１０と、カーソル制御部１２と、カーソル管理部
１４、カメラ３０、ジェスチャ認識部３２とが上記視線
検出機能搭載装置として機能する。
検出部１０と、カーソル制御部１２と、カーソル管理部
１４、カメラ３０、ジェスチャ認識部３２とが上記視線
検出機能搭載装置として機能する。
【００３０】以上のように、本実施例の視線検出機能搭
載装置Ａ２によれば、利用者のジェスチャを認識するこ
とで、利用者は容易にカーソル追従モードを切り替える
ことができる。
載装置Ａ２によれば、利用者のジェスチャを認識するこ
とで、利用者は容易にカーソル追従モードを切り替える
ことができる。
【００３１】また、実施例には示さなかったが、カメラ
３０から撮像した映像から利用者の瞬きを検出し、例え
ば右目を閉じた場合は、カーソル追従モードをＯＮ、左
目を閉じた場合は、ＯＦＦにすることもできる。
３０から撮像した映像から利用者の瞬きを検出し、例え
ば右目を閉じた場合は、カーソル追従モードをＯＮ、左
目を閉じた場合は、ＯＦＦにすることもできる。
【００３２】なお、目領域を抽出する方法としては、例
えば、本出願人が特願平１０−２６９６００号で提案し
たテンプレートマッチング法で検出することができる。
えば、本出願人が特願平１０−２６９６００号で提案し
たテンプレートマッチング法で検出することができる。
【００３３】次に、第３実施例について説明する。第３
実施例に基づく視線検出機能搭載装置Ａ３は、図５に示
されるように構成され、視線検出部１０と、カーソル制
御部１２と、カーソル管理部１４と、制御装置１６と、
マイク５０と、音声認識部５２とを有している。
実施例に基づく視線検出機能搭載装置Ａ３は、図５に示
されるように構成され、視線検出部１０と、カーソル制
御部１２と、カーソル管理部１４と、制御装置１６と、
マイク５０と、音声認識部５２とを有している。
【００３４】ここで、上記視線検出部１０と、カーソル
制御部１２と、カーソル管理部１４と、制御装置１６の
各部の構成は上記第１実施例と同様であるので、その説
明を省略する。
制御部１２と、カーソル管理部１４と、制御装置１６の
各部の構成は上記第１実施例と同様であるので、その説
明を省略する。
【００３５】また、マイク５０は、利用者の音声を入力
する手段である。また、音声認識部５２は、前記マイク
５０から入力された音声を認識する。この音声認識は、
予め命令語（単語）を登録しておくことで認識率を向上
させることができる。具体的には、この音声認識部５２
は、音声認識のためのプログラムを格納する記憶部と該
プログラムに従い処理を行うＣＰＵ等により構成される
（図示せず）。例えば、マイク５０から「カーソルＯ
Ｎ」との音声が入力された場合には、音声認識部５２で
「カーソルＯＮ」を識別し、カーソル追従モードをＯＮ
にする旨の命令を発する。つまり、認識した命令内容は
カーソル管理部１４に送られる。
する手段である。また、音声認識部５２は、前記マイク
５０から入力された音声を認識する。この音声認識は、
予め命令語（単語）を登録しておくことで認識率を向上
させることができる。具体的には、この音声認識部５２
は、音声認識のためのプログラムを格納する記憶部と該
プログラムに従い処理を行うＣＰＵ等により構成される
（図示せず）。例えば、マイク５０から「カーソルＯ
Ｎ」との音声が入力された場合には、音声認識部５２で
「カーソルＯＮ」を識別し、カーソル追従モードをＯＮ
にする旨の命令を発する。つまり、認識した命令内容は
カーソル管理部１４に送られる。
【００３６】上記構成の視線検出機能搭載装置Ａ３の動
作について、図６を使用して説明する。
作について、図６を使用して説明する。
【００３７】まず、マイク５０から音声が入力されるか
を判断する（Ｓ６０）。音声入力がない場合は、ステッ
プ６４に進む。音声が入力されると、音声認識部５２で
音声を認識する（Ｓ６１）。次に、ステップ６２では、
前記音声認識部５２での結果に基づき、カーソル追従モ
ードを切り替える命令かを判断する。カーソル追従モー
ド切替命令と判断されると、その結果に基づいてカーソ
ル管理部１４においてカーソル追従モードをＯＮまたは
ＯＦＦにする（Ｓ６３）。
を判断する（Ｓ６０）。音声入力がない場合は、ステッ
プ６４に進む。音声が入力されると、音声認識部５２で
音声を認識する（Ｓ６１）。次に、ステップ６２では、
前記音声認識部５２での結果に基づき、カーソル追従モ
ードを切り替える命令かを判断する。カーソル追従モー
ド切替命令と判断されると、その結果に基づいてカーソ
ル管理部１４においてカーソル追従モードをＯＮまたは
ＯＦＦにする（Ｓ６３）。
【００３８】ステップ６４では、カーソル追従モードが
ＯＦＦの場合、処理を終了する。カーソル追従モードが
ＯＮの場合、視線検出部１０で利用者の視線を検出し
（Ｓ６５）、カーソル制御部１２で検出された視線位置
にカーソルを移動する（Ｓ６６）。
ＯＦＦの場合、処理を終了する。カーソル追従モードが
ＯＮの場合、視線検出部１０で利用者の視線を検出し
（Ｓ６５）、カーソル制御部１２で検出された視線位置
にカーソルを移動する（Ｓ６６）。
【００３９】なお、上記視線検出装置Ａ３のうち、視線
検出部１０と、カーソル制御部１２と、カーソル管理部
１４、マイク５０、音声認識部５２とが上記視線検出機
能搭載装置として機能する。
検出部１０と、カーソル制御部１２と、カーソル管理部
１４、マイク５０、音声認識部５２とが上記視線検出機
能搭載装置として機能する。
【００４０】以上のように、本実施例の視線検出機能搭
載装置Ａ３によれば、利用者の音声を認識することで、
利用者は容易にカーソル追従モードを切り替えることが
できる。
載装置Ａ３によれば、利用者の音声を認識することで、
利用者は容易にカーソル追従モードを切り替えることが
できる。
【００４１】なお、実施例１，２，３ではカーソル追従
モードの切り替えをＯＮ・ＯＦＦで制御する例を示した
が、トグル方式によるモード切り替えも可能である。
モードの切り替えをＯＮ・ＯＦＦで制御する例を示した
が、トグル方式によるモード切り替えも可能である。
【００４２】また、実施例では示さなかったが、制御装
置のディスプレイに現在のカーソル追従モードを表示す
ることで利用者は容易にモードを把握することができ
る。
置のディスプレイに現在のカーソル追従モードを表示す
ることで利用者は容易にモードを把握することができ
る。
【００４３】なお、上記の例に於いて、視線検出機能搭
載装置Ａ１、Ａ２、Ａ３を説明したが、これらの装置
は、パソコン、ワープロ、携帯情報端末、テレビなどカ
ーソルを用いて制御する機器ならば搭載が可能である。
載装置Ａ１、Ａ２、Ａ３を説明したが、これらの装置
は、パソコン、ワープロ、携帯情報端末、テレビなどカ
ーソルを用いて制御する機器ならば搭載が可能である。
【００４４】
【発明の効果】以上、本発明によれば、ユーザのジェス
チャ、音声、操作、視線、瞬きの少なくとも一つの情報
に基づき、視線検出の機能を中断、再開することで、ユ
ーザの意思に従ってカーソルを制御することができる。
チャ、音声、操作、視線、瞬きの少なくとも一つの情報
に基づき、視線検出の機能を中断、再開することで、ユ
ーザの意思に従ってカーソルを制御することができる。
【図１】本発明の第１実施例に基づく視線検出機能搭載
装置Ａ１の構成を示すブロック図である。
装置Ａ１の構成を示すブロック図である。
【図２】本発明の第１実施例に基づく視線検出機能搭載
装置Ａ１の動作を示すフローチャートである。
装置Ａ１の動作を示すフローチャートである。
【図３】本発明の第２実施例に基づく視線検出機能搭載
装置Ａ２の構成を示すブロック図である。
装置Ａ２の構成を示すブロック図である。
【図４】本発明の第２実施例に基づく視線検出機能搭載
装置Ａ２の動作を示すフローチャートである。
装置Ａ２の動作を示すフローチャートである。
【図５】本発明の第３実施例に基づく視線検出機能搭載
装置Ａ３の構成を示すブロック図である。
装置Ａ３の構成を示すブロック図である。
【図６】本発明の第３実施例に基づく視線検出機能搭載
装置Ａ３の動作を示すフローチャートである。
装置Ａ３の動作を示すフローチャートである。
Ａ１，Ａ２，Ａ３ 視線検出機能搭載装置 １０ 視線検出部 １２ カーソル制御部 １４ カーソル管理部 １６ 制御装置 ３０ カメラ ３２ ジェスチャ認識部 ５０ マイク ５２ 音声認識部
Claims (6)
- 【請求項１】 利用者の視線を検出する機能が搭載され
た装置に於いて、 前記利用者の視線方向を検出する視線検出手段と、前記
視線検出手段によって検出された視線位置に基づき表示
装置上のカーソルの位置制御を行うカーソル制御手段
と、前記カーソル制御手段の制御モードを管理するカー
ソル管理手段と、を備えたことを特徴とする視線検出機
能搭載装置。 - 【請求項２】 請求項１に於いて、 前記カーソル管理手段は、前記利用者のジェスチャ、音
声、視線、操作の少なくとも一つの情報に基づいて、前
記カーソル制御手段の制御モードを管理することを特徴
とする視線検出機能搭載装置。 - 【請求項３】 請求項２に於いて、 前記視線は、前記利用者が所定の箇所を注視している注
視時間、瞬きのいずれかであることを特徴とする視線検
出機能搭載装置。 - 【請求項４】 利用者の視線を検出する機能が搭載され
た装置に於いて、 前記利用者の視線方向を検出する視線検出手段と、前記
視線検出手段によって検出された視線位置に基づき表示
装置上のカーソルの位置制御を行うカーソル制御手段
と、前記利用者を撮像する撮像手段と、前記撮像手段で
撮像した映像から前記利用者のジェスチャを認識するジ
ェスチャ認識手段と、前記ジェスチャ認識によって得た
結果に基づいて前記カーソル制御手段の制御モードを管
理するカーソル管理手段と、を備えたことを特徴とする
視線検出機能搭載装置。 - 【請求項５】 利用者の視線を検出する機能が搭載され
た装置に於いて、 前記利用者の視線方向を検出する視線検出手段と、前記
視線検出手段によって検出された視線位置に基づき表示
装置上のカーソルの位置制御を行うカーソル制御手段
と、前記利用者の音声を入力する音声入力手段と、前記
音声入力手段より入力された音声を認識する音声認識手
段と、前記音声認識手段によって得た結果に基づいて前
記カーソル制御手段の制御モードを管理するカーソル管
理手段と、を備えたことを特徴とする視線検出機能搭載
装置。 - 【請求項６】 請求項１乃至５のいずれかにおいて、 前記カーソル管理手段による前記カーソル制御手段の管
理状況が前記表示装置に表示されることを特徴とする視
線検出機能搭載装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27496599A JP2001100903A (ja) | 1999-09-28 | 1999-09-28 | 視線検出機能搭載装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27496599A JP2001100903A (ja) | 1999-09-28 | 1999-09-28 | 視線検出機能搭載装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2001100903A true JP2001100903A (ja) | 2001-04-13 |
Family
ID=17549048
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP27496599A Pending JP2001100903A (ja) | 1999-09-28 | 1999-09-28 | 視線検出機能搭載装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2001100903A (ja) |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006243784A (ja) * | 2005-02-28 | 2006-09-14 | Kobe Univ | ポインティングシステム及びポインティング方法 |
| KR100677294B1 (ko) * | 2001-04-23 | 2007-02-05 | 엘지전자 주식회사 | 이동통신 단말기의 메뉴 선택 인터페이스 장치 |
| JP2007102415A (ja) * | 2005-10-03 | 2007-04-19 | Nec Corp | ２つの入力モードを有する携帯端末、プログラム及び携帯端末への指令入力方法 |
| WO2010073879A1 (ja) * | 2008-12-24 | 2010-07-01 | ブラザー工業株式会社 | ヘッドマウントディスプレイ |
| JP2011209928A (ja) * | 2010-03-29 | 2011-10-20 | Ntt Docomo Inc | 携帯端末 |
| JP2013210742A (ja) * | 2012-03-30 | 2013-10-10 | Fujitsu Ltd | 情報処理装置、情報処理方法、および情報処理プログラム |
| KR101331655B1 (ko) * | 2009-01-22 | 2013-11-20 | 알카텔-루센트 유에스에이 인코포레이티드 | 전자 데이터 입력 방법, 시스템 및 컴퓨터 판독 가능한 매체 |
| WO2013183533A1 (ja) * | 2012-06-08 | 2013-12-12 | 株式会社エヌ・ティ・ティ・ドコモ | 表示装置、表示方法及びプログラム |
| CN103870097A (zh) * | 2012-12-12 | 2014-06-18 | 联想(北京)有限公司 | 信息处理的方法及电子设备 |
| JP2015108870A (ja) * | 2013-12-03 | 2015-06-11 | 富士通株式会社 | 動作入力装置、動作入力プログラム及び動作入力方法 |
| JP2015118531A (ja) * | 2013-12-18 | 2015-06-25 | 株式会社デンソー | 表示制御装置およびプログラム |
| JP2016507112A (ja) * | 2013-03-05 | 2016-03-07 | インテル コーポレイション | 複合的な知覚感知入力の対話 |
| JP2016071835A (ja) * | 2014-09-30 | 2016-05-09 | 深▲せん▼市億思達科技集団有限公司 | 眼追跡に基づく三次元ホログラフィック仮想オブジェクトの表示制御方法 |
| JP2016529533A (ja) * | 2013-05-31 | 2016-09-23 | フリーダム サイエンティフィック インコーポレイテッド | ベクトルに基づくカスタマイズ可能な指示インディシア |
| JP6070833B2 (ja) * | 2013-05-08 | 2017-02-01 | 富士通株式会社 | 入力装置及び入力プログラム |
| JP2017091327A (ja) * | 2015-11-12 | 2017-05-25 | 富士通株式会社 | ポインティング支援装置、ポインティング支援方法およびポインティング支援プログラム |
| JPWO2016113951A1 (ja) * | 2015-01-15 | 2017-09-07 | 株式会社ソニー・インタラクティブエンタテインメント | 頭部装着型表示装置、及び映像表示システム |
| CN110083202A (zh) * | 2012-07-27 | 2019-08-02 | 诺基亚技术有限公司 | 与近眼显示器的多模交互 |
| US10585476B2 (en) | 2015-09-04 | 2020-03-10 | Fujifilm Corporation | Apparatus operation device, apparatus operation method, and electronic apparatus system |
| US11108945B2 (en) | 2019-06-17 | 2021-08-31 | Canon Kabushiki Kaisha | Electronic apparatus, method for controlling the electronic apparatus, and storage medium |
| US11500458B2 (en) | 2019-06-17 | 2022-11-15 | Canon Kabushiki Kaisha | Electronic apparatus, method for controlling the electronic apparatus, and storage medium |
| US11609481B2 (en) | 2019-10-24 | 2023-03-21 | Canon Kabushiki Kaisha | Imaging apparatus that, during an operation of a shutter button, updates a specified position based on a line-of-sight position at a timing desired by a user, and method for controlling the same |
-
1999
- 1999-09-28 JP JP27496599A patent/JP2001100903A/ja active Pending
Cited By (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100677294B1 (ko) * | 2001-04-23 | 2007-02-05 | 엘지전자 주식회사 | 이동통신 단말기의 메뉴 선택 인터페이스 장치 |
| JP2006243784A (ja) * | 2005-02-28 | 2006-09-14 | Kobe Univ | ポインティングシステム及びポインティング方法 |
| JP4686708B2 (ja) * | 2005-02-28 | 2011-05-25 | 国立大学法人神戸大学 | ポインティングシステム及びポインティング方法 |
| JP2007102415A (ja) * | 2005-10-03 | 2007-04-19 | Nec Corp | ２つの入力モードを有する携帯端末、プログラム及び携帯端末への指令入力方法 |
| WO2010073879A1 (ja) * | 2008-12-24 | 2010-07-01 | ブラザー工業株式会社 | ヘッドマウントディスプレイ |
| JP2010152443A (ja) * | 2008-12-24 | 2010-07-08 | Brother Ind Ltd | ヘッドマウントディスプレイ |
| KR101331655B1 (ko) * | 2009-01-22 | 2013-11-20 | 알카텔-루센트 유에스에이 인코포레이티드 | 전자 데이터 입력 방법, 시스템 및 컴퓨터 판독 가능한 매체 |
| JP2011209928A (ja) * | 2010-03-29 | 2011-10-20 | Ntt Docomo Inc | 携帯端末 |
| JP2013210742A (ja) * | 2012-03-30 | 2013-10-10 | Fujitsu Ltd | 情報処理装置、情報処理方法、および情報処理プログラム |
| WO2013183533A1 (ja) * | 2012-06-08 | 2013-12-12 | 株式会社エヌ・ティ・ティ・ドコモ | 表示装置、表示方法及びプログラム |
| CN110083202A (zh) * | 2012-07-27 | 2019-08-02 | 诺基亚技术有限公司 | 与近眼显示器的多模交互 |
| CN110083202B (zh) * | 2012-07-27 | 2023-09-19 | 诺基亚技术有限公司 | 与近眼显示器的多模交互 |
| CN103870097A (zh) * | 2012-12-12 | 2014-06-18 | 联想(北京)有限公司 | 信息处理的方法及电子设备 |
| JP2016507112A (ja) * | 2013-03-05 | 2016-03-07 | インテル コーポレイション | 複合的な知覚感知入力の対話 |
| JP6070833B2 (ja) * | 2013-05-08 | 2017-02-01 | 富士通株式会社 | 入力装置及び入力プログラム |
| JPWO2014181403A1 (ja) * | 2013-05-08 | 2017-02-23 | 富士通株式会社 | 入力装置及び入力プログラム |
| JP2016529533A (ja) * | 2013-05-31 | 2016-09-23 | フリーダム サイエンティフィック インコーポレイテッド | ベクトルに基づくカスタマイズ可能な指示インディシア |
| JP2015108870A (ja) * | 2013-12-03 | 2015-06-11 | 富士通株式会社 | 動作入力装置、動作入力プログラム及び動作入力方法 |
| JP2015118531A (ja) * | 2013-12-18 | 2015-06-25 | 株式会社デンソー | 表示制御装置およびプログラム |
| WO2015092995A1 (ja) * | 2013-12-18 | 2015-06-25 | 株式会社デンソー | 表示制御装置、表示制御プログラム、及び表示制御プログラム製品 |
| JP2016071835A (ja) * | 2014-09-30 | 2016-05-09 | 深▲せん▼市億思達科技集団有限公司 | 眼追跡に基づく三次元ホログラフィック仮想オブジェクトの表示制御方法 |
| US10591735B2 (en) | 2015-01-15 | 2020-03-17 | Sony Interactive Entertainment Inc. | Head-mounted display device and image display system |
| JPWO2016113951A1 (ja) * | 2015-01-15 | 2017-09-07 | 株式会社ソニー・インタラクティブエンタテインメント | 頭部装着型表示装置、及び映像表示システム |
| US10585476B2 (en) | 2015-09-04 | 2020-03-10 | Fujifilm Corporation | Apparatus operation device, apparatus operation method, and electronic apparatus system |
| JP2017091327A (ja) * | 2015-11-12 | 2017-05-25 | 富士通株式会社 | ポインティング支援装置、ポインティング支援方法およびポインティング支援プログラム |
| US11108945B2 (en) | 2019-06-17 | 2021-08-31 | Canon Kabushiki Kaisha | Electronic apparatus, method for controlling the electronic apparatus, and storage medium |
| US11500458B2 (en) | 2019-06-17 | 2022-11-15 | Canon Kabushiki Kaisha | Electronic apparatus, method for controlling the electronic apparatus, and storage medium |
| US11609481B2 (en) | 2019-10-24 | 2023-03-21 | Canon Kabushiki Kaisha | Imaging apparatus that, during an operation of a shutter button, updates a specified position based on a line-of-sight position at a timing desired by a user, and method for controlling the same |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2001100903A (ja) | 視線検出機能搭載装置 | |
| US9933850B2 (en) | Information processing apparatus and program | |
| EP2962175B1 (en) | Delay warp gaze interaction | |
| US6345111B1 (en) | Multi-modal interface apparatus and method | |
| CN108135658B (zh) | 手术控制设备、手术控制方法及存储介质 | |
| US20030038754A1 (en) | Method and apparatus for gaze responsive text presentation in RSVP display | |
| JP2004152217A (ja) | タッチパネル付き表示装置 | |
| JP2010145861A (ja) | ヘッドマウントディスプレイ | |
| WO2010147600A2 (en) | Qualified command | |
| JPH10260773A (ja) | 情報入力方法及びその装置 | |
| JP2017208638A (ja) | 虹彩認証装置、虹彩認証方法、及びプログラム | |
| US20120113151A1 (en) | Display apparatus and display method | |
| US20200401218A1 (en) | Combined gaze and touch input for device operation | |
| JP3753882B2 (ja) | マルチモーダルインターフェース装置及びマルチモーダルインターフェース方法 | |
| JP2016177658A (ja) | 仮想入力装置、入力方法、およびプログラム | |
| WO2018122891A1 (ja) | タッチパネル入力装置、タッチジェスチャ判定装置、タッチジェスチャ判定方法、及びタッチジェスチャ判定プログラム | |
| CN109101110A (zh) | 一种操作指令执行方法、装置、用户终端及存储介质 | |
| CN111045519A (zh) | 一种基于眼动追踪的人机交互方法、装置和设备 | |
| CN110472396B (zh) | 一种体感手势触控方法、系统、平台及存储介质 | |
| JP2011243108A (ja) | 電子ブック装置及び電子ブック操作方法 | |
| US20140300535A1 (en) | Method and electronic device for improving performance of non-contact type recognition function | |
| KR20230037147A (ko) | 비접촉 응시 기반 헤딩 정보를 이용한 사용자 명령 인식 장치 및 이를 이용한 방법 | |
| EP3647925B1 (en) | Portable terminal | |
| JP7416894B2 (ja) | 携帯端末 | |
| JPH1145141A (ja) | データ入力装置 |