JP2004021870A

JP2004021870A - 視線入力機能付携帯電話

Info

Publication number: JP2004021870A
Application number: JP2002179278A
Authority: JP
Inventors: Hiroyuki Igarashi; 五十嵐　寛之
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2002-06-20
Filing date: 2002-06-20
Publication date: 2004-01-22

Abstract

【課題】視線入力装置を携帯電話に組み込み、携帯電話には第三者の無断使用を防ぐセキュリティ機能を備え、使用環境の変化と使用者固有の癖や特徴による認識率の低下を防止する視線入力機能付携帯電話を提供する。
【解決手段】撮像光学手段１０１で撮影された画像の画像データを保存し、画像データから眼球位置及び瞳孔位置を検出する画像情報取得手段１０３と、画像情報取得手段により検出された瞳孔位置の移動を検出して使用者の視線の移動方向を検出する画像情報解析手段１０４と、検出された使用者の視線の移動方向にポインティングデバイスを移動させる制御手段１０５と、ポインティングデバイスに向けて行った意思決定を検出する意思決定検出手段１０６とを備えて構成された視線入力機能付携帯電話を提供する。
【選択図】　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、重度の肢体不自由者が表示画面を目視することで意思伝達を可能とする視線入力装置に関し、特に携帯電話に対する入力操作や意思確認操作を画面の目視により可能にする視線入力装置付携帯電話に関する。
【０００２】
【従来の技術】
従来、筋萎縮性側索硬化症（ＡＬＳ）等の難患者や身体障害者で四肢麻痺により意思伝達が困難な重度の肢体不自由者が表示画面を目視することで意思伝達を可能とする視線入力装置としては、特開平１１−２８２６１７号公報に記載されたものが知られている。この視線入力装置は、撮像光学装置を用いて使用者の眼球画像を取り込み、その眼球画像データから瞳孔中心位置を検出して視線方向を検出し、その視線方向に基づいてポインティングデバイスを操作するものである。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記従来の視線入力装置においては、視線入力装置として専用のものであり、今や広く使用されている携帯電話に組み込まれているというものは無かった。さらに、複数の人が使用する携帯電話装置にこの視線入力装置を適用した場合はセキュリティ機能がないため、第三者に無断使用される可能性があり、また使用環境の変化と使用者固有の癖や特徴により認識率が低下するという問題点があった。
【０００４】
本発明は、上記従来の問題を解決するためになされたもので、視線入力装置を一般的な携帯電話に組み込み、携帯電話には第三者の無断使用を防ぐセキュリティ機能を備え、使用環境の変化と使用者固有の癖や特徴による認識率の低下を防ぐ視線入力機能付携帯電話を提供するものである。
【０００５】
【課題を解決するための手段】
本発明における視線入力機能付携帯電話は、使用者を撮影する撮像手段と、前記撮像手段で撮影された画像の画像データを保存する画像データ記憶手段と、前記画像データから眼球位置及び瞳孔位置を検出する画像情報取得手段と、前記画像情報取得手段により検出された瞳孔位置の移動を検出して使用者の視線の移動方向を検出する画像情報解析手段と、検出された使用者の視線の移動方向にポインティングデバイスを移動させる制御手段と、前記ポインティングデバイスに向けて行った意思決定を検出する意思決定検出手段とを備えるという構成を有している。この構成により、携帯電話に組み込まれた視線入力機能に対し、意思伝達が困難な重度の肢体不自由者により目視で意思決定し、入力操作を行うことが可能となる。
【０００６】
本発明における視線入力機能付携帯電話は、前記画像情報解析手段による眼球位置の判定に従い、前記眼球位置が画像の中心に位置するように前記撮像光学装置の撮影方向を移動させる撮影方向移動手段を備えるという構成を有している。この構成により、特定の位置での使用に限定されることなく、使用者が移動中に携帯電話を使用した場合に眼球の位置が変化しても精度の高い撮影が可能となる。
【０００７】
本発明における視線入力機能付携帯電話は、前記画像データから眼球サイズを検出する眼球サイズ検出手段と、検出された眼球サイズを記憶する眼球サイズ記憶手段と、使用者の事前に記憶した眼球サイズと新規に記憶した眼球サイズとを比較する眼球サイズ比較手段と、前記眼球サイズ比較手段により算出された眼球サイズの比率から画像撮影の拡大縮小比率を算出する拡大縮小比算出手段と、前記拡大縮小比算出手段により算出された比率で撮影倍率を決定する撮影倍率決定手段とを備えるという構成を有している。この構成により、使用者個々人の眼球サイズの大小に関係なく同精度の撮影が可能となり、撮影する場所が遠い場合でも、前記拡大縮小比算出手段により算出された比率で眼球画像を撮影するため、精度の高い撮影が可能となる。
【０００８】
本発明における視線入力機能付携帯電話は、使用者との間の距離を検出する距離検出手段と、前記距離検出手段により事前に登録された距離と新規に検出された距離とから距離の比率を算出する距離比率算出手段とを備え、前記撮影倍率決定手段は前記距離比率算出手段により算出された比率で撮影倍率を決定するという構成を有している。この構成により、前記撮像光学装置から眼球までの距離が遠い場合でも、前記拡大縮小比算出手段により算出された比率で眼球画像を撮影するため、精度の高い撮影が可能となる。
【０００９】
本発明における視線入力機能付携帯電話は、目標とする目視対象を選択する目視対象選択手段と、選択された目視対象及び対応する眼球画像を対で記憶する目視対象及び瞳孔中心位置記憶手段とを備えるという構成を有している。この構成により、目視対象と対応する眼球画像とを対で記憶するため、瞳孔中心位置の移動により検出される視線移動方向にポインティングデバイスを移動させる際に補正を行うことにより過移動を防ぎ、また使用者固有の癖や特徴に左右されることなく精度の高い移動が可能となる。
【００１０】
本発明における視線入力機能付携帯電話は、使用者周辺の照度を検出する照度検出手段と、予め登録された照度と新規に検出された照度とを比較する照度比較手段と、前記照度比較手段の比較結果に従って使用者の眼球を照らす眼球照明手段とを備えるという構成を有している。この構成により、夜間及び暗所で使用した場合あっても、眼球照明手段により眼球を照らす事で精度の高い撮影が可能となる。
【００１１】
本発明における視線入力機能付携帯電話は、使用者周辺の照度を検出する照度検出手段と、予め登録された照度と新規に検出された照度とを比較する照度比較手段と、前記照度比較手段の比較結果に従ってバックライトの照度を決定するバックライト調節手段とを備えるという構成を有している。この構成により、夜間及び暗所で使用した場合あっても、バックライト調節手段によりディスプレイ照度を最適化し目視の誤りを防ぐことが可能となる。
【００１２】
本発明における視線入力機能付携帯電話は、照度に応じて瞳孔の形が変化する複数の眼球画像及び前記眼球画像の各々に対応する照度とを対で記憶する照度眼球画像記憶手段を備えるという構成を有している。この構成により、照度の変化により瞳孔の形状が変化した場合であっても、照度に応じて補正を行う事で精度の高い認識が可能となる。
【００１３】
本発明における視線入力機能付携帯電話は、使用者の生態情報を抽出する生態情報抽出手段と、複数の生態情報を記憶する生態情報記憶手段と、使用者の個人情報を保存する個人情報保存手段と、前記生態情報抽出手段により抽出された現在の使用者の生態情報と前記生態情報記憶手段に記憶される複数の生態情報とを比較して現在の使用者を決定する使用者決定手段とを備えるという構成を有している。この構成により、複数人数の使用登録者の中から目視により使用者を判別し、各使用者毎に使う電話帳、アドレス帳、データ及びアプリケーションを変えることにより、使用者個々人のプライバシーを守ることが可能となる。
【００１４】
【発明の実施の形態】
以下、添付図面に基づき、本発明の第１ないし第９の実施の形態を詳細に説明する。
（第１の実施の形態）
まず、図１のブロック図を参照して、本発明の第１の実施の形態における視線入力機能付携帯電話の構成を説明する。図１において、視線入力機能付携帯電話１は、携帯電話使用者の画像を撮影する撮像光学手段１０１と、撮影した画像データを保存するデータ記憶領域１０２と、画像データから眼球及び瞳孔位置を検出する位置検出手段としての画像情報取得手段１０３と、眼球及び瞳孔位置の変化から視線移動方向を検出する視線移動方向検出手段としての画像情報解析手段１０４と、検出した視線移動方向にポインティングデバイスの移動制御を行う制御手段１０５と、使用者が意思決定する際に意思決定内容を検出する意思決定検出手段１０６とを備えて構成される。
【００１５】
次に、図２のフローチャートを参照して本発明の第１の実施の形態における視線入力機能付携帯電話１の処理手順を説明する。
まず、ステップＳ２０１において、撮像光学手段１０１により使用者の画像を撮影し、ステップＳ２０２において、撮影した画像データをデータ記憶領域１０２に保存する。ステップＳ２０３において、画像情報取得手段１０３により、画像データ記憶領域１０２に記憶されている画像データから眼球瞳孔位置を検出する。眼球位置の検出には、皮膚及び眼球の色の違いを利用した電波の反射率から眼球位置を検出する方法や、予め使用者の画像及び眼球位置をパターンとして記憶しておき、採取されたパターンと比較することにより眼球位置を検出するパターン認識等が挙げられる。瞳孔中心位置の検出には、瞳孔の輪郭線に円をマッチングすることで、円の中心位置から瞳孔中心位置を推定する方法等が挙げられる。ステップＳ２０４において、画像情報解析手段１０４により視線移動方向を検出する。視線移動方向の検出には、ステップＳ２０３で検出された瞳孔中心位置を座標化して記憶し、また一定サンプリング時間後の瞳孔中心位置も同様に座標化して記憶することで、座標位置の移動方向から検出する方法等が挙げられる。次に、ステップＳ２０５において、制御手段１０５によりステップＳ２０４で検出された視線移動方向にポインティングデバイスを移動制御する。ポインティングデバイスの移動は、ディスプレイの白黒反転表示及びボタンのバックライト点灯等で示す方法が挙げられる。ステップＳ２０６において、ポインティングデバイス移動後の使用者の意思決定の検出を行う。意思決定の種類としては、選択及び入力等が挙げられ、それぞれに瞬目及び凝視等を割り当てておくことで意思決定を検出することが可能となる。
【００１６】
（第２の実施の形態）
図１及び図３のフローチャートを参照して、本発明の第２の実施の形態における視線入力機能付携帯電話１を詳細に説明する。図１に示す本発明の第２の実施の形態における視線入力機能付携帯電話１の構成は、制御手段１０５に撮像光学手段１０１の撮影方向の移動を制御する撮影方向移動手段を備えた点で、第１の実施の形態のものと異なる以外は、第１の実施の形態のものと同様である。
【００１７】
次に、本実施の形態における視線入力機能付携帯電話１の動作を説明する。ステップＳ３０１において、撮像光学手段１０１により使用者の画像を撮影し、ステップＳ３０２において、撮影した画像データをデータ記憶領域１０２に保存する。ステップＳ３０３において、データ記憶領域１０２に保存された画像データから画像情報取得手段１０３により眼球位置を検出する。ステップＳ３０４において、画像情報解析手段１０４により眼球の位置が画像の中心にあるかどうかを判定し、中心にない場合には画像中心位置から眼球までの距離と方向から、眼球位置が画像の中心に位置するような撮像光学手段１０１の向き及び補正角度を算出する。ステップＳ３０５において、ステップＳ３０４で算出された撮像光学手段１０１の向きと角度に従い、撮影方向移動手段としての制御手段１０５により眼球位置が撮影画像の中心に位置するように撮像光学手段１０１の角度を制御する。撮像光学手段１０１の角度調整にはモータ等の駆動装置を用いる。眼球が撮影画像の中心にいる場合は撮影を続行する。
【００１８】
以上のように、本発明の第２の実施の形態によれば、撮像光学手段１０１の角度を補正することで、常に眼球が中心に位置するような画像が撮影可能となり、使用者が移動中に使用した場合等の手振れによる認識率が低下するのを防ぐ事ができる。また一定の位置からの使用に限定されず、多方向からの使用が可能となる。
【００１９】
（第３の実施の形態）
図１及び図４のフローチャートを参照して、本発明の第３の実施の形態における視線入力機能付携帯電話１を詳細に説明する。図１に示す本発明の第３の実施の形態における視線入力機能付携帯電話１の構成は、第１の実施の形態のものとは、画像情報取得手段１０３には眼球サイズ検出手段が備えられ、データ記憶領域１０２には眼球サイズ記憶手段が備えられ、画像情報解析手段１０４には眼球サイズ比較手段および拡大縮小比算出手段が備えられ、制御手段１０５には撮影倍率決定手段が備えられた点で異なる以外は、第１の実施の形態のものと同様である。
【００２０】
次に、本実施の形態における視線入力機能付携帯電話１の動作を説明する。あらかじめ使用者の眼球サイズを登録する。まず、撮影の基準位置を設定し、基準位置で撮像光学手段１０１により使用者の画像を撮影し、撮影した基準位置での画像データをデータ記憶領域１０２に保存する。画像情報取得手段１０３に備えられた眼球サイズ検出手段により基準位置で撮影した使用者の眼球画像サイズを計測し、基準サイズとしてデータ記憶領域１０２に備えられた眼球サイズ記憶手段に登録する。基準サイズの計測には照度の変化に影響されない黒目の直径等を用いる。次に、視線入力機能付携帯電話１の使用時には、ステップＳ４０１において、撮像光学手段１０１により使用者の画像を撮影し、ステップＳ４０２において、撮影した画像データをデータ記憶領域１０２に保存する。ステップＳ４０３において、画像情報取得手段１０３に備えられた眼球サイズ検出手段により使用者の眼球サイズを計測する。ステップＳ４０４において、画像情報解析手段１０４に備えられた眼球サイズ比較手段により視線入力機能付携帯電話１の使用時に撮影された眼球画像サイズと基準サイズを比較し、画像情報解析手段１０４に備えられた拡大縮小比算出手段により視線入力機能付携帯電話１の使用時に撮影された眼球画像サイズが基準サイズより小さい場合は、撮影画像が拡大されるよう、撮像光学手段１０１の撮影倍率を算出する。ステップＳ４０５において、ステップＳ４０４で算出された倍率で撮影できるように制御手段１０５に備えられた撮影倍率決定手段により撮影光学装置１０１の撮影倍率を制御する。
【００２１】
以上のように、本発明の第３の実施の形態によれば、使用者と撮像光学手段１０１の距離が遠い場合等であっても、撮像光学手段１０１の撮影倍率を上げることで、質の高い眼球画像データを得ることができるため、認識率の低下を防ぐことができる。
【００２２】
（第４の実施の形態）
図１及び図５の模式図を参照して、本発明の第４の実施の形態における視線入力機能付携帯電話１について説明する。本発明の第４の実施の形態における視線入力機能付携帯電話１の構成は、使用者から撮像光学手段１０１までの距離を検出する距離検出手段５０４と、事前に登録された距離と新規に検出された距離とから距離の比率を算出する距離比率算出手段５０５と、制御手段１０５に備えられた撮影倍率決定手段とを有する点で、第１の実施の形態のものと異なる以外は、第１の実施の形態と同様である。
【００２３】
次に、本実施の形態における視線入力機能付携帯電話１の動作を説明する。あらかじめ、距離検出手段５０４により使用者から撮像光学手段１０１までの基準距離を検出して登録する。すなわち、まず、撮影の基準位置を設定し、距離検出手段５０４により基準位置における使用者から撮像光学手段１０１までの距離を検出し、基準距離として登録する。使用者から撮像光学手段１０１までの距離検出には、例えば、光の強度が短時間に増加する発光ダイオードからの赤外光を照射し、使用者からの反射光を高速シャッターを備えた撮像光学手段１０１で撮影する方法等があげられる。この方法では、使用者からの反射光の強度が、撮像光学手段１０１までの距離により変わることを利用し、反射光の強度を検出することにより距離を求めることができる。そして、距離比率算出手段５０５により、使用者から撮像光学手段１０１までの距離を基準距離と比較して、測定時における使用者から撮像光学手段１０１までの距離が基準距離よりも遠い場合には、制御手段１０５の撮影倍率決定手段により、下記〔表１〕に示すように、撮像光学手段１０１の撮影倍率を上げて、撮影画像を拡大する。
【００２４】
【表１】

【００２５】
以上のように、本発明の第４の実施の形態によれば、使用者と撮像光学手段１０１の距離が遠い場合等であっても、制御手段１０５の撮影倍率決定手段により撮像光学手段１０１の撮影倍率を上げることにより、質の高い眼球画像データを得ることができるため、認識率の低下を防ぐことができる。
【００２６】
（第５の実施の形態）
図６の動作説明図を参照して、本発明の第５の実施の形態における視線入力機能付携帯電話１について説明する。本発明の第５の実施の形態における視線入力機能付携帯電話１の構成は、ポインティングデバイスとして、複数の目視対象を選択する目視対象選択手段６０７と、目視対象としての目視対象のボタンキー６０４〜６０６と、それと対応する瞳孔中心位置を示す眼球画像６０１〜６０３とを対で記憶する目視対象及び瞳孔中心位置記憶手段６０８（下記〔表２〕）とを備えた点で、第１の実施の形態のものと異なる以外は、第１の実施の形態のものと同様である。
【００２７】
図６において、あらかじめ、次のようにして、眼球画像６０１〜６０３と目視対象のボタンキー６０４〜６０６とを対で記憶しておく。まず、使用者がボタンキー６０４を目視してボタンキー６０４を押下する。ボタンキー６０４の押下と同時に眼球画像６０１を撮影する。同様の手順により、下記〔表２〕に示すような、複数パターンの眼球画像６０１〜６０３と目視対象のボタンキー６０４〜６０６とを対で記憶しておく。視線入力機能付携帯電話１の使用時には、予め記憶した眼球画像６０１〜６０３及びボタンキー６０４〜６０６を使用時の眼球画像６０１〜６０３及びボタンキー６０４〜６０６との比較及び補正用に用いることで、精度の高いポインティングを実現することができる。
【００２８】
【表２】

【００２９】
以上のように、本発明の第５の実施の形態によれば、予め使用者の目視する目視対象と眼球画像とを対で登録しておくことにより、実際に使用するときのポインティングデバイスの移動位置の補正用として用いることができ、また過移動を未然に防ぐことが可能となる。
【００３０】
（第６の実施の形態）
図７の動作説明図を参照して、本発明の第６の実施の形態における視線入力機能付携帯電話１について説明する。本発明の第６の実施の形態における視線入力機能付携帯電話１の構成は、あらかじめ周囲の照度を検出する照度検出手段７０１と、予め登録された照度と新規に検出された照度とを比較する照度比較手段７０５と、照度が低い場合には眼球を照らす眼球照明手段７０２とを備える点で、第１の実施の形態のものと異なる以外は、第１の実施の形態のものと同様である。
【００３１】
上記のように、本実施の形態における視線入力機能付携帯電話１には、あらかじめ周囲の照度を検出する照度検出手段７０１と、予め登録された照度と新規に検出された照度とを比較する照度比較手段７０５と、眼球における照度が低い場合には眼球を照らす眼球照明手段７０２とを備えておく。そして、あらかじめ、照度検出手段７０１により周囲の照度を検出して基準照度を設定し、照度比較手段７０５により基準照度と使用時の照度とを比較し、使用時の照度が基準照度よりも低い場合には、下記〔表３〕に示すように、眼球照明手段７０２により眼球を照らす。眼球照明手段７０２としては、視線入力機能付携帯電話１に新たに照明装置を付属するか、またはディスプレイのバックライト等を用いる方法等が挙げられる。
【００３２】
【表３】

【００３３】
以上のように、本発明の第６の実施の形態によれば、視線入力機能付携帯電話１に眼球照明手段７０２を設けることにより、暗所でも眼球画像を撮影することができ、認識率の高い視線入力が可能となる。
【００３４】
（第７の実施の形態）
図８の動作説明図を参照して、本発明の第７の実施の形態における視線入力機能付携帯電話１について説明する。本発明の第７の実施の形態における視線入力機能付携帯電話１の構成は、周囲の照度を検出する照度検出手段８０１と、視線入力機能付携帯電話１を照明するバックライト８０２と、予め登録された照度と新規に検出された照度とを比較する照度比較手段８０５と、照度比較手段８０５の比較結果によりバックライト８０２の照度を決定するバックライト調節手段８０６とを有する点で、第１の実施の形態のものと異なる以外は、第１の実施の形態のものと同様である。
【００３５】
上記のように、本実施の形態における視線入力機能付携帯電話１には、視線入力機能付携帯電話１の周囲の照度を検出する照度検出装置８０１を設置しておき、あらかじめ、照度検出手段８０１により基準照度を設定し、照度比較手段８０５により基準照度と使用時の照度とを比較し、使用時の照度が基準照度よりも低い場合には、バックライト調節手段８０６により、下記〔表４〕に示すように、視線入力機能付携帯電話１のバックライト８０２を点灯する。
【００３６】
【表４】

【００３７】
以上のように、本発明の第７の実施の形態によれば、暗所でもバックライト８０２を点灯することにより、使用者の目視の誤まりを防ぐことができ、認識率の高い視線入力を可能にする。
【００３８】
（第８の実施の形態）
図９の模式図を参照して、本発明の第８の実施の形態における視線入力機能付携帯電話１について説明する。本発明の第８の実施の形態における視線入力機能付携帯電話１の構成は、眼球における照度を検出する照度検出手段（図示せず）と、照度に応じて瞳孔の形が変化する眼球を撮影した各眼球画像９０１、９０２と、各眼球画像９０１、９０２に対応する照度とを対で記憶する照度眼球画像記憶手段９０４（下記〔表５〕参照）とを有する点で、第１の実施の形態のものと異なる以外は、第１の実施の形態のものと同様である。
【００３９】
上記のように、本実施の形態における視線入力機能付携帯電話１には、あらかじめ照度検出手段により眼球における基準となる照度を検出して基準照度を設定し、下記〔表５〕及び図９に示すように、使用時の照度に対応した各眼球画像９０１、９０２を複数パターン照度眼球画像記憶手段９０４に記憶しておく。使用時には使用時の照度に対応する各眼球画像９０１、９０２を眼球画像の認識に使用する眼球画像とすればよい。
【００４０】
【表５】

【００４１】
以上のように、本発明の第８の実施の形態によれば、瞳孔は周囲の照度や環境の違いで、大きさや形が変わってしまうが、照度に対応した複数パターンの眼球画像を記憶しておき、眼球画像の認識の際には照度毎に対応する眼球画像を選択することにより、認識率の低下を防ぐ事ができる。
【００４２】
（第９の実施の形態）
次に、図１０の説明図を参照して、本発明の第９の実施の形態における視線入力機能付携帯電話１について説明する。
本発明の第９の実施の形態における視線入力機能付携帯電話１の構成は、複数人数の使用者１００１〜１００３の生態情報２００１〜２００３を抽出する生態情報抽出手段１０２１と、生態情報抽出手段１０２１により抽出された複数人数の生態情報２００１〜２００３をあらかじめ記憶する生態情報記憶手段１０２２と、複数人数の個人情報を保存する個人情報保存手段２０１１〜２０１３と、検出された生態情報と生態情報記憶手段１０２２に記憶されている生態情報２００１〜２００３とを比較し、複数人数の登録された使用者１００１〜１００３から現使用者を決定する使用者決定手段１０２３とを備える点で、第１の実施の形態のものと異なる以外は、第１の実施の形態のものと同様である。
【００４３】
本実施の形態における視線入力機能付携帯電話１は、複数の使用者が１つの携帯電話を共同使用する場合に対応する構成を有することについて説明する。図１０に示すように、複数人数の使用者１００１〜１００３が存在し、各使用者１００１〜１００３は瞳孔から生態情報抽出手段１０２１により抽出された生態情報２００１〜２００３と生態情報記憶手段１０２２にあらかじめ記憶されている生態情報２００１〜２００３とを使用者決定手段１０２３により比較して真の使用者が決定される。各使用者１００１〜１００３はそれぞれ使用する電話帳、アドレス帳、データ及びアプリケーションを持っており、個人情報保存手段２０１１〜２０１３により管理される。例えば、使用者１００１が本実施の形態における視線入力機能付携帯電話１を使用する場合は、生態情報２００１の抽出結果から使用者１００１と判定され、使用者１００１用の電話帳１００１、アドレス帳１００１、データ１００１及びアプリケーション１００１等が保存されている個人情報保存手段２０１１を使用することができる。
【００４４】
以上のように、本発明の第９の実施の形態によれば、複数人数の視線入力機能付携帯電話１使用者の中から目視により使用者１００１〜１００３を判別し、使用者毎に個別の電話帳、アドレス帳、データ及びアプリケーション等の個人情報を使用することができるため、使用者個々人のプライバシーを守ることが可能となる。
【００４５】
【発明の効果】
本発明における視線入力機能付携帯電話は、上記のように構成され、特に、撮像光学手段を用いて撮影した使用者の眼球画像の瞳孔中心位置の移動から視線の移動方向を検出しポインティングデバイスを移動させて選択するという視線入力機能を携帯電話に組み入れたことにより、一般的な携帯電話により、意思伝達が困難な重度の肢体不自由者でも、使用環境の変化や使用者固有の癖等による認識率の低下を防止しながら、目視により容易に意思決定することができ、さらに複数の使用者の瞳孔から抽出された生態情報により各使用者を認識することにより、相互に使用者のプライバシーを守ることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態における視線入力機能付携帯電話の構成を示すブロック図、
【図２】本発明の第１の実施の形態における視線入力機能付携帯電話の動作を示すフローチャート、
【図３】本発明の第２の実施の形態における視線入力機能付携帯電話の動作を示すフローチャート、
【図４】本発明の第３の実施の形態における視線入力機能付携帯電話の動作を示すフローチャート、
【図５】本発明の第４の実施の形態における視線入力機能付携帯電話を説明するための模式図、
【図６】本発明の第５の実施の形態における視線入力機能付携帯電話を説明するための動作説明図、
【図７】本発明の第６の実施の形態における視線入力機能付携帯電話を説明するための動作説明図、
【図８】本発明の第７の実施の形態における視線入力機能付携帯電話を説明するための動作説明図、
【図９】本発明の第８の実施の形態における視線入力機能付携帯電話を説明するための模式図、
【図１０】本発明の第９の実施の形態における視線入力機能付携帯電話を説明するための動作説明図。
【符号の説明】
１　視線入力機能付携帯電話
１０１　　撮像光学手段
１０２　　データ記憶領域
１０３　　画像情報取得手段
１０４　　画像情報解析手段
１０５　　制御手段
１０６　　意思決定検出手段
５０１　距離
５０２、７０３、８０３　携帯電話
５０４　距離検出手段
５０５　距離比率算出手段
５０３、７０４、８０４、１００１、１００２、１００３　使用者
６０１、６０２、６０３、９０１、９０２　眼球画像
６０４、６０５、６０６　ボタンキー
６０７　目視対象選択手段
６０８　目視画像及び瞳孔中心位置記憶手段
７０１、８０１　照度検出手段
７０２　眼球照明手段
８０５　照度比較手段
８０２　バックライト
８０６　バックライト調節手段
９０３　瞳孔
９０４　照度眼球画像記憶手段
１０２１　生態情報抽出手段
１０２２　生態情報記憶手段
１０２３　使用者決定手段
２００１、２００２、２００３　生態情報
２０１１　個人情報保存手段

Claims

使用者を撮影する撮像手段と、前記撮像手段で撮影された画像の画像データを保存する画像データ記憶手段と、前記画像データから眼球位置及び瞳孔位置を検出する画像情報取得手段と、前記画像情報取得手段により検出された瞳孔位置の移動を検出して使用者の視線の移動方向を検出する画像情報解析手段と、検出された使用者の視線の移動方向にポインティングデバイスを移動させる制御手段と、前記ポインティングデバイスに向けて行った意思決定を検出する意思決定検出手段とを備えた視線入力機能付携帯電話。
前記画像情報解析手段による眼球位置の判定に従い、前記眼球位置が画像の中心に位置するように前記撮像光学装置の撮影方向を移動させる撮影方向移動手段を備えることを特徴とする請求項１記載の視線入力機能付携帯電話。
前記画像データから眼球サイズを検出する眼球サイズ検出手段と、検出された眼球サイズを記憶する眼球サイズ記憶手段と、使用者の事前に記憶した眼球サイズと新規に記憶した眼球サイズとを比較する眼球サイズ比較手段と、前記眼球サイズ比較手段により算出された眼球サイズの比率から画像撮影の拡大縮小比率を算出する拡大縮小比算出手段と、前記拡大縮小比算出手段により算出された比率で撮影倍率を決定する撮影倍率決定手段とを備えることを特徴とする請求項１または２記載の視線入力機能付携帯電話。
使用者との間の距離を検出する距離検出手段と、前記距離検出手段により事前に登録された距離と新規に検出された距離とから距離の比率を算出する距離比率算出手段とを備え、前記撮影倍率決定手段は前記距離比率算出手段により算出された比率で撮影倍率を決定することを特徴とする請求項３記載の視線入力機能付携帯電話。
目標とする目視対象を選択する目視対象選択手段と、選択された目視対象及び対応する眼球画像を対で記憶する目視対象及び瞳孔中心位置記憶手段とを備えることを特徴とする請求項１ないし４のいずれかに記載の視線入力機能付携帯電話。
使用者周辺の照度を検出する照度検出手段と、予め登録された照度と新規に検出された照度とを比較する照度比較手段と、前記照度比較手段の比較結果に従って使用者の眼球を照らす眼球照明手段とを備えることを特徴とする請求項１ないし５のいずれかに記載の視線入力機能付携帯電話。
使用者周辺の照度を検出する照度検出手段と、予め登録された照度と新規に検出された照度とを比較する照度比較手段と、前記照度比較手段の比較結果に従ってバックライトの照度を決定するバックライト調節手段とを備えることを特徴とする請求項１ないし５のいずれかに記載の視線入力機能付携帯電話。
照度に応じて瞳孔の形が変化する複数の眼球画像及び前記眼球画像の各々に対応する照度とを対で記憶する照度眼球画像記憶手段を備えることを特徴とする請求項１ないし７のいずれかに記載の視線入力機能付携帯電話。
使用者の生態情報を抽出する生態情報抽出手段と、複数の生態情報を記憶する生態情報記憶手段と、使用者の個人情報を保存する個人情報保存手段と、前記生態情報抽出手段により抽出された現在の使用者の生態情報と前記生態情報記憶手段に記憶される複数の生態情報とを比較して現在の使用者を決定する使用者決定手段とを備えることを特徴とする請求項１ないし８のいずれかに記載の視線入力機能付携帯電話。