JP2014142851A - 電子機器、視線入力プログラムおよび視線入力方法 - Google Patents

Abstract

【課題】視線入力デバイスの消費電力を低減する。
【解決手段】携帯電話機１０は、ディスプレイ１４、赤外線ＬＥＤ３０、赤外線カメラ３２、可視光カメラ３４および照度センサ３８などを備え、ディスプレイ１４に対するユーザの視線を検出することが可能である。たとえば、視線入力が有効にされると、照度センサ３８によって周囲の明るさが検出される。このとき、周囲の明るさが第１閾値より大きければ、つまり周囲が明るければユーザの顔が可視光カメラ３４によって撮影され、撮影された画像に対して顔認識処理が施される。そして、ユーザの顔が認識されると、赤外線ＬＥＤ３０が強発光している状態にされ、赤外線カメラ３２の電源がオンにされる。その結果、ユーザの視線入力が検出される。
【効果】周囲が明るければ、可視光カメラを利用して顔を認識することで、視線入力を検出するときの消費電力を抑えることが出来る。
【選択図】図１

Description

この発明は、電子機器、視線入力プログラムおよび視線入力方法に関し、特にたとえば、ユーザの視線入力を検出する電子機器、視線入力プログラムおよび視線入力方法に関する。

背景技術の一例が特許文献１に開示されている。この特許文献１のデータ入力装置は、メニュー又はキーボード等の入力データ群を表示装置で表示し、該装置使用者の眼の部分をカメラで撮影し、該撮影画像から該使用者の視線方向を決定し、該視線方向に位置する入力データを決定し、決定された入力データを外部機器等に出力する。

背景技術の他の例が特許文献２に開示されている。この特許文献２の視線検出装置は、撮影した画像から被験者の瞳孔の中心および角膜反射点を検出することで、被験者の視線を検出する。
特開２００３−１９６０１７号公報［G06F 3/033, G06F 3/00, G06T 1/00, G06T 7/60］ 特開２００５−１８５４３１号公報［A61B 3/113, G06F 3/033］

しかし、視線入力デバイスは、センサと眼球との距離に比例して機器が大きくなる傾向がある。したがって、たとえば携帯端末のような比較的小型の電子機器に搭載することを考慮すると、特許文献１，２に記載の背景技術では、装置が比較的大きく、適切でない。

また、視線を検出するときには、カメラ等の電源をオンにしたままにしなければならず、装置の消費電力が高くなる。据え置き型の装置であれば、消費電力はさほど問題にはならないが、可搬型の装置の場合、高い消費電力は大きな問題となる。

それゆえに、この発明の主たる目的は、新規な、電子機器、視線入力プログラムおよび視線入力方法を提供することである。

この発明の他の目的は、視線入力を検出するときの消費電力を抑えることが出来る、電子機器、視線入力プログラムおよび視線入力方法を提供することである。

この発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、この発明の理解を助けるために記述する実施形態との対応関係を示したものであって、この発明を何ら限定するものではない。

第１の発明は、二次電池および二次電池の電力を供給する電源部を有する、電子機器であって、周囲の明るさを検出する明るさ検出部、赤外線を出力する出力部、出力部が出力した赤外線によって照らされたユーザを撮影する第１撮影部、可視光によって照らされたユーザを撮影する第２撮影部、検出された周囲の明るさが第１閾値より大きいとき、電源部を制御して第２撮影部の電源をオンにする第１電源制御部、第２撮影部によって撮影された画像から顔を認識する第１認識部、第１認識部によって顔が認識されたかを判断する第１判断部、第１認識部によって顔が認識されたと判断されたとき、電源部を制御して第２撮影部の電源をオフにする第２電源制御部、第１認識部によって顔が認識されたと判断されたとき、電源部を制御して第１撮影部の電源をオンにする第３電源制御部、および第１撮影部によって撮影された画像に基づいてユーザの視線入力を検出する視線入力検出部を備える、電子機器である。

第１の発明では、電子機器（１０：実施例において対応する部分を例示する参照符号。以下、同じ。）の電源部（６８）は、電源管理部とも呼ばれ、二次電池（７０）の電力を電子機器の各部に供給している。明るさ検出部（３８）は、たとえば照度センサであり、周囲の明るさ（照度）を検出する。出力部（３０）は、たとえば赤外線ＬＥＤであり、発光により赤外線を出力する。第１撮影部（３２）は、たとえば赤外線カメラであり、赤外線によって照らされたユーザを撮影する。第２撮影部（３４）は、たとえば可視光カメラであり、太陽や電灯などから発せられた可視光によって照らされたユーザを撮影する。第１電源制御部（３０，Ｓ２３）は、検出された周囲の明るさが第１閾値より大きい、つまり周囲が明るい状態では、電源部を制御して、第２撮影部の電源をオンにする。これにより、可視光によって照らされたユーザが第２撮影部によって撮影される。第１認識部（３０，Ｓ２５）は、上述したように撮影されたユーザの顔を認識する。第１判断部（３０，Ｓ２７）は、たとえば可視光によって照らされたユーザの顔が認識されたかを判断する。ユーザの顔が認識されると、第２撮影部の電源は第２電源制御部（３０，Ｓ２９）によってオフにされ、第１撮影部の電源が第３電源制御部（３０，Ｓ３３）によってオンにされる。つまり、第２撮影部と第１撮影部との電源の状態が切り換えられる。これにより、赤外線によって照らされたユーザの顔が第２撮影部によって撮影される。そして、ユーザの顔が撮影されると、視線入力検出部（３０，Ｓ４３）は、撮影された画像に基づいてユーザの視線入力を検出する。

第１の発明によれば、周囲が明るければ、可視光カメラを利用して顔を認識することで、視線入力を検出するときの消費電力を抑えることが出来る。

第２の発明は、第１の発明に従属し、第１撮影部の電源がオンにされるときに、出力部の出力を上昇させる出力制御部をさらに備える。

第２の発明では、出力制御部（３０，Ｓ３１）は、たとえば第１撮影部の電源がオンにされる前に、出力部の出力を上昇させる。これにより、ユーザの顔に照射される赤外線量が増える。

第２の発明によれば、第１撮影部の電源がオンにされるまでは出力部の出力を下げることができるため、視線入力を検出しているときの出力部の消費電力を抑えることが出来る。

第３の発明は、第１の発明または第２の発明に従属し、検出された周囲の明るさが第１閾値より小さいとき、電源部を制御して第１撮影部の電源をオンにする第４電源制御部、第１撮影部によって撮影された画像から顔を認識する第２認識部、および第２認識部によって顔が認識されたかを判断する第２判断部をさらに備え、視線入力検出部は、第２判断部によって顔が認識されたと判断されたとき、第１撮影部によって撮影された画像に基づいてユーザの視線入力を検出する。

第３の発明では、第４電源制御部（３０，Ｓ３７）は、検出された明るさが第１閾値よりも小さい、つまり周囲が暗い状態では、電源部を制御して、第１撮影部の電源をオンにする。これにより、出力部から出力された赤外線によって照らされたユーザが第１撮影部によって撮影される。第２認識部（３０，Ｓ３９）は、たとえば、赤外線によって照らされたユーザの顔が写る画像から、ユーザの顔を認識する。第２判断部（３０，Ｓ４１）は、赤外線によって照らされたユーザの顔が認識されたかを判断する。そして、視線入力検出部は、第２判断部によってユーザの顔が認識されたときに、第１撮影部によって撮影された画像に基づいてユーザの視線入力を検出する。

第３の発明によれば、周囲が暗い状況であっても、ユーザの視線入力を検出することが出来る。

第４の発明は、第１の発明ないし第３の発明のいずれかに従属し、周囲の赤外線量を検出する赤外線検出部をさらに備え、明るさ検出部は、赤外線検出部によって検出された赤外線量が第２閾値より小さいとき、電源部が制御されて電源がオンにされる。

第４の発明では、赤外線検出部（３６）は、たとえば赤外線を利用する近接センサであり、可視光などに含まれる赤外線量を検出する。そして、周囲の赤外線量が第２閾値より小さいとき、つまり視線入力を検出可能なとき、明るさ検出部は電源がオンにされ、周囲の明るさが検出されるようになる。

第５の発明は、第１の発明ないし第３の発明のいずれかに従属し、電子機器の動き検出する動き検出部をさらに備え、明るさ検出部は、動き検出部によって動きが検出されないとき、電源部が制御されて電源がオンにされる。

第５の発明では、動き検出部（６６）は、たとえば手振れなどの動きを検出する。そして、電子機器の動きが検出されないとき、明るさ検出部は電源がオンにされ、周囲の明るさが検出されるようになる。

第４の発明および第５の発明によれば、視線入力を検出することが出来る状態であるかを確認してから、視線入力を検出するために必要な回路等を動作させることが出来る。

第６の発明は、第１の発明ないし第５の発明のいずれかに従属し、電子機器とユーザとの距離を検出する距離検出部をさらに備え、明るさ検出部は、電子機器とユーザとの距離が第３閾値より大きいとき、電源部が制御されて電源がオンにされる。

第６の発明では、距離検出部（３６）は、たとえば近接センサであり、電子機器とユーザとの距離を検出する。そして、電子機器とユーザとの距離が第３閾値より大きいとき、つまり電子機器からユーザの顔が十分に離れているときに、明るさ検出部は電源がオンにされ、周囲の明るさが検出されるようになる。

第６の発明によれば、出力された赤外線がユーザの眼に影響を与えないようにすることが出来る。

第７の発明は、二次電池（７０）、二次電池の電力を供給する電源部（６８）、周囲の明るさを検出する明るさ検出部（３８）、赤外線を出力する出力部（３０）、出力部が出力した赤外線によって照らされたユーザを撮影する第１撮影部（３２）および可視光によって照らされたユーザを撮影する第２撮影部（３４）を有する、電子機器（１０）のプロセッサ（３０）を、検出された周囲の明るさが閾値より大きいとき、電源部を制御して第２撮影部の電源をオンにする第１電源制御部（Ｓ２３）、第２撮影部によって撮影された画像から顔を認識する認識部（Ｓ２５）、認識部によって顔が認識されたかを判断する判断部（Ｓ２７）、認識部によって顔が認識されたと判断されたとき、電源部を制御して第２撮影部の電源をオフにする第２電源制御部（Ｓ２９）、認識部によって顔が認識されたと判断されたとき、電源部を制御して第１撮影部の電源をオンにする第３電源制御部（Ｓ３３）、および第１撮影部によって撮影された画像に基づいてユーザの視線入力を検出する視線入力検出部（Ｓ４３）として機能させる、視線入力プログラムである。

第７の発明でも、第１の発明と同様、周囲が明るければ、可視光カメラを利用して顔を認識することで、視線入力を検出するときの消費電力を抑えることが出来る。

第８の発明は、二次電池（７０）、二次電池の電力を供給する電源部（６８）、周囲の明るさを検出する明るさ検出部（３８）、赤外線を出力する出力部（３０）、出力部が出力した赤外線によって照らされたユーザを撮影する第１撮影部（３２）および可視光によって照らされたユーザを撮影する第２撮影部（３４）を有する、電子機器（１０）の視線入力方法であって、検出された周囲の明るさが閾値より大きいとき、電源部を制御して第２撮影部の電源をオンにし（Ｓ２３）、第２撮影部によって撮影された画像から顔を認識し（Ｓ２５）、顔が認識されたかを判断し（Ｓ２７）、顔が認識されたと判断されたとき、電源部を制御して第２撮影部の電源をオフにし（Ｓ２９）、顔が認識されたと判断されたとき、電源部を制御して第１撮影部の電源をオンにし（Ｓ３３）、そして第１撮影部によって撮影された画像に基づいてユーザの視線入力を検出する（Ｓ４３）、視線入力方法である。

第８の発明は、第１の発明と同様、周囲が明るければ、可視光カメラを利用して顔を認識することで、視線入力を検出するときの消費電力を抑えることが出来る。

第９の発明は、二次電池（７０）および二次電池の電力を供給する電源部（６８）を有する、電子機器（１０）であって、周囲の赤外線量を検出する赤外線検出部（３６）、赤外線を出力する出力部（３０）、出力部が出力した赤外線によって照らされたユーザを撮影する撮影部（３２）、赤外線検出部によって検出された赤外線量が閾値より小さいとき、電源部を制御して撮影部の電源をオンにする電源制御部（３０，Ｓ３３）、および撮影部によって撮影された画像に基づいてユーザの視線入力を検出する視線入力検出部（３０，Ｓ４３）を備える、電子機器である。

第１０の発明は、二次電池（７０）および二次電池の電力を供給する電源部（６８）を有する、電子機器（１０）であって、電子機器の動き検出する動き検出部（６６）、赤外線を出力する出力部（３０）、出力部が出力した赤外線によって照らされたユーザを撮影する撮影部（３２）、動き検出部によって動きが検出されないとき、電源部を制御して撮影部の電源をオンにする電源制御部（３０，Ｓ３３）、および撮影部によって撮影された画像に基づいてユーザの視線入力を検出する視線入力検出部（３０，Ｓ４３）を備える、電子機器である。

第９の発明および第１０の発明でも、第３の発明および第４の発明と同様、視線入力を検出することが出来る状態であるかを確認してから、出力部および第１撮影部を動作させることが出来る。

第１１の発明は、二次電池（７０）および二次電池の電力を供給する電源部（６８）を有する、電子機器（１０）であって、電子機器とユーザとの距離を検出する距離検出部（３６）赤外線を出力する出力部（３０）、出力部が出力した赤外線によって照らされたユーザを撮影する撮影部（３２）、電子機器とユーザとの距離が閾値より大きいとき、電源部を制御して撮影部の電源をオンにする電源制御部（３０，Ｓ３３）、および撮影部によって撮影された画像に基づいてユーザの視線入力を検出する視線入力検出部（３０，Ｓ４３）を備える、電子機器である。

第１１の発明でも、第５の発明と同様、出力された赤外線がユーザの眼に影響を与えないようにすることが出来る。

この発明によれば、視線入力を検出するときの消費電力を抑えることが出来る。

この発明の上述の目的、その他の目的、特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

図１はこの発明の一実施例の携帯電話機を示す外観図である。 図２は図１に示す携帯電話機の電気的な構成を示すブロック図である。 図３は図１に示すディスプレイの表示面で検出される注視点の一例を示す図解図である。 図４は図１に示す赤外線カメラによって撮影される瞳孔とプルキニエ像との一例を示す図解図である。 図５は図２に示すプロセッサによって算出される視線ベクトルの一例を示す図解図であり、図５（Ａ）は第１中心位置および第２中心位置の一例を示し、図５（Ｂ）は視線ベクトルの一例を示す。 図６は視線入力を検出するときの携帯電話機の状態遷移の一例を示す図解図である。 図７は図２に示すＲＡＭのメモリマップの一例を示す図解図である。 図８は図２に示すプロセッサの視線入力処理の一部の一例を示すフロー図である。 図９は図２に示すプロセッサの視線入力処理の他の一部の一例であって、図８に後続するフロー図である。

図１を参照して、この発明の一実施例の携帯電話機１０は、いわゆるスマートフォンであり、縦長の扁平矩形のハウジング１２を含む。ハウジング１２の主面（表面）には、表示部として機能する、たとえば液晶や有機ＥＬなどで構成されるディスプレイ１４が設けられる。このディスプレイ１４の上には、タッチパネル１６が設けられる。ハウジング１２の縦方向一端の表面側にレシーバ(ear piece)１８が内蔵され、縦方向他端の表面側にマイク２０が内蔵される。さらに、タッチパネル１６とともに、ハードウェアキーとして、通話キー２２、終話キー２４およびメニューキー２６が設けられる。

また、マイク２０の左側に赤外線ＬＥＤ３０および赤外線カメラ３２が設けられる。レシーバ１８の左側に可視光カメラ３４が設けられ、レシーバ１８の右側に近接センサ３６および照度センサ３８が設けられる。ただし、赤外線ＬＥＤ３０の発光面と、赤外線カメラ３２の撮影面と、可視光カメラ３４の撮影面と、近接センサ３６の検出面と、照度センサ３８の検出面とはハウジング１２から露出するように設けられ、その他の部分はハウジング１２に内蔵される。

たとえば、ユーザは、ディスプレイ１４に表示されたダイヤルキーに対して、タッチパネル１６にタッチ操作を行うことで電話番号を入力でき、通話キー２２を操作して音声通話を開始することが出来る。終話キー２４を操作すれば、音声通話を終了することが出来る。また、この終話キー２４を長押しすることによって、携帯電話機１０の電源をオン／オフすることが出来る。

また、メニューキー２６が操作されると、ディスプレイ１４にメニュー画面が表示される。ユーザは、その状態でディスプレイ１４に表示されているソフトウェアキーやメニューアイコンなどに対して、タッチパネル１６によるタッチ操作を行うことによって、ソフトウェアキーやアイコンに対して選択操作を行うことが出来る。

なお、この実施例では、電子機器の一例としてスマートフォン（smart phone）のような携帯電話機について説明するが、表示装置を備える様々な電子機器に、この発明を適用可能であることを予め指摘しておく。たとえば、他の電子機器の例としては、フィーチャーフォン(feature phone)、電子書籍端末、タブレット端末、ＰＤＡ、ノート型ＰＣやディスプレイ装置などの任意の電子機器などが該当する。

図２を参照して、図１に示す携帯電話機１０はプロセッサ４０を含み、このプロセッサ４０には、赤外線カメラ３２、可視光カメラ３４、近接センサ３６、照度センサ３８、無線通信回路４２、Ａ／Ｄ変換器４６、Ｄ／Ａ変換器４８、入力装置５０、表示ドライバ５２、フラッシュメモリ５４、ＲＡＭ５６、タッチパネル制御回路５８、ＬＥＤドライバ６０、第１撮影画像処理回路６２、第２撮影画像処理回路６４、ジャイロセンサ６６、電源回路６８などが接続される。

プロセッサ４０は、コンピュータまたはＣＰＵと呼ばれ、携帯電話機１０の全体制御を司る。プロセッサ４０には、ＲＴＣ４０ａが内蔵されており、このＲＴＣ４０ａによって日時が計時される。ＲＡＭ５６には、フラッシュメモリ５４に予め記憶されているプログラムの全部または一部が使用に際して展開（ロード）され、プロセッサ４０はこのＲＡＭ５６に展開されたプログラムに従って各種の処理を実行する。このとき、ＲＡＭ５６は、プロセッサ４０のワーキング領域ないしバッファ領域として用いられる。

入力装置５０は、図１に示すハードウェアキー（２２、２４、２６）を含み、タッチパネル１６およびタッチパネル制御回路５８とともに操作部ないし入力部として機能する。ユーザが操作したハードウェアキーの情報（キーデータ）はプロセッサ４０に入力される。以下、ハードウェアキーによる操作を「キー操作」ということにする。

無線通信回路４２は、アンテナ４４を通して、音声通話やメールなどのための電波を送受信するための回路である。実施例では、無線通信回路４２は、ＣＤＭＡ方式での無線通信を行うための回路である。たとえば、ユーザが入力装置５０を操作して電話発信（発呼）を指示すると、無線通信回路４２は、プロセッサ４０の指示の下、電話発信処理を実行し、アンテナ４４を介して電話発信信号を出力する。電話発信信号は、基地局および通信網を経て相手の電話機に送信される。そして、相手の電話機において着信処理が行われると、通信可能状態が確立され、プロセッサ４０は通話処理を実行する。

Ａ／Ｄ変換器４６には図１に示すマイク２０が接続され、マイク２０からの音声信号はこのＡ／Ｄ変換器４６を通してディジタルの音声データに変換され、プロセッサ４０に入力される。Ｄ／Ａ変換器４８にはレシーバ１８が接続される。Ｄ／Ａ変換器４８は、ディジタルの音声データを音声信号に変換して、アンプを介してレシーバ１８に与える。これにより、音声データの音声がレシーバ１８から出力される。そして、通話処理が実行されている状態では、マイク２０によって集音された音声が相手の電話機に送信され、相手の電話機で集音された音声が、レシーバ１８から出力される。

なお、プロセッサ４０は、たとえばユーザによるボリュームを調整するための操作に応答して、Ｄ／Ａ変換器４８に接続されるアンプの増幅率を制御することによって、レシーバ１８から出力される音声の音量を調整することが出来る。

また、表示ドライバ５２は、プロセッサ４０の指示の下、当該表示ドライバ５２に接続されたディスプレイ１４の表示を制御する。また、表示ドライバ５２は表示する画像データを一時的に記憶するビデオメモリを含む。ディスプレイ１４には、たとえばＬＥＤなどを光源とするバックライトが設けられており、表示ドライバ５２はプロセッサ４０の指示に従って、そのバックライトの明るさや、点灯／消灯を制御する。

タッチパネル制御回路５８には、図１に示すタッチパネル１６が接続される。タッチパネル制御回路５８は、タッチパネル１６に必要な電圧などを付与するとともに、ユーザによるタッチの開始を示すタッチ開始信号、ユーザによるタッチの終了を示す終了信号、およびタッチ位置を示す座標データをプロセッサ４０に入力する。したがって、プロセッサ４０はこの座標データに基づいて、ユーザが、どのアイコンやキーにタッチしたかを判断することが出来る。

タッチパネル１６は、その表面と表面に接近した指などの物体との間に生じる静電容量の変化を検出する静電容量方式のタッチパネルである。タッチパネル１６は、たとえば１本または複数本の指がタッチパネル１６に触れたことを検出する。

タッチパネル制御回路５８はタッチ操作検出部として機能し、タッチパネル１６のタッチ有効範囲内でのタッチ操作を検出して、そのタッチ操作の位置を示す座標データ（タッチ座標データ）をプロセッサ４０に出力する。プロセッサ４０は、タッチパネル制御回路５８より入力されたタッチ座標データに基づいて、ユーザがどのアイコンやキーにタッチしたかを判断することが出来る。以下、タッチパネル１６による操作を「タッチ操作」ということにする。

なお、本実施例のタッチ操作には、タップ操作、ロングタップ操作、フリック操作、スライド操作などが含まれる。また、タッチパネル１６は、表面型の静電容量方式が採用されてもよいし、抵抗膜方式、超音波方式、赤外線方式および電磁誘導方式などが採用されてもよい。また、タッチ操作はユーザの指に限らず、スタイラスペンなどによって行われてもよい。

近接センサ３６は、図示は省略するが、発光素子（たとえば、赤外線ＬＥＤ）と受光素子（たとえば、フォトダイオード）とを含む。プロセッサ４０は、フォトダイオードの出力の変化から、近接センサ３６（携帯電話機１０）に近接する物体（たとえば、ユーザの顔）の距離を算出する。具体的には、発光素子は赤外線を発光し、受光素子は、顔などで反射した赤外線を受光する。たとえば、受光素子がユーザの顔から遠い場合は、発光素子から発せられた赤外線は受光素子によってほとんど受光されない。一方、近接センサ３６にユーザの顔が近接すると、発光素子が発光した赤外線は顔に反射して受光素子によって受光される。このように、受光素子は近接センサ３６がユーザの顔に近接している場合とそうでない場合とで赤外線の受光量が変化するため、プロセッサ４０は、その受光量に基づいて、近接センサ３６から物体までの距離を算出することができる。また、本実施例では、近接センサ３６は、周囲の赤外線量を検出するために利用されることもある。そのため、近接センサ３６は、距離検出部または赤外線検出部と呼ばれることもある。

照度センサ３８は、明るさ検出部とも呼ばれ、アレイ状に集積されたフォトダイオードなどを含む。各フォトダイオードは、受光すると出力が変化する。プロセッサ４０は、各フォトダイオードの出力の変化に基づいて、携帯電話機１０の周囲の明るさ（照度）を検出する。なお、他の実施例では、フォトダイオードに代えてフォトトランジスタが利用されてもよい。

ジャイロセンサ６６は、動き検出部とも呼ばれ、携帯電話機１０の動きを検出するために用いられる。たとえば、ジャイロセンサ６６は、圧電型ジャイロであり、３軸（ｘ，ｙ、ｚ）の角速度を検出し、その検出結果をプロセッサ４０に出力する。プロセッサ４０は、ジャイロセンサ６６が検出した各軸の角速度に基づいて、携帯電話機１０の動きを検出する。そして、プロセッサ４０は、検出した動きに基づいて、ディスプレイ１４の表示方向などを制御する。

ＬＥＤドライバ６０には、出力部として機能する赤外線ＬＥＤ３０（図１参照）が接続される。ＬＥＤドライバ６０は、プロセッサ４０からの制御信号に基づいて、赤外線ＬＥＤ３０のオン／オフ（点灯／消灯）および赤外線ＬＥＤ３０から出力される赤外線の強さを制御する。

第１撮影画像処理回路６２には、第１撮影部として機能する赤外線カメラ３２（図１参照）が接続される。第１撮影画像処理回路６２は、赤外線カメラ３２からの撮影画像データに画像処理を施し、モノクロの画像データをプロセッサ４０に入力する。赤外線カメラ３２は、プロセッサ４０の指示の下、撮影処理を実行し、撮影画像データを第１撮影画像処理回路６２に入力する。赤外線カメラ３２は、たとえば、ＣＣＤやＣＭＯＳのような撮影素子を用いたカラーカメラと、Ｒ、Ｇ、Ｂの波長の光を減衰(カット)し、赤外線波長の光を透過する赤外線透過フィルタとによって構成される。

第２撮影画像処理回路６４には、第２撮影部として機能する可視光カメラ３４（図１参照）が接続される。第２撮影画像処理回路６４は、可視光カメラ３４からの撮影画像データに画像処理を施し、カラーの画像データをプロセッサ４０に入力する。可視光カメラ３４は、プロセッサ４０の指示の下、撮影処理を実行し、撮影画像データを第２撮影画像処理回路６４に入力する。可視光カメラ３４は、たとえば、ＣＣＤやＣＭＯＳのような撮影素子を用いたカラーカメラと、赤外線波長の光を減衰(カット)し、Ｒ,Ｇ,Ｂの波長の光をよりよく受光させるための赤外線カットフィルタ(ローパスフィルタ)とによって構成される。

電源回路６８は電源管理用のＩＣであり、電源回路６８は二次電池７０の電圧に基づく電源をシステム全体に供給する。ここで、電源回路６８が電源をシステム全体に供給している状態を、電源オン状態と言うことにする。一方、電源回路６８が電源をシステム全体に供給していない状態を、電源オフ状態と言うことにする。電源回路６８は、電源オフ状態で、入力装置５０によって電源オン操作がされると起動され、電源オン状態で、入力装置５０によって電源オフ操作がされると停止される。さらに、電源オフ状態であっても、電源回路６８は、図示しない外部電源コネクタに外部電源が接続され、二次電池７０に電力が供給（充電）されると起動し、二次電池７０の満充電状態が検出されると停止する。また、「充電」とは、外部電源コネクタが外部電源と接続され外部電源から電力の供給を受け、二次電池７０が電気エネルギーを蓄えることを言う。なお、電源回路６８は電源部と呼ばれることもある。

また、携帯電話機１０は、ハンズフリー通話を行うこともできる。そして、可視光カメラ３４およびハンズフリー通話を利用して、テレビ電話機能を実行することもできる。たとえば、テレビ電話機が実行されると、相手の端末と通話状態が確立され、相手から送信された画像をディスプレイ１４に表示すると共に、可視光カメラ３４によって撮影された画像を相手の端末に送信する。これにより、ユーザは、相手の映像を確認しながら、ハンズフリー通話を行うことが出来る。

なお、上で説明した無線通信回路４２、Ａ／Ｄ変換器４６およびＤ／Ａ変換器４８はプロセッサ４０に含まれていてもよい。

このような構成の携帯電話機１０では、キー操作やタッチ操作に代えて、視線による入力操作（以下、「視線操作」ということがある。）が可能である。視線操作では、視線とディスプレイ１４の表示面とが交差する点（注視点）によって指示される所定の領域（以下、判定エリア）に対応づけられた処理が実行される。以下、図面を用いて、注視点の検出方法について説明する。

図３を参照して、ユーザは、左右の目の内、自身の利き目を設定する。利き目（ここでは左目）が設定されると、赤外線ＬＥＤ３０が発光した赤外線が照射されたユーザ（被写体）の顔を、赤外線カメラ３２によって撮影する。撮影された画像には顔認識処理が施され、ユーザの顔が認識される。ユーザの顔の認識に成功すると、撮影された画像に対して特徴点抽出の技術を用いて、眼球周辺画像を取得する。次に、取得された眼球周辺画像に対してラベリング処理によって瞳孔が検出され、微分フィルタ処理によって赤外線（赤外光）による反射光（プルキニエ像またはプルキンエ像）が検出される。なお、撮影画像から瞳孔やプルキニエ像を検出する方法を概説したが、これらの方法は既に周知であり、この実施例の本質的な内容ではないため、詳細な説明は省略する。

図１に示したように、赤外線ＬＥＤ３０と赤外線カメラ３２とがディスプレイ１４の下側に並べて配置（接近して配置）されているため、図４に示すように、瞼が比較的大きく開いている状態および瞼が少し閉じている状態のいずれであっても、プルキニエ像を検出することが出来る。なお、赤外線ＬＥＤ３０と赤外線カメラ３２との距離は、ユーザが携帯電話機１０を使用する際における、ユーザの顔と携帯電話機１０（筐体の表面ないしディスプレイ１４の表示面）との距離や携帯電話機１０の大きさなどによって決定される。

プロセッサ４０は、撮影画像から瞳孔およびプルキニエ像を検出すると、利き目の視線の方向（視線ベクトルＶ）を検出する。具体的には、赤外線カメラ３２で撮影された２次元の撮影画像におけるプルキニエ像の位置から瞳孔の位置に向けたベクトルが検出される。つまり、図５（Ａ），（Ｂ）に示すように、第１中心位置Ａから第２中心位置中心Ｂに向けたベクトルが視線ベクトルＶである。赤外線カメラ３２における座標系は予め決定されており、その座標系を用いて視線ベクトルＶが算出される。

そして、このようにして算出された視線ベクトルＶを用いて、視線操作の初期設定としてキャリブレーションが行われる。本実施例では、ディスプレイ１４の所定の位置を注視したときの視線ベクトルＶを取得し、各視線ベクトルＶをキャリブレーションデータとして保存する。

視線操作が行われる際には、赤外線カメラ３２によって画像が撮影される度に、視線ベクトルＶを求め、キャリブレーションデータと比較することによって、注視点が検出される。そして、注視点が、判定エリア内で検出された回数が判定回数と一致したときに、プロセッサ４０は、その注視点に対して視線入力がされたものとして検出する。

また、本実施例では、ユーザの両目の距離Ｌ（図３参照）が、左右の目の瞳孔の中心位置から算出される。そして、ユーザの両目の距離Ｌはキャリブレーションデータと共に保存される。注視点を検出する処理が実行され視線ベクトルＶが算出されると、注視点を検出するときに記録された両目の距離Ｌと現在の両目の距離Ｌとが比較され、ディスプレイ１４とユーザの顔との距離が変化しているかが判断される。ディスプレイ１４とユーザの顔との距離が変化していると判断されると、記録された両目の距離Ｌと現在の両目の距離Ｌとから変化量が算出され、視線ベクトルＶの大きさが補正される。たとえば、変化量に基づいて、ユーザの顔の位置がキャリブレーションを行ったときに対して離れた状態であると判断されると、視線ベクトルＶは大きくなるよう補正される。また、変化量に基づいて、ユーザの顔の位置がキャリブレーションを行ったときに対して近づいた状態であると判断されると、視線ベクトルＶは小さくなるように補正される。

また、詳細な説明は省略するが、本実施例の注視点検出処理では、眼球の形状によって生じる誤差、キャリブレーション時の測定誤差および撮影時の量子化誤差なども補正されている。

したがって、本実施例では、携帯電話機１０のような小型の電子機器であっても、高精度な視線入力を実現することが可能となる。

ところが、このような視線入力を検出する場合、赤外線ＬＥＤ３０が常時発光し、赤外線カメラ３２は常時撮影し、プロセッサ４０が常に画像解析を行うことになり、視線入力を検出するときの消費電力が高くなってしまう。

特に、赤外線ＬＥＤ３０の発光によって、ある程度離れているユーザの顔を照らす必要があるため、赤外線ＬＥＤ３０は強発光の状態にされる。この状態の赤外線ＬＥＤ３０の平均消費電流値は約３００ｍＡとなる。これは、近接センサ３６に含まれる発光素子（赤外線ＬＥＤ）を発光させたときの約３倍もの値になる。

そこで、本実施例では、視線入力が有効にされたときに、赤外線ＬＥＤ３０の発光、赤外線カメラ３２の起動およびプロセッサ４０による処理を段階的に行うことで、視線入力を検出する携帯電話機１０の消費電力を抑える。

具体的には、視線入力を検出するときの使用環境を、近接センサ３６、照度センサ３８およびジャイロセンサ６６を利用して検出することで、赤外線ＬＥＤ３０の発光、赤外線カメラ３２の起動およびプロセッサ４０による処理を段階的に行う。

図６を参照して、まず、携帯電話機１０が通常状態、つまり視線入力が有効にされていない状態では、近接センサ３６、赤外線ＬＥＤ３０、ジャイロセンサ６６、照度センサ３８、赤外線カメラ３２および可視光カメラ３４の電源はオフにされている。

この状態で、視線入力が有効にされると、周囲の赤外線量（使用環境）を検出するために近接センサ３６の電源がオンにされる。たとえば、携帯電話機１０が屋外で利用され周囲の赤外線量が高ければ、赤外線ＬＥＤ３０を発光させたとしても、撮影画像からプルキニエ像を適切に検出できない可能性がある。そのため、近接センサ３６によって周囲の赤外線量を検出する。たとえば、周囲の赤外線量が適切な値でなければ、ユーザに使用環境に対する注意を促すポップアップがディスプレイ１４に表示される。

また、周囲の赤外線量が適切な値であれば、赤外線ＬＥＤ３０が強発光したときにユーザの目に影響を与えるかを確認するために、赤外線ＬＥＤ３０を弱発光させる。具体的には、赤外線ＬＥＤ３０を弱発光させ、近接センサ３６によってユーザと携帯電話機１０との距離を検出する。このとき、ユーザの顔までの距離が所定距離（たとえば、２０ｃｍ）より短ければ、赤外線ＬＥＤ３０が強発光したときに赤外線がユーザの目に影響を与える可能性がある。そのため、検出された距離が所定距離より短ければ、プロセッサ４０は視線を検出する処理を終了する。このように、出力された赤外線がユーザの眼に影響を与えないようにすることが出来る。

また、ユーザと携帯電話機１０との距離が所定距離より離れていれば、携帯電話機１０の振動（手振れ）を検出するために、ジャイロセンサ６６がオンにされる。つまり、携帯電話機１０が手振れなどによって動いている場合、視線を正しく検出することが出来ない。そのため、ジャイロセンサ６６を利用して、携帯電話機１０の手振れ（動き）を検出する。たとえば、手振れが検出された場合は、プロセッサ４０は視線入力処理を開始せず、手振れが収まるまで待機する。

このように、視線入力を検出することが出来る状態であるかを確認してから、赤外線ＬＥＤ３０および赤外線カメラ３２などを動作させることが出来る。

また、手振れが検出されなければ、周囲の明るさ（使用環境の明るさ）を検出するために照度センサ３８がオンにされる。このとき、照度（明るさ）が第１閾値より大きければ、可視光カメラ３４の電源をオンにし、可視光カメラ３４によって撮影された画像に対して顔認識処理が施される。ユーザの顔の認識が成功すると、可視光カメラ３４の電源がオフにされ、赤外線カメラ３２の電源がオンにされる。略同時に、プロセッサ４０は、赤外線ＬＥＤ３０の出力を上昇、つまり弱発光から強発光に切り替える。そして、視線入力処理を赤外線カメラ３２によって撮影された画像から、ユーザの視線入力が検出される。

一方、照度センサ３８によって検出された照度が第１閾値より小さければ、可視光カメラ３４に代えて赤外線カメラ３４の電源がオンにされ、赤外線ＬＥＤ３０が弱発光から強発光に切り替えられる。そして、赤外線カメラ３２によって撮影された画像に対して顔認識処理が施され、顔の認識に成功すればユーザの視線が検出される。

このように、周囲が明るければ、可視光カメラ３４を利用して顔を認識することで、視線入力を検出するときの消費電力を抑えることが出来る。特に、赤外線カメラ３２の電源がオンにされるまでは赤外線ＬＥＤ３０の発光を抑えることができるため、視線入力が検出されているときの赤外線ＬＥＤ３０の消費電力を抑えることが出来る。

また、周囲が暗い状況であっても、ユーザの視線入力を検出することが出来る。

なお、赤外線ＬＥＤ３０の出力を上昇させるという表現には、赤外線ＬＥＤ３０を弱発光から強発光に切り替える以外に、赤外線ＬＥＤ３０をオフの状態から強発光の状態に切り替えることも含まれる。

以下、図７に示すメモリマップ５００および図８−図９に示すフロー図を用いて、本実施例の概要を説明する。

図７を参照して、図２に示すＲＡＭ５６には、プログラム記憶領域５０２とデータ記憶領域５０４とが形成される。プログラム記憶領域５０２は、先に説明したように、フラッシュメモリ４４（図２）に予め設定しているプログラムデータの一部または全部を読み出して記憶（展開）しておくための領域である。

プログラム記憶領域５０２には、ユーザの視線入力を検出するための視線入力プログラム５１０などが記憶される。なお、プログラム記憶領域５０２には、電話機能、メール機能およびアラーム機能などを実行するためのプログラムなども含まれる。

データ記憶領域５０４には、近接バッファ５３０、ジャイロセンサバッファ５３２、照度バッファ５３４、撮影画像バッファ５３６および視線バッファ５３８などが設けられる。

近接バッファ５３０は、受光素子が受光した赤外線量が一時的に記憶される。プロセッサ４０は、近接バッファ５３０に記憶されている赤外線量の値に基づいて、ユーザと携帯電話機１０との距離を検出する。

ジャイロセンサバッファ５３２は、ジャイロセンサ６６から出力された、各軸の角速度のデータが一時的に記憶される。照度バッファ５３４は、照度センサ３８によって検出された照度が一時的に記憶される。撮影画像バッファ５３６は、赤外線カメラ３２または可視光カメラ３４によって撮影された画像が一時的に記憶される。たとえば、プロセッサ４０は、撮影画像バッファ５３６に記憶されている画像に対して顔認識処理を施したり、ユーザの視線入力を検出するための処理を施したりする。視線バッファ５３８は、検出された注視点が一時的に記憶される。

なお、図示は省略するが、データ記憶領域５０４には、プログラム記憶領域５０２に記憶された各プログラムの実行に必要な、他のデータが記憶されたり、タイマ（カウンタ）や、フラグが設けられたりする。

プロセッサ４０は、Ａｎｄｒｏｉｄ（登録商標）またはＲＥＸなどのＬｉｎｕｘ（登録商標）ベースのＯＳや、その他のＯＳの制御下で、図８および図９に示す視線入力処理などを含む、複数のタスクを並列的に処理する。

視線入力を有効にする操作がされると、視線入力処理が実行される。プロセッサ４０は、ステップＳ１で近接センサ３６をオンにする。つまり、周囲の赤外線量を検出するために近接センサ３６の電源がオンにされる。続いて、ステップＳ３でプロセッサ４０は、周囲の赤外線量が適切か否かを判断する。つまり、周囲の赤外線量が視線を検出することが可能な値であるかが判断される。また、具体的には、近接バッファ５３０に記憶されている赤外線量が第２閾値より小さいかが判断される。ステップＳ３で“ＮＯ”であれば、つまり周囲の赤外線量が第２閾値より大きければ、ステップＳ５でプロセッサ４０は、使用環境に対する注意を通知する。たとえば、ユーザに使用環境に対する注意を促すポップアップがディスプレイ１４に表示される。続いて、ステップＳ７でプロセッサ４０は、赤外線量が変化したか否かを判断する。つまり、プロセッサ４０は、近接バッファ５３０に記憶されている赤外線量が変化したかを判断する。ステップＳ７で“ＮＯ”であれば、つまり赤外線量が変化してなければ、プロセッサ４０は視線入力処理を終了する。つまり、ユーザの視線を検出することが出来る状態に変化しないため、視線入力処理は終了する。なお、視線入力処理が終了すると、近接センサ３６の電源はオフにされる。

また、ステップＳ７で“ＹＥＳ”であれば、たとえばユーザが移動して赤外線量が変化すれば、プロセッサ４０はステップＳ３に戻る。ステップＳ３で“ＹＥＳ”であれば、つまり、周囲の赤外線量が第２閾値より小さければ、ステップＳ９でプロセッサ４０は、赤外線ＬＥＤ３０を弱発光させる。つまり、プロセッサ４０は、ユーザと携帯電話機１０との距離を計測するために赤外線ＬＥＤ３０を弱発光させる。

続いて、ステップＳ１１でプロセッサ４０は、ユーザと携帯電話機１０との距離に問題はないかを判断する。つまり、赤外線ＬＥＤ３０が強発光したときの赤外線が、ユーザの目に影響を与えるかが判断される。また、具体的には、近接バッファ５３０に記憶されている赤外線量に基づいて算出された距離が、上述した所定距離と対応する第３閾値より大きいかが判断される。ステップＳ１１で“ＮＯ”であれば、つまりユーザと携帯電話機１０との距離が第３閾値よりも小さければ、プロセッサ４０は、視線入力処理を終了する。つまり、赤外線ＬＥＤ３０が強発光した場合にユーザの目に影響が出る可能性があるため、プロセッサ４０は視線入力処理を終了する。なお、視線入力処理が終了すると、近接センサ３６および赤外線ＬＥＤ３０の電源はオフにされる。

また、ステップＳ１１で“ＹＥＳ”であれば、つまりユーザと携帯電話機１０との距離が第３閾値よりも大きければ、ステップＳ１３でプロセッサ４０は、ジャイロセンサ６６をオンにする。つまり、携帯電話機１０の手振れ（動き）を検出するために、ジャイロセンサ６６の電源がオンにされる。

続いて、ステップＳ１５でプロセッサ４０は、手振れが起きていないかが判断される。つまり、ジャイロセンサバッファ５３２に記憶されている角速度のデータに基づいて、手振れが起きているかが判断される。ステップＳ１５で“ＮＯ”であれば、つまり手振れが起きていれば、ステップＳ１７でプロセッサ４０は、手振れに対する注意を通知する。たとえば、携帯電話機１０を振動させないように促すポップアップがディスプレイ１４に表示される。そして、ステップＳ１７の処理が終了すれば、プロセッサ４０はステップＳ１５に戻る。

また、ステップＳ１５で“ＹＥＳ”であれば、つまり手振れが起きていなければ、ステップＳ１９でプロセッサ４０は、照度センサ３８をオンにする。つまり、周囲の明るさを検出するために、照度センサ３８の電源がオンにされる。

続いて、図９のステップＳ２１でプロセッサ４０は、周囲の照度が適切か否かを判断する。つまり、可視光カメラ３４によって撮影した画像によって、顔を認識できる程度に周囲が明るいかが判断される。具体的には、照度バッファ５３４に記憶される照度が第１閾値より大きいかが判断される。ステップＳ２１で“ＹＥＳ”であれば、つまり周囲が明るければ、ステップＳ２３でプロセッサ４０は、可視光カメラ３４をオンにする。つまり、ユーザの顔を撮影するために可視光カメラ３４の電源がオンにされる。そして、可視光カメラ３４によって撮影された画像は撮影場像バッファ５３６に記憶される。なお、ステップＳ２３の処理を実行するプロセッサ４０は第１電源制御部として機能する。

続いて、ステップＳ２５でプロセッサ４０は、顔認識処理を実行する。つまり、撮影場像バッファ５３６に記憶されている画像に対して、顔認識処理が施される。続いて、ステップＳ２７でプロセッサ４０は、顔が認識されたかを判断する。つまり、可視光カメラ３４によって撮影された画像において、ユーザの顔が認識されたかが判断される。ステップＳ２７で“ＮＯ”であれば、つまりユーザの顔が認識されていなければ、プロセッサ４０はステップＳ２５に戻る。一方、ステップＳ２７で“ＹＥＳ”であれば、たとえばユーザの顔が認識されると、ステップＳ２９でプロセッサ４０は、可視光カメラ３４をオフにする。つまり、視線入力を検出するときには可視光カメラ３４は不要であるため、可視光カメラ３４の電源がオフにされる。

なお、ステップＳ２５の処理を実行するプロセッサ４０は第１認識部として機能し、ステップＳ２７の処理を実行するプロセッサ４０は第１判断部として機能し、ステップＳ２９の処理を実行するプロセッサ４０は第２電源制御部として機能する。

続いて、プロセッサ４０は、ステップＳ３１で赤外線ＬＥＤを強発光し、ステップＳ３３で赤外線カメラ３４をオンし、ステップＳ４３に進む。つまり、ユーザの視線を検出するために、赤外線ＬＥＤが弱発光から強発光に切り替えられ、赤外線カメラ３２の電源がオンにされる。そして、赤外線カメラ３２の電源がオンにされると、撮影場像バッファ５３６には赤外線カメラ３２によって撮影された画像が一時的に記憶される。

なお、ステップＳ３１の処理を実行するプロセッサ４０は出力制御部として機能し、ステップＳ３３の処理を実行するプロセッサ４０は第３電源制御部として機能する。

ここで、ステップＳ２１で“ＮＯ”であれば、つまり周囲が暗ければ、プロセッサ４０は、ステップＳ３５で赤外線ＬＥＤ３０を強発光し、ステップＳ３７で赤外線カメラ３２をオンにする。つまり、周囲が暗い状況でユーザの顔を認識するために、赤外線ＬＥＤ３０が弱発光から強発光に切り替えられ、赤外線カメラ３２の電源がオンにされる。続いて、プロセッサ４０は、ステップＳ３９で顔認識処理を実行し、ステップＳ４１で顔が認識されたかを判断する。ステップＳ４１で“ＮＯ”であれば、つまりユーザの顔が認識されていなければ、プロセッサ４０はステップＳ３９に戻る。また、ユーザの顔が認識されると、プロセッサ４０はステップＳ４３に進む。

なお、ステップＳ３７の処理を実行するプロセッサ４０は第４電源制御部として機能し、ステップＳ３９の処理を実行するプロセッサ４０は第２認識部として機能し、ステップＳ４１の処理を実行するプロセッサ４０は第２判断部として機能する。

ステップＳ４３でプロセッサ４０は、視線検出処理を実行する。つまり、撮影画像バッファ５３６に記憶されている画像からユーザの視線が検出される。そして、検出された結果は、視線バッファ５３８に記憶される。なお、ステップＳ４３の処理を実行するプロセッサ４０は視線入力検出部として機能する。

続いて、ステップＳ４５でプロセッサ４０は、近接センサ３６、赤外線ＬＥＤ３０、ジャイロセンサ６６、照度センサ３８および赤外線カメラ３２の電源をオフにする。つまり、視線入力が検出されたため、これらの電源が一旦オフにされる。続いて、ステップＳ４７でプロセッサ４０は、視線入力を終了するかを判断する。たとえば、視線入力を終了する操作がされたかが判断される。ステップＳ４７で“ＮＯ”であれば、つまり視線入力が終了されていなければ、ステップＳ１に戻る。つまり、視線入力を再び検出するために、プロセッサ４０はステップＳ１に戻る。一方、ステップＳ４７で“ＹＥＳ”であれば、たとえば視線入力を終了する操作がされると、プロセッサ４０は、視線入力処理を終了する。

なお、他の実施例では、ステップＳ４５で照度センサ３８の電源はオンにした状態で、ステップＳ２１に戻るようにしてもよい。また、ステップＳ１５の判断ステップ、つまり手振れの有無の判定は、ステップＳ１より前に実行されてもよい。

また、その他の実施例では、ステップＳ９−Ｓ３３を省略して、ステップＳ３で周囲の赤外線量が適切と判定された後に、赤外線ＬＥＤを強発光に切り替え、赤外線カメラ３２の電源をオンにすることで、顔認識および視線入力を検出するようにしてもよい。また、ステップＳ３−Ｓ７およびステップＳ１３−Ｓ３３を省略して、ステップＳ１１でユーザと携帯電話機１０との距離に問題がないと判定された後に、赤外線ＬＥＤ３０を強発光に切り替え、赤外線カメラ３２の電源をオンにすることで、顔認識および視線入力を検出するようにしてもよい。さらに、ステップＳ１−Ｓ１１およびステップＳ１９−Ｓ３３を省略して、ステップＳ１５で携帯電話機１０の手振れが起きていないと判定された後に、赤外線ＬＥＤ３０を強発光に切り替え、赤外線カメラ３２の電源をオンにすることで、顔認識および視線入力を検出するようにしてもよい。

また、ステップＳ２９で可視光カメラ３４はオフにされず、消費電力が低いスリープ状態にされてもよい。また、ステップＳ４５で赤外線カメラ３２はオフにされず、消費電力が低いスリープ状態にされてもよい。この場合、赤外線カメラ３２および可視光カメラ３４は、視線入力処理が終了したときに、オフにされる。

また、ＧＰＳモジュールを有する場合、現在位置に基づいて屋内／屋外を判定し、その判定結果に基づいて赤外線量が推定されてもよい。たとえば、屋内であれば赤外線量が少ないと推定され、屋外であれば赤外線量が多いと判定される。また、屋外と判定された場合、ＲＴＣ４０ａが出力する現在時刻に基づいて、赤外線量を推定してもよい。つまり、昼間の時刻であれば、赤外線量が多く、夜の時刻であれば赤外線量が少ないと推定される。

また、ステップＳ１１でユーザと携帯電話機１０との距離に問題がないと判断された後に、周囲の赤外線量が適切かを再び判断するようにしてもよい。また、ステップＳ１５で手振れが起きていないと判断された後に、周囲の赤外線量と、ユーザと携帯電話機との距離とが再び判定されてもよい。そして、ステップＳ２５またはステップＳ３９で顔認識処理が実行される前、およびステップＳ４３で視線を検出する前に、周囲の赤外線量と、ユーザと携帯電話機１０との距離とが再び判定されてもよい。

また、赤外線ＬＥＤ３０が強発光に切り替えられるタイミングは、赤外線カメラ３２がオンにされた後であってもよい。

また、さらに他の実施例では、携帯電話機１０からユーザまでの距離の検出精度を高めるために、近接センサ３６が、赤外線ＬＥＤ３０および赤外線カメラ３２と隣接するように設けられてもよい。また、その他の実施例では、赤外線ＬＥＤ３０および赤外線カメラ３２が、近接センサ３６と隣接するように設けられてもよい。さらに、可視光カメラ３４は赤外線カメラ３２と隣接するように設けられてもよい。

また、ジャイロセンサ６６によって検出された携帯電話機１０の姿勢に基づいて、視線入力の有効／無効が切り替えられてもよい。

また、ジャイロセンサ６６に代えて、加速度センサによって、携帯電話機１０の手振れ（動き）が検出されてもよい。

また、他の実施例の赤外線カメラ３２は、通常のカラーカメラに比べて赤外線に対する感度が高いものであってもよい。また、その他の実施例の赤外線カメラ３２を構成するカラーカメラには、赤外線波長の光を減衰(カット)し、Ｒ,Ｇ,Ｂの波長の光をよりよく受光させるための赤外線カットフィルタ(ローパスフィルタ)が設けられていてもよい。赤外線カットフィルタが設けられた赤外線カメラ３２の場合、赤外線波長の光の感度を高めておくとしてもよい。また、この赤外線カットフィルタを赤外線カメラ３２から着脱自在としてもよい。そして、赤外線カットフィルタを赤外線カメラ３２から着脱自在とした場合、第２撮影画像処理回路６４および可視光カメラ３４が省略されてもよい。

また、本実施例では、閾値に対して「より大きい」または「より小さい」との言葉を用いたが、「閾値より大きい」という表現には「閾値以上」の意味も含まれ、「閾値より小さい」と言う表現には「閾値以下」および「閾値未満」の意味が含まれる。

また、本実施例で用いられたプログラムは、データ配信用のサーバのＨＤＤに記憶され、ネットワークを介して携帯電話機１０に配信されてもよい。また、ＣＤ，ＤＶＤ，ＢＤなどの光学ディスク、ＵＳＢメモリおよびメモリカードなどの記憶媒体に複数のプログラムを記憶させた状態で、その記憶媒体が販売または配布されてもよい。そして、上記したサーバや記憶媒体などを通じてダウンロードされた、プログラムが本実施例と同等の構成の電子機器にインストールされた場合、本実施例と同等の効果が得られる。

そして、本明細書中で挙げた、具体的な数値は、いずれも単なる一例であり、製品の仕様変更などに応じて適宜変更可能である。

１０ …携帯電話機
１４ …ディスプレイ
１６ …タッチパネル
３０ …赤外線ＬＥＤ
３２ …赤外線カメラ
３４ …可視光カメラ
３６ …近接センサ
３８ …照度センサ
４０ …プロセッサ
５０ …入力装置
５４ …フラッシュメモリ
５６ …ＲＡＭ
６０ …ＬＥＤドライバ
６２ …第１撮影画像処理回路
６４ …第２撮影画像処理回路
６６ …ジャイロセンサ
６８ …電源回路
７０ …二次電池

Claims (11)

1. 二次電池および前記二次電池の電力を供給する電源部を有する、電子機器であって、
   周囲の明るさを検出する明るさ検出部、
   赤外線を出力する出力部、
   前記出力部が出力した赤外線によって照らされたユーザを撮影する第１撮影部、
   可視光によって照らされたユーザを撮影する第２撮影部、
   検出された周囲の明るさが第１閾値より大きいとき、前記電源部を制御して前記第２撮影部の電源をオンにする第１電源制御部、
   前記第２撮影部によって撮影された画像から顔を認識する第１認識部、
   前記第１認識部によって顔が認識されたかを判断する第１判断部、
   前記第１認識部によって顔が認識されたと判断されたとき、前記電源部を制御して前記第２撮影部の電源をオフにする第２電源制御部、
   前記第１認識部によって顔が認識されたと判断されたとき、前記電源部を制御して前記第１撮影部の電源をオンにする第３電源制御部、および
   前記第１撮影部によって撮影された画像に基づいて前記ユーザの視線入力を検出する視線入力検出部を備える、電子機器。
2. 前記第１撮影部の電源がオンにされるときに、前記出力部の出力を上昇させる出力制御部をさらに備える、請求項１記載の電子機器。
3. 検出された周囲の明るさが前記第１閾値より小さいとき、前記電源部を制御して前記第１撮影部の電源をオンにする第４電源制御部、
   前記第１撮影部によって撮影された画像から顔を認識する第２認識部、および
   前記第２認識部によって顔が認識されたかを判断する第２判断部をさらに備え、
   前記視線入力検出部は、前記第２判断部によって顔が認識されたと判断されたとき、前記第１撮影部によって撮影された画像に基づいて前記ユーザの視線入力を検出する、請求項１または２記載の電子機器。
4. 周囲の赤外線量を検出する赤外線検出部をさらに備え、
   前記明るさ検出部は、前記赤外線検出部によって検出された赤外線量が第２閾値より小さいとき、前記電源部が制御されて電源がオンにされる、請求項１ないし３のいずれかに記載の電子機器。
5. 前記電子機器の動き検出する動き検出部をさらに備え、
   前記明るさ検出部は、前記動き検出部によって動きが検出されないとき、前記電源部が制御されて電源がオンにされる、請求項１ないし４のいずれかに記載の電子機器。
6. 前記電子機器と前記ユーザとの距離を検出する距離検出部をさらに備え、
   前記明るさ検出部は、前記電子機器と前記ユーザとの距離が第３閾値より大きいとき、前記電源部が制御されて電源がオンにされる、請求項１ないし５のいずれかに記載の電子機器。
7. 二次電池、前記二次電池の電力を供給する電源部、周囲の明るさを検出する明るさ検出部、赤外線を出力する出力部、前記出力部が出力した赤外線によって照らされたユーザを撮影する第１撮影部および可視光によって照らされたユーザを撮影する第２撮影部を有する、電子機器のプロセッサを、
   検出された周囲の明るさが閾値より大きいとき、前記電源部を制御して前記第２撮影部の電源をオンにする第１電源制御部、
   前記第２撮影部によって撮影された画像から顔を認識する認識部、
   前記認識部によって顔が認識されたかを判断する判断部、
   前記認識部によって顔が認識されたと判断されたとき、前記電源部を制御して前記第２撮影部の電源をオフにする第２電源制御部、
   前記認識部によって顔が認識されたと判断されたとき、前記電源部を制御して前記第１撮影部の電源をオンにする第３電源制御部、および
   前記第１撮影部によって撮影された画像に基づいて前記ユーザの視線入力を検出する視線入力検出部として機能させる、視線入力プログラム。
8. 二次電池、前記二次電池の電力を供給する電源部、周囲の明るさを検出する明るさ検出部、赤外線を出力する出力部、前記出力部が出力した赤外線によって照らされたユーザを撮影する第１撮影部および可視光によって照らされたユーザを撮影する第２撮影部を有する、電子機器の視線入力方法であって、
   検出された周囲の明るさが閾値より大きいとき、前記電源部を制御して前記第２撮影部の電源をオンにし、
   前記第２撮影部によって撮影された画像から顔を認識し、
   顔が認識されたかを判断し、
   顔が認識されたと判断されたとき、前記電源部を制御して前記第２撮影部の電源をオフにし、
   顔が認識されたと判断されたとき、前記電源部を制御して前記第１撮影部の電源をオンにし、そして
   前記第１撮影部によって撮影された画像に基づいて前記ユーザの視線入力を検出する、視線入力方法。
9. 二次電池および前記二次電池の電力を供給する電源部を有する、電子機器であって、
   周囲の赤外線量を検出する赤外線検出部、
   赤外線を出力する出力部、
   前記出力部が出力した赤外線によって照らされたユーザを撮影する撮影部、
   前記赤外線検出部によって検出された赤外線量が閾値より小さいとき、前記電源部を制御して前記撮影部の電源をオンにする電源制御部、および
   前記撮影部によって撮影された画像に基づいて前記ユーザの視線入力を検出する視線入力検出部を備える、電子機器。
10. 二次電池および前記二次電池の電力を供給する電源部を有する、電子機器であって、
    前記電子機器の動き検出する動き検出部、
    赤外線を出力する出力部、
    前記出力部が出力した赤外線によって照らされたユーザを撮影する撮影部、
    前記動き検出部によって動きが検出されないとき、前記電源部を制御して前記撮影部の電源をオンにする電源制御部、および
    前記撮影部によって撮影された画像に基づいて前記ユーザの視線入力を検出する視線入力検出部を備える、電子機器。
11. 二次電池および前記二次電池の電力を供給する電源部を有する、電子機器であって、
    前記電子機器と前記ユーザとの距離を検出する距離検出部、
    赤外線を出力する出力部、
    前記出力部が出力した赤外線によって照らされたユーザを撮影する撮影部、
    前記電子機器と前記ユーザとの距離が閾値より大きいとき、前記電源部を制御して前記撮影部の電源をオンにする電源制御部、および
    前記撮影部によって撮影された画像に基づいて前記ユーザの視線入力を検出する視線入力検出部を備える、電子機器。

Images