JP2014086063A - 電子機器、視線入力プログラムおよび視線入力方法 - Google Patents

Abstract

【構成】携帯電話機１０は、アイコンなどのオブジェクトを表示するディスプレイ１４を備え、ユーザの視線入力を検出することが出来る。また、オブジェクトに対して視線入力がされると、そのオブジェクトに関連する動作が実行される。たとえば、新着メールを受信するとディスプレイ１４にはメールアイコン（９６ａ）が表示される。このとき、携帯電話機１０では、メール機能を実行するユーザ操作が予測され、メールアイコンに対する視線入力の応答性が向上される。
【効果】次のユーザ操作に応じて、メールアイコンに対する視線入力の応答性が向上するため、視線入力の操作性が向上する。また、視線入力の操作性が向上すれば視線入力の操作時間が短縮されるため、携帯電話機１０は低消費電力で視線入力を検出することが出来る。
【選択図】図１

Description

この発明は、電子機器、視線入力プログラムおよび視線入力方法に関し、特にたとえば、視線入力を検出する、電子機器、視線入力プログラムおよび視線入力方法に関する。

背景技術の一例が特許文献１に開示されている。この特許文献１のデータ入力装置は、メニュー又はキーボード等の入力データ群を表示装置で表示し、該装置使用者の眼の部分をカメラで撮影し、該撮影画像から該使用者の視線方向を決定し、該視線方向に位置する入力データを決定し、決定された入力データを外部機器等に出力する。

背景技術の他の例が特許文献２に開示されている。この特許文献２の視線検出装置は、撮影した画像から被験者の瞳孔の中心および角膜反射点を検出することで、被験者の視線を検出する。

背景技術のその他の例が特許文献３に開示されている。この特許文献３の視線検出機能付きカメラでは、ファインダ視野内の観察画面に複数の焦点検出領域が設けられている。また、このカメラは、撮影者の視線を検出することができ、複数の焦点検出領域それぞれに対して、視線領域が設定されている。そのため、撮影者は、任意の視線領域に視線を向けることで、主被写体に焦点を合わせることが出来る。
特開２００３−１９６０１７号公報［G06F 3/033, G06F 3/00, G06T 1/00, G06T 7/60］ 特開２００５−１８５４３１号公報［A61B 3/113, G06F 3/033］ 特開２００２−２４４０２４号公報［G02B 7/28, G03B 13/36］

しかし、視線入力デバイスは、センサと眼球との距離に比例して機器が大きくなる傾向がある。したがって、たとえば携帯端末のような比較的小型の電子機器に搭載することを考慮すると、特許文献１，２に記載の背景技術では、装置が比較的大きく、適切でない。

また、特許文献３に記載の背景技術では、ファインダのような窓に接眼している撮影者の眼の瞳を撮影した画像に基づいて、表示部に表示されたカーソルを移動させるものであり、窓を通して表示部を見るような限られた使用状況でしか視線を検出することができない。さらに、特許文献３に記載の背景技術では、撮影における合焦以外の操作も視線によって操作出来るよう、操作キーが観察画面に表示することが考えられる。ところが、操作キーを表示した場合、視線領域の大きさが予め決められているため、操作キー毎の大きさや配置を任意に調整しにくい。そのため、ユーザの操作性を考慮して操作キーを表示することが出来ない。

それゆえに、この発明の主たる目的は、新規な、電子機器、視線入力プログラムおよび視線入力方法を提供することである。

この発明の他の目的は、視線入力の操作性を向上させることが出来る、電子機器、視線入力プログラムおよび視線入力方法を提供することである。

この発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、この発明の理解を助けるために記述する実施形態との対応関係を示したものであって、この発明を何ら限定するものではない。

第１の発明は、複数のオブジェクトを表示する表示部を有し、複数のオブジェクトに対する視線入力を検出し、視線入力が検出されたオブジェクトに関連した動作を実行する、電子機器において、イベントが発生したときに、次のユーザ操作を予測する予測部、および予測部によって予測された次のユーザ操作を行うためのオブジェクトに対する視線入力の応答性を向上させる向上部を備えることを特徴とする、電子機器である。

第１の発明では、電子機器（１０：実施例において対応する部分を例示する参照符号。以下、同じ。）の表示部（１４）には、電子機器の情報や、アプリケーションなどを実行するための複数のオブジェクトが表示される。また、電子機器はユーザの視線入力を検出することが可能であり、任意のオブジェクトに対して視線入力がされると、任意のオブジェクトに関する動作が実行される。予測部（４０，Ｓ１７）は、画面が切り替わったり、サーバなどから通知があったり、アプリケーションが起動したりするイベントが発生すると、発生したイベントに応じた次のユーザ操作を予測する。向上部（４０，Ｓ１９）は、ユーザ操作が予測されると、そのユーザ操作を行うためのオブジェクトに対する視線入力の応答性を向上させる。

第１の発明によれば、次のユーザ操作に応じて、オブジェクトに対する視線入力の応答性が向上するため、視線入力の操作性が向上する。また、視線入力の操作性が向上すれば視線入力の操作時間が短くなるため、電子機器は低消費電力で視線入力を検出することが出来る。

第２の発明は、第１の発明に従属し、複数のオブジェクトのそれぞれには、視線入力を検出するための判定エリアが対応付けられ、向上部は、予測部によって次のユーザ操作が予測されたとき、そのユーザ操作を行うためのオブジェクトに対応付けられた判定エリアを拡大する拡大部を含む。

第２の発明では、各オブジェクトには、視線入力を検出するための判定エリアが対応付けられており、視線入力の位置がその判定エリアに含まれているとき、そのオブジェクトに関連する動作が実行される。拡大部（４０，Ｓ９９，Ｓ１０１，Ｓ１５３，Ｓ２１３，Ｓ２１５）は、ユーザ操作が予測されると、ユーザ操作を行うためのオブジェクトに対応付けられた判定エリアを拡大する。

第２の発明によれば、判定エリアが拡大されると、ユーザの視線入力を受け付ける範囲が広くなるため、オブジェクトに対する視線入力が受け付けられやすくなる。

第３の発明は、第１の発明または第２の発明に従属し、複数のオブジェクトのそれぞれには、視線入力を検出するための判定回数がさらに対応付けられ、視線入力における注視点を検出する第１検出部、第１検出部によって検出された注視点が前回の位置と同じ位置のとき、カウントするカウント部、およびカウント部によってカウントされた回数が判定回数と一致したとき、オブジェクトに対する視線入力を検出する第２検出部をさらに備え、向上部は、予測部によって次のユーザ操作が予測されたとき、そのユーザ操作を行うためのオブジェクトに対応付けられた判定回数を標準値より小さくする判定回数変更部をさらに含む。

第３の発明では、各オブジェクトには、視線入力を検出するための判定回数が対応付けられている。第１検出部（４０，Ｓ４３）は、ユーザが表示部を注視している注視点を検出する。カウント部（４０，Ｓ４９）は、第１検出部によって検出された注視点が前回と同じ位置のときに、カウントする。第２検出部（４０，Ｓ５９）は、ユーザの注視点が同じ位置で検出された回数が判定回数と一致したとき、オブジェクトに対する視線入力を検出する。判定回数変更部（４０，Ｓ１０５，Ｓ１０７，Ｓ１５５，Ｓ２１７，Ｓ２１９）は、ユーザ操作が予測されると、そのユーザ操作を行うためのオブジェクトに対応付けられた判定回数を標準値より小さくする。

第３の発明によれば、オブジェクトの判定回数を小さくすることで、視線入力と判定されるまでの時間を短くすることが出来る。

第４の発明は、第１の発明ないし第３の発明のいずれかに従属し、向上部は、予測部によって次のユーザ操作が予測されたとき、そのユーザ操作を行うためのオブジェクトの表示態様を変更する。

第４の発明では、ユーザ操作を行うためのオブジェクトは、次のユーザ操作が予測されると、たとえばオブジェクトの大きさや、色などの表示態様が変更される。

第４の発明によれば、ユーザの視線を誘導することで視線入力の操作性を向上させることが出来る。

第５の発明は、第１の発明に従属し、表示部は、アプリケーションによる通知があったとき通知オブジェクトを表示し、予測部は、通知オブジェクトが表示されたとき、通知オブジェクトに関連したアプリケーションを実行するユーザ操作を予測する第１予測部を含み、向上部は、通知オブジェクトに対する視線入力の応答性を向上させる第１向上部を含む。

第５の発明では、通知オブジェクト（９６）は、たとえばメールアプリケーションによって新着メールが受信されると、表示部に表示される。第１予測部（４０，Ｓ７５）は、たとえば新着メールを受信して通知オブジェクトが表示されると、メールアプリケーションを実行するユーザ操作を予測する。そして、第１向上部（４０，Ｓ９９，Ｓ１０５）は、通知オブジェクトに対する視線入力の応答性を向上させる。

第５の発明によれば、通知アイコンを表示するイベントが発生すると、通知された内容を確認しやすくすることが出来る。

第６の発明は、第１の発明に従属し、表示部は、表示内容をスクロール可能なアプリケーションが実行されたとき、表示位置に対応するスクロールバーを表示し、予測部は、スクロールバーが最終位置に達したとき、実行中のアプリケーションを終了させるユーザ操作を予測する第２予測部を含み、向上部は、実行中のアプリケーションを終了させるオブジェクトに対する視線入力の応答性を向上させる第２向上部を含む。

第６の発明では、スクロールバー（９４ｃ）は、たとえば電子書籍アプリケーションなどのように表示内容をスクロール可能なアプリケーションが実行されると、表示部に表示される。第２予測部（４０，Ｓ７７）は、表示されている内容が最後まで表示されスクロールバーが最終位置に達すると、実行中のアプリケーションを終了させるユーザ操作を予測する。第２向上部（４０，Ｓ１０１，Ｓ１０７）は、たとえば実行されている電子書籍アプリケーションを終了させるためのオブジェクトに対する視線入力の応答性を向上させる。

第６の発明によれば、表示内容が最後までスクロールされると、実行中のアプリケーションを終了させやすくすることが出来る。

第７の発明は、第１の発明に従属し、複数のアプリケーションの利用履歴を記録する記録部をさらに備え、予測部は、複数のアプリケーションをそれぞれ実行可能な実行オブジェクトを含む特定画面が表示されたとき、利用頻度が高いアプリケーションを実行するユーザ操作を予測する第３予測部を含み、向上部は、利用履歴に基づいて、利用頻度が高いアプリケーションを実行するための実行オブジェクトに対する視線入力の応答性を向上させる第３向上部を含む。

第７の発明では、記録部（４０，Ｓ１７７）は、電子機器で実行されたアプリケーションの利用履歴を記録する。第３予測部（４０，Ｓ１９７）は、たとえば複数のアプリケーションを実行可能な実行オブジェクトが表示されるロック画面がされると、利用頻度が高いアプリケーションを実行するユーザ操作を予測する。第３向上部（４０，Ｓ２１５，Ｓ２１９）は、たとえば最も利用頻度が高いアプリケーションに関連する実行オブジェクトの視線入力の応答性を向上させる。

第７の発明によれば、アプリケーションが実行可能な画面が表示されると、利用履歴に基づいて、アプリケーションを実行しやすい状態にすることが出来る。

第８の発明は、複数のオブジェクトを表示する表示部（１４）を有し、複数のオブジェクトに対する視線入力を検出し、視線入力が検出されたオブジェクトに関連した動作を実行する、電子機器（１０）のプロセッサ（４０）を、イベントが発生したときに、次のユーザ操作を予測する予測部（Ｓ１７）、および予測部によって予測された次のユーザ操作を行うためのオブジェクトに対する視線入力の応答性を向上させる向上部（Ｓ１９）として機能させる、視線入力プログラムである。

第８の発明でも、第１の発明と同様、次のユーザ操作に応じて、オブジェクトに対する視線入力の応答性が向上するため、視線入力の操作性が向上する。また、視線入力の操作性が向上すれば視線入力の操作時間が短くなるため、電子機器は低消費電力で視線入力を検出することが出来る。

第９の発明は、複数のオブジェクトを表示する表示部（１４）を有し、複数のオブジェクトに対する視線入力を検出し、視線入力が検出されたオブジェクトに関連した動作を実行する、電子機器（１０）の視線入力方法であって、イベントが発生したときに、次のユーザ操作を予測し（Ｓ１７）、そして予測された次のユーザ操作を行うためのオブジェクトに対する視線入力の応答性を向上させる（Ｓ１９）、視線入力方法である。

第９の発明でも、第１の発明と同様、次のユーザ操作に応じて、オブジェクトに対する視線入力の応答性が向上するため、視線入力の操作性が向上する。また、視線入力の操作性が向上すれば視線入力の操作時間が短くなるため、電子機器は低消費電力で視線入力を検出することが出来る。

この発明によれば、視線入力の操作性が向上する。

この発明の上述の目的、その他の目的、特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

図１はこの発明の一実施例の携帯電話機を示す外観図である。 図２は図１に示す携帯電話機の電気的な構成を示すブロック図である。 図３は図１に示すディスプレイの表示面で検出される注視点の一例を示す図解図である。 図４は図１に示す赤外線カメラによって撮影される瞳孔とプルキニエ像との一例を示す図解図である。 図５は図２に示すプロセッサによって算出される視線ベクトルの一例を示す図解図であり、図５（Ａ）は第１中心位置および第２中心位置の一例を示し、図５（Ｂ）は視線ベクトルの一例を示す。 図６は図１に示すディスプレイに表示されるオブジェクトの一例を示す図解図である。 図７は図２に示すＲＡＭに記憶されるオブジェクトテーブルの構成の一例を示す図解図である。 図８は図２に示すＲＡＭのメモリマップの一例を示す図解図である。 図９は図２に示すプロセッサの視線入力処理の一部の一例を示すフロー図である。 図１０は図２に示すプロセッサの視線入力処理の他の一部の一例であって、図９に後続するフロー図である。 図１１は図２に示すプロセッサの視線検出処理の一例を示すフロー図である。 図１２は図１に示すディスプレイに表示される具体例１のオブジェクトの一例を示す図解図である。 図１３は図１に示すディスプレイに表示される具体例１のオブジェクトの他の一例を示す図解図であり、図１３（Ａ）は通知アイコンがさらに表示されている状態の一例を示し、図１３（Ｂ）は通知アイコンが表示されているときの判定エリアの状態の一例を示す図解図である。 図１４は図２に示すプロセッサの具体例１のユーザ操作予測処理の一例を示すフロー図である。 図１５は図２に示すプロセッサの具体例１の応答性向上処理の一例を示すフロー図である。 図１６は図１に示すディスプレイに表示される具体例２のオブジェクトの一例を示す図解図であり、図１６（Ａ）はスクロールバーが最終位置に達している状態の一例を示し、図１６（Ｂ）はスクロールバーが最終位置に達しているときの判定エリアの状態の一例を示す図解図である。 図１７は図２に示すプロセッサの具体例２のユーザ操作予測処理の一例を示すフロー図である。 図１８は図２に示すプロセッサの具体例２の応答性向上処理の一例を示すフロー図である。 図１９は図１に示すディスプレイに表示される具体例３のオブジェクトの一例を示す図解図であり、図１９（Ａ）はロック画面が表示されている状態の一例を示し、図１９（Ｂ）はロック画面が表示されているときの判定エリアの状態の一例を示す図解図である。 図２０は図１に示すＲＡＭに記憶される利用履歴テーブルの構成の一例を示す図解図である。 図２１は図２に示すＲＡＭのメモリマップの他の一部の一例を示す図解図である。 図２２は図２に示すプロセッサの利用履歴記録処理の一例を示すフロー図である。 図２３は図２に示すプロセッサの具体例３のユーザ操作予測処理の一例を示すフロー図である。 図２４は図２に示すプロセッサの具体例３の応答性向上処理の一例を示すフロー図である。 図２５は図２に示すプロセッサの視線入力処理のその他の一例を示すフロー図である。

図１を参照して、この発明の一実施例の携帯電話機１０は、いわゆるスマートフォンであり、縦長の扁平矩形のハウジング１２を含む。ハウジング１２の主面（表面）には、表示部として機能する、たとえば液晶や有機ＥＬなどで構成されるディスプレイ１４が設けられる。このディスプレイ１４の上には、タッチパネル１６が設けられる。また、ハウジング１２の縦方向一端の表面側にスピーカ１８が内蔵され、縦方向他端の表面側にマイク２０が内蔵される。さらに、タッチパネル１６とともに、ハードウェアキーとして、通話キー２２、終話キー２４およびメニューキー２６が設けられる。さらにまた、マイク２０の左側に赤外線ＬＥＤ３０および赤外線カメラ３２が設けられ、スピーカ１８の右側に近接センサ３４が設けられる。ただし、赤外線ＬＥＤ３０の発光面と、赤外線カメラ３２の撮影面と、近接センサ３４の検出面とはハウジング１２から露出するように設けられ、その他の部分はハウジング１２に内蔵される。

たとえば、ユーザは、ディスプレイ１４に表示されたダイヤルキーに対して、タッチパネル１６によってタッチ操作を行うことで電話番号を入力でき、通話キー２２を操作して音声通話を開始することが出来る。終話キー２４を操作すれば、音声通話を終了することが出来る。また、この終話キー２４を長押しすることによって、携帯電話機１０の電源をオン／オフすることが出来る。

また、メニューキー２６が操作されると、ディスプレイ１４にメニュー画面が表示される。ユーザは、その状態でディスプレイ１４に表示されているソフトウェアキーやメニューアイコンなどに対して、タッチパネル１６によるタッチ操作を行うことによって、ソフトウェアキーやアイコンに対して選択操作を行うことが出来る。

なお、この実施例では、電子機器の一例としてスマートフォン（smart phone）のような携帯電話機について説明するが、表示装置を備える様々な電子機器に、この発明を適用可能であることを予め指摘しておく。たとえば、他の電子機器の例としては、フィーチャーフォン(feature phone)、電子書籍端末、タブレット端末、ＰＤＡ、ノート型ＰＣやディスプレイ装置などの任意の電子機器などが該当する。

図２を参照して、図１に示す携帯電話機１０は、プロセッサ４０を含み、このプロセッサ４０には、赤外線カメラ３２、近接センサ３４、無線通信回路４２、Ａ／Ｄ変換器４６、Ｄ／Ａ変換器４８、入力装置５０、表示ドライバ５２、フラッシュメモリ５４、ＲＡＭ５６、タッチパネル制御回路５８、ＬＥＤドライバ６０および撮影画像処理回路６２などが接続される。

プロセッサ４０は、コンピュータまたはＣＰＵと呼ばれ、携帯電話機１０の全体制御を司る。プロセッサ４０には、ＲＴＣ４０ａが内蔵されており、このＲＴＣ４０ａによって日時が計時される。ＲＡＭ５６には、フラッシュメモリ５４に予め記憶されているプログラムの全部または一部が使用に際して展開（ロード）され、プロセッサ４０はこのＲＡＭ５６に展開されたプログラムに従って各種の処理を実行する。このとき、ＲＡＭ５６は、プロセッサ４０のワーキング領域ないしバッファ領域として用いられる。

入力装置５０は、図１に示すハードウェアキー（２２、２４、２６）を含み、タッチパネル１６およびタッチパネル制御回路５８とともに操作部ないし入力部として機能する。ユーザが操作したハードウェアキーの情報（キーデータ）はプロセッサ４０に入力される。以下、ハードウェアキーによる操作を「キー操作」ということにする。

無線通信回路４２は、アンテナ４４を通して、音声通話やメールなどのための電波を送受信するための回路である。実施例では、無線通信回路４２は、ＣＤＭＡ方式での無線通信を行うための回路である。たとえば、ユーザが入力装置５０を操作して電話発信（発呼）を指示すると、無線通信回路４２は、プロセッサ４０の指示の下、電話発信処理を実行し、アンテナ４４を介して電話発信信号を出力する。電話発信信号は、基地局および通信網を経て相手の電話機に送信される。そして、相手の電話機において着信処理が行われると、通信可能状態が確立され、プロセッサ４０は通話処理を実行する。

Ａ／Ｄ変換器４６には図１に示すマイク２０が接続され、マイク２０からの音声信号はこのＡ／Ｄ変換器４６を通してディジタルの音声データとしてプロセッサ４０に入力される。Ｄ／Ａ変換器４８にはスピーカ１８が接続される。Ｄ／Ａ変換器４８は、ディジタルの音声データを音声信号に変換して、アンプを介してスピーカ１８に与える。したがって、音声データの音声がスピーカ１８から出力される。そして、通話処理が実行されている状態では、マイク２０によって集音された音声が相手の電話機に送信され、相手の電話機で集音された音声が、スピーカ１８から出力される。

なお、プロセッサ４０は、たとえばユーザによるボリュームを調整するための操作に応答して、Ｄ／Ａ変換器４８に接続されるアンプの増幅率を制御することによって、スピーカ１８から出力される音声の音量を調整することが出来る。

また、表示ドライバ５２は、プロセッサ４０の指示の下、当該表示ドライバ５２に接続されたディスプレイ１４の表示を制御する。また、表示ドライバ５２は表示する画像データを一時的に記憶するビデオメモリを含む。ディスプレイ１４には、たとえばＬＥＤなどを光源とするバックライトが設けられており、表示ドライバ５２はプロセッサ４０の指示に従って、そのバックライトの明るさや、点灯／消灯を制御する。

タッチパネル制御回路５８には、図１に示すタッチパネル１６が接続される。タッチパネル制御回路５８は、タッチパネル１６に必要な電圧などを付与するとともに、ユーザによるタッチの開始を示すタッチ開始信号、ユーザによるタッチの終了を示す終了信号、およびタッチ位置を示す座標データをプロセッサ４０に入力する。したがって、プロセッサ４０はこの座標データに基づいて、ユーザが、どのアイコンやキーにタッチしたかを判断することが出来る。

タッチパネル１６は、その表面と表面に接近した指などの物体との間に生じる静電容量の変化を検出する静電容量方式のタッチパネルである。タッチパネル１６は、たとえば１本または複数本の指がタッチパネル１６に触れたことを検出する。

タッチパネル制御回路５８は検出部として機能し、タッチパネル１６のタッチ有効範囲内でのタッチ操作を検出して、そのタッチ操作の位置を示す座標データ（タッチ座標データ）をプロセッサ４０に出力する。プロセッサ４０は、タッチパネル制御回路５８より入力されたタッチ座標データに基づいて、ユーザがどのアイコンやキーにタッチしたかを判断することが出来る。以下、タッチパネル１６による操作を「タッチ操作」ということにする。

なお、本実施例のタッチ操作には、タップ操作、ロングタップ操作、フリック操作、スライド操作などが含まれる。また、タッチパネル１６は、表面型の静電容量方式が採用されてもよいし、抵抗膜方式、超音波方式、赤外線方式および電磁誘導方式などが採用されてもよい。また、タッチ操作はユーザの指に限らず、スタイラスペンなどによって行われてもよい。

近接センサ３４は、図示は省略するが、発光素子（たとえば、赤外線ＬＥＤ）と受光素子（たとえば、フォトダイオード）とを含む。プロセッサ４０は、フォトダイオードの出力の変化から、近接センサ４８（携帯電話機１０）に近接する物体（たとえば、ユーザの顔など）の距離を算出する。具体的には、発光素子は赤外線を発光し、受光素子は、顔などで反射した赤外線を受光する。たとえば、受光素子がユーザの顔から遠い場合は、発光素子から発せられた赤外線は受光素子によってほとんど受光されない。一方、近接センサ３４にユーザの顔が近接すると、発光素子が発光した赤外線は顔に反射して受光素子によって受光される。このように、受光素子は近接センサ３４がユーザの顔に近接している場合とそうでない場合とで赤外線の受光量が変化するため、プロセッサ４０は、その受光量に基づいて、近接センサ３４から物体までの距離を算出することができる。

ＬＥＤドライバ６０には、図１に示す赤外線ＬＥＤ３０が接続される。ＬＥＤドライバ６０は、プロセッサ４０からの制御信号に基づいて、赤外線ＬＥＤ３０のオン／オフ（点灯／消灯）を切り換える。

撮影画像処理回路６２には、撮影部として機能する赤外線カメラ３２（図１参照）が接続される。撮影画像処理回路６２は、赤外線カメラ３２からの撮影画像データに画像処理を施し、モノクロの画像データをプロセッサ４０に入力する。赤外線カメラ３２は、プロセッサ４０の指示の下、撮影処理を実行し、撮影画像データを撮影画像処理回路６２に入力する。赤外線カメラ３２は、たとえば、ＣＣＤやＣＭＯＳのような撮影素子を用いたカラーカメラと、Ｒ、Ｇ、Ｂの波長の光を減衰(カット)し、赤外線波長の光を透過する赤外線透過フィルタとによって構成される。したがって、赤外線透過フィルタを着脱可能な構成にすれば、赤外線透過フィルタを外すことにより、カラー画像を取得することも可能である。

なお、上で説明した無線通信回路４２、Ａ／Ｄ変換器４６およびＤ／Ａ変換器４８はプロセッサ４０に含まれていてもよい。

このような構成の携帯電話機１０では、キー操作やタッチ操作に代えて、視線による入力操作（以下、「視線操作」ということがある。）が可能である。視線操作では、視線とディスプレイ１４の表示面とが交差する点（注視点）によって指示される所定の領域（以下、判定エリア）に対応づけて設定された所定の処理が実行される。以下、図面を用いて、注視点の検出方法について説明する。

図３を参照して、ユーザは、左右の目の内、自身の利き目を設定する。利き目（ここでは左目）が設定されると、赤外線ＬＥＤ３０が発光した赤外線が照射されたユーザ（被写体）の顔を、赤外線カメラ３２によって撮影する。撮影された画像に対して特徴点抽出の技術を用いて、眼球周辺画像を取得する。次に、取得された眼球周辺画像に対してラベリング処理によって瞳孔が検出され、微分フィルタ処理によって赤外線（赤外光）による反射光（プルキニエ像）が検出される。なお、撮影画像から瞳孔やプルキニエ像を検出する方法を概説したが、これらの方法は既に周知であり、この実施例の本質的な内容ではないため、詳細な説明は省略する。

図１に示したように、赤外線ＬＥＤ３０と赤外線カメラ３２とがディスプレイ１４の下側に並べて配置（接近して配置）されているため、図４に示すように、瞼が比較的大きく開いている状態および瞼が少し閉じている状態のいずれであっても、プルキニエ像を検出することが出来る。なお、赤外線ＬＥＤ３０と赤外線カメラ３２との距離は、ユーザが携帯電話機１０を使用する際における、ユーザの顔と携帯電話機１０（筐体の表面ないしディスプレイ１４の表示面）の距離や携帯電話機１０の大きさなどによって決定される。

プロセッサ４０は、撮影画像から瞳孔およびプルキニエ像を検出すると、利き目の視線の方向（視線ベクトルＶ）を検出する。具体的には、赤外線カメラ３２で撮影された２次元の撮影画像におけるプルキニエ像の位置から瞳孔の位置に向けたベクトルが検出される。つまり、図５（Ａ），（Ｂ）に示すように、第１中心位置Ａから第２中心位置中心Ｂに向けたベクトルが視線ベクトルＶである。赤外線カメラ３２における座標系は予め決定されており、その座標系を用いて視線ベクトルＶが算出される。

そして、このようにして算出された視線ベクトルＶを用いて、視線操作の初期設定としてキャリブレーションが行われる。本実施例では、ディスプレイ１４の四隅をそれぞれ注視したときの視線ベクトルＶを取得し、各視線ベクトルＶをキャリブレーションデータとして保存する。

視線操作が行われる際には、赤外線カメラ３２によって画像が撮影される度に、視線ベクトルＶを求め、キャリブレーションデータと比較することによって、注視点が検出される。そして、注視点が、判定エリア内で検出された回数が、その判定エリアに対応付けられている判定回数と一致したときに、プロセッサ４０は、その注視点に対して視線入力がされたものとして検出する。

また、本実施例では、ユーザの両目の距離Ｌ（図３参照）が、左右の目のプルキニエ像の中心位置から算出される。そして、ユーザの両目の距離Ｌはキャリブレーションデータと共に保存される。注視点を検出する処理が実行され視線ベクトルＶが算出されると、注視点を検出するときに記録された両目の距離Ｌと現在の両目の距離Ｌとが比較され、ディスプレイ１４とユーザの顔との距離が変化しているかが判断される。ディスプレイ１４とユーザの顔との距離が変化していると判断されると、記録された両目の距離Ｌと現在の両目の距離Ｌとから変化量が算出され、視線ベクトルＶの大きさが補正される。たとえば、変化量に基づいて、ユーザの顔の位置がキャリブレーションを行ったときに対して離れた状態であると判断されると、視線ベクトルＶは大きくなるよう補正される。また、変化量に基づいて、ユーザの顔の位置がキャリブレーションを行ったときに対して近づいた状態であると判断されると、視線ベクトルＶは小さくなるように補正される。

また、詳細な説明は省略するが、本実施例の注視点検出処理では、眼球の形状によって生じる誤差、キャリブレーション時の測定誤差および撮影時の量子化誤差なども補正されている。

したがって、本実施例では、携帯電話機１０のような小型の電子機器であっても、高精度な視線入力を実現することが可能となる。

図６は、アプリケーションが実行されているときのディスプレイ１４の一般的な表示例を示す図解図である。ディスプレイ１４は状態表示領域７０および機能表示領域７２を含む。状態表示領域７０には、アンテナ３４による電波受信状態を示すアイコン（ピクト）、二次電池の残電池容量を示すアイコンおよび時刻が表示される。

機能表示領域７２には、標準キーであるＨＯＭＥキー９０およびＢＡＣＫキー９２を表示するキー表示領域８０と、アプリケーションオブジェクト９４などを表示するアプリケーション表示領域８２とが含まれる。ＨＯＭＥキー９０は、実行中のアプリケーションを終了させて、待機画面を表示させるためのキーである。また、ＢＡＣＫキー９２は、実行中のアプリケーションを終了させて、アプリケーションが実行される前の画面を表示するためのキーである。そして、ＨＯＭＥキー９０およびＢＡＣＫキー９２は、実行されるアプリケーションの種類に関係なく、アプリケーションが実行されていれば表示される。アプリケーションオブジェクト９４は、実行されるアプリケーションに応じて表示されるオブジェクトをまとめて示すものである。そのため、アプリケーションが実行されているときに、アプリケーションオブジェクト９４は、キーなどのＧＵＩとして表示される。

また、未読の新着メールや不在着信などがある場合、状態表示領域７０には、通知アイコン９６が表示される。たとえば、新着メールを受信した場合、状態表示領域７０には、通知アイコン９６として、新着メールアイコン９６ａが表示される。また、未読の新着メールや不在着信が無い場合は、通知アイコン９６は表示されない。

そして、ユーザは、これらのオブジェクトに対して視線入力を行うことで、実行されているアプリケーションを任意に操作することが出来る。たとえば、通知アイコン９６に対して視線入力が行われると、通知アイコン９６を表示したアプリケーションが実行される。

なお、本実施例のオブジェクトには、アイコン、キー、ＧＵＩ、ウィジェット（ガジェット）などが含まれる。

図７はオブジェクトテーブルの構成の一例を示す図解図である。オブジェクトテーブルには、ディスプレイ１４に表示されるオブジェクトの名称、判定エリアおよび判定回数がそれぞれ記録される列が含まれる。ここで、本実施例の判定エリアは、視線入力を受け付ける領域であると共に、オブジェクトの画像を表示する表示領域でもある。

オブジェクトの名称が記録される列には、ＨＯＭＥキー、ＢＡＣＫキー、通知アイコン、アプリケーションオブジェクトなどが記録される。オブジェクトの判定エリアが記録される列には、名称の欄に対応して、各オブジェクトが視線入力を受け付ける座標範囲が記録される。オブジェクトの判定回数が記録される列には、名称の欄に対応して、各オブジェクトの判定回数が記録される。

たとえば、オブジェクトテーブルでは、ＨＯＭＥキー９０に対応して、判定エリアは「（Ｘ１，Ｙ１）−（Ｘ２，Ｙ２）」が記録され、判定回数は「Ｄ１」が記録される。同様に、ＢＡＣＫキー９２に対応して、判定エリアは「（Ｘ３，Ｙ３）−（Ｘ４，Ｙ４）」が記録され、判定回数は「Ｄ２」が記録される。通知アイコン９６に対応して、判定エリアは「（Ｘ５，Ｙ５）−（Ｘ６，Ｙ６）」が記録され、判定回数は「Ｄ３」が記録される。そして、アプリケーションオブジェクトに対応して、判定エリアは「（Ｘ７，Ｙ７）−（Ｘ８，Ｙ８）」が記録され、判定回数は「Ｄ４」が記録される。ただし、アプリケーションオブジェクトの名称、判定エリアおよび判定回数は、実行されるアプリケーションに応じて変化する。

なお、本実施例では、各オブジェクトの判定回数には、同じ標準値（たとえば、１０）がそれぞれ設定されている。ただし、他の実施例では、オブジェクト毎に異なる値が設定されてもよい。

ここで、本実施例では、新着メールの受信、表示画面の遷移などのイベントが発生すると、次のユーザ操作を予測し、そのユーザ操作を行うためのオブジェクトに対する視線入力の応答性を向上させる。

本実施例では、視線入力の応答性を向上させるために、判定エリアを拡大する（図１３（Ｂ）参照）と共に、判定回数を標準値よりも小さくする。つまり、判定エリアが拡大されると、ユーザの視線入力を受け付ける範囲が広くなるため、視線入力が受け付けられやすくなる。また、オブジェクトの判定回数を小さくすることで、視線入力と判定されるまでの時間を短くすることが出来る。ただし、他の実施例では、オブジェクトの表示態様（たとえば、大きさや、色など）を変更することで、ユーザの視線を誘導してもよい。つまり、ユーザの視線を誘導することで視線入力の操作性を向上させる。

このように、次のユーザ操作に応じて、オブジェクトに対する視線入力の応答性が向上するため、視線入力の操作性が向上する。また、視線入力の操作性が向上すれば、視線入力の操作時間が短縮されるため、携帯電話機１０は低消費電力で視線入力を検出することが出来る。

なお、視線入力の応答性の向上は、判定エリアを大きくするだけでもよいし、判定回数を小さくするだけでもよいし、表示態様を変更するだけでもよい。また、これらの処理の２つが任意に組み合わせられてもよい。

以下、図８に示すメモリマップ５００および図９−図１１に示すフロー図を用いて、本実施例の概要を説明する。

図８を参照して、図２に示すＲＡＭ５６には、プログラム記憶領域５０２とデータ記憶領域５０４とが形成される。プログラム記憶領域５０２は、先に説明したように、フラッシュメモリ４４（図２）に予め設定しているプログラムデータの一部または全部を読み出して記憶（展開）しておくための領域である。

プログラム記憶領域５０２には、視線入力を検出し、その視線入力に基づく動作を実行するための視線入力プログラム５１０、イベントが発生したときに次のユーザ操作を予測するためのユーザ操作予測プログラム５１２、視線入力の応答性を向上させるための応答性向上プログラム５１４および視線入力の入力位置を検出するための視線検出プログラム５１６などが記憶される。なお、視線検出プログラム５１６は、視線入力プログラム５１０のサブルーチンである。また、プログラム記憶領域５０２には、電話機能、メール機能およびアラーム機能などを実行するためのプログラムなども含まれる。

データ記憶領域５０４には、近接バッファ５３０、予測バッファ５３２、注視点バッファ５３４、視線バッファ５３６および初期値バッファ５３８などが設けられると共に、オブジェクトデータ５４０およびオブジェクトテーブル５４２が記憶される。

近接バッファ５３０は、近接センサ３４から得られた物体までの距離情報が一時的に記憶される。予測バッファ５３２は、イベントが発生したときに予測される次のユーザ操作を行うためのオブジェクトの名称が一時的に記憶される。注視点バッファ５３４は、検出された注視点が一時的に記憶される。視線バッファ５３６は、視線入力が検出されたときにその位置が一時的に記憶される。初期値バッファ５３８は、判定エリアが拡大されたときに、元の大きさを示す座標範囲が一時的に記憶される。

オブジェクトデータ５４０は、ディスプレイ１４に表示されるオブジェクトの画像および文字列データなどを含むデータである。オブジェクトテーブル５４２は、たとえば図７に示す構成のテーブルである。

図示は省略するが、データ記憶領域５０４には、プログラム記憶領域５０２に記憶された各プログラムの実行に必要な、他のデータが記憶されたり、タイマ（カウンタ）や、フラグが設けられたりする。

プロセッサ４０は、Ａｎｄｒｏｉｄ（登録商標）またはＲＥＸなどのＬｉｎｕｘ（登録商標）ベースのＯＳや、その他のＯＳの制御下で、図９および図１０に示す視線入力処理などを含む、複数のタスクを並列的に処理する。

視線入力による操作が有効とされると、視線入力処理が実行される。プロセッサ４０は、ステップＳ１で近接センサ３４をオンにする。つまり、近接センサ３４によって携帯電話機１０からユーザまでの距離が測定される。続いて、ステップＳ３でプロセッサ４０は、近接センサ３４の出力が閾値Ａ未満であるかが判断される。つまり、赤外線ＬＥＤ３０から出力される赤外線がユーザの眼に影響を与える範囲にユーザの顔が存在しているかが判断される。ステップＳ３で“ＮＯ”であれば、つまり近接センサ３４の出力が閾値Ａ以上でれば、プロセッサ４０は、ステップＳ５で近接センサ３４をオフにして、視線入力処理を終了する。つまり、赤外線ＬＥＤ３０から出力される赤外線がユーザの眼に影響を与える可能性があるため、視線入力処理が終了される。なお、他の実施例では、ステップＳ５の後に、ユーザの顔を携帯電話機１０から離すように促す通知（たとえば、ポップアップや、音声）がされてもよい。

ステップＳ３で“ＹＥＳ”であれば、たとえば携帯電話機１０とユーザの顔とが適切な距離であれば、プロセッサ４０は、ステップＳ７で赤外線ＬＥＤ３０をオンにし、ステップＳ９で赤外線カメラ３２をオンにする。つまり、ユーザの視線入力を検出するために、赤外線ＬＥＤ３０および赤外線カメラ３２がオンにされる。

続いて、ステップＳ１１でプロセッサ４０は、顔認識処理を実行する。つまり、ユーザの赤外線カメラ３２によって撮影された画像からユーザの顔を検出する処理が実行される。続いて、ステップＳ１３でプロセッサ４０は、認識されたか否かを判断する。つまり、顔認識処理によって、ユーザの顔が認識されたかが判断される。ステップＳ１３で“ＮＯ”であれば、つまりユーザの顔が認識されていなければ、プロセッサ４０はステップＳ１１に戻る。

一方、ステップＳ１３で“ＹＥＳ”であれば、つまりユーザの顔が認識されると、ステップＳ１５でプロセッサ４０は、イベントが発生したか否かを判断する。たとえば、プロセッサ４０は、新着メールを受信したり、画面が遷移したりしたかを判断する。ステップＳ１５で“ＮＯ”であれば、つまりこのようなイベントが発生していなければ、プロセッサ４０はステップＳ１９に進む。

また、ステップＳ１５で“ＹＥＳ”であれば、つまりイベントが発生した場合、プロセッサ４０は、ステップＳ１７でユーザ操作予測処理を実行し、ステップＳ１９で応答性向上処理を実行する。つまり、プロセッサ４０は、イベントの発生に応じて、次のユーザ操作を予測し、そのユーザ操作を行うためのオブジェクトの応答性を向上させる。なお、ユーザ操作予測処理および応答性向上処理は、図面およびフローチャートを用いて後述するため、ここでの詳細な説明は省略する。また、ステップＳ１７の処理を実行するプロセッサ４０は予測部として機能し、ステップＳ１９の処理を実行するプロセッサ４０は向上部として機能する。

続いて、ステップＳ２１でプロセッサ４０は、視線検出処理を実行する。つまり、ユーザの視線入力が検出される。なお、視線検出処理については、図１１に示すフロー図を用いて後述するため、ここでの詳細な説明は省略する。

続いて、ステップＳ２３でプロセッサ４０は、視線を検出したか否かを判断する。つまり、プロセッサ４０は、ユーザの視線入力の入力位置を検出出来たかを判断する。ステップＳ２３で“ＮＯ”であれば、たとえばユーザの視線がオブジェクトに向けられていなければ、プロセッサ４０はステップＳ１１に戻る。

また、ステップＳ２３で“ＹＥＳ”であれば、たとえば任意のオブジェクトにユーザの視線が向けられていれば、ステップＳ２５でプロセッサ４０は、視線入力が検出されたオブジェクトに関連した動作を実行する。たとえば、ＨＯＭＥキー９０に対して視線入力が行われた場合、プロセッサ４０は、実行中のアプリケーションを終了して、ディスプレイ１４に待機画面を表示する。

続いて、ステップＳ２７でプロセッサ４０は、赤外線ＬＥＤ３０、赤外線カメラ３２および近接センサ３４をオフにする。つまり、視線入力が検出されたため、これらの電源をオフにすることで、携帯電話機１０の消費電力が抑えられる。

図１１は視線検出処理のフロー図である。図１０に示す視線入力処理のステップＳ２１が実行されると、視線検出処理は実行される。プロセッサ４０は、ステップＳ４１で変数ｎおよび注視点バッファ５３４を初期化する。つまり、注視点が同じ位置で検出された回数をカウントするための変数ｎと、検出された注視点が一時的に記録される注視点バッファ５３４とが初期化される。

続いて、ステップＳ４３でプロセッサ４０は、注視点を検出する。つまり、顔が認識された画像から、ユーザがディスプレイ１４を注視している位置が算出される。なお、ステップＳ４３の処理を実行するプロセッサ４０は第１検出部として機能する。

続いて、ステップＳ４５でプロセッサ４０は、前回位置が記録されているか否かを判断する。つまり、プロセッサ４０は、注視点バッファ５３４に、前回の処理で検出された注視点が記録されているかを判断する。ステップＳ４５で“ＮＯ”であれば、つまり前回の注視点が記録されていなければ、プロセッサ４０はステップＳ５１に進む。一方、ステップＳ４５で“ＹＥＳ”であれば、つまり前回の注視点が注視点バッファ５３４に記録されていれば、ステップＳ４７でプロセッサ４０は、前回と一致するか否かを判断する。つまり、プロセッサ４０は、ステップＳ４３で検出された注視点が、注視点バッファ５３４に記録されている前回の注視点と一致するかを判断する。

ステップＳ４７で“ＮＯ”であれば、つまり検出された注視点が前回位置と一致していなければ、プロセッサ４０はステップＳ４１に戻る。また、ステップＳ４７で“ＹＥＳ”であれば、つまり検出された注視点が前回位置と一致していれば、ステップＳ４９でプロセッサ４０は、変数ｎをインクリメントする。つまり、注視点が一致している回数が変数ｎによってカウントされる。なお、ステップＳ４９の処理を実行するプロセッサ４０はカウント部として機能する。

続いて、ステップＳ５１でプロセッサ４０は、注視点は判定エリアの中か否かを判断する。つまり、プロセッサ４０は、検出された注視点が、オブジェクトテーブル５４２に記録されている各判定エリアのいずれか１つに含まれているかを判断する。ステップＳ５１で“ＮＯ”であれば、つまり注視点が判定エリアにも含まれていなければ、プロセッサ４０は視線検出処理を終了して、視線入力処理に戻る。

一方、ステップＳ５１で“ＹＥＳ”であれば、たとえば検出された注視点がアプリケーションオブジェクトに含まれていれば、ステップＳ５３でプロセッサ４０は、注視点を記録する。つまり、検出された注視点が、前回の検出位置として、注視点バッファ５３４に記録される。続いて、ステップＳ５５でプロセッサ４０は、注視点を含む判定エリアの判定回数を読み出す。たとえば、検出された注視点がアプリケーションオブジェクトの判定エリアに含まれている場合、判定回数として「Ｄ４」が読み出される。

続いて、ステップＳ５７でプロセッサ４０は、変数ｎが判定回数と一致しているかが判断される。つまり、プロセッサ４０は、注視点が同じ位置で検出された回数が、その注視点を含む判定エリアの判定回数に達したかを判断する。ステップＳ５７で“ＮＯ”であれば、たとえば変数ｎによってカウントされた回数が判定回数よりも少なければ、プロセッサ４０はステップＳ４３に戻る。

また、ステップＳ５７で“ＹＥＳ”であれば、たとえば変数ｎによってカウントされた値が、読み出された判定回数Ｄ４と一致すれば、ステップＳ５９でプロセッサ４０は、注視点を視線入力の位置として検出する。つまり、プロセッサ４０は、注視点バッファ５３４に記録されている座標を、入力位置として視線バッファ５３６に記録する。そして、ステップＳ５９の処理が終了すると、プロセッサ４０は視線検出処理を終了して、視線入力処理に戻る。なお、ステップＳ５９の処理を実行するプロセッサ４０は第２検出部として機能する。

以上で、本実施例の概要を説明したが、以下には図１２−図２４に示す図解図およびフロー図を用いて具体例を説明する。

＜具体例１＞
具体例１では、アプリケーションによる通知イベントが発生したときの視線入力の応答性の向上について説明する。

図１２は電子書籍アプリケーションが実行されているときのディスプレイ１４の表示例を示す。アプリケーション表示部８２には、電子書籍アプリケーションによって再生された電子書籍の本文が表示されると共に、電子書籍アプリケーションのアプリケーションオブジェクト９６が表示される。電子書籍アプリケーションのアプリケーションオブジェクト９６には、前のページに戻るための戻るキー９４ａ、次のページに進むための進むキー９６および表示内容をスクロールするためのスクロールバー９４ｃが含まれる。

このように各オブジェクトがディスプレイ１４に表示されているときに、メールアプリケーションが新着メールを受信すると、図１３（Ａ）に示すように、新着メールアイコン９６ａが状態表示領域７０に表示される。そして、新着メールの受信を通知するイベントが発生すると、メールアプリケーションを実行するためのオブジェクトの判定エリアが拡大され、かつ判定回数が小さくされる。

図１３（Ｂ）を参照して、新着メールの受信イベントが発生すると、新着メールアイコン９６ａの判定エリア９６ａ’と、実行中のアプリケーションを終了させるためのＨＯＭＥキー９０およびＢＡＣＫキー９２の判定エリア９０ａ’および判定エリア９２’とが、拡大される。一方、メールアプリケーションの実行に関係ないオブジェクト、ここでは戻るキー９４ａ、進むキー９４ｂおよびスクロールバー９４ｃの各判定エリアが縮小される。また、図１３（Ｂ）に図示することは出来ないが、新着メールアイコン９６ａ、ＨＯＭＥキー９０およびＢＫＣＫキー９２の判定回数は小さくされている。

ここで、新着メールアイコン９６ａは、メールアプリケーションを実行させるためのオブジェクトとして、視線入力の応答性が向上される。また、ＨＯＭＥキー９０およびＢＡＣＫキー９２は、メールアプリケーションを実行するために、実行中のアプリケーションを終了させるためのオブジェクトであるため、視線入力の応答性が向上される。

このように、通知アイコン９６を表示するイベントが発生すると、通知された内容を確認しやすくすることが出来る。

なお、図１３（Ｂ）では、各判定エリアを点線で示したが、これは判定エリアの拡大／縮小を分かりやすく図示するためのものであって、実際にはユーザは判定エリアの拡大／縮小を認識することは出来ない。

また、他の実施例では、電話の着信や、アラームによる時刻の通知がされているときに、それぞれのアプリケーションに対応する通知アイコン９６がディスプレイ１４に表示されてもよい。

以下、具体例１のユーザ操作予測処理および応答性向上処理のフロー図を用いて、詳細に説明する。

図１４は、具体例１のユーザ操作予測処理の詳細なフロー図である。視線入力処理のステップＳ１７でユーザ操作予測処理が実行されると、プロセッサ４０はステップＳ７１で、予測バッファ５３２を初期化する。つまり、次のユーザの操作を行うためのオブジェクトの名称を記録するために、予測バッファ５３２に記憶されている情報が消去される。

続いて、ステップＳ７３でプロセッサ４０は、メールを受信したか否かを判断する。つまり、新着メールの受信を通知するイベントが発生したかが判断される。ステップＳ７３で“ＮＯ”であれば、つまり通知イベントが発生していなければ、プロセッサ４０はユーザ操作予測処理を終了して、視線入力処理に戻る。

また、ステップＳ７３で“ＹＥＳ”であれば、つまり発生したイベントが新着メールの受信であれば、ステップＳ７５でプロセッサ４０は、新着メールアイコン９６ａをオブジェクトテーブル５４２から特定する。つまり、メールアプリケーションを実行するためのオブジェクトとして、新着メールアイコン９６ａが特定される。なお、ステップＳ７５の処理を実行するプロセッサ４０は、第１予測部として機能する。

続いて、ステップＳ７７でプロセッサ４０は、ＨＯＭＥキー９０およびＢＡＣＫキー９２をオブジェクトテーブル５４２から特定する。つまり、実行中のアプリケーションを終了させるためのオブジェクトとして、ＨＯＭＥキー９０およびＢＡＣＫキー９２が特定される。

続いて、ステップＳ７９でプロセッサ４０は、特定したオブジェクトの名称を予測バッファ５３２に記録する。つまり、新着メールアイコン９６ａ、ＨＯＭＥキー９０およびＢＡＣＫキー９２のオブジェクトの名称が、予測バッファ５３２に記録される。そして、ステップＳ７９の処理が終了すると、プロセッサ４０は、ユーザ操作予測処理を終了して、視線入力処理に戻る。

図１５は、具体例１の応答性向上処理の詳細なフロー図である。視線入力処理のステップＳ１９で応答性向上処理が実行されると、プロセッサ４０はステップＳ９１で、メールを受信してから所定時間（たとえば、５分）以内か否かを判断する。つまり、プロセッサ４０は、新着メールを受信してから所定時間が経過したかを判断する。

また、ステップＳ９１で“ＹＥＳ”であれば、つまり新着メールを受信してから所定時間が経過していなければ、ステップＳ９３でプロセッサ４０は、判定エリアが変更済みか否かを判断する。つまり、プロセッサ４０は、新着メールアイコン９６ａ、ＨＯＭＥキー９０およびＢＡＣＫキー９２の応答性が向上された状態であるかが判断される。なお、具体的には、プロセッサ４０は、初期値バッファ５３８に、各判定エリアの元の大きさを示す座標範囲の情報が記録されているかを判断する。ステップＳ９３で“ＹＥＳ”であれば、つまり判定エリアが変更済みであれば、プロセッサ４０は応答性向上処理を終了して、視線入力処理に戻る。

また、ステップＳ９３で“ＮＯ”であれば、つまり判定エリアがまだ拡大されていなければ、ステップＳ９５でプロセッサ４０は、各判定エリアの大きさを記録する。つまり、各判定エリアの座標範囲を示す情報が、初期値バッファ５３８に記録される。続いて、ステップＳ９７で予測バッファ５３２からオブジェクトの名称を読み出す。つまりユーザ操作予測処理で予測されたオブジェクトの名称が読み出される。なお、具体例１では、新着メールアイコン９６ａ、ＨＯＭＥキー９０およびＢＡＣＫキー９２のオブジェクトの名称が読み出される。

続いて、プロセッサ４０は、ステップＳ９９で新着メールアイコン９６ａの判定エリアを拡大し、ステップＳ１０１でＨＯＭＥキー９０およびＢＡＣＫキー９２の判定エリアを拡大する。続いて、ステップＳ１０３でプロセッサ４０は、他のオブジェクトの判定エリアを縮小する。たとえば、戻るキー９４ａ、進むキー９４ｂおよびスクロールバー９４ｃの判定エリアが縮小される。したがって、これらの処理によって、図１３（Ｂ）に示すように、判定エリアの大きさが変更された状態となる。なお、判定エリアが拡大／縮小された結果は、オブジェクトテーブルの判定エリアの各欄に反映される。

続いて、プロセッサ４０は、ステップＳ１０５で新着メールアイコン９６ａの判定回数を標準値より小さくし、ステップＳ１０７でＨＯＭＥキー９０およびＢＡＣＫキー９２の判定回数を標準値より小さくする。つまり、オブジェクトテーブル５４２において、これらのオブジェクトに対応する判定回数が標準値よりも小さくされる。

そして、このようにして各オブジェクトの応答性が変更されると、プロセッサ４０は応答性向上処理を終了して、視線入力処理に戻る。

なお、ステップＳ９９およびステップＳ１０５の処理を実行するプロセッサ４０は、第１向上部として機能する。

ここで、ステップＳ９１で“ＮＯ”であれば、つまり新着メールを受信してから所定時間が経過していると、ステップＳ１０９でプロセッサ４０は、判定エリアが変更済みか否かを判断する。つまり、各オブジェクトの応答性が変更されているかが判断される。ステップＳ１０９で“ＮＯ”であれば、つまり各オブジェクトの応答性が変更されていなければ、プロセッサ４０は応答性向上処理を終了して、視線入力処理に戻る。

一方、ステップＳ１０９で“ＹＥＳ”であれば、たとえば新着メールアイコン９６ａ、ＨＯＭＥキー９０およびＢＡＣＫキー９２の応答性が向上されていれば、ステップＳ１１１でプロセッサ４０は、判定エリアの大きさを初期化する。つまり、プロセッサ４０は、初期値バッファ５３８に記録されている各オブジェクトの判定エリアを示す座標範囲に基づいて、オブジェクトテーブル５４２に記録されている各判定エリアの座標範囲を元の状態に戻す。

続いて、ステップＳ１１３でプロセッサ４０は、全てのオブジェクトの判定回数に標準値を設定する。つまり、オブジェクトテーブル５４２の判定回数の列の各欄に、標準値が設定される。ただし、他の実施例では、オブジェクトによって初期化される判定回数が異なってもよい。このように、変更した応答性が元に戻されると、プロセッサ４０は、応答性向上処理を終了して、視線入力処理に戻る。

＜具体例２＞
具体例２では、実行中のアプリケーションが特定状態となるイベントが発生したときの視線入力の応答性の向上について説明する。なお、具体例２でも、具体例１と同様、電子書籍アプリケーションが実行されているときを例に挙げて説明する。

図１６（Ａ）を参照して、電子書籍アプリケーションが実行されているときに、表示されているページが最後までスクロールされたとき、つまりスクロールバー９４ｃの位置が最終位置に達したとき、実行中のアプリケーションが終了される可能性が高い状態（特定状態）となるイベントが発生したと判断される。

図１６（Ｂ）を参照して、このようなイベントが発生すると、実行中のアプリケーションを終了させるためのＨＯＭＥキー９０およびＢＡＣＫキー９２の判定エリア９０ａ’および判定エリア９２’と、戻るキー９４ａの判定エリア９４ａ’とが拡大される。また、アプリケーションの終了に関係ない他のオブジェクト、つまり進むキー９４ｂおよびスクロールバー９４ｃの判定エリアが縮小される。また、図１６（Ｂ）の状態では、ＨＯＭＥキー９０、ＢＡＣＫキー９２および戻るキー９４ａの各判定回数は標準値よりも小さくされている。

ここでは、ＨＯＭＥキー９０およびＢＡＣＫキー９２は、実行中のアプリケーションを終了させるためのオブジェクトとして、視線入力の応答性が向上される。なお、戻るキー９４ａは、ユーザが前のページを確認する可能性があるため、視線入力の応答性が向上される。

このように、具体例２では、表示内容が最後までスクロールされると、実行中のアプリケーションを終了させやすくすることが出来る。

なお、具体例２は、電子書籍アプリケーションだけに限らず、表示内容がスクロールされるメールアプリケーションや、ブラウザアプリケーション、テキスト作成／編集アプリケーションなどに適用されてもよい。

以下、具体例２のユーザ操作予測処理および応答性向上処理のフロー図を用いて、詳細に説明する。なお、具体例１と同様の処理については、同じステップ番号を付し、詳細な説明は省略する。

図１７は、具体例２のユーザ操作予測処理の詳細なフロー図である。視線入力処理のステップＳ１７でユーザ操作予測処理が実行されると、プロセッサ４０は、ステップＳ７１で予測バッファ５３２を初期化する。

続いて、ステップＳ１３１でプロセッサ４０は、スクロールバー９４ｃが最終位置に達しているかが判断される。つまり、プロセッサ４０は、実行中のアプリケーションが特定状態となるイベントが発生したかを判断する。ステップＳ１３１で“ＮＯ”であれば、つまりスクロールバー９４ｃが最終位置に達していなければ、プロセッサ４０はユーザ操作予測処理を終了して、視線入力処理に戻る。

ステップＳ１３１で“ＹＥＳ”であれば、つまりスクロールバー９４ｃが最終位置に達していると、ステップＳ１３３でプロセッサ４０は、戻るキー９４ａをオブジェクトテーブル５４２から特定する。つまり、ユーザが前のページに戻る操作を行う可能性があるため、戻るキー９４ａがオブジェクトテーブルから特定される。

続いて、ステップＳ７７でプロセッサ４０は、ＨＯＭＥキー９０およびＢＡＣＫキー９２をオブジェクトテーブルから特定する。つまり、実行中のアプリケーションを終了させるための操作を行うためのオブジェクトとして、ＨＯＭＥキー９０およびＢＡＣＫキー９２が特定される。なお、ステップＳ７７の処理を実行するプロセッサ４０は第２予測部として機能する。

続いて、ステップＳ７９でプロセッサ４０は、特定したオブジェクトの名称を予測バッファ５３２に記録する。ここでは、ＨＯＭＥキー９０、ＢＡＣＫキー９２および戻るキー９４ａの名称が予測バッファ５３２に記録される。そして、ステップＳ７９の処理が終了すれば、プロセッサ４０はユーザ操作予測処理を終了して、視線入力処理に戻る。

図１８は、具体例２の応答性向上処理の詳細なフロー図である。視線入力処理のステップＳ１９で応答性向上処理が実行されると、プロセッサ４０はステップＳ１５１で、スクロールバー９４が最終位置か否かを判断する。つまり、表示内容が最後までスクロールされているかが判断される。

ステップＳ１５１で“ＹＥＳ”であれば、つまり表示内容が最後までスクロールされていれば、ステップＳ９３でプロセッサ４０は、判定エリアが変更済みであるかを判断する。ステップＳ９３で“ＹＥＳ”であれば、つまり判定エリアが変更されていれば、プロセッサ４０は応答性向上処理を終了して、視線入力処理に戻る。また、ステップＳ９３で“ＮＯ”であれば、つまり判定エリアが変更されていなければ、ステップＳ９５でプロセッサ４０は各判定エリアの大きさを記録する。

続いて、ステップＳ９７でプロセッサ４０は、予測バッファ５３２からオブジェクトの名称を読み出す。ここでは、オブジェクトの名称として、ＨＯＭＥキー９０、ＢＡＣＫキー９２および戻るキー９４ａが読み出される。

続いて、プロセッサ４０は、ステップＳ１５３で戻るキー９４ａの判定エリア９４ａ’を拡大し、ステップＳ１０１でＨＯＭＥキー９０およびＢＡＣＫキー９２の判定エリアを拡大する。そして、ステップＳ１０３でプロセッサ４０は、他のオブジェクトの判定エリアを縮小する。たとえば、ステップＳ１０３では、進むキー９４ｂおよびスクロールバー９４ｃの判定エリアが縮小される。なお、判定エリアが拡大／縮小された結果は、オブジェクトテーブルの判定エリアの各欄に反映される。

続いて、プロセッサ４０は、ステップＳ１５５で戻るキー９４ａの判定回数を標準値より小さくし、ステップＳ１０７でＨＯＭＥキー９０およびＢＡＣＫキー９２の判定回数を標準値より小さくする。つまり、オブジェクトテーブル５４２における、ＨＯＭＥキー９０、ＢＡＣＫキー９２および戻るキー９４ａの判定回数を小さくする。このようにして、ＨＯＭＥキー９０、ＢＡＣＫキー９２および戻るキー９４ａの応答性が向上されると、プロセッサ４０は応答性向上処理を終了して、視線入力処理に戻る。

なお、ステップＳ１０１およびステップＳ１０７の処理を実行するプロセッサ４０は、
第２向上部として機能する。

また、ステップＳ１５１で“ＮＯ”であれば、たとえばスクロール操作によってスクロールバーが最終位置でなくなると、ステップＳ１０９でプロセッサ４０は、判定エリアが変更済みか否かを判断する。ステップＳ１０９で“ＮＯ”であれば、つまり判定エリアが変更されていなければ、プロセッサ４０は応答性向上処理を終了して、視線入力処理に戻る。

また、ステップＳ１０９で“ＹＥＳ”であれば、つまり判定エリアが変更されていれば、プロセッサ４０は、ステップＳ１１１で判定エリアの大きさを初期化し、ステップＳ１１３で全てのオブジェクトの判定回数に標準値を設定する。つまり、各オブジェクトの応答性が元の状態に戻される。そして、ステップＳ１１３の処理が終了すれば、プロセッサ４０は、応答性向上処理を終了して、視線入力処理に戻る。

＜具体例３＞
具体例３では、複数のアプリケーションをそれぞれ実行可能な実行アイコンを含む特定画面を表示するイベントが発生したときの視線入力の応答性の向上について説明する。

図１９（Ａ）はロック画面が表示されているときのディスプレイ１４の表示例を示す。ロック画面は、機能表示領域７２に表示される。また、ロック画面には、ロック状態を解除するためのロックアイコンＲＩおよび複数のアプリケーションを実行するための実行アイコン１１０−１１６が含まれる。具体例３の実行アイコンは、メールアプリケーションを実行するためのメールアイコン１１０、ブラウザアプリケーションを実行するためのブラウザアイコン１１２および地図アプリケーションを実行するための地図アイコン１１４および電話アプリケーションを実行するための電話アイコン１１６を含む。

たとえば、ロック画面は、タッチパネル１６に対する誤入力を防止するための画面であり、ディスプレイ１４の電源がオンにされたときに表示される。また、ロック画面が表示されているときに、ユーザは、ロックアイコンＲＩに対して解除操作（たとえば、ロックアイコンＲＩを画面外に出すようなフリック操作）を行うと、ロック状態を解除することが出来る。また、ロックアイコンＲＩをドラッグした後に、任意の実行アイコンにドロップすることで、ユーザは、ロック状態を解除すると共に、その実行アイコンに対応するアプリケーションを実行することが出来る。そして、ロック画面が解除されると、待機画面が表示される。

また、ユーザは、ロックアイコンＲＩに対して視線入力を行っても、ロック状態を解除することが出来る。さらに、ユーザは、任意の実行アイコンに対して視線入力を行うことで、ロック状態を解除すると共に、その実行アイコンに対応するアプリケーションを実行することが出来る。

ここで、具体例３では、図１９（Ａ）に示すようなロック画面をの表示イベントが発生すると、ユーザによって利用される頻度が高いアプリケーションに対応する実行オブジェクトの応答性が向上される。

図１９（Ｂ）を参照して、たとえばユーザの利用頻度が最も多いアプリケーションがメールアプリケーションである場合に、ロック画面の表示イベントが発生すると、利用頻度が最も高いメールアプリケーションに対応するメールアイコン１１０の判定エリア１１０’およびロック状態を解除するためのロックアイコンＲＩの判定エリアＲＩ’が拡大される。また、図１９（Ｂ）の状態では、メールアイコン１１０およびロックアイコンＲＩの判定回数が標準値よりも小さくされる。

つまり、利用頻度が高いアプリケーションに対応する実行アイコンは、そのアプリケーションを実行しやすくするために、視線入力の応答性が向上される。なお、ロックアイコンＲＩは、ロック状態を解除しやすくするために、視線入力の応答性が向上される。

したがって、アプリケーションが実行可能な画面が表示されると、利用履歴に基づいて、アプリケーションを実行しやすい状態にすることが出来る。

なお、図１９（Ｂ）において、判定エリアの大きさとオブジェクトの大きさとが一致している場合は、判定エリアに対する符号は省略する。

図２０は、ユーザによって利用されたアプリケーションの履歴が記録される利用履歴テーブルの構成の一例を示す図解図である。利用履歴テーブルには、アプリケーションが利用（実行）された日時と、利用されたアプリケーションの名称と記録する列が含まれる。たとえば、２０ＸＸ年８月ＸＸ日１３時１９分１３秒にメールアプリケーションが実行されると、日時の欄には「２０ＸＸ／０８／ＸＸ １３：１９：１３」が記録され、名称の列には「メール」が記録される。

そして、アプリケーションの利用頻度は、利用履歴テーブルに基づいて算出される。たとえば、ロック画面が表示されると、利用履歴テーブルから所定期間（たとえば、１週間）分の利用履歴が読み出され、読み出された利用頻度に基づいて最も利用頻度が高いアプリケーションが特定される。

なお、実行アイコンは、ロック画面だけに限らず、待機画面などに表示されてもよい。この場合、待機画面を表示する表示イベントが発生すると、利用頻度に基づいて視線入力の応答性が向上される。

また、ロック画面などに実行アイコンを表示するときに、利用頻度が考慮されてもよい。たとえば、利用頻度が最も高いアプリケーションと対応する実行アイコンが左上に表示される。この場合、ユーザ操作予測処理では、利用頻度を算出せずに、左上に表示されている実行アイコンの名称が取得される。

また、他の実施例では、所定値以上の利用頻度のアプリケーションに対応する実行アイコンの応答性が向上されるようにしてもよい。たとえば、メールアプリケーションと地図アプリケーションとの利用頻度が所定値以上である場合、メールアプリケーションおよび地図アプリケーションのそれぞれに対応する実行アイコンの応答性が向上される。

以下、具体例３におけるＲＡＭ５６のメモリマップおよび具体例３のユーザ操作予測処理および応答性向上処理のフロー図を用いて、詳細に説明する。なお、フロー図において具体例１と同様の処理については、同じステップ番号を付し、詳細な説明は省略する。

図２１を参照して、ＲＡＭ５６のプログラム記憶領域５０２には、ユーザの利用履歴を記録するための利用履歴記録プログラム５１８がさらに記憶される。また、ＲＡＭ５６のデータ記憶領域５０４には、たとえば図２０に示す構成の利用履歴データ５４４がさらに記憶される。なお、他のプログラムおよび他のデータについては、図８に示すメモリマップと略同じであるため、詳細な説明は省略する。

図２２は、利用履歴記録処理の詳細なフロー図である。利用履歴記録処理は、携帯電話機１０の電源がオンにされると、開始される。ステップＳ１７１でプロセッサ４０は、アプリケーションが実行されたか否かを判断する。たとえば、アプリケーションを実行する操作がされたかが判断される。ステップＳ１７１で“ＮＯ”であれば、つまりアプリケーションが実行されなければ、プロセッサ４０はステップＳ１７１の処理を繰り返す。一方、ステップＳ１７１で“ＹＥＳ”であれば、つまりアプリケーションが実行されると、プロセッサ４０は、ステップＳ１７３で日時を取得し、ステップＳ１７５でアプリケーション名を取得する。つまり、アプリケーションが実行されると、アプリケーションが実行された日時とアプリケーションの名称とが取得される。なお、日時はＲＴＣ４０ａが出力する時刻情報を利用して取得される。

続いて、ステップＳ１７７でプロセッサ４０は、利用履歴を記録する。つまり、上記ステップＳ１７３，Ｓ１７５で取得された日時とアプリケーションの名称とを関連付けて、利用履歴テーブル５４４に記録する。なお、ステップＳ１７７の処理が終了すると、プロセッサ４０はステップＳ１７１に戻る。また、ステップＳ１７７の処理を実行するプロセッサ４０は記録部として機能する。

図２３は、具体例３のユーザ操作予測処理の詳細なフロー図である。視線入力処理のステップＳ１７でユーザ操作予測処理が実行されると、プロセッサ４０は、ステップＳ７１で予測バッファ５３２を初期化する。

続いて、ステップＳ１９１でプロセッサ４０は、ロック画面が表示されたか否かを判断する。つまり、プロセッサ４０は、ロック画面の表示イベントが発生したかを判断する。ステップＳ１９１で“ＮＯ”であれば、つまり発生したイベントがロック画面の表示イベントでなければ、プロセッサ４０はユーザ操作予測処理を終了して、視線入力処理に戻る。

ステップＳ１９１で“ＹＥＳ”であれば、つまりロック画面の表示イベントが発生していれば、ステップＳ１９３でプロセッサ４０は、ロックアイコンＲＩをオブジェクトテーブルから取得する。続いて、ステップＳ１９５でプロセッサ４０は、利用履歴テーブル５４４に基づいて各アプリケーションの利用頻度を算出する。たとえば、利用履歴テーブル５４４を読み出し、記録されているアプリケーションの名称毎に、利用頻度を算出する。続いて、ステップＳ１９７でプロセッサ４０は、利用頻度が最も高いアプリケーションと対応する実行アイコンをオブジェクトテーブルから特定する。たとえば、図２０に示す構成の利用履歴テーブル５４４であれば、利用頻度が最も高いアプリケーションはメールアプリケーションであると判断される。そのため、ステップＳ１９７では、オブジェクトテーブルからメールアプリケーションに対応するメールアイコン１１０が特定される。なお、ステップＳ１９７の処理を実行するプロセッサ４０は第３予測部として機能する。

続いて、ステップＳ７９でプロセッサ４０は、特定したオブジェクトの名称を予測バッファ５３２に記録する。ここでは、ロックアイコンＲＩおよびメールアイコン１１０が予測バッファ５３２に記録される。そして、ステップＳ７９の処理が終了すると、プロセッサ４０は、ユーザ操作予測処理を終了して、視線入力処理に戻る。

図２４は、具体例３の応答性向上処理の詳細なフロー図である。視線入力処理のステップＳ１９で応答性向上処理が実行されると、プロセッサ４０はステップＳ２１１で、ロック画面が表示されたか否かを判断する。つまり、プロセッサ４０は、複数のアプリケーションを実行可能な実行アイコンが表示されているかを判断する。

続いて、ステップＳ９３でプロセッサ４０は、判定エリアが変更済みか否かを判断する。ステップＳ９３で“ＹＥＳ”であれば、つまり変更エリアが変更されていれば、プロセッサ４０は応答性向上処理を終了して、視線入力処理に戻る。ステップＳ９３で“ＮＯ”であれば、判定エリアが変更されていなければ、ステップＳ９５でプロセッサ４０は、各判定エリアの大きさを記録する。

続いて、ステップＳ９７でプロセッサ４０は、予測バッファ５３２からオブジェクトの名称を読み出す。ここでは、ロックアイコンＲＩと、利用頻度が最も高いアプリケーションに対応する実行アイコンの名称とが予測バッファ５３２から読み出される。

続いて、プロセッサ４０は、ステップＳ２１３でロックアイコンＲＩの判定エリアを拡大し、ステップＳ２１５で利用頻度が最も高いアプリケーションと対応する実行アイコンの判定エリアを拡大する。たとえば、予測バッファ５３２から読み出されたオブジェクトの名称に基づいて、プロセッサ４０は、ロックアイコンＲＩおよびメールアイコン１１０の判定エリアを拡大する。

続いて、プロセッサ４０は、ステップＳ２１７でロックアイコンＲＩの判定回数を標準値より小さくし、ステップＳ２１９で利用頻度が最も高いアプリケーションと対応する実行アイコンの判定回数を標準値より小さくする。たとえば、図１９（Ｂ）に示す状態であれば、ロックアイコンＲＩおよびメールアイコン１１０と対応する判定回数が標準値よりも小さくされる。そして、ステップＳ２１９の処理が終了すれば、プロセッサ４０は応答性向上処理を終了して、視線入力処理に戻る。

なお、ステップＳ２１５およびステップＳ２１９の処理を実行するプロセッサ４０は、第３向上部として機能する。

また、ステップＳ２１１で“ＮＯ”であれば、つまりロック画面が表示されていなければ、ステップＳ８３でプロセッサ４０は、判定エリアが変更済みであるか否かを判断する。ステップＳ８３で“ＮＯ”であれば、つまり判定エリアが変更されていなければ、プロセッサ４０は応答性向上処理を終了して、視線入力処理に戻る。また、ステップＳ８３で“ＹＥＳ”であれば、つまり判定エリアが変更されていれば、プロセッサ４０は、ステップＳ１１１で判定エリアの大きさを初期化して、ステップＳ１１３で全てのオブジェクトの判定回数に標準値を設定する。つまり、各オブジェクトの視線入力の応答性が元の状態に戻される。

そして、ステップＳ１１３の処理が終了すると、プロセッサ４０は応答性向上処理を終了して、視線入力処理に戻る。

なお、具体例１−具体例３において、ステップＳ９９，Ｓ１０１，Ｓ１５３，Ｓ２１３，Ｓ２１５の処理を実行するプロセッサ４０は拡大部として機能する。また、ステップＳ１０５，Ｓ１０７，Ｓ１５５，Ｓ２１７，Ｓ２１９の処理を実行するプロセッサ４０は判定回数変更部として機能する。

また、具体例１−具体例３は、それぞれが任意に組み合わせられてもよい。たとえば、２つ以上のイベントが略同時に発生した場合、片方のイベントに対応するオブジェクトの応答性が向上されるようにしてもよいし、それぞれのイベントに対応するオブジェクトの応答性が向上されるようにしてもよい。また、片方のイベントに対応するオブジェクトの応答性だけを向上させる場合、各イベントには予め優先度を設定しておき、その優先度に基づいて応答性を向上させるイベントが判断される。また、その他の組み合わせについては容易に想像できるため、ここでの詳細な説明は省略する。

また、ユーザ操作予測処理および応答性向上処理は、視線入力処理のサブルーチンではなく、視線入力処理と並列的に実行されてもよい。

また、他の実施例では、携帯電話機１０からユーザまでの距離の検出精度を高めるために、近接センサ３４が、赤外線ＬＥＤ３０および赤外線カメラ３２と隣接するように設けられてもよい。また、その他の実施例では、赤外線ＬＥＤ３０および赤外線カメラ３２が、近接センサ３４と隣接するように設けられてもよい。

さらにその他の実施例では、近接センサ３４に代えて、赤外線ＬＥＤ３０および赤外線カメラ３２を利用して、携帯電話機１０に対するユーザの顔の近接が検出されてもよい。具体的には、視線入力処理が開始されると、赤外線ＬＥＤ３０を弱発光させ、赤外線カメラ３２の受光レベルを測定する。受光レベルが閾値Ｂを超えている場合、赤外線ＬＥＤ３０から出力される赤外線がユーザの眼に影響を与える範囲にユーザの顔が存在していると判断して、プロセッサ４０は視線入力検出処理を終了する。一方、受光レベルが閾値Ｂ未満であれば、赤外線ＬＥＤ３０が通常発光の状態にされ、上述したようにユーザの視線入力が検出される。なお、赤外線カメラ３２の受光レベルは、シャッター速度およびアンプゲイン値に基づいて算出される。たとえば、照度が高い場合、シャッター速度が速くなり、アンプゲイン値が低くなる。一方、照度が低い場合、シャッター速度が遅くなり、アンプゲイン値が高くなる。

以下、さらにその他の実施例の視線入力処理のフロー図を用いて、詳細に説明する。図２５を参照して、さらにその他の実施例の視線入力処理が実行されると、プロセッサ４０は、ステップＳ２３１で赤外線ＬＥＤ３０を弱発光させ、ステップＳ２３３で赤外線カメラ２３３の電源をオンにする。続いて、ステップＳ２３５でプロセッサ４０は、赤外線カメラ３２の受光レベルを測定する。つまり、赤外線カメラ３２のシャッター速度およびアンプゲイン値に基づいて、赤外線カメラ３２の受光レベルが算出される。

続いて、ステップＳ２３７でプロセッサ４０は、受光レベルが閾値未満であるか否かを判断する。つまり、ステップＳ３と同様、赤外線ＬＥＤ３０から出力される赤外線がユーザの眼に影響を与える範囲にユーザの顔が存在しているかが判断される。ステップＳ２３７で“ＮＯ”であれば、つまり受光レベルが閾値Ｂを超えていれば、プロセッサ４０はステップＳ２４１に進む。そして、プロセッサ４０は、ステップＳ２４１で赤外線ＬＥＤ３０および赤外線カメラ３２をオフにして、視線入力処理を終了する。

一方、ステップＳ２３７で“ＹＥＳ”であれば、つまり受光レベルが閾値Ｂ未満であれば、ステップＳ２３９でプロセッサ４０は、赤外線ＬＥＤ３０を通常発光の状態にする。続いて、ステップＳ１１−Ｓ２５の処理が実行され、ユーザの視線入力が検出された後、プロセッサ４０はステップＳ２４１に進む。ステップＳ２４１では、上述したように、赤外線ＬＥＤ３０および赤外線カメラ３２がオフにされる。つまり、視線入力が検出されたため、赤外線ＬＥＤ３０および赤外線カメラ３２の電源がオフにされる。そして、ステップＳ２４１の処理が終了すれば、プロセッサ４０は視線入力処理を終了する。

また、判定エリアは、周囲のオブジェクトの位置を考慮して拡大されてもよい。たとえば、左側に他のオブジェクトが表示され、右側には他のオブジェクトが表示されていない任意のオブジェクトの判定エリアを拡大する場合、左側よりも右側の方が大きくなるように判定エリアが拡大される。

また、本実施例では、プロセッサの処理が視線操作によって実行される場合について説明したが、キー操作、タッチ操作および視線操作が組み合わせられてもよいことは、言うまでもない。ただし、他の実施例では、視線操作による処理が実行されている場合には、キー操作やタッチ操作を受け付けないようにしてもよい。

また、本実施例では、視線操作が可能である場合について説明したが、実際には、視線操作（視線入力）が可能な場合と可能でない場合とがある。視線操作が可能な場合とは、たとえば予め視線操作を行うことが可能であると設定されたアプリケーションが実行されているときである。その対象となるアプリケーションの一例としては、電子書籍アプリケーションや、メールアプリケーションなどがあげられる。一方、視線操作が可能でない場合とは、たとえば予め視線操作を行うことが不可能であると設定されたアプリケーションが実行されているときである。その対象となるアプリケーションの一例としては、通話機能があげられる。また、視線操作が可能である場合には、その旨のメッセージないし画像（アイコン）を表示するようにしてもよい。さらに、視線操作を実行している場合には、視線入力を受け付けている（視線操作の実行中である）旨のメッセージないし画像を表示するようにしてもよい。このようにすれば、使用者は、視線操作が可能であること、視線入力が受け付けられていることを認識することが出来る。

また、携帯電話機１０が加速度センサまたはジャイロセンサを有する場合、視線操作の有効／無効は、携帯電話機１０の向きに応じて切り替えられてもよい。

また、他の実施例の赤外線カメラ３２を構成するカラーカメラには、赤外線波長の光を減衰(カット)し、Ｒ,Ｇ,Ｂの波長の光をよりよく受光させるための赤外線カットフィルタ(ローパスフィルタ)が設けられていても良い。赤外線カットフィルタが設けられた赤外線カメラ３２の場合、赤外線波長の光の感度を高めておくとしても良い。また、この赤外線カットフィルタを赤外線カメラ３２から着脱自在としても良い。

また、本実施例で用いられたプログラムは、データ配信用のサーバのＨＤＤに記憶され、ネットワークを介して携帯電話機１０に配信されてもよい。また、ＣＤ，ＤＶＤ，ＢＤなどの光学ディスク、ＵＳＢメモリおよびメモリカードなどの記憶媒体に複数のプログラムを記憶させた状態で、その記憶媒体が販売または配布されてもよい。そして、上記したサーバや記憶媒体などを通じてダウンロードされた、プログラムが本実施例と同等の構成の電子機器にインストールされた場合、本実施例と同等の効果が得られる。

そして、本明細書中で挙げた、具体的な数値は、いずれも単なる一例であり、製品の仕様変更などに応じて適宜変更可能である。

１０ …携帯電話機
１４ …ディスプレイ
１６ …タッチパネル
３０ …赤外線ＬＥＤ
３２ …赤外線カメラ
３４ …近接センサ
４０ …プロセッサ
５０ …入力装置
５４ …フラッシュメモリ
５６ …ＲＡＭ
６０ …ＬＥＤドライバ
６２ …撮影画像処理回路

Claims (9)

1. 複数のオブジェクトを表示する表示部を有し、前記複数のオブジェクトに対する視線入力を検出し、視線入力が検出されたオブジェクトに関連した動作を実行する、電子機器において、
   イベントが発生したときに、次のユーザ操作を予測する予測部、および
   前記予測部によって予測された次のユーザ操作を行うためのオブジェクトに対する視線入力の応答性を向上させる向上部を備えることを特徴とする、電子機器。
2. 前記複数のオブジェクトのそれぞれには、視線入力を検出するための判定エリアが対応付けられ、
   前記向上部は、前記予測部によって次のユーザ操作が予測されたとき、そのユーザ操作を行うためのオブジェクトに対応付けられた判定エリアを拡大する拡大部を含む、請求項１記載の電子機器。
3. 前記複数のオブジェクトのそれぞれには、視線入力を検出するための判定回数がさらに対応付けられ、
   視線入力における注視点を検出する第１検出部、
   前記第１検出部によって検出された注視点が前回の位置と同じ位置のとき、カウントするカウント部、および
   前記カウント部によってカウントされた回数が判定回数と一致したとき、オブジェクトに対する視線入力を検出する第２検出部をさらに備え、
   前記向上部は、前記予測部によって次のユーザ操作が予測されたとき、そのユーザ操作を行うためのオブジェクトに対応付けられた判定回数を標準値より小さくする判定回数変更部をさらに含む、請求項１または２記載の電子機器。
4. 前記向上部は、前記予測部によって次のユーザ操作が予測されたとき、そのユーザ操作を行うためのオブジェクトの表示態様を変更する、請求項１ないし３のいずれかに記載の電子機器。
5. 前記表示部は、アプリケーションによる通知があったとき通知オブジェクトを表示し、
   前記予測部は、前記通知オブジェクトが表示されたとき、前記通知オブジェクトに関連したアプリケーションを実行するユーザ操作を予測する第１予測部を含み、
   前記向上部は、前記通知オブジェクトに対する視線入力の応答性を向上させる第１向上部を含む、請求項１記載の電子機器。
6. 前記表示部は、表示内容をスクロール可能なアプリケーションが実行されたとき、表示位置に対応するスクロールバーを表示し、
   前記予測部は、前記スクロールバーが最終位置に達したとき、実行中のアプリケーションを終了させるユーザ操作を予測する第２予測部を含み、
   前記向上部は、前記実行中のアプリケーションを終了させるオブジェクトに対する視線入力の応答性を向上させる第２向上部を含む、請求項１記載の電子機器。
7. 複数のアプリケーションの利用履歴を記録する記録部をさらに備え、
   前記予測部は、前記複数のアプリケーションをそれぞれ実行可能な実行オブジェクトを含む特定画面が表示されたとき、利用頻度が高いアプリケーションを実行するユーザ操作を予測する第３予測部を含み、
   前記向上部は、前記利用履歴に基づいて、利用頻度が高いアプリケーションを実行するための実行オブジェクトに対する視線入力の応答性を向上させる第３向上部を含む、請求項１記載の電子機器。
8. 複数のオブジェクトを表示する表示部を有し、前記複数のオブジェクトに対する視線入力を検出し、視線入力が検出されたオブジェクトに関連した動作を実行する、電子機器のプロセッサを、
   イベントが発生したときに、次のユーザ操作を予測する予測部、および
   前記予測部によって予測された次のユーザ操作を行うためのオブジェクトに対する視線入力の応答性を向上させる向上部として機能させる、視線入力プログラム。
9. 複数のオブジェクトを表示する表示部を有し、前記複数のオブジェクトに対する視線入力を検出し、視線入力が検出されたオブジェクトに関連した動作を実行する、電子機器の視線入力方法であって、
   イベントが発生したときに、次のユーザ操作を予測し、そして
   予測された次のユーザ操作を行うためのオブジェクトに対する視線入力の応答性を向上させる、視線入力方法。

Images