JP2012008745A - ユーザインターフェース装置及び電子機器 - Google Patents

Abstract

【課題】手操作を行うことなく情報や操作指示の入力が可能になる利便性に優れたユーザインターフェース装置及び電子機器を提供する。
【解決手段】ユーザインターフェース装置１は、利用者の眼を撮像する利用者撮像手段として、注視対象距離検出部１０と視線検知部２４とを備える。リム２又はテンプル３Ｒ,３Ｌの内部に格納されている制御部１４は、利用者撮像手段で撮像された利用者の眼の画像情報に基づいて、利用者が注視している注視対象を検出し、検出した注視対象に関連付けられた情報又は操作指示の入力内容を特定し、特定した入力内容を電子機器に送信する。
【選択図】図１

Description

本発明は、入力や操作を行うことができるユーザインターフェース装置及び電子機器に関するものである。

従来、視線の動きを輪郭処理し、前回の視線位置データと今回の視線位置のデータとを比較することによって視線方向のリアルタイムの検出が可能となり、画面上の所定のポイントを指定し、入力部スイッチをＯＮにすることによりコンピュータに入力することができる入力装置が知られている（特許文献１参照）。この入力装置では、光センサーを配設したゴーグルが人の頭部に装着され、光センサーの光源部からの赤外線を眼球に照射し、この眼球からの反射光をＣＣＤカメラに入射することにより、視線の動きが追跡される。

しかしながら、上記従来の入力装置では、コンピュータに入力するには、画面上で追跡された視線方向のポイントを指定し、入力部スイッチをＯＮにする手操作が必要であるため、利便性に欠ける。

本発明は以上の問題点に鑑みなされたものであり、その目的は、手操作を行うことなく情報や操作指示の入力が可能になる利便性に優れたユーザインターフェース装置及び電子機器を提供することである。

本発明に係るユーザインターフェース装置は、情報又は操作指示を入力可能なユーザインターフェース装置であって、利用者の眼を撮像する利用者撮像手段と、前記利用者撮像手段で撮像された前記利用者の眼の画像情報に基づいて、前記利用者が注視している注視対象を検出する注視対象検出手段と、前記注視対象検出手段で検出した注視対象に関連付けられた情報又は操作指示の入力内容を特定する入力内容特定手段と、前記入力内容特定手段で特定した前記入力内容を電子機器に送信する入力内容送信手段と、を備える。
このユーザインターフェース装置によれば、視界の中に見える入力対象の情報又は操作指示が予め関連付けられた所定の対象を利用者が注視すると、利用者撮像手段で撮像された利用者の眼の画像情報に基づいて、利用者の眼の視線方向等が判断され、前記視界において利用者が注視している注視対象が検出される。この検出された注視対象に関連付けられた情報又は操作指示の入力内容が特定され、電子機器に送信されることにより、電子機器に情報を入力したり電子機器を操作したりすることができる。

前記ユーザインターフェース装置において、利用者が見ている視界を撮像する視界撮像手段を更に備え、前記注視対象は、前記視界の中の現実空間に存在する前記電子機器の操作入力部であり、前記注視対象検出手段は、前記視界撮像手段で撮像された前記視界の画像情報と、前記利用者撮像手段で撮像された前記利用者の眼の画像情報とに基づいて、前記注視対象を検出するものであってもよい。
このユーザインターフェース装置によれば、視界の中の現実空間に存在する電子機器の操作入力部を利用者が注視すると、視界撮像手段で撮像された視界の画像情報と、利用者撮像手段で撮像された利用者の眼の画像情報とに基づいて、利用者が注視している操作入力部における注視対象が検出される。この検出された注視対象に関連付けられた情報又は操作指示の入力内容が特定され、電子機器に送信されることにより、電子機器に情報を入力したり電子機器を操作したりすることができる。このように視界の中に見える現実空間に存在する電子機器の操作入力部を利用者が注視するだけで、手操作を行うことなく、電子機器に対する入力や操作を行うことができる。

また、前記ユーザインターフェース装置において、利用者が見ている視界の中に、前記電子機器の操作入力部の画像、ソフトキー画像及びメニュー画像の少なくとも一つの入力用画像を重ね合わせて表示する入力用画像表示手段を、更に備え、前記注視対象検出手段は、前記入力用画像表示手段で表示している前記入力用画像の画像情報と、前記利用者撮像手段で撮像された前記利用者の眼の画像情報とに基づいて、前記注視対象を検出するものであってもよい。
このユーザインターフェース装置によれば、視界の中に重ね合わせて表示された、電子機器の操作入力部の画像、ソフトキー画像及びメニュー画像の少なくとも一つの入力用画像を利用者が注視すると、その入力用画像の画像情報と、利用者撮像手段で撮像された利用者の眼の画像情報とに基づいて、利用者が注視している入力用画像における注視対象が検出される。この検出された注視対象に関連付けられた情報又は操作指示の入力内容が特定され、電子機器に送信されることにより、電子機器に情報を入力したり電子機器を操作したりすることができる。このように視界の中に重ね合わせて表示された入力用画像を利用者が注視するだけで、手操作を行うことなく、電子機器に対する入力や操作を行うことができる。

また、前記ユーザインターフェース装置において、近距離無線通信により、前記電子機器内の記憶媒体に保存されている前記入力用画像の画像情報を受信して取得する入力用画像取得手段を、更に備えてもよい。
このユーザインターフェース装置によれば、当該ユーザインターフェース装置内のメモリから読み出したり通信ネットワーク上のサーバにアクセスして取得したりすることなく、情報又は操作指示が入力される対象の電子機器から、入力用画像の画像情報を直接取得することができる。

また、前記ユーザインターフェース装置において、前記利用者撮像手段で撮像された前記利用者の眼の画像情報に基づいて、前記利用者が見ている視界の中に、前記利用者が注視している注視点を示すマーカの画像を重ね合わせて表示するマーカ画像表示手段を、更に備えてもよい。
このユーザインターフェース装置によれば、利用者が見ている視界の中に、その利用者が注視している注視点を示すマーカの画像が重ね合わせて表示されるので、入力対象の情報又は操作指示に関連付けられた対象に視線を容易に合わせることができる。

また、前記ユーザインターフェース装置において、前記入力内容送信手段は、前記利用者撮像手段で撮像された前記利用者の眼の画像情報に基づいて、前記利用者の眼が所定動作をしたと判断したときに、前記入力内容を送信するものであってもよい。
このユーザインターフェース装置によれば、利用者が所定の動作で眼を動かすことにより、手操作を行うことなく、注視して特定した入力内容を電子機器に送信することができる。

また、前記ユーザインターフェース装置において、利用者の音声を入力するための音声入力手段を、更に備え、前記入力内容送信手段は、前記音声入力手段で所定音声が入力されたときに、前記入力内容を送信するものであってもよい。
このユーザインターフェース装置によれば、利用者が所定の音声を発することにより、手操作を行うことなく、注視して特定した入力内容を電子機器に送信することができる。

なお、前記ユーザインターフェース装置において、利用者の頭部に装着可能に構成されているものであってもよい。このユーザインターフェース装置によれば、利用者の頭部に装着して使用することができるので、可搬性に優れるとともに、利用者が向きを変えたり移動したりしても、使用を中断することなくユーザインターフェース装置を継続して使用することができる。
また、前記ユーザインターフェース装置において、前記入力内容送信手段は、通信ネットワークを介して前記電子機器に前記入力内容を送信するものであってもよい。このユーザインターフェース装置によれば、通信ネットワークを介して通信可能な遠隔地にある電子機器に対して情報入力や操作を行うことができる。
また、前記ユーザインターフェース装置において、前記入力内容送信手段は、有線又は無線の近距離通信により前記電子機器に前記入力内容を送信するものであってもよい。このユーザインターフェース装置によれば、手操作を行うことなく、有線又は無線の近距離通信で通信可能な電子機器に対して情報入力や操作を行うことができる。
また、前記ユーザインターフェース装置において、前記入力用画像は、ひらがなの一覧、カタカナの一覧、アルファベットの一覧及び数字の一覧の少なくとも一つの一覧の画像であってもよい。このユーザインターフェース装置によれば、視界の中に表示されたひらがなの一覧、カタカナの一覧、アルファベットの一覧及び数字の一覧の少なくとも一つの一覧を注視することにより、手操作を行うことなく、ひらがな等を入力することができる。

本発明に係る電子機器は、操作入力部を有する電子機器であって、前記操作入力部を見ている利用者の眼を撮像する利用者撮像手段と、前記操作入力部のレイアウト情報と、前記利用者撮像手段で撮像された前記利用者の眼の画像情報とに基づいて、前記操作入力部において前記利用者が注視している注視対象を検出する注視対象検出手段と、前記注視対象検出手段で検出した注視対象に関連付けられた情報又は操作指示の入力内容を特定する入力内容特定手段と、を備える。
この電子機器によれば、操作入力部を利用者が注視すると、操作入力部のレイアウト情報と、利用者撮像手段で撮像された利用者の眼の画像情報とに基づいて、利用者が注視している操作入力部における注視対象が検出される。この検出された注視対象に関連付けられた情報又は操作指示の入力内容が特定されることにより、電子機器に情報を入力したり電子機器を操作したりすることができる。従って、別体のユーザインターフェース装置を用いなくても、電子機器の操作入力部を注視するだけで、手操作を行うことなく、電子機器に対する入力や操作を行うことができる。

なお、前記電子機器において、前記入力内容が特定されるたびに、その入力内容を利用者に通知する通知手段を備えてもよい。この電子機器によれば、利用者の注視によって特定された情報又は操作指示の入力内容を確認しながら、電子機器に対する入力や操作を行うことができる。
また、前記電子機器において、無線通信により通信ネットワークと通信可能な通信端末装置であってもよい。この通信端末装置によれば、別体のユーザインターフェース装置を用いなくても、通信端末装置の操作入力部を注視するだけで、手操作を行うことなく、通信端末装置に対する入力や操作を行うことができる。

本発明によれば、視界の中に見えている操作入力用の所定の対象を利用者が注視することにより、手操作を行うことなく、電子機器に情報を入力したり電子機器を操作したりすることができる。

本発明の実施形態に係るユーザインターフェース装置の一構成例を示す斜視図。 ユーザインターフェース装置の一構成例を示す機能ブロック図。 （ａ）は注視対象距離検出部の一構成例を示す概略構成図。（ｂ）は注視対象距離検出部における縞模様の変化の説明図。 利用者の左眼眼球の水晶体の厚さの時間変化の一例を示すグラフ。 （ａ）は視線検知部の概略構成図。（ｂ）は眼球の各位置に対応するイメージセンサの水平走査出力信号の模式図。 ユーザインターフェース装置を用いた文字列入力の様子を示す説明図。 （ａ）は画像表示手段を備えたユーザインターフェース装置の一構成例を示す上面図。（ｂ）は他の構成例に係る画像表示手段を備えたユーザインターフェース装置の一構成例を示す上面図 画像表示手段を備えたユーザインターフェース装置の一構成例を示す機能ブロック図。 表示手段（画像生成部及び画像表示部）の一構成例を示す概略構成図。 利用者がユーザインターフェース装置を介して見る外部視界に視線マーク（視線カーソル）や各ソフトキーを重ね合わせて表示した説明図。 ユーザインターフェース装置を用いて文字列を入力するときの動作を説明するためのシーケンス図。 ユーザインターフェース装置を介して見るテレビに視線マーク（視線カーソル）及び操作メニューを重ね合わせて表示した説明図。 ユーザインターフェース装置を用いてテレビを操作するときの動作を説明するためのシーケンス図。 （ａ）及び（ｂ）はユーザインターフェース装置を用いてスピーカ装置の音量を操作するときの表示を説明するための説明図。 本発明の他の実施形態に係る携帯通信端末の一構成例を示す正面図。 同携帯通信端末の一構成例を示す機能ブロック図。 利用者撮像手段の一構成例を示す説明図。（ａ）は同利用者撮像手段を構成する距離検知部の概略構成図。（ｂ）は同利用者撮像手段を構成する視線検知部の概略構成図。 入力姿勢状態表示部の動作説明図。（ａ）は右側に傾いた情報通信端末の説明図。（ｂ）はその情報通信端末の姿勢を矯正する説明図。

以下、本発明の実施形態を図面に基づいて説明する。
図１は、本発明の一実施形態に係る眼鏡型のユーザインターフェース装置１の一構成例を示す斜視図である。図２は、ユーザインターフェース装置１の一構成例を示す機能ブロック図である。
ユーザインターフェース装置１は、利用者の両眼を覆うように頭に装着し、利用者の眼球の動きや眼のまばたきをスキャンすることにより、利用者が注視した文字や画像を特定して確定し、確定した文字や画像の情報を、通信端末装置としての携帯通信端末やパソコン等に送信するためのインターフェース装置である。

ユーザインターフェース装置１のフレームは、リム２を備えている。このリム２の左右両サイドに、ツルとも呼ばれる一対のテンプル３Ｒ,３Ｌが、それぞれ蝶番４Ｒ,４Ｌ（４Ｌは不図示）により約９０度開閉可能に保持されている。また、一対のメガネレンズ５Ｒ,５Ｌ、一対の鼻パッド６Ｒ,６Ｌ、一対のテンプル３Ｒ,３Ｌの蝶番４Ｒ,４Ｌが設けられた側と反対側の端部にそれぞれ先セル７Ｒ,７Ｌを備えている。

また、ユーザインターフェース装置１は、右側のテンプル３Ｒの内側に設けられた電源をＯＮ／ＯＦＦするための電源スイッチ８と、リム２の中央上部のフロント側に設けられた利用者の視線の方向における前方視界の画像を撮像する視界撮像手段としての視界同調カメラ９と、リム２の左側のレンズ５Ｌの下部側に設けられた利用者撮像手段の一部としての注視対象距離検出部１０と、リム２の右側のレンズ５Ｒの下部側に設けられた利用者撮像手段の一部としての視線検知部２４とを備えている。

また、ユーザインターフェース装置１は、図２の機能ブロック図に示すように、ＣＰＵやＲＯＭ等で構成された制御手段としての制御部１４、記憶手段としてのメモリ１５、電源手段としてのバッテリ１６、装着検知部１７及び近距離通信手段としての通信部２６が、リム２又はテンプル３Ｒ,３Ｌの内部に格納されている。この近距離通信手段としての通信部２６は、例えば、シリアル通信ケーブルを用いた有線通信により、あるいは、赤外線やブルートゥース等の無線通信により、携帯通信端末と通信するように構成される。

制御部１４で実行されるプログラムや制御部１４等で用いられる各種データは、メモリ１５に保存されている。制御部１４に所定のプログラムやデータが読み出されて実行されることにより、後述の各種制御やデータ処理が実行される。

制御部１４は、注視対象距離検出部１０や視線検知部２４で構成された利用者撮像手段で撮像された利用者の眼の画像情報に基づいて、利用者が注視している注視対象を検出する注視対象検出手段や、検出した注視対象に関連付けられた情報又は操作指示の入力内容を特定する入力内容特定手段としても機能する。更に、制御部１４は、通信部２６と連携することにより、上記特定した入力内容を携帯通信端末等の電子機器に送信する入力内容送信手段としても機能する。

電源スイッチ８は、ユーザインターフェース装置１の電源をＯＮ／ＯＦＦするための例えば３Ｐトグルスイッチであり、電源ＯＦＦ、ＡＵＴＯ及び電源ＯＮの３つのポジションを取り得る。ここで、ＡＵＴＯポジションは、一対のテンプル３Ｒ,３Ｌを開いた状態で一対の先セル７Ｒ,７Ｌに弱電圧を印加しておき、利用者がユーザインターフェース装置１を頭に装着したときに、一対の先セル７Ｒ,７Ｌ間に流れる微弱電流を、タッチセンサ等で構成された装着検知部１７が検知することにより、視界同調カメラ９による撮像機能等の動作を開始するように制御される。一方、利用者がユーザインターフェース装置１を外したときには、撮像機能等の動作を停止するように制御される。また、電源ＯＮポジションでは、電源がＯＮされて撮像機能等が動作するが、利用者がユーザインターフェース装置１を外した状態で所定時間経過すると自動的に電源がＯＦＦする省電力制御がなされる。なお、電源スイッチ８を設けずに、常に前記ＡＵＴＯポジションでの電源動作と同様にユーザインターフェース装置１の電源が自動でＯＮ／ＯＦＦされるように構成してもよい。

視界同調カメラ９は、ＣＣＤカメラ又はＣＭＯＳカメラ等の固体撮像素子で構成され、ユーザインターフェース装置１のリム２の中央上部に配設され、利用者が見ている前方視界を撮像する。この視界同調カメラ９は、利用者が注視した文字や画像を拡大して撮影できるようにズーム機能を有してもよい。

なお、図１の構成例において、視界同調カメラ９は、視界撮像手段として用いられるとともに、視界における利用者の視線方向を検出する簡易型の視線方向検出手段としても用いられている。本構成例の視界同調カメラ９は、撮像画像の中心が利用者の視界の略中央に位置するように設けられ、その視界同調カメラ９で撮像した撮像画像の中心（利用者の視界の略中央）に向かう方向が利用者の視線方向であると推定することにより、利用者の視線方向を検出する。ここで、利用者が頭部の姿勢を変えて視線方向を変化させると、その視線方向の変化に応じて、利用者の頭部に装着されているユーザインターフェース装置１の視界同調カメラ９の撮像方向が変化し、その視界同調カメラ９で撮像した撮像画像の中心（利用者の視界の略中央）に向かう方向が、利用者の視線方向であると推定することができる。

図３（ａ）は、注視対象距離検出部１０の一構成例を示す概略構成図であり、図３（ｂ）は注視対象距離検出部１０における縞模様の変化の説明図である。本構成例の注視対象距離検出部１０は、縞模様の赤外光を利用者の眼球の水晶体を含む領域に照射し、水晶体から反射した赤外光の縞模様の変化に基づいて水晶体の厚さを測定し、この測定結果から注視対象までの距離を算出するものである。

図３（ａ）において、注視対象距離検出部１０は、赤外光を放射する発光ダイオード等の光源１０１、偏光フィルタ１０２、投光レンズ１０３、受光レンズ１０４、ＣＣＤ又はＣＭＯＳ等の光電変換素子からなるイメージセンサ１０５、焦点距離演算手段１０６から構成されている。

偏光フィルタ１０２は、光源１０１から照射された赤外光を格子状の縞模様に偏光フィルタリングする偏光フィルタである。この格子状の縞模様は、格子を形成する複数本の縦線及び横線の線間隔が同一であり、この線間隔が水晶体の直径よりも十分に狭い間隔（例えば、直径の数分の１〜数十分の１の間隔）である。

光源１０１から照射された赤外光は、偏光フィルタ１０２により格子状の縞模様に偏光フィルタリングされた後、投光レンズ１０３を通過後、格子縞の赤外光Ｃとなって利用者の左眼１００Ｌの水晶体を含む領域を照射する（図３（ｂ）参照）。水晶体にて反射した赤外光Ｃは受光レンズ１０４を介してイメージセンサ１０５上に縞模様の画像Ｉを結像する。イメージセンサ１０５では、一定時間毎（例えば、１／３０秒毎）に、画像Ｉを画像信号として焦点距離演算手段１０６に送信する。

焦点距離演算手段１０６は、図３（ｂ）に示すように、イメージセンサ１０５からの画像信号が入力される毎に、入力された画像Ｉに対してレンズ歪みを補正するとともに画像の傾きを台形補正し、補正を施した画像Ｉ’を取得する。レンズ歪みは、受光レンズ１０４等の特性に応じて発生する。また、画像の傾きは、利用者の水晶体の位置と受光レンズ１０４との位置関係に応じて発生する。補正後の画像Ｉ’は、レンズ歪みがなくかつ水晶体を真正面から撮像した画像に相当する。なお、更に前処理として、入力画像から格子模様を検知し易くするために、画像に対してノイズ除去やフィルタリングなどを行ってよい。

また、焦点距離演算手段１０６は、補正後の画像Ｉ’中の格子模様Ｓをトレースし、格子模様Ｓを抽出する。この格子模様Ｓは、水晶体に映っている部分では水晶体の曲面に沿って歪んでおり、照射時の直線で構成される格子模様から曲線で構成される格子模様となっている。

焦点距離演算手段１０６は、抽出した格子模様Ｓからその各曲線の曲率や各曲線間の間隔（縦線間隔、横線間隔）を算出する。さらに、焦点距離演算手段１０６では、格子模様Ｓの曲率や線間隔に基づいて水晶体の曲率を算出し、水晶体の曲率に基づいて水晶体の厚さを算出する。

水晶体は、外から入ってくる光を屈折させて網膜上に焦点を合わせるための凸状のレンズであり、チン氏帯を介して毛様筋が繋がっている。近くのものを見る場合、毛様筋が収縮し、チン氏帯が弛むことにより、水晶体の厚さが厚くなる（曲率が大きくなる）。また、遠くのものを見る場合、毛様筋が弛緩し、チン氏帯が引っ張られることにより、水晶体の厚さが薄くなる（曲率が小さくなる）。このように、人は、見る物体までの距離に応じて、水晶体の厚さを無意識に伸縮させて焦点距離を調節している。水晶体の厚さは、一般に、通常時には３．６ｍｍ程度であり、最大時には４．０ｍｍ程度である。また、水晶体を正面から見たときの直径は、一般に、９〜１０ｍｍ程度である。

図４は、利用者の左眼１００Ｌの水晶体の厚さの時間変化の一例を示している。利用者の眼が注視対象に合焦しているか否かは、例えば次のように判断してもよい。図中の符号Ｔ_０で示す時間帯では、その前後の時間帯に比べて、水晶体の厚さが厚くなっている時間が継続しており、焦点距離が短く、すなわち近くの注視対象に合焦していると判断することができる。一方、水晶体の厚さが薄くなっている時間が所定時間継続した場合には、遠くの注視対象に合焦していると判断することができる。

図５（ａ）は、視線方向検出手段としての視線検知部２４の概略構成説明図であり、図５（ｂ）は眼球の各位置に対応するイメージセンサの水平走査出力信号の模式図である。視線検知部２４は、ユーザインターフェース装置１を掛けた利用者が右側のメガネレンズ５Ｒを通して外部視界を見ているときの右眼眼球の視線の方向を検知するものである。

図５（ａ）において、視線検知部２４は、赤外光を放射する発光ダイオード等の光源２４１と、投光レンズ２４２と、受光レンズ２４３と、ＣＣＤ又はＣＭＯＳ等の固体撮像素子などからなる撮像手段としてのイメージセンサ２４４と、視線演算手段２４５とを備えている。

視線検知部２４において、光源２４１より射出した赤外光は投光レンズ２４２を通過後、略平行光となって右眼１００Ｒの角膜を照射する。そして、角膜を通過した赤外光は虹彩を照射する。角膜の表面で拡散反射した赤外光は、受光レンズ２４３を介してイメージセンサ２４４上に導光され、角膜像を結像する。同様に、虹彩の表面で拡散反射した赤外光は、受光レンズ２４３を介してイメージセンサ２４４上に導光され、虹彩像を結像する。イメージセンサ２４４からの出力は、図５（ｂ）に示すように、角膜像が結像された角膜反射像スポット位置が他に比べて著しく電位が高くなる。視線演算手段２４５は、この角膜反射像スポット位置に基づいて、右眼１００Ｒが真っ直ぐ前を向いているときの眼球の中心線からの回転角を算出する。そして、この算出した回転角に基づいて、右眼１００Ｒの視軸を求め、前方視界における利用者の相対的な視線の方向を検知している。

図６は、ユーザインターフェース装置１を用いた文字列入力の様子を示す説明図である。図６において、例えば、５０音のひらがなが一覧表示されたひらがな文字盤３０と、ユーザインターフェース装置１と近距離無線又は有線により通信可能な通信端末装置としての携帯電話機等の携帯通信端末４０を用意しておく。利用者が両眼でひらがな文字盤３０を見て、例えば、「お」の文字を注視することにより、注視対象距離検出部１０が左眼１００Ｌとひらがな文字盤３０の文字「お」までの注視対象距離を測定し、視線検知部２４が視線方向を検知する。制御部１４では、これらの注視対象距離と視線方向とに基づいて、視界同調カメラ９で撮像した外部視界の画像のうちから、利用者が注視している文字にターゲットを絞り特定する。そして、注視対象距離検出部１０又は視線検知部２４が、例えば利用者が素早く２回まばたきをしたことを検知して、ターゲットを絞った文字について画像分析を行い文字認識して利用者が注視した文字を確定する。以下同様にして利用者が順次、「な」→「か」→「が」→「す」→「い」→「た」という文字を注視しつつ素早く２回まばたきしたことを検知して、制御部１４は利用者が注視した文字を確定する。このようにして、利用者は、「おなかがすいた」という文字列を入力することができる。制御部１４は通信部２６を介して、文字列を携帯通信端末４０に送信し、文字列を受信した携帯通信端末４０は「おなかがすいた」という文字列をディスプレイに表示する。このように、ユーザインターフェース装置１を掛けた利用者の眼球の動きと、まばたきの動きとによって、利用者が周囲の人に伝えたいことを携帯通信端末４０に表示することができる。例えば、病気で言葉を発することができず、手や指も自由に動かすことができない人が周囲の家族や看護士に意思表示する場合に有用である。また、ユーザインターフェース装置１で入力した文字列を携帯通信端末４０から所定のメールアドレスに宛ててメール送信することも可能である。

図６の例では、利用者の目の「まばたき」の動きで入力内容を確定しているが、他の動きで入力内容を確定してもよい。例えば、「所定時間以上視点が動かない」や「ウィンク」の動きで入力内容を確定するようにしてもよい。また、加速度センサで検知される利用者の「頭の上下・左右運動」等で入力内容を確定するようにしてもよい。

なお、図６の例において現実の空間に存在する文字盤３０を利用者が見て文字列を入力するのではなく、ユーザインターフェース装置１で文字盤等のソフトキー画像からなる入力用画像（虚像）を表示し、その入力用画像（虚像）を利用者が見ながら文字列を入力するようにしてもよい。すなわち、本実施形態に係るユーザインターフェース装置１において、利用者が見ている前方視界の中に、操作入力対象の各種電子機器の操作入力部の画像、ソフトキー画像及びメニュー画像の少なくとも一つの入力用画像を重ね合わせて表示する入力用画像表示手段を設けてもよい。

また、本実施形態に係るユーザインターフェース装置１において、利用者が見ている前方視界の中に、利用者の注視点を示すマーカとしての視線マーク（視線カーソル）の画像（虚像）を重ね合わせて表示するマーカ画像表示手段を設けてもよい。

上記入力用画像表示手段やマーカ画像表示手段等の画像表示手段における画像表示方式としては、網膜に直接走査するものやコンバイナ光学系を用いたもの等、各種の画像表示方式を用いることができる。

図７（ａ）は、網膜走査型の画像表示方式を採用した場合の構成例を示している。この網膜走査型のユーザインターフェース装置１では、走査用の光学系１２４が右レンズ５Ｒの前方に配設されている。
また、図７（ｂ）は、コンバイナ光学系１２５を用いた画像表示方式を採用した構成例を示している。コンバイナ光学系１２５は、例えば内部に偏光ビームスプリッタと１／４波長板と主反射面とを有する平板状の透明基板で構成され、右レンズ５Ｒの中に埋め込むように設けられる。コンバイナ光学系１２５は、右側のテンプル３Ｒの内側にある光源の画像表示面から出射した表示光束を使用者の眼の方向に導くように構成されている。

図８は、網膜走査型の画像表示方式を採用した画像表示手段を備えたユーザインターフェース装置１の一構成例を示す機能ブロック図であり、図９は同画像表示手段の一構成例を示す概略構成図である。なお、図８に示す構成のうち、図２の構成と共通する部分については、説明を省略する。

図８において、ユーザインターフェース装置１は、画像表示手段としての画像生成部１１、画像表示部１２、表示制御部１３及び姿勢変化検出部２８を更に備えている。画像生成部１１は、制御部１４から受信した画像信号に基づいて表示用の画像信号を生成し、画像表示部１２は、利用者が見ている前方視界の中に、利用者の注視点を示す視線マークの画像を重ね合わせて表示する。

表示制御部１３は、視界同調カメラ９で撮像された視界の画像情報、視線検知部２４で検出された視線方向の検出結果、並びに姿勢変化検出部２８の検出結果の少なくとも一つに基づいて、視界における注視対象の位置と関連情報の表示位置とが所定の位置関係になるように関連情報の表示位置を制御する。
また、表示制御部１３は、前方視界における注視対象の位置と関連情報の表示位置とのずれが所定範囲よりも大きくなった場合は、関連情報の表示を停止するように制御してもよい。
また、表示制御部１３は、表示する画像の形成位置（焦点位置）を、利用者が注視対象を見ているときの視線が合焦している位置に合わせるように変化させるための像形成位置可変手段（焦点距離調整部）としても機能する。

姿勢変化検出部２８は、例えば１軸、２軸又は３軸の加速度センサで構成され、ユーザインターフェース装置１に作用する加速度を検知することにより、利用者の頭部の姿勢変化に伴うユーザインターフェース装置１の姿勢変化を検出する姿勢変化検出手段として機能する。姿勢変化検出部２８を構成する加速度センサは、重力方向を検知可能なもの（絶対加速度を検知可能なもの）を用いてもよい。姿勢変化検出部２８は、例えば、所定のタイミングに検出したユーザインターフェース装置１の姿勢を基準姿勢とし、その利用者の頭部の基準姿勢からの姿勢変化（例えば、基準姿勢からのロール角、ピッチ角及びヨー角それぞれの角度変化分の値、又は、ユーザインターフェース装置１の姿勢変化に起因して発生した加速度の値）を、検出結果として出力する。上記基準姿勢の検出タイミングは、例えば、ユーザインターフェース装置１の利用を開始したタイミングや所定操作を行ったタイミングでもよいし、利用者が注視している注視対象を特定したタイミングであってもよい。
なお、姿勢変化検出部２８は、加速度センサとともに又は加速度センサに代えて地磁気センサを備え、ユーザインターフェース装置１に定義された座標を基準にして地磁気センサで検出される方位情報に基づいてユーザインターフェース装置１の姿勢変化を検出するように構成してもよい。

また、姿勢変化検出部２８によって検出されたユーザインターフェース装置の姿勢変化の検出結果は、視界内において利用者が注視している注視対象を特定するときに、例えば次の（１）〜（３）を含む様々な制御に用いることができる。

（１）利用者の頭部及び視線のぶれ防止制御：
利用者が注視しようとしている注視対象が同じであるにもかかわらず、何らかの理由により、ユーザインターフェース装置１を装着している利用者の頭部に振動やふらつき等のぶれが発生する場合がある。利用者の頭部にぶれが発生すると、その頭部に装着したユーザインターフェース装置１の視界同調カメラ９で撮像される視界の画像における視線方向もぶれてしまうため、その撮像画像や視線方向に基づいて特定する利用者の注視対象の特定精度が低下するおそれがある。そこで、姿勢変化検出部２８によって検出されたユーザインターフェース装置１の姿勢変化の検出結果に基づいて、視界同調カメラ９で撮像される視界の画像における視線方向を補正する制御を行うことにより、注視対象の特定精度を向上させることができる。

（２）注視対象の特定処理の軽減制御：
視界同調カメラ９で撮像した視界の画像の撮像及び視線方向の検出結果に基づく注視対象の特定処理を頻繁に実行すると、ユーザインターフェース装置１における処理の負荷が大きくなってしまうおそれがある。そこで、ユーザインターフェース装置１の姿勢が大きく変化したときに、そのユーザインターフェース装置１を装着した利用者が注視している注視対象が変わった可能性が高い点に着目し、ユーザインターフェース装置１の姿勢変化の検出結果（姿勢変化量）が、予め設定した閾値の範囲よりも大きくなったときに、視界同調カメラ９による視界の画像の撮像処理及び視線方向の検出処理を行うとともに、それらの視界の画像及び視線方向の検出結果に基づく注視対象の特定処理を行うように制御する。これにより、ユーザインターフェース装置１における処理の負荷の増大を回避しつつ、利用者の注視対象を特定できるようになる。

（３）注視対象の特定処理の補完制御：
視界同調カメラ９による視界の画像の撮像処理や視線方向の検出処理が、ユーザインターフェース装置１の姿勢変化（利用者の頭部の姿勢変化）に追従できない場合がある。この場合は、視界の撮像画像や視線方向に基づいて利用者の注視対象をリアルタイムに特定することができなかったり、特定する利用者の注視対象の特定精度が低下したりするおそれがある。そこで、視界同調カメラ９による視界の画像の撮像処理や視線方向の検出処理に必要な処理時間に基づいて、その撮像処理及び視線方向の検出処理を行うインターバルを予め設定しておく。そして、視界の撮像画像や視線方向に基づいて利用者の注視対象を特定した後、その後に到来する次の撮像・視線検出タイミングまでは、ユーザインターフェース装置１の姿勢変化の検出結果に基づいて、直近の撮像済みの視界の画像及び検出済みの視線方向を補完することにより、注視対象を特定するように制御する。この制御により、注視対象の特定精度が低下することなく、利用者の注視対象をリアルタイムに特定することができる。

図９は、網膜走査型の画像表示方式を採用した場合の表示手段（画像生成部及び画像表示部）の一構成例を示す概略構成説明図である。図９において、制御部１４から供給される画像信号を処理するための光源ユニット部１１０が設けられている。光源ユニット部１１０は、制御部１４からの画像信号が入力され、それに基づいて画像を生成するための画像信号を発生する画像信号供給部１１１が設けられ、この画像信号供給部１１１から画像信号１１２、垂直同期信号１１３及び水平同期信号１１４が出力される。また、光源ユニット部１１０には、画像信号供給部１１１から伝達される画像信号１１２をもとに強度変調されたレーザ光を出射する光源としてのレーザ発振部１１５が設けられている。

また、光源ユニット部１１０側から導かれたレーザ光をガルバノミラー１２１ａを利用して垂直方向に走査する走査光学系としての垂直走査系１２１と、垂直走査系１２１によって走査されたレーザ光を後述する水平走査系１２２に導く第１リレー光学系（レンズ群）１２３と、垂直走査系１２１に走査され、第１リレー光学系１２３を介して入射されたレーザ光を、ガルバノミラー１２２ａを利用して水平方向に走査する走査光学系としての水平走査系１２２と、水平走査系１２２によって走査されたレーザ光を利用者の右眼１００Ｒの瞳孔に入射させる第２リレー光学系（レンズ群）１２４とが設けられている。

垂直走査系１２１は、表示すべき画像の１走査線ごとに、レーザビームを垂直方向に垂直走査する垂直走査を行う光学系である。また、垂直走査系１２１は、レーザビームを垂直方向に走査する光学部材としてのガルバノミラー１２１ａと、そのガルバノミラー１２１ａの駆動制御を行う垂直走査制御部１２１ｂとを備えている。

これに対し、水平走査系１２２は、表示すべき画像の１フレームごとに、レーザビームを最初の走査線から最後の走査線に向かって水平に走査する水平走査を行う光学系である。また、水平走査系１２２は、水平走査する光学部材としてのガルバノミラー１２２ａと、そのガルバノミラー１２２ａの駆動制御を行う水平走査制御部１２２ｂとを備えている。

また、垂直走査系１２１、水平走査系１２２は、各々画像信号供給部１１１に接続され、画像信号供給部１１１より出力される垂直同期信号１１３、水平同期信号１１４にそれぞれ同期してレーザ光を走査するように構成されている。

上記構成の走査光学系によって利用者の網膜上に画像を表示する処理は、例えば次のように行われる。図９に示すように、光源ユニット部１１０に設けられた画像信号供給部１１１が制御部１４からの画像信号の供給を受けると、画像信号供給部１１１は、例えば白色レーザ光を出力させるための画像信号１１２と、垂直同期信号１１３と、水平同期信号１１４とを出力する。画像信号１１２に基づいて、レーザ発振器１１５はそれぞれ強度変調されたレーザ光を発生し、垂直走査系１２１に出力する。垂直走査系１２１のガルバノミラー１２１ａに入射したレーザ光は、垂直同期信号１１３に同期して垂直方向に走査されて第１リレー光学系１２３を介し、水平走査系１２２のガルバノミラー１２２ａに入射する。ガルバノミラー１２２ａは、ガルバノミラー１２１ａが垂直同期信号に同期すると同様に水平同期信号１１４に同期して、入射光を水平方向に反射するように往復振動をしており、このガルバノミラー１２２ａによってレーザ光は水平方向に走査される。垂直走査系１２１及び水平走査系１２２によって垂直方向及び水平方向に２次元に走査されたレーザ光は、第２リレー光学系１２４に導かれる。第２リレー光学系１２４は、図９に示すように、右側のメガネレンズ５Ｒの前方に設けられており、この第２リレー光学系１２４で略直角に屈折したレーザ光は、利用者の右眼眼球へ入射され、網膜上に投影される。利用者はこのように２次元走査されて網膜上に投影されたレーザ光による画像を認識することができる。なお、第２リレー光学系１２４はハーフミラーにより構成されているので、利用者の右眼の視界を妨げないようになっている。

図１０は、利用者がユーザインターフェース装置１を掛け、壁に貼られた５０音のひらがなの一覧であるひらがな文字盤３０を見ている状態で、外部視界に視線マーク等の画像を重ね合わせて表示したときの説明図である。ユーザインターフェース装置１の画像生成部１１及び画像表示部１２により、利用者の注視点を示すマーカとしての視線マーク９０１の画像が表示される。この視線マーク９０１は、利用者の右眼の視線方向に伴って移動し、利用者が注視している文字に照準が合うようになっているので、利用者は注視する文字を容易に確認できる。また、ユーザインターフェース装置１を通して見える前方視界の下部に、文字入力機能を開始するための機能開始キーとしての入力開始キー９０２、入力した文字を漢字やカタカナに変換する変換キー９０３、入力した文字列を携帯通信端末４０に送信して表示させるための送信キー９０４、表示モードを切り替える表示モード切替キー９０５等のソフトキーを表示させてもよい。さらに、前方視界の上部に、携帯通信端末４０に送信される前の入力確定対象としての入力文字列９０６を表示させてもよい。この入力文字列９０６の表示欄は、入力内容を利用者に通知する通知手段として機能する。

なお、図１０に示した例では、壁に貼られたひらがな文字盤３０を用いて文字入力を行っているが、５０音のひらがなの一覧をソフトキーとして利用者が見えるように表示してもよい。また、ひらがなの一覧のみのソフトキーのほか、ひらがなの一覧、カタカナの一覧、アルファベットの一覧及び数字の一覧の少なくとも一つの一覧を含む複数のソフトキーであってもよい。
また、利用者の注視しているひらがな文字盤３０の位置に、上記視線マーク９０１や各種ソフトキー９０２〜９０５の画像が見えるように、網膜に画像を投影するときの焦点距離を調整して前方視界の中に重ね合わせて表示する画像の形成位置を制御してもよい。

図１１は、利用者の視界に画像を重ね合わせて表示可能な表示手段を備えたユーザインターフェース装置１を用いて文字列を入力するときの動作の一例を説明するためのシーケンス図である。まず、ユーザインターフェース装置１の電源をＯＮにして、図１０に示す視線マーク９０１や各ソフトキーを利用者が見えるように表示する（ステップ１,２）。利用者が入力開始キー９０２に視線マーク９０１を合わせ、眼の所定の入力確定動作として、素早く２回まばたきする（ステップ３）。これにより、ユーザインターフェース装置１では入力機能がスタートする（ステップ４）。そして、利用者はひらがな文字盤３０の文字の１つに視線マーク９０１を合わせる（ステップ５）。視界同調カメラ９は視線マーク９０１の合っている文字を特定する（ステップ６）。利用者は上記文字に視線マーク９０１を合わせた状態で素早く２回まばたきする（ステップ７）。ユーザインターフェース装置１は視線マーク９０１で特定された文字の画像を制御部１４で分析して文字認識を行い確定する（ステップ８）。確定した文字を表示する（ステップ９）。以降、利用者は文字入力を繰り返し、ユーザインターフェース装置１では文字の確定及び表示を繰り返す（ステップ１０,１１）。そして、利用者は文字入力を完了すると（ステップ１２）、送信キー９０４に視線マーク９０１を合わせて素早く２回まばたきする（ステップ１３）。これを受けてユーザインターフェース装置１は入力された文字列のデータを携帯通信端末４０に送信する（ステップ１４）。文字列のデータを受信した携帯通信端末４０は、ディスプレイに文字列を表示する（ステップ１５）。

なお、本実施形態のユーザインターフェース装置１は、近距離通信手段により有線又は無線で近くの携帯通信端末４０と通信しているが、ユーザインターフェース装置１の本体にネットワーク通信手段を設け、ネットワークを介して別の場所にある携帯通信端末４０やパソコン等に文字情報や画像情報を送信することもできる。これにより、例えば、在宅の高齢者が、医療機関や介護機関に自分の意思を伝えたり、周囲の状況を撮影して送信したりすることが可能となる。

また、利用者の前方視界の中に各種情報を重ね合わせて表示可能な上記表示手段を備えた眼鏡型のユーザインターフェース装置１は、テレビ電話やテレビ会議の端末装置として用いることもできる。

テレビ電話の眼鏡型の端末装置として用いる場合、ユーザインターフェース装置１は、例えば、スピーカーやイヤホン等の音出力部と、マイク等の音声入力部と、移動体通信ネットワークを介して通信するための無線通信部と、テレビ電話で用いる別体のカメラと通信するための近距離通信部と、を更に備える。利用者はユーザインターフェース装置１を頭部に装着し、別体のカメラに対向した姿勢をとる。ユーザインターフェース装置１の電源をオンにし、前方視界の中に重ね合わせて表示されたメインメニューから「テレビ電話」のボタンを注視して選択すると、テレビ電話の相手を指定するためのアドレス帳の画像が前方視界に表示される。アドレス帳からテレビ電話の相手を指定し、前方視界の一部に表示されたソフトキー欄にある「テレビ電話をかける」ボタンを注視して選択すると、ユーザインターフェース装置１は上記指定したテレビ電話の相手を発呼する。相手が出ると、利用者の前方視界の中に相手の画像が重ね合わせて表示され、その状態で、相手と会話することができる。テレビ電話の会話を終わる時は、前方視界の一部に表示されたソフトキー欄にある「テレビ電話をきる」ボタンを注視して選択する。以上のように、手操作を行うことなく、テレビ電話を利用することができる。

また、テレビ会議の眼鏡型の端末装置として用いる場合、ユーザインターフェース装置１は、例えば、スピーカーやイヤホン等の音出力部と、マイク等の音声入力部と、移動体通信ネットワークを介して通信するための無線通信部と、を更に備える。利用者の画像を表示する場合は、テレビ電話で用いる別体のカメラと通信するための近距離通信部を更に備える。利用者はユーザインターフェース装置１を頭部に装着し、ユーザインターフェース装置１の電源をオンにし、前方視界の中に重ね合わせて表示されたメインメニューから「テレビ会議」のボタンを注視して選択すると、所定のテレビ会議用サーバにアクセスするとともに、仮想のテレビ会議室の画像が前方視界に表示される。テレビ会議室の画像には、参加者の顔画像又は参加者に対して設定されたアバター画像が表示される。テレビ会議で参加者が発言すると、その音声がテレビ会議用サーバを介して参加者全員のユーザインターフェース装置１に送信される。テレビ会議で必要な会議資料を閲覧するときは、前方視界の一部に表示されたソフトキー欄にある「資料閲覧」ボタンを注視して選択する。ユーザインターフェース装置１は、テレビ会議用サーバに予めアップロードされていた会議資料のファイルをダウンロードし、その会議資料の画像を、利用者の前方視界のテレビ会議室の画像に重ね合わせて表示する。これにより、利用者は、仮想のテレビ会議室の画面上で会議資料を閲覧することができる。以上のように、手操作を行うことなく、テレビ会議を利用することができる。

なお、上記仮想のテレビ会議室を表示する代わりに、離れた場所にある相手側の部屋（例えば会議室）を撮影した画像を表示してもよい。利用者自身がいる部屋（例えば会議室）の画像は、その部屋に予め設置しているカメラで撮像した画像を、テレビ会議用サーバを介して相手側のユーザインターフェース装置１に対して送信する。ユーザインターフェース装置１は、前方視界の中に、相手側の画像と自分側の画像を一緒に表示するようにしてもよい。

なお、本実施形態に係る眼鏡型のユーザインターフェース装置１において、利用者が注視している注視対象の機器（例えば、テレビ等の家電機器）の操作メニューを表示し、その操作メニューに基づいて、手操作を行うことなく機器の操作を行うようにしてもよい。

図１２は、ユーザインターフェース装置１で注視対象の家電機器（テレビ）の操作メニューの画像を視界に表示している状態を示している説明図である。また、図１３は、ユーザインターフェース装置１で注視対象の家電機器（テレビ）の操作メニューを表示する処理を説明するためのシーケンス図である。なお、図１３の例では、ユーザインターフェース装置１で操作メニューの画像を表示するための操作フロー情報を、注視対象のテレビ９０３に備えられている記憶媒体としてのＲＦＩＤ（Radio Frequency IDentification）タグ（以下「ＲＦタグ」という。）９１３Ｔから、近距離無線通信により受信している。

なお、テレビ９１３等の注視対象に備えられているＲＦタグ等の記憶媒体から取得する情報は、注視対象の特定や関連情報の検索に使用可能な情報（例えば、名称、識別情報、種別情報等の情報）であってもよい。このような情報を注視対象から近距離通信により受信して取得した場合には、取得した情報を上記サーバに送信してもよい。この注視対象の特定や関連情報の検索に使用可能な情報は、上記注視対象の画像情報、注視対象の特徴抽出情報及び姿勢変化の検出結果の情報のいずれかとともに通信ネットワーク上のサーバに送信してもよいし、又は、それらの情報に代えて上記サーバに送信してもよい。上記ＲＦタグから取得した注視対象の特定や関連情報の検索に使用可能な情報を用いることにより、注視対象の特定や関連情報の検索の精度が向上する。なお、テレビ９１３等の注視対象に備えられている記憶媒体は、ユーザインターフェース装置１と無線通信する機能と情報を記憶する機能とを有していればよく、ＲＦタグに限定されるものではない。また、注視対象がＲＦタグ以外の記憶媒体を備えている場合、ユーザインターフェース装置１が注視対象に備えられた記憶媒体から情報を受信するときの通信には、例えばBluetooth（登録商標）や赤外線等の近距離無線通信を用いることができる。

図１３において、まず、ユーザインターフェース装置１の電源をＯＮにして、図１２に示す視線マーク９１１を利用者が見えるように表示する（ステップ１,２）。利用者が視界の中で注視対象の機器として例えばテレビ９１３を注視すると（ステップ３）、ユーザインターフェース装置１は、利用者の注視対象としてテレビ９１３を検出する（ステップ４）。次に、ユーザインターフェース装置１は、近距離無線通信により、注視対象のテレビ９１３のＲＦタグ９１３Ｔから、当該テレビの操作フロー情報を受信し（ステップ５）、図１２に示すように入力用画像としての操作メニュー９１４の画像を視界に重ね合わせて表示する（ステップ６）。利用者は、ユーザインターフェース装置１で表示された操作メニューの画像９１４にある操作のいずれかを注視して選択し、所定の眼の動作（例えば、ウィンク、上下運動、又は、左右運動）を行う（ステップ７）。ユーザインターフェース装置１は、利用者の上記所定の眼の動作に基づいて、選択された操作のコマンド信号を近距離無線通信によりテレビ９１３に送信する（ステップ８）。テレビ９１３は、ユーザインターフェース装置１から受信したコマンド信号に基づいて、利用者が選択した操作に対応した動作（電源のオン／オフ、チャンネル切り替え、音量調整）を実行する（ステップ９）。これにより、利用者は、テレビ９１３をハンズフリーで操作することができる。

なお、近距離無線通信により複数の操作フローを受信した場合は、注視対象特定手段で注視対象を特定して取得された関連情報とのマッチングにより、操作対象を特定してもよい。
また、近距離無線通信により複数の操作フローを受信した場合は、受信した操作フローをリスト表示し、当該リストのうち、利用者が注視した操作フローを特定し、操作指示表示に遷るようにしてもよい。
また、ＲＦタグから操作フローを受信する方法の他に、注視対象特定手段で特定された注視対象の機器から、Bluetooth(登録商標)による通信や赤外線通信等を介して操作フローを受信できるようにしてもよい。

また、図１２において、眼鏡型のユーザインターフェース装置１を装着した利用者が、視界の中にある他の機器（例えば、テレビ録画装置９１５、オーディオ装置９１６、スピーカ装置９１７Ｒ，９１７Ｌ、照明装置９１８，９１９）を注視すると、図１３と同様な処理により、その注視対象の機器の操作メニューの画像が表示される。そして、上記テレビ９１３の場合と同様に、利用者は、操作メニューの画像のいずれかの操作を注視して選択し、所定の眼の動作で眼を動かすことにより、テレビ録画装置９１５、オーディオ装置９１６、スピーカ装置９１７Ｒ，９１７Ｌ及び照明装置９１８，９１９をハンズフリーで操作することもできる。

例えば、ユーザインターフェース装置１を装着した利用者が、スピーカ装置９１７Ｒ，９１７Ｌのいずれか（例えば、スピーカ装置９１７Ｒ）を注視すると、図１４（ａ）に示すように、そのスピーカ装置の実像の横に、注視対象のスピーカの音量を操作するための入力用画像としての音量調整バー画像９２０が視界に重ね合わせて表示される。この音量調整バー画像９２０の画像データは、例えばスピーカ装置９１７Ｒに組み込まれたＲＦタグから受信して取得することができる。また、図中の音量調整バー画像９２０上に表示されている黒丸「●」は、現在の音量レベルを示す参照用のインジケータである。

次に、利用者がスピーカ装置９１７Ｒを注視した状態で眼を例えば下方に移動させると、ユーザインターフェース装置１は、利用者の眼の下方移動を検出し、音量を下げる操作が入力されたと判断する。この判断に基づき、ユーザインターフェース装置１は、音量を下げるための操作のコマンド信号を、スピーカ装置９１７Ｒ，９１７Ｌ、又は各スピーカ装置に接続されているオーディオ装置９１６等に送信することにより、各スピーカ装置から出力される音量を下げる。更に、ユーザインターフェース装置１は、視界に表示している音量調整バー画像９２０を、図１４（ｂ）に示すように音量レベルのインジケータを下げた画像に変更する。

また、上記図１２〜１４の例では、ユーザインターフェース装置１によって、利用者の目の前の現実空間に存在しているテレビ等の電子機器を操作するための操作メニュー画像（虚像）を表示しているが、利用者の目の前の現実空間に存在しない遠隔地の電子機器の操作入力部の画像（虚像）を仮想的に表示してもよい。利用者は、ユーザインターフェース装置１によって目の前の視界の中に表示された電子機器の操作入力部の画像（虚像）を注視することにより、遠隔地にある電子機器に対して情報を入力したり操作したりすることができる。利用者がユーザインターフェース装置１を用いて入力した入力内容のデータ（例えば、操作のコマンド信号）は通信ネットワーク介して遠隔地にある電子機器に送信される。

また、上記各実施形態では、利用者の眼を所定動作によって情報又は操作指示の入力内容を特定したり、その入力内容を操作対象の電子機器に送信したりする場合について説明したが、入力内容の特定や送信は、利用者の音声に基づいて行ってもよい。利用者の音声入力は、例えば、ユーザインターフェース装置１に取り付けたマイクを用いて行うことができる。

また、上記実施形態では、利用者の頭部に装着して使用する眼鏡型のユーザインターフェース装置について説明したが、ユーザインターフェース装置を用いずに、入力操作対象の携帯通信端末等の電子機器で利用者の眼球を撮像し、利用者が電子機器の操作入力部を注視して入力するような構成であってもよい。

図１５は、他の実施形態に係る電子機器としての携帯通信端末５０の一構成例を示す正面図である。また、図１６は、携帯通信端末５０の一構成例を示す機能ブロック図である。
図１５に示すように、携帯通信端末５０は、利用者の眼を撮像可能な利用者撮像手段としての距離検知部５１及び視線検知部５２と、表示部５３と、入力姿勢状態表示部５４と、操作入力部５５と、電源スイッチ５６とを備えている。さらに、図１６に示すように、携帯通信端末５０は、制御部５７、メモリ５８、バッテリ５９及び移動体通信ネットワークを介して通信するための無線通信部６０、姿勢変化検出部６１等を備えている。

図１７（ａ）は利用者撮像手段を構成する距離検知部５１の一構成例を示す概略構成図であり、図１７（ｂ）は利用者撮像手段を構成する視線検知部５２の一構成例を示す概略構成図である。距離検知部５１は、図１７（ａ）に示すように、例えば、赤外光を放射する発光ダイオード等の光源５１１、偏光フィルタ５１２、ハーフミラー５１３、レンズ５１４、ＣＣＤ又はＣＭＯＳ等の固体撮像素子等からなる撮像手段としてのイメージセンサ５１５、及び、焦点距離演算手段５１６を用いて構成されている。

偏光フィルタ５１２は、光源５１１から照射された赤外光を格子状の縞模様に偏光フィルタリングする偏光フィルタである。この格子状の縞模様は、格子を形成する複数本の縦線及び横線の線間隔が同一であり、この線間隔が水晶体の直径よりも十分に狭い間隔（例えば、直径の数分の１〜数十分の１の間隔）である。

光源５１１から照射された赤外光は、偏光フィルタ５１２により格子状の縞模様に偏光フィルタリングされた後、レンズ５１４を通過後、格子縞の赤外光となって利用者の左眼１００Ｌの眼球の水晶体を含む領域を照射する。水晶体にて反射した赤外光はレンズ５１４で受光され、ハーフミラー５１３で屈折されてイメージセンサ５１５上に縞模様の画像を結像する。イメージセンサ５１５では、一定時間毎（例えば、１／３０秒毎）に、画像を画像信号として焦点距離演算手段５１６に送信する。

焦点距離算出手段５１６は、前述の図３（ｂ）を用いて説明した方法と同様の方法で水晶体の厚さを算出し、この水晶体の厚さに基づいてレンズ５１４と左眼１００Ｌとの距離を算出する。

一方、視線検知部５２は、図１７（ｂ）に示すように、例えば、赤外光を放射する発光ダイオード等の光源５２１、ハーフミラー５２２、レンズ５２３、ＣＣＤ又はＣＭＯＳ等の固体撮像素子等からなる撮像手段としてのイメージセンサ５２４、及び、視線演算手段５２５を用いて構成されている。

光源５２１より射出した赤外光はハーフミラー５２２を介してレンズ５２３を通過後、略平行光となって利用者の右眼１００Ｒの角膜を照射する。そして、角膜を通過した赤外光は虹彩を照射する。角膜の表面で拡散反射した赤外光は、レンズ５２３で受光されハーフミラー５２２で屈折してイメージセンサ５２４上に導光され、角膜像を結像する。同様に、虹彩の表面で拡散反射した赤外光は、レンズ５２３で受光されハーフミラー５２２で屈折してイメージセンサ５２４上に導光され、虹彩像を結像する。イメージセンサ５２５からの出力は、前記図５（ｂ）に示すように、角膜像が結像された角膜反射像スポット位置が他に比べて著しく電位が高くなる。視線演算手段５２５では、この角膜反射像スポット位置に基づいて、右眼１００Ｒが真っ直ぐ前を向いているときの眼球の中心線からの回転角を算出する。この回転角に基づいて右眼１００Ｒの視軸を求め、利用者の視線の方向を検知している。

距離検知部５１で利用者の左眼１００Ｌとの距離を算出したり、視線検知部５２で利用者の右眼１００Ｒの視線の方向を検知したりする場合には、それぞれのレンズ５１４，５２３から照射される光の光軸と、利用者の眼の視軸とのズレが所定のズレ量の範囲内に収まっていないと、距離や視線方向の検知を正確に行うことができない。そこで、図１５〜図１７に示す情報通信端末５０は、利用者による入力開始時からの情報通信端末５０の姿勢の変化を検出する姿勢変化検出部６１と、入力姿勢状態を表示するための入力姿勢状態表示部５４とを備えている。姿勢変化検出部６１は、利用者による入力開始時における情報通信端末５０の姿勢を、利用者による入力ができるように利用者に正対した適正な基準姿勢とし、その基準姿勢からの変化を出力することができる。入力姿勢状態表示部５４は、姿勢変化検出部６１の姿勢変化の検知結果に基づいて、基準姿勢からのずれの状態を表示する。利用者は、入力姿勢状態表示部５４の表示を見て情報通信端末５０を入力適正な姿勢に維持することができる。

姿勢変化検出部６１は、前述の姿勢変化検出部２８と同様に、例えば１軸、２軸又は３軸の加速度センサや地磁気センサで構成することができる。

図１８は、入力姿勢状態表示部５４の動作説明図である。図１８（ａ）は右側に傾いた情報通信端末５０の説明図であり、図１８（ｂ）はその情報通信端末５０の姿勢を矯正した説明図である。
図１８（ａ）に示すように、入力姿勢状態表示部５４は例えばマルチファンクションキーに複数のＬＥＤを埋め込んだものであり、中央部には正常姿勢であることを示す青色ＬＥＤ５４０が配設され、この青色ＬＥＤ５４０の周囲には異常姿勢であることを示す８個の赤色ＬＥＤ５４１が配設されている。これらの青色ＬＥＤ５４０及び赤色ＬＥＤ５４１それぞれの点灯は、姿勢変化検出部６１の姿勢変化の検知結果に基づいて制御される。

図１８（ａ）に示す状態では、最も左側の赤色ＬＥＤ５４１が点灯しており、情報通信端末５０の本体が右側に傾いていることを示している。この状態では距離検知部５１及び視線検知部５２が正常に動作しない。このため、利用者は、図１８（ｂ）に示すように、中央の青色ＬＥＤ５４０が点灯するまで本体を左に傾けて姿勢を矯正する。青色ＬＥＤ５４０が点灯した状態では、距離検知部５１及び視線検知部５２が正常に動作する。このように赤色ＬＥＤ５４１が点灯している方向に本体を傾けて青色ＬＥＤ５４０を点灯させることにより姿勢を矯正し、距離検知部５１及び視線検知部５２での正確な検知が可能となる。つまり、利用者は青色ＬＥＤ５４０が点灯していることを確認しながら眼による入力指定動作及び入力確定動作を行う。

携帯通信端末５０のメモリ５８には、操作入力部５５のレイアウト情報が記憶されており、制御部１４では、このレイアウト情報と、上記距離検知部５１からの距離情報と、上記視線検知部５２からの視線情報とに基づいて、利用者の眼の視線が操作入力部５５のどのキーを注視しているのかを特定し、例えば利用者が素早く２回まばたきしたことを検知してキーを確定する。ここで、前述の図１５に示すように、制御部１４で入力が確定したキーについて表示部５３に入力確定キー５３１として表示してもよい。

以上、本実施形態によれば、利用者は、入力対象の情報又は操作指示の入力内容を指定するための手操作を行う必要がなく、その特定された情報又は操作指示の入力内容を確定するための手操作も行う必要がない。よって、各種データ等の情報や操作指示の入力内容を指定する手操作だけでなく、その入力内容を確定する手操作も不要になる利便性に優れたユーザインターフェース装置及び携帯通信端末等の電子機器を提供することができる。

１ ユーザインターフェース装置
２ リム
５Ｒ,５Ｌ メガネレンズ
８ 電源スイッチ
９ 視界同調カメラ
１０ 注視対象距離検出部
１１ 画像生成部
１２ 画像表示部
１４ 制御部
１５ メモリ
２４ 視線検知部
２８ 姿勢変化検出部
３０ ひらがな文字盤
４０ 携帯通信端末
５０ 電子機器（携帯通信端末）
５１ 距離検知部
５２ 視線検知部
５４ 入力姿勢状態表示部
５７ 制御部
６１ 姿勢変化検出部
１０３，２４２ 投光レンズ
１０４，２４３ 受光レンズ

特開平６−２４２８８３号公報

Claims (8)

1. 情報又は操作指示を入力可能なユーザインターフェース装置であって、
   利用者の眼を撮像する利用者撮像手段と、
   前記利用者撮像手段で撮像された前記利用者の眼の画像情報に基づいて、前記利用者が注視している注視対象を検出する注視対象検出手段と、
   前記注視対象検出手段で検出した注視対象に関連付けられた情報又は操作指示の入力内容を特定する入力内容特定手段と、
   前記入力内容特定手段で特定した前記入力内容を電子機器に送信する入力内容送信手段と、
   を備えたことを特徴とするユーザインターフェース装置。
2. 請求項１のユーザインターフェース装置において、
   利用者が見ている視界を撮像する視界撮像手段を更に備え、
   前記注視対象は、前記視界の中の現実空間に存在する前記電子機器の操作入力部であり、
   前記注視対象検出手段は、前記視界撮像手段で撮像された前記視界の画像情報と、前記利用者撮像手段で撮像された前記利用者の眼の画像情報とに基づいて、前記注視対象を検出することを特徴とするユーザインターフェース装置。
3. 請求項１のユーザインターフェース装置において、
   利用者が見ている視界の中に、前記電子機器の操作入力部の画像、ソフトキー画像及びメニュー画像の少なくとも一つの入力用画像を重ね合わせて表示する入力用画像表示手段を、更に備え、
   前記注視対象検出手段は、前記入力用画像表示手段で表示している前記入力用画像の画像情報と、前記利用者撮像手段で撮像された前記利用者の眼の画像情報とに基づいて、前記注視対象を検出することを特徴とするユーザインターフェース装置。
4. 請求項３のユーザインターフェース装置において、
   近距離無線通信により、前記電子機器内の記憶媒体に保存されている前記入力用画像の画像情報を受信して取得する入力用画像取得手段を、更に備えたことを特徴とするユーザインターフェース装置。
5. 請求項１乃至４のいずれかのユーザインターフェース装置において、
   前記利用者撮像手段で撮像された前記利用者の眼の画像情報に基づいて、前記利用者が見ている視界の中に、前記利用者が注視している注視点を示すマーカの画像を重ね合わせて表示するマーカ画像表示手段を、更に備えたことを特徴とするユーザインターフェース装置。
6. 請求項１乃至５のいずれかのユーザインターフェース装置において、
   前記入力内容送信手段は、前記利用者撮像手段で撮像された前記利用者の眼の画像情報に基づいて、前記利用者の眼が所定動作をしたと判断したときに、前記入力内容を送信することを特徴とするユーザインターフェース装置。
7. 請求項１乃至５のいずれかのユーザインターフェース装置において、
   利用者の音声を入力するための音声入力手段を、更に備え、
   前記入力内容送信手段は、前記音声入力手段で所定音声が入力されたときに、前記入力内容を送信することを特徴とするユーザインターフェース装置。
8. 操作入力部を有する電子機器であって、
   前記操作入力部を見ている利用者の眼を撮像する利用者撮像手段と、
   前記操作入力部のレイアウト情報と、前記利用者撮像手段で撮像された前記利用者の眼の画像情報とに基づいて、前記操作入力部において前記利用者が注視している注視対象を検出する注視対象検出手段と、
   前記注視対象検出手段で検出した注視対象に関連付けられた情報又は操作指示の入力内容を特定する入力内容特定手段と、
   を備えたことを特徴とする電子機器。

Images