JP2014092940A - 画像表示装置及び画像表示方法、並びにコンピューター・プログラム - Google Patents

Abstract

【課題】頭部又は顔部に装着したユーザーの認証処理を、より簡易で安価な手段を用いて実現する。
【解決手段】動作入力部６０１は、ユーザーの顔側に向けられた内側カメラや、装着したユーザーの頭部又は顔部に接触して筋電位や眼電位を検出する筋電センサー、眼電センサーを用いて、ユーザーの注視位置や注視点の移動を検出する。ユーザー判別・認証部６０２は、ユーザーの注視位置や注視点の移動からなる動作パターンを用い、あらかじめ保持されている注視位置や注視点の移動パターンとの一致度に基づいて、ユーザーの判別や認証処理を行なうことができる。
【選択図】 図１０Ｂ

Description

本明細書で開示する技術は、ユーザーが頭部又は顔部に装着して画像の視聴に利用される画像表示装置及び画像表示方法、並びにコンピューター・プログラムに係り、特に、当該装置の頭部又は顔部に装着したユーザーの認証などを行なう画像表示装置及び画像表示方法、並びにコンピューター・プログラムに関する。

頭部に装着して画像の視聴に利用される頭部装着型の画像表示装置、すなわち、ヘッド・マウント・ディスプレイが知られている。頭部装着型画像表示装置は、例えば左右の眼毎の画像表示部を持ち、また、ヘッドフォンと併用することで、視覚及び聴覚を制御できるように構成されている。また、頭部装着型画像表示装置は、左右の眼に違う画像を映し出すことも可能であり、左右の眼に視差のある画像を表示すれば３次元画像を提示することができる。

頭部装着型画像表示装置を、遮光性のタイプと透過性のタイプに分類することもできる。遮光性の頭部装着型画像表示装置は、頭部に装着した際に、ユーザーの眼を直接覆うように構成され、画像視聴時に没入感が増す。一方、透過性の頭部装着型画像表示装置の場合、ユーザーが頭部に装着して画像を表示している間も、画像越しに現実世界の風景を眺める（すなわち、シースルーする）ことができる。したがって、現実世界の風景に仮想的な表示画像を重ね合わせて見せることができる。

今後、頭部装着型画像表示装置は、スマートフォンなどの多機能端末機能を搭載したり、拡張現実感などに関連するさまざまなアプリケーションを導入したりしていくことが期待される。ところが、頭部装着型画像表示装置が、コンテンツ視聴以外にも大きな付加価値を付け、ユーザーが生活の中で常用する目的を有していくと、機密情報など各種情報を格納するようになる。このため、頭部装着型画像表示装置の使用開始時にユーザーの真正性をチェックするなど、機密管理が重要になってくる。

情報処理分野では、ユーザーのパスワード入力による認証方法が広く利用されている。しかしながら、ユーザーの頭部又は顔部に装着して用いられる画像表示装置の場合、キーボードなどパスワードを入力するためのデバイスを装置本体に装備するのが困難である。また、装置を装着中のユーザーは、ほぼ目隠し状態でキー入力操作を行なわなければならないという問題もある。

例えば、情報端末装置本体の操作が開始されると、ヘッド・マウント・ディスプレイに設けられた検出装置によりユーザー個人の眼球内の網膜や虹彩などの生物学的特徴情報を読み出してユーザーの認証を行ない、ユーザー認証が確立した以降は、ユーザーがヘッド・マウント・ディスプレイを外さない限り、ユーザー認証を逐次行なうことなく、ユーザーの権限に応じて情報端末装置の操作を許容しヘッド・マウント・ディスプレイに所望の情報を表示する情報端末システムについて提案がなされている（例えば、特許文献１を参照のこと）。

また、映像表示装置を装着したユーザーの虹彩、網膜又は顔の情報である生体情報を取得し、生体情報に基づいてユーザーが本人であるか否かの認証を行なう映像表示システムについて提案がなされている（例えば、特許文献２を参照のこと）。

網膜や虹彩などの生物学的特徴情報に基づいて個人認証を行なう技術自体は既に確立され、さまざまな産業分野で広く利用されている。しかしながら、ユーザーから網膜や虹彩などの生物学的特徴情報を読み出すには高価な専用のデバイスが必要である。ユーザーが生活の中で常用することを目的とする情報機器にこの種の認証用デバイスを搭載するには、コスト面でのデメリットが多い。また、網膜や虹彩などを読み取るデバイスは、認証以外の用途がほとんど見当たらず、一旦認証が確立した後、日常的なアプリケーションの実行に活用されることは皆無であろう。

本明細書で開示する技術の目的は、ユーザーが頭部又は顔部に装着して画像の視聴に利用される、優れた画像表示装置及び画像表示方法、並びにコンピューター・プログラムを提供することにある。

本明細書で開示する技術のさらなる目的は、頭部又は顔部に装着したユーザーの認証を好適に行なうことができる、優れた画像表示装置及び画像表示方法、並びにコンピューター・プログラムを提供することにある。

本願は、上記課題を参酌してなされたものであり、請求項１に記載の技術は、ユーザーの頭部又は顔部に装着して用いられる画像表示装置であって、
前記ユーザー側から見える内側画像を表示する表示部と、
前記ユーザーから判定パターンを入力する入力部と、
前記判定パターンを判定する判定部と、
前記判定部による判定結果に基づいて前記画像表示装置を制御する制御部と、
を具備する画像表示装置である。

本願の請求項２に記載の技術によれば、請求項１に記載の画像表示装置の前記判定部は、前記ユーザーの真正性を判定し、前記制御部は、前記ユーザーが真正か否かに基づいて、前記画像表示装置上で所定の処理を実行するか否かを決定するように構成されている。

本願の請求項３に記載の技術によれば、請求項１に記載の画像表示装置は、真正なユーザーが前記入力部を介して入力した認証パターンを事前に登録する認証パターン登録部をさらに備えている。そして、前記判定部は、前記ユーザーが前記入力部を介して入力した判定パターンと、前記認証パターン登録部に事前登録した認証パターンとの一致度に基づいて、前記ユーザーの真正性をチェックするように構成されている。

本願の請求項４に記載の技術によれば、請求項１に記載の画像表示装置は、前記ユーザーの視線を検出する視線検出部をさらに備えている。そして、前記入力部は、前記視線検出部から取得される前記ユーザーの注視点位置又は注視点の移動に基づく判定パターンを入力するように構成されている。

本願の請求項５に記載の技術によれば、請求項４に記載の画像表示装置の前記視線検出部は、前記ユーザーの眼を撮影可能な内側カメラ、筋電センサー、眼電センサーのうち少なくとも１つからなる。

本願の請求項６に記載の技術によれば、請求項１に記載の画像表示装置は、前記画像表示装置を装着中の前記ユーザーの頭部又は身体の動きを検出する動き検出部をさらに備えている。そして、前記入力部は、前記動き検出部から取得される前記ユーザーの頭部又は身体の動きに基づく判定パターンを入力するように構成されている。

本願の請求項７に記載の技術によれば、請求項６に記載の画像表示装置の前記動き検出部は、加速度センサー、ジャイロ・センサー、カメラのうち少なくとも１つからなる。

本願の請求項８に記載の技術によれば、請求項１に記載の画像表示装置は、前記ユーザーが発する音声を検出する音声検出部をさらに備えている。そして、前記入力部は、前記音声検出部から取得される音声に基づく判定パターンを入力するように構成されている。

本願の請求項９に記載の技術によれば、請求項１に記載の画像表示装置は、前記ユーザーが発声した際の発話骨伝導信号を検出する骨伝導信号検出部をさらに備えている。そして、前記入力部は、前記骨伝導検出部から取得される発話骨伝導信号に基づく判定パターンを入力するように構成されている。

本願の請求項１０に記載の技術によれば、請求項１に記載の画像表示装置は、前記ユーザーの顔又は顔パーツの形状特徴を検出する特徴検出部をさらに備えている。そして、前記入力部は、前記ユーザーの顔又は顔パーツの形状特徴に基づく判定パターンを入力するように構成されている。

本願の請求項１１に記載の技術によれば、請求項１０に記載の画像表示装置は、前記特徴検出部は、前記ユーザーの目の形状や両目の間隔、鼻の形状、口の形状や口の開閉動作、まつ毛、眉毛、耳たぶのうち少なくとも１つの形状特徴を検出するように構成されている。

本願の請求項１２に記載の技術によれば、請求項１に記載の画像表示装置は、前記ユーザーの瞬目動作を検出する瞬目検出部をさらに備えている。そして、前記入力部は、前記瞬目検出部から取得される前記ユーザーの瞬目に基づく判定パターンを入力するように構成されている。

本願の請求項１３に記載の技術によれば、請求項１２に記載の画像表示装置の前記瞬目検出部は、前記ユーザーの眼を撮影可能な内側カメラ、筋電センサー、眼電センサーのうち少なくとも１つからなる。

本願の請求項１４に記載の技術によれば、請求項１に記載の画像表示装置の前記ユーザーの手、指、又は指紋の形状特徴を検出する特徴検出部をさらに備えている。そして、前記入力部は、前記ユーザーの手、指、又は指紋の形状特徴に基づく判定パターンを入力するように構成されている。

本願の請求項１５に記載の技術によれば、請求項１に記載の画像表示装置は、前記ユーザーが身に付ける認証済みデバイスと人体通信を行なう人体通信部をさらに備えている。そして、前記入力部は、前記人体通信部が前記認証済みデバイスから読み取った情報に基づく判定パターンを入力するように構成されている。

本願の請求項１６に記載の技術によれば、請求項１に記載の画像表示装置は、前記ユーザーが前記入力部を介して判定パターンを入力する動作の案内となる案内情報を前記表示部に表示する案内情報表示部をさらに備えている。

本願の請求項１７に記載の技術によれば、請求項３に記載の画像表示装置は、前記ユーザーが前記認証パターン登録部に認証パターンを事前登録する際に、認証パターンを入力する動作の案内となる案内情報を前記表示部に表示する案内情報表示部をさらに備えている。

本願の請求項１８に記載の技術によれば、請求項１に記載の画像表示装置は、前記ユーザーが前記入力部を介して判定パターンを入力した結果を前記表示部に表示する入力結果表示部をさらに備えている。

また、本願の請求項１９に記載の技術は、ユーザーの頭部又は顔部に装着して用いられる画像表示装置における画像表示方法であって、
前記ユーザーから判定パターンを入力する入力ステップと、
前記判定パターンを判定する判定ステップと、
前記判定ステップにおける判定結果に基づいて前記画像表示装置を制御する制御ステップと、
を有する画像表示方法である。

また、本願の請求項２０に記載の技術は、ユーザーの頭部又は顔部に装着して用いられる画像表示装置の動作をコンピューター上で制御するようにコンピューター可読形式で記述されたコンピューター・プログラムであって、前記コンピューターを、
前記ユーザー側から見える内側画像を表示する表示部、
前記ユーザーから判定パターンを入力する入力部、
前記判定パターンを判定する判定部、
前記判定部による判定結果に基づいて前記画像表示装置を制御する制御部、
として機能させるためのコンピューター・プログラムである。

本願の請求項に係るコンピューター・プログラムは、コンピューター上で所定の処理を実現するようにコンピューター可読形式で記述されたコンピューター・プログラムを定義したものである。換言すれば、本願の請求項２０に係るコンピューター・プログラムをコンピューターにインストールすることによって、コンピューター上では協働的作用が発揮され、本願の請求項１に係る画像表示装置と同様の作用効果を得ることができる。

本明細書で開示する技術によれば、頭部又は顔部に装着したユーザーの認証処理を、より簡易で安価な手段を用いて実現することができる、優れた画像表示装置及び画像表示方法、並びにコンピューター・プログラムを提供することができる。

本明細書で開示する技術によれば、画像表示装置が通常装備するデバイスから入力することが可能なユーザーの判定パターンに基づいて、ユーザー判別・認証処理を簡易且つ安価に行なうことができる。

本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

図１は、透過性の頭部装着型画像表示装置１を装着したユーザーを正面から眺めた様子を示した図である。 図２は、図１に示した画像表示装置１を装着したユーザーを上方から眺めた様子を示した図である。 図３は、遮光性の頭部装着型画像表示装置１を装着したユーザーを正面から眺めた様子を示した図である。 図４は、図３に示した画像表示装置１を装着したユーザーを上方から眺めた様子を示した図である。 図５は、画像表示装置１の内部構成例を示した図である。 図６は、画像表示装置１がユーザーの動作情報に基づいてユーザー判別・認証処理を行なう機能的構成を模式的に示した図である。 図７は、画像表示装置１がユーザーの動作情報に基づいてユーザー判別・認証処理を行なう機能的構成（図６の変形例）を模式的に示した図である。 図８は、ユーザー判別・認証部６０２が扱う判定パターンと、判定パターンの入力に用いる環境センサー若しくは状態センサーの組み合わせの例示した図である。 図９Ａは、ユーザーが注視点の移動からなる判定パターンの入力時に表示する案内情報を例示した図である。 図９Ｂは、図９Ａに示した案内情報の表示画面を介して、ユーザーが視線により暗証番号を入力している様子を示した図である。 図１０Ａは、図９Ａに示した案内情報表示の変形例を示した図である。 図１０Ｂは、図１０Ａに示した案内情報の表示画面を介して、ユーザーが視線により暗証番号を入力している様子を示した図である。 図１０Ｃは、図１０Ａに示した案内情報表示の変形例を示した図である。 図１１Ａは、視線を合わせる目標となる複数の画像オブジェクトを散在させた案内情報を例示した図である。 図１１Ｂは、図１１Ａに示した案内情報の表示画面を介して、ユーザーが視線の移動により所望する注視点の軌跡を描いている様子を示した図である。 図１２は、多数の顔画像をランダムに配置した案内情報の表示例を示した図である。 図１３Ａは、ユーザーが自分の頭部の判定パターンの入力時に表示する案内情報を例示した図である。 図１３Ｂは、図１３Ａに示した案内情報に、検出された頭部の動きの情報を重ね合わせて表示した画面を例示した図である。 図１３Ｃは、図１３Ａに示した案内情報に、検出された頭部の動きの情報を重ね合わせて表示した画面を例示した図である。 図１３Ｄは、図１３Ａに示した案内情報に、検出された頭部の動きの情報を重ね合わせて表示した画面を例示した図である。 図１４Ａは、ユーザーが発する音声や発話骨伝導信号をユーザー判別・認証用の判定パターンとして入力する際に表示する案内情報を例示した図である。 図１４Ｂは、図１３Ａに示した案内情報に、検出された音声情報を表示した画面を例示した図である。 図１５Ａは、ユーザーが行なう瞬目動作をユーザー判別・認証用の判定パターンとして入力する際に表示する案内情報を例示した図である。 図１５Ｂは、図１５Ａに示した案内情報に、検出された瞬目動作のアイコン１５０２を表示した画面を例示した図である。 図１６は、図１１Ａに示した案内情報の表示画面を介して、ユーザーが視線の移動により所望する注視点の軌跡を描くとともに瞬目動作をしている様子を示した図である。 図１７は、ユーザーに認証デバイス（腕時計）の所持を促す案内情報を例示した図である。 図１８は、ユーザーに認証デバイス（指輪）の所持を促す案内情報を例示した図である。 図１９は、ユーザーに認証デバイス（カード）の所持を促す案内情報を例示した図である。 図２０は、ユーザー判別・認証処理に用いる認証パターンを画像表示装置１に事前に登録するための処理手順を示したフローチャートである。 図２１は、画像表示装置１がユーザー判別・認証処理を行なうための処理手順を示したフローチャートである。

以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。

Ａ．装置構成
図１には、透過性すなわちシースルーのタイプの頭部装着型の画像表示装置１を装着したユーザーを正面から眺めた様子を示している。図示の画像表示装置１は、視力矯正用の眼鏡に類似した構造からなる。装置１本体のユーザーの左右の眼に対向する位置には、透明な導光部などからなる虚像光学部が配設され、虚像光学部の内側には、ユーザーが観察する画像が表示される。虚像光学部は、例えば、眼鏡フレーム状の支持体によって支持されている

眼鏡フレーム状の支持体のほぼ中央には、周囲画像（ユーザーの視界）入力用のカメラが設置されている。また、支持体の左右の両端付近にそれぞれマイクロフォンが設置されている。マイクロフォンが２つあることで、中央に定位した音声（ユーザーの声）だけを認識することで、周囲の雑音や他人の話声と分離することができ、例えば音声入力による操作時の誤動作を防止することができる。

図２には、ユーザーが装着した状態の画像表示装置１を上方から眺めた様子を示している。図示のように、画像表示装置１の左右両端には、左眼用及び右眼用の画像をそれぞれ表示出力する表示パネルが配設されている。各表示パネルは、液晶ディスプレイ又は有機ＥＬ素子などのマイクロ・ディスプレイからなる。表示パネルから出力される左右の表示画像は、虚像光学部によって左右それぞれの眼付近まで導光され、その拡大虚像がユーザーの瞳に結像される。

一方、図３には、遮光性のタイプの頭部装着型画像表示装置１を装着したユーザーを正面から眺めた様子を示している。図示の画像表示装置１は、帽子に類似した形状に類似した構造体であり、装着したユーザーの左右の眼を直接覆うように構成されている。装置１本体の内側の左右の眼に対向する位置には、ユーザーが観察する表示パネル（図１では図示しない）が配設されている。表示パネルは、例えば有機ＥＬ素子や液晶ディスプレイなどのマイクロ・ディスプレイで構成される。

帽子に類似した形状をした装置１本体前面のほぼ中央には、周囲画像（ユーザーの視界）入力用のカメラが設置されている。また、装置１本体の左右の両端付近にそれぞれマイクロフォンが設置されている。マイクロフォンが２つあることで、中央に定位した音声（ユーザーの声）だけを認識することで、周囲の雑音や他人の話声と分離することができ、例えば音声入力による操作時の誤動作を防止することができる。

図４には、図３に示した画像表示装置１を装着したユーザーを上方から眺めた様子を示している。図示の画像表示装置１は、ユーザーの顔面と対向する側面に、左眼用及び右眼用の表示パネルを持つ。表示パネルは、例えば有機ＥＬ素子や液晶ディスプレイなどのマイクロ・ディスプレイで構成される。表示パネルの表示画像は、虚像光学部を通過するにより拡大虚像としてユーザーに観察される。また、眼の高さや眼幅にはユーザー毎に個人差があるため、左右の各表示系と装着したユーザーの眼とを位置合わせする必要がある。図４に示す例では、右眼用の表示パネルと左眼用の表示パネルの間に眼幅調整機構を装備している。

図５には、画像表示装置１の内部構成例を示している。以下、各部について説明する。

制御部５０１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）５０１ＡやＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）５０１Ｂを備えている。ＲＯＭ５０１Ａ内には、制御部５０１で実行するプログラム・コードや各種データを格納している。制御部５０１は、ＲＡＭ５０１Ｂへロードしたプログラムを実行することで、表示パネル５０９に表示するコンテンツの再生制御を始め、当該画像表示装置１全体の動作を統括的にコントロールする。制御部５０１で実行するプログラムとして、コンテンツ視聴などの画像表示を行なう各種アプリケーション・プログラムの他、ユーザーが当該装置１を使用開始時に実行するユーザー判別・認証プログラムを挙げることができる。但し、ユーザー判別・認証プログラムによる処理動作の詳細については後述に譲る。また、ＲＯＭ５０１Ａは、電気的に消去書き込み動作が可能なメモリー装置（ＥＥＰＲＯＭ）であり、ユーザー判別・認証処理に使用する判定パターンなどの重要なデータを追記することができる。

入力操作部５０２は、キーやボタン、スイッチなど、ユーザーが入力操作を行う１以上の操作子を備え、操作子を介したユーザーの指示を受け付けて、制御部５０１に出力する。また、入力操作部５０２は、リモコン受信部５０３で受信したリモコン・コマンドからなるユーザーの指示を同様に受け付けて、制御部５０１に出力する。

環境情報取得部５０４は、画像表示装置１外の周辺環境に関する環境情報を取得して、制御部５０１に出力する。環境情報取得部５０４は、環境情報として、例えば、環境光強度、音響強度、位置若しくは場所、温度、天気、時刻、周囲画像などを取得する。また、環境情報取得部５０４は、これらの環境情報を取得するために、光量センサー、マイクロフォン、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）センサー、温度センサー、湿度センサー、時計、外側に向けられ外部の風景（ユーザーの視界の画像）を撮影する外側カメラ、放射線センサーなどの各種の環境センサー（いずれも図５には図示しない）を備えていてもよい。あるいは、画像表示装置１自体は環境センサーを備えず、環境センサーを装備する外部の装置（図示しない）から環境情報取得部５０４が環境情報を取得するように構成してもよい。取得された環境情報は、ユーザーが当該装置１を使用開始時に実行するユーザー判別・認証処理に利用することもあり、例えばＲＡＭ５０１Ｂ内に一時的に保持される。

状態情報取得部５０５は、画像表示装置１を利用するユーザーの状態に関する状態情報を取得して、制御部５０１に出力する。状態情報取得部５０５は、状態情報として、例えば、ユーザーの作業状態（ユーザーの装着の有無）や、ユーザーが行なう動作や行動状態（装着中のユーザーの頭部の姿勢、視線の動き、歩行などの移動、瞼の開閉状態）、精神状態（表示パネル５０９に表示される内側画像を視聴中に没頭若しくは集中しているかなどの興奮度、覚醒度、感情や情動など）、さらには生理状態を取得する。また、状態情報取得部５０５は、これらの状態情報をユーザーから取得するために、機械スイッチなどからなる装着センサーや、ＧＰＳセンサー、ジャイロ・センサー、加速度センサー、速度センサー、圧力センサー、体温センサー、発汗センサー、筋電センサー、眼電センサー、脳波センサー、内側すなわちユーザーの顔側に向けられた内側カメラ、ユーザーが発した音声を入力するマイクロフォンなどの各種の状態センサー（いずれも図５には図示しない）を備えていてもよい。例えば、状態情報取得部５０５は、画像表示装置１を頭部に装着したユーザーの視線（眼球の運動）を、筋電センサーやー眼電センサー、あるいは内部カメラからの出力情報に基づいて取得することができる。取得された状態情報は、ユーザーが当該装置１を使用開始時に実行するユーザー判別・認証処理に利用することもあり、例えばＲＡＭ５０１Ｂ内に一時的に保持される。

通信部５０６は、他の装置との通信処理、並びに通信信号の変復調並びに符号化復号処理を行なう。例えば、通信部５０６は、表示パネル５０９で表示出力するための画像信号を、画像ソースとなる外部機器（図示しない）から受信する。通信部５０６で受信し復調及び復号処理された画像データ、あるいはその他の受信データは制御部５０１に供給される。また、制御部５０１は、外部機器への送信データを、通信部５０６を介して外部に送出することもできる。

通信部５０６の構成は任意である。例えば、通信相手となる外部機器との送受信動作に使用する通信規格に応じて、通信部５０６を構成することができる。通信規格は、有線、無線のいずれの形態であってもよい。ここで言う通信規格として、ＭＨＬ（Ｍｏｂｉｌｅ Ｈｉｇｈ−ｄｅｆｉｎｉｔｉｏｎ Ｌｉｎｋ）やＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＨＤＭＩ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信、赤外線通信、Ｗｉ−Ｆｉ（登録商標）、Ｅｔｈｅｒｎｅｔ（登録商標）、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）に代表される非接触通信、人体通信などを挙げることができる。また、画像表示装置１は、通信部５０６を介してインターネットなどの広域ネットワークに接続して、クラウド・コンピューター（図示しない）を利用することもできる。例えば、ユーザー判別・認証処理の一部又は全部をクラウド・コンピューター上で実行する場合には、制御部５０１は、処理に必要な情報を通信部５０６からクラウド・コンピューターに送信する。

画像処理部５０７は、制御部５０１から出力される画像信号に対して画質補正などの信号処理をさらに行なうとともに、表示パネル５０９の画面に合わせた解像度に変換する。そして、表示駆動部５０８は、表示パネル５０９の画素を行毎に順次選択するとともに線順次走査して、信号処理された画像信号に基づく画素信号を供給する。

表示パネル５０９は、例えば有機ＥＬ素子や液晶ディスプレイなどのマイクロ・ディスプレイで構成され、画像表示装置１を図２又は図４に示したように装着したユーザー側から見える内側画像を表示する。虚像光学部５１０は、表示パネル５０９の表示画像を拡大投影して、ユーザーには拡大虚像として観察させる。

透過型の画像表示装置１の場合、虚像光学部５１０は、例えば回折光学素子などで構成される（例えば、特許文献３を参照のこと）。また、遮蔽型の画像表示装置１の場合には、虚像光学部５１０は接眼光学レンズで構成される（例えば、特許文献４を参照のこと）。

なお、画像表示装置１が両眼タイプの場合は表示パネル５０９及び虚像光学部５１０を左右の眼毎に備え、片眼タイプの場合は片眼のみ表示パネル５０９及び虚像光学部５１０を備える。

Ｂ．ユーザー判別・認証処理
図５では省略したが、画像表示装置１は、スマートフォンなどの多機能端末機能を搭載してもよく、コンテンツ視聴以外にも大きな付加価値を付け、ユーザーが生活の中で常用する目的を有している。このような場合、情報表示装置１内に機密情報など各種情報が格納されることが想定され、使用するユーザーの真正性をチェックするなど機密管理が重要になってくる。

ユーザーが頭部又は顔部に装着して用いる画像表示装置１の場合、パスワードによる認証処理を行なおうとすると、ユーザーがほぼ目隠し状態（片眼タイプの場合は片眼での）で入力操作を行なわなければならない。また、頭部又は顔部に装着される装置の場合、ユーザーから直接情報を取得し易いという特長がある。ところが、網膜や虹彩などの生体情報を利用した認証処理も考えられるが、読み取り専用のデバイスが必要であり、装置コストの増大を招来する。

そこで、本実施形態では、画像表示装置１が通常装備するデバイスから任意に入力されるユーザーの判定パターンを基に利用することで、指紋や虹彩認証などの複雑なシステムに頼らず、より簡易且つ安価にユーザー判別・認証処理を行なうように構成している。

図６には、画像表示装置１がユーザーの動作情報に基づいてユーザー判別・認証処理を行なう機能的構成を模式的に示している。

画像表示装置１の使用開始時に、動作入力部６０１には、画像表示装置１を装着したユーザーが行なう判定パターンが入力される。

ユーザー判別・認証部６０２は、動作入力部６０１から入力されたユーザーの判定パターンに基づいて、ユーザーの判別や認証処理、すなわちユーザーの真正性のチェックを行なう。

例えば、判別や認証処理を行なう判定パターンをユーザー毎に事前に登録しておき、ユーザー判別・認証部６０２は、事前に登録しておいた判定パターンと、使用開始時に動作入力部６０１から入力された判定パターンとのマッチングによりユーザーの判別や認証処理を行なうようにしてもよい。

事前登録した判定パターンを利用してユーザー判別・認証処理を行なう場合、認証パターン登録部６０３は、動作入力部６０１から事前登録のために入力された認証パターンを、ユーザー毎のユーザー識別情報に対応付けて認証パターン保持部６０４に格納しておく。そして、ユーザー判別・認証部６０２は、装置１の使用開始時に動作入力部６０１から入力された判定パターンを認証パターン登録部６０３に照会して、使用を開始しようとしているユーザーが事前登録済みの正規ユーザーであるか、並びに、どのユーザーであるか（ユーザー識別情報）を取得する。

勿論、同じ画像表示装置１を使用するすべてのユーザーで共通の認証パターンを用いるという運用も考えられる。この場合、認証パターン保持部６０４には、当該画像表示装置１で使用する認証パターンを保持しておき、ユーザー判別・認証部６０２は、ユーザー判別・認証処理時に、認証パターン登録部６０３を介して認証パターン保持部６０４から認証パターンを読み取るようにすればよい。

ユーザーが動作入力部６０１に判定パターンを入力する際に、ユーザーが判定パターンを入力する案内になるような案内情報や判定パターンの入力結果を、表示パネル５０９に画面表示するよう、ユーザー判別・認証部６０２は、表示制御部６０７に指示するようにしてもよい。同様に、ユーザーが自分のユーザー判別・認証用の判定パターンを事前登録する際に、ユーザーが判定パターンを入力する案内になるような情報や判定パターンの入力結果を、表示パネル５０９に画面表示するよう、認証パターン登録部６０３は、表示制御部６０７に指示するようにしてもよい。ユーザーは、表示パネル５０９に表示された案内情報に従って、誤りなく判定パターンの入力を行なうことができるようになる。また、ユーザーは、これまでの入力結果を表示パネル５０９の画面で見て、自分が意図した通りに判定パターンを入力することができたかどうかを確認することができる。また、表示パネル５０９は、装置１の内側すなわちユーザーの顔と対峙する側面を向き、外部からその表示内容が見えないので、案内情報や判定パターンを表示しても、外部に漏れる心配はない。案内情報の表示方法の詳細については、後述に譲る。

そして、ユーザー判別・認証部６０２は、ユーザーの判別や認証処理に成功すると、その結果をアプリケーション実行許可部６０５に通知する。ユーザー判別・認証部６０２は、使用を開始するユーザー個人を特定する場合には、ユーザー識別情報も含めてアプリケーション実行許可部６０５に出力するようにしてもよい。

アプリケーション実行許可部６０５は、ユーザーの判別・認証処理が成功裏に終了した旨の結果をユーザー判別・認証部６０２から受け取ると、このユーザーが以降に行なうアプリケーションの実行指示に応じてアプリケーションの実行を許可する。

また、画像表示装置１がユーザー毎にアプリケーションに対する実行権限を設定している場合、ユーザー毎の権限情報をユーザー識別情報と対応付けて保持している。アプリケーション実行許可部６０５は、ユーザー判別・認証部６０２から渡されたユーザー識別情報を基にユーザー権限保持部６０６に照会して、このユーザーに与えられている権限情報を取得する。そして、アプリケーション実行許可部６０５は、ユーザーがこれ以降に行なうアプリケーションの実行指示に対し、取得した権限情報の範囲内でアプリケーションの実行を許可する。

なお、図６に示した機能的構成の変形例として、一部の機能を画像表示装置１の外部に設置することも考えられる。例えば図７に示すように、認証パターン登録部６０３並びに認証パターン保持部６０４の機能が、ネットワーク上のクラウド・コンピューター７０１に配置されている。この場合、ユーザーは、クラウド・コンピューター７０１内の認証パターン登録部６０３並びに認証パターン保持部６０４に対して、自分のユーザー判別・認証用の認証パターンの事前登録を行なう。一方、ユーザー判別・認証部６０２は、ユーザーが当該画像表示装置１の使用を開始する際に、動作入力部６０１から入力された判定パターンを、通信部５０６を介してクラウド・コンピューター７０１に照会して、ユーザー認証並びに該当するユーザー識別情報の取得を行なうことができる。また、ユーザー認証に成功し、ユーザーからアプリケーションの実行が指示されたときに、アプリケーション実行許可部６０５は、ユーザー判別・認証部６０２から渡されたユーザー識別情報を、通信部５０６を介してクラウド・コンピューター７０１に照会して、このユーザーに与えられている権限情報を取得する。そして、アプリケーション実行許可部６０５は、ユーザーがこれ以降に行なうアプリケーションの実行指示に対し、取得した権限情報の範囲内で許可する。

図７に示した構成例によれば、ある画像表示装置１で登録されたユーザー認証用の判定パターンや、ユーザー毎に設定されたアプリケーションの権限情報を、他の画像表示装置（図示しない）との間で共用するという運用も考えられる。

動作入力部６０１は、画像表示装置１が環境情報取得部５０４として装備する環境センサーや、状態情報取得部５０５として装備する状態センサーを用いて構成される。また、ユーザー判別・認証部６０２は、環境センサーや状態センサーを用いて、画像表示装置１を装着したユーザーから直接入力することができる判定パターンを用いて、ユーザーの判別・認証処理を行なうことができる。画像表示装置１は、複数種類の環境センサー並びに状態センサーを装備しており、さまざまな判定パターンを扱うことができる。

図８には、ユーザー判別・認証部６０２が扱う判定パターンと、判定パターンの入力に用いる環境センサー若しくは状態センサーの組み合わせを例示している。

動作入力部６０１は、ユーザーの顔側に向けられた内側カメラや、装着したユーザーの頭部又は顔部に接触して筋電位や眼電位を検出する筋電センサー、眼電センサーを用いて、ユーザーの注視位置や注視点の移動を検出することができる。ユーザー判別・認証部６０２は、ユーザーの注視位置や注視点の移動からなる判定パターンを用い、あらかじめ保持されている注視位置や注視点の移動に関する認証パターンとの一致度に基づいて、ユーザーの判別や認証処理を行なうことができる。

画像表示装置１が遮光タイプの場合、ユーザーは目隠し状態にあり、逆に言えば、ユーザーの目は外部から隠蔽されているので、注視位置や注視点の移動からなる判定パターンを入力する際に、他人がのぞき込むような隙はない。また、画像表示装置１が透過タイプの場合であっても、判定パターンの入力時には表示部を不透明にすれば、注視位置や注視点の移動からなる判定パターンを外部に漏れることなく入力することができる。また、ユーザーの注視位置や注視点の移動を行なう際に、表示パネル５０９にはより秘匿性の高い情報を案内情報として表示しても、外部に漏れる心配がない。

また、動作入力部６０１は、加速度センサーやジャイロ・センサー、ユーザーの顔と反対側（外側）に向けられた外側カメラを用いて、頷いた、首を左又は右に振った、前方又は後方に移動した、ジャンプしたなど、ユーザーの頭部や身体の動作を検出することができる。ユーザー判別・認証部６０２は、ユーザーの注視位置や注視点の移動からなる判定パターンを用い、あらかじめ保持されている頭部や身体の認証パターンとの一致度に基づいて、ユーザーの判別や認証処理を行なうことができる。

また、動作入力部６０１は、マイクロフォンを用いてユーザーの音声を検出することができる。ユーザー判別・認証部６０２は、ユーザーの音声からなる判定パターンを用い、あらかじめ保持されている音声の認証パターンとの一致度に基づいて、ユーザーの判別や認証処理を行なうことができる。本実施形態では、装置１本体の左右の両端付近にそれぞれマイクロフォンが設置されており、マイクロフォンが２つあることで、周囲の雑音や他人の話声と分離して、中央に定位した音声（ユーザーの声）だけを認識することができる（前述）。

また、動作入力部６０１は、ユーザーの発話による音声情報を、マイクロフォンを用いて骨伝導信号として検出することができる。ユーザー判別・認証部６０２は、この発話骨伝導信号からなる判定パターンを用い、あらかじめ保持されている骨伝導信号の認証パターンとの一致度に基づいて、ユーザーの判別や認証処理を行なうことができる。

また、動作入力部６０１は、ユーザーの顔側に向けられた内側カメラを用いて、目や鼻、口、眉毛、耳たぶなどのユーザーの顔パーツを捕捉することができる。ユーザー判別・認証部６０２は、目の形状や両目の間隔、鼻の形状、口の形状や口の開閉動作、まつ毛、眉毛、耳たぶなどのユーザーの顔パーツの撮像画像を画像処理して抽出される顔パーツの判定パターン（顔パーツ自体のパターンも含む）を用い、あらかじめ保持されている認証パターンとの一致度に基づいて、ユーザーの判別や認証処理を行なう。

また、動作入力部６０１は、ユーザーの顔側に向けられた内側カメラや、装着したユーザーの頭部又は顔部に接触して筋電位や眼電位を検出する筋電センサーを用いて、ユーザーの瞬目動作を検出することができる。ユーザー判別・認証部６０２は、ユーザーの瞬目動作のパターン（瞬目した回数、頻度、瞬目間隔のなすパターン、左右の瞬目の組み合わせなど）を用い、あらかじめ保持されている認証パターンとの一致度に基づいて、ユーザーの判別や認証処理を行なうことができる。

また、動作入力部６０１は、ユーザーの顔と反対側（外側）に向けられた外側カメラなどを用いて、ユーザーの手や指、指紋を捕捉することができる。ユーザー判別・認証部６０２は、ユーザーの手や指の形状特徴、手や指の動作（サイン、ジェスチャーなど）、指紋の形状特徴などからなる判定パターンを用い、あらかじめ保持されている頭部や身体の認証パターンとの一致度に基づいて、ユーザーの判別や認証処理を行なうことができる。

また、ユーザーが腕時計や指輪などのアクセサリー、カードなどの形態からなる認証済みのデバイスを身に付けている場合、動作入力部６０１は、例えば非接触通信や人体通信を利用してこの種のデバイスにアクセスし、ユーザー判別・認証部６０２は、デバイスから読み取られた情報からなる認証パターンに基づいて、ユーザーの判別・認証処理を行なうことができる。

図８には、標準的な画像表示装置１に装備でユーザーの判別・認証処理に利用することができる判定パターン並びにそれを取得するためのセンサー類との対応関係を個別に挙げた。但し、いずれか１つの判定パターンのみを用いてユーザーの判別・認証処理を行なうだけでなく、２以上の判定パターンを組み合わせることで、より柔軟で精度の高いユーザー判別・認証処理を実現して、安全性を高めることもできる。

例えば、注視点の移動と瞬目動作の組み合わせからなる判定パターンをユーザー判別・認証処理に利用することができる。例えば、ユーザーが視界内のＡ地点からＢ地点までの注視点の移動と、ＡＢ間の中間地点Ｃでの瞬目動作を組み合わせて、判定パターンを構成する。この判定パターンは、Ａ地点からＢ地点までの単なる注視点の移動とは区別される。したがって、万一、単純な注視点の移動パターンが背後や周囲にいる第三者に見破られたとしても、その間に瞬目動作を挿入することで、なりすましを難しくすることができる。また、図８からも分かるように、注視点と瞬目は、同じセンサー・デバイスを用いて検出することができるので、これら２種類を組み合わせてもユーザー判別・認証処理を簡素化することができる。

画像表示装置１がユーザーの判別・認証処理にどのような種類の判定パターンを用いるかは、製造・販売元があらかじめ画像表示装置１に設定しておいてもよいし、あるいは、購入後のユーザーが初期設定時に判定パターンの種類を任意に指定できるようにしてもよい。

また、判定パターン入力の変形例として、ユーザーしか知り得ない情報のクイズや課題をユーザーに提示し、これに対し、図８に示したいずれかの判定パターンの入力を以って解答するという方法も考えられる。表示パネル５０９にクイズを表示しても、その内容は外部からは見ることができないので、高い安全性を保つことができる。

Ｃ．案内情報の表示
既に述べたように、ユーザーが画像表示装置１の使用開始に伴い判定パターンを入力する際、並びに、ユーザーが自分のユーザー判別・認証用の認証パターンを事前登録する際に、ユーザーが判定パターンを入力する案内になるような案内情報を、表示パネル５０９に表示する（前述）。ユーザーは、表示パネル５０９に表示された案内情報に従って、誤りなくパターン入力操作を行なうことができるようになる。

テンキーを用いた暗証番号の入力によるユーザー認証は、広く利用されている。しかしながら、銀行や店舗のＡＴＭ（Ａｕｔｏｍａｔｅｄ Ｔｅｌｌｅｒ Ｍａｃｈｉｎｅ）のように、テンキーが外界に晒された機器上で暗証番号の入力操作を行なう場合には、背後や周囲にいる第三者に暗証番号が覗き見されないように、自分の体でテンキーを隠す、あるいはテンキーを覆う部材を設置する必要がある。いずれにせよ、ユーザーは不自然な姿勢で暗証番号の入力操作を行なうことになり、苦痛な作業となり、あるいは誤入力を招来する。

これに対し、本実施形態によれば、表示制御部６０７は、例えば図９Ａに示すように、テンキーを真似たような案内情報を表示パネル５０９に表示させる。そして、ユーザーは、自分があらかじめ登録しておいた暗証番号に従って、該当する番号を順次凝視していけばよい。また、図９Ｂには、図９Ａに示した案内情報の表示画面を介して、ユーザーが視線により暗証番号を入力している様子を示している。図示の例では、０→５→０→７の順序で凝視して、暗証番号「０５０７」を入力している。動作入力部６０１は、内側カメラや筋電センサー、眼球センサーを用いて、ユーザーの注視点がどのような順序でテンキー上を通過したかを検出して、入力された暗証番号「０５０７」を判別することができる。

本実施形態では、表示パネル５０９に表示されたテンキーや、ユーザーの視線は外部から隠蔽されているので、どのような暗証番号が入力されたかを背後や周囲にいる第三者が覗き見することは、ほとんど不可能である。

図９Ｂには、内側カメラや筋電センサー、眼電センサーなどを用いて検出されたユーザーの注視点の動きを点線矢印で示している。表示制御部６０７は、検出したユーザーの注視点の動きを、図９Ｂに示した通りに、案内情報に重畳して表示するようにしてもよい。ユーザーは、これまでの入力結果を表示パネル５０９の画面で見て、自分が意図した通りに判定パターンを上手く入力することができたかどうかを確認することができるようになる。

また、図９Ａに示したように、０〜９の数字を昇り順若しくは降り順でマトリックス状に規則的に配置するのではなく、図１０Ａに示すように、数字の大小関係に基づく順序やや配置場所の規則性を崩して配置するようにしてもよい。また、図１０Ｂには、図１０Ａに示した案内情報の表示画面を介して、ユーザーが視線により暗証番号を入力している様子を示している。図示の例では、０→５→０→７の順序で凝視して、暗証番号「０５０７」を入力している。ユーザーの視線は外部から隠蔽されるとともに、各数字を配置した場所が不規則なので、どのような暗証番号が入力されたかを背後や周囲にいる第三者が覗き見することは、より一層困難になる。

図１０Ｂには、内側カメラや筋電センサー、眼電センサーなどを用いて検出されたユーザーの注視点の動きを点線矢印で示している。表示制御部６０７は、ユーザーの注視点の動きを、図１０Ｂに示した通りに、案内情報に重畳して表示するようにしてもよい（同上）。ユーザーは、これまでの入力結果を表示パネル５０９の画面で見て、自分が意図した通りに判定パターンを上手く入力することができたかどうかを確認することができるようになる。

また、図１０Ａに示した案内情報の変形例として、図１０Ｃに示すように、各数字の配置順序や配置場所だけでなく、フォントサイズも不規則にしてもよい。

ＡＴＭや入退室管理システムにおいても、ユーザーの背後から盗み見られたり、動作姿勢で暗証番号を見破られたりするのを防止するために、数値キーの配置場所を移動若しくは変更する技術は知られている（例えば、特許文献５を参照のこと）。この場合、所定回数毎に数値キーの配置パターンを更新することで、入力操作を繰り返していくうち暗証番号が見破られてしまう危険を低下させることができる。しかしながら、配置パターンを更新した直後、ユーザーは入力したい数値キーの新たな配置場所を探し直さなければならず、面倒である。これに対し、頭部装着型の画像表示装置１の場合、図１０Ａに示したような数字の配置パターン自体が外界から隠蔽され、さらにユーザーの視線による入力動作も外界から隠蔽されているので、第三者から見破られ難く、数字の配置パターンを更新する必要性は低い。また、ユーザーも、毎回同じ注視点の移動パターンを繰り返すという慣れた視線の動きで、認証処理を成功させることができる。

また、上記のようにユーザーが順次凝視して暗証番号を入力するのではなく、視界内で視線の移動により任意に描いた軌跡を用いて、ユーザー判別・認証処理を行なうこともできる。但し、ユーザーが判別・認証処理の度に、ユーザーが何もない空間上で同じ軌跡を視線の移動により描くことは困難である。そこで、視線を合わせる目標となるような複数の画像オブジェクトを散在させた案内情報を表示するようにしてもよい。

図１１Ａには、果物や野菜、食パンなどの食品、動物、昆虫、電気製品などの複数の画像オブジェクトを散在させて構成される案内情報を例示している。また、図１１Ｂには、図１１Ａに示した案内情報の表示画面を介して、ユーザーが視線の移動により所望の軌跡を描いている様子を示している。図示の例では、ユーザーは、象→桃→メロン→苺→人参の順で視線を通過させることによって、ほぼＭの字状の軌跡を描いている。ユーザー判別・認証部６０２は、この軌跡パターンに基づいて、ユーザー判別・認証処理を行なうことができる。

図１１Ａに示した案内情報の表示画面を用いれば、ユーザーは、象、桃、メロン、苺、人参の順で各画像オブジェクトを目標にして視線を動かすことによって、毎回ほぼ同じ大きさのＭの字を描くことができる。他方、視線の目標となる画像オブジェクトがまったく存在しない無地の視界内では、Ｍの字であれ、その他の文字であれ、ユーザーは所望する形状を注視点の動きで描くことは困難であろう。また、ユーザーは、自分の好きな物や、あるストーリーで登場してくる物、あるいはユーザー独自の連想により覚え易い物など、自分しか知り得ない判断基準で選んだ画像オブジェクトを辿る軌跡パターンを用いることで、無機質なパスワードよりも忘れ難くすることができる（あるいは、一旦忘れても、思い出し易くなる）。また、図１１に示した案内画像は外界から隠蔽され、背後や周囲にいる第三者から見破られ難く、ユーザーが視線で描く軌跡パターンも見破られ難い。

図１１Ｂには、内側カメラや筋電センサー、眼電センサーなどを用いて検出されたユーザーの注視点の動きを点線矢印で示している。表示制御部６０７は、ユーザーの注視点の動きを、図１１Ｂに示した通りに、案内情報に重畳して表示するようにしてもよい（同上）。ユーザーは、これまでの入力結果を表示パネル５０９の画面で見て、自分が意図した通りに判定パターンを上手く入力することができたかどうかを確認することができるようになる。

図１１Ａに示した案内情報は、果物や野菜、食パンなどの食品、動物、昆虫、電気製品などの画像オブジェクトを視線の目標としてユーザーの視界に配置しているが、さまざまな画像オブジェクトを利用することができる。例えば、アルファベットやひらがな、カタカナ、漢字などをランダムに配置した案内情報（図示しない）を利用してもよい。この場合、ユーザーは、例えば自分の好きな言葉や覚え易い単語を表す文字の系列を視線で追って、注視点の軌跡パターンを入力することができる。あるいは、図１２に示すように、多数の顔画像をランダム（若しくは規則的に）配置した案内情報を利用してもよい。この場合、ユーザーは、例えば自分が気に入った顔を視線で追って、注視点の軌跡パターンを入力することができる。あるいは、ユーザーの知人や親類の顔画像をランダムに挿入しておけば、注視点の軌跡パターンを覚え易くなる。

なお、スマートフォンなどの多機能情報端末では、例えばマトリックス状にドットを表示したタッチパネル上で、好きな順序でドットをなぞって記憶させ、次回以降は同じなぞり方を再現することで利用開始を許可するパターン・ロック技術が知られている（例えば、特許文献６を参照のこと）。ところが、タッチパネル上に表示したドットも、タッチパネル上をユーザーがなぞる操作も、外界に晒されているので、背後や周囲にいる第三者が覗きこんで同じなぞり方が見破られる危険を排除できない。これに対し、本実施形態では、表示パネル５０９に表示する案内情報（視線の目標になる各画像オブジェクトの配置）も、ユーザーの視線位置も外部から隠蔽され、他人が覗きこむ隙はないので、ユーザー判別・認証処理を安全に行なうことができる。

ここまでは、注視点や注視点の移動などユーザーの視線をユーザー判別・認証処理の判定パターンを用いる場合の案内情報の構成例について説明してきた。画像表示装置１で取得できるその他の種別の判定パターンを用いる場合についても、案内情報を表示すると、ユーザーは誤りなく判定パターンを入力し易くなる。

例えば、頷いた、首を左又は右に振ったなど、ユーザーの頭部の判定パターンを入力する場合には、図１３Ａに示すように、人の頭部のモデルを案内情報として表示パネル５０９に表示される。そして、加速度センサーやジャイロ・センサー、外側カメラなどを用いて、ユーザーが頭部を前方に振った（頷いた）ことが検出されると、図１３Ｂに示すように、参照番号１３０１に示すように頭部を前方に振るジェスチャーと、参照番号１３０２に示すように頭部が動いた向きを点線矢印で示す。また、ユーザーが頭部を右側に傾けたことが検出されると、図１３Ｃに示すように、参照番号１３０３に示すように頭部を右側に傾けるジェスチャーと、参照番号１３０４に示すように頭部が傾いた向きを点線矢印で示す。また、ユーザーが頭部をヨー軸回りに反時計方向に旋回させたことが検出されると、図１３Ｄに示すように、参照番号１３０５に示すように頭部をヨー軸回りに旋回させるジェスチャーと、参照番号１３０６に示すように頭部がヨー軸回りに旋回した向きを点線矢印で示す。ユーザーは、これまでの入力結果を表示パネル５０９の画面で見て、自分が意図した通りに判定パターンを入力することができたかどうかを確認することができるようになる。

また、ユーザーが発する音声や発話骨伝導信号ユーザー判別・認証用の判定パターンとして入力する場合には、図１４Ａに示すように、ユーザーがあらかじめ登録しておいた発話する文章と、ダミーとなる文章を含む複数に文章が、案内情報として表示パネル５０９に表示される。そして、マイクロフォンを介して入力された音声を認識すると、図１４Ｂ中の参照番号１４０１で示すように、発話が認識された文章を反転表示（若しくは強調表示）して、ユーザーの音声からなる判定パターンが認識された結果を示す。ユーザーは、これまでの入力結果を表示パネル５０９の画面で見て、自分が意図した通りに音声が認識されたかを確認することができるようになる。

また、ユーザーが左右の片方又は両目を瞬目する動作をユーザー判別・認証用の判定パターンとして入力する場合には、図１５Ａに示すように、初期状態である両目が開いた画像１５０１を含んだ案内情報として表示パネル５０９に表示される。そして、内側カメラや筋電センサー、眼電センサーなどを用いて、ユーザーが左右の片方又は両目の瞬目動作が検出される度に、図１５Ｂに示すように、検出された瞬目動作を表すアイコン１５０２が時系列的に表示されていく。図１５Ｂに示す例では、紙面下方向が時間軸に相当し、左眼瞬目、右眼瞬目、両眼瞬目の順に瞬目動作が検出されたことを示している。ユーザーは、これまでの入力結果を表示パネル５０９の画面で見て、自分が意図した通りに瞬目の判定パターンを上手く入力することができたかどうかを確認することができるようになる。

また、注視点の移動と瞬目動作の組み合わせからなる判定パターンをユーザー判別・認証処理に利用することもできる（前述）。このような場合、図１６中に参照番号１６０１、１６０２、１６０３で示すように、注視点の軌跡パターン上で、左眼、右眼、又は両目の瞬目動作が検出された位置に、瞬き動作を表すアイコンを表示して、瞬目動作が検出されたことを示すようにすればよい。

また、画像表示装置１が、腕時計や指輪、カードなどユーザーが身に付ける認証済みのデバイスと人体通信を利用してユーザー判別・認証処理を行なう場合であって、ユーザーがまだ身に付けていないときには、図１７〜図１９においてそれぞれ参照番号１７０１、１８０１、１９０１で示すように、ユーザーに各認証デバイスの所持を促す案内情報を表示パネル５０９に表示する。

このように本実施形態によれば、画像表示装置１を頭部又は顔部に装着したユーザーがユーザー判別・認証処理のために行なう判定パターンを、画像表示装置１が通常装備するデバイスから入力して、ユーザー判別・認証処理を簡易且つ安価に行なうことができる。

図２０には、ユーザー判別・認証処理に用いる認証パターンを画像表示装置１に事前に登録するための処理手順をフローチャートの形式で示している。図示の処理手順は、例えば画像表示装置１を初回電源投入時に（若しくは、判定パターン未登録時には、電源を投入する度に）、自動若しくはユーザーによる設定操作に基づいて起動する。

まず、ユーザー判別・認証部６０２は、表示制御部６０５に指示して、ユーザー判別・認証処理に使用する認証パターンの登録を開始するかどうかをユーザーに確認する確認画面を、表示パネル５０９上に表示する。ここで、後続の処理ステップに進むが、ユーザーが認証パターンの登録を希望しないときには（ステップＳ２００１のＮｏ）、後続の処理ステップをすべてスキップして本処理ルーチンを終了する。

一方、認証パターンの登録を行なうときには（ステップＳ２００１のＹｅｓ）、認証パターンの登録開始画面を表示する（ステップＳ２００２）。登録開始画面の図示は省略するが、同画面上で、ユーザーがユーザー判別・認証処理に使用する判定パターンの種別を選択できるようにしてもよい。

次いで、ユーザー判別・認証部６０２は、表示制御部６０５に指示して、表示パネル５０９上に、判定パターンの種別に対応した案内情報を表示させる（ステップＳ２００３）。そして、ユーザー判別・認証部６０２は、動作入力部６０１に対して、判定パターンの種別に対応したセンサーからの入力受け付けを指示して、ユーザーからの認証パターンの入力受け付けを開始する（ステップＳ２００４）。

ユーザーは、画像表示装置１に対して、登録しておきたい認証パターンの入力を行なう。動作入力部６０１は、入力受け付けを開始したセンサーから、ユーザーが行なう認証パターンを検出すると（ステップＳ２００５）、その結果をユーザー判別・認証部６０２に出力する。

ユーザー判別・認証部６０２は、案内情報を表示中の表示パネル５０９の画面上に、動作入力部６０１から入力された認証パターンを重ねて表示する（ステップＳ２００６）。ユーザーは、表示画面を通じて、自分が登録したい認証パターンを意図した通りに入力することができたかどうかを確認することができる。

そして、ユーザーが入力操作部５０３などを介して認証パターンの入力が終了した旨を告げる、あるいは、ユーザーからの入力が途切れて所定時間が経過して入力動作が終了したと認識すると（ステップＳ２００７のＹｅｓ）、ユーザー判別・認証部６０３は、認証パターン登録部６０３に対し、動作入力部６０１から入力された認証パターンの登録を指示する。また、ユーザー判別・認証部６０３は、表示制御部６０５に指示して、表示パネル５０９上に認証パターンの登録処理が完了した旨を表示して（ステップＳ２００８）、本処理ルーチンを終了する。

また、図２１には、画像表示装置１がユーザー判別・認証処理を行なうための処理手順をフローチャートの形式で示している。図示の処理手順は、例えば画像表示装置１に認証パターンを一旦登録した後は、電源を投入する度、若しくは、ユーザーが画像表示装置１を頭部又は顔部に装着したことを検出する度に、自動的に起動する。

まず、ユーザー判別・認証部６０２は、表示制御部６０５に指示して、表示パネル５０９上に認証開始を告げる画面を表示する（ステップＳ２１０１）。

認証開始画面の図示は省略する。例えば、ユーザーが複数の種別の判定パターンを登録している場合には、認証開始画面上で、ユーザーがどの種別の判定パターンを用いてユーザー判別・認証処理を行なうかを選択できるようにしてもよい。

次いで、ユーザー判別・認証部６０２は、表示制御部６０５に指示して、表示パネル５０９上に、判定パターンの種別に対応した案内情報を表示させる（ステップＳ２１０２）。

そして、ユーザー判別・認証部６０２は、動作入力部６０１に対して、判定パターンの種別に対応したセンサーからの入力受け付けを指示して、ユーザーからの判定パターンの入力受け付けを開始する（ステップＳ２１０３）。

ユーザーは、表示された案内情報を利用しながら、自分の記憶に基づいて判定パターンの入力を行なう。動作入力部６０１は、入力受け付けを開始したセンサーから、ユーザーが行なう判定パターンを検出すると（ステップＳ２１０４）、その結果をユーザー判別・認証部６０２に出力する。

ユーザー判別・認証部６０２は、案内情報を表示中の表示パネル５０９の画面上に、動作入力部６０１から入力された判定パターンを重ねて表示する（ステップＳ２１０５）。ユーザーは、表示画面を通じて、自分が記憶している判定パターンを意図した通りに入力することができたかどうかを確認することができる。

そして、ユーザー判別・認証部６０２は、入力された判定パターンを、図２０に示した処理手順を通じて事前に登録しておいた認証パターンと比較して、両者が一致するかどうかに基づいて、ユーザーの真正性をチェックする（ステップＳ２１０６）。

ここで、ステップＳ２１０６における判別の閾値は、ある程度ラフでもよい。例えば、家族の中での判定や、大人か子供かの判定がつく程度に閾値を調節してもよい。閾値をラフに設定すると、安全性は低下するが、ユーザー判別・認証処理が完了するまでの所要時間を短くできるなどの効果がある。

入力された判定パターンと事前に登録しておいた認証パターンとの一致度が所定の閾値を超えるときには（ステップＳ２１０６のＹｅｓ）、ユーザー判別・認証部６０２は、ユーザー判別若しくは認証処理に成功したものとして、認証完了画面（図示しない）を表示して（ステップＳ２１０７）、本処理ルーチンを終了する。

ユーザー判別・認証部６０２は、ユーザーの判別や認証処理に成功すると、その結果をアプリケーション実行許可部６０５に通知する。そして、アプリケーション実行許可部６０５は、ユーザーの判別・認証処理が成功裏に終了した旨の結果をユーザー判別・認証部６０２から受け取ると、このユーザーが以降に行なうアプリケーションの実行指示に応じてアプリケーションの実行を許可する。

認証に成功した結果は、ユーザーが画像表示装置１を頭部又は顔部に装着し続けている間は、有効にしてもよい。あるいは、装着し続けている場合であっても、一定の時間毎、視聴コンテンツの区切り毎に、再度、判定パターンの入力を要求して、ユーザー判別・認証処理を行なうようにしてもよい。

一方、入力された判定パターンと事前に登録しておいた認証パターンとの一致度が所定の閾値以下であるときには（ステップＳ２１０６のＮｏ）、ユーザー判別・認証部６０２は、ユーザー判別若しくは認証処理に失敗したものとして、認証失敗画面（図示しない）を表示する（ステップＳ２１０８）。その後、ステップＳ２１０４に戻り、再度、ユーザーからの判定パターンの入力を受け付けて、ユーザー判別・認証処理を繰り返し実行する。但し、認証処理の失敗回数が所定回数に到達した場合や、図２１に示した処理手順を開始してから所定時間内に認証処理が完了しない場合には、当該ユーザーを認証できなかったものとして本処理ルーチンを終了する。

ユーザー判別・認証部６０２は、ユーザーの判別や認証処理に失敗すると、その結果をアプリケーション実行許可部６０５に通知する。そして、アプリケーション実行許可部６０５は、ユーザーの判別・認証処理が失敗した旨の結果をユーザー判別・認証部６０２から受け取ると、このユーザーが以降に行なったアプリケーションの実行指示に対し、アプリケーションの実行を拒否する。

このように本実施形態によれば、画像表示装置１は、ユーザーから直接入力される判定パターンに基づいてユーザー判別・認証処理を簡易且つ安価に行ない、その結果に基づいてアプリケーションの実行を許可又は拒否することができる。

なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）ユーザーの頭部又は顔部に装着して用いられる画像表示装置であって、
前記ユーザー側から見える内側画像を表示する表示部と、
前記ユーザーから判定パターンを入力する入力部と、
前記判定パターンを判定する判定部と、
前記判定部による判定結果に基づいて前記画像表示装置を制御する制御部と、
を具備する画像表示装置。
（２）前記判定部は、前記ユーザーの真正性を判定し、
前記制御部は、前記ユーザーが真正か否かに基づいて、前記画像表示装置上で所定の処理を実行するか否かを決定する、
上記（１）に記載の画像表示装置。
（３）真正なユーザーが前記入力部を介して入力した認証パターンを事前に登録する認証パターン登録部をさらに備え、
前記判定部は、前記ユーザーが前記入力部を介して入力した判定パターンと、前記認証パターン登録部に事前登録した認証パターンとの一致度に基づいて、前記ユーザーの真正性をチェックする、
上記（１）に記載の画像表示装置。
（４）前記ユーザーの視線を検出する視線検出部をさらに備え、
前記入力部は、前記視線検出部から取得される前記ユーザーの注視点位置又は注視点の移動に基づく判定パターンを入力する、
上記（１）に記載の画像表示装置。
（５）前記視線検出部は、前記ユーザーの眼を撮影可能な内側カメラ、筋電センサー、眼電センサーのうち少なくとも１つからなる、
上記（４）に記載の画像表示装置。
（６）前記画像表示装置を装着中の前記ユーザーの頭部又は身体の動きを検出する動き検出部をさらに備え、
前記入力部は、前記動き検出部から取得される前記ユーザーの頭部又は身体の動きに基づく判定パターンを入力する、
上記（１）に記載の画像表示装置。
（７）前記動き検出部は、加速度センサー、ジャイロ・センサー、カメラのうち少なくとも１つからなる、
上記（６）に記載の画像表示装置。
（８）前記ユーザーが発する音声を検出する音声検出部をさらに備え、
前記入力部は、前記音声検出部から取得される音声に基づく判定パターンを入力する、
上記（１）に記載の画像表示装置。
（９）前記ユーザーが発声した際の発話骨伝導信号を検出する骨伝導信号検出部をさらに備え、
前記入力部は、前記骨伝導検出部から取得される発話骨伝導信号に基づく判定パターンを入力する、
上記（１）に記載の画像表示装置。
（１０）前記ユーザーの顔又は顔パーツの形状特徴を検出する特徴検出部をさらに備え、
前記入力部は、前記ユーザーの顔又は顔パーツの形状特徴に基づく判定パターンを入力する、
上記（１）に記載の画像表示装置。
（１１）前記特徴検出部は、前記ユーザーの目の形状や両目の間隔、鼻の形状、口の形状や口の開閉動作、まつ毛、眉毛、耳たぶのうち少なくとも１つの形状特徴を検出する、
上記（１０）に記載の画像表示装置。
（１２）前記ユーザーの瞬目動作を検出する瞬目検出部をさらに備え、
前記入力部は、前記瞬目検出部から取得される前記ユーザーの瞬目に基づく判定パターンを入力する、
上記（１）に記載の画像表示装置。
（１３）前記瞬目検出部は、前記ユーザーの眼を撮影可能な内側カメラ、筋電センサー、眼電センサーのうち少なくとも１つからなる、
上記（１２）に記載の画像表示装置。
（１４）前記ユーザーの手、指、又は指紋の形状特徴を検出する特徴検出部をさらに備え、
前記入力部は、前記ユーザーの手、指、又は指紋の形状特徴に基づく判定パターンを入力する、
上記（１）に記載の画像表示装置。
（１５）前記ユーザーが身に付ける認証済みデバイスと人体通信を行なう人体通信部をさらに備え、
前記入力部は、前記人体通信部が前記認証済みデバイスから読み取った情報に基づく判定パターンを入力する、
上記（１）に記載の画像表示装置。
（１６）前記ユーザーが前記入力部を介して判定パターンを入力する動作の案内となる案内情報を前記表示部に表示する案内情報表示部をさらに備える、
上記（１）に記載の画像表示装置。
（１７）前記ユーザーが前記認証パターン登録部に認証パターンを事前登録する際に、人使用パターンを入力する動作の案内となる案内情報を前記表示部に表示する案内情報表示部をさらに備える、
上記（３）に記載の画像表示装置。
（１８）前記ユーザーが前記入力部を介して判定パターンを入力した結果を前記表示部に表示する入力結果表示部をさらに備える、
上記（１）に記載の画像表示装置。
（１９）ユーザーの頭部又は顔部に装着して用いられる画像表示装置における画像表示方法であって、
前記ユーザーから判定パターンを入力する入力ステップと、
前記判定パターンを判定する判定ステップと、
前記判定ステップにおける判定結果に基づいて前記画像表示装置を制御する制御ステップと、
を有する画像表示方法。
（２０）ユーザーの頭部又は顔部に装着して用いられる画像表示装置の動作をコンピューター上で制御するようにコンピューター可読形式で記述されたコンピューター・プログラムであって、前記コンピューターを、
前記ユーザー側から見える内側画像を表示する表示部、
前記ユーザーから判定パターンを入力する入力部、
前記判定パターンを判定する判定部、
前記判定部による判定結果に基づいて前記画像表示装置を制御する制御部、
として機能させるためのコンピューター・プログラム。

特開２００３−１６７８５５号公報 特開２００７−３２２７６９号公報 特開２０１２−８８７１５号公報 特開２０１２−１４１４６１号公報 特開平６−３１８１８６号公報 米国特許第８１３６０５３号公報

以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。

頭部装着型の画像表示装置は、遮光性のタイプと透過性のタイプに分類することができるが、本明細書で開示する技術はこれらのいずれのタイプにも適用することができる。また、頭部装着型の画像表示装置は、左右両方の眼に表示部を備えた両眼タイプと、左右いずれか一方にのみ表示部を備えた単眼タイプに分類することができるが、本明細書で開示する技術はこれらのいずれのタイプにも適用することができる。

要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。

５０１…制御部、５０１Ａ…ＲＯＭ、５０１Ｂ…ＲＡＭ
５０２…入力操作部、５０３…リモコン受信部
５０４…環境情報取得部、５０５…状態情報取得部
５０６…通信部、５０７…画像処理部
５０８…表示駆動部、５０９…表示パネル、５１０…虚像光学部
６０１…動作入力部、６０２…ユーザー判別・認証部
６０３…認証パターン登録部、６０４…認証パターン保持部
６０５…アプリケーション実行許可部、６０６…ユーザー権限保持部
６０７…表示制御部
７０１…クラウド・コンピューター

Claims (20)

1. ユーザーの頭部又は顔部に装着して用いられる画像表示装置であって、
   前記ユーザー側から見える内側画像を表示する表示部と、
   前記ユーザーから判定パターンを入力する入力部と、
   前記判定パターンを判定する判定部と、
   前記判定部による判定結果に基づいて前記画像表示装置を制御する制御部と、
   を具備する画像表示装置。
2. 前記判定部は、前記ユーザーの真正性を判定し、
   前記制御部は、前記ユーザーが真正か否かに基づいて、前記画像表示装置上で所定の処理を実行するか否かを決定する、
   請求項１に記載の画像表示装置。
3. 真正なユーザーが前記入力部を介して入力した認証パターンを事前に登録する認証パターン登録部をさらに備え、
   前記判定部は、前記ユーザーが前記入力部を介して入力した判定パターンと、前記認証パターン登録部に事前登録した認証パターンとの一致度に基づいて、前記ユーザーの真正性をチェックする、
   請求項１に記載の画像表示装置。
4. 前記ユーザーの視線を検出する視線検出部をさらに備え、
   前記入力部は、前記視線検出部から取得される前記ユーザーの注視点位置又は注視点の移動に基づく判定パターンを入力する、
   請求項１に記載の画像表示装置。
5. 前記視線検出部は、前記ユーザーの眼を撮影可能な内側カメラ、筋電センサー、眼電センサーのうち少なくとも１つからなる、
   請求項４に記載の画像表示装置。
6. 前記画像表示装置を装着中の前記ユーザーの頭部又は身体の動きを検出する動き検出部をさらに備え、
   前記入力部は、前記動き検出部から取得される前記ユーザーの頭部又は身体の動きに基づく判定パターンを入力する、
   請求項１に記載の画像表示装置。
7. 前記動き検出部は、加速度センサー、ジャイロ・センサー、カメラのうち少なくとも１つからなる、
   請求項６に記載の画像表示装置。
8. 前記ユーザーが発する音声を検出する音声検出部をさらに備え、
   前記入力部は、前記音声検出部から取得される音声に基づく判定パターンを入力する、
   請求項１に記載の画像表示装置。
9. 前記ユーザーが発声した際の発話骨伝導信号を検出する骨伝導信号検出部をさらに備え、
   前記入力部は、前記骨伝導検出部から取得される発話骨伝導信号に基づく判定パターンを入力する、
   請求項１に記載の画像表示装置。
10. 前記ユーザーの顔又は顔パーツの形状特徴を検出する特徴検出部をさらに備え、
    前記入力部は、前記ユーザーの顔又は顔パーツの形状特徴に基づく判定パターンを入力する、
    請求項１に記載の画像表示装置。
11. 前記特徴検出部は、前記ユーザーの目の形状や両目の間隔、鼻の形状、口の形状や口の開閉動作、まつ毛、眉毛、耳たぶのうち少なくとも１つの形状特徴を検出する、
    請求項１０に記載の画像表示装置。
12. 前記ユーザーの瞬目動作を検出する瞬目検出部をさらに備え、
    前記入力部は、前記瞬目検出部から取得される前記ユーザーの瞬目に基づく判定パターンを入力する、
    請求項１に記載の画像表示装置。
13. 前記瞬目検出部は、前記ユーザーの眼を撮影可能な内側カメラ、筋電センサー、眼電センサーのうち少なくとも１つからなる、
    請求項１２に記載の画像表示装置。
14. 前記ユーザーの手、指、又は指紋の形状特徴を検出する特徴検出部をさらに備え、
    前記入力部は、前記ユーザーの手、指、又は指紋の形状特徴に基づく判定パターンを入力する、
    請求項１に記載の画像表示装置。
15. 前記ユーザーが身に付ける認証済みデバイスと人体通信を行なう人体通信部をさらに備え、
    前記入力部は、前記人体通信部が前記認証済みデバイスから読み取った情報に基づく判定パターンを入力する、
    請求項１に記載の画像表示装置。
16. 前記ユーザーが前記入力部を介して判定パターンを入力する動作の案内となる案内情報を前記表示部に表示する案内情報表示部をさらに備える、
    請求項１に記載の画像表示装置。
17. 前記ユーザーが前記認証パターン登録部に認証パターンを事前登録する際に、認証パターンを入力する動作の案内となる案内情報を前記表示部に表示する案内情報表示部をさらに備える、
    請求項３に記載の画像表示装置。
18. 前記ユーザーが前記入力部を介して判定パターンを入力した結果を前記表示部に表示する入力結果表示部をさらに備える、
    請求項１に記載の画像表示装置。
19. ユーザーの頭部又は顔部に装着して用いられる画像表示装置における画像表示方法であって、
    前記ユーザーから判定パターンを入力する入力ステップと、
    前記判定パターンを判定する判定ステップと、
    前記判定ステップにおける判定結果に基づいて前記画像表示装置を制御する制御ステップと、
    を有する画像表示方法。
20. ユーザーの頭部又は顔部に装着して用いられる画像表示装置の動作をコンピューター上で制御するようにコンピューター可読形式で記述されたコンピューター・プログラムであって、前記コンピューターを、
    前記ユーザー側から見える内側画像を表示する表示部、
    前記ユーザーから判定パターンを入力する入力部、
    前記判定パターンを判定する判定部、
    前記判定部による判定結果に基づいて前記画像表示装置を制御する制御部、
    として機能させるためのコンピューター・プログラム。