JP2017009777A - 表示装置、表示装置の制御方法、表示システム、及び、プログラム - Google Patents

表示装置、表示装置の制御方法、表示システム、及び、プログラム Download PDF

Info

Publication number
JP2017009777A
JP2017009777A JP2015124440A JP2015124440A JP2017009777A JP 2017009777 A JP2017009777 A JP 2017009777A JP 2015124440 A JP2015124440 A JP 2015124440A JP 2015124440 A JP2015124440 A JP 2015124440A JP 2017009777 A JP2017009777 A JP 2017009777A
Authority
JP
Japan
Prior art keywords
information
display
unit
image
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015124440A
Other languages
English (en)
Other versions
JP6701631B2 (ja
Inventor
辰典 ▲高▼橋
辰典 ▲高▼橋
Tatsunori Takahashi
高野 正秀
Masahide Takano
正秀 高野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2015124440A priority Critical patent/JP6701631B2/ja
Priority to US14/878,545 priority patent/US20160116740A1/en
Publication of JP2017009777A publication Critical patent/JP2017009777A/ja
Application granted granted Critical
Publication of JP6701631B2 publication Critical patent/JP6701631B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Controls And Circuits For Display Device (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

【課題】表示装置を使用者に合わせて設定する際の、使用者の負担を軽減する。【解決手段】頭部装着型表示装置100は、記憶部120と、入力部としての第1カメラ61及び生体情報検出部181と、情報表示制御部186とを備える。記憶部120は、画像表示部20の表示に関する設定情報を、使用者を識別する識別情報に対応付けて記憶する。また、入力部としての第1カメラ61は、使用者の手の画像を撮像し、入力部としての生体情報検出部181は、撮像画像から生体情報を抽出する。情報表示制御部186は、入力した生体情報に対応する設定情報に基づいて、画像表示部20の表示を制御する。【選択図】図4

Description

本発明は、表示装置、表示装置の制御方法、表示システム、及び、プログラムに関する。
従来、頭部装着型の表示装置が知られている。この種の表示装置の中に、装置を装着する使用者が、装置の動作に関する設定を行うことが可能なものがある(例えば、特許文献1参照)。特許文献1は、使用者であるプレイヤーの頭部に装着する表示装置において、画像の表示位置の位置合わせを行うことで、より自然な表示を行うことが可能な構成を開示している。
特開2002−159019号公報
上述のように、頭部装着型の表示装置は、調整を行うことで、例えば使用者の個人差による使用感の低下を防止できる。しかしながら、表示装置を使用するごとに調整を行うことは煩雑である。また、例えば、複数の使用者が表示装置を共用する場合、それぞれの使用者が表示装置を装着するごとに調整を行わなければならず、操作の負担が大きい。
本発明は上記事情に鑑みてなされたものであり、表示装置を使用者に合わせて設定する際の、使用者の負担を軽減することを目的とする。
上記目的を達成するために、本発明の表示装置は、頭部装着型の表示部を備える表示装置であって、前記表示部の表示に関する設定情報を、使用者を識別する識別情報に対応付けて記憶する記憶部と、前記識別情報を入力する入力部と、入力した前記識別情報に対応する設定情報に基づいて、前記表示部の表示を制御する制御部とを備えることを特徴とする。
本発明によれば、設定情報に基づき表示装置の表示に係る設定を行えるので、使用者に合わせた設定を、速やかに行うことができる。
また、本発明は、上記表示装置において、撮像部を備え、前記入力部は、前記撮像部の撮像画像に基づく前記識別情報を入力し、前記制御部は、前記記憶部に記憶した前記識別情報のうち、前記入力部が入力する前記識別情報に対応する前記識別情報を特定し、特定した前記識別情報に対応付けて記憶された前記設定情報に基づいて、前記表示部の表示を制御する、ことを特徴とする。
本発明によれば、撮像画像を利用して、表示装置の表示に係る設定を行えるので、使用者に合わせた設定を、速やかに行うことができる。
また、本発明は、上記表示装置において、前記記憶部が記憶する前記識別情報は、前記使用者の生体情報に含まれる特徴の一部を含む、ことを特徴とする。
本発明によれば、識別情報として生体情報を用いることで使用者を識別が可能であり、使用者の生体情報に含まれる特徴の一部を含むことで情報量を削減し、身体的な特徴に応じた簡易な設定が可能になる。
また、本発明は、上記表示装置において、前記制御部は、前記入力部により前記識別情報として入力される生体情報の特徴の一部と、前記記憶部が記憶する前記生体情報の特徴の一部とを照合して、前記設定情報を特定することを特徴とする。
本発明によれば、身体的な特徴に応じた簡易な設定が可能になる。
また、本発明は、上記表示装置において、前記識別情報は、前記撮像部の撮像画像から抽出される画像に係る画像情報を含む、ことを特徴とする。
本発明によれば、撮像画像から抽出される画像を利用して、表示装置の表示に係る設定を行うことができる。
また、本発明は、上記表示装置において、前記制御部は、前記入力部により入力される前記識別情報に含まれる前記画像情報と、前記記憶部が記憶する前記画像情報とを照合することにより、前記設定情報を特定する、ことを特徴とする。
本発明によれば、撮像画像から抽出される画像を利用して簡易に認証を実行し、表示装置の表示に係る設定を行うことができる。
また、本発明は、上記表示装置において、前記識別情報は、前記使用者の生体情報に含まれる特徴の一部を含む第1識別情報、及び、前記画像情報で構成される第2識別情報を含み、前記記憶部は、前記第1識別情報と、前記第2識別情報と、前記設定情報とを対応付けて記憶する、ことを特徴とする。
本発明によれば、生体情報と、撮像画像から抽出される画像に係る情報とを利用して、表示装置の表示に係る設定を行うことができる。また、複数の情報を組み合わせることによって、より多くの設定情報を使い分けることが可能となる。
また、本発明は、上記表示装置において、前記制御部は、前記入力部により入力される前記識別情報に含まれる前記第1識別情報及び前記第2識別情報に基づいて、前記記憶部に記憶された前記設定情報を特定する、ことを特徴とする。
本発明によれば、生体情報と、撮像画像から抽出される画像に係る情報とを組み合わせることによって、より多くの設定を使い分けることが可能となる。
また、本発明は、上記表示装置において、前記制御部は、前記入力部により入力される前記識別情報に含まれる前記第1識別情報及び前記第2識別情報の組合せに対応付けて前記記憶部に記憶された前記設定情報を特定する、ことを特徴とする。
本発明によれば、生体情報と、撮像画像から抽出される画像に係る情報とを組み合わせることによって、より多くの設定を使い分けることが可能となる。
また、本発明は、上記表示装置において、前記制御部は、前記入力部により入力される前記識別情報に含まれる前記第1識別情報及び前記第2識別情報のいずれか一方に基づいて、前記記憶部に記憶された前記設定情報から複数の前記設定情報を選択し、選択した前記設定情報のうち、前記入力部により入力される前記識別情報に含まれる前記第1識別情報及び前記第2識別情報のうちの他方に対応する前記設定情報を特定する、ことを特徴とする。
本発明によれば、複数の情報を利用して2段階で設定情報を特定することができ、より多くの設定を効率よく使い分けることが可能となる。
また、本発明は、上記表示装置において、前記画像情報は、前記撮像画像から抽出または検出可能な情報であって、それ単独で生体の個体識別が可能な情報を含まない非生体固有情報である、ことを特徴とする。
本発明によれば、単独で生体の個体識別が可能な情報を含まない情報を利用して、予め記憶した設定を選択し、表示装置の表示に係る設定を行える。
また、本発明は、上記表示装置において、前記画像情報は、建物を含む前記撮像画像から建物の形状を含む情報を抽出した外景情報、識別用の非生物の物体を撮像した前記撮像画像から抽出される識別用物体情報、及び、移動する物体を撮影した複数の前記撮像画像から抽出される物体の軌跡に係る軌跡情報のいずれかを含むこと、を特徴とする。
本発明によれば、建物を含む撮像画像、識別用の非生物の物体を撮像した撮像画像、或いは、移動する物体を撮影した複数の撮像画像を利用して、予め記憶した設定を選択し、表示装置の表示に係る設定を行える。
また、本発明は、上記表示装置において、前記表示部は、前記使用者の右眼及び左眼に対応して画像を表示する両眼表示と、前記使用者の右眼及び左眼のいずれかに対応して画像を表示する片眼表示とを切り替えて実行可能であり、前記制御部は、前記入力部により入力する前記識別情報に対応する前記設定情報に基づいて、前記表示部の表示を制御するまでの間は前記表示部に片眼表示を行わせ、前記設定情報に基づいて表示が制御される際に前記表示部を両眼表示に切り替える、ことを特徴とする。
本発明によれば、表示部の表示に対し設定が反映されない間、使用者の違和感を軽減できる。
また、本発明は、上記表示装置において、前記表示部は、外景を透過し、前記外景とともに視認できるように画像を表示し、前記制御部は、前記画像の表示位置及び表示サイズの少なくともいずれかを、前記設定情報に対応して複数段階に変更することを特徴とする。
本発明によれば、画像の表示位置及び表示サイズを、使用者に合わせて段階的に設定できる。
また、本発明は、上記表示装置において、前記表示部は、外景を透過し、前記外景とともに視認できるように画像光を前記使用者の眼に入射する光学素子と、前記使用者の視線方向の対象物を検出する対象検出部と、前記表示部の表示領域に対する前記対象物の位置を検出する位置検出部と、を備え、前記制御部は、前記位置検出部で検出した前記対象物の位置、及び、前記光学素子と前記使用者の瞳孔の位置との位置関係に応じて、前記光学素子による前記画像の表示位置を変更することを特徴とする。
本発明によれば、画像の表示位置を使用者に合わせて設定できる。
また、本発明は、上記表示装置において、前記設定情報は、言語の設定に関する情報を含み、前記制御部は、前記表示部に、文字を含むコンテンツを表示する場合に、前記設定情報に対応した言語の文字を前記表示部に表示させることを特徴とする。
本発明によれば、表示部に表示する文字の言語を、使用者に合わせて設定できる。
また、本発明は、上記表示装置において、通信部を備え、前記制御部は、前記記憶部に記憶する前記設定情報と前記識別情報とを対応付けて、前記通信部により外部の装置に送信し、前記通信部により前記設定情報と前記識別情報とを受信し、受信した前記設定情報と前記識別情報とを対応付けて前記記憶部に記憶することを特徴とする。
本発明によれば、設定情報と識別情報とを外部の装置に送信し、或いは、外部の装置から受信できる。これにより、設定情報と識別情報とを容易に取得して記憶でき、外部の装置と設定情報及び識別情報を共有できる。
また、上記目的を達成するために、本発明の表示システムは、頭部装着型の表示部をそれぞれ備える複数の表示装置を備え、前記表示装置は、前記表示部の表示に関する設定情報を、使用者を識別する識別情報に対応付けて記憶する記憶部と、前記識別情報を入力する入力部と、入力した前記識別情報に対応する設定情報に基づいて、前記表示部の表示を制御する制御部と、他の前記表示装置と通信する通信部と、を備え、前記制御部は、前記記憶部に記憶する前記設定情報と前記識別情報とを対応付けて、前記通信部により送信し、前記通信部により前記設定情報と前記識別情報とを受信し、受信した前記設定情報と前記識別情報とを対応付けて前記記憶部に記憶することを特徴とする。
本発明によれば、設定情報に基づき表示装置の表示に係る設定を行えるので、使用者に合わせた設定を、速やかに行うことができる。また、設定情報と識別情報とを表示装置間で送受信するので、設定情報と識別情報とを、複数の表示装置間で共有できる。
また、上記目的を達成するために、本発明の表示装置の制御方法は、頭部装着型の表示部を備える表示装置の制御方法であって、識別情報を入力するステップと、前記表示部の表示に関する設定情報を、使用者を識別する識別情報に対応付けて記憶する記憶部を参照して、入力した前記識別情報に対応する設定情報に基づいて、前記表示部の表示を制御するステップと、を備えることを特徴とする。
本発明によれば、設定情報に基づき表示装置の表示に係る設定を行えるので、使用者に合わせた設定を、速やかに行うことができる。
また、上記目的を達成するために、本発明のプログラムは、頭部装着型の表示部を備える表示装置を制御するコンピューターが実行可能なプログラムであって、コンピューターを、識別情報を入力する入力部と、前記表示部の表示に関する設定情報を、使用者を識別する識別情報に対応付けて記憶する記憶部を参照して、入力した前記識別情報に対応する設定情報に基づいて、前記表示部の表示を制御する制御部として機能させる。
本発明によれば、設定情報に基づき表示装置の表示に係る設定を行えるので、使用者に合わせた設定を、速やかに行うことができる。
第1実施形態の通信システム及び表示システムの概略構成図。 頭部装着型表示装置の外観構成を示す説明図。 導光板の構成を示す平面図。 頭部装着型表示装置を構成する各部の機能ブロック図。 使用者情報テーブルの構成例を示す模式図。 情報登録モードにおける頭部装着型表示装置の動作を示すフローチャート。 情報登録モードで頭部装着型表示装置が表示する画像の例を示し、(A)はシルエット画像の例を示し、(B)はシルエット画像を用いた調整の例を示す。 使用者情報を登録する頭部装着型表示装置の動作を示すフローチャート。 頭部装着型表示装置が表示する画像の例として、シルエット画像に追加ガイドを表示した例を示す。 通信データの構成例を示す模式図。 第2実施形態の頭部装着型表示装置の動作を示すフローチャート。 頭部装着型表示装置が出力するメッセージの例を示す図。 第3実施形態の頭部装着型表示装置の動作を示すフローチャート。 第4実施形態の頭部装着型表示装置の動作を示すフローチャート。 第4実施形態の頭部装着型表示装置の表示例を示す図。 第5実施形態の頭部装着型表示装置の動作を示すフローチャート。 第5実施形態の頭部装着型表示装置が記憶する使用者情報テーブルの例を示す図。 第5実施形態の頭部装着型表示装置が認識する画像の例を示す図。 第6実施形態の頭部装着型表示装置の動作を示すフローチャート。 第6実施形態の頭部装着型表示装置が記憶する使用者情報テーブルの例を示す図。
図1は、本発明を適用した実施形態として、通信システム1の構成を示す概略構成図である。通信システム1は、複数の頭部装着型表示装置100を備えた表示システム2を、通信ネットワーク4を介してサーバー5に接続したシステムである。
頭部装着型表示装置100は、図1に示すように使用者が頭部に装着する表示装置であり、ヘッドマウントディスプレイ(Head Mounted Display、HMD)とも呼ばれる。頭部装着型表示装置100は、使用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置である。
なお、以下の説明では、頭部装着型表示装置100によって使用者が視認する虚像を便宜的に「表示画像」とも呼ぶ。また、画像データに基づいて生成された画像光を射出することを「画像を表示する」ともいう。
図1には、表示システム2が備える複数の頭部装着型表示装置100を、それぞれ、頭部装着型表示装置100A、100Bとする。以下では、頭部装着型表示装置100A、100Bを区別する必要のない場合、頭部装着型表示装置100と記載する。
通信ネットワーク4は、公衆回線網、専用線、携帯電話回線を含む無線通信回線、及び、これらの回線のバックボーン通信回線など、各種の通信回線またはその組合せで実現され、その具体的構成は限定されない。通信ネットワーク4は、遠隔地を接続できる広域通信回線網であってもよいし、特定の施設や建物内に敷設されたLAN(Local Area Network)であってもよい。また、通信ネットワーク4、上記各種通信回線を接続するサーバー装置、ゲートウェイ装置、ルーター装置等のネットワーク機器を含んでもよい。また、通信ネットワーク4が複数の通信回線で構成されてもよい。
表示システム2は、建物内等に設置されるLAN等を利用して構成される。表示システム2は、無線通信を行う無線アクセスポイント3と、複数の頭部装着型表示装置100A、100Bとを備える。無線アクセスポイント3は、アクセスポイントやルーター等の通信装置であり、頭部装着型表示装置100Aと頭部装着型表示装置100Bとの間のデータ通信、及び、頭部装着型表示装置100A、100Bと通信ネットワーク4とのデータ通信を中継する。
頭部装着型表示装置100Aは、無線アクセスポイント3を介して他の頭部装着型表示装置100Bとデータ通信を実行できる。また、頭部装着型表示装置100A、100Bは、無線アクセスポイント3を介して、サーバー5との間でデータ通信を実行する。なお、それぞれの頭部装着型表示装置100Aは、他の頭部装着型表示装置100Bとの間で、例えばアドホックモードで直接、無線通信を実行してもよい。また、有線の通信回線により頭部装着型表示装置100A、100Bが接続されてもよい。
すなわち、表示システム2は、頭部装着型表示装置100Aが頭部装着型表示装置100Bと通信可能であれば、その構成は特に限定されない。また、通信システム1は、表示システム2が備える頭部装着型表示装置100A、100Bと、サーバー5との通信が可能な構成であればよい。
図2は、頭部装着型表示装置100の外観構成を示す説明図である。上述の頭部装着型表示装置100A、100Bは共通の構成を有するため、以下に頭部装着型表示装置100として説明する。
頭部装着型表示装置100は、使用者の頭部に装着された状態で使用者に虚像を視認させる画像表示部20と、画像表示部20を制御する制御装置10と、を備えている。制御装置10は、使用者が頭部装着型表示装置100を操作するコントローラーとしても機能する。
画像表示部20は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部20は、右保持部21と、右表示駆動部22と、左保持部23と、左表示駆動部24と、右光学像表示部26と、左光学像表示部28と、第1カメラ61と、第2カメラ62と、マイク63とを備える。右光学像表示部26及び左光学像表示部28は、それぞれ、使用者が画像表示部20を装着した際に使用者の右及び左の眼前に位置するように配置されている。右光学像表示部26の一端と左光学像表示部28の一端とは、使用者が画像表示部20を装着した際の使用者の眉間に対応する位置で、互いに接続されている。
右保持部21は、右光学像表示部26の他端である端部ERから、使用者が画像表示部20を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部23は、左光学像表示部28の他端である端部ELから、使用者が画像表示部20を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部21及び左保持部23は、眼鏡のテンプル(つる)のようにして、使用者の頭部に画像表示部20を保持する。
右表示駆動部22と左表示駆動部24とは、使用者が画像表示部20を装着した際の使用者の頭部に対向する側に配置されている。なお、右表示駆動部22及び左表示駆動部24を総称して単に「表示駆動部」とも呼び、右光学像表示部26及び左光学像表示部28を総称して単に「光学像表示部」とも呼ぶ。
表示駆動部22,24は、液晶ディスプレイ241,242(Liquid Crystal Display、以下「LCD241,242」とも呼ぶ)や投写光学系251,252等を含む(図4参照)。表示駆動部22,24の構成の詳細は後述する。光学部材としての光学像表示部26,28は、導光板261,262(図4参照)と調光板20Aとを備える。導光板261,262は、光透過性の樹脂等によって形成され、表示駆動部22,24から出力された画像光を使用者の眼に導く。調光板20Aは、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部20の表側を覆うように配置されている。調光板20Aは、光透過性がほぼゼロのもの、透明に近いもの、光量を減衰させて光を透過するもの、特定の波長の光を減衰又は反射するもの等、種々のものを用いることができる。調光板20Aの光学特性(光透過率など)を適宜選択することにより、外部から右光学像表示部26及び左光学像表示部28に入射する外光量を調整して、虚像の視認のしやすさを調整できる。本実施形態では、少なくとも、頭部装着型表示装置100を装着した使用者が外の景色を視認できる程度の光透過性を有する調光板20Aを用いる場合について説明する。調光板20Aは、右導光板261及び左導光板262を保護し、右導光板261及び左導光板262の損傷や汚れの付着等を抑制する。
調光板20Aは、右光学像表示部26及び左光学像表示部28に対し着脱可能としてもよく、複数種類の調光板20Aを交換して装着可能としてもよいし、省略してもよい。
入力部としての第1カメラ61は、右光学像表示部26の他端である端部ERに配置される。第1カメラ61は、使用者の眼の側とは反対側方向の外部の景色である外景を撮像し、外景画像を取得する。第1カメラ61は、単眼カメラであってもステレオカメラであってもよい。
第1カメラ61の撮像方向すなわち画角は、頭部装着型表示装置100の表側方向、換言すれば、頭部装着型表示装置100を装着した状態における使用者の視界方向の少なくとも一部の外景を撮像する方向である。また、第1カメラ61の画角の広さは適宜設定可能であるが、第1カメラ61の撮像範囲が、使用者が右光学像表示部26、左光学像表示部28を通して視認する外界を含む範囲であることが好ましい。さらに、調光板20Aを通した使用者の視界の全体を撮像できるように第1カメラ61の撮像範囲が設定されているとより好ましい。
第2カメラ62は、右光学像表示部26と左光学像表示部28との境目部分、すなわち、使用者の左右の眼の中間位置に配置される。第2カメラ62は、画像表示部20の内側を向いており、使用者の眼の側を撮像する。第2カメラ62は、単眼カメラであってもステレオカメラであってもよい。
図3は、左導光板262の構成を平面図により示す。使用者の左眼と右眼に虚像を視認させる構成は左右対称である。このため、ここでは左導光板262についてのみ説明し、右導光板261は図3の左導光板262と左右対称の構成であるため図示及び説明を省略する。
画像表示部20の左表示駆動部24は、LED等の光源と拡散板とを有する左バックライト222と、左バックライト222の拡散板から発せられる光の光路上に配置される透過型の左LCD242とを備える。また、画像表示部20の左表示駆動部24は、及び左LCD242を透過した画像光Lを導くレンズ群等を備えた左投写光学系252を備える。
左投写光学系252は、左LCD242から射出された画像光Lを並行状態の光束にするコリメートレンズによって構成される。コリメートレンズにより並行状態の光束にされた画像光Lは、左導光板262に入射される。左導光板262は、画像光Lを反射する複数の反射面が形成されたプリズムであり、画像光Lは、左導光板262の内部において複数回の反射を経て左眼LE側に導かれる。そして、左眼LEの眼前に位置するハーフミラー262Aで反射した画像光Lは左眼LEに向けて左光学像表示部28から射出され、この画像光Lが左眼LEの網膜に像を結び、使用者に画像を視認させる。
なお、左投写光学系252と左導光板262とを総称して「導光部」とも呼ぶ。この導光部は、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いても良いし、半透過反射膜を用いても良い。
使用者の左眼LEには、ハーフミラー262Aで反射した画像光Lだけでなく、調光板20Aを透過した外光OLが入射する。つまり、頭部装着型表示装置100は、内部で処理した画像の画像光Lと外光OLとを重ねて使用者の眼に入射させ、使用者にとっては、頭部装着型表示装置100の調光板20Aを透かして外景が見え、この外景に重ねて、画像光Lによる画像が視認される。つまり、頭部装着型表示装置100は、シースルー型の表示装置といえる。
また、図示はしないが、右導光板261は、ハーフミラー261Aを備える。ハーフミラー261Aの構成は、図3のハーフミラー262Aと左右対称である。
図2に示す第2カメラ62の撮像方向すなわち画角は、頭部装着型表示装置100の裏側方向、換言すれば、頭部装着型表示装置100を装着した状態における使用者の顔を撮像する方向である。第2カメラ62は、使用者の眼の位置、眼間の距離、使用者の顔の画像(顔画像)を撮像できる。また、第2カメラ62の画角の広さは適宜設定可能であるが、頭部装着型表示装置100を装着した使用者の顔と、ハーフミラー261A、262Aとを撮像可能な範囲であることが好ましい。なお、第2カメラ62の画角は、ハーフミラー261A、262Aを撮像可能な画角でなくても、例えば、調光板20A等の光学素子を撮像可能な画角を有していればよい。後述する制御部140は、撮像された調光板20Aの角度に基づき、ハーフミラー261A、262Aの角度を算出する。
図2に戻り、頭部装着型表示装置100は、画像表示部20を制御装置10に接続するための接続部40を有している。接続部40は、制御装置10に接続される本体コード48と、右コード42と、左コード44と、連結部材46とを備える。右コード42と左コード44とは、本体コード48が2本に分岐したコードである。右コード42は、右保持部21の延伸方向の先端部APから右保持部21の筐体内に挿入され、右表示駆動部22に接続されている。同様に、左コード44は、左保持部23の延伸方向の先端部APから左保持部23の筐体内に挿入され、左表示駆動部24に接続される。
連結部材46は、本体コード48と、右コード42及び左コード44との分岐点に設けられ、イヤホンプラグ30を接続するためのジャックを有している。イヤホンプラグ30からは、右イヤホン32及び左イヤホン34が延伸している。イヤホンプラグ30の近傍にはマイク63が設けられている。イヤホンプラグ30からマイク63までは一本のコードにまとめられ、マイク63からコードが分岐して、右イヤホン32と左イヤホン34のそれぞれに繋がっている。
マイク63は、例えば図2に示すように、マイク63の集音部が使用者の視線方向を向くように配置され、音声を集音して、音声信号を音声処理部187(図4)に出力する。マイク63は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。
また、右コード42と左コード44とを一本のコードにまとめることも可能である。具体的には、右コード42の内部の導線を、画像表示部20の本体内部を通して左保持部23側に引き込み、左コード44内部の導線とともに樹脂で被覆して、一本のコードにまとめてもよい。
画像表示部20と制御装置10とは、接続部40を介して各種信号の伝送を行なう。本体コード48における連結部材46とは反対側の端部と、制御装置10とのそれぞれには、互いに嵌合するコネクター(図示略)が設けられている。本体コード48のコネクターと制御装置10のコネクターとの嵌合/嵌合解除により、制御装置10と画像表示部20とが接続されたり切り離されたりする。右コード42と、左コード44と、本体コード48とには、例えば、金属ケーブルや光ファイバーを採用できる。
制御装置10は、頭部装着型表示装置100を制御する。制御装置10は、決定キー11、点灯部12、表示切替キー13、輝度切替キー15、方向キー16、メニューキー17、及び電源スイッチ18を含むスイッチ類を備える。また、制御装置10は、使用者が指によりタッチ操作するトラックパッド14を備える。
決定キー11は、押下操作を検出して、制御装置10で操作された内容を決定する信号を出力する。点灯部12は、頭部装着型表示装置100の動作状態を、その発光状態によって通知する。頭部装着型表示装置100の動作状態としては、例えば、電源のON/OFF等がある。点灯部12としては、例えば、LED(Light Emitting Diode)が用いられる。表示切替キー13は、押下操作を検出して、例えば、コンテンツ動画の表示モードを3Dと2Dとに切り替える信号を出力する。
トラックパッド14は、トラックパッド14の操作面上での使用者の指の操作を検出して、検出内容に応じた信号を出力する。トラックパッド14としては、静電式や圧力検出式、光学式といった種々のトラックパッドを採用できる。輝度切替キー15は、押下操作を検出して、画像表示部20の輝度を増減する信号を出力する。方向キー16は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ18は、スイッチのスライド操作を検出することで、頭部装着型表示装置100の電源投入状態を切り替える。
図4は、頭部装着型表示装置100を構成する各部の機能ブロック図である。
図4に示すように、頭部装着型表示装置100は、インターフェイス125を介して外部機器OAに接続される。インターフェイス125は、制御装置10に対して、コンテンツの供給元となる種々の外部機器OAを接続するためのインターフェイスである。インターフェイス125としては、例えば、USBインターフェイス、マイクロUSBインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスを用いることができる。
外部機器OAは、頭部装着型表示装置100に画像を供給する画像供給装置として用いられ、例えば、パーソナルコンピューター(PC)や携帯電話端末、ゲーム端末等が用いられる。
頭部装着型表示装置100の制御装置10は、制御部140と、操作部111と、入力情報取得部110と、記憶部120と、インターフェイス125と、送信部(Tx)51及び送信部(Tx)52とを有している。
操作部111は、使用者による操作を検出する。操作部111は、図1に示した決定キー11、表示切替キー13、トラックパッド14、輝度切替キー15、方向キー16、メニューキー17及び電源スイッチ18の各部を備える。
入力情報取得部110は、使用者による操作入力に応じた信号を取得する。操作入力に応じた信号としては、例えば、トラックパッド14、方向キー16、電源スイッチ18、に対する操作入力がある。また、制御装置10は、電源部(図示略)を備え、制御装置10及び画像表示部20の各部に電源を供給する。
記憶部120は、不揮発性の記憶装置であって、種々のコンピュータープログラムを格納する。また、記憶部120には、頭部装着型表示装置100の画像表示部20に表示する画像データが格納されていても良い。
また、記憶部120は、使用者情報を登録する使用者情報テーブルを記憶する。使用者情報テーブルは、生体情報(識別情報)と、設定情報とを各使用者を識別する使用者IDに対応付けて登録したテーブルである。生体情報は、使用者を特定可能な、使用者本人に固有の生体に関する情報である。また、設定情報は、画像表示部20の表示に関する設定や、頭部装着型表示装置100の動作に関する設定の情報である。使用者情報テーブルの詳細については後述する。
例えば、使用者の眼とハーフミラー261A、262Aとの距離は、使用者の鼻の高さ、眼窩や眼球の大きさ等によって個人差がある。また、使用者の中には、左右の耳の高さが異なる人もおり、頭部装着型表示装置100を装着した場合に、画像表示部20が水平にならない場合もある。このように、使用者の頭部の解剖学的構造の個人差により、画像表示部20を装着したときの画像表示部20の各部と使用者の眼との相対的な位置関係が影響される。従って、使用者の身体に合うように、使用者の眼と光学素子との距離や、頭部装着型表示装置100を装着した際の光学素子の角度等を調整すれば、個人差を吸収して、良好な使用感を実現できる。
そこで、本実施形態の頭部装着型表示装置100は、使用者が初めて頭部装着型表示装置100を装着する際に、制御部140の制御によりキャリブレーションを行う。そして、頭部装着型表示装置100は、使用者の眼と光学素子との距離や、頭部装着型表示装置100を装着した際の光学素子の角度等を測定する。制御部140は、測定された使用者の設定情報を使用者情報テーブルに登録する。また、制御部140は、使用者情報テーブルには、使用者を特定可能な生体情報を、使用者の設定情報に対応付けて登録する。そして、使用者が頭部装着型表示装置100を実際に使用する際には、制御部140は、第1カメラ61の撮像画像から検出した生体情報に基づいて使用者を特定する。頭部装着型表示装置100は、特定した使用者の設定情報に応じて、画像表示部20が表示する画像の表示位置やサイズを調整する。
頭部装着型表示装置100が使用する生体情報としては、指紋、掌紋、掌線、網膜の血管パターン、顔の撮像画像、全身の撮像画像、声などが挙げられる。これらは頭部装着型表示装置100が備える入力部としての第1カメラ61、第2カメラ62、マイク63等で検出可能な情報である。掌線は、掌に表れる線状の皺(凹部)またはその組合せで構成される図形であり、いわゆる、手相の線をいう。また、使用者の手の絶対長、指の長さ、指の長さの比等を用いることも可能である。
本実施形態では、入力部として第1カメラ61を用い、画像として処理可能な生体情報を処理する例を示す。頭部装着型表示装置100は、指紋、掌紋、掌線、網膜の血管パターン、顔の撮像画像、全身の撮像画像等の生体情報そのものから、生体的な特徴である1つ又は複数の特徴情報を抽出し、抽出した特徴情報を使用する。例えば、生体情報が掌線である場合、特徴情報には、掌線の始点及び終点の位置座標、長さ比、曲率といった生体情報の特徴を表す複数の情報が含まれる。本実施形態では、手の絶対長、指の長さ比、掌線、及び、掌線を生体情報として利用する例を示す。
頭部装着型表示装置100が使用する生体情報は、記憶部120が記憶する使用者情報テーブルに登録される。
図5は、本実施形態で記憶部120が記憶する使用者情報テーブルの具体的な例を示す模式図である。図5(A)は、使用者情報テーブル120Aを示し、図5(B)は使用者情報テーブル120Aの情報を補完する掌線情報テーブル120Bを示す。使用者情報テーブル120Aに掌線情報テーブル120Bを加えたものが本実施形態の使用者情報テーブルに相当する。
使用者情報テーブル120A及び掌線情報テーブル120Bは、生体情報として、手の絶対長情報と、指の長さ比情報と、掌の面の角度情報と、掌線情報と含む。これらの生体情報は、第1カメラ61の撮像した使用者の手の撮像画像に基づいて、制御部140が検出する。使用者情報テーブル120A及び掌線情報テーブル120Bに登録された生体情報を、特に、登録生体情報と呼ぶ。
手の絶対長情報には、使用者の手の長手方向の長さと、短手向の長さ(単位:cm)とが含まれる。手の長手方向の長さは、例えば、手首から中指までの長さであり、短手方向の長さは、例えば、掌の幅である。また、指の長さ比は、手の長手方向の長さを基準とした指の長さである。指の長さ比は、使用者の各指の長さ比を登録してもよいし、例えば、人差し指の長さ比だけを登録してもよい。
掌の面の角度情報は、使用者が第1カメラ61に掌をかざした場合の掌の角度を示す情報である。この角度は、第1カメラ61の撮像面、或いは、導光板261,262や調光板20Aを基準とした角度である。例えば、撮像面に平行な場合を0度とした角度、導光板261、262のハーフミラー261A、262Aの画像光Lの光軸に対する角度、或いは、調光板20Aに平行な場合を0度とする角度である。掌の面の角度の測定は、例えば、第1カメラ61がステレオカメラである場合や、頭部装着型表示装置100が距離センサーを備えている場合に、第1カメラ61や距離センサーにより掌上の複数の測定点までの距離を測定することで実現できる。
掌線情報は、掌線の長さや掌線が構成する図形の形状に関する情報である。掌線情報は情報量が多いため、別のテーブルである掌線情報テーブル120Bに登録される。使用者情報テーブル120Aと掌線情報テーブル120Bとは、掌線情報IDにより紐付けられる。頭部装着型表示装置100は、第1カメラ61の撮像画像をもとに、使用者の掌の複数の掌線情報を得ることができる。図5(B)の掌線情報テーブル120Bでは、主な掌線に掌線IDが付され、各掌線の位置及び長さに関する情報が対応付けて格納され、この掌線を検出した使用者の使用者IDが対応付けて登録される。
掌線の始点及び終点座標は、原点を基準とした掌線の開始座標及び終了座標である。原点は、任意の位置に設定することができる。例えば、使用者の手を撮影した撮影画像の左上を原点としてもよいし、撮影画像から所定サイズで検出した使用者の手の領域の左上を原点としてもよい。また、掌線の長さ比は、手の長手方向の長さを基準にした掌線の長さであり、曲率は、例えば、1つの掌線の中で曲率が最大の値である。
登録生体情報として使用する生体情報は、図5(A)に挙げたものに限られず、眼間距離、瞳の色、顔の撮像画像等、簡易に計測可能な生体情報を簡易生体情報として使用者情報テーブル120Aに登録してもよい。
使用者情報テーブル120Aの設定情報は、眼間距離と、輻輳角と、眼と光学素子との相対位置と、光学素子の角度と、利き眼と、色彩情報と、明るさと、使用言語と、表示位置調整情報とを含む。眼間距離は、使用者の両眼の内側、すなわち目頭間の距離であってもよいし、瞳孔の中心間の距離であってもよい。
眼と光学素子との相対位置は、例えば、瞳孔の中心と、光学素子としてのハーフミラー261A,262Aの中心とのずれを表す値である。この値は、左右の平均値であってもよいし、左右の眼の中心の位置の値であってもよい。すなわち、使用者の右眼の瞳孔中心と右側のハーフミラー261Aの中心とのずれ、及び、使用者の左眼の瞳孔中心と左側のハーフミラー262Aの中心とのずれを、平均した値であってもよい。また、使用者の左右の眼の瞳孔の中央位置と、ハーフミラー261Aの中心とハーフミラー262Aの中心との中央位置と、について、ずれを求めた値であってもよい。
制御部140は、第2カメラ62の撮像画像に基づいて、瞳孔の中心と、ハーフミラー261A,262Aの中心とのずれを算出し、算出結果を使用者情報テーブルに登録する。この処理において、瞳孔の中心は、撮像画像における瞳孔の中心位置のX、Y座標値で表される。X座標は、撮像画像の水平方向を示し、Y座標は、撮像画像の垂直方向を示す。また、ハーフミラー261A,262Aの中心は、撮像画像におけるハーフミラー261A,262Aの中心位置のX、Y座標値で表される。制御部140は、例えば、瞳孔の中心位置を基準として、ハーフミラー261A,262Aの中心位置がX座標の方向、及びY座標の方向にどの程度ずれているのかを算出する。
また、光学素子の角度は、9軸センサー66の測定値に基づいて算出される。光学素子の角度は、画像表示部20を使用者の頭部に装着した際の、ハーフミラー262Aの回転角度(θr,θp,θy)により表される。なお、回転角度(θr,θp,θy)は、例えば、ハーフミラー262Aの中心を原点とし、その原点において互いに直交するロール軸、ピッチ軸、及びヨー軸を定義した場合、ハーフミラー262Aの光軸方向と、ロール軸との成す角度をロール角θrで表す。また、ハーフミラー262Aの光軸方向と、ピッチ軸との成す角度をピッチ角θp、ハーフミラー262Aの光軸方向と、ヨー軸との成す角度をヨー角θyで表す。
明るさは、画像表示部20の表示領域に表示される画像の明るさを示す情報である。色彩情報は、使用者が色覚に対して異常があるか否かを示す情報である。使用言語は、使用者が使用する、日本語、英語等の言語情報である。
インターフェイス125は、制御装置10に対して、コンテンツの供給元となる種々の外部機器OAを接続するためのインターフェイスである。インターフェイス125としては、例えば、USBインターフェイス、マイクロUSBインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスを用いることができる。
また、制御部140には、3軸センサー113、GPS115、通信部117及び音声認識部114が接続される。3軸センサー113は3軸の加速度センサーであり、3軸センサー113の検出値を制御部140が取得可能である。GPS115は、アンテナ(図示略)を備え、GPS(Global Positioning System)信号を受信し、制御装置10の現在位置を求める。GPS115は、GPS信号に基づいて求めた現在位置や現在時刻を制御部140に出力する。また、GPS115はGPS信号に含まれる情報に基づいて現在時刻を取得し、制御装置10の制御部140が計時する時刻を修正させる機能を備えていてもよい。
通信部117は、無線LAN(WiFi(登録商標))、Miracast(登録商標)、Bluetooth(登録商標)等の規格に準じた無線データ通信を実行する。
外部機器OAが、通信部117に無線接続された場合には、制御部140は、コンテンツデータを通信部117より取得して、画像表示部20に画像を表示するための制御を行う。一方、外部機器OAが、インターフェイス125に有線接続された場合には、制御部140は、コンテンツデータをインターフェイス125より取得して、画像表示部20に画像を表示するための制御を行う。よって、通信部117及びインターフェイス125を、以下総称してデータ取得部DAと呼ぶ。
データ取得部DAは、外部機器OAからコンテンツデータを取得する。データ取得部DAは、頭部装着型表示装置100が表示する画像のデータ(以下、「表示画像データ」という)を、外部機器OAから取得する。
音声認識部114は、マイク63により集音され、後述する音声処理部187によりディジタルデータに変換されたディジタル音声データから特徴を抽出してモデル化する。音声認識部114は、音声の特徴を抽出してモデル化することで、複数の人の声を別々に認識して、声ごとに話している人を特定する話者認識や、音声をテキストに変換するテキスト変換を行う。また、音声認識部114は、音声認識の処理において、音声データの言語の種類を識別できる構成であってもよい。
制御部140は、記憶部120に格納されているコンピュータープログラムを読み出して実行することにより、オペレーティングシステム(OS)150、画像処理部160、表示制御部170、生体情報検出部181、設定情報検出部182として機能する。また、制御部140は、設定部183、対象検出部184、位置検出部185、情報表示制御部186、音声処理部187として機能する。
画像処理部160は、コンテンツに含まれる画像信号を取得する。画像処理部160は、取得した画像信号から、垂直同期信号VSyncや水平同期信号HSync等の同期信号を分離する。また、画像処理部160は、分離した垂直同期信号VSyncや水平同期信号HSyncの周期に応じて、PLL(Phase Locked Loop)回路等(図示略)を利用してクロック信号PCLKを生成する。画像処理部160は、同期信号が分離されたアナログ画像信号を、A/D変換回路等(図示略)を用いてディジタル画像信号に変換する。画像処理部160は、変換後のディジタル画像信号を、対象画像の画像データ(図中、Data)として、1フレームごとに記憶部120内のDRAMに格納する。この画像データは、例えばRGBデータである。
なお、画像処理部160は、必要に応じて、画像データに対して、解像度変換処理や、輝度、彩度の調整といった種々の色調補正処理、キーストーン補正処理等の画像処理を実行してもよい。
画像処理部160は、生成されたクロック信号PCLK、垂直同期信号VSync、水平同期信号HSync、記憶部120内のDRAMに格納された画像データDataのそれぞれを、送信部51、52を介して送信する。なお、送信部51を介して送信される画像データDataを「右眼用画像データ」とも呼び、送信部52を介して送信される画像データDataを「左眼用画像データ」とも呼ぶ。送信部51、52は、制御装置10と画像表示部20との間におけるシリアル伝送のためのトランシーバーとして機能する。
表示制御部170は、右表示駆動部22及び左表示駆動部24を制御する制御信号を生成する。具体的には、表示制御部170は、制御信号により、右LCD制御部211による右LCD241の駆動ON/OFF、右バックライト制御部201による右バックライト221の駆動ON/OFFを個別に制御する。また、表示制御部170は、左LCD制御部212による左LCD242の駆動ON/OFF、左バックライト制御部202による左バックライト222の駆動ON/OFFを個別に制御する。これにより、表示制御部170は、右表示駆動部22及び左表示駆動部24のそれぞれによる画像光の生成及び射出を制御する。例えば、表示制御部170は、制御信号により右表示駆動部22及び左表示駆動部24を制御して、右表示駆動部22と左表示駆動部24との両方に画像光を生成させたり、一方のみに画像光を生成させたりする。また、表示制御部170は、制御信号により右表示駆動部22及び左表示駆動部24を制御して、右表示駆動部22及び左表示駆動部24の両方に画像光を生成させないようにすることもできる。
また、表示制御部170は、右LCD制御部211と左LCD制御部212とに対する制御信号のそれぞれを、送信部51及び52を介して送信する。また、表示制御部170は、右バックライト制御部201と左バックライト制御部202とに対する制御信号のそれぞれを送信する。
入力部としての生体情報検出部181は、動作モードとして、情報登録モードと、使用者特定モードとを有している。情報登録モードは、使用者の生体情報や設定情報を検出して、検出した生体情報や設定情報を使用者情報テーブルに登録するモードである。使用者特定モードは、使用者の生体情報を検出し、検出した生体情報と一致する生体情報が使用者情報テーブルに登録されているか否かを判定するモードである。
生体情報検出部181は、情報登録モードでは、第1カメラ61の撮像画像から、使用者の生体情報を抽出する。設定情報検出部182は、情報登録モードでは、第2カメラ62の撮像画像や、9軸センサー66の測定値に基づいて、設定情報を算出する。なお、情報登録モードで使用者情報テーブルに登録された生体情報を登録生体情報と呼ぶ。
図6は、情報登録モードにおける頭部装着型表示装置100の動作を示すフローチャートであり、特に、生体情報検出部181と、設定情報検出部182との処理手順を示す。また、図7は情報登録モードで頭部装着型表示装置100が表示する画像の例を示し、図7(A)はシルエット画像Sの例を示し、図7(B)はシルエット画像Sを用いた調整の例を示す。
生体情報検出部181は、情報登録モードでは、手の形状の画像(以下、シルエット画像Sという)を表示制御部170に出力して、画像表示部20により表示させる(ステップS1)。図7(A)に、画像表示部20により表示されるシルエット画像Sを示す。使用者が見る視野VAと、画像表示部20が画像を表示する表示領域Tと、表示領域Tに表示されたシルエット画像Sとが画像表示部20により表示される。なお、画像表示部20の表示領域Tは、右光学像表示部26及び左光学像表示部28が表示する画像が使用者に見える範囲である。この表示領域Tは、画像表示部20が画像を視認させることができる最大の範囲であり、画像表示部20は表示領域Tの全部又は一部に画像を表示する。
使用者は、画像表示部20に表示されたシルエット画像Sを視認しながら、自身の手がシルエット画像に合致するように手の位置を調整する。図7(B)には、表示領域Tに表示されたシルエット画像Sに合致するように、使用者の手Rの位置調整を行う様子を示す。使用者は、手Rの位置を調整すると、もう一方の手で操作部111を操作して、手Rの画像の撮像を指示する。生体情報検出部181は、操作部111の操作が入力されると、第1カメラ61に、使用者の手Rの画像を撮像させる(ステップS2)。第1カメラ61の撮像画像は、生体情報検出部181に入力される。
生体情報検出部181は、入力された撮像画像を画像処理して、生体情報を抽出する(ステップS3)。生体情報検出部181は、まず、撮像画像をグレースケール化して、グレースケール後の撮像画像に対しエッジ検出を行う。生体情報検出部181は、検出したエッジの形状と、シルエット画像Sの輪郭形状とを対比して、使用者の手Rが写った領域(以下、手領域)を検出する。なお、ガイドとしてのシルエット画像Sを表示領域Tの所定の位置に表示しているため、第1カメラ61の撮像画像に写る手Rの位置は、ほぼ一定である。このため、生体情報検出部181は、撮像画像の全体に対してエッジ検出を行う必要はなく、事前に設定された領域に対してエッジ検出を行えばよい。
生体情報検出部181は、検出した使用者の手領域の撮像画像から、使用者の生体情報を抽出する(ステップS3)。生体情報検出部181は、手領域の撮像画像から、生体情報として、手の絶対長情報、指の長さ比情報と、掌線情報とをそれぞれ検出する。
生体情報検出部181は、生体情報を検出すると、使用者を識別する使用者IDを生成して、生成した使用者IDに対応付けて使用者情報テーブルに登録する。また、手の撮像画像からは、複数の掌線情報を検出することができるが、生体情報検出部181は、検出可能なすべての掌線の掌線情報を使用者情報テーブルに登録しなくてもよい。生体情報検出部181は、撮像画像から検出可能な掌線の中から掌線を選択し(間引いて)、使用者情報テーブルに登録する。なお、掌線情報に限らず、複数の生体情報が得られる場合には、間引きを行って、使用者情報テーブルに登録する登録数を削減するとよい。
また、設定情報検出部182は、情報登録モードにおいて、使用者の設定情報を算出する(ステップS4)。設定情報検出部182は、第2カメラ62に撮像を実行させる。第2カメラ62によって、使用者の顔と、ハーフミラー262A(図2参照)とが撮像される。第2カメラ62の撮像画像は、設定情報検出部182に入力される。設定情報検出部182は、第2カメラ62の撮像画像に基づいて、設定情報を算出する(ステップS4)。設定情報検出部182は、設定情報として、使用者の眼間距離や、輻輳角、瞳孔と光学素子の相対位置を算出する。設定情報検出部182は、算出した設定情報を、該当する使用者の生体情報に対応づけて使用者情報テーブルに登録する(ステップS5)。
また、設定情報検出部182は、9軸センサー66の測定値に基づいて、使用者が頭部装着型表示装置100を装着した際の光学素子の角度を、設定情報として算出する(ステップS4)。光学素子の角度は、画像表示部20を使用者の頭部に装着した際の、ハーフミラー262Aの回転角度(θr,θp,θy)により表される。設定情報検出部182は、算出した設定情報を、該当する使用者の生体情報に対応づけて使用者情報テーブルに登録する(ステップS5)。
設定情報検出部182は、この他に、使用者が操作部111の操作により入力される、利き眼や、明るさ設定、色彩情報、使用言語等の設定情報を、該当する使用者の生体情報に対応づけて使用者情報テーブルに登録する。
例えば、画像表示部20が表示する画像の明るさを調整する場合、設定情報検出部182は、表示制御部170を制御して、明るさを調整するためのテスト画像を、画像表示部20により表示させる。使用者は、画像表示部20が表示する画像を視認しながら、操作部111の輝度切替キー15を操作して、テスト画像の明るさを増減させる操作を入力する。設定情報検出部182は、操作部111から入力された操作に従って表示制御部170を制御し、画像表示部20が表示するテスト画像の明るさを調整する。また、設定情報検出部182は、決定キー11の操作を受け付けると、画像表示部20が表示するテスト画像の明るさ、すなわち、右バックライト221及び左バックライト222の輝度情報を記憶部120に記憶させる。
また、設定情報検出部182は、表示制御部170を制御して、利き眼や、色彩情報、使用言語の入力を促す表示データを画像表示部20に表示させ、操作部111の操作を受け付ける。例えば、設定情報検出部182は、表示制御部170を制御して、画像表示部20に、「あなたの利き眼は右目ですか」、「使用言語は日本語ですか」といったメッセージを含むテキスト及び/または画像を表示させる。設定情報検出部182は、操作部111で受け付ける操作に基づいて使用者の利き眼や使用言語を判定し、対応する使用者IDの設定情報として使用者情報テーブルに登録する。
また、生体情報検出部181は、使用者特定モードでは、生体情報登録モードの場合と同一の手順により使用者の生体情報を検出し、検出した生体情報を設定部183に渡す。設定部183は、生体情報検出部181から渡された生体情報と、使用者情報テーブルに登録された登録生体情報とを比較して、生体情報検出部181が検出した生体情報に一致する登録生体情報が、使用者情報テーブルに登録されているか否かを判定する。
設定部183は、使用者特定モードである場合、生体情報検出部181から生体情報が入力される。
設定部183は、入力された生体情報(以下、入力生体情報という)と、使用者情報テーブルに登録された登録生体情報とを照合して、入力生体情報に一致する登録生体情報が使用者情報テーブルに登録されているか否かを判定する、照合処理を行う。
設定部183は、照合処理を行う際に、照合処理に使用する生体情報を間引く間引き処理を行う。設定部183は、入力生体情報と、登録生体情報との両方に対して、同一の間引き処理を行う。
例えば、図5(A)、(B)に示す使用者情報テーブル120A及び掌線情報テーブル120Bには、登録生体情報として手の絶対長と、指の長さ比と、掌面の角度と、掌線情報とが登録されている。設定部183は、これらの登録生体情報の中から、照合処理に使用する、1又は複数の生体情報を選択する。設定部183は、入力生体情報についても、登録生体情報から選択した生体情報と同一の生体情報を選択する。そして、設定部183は、選択した入力生体情報と、選択した登録生体情報との照合処理を行う。設定部183は、例えば、使用者情報テーブルに登録された登録生体情報の中から、掌線情報と、指の長さ比とを選択する。同様に、設定部183は、入力生体情報の中から、掌線情報と、指の長さ比とを選択する。設定部183は、選択した登録生体情報としての掌線情報と、選択した入力生体情報としての掌線情報とを比較して照合を行う。同様に、設定部183は、選択した登録生体情報としての指の長さ比と、選択した入力生体情報としての指の長さ比とを比較して照合を行う。
また、設定部183は、照合処理に使用する登録生体情報を選択するのではなく、照合処理に使用する特徴情報を間引くことで、照合処理の負荷を軽減してもよい。例えば、図4に示す使用者情報テーブルには、掌線情報として、同一の使用者の複数の掌線情報が登録される。設定部183は、使用者情報テーブルに登録された複数の掌線情報の中から、照合に使用する掌線情報を1又は複数選択する。設定部183は、入力生体情報の中から、選択した掌線情報の始点座標及び終点座標に座標が最も近い掌線情報を選択して、これらの掌線情報の照合を行う。
また、設定部183は、照合に使用する特徴情報の種類を間引くことで、照合処理の負荷を軽減してもよい。
例えば、図5(A)に示す使用者情報テーブルには、掌線情報として、始点座標及び終点座標と、長さ比と、曲率とが登録されている。設定部183は、使用者情報テーブルに登録された複数の掌線情報の中から、照合に使用する掌線情報の種類を1又は複数選択する。例えば、設定部183は、掌線情報の中から掌線の長さ比を照合に使用する特徴情報として選択する。設定部183は、入力生体情報の中から掌線情報を選択すると、選択した掌線情報の始点座標及び終点座標に座標が最も近い掌線情報を使用者情報テーブルから取り出す。設定部183は、取り出した掌線情報の長さ比と、入力生体情報から選択した掌線情報の長さ比とを比較して照合を行う。
なお、設定部183が行う間引き処理は、照合処理に使用する生体情報の間引きと、照合処理に使用する特徴情報の間引きと、照合処理に使用する特徴情報の種類の間引きとのいずれか1つを選択して行うものであってもよい。また、設定部183が行う間引き処理は、前述した複数の間引きを組み合わせて照合を行うものであってもよい。
設定部183は、入力生体情報と登録生体情報との照合により、入力生体情報が使用者情報テーブルに登録された登録生体情報に一致すると判定すると、一致した生体情報に対応する設定情報を使用者情報テーブルから読み出す。設定部183は、設定情報に登録された明るさ設定を表示制御部170に出力する。表示制御部170は、設定部183から入力された明るさ設定に従って、右バックライト221及び左バックライト222の光量を、明るさ設定に対応する光量となるように調整する。
また、設定部183は、設定情報として登録された利き眼の情報を表示制御部170に渡す。表示制御部170は、例えば、画像表示部20により3次元(3D)画像を表示している場合に、操作部111が操作され、2次元画像への切り替えが指示された場合、利き眼情報の示す利き眼の側の画像を表示させる。例えば、設定情報に、使用者の利き眼として「左眼」が登録されていた場合、表示制御部170は、画像表示部20により、左眼用画像を表示させる。これにより、3次元画像の表示状態から、2次元画像に表示切り替えをするときに、表示モードの切り替わりに伴う違和感を低減することができる。
また、設定部183は、設定情報として登録された色彩情報と、使用言語とを情報表示制御部186に渡す。情報表示制御部186は、設定部183から渡された色彩情報や、使用言語に基づいて、表示データ(後述する)を加工したり、新たな表示データの追加を行う。
また、設定部183は、眼間距離と、輻輳角と、眼と光学素子の相対距離と、光学素子の角度との少なくとも1つに基づいて、画像表示部20の表示領域における表示位置/又は表示サイズを補正する補正係数を算出する。設定部183は、算出した補正係数を位置検出部185に渡す。
また、設定情報検出部182が、頭部装着型表示装置100を装着した使用者から測定した設定情報に基づいて、使用者の属する区分を判定し、判定した区分を示す情報を使用者情報テーブルに登録しておくこともできる。記憶部120には、区分ごとに、各区分に分類される眼間距離の範囲、眼と光学素子の相対距離の範囲、輻輳角の範囲、光学素子の角度の範囲をそれぞれに設定した情報が記憶される。設定情報検出部182は、生体情報検出部181により、眼間距離と、輻輳角と、眼と光学素子の相対距離と、光学素子の角度とが測定されると、測定された各情報に基づいて、該当の使用者が属する区分を判定する。
また、記憶部120には、各区分に対応する補正係数が記憶される。また、設定部183は、入力生体情報に対応する登録生体情報から区分を示す情報を読み出すと、読み出した区分の情報に基づいて、記憶部120から区分に対応する補正係数を読み出す。設定部183は、読み出した補正係数を位置検出部185に出力する。これにより、画像の表示位置及び表示サイズの少なくともいずれかを、設定情報に対応して複数段階に変更することが可能になる。
対象検出部184は、第1カメラ61に撮像を実行させる制御を行い、撮像画像を取得する。この撮像画像はカラー画像データ又はモノクロ画像データとして第1カメラ61から出力されるが、第1カメラ61が画像信号を出力して、対象検出部184が画像信号から所定のファイルフォーマットに適合する画像データを生成してもよい。
対象検出部184は、取得した撮像画像データを解析し、撮像画像データに写っている対象物を検出する。対象物とは、第1カメラ61の撮像方向すなわち使用者の視線方向に存在する物体又は人である。
位置検出部185は、第1カメラ61の撮像画像における対象物の画像の位置をもとに、使用者に対象物が見える位置と、画像表示部20が表示する画像が見える位置との相対位置を求める。この処理には、画像表示部20の表示領域と第1カメラ61の撮像範囲(画角)との位置関係を示す情報が必要である。この情報に代えて、使用者の視野(視界)と第1カメラ61の撮像範囲(画角)との位置関係を示す情報、及び、使用者の視野(視界)と画像表示部20の表示領域との位置関係を示す情報を用いてもよい。これらの情報は、例えば記憶部120に予め記憶されている。
位置検出部185は、対象物の画像について、表示領域に対する位置を検出すると、この位置を、設定部183から渡された補正係数に基づいて補正する。
また、位置検出部185は、対象物の位置とともに、表示領域に対する対象物の表示サイズを検出してもよい。
位置検出部185は、対象物の画像について、表示領域に対する表示位置と表示サイズとを検出すると、検出した表示位置及び表示サイズを、設定部183から渡された補正係数に基づいて補正する。これにより、画像表示部20が表示する画像と、外景における対象物とが使用者に見える場合に、使用者が知覚する表示画像と対象物の像の大きさが所定の状態となるように、画像を表示できる。さらに、眼間距離や、眼と光学素子の相対距離、光学素子の角度等の使用者の身体的な特徴に応じて、使用者が知覚する表示画像と対象物の像の大きさが所定の状態となるように、画像を表示できる。
情報表示制御部186は、設定部183、対象検出部184及び位置検出部185の処理結果に基づき、画像表示部20によって、表示データを表示させる。頭部装着型表示装置100は、データ取得部DAにより、動画像、静止画像、文字、記号等様々なデータを取得する構成としてもよく、これらのデータを表示データとして利用できる。
情報表示制御部186は、対象検出部184が検出した対象物について、位置検出部185が補正係数に基づいて補正した表示位置及び/又は表示サイズ等に基づき、表示データの表示位置や、表示サイズを決定する。また、情報表示制御部186は、例えば表示データがテキストデータである場合、文字の表示位置や表示サイズに加え、表示色、字体、太字やイタリック等の文字装飾の有無等を設定する。また、情報表示制御部186は、例えば表示データが画像データである場合、画像の表示位置や表示サイズに加え、表示色、透明度等を設定する。
情報表示制御部186は、設定部183から入力される色彩情報や使用言語に基づいて表示データを加工する。例えば、入力された色彩情報が、使用者が緑色に対して異常があることを示す色彩情報である場合、情報表示制御部186は、緑色の表示データを他の表示色に変換する。情報表示制御部186は、変換した表示データを表示制御部170に出力して、画像表示部20により表示させる。
また、入力された使用言語として、英語が設定されていた場合、情報表示制御部186は、表示データとしてのテキストデータを英語に翻訳し、翻訳した英語のテキストデータを表示データとして表示制御部170に出力する。表示データは、画像表示部20により、表示される。
音声処理部187は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材46に接続された右イヤホン32内のスピーカー(図示略)および左イヤホン34内のスピーカー(図示略)に対して供給する。なお、例えば、Dolby(登録商標)システムを採用した場合、音声信号に対する処理がなされ、右イヤホン32および左イヤホン34のそれぞれから、例えば周波数等が変えられた異なる音が出力される。
また、音声処理部187は、マイク63により集音される音声を取得してディジタル音声データに変換し、音声に係る処理を行う。例えば、音声処理部187は、取得した音声から特徴を抽出してモデル化することで、複数の人の声を別々に認識して、声ごとに話している人を特定する話者認識を行ってもよい。
音声処理部187は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材46に接続された右イヤホン32内のスピーカー(図示略)及び左イヤホン34内のスピーカー(図示略)に対して供給する。なお、例えば、Dolby(登録商標)システムを採用した場合、音声信号に対する処理がなされ、右イヤホン32及び左イヤホン34のそれぞれから、例えば周波数等が変えられた異なる音が出力される。
画像表示部20は、インターフェイス25と、右表示駆動部22と、左表示駆動部24と、右光学像表示部26としての右導光板261と、左光学像表示部28としての左導光板262とを備える。また、画像表示部20は、第1カメラ61と、第2カメラ62と、振動センサー65と、9軸センサー66とを備える。
振動センサー65は、加速度センサーを利用して構成され、図1に示すように画像表示部20の内部に配置される。図1の例では右保持部21において、右光学像表示部26の端部ERの近傍に内蔵される。振動センサー65は、使用者が端部ERを叩く操作(ノック操作)を行った場合に、この操作による振動を検出して、検出結果を制御部140に出力する。この振動センサー65の検出結果により、制御部140は、使用者によるノック操作を検出する。
9軸センサー66は、加速度(3軸)、角速度(3軸)、地磁気(3軸)を検出するモーションセンサーである。9軸センサー66は、画像表示部20に設けられているため、画像表示部20が使用者の頭部に装着されているとき、制御部140は、9軸センサー66の検出値に基づいて使用者の頭部の動きを検出できる。検出された使用者の頭部の動きから画像表示部20の向きがわかるため、制御部140は、使用者の視線方向を推定できる。
インターフェイス25は、右コード42と左コード44とが接続されるコネクターを備える。インターフェイス25は、送信部51から送信されるクロック信号PCLK、垂直同期信号VSync、水平同期信号HSync、画像データDataを、対応する受信部(Rx)53、54に出力する。また、インターフェイス25は、表示制御部170から送信される制御信号を、対応する受信部53、54、右バックライト制御部201又は左バックライト制御部202に出力する。
また、インターフェイス25は、第1カメラ61、第2カメラ62、振動センサー65及び9軸センサー66のインターフェイスである。振動センサー65による振動の検出結果や、9軸センサー66による加速度(3軸)、角速度(3軸)、地磁気(3軸)の検出結果は、インターフェイス25を介して制御装置10の制御部140に送られる。
右表示駆動部22は、受信部53と、光源として機能する右バックライト(BL)制御部201及び右バックライト(BL)221と、表示素子として機能する右LCD制御部211及び右LCD241と、右投写光学系251とを備える。右バックライト制御部201と右バックライト221とは、光源として機能する。右LCD制御部211と右LCD241とは、表示素子として機能する。なお、右バックライト制御部201と、右LCD制御部211と、右バックライト221と、右LCD241とを総称して「画像光生成部」とも呼ぶ。
受信部53は、制御装置10と画像表示部20との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部201は、入力された制御信号に基づいて、右バックライト221を駆動する。右バックライト221は、例えば、LEDやエレクトロルミネセンス(EL)等の発光体である。右LCD制御部211は、受信部53を介して入力されたクロック信号PCLKと、垂直同期信号VSyncと、水平同期信号HSyncと、右眼用画像データDataと、に基づいて、右LCD241を駆動する。右LCD241は、複数の画素をマトリクス状に配置した透過型液晶パネルである。
右投写光学系251は、右LCD241から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部26としての右導光板261は、右投写光学系251から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼REに導く。
左表示駆動部24は、右表示駆動部22と同様の構成を有している。左表示駆動部24は、受信部54と、光源として機能する左バックライト(BL)制御部202及び左バックライト(BL)222と、表示素子として機能する左LCD制御部212及び左LCD242と、左投写光学系252と、を備える。左バックライト制御部202と左バックライト222とは、光源として機能する。左LCD制御部212と左LCD242とは、表示素子として機能する。また、左投写光学系252は、左LCD242から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。左光学像表示部28としての左導光板262は、左投写光学系252から出力された画像光を、所定の光路に沿って反射させつつ使用者の左眼LEに導く。
図8は、使用者情報を登録する場合の頭部装着型表示装置100の動作を示すフローチャートである。
図8のステップS11の処理は、図6のフローチャートで説明したステップS1の処理に相当し、ステップS12はステップS1(図6)に相当し、ステップS13はステップS3(図6)に相当する。
すなわち、生体情報検出部181は、情報登録モードでシルエット画像Sを表示制御部170に出力して、画像表示部20により表示させる(ステップS11)。使用者は、シルエット画像Sを視認しながら手の位置を調整して操作部111を操作し、手Rの画像の撮像を指示する。生体情報検出部181は、操作部111の操作が入力されると、第1カメラ61に、使用者の手Rの画像を撮像させる(ステップS12)。第1カメラ61の撮像画像は、生体情報検出部181に入力され、生体情報検出部181は、撮像画像を画像処理して、生体情報を抽出する(ステップS13)。
使用者特定モードにおいて、設定部183には、生体情報検出部181から生体情報が入力される。
設定部183は、生体情報検出部181から入力生体情報が入力されると、照合処理に使用する生体情報を選択する(ステップS14)。なお、この処理フローでは、設定部183は、掌線情報を使用して照合処理を行うとする。設定部183は、入力生体情報に含まれる複数の掌線情報の中から、照合に使用する1又は複数の掌線情報を選択する。これにより、照合に使用する掌線情報が間引きされる。設定部183は、入力生体情報から掌線情報を選択すると、選択した掌線情報の始点座標及び終点座標に最も座標が近い掌線情報を使用者情報テーブルから読み出して、照合処理を行う(ステップS15)。設定部183は、使用者情報テーブルから取り出した掌線情報の長さ比及び/又は曲率と、入力生体情報から選択した掌線情報の長さ比及び/又は曲率との照合を行う。設定部183は、選択したすべての掌線情報について照合処理を行う(ステップS16)。照合処理により長さ比及び/又は曲率の一致度がしきい値よりも低い、すなわち、一致しないと判定されると(ステップS16/NO)、設定部183は、画像表示部20が表示するシルエット画像Sに、ガイド表示を追加表示させる(ステップS17)。設定部183は、照合処理において、一致度が高いと判定された掌線情報の掌線を、追加ガイド表示としてシルエット画像Sに追加させる(図9参照)。
図9は、掌線を追加ガイド表示としてシルエット画像Sに追加した例を示す。この例では、表示領域Tに表示されるシルエット画像Sに、追加ガイドとして曲線が追加されて表示される。この追加ガイドにより、使用者の手Rをシルエット画像Sに重ねる操作が、より容易になる。例えば、第1カメラ61と手との距離や角度によっては、照合処理の一致度が低くなる場合がある。このため、設定部183が、シルエット画像Sに掌線のガイド表示を表示させることで、認証処理の照合精度を高めることができる。なお、追加ガイドは掌線に相当する曲線に限らず、直線であってもよいし、文字や他の図形を含んでもよい。シルエット画像Sに手を重ねる操作において、手の位置を案内する情報を含んでいればよい。
また、照合処理により、長さ比及び/又は曲率の一致度がしきい値よりも高いと判定されると(ステップS16/YES)、設定部183は、設定情報を使用者情報テーブルから読み出す(ステップS18)。この設定情報は、入力生体情報に一致度が高いと判定された登録生体情報に対応付けられた設定情報である。設定部183は、読み出した設定情報に基づいて、表示データの表示位置又はサイズを補正する補正係数を算出する。設定部183は、眼間距離と、輻輳角と、眼と光学素子の相対距離と、光学素子の角度との少なくとも1つに基づいて、表示データの表示位置又はサイズを補正する補正係数を算出する。設定部183は、補正係数を算出すると、算出した補正係数を位置検出部185に出力する。
位置検出部185は、対象検出部184が撮像画像から検出した対象物の画像について、表示領域に対する位置とサイズとを検出する。位置検出部185は、表示領域に対する位置とサイズとを検出すると、検出した位置及びサイズを、設定部183から渡された補正係数に基づいて補正する(ステップS19)。情報表示制御部186は、対象検出部184が検出した対象物について、位置検出部185が補正係数に基づいて補正した位置及び/又はサイズ等に基づき、表示データの表示位置を決定する。その後、情報表示制御部186は、表示データを表示制御部170に出力し、画像表示部20により表示を実行させる。
続いて、通信システム1において、使用者情報テーブル120A及び掌線情報テーブル120Bの内容を送受信する動作について説明する。
第1の通信態様として、頭部装着型表示装置100A、及び、頭部装着型表示装置100Bが、それぞれ、データをサーバー5に送信する態様が挙げられる。頭部装着型表示装置100Aは、記憶部120に記憶する使用者情報テーブル120A、及び、掌線情報テーブル120Bを、サーバー5に送信する。また、頭部装着型表示装置100Bは、記憶部120に記憶する使用者情報テーブル120A、及び、掌線情報テーブル120Bを、サーバー5に送信する。
サーバー5は、頭部装着型表示装置100A、100Bのそれぞれから送信される使用者情報テーブル120A、及び、掌線情報テーブル120Bのデータを記憶する。ここで、サーバー5は、頭部装着型表示装置100A、100Bのそれぞれから送信されるテーブルを集約して、表示システム2の使用者情報テーブルを構成できる。
図10は、サーバー5が生成し記憶する使用者情報テーブルの構成例を示す模式図であり、図10(A)は使用者情報テーブル5Aを示し、図10(B)は掌線情報テーブル5Bを示し、図10(C)はデバイス情報テーブル5Cを示す。
使用者情報テーブル5Aは、頭部装着型表示装置100A、100Bから受信した記憶部120のデータを集約したテーブルである。また、掌線情報テーブル5Bは、頭部装着型表示装置100A、100Bから受信した掌線情報テーブル120Bを集約したテーブルである。
使用者情報テーブル5Aでは、図5に示した使用者情報テーブル120Aのデータに、デバイスIDが対応付けられている。使用者情報テーブル5AにおいてデバイスIDが「1」に設定されたデータは、デバイスID「1」が付与された頭部装着型表示装置100がサーバー5に送信したデータである。また、デバイスIDが「2」に設定されたデータは、デバイスID「2」が付与された頭部装着型表示装置100がサーバー5に送信したデータである。また、掌線情報テーブル5Bでは、デバイスIDに対応付けて、掌線情報テーブル120Bのデータが含まれる。
図10(A)、(B)の例では、使用者IDが「1」となっているデータ(レコード)が2つある。これは、一人の使用者が2つの頭部装着型表示装置100A、100Bのそれぞれで生体情報を登録したことを示す。
このように、サーバー5は、複数の頭部装着型表示装置100から使用者情報テーブル120A、掌線情報テーブル120Bを受信し、受信したデータを集約して記憶する。これにより、通信システム1を構成する頭部装着型表示装置100で登録された生体情報及び設定情報を、全ての頭部装着型表示装置100で共有できる。例えば、サーバー5が、使用者情報テーブル5A及び掌線情報テーブル5Bを、複数の頭部装着型表示装置100に送信することで、頭部装着型表示装置100Aで登録した生体情報及び設定情報を、頭部装着型表示装置100Bで使用できる。つまり、使用者は、いずれか1つの頭部装着型表示装置100で登録を行えば、自分の設定情報に基づき、登録した設定を、他の頭部装着型表示装置100で実現できる。従って、複数の使用者が1つの頭部装着型表示装置100を使用する場合、及び、一人の使用者が複数の頭部装着型表示装置100を使用する場合のいずれも、生体情報に基づいて、予め設定され使用者に適した設定を実現できる。
また、サーバー5は、デバイス情報テーブル5Cを有していてもよい。デバイス情報テーブル5Cは、デバイスIDに対応付けて、頭部装着型表示装置100毎の仕様に関するデータを格納する。デバイス情報テーブル5Cによれば、通信システム1が備える複数の頭部装着型表示装置100について、それぞれの頭部装着型表示装置100の仕様の違いを特定できる。例えば、サーバー5が、頭部装着型表示装置100Aに対し、頭部装着型表示装置100Bで登録された設定情報を含む使用者情報テーブル5Aを送信するときに、デバイス情報テーブル5Cに基づき使用者情報テーブル5Aの値を変換できる。この場合、頭部装着型表示装置100Bと頭部装着型表示装置100Aの仕様の違いを加味して、頭部装着型表示装置100Bの設定と同じ状態を頭部装着型表示装置100Aで実現できる。また、例えば、デバイス情報テーブル5Cを頭部装着型表示装置100A、100Bの両方にサーバー5が送信し、頭部装着型表示装置100A、100Bが上記の変換を実行してもよい。これにより、通信システム1が備える頭部装着型表示装置100の仕様に違いがあっても、それぞれの頭部装着型表示装置100で、使用者に合わせた設定状態を実現できる。
第2の通信態様として、頭部装着型表示装置100Aから頭部装着型表示装置100Bに、或いは、頭部装着型表示装置100Bから頭部装着型表示装置100Aに、データを送信する態様がある。この場合、頭部装着型表示装置100A、100Bが相互に直接通信し、或いは、無線アクセスポイント3を介して通信して、使用者情報テーブル5A、及び掌線情報テーブル5Bを生成して記憶部120に記憶してもよい。この場合も、通信システム1が備える複数の頭部装着型表示装置100で、登録された生体情報及び設定情報を共有できるという利点がある。
以上説明したように、本発明を適用した第1実施形態の頭部装着型表示装置100は、記憶部120と、入力部としての第1カメラ61及び生体情報検出部181と、情報表示制御部186とを備える。記憶部120は、画像表示部20の表示に関する設定情報を、使用者を識別する識別情報に対応付けて記憶する。また、入力部としての第1カメラ61は、使用者の手の画像を撮像し、入力部としての生体情報検出部181は、撮像画像から生体情報を抽出する。情報表示制御部186は、入力した生体情報に対応する設定情報に基づいて、画像表示部20の表示を制御する。これにより、設定情報に基づき、頭部装着型表示装置100の表示に関して、使用者に合わせた設定を、速やかに行うことができる。
また、記憶部120が記憶する使用者情報テーブル120Aには、使用者の生体情報に含まれる特徴の一部が含まれる。生体情報を用いることで使用者を識別が可能であり、生体情報に含まれる特徴の一部が含まれることで、身体的な特徴に応じた簡易設定が可能になる。
情報表示制御部186は、第1カメラ61及び生体情報検出部181により識別情報として入力される生体情報の特徴の一部と、記憶部120が識別情報として記憶する生体情報の特徴の一部とを照合して、設定情報を特定する。従って、身体的な特徴に応じた簡易設定が可能になる。
また、画像表示部20は、外景を透過し、外景とともに視認できるように画像を表示し、情報表示制御部186は、画像の表示位置及び表示サイズの少なくともいずれかを、設定情報に対応して複数段階に変更する。このため、画像表示部20における画像の表示位置及び表示サイズを、使用者に合わせて段階的に設定できる。
また、画像表示部20は、外景を透過し、外景とともに視認できるように画像光を使用者の眼に入射する右導光板261、左導光板262を備える。また、制御部140は、使用者の視線方向の対象物を検出する対象検出部184と、画像表示部20の表示領域に対する対象物の位置を検出する位置検出部185とを備える。情報表示制御部186は、位置検出部185で検出した対象物の位置、及び、右導光板261、左導光板262と使用者の瞳孔の位置との位置関係に応じて、光学素子による画像の表示位置を変更する。このため、画像の表示位置を使用者に合わせて設定できる。
また、使用者情報テーブル120Aの登録情報には、設定情報として、言語の設定に関する情報が含まれる。情報表示制御部186は、画像表示部20に文字を含むコンテンツを表示させる場合に、設定情報に対応した言語の文字を表示させる。このため、画像表示部20に表示する文字の言語を、使用者に合わせて設定できる。
また、頭部装着型表示装置100は、通信部117を備え、情報表示制御部186は、記憶部120に記憶する使用者情報テーブル120A及び掌線情報テーブル120Bをサーバー5に送信する。また、頭部装着型表示装置100は、通信部117で使用者情報テーブル5A及び掌線情報テーブル5Bを受信し、記憶部120に記憶してもよい。この場合、使用者情報テーブル120A及び掌線情報テーブル120Bを他の頭部装着型表示装置100と共有できる。また、他の装置で登録された情報を含む使用者情報テーブル5A及び掌線情報テーブル5Bに基づき、使用者に合わせた表示の設定を行うことができる。
[第2実施形態]
図11は、本発明を適用した第2実施形態における頭部装着型表示装置100の動作を示すフローチャートである。第2実施形態では、生体情報(掌線情報)を用いた認証に成功した場合に、使用者に対し確認を求める動作について説明する。
本第2実施形態の頭部装着型表示装置100の構成は、上記第1実施形態と共通であるため、共通する構成部には同符号を付して図示及び説明を省略する。また、図11のフローチャートにおいて、図8の動作と共通する処理には、同ステップ番号を付して説明を省略する。
第2実施形態では、使用者特定モードにおいて、設定部183が掌線情報を使用して照合処理を行う例を説明する。
設定部183は、入力生体情報に含まれる複数の掌線情報の中から、照合に使用する1又は複数の掌線情報を選択し、選択した掌線情報の始点座標及び終点座標に最も座標が近い掌線情報を使用者情報テーブルから読み出して、照合処理を行う(ステップS15)。設定部183は、使用者情報テーブルから取り出した掌線情報の長さ比及び/又は曲率と、入力生体情報から選択した掌線情報の長さ比及び/又は曲率との照合を行う。設定部183は、選択したすべての掌線情報について照合処理を行う(ステップS16)。
照合処理により一致しないと判定されると(ステップS16/NO)、設定部183は、画像表示部20が表示するシルエット画像Sに、ガイド表示を追加表示させ(ステップS17)、ステップS12に戻る。
一方、照合処理により、掌線情報の長さ比及び/又は曲率の一致度がしきい値よりも高いと判定された場合、設定部183は掌線情報が一致すると判定する(ステップS16/YES)。この場合、設定部183は、使用者情報テーブル120Aにおいて入力生体情報に一致度が高いと判定された登録生体情報に対応付けられた設定情報から使用者IDを取得し、取得した使用者IDに基づき確認メッセージを出力する(ステップS21)。確認メッセージの内容は、掌線情報が一致した使用者IDに対応する設定を行うことを確認するメッセージである。メッセージの出力は、例えば、画像表示部20によるテキストや画像の表示、及び/又は、右イヤホン32と左イヤホン34からの音声出力により行われる。メッセージの具体的な例としては、使用者IDを用いて、「ID:1の設定を使用します」等としてもよい。また、使用者情報テーブル120Aに、使用者IDに対応する使用者名を登録する構成としてもよく、この場合、ステップS21で出力するメッセージに使用者名を含めることができる。
ステップS21で出力するメッセージには、使用者に指示入力を求めるメッセージを含めることができる。図12(A)及び(B)は頭部装着型表示装置100が出力するメッセージの例として、画像表示部20に表示するメッセージの例を示す。
図12(A)に示すメッセージM1は、使用者IDを提示して、設定を行うことに対する使用者の指示入力を求める内容である。メッセージM1は、指示入力の選択肢として、承諾を指示する「1」、認証のやり直しを指示する「2」、掌線情報の新規登録を指示する「3」の3通りの指示入力が可能である。
図12(B)に示すメッセージM2は、使用者IDに対応する使用者名を提示して、指示入力を求める内容である。メッセージM2では、メッセージM1と同様に3通りの指示入力を求める。設定部183は、メッセージM1、M2を、例えば画像表示部20に表示することによって出力する。
メッセージM1、M2のように、指示入力を求める、或いは促す内容を含むメッセージを出力した後、設定部183は、所定時間内における使用者の入力操作を待機し、入力操作の有無を判定する(ステップS22)。メッセージの出力後、所定時間内に入力操作が行われなかったと判定した場合(ステップS22/NO)、設定部183は、ステップS18に移行する。
図8を参照して説明したように、ステップS18で、設定部183は、設定情報を使用者情報テーブルから読み出す(ステップS18)。この設定情報は、入力生体情報に一致度が高いと判定された登録生体情報に対応付けられた設定情報であり、ステップS21で確認メッセージを出力する際に参照した使用者IDに対応する設定情報である。
設定部183は、読み出した設定情報に基づいて、表示データの表示位置又はサイズを補正する補正係数を算出する。設定部183は、眼間距離と、輻輳角と、眼と光学素子の相対距離と、光学素子の角度との少なくとも1つに基づいて、表示データの表示位置又はサイズを補正する補正係数を算出する。設定部183は、補正係数を算出すると、算出した補正係数を位置検出部185に出力する。
位置検出部185は、対象検出部184が撮像画像から検出した対象物の画像について、表示領域に対する位置とサイズとを検出する。位置検出部185は、表示領域に対する位置とサイズとを検出すると、検出した位置及びサイズを、設定部183から渡された補正係数に基づいて補正する(ステップS19)。情報表示制御部186は、対象検出部184が検出した対象物について、位置検出部185が補正係数に基づいて補正した位置及び/又はサイズ等に基づき、表示データの表示位置を決定する。その後、情報表示制御部186は、表示データを表示制御部170に出力し、画像表示部20により表示を実行させる。
一方、確認メッセージが出力されてから所定時間内に入力操作があったと判定した場合(ステップS22/YES)、設定部183は、入力操作の内容を判定する(ステップS23)。ここで、図12(A),(B)に示したように、設定について3通りの指示(承諾の指示、再認証の指示、新規登録の指示)を行うことが可能な場合を想定する。設定部183は、ステップS23で、承諾を示す入力操作が行われたと判定した場合、ステップS18に移行する。また、ステップS23で、再認証を指示する入力操作が行われたと判定した場合、設定部183はステップS17に移行する。
また、ステップS23で、新規登録を指示する入力操作が行われたと判定した場合、設定部183は、情報登録モードに移行し(ステップS24)、図6の動作を実行する。
図11に示す第2実施形態の動作において、使用者が行う入力操作は、トラックパッド14に対するタッチ操作であってもよい。また、使用者の音声をマイク63により集音して音声処理部187が認識することにより、使用者が音声による入力を行える構成としてもよい。また、使用者が手指、手、腕、足など身体を動かし、この動きを第1カメラ61及び第2カメラ62の撮像画像をもとに制御部140がジェスチャーとして検出することで、ジェスチャー入力を行える構成としてもよい。このように、頭部装着型表示装置100に対して、制御装置10の操作による入力、音声入力、及びジェスチャー入力が可能である。これらの入力は、第1及び第2実施形態に限らず、後述する各実施形態において採用することもできる。
このように、使用者特定モードにおいて、掌線等の生体情報を利用した照合結果に基づき設定を実行する前に、使用者に対し確認メッセージを出力することで、ユーザービリティーの向上を図ることができる。すなわち、生体情報を簡易化することにより、使用者が意図しない照合結果となる可能性があっても、使用者が適切に対処することが可能になる。また、照合結果が事実と一致している場合であっても、使用者が生体情報の登録のやり直しを望む場合には、容易に新規登録の動作に移行できる。これにより、使用者の意図の通りに使いこなすことが可能となり、利便性の向上を図ることができる。
[第3実施形態]
図13は、本発明を適用した第3実施形態における頭部装着型表示装置100の動作を示すフローチャートである。第3実施形態では、生体情報(掌線情報)の照合結果に対応する設定情報に基づく設定を行うまでの間、画像表示部20における表示を片眼表示とする動作について説明する。
第3実施形態の頭部装着型表示装置100の構成は、上記第1実施形態と共通であるため、共通する構成部には同符号を付して図示及び説明を省略する。また、図13のフローチャートにおいて、図8の動作と共通する処理には、同ステップ番号を付して説明を省略する。
第3実施形態では、使用者特定モードにおいて、設定部183が掌線情報を使用して照合処理を行う例を説明する。
設定部183は、使用者特定モードの動作を開始すると、ステップS11でシルエット画像Sを画像表示部20により表示させる動作の前に、画像表示部20の表示を片眼表示に切り替える(ステップS31)。設定部183は、画像処理部160及び/又は表示制御部170を制御して、右表示駆動部22及び左表示駆動部24のうちいずれか一方による表示を停止させる。
表示の停止とは、右表示駆動部22または左表示駆動部24による表示が、使用者に視認されない状態を指す。右LCD241及び左LCD242のいずれかの表示を、表示領域全体で黒または予め設定された所定色とする制御を含んでもよい。また、右バックライト221及び左バックライト222のいずれかを消灯させる制御を含んでもよい。また、表示制御部170が、送信部51、52のいずれか一方による画像データDataの送信を停止させる制御を含んでもよい。上記のうち少なくともいずれかの制御を実行すれば、右表示駆動部22及び左表示駆動部24の一方の表示画像が視認されなくなる。
右表示駆動部22と左表示駆動部24のどちらの表示を停止するかは、予め設定されてもよいし、使用者が選択した側としてもよい。
このように、右表示駆動部22または左表示駆動部24のいずれかの表示を停止した状態は、使用者が片眼で表示画像を視認する、片眼(片目)表示の状態といえる。これに対し、右表示駆動部22及び左表示駆動部24の両方を、停止させていない状態は、使用者が両眼で表示画像を視認する、両眼(両目)表示の状態といえる。画像表示部20は、制御部140の制御により、片眼表示と両眼表示とを切り替えて実行できる。
画像表示部20における表示状態を片眼表示に切り替えた後、設定部183は、図8を参照して説明したステップS11〜S18の動作を実行する。
設定部183は、ステップS18で、設定情報を使用者情報テーブル120Aから読み出した後に、読み出した設定情報に従って表示位置を補正し、両眼表示(両目表示)に切り替える(ステップS32)。ここで、設定部183は、右表示駆動部22及び左表示駆動部24のうちステップS31で表示を停止した側に対する表示を開始して、画像表示部20を両眼表示に切り替えさせる。両眼表示に切り替えるタイミングは、設定情報を使用者情報テーブル120Aから読み出した後であれば制限はないが、後述するように、読み出した設定情報に従って表示位置を補正した後であることが好ましい。また、設定情報が表示位置以外の表示の属性または設定項目の情報を含む場合、表示位置の補正だけでなく、これらの情報に基づく表示の補正が行われた後で両眼表示に切り替えると、より好ましい。
両眼表示を開始する際に、設定部183は、使用者情報テーブル120Aから読み出した設定情報に基づいて、表示データの表示位置又はサイズを補正する補正係数を算出し、算出した補正係数を位置検出部185に出力する。補正係数を算出する処理の詳細は上述したステップS19(図8)と同様である。位置検出部185は、対象検出部184が撮像画像から検出した対象物の画像について、表示領域に対する位置とサイズとを検出する。位置検出部185は、表示領域に対する位置とサイズとを検出すると、検出した位置及びサイズを、設定部183から渡された補正係数に基づいて補正する。情報表示制御部186は、対象検出部184が検出した対象物について、位置検出部185が補正係数に基づいて補正した位置及び/又はサイズ等に基づき、表示データの表示位置を決定する。
制御部140は、表示データの表示位置を決定する処理、及び、画像表示部20における表示状態を片眼表示から両眼表示に切り替える処理のうち、どちらを先に実行してもよい。制御部140が、表示位置を決定する処理を先に実行し、その後に画像表示部20の表示を両眼表示に切り替える場合、好適な位置で両眼の表示を開始できるため、好ましい。
このように、使用者特定モードにおいて、生体情報に基づき使用者情報テーブル120Aから設定情報を読み出し、設定情報を反映する表示を行うまでの間、画像表示部20の表示状態を片眼表示にすることで、使用者の違和感を軽減できる。すなわち、使用者情報テーブル120Aの設定情報に従って表示位置等を補正すると、使用者に適した表示状態を実現できるが、この補正を行う前は、表示位置等が使用者に合っていない可能性がある。この表示位置の不適合が大きい場合、設定情報に従って表示位置が補正されるまでの間、使用者が違和感を覚える可能性がある。特に、使用者の両眼に視認されるように画像を表示する場合に、眼間距離(瞳孔間距離)や輻輳角等、両眼視に係るパラメーターが適合しないと、違和感が大きい。第3実施形態では、画像表示部20における表示に設定情報が反映されるまでの間、片眼表示を行う。すなわち、表示位置の不適合が生じる可能性がある間は片眼表示を行うので、不適合に起因する違和感を抑えることができる。
[第4実施形態]
図14は、本発明を適用した第4実施形態における頭部装着型表示装置100の動作を示すフローチャートである。第4実施形態では、生体情報(掌線情報)の照合に失敗した場合に、使用者の入力操作に応じて新規登録などを実行する例について説明する。
第4実施形態の頭部装着型表示装置100の構成は、上記第1実施形態と共通であるため、共通する構成部には同符号を付して図示及び説明を省略する。また、図14のフローチャートにおいて、図8の動作と共通する処理には、同ステップ番号を付して説明を省略する。
第4実施形態では、使用者特定モードにおいて、設定部183が掌線情報を使用して照合処理を行う例を説明する。ステップS11〜S16の動作は図8を参照して説明した動作と同様である。
ステップS15で、設定部183は、入力生体情報に含まれる複数の掌線情報の中から、照合に使用する1又は複数の掌線情報を選択し、選択した掌線情報の始点座標及び終点座標に最も座標が近い掌線情報を使用者情報テーブルから読み出して、照合処理を行う。そして、ステップS16で、設定部183は、照合処理で掌線情報が一致したか否かを判定する。
この照合処理により一致すると判定した場合(ステップS16/YES)、設定部183は、図8を参照して説明した動作と同様に、ステップS18〜S19の処理を実行する。
一方、照合処理により掌線情報が一致しないと判定した場合(ステップS16/NO)、設定部183は、エラーメッセージを出力する(ステップS24)。エラーメッセージの内容は、照合により一致しなかったこと、及び、その後の動作について使用者に指示入力を求めるメッセージを含む。メッセージの出力は、例えば、画像表示部20によるテキストや画像の表示、及び/又は、右イヤホン32と左イヤホン34からの音声出力により行われる。
図15は頭部装着型表示装置100が出力するメッセージの例として、画像表示部20に表示するエラーメッセージM3を例示する。エラーメッセージM3は、認証エラーが発生したことを示すテキストを含む。また、エラーメッセージM3は、指示入力の選択肢として、認証のやり直しを指示する「1」、使用履歴から選択する「2」、掌線情報の新規登録を指示する「3」の3通りの指示入力が可能である。
エラーメッセージM3を出力した後、設定部183は、所定時間内における使用者の入力操作を待機し、入力操作があった場合には、入力操作が再認証の指示であるか否かを判定する(ステップS42)。再認証を指示する入力操作であると判定した場合(ステップS42/YES)、設定部183はステップS17に移行する。
これに対し、入力操作が再認証の指示でないと判定した場合(ステップS42/NO)、設定部183は、新規登録の指示であるか否かを判定する(ステップS43)。ここで、新規登録の指示であると判定した場合(ステップS43/YES)、設定部183は、情報登録モードに移行し(ステップS24)、図6の動作を実行する。
このため、生体情報を用いた認証に失敗して使用者を特定できない場合に、使用者は、再び認証をやり直すか、新たに生体情報を登録するかを選んで実行させることができる。
さらに、入力操作が新規登録の指示でないと判定した場合(ステップS43/NO)、設定部183は、入力操作が履歴情報から使用者を選択する指示であると判定し、履歴情報を出力する(ステップS45)。履歴情報は、頭部装着型表示装置100を使用した使用者の履歴であり、例えば、使用者情報テーブル120Aから設定情報を取得した使用者IDの履歴である。頭部装着型表示装置100は、例えばステップS18で、使用者情報テーブル120Aから設定情報を取得するごとに、取得した設定情報に対応する使用者IDを、記憶部120または制御部140のRAM(図示略)に履歴情報として記憶する。ここで、使用者情報テーブル120Aに、使用者IDに対応付けて使用者名が登録されている場合、設定部183は、使用者名を履歴情報として記憶してもよい。履歴情報は、設定部183が使用者情報テーブル120Aから設定情報を読み出すごとに追加されてもよく、記憶部120またはRAM(図示略)に記憶する履歴情報の数に上限が設けられてもよい。設定部183は、ステップS45で、記憶部120またはRAMに記憶する履歴情報を、画像表示部20による表示または右イヤホン32及び左イヤホン34からの音声出力により、出力する。ここで出力される履歴情報は、記憶部120またはRAMに記憶された履歴情報の一部であってもよい。たとえば、履歴情報を記憶した日時に基づき、新しい順に予め設定された数の履歴情報を選択して出力してもよい。
その後、設定部183は、使用者の入力操作を待機し、出力した履歴情報のいずれかを選択する入力操作が行われると(ステップS46)、ステップS18に移行して、選択された履歴情報である使用者IDに対応する設定情報を使用者情報テーブル120Aから読み出す。
このように、使用者特定モードにおいて、掌線等の生体情報を利用した照合に失敗した場合であっても、過去に使用者を特定した結果を利用して、使用者の入力操作に基づき使用者を特定して表示位置等を調整できる。このため、生体情報の照合に支障がある場合であっても、正当な使用者が頭部装着型表示装置100を使用でき、ユーザービリティーの向上を図ることができる。
また、履歴情報を出力する場合に、履歴情報としての使用者ID等に対応付けて、履歴情報が記憶された日時や季節を出力してもよい。この場合、日時や季節を基準として、頭部装着型表示装置100の設定に用いる設定情報を使用者が選択できる。また、履歴情報に、GPS115が検出した位置情報を対応付けて記憶部120に記憶してもよい。この場合、履歴情報を出力する際に、位置情報を対応付けて出力してもよい。使用者は、履歴情報が過去に使用された場所に基づき、履歴情報を選択できる。
[第5実施形態]
図16は、第5実施形態における頭部装着型表示装置100の動作を示すフローチャートである。また、図17は第5実施形態の頭部装着型表示装置100が、使用者情報テーブル120Aに代えて記憶部120に記憶する使用者情報テーブル120Cの構成例を示す図である。図18は、第5実施形態の頭部装着型表示装置100で認証に使用できる画像の例を示す図であり、(A)は操作の軌跡の画像を用いる例を示し、(B)は可搬の物体の画像を用いる例を示し、(C)は建造物の画像を用いる例を示す。
第5実施形態の頭部装着型表示装置100において、上記第1実施形態と共通する構成部には同符号を付して図示及び説明を省略する。
上記第1から第4実施形態で、頭部装着型表示装置100は、掌線情報などの生体情報を、使用者を特定する処理に利用する。これに対し、第5実施形態で、頭部装着型表示装置100は、生体情報以外の情報を利用する。このため、認証において参照するテーブルは、図17に示すように、生体情報に限らず一般的な画像を利用可能な構成である。
図17の使用者情報テーブル120Cは、認証に利用する画像に関する登録画像情報と、設定情報とを対応付けて記憶する。登録画像情報は、使用者情報テーブル120Aにおける生体情報に対応し、使用者IDに対応付けられる。登録画像情報は、第1カメラ61及び第2カメラ62の撮像画像から、予め登録された画像を検出し、検出した画像との一致性を判定する場合に利用される情報である。
図17に例示する使用者情報テーブル120Cでは、撮像画像から検出する画像のサイズ、特徴量、画像に含まれるテキストやコードに関するデータが、登録画像情報に含まれる。テキスト・コードは、画像認識により制御部140が認識可能なテキスト、及び、バーコードや二次元コード等で符号化された情報である。コードの種類は、制御部140が撮像画像から認識し復号できれば制限はない。サイズの単位は任意であり、例えば図17に例示するように、第1カメラ61及び第2カメラ62の撮像画像におけるドット数(画素数)で表すことができる。特徴量は、認証に用いる画像の特徴量等である。例えば、物体の画像を認証に用いる場合に、この物体を撮像した場合の撮像画像の色、形状、その他の特徴を示す特徴量が使用者情報テーブル120Cに含まれる。この場合、設定部183は、第1カメラ61及び/又は第2カメラ62の撮像画像データから物体の画像を抽出する処理を行い、抽出した画像の特徴量を算出し、算出した特徴量と、使用者情報テーブル120Cに含まれる特徴量とを比較照合する。特徴量が近い値であり、或いは同一である場合は、認証成功と判定できる。
使用者情報テーブル120Cは、例えば、上記第1実施形態で図6を参照して説明した情報登録モードの動作で、手の画像に代えて物体等を撮像した撮像画像を登録することで、生成できる。
すなわち、図6のステップS1でシルエット画像を表示する処理に代えて、画像の位置の指標となる基準線SP(図18)を表示し、ステップS2で撮像を実行し、ステップS3で撮像画像からサイズと特徴量とを含む登録画像情報を算出する。そして、ステップS4で設定情報を算出し、ステップS5で、設定情報を登録画像情報に対応づけて記憶すればよい。
図18には認証に用いる画像の例を示す。図18(A)では使用者の手の軌跡を、認証に利用する。制御部140は、視野VAに位置する表示領域Tに、基準線SPを表示する。使用者は基準線SPを目安にして手を動かし、制御部140は第1カメラ61及び/又は第2カメラ62の撮像画像(以下、単に撮像画像という)から手の軌跡の画像を抽出する。図18(A)の例では、「YAMADA」という氏名のサインを描くような手の軌跡を示す。この軌跡の画像O1について、制御部140は、サイズ及び特徴量を算出する。また、画像O1について画像テキスト認識処理を実行し、テキストを得てもよい。
図18(B)は、可搬の物体の画像を認証に用いる例として、時計の画像を認証に用いる例を示す。使用者は、時計が表示領域Tの基準線SPの位置に重なるように、顔の向きや時計の位置を調整する。制御部140は、撮像画像から時計の画像O2を抽出して認証に用いる。時計に限らず、使用者が手に持って移動可能な物体であれば、時計と同様に認証に利用できる。
図18(C)は、不動産などの可搬でない物体や風景の画像を認証に用いる例を示す。図18(C)では建物が基準線SPに重なるように、使用者が移動すればよい。この場合、制御部140は、撮像画像から建物あるいは風景の画像O3を抽出し、サイズ及び特徴量を算出する。
その他の例としては、例えば、数字やコードが印刷されたIDカード、自動車や自転車等の乗り物あるいは移動体、衣服や装飾品等、第1カメラ61または第2カメラ62で撮像可能なものであればよい。
このように、第5実施形態で認証に使用される画像は、手等の物体の動きや、可搬型であるか可搬でないかを問わず物体の画像を用いることができ、特定の1つの物体に限らず複数の物体で構成される風景の画像であってもよい。
使用者情報テーブル120Cが記憶部120に記憶された状態で、図16の使用者特定モードを実行できる。
図16のステップS51の処理は、図6のステップS1、或いは図8のステップS11と同様の処理であり、シルエット画像Sに代えて基準線SPが表示される。第5実施形態では認証に用いる画像のサイズや形状が様々であるため、例えば図18に示した基準線SPのように中央位置を示す基準線SPを用いると効率がよい。
生体情報検出部181は、基準線SPを表示制御部170に出力して、画像表示部20により表示させる(ステップS51)。使用者は、基準線SPを視認しながら手を動かし、或いは物体が視認されるように移動し、撮像を指示する。生体情報検出部181は、使用者の操作を検出すると、第1カメラ61及び/又は第2カメラ62に撮像を実行させる(ステップS52)。撮像画像は生体情報検出部181に入力され、生体情報検出部181は、撮像画像を画像処理して、認証用の画像情報を抽出する(ステップS53)。
使用者特定モードにおいて、設定部183には、生体情報検出部181から画像情報が入力される。
設定部183は、生体情報検出部181から画像情報が入力されると、照合処理に使用する画像情報を選択する(ステップS54)。設定部183は、生体情報検出部181が抽出した画像情報の中から、照合に使用する1又は複数の画像情報を選択する(ステップS55)。これにより、照合に使用する画像情報が間引きされる。設定部183は、認証に用いる画像情報を選択すると、選択した画像情報のサイズ、特徴量、テキストやコード等が一致または近似する登録画像情報を、使用者情報テーブル120Cから読み出して、照合処理を行う(ステップS56)。複数の画像情報を認証用の画像情報として選択した場合、ステップS56で、設定部183は、選択したすべての画像情報について照合処理を行ってもよい。
設定部183は、照合処理により画像情報が登録画像情報に一致したか否かを判定する(ステップS57)。一致しないと判定した場合(ステップS57/NO)、設定部183は、画像表示部20が表示する基準線SPに、ガイド表示を追加表示させる(ステップS58)。ガイド表示は、例えば、照合処理において設定部183が、一致度が高いと判定した画像情報の輪郭線を用いることができる。ガイド表示を表示した後、ステップS53に戻る。
照合処理により画像情報と登録画像情報とが一致したと判定した場合(ステップS57/YES)、設定部183は、設定情報を使用者情報テーブル120Cから読み出す(ステップS59)。この設定情報は、画像情報に一致度が高いと判定された登録画像情報に対応付けられた設定情報である。設定部183は、読み出した設定情報に基づいて、表示データの表示位置又はサイズを補正する補正係数を算出する。設定部183は、眼間距離と、輻輳角と、眼と光学素子の相対距離と、光学素子の角度との少なくとも1つに基づいて、表示データの表示位置又はサイズを補正する補正係数を算出する。設定部183は、補正係数を算出すると、算出した補正係数を位置検出部185に出力する。
位置検出部185は、対象検出部184が撮像画像から検出した対象物の画像について、表示領域に対する位置とサイズとを検出する。位置検出部185は、表示領域に対する位置とサイズとを検出すると、検出した位置及びサイズを、設定部183から渡された補正係数に基づいて補正する(ステップS60)。情報表示制御部186は、対象検出部184が検出した対象物について、位置検出部185が補正係数に基づいて補正した位置及び/又はサイズ等に基づき、表示データの表示位置を決定する。その後、情報表示制御部186は、表示データを表示制御部170に出力し、画像表示部20により表示を実行させる。
このように、頭部装着型表示装置100では、第1から第4実施形態で説明した掌線情報等の生体情報に代えて、物体を撮像した撮像画像から抽出される画像に係る情報を、認証に用いることができる。このため、一人の人間に対し一通りの対応付けが可能な生体情報を用いる場合とは異なり一人の人間に対し複数の設定情報を対応付けて、使用者情報テーブル120Cに登録できる。従って、より幅広い設定情報を使用者が使用できる。
第5実施形態の画像情報、及び、登録画像情報は、生体情報以外の情報であって、物体を撮像した撮像画像から抽出、検出、あるいは算出される情報である。より具体的には、撮像画像から抽出される物体の画像に基づき得られる情報であり、この物体には生体を含み、移動可能な物体、建物等の移動不可能な物体、及び、複数の物体を含む景色を含む。物体の画像に基づき得られる情報(画像情報)は、指紋、掌紋、顔貌等の生体の個体に特有の画像的特徴を含まない。例えば、画像情報単独では生体の個体を特定できないことが好ましい。
別の表現をすれば、画像情報としては、撮像画像に写る物体の外形あるいは輪郭を抽出することにより得られる物体の形状、撮像画像に写る物体の色、複数の撮像画像から得られる物体の形状の変化、複数の撮像画像から得られる物体の位置の軌跡などが挙げられる。
これらの観点から、第2識別情報として挙げた画像情報は、例えば、生体の個体識別が不可能な非生体固有情報ということができる。また、画像情報は、物体の外観から得られる外観情報、物体としての建物を含む撮像画像から建物の形状を含む情報を抽出した外景情報、識別用の非生物の物体を撮像した撮像画像から抽出される識別用物体情報、移動する物体を連続撮影した場合の軌跡に係る軌跡情報、等のいずれかを含む情報ということもできるが、指紋、掌紋、顔貌等の生体の個体に特有の画像的特徴を含まない情報であれば限定されない。
[第6実施形態]
図19は、第6実施形態における頭部装着型表示装置100の動作を示すフローチャートである。また、図20は第5実施形態の頭部装着型表示装置100が、使用者情報テーブル120Aに代えて記憶部120に記憶する使用者情報テーブル120Dの構成例を示す図である。第6実施形態の頭部装着型表示装置100において、上記第1実施形態と共通する構成部には同符号を付して図示及び説明を省略する。
上記第1から第4実施形態で、頭部装着型表示装置100は、掌線情報などの生体情報を、使用者を特定する処理に利用する。また、上記第5実施形態では、頭部装着型表示装置100は、生体情報以外の情報を利用する。
本第6実施形態では、第5実施形態で説明した生体情報以外の情報と、第1から第4実施形態で説明した生体情報とを組み合わせて、認証に利用する例を説明する。
第6実施形態の認証において参照するテーブルは、図20に示すように、生体情報と画像情報との組み合わせに対応付けて、設定情報を登録した構成である。
図20の使用者情報テーブル120Dは、認証に利用する画像に関する登録画像情報と、設定情報とを対応付けて記憶する。登録画像情報は、使用者情報テーブル120Aにおける生体情報に対応し、使用者IDに対応付けられる。登録画像情報は、第1カメラ61及び第2カメラ62の撮像画像から、予め登録された画像を検出し、検出した画像との一致性を判定する場合に利用される情報である。
図20に例示する使用者情報テーブル120Dでは、使用者情報テーブル120A(図5(A))と同様に、使用者IDに対応づけて登録生体情報が登録される。また、使用者情報テーブル120Dでは、使用者情報テーブル120C(図17)と同様に、使用者IDに対応付けて登録画像情報が登録される。登録生体情報、登録画像情報、及び設定情報の構成は上述した各実施形態と同様である。
使用者情報テーブル120Dでは、1つの使用者IDに対し、登録生体情報が対応付けられる。また、1つの使用者ID及び登録生体情報に対し、複数の登録画像情報が対応付けられる。そして、登録生体情報に対応付けて設定情報が登録される。そして、使用者情報テーブル120Dでは、登録生体情報と登録画像情報の組合せに対応付けて、設定情報が登録される。例えば、同一の登録画像情報を、異なる登録生体情報に対応付けてもよい。
使用者情報テーブル120Dを用いて認証を行う場合の動作を、図19に示す。図19において、ステップS60の処理は、第5実施形態で図16を参照して説明した処理と共通である。
図19の動作では、生体情報と、画像情報との2種類の情報を、使用者情報テーブル120Dに登録された情報と照合し、これら2種類の情報の組合せに対応する設定情報を読み出す。生体情報と画像情報とのいずれか一方を第1識別情報として先に照合し、その照合に成功した後、他方を第2識別情報として照合する。画像情報を第1識別情報とし、生体情報を第2識別情報としてもよいし、その逆であってもよい。
図20に例示する使用者情報テーブル120Dは、同一の登録画像情報を、異なる登録生体情報に対応付けてもよい構成となっているのに対し、生体情報は使用者IDに対し一意で対応付けられる。従って、第6実施形態では、第1識別情報として生体情報を照合することが、より好ましい。この例について以下、説明する。
図19のステップS71の処理は、図6のステップS1、図8のステップS11、亜流胃は図16のステップS51と同様の処理であり、シルエット画像Sまたは基準線SPが表示される。第1識別情報として生体情報を利用する例ではシルエット画像Sが表示される。なお、第1識別情報として画像情報を利用する例では基準線SPが表示される。
生体情報検出部181は、シルエット画像Sを表示制御部170に出力して、画像表示部20により表示させる(ステップS72)。使用者は、シルエット画像Sを視認しながら手の位置を調整して操作部111を操作し、手Rの画像の撮像を指示する。生体情報検出部181は、操作部111の操作が入力されると、第1カメラ61に、使用者の手Rの画像を撮像させる(ステップS73)。第1カメラ61の撮像画像は、生体情報検出部181に入力され、生体情報検出部181は、撮像画像を画像処理して、生体情報を抽出する(ステップS74)。
設定部183は、生体情報検出部181から入力生体情報が入力されると、照合処理に使用する生体情報を選択する(ステップS75)。設定部183は、生体情報に含まれる複数の掌線情報の中から、照合に使用する1又は複数の掌線情報を選択し、選択した掌線情報の始点座標及び終点座標に最も座標が近い掌線情報を使用者情報テーブルから読み出して、照合処理を行う(ステップS76)。
設定部183は、使用者情報テーブルから取り出した掌線情報の長さ比及び/又は曲率と、入力生体情報から選択した掌線情報の長さ比及び/又は曲率との照合を行う。設定部183は、選択したすべての掌線情報について照合処理を行う(ステップS77)。照合処理により長さ比及び/又は曲率の一致度がしきい値よりも低い、すなわち、一致しないと判定されると(ステップS77/NO)、設定部183は、認証が成功しなかったことを示すエラーメッセージを出力して(ステップS78)、ステップS73に戻る。ここで、設定部183は、画像表示部20が表示するシルエット画像Sに、ガイド表示を追加表示させてもよい。ガイド画像については図8のステップS17について説明した通りである。
照合処理により、長さ比及び/又は曲率の一致度がしきい値よりも高いと判定されると(ステップS77/YES)、制御部140は、第2識別情報である画像情報の認証を開始する(ステップS81)。すなわち、制御部140は、画像情報の認識開始のメッセージを出力する。
設定部183は、ステップS76で照合し一致したと判定した生体情報に対応付けて使用者情報テーブル120Dに登録された1または複数の画像情報を取得する(ステップS82)。これにより、認証を効率よく実行できる。
生体情報検出部181は、基準線SPを表示制御部170に出力して、画像表示部20により表示させる(ステップS83)。使用者は、基準線SPを視認しながら手を動かし、或いは物体が視認されるように移動し、撮像を指示する。生体情報検出部181は、使用者の操作を検出すると、第1カメラ61及び/又は第2カメラ62に撮像を実行させる(ステップS84)。撮像画像は生体情報検出部181に入力され、生体情報検出部181は、撮像画像を画像処理して、認証用の画像情報を抽出する(ステップS85)。
使用者特定モードにおいて、設定部183には、生体情報検出部181から画像情報が入力される。設定部183は、生体情報検出部181から画像情報が入力されると、ステップS82で取得した登録画像情報のうち、入力された画像情報のサイズ、特徴量、テキストやコード等が一致または近似する登録画像情報を照合する(ステップS86)。
設定部183は、照合処理により画像情報と一致した登録画像情報に対応する設定情報を、使用者情報テーブル120Dから読み出す(ステップS87)。設定部183は、読み出した設定情報に基づいて、表示データの表示位置又はサイズを補正する補正係数を算出する。設定部183は、眼間距離と、輻輳角と、眼と光学素子の相対距離と、光学素子の角度との少なくとも1つに基づいて、表示データの表示位置又はサイズを補正する補正係数を算出する。設定部183は、補正係数を算出すると、算出した補正係数を位置検出部185に出力する。
位置検出部185は、対象検出部184が撮像画像から検出した対象物の画像について、表示領域に対する位置とサイズとを検出する。位置検出部185は、表示領域に対する位置とサイズとを検出すると、検出した位置及びサイズを、設定部183から渡された補正係数に基づいて補正する(ステップS60)。情報表示制御部186は、対象検出部184が検出した対象物について、位置検出部185が補正係数に基づいて補正した位置及び/又はサイズ等に基づき、表示データの表示位置を決定する。その後、情報表示制御部186は、表示データを表示制御部170に出力し、画像表示部20により表示を実行させる。
第6実施形態で説明したように、生体情報と画像情報との組合せに対し設定情報を対応付けて使用者情報テーブル120Dに登録することで、一人の使用者に対し、複数の設定情報を対応付けて記憶できる。そして、これらの設定情報を選択して使用する際に、簡易認証を行うことで、セキュリティを確保し、かつ、容易に設定情報を使用して、使用者にとって適切な設定を実現できる。
この構成では、使用者が、自身の生体情報に対応付けて記憶された複数の設定情報を使い分けることができる。例えば、掌線情報により認証を行った後で、第1カメラ61により、ランニングシューズを撮像する場合と、建物を撮像する場合と、氏名のサインに沿って手を動かす場合とで、異なる設定情報を呼び出して設定できる。従って、頭部装着型表示装置100を使用する用途、状況、場所等に応じて設定情報を切り替えることができる。
そして、生体情報と画像情報とを利用して2段階で設定情報を特定するので、より多くの設定を記憶し、効率よく設定情報を選択して利用できる。
第6実施形態では、図19に示したように、設定部183が、最初に生体情報検出部181から入力された入力生体情報(第1識別情報)を用いた照合を行い、その後、生体情報検出部181から入力される画像情報(第2識別情報)を用いて照合を行って、設定情報を読み出す例を説明した。
詳細には、第1識別情報としての入力生体情報が入力され、設定部183は、入力生体情報を選択して照合処理を行う(ステップS72〜S77)。その後、第2識別情報としての画像情報が入力され、画像情報に基づく照合が行われ(ステップS83〜S86)、設定情報が使用者情報テーブル120Dから読み出される(ステップS87)。
本発明の実施態様は、図19に示した動作を実行する構成に限定されない。例えば、設定部183は、ステップS75の動作の前に、ステップS83〜S86と同様に第2識別情報の取得及び使用者情報テーブル120Dとの照合を行ってもよい。その後、設定部183は、ステップS72〜S77の動作を行って第1識別情報を用いた照合を行い、この照合の結果に基づき、ステップS87で設定情報を読み出してもよい。この場合も、第6実施形態で説明した構成と同様の効果を得ることができる。
上述した第1〜第6実施形態の構成は、それぞれ単独で実施されるだけでなく、組み合わせて適用することも可能である。
第1実施形態では、識別情報としての生体情報を用いた認証を行って、生体情報に対応付けて記憶した設定情報を利用し、表示を制御する例を説明した。また、第2実施形態では、識別情報を用いた認証に成功した場合に、使用者に対し確認を求める動作について説明した。第3実施形態では、識別情報に基づいて特定した設定情報に基づく設定を行うまでの間、画像表示部20における表示を片眼表示とする動作について説明した。また、第4実施形態では、識別情報としての生体情報の照合に失敗した場合に、使用者の入力操作に応じて新規登録などを実行する例について説明した。また、第5実施形態では、頭部装着型表示装置100が、識別情報として、生体情報以外の情報、例えば一般的な画像を利用して認証を行い、記憶した設定情報を特定し、画像表示部20の表示を制御する例について説明した。また、第6実施形態では、第5実施形態で説明した生体情報以外の情報と、第1から第4実施形態で説明した生体情報とを組み合わせて、認証に利用する例を説明した。また、第5、第6実施形態で、記憶部120に記憶する使用者情報テーブルの例として、生体情報と画像情報との組み合わせに対応付けて、設定情報を登録した構成を示した。
本発明は、各実施形態で説明した構成を組み合わせて実行することが可能である。例えば、第5、第6実施形態において説明したように、識別情報として、生体情報以外の情報を利用する構成において、第3実施形態で説明したように、設定情報に基づき画像表示部20の表示を制御するまでの間、片眼表示を行ってもよい。また、例えば、第3、第5〜第6実施形態の構成において、第2実施形態で説明したように、認証に成功した場合に使用者に対し確認を求める動作を行ってもよい。また、例えば、第3、第5〜第6実施形態の構成において、第4実施形態で説明したように、識別情報の照合に失敗した場合に、使用者の入力操作に応じて新規登録などを実行してもよい。さらに、本発明を適用する実施態様は、上記に例示する以外の実施形態の構成の組合せとすることも可能であり、その選択は制限されない。
なお、この発明は上記各実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
また、例えば、画像表示部20に代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、使用者の左眼に対応して画像を表示する表示部と、使用者の右眼に対応して画像を表示する表示部とを備えていればよい。また、本発明の表示装置は、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよいし、自動車のフロントガラスに用いられるヘッドアップディスプレイ(Head-up Display;HUD)であってもよい。
さらに、上記実施形態では、画像表示部20と制御装置10とが分離され、接続部40を介して接続された構成を例に挙げて説明したが、制御装置10と画像表示部20とが一体に構成され、使用者の頭部に装着される構成とすることも可能である。
また、制御装置10と画像表示部20とをより長いケーブルにより接続した場合に、制御装置10として、ノート型コンピューター、タブレット型コンピューター又はデスクトップ型コンピューターを用いてもよい。また、制御装置10として、ゲーム機や携帯型電話機やスマートフォンや携帯型メディアプレーヤーを含む携帯型電子機器、その他の専用機器等を用いてもよい。
また、例えば、画像表示部20において画像光を生成する構成として、有機EL(有機エレクトロルミネッセンス、Organic Electro-Luminescence)のディスプレイと、有機EL制御部とを備える構成としてもよい。また、画像光を生成する構成として、LCOS(Liquid crystal on silicon, LCoSは登録商標)や、デジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型のヘッドマウントディスプレイに対して本発明を適用することも可能である。すなわち、画像生成部が、レーザー光源と、レーザー光源を使用者の眼に導く光学系とを備え、レーザー光を使用者の眼に入射させて網膜上を走査し、網膜に結像させることにより、使用者に画像を視認させる構成を採用してもよい。レーザー網膜投影型のヘッドマウントディスプレイを採用する場合、「画像光生成部における画像光の射出可能領域」とは、使用者の眼に認識される画像領域として定義することができる。
画像光を使用者の眼に導く光学系としては、外部から装置に向けて入射する外光を透過する光学部材を備え、画像光とともに使用者の眼に入射させる構成を採用できる。また、使用者の眼の前方に位置して使用者の視界の一部または全部に重なる光学部材を用いてもよい。さらに、レーザー光等を走査させて画像光とする走査方式の光学系を採用してもよい。また、光学部材の内部で画像光を導光させるものに限らず、使用者の眼に向けて画像光を屈折及び/または反射させて導く機能のみを有するものであってもよい。
また、本発明を、MEMSミラーを用いた走査光学系を採用し、MEMSディスプレイ技術を利用した表示装置に適用することも可能である。すなわち、画像表示素子として、信号光形成部と、信号光形成部が射出する光を走査するMEMSミラーを有する走査光学系と、走査光学系により走査される光によって虚像が形成される光学部材とを備えてもよい。この構成では、信号光形成部が射出した光がMEMSミラーにより反射され、光学部材に入射し、光学部材の中を導かれて、虚像形成面に達する。MEMSミラーが光を走査することにより、虚像形成面に虚像が形成され、この虚像を使用者が眼で捉えることで、画像が認識される。この場合の光学部品は、例えば上記実施形態の右導光板261及び左導光板262のように、複数回の反射を経て光を導くものであってもよく、ハーフミラー面を利用してもよい。
さらに、本発明の光学素子は、ハーフミラー261A、262Aを有する右導光板261、左導光板262に限定されず、画像光を使用者の眼に入射させる光学部品であればよく、具体的には、回折格子、プリズム、ホログラフィー表示部を用いてもよい。
また、本発明の表示装置は頭部装着型の表示装置に限定されず、フラットパネルディスプレイやプロジェクター等の各種の表示装置に適用できる。本発明の表示装置は、外光とともに画像光により画像を視認させるものであればよく、例えば、外光を透過させる光学部材により画像光による画像を視認させる構成が挙げられる。具体的には、上記のヘッドマウントディスプレイにおいて外光を透過する光学部材を備えた構成の他、使用者から離れた位置に固定的に、又は可動に設置された透光性の平面や曲面(ガラスや透明なプラスチック等)に画像光を投射する表示装置にも適用可能である。一例としては、車両の窓ガラスに画像光を投射し、乗車している使用者や車両の外にいる使用者に、画像光による画像とともに、車両内外の景色を視認させる表示装置の構成が挙げられる。また、例えば、建物の窓ガラスなど固定的に設置された透明また半透明、或いは有色透明な表示面に画像光を投射し、表示面の周囲にいる使用者に、画像光による画像とともに、表示面を透かして景色を視認させる表示装置の構成が挙げられる。
また、図4に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図2に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、制御部140が実行するプログラムは、記憶部120または制御装置10内の記憶装置に記憶されてもよいし、外部の装置に記憶されたプログラムを通信部117又はインターフェイス125を介して取得して実行する構成としてもよい。また、制御装置10に形成された構成のうち、操作部111のみが単独の使用者インターフェイス(UI)として形成されてもよい。また、制御装置10に形成された構成が重複して画像表示部20に形成されていてもよい。例えば、図4に示す制御部140が制御装置10と画像表示部20との両方に形成されていてもよいし、制御装置10に形成された制御部140と画像表示部20に形成されたCPUとが行う機能が別々に分けられている構成としてもよい。
また、設定情報として、瞳の色の情報を使用者情報テーブル120Aに登録しておき、使用者の瞳の色に応じて、表示駆動部22,24から出力される画像光の強さや、配色を変更してもよい。また、使用者の体型情報(標準体型、やせ型、肥満型)を使用者情報テーブル120Aに登録しておき、使用者の体型に応じて表示駆動部22,24から出力される画像光の配色を変更してもよい。例えば、使用者が肥満体型である場合、画像表示部20が食べ物の画像を表示させる場合に、画像の色を青みがかった色に変更してもよい。これにより、使用者の食欲を抑制することができる。また、右光学像表示部26及び左光学像表示部28に透過率を変更可能なシェードを設けて、使用者の瞳の色に応じて、シェードの透過率を変更してもよい。
また、設定情報として、使用者の背丈、体重、性別等の身体的な特徴を使用者情報テーブル120Aに登録しておき、画像表示部20の表示領域における表示位置/又は表示サイズを、使用者の身体的な特徴に基づいて補正してもよい。
1…通信システム、2…表示システム、5…サーバー、10…制御装置、20…画像表示部(表示部)、21…右保持部、22…右表示駆動部(第2の表示部)、23…左保持部、24…左表示駆動部(第1の表示部)、25…インターフェイス、26…右光学像表示部、28…左光学像表示部、61…カメラ、63…マイク、100、100A、100B…頭部装着型表示装置(表示装置)、117…通信部、120…記憶部、125…インターフェイス、140…制御部、150…オペレーティングシステム、160…画像処理部、170…表示制御部、181…生体情報検出部、182…設定情報検出部、183…設定部、184…対象検出部、185…位置検出部、186…情報表示制御部、187…音声処理部、201…右バックライト制御部、202…左バックライト制御部、211…右LCD制御部、212…左LCD制御部、221…右バックライト、222…左バックライト、241…右LCD、242…左LCD、251…右投写光学系、252…左投写光学系、261…右導光板(光学素子)、262…左導光板(光学素子)。

Claims (20)

  1. 頭部装着型の表示部を備える表示装置であって、
    前記表示部の表示に関する設定情報を、使用者を識別する識別情報に対応付けて記憶する記憶部と、
    前記識別情報を入力する入力部と、
    入力した前記識別情報に対応する設定情報に基づいて、前記表示部の表示を制御する制御部と、
    を備えることを特徴とする表示装置。
  2. 撮像部を備え、
    前記入力部は、前記撮像部の撮像画像に基づく前記識別情報を入力し、
    前記制御部は、前記記憶部に記憶した前記識別情報のうち、前記入力部が入力する前記識別情報に対応する前記識別情報を特定し、特定した前記識別情報に対応付けて記憶された前記設定情報に基づいて、前記表示部の表示を制御する、ことを特徴とする請求項1記載の表示装置。
  3. 前記識別情報は、前記使用者の生体情報に含まれる特徴の一部を含む、ことを特徴とする請求項1または2記載の表示装置。
  4. 前記制御部は、前記入力部により前記識別情報として入力される生体情報の特徴の一部と、前記記憶部が記憶する前記生体情報の特徴の一部とを照合して、前記設定情報を特定する、ことを特徴とする請求項3記載の表示装置。
  5. 前記識別情報は、前記撮像部の撮像画像から抽出される画像に係る画像情報を含む、ことを特徴とする請求項1または2記載の表示装置。
  6. 前記制御部は、前記入力部により入力される前記識別情報に含まれる前記画像情報と、前記記憶部が記憶する前記画像情報とを照合することにより、前記設定情報を特定する、ことを特徴とする請求項5記載の表示装置。
  7. 前記識別情報は、前記使用者の生体情報に含まれる特徴の一部を含む第1識別情報、及び、前記画像情報で構成される第2識別情報を含み、
    前記記憶部は、前記第1識別情報と、前記第2識別情報と、前記設定情報とを対応付けて記憶する、ことを特徴とする請求項5または6記載の表示装置。
  8. 前記制御部は、前記入力部により入力される前記識別情報に含まれる前記第1識別情報及び前記第2識別情報に基づいて、前記記憶部に記憶された前記設定情報を特定する、ことを特徴とする請求項7記載の表示装置。
  9. 前記制御部は、前記入力部により入力される前記識別情報に含まれる前記第1識別情報及び前記第2識別情報の組合せに対応付けて前記記憶部に記憶された前記設定情報を特定する、ことを特徴とする請求項8記載の表示装置。
  10. 前記制御部は、前記入力部により入力される前記識別情報に含まれる前記第1識別情報及び前記第2識別情報のいずれか一方に基づいて、前記記憶部に記憶された前記設定情報から複数の前記設定情報を選択し、
    選択した前記設定情報のうち、前記入力部により入力される前記識別情報に含まれる前記第1識別情報及び前記第2識別情報のうちの他方に対応する前記設定情報を特定する、ことを特徴とする請求項7から9のいずれかに記載の表示装置。
  11. 前記画像情報は、前記撮像画像から抽出または検出可能な情報であって、それ単独で生体の個体識別が可能な情報を含まない非生体固有情報である、ことを特徴とする請求項5から10のいずれかに記載の表示装置。
  12. 前記画像情報は、建物を含む前記撮像画像から建物の形状を含む情報を抽出した外景情報、識別用の非生物の物体を撮像した前記撮像画像から抽出される識別用物体情報、及び、移動する物体を撮影した複数の前記撮像画像から抽出される物体の軌跡に係る軌跡情報のいずれかを含むこと、を特徴とする請求項11記載の表示装置。
  13. 前記表示部は、前記使用者の右眼及び左眼に対応して画像を表示する両眼表示と、前記使用者の右眼及び左眼のいずれかに対応して画像を表示する片眼表示とを切り替えて実行可能であり、
    前記制御部は、前記入力部により入力する前記識別情報に対応する前記設定情報に基づいて、前記表示部の表示を制御するまでの間は前記表示部に片眼表示を行わせ、前記設定情報に基づいて表示が制御される際に前記表示部を両眼表示に切り替える、ことを特徴とする請求項1から12のいずれかに記載の表示装置。
  14. 前記表示部は、外景を透過し、前記外景とともに視認できるように画像を表示し、
    前記制御部は、前記画像の表示位置及び表示サイズの少なくともいずれかを、前記設定情報に対応して複数段階に変更することを特徴とする請求項1から13のいずれかに記載の表示装置。
  15. 前記表示部は、外景を透過し、前記外景とともに視認できるように画像光を前記使用者の眼に入射する光学素子と、
    前記使用者の視線方向の対象物を検出する対象検出部と、
    前記表示部の表示領域に対する前記対象物の位置を検出する位置検出部と、を備え、
    前記制御部は、前記位置検出部で検出した前記対象物の位置、及び、前記光学素子と前記使用者の瞳孔の位置との位置関係に応じて、前記光学素子による前記画像の表示位置を変更する、ことを特徴とする請求項1から14のいずれかに記載の表示装置。
  16. 前記設定情報は、言語の設定に関する情報を含み、
    前記制御部は、前記表示部に、文字を含むコンテンツを表示する場合に、前記設定情報に対応した言語の文字を前記表示部に表示させる、ことを特徴とする請求項1から15のいずれか1項に記載の表示装置。
  17. 通信部を備え、
    前記制御部は、前記記憶部に記憶する前記設定情報と前記識別情報とを対応付けて、前記通信部により外部の装置に送信し、
    前記通信部により前記設定情報と前記識別情報とを受信し、受信した前記設定情報と前記識別情報とを対応付けて前記記憶部に記憶すること、
    を特徴とする請求項1から16のいずれかに記載の表示装置。
  18. 頭部装着型の表示部をそれぞれ備える複数の表示装置を備え、
    前記表示装置は、
    前記表示部の表示に関する設定情報を、使用者を識別する識別情報に対応付けて記憶する記憶部と、
    前記識別情報を入力する入力部と、
    入力した前記識別情報に対応する設定情報に基づいて、前記表示部の表示を制御する制御部と、
    他の前記表示装置と通信する通信部と、を備え、
    前記制御部は、前記記憶部に記憶する前記設定情報と前記識別情報とを対応付けて、前記通信部により送信し、
    前記通信部により前記設定情報と前記識別情報とを受信し、受信した前記設定情報と前記識別情報とを対応付けて前記記憶部に記憶すること、
    を特徴とする表示システム。
  19. 頭部装着型の表示部を備える表示装置の制御方法であって、
    識別情報を入力するステップと、
    前記表示部の表示に関する設定情報を、使用者を識別する識別情報に対応付けて記憶する記憶部を参照して、入力した前記識別情報に対応する設定情報に基づいて、前記表示部の表示を制御するステップと、
    を備えることを特徴とする表示装置の制御方法。
  20. 頭部装着型の表示部を備える表示装置を制御するコンピューターが実行可能なプログラムであって、
    コンピューターを、
    識別情報を入力する入力部と、
    前記表示部の表示に関する設定情報を、使用者を識別する識別情報に対応付けて記憶する記憶部を参照して、入力した前記識別情報に対応する設定情報に基づいて、前記表示部の表示を制御する制御部と、
    して機能させるためのプログラム。
JP2015124440A 2014-10-24 2015-06-22 表示装置、表示装置の制御方法、表示システム、及び、プログラム Active JP6701631B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015124440A JP6701631B2 (ja) 2015-06-22 2015-06-22 表示装置、表示装置の制御方法、表示システム、及び、プログラム
US14/878,545 US20160116740A1 (en) 2014-10-24 2015-10-08 Display device, control method for display device, display system, and computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015124440A JP6701631B2 (ja) 2015-06-22 2015-06-22 表示装置、表示装置の制御方法、表示システム、及び、プログラム

Publications (2)

Publication Number Publication Date
JP2017009777A true JP2017009777A (ja) 2017-01-12
JP6701631B2 JP6701631B2 (ja) 2020-05-27

Family

ID=57763285

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015124440A Active JP6701631B2 (ja) 2014-10-24 2015-06-22 表示装置、表示装置の制御方法、表示システム、及び、プログラム

Country Status (1)

Country Link
JP (1) JP6701631B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018173288A1 (ja) * 2017-03-24 2018-09-27 サン電子株式会社 画像表示ユニット
JP2018181256A (ja) * 2017-04-21 2018-11-15 株式会社ミクシィ 頭部装着ディスプレイ装置、認証方法、及び認証プログラム
CN108873343A (zh) * 2018-07-05 2018-11-23 池州市佳域信息技术有限公司 一种手机用vr眼镜
JP2019003445A (ja) * 2017-06-15 2019-01-10 株式会社ミクシィ 頭部装着ディスプレイ装置、認証方法、及び認証プログラム
JP2019066817A (ja) * 2017-10-02 2019-04-25 株式会社ぐるなび 制御方法、情報処理装置及び制御プログラム
JP2019125965A (ja) * 2018-01-18 2019-07-25 キヤノン株式会社 表示装置
JP2021015630A (ja) * 2020-10-30 2021-02-12 株式会社ミクシィ 頭部装着ディスプレイ装置、認証方法、及び認証プログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012169726A (ja) * 2011-02-10 2012-09-06 Seiko Epson Corp 頭部装着型表示装置および頭部装着型表示装置の制御方法
WO2012127824A1 (ja) * 2011-03-18 2012-09-27 パナソニック株式会社 眼鏡、立体視映像処理装置、システム
WO2013128612A1 (ja) * 2012-03-01 2013-09-06 パイオニア株式会社 ヘッドマウントディスプレイ、校正方法及び校正プログラム、並びに記録媒体
US20130342570A1 (en) * 2012-06-25 2013-12-26 Peter Tobias Kinnebrew Object-centric mixed reality space
JP2014071230A (ja) * 2012-09-28 2014-04-21 Pioneer Electronic Corp 画像表示装置、制御方法、プログラム及び記憶媒体
JP2014534655A (ja) * 2011-08-30 2014-12-18 マイクロソフト コーポレーション 虹彩スキャン・プロファイリング機能を有する頭部装着ディスプレイ
JP2015072602A (ja) * 2013-10-03 2015-04-16 株式会社ニコン 電子制御装置、電子制御方法、及び電子制御プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012169726A (ja) * 2011-02-10 2012-09-06 Seiko Epson Corp 頭部装着型表示装置および頭部装着型表示装置の制御方法
WO2012127824A1 (ja) * 2011-03-18 2012-09-27 パナソニック株式会社 眼鏡、立体視映像処理装置、システム
JP2014534655A (ja) * 2011-08-30 2014-12-18 マイクロソフト コーポレーション 虹彩スキャン・プロファイリング機能を有する頭部装着ディスプレイ
WO2013128612A1 (ja) * 2012-03-01 2013-09-06 パイオニア株式会社 ヘッドマウントディスプレイ、校正方法及び校正プログラム、並びに記録媒体
US20130342570A1 (en) * 2012-06-25 2013-12-26 Peter Tobias Kinnebrew Object-centric mixed reality space
JP2014071230A (ja) * 2012-09-28 2014-04-21 Pioneer Electronic Corp 画像表示装置、制御方法、プログラム及び記憶媒体
JP2015072602A (ja) * 2013-10-03 2015-04-16 株式会社ニコン 電子制御装置、電子制御方法、及び電子制御プログラム

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018173288A1 (ja) * 2017-03-24 2018-09-27 サン電子株式会社 画像表示ユニット
JP2018181256A (ja) * 2017-04-21 2018-11-15 株式会社ミクシィ 頭部装着ディスプレイ装置、認証方法、及び認証プログラム
JP2019003445A (ja) * 2017-06-15 2019-01-10 株式会社ミクシィ 頭部装着ディスプレイ装置、認証方法、及び認証プログラム
JP2019066817A (ja) * 2017-10-02 2019-04-25 株式会社ぐるなび 制御方法、情報処理装置及び制御プログラム
JP2019125965A (ja) * 2018-01-18 2019-07-25 キヤノン株式会社 表示装置
JP7118650B2 (ja) 2018-01-18 2022-08-16 キヤノン株式会社 表示装置
CN108873343A (zh) * 2018-07-05 2018-11-23 池州市佳域信息技术有限公司 一种手机用vr眼镜
JP2021015630A (ja) * 2020-10-30 2021-02-12 株式会社ミクシィ 頭部装着ディスプレイ装置、認証方法、及び認証プログラム
JP7045633B2 (ja) 2020-10-30 2022-04-01 株式会社ミクシィ 頭部装着ディスプレイ装置、認証方法、及び認証プログラム
JP2022088423A (ja) * 2020-10-30 2022-06-14 株式会社ミクシィ 頭部装着ディスプレイ装置、認証方法、及び認証プログラム
JP7339569B2 (ja) 2020-10-30 2023-09-06 株式会社Mixi 頭部装着ディスプレイ装置、認証方法、及び認証プログラム

Also Published As

Publication number Publication date
JP6701631B2 (ja) 2020-05-27

Similar Documents

Publication Publication Date Title
JP6701631B2 (ja) 表示装置、表示装置の制御方法、表示システム、及び、プログラム
US11073901B2 (en) Display device, control method for display device, and computer program
CN105607255B (zh) 头部佩戴型显示装置、控制其的方法及计算机可读存储介质
US9959591B2 (en) Display apparatus, method for controlling display apparatus, and program
JP6786792B2 (ja) 情報処理装置、表示装置、情報処理方法、及び、プログラム
CN110068926B (zh) 显示装置
US20160116740A1 (en) Display device, control method for display device, display system, and computer program
JP6492531B2 (ja) 表示装置、及び、表示装置の制御方法
CN105739095B (zh) 显示装置以及显示装置的控制方法
JP2015046092A (ja) 画像処理装置とこれを有する頭部装着型表示装置
JP6459380B2 (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP6432197B2 (ja) 表示装置、表示装置の制御方法、および、プログラム
WO2015194017A1 (ja) ウェアラブル装置および認証方法
JP2016004340A (ja) 情報配信システム、頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP6554948B2 (ja) 表示装置、表示装置の制御方法、及び、プログラム
JP2016033757A (ja) 表示装置、表示装置の制御方法、および、プログラム
JP2014131094A (ja) 表示装置、および、表示装置の制御方法
JP2016224086A (ja) 表示装置、表示装置の制御方法、及び、プログラム
JP2016122177A (ja) 表示装置、及び、表示装置の制御方法
JP2016133399A (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP2016033759A (ja) 表示装置、表示装置の制御方法、および、プログラム
JP2016024208A (ja) 表示装置、表示装置の制御方法、および、プログラム
JP2016186561A (ja) 表示装置、表示装置の制御方法、及び、プログラム
JP6539981B2 (ja) 表示装置、表示装置の制御方法、表示システム、及び、プログラム
US20230196689A1 (en) Electronic device for using virtual input device and operation method in the electronic device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180517

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190312

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190508

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200407

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200420

R150 Certificate of patent or registration of utility model

Ref document number: 6701631

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150