JP2017215597A

JP2017215597A - 情報表示方法及び情報表示装置

Info

Publication number: JP2017215597A
Application number: JP2017137300A
Authority: JP
Inventors: 雄悟石川; Yugo Ishikawa
Original assignee: Pioneer Electronic Corp
Current assignee: Pioneer Corp
Priority date: 2017-07-13
Filing date: 2017-07-13
Publication date: 2017-12-07

Abstract

【課題】容易に校正を行うことが可能なヘッドマウントディスプレイ、校正方法及び校正プログラム、並びに記録媒体を提供する。【解決手段】ヘッドマウントディスプレイは、撮影手段及び画像表示デバイスを有し、撮影手段の撮影画像に基づく情報を画像表示デバイス上でユーザに視認させる。校正手段は、撮影手段によって撮影された、ヘッドマウントディスプレイを装着したユーザの鏡像の撮影画像に基づいて、画像表示デバイスを介して観察される観察対象と提示情報とのユーザの視界における位置関係を調整する。これにより、ヘッドマウントディスプレイの校正を容易に行うことができる。【選択図】図２

Description

本発明は、ヘッドマウントディスプレイの技術分野に関する。

従来から、ヘッドマウントディスプレイなどを用いて、現実空間に対して仮想の画像を重ね合わせて表示するＡＲ（Augmented Reality）に関する技術が提案されている。また、このようなＡＲに関して、現実空間と仮想空間との間の位置姿勢合わせ（校正）を行う技術が提案されている。例えば、特許文献１には、ユーザの姿勢と、位置および姿勢を計測するセンサの値とを用いて、校正を行う技術が開示されている。具体的には、当該技術では、ユーザに表示とマーカとが一致するような姿勢を取らせることで、校正を行っている。このようなマーカを用いて校正を行う技術は、これ以外にも、例えば特許文献２及び非特許文献１乃至３に開示されている。更に、例えば特許文献３には、ディスプレイの表示と風景とが一致するように、ユーザがボタンを操作してディスプレイの表示を変換することで校正を行う技術が開示されている。

特開２００２−２２９７３０号公報特開２００９−２８４１７５号公報特開２０１１−２７５３号公報

加藤博一，Mark Billinghurst，浅野浩一，橘啓八郎，"マーカー追跡に基づく拡張現実感システムとそのキャリブレーション"，日本バーチャルリアリティ学会論文誌，Vol. 4 (1999)，No. 4，pp.607-616 Mihran Tuceryan，Yakup Genc，Nassir Navab，Single point active alignment method (SPAAM) for optical see-through HMD calibration for augmented reality，Teleoperators and Virtual Environments，Vol. 11，Issue 3，pp. 259-276，June 2002，published by the MIT Press 佐藤清秀，山本裕之事，田村秀行，カメラと3次元センサの組み合わせによる現実空間と仮想空間の位置合わせ手法，TVRSJ VoL4 No.i，pp.295-302

しかしながら、上記の特許文献１乃至３および非特許文献１乃至３に記載された技術では、校正を行う場合に、現実空間と仮想空間との位置関係を調整するための所定の作業をユーザに課していたため、ユーザにとって手間であった。

本発明が解決しようとする課題は上記のようなものが例として挙げられる。本発明は、容易に校正を行うことが可能なヘッドマウントディスプレイ、校正方法及び校正プログラム、並びに記録媒体を提供することを課題とする。

請求項１に記載の発明は、情報表示方法であって、ユーザの眼を撮影することにより、眼球の位置に関する眼球位置情報を取得する眼球撮影ステップと、カメラによって、前記ユーザが観察する風景を撮影する風景撮影ステップと、前記眼球位置情報を用いて、前記風景の前記ユーザの視界における位置と、前記風景を前記カメラによって撮影した画像上における位置と、を対応付ける対応付けステップと、前記対応付けステップでの対応付けの結果に基づき、前記風景中における所定の位置に対応させた提示情報を、表示装置に表示させる提示情報表示ステップと、を有する。

請求項５に記載の発明は、情報表示方法であって、人間の眼を撮影することにより、眼球の位置に関する眼球位置情報を取得する眼球撮影ステップと、カメラによって、前記ユーザが観察する風景を撮影する風景撮影ステップと、前記眼球位置情報を用いて、前記風景を観察する人間の視界における位置と、前記風景を前記カメラによって撮影した画像上における位置と、を対応付ける対応付けステップと、前記対応付けステップでの対応付けの結果に基づき、前記風景中における所定の位置に対応させた提示情報と、当該所定の位置とを人間に認識させる情報提示ステップと、有する。

請求項６に記載の発明は、情報表示装置であって、ユーザの眼を撮影することにより、眼球の位置に関する眼球位置情報を取得する眼球撮影手段と、カメラによって、前記ユーザが観察する風景を撮影する風景撮影手段と、前記眼球位置情報を用いて、前記風景の前記ユーザの視界における位置と、前記風景を前記カメラによって撮影した画像上における位置と、を対応付ける対応付け手段と、前記対応付け手段による対応付けの結果に基づき、前記風景中における所定の位置に対応させた提示情報を表示する表示手段と、有する。

本実施例に係るＨＭＤの概略構成を示すブロック図である。本実施例に係るＨＭＤの全体構成を概略的に示した図である。本実施例に係るＨＭＤの画像表示デバイスの概略構成を示す側面図である。提示情報がずれた位置に表示されてしまうといった問題点を説明するための図を示す。本実施例に係る校正方法の概要を説明するための図を示す。本実施例で用いる座標系を説明するための図を示す。本実施例に係る座標変換方法を示すフローチャートである。目座標系での座標と投影座標との関係を示す。本実施例に係る座標変換パラメータの算出方法を示すフローチャートである。

本発明の１つの観点では、撮影手段及び光学透過可能な画像表示デバイスを有し、前記撮影手段の撮影画像に基づく情報を前記画像表示デバイス上で視認させるヘッドマウントディスプレイは、前記撮影手段によって撮影された、前記ヘッドマウントディスプレイを装着したユーザの鏡像の撮影画像に基づいて、前記画像表示デバイスを介して観察される観察対象と前記情報との前記ユーザの視界における位置関係を調整するための校正を行う校正手段を備える。

上記のヘッドマウントディスプレイは、撮影手段及び光学透過可能な画像表示デバイスを有し、撮影手段の撮影画像に基づく情報（提示情報）を画像表示デバイス上でユーザに視認させる。校正手段は、撮影手段によって撮影された、ヘッドマウントディスプレイを装着したユーザの鏡像の撮影画像に基づいて、画像表示デバイスを介して観察される観察対象と提示情報とのユーザの視界における位置関係を調整する。これにより、ユーザが鏡などに向き合うことで自動的に校正が行われるため、前述した先行技術文献に記載された技術と比較して、校正時におけるユーザの手間を少なくすることができる。

上記のヘッドマウントディスプレイの一態様では、前記校正手段は、前記鏡像の撮影画像に含まれる前記撮影手段及び前記ユーザの眼球の位置関係に基づいて、前記校正を行うことができる。この態様によれば、簡便な処理にて校正を行うことができる。

上記のヘッドマウントディスプレイの他の一態様では、前記校正手段は、前記鏡像の撮影画像に含まれる前記撮影手段、前記画像表示デバイス及び前記ユーザの眼球の位置関係に基づいて、前記校正を行うことができる。この態様によれば、撮影手段と画像表示デバイスとの位置関係が固定されていない場合であっても、精度良く校正を行うことができる。

上記のヘッドマウントディスプレイにおいて好適には、前記撮影手段には、マーカが付加されており、前記校正手段は、前記鏡像の撮影画像に含まれる、前記撮影手段に付加された前記マーカに基づいて、前記校正を行うことができる。

また好適には、前記鏡像を形成する鏡には、マーカが付加されており、前記校正手段は、前記鏡像の撮影画像に含まれる、前記鏡に付加された前記マーカに基づいて、前記校正を行うことができる。なお、本明細書では、「鏡」には、純粋な意味での鏡だけでなく、所定以上の反射率を有するもの（例えばガラスなど）も含まれるものとする。

また好適には、前記画像表示デバイスには、マーカが付加されており、前記校正手段は、前記鏡像の撮影画像に含まれる、前記画像表示デバイスに付加された前記マーカに基づいて、前記校正を行うことができる。

上記のヘッドマウントディスプレイの他の一態様では、前記校正手段は、前記鏡像の撮影画像に基づいて、前記撮影手段にて規定される座標系から前記画像表示デバイスにて規定される座標系へ座標変換するために用いられる座標変換パラメータを求めることで、前記校正を行う。この態様では、校正手段は、ヘッドマウントディスプレイの校正として、撮影手段にて規定される座標系から画像表示デバイスにて規定される座標系への変換を決定する。

上記のヘッドマウントディスプレイの他の一態様では、前記校正手段によって求められた前記座標変換パラメータを用いて前記座標変換を行うことで、前記情報を前記画像表示デバイス上に表示させる制御を行う表示制御手段を更に備える。これにより、画像表示デバイスを透過したユーザの観察像に重畳される画像表示デバイス上の情報表示位置を、撮影画像とこれに基づく情報の位置関係に適切に一致させることができる。

上記のヘッドマウントディスプレイにおいて好適には、前記校正手段は、前記鏡像の撮影画像から、前記撮影手段の鏡像における光学中心位置及び光軸方向を推定する第１推定手段と、前記鏡像の撮影画像から、前記ユーザの眼球の鏡像における中心位置を推定する第２推定手段と、前記第１推定手段によって推定された前記光学中心位置及び前記光軸方向に基づいて、前記鏡像を生成した鏡平面を推定する第３推定手段と、前記第３推定手段によって推定された前記鏡平面、及び前記第２推定手段によって推定された前記中心位置に基づいて、前記ユーザの眼球の実像における中心位置を推定する第４推定手段と、前記第４推定手段によって推定された前記中心位置に基づいて、前記撮影手段にて規定される座標系の座標を、前記ユーザの眼球にて規定される座標系の座標へ変換するための第１パラメータを、前記座標変換パラメータの１つとして求める第１パラメータ算出手段と、前記第４推定手段によって推定された前記中心位置に基づいて、前記ユーザの眼球にて規定される座標系の座標を前記画像表示デバイスに投影するための第２パラメータを、前記座標変換パラメータの１つとして求める第２パラメータ算出手段と、前記第４推定手段によって推定された前記中心位置に基づいて、前記ユーザの眼球にて規定される座標系の座標を、前記情報を前記画像表示デバイス上に表示させるために前記ヘッドマウントディスプレイにて規定される座標系の座標へ変換するための第３パラメータを、前記座標変換パラメータの１つとして求める第３パラメータ算出手段と、を備える。これにより、座標変換パラメータを適切に求めることができる。なお、「実像」は、鏡像の生成元となった像を意味するものとする。

また、上記のヘッドマウントディスプレイにおいて好適には、前記校正手段は、前記鏡像の撮影画像から、前記画像表示デバイスの鏡像における位置及び方向を推定する第５推定手段と、前記第３推定手段によって推定された前記鏡平面、及び前記第５推定手段によって推定された前記位置及び前記方向に基づいて、前記画像表示デバイスの実像における位置及び方向を推定する第６推定手段と、を更に備え、前記第２パラメータ算出手段は、前記第４推定手段によって推定された前記中心位置、及び前記第６推定手段によって推定された前記位置及び前記方向に基づいて、前記第２パラメータを求め、前記第３パラメータ算出手段は、前記第４推定手段によって推定された前記中心位置、及び前記第６推定手段によって推定された前記位置及び前記方向に基づいて、前記第３パラメータを求める。この場合、前記画像表示デバイスの位置及び方向を推定し、当該位置及び当該方向に基づいて座標変換パラメータを求める。これにより、精度良く座標変換パラメータを求めることができる。

上記のヘッドマウントディスプレイにおいて好適には、前記ユーザの眼球の中心位置は、瞳孔中心位置又は光学中心位置が用いられる。瞳孔中心位置を採用した場合には、撮影画像から容易に眼球の位置を求めることができる。光学中心位置を採用した場合には、精度良く座標変換パラメータを求めることができる。

好適な例では、前記撮影手段として、ステレオカメラを用いることができる。
また、好適な例では、前記鏡像の撮影画像として、前記ユーザと鏡とが概ね正対した状態にて撮影された画像を用いることができる。

本発明の他の観点では、撮影手段及び光学透過可能な画像表示デバイスを有し、前記撮影手段の撮影画像に基づく情報を前記画像表示デバイス上で視認させるヘッドマウントディスプレイによって実行される校正方法は、前記撮影手段によって撮影された、前記ヘッドマウントディスプレイを装着したユーザの鏡像の撮影画像に基づいて、前記画像表示デバイスを介して観察される観察対象と前記情報との前記ユーザの視界における位置関係を調整するための校正を行う校正工程を備える。

本発明の更に他の観点では、撮影手段及び光学透過可能な画像表示デバイスを有し、前記撮影手段の撮影画像に基づく情報を前記画像表示デバイス上で視認させると共に、コンピュータを備えるヘッドマウントディスプレイによって実行される校正プログラムは、前記撮影手段によって撮影された、前記ヘッドマウントディスプレイを装着したユーザの鏡像の撮影画像に基づいて、前記画像表示デバイスを介して観察される観察対象と前記情報との前記ユーザの視界における位置関係を調整するための校正を行う校正手段、として前記コンピュータを機能させる。

なお、上記の校正プログラムは、記録媒体に記録した状態で好適に取り扱うことができる。

以下、図面を参照して本発明の好適な実施例について説明する。
［装置構成］
まず、本実施例に係るヘッドマウントディスプレイ（以下、適宜「ＨＭＤ」と表記する。）の構成について説明する。

図１は、本実施例に係るＨＭＤ１の概略構成を示すブロック図である。図１に示すように、ＨＭＤ１は、主に、制御部１１と、カメラ１２と、光学透過可能な画像表示デバイス１３とを有する。ＨＭＤ１は、例えば眼鏡型に構成されており、ユーザの頭部に装着可能に構成されている。また、ＨＭＤ１は、画像表示デバイス１３を用いることで、外界に存在する対象物（例えば、現実空間における人物や物体、物品、景色等）のユーザによる視認を可能とし、対象物の像（現実の像）に対して仮想の画像を重ね合わせて表示させることで、ＡＲ（拡張現実）を実現する。

カメラ（撮影手段）１２は、ＨＭＤ１の前方を撮影し、撮影画像を生成する。カメラ１２は、内部パラメータが既知のピンホールカメラ、あるいはレンズ歪みが補正されかつ内部パラメータが既知のカメラである。

画像表示デバイス１３は、撮影画像に応じた情報（以下、「提示情報」と呼ぶ。）を対象物の像とオーバーラップしてユーザに視認せしめる。

制御部１１は、図示しないＣＰＵやＲＡＭやＲＯＭなどを有し、ＨＭＤ１の全体的な制御を行う。具体的には、制御部１１は、カメラ１２から撮影画像を取得し、提示情報を画像表示デバイス１３上でユーザに視認させるための制御を行う。この場合、制御部１１は、撮影画像を解析することで、提示すべき提示情報を決定すると共に、提示情報を提示する提示位置を決定し、当該提示情報を当該提示位置に表示させる制御を行う。

なお、制御部１１は、本発明における「校正手段」及び「表示制御手段」の一例に相当する。具体的には、制御部１１は、「第１推定手段」、「第２推定手段」、「第３推定手段」、「第４推定手段」、「第５推定手段」、「第６推定手段」、「第１パラメータ算出手段」、「第２パラメータ算出手段」、「第３パラメータ算出手段」として機能する。これらの詳細については後述する。

図２は、本実施例に係るＨＭＤ１の全体構成を概略的に示した図である。図２に示すように、ＨＭＤ１は、眼鏡型に構成されており、カメラ１２及び画像表示デバイス１３がフレーム１４に固定されている。なお、図２では、制御部１１の図示を省略している。また、図２では、左目用の画像表示デバイス１３のみを示し、右目用の画像表示デバイス１３の図示を省略している。なお、両目に対して画像表示デバイス１３を適用することに限定はされず、片目のみに画像表示デバイス１３を適用することとしても良い。つまり、片目のみに画像を表示させることとしても良い。

また、図２に示すように、カメラ１２及び画像表示デバイス１３には、それぞれ、マーカ１２ａ及びマーカ１３ａが付加されている。これらのマーカ１２ａ、１３ａは、後述する校正方法にて用いられる。マーカ１２ａ、１３ａの大きさや形状は、制御部１１が把握しているものとする。加えて、カメラ１２の光学中心（optical center）とマーカ１２ａとの位置関係、及び画像表示デバイス１３とマーカ１３ａとの位置関係についても、制御部１１が把握しているものとする。

なお、図２に示すようにマーカ１２ａ、１３ａを４つ設けることに限定はされず、また、図２に示すような位置にマーカ１２ａ、１３ａを設けることに限定はされない。更に、ＨＭＤ１を眼鏡型に構成することに限定はされず、ヘルメットのようなもので構成しても良い。

図３は、本実施例に係る画像表示デバイスの概略構成を示す側面図である。ＬＣＤ１３ｂに表示された画像は、レンズ１３ｃとハーフミラー１３ｄを用いてユーザの眼から距離ｈの位置に虚像４０（以下、「仮想スクリーン」あるいは単に「スクリーン」と表記することがある。）を結ぶ。レンズ１３ｃによって虚像４０に歪みが生じる可能性があるが、制御部１１によって画像を補正する。画像表示デバイス１３と仮想スクリーン４０の位置関係は、制御部１１が把握しているものとする。本実施例の画像表示デバイスは特に制限されるわけではない。光学ガラスやプラスチック材料等からなる導光板を有していてもよい。また、ＬＣＤではなく例えばＯＥＬＤ等を用いてもよい。また、ハーフミラーではなくホログラム光学素子等を用いてもよい。また、レンズは２枚以上用いてもよく、レンズを用いなくてもよい。

［校正方法の概要］
次に、本実施例に係る校正方法の概要について説明する。
上記したように、制御部１１は、現実空間に提示情報を提示するＡＲ（拡張現実）を実現するに当たり、カメラ１２の撮影画像を解析し、それに基づいて提示情報及び提示位置を決定して、画像表示デバイス１３に表示し、ユーザは仮想スクリーン４０を視認する。ところで、ユーザが実際に見ている風景とカメラ１２の撮影画像とでは、視点（どこから見ているか）や、視角（画角）や、視軸が異なる傾向にある。そのため、カメラ１２の撮影画像を解析して決定した提示位置に提示情報を表示した場合に、ユーザが見ている現実空間の中でずれた位置に提示情報が表示されてしまう可能性がある。

図４は、提示情報がずれた位置に表示されてしまうといった問題点を説明するための図を示している。図４（ａ）は、ＨＭＤ１を装着したユーザが実際に視認する像の一例を示している。具体的には、図４（ａ）は、ユーザの視野の適切な位置に提示情報（施設Ａ、施設Ｂといった文字や、建物を囲んだ丸や、引き出し線など）が表示された場合の例を示している。図４（ｂ）は、カメラ１２の撮影画像の一例を示している。具体的には、図４（ｂ）は、カメラ１２の撮影画像が、ユーザが実際に見ている風景とずれている場合の例を示している。図４（ｃ）は、ＨＭＤ１を装着したユーザが視認する像の他の例を示している。具体的には、図４（ｃ）は、図４（ｂ）に示したような撮影画像を解析して決定した提示位置に提示情報を表示させた場合の例を示している。これより、ユーザの視野の適切な位置に提示情報が表示されていないことがわかる。つまり、提示情報を表示すべき位置からずれた位置に、提示情報が表示されていることがわかる。

本実施例では、このような提示情報がずれた位置に表示されてしまうといった問題を解消するべく、ＨＭＤ１についての校正を行う。ここで、「校正」とは、カメラ１２にて規定される座標系（カメラ座標系）から、仮想スクリーン４０にて規定される座標系（スクリーン座標系）への変換を決定することに相当する。具体的には、本実施例では、ＨＭＤ１を装着したユーザの鏡像をカメラ１２によって撮影し、その撮影画像に基づいて、画像表示デバイス１３を介して観察される観察対象と提示情報とのユーザの視界における位置関係を調整する。

図５は、本実施例に係る校正方法の概要を説明するための図を示す。本実施例では、校正を行う場合に、ＨＭＤ１とともに、図５（ａ）に示すような鏡３０を用いる。そして、図５（ｂ）に示すように、鏡３０に形成された、ＨＭＤ１を装着したユーザの鏡像を、カメラ１２によって撮影する。このような撮影を行う場合、鏡３０は、反射面がユーザのほうを向き、ユーザの顔面と概ね正対し、ユーザの頭部が映るように配置されるものとする。なお、鏡３０は、特殊なものを用いる必要はなく、手鏡などの身近にあるものを用いても良い。

制御部１１は、ＨＭＤ１を装着したユーザの鏡像の撮影画像に基づいて、カメラ１２、画像表示デバイス１３及び目２０の位置関係を推定する。具体的には、制御部１１は、撮影画像から、カメラ１２に付加されたマーカ１２ａを検出することで、カメラ１２の光学中心位置及び光軸方向を推定する。この場合、制御部１１は、マーカ１２ａの大きさや形状、及びカメラ１２の光学中心とマーカ１２ａとの位置関係に基づいて、カメラ１２の光学中心位置及び光軸方向を推定する。また、制御部１１は、撮影画像から、画像表示デバイス１３に付加されたマーカ１３ａを検出することで、画像表示デバイス１３の位置及び方向を推定する。この場合、制御部１１は、マーカ１３ａの大きさや形状、及び画像表示デバイス１３とマーカ１３ａとの位置関係に基づいて、画像表示デバイス１３の位置及び方向を推定する。

更に、制御部１１は、撮影画像から、ユーザの目２０の黒目の部分を検出することで（黒目の大きさは既知であるものとする）、目２０の３次元位置を推定する。この場合、制御部１１は、目２０の位置として、瞳孔中心位置を推定する。なお、瞳孔中心位置は眼球運動によって変化するため、撮影を行う際には、視軸（見ている方向）が鏡３０に概ね正対するようにユーザに注目させ、さらに校正中はユーザに眼球運動を行わせないようにする。

制御部１１は、このように撮影画像から推定された、カメラ１２の光学中心位置及び光軸方向、画像表示デバイス１３の位置及び方向、及び瞳孔中心位置に基づいて、ＨＭＤ１についての校正を行う。具体的には、制御部１１は、当該校正として、カメラ座標系からスクリーン座標系へ座標変換する過程で必要なパラメータ（座標変換パラメータ）を求める処理を行う。座標変換パラメータの算出方法については、詳細は後述する。

［座標系の定義］
次に、図６を参照して、本実施例で用いる座標系について説明する。図６に示すように、本実施例では、カメラ座標系、目座標系、画像表示デバイス座標系及びスクリーン座標系を用いる。なお、このような座標系は、制御部１１が撮影画像に基づいて画像表示デバイス１３に提示情報を表示させるに当たって、カメラ座標系からスクリーン座標系へ座標変換するために用いられる。

カメラ座標系は、カメラ１２の光学中心を原点Ｏ_ｃとする３次元座標系である。カメラ座標系は、カメラ１２の光軸をＺ_ｃ軸とし、撮影画像のｘ軸及びｙ軸にそれぞれ平行な方向をＸ_ｃ軸及びＹ_ｃ軸とする。目座標系は、ＨＭＤ１のユーザの視覚に対応するものであり、ユーザの瞳孔中心を原点Ｏ_ｅとする３次元座標系である。目座標系は、鏡３０が存在する平面（以下、「鏡平面」と呼ぶ。）の法線方向をＺ_ｅ軸とし、カメラ座標系のＸ_ｃ軸及びＹ_ｃ軸にそれぞれ平行な方向をＸ_ｅ軸及びＹ_ｅ軸とする。

スクリーン座標系は、仮想スクリーン４０の画像座標である。画像表示デバイス座標系は、提示情報を仮想スクリーン４０上に表示させるために制御部１１にて規定される座標系であり、仮想スクリーン４０を投影面とする３次元座標系である。画像表示デバイス座標系は、Ｚ_ｈ軸が仮想スクリーン４０の中心と交わり、スクリーン座標系のｘ軸及びｙ軸にそれぞれ平行な方向をＸ_ｈ軸及びＹ_ｈ軸とする。

［座標変換方法］
次に、本実施例に係る座標変換方法について説明する。ここで、座標変換の概要について簡単に説明する。まず、制御部１１は、カメラ１２の撮影画像を解析し、提示情報を提示する座標（以下、「提示座標」と呼ぶ。）を求める。次に、制御部１１は、カメラ座標系での提示座標を目座標系へ変換し、変換後の座標を仮想スクリーン４０に投影した投影座標を求める。次に、制御部１１は、投影座標を画像表示デバイス座標系に変換し、変換後の座標をスクリーン座標系へ透視投影する。

図７は、本実施例に係る座標変換方法を示すフローチャートである。このフローは、ＨＭＤ１の制御部１１によって繰り返し実行される。

まず、ステップＳ１０１では、制御部１１は、カメラ１２の撮影画像を解析し、その解析結果に基づいて、提示すべき提示情報と、提示情報を提示する提示座標Ｌ_ｃ（カメラ座標系で規定されるものとする）とを決定する。具体的には、制御部１１は、撮影画像に対して、ＡＲマーカ認識や特定物体認識などの手法を用いて、提示情報を提示すべき対象物体を検出し、対象物体の位置及び姿勢を算出することで、提示情報についての提示座標Ｌ_ｃを決める。そして、処理はステップＳ１０２に進む。

ステップＳ１０２では、制御部１１は、以下の式（１）を用いて、カメラ座標系での提示座標Ｌ_ｃを、目座標系での座標Ｌ_ｅに変換する。

式（１）中の「Ｒ_１」及び「ｔ_１」は、それぞれ、カメラ座標系から目座標系へ変換するための回転行列及び並進ベクトルである。また、「Ｒ_１」及び「ｔ_１」は、上記した座標変換パラメータの１つである。以上のステップＳ１０２の後、処理はステップＳ１０３に進む。

ステップＳ１０３では、制御部１１は、目座標系での座標Ｌ_ｅを、仮想スクリーン４０に投影した投影座標Ｍ_ｅ（目座標系で規定されるものとする）を算出する。図８は、座標Ｌ_ｅと投影座標Ｍ_ｅとの関係を示している。図８から分かるように、投影座標Ｍ_ｅを求めるということは、仮想スクリーン４０の平面と直線ＯｅＬｅとの交点を求めることと同義である。目座標系で規定される、仮想スクリーン４０の平面における単位法線ベクトルを「ｎ_ｅ」とし、仮想スクリーン４０の平面と目座標系の原点Ｏ_ｅとの距離を「ｈ」とすると、制御部１１は、以下の式（２）及び（３）を用いて、座標Ｌ_ｅから投影座標Ｍ_ｅへ変換する。なお、平面と直線との交点の求め方は、公知の手法を用いることができる。

具体的には、制御部１１は、式（３）に「Ｌ_ｅ」、「ｎ_ｅ」及び「ｈ」を代入することで「α」を求め、この「α」を式（２）に代入することで、座標Ｌ_ｅから投影座標Ｍ_ｅを求める。なお、「ｎ_ｅ」及び「ｈ」は、上記した座標変換パラメータの１つである。以上のステップＳ１０３の後、処理はステップＳ１０４に進む。

ステップＳ１０４では、制御部１１は、以下の式（４）を用いて、目座標系での投影座標Ｍ_ｅを、画像表示デバイス座標系での座標Ｍ_ｈに変換する。

式（４）中の「Ｒ_２」及び「ｔ_２」は、それぞれ、目座標系から画像表示デバイス座標系へ変換するための回転行列及び並進ベクトルである。また、「Ｒ_２」及び「ｔ_２」は、上記した座標変換パラメータの１つである。以上のステップＳ１０４の後、処理はステップＳ１０５に進む。

ステップＳ１０５では、制御部１１は、以下の式（５）を用いて、画像表示デバイス座標系での座標Ｍ_ｈを、スクリーン座標系での座標ｍ_ｈに透視投影する。

式（５）より得られる座標ｍ_ｈが、仮想スクリーン４０の表示座標である。式（５）において、「ｗｉｄｔｈ」及び「ｈｅｉｇｈｔ」は仮想スクリーン４０の画像サイズであり、「ｋ_ｘ」及び「ｋ_ｙ」はＬＣＤ１３ｂのドットピッチとＬＣＤ１３ｂから仮想スクリーン４０までの光路で決まる係数である。以上のステップＳ１０５の後、処理は終了する。

なお、上記では、仮想スクリーン４０の平面が目の視線に対して傾いている（つまり目座標系のＺ_ｅ軸と画像表示デバイス座標系のＺ_ｈ軸とが平行でない）ことを前提とした、座標変換の例を示した。他の例では、目の視線と仮想スクリーン４０の平面とが直交している（つまり目座標系のＺ_ｅ軸と画像表示デバイス座標系のＺ_ｈ軸とが平行である）ことを前提として、座標変換を行うことができる。この場合には、目座標系からスクリーン座標系へ直接に透視投影を行うことができる。つまり、上記のステップＳ１０４の処理を行わなくて良い。

［座標変換パラメータの算出方法］
次に、本実施例における座標変換パラメータの算出方法について説明する。本実施例では、ＨＭＤ１の校正として、座標変換パラメータの算出を行う。前述したように、座標変換パラメータは、回転行列Ｒ_１、Ｒ_２、並進ベクトルｔ_１、ｔ_２、仮想スクリーン４０の平面の単位法線ベクトルｎ_ｅ、及び、仮想スクリーン４０の平面と目座標系の原点Ｏ_ｅとの距離ｈである。「Ｒ_１」及び「ｔ_１」は、カメラ座標系から目座標系に変換するためのパラメータであり、以下では、これらをまとめて「第１パラメータ」と呼ぶ。「ｎ_ｅ」及び「ｈ」は、目座標系での座標を仮想スクリーン４０の平面に投影するためのパラメータであり、以下では、これらをまとめて「第２パラメータ」と呼ぶ。「Ｒ_２」及び「ｔ_２」は、目座標系から画像表示デバイス座標系に変換するためのパラメータであり、以下では、これらをまとめて「第３パラメータ」と呼ぶ。

ここで、座標変換パラメータの算出方法の概要について簡単に説明する。まず、制御部１１は、カメラ１２によって撮影された、ＨＭＤ１を装着したユーザの鏡像の撮影画像を取得する。次に、制御部１１は、撮影画像から、カメラ１２に付加されたマーカ１２ａ（以下、適宜「カメラマーカ」と呼ぶ。）と、ユーザの目２０と、画像表示デバイス１３に付加されたマーカ１３ａ（以下、適宜「スクリーンマーカ」と呼ぶ。）とを検出し、カメラ１２、目２０及び画像表示デバイス１３のそれぞれについて、カメラ座標系での鏡像の位置及び方向を推定する。次に、制御部１１は、カメラ１２の鏡像の位置及び方向に基づいて鏡平面を推定し、目２０及び画像表示デバイス１３のそれぞれについて、カメラ座標系での実像（鏡像の生成元となった像を意味する。以下同様とする。）の位置及び方向を推定する。制御部１１は画像表示デバイス１３と仮想スクリーン４０の位置関係を把握しており、カメラ座標系での仮想スクリーン４０の位置及び方向を推定する。以上の推定により、カメラ１２、目２０及び仮想スクリーン４０の位置・方向関係がわかるため、制御部１１は、そのような位置・方向関係に基づいて、座標変換パラメータ（具体的には、第１パラメータＲ_１、ｔ_１、第２パラメータｎ_ｅ、ｈ、及び第３パラメータＲ_２、ｔ_２）を求める。

図９は、本実施例に係る座標変換パラメータの算出方法を示すフローチャートである。このフローは、ＨＭＤ１の制御部１１によって実行される。例えば、当該フローは、ＨＭＤ１がユーザに装着された際に実行される。

まず、ステップＳ２０１では、制御部１１は、カメラ１２によって撮影された、ＨＭＤ１を装着したユーザの鏡像の撮影画像を取得する。例えば、制御部１１は、ＨＭＤ１を装着した状態を鏡３０に映し、この状態をカメラ１２で撮影すべき旨を、ユーザに対して報知することで、撮影画像を取得する。この後、処理はステップＳ２０２、Ｓ２０３及びＳ２０４に進む。

ステップＳ２０２では、制御部１１は、撮影画像から、カメラマーカの画像上の位置を検出する。ステップＳ２０３では、制御部１１は、撮影画像から、ユーザの目２０の画像上の位置を検出する。ステップＳ２０４では、制御部１１は、撮影画像から、スクリーンマーカの画像上の位置を検出する。以上のステップＳ２０２、Ｓ２０３及びＳ２０４の後、処理はステップＳ２０５、Ｓ２０６及びＳ２０７に進む。

ステップＳ２０５では、制御部１１は、ステップＳ２０２で検出された位置で画像解析を行い、カメラマーカの位置及び姿勢を利用して、カメラ座標系でのカメラ１２の鏡像の光学中心位置及び光軸方向を推定する。この後、処理はステップＳ２０８に進む。ステップＳ２０６では、制御部１１は、ステップＳ２０３で検出された位置で画像解析を行い、目２０の位置及び大きさを利用して、カメラ座標系での目２０の鏡像の瞳孔中心位置を推定する。ステップＳ２０７では、制御部１１は、ステップＳ２０４で検出された位置で画像解析を行い、スクリーンマーカの位置及び姿勢を利用して、カメラ座標系での画像表示デバイス１３の鏡像の位置及び方向を推定する。

ステップＳ２０８では、制御部１１は、ステップＳ２０５で推定されたカメラ１２の鏡像の光学中心位置及び光軸方向に基づいて、鏡平面を推定する。具体的には、制御部１１は、カメラ座標系での鏡平面の単位法線ベクトル及び原点Ｏ_ｃとの距離を推定する。鏡平面は、カメラ１２の鏡像の光学中心位置と原点Ｏ_ｃの中点で交わる。また、鏡平面の法線は、カメラ１２の鏡像の光軸方向をＺ_ｃ軸方向に１／２倍回転させた方向である。以上のステップＳ２０８の後、処理はステップＳ２０９及びＳ２１０に進む。

ステップＳ２０９では、制御部１１は、カメラ座標系での目２０の実像の瞳孔中心位置を推定する。具体的には、制御部１１は、ステップＳ２０６で推定された目２０の鏡像の瞳孔中心位置を、ステップＳ２０８で推定された鏡平面で折り返すことで、目２０の実像の瞳孔中心位置を推定する。ステップＳ２１０では、制御部１１は、カメラ座標系での仮想スクリーン４０の中心位置及び方向を推定する。具体的には、制御部１１は、ステップＳ２０７で推定された画像表示デバイス１３の鏡像の位置及び方向を、ステップＳ２０８で推定された鏡平面で折り返すことで、画像表示デバイス１３の実像の位置及び方向を推定し、制御部１１が把握している画像表示デバイス１３と仮想スクリーン４０の位置関係を利用して、仮想スクリーン４０のカメラ座標系での中心位置及び方向を推定する。以上により、カメラ座標系のもとで、カメラ１２、目２０及び仮想スクリーン４０の位置関係及び方向関係が判明する。ステップＳ２０９、Ｓ２１０の後、処理はステップＳ２１１、Ｓ２１２及びＳ２１３に進む。

ステップＳ２１１では、制御部１１は、ステップＳ２０９で推定された目２０の実像の瞳孔中心位置に基づいて、カメラ座標系から目座標系に変換するための第１パラメータＲ_１、ｔ_１（回転行列Ｒ_１、並進ベクトルｔ_１）を求める。ステップＳ２１２では、制御部１１は、ステップＳ２０９で推定された目２０の実像の瞳孔中心位置と、ステップＳ２１０で推定された仮想スクリーン４０の中心位置及び方向とに基づいて、目座標系での座標を仮想スクリーン４０に投影するための第２パラメータｎ_ｅ、ｈ（目座標系での仮想スクリーン４０の平面の単位法線ベクトルｎ_ｅ、仮想スクリーン４０の平面と目座標系の原点Ｏ_ｅとの距離ｈ）を求める。ステップＳ２１３では、制御部１１は、ステップＳ２０９で推定された目２０の実像の瞳孔中心位置と、ステップＳ２１０で推定された仮想スクリーン４０の中心位置及び方向とに基づいて、目座標系から画像表示デバイス座標系に変換するための第３パラメータＲ_２、ｔ_２（回転行列Ｒ_２、並進ベクトルｔ_２）を求める。以上のステップＳ２１１、Ｓ２１２及びＳ２１３の後、処理は終了する。

この後、制御部１１は、上記のように求められた座標変換パラメータを用いて座標変換を行うことで、提示情報を画像表示デバイス１３に表示させる制御を行う。

［本実施例の作用効果］
以上説明した本実施例によれば、ＨＭＤ１の校正を容易に行うことができる。具体的には、本実施例では、ユーザが鏡３０に向き合うことで自動的に校正が行われるため、前述した先行技術文献に記載された技術と比較して、校正時におけるユーザの手間を少なくすることができる。また、このような校正は、ユーザの身近にある鏡３０（手鏡など）を利用して実現できるので、本実施例によれば、校正用の特殊なもの（例えば校正用のマーカ）を携帯したり、使用環境に埋め込んだりする必要はない。

［変形例］
以下で、上記した実施例の変形例を提示する。下記の変形例は、任意に組み合わせて実施することができる。

（変形例１）
上記したカメラ１２として、ステレオカメラを用いても良い。カメラ１２としてステレオカメラを用いた場合、位置及び方向についての推定精度を向上させることができる。また、ステレオカメラを用いると、マーカ１２ａ、１３ａの大きさが未知であっても、撮影画像から３次元位置を推定することができる。そのため、マーカ１２ａ、１３ａの大きさを制御部１１に予め把握させておく必要はない。

（変形例２）
上記では、撮影画像からカメラ１２及び画像表示デバイス１３の位置及び方向を推定するに当たって、マーカ１２ａ、１３ａを用いる実施例を示したが、このようなマーカ１２ａ、１３ａを用いなくても良い。他の例では、マーカ１２ａ、１３ａを用いずに、カメラ１２の形状の特徴及び画像表示デバイス１３の形状の特徴を用いて、カメラ１２及び画像表示デバイス１３の位置及び方向を推定することができる。

（変形例３）
上記では、ユーザの目２０の位置として瞳孔中心位置を用いる実施例を示したが、瞳孔中心位置の代わりに、目２０の光学中心位置を用いても良い。瞳孔中心位置と光学中心位置との関係を予め計測しておけば、撮影画像から目２０の光学中心位置を推定することができる。このような光学中心位置を用いた場合には、瞳孔中心位置を用いた場合より、精度良く座標変換パラメータを求めることができる。

（変形例４）
上記では、画像表示デバイス１３の位置及び方向を推定して、当該位置及び当該方向に基づいて座標変換パラメータを求める実施例を示した。他の例では、画像表示デバイス１３の位置及び方向を推定せずに、座標変換パラメータを求めることができる。カメラ１２と画像表示デバイス１３との位置関係が固定されている場合（例えばフレーム１４で、これらが適切に固定されている場合）には、画像表示デバイス１３の位置及び方向が一義的に決まるため、仮想スクリーン４０の位置及び方向を推定しなくても良い。この場合には、図９に示したステップＳ２０４、Ｓ２０７、Ｓ２１０の処理を行わなくて良い。つまり、スクリーンマーカの検出、画像表示デバイス１３の鏡像の位置及び方向の推定、仮想スクリーン４０の中心位置及び方向の推定を行わなくて良い。

（変形例５）
鏡像の撮影画像を得るために鏡３０を用いることに限定はされない。鏡３０の代わりに、所定以上の反射率を有するもの（例えばガラスなど）を用いて、鏡像の撮影画像を得ても良い。

（変形例６）
上記では、鏡平面を推定するために、カメラ１２の鏡像の光学中心位置及び光軸方向を推定する実施例を示したが、鏡にマーカを付加させ、それを撮影することで鏡平面を推定してもよい。この場合には、図９に示したステップＳ２０２、Ｓ２０５、Ｓ２０８の処理は行わなくてよい。

（変形例７）
上記では、光学透過可能な画像表示デバイスとして、ＬＣＤ１３ｂ、レンズ１３ｃ、ハーフミラー１３ｄを用いる形態を示した。他の例では、透明有機ＥＬや透明ＬＣＤを用いた透明ディスプレイや、例えば曇りガラスのような半透明の板上にＬＣＤプロジェクターで投影するものでもよい。

１ヘッドマウントディスプレイ（ＨＭＤ）
１１制御部
１２カメラ
１２ａ、１３ａマーカ
１３画像表示デバイス
１３ｂＬＣＤ
１３ｃレンズ
１３ｄハーフミラー
１４フレーム

Claims

ユーザの眼を撮影することにより、眼球の位置に関する眼球位置情報を取得する眼球撮影ステップと、
カメラによって、前記ユーザが観察する風景を撮影する風景撮影ステップと、
前記眼球位置情報を用いて、前記風景の前記ユーザの視界における位置と、前記風景を前記カメラによって撮影した画像上における位置と、を対応付ける対応付けステップと、
前記対応付けステップでの対応付けの結果に基づき、前記風景中における所定の位置に対応させた提示情報を、表示装置に表示させる提示情報表示ステップと、
を有することを特徴とする情報表示方法。
前記カメラは前記ユーザが装着する眼鏡型の端末に搭載されており、
前記ユーザの眼球及び前記風景の撮影は、当該カメラを用いて行われることを特徴とする請求項１に記載の情報表示方法。
少なくとも前記風景を撮影するカメラは、前記眼鏡型の端末の左右の眼に対応するフレームの間に配置されていることを特徴とする請求項２に記載の情報表示方法。
前記眼球撮影ステップは、ユーザの瞳孔中心の位置を眼球位置情報として取得することを特徴とする請求項１に記載の情報表示方法。
人間の眼を撮影することにより、眼球の位置に関する眼球位置情報を取得する眼球撮影ステップと、
カメラによって、前記ユーザが観察する風景を撮影する風景撮影ステップと、
前記眼球位置情報を用いて、前記風景を観察する人間の視界における位置と、前記風景を前記カメラによって撮影した画像上における位置と、を対応付ける対応付けステップと、
前記対応付けステップでの対応付けの結果に基づき、前記風景中における所定の位置に対応させた提示情報と、当該所定の位置とを人間に認識させる情報提示ステップと、
を有することを特徴とする情報表示方法。
ユーザの眼を撮影することにより、眼球の位置に関する眼球位置情報を取得する眼球撮影手段と、
カメラによって、前記ユーザが観察する風景を撮影する風景撮影手段と、
前記眼球位置情報を用いて、前記風景の前記ユーザの視界における位置と、前記風景を前記カメラによって撮影した画像上における位置と、を対応付ける対応付け手段と、
前記対応付け手段による対応付けの結果に基づき、前記風景中における所定の位置に対応させた提示情報を表示する表示手段と、
を有することを特徴とする情報表示装置。