JP2018078448A - プログラム、頭部装着型表示装置 - Google Patents

Abstract

【課題】キャリブレーションデータ精度の向上。【解決手段】外景からの光を透過可能であって、画像を表示可能な画像表示部と、前記外景を撮像可能な撮像部と、を備える頭部装着型表示装置に、前記画像表示部に表示させる画像を設定する画像設定機能と、撮像された外景の中から予め設定された特定オブジェクトを特定するオブジェクト特定機能と、パラメーター設定機能と、を実現させるためのプログラムであって、前記画像設定機能は、ユーザーによって前記特定オブジェクトに少なくとも部分的にほぼ一致させて視認されることが可能なマーカー画像を前記画像表示部に表示させ、前記パラメーター設定機能は、ユーザーからパラメーターの設定のためのキャリブレーションデータの収集が指示された後、前記ユーザーの頭部が実質的に静止状態にあると判定した場合、前記撮像部による撮像を利用して前記キャリブレーションデータを収集するプログラム。【選択図】図１６

Description

本発明は、頭部装着型表示装置の技術に関する。

従来から、使用者の頭部に装着される頭部装着型表示装置（Head Mounted Display：ＨＭＤ）が知られている。例えば、特許文献１には、支持手段を介して外景を撮像可能な撮像手段がＨＭＤに対して上下にスライドするビデオシースルー型ＨＭＤが記載されている。

特開２００５−３８３２１号公報

光学シースルー型の頭部装着型表示装置を含む画像表示装置が、対象物に画像を精度良く重畳させて表示させる技術を備えれば、ＡＲ（拡張現実）機能に関して、向上した利便性を提供することができる。ただし、対象物に表示画像を正しく重畳させる際には、カメラと画像表示部との間の空間関係を正しく求めることが望まれる。

本開示は、上記課題を解決するためのものであり、以下の形態として実現できる。

本開示の一形態は、外景からの光を透過可能であって、画像を表示可能な画像表示部と、前記外景を撮像可能な撮像部と、を備える頭部装着型表示装置に；前記画像表示部に表示させる画像を設定する画像設定機能と；前記撮像された外景の中から予め設定された特定オブジェクトを特定するオブジェクト特定機能と；パラメーター設定機能と；を実現させるためのプログラムであって；前記画像設定機能は、ユーザーによって前記特定オブジェクトに少なくとも部分的にほぼ一致させて視認されることが可能なマーカー画像を前記画像表示部に表示させ；前記パラメーター設定機能は、ユーザーからパラメーターの設定のためのキャリブレーションデータの収集が指示された後、前記ユーザーの頭部が実質的に静止状態にあると判定した場合、前記撮像部による撮像を利用して前記キャリブレーションデータを収集するプログラムである。この形態によれば、ユーザーからの収集指示後に、静止状態にあると判定した場合に、キャリブレーションデータを収集するので、ユーザーの目視によるアライメントが合っていることが推定されてから、キャリブレーションデータの収集を開始することが可能になる。このため、キャリブレーションの精度が高くなることが期待できる。

上記形態において、前記オブジェクト特定機能は、前記特定オブジェクトの暫定的な位置および姿勢を導出し；前記パラメーター設定機能は、前記導出された暫定的な位置および姿勢と、既定の位置および姿勢と、の差が閾値を下回る状態である暫定アライメント状態であると判定する場合に、前記収集指示を受け付けてもよい。この形態によれば、暫定アライメント状態でない場合に、キャリブレーションデータを収集することを回避できる。

上記形態において、前記画像設定機能は、前記暫定アライメント状態と判定された場合、前記暫定アライメント状態であることを示す画像を、前記画像表示部に表示させてもよい。この形態によれば、ユーザーは、暫定アライメント状態であることを確認して、収集指示を入力することができる。

上記形態において、前記パラメーター設定機能は、前記収集指示後に前記ユーザーの頭部が動いたと判定した後、前記静止状態にあるかの判定を少なくとも１回繰り返し、当該判定において前記静止状態にあると判定した場合、前記キャリブレーションデータの収集をしてもよい。この形態によれば、少なくとも１度、ユーザーの頭部が動いても、キャリブレーションデータの収集をすることができる。

上記形態において、前記パラメーター設定機能は、前記繰り返しの判定において前記静止状態にあるという判定結果を得なかった場合、その後に実行する所定時間の前記撮像を利用して、前記キャリブレーションデータの収集をしてもよい。この形態によれば、ユーザーが静止状態を維持できなくても、キャリブレーションデータを収集できる。

上記形態において、前記パラメーター設定機能は、前記収集指示後に、一旦、前記暫定アライメント状態ではなくなり再び前記暫定アライメント状態になった場合に、前記静止状態にあると判定したとき、前記撮像部による撮像を利用して前記キャリブレーションデータを収集してもよい。この形態によれば、収集指示後に、一旦、暫定アライメント状態ではなくなっても、暫定アライメント状態になれば、再び収集指示を入力しなくてもよくなる。

上記形態において、前記パラメーター設定機能は、前記収集指示後に前記暫定アライメント状態ではなくなった場合に、ユーザーからやり直しの指示があったとき、再び前記暫定アライメント状態になったと判定したら前記収集指示を受け付けてもよい。この形態によれば、収集指示後に暫定アライメント状態ではなくなった場合、ユーザーは、収集指示を入力する前の段階からやり直すことができる。

本開示は、上記以外の種々の形態で実現できる。例えば、このプログラムによって動作する頭部装着型表示装置の形態で実現できる。

キャリブレーションを行う頭部装着型表示装置の外観構成を示す説明図。 キャリブレーションを行なう頭部装着型表示装置の外観構成を示す説明図。 キャリブレーションを行う頭部装着型表示装置の外観構成を示す説明図。 ＨＭＤの構成を機能的に示すブロック図。 紙面に印刷された２次元の実物マーカーを示す説明図。 紙面に印刷された２次元の実物マーカーを示す説明図。 紙面に印刷された２次元の実物マーカーを示す説明図。 紙面に印刷された２次元の実物マーカーを示す説明図。 本実施形態におけるキャリブレーション実行処理のフローチャート。 第１設定モードのフローチャート。 マーカー画像が表示された場合の光学像表示部のイメージ図。 右光学像表示部のみにマーカー画像が表示された状態を示す概略図。 特定オブジェクトに対応付けられて設定画像が表示された場合の図。 キャリブレーションデータの収集処理を説明するフロー。 アライメント状態処理を説明するフロー。 手動操作処理を説明するフロー。 第２設定モードに移行したときにユーザーが視認する視野の一例の説明図。 第２設定モードにおいて設定画像の表示位置が変更された場合の図。 第２実施形態における制御部の裏面を示す正面図。 第３実施形態の実物マーカーの一例を示す概略図。 第３実施形態の実物マーカーの一例を示す概略図。

Ａ．第１実施形態：
Ａ−１．頭部装着型表示装置の構成：
図１から図３は、キャリブレーションを実行する頭部装着型表示装置１００（ＨＭＤ１００）の外観構成を示す説明図である。ＨＭＤ１００は、画像表示部２０が表示する表示画像をユーザーＵＳ（図２）に視認させ、画像表示部２０（図１）を透過する外景からの光によって当該外景もユーザーＵＳに視認させることができる。詳細な構成については後述するが、本実施形態のＨＭＤ１００は、画像表示部２０を装着したユーザーＵＳの右眼と左眼とのそれぞれに対応する画像表示部を有しており、ユーザーＵＳの右眼と左眼とに別々の画像を視認させることができる。

図２に示すように、ＨＭＤ１００は、ユーザーＵＳの頭部装着型表示装置に装着される装着帯９０と、装着帯９０に接続されている画像表示部２０と、画像表示部２０を制御する制御部１０（コントローラー１０）と、制御部１０と装着帯９０とを接続する接続部４０と、を備えている。図１に示すように、装着帯９０は、樹脂製の装着基部９１と、装着基部９１に連結される布製のベルト部９２と、カメラ６０と、を備える。装着基部９１は、人の前頭部の形に合った湾曲した形状を有する。ベルト部９２は、ユーザーＵＳの頭部の周りに装着されるためのベルトである。なお、接続部４０は、装着帯９０と制御部１０側とを有線で接続しているが、図２では、接続している部分については、図示を省略している。

カメラ６０は、外景を撮像可能で、装着基部９１の中心部分に配置されている。換言すると、カメラ６０は、装着帯９０がユーザーＵＳの頭部に装着された状態で、ユーザーＵＳの額の中央に対応する位置に配置されている。そのため、カメラ６０は、ユーザーＵＳが装着帯９０を頭部に装着した状態において、ユーザーＵＳの視線方向の外部の景色である外景を撮像し、撮像された画像である撮像画像を取得する。図２に示すように、カメラ６０は、装着基部９１に対して、円弧ＲＣに沿って所定の範囲で可動する。換言すると、カメラ６０は、撮像範囲を所定の範囲で変更できる。

図２に示すように、画像表示部２０は、連結部９３を介して装着基部９１に接続され、眼鏡形状を有している。連結部９３は、装着基部９１および画像表示部２０の両側に対称的に配置され、連結部９３を中心として、装着基部９１に対する画像表示部２０の位置を円弧ＲＡに沿って回動可能に支持する。図２において二点鎖線で示す位置Ｐ１１は、画像表示部２０が円弧ＲＡに沿った最も下端である。また、図２において実線で示す位置Ｐ１２は、画像表示部２０が円弧ＲＡに沿った最も上端である。

また、図１および図３に示すように、画像を表示可能な表示パネルを有する光学像表示部２６，２８は、保持部２１，２３に対して、直線ＴＡに沿って所定の範囲で平行移動して位置を変更する。図３において二点鎖線で示す位置Ｐ１３は、光学像表示部２６，２８が直線ＴＡに沿った最も下端である。図３において実線で示す位置Ｐ１１は、光学像表示部２６，２８が直線ＴＡに沿った最も上端である。なお、図２における位置Ｐ１１と、図３における位置Ｐ１１とは、同じ位置を示している。

図１に示すように、画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、を含んでいる。右光学像表示部２６および左光学像表示部２８は、それぞれ、ユーザーＵＳが画像表示部２０を装着した際にユーザーＵＳの右および左の眼前に位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、ユーザーＵＳが画像表示部２０を装着した際のユーザーＵＳの眉間に対応する位置で、互いに接続されている。

右保持部２１は、右光学像表示部２６の他端から装着基部９１と接続されている連結部９３に延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端から連結部９３に延伸して設けられた部材である。右表示駆動部２２と左表示駆動部２４とは、ユーザーＵＳが画像表示部２０を装着した際のユーザーＵＳの頭部に対向する側に配置されている。

表示駆動部２２，２４は、図２で後述する液晶ディスプレイ２４１，２４２（Liquid Crystal Display、以下「ＬＣＤ２４１，２４２」とも呼ぶ）や投写光学系２５１，２５２等を含む。表示駆動部２２，２４の構成の詳細な説明は後述する。光学像表示部２６，２８は、後述する導光板２６１，２６２（図４参照）と調光板とを含んでいる。導光板２６１，２６２は、光透過性の樹脂材料等によって形成され、表示駆動部２２，２４から出力された画像光をユーザーＵＳの眼に導く。調光板は、薄板状の光学素子であり、ユーザーＵＳの眼の側とは反対の側である画像表示部２０の表側を覆うように配置されている。調光板の光透過率を調整することによって、ユーザーＵＳの眼に入る外光量を調整して虚像の視認のしやすさを調整できる。

制御部１０は、ＨＭＤ１００を制御するための装置である。制御部１０は、静電式のトラックパッドや押下可能な複数のボタンなどを含む操作部１３５を有する。

図４は、ＨＭＤ１００の構成を機能的に示すブロック図である。図４に示すように、制御部１０は、ＲＯＭ１２１と、ＲＡＭ１２２と、電源１３０と、操作部１３５と、マーカー画像記憶部１３８と、ＣＰＵ１４０と、インターフェース１８０と、送信部５１（Ｔｘ５１）および送信部５２（Ｔｘ５２）と、を有している。

電源１３０は、ＨＭＤ１００の各部に電力を供給する。ＲＯＭ１２１には、種々のコンピュータープログラムが格納されている。後述するＣＰＵ１４０は、ＲＯＭ１２１に格納された各種コンピュータープログラムを、ＲＡＭ１２２に展開することで、各種コンピュータープログラムを実行する。

マーカー画像記憶部１３８は、キャリブレーションに用いられるモデルマーカー（マーカーモデルとも呼ぶ）のデータおよび／または右光学像表示部２６または左光学像表示部２８に表示されるキャリブレーション用画像としてのマーカー画像ＩＭＧを記憶している。マーカー画像記憶部１３８は、右光学像表示部２６に表示されるマーカー画像と左光学像表示部２８に表示されるマーカー画像とを同じマーカー画像ＩＭＧとして記憶している。マーカー画像ＩＭＧとしては、２次元のモデルマーカーの画像であったり、３次元モデル空間（３Ｄコンピューターグラフィックス空間）で表現された上記モデルマーカー（２Ｄ）のデータ、またはそのモデルマーカーを、右光学像表示部２６または左光学像表示部２８のそれぞれの写像パラメーターに基づいて写像したものなどが用いられる。換言すると、マーカー画像ＩＭＧは、実物として存在する２次元または３次元の実物マーカーＭＫ１の形状を、２次元として表した画像である。

図５から図８は、紙面ＰＰに印刷された２次元の実物マーカーを示す説明図である。図５には、本実施形態のキャリブレーションに用いられる２つのマーカーとしての実物マーカーＭＫ１，ＭＫ２が示されている。図５に示すように、実物マーカーＭＫ１は、４つの頂点Ｐ０，Ｐ１，Ｐ２，Ｐ３を直線で結んだ正方形の中に、１０個の正円を含むマーカーである。１０個の円の内の５個の円は、頂点Ｐ０と頂点Ｐ２とを結んだ対角線ＣＬ１上に円の中心が存在する。当該５個の円は、対角線ＣＬ１に沿って、頂点Ｐ０に近い円から、円Ｃ１，Ｃ２，Ｃ３，Ｃ４，Ｃ５である。同じように、１０個の円の内の５個の円は、頂点Ｐ１と頂点Ｐ３とを結んだ対角線ＣＬ２上に円の中心が存在する。当該５個の円は、対角線ＣＬ２に沿って、頂点Ｐ１に近い円から、円Ｃ６，Ｃ７，Ｃ３，Ｃ８，Ｃ９である。円Ｃ３は、対角線ＣＬ１と対角線ＣＬ２との交点であると共に、正方形の重心である点を中心とする円である。１０個の円の内の１個の円である円Ｃ１０は、正方形の重心を通り、かつ、Ｐ１とＰ２とを結ぶ直線に平行なＹ軸上に中心を有する。円Ｃ１０は、正方形の重心を通り、Ｙ軸に直交するＸ軸に沿って、円Ｃ５および円Ｃ９と同じ位置に中心を有する。換言すると、円Ｃ１０は、円Ｃ５の中心と円Ｃ９の中心との中間に中心を有する円である。

本実施形態では、対角線ＣＬ１上に中心を有する５個の円における隣接する円の中心間の距離は、同じ距離になるように設定されている。同じように、対角線ＣＬ２上に中心を有する５個の円における隣接する円の中心間の距離は、同じ距離になるように設定されている。また、対角線ＣＬ１に中心を有する隣接する円の中心間の距離と、対角線ＣＬ２に中心を有する隣接する円の中心間の距離とは、同じ距離である。なお、１０個の内の円Ｃ１０のみ、他の円との中心間との距離が異なる。１０個の円の大きさは、同じ大きさである。なお、対角線ＣＬ１、対角線ＣＬ２、Ｘ軸、およびＹ軸は、実物マーカーＭＫ１を説明するために、便宜上、図５に示しているのであり、実際の実物マーカーＭＫ１には含まれない直線である。

図５では、色の違いを、ハッチングを変えることで表している。具体的には、図５におけるハッチングが施された部分は、黒色であり、その他の部分は、白色である。そのため、図５に示すように、実物マーカーＭＫ１は、白色の紙面ＰＰに、白色によって周囲が囲まれた黒色の正方形によって形成され、その正方形の中に１０個の円が白色で形成されている。

図５に示す実物マーカーＭＫ２は、実物マーカーＭＫ１を元に作成されたマーカーである。実物マーカーＭＫ２は、実物マーカーＭＫ１の大きさを縮小させ、かつ、黒色と白色との反転させたマーカーである。そのため、図５に示すように、実物マーカーＭＫ２は、黒色によって周囲が囲まれた白色の正方形によって形成され、その正方形の中に１０個の円が黒色で形成されている。本実施形態では、マーカー画像記憶部１３８は、実物マーカーＭＫ１の２次元の画像であるマーカー画像ＩＭＧを記憶している。なお、実物マーカーＭＫ２は、図６に示すように、実物マーカーＭＫ１から分離されていてもよい。また、図７に示すように、実物マーカーＭＫ２（ＭＫ１）に代えて、対角線上にない円を省略された実物マーカーＭＫ１Ａが採用されてもよい。なお、図８に示すように、実物マーカーＭＫ１，ＭＫ２，ＭＫ１Ａの裏面には、形状、模様、または色彩の特徴は必要ない。

図４に示すＣＰＵ１４０は、ＲＯＭ１２１に格納されているコンピュータープログラムを、ＲＡＭ１２２に展開することにより、オペレーティングシステム１５０（ＯＳ１５０）、表示制御部１９０、音声処理部１７０、画像処理部１６０、表示設定部１６５、マーカー特定部１６６、およびパラメーター設定部１６７として機能する。

表示制御部１９０は、右表示駆動部２２および左表示駆動部２４を制御する制御信号を生成する。表示制御部１９０は、右表示駆動部２２および左表示駆動部２４のそれぞれによる画像光の生成および射出を制御する。表示制御部１９０は、右ＬＣＤ制御部２１１と左ＬＣＤ制御部２１２とに対する制御信号のそれぞれを、送信部５１および５２を介して送信する。また、表示制御部１９０は、右バックライト制御部２０１と左バックライト制御部２０２とに対する制御信号のそれぞれを送信する。

画像処理部１６０は、コンテンツに含まれる画像信号を取得し、送信部５１，５２を介して、取得した画像信号を画像表示部２０の受信部５３，５４へと送信する。音声処理部１７０は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材４６に接続された右イヤホン３２内のスピーカー（図示しない）および左イヤホン３４内のスピーカー（図示しない）に対して供給する。

表示設定部１６５は、マーカー画像記憶部１３８に記憶されたマーカー画像ＩＭＧを右光学像表示部２６または左光学像表示部２８に表示させる。表示設定部１６５は、キャリブレーションが実行されているとき（キャリブレーション実行時）に、操作部１３５が受け付けた操作に基づいて、マーカー画像ＩＭＧを右光学像表示部２６に表示する場合と、マーカー画像ＩＭＧを左光学像表示部２８に表示する場合とを制御する。表示設定部１６５は、カメラ６０が実物マーカーＭＫ１を撮像してキャリブレーションを実行するときと、カメラ６０が実物マーカーＭＫ２を撮像してキャリブレーションを実行するときとで異なる大きさのマーカー画像ＩＭＧを右光学像表示部２６または左光学像表示部２８に表示させる。また、表示設定部１６５は、キャリブレーション実行時に、後述する文字画像等を光学像表示部２６，２８に表示させる。

マーカー特定部１６６は、カメラ６０によって撮像された撮像画像の中に実物マーカーＭＫ１，ＭＫ２が印刷された紙面ＰＰが含まれる場合に、撮像された紙面ＰＰから、実物マーカーＭＫ１，ＭＫ２を特定する。実物マーカーＭＫ１，ＭＫ２を特定するための具体的な処理については、後述するが、マーカー特定部１６６は、実物マーカーＭＫ１，ＭＫ２の４つの頂点、１０個の円の中心の座標値を抽出することで、撮像画像の中から実物マーカーＭＫ１，ＭＫ２を特定する。マーカー特定部１６６は、例えば、撮像画像の色の階調値を２値化することで、実物マーカーＭＫ１，ＭＫ２における白色と黒色との部分を区別して、円の中心の座標を抽出する。

パラメーター設定部１６７は、カメラ６０によって撮像された特定のオブジェクト（以下、「特定オブジェクト」とも言う）に対応付けられた状態で光学像表示部２６，２８に表示されるＡＲ（Augmented Reality）画像の表示領域内での位置などを設定するために必要なパラメーター群を設定する。具体的には、パラメーター設定部１６７は、光学像表示部２６，２８に表示されるＡＲ画像の位置と大きさと向きとの少なくとも１つと、特定オブジェクトの位置と大きさと向きとの１つと、が対応した状態のＡＲ画像をユーザーＵＳに視認させるパラメーター群を設定する。換言すると、パラメーター設定部１６７は、カメラ６０に原点が固定された３次元座標系（３Ｄ）と、光学像表示部２６，２８の表示領域（２Ｄ）とを対応付けるためのパラメーター群の少なくとも１つを、キャリブレーションによって算出する。なお、以降では、カメラ６０に原点が固定された３次元座標系をカメラ座標系と呼ぶ。本実施形態では、カメラ座標系以外の座標系として、実物マーカーＭＫ１または実物マーカーＭＫ２の原点を基準とする実物マーカー座標系、カメラ６０によって撮像された特定オブジェクトを基準とするオブジェクト座標系、右光学像表示部２６の原点または左光学像表示部２８の原点を基準とする表示部座標系などを定義する。

ここで、パラメーター群は、「検出系パラメーターセット」と、「表示系パラメーターセット」と、を含む。「検出系パラメーターセット」は、カメラ６０に関するカメラパラメーターＣＰを含む。「表示系パラメーターセット」は、カメラ６０と光学像表示部２６，２８との間の空間関係を表す３Ｄから３Ｄへの「変換パラメーター」と、任意の３Ｄモデル（３次元座標で表されたＣＧモデル）を画像（つまり２Ｄ）として表示するための３Ｄから２Ｄへの「写像パラメーター」と、を含む。これらのパラメーターは、必要に応じて行列またはベクトルの態様で表される。「１つのパラメーター」との表記は、１つの行列または１つのベクトルを示すこともあるし、１つの行列またはベクトルに含まれる複数の要素の１つを示すこともある。パラメーター設定部１６７は、パラメーター群のうち、必要なパラメーターを導出し、ＡＲ画像の表示の際に用いる。この結果、ＨＭＤ１００は、ユーザーＵＳに、画像表示部２０を介して、ＡＲ画像（ＡＲモデル）の位置、大きさ、向き、奥行感の少なくとも１つと、特定オブジェクトのそれらにと、がほぼ一致する状態で当該ＡＲ画像を視認させることができる。もちろん、これらに加えて、ＨＭＤ１００は、色やテクスチャーなどの見えが互いに一致するようにしてもよい。

表示設定部１６５は、キャリブレーションが実行されているときに、ＡＲ画像または設定画像ＳＩＭ（後述）を右光学像表示部２６または左光学像表示部２８に表示させる。設定画像ＳＩＭを用いた詳細な処理については後述する。

インターフェース１８０は、制御部１０に対して、コンテンツの供給元となる種々の外部機器ＯＡを接続するためのインターフェースである。外部機器ＯＡとしては、例えば、ＡＲシナリオを記憶している記憶装置、パーソナルコンピューター（ＰＣ）や携帯電話端末、ゲーム端末等、がある。インターフェース１８０としては、例えば、ＵＳＢインターフェース、マイクロＵＳＢインターフェース、メモリーカード用インターフェース、無線ＬＡＮまたは無線ＰＡＮ（Ｐｅｒｓｏｎａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）用インターフェース等、を用いることができる。上記記憶装置は、ＨＭＤ１００に読み込まれることになるプログラムであってＣＰＵ１４０に実施形態で説明される機能を実現させるためのプログラムを可能した記録媒体を含んでもよい。

図４に示すように、画像表示部２０は、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、を備えている。

右表示駆動部２２は、受信部５３（Ｒｘ５３）と、光源として機能する右バックライト制御部２０１（右ＢＬ制御部２０１）および右バックライト２２１（右ＢＬ２２１）と、表示素子として機能する右ＬＣＤ制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１と、を含んでいる。右バックライト制御部２０１と右バックライト２２１とは、光源として機能する。右ＬＣＤ制御部２１１と右ＬＣＤ２４１とは、表示素子として機能する。

受信部５３は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右バックライト２２１は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、画像処理部１６０および表示制御部１９０から送信された制御信号に基づいて、右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。

右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を平行状態の光束にするコリメートレンズによって構成される。右光学像表示部２６としての右導光板２６１は、右投写光学系２５１から出力された画像光を、所定の光路に沿って反射させつつユーザーＵＳの右眼ＲＥに導く。なお、左表示駆動部２４は、右表示駆動部２２と同様の構成を有し、ユーザーＵＳの左眼ＬＥに対応するため、説明を省略する。

Ａ−２．キャリブレーション実行処理：
図９は、本実施形態におけるキャリブレーション実行処理のフローチャートである。本実施形態のキャリブレーション実行処理は、２つのモード、すなわち、第１設定モードと第２設定モードとを含む。第１設定モードでは、ＨＭＤ１００は、ユーザーＵＳに片眼ずつキャリブレーションを実施させる。第２設定モードでは、ＨＭＤ１００は、ユーザーＵＳに両眼で調整を実施させる。

キャリブレーション実行処理では、初めに、操作部１３５が所定の操作を受け付けると、パラメーター設定部１６７は、今から実行するキャリブレーションが最初のキャリブレーションの設定であるか否かを判定する（Ｓ１１）。マーカー画像記憶部１３８には、実行されるキャリブレーションが最初であるか否かのデータも記憶されている。本実施形態では、ユーザーＵＳ毎にキャリブレーションが最初であるか否かが判別されてもよい。具体的には、カメラ６０がユーザーＵＳの掌の形状・模様を撮像し、ＣＰＵ１４０がユーザーＵＳを特定し、キャリブレーションがそのユーザーＵＳにとって最初に実行されるのか否かを判定してもよい。ユーザーＵＳの特定は、近距離無線通信を用いたＩＤカードによる特定でもよい。パラメーター設定部１６７は、最初のキャリブレーションの設定であると判定した場合には（Ｓ１１：ＹＥＳ）、第１設定モードに移行する（Ｓ２０）。第１設定モードの詳細については後述するが、第１設定モードでは、パラメーター設定部１６７が右光学像表示部２６と左光学像表示部２８とに、別々にマーカー画像ＩＭＧを表示させる。その後、パラメーター設定部１６７は、マーカー画像ＩＭＧと実物マーカーＭＫ１，ＭＫ２とが一致するようにユーザーＵＳに視認された状態でカメラ６０に撮像された実物マーカーＭＫ１，ＭＫ２の撮像画像を用いて、変換パラメーターおよびカメラパラメーターＣＰを設定する。

Ｓ２０の処理として、パラメーター設定部１６７が第１設定モードにおいてキャリブレーションを実行すると、表示設定部１６５は、設定された変換パラメーターおよびカメラパラメーターＣＰを用いて、特定オブジェクトに対応付けられた設定画像ＳＩＭを光学像表示部２６，２８に表示させる（Ｓ１５）。本実施形態では、特定オブジェクトは実物マーカーＭＫ１，ＭＫ２であるが、特定オブジェクトはこれらに限定されない。光学像表示部２６，２８に設定画像ＳＩＭが表示されると、パラメーター設定部１６７は、操作部１３５が受け付けた操作に応じて、変換パラメーターおよびカメラパラメーターＣＰの値がうまく調整されたか否かを決定する（Ｓ１７）。具体的には、特定オブジェクトの位置および向き（姿勢）に、設定画像ＳＩＭが対応付けられているようにユーザーＵＳが視認しているか否かの判断をユーザーＵＳが実行し、当該判断に応じて、ユーザーＵＳが操作部１３５を操作すればよい。パラメーター設定部１６７は、設定された変換パラメーターおよびカメラパラメーターＣＰでよいとの入力を受けた場合には（Ｓ１７：ＹＥＳ）、キャリブレーション実行処理を終了する。

Ｓ１７の処理において、操作部１３５が所定の操作を受け付けることで、パラメーター設定部１６７が、設定された変換パラメーターおよびカメラパラメーターＣＰではよくないとの入力を受けた場合、または大きさと奥行感の調整がさらに必要であるとの入力を受けた場合には（Ｓ１７：ＮＯ）、Ｓ１１以降の処理を繰り返す。パラメーター設定部１６７は、Ｓ１１の処理において、今から実行しようとするキャリブレーションが最初のキャリブレーションの設定ではないと判定した場合には（Ｓ１１：ＮＯ）、操作部１３５が所定の操作を受け付けることで、第２設定モードに移行するか否かを判定する（Ｓ１３）。パラメーター設定部１６７は、第２設定モードに移行しないと判定した場合には（Ｓ１３：ＮＯ）、以上で説明した第１設定モードに移行する（Ｓ２０）。

Ｓ１３の処理において、パラメーター設定部１６７は、第２設定モードに移行すると判定した場合には（Ｓ１３：ＹＥＳ）、第２設定モードに移行する（Ｓ３０）。第２設定モードの詳細については後述するが、第２設定モードでは、カメラ６０が特定オブジェクトを撮像することで得られるカメラ６０に対する特定オブジェクトの位置および姿勢を、表示設定部１６５は、既に実行された第１設定モードまたは第２設定モードにおいて設定されたパラメーター群を用いて特定オブジェクトの右光学像表示部２６に対する位置および向き（姿勢）に変換する。そして、表示設定部１６５は、当該変換された位置および姿勢と同じ位置と姿勢で設定画像ＳＩＭを右光学像表示部２６および左光学像表示部２８に表示させる。その後、操作部１３５が受け付けた所定の操作に応じて、パラメーター設定部１６７は、特定オブジェクトに対応付けられた設定画像ＳＩＭを変更するように、パラメーター群のうちのいくつかをさらに調整させる。パラメーター設定部１６７は、第２設定モードにおいてキャリブレーションを実行すると、表示設定部１６５がＳ１５の処理を実行して、その後の処理が繰り返される。

Ａ−２−１．第１設定モード：
第１設定モードで実行される処理は、以下のような処理である。ＨＭＤ１００は、大きさの異なる２つの実物マーカーＭＫ１，ＭＫ２を用いて、ユーザーＵＳに、１つの眼について１度に１回のアライメントを２回実施させることで、合計４回のアライメントを実施させる。具体的には、まず、ＨＭＤ１００は、右光学像表示部２６または左光学像表示部２８に、マーカー画像ＩＭＧを表示させる。マーカー画像ＩＭＧは、右光学像表示部２６または左光学像表示部２８のそれぞれに対して、仮想的な位置と姿勢（３Ｄ）とを有するモデルマーカーを、光学像表示部２６，２８の表示領域（２Ｄ）へ写像、すなわちレンダリング、したものである。本実施形態では、当該仮想的な位置と姿勢とは、光学像表示部２６，２８に対して固定されているが、後述するように、可変であってもよい。ユーザーＵＳは、右光学像表示部２６または左光学像表示部２８に表示されたマーカー画像ＩＭＧと、実物マーカーＭＫ１または実物マーカーＭＫ２とが、重複または一致して視認することが可能な位置および向き（姿勢）に移動する。ユーザーＵＳがマーカーＩＭＧと実物マーカーＭＫ１，ＭＫ２とが一致するように視認する場合には、実物マーカーＭＫ１，ＭＫ２は右光学像表示部２６または左光学像表示部２８に対して、実物マーカーＭＫ１，ＭＫ２の大きさに応じた既定の距離となる位置と上記仮想的な姿勢とを取っていることとなる。マーカー画像ＩＭＧと、実物マーカーＭＫ１または実物マーカーＭＫ２とが一致している状態で、パラメーター設定部１６７が、カメラ６０を用いて実物マーカーＭＫ１または実物マーカーＭＫ２を撮像する。パラメーター設定部１６７は、撮像画像に含まれる実物マーカーＭＫ１または実物マーカーＭＫ２を用いて、変換パラメーターおよびカメラパラメーターＣＰを設定することとなる。

図１０は、第１設定モードのフローチャートである。第１設定モードでは、パラメーター設定部１６７が、右光学像表示部２６に関するアライメントを成立させた状態でキャリブレーションデータを収集し、左光学像表示部２８に関するアライメントを成立させた状態でキャリブレーションデータを収集し、その後、変換パラメーターおよびカメラパラメーターＣＰを設定する。

第１設定モードでは、初めに、表示設定部１６５が右光学像表示部２６にマーカー画像ＩＭＧを表示させる（Ｓ２０１）。図１１は、マーカー画像ＩＭＧが表示された場合の光学像表示部２６のイメージ図である。図１１に示すように、表示設定部１６５は、マーカーの正方形の外枠と、正方形の中に含まれる１０個の円の外枠と、を右光学像表示部２６に表示させる。表示設定部１６５は、マーカー画像ＩＭＧを、赤色の線として右光学像表示部２６に表示させる。なお、図１１では、画像表示部２０の内の右光学像表示部２６以外の部分の図示を省略し、以降の図面でも省略する。

右光学像表示部２６にマーカー画像ＩＭＧが表示されると、パラメーター設定部１６７は、マーカー画像ＩＭＧと実物マーカーＭＫ２とが一致して視認されるように、ＨＭＤ１００を装着したままユーザーＵＳに位置と姿勢を合わせることを促すことで、キャリブレーションデータ収集処理を実行する（図１０のＳ２１０）。キャリブレーションデータ収集処理については後述する。

図１０のＳ２１０のマーカー画像ＩＭＧと実物マーカーＭＫ２との位置と姿勢を合わせる処理（目視によるアライメント処理）およびキャリブレーションデータの収集が実行されると、表示設定部１６５は、Ｓ２０１の処理と同じく図１１に示すように、右光学像表示部２６にマーカー画像ＩＭＧを表示させる（Ｓ２０３）。その後、パラメーター設定部１６７は、マーカー画像ＩＭＧと実物マーカーＭＫ１とが一致して視認されるように、ＨＭＤ１００を装着したままユーザーＵＳに位置と姿勢を合わせることを促すことで、キャリブレーションデータ収集処理を実行する（Ｓ２２０）。ここで、実物マーカーＭＫ１は、実物マーカーＭＫ２よりも大きい。そのため、Ｓ２２０の処理では、ユーザーＵＳがマーカー画像ＩＭＧと実物マーカーＭＫ１とが一致するように視認する場合には、右光学像表示部２６と実物マーカーＭＫ１との距離は、実物マーカーＭＫ２の場合と比べて大きくなる。

パラメーター設定部１６７は、左光学像表示部２８に関して、右光学像表示部２６におけるＳ２０１からＳ２２０までの処理と同じ処理として、図１０のＳ２０５からＳ２４０までの処理を実行する。左右の光学像表示部２６、２８に関して第１設定モードにおける各処理（Ｓ２０１からＳ２４０までの処理）が実行されると、パラメーター設定部１６７は、後述する式（１５）を最小化するような、右光学像表示部２６に関するパラメーター群と、左光学像表示部２８に関するパラメーター群とを設定できる（Ｓ２０９）。

Ａ−２−２．パラメーターの設定：
ここでは、第１設定モードにおいて、パラメーター設定部１６７が、カメラ６０から得られた実物マーカーＭＫ２の撮像データおよび実物マーカーＭＫ１の撮像データを用いて、変換パラメーターおよびカメラパラメーターＣＰのパラメーターの設定する手順を説明する。なお、本実施形態の第１設定モードでは、カメラパラメーターＣＰは、必ずしも最適化される必要がなく、設計値に固定されていてよい。ただし、以下に示す本実施形態では、ユーザーＵＳが必要に応じてカメラパラメーターＣＰを最適化することができるように、カメラパラメーターＣＰを最適化変数として含んだアルゴリズムを提示している。他の実施形態において、カメラパラメーターＣＰを最適化する必要がない場合には、これらを定数（固定値）として以下の式を扱えばよい。

Ａ−２−２−１．カメラパラメーターについて：
カメラ６０に関するカメラパラメーターＣＰとして、本実施形態では、４個のカメラパラメーターＣＰ（ｆｘ、ｆｙ、Ｃｘ、Ｃｙ）が利用される。（ｆｘ、ｆｙ）は撮像部であるカメラ６０の焦点距離であり、画素密度に基づいて画素数に換算されている。（Ｃｘ、Ｃｙ）は、カメラ主点位置と呼ばれ、撮像画像の中心位置を意味し、例えばカメラ６０のイメージセンサーに固定された２Ｄ座標系で表され得る。

カメラパラメーターＣＰは、撮像部の主要部分を構成するカメラ６０の製品仕様から知ることができる（以下ではこれをデフォルトカメラパラメーターとも表記する）。ただし、実際のカメラのカメラパラメーターＣＰがデフォルトカメラパラメーターから大きくずれていることが多い。しかも、同じ仕様のカメラであっても、製品が異なれば、製品毎のカメラ間で、カメラパラメーターＣＰがばらついている（揃っていない）ことがある。

ＡＲ画像として光学像表示部２６，２８に表示されるＡＲモデルにおける位置、大きさ、姿勢の少なくとも１つが実物体にアライン（重畳）するようにユーザーＵＳに視認させる場合、カメラ６０は、当該実物体の位置および姿勢を検出する検出機として機能する。このとき、パラメーター設定部１６７は、カメラパラメーターＣＰを用いて、カメラ６０に撮像された実物体のカメラ６０に対する位置および姿勢を推定する。さらに、パラメーター設定部１６７は、当該位置および姿勢を、カメラ６０と左光学像表示部２８（右光学像表示部２６）との間の相対位置関係を用いて、左光学像表示部２８に対する実物体の位置および姿勢に変換する。さらに、パラメーター設定部１６７は、当該変換された位置および姿勢に基づいて、ＡＲモデルの位置および姿勢を決定する。そして、画像処理部１６０は、当該位置および姿勢を有するＡＲモデルを、写像パラメーターを用いて表示領域に写像（変換）し、表示バッファー（例えばＲＡＭ１２２）に書き込む。そして、表示制御部１９０は、表示バッファーに書き込まれたＡＲモデルを左光学像表示部２８に表示する。このため、カメラパラメーターＣＰがデフォルトカメラパラメーターである場合には、推定される実物体の位置および姿勢に誤差が含まれることとなる。そうすると、推定された位置および姿勢の誤差に由来して、表示されたＡＲモデルと実物体との重畳に誤差があるようにユーザーＵＳに視認される。

そこで、本実施形態では、ＡＲモデルが対象物に重畳してユーザーＵＳに視認されるようにするためのキャリブレーションの際に、パラメーター設定部１６７は、カメラパラメーターＣＰを、実物マーカーＭＫ２および実物マーカーＭＫ１の撮像データを用いて、最適化して設定する。そして、設定されたカメラパラメーターＣＰが用いられて、対象物の位置および姿勢が検出（推定）されるようにする。そうすれば、ＡＲモデルの表示において、表示されるＡＲモデルと実物体との間に発生するずれがユーザーＵＳに視認される度合いが低くなる。後述するように、同じＨＭＤ１００のユーザーＵＳが同一人であっても、カメラパラメーターＣＰの設定は、キャリブレーションが実行される毎に実行され、当該キャリブレーションに引き続いて実行される対象物とＡＲモデルとの間での位置、大きさ、向きの少なくとも１つが一致した表示のために使用されることが好ましい。これは、キャリブレーションの際に、必ずしもユーザーＵＳは、実物マーカーＭＫ２または実物マーカーＭＫ１と、実物マーカーＭＫ２または実物マーカーＭＫ１に対応したマーカー画像ＩＭＧとを、同じ精度で位置および姿勢を合わせるとは限らないことによる。たとえユーザーＵＳが違う精度で位置および姿勢を合わせたとしても、それに応じたカメラパラメーターＣＰが設定されることから、実物体に対するＡＲモデルの重畳表示がされる場合に重畳表示のずれの増大が抑制される。

Ａ−２−２−２．変換パラメーターについて：
また、本実施形態のＨＭＤ１００は、カメラ６０と光学像表示部２６，２８との間の相対位置関係が変化する構造を有する。デフォルトカメラパラメーターについての説明からも理解されるように、ＡＲモデルにおける位置、大きさ、姿勢の少なくとも１つが実物体にアライン（重畳）するようにユーザーＵＳに視認させる場合、実際のカメラ６０と光学像表示部２６，２８との間の相対位置関係とは異なる相対位置関係に基づいてＡＲモデルを表示すると、表示されたＡＲモデルと実物体との重畳に誤差が視認される。

そこで、本実施形態では、ＡＲモデルが対象物に重畳してユーザーＵＳに視認されるようにするためのキャリブレーションの際に、カメラ６０の座標系と、右光学像表示部２６の座標系および左光学像表示部２８の座標系と、の間の相対位置関係（回転および並進の少なくとも１つ）を表す変換パラメーターを調整または設定する。そして、設定された当該変換パラメーターが表す空間関係（相対位置関係）を用いてＡＲモデルの表示をすると、ユーザーＵＳにずれが視認される度合いが低くなる。

本実施形態では、パラメーター設定部１６７は、右光学像表示部２６と左光学像表示部２８とのそれぞれに対応する左変換パラメーターＰＭＬ［R_cam2left, t_cam2left］と、右変換パラメーターＰＭＲ［R_cam2right, t_cam2right］とを設定する。回転行列R_cam2rightは、直交する３軸の回転によって決定される３つのパラメーターであり、並進行列T_cam2rightは、３軸に沿った並進のそれぞれに対応する３つのパラメーターである。すなわち、右光学像表示部２６に対応する右変換パラメーターＰＭＲは、計６つのパラメーターを含んでいる。同じように、左光学像表示部２８に対応する変換パラメーターは、回転行列R_cam2leftと並進行列T_cam2leftとであり、計６つのパラメーターを含んでいる。以上の通り、本実施形態では、カメラパラメーターＣＰに含まる４個のパラメーターと、空間関係を表す１２個の変換パラメーターとの１６個のパラメーターが算出される。

Ａ−２−２−３．パラメーター導出処理：
以下における説明では、ユーザーＵＳが実物マーカーＭＫ２（または実物マーカーＭＫ１）とマーカー画像ＩＭＧとが互いに一致するように視認する状態でカメラ６０が実物マーカーＭＫ２（または実物マーカーＭＫ１）を撮像し、パラメーター設定部１６７がその撮像画像を取得する。パラメーター設定部１６７は、取得した当該撮像画像に基づいて、後述の式（１５）を用いて、カメラパラメーターおよび変換パラメーターを算出する。本実施形態では、設定パラメーターを設定する場合の初期値（ｉ=０）として、ＨＭＤ１００が製造される工場から出荷される前の計測値や検査値を用いる。一方で、他の実施形態では、カメラ６０または光学像表示部２６，２８の最大可動した場合の一方の姿勢における値、または、可動域の中間の姿勢における値を初期値として用いてもよい。

図１２は、右光学像表示部２６のみにマーカー画像ＩＭＧが表示された状態での空間的な位置関係を示す概略図である。図１２には、ユーザーＵＳが、予め画像表示部２０を装着したユーザーＵＳの仮想の右眼の位置として設定された右眼位置ＲＰから、右光学像表示部２６に表示されたマーカー画像ＩＭＧを視認した場合の概略が示されている。なお、図１２には、ＨＭＤ１００の内の画像表示部２０のみを図示し、装着帯９０や制御部１０などについては図示を省略している。つまり、図１２に示す画像表示部２０は、図１から図３に示す画像表示部２０と同じ画像表示部である。また、図１２には、撮像される三次元空間である外景の座標軸を表す座標軸ＣＤ２と、座標軸ＣＤ２を投影した二次元画像の座標軸を表す座標軸ＣＤ１と、が示されている。ユーザーＵＳは、右光学像表示部２６に表示されたマーカー画像ＩＭＧを、画像表示部２０から距離Ｌ１離れた位置に存在するマーカーＭＫ１として視認する。

図１２に示すように、右光学像表示部２６に表示されたマーカー画像ＩＭＧと、外景に含まれ前方に位置する実物マーカーＭＫ１と、が位置、大きさ、向きが一致するようにユーザーＵＳが視認するとき（以下、ユーザーＵＳが左眼ＬＥ（右眼ＲＥ）でアライメントを成立させるときとも言う）、座標系の間には、次の式（１）の関係が成り立つ。なお、以降では、右光学像表示部２６ではなく、左光学像表示部２８にマーカー画像ＩＭＧが表示された場合について説明する。

ここで、左辺および右辺のＣＰは、カメラ６０のカメラパラメーターＣＰである。［R_o2dl, t_o2dl］は、実オブジェクト（この場合、実物マーカーＭＫ２または実物マーカーＭＫ１）に固定された座標系から左光学像表示部２８に固定された座標系への変換行列であり、このうち、［R_o2dl］が回転を表す３×３の行列であり、［t_o2dl］が並進を表す３×１の行列である。［R_o2dl, t_o2dl］は、左光学像表示部２８に対する実オブジェクトの位置および姿勢を表している。ModelMatrixは、モデルマーカー上の任意の１点を表す３×１の行列である。モデルマーカーは、マーカー画像ＩＭＧが光学像表示部２８に表示される場合の基礎となる３次元データ（３次元モデル：ただし本実施形態では平面）である。［R_o2dl, t_o2dl］×ModelMatrixの表記は、下記の式（２）の規則に従っている。

上記式（２）の表記規則は、式（１）の他の部分にも適用される。

式（１）の右辺における［R_cam2left, t_cam2left］は、カメラ６０の座標系から左光学像表示部２８の座標系への変換行列である。当該変換行列は、パラメーター設定部１６７によって設定される複数の変換パラメーターで構成される。式（１）の右辺における［R_obj2cam, t_obj2cam］は、実オブジェクト（実物マーカーＭＫ２または実物マーカーＭＫ１）の座標系からカメラ６０の座標系への変換行列である。［R_obj2cam, t_obj2cam］は、カメラ６０に対する実オブジェクトの位置および姿勢を表している。

式（１）の関係から、左光学像表示部２８について、マーカー画像ＩＭＧと実物マーカーＭＫ２または実物マーカーＭＫ１とのアライメントが成立しているとき、以下の式（３）、（４）が成り立つ。

左眼ＬＥのアライメントが成立すると仮定したとき、実物マーカーＭＫ２または実物マーカーＭＫ１のカメラ６０に対する姿勢をモデルマーカーに適用すると、カメラ６０の座標系に変換されたモデルマーカー上の任意の点P_cl（X_cl, Y_cl, Z_cl）は次の式（５）のようになる。

式（３）および式（４）により、R_obj2cam,t_obj2camを消去すると式（５）は以下の式（６）のようになる。

R_o2dlおよびt_o2dlは、実物マーカーＭＫ２または実物マーカーＭＫ１の座標系から左光学像表示部２８の座標系への回転および並進である。本実施形態では、ユーザーＵＳが左光学像表示部２８に表示されたマーカー画像ＩＭＧを実物マーカーＭＫ２または実物マーカーＭＫ１に位置合わせしたときに、R_o2dlおよびt_o2dlが所定の回転および並進となるように、マーカー画像ＩＭＧが左光学像表示部２８上の所定位置（例えば中央）に所定の配向かつ所定の大きさで、固定されて表示される。T_cam2leftは、カメラの座標系から左光学像表示部２８の座標系への並進である。

上記式（７）および（８）における要素は本実施形態では定数（aは図１２のＬ１）である。式（９）における要素D1, D2, D3は本実施形態では初期値であり、パラメーター導出処理の間に変化し得る。なお、図１２からわかるように、本実施形態では、画像表示部２０に固定された座標系では、光学像表示部２６，２８（画像表示部２０）からユーザーＵＳの眼へと射出される光の方向がＺ軸方向と平行である。

式（５）で表されるモデルマーカーをカメラ６０の撮像画像上に写像するとき、撮像画像上のモデルマーカーの座標は、次のようになる。

ここで、（Fx, Fy）はカメラ６０の焦点距離であり、（Cx, Cy）はカメラ６０の主点位置座標である。

カメラ６０が実際に実物マーカーＭＫ２または実物マーカーＭＫ１を撮像した場合の撮像画像におけるマーカーの特徴要素の座標を（u_l, v_l）と表記すると、（u_l, v_l）と（x_iml, y_iml）との差は以下のようになる。

式（１２）における添え字ｉは、マーカーにおける特徴要素を示す整数であり、１から９までの値を取る。パラメーター設定部１６７は、左眼ＬＥのアライメントについて、式（１３）で表される二乗和を導出する。

ユーザーＵＳが、右眼ＲＥで右光学像表示部２６に表示されたマーカーと、実物マーカーＭＫ２または実物マーカーＭＫ１と、のアライメントを成立させた場合についても、同様に式（１４）で表される二乗和を導出する。

E_RとE_Lとの和により、式（１５）で表すコスト関数Ｅを定義する。

Eを最小化（グローバルミニマム）にするパラメーターを、ガウス・ニュートン法などの繰り返し計算を伴う最適化計算により求める。

本実施形態では、カメラ６０のカメラパラメーターＣＰと、カメラ６０の座標系から左光学像表示部２８の座標系への回転（R_cam2left）および並進（T_cam2left）を表す変換パラメーターと、カメラ６０の座標系から右光学像表示部２６の座標系への回転（R_cam2right）および並進（T_cam2right）を表す変換パラメーターと、が最適化により設定される。

式（１５）で表されるコスト関数Ｅを最小化する繰り返し計算に用いられるヤコビ行列は、式（１６）のようになる。

ここで、式（１６）の右辺における変数x_mliおよびy_mliはそれぞれ式（１０）および（１１）によって表され、さらに式（１０）および（１１）におけるx_clおよびy_clは式（６）によって表される。また、式（１６）の右辺における変数ｐは、カメラ６０のカメラパラメーターＣＰに含まれるFx，Fy，Cx，Cyと、カメラ６０と光学像表示部２６，２８との間の空間関係を表す回転R_cam2left、R_cam2rightを構成する６つのオイラー角と、並進T_cam2left、T_cam2rightを構成する６つの並進成分と、である。パラメーター設定部１６７は、式（１６）のヤコビ行列と、変数ｐの微小変化量と、に基づいて、式（１５）のグローバルミニマムを探索することができる。グローバルミニマムに対応する変数ｐによって、カメラパラメーターＣＰおよび変換パラメーターが求められる。

カメラパラメーターＣＰおよび変換パラメーターが設定されると、図９に示すキャリブレーション実行処理におけるＳ１５の処理として、設定された変換パラメーターおよびカメラパラメーターＣＰを、ユーザーＵＳに画像を用いて確認させる目的で、表示設定部１６５は設定画像ＳＩＭを光学像表示部２６，２８に表示させる。カメラ６０の撮像範囲に特定オブジェクト（この例では実物マーカーＭＫ１）が含まれる場合に、ＣＰＵ１４０は、設定されたカメラパラメーターＣＰを用いてカメラ６０に対する特定オブジェクトの位置および姿勢を導出する。また、ＣＰＵ１４０は、設定された変換パラメーターを用いて、カメラ６０に対する特定オブジェクトの位置および姿勢を、光学像表示部２６、２８に対する特定オブジェクトの位置および姿勢に変換する。そして、表示設定部１６５は、当該変換された位置および姿勢をＡＲモデルに与えてから、当該ＡＲモデルを写像し、そして、ＡＲモデルを設定画像ＳＩＭとして光学像表示部２６，２８に表示させる。この例では、ユーザーＵＳに、設定画像ＳＩＭの位置および姿勢が特定オブジェクトの位置および姿勢に一致し、かつ特定オブジェクトの動きに追跡するように設定画像ＳＩＭを視認させることができれば、変換パラメーターとカメラパラメーターＣＰの設定は十分である。実物マーカー、またはそれに対応したＡＲモデルの内部座標をＸと定義すると、変換パラメーターが用いられ、左光学像表示部２８における表示画像の位置（u,v）は、式（１７）のように表される。

ここで、[R_obj2cam, T_obj2cam]は実物マーカーＭＫ２または実物マーカーＭＫ１とカメラ６０との間の空間関係を表すパラメーター（回転行列および並進行列）であり、これらは、カメラ６０が撮像した実物マーカーＭＫ２または実物マーカーＭＫ１の撮像画像に、例えばホモグラフィーを適用することによってパラメーター設定部１６７によって算出される。マーカー特定部１６６が、実物マーカーＭＫ２および実物マーカーＭＫ１以外の特定オブジェクトを検出する場合には、パラメーター設定部１６７は、他の方法で特定オブジェクトとカメラ６０との間の空間関係を設定する。なお、右光学像表示部２６についても、式（１７）と同様な関係式により、表示画像の位置（u,v）が導出される。式（１７）に示す通り、実物マーカーＭＫ２または実物マーカーＭＫ１とカメラ６０との間の空間関係、およびカメラ６０と光学像表示部２６、左光学像表示部２８との間の空間関係に少なくとも基づいて定まる位置（u,v）に、表示設定部１６５は、ＡＲ画像としてのＡＲモデルを表示させる。当該ＡＲモデル（この場合、設定画像ＳＩＭ）の位置、大きさおよび配向の少なくとも１つが、特定オブジェクトの位置、大きさ、配向の少なくとも１つに一致するように、表示設定部１６５は、ユーザーＵＳに視認させることができる。なお、式（１７）における右辺のＲＰは、ピンホールカメラモデルと同様な写像モデルを用いた場合に決定される写像パラメーター（またはレンダリングパラメーターとも呼ぶ）であり、本実施形態では下記の式（１８）のように表される。

ここで、式（１８）におけるFx, FyはＨＭＤ１００におけるプロジェクターの画素数に換算された焦点距離であり、Wは水平方向の左光学像表示部２８の画素数（解像度）であり、Hは垂直方向の左光学像表示部２８の画素数（解像度）であり、CxおよびCyは、表示画像の中心位置である。写像パラメーターの上２行がu, vの導出に寄与する。fおよびnは、０と１の間で規格化された奥行を有する規格化デバイス座標との対応関係を決める係数である。すなわち、これらは、レンダリングバッファーに（デプスバッファー）おいて奥行を調整するための係数であるが、表示画像の位置(u,v)の導出に直接関与しない。

ここで、特定オブジェクトまたはＡＲモデルXがカメラ６０で撮像されたとすると、特定オブジェクトまたはＡＲモデルX上の点と撮像画像上の対応点との間には、式（１９）が成り立つ。

式（１９）の右辺における（Ｒ，Ｔ）は、カメラ６０に対する特定オブジェクトの位置および姿勢を表す変換行列であり、カメラ座標系で表されている。当該変換行列の左は、カメラパラメーターＣＰである。式（１９）に模式的に表されるように、実空間または３次元座標系における点と撮像画像上の点との対応関係に基づいて（Ｒ，Ｔ）が推定されるから、実オブジェクトの正確な位置および姿勢の推定には、カメラパラメーターＣＰが適切であることが好ましい。

３次元におけるＡＲモデルの同じ座標点は、画像処理部１６０におけるディスプレイバッファーにレンダリングされるため、その規格化デバイス座標（ＮＤＣ）は、式（１８）を用いて、式（２０）のように表される。

式（２０）は同次座標系による座標表現で表されている。式（２０）の右辺のXは、モデルマーカーまたはＡＲモデルの内部座標であり、モデルに固定された座標系で表されている。式（２０）におけるXの左の（Ｒ，Ｔ）は、カメラ座標系で表された特定オブジェクトの位置と姿勢とであり、式（１９）における（Ｒ，Ｔ）と同じ位置と姿勢とを表す。式（１９）における（Ｒ，Ｔ）の左の０，１、−１を要素とする４×４の行列は、座標軸の向きを変換するための変換行列であり、本実施形態ではカメラ座標系と表示部座標系との間での座標軸の正方向の定義が異なることから、便宜上、設けられている。式（１９）における座標軸の向きを変換する変換行列の左の（Ｉ，ｄ）は、カメラ６０と光学像表示部２６（２８）との間の空間関係を表しており、光学像表示部２６（２８）の座標系で表された回転Ｉと並進ｄからなる４×４の変換行列である。式（２０）で表される座標点は、光学像表示部２６（２８）の画像面において式（２１）の（u’, v’）で表される位置である。

本実施形態では、キャリブレーションがうまく実施されていれば、ＨＭＤ１００を装着しているユーザーＵＳは、光学像表示部２６、２８に表示された設定画像ＳＩＭの位置、大きさ、向き、奥行感が、撮像された特定オブジェクト（この例では実物マーカーＭＫ１）の位置、大きさ、向き、奥行感に一致するように、視認する。

図１３は、特定オブジェクトに対応付けられて設定画像ＳＩＭが表示された場合にユーザーＵＳが視認するユーザーＵＳの視野の一例の説明図である。図１３に示す例では、特定オブジェクトとして実物マーカーＭＫ１が採用されている。キャリブレーションが実行された後に、表示設定部１６５は、パラメーター設定部１６７によって設定された変換パラメーターおよびカメラパラメーターＣＰを用いて、撮像された実物マーカーＭＫ１の位置および配向（姿勢）に合わせて、設定画像ＳＩＭを右左の光学像表示部２６，２８に表示させる。設定画像ＳＩＭは、立方体の各辺を形成する画像である。図１３に示すように、設定画像ＳＩＭの立方体の底面は、実物マーカーＭＫ１と合わさるように表示される。ユーザーＵＳは、特定オブジェクトとしての実物マーカーＭＫ１と設定画像ＳＩＭとの空間関係を視認することで、キャリブレーションの精度を認識できる。ユーザーＵＳが実物マーカーＭＫ１と設定画像ＳＩＭとが互いに一致するように視認しないときに、再度、キャリブレーションを第１設定モードまたは第２設定モードにおいてやり直すことができる。図１３に示すように、光学像表示部２６、２８または音声処理部１７０は、キャリブレーションが成功しＡＲ表示機能を続行すること（重畳して見えるか）、およびキャリブレーションをやり直すことの何れかを促す文字画像または音声をユーザーＵＳに提示してもよい。

Ａ−２−２−４．キャリブレーションデータの収集：
まず、キャリブレーションデータの収集処理の説明に備えて、光学像表示部２６，２８に固定された座標系の座標軸を、右光学像表示部２６の場合を例にとって説明する。本実施形態では、右光学像表示部２６の座標系のＺ軸は、ユーザーＵＳがＨＭＤ１００を適切に装着した場合にユーザーＵＳが視認する表示領域の法線方向に一致する。このため、Ｚ軸はユーザーＵＳの顔面が向いている方向を示し得る。Ｘ軸は、Ｚ軸に直交し、かつ右光学像表示部２６と左光学像表示部２８とが並ぶ方向にほぼ平行である。このため、Ｘ軸はユーザーＵＳの左右方向を示し得る。また、Ｙ軸は、Ｚ軸およびＸ軸の双方に直交する。このため、Ｙ軸は、ユーザーＵＳの上下方向を示し得る。

本実施形態においては、上記で説明した第１設定モードにおいて、図１４〜図１６と共に後述するように、ユーザーＵＳは、マーカー画像ＩＭＧと実物マーカーＭＫ１，ＭＫ２との目視によるアライメントを成立させたことを、タッチパッドの操作、ボタンの押下、または音声コマンドの発声により、パラメーター設定部１６７に伝える。そして、パラメーター設定部１６７がこれら操作または音声コマンドを受け付けたことを必要条件として、カメラ６０がマーカーＭＫ１，ＭＫ２を撮像し、すなわちキャリブレーションデータの収集をする。すなわち、ＨＭＤ１００は、キャリブレーションデータの収集のトリガーとして、ユーザーＵＳによる操作または発声を利用している。以下、図１４〜図１６を用いた本実施形態の説明に先立ち、ユーザーＵＳによる操作または発声を利用しない他の実施形態として、自動的にキャリブレーションデータを収集する構成を説明する。

図１４は、実施形態に係るキャリブレーションデータの収集処理のフローである。この処理では、初めに、マーカー特定部１６６が撮像を開始し、そして、光学像表示部２６，２８の１つ（以下では、右光学像表示部２６）がマーカー画像ＩＭＧを表示し始める（Ｓ２１１）。マーカー特定部１６６は、カメラ６０が撮像した各撮像フレームに対して、２値化を実行して、実物マーカーＭＫ２を抽出する。マーカー特定部１６６は、撮像範囲の中に、実物マーカーＭＫ２があるか否かを判定する（Ｓ２１２）。マーカー特定部１６６は、撮像範囲の中に実物マーカーＭＫ２がないと判定した場合には（Ｓ２１２：ＮＯ）、引き続き、撮像範囲の中から実物マーカーＭＫ２の検出を監視する。

Ｓ２１２の処理において、マーカー特定部１６６は、撮像範囲の中に、実物マーカーＭＫ２があると判定した場合には（Ｓ２１２：ＹＥＳ）、カメラ６０に対する実物マーカーＭＫ２の位置と姿勢を導出し、それらの追跡を開始する（Ｓ２１２Ａ）。

導出された実物マーカーＭＫ２の位置および姿勢は、カメラ座標系で表されている。つまり、その位置および姿勢は、カメラ６０に対する位置および姿勢である。そこで、カメラ６０と右光学像表示部２６との間のデフォルトの空間関係を利用して、カメラ６０に対する実物マーカーＭＫ２の位置および姿勢を、右光学像表示部２６の座標系で表された近似的、すなわち暫定的な位置および姿勢に変換する。「デフォルトの空間関係」とは、例えば、カメラ６０と右光学像表示部２６との間の相対可動範囲の両端間に存在する１つの空間関係である。位置および姿勢、すなわち回転および並進、を表す４×４の変換行列Ｔは、式（２１Ａ）のように表される。

ここで、左辺の「T (marker to display)」は右光学像表示部２６に対する実物マーカーＭＫ２の近似的な位置および姿勢であり、右辺の「T (camera to display)」は、カメラ６０の座標系から右光学像表示部２６の座標系へのデフォルトの変換行列であり、「Tracking pose」はカメラ６０に対する実物マーカーＭＫ２の位置および姿勢である。

モデルマーカーと実物マーカーＭＫ２との間で、光学像表示部２６の座標系におけるＸ軸およびＹ軸の回りの回転差が所定値未満か否かは、以下の式（２１Ｂ）および式（２１Ｃ）のように判定され得る。

ここで、「A_x」、「A_y」はそれぞれＸ軸、Ｙ軸回りのモデルマーカーの回転角であり、「approximated A_x」、「approximated A_y」は、それぞれＸ軸、Ｙ軸回りの実物マーカーＭＫ２の近似的な回転角であり、何れも度単位で表されたオイラー角である。上記式における２つの「threshold」の値は互いに異なり得る。「Abs」は値の絶対値を取ることを意味する。なお、上述の通り、モデルマーカーとは、３次元座標で表されたモデルであり、２Ｄへ写像されてマーカー画像ＩＭＧとして表示されるものである。

次に、右光学像表示部２６の座標系において、実物マーカーＭＫ２のＸ軸、Ｙ軸に沿った近似的な並進（Ｔ_ｘ’, Ｔ_ｙ’）が、モデルマーカーの並進（ｔ_ｘ、ｔ_ｙ）に近いか否かが、以下の式（２１Ｄ）および式（２１Ｅ）の関係式を用いて判定され得る。

次に、右光学像表示部２６の座標系において、実物マーカーＭＫ２のＸ軸、Ｙ軸に沿った近似的な並進（Ｔｘ’, Ｔｙ’）が、モデルマーカーの並進（ｔｘ、ｔｙ）に近いか否かが、以下の式（２１Ｄ）および式（２１Ｅ）の関係式を用いて判定され得る。

上記式（２１Ｄ）、式（２１Ｅ）における２つの「threshold」の値は、互いに異なり得るし、上記式（２１Ｂ）、式（２１Ｃ）における「threshold」の値からも異なり得る。以下の説明においては、上記回転角の差を集合的に「回転差Ａ」、上記並進の差を集合的に「並進差Ｄ」と表す。

図１４のフローの説明に戻ると、Ｓ２１２Ａにて、実物マーカーの追跡が開始されると、Ｓ４００において、アライメント状態表示処理が起動される。本実施形態では、Ｓ５００の手動操作処理が実行されている期間に亘って、Ｓ４００によってアライメント状態が監視および／または表示されるように、Ｓ４００のアライメント状態表示処理を担うスレッドは、Ｓ５００の手動操作処理を担うスレッドとは別に実行される。このため、この結果、Ｓ５００の処理中にアライメント状態の変化が生じても、Ｓ５００は当該アライメント状態の変化に応じた処理を実行することができる。

図１５は、図１４のＳ４００の詳細を示す。アライメント状態表示処理が開始されると、マーカー特定部１６６は、回転差Ａがその閾値（threshold）以上で、かつ並進差Ｄがその閾値以上か否かを判定する（Ｓ２１３Ａ）。回転差Ａも並進差Ｄもそれぞれの閾値以上であると判定された場合には（Ｓ２１３Ａ：ＹＥＳ）、表示設定部１６５は、マーカー画像の色を赤色に変え、右光学像表示部２６に位置合わせ（アライメント）を促す文字画像を表示させる（Ｓ２１４Ａ）。Ｓ２１３Ａの判定が「否」の場合には（Ｓ２１３Ａ：ＮＯ）、マーカー特定部１６６は、回転差Ａが閾値未満で、かつ並進差Ｄが閾値以上であるか否かを判定する（Ｓ２１３Ｂ）。回転差Ａが閾値未満で、かつ並進差Ｄが閾値以上であると判定された場合には（Ｓ２１３Ｂ：ＹＥＳ）、表示設定部１６５は、マーカー画像の色を黄色に変え、右光学像表示部２６に位置合わせ（アライメント）を促す文字画像を表示させる（Ｓ２１４Ｂ）。Ｓ２１３Ｂの判定が「否」の場合には（Ｓ２１３Ｂ：ＮＯ）、マーカー特定部１６６は、回転差Ａが閾値未満で、かつ並進差Ｄが閾値未満であるか否かを判定する（Ｓ２１３Ｃ）。回転差Ａも並進差Ｄもそれぞれの閾値未満であると判定された場合には（Ｓ２１３Ｃ：ＹＥＳ）、表示設定部１６５は、マーカー画像の色を緑色に変える（Ｓ２１４Ｃ）。回転差Ａも並進差Ｄもそれぞれの閾値未満である状態を、暫定アライメント状態ともいう。このため、マーカー画像の色を緑色に設定することは、暫定アライメント状態の成立をユーザーＵＳに報知していることになる。

Ｓ２１３Ｃの判定が「否」の場合には（Ｓ２１３Ｃ：ＮＯ）、次に実行される処理はＳ２１３Ａの判定に戻る。

頭部が安定な状態にあるか否か、または実質的に静止しているか否かは、パラメーター設定部１６７が、カメラ６０の撮像画像における実物マーカーＭＫ２の特徴点の位置、ＨＭＤ１００に搭載されたＩＭＵの出力、およびこれらの組み合わせから、判定することができる。

図１６は、図１４のＳ５００における手動操作処理の詳細を説明するフローである。手動操作処理の各ステップの実行主体は、パラメーター設定部１６７である。

まず、Ｓ４００における最新の判定に基づいて、マーカー画像が緑色であるかを判定する（Ｓ５０５）。マーカー画像が赤色または黄色の場合（Ｓ５０５：ＮＯ）、Ｓ５０５の判定を繰り返す。

マーカー画像が緑色である場合（Ｓ５０５：ＹＥＳ）、キャンセルボタンを非表示にする（Ｓ５１０）。なお、キャンセルボタンは、Ｓ５５０によって表示され、元々表示されていない場合は、Ｓ５１０はスキップされる。

続いて、確定ボタンが押されたかを判定する（Ｓ５１５）。確定ボタンは、制御部１０が備えるボタンである。ユーザーＵＳは、マーカー画像が緑色であり、且つアライメントが正確であるように見える場合に、確定ボタンを押すように予め指示されている。

確定ボタンが押されていない場合は（Ｓ５１５：ＮＯ）、Ｓ５０５に戻る。つまり、マーカー画像が赤色または黄色の場合に確定ボタンが押されても、Ｓ５１５でＹＥＳと判断しないようにする。

マーカー画像が緑色である状態で、確定ボタンが押された場合（Ｓ５１５：ＹＥＳ）、確定ボタンが押されてから０．５秒、経過したかを判定する（Ｓ５２０）。１回目にＳ５２０を実行した場合には、経過時間は０．５秒未満なので（Ｓ５２０：ＮＯ）、次に、マーカー画像が緑色であるかを判定する（Ｓ５２５）。マーカー画像が緑色である場合（Ｓ５２５：ＹＥＳ）、ユーザーＵＳの頭部が実質的に静止しているかを判定する（Ｓ５３０）。ユーザーＵＳの頭部が実質的に静止している場合（Ｓ５３０：ＹＥＳ）、Ｓ５２０に戻る。

このようしてＳ５２０〜Ｓ５３０を繰り返し、マーカー画像が緑色であり、且つ、ユーザーＵＳの頭部が実質的に静止している状態が、確定ボタンが押されてから、０．５秒以上維持された場合（Ｓ５２０：ＹＥＳ）、キャリブレーションデータを収集して（Ｓ５７５）、手動操作処理を終える。これと共に、アライメント状態表示処理およびキャリブレーション収集処理も終える。キャリブレーションデータの収集は、マーカー画像が緑色であり、且つ、ユーザーＵＳの頭部が実質的に静止している期間の撮像データに基づき実行される。

一方、マーカー画像が緑色に維持されているものの、ユーザーＵＳの頭部が動いた場合（Ｓ５３０：ＮＯ）、Ｓ５３５〜Ｓ５４５として、Ｓ５２０〜Ｓ５３０と同様な処理を繰り返す。但し、０．５秒、経過したかの起算となる時点は、ユーザーＵＳの頭部が動いた後、再度、ユーザーＵＳの頭部が実質的に静止し始めた時点である。

再度の試みとして、Ｓ５３５〜Ｓ５４５を実行した結果、ユーザーＵＳの頭部が実質的に静止している状態が０．５秒以上維持された場合（Ｓ５３５：ＹＥＳ）、Ｓ５７５に進む。

一方、再びユーザーＵＳの頭部が動いた場合（Ｓ５４５：ＮＯ）、１〜２秒間、撮像画像を取得し（スキャンを実行し）、有効なデータを収集して（Ｓ５７０）、Ｓ５７５に進む。このため、ユーザーＵＳの頭部が実質的に静止することができなかった場合においても、データが収集される。このとき、不十分なデータが収集され得るので、キャリブレーションの精度は犠牲にされ得る。しかしながら、頭部の動きがあることを理由にアライメントの処理を強制終了するのではなく、ユーザーＵＳに最後までアライメントを経験させることにより、アライメントに慣れていないユーザーＵＳに一連の処理に慣れてもらうことができることから、将来、ユーザーＵＳがアライメントを成立させる可能性が高くなる。

一方、確定ボタンが押された後に、マーカー画像が赤色または黄色に変化した場合（Ｓ５２５又はＳ５４０：ＮＯ）、画像表示部２０にキャンセルボタンを表示させる（Ｓ５５０）。

キャンセルボタンが押された場合（Ｓ５５５：ＹＥＳ）、Ｓ５０５に戻る。つまり、手動操作処理を初めからやり直す。一方、キャンセルボタンが押されていない場合（Ｓ５５５：ＮＯ）、マーカー画像が緑色になったかを判定する（Ｓ５６０）。マーカー画像が緑色になっていない場合（Ｓ５６０：ＮＯ）、Ｓ５５５の判定に戻る。

キャンセルボタンが押される前に、マーカー画像が緑色になった場合（Ｓ５６０：ＹＥＳ）、キャンセルボタンを非表示にし（Ｓ５６５）、Ｓ５２０に進む。この場合、０．５秒、経過したかの起算となる時点は、Ｓ５６０でＹＥＳと判定した後に、ユーザーＵＳの頭部が実質的に静止し始めた時点である。

本実施形態では、２つの回転角の差に基づいて、「回転差Ａ」が閾値未満か否かが判定されるが、１つの軸の回りの回転角の差、または３つの軸の回りの回転角の差に基づいて、「回転差Ａ」が閾値未満か否かが判定されてもよい。「並進差Ｄ」についても同様である。

図１４、図１５及び図１６を参照して説明したキャリブレーションデータの収集処理では、ユーザーＵＳが、マーカー画像の色によって補助を受けつつ、自らの目視でアライメントが合っていると判断した場合に、確定ボタンを押すことになっている。そして、確定ボタンの押下を契機として頭部が実質的に静止しているか否かの判断に基づいてキャリブレーションデータの収集を実行するため、さらに精度のよいパラメーター群が得られることが期待できる。

Ａ−２−３．第２設定モード：
第２設定モードでは、パラメーター設定部１６７が、第１設定モードにおいて実行したキャリブレーションの結果に対して、ユーザーＵＳの操作を受け付けることで、さらに、キャリブレーションの結果を補正する。換言すると、パラメーター設定部１６７は、受け付けた操作に基づいて、特定オブジェクトに対応付けられて表示されるＡＲ画像（ＡＲモデル）の位置、大きさ、奥行感を補正する。

図１７は、第２設定モードに移行したときにユーザーＵＳが視認する視野ＶＲの一例の説明図である。図１７では、ユーザーＵＳが、透過した外景に含まれる特定オブジェクトとしての実物マーカーＭＫ１と、実物マーカーＭＫ１に対応付けられて光学像表示部２６，２８に表示される設定画像ＳＩＭと、第２設定モードのときに光学像表示部２６，２８に表示される８個のアイコンおよびカーソル画像ＣＳと、が示されている。８個のアイコンは、制御部１０の操作部１３５が受け付けた操作によって、第２設定モードにおける設定モードを変更するためのアイコンである。図１７に示す例では、ユーザーＵＳから見て、外景の実物マーカーＭＫ１の位置と、表示された設定画像ＳＩＭの立方体の底面の位置と、が重なっていない。換言すると、キャリブレーションの精度がよくない。このような場合に、本実施形態では、第２設定モードにおいて、ユーザーＵＳは、操作部１３５を操作することで、実物マーカーＭＫ１と設定画像ＳＩＭとのキャリブレーションの結果を補正できる。

操作部１３５のトラックパッドが所定の操作を受け付けると、パラメーター設定部１６７は、光学像表示部２６，２８に表示させたカーソル画像ＣＳの位置を移動させる。カーソル画像ＣＳが８個のアイコンの内の何れかに重なっている状態で、操作部１３５の決定ボタンが押下されると、パラメーター設定部１６７は、カーソル画像ＣＳが重なっていたアイコンと対応付けられている設定モードへと移行する。

アイコンＩＣ１は、選択されると、設定画像ＳＩＭの画像を拡大または縮小を実行するモードへと移行するためのアイコンである。アイコンＩＣ１のモードでは、操作部１３５が所定の操作を受け付けることで、パラメーター設定部１６７は、上述したカメラパラメーターＣＰおよび変換パラメーターの一方または双方を補正して、光学像表示部２６，２８に表示された設定画像ＳＩＭの大きさを変更する。本実施形態では、パラメーター設定部１６７は、カメラパラメーターＣＰにおける焦点距離Ｆ_ｘ，Ｆ_ｙ，および写像パラメーターにおける焦点距離Ｆ_ｘ，Ｆ_ｙの一方または両方を補正して、設定画像ＳＩＭの大きさを調整する。ユーザーＵＳは、アイコンＩＣ１を選択することで、実物マーカーＭＫ１の大きさに合わせるように設定画像ＳＩＭの大きさを変更できる。

アイコンＩＣ２は、選択されると、設定画像ＳＩＭの表示位置を上下に移動させるモードへと移行するためのアイコンである。アイコンＩＣ２のモードでは、操作部１３５が所定の操作を受け付けることで、パラメーター設定部１６７は、光学像表示部２６，２８のそれぞれの変換パラメーターを補正して、光学像表示部２６，２８が設定画像ＳＩＭを表示可能な範囲で上下に移動させる。本実施形態では、パラメーター設定部が変換パラメーターのうち、X軸回りの回転を表すパラメーターRxを調整して、設定画像ＳＩＭを上下（すなわちY軸方向）に移動させる。なお、変換パラメーターの表示において、XおよびYは光学像表示部２６，２８に固定された座標系のX軸およびY軸をそれぞれ表し、さらに上述の通り、X軸はＨＭＤ１００を装着した場合にユーザーＵＳの左右方向を表し、Y軸はその上下方向を表し得る。

アイコンＩＣ３は、選択されると、設定画像ＳＩＭの表示位置を左右に移動させるモードへと移行するためのアイコンである。アイコンＩＣ３のモードでは、操作部１３５が所定の操作を受け付けることで、パラメーター設定部１６７が光学像表示部２６、２８のそれぞれの変換パラメーターを補正して、光学像表示部２６，２８が設定画像ＳＩＭを表示可能な範囲で左右に移動させる。本実施形態では、パラメーター設定部１６７が変換パラメーターのうち、Ｙ軸回りの回転を表すパラメーターＲ_ｙを調整して、設定画像ＳＩＭを左右（すなわちX軸方向）に移動させる。ユーザーＵＳは、アイコンＩＣ２およびアイコンＩＣ３を選択することで、実物マーカーＭＫ１に対して、設定画像ＳＩＭの位置を合わせるように設定画像ＳＩＭの表示位置を変更できる。

アイコンＩＣ４は、選択されると、ユーザーＵＳに視認させる設定画像ＳＩＭの奥行感を調整するためのアイコンである。アイコンＩＣ４のモードでは、操作部１３５が所定の操作を受け付けることで、パラメーター設定部１６７は、光学像表示部２６、２８のそれぞれの写像パラメーターおける表示主点のＸ成分であるＣｘを調整して、設定画像ＳＩＭの奥行感を変える。奥行感の調整量をΔＣxとし、右光学像表示部２６の表示主点をＣｘ＿ｒｉｔｇｈとし、左光学像表示部２８の表示主点をＣｙ＿ｌｅｆｔとすると、奥行感の調整後の表示主点は、以下の式（２１Ｆ）および式（２１Ｇ）のように表される。

写像パラメーターの表示において、Xは光学像表示部２６，２８に固定された座標系のX軸を表し、上述の通り、この場合のX軸はＨＭＤ１００を装着した場合にユーザーＵＳの左右方向を表し得る。式（２１F）および式（２１Ｇ）により、左右の光学像表示部２６、２８に表示される左右の画像領域の中心位置が変わり、これにより、左右の画像領域が互いに近づいたり、離れたりする。この結果、ユーザーＵＳが両眼で左右の画像領域を観察すると、特定オブジェクトの距離に応じた適切な輻輳角でＡＲ画像（ＡＲオブジェクト）を視認できるようになる。このため、特定オブジェクトとＡＲ画像との間で、奥行感が一致する。

アイコンＩＣ５は、選択されると、今まで実行してきたパラメーター群の補正を、実行前のパラメーター群の値に戻すためのアイコンである。アイコンＩＣ６は、選択されると、今まで実行してきたパラメーター群の補正を、新たなパラメーター群（カメラパラメーターＣＰ、変換パラメーターおよび写像パラメーター）として更新して記憶するためのアイコンである。

アイコンＩＣ７は、選択されると、第２設定モードへと移行する１つ前のモードへと戻るためのアイコンである。換言すると、アイコンＩＣ７が選択されると、表示設定部１６５は、図９のＳＳ１３に示す第２設定モードと第１設定モードとのどちらの設定モードへと移行するかの選択画面を光学像表示部２６，２８に表示させる。

アイコンＩＣ８は、選択されると、表示設定部１６５が光学像表示部２６，２８に説明文である「ヘルプ」を表示させるためのアイコンである。「ヘルプ」が表示されると、第２設定モードおよびキャリブレーション実行処理におけるキャリブレーションを実行するための操作についての説明文が光学像表示部２６，２８に表示される。アイコンＩＣ９は、選択されると、第２設定モードを含むキャリブレーション実行処理を終了するためのアイコンである。

図１８は、第２設定モードにおいて設定画像ＳＩＭの表示位置が変更されたときにユーザーＵＳが視認する視野ＶＲの一例を示す説明図である。この例では、設定画像ＳＩＭの向き、大きさ、および奥行感は実物マーカーＭＫ１のそれらに既に合っており、上下左右の表示位置だけを調整することでＡＲ画像の重畳精度を向上させる場合を示している。図１８では、第２設定モードにおいて、アイコンＩＣ２およびアイコンＩＣ３が選択された後に操作部１３５が所定の操作を受け付けて、設定画像ＳＩＭの立方体の底面と、実物マーカーＭＫ１との位置が合わさるように設定画像ＳＩＭの表示位置が設定された状態が示されている。具体的な操作としては、初めに、アイコンＩＣ２が選択されて、実物マーカーＭＫ１に対して、設定画像ＳＩＭの上下方向の表示位置が合わされた後、アイコンＩＣ３が選択されて、実物マーカーＭＫ１に対して、設定画像ＳＩＭの水平方向の表示位置が合わされている。この後、アイコンＩＣ５が選択されると、変換パラメーターが更新されて記憶される。

以上説明したように、第１実施形態のＨＭＤ１００では、カメラ６０が特定オブジェクトを含む外景を撮像する。そして、パラメーター設定部１６７はカメラ６０から、光学像表示部２６（２８）にマーカー画像ＩＭＧとして表示されたモデルマーカーの位置および姿勢と、実物マーカーＭＫ１（ＭＫ２）のそれらとがほぼ一致するようにユーザーＵＳに視認させた状態での特定オブジェクトの撮像画像を取得する。パラメーター設定部１６７は、取得された撮像画像に少なくとも基づいて、パラメーター群を設定する。パラメーター群は、カメラ６０のカメラパラメーターＣＰ，カメラ６０と右光学像表示部２６，左光学像表示部２８との間の空間関係を表す３Ｄ−３Ｄのそれぞれの変換パラメーター、および光学像表示部２６，２８上に任意の３Ｄモデルを画像として表示するための３Ｄ−２Ｄの写像パラメーターを含む。ＨＭＤ１００は、カメラパラメーターＣＰを用いて、特定オブジェクトの位置と姿勢を推定する。また、ＨＭＤ１００は、変換パラメーターと写像パラメーターとを用いて、特定オブジェクトに関連付けられたＡＲモデルの位置および姿勢と、特定オブジェクトの位置および姿勢とが、互いに対応、好ましくはほぼ一致する状態で当該ＡＲモデルをＡＲ画像としてユーザーＵＳに視認させるように、光学像表示部２６，２８にそれぞれＡＲ画像を表示する。従って、第１設定モードによるキャリブレーションによって、特定オブジェクトと、当該特定オブジェクトに関連付けられたＡＲモデル（ＡＲ画像）とが互いに対応、好適にはほぼ一致するようにユーザーＵＳに視認させることが可能なＨＭＤ１００を提供することができる。

また、第１実施形態のＨＭＤ１００では、パラメーター設定部１６７は、第２設定モードにおいて、操作部１３５が受け付けた操作に応じて、光学像表示部２６，２８に表示される設定画像ＳＩＭの位置、大きさ、および奥行感と、実物マーカーＭＫ１（ＭＫ２）の位置、大きさ、および奥行感が互いに対応、好適には一致する状態で当該設定画像ＳＩＭをユーザーＵＳに視認させるように、カメラパラメーターＣＰと変換パラメーターと写像パラメーターとの少なくとも１つのパラメーターを設定する。そのため、第１実施形態のＨＭＤ１００では、操作部１３５が所定の操作を受け付けることで、特定オブジェクトとＡＲモデル（ＡＲ画像）との位置関係を、ユーザーＵＳが手動でさらに補正できる。これにより、ユーザーＵＳは、キャリブレーションを容易に実行することができ、また、より精度の高いキャリブレーションを実行できる。

また、第１実施形態のＨＭＤ１００では、パラメーター設定部１６７は、第１設定モードにおいて、カメラ６０の撮像画像を用いて、カメラパラメーターＣＰおよび変換パラメーターの少なくとも１つに関するパラメーターを設定する。また、パラメーター設定部１６７は、第２設定モードにおいて、操作部１３５が受け付けた所定の操作に応じて、カメラパラメーターＣＰ、変換パラメーターと、写像パラメーターとの少なくとも１つに関するパラメーターを設定する。そのため、第１実施形態のＨＭＤ１００では、第１設定モードで設定されたカメラパラメーターＣＰおよび変換パラメーターに対して、第２設定モードで個別に設定できる。これにより、第１設定モードで調整しきれなかったパラメーターを個別に調整することができ、結果として、特定オブジェクトに、その関連付けられたＡＲ画像を重畳するように表示する際の精度を高めることができる。

また、第１実施形態のＨＭＤ１００では、カメラ６０が装着帯９０に対して向きを変更可能に配置されている。設定画像ＳＩＭを表示可能な光学像表示部２６，２８は、装着帯９０に対して、相対位置を変更可能に配置されている。そのため、カメラ６０は、光学像表示部２６，２８に対して、位置および向きが変更可能に配置されており（ＨＭＤ１００を「カメラ可動型ＨＭＤ」とも呼ぶ）、カメラ６０と光学像表示部２６，２８との位置関係の変化に応じて、キャリブレーションの設定が必要になる。第１実施形態のＨＭＤ１００では、ユーザーＵＳは、位置関係の変化に応じて必要とされるキャリブレーションを、第１設定モードと第２設定モードとを実行することで、容易に実行できる。もちろん、カメラと光学像表示部２６，２８との間の空間関係が固定されたＨＭＤ（「カメラ固定型ＨＭＤ」とも呼ぶ）において、ユーザーＵＳによるキャリブレーション（第１設定モード）の際に毎回、カメラと光学像表示部との間の空間関係を表す回転と並進をキャリブレーションパラメーターとして可変にし、当該空間関係の最適化を実行してもよい。このようなキャリブレーションは、カメラ固定型ＨＭＤにおいても、製造誤差により、各個体に亘る上記空間関係の分散が大きいときに、有益である。

また、第１実施形態のＨＭＤ１００では、パラメーター設定部１６７が設定したカメラパラメーターＣＰおよび変換パラメーターに基づいて、表示設定部１６５は、撮像された特定オブジェクトである実物マーカーＭＫ２または実物マーカーＭＫ１に対応付けて設定画像ＳＩＭを表示させる。そのため、第１実施形態のＨＭＤでは、ユーザーＵＳが、実行されたキャリブレーションの結果を視認でき、追加調整を実行する必要があるかを判定できるので、ユーザーＵＳの利便性が向上する。

また、第１実施形態のＨＭＤ１００では、表示設定部１６５は、カメラ６０が撮像するまでのカウントダウンを表す情報として、特定オブジェクトとしての実物マーカーＭＫ２に対応付けられたマーカー画像ＩＭＧの色を変化させた画像を右光学像表示部２６に表示させる。そのため、第１実施形態のＨＭＤ１００では、ユーザーＵＳにカメラ６０が実物マーカーＭＫ２を撮像するタイミングを視覚情報として認識させることができ、ユーザーＵＳは直感的にキャリブレーションのためのアライメントを実行できる。

Ｂ．第２実施形態：
第２実施形態では、第１実施形態と比較して、キャリブレーションが実行されるときにカメラ６０が撮像する実物マーカーと、実物マーカーを撮像する第１設定モードの一部とが異なる。そのため、第２実施形態では、第１実施形態と比較して異なる処理について説明し、その他の第１実施形態と同じ処理の説明については省略する。

図１９は、第２実施形態における制御部１０ａの裏面を示す正面図である。図１９には、制御部１０ａにおける操作部１３５が形成された面を表面と定義した場合の裏面が示されている。図１９に示すように、制御部１０ａの裏面には、実物マーカーＭＫ１を小さくした実物マーカーＭＫ３が配置されている。

第２実施形態の第１設定モードでは、第１実施形態の第１モードと同じように、初めに、表示設定部１６５が右光学像表示部２６にマーカー画像ＩＭＧを表示させる（図１０のＳ２０１）。パラメーター設定部１６７は、マーカー画像ＩＭＧと制御部１０の裏面に配置された実物マーカーＭＫ３との位置合わせをユーザーＵＳに促す（Ｓ２１０）。実物マーカーＭＫ３とマーカー画像ＩＭＧとの位置合わせが実行されると、第１実施形態と異なり、表示設定部１６５は、Ｓ２０１で右光学像表示部２６に表示されたマーカー画像ＩＭＧと大きさが異なるマーカー画像ＩＭＧを右光学像表示部２６に表示させる（Ｓ２０２）。パラメーター設定部１６７は、Ｓ２０１の処理時とは大きさが異なるマーカー画像ＩＭＧと実物マーカーＭＫ３との位置合わせをユーザーＵＳに促す（Ｓ２２０）。ここで、大きさが異なる２つのマーカー画像ＩＭＧは、本実施形態では光学像表示部２６，２８に対する仮想的な位置（Ｚ軸に沿った距離）が異なる同一のモデルマーカーを写像パラメーターにより２次元に写像することで生成される。第２実施形態のＳ２２０の処理では、使用する実物マーカーが１つであっても、大きさが異なる２つのマーカー画像ＩＭＧに対してアライメントを成立させようとするから、第１実施形態と同様に、ユーザーＵＳは、マーカー画像ＩＭＧが表示された右光学像表示部２６と実物マーカーＭＫ３とを、距離を変えてアラインさせる。第１設定モードのＳ２０３以降の処理については、右光学像表示部２６に対する処理と同じであるため、説明を省略する。

第２実施形態のＨＭＤ１００ａでは、１つの実物マーカーＭＫ３であっても、第１設定モードにおいて右光学像表示部２６または左光学像表示部２８に表示されるマーカー画像ＩＭＧを変化させることで、精度の高いキャリブレーションを実行できる。

Ｃ．第３実施形態：
第３実施形態では、第１実施形態と比較して、キャリブレーションが実行されるときにカメラ６０が撮像する実物マーカーの形状と、実物マーカーに対応するマーカー画像ＩＭＧの形状と、が異なる。そのため、第３実施形態では、第１実施形態に対して異なる実物マーカーの形状および実物マーカーの特定について説明し、その他の構成については説明を省略する。

図２０および図２１は、第３実施形態の実物マーカーの一例を示す概略図である。図２０には、実物マーカーＭＫ４として、階段状に形成された３次元のブロックが示されている。同様に、図２１には、実物マーカーＭＫ５として、三角錐を基準として半円筒などのブロックが付加された３次元のブロックが示されている。第３実施形態のマーカー画像記憶部１３８ｂは、実物マーカーＭＫ４および実物マーカーＭＫ５に対応する３次元モデルのデータを、その特徴点とともに記憶している。そのため、マーカー特定部１６６は、マーカー画像記憶部１３８ｂに記憶された特徴点と撮像画像における特徴点との対応関係を推定することで、カメラ６０に対する実物マーカーＭＫ４または実物マーカーＭＫ５の位置と姿勢を推定できる。特徴点の特定方法としては、ステレオカメラによって特定の位置までの距離を特定して、特定した距離を用いたエッジ検出などであってもよく、公知の技術を適用できる。

記憶部には、実物マーカーＭＫ４または実物マーカーＭＫ５の形状と相似な形状を有する３Ｄモデルマーカーが記憶されている。なお、実施形態１と同様に、モデルマーカーは、仮想の３次元空間内で定義されている。ＨＭＤ１００は、光学像表示部２６、２８に対して所定の位置と姿勢を有するように設定された当該モデルマーカーを上述の写像パラメーターにより写像し、光学像表示部２６、２８にマーカー画像ＩＭＧとして表示する。以下は、実施形態１と同様に、ユーザーＵＳにマーカー画像ＩＭＧと実物マーカーＭＫ４，ＭＫ５とのアライメントを成立させる。

以上説明したように、第３実施形態のＨＭＤ１００ｂでは、２次元モデルよりも特徴点の多い３次元モデルを用いてキャリブレーションが実行されるため、精度の高いキャリブレーションを実行できる。

本開示は、本明細書の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現できる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、先述の課題の一部又は全部を解決するために、或いは、先述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせができる。その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除できる。例えば、以下のものが例示される。

Ｄ−１.変形例１：
第１実施形態から第３実施形態では、図１から図３に示すように、光学像表示部２６，２８に対するカメラ６０の位置や向きが変化するＨＭＤ１００について説明した。光学像表示部２６，２８に対するカメラ６０の位置が変化しないＨＭＤ１０１についても、第１実施形態から第３実施形態で説明したキャリブレーションが有効である。なお、以降では、第１実施形態から第３実施形態で説明したＨＭＤ１００を、「カメラ可動型ＨＭＤ」とも呼び、カメラ６０の位置が固定であるＨＭＤ１０１を「カメラ固定型ＨＭＤ」とも呼ぶ。例えば、カメラ固定型ＨＭＤの場合であっても、カメラ６０と光学像表示部２６、２８との間の空間関係を表す回転と並進に存在する誤差の分散が、同一仕様のＨＭＤの間で大きい場合には、ユーザーＵＳがＡＲ画像を表示する前に毎回、上記回転と並進を含む相対関係を調整するようにキャリブレーション処理をしてもよい。

Ｄ−２．変形例２：
光学像表示部２６、２８、およびカメラ６０のファクトリーキャリブレーション（初期キャリブレーション）：
例えば、サービスステーションにおいて、カメラ６０のカメラパラメーターＣＰ、カメラ６０と光学像表示部２６、２８との間の空間関係（変換パラメーター）、光学像表示部２６、２８の写像パラメーターの初期値（デフォルト値）が、以下のステップを有するプロセスにより、導出され得る。
１．別途、高解像度な測定用カメラのキャリブレーションをする。
２．別途、ＨＭＤ１００に含まれるカメラ６０のキャリブレーションをし、カメラパラメーターＣＰを導出する。
３．ＨＭＤ１００と測定用カメラとを特別なジグ上にセットアップする。ワールド座標系として平面パターンを設置する。
４．測定用カメラについてジグ上で数か所の位置を定義する。そして、それぞれの位置で、平面パターンに対する測定用カメラの位置と姿勢を推定する。
５．光学像表示部２６に、光学像表示部２６に対して仮想的な位置と姿勢を有する仮想パターンを写像する。なお、光学像表示部２６に対する仮想的な位置と姿勢は、光学像表示部２６に対する平面パターンの位置と姿勢と同じである。
６．測定用カメラを定義された複数の位置へ移動させ、それぞれの位置で、光学像表示部２６に表示された仮想パターンの画像を撮像する。
７．撮像された画像を用いて写像されている３Ｄ位置を再構築する。
８．２Ｄ-３Ｄの対応関係を用いて光学像表示部２６の内部パラメーター（写像パラメーター）を推定する。
９．平面パターンに対する２つのカメラ（カメラ６０および測定用カメラ）の姿勢を計算し、そしてカメラ６０と、光学像表示部２６との間の変換パラメーターを解く。
１０．４〜９のステップを、光学像表示部２８について繰り返す。

上記実施形態において、ソフトウエアによって実現された機能及び処理の一部又は全部は、ハードウエアによって実現されてもよい。また、ハードウエアによって実現された機能及び処理の一部又は全部は、ソフトウエアによって実現されてもよい。ハードウエアとしては、例えば、集積回路、ディスクリート回路、または、それらの回路を組み合わせた回路モジュールなど、各種回路を用いてもよい。

ＣＤ１，ＣＤ２…座標軸、ＣＬ１，ＣＬ２…対角線、ＣＰ…カメラパラメーター、ＣＳ…カーソル画像、ＩＭＧ…マーカー画像、ＲＥ…右眼、ＬＥ…左眼、ＭＫ１，ＭＫ１Ａ，ＭＫ２，ＭＫ３，ＭＫ４，ＭＫ５…実物マーカー、ＯＡ…外部機器、ＰＭＬ…左変換パラメーター、ＰＭＲ…右変換パラメーター、ＲＰ…右眼位置、ＳＩＭ…設定画像、ＶＲ…視野、ＩＣ１，ＩＣ２，ＩＣ３，ＩＣ４，ＩＣ５，ＩＣ６，ＩＣ７，ＩＣ８，ＩＣ９…アイコン、１０…制御部、２０…画像表示部、２１…右保持部、２２…右表示駆動部、２３…左保持部、２４…左表示駆動部、２６…右光学像表示部、２８…左光学像表示部、３２…右イヤホン、３４…左イヤホン、４０…接続部、４６…連結部材、５１，５２…送信部、５３，５４…受信部、６０…カメラ、９０…装着帯、９１…装着基部、９２…ベルト部、９３…連結部、１００，１０１…ＨＭＤ（頭部装着型表示装置）、１２１…ＲＯＭ、１２２…ＲＡＭ、１３０…電源、１３５…操作部、１３８…マーカー画像記憶部、１４０…ＣＰＵ、１５０…オペレーティングシステム、１６０…画像処理部、１６５…表示設定部、１６６…マーカー特定部、１６７…パラメーター設定部、１７０…音声処理部、１８０…インターフェース、１９０…表示制御部、２０１…右バックライト制御部、２０２…左バックライト制御部、２１１…右ＬＣＤ制御部、２１２…左ＬＣＤ制御部、２２１…右バックライト、２２２…左バックライト、２４１…右ＬＣＤ、２４２…左ＬＣＤ、２５１…右投写光学系、２５２…左投写光学系、２６１…右導光板、２６２…左導光板

Claims (8)

1. 外景からの光を透過可能であって、画像を表示可能な画像表示部と、前記外景を撮像可能な撮像部と、を備える頭部装着型表示装置に、
   前記画像表示部に表示させる画像を設定する画像設定機能と、
   前記撮像された外景の中から予め設定された特定オブジェクトを特定するオブジェクト特定機能と、
   パラメーター設定機能と、
   を実現させるためのプログラムであって、
   前記画像設定機能は、ユーザーによって前記特定オブジェクトに少なくとも部分的にほぼ一致させて視認されることが可能なマーカー画像を前記画像表示部に表示させ、
   前記パラメーター設定機能は、ユーザーからパラメーターの設定のためのキャリブレーションデータの収集が指示された後、前記ユーザーの頭部が実質的に静止状態にあると判定した場合、前記撮像部による撮像を利用して前記キャリブレーションデータを収集する
   プログラム。
2. 前記オブジェクト特定機能は、前記特定オブジェクトの暫定的な位置および姿勢を導出し、
   前記パラメーター設定機能は、前記導出された暫定的な位置および姿勢と、既定の位置および姿勢と、の差が閾値を下回る状態である暫定アライメント状態であると判定する場合に、前記収集指示を受け付ける
   請求項１に記載のプログラム。
3. 前記画像設定機能は、前記暫定アライメント状態と判定された場合、前記暫定アライメント状態であることを示す画像を、前記画像表示部に表示させる
   請求項２に記載のプログラム。
4. 前記パラメーター設定機能は、前記収集指示後に前記ユーザーの頭部が動いたと判定した後、前記静止状態にあるかの判定を少なくとも１回繰り返し、当該判定において前記静止状態にあると判定した場合、前記キャリブレーションデータの収集をする
   請求項２又は請求項３に記載のプログラム。
5. 前記パラメーター設定機能は、前記繰り返しの判定において前記静止状態にあるという判定結果を得なかった場合、その後に実行する所定時間の前記撮像を利用して、前記キャリブレーションデータの収集をする
   請求項４に記載のプログラム。
6. 前記パラメーター設定機能は、前記収集指示後に、一旦、前記暫定アライメント状態ではなくなり再び前記暫定アライメント状態になった場合に、前記静止状態にあると判定したとき、前記撮像部による撮像を利用して前記キャリブレーションデータを収集する
   請求項２から請求項５までの何れか一項に記載のプログラム。
7. 前記パラメーター設定機能は、前記収集指示後に前記暫定アライメント状態ではなくなった場合に、ユーザーからやり直しの指示があったとき、再び前記暫定アライメント状態になったと判定したら前記収集指示を受け付ける
   請求項２から請求項６までの何れか一項に記載のプログラム。
8. 外景からの光を透過可能であって、画像を表示可能な画像表示部と、
   前記外景を撮像可能な撮像部と、
   前記画像表示部に表示させる画像を設定する画像設定機能と、
   前記撮像された外景の中から予め設定された特定オブジェクトを特定するオブジェクト特定機能と、
   パラメーター設定機能と、
   を備える頭部装着型表示装置であって、
   前記画像設定機能は、ユーザーによって前記特定オブジェクトに少なくとも部分的にほぼ一致させて視認されることが可能なマーカー画像を前記画像表示部に表示させ、
   前記パラメーター設定機能は、ユーザーからパラメーターの設定のためのキャリブレーションデータの収集が指示された後、前記ユーザーの頭部が実質的に静止状態にあると判定した場合、前記撮像部による撮像を利用して前記キャリブレーションデータを収集する
   頭部装着型表示装置。

Images