JP2017010533A - マーカー、マーカーの位置および姿勢を検出する方法、および、コンピュータープログラム - Google Patents

Abstract

【課題】撮像画像の中から検出するマーカーの位置および姿勢の精度を向上させた技術を提供する。
【解決手段】撮像部に対する位置および姿勢が推定されるマーカーは；矩形を特定する矩形特定点と；２つの対角線の内の１つである第１対角線の線上に中心があり、矩形内に含まれる複数の円の集合である第１円群と；２つの対角線の内の第１対角線とは異なる第２対角線の線上に中心があり、矩形内に含まれる複数の円の集合である第２円群と；矩形の方向を特定する方向特定点と、を備える、マーカー。
【選択図】図１

Description

本発明は、マーカーの検出、より好適にはマーカーの位置および姿勢の検出の技術に関する。

従来のマーカーの検出方法では、例えば、特許文献１に記載されているように、予め既知の矩形状に形成されたマーカーを撮像して、撮像したマーカーの四辺などのエッジとしての要素を特定することで、マーカーを撮像した撮像部に対するマーカーの位置や姿勢を特定している。

米国特許出願公開第２０１３／０３３５５７５号明細書

従来のマーカーの検出方法では、同じ外形を有するマーカー以外の対象を撮像すると、誤検出をしてしまうおそれがあった。また、特定されたマーカーの位置や姿勢の精度をより向上させたいという課題があった。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。

（１）本発明の一形態によれば、マーカーは、矩形を特定する矩形特定点と；特定された前記矩形の２つの対角線の内の１つである第１対角線の線上に中心があり、前記矩形内に含まれる複数の円の集合である第１円群と；前記２つの対角線の内の前記第１対角線とは異なる第２対角線の線上に中心があり、前記矩形内に含まれる複数の円の集合である第２円群と；方向特定点と、を備える。この形態のマーカーによれば、マーカーが撮像された場合に、矩形特定点に加えて、第１円群および第２円分に含まれる複数の円と方向特定点とが用いられて、マーカーが認識されるため、マーカーが検出されやすい。これにより、例えば、マーカーが撮像されることで、撮像部が撮像する外景に表示画像を重畳させるためのキャリブレーションがより正確に行なわれる。

（２）上記形態のマーカーにおいて、さらに；２つの対角線の交点を中心とする中心円を備えてもよい。この形態のマーカーによれば、中心円を有することで、マーカーが撮像された場合に、中心円の中心を基準点として特定されることで、正確に基準点が特定されることで、より正確にマーカーが特定される。

（３）上記形態のマーカーにおいて、前記中心円は、前記第１円群に含まれる円であり、前記第２円群に含まれる円であってもよい。この形態のマーカーによれば、中心円が第１円群と第２円群との両方に含まれるため、一方に含まれる場合と比較して、マーカーが撮像された場合に、マーカーがより正確に特定される。

（４）上記形態のマーカーにおいて、前記方向特定点は、２つの対角線の交点と異なり、前記矩形内に含まれる方向特定円の中心点であってもよい。この形態のマーカーによれば、中心円の中心と異なる方向特定点がマーカーの方向を特定する点として用いられるため、撮像されたマーカーの方向が簡便に特定される。

（５）上記形態のマーカーにおいて、前記方向特定円は、２つの対角線の交点を中心とする中心円と、前記第１円群に含まれる円と、前記第２円群に含まれる円とは、異なる円であってもよい。この形態のマーカーによれば、中心円と異なる円の中心が方向特定円として用いられるため、撮像されたマーカーの方向がより正確に特定される。

（６）上記形態のマーカーにおいて、前記方向特定円は、１つの円であってもよい。この形態のマーカーによれば、１つの円によってマーカーの方向が特定されるため、簡便にマーカーの方向が特定される。

（７）上記形態のマーカーにおいて、前記第１円群と前記第２円群とは、前記矩形の前記中心を通ると共に前記矩形の一辺と平行な直線に対して線対称、および２つの対角線の交点に対して点対称の少なくとも一方の対称性で形成されていてもよい。この形態のマーカーによれば、マーカーに含まれる複数の円が対称的に形成されているため、撮像画像の中から簡便にマーカーが抽出される。

（８）上記形態のマーカーにおいて、前記矩形に含まれる円の大きさは、全て同じであってもよい。この形態のマーカーによれば、複数の円の大きさが同じであるため、撮像画像の中における円とそれ以外の形状とが明確に区別され、撮像画像の中から簡便にマーカーが抽出されやすい。

（９）上記形態のマーカーにおいて、前記矩形に含まれる円は、白色または黒色であり；前記矩形特定点は、前記矩形の外枠が交差する４つの頂点であり、前記矩形に含まれる円以外の部分は、前記円と異なる白色または黒色であってもよい。この形態のマーカーによれば、マーカー内における複数の円とそれ以外の部分とが明確に区別されるため、マーカーが特定されやすい。

（１０）上記形態のマーカーにおいて、前記第１円群は、２つの対角線の交点を中心とする複数の円の中心間の距離が同じで、同じ大きさの円によって形成され；前記第２円群は、２つの対角線の交点を中心とする複数の円の中心間の距離が前記第１円群に含まれる円の中心間の距離と同じで、前記第１円群に含まれる円と同じ大きさの円によって形成されてもよい。この形態のマーカーによれば、マーカー内における複数の円とそれ以外の部分とが１つのパターンによって区別されるため、撮像画像の中から簡便にマーカーが抽出されやすい。

（１１）本発明の他の形態によれば、撮像部に対するマーカーの位置および姿勢を検出する方法が提供される。この方法は、外景を撮像する工程と；撮像された外景の画像から前記マーカーを抽出するマーカー抽出工程と；抽出された前記マーカーの方向を特定する方向特定点を特定する方向特定工程と；抽出された前記マーカーの中から前記方向特定点以外で、前記マーカーを特定するための複数の特定点を特定する特定工程と；特定された前記マーカーの方向特定点と、特定された前記複数の特定点と、に基づいて、前記撮像部に対する位置および姿勢を算出する算出工程と、を備える。この形態の方法によれば、表示画像の基の画像データを表示させる画像表示部の画素のそれぞれを、算出された補正値に基づいて設定することで、撮像された外景に表示画像を重畳させて使用者に視認させることができる。

（１２）上記形態の方法において、前記マーカー抽出工程と前記方向特定工程と前記特定工程とでは；撮像された外景の画像に対して、予め設定された階調値としての第１閾値を基準として２値化が行なわれ、前記第１閾値による２値化によって前記複数の座標を抽出できない場合には、前記第１閾値に予め設定された階調補正値を加えた第２閾値を前記第１閾値として置換して２値化が行なわれ；前記第１閾値による２値化は、前記マーカー抽出工程における前記マーカーの抽出と前記方向特定工程における前記方向特定点の特定と前記特定工程における前記複数の特定点の特定を実行する、または、前記第１閾値に前記階調補正値を加えた値が所定の値を超えるまで行なわれてもよい。この形態の方法によれば、１つの撮像された外景の画像に対して、異なる階調値の閾値によって複数の２値化を行なうため、外景の画像の中にマーカーが含まれる場合に、より正確にマーカーを抽出しやすい。

（１３）上記形態の方法において、前記方向特定点および前記複数の特定点は、円の中心点を用いて特定されてもよい。この形態の方法によれば、撮像された外景の画像に含まれる特定点としての一点を特定するために、特定点を中心とする円の輪郭の複数の測定点を用いて特定するため、より正確に特定点を特定できる。

（１４）本発明の他の形態によれば、撮像部を備えた装置を制御するためのコンピューターに、マーカーを検出させるためのコンピュータープログラムが提供される。このコンピュータープログラムは、前記撮像部を介して外景を撮像する第１の撮像機能と、撮像された外景の画像から前記マーカーを抽出するマーカー抽出機能と、抽出された前記マーカーの方向を特定する方向特定点を特定する方向特定機能と、特定された前記マーカーの中から前記方向特定点以外で、前記マーカーを特定するための複数の特定点を特定する特定機能と、特定された前記マーカーの方向特定点と、特定された前記複数の特定点と、に基づいて、前記撮像部に対する前記マーカーの位置および姿勢を算出する算出機能と、をコンピューターに実現させてもよい。

（１５）前記装置は、慣性センサーを含み；前記形態のコンピュータープログラムは、前記撮像部を介して前記マーカーを撮像する第２の撮像機能と；前記第２の撮像機能によって得た前記撮像部の出力と、前記慣性センサーの出力と、に基づき、センサー融合アルゴリズムによって前記慣性センサーの位置と姿勢を推定する融合機能と；前記算出機能によって算出された前記マーカーの前記位置および姿勢と、前記融合機能によって導出された前記慣性センサーの前記位置および姿勢と、に少なくとも基づいて、前記マーカーの位置および姿勢を算出する第２の算出機能と、をコンピューターに実現させてもよい。この形態のコンピュータープログラムによれば、慣性センサーがある場合には、たとえマーカーの大きさが小さい場合、または撮像部からマーカーまでの距離が長くなる場合でも、マーカーの追跡が非常に安定し（ジッターが少ない）、さらに、レイテンシーも減少する。

（１６）本発明の他の形態によれば、マーカーは、矩形を特定する矩形特定要素と；特定された前記矩形の２つの対角線の内の１つである第１対角線の線上にあり、前記矩形内に含まれる複数の特定要素の集合である第１特定要素群と；前記２つの対角線の内の前記第１対角線とは異なる第２対角線の線上にあり、前記矩形内に含まれる複数の特定要素の集合である第２特定要素群と；方向特定要素と、を備える。この形態のマーカーによれば、マーカーが撮像された場合に、矩形特定要素に加えて、第１特定要素群および第２特定要素群に含まれる複数の特定要素と方向特定要素とが用いられて、マーカーが認識されるため、マーカーが検出されやすい。これにより、例えば、マーカーが撮像されることで、撮像部が撮像する外景に表示画像を重畳させるためのキャリブレーションがより正確に行なわれる。

上述した本発明の各形態の有する複数の構成要素はすべてが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな他の構成要素との差し替え、限定内容の一部削除を行なうことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。

例えば、本発明の一形態は、矩形特定点と、第１円群と、第２円群と、方向特定点と、の４つの要素の内の一部または全部を備えたマーカーとして実現可能である。すなわち、このマーカーは、矩形特定点を有していてもよく、有していなくてもよい。また、マーカーは、第１円群を有していてもよく、有していなくてもよい。また、マーカーは、第２円群を有していてもよく、有していなくてもよい。また、マーカーは、方向特定点を有していてもよく、有していなくてもよい。矩形特定点は、例えば、矩形を特定してもよい。例えば、第１円群は、特定された前記矩形の２つの対角線の内の１つである第１対角線の線上に中心があり、前記矩形内に含まれる複数の円の集合であってもよい。例えば、第２円群は、前記２つの対角線の内の前記第１対角線とは異なる第２対角線の線上に中心があり、前記矩形内に含まれる複数の円の集合であってもよい。例えば、方向特定点は、前記矩形の方向を特定してもよい。こうしたマーカーは、例えば、マーカー以外の物としても実現可能である。このような形態によれば、マーカーの簡易化、マーカーの一体化や、マーカーを使用する際の利便性の向上、等の種々の課題の少なくとも１つを解決することができる。前述したマーカーの各形態の技術的特徴の一部または全部は、いずれもこの装置に適用することが可能である。

本発明は、マーカー以外の種々の形態で実現することも可能である。例えば、マーカーを有する装置、マーカーの位置および姿勢を検出する方法、マーカーの位置および姿勢を検出できる検出装置、マーカーの位置および姿勢の検出をコンピューターに実現させるためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体、および、そのコンピュータープログラムを含み搬送波内に具現化されたデータ信号等の形態で実現できる。

第１実施形態におけるキャリブレーションを行なうために用いられるマーカーの説明図である。 キャリブレーションを行なう頭部装着型表示装置（ＨＭＤ）の外観構成を示す説明図である。 ＨＭＤの構成を機能的に示すブロック図である。 本実施形態における姿勢算出処理のフローチャートである。 本実施形態におけるマーカー領域検出処理のフローチャートである。 カメラによって撮像された撮像画像の一例を示す説明図である。 マーカーの対角線に沿った２値化後の階調値のプロファイルを示す説明図である。 抽出されたマーカーの対角線と対角線に沿った階調値との関係を示す説明図である。 画像座標をオブジェクト座標に変換する写像変換行列を説明するための説明図である。 抽出されたマーカーの方向の特定を説明するための説明図である。 第２実施形態のＨＭＤの構成を機能的に示すブロック図である。 マーカー追跡処理のフローチャートである。 各座標系の関係を表す概略図である。 ＩＭＵの有無によって補正されるマーカーの姿勢の違いを表す説明図である。

Ａ．第１実施形態：
Ａ−１．マーカーの構成：
図１は、第１実施形態におけるキャリブレーションを行なうために用いられるマーカーＭＫ１の説明図である。従来、使用者に画像を視認させるための装置として、使用者の頭部に画像表示部が装着されることで、画像表示部が表示する画像を使用者に視認させ、かつ、画像表示部が透過する外景も使用者に視認させる頭部装着型表示装置（（Head Mounted Display）、ＨＭＤ）が知られている。本実施形態のＨＭＤは、外景に存在する所定の実オブジェクトに対応する仮想オブジェクト（表示画像）を、位置と姿勢も含め重畳（アライン）させて使用者に視認させる機能を有することができる。この機能を達成するために、平均的な頭部サイズ（眼間距離を含む）に合わせて、ＨＭＤが備える撮像部および画像表示部がキャリブレーションされている（これをファクトリー・キャリブレーションとも呼ぶ）。実際の使用者が使用する際には、頭部サイズの個人差およびＨＭＤのかけ方の差異があることから、それらに合わせてファクトリー・キャリブレーションをカスタマイゼーションすることが好ましい（これをキャリブレーション・カスタマイゼーション、または単にキャリブレーションと呼ぶ）。理想的には、キャリブレーション・カスタマイゼーションは、実オブジェクトと撮像部との間の相対位置関係、撮像部のカメラパラメーター、撮像部と表示装置との間の相対位置関係、画像表示装置のプロジェクターパラメーター（レンダリングカメラパラメーター）がＨＭＤ内の画像処理装置において適切に設定されていれば、あとは、ＨＭＤを装着した実際の使用者が、表示装部に表示される仮想オブジェクト（または画像表示部の表示領域）を画像表示部上で垂直・水平方向に調整することで達成し得る。ただし、キャリブレーション・カスタマイゼーションの際に、実オブジェクトと撮像部との間の相対位置関係が不明である場合には、実オブジェクトと撮像部との間の相対位置関係を併せて求め、追跡することが好ましい。本実施形態では、「相対位置関係」は、３次元空間内での２つの物体（平面を含む）間の回転（３自由度）および並進（３自由度）の少なくとも一方によって表される。

図１に示すマーカーＭＫ１は、ＨＭＤのキャリブレーションを行なう際に、実オブジェクトとしてのマーカーＭＫ１と撮像部との間の相対位置関係を求めるために、用いられるマーカーである。なお、ＨＭＤの詳細な説明については、後述する。

図１には、４つの頂点である頂点Ｐ０，Ｐ１，Ｐ２，Ｐ３を直線で結んで、平面状に形成された矩形状のマーカーＭＫ１が示されている。本実施形態のマーカーＭＫ１は、正方形であるが、他の実施形態では、異なる矩形形状（例えば、長方形）であってもよい。マーカーＭＫ１は、黒色で塗りつぶされた正方形の中に、白色で形成された複数の正円を有するマーカーである。好適には、当該正方形は、非黒色の、例えば白の周辺領域で囲まれている。他の実施形態では、当該周辺領域およびマーカーＭＫ１に関して黒と白とは逆であってもよい。なお、図１では、黒色で塗りつぶされた部分を、斜線のハッチングで示している。本実施形態のマーカーＭＫ１では、正方形の中に含まれる複数の正円は、同じ大きさである。なお、本実施形態における４つの頂点は、請求項における矩形特定点に相当する。

マーカーＭＫ１に含まれる複数の円は、第１円群ＣＧ１と、第２円群ＣＧ２と、方向特定円Ｃ１０と、に分類される。第１円群ＣＧ１は、頂点Ｐ０と、頂点Ｐ０に隣接しない頂点Ｐ２とを結ぶ対角線ＣＬ１上に円の中心がある５つの円Ｃ１，Ｃ２，Ｃ３，Ｃ４，Ｃ５で構成される。第２円群ＣＧ２は、頂点Ｐ１と、頂点Ｐ１に隣接しない頂点Ｐ３とを結ぶ対角線ＣＬ２上に円の中心がある５つの円Ｃ６，Ｃ７，Ｃ３，Ｃ８，Ｃ９で構成される。なお、対角線ＣＬ１と対角線ＣＬ２との交点を円の中心Ｃ３Ｐとする円Ｃ３は、第１円群ＣＧ１と第２円群ＣＧ２との両方に含まれる。換言すると、円Ｃ３は、２つの対角線ＣＬ１，ＣＬ２の交点を中心とする円である。円Ｃ３は、請求項における中心円に相当する。方向特定円Ｃ１０は、対角線ＣＬ１と対角線ＣＬ２とのどちらにも中心Ｃ１０Ｐが重ならない円である。なお、以降では、円の名称を表す記号の後に「Ｐ」を付した記号を、当該円の中心として呼ぶ（例えば、円Ｃ０の中心Ｃ０Ｐ）。

第１円群ＣＧ１を構成する円では、隣接する円の中心間の距離が同じになるように形成されている。そのため、第１円群ＣＧ１における隣接する円の間に存在する黒色の部分の面積は、同じ大きさになる。また、同じように、第２円群ＣＧ２を構成する円では、隣接する円の中心間の距離が同じになるように形成されている。そのため、第１円群ＣＧ１と同じように、第２円群ＣＧ２における隣接する円の間に存在する黒色の部分の面積は、同じ大きさになる。また、本実施形態では、第１円群ＣＧ１における隣接する円の中心の距離と、第２円群ＣＧ２における隣接する円の中心の距離と、は同じ距離である。以上の関係により、第１円群ＣＧ１と第２円群ＣＧ２とは、円Ｃ３の中心Ｃ３Ｐを中心として、点対称に形成されている。また、第１円群ＣＧ１と第２円群ＣＧ２とは、円Ｃ３の中心Ｃ３Ｐを通ると共に、四辺のいずれかと平行な直線に対して、線対称に形成されている。

方向特定円Ｃ１０は、対角線ＣＬ１と対角線ＣＬ２とのそれぞれによって、マーカーＭＫ１としての正方形が４つの直角二等辺三角形に区分された内の１つの直角二等辺三角形の中に形成されている。さらに詳細に言うと、方向特定円Ｃ１０は、頂点Ｐ２と、頂点Ｐ３と、対角線ＣＬ１と対角線ＣＬ２との交点である中心Ｃ３Ｐと、によって形成される直角二等辺三角形の中に含まれる。方向特定円Ｃ１０の中心Ｃ１０Ｐは、第１円群ＣＧ１の含まれると共に頂点Ｐ２に最も近い円Ｃ５の中心Ｃ５Ｐと、第２円群ＣＧ２に含まれると共に頂点Ｐ３に最も近い円Ｃ９の中心Ｃ９Ｐと、を結んだ直線の中点である。そのため、第１円群ＣＧ１と第２円群ＣＧ２とは、円Ｃ３の中心Ｃ３Ｐと、方向特定円Ｃ１０の中心Ｃ１０Ｐと、を通る直線に対して線対称に形成されている。また、第１円群ＣＧ１と第２円群ＣＧ２とに方向特定円Ｃ１０が加わると、全体とし中心Ｃ３Ｐに関する点対称が破れるように、方向特定円Ｃ１０が位置している。なお、本実施形態における方向特定円Ｃ１０の中心Ｃ１０Ｐは、請求項における方向特定点に相当する。円の中心などで定まる特定点は、請求項における特定要素に相当する。

Ａ−２．頭部装着型表示装置（ＨＭＤ）の構成：
図２は、キャリブレーションを行なう頭部装着型表示装置１００（ＨＭＤ１００）の外観構成を示す説明図である。ＨＭＤ１００は、画像表示部２０が表示する表示画像を使用者に視認させ、画像表示部２０を透過する外景も使用者に視認させることができる。ＨＭＤ１００は、画像を表示する画像表示部２０と、画像表示部２０を制御する制御部１０（コントローラー１０）と、を備えている。

画像表示部２０は、使用者の頭部に装着される装着体であり、眼鏡形状を有している。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、カメラ６１と、を含んでいる。右光学像表示部２６および左光学像表示部２８は、それぞれ、使用者が画像表示部２０を装着した際に使用者の右および左の眼前に位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置で、互いに接続されている。

右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右表示駆動部２２と左表示駆動部２４とは、使用者が画像表示部２０を装着した際の使用者の頭部に対向する側に配置されている。

表示駆動部２２，２４は、図３で後述する液晶ディスプレイ２４１，２４２（Liquid Crystal Display、以下「ＬＣＤ２４１，２４２」とも呼ぶ）や投写光学系２５１，２５２等を含む。表示駆動部２２，２４の構成の詳細な説明は後述する。光学像表示部２６，２８は、後述する導光板２６１，２６２（図３参照）と調光板とを含んでいる。導光板２６１，２６２は、光透過性の樹脂材料等によって形成され、表示駆動部２２，２４から出力された画像光を使用者の眼に導く。調光板は、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部２０の表側を覆うように配置されている。調光板の光透過率を調整することによって、使用者の眼に入る外光量を調整して虚像の視認のしやすさを調整できる。

カメラ６１は、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置に配置されている。そのため、カメラ６１は、使用者が画像表示部２０を頭部に装着した状態において、使用者の視線方向の外部の景色である外景を撮像し、撮像された画像である撮像画像を取得する。

画像表示部２０は、さらに、画像表示部２０を制御部１０に接続するための接続部４０を有している。接続部４０は、制御部１０に接続される本体コード４８と、右コード４２と、左コード４４と、連結部材４６と、を含んでいる。右コード４２と左コード４４とは、本体コード４８が２本に分岐したコードである。右コード４２は、右保持部２１の延伸方向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続されている。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の筐体内に挿入され、左表示駆動部２４に接続されている。連結部材４６は、本体コード４８と、右コード４２および左コード４４と、の分岐点に設けられ、イヤホンプラグ３０を接続するためのジャックを有している。イヤホンプラグ３０からは、右イヤホン３２および左イヤホン３４が延伸している。画像表示部２０と制御部１０とは、接続部４０を介して各種信号の伝送を行なう。右コード４２と、左コード４４と、本体コード４８とには、例えば、金属ケーブルや光ファイバーを採用できる。

制御部１０は、ＨＭＤ１００を制御するための装置である。制御部１０は、静電式のトラックパッドや押下可能な複数のボタンなどを含む操作部１３５を有する。

図３は、ＨＭＤ１００の構成を機能的に示すブロック図である。図３に示すように、制御部１０は、ＲＯＭ１２１と、ＲＡＭ１２２と、電源１３０と、操作部１３５と、マーカー記憶部１３９と、ＣＰＵ１４０と、インターフェイス１８０と、送信部５１（Ｔｘ５１）および送信部５２（Ｔｘ５２）と、を有している。

電源１３０は、ＨＭＤ１００の各部に電力を供給する。ＲＯＭ１２１には、種々のコンピュータープログラムが格納されている。後述するＣＰＵ１４０は、ＲＯＭ１２１に格納された各種コンピュータープログラムを、ＲＡＭ１２２に展開することで、各種コンピュータープログラムを実行する。

マーカー記憶部１３９は、ＨＭＤ１００がマーカーとして認識する図１に示すマーカーＭＫ１などのマーカーの情報を記憶している。マーカー記憶部１３９は、マーカーの情報として、マーカーを特定するための特定点を、モデル座標系の座標値として記憶している。以下では、モデル座標系におけるマーカーＭＫ１を、マーカーＭＫ３と呼ぶ。例えば、対角線ＣＬ１と対角線ＣＬ２の交点である中心Ｃ３Ｐをモデル座標系の原点とすることができる。このとき、マーカーＭＫ１は平面なので、特定点のＺ座標はいずれもゼロとしてよい。そして、例えば、マーカー記憶部１３９は、マーカーＭＫ１の矩形を特定するための４つの頂点の座標Ｐ０，Ｐ１，Ｐ２，Ｐ３の座標値をモデル座標系の座標として記憶している。さらに、マーカー記憶部１３９は、マーカーＭＫ１が有する複数の円の中心の座標値を、原点としての中心Ｃ３Ｐを基準として記憶している。また、マーカー記憶部１３９は、特定された４つの頂点から抽出された２つの対角線ＣＬ１および対角線ＣＬ２における黒色と白色の領域の並び方を記憶している。黒色と白色の領域の並び方の詳細については、後述する。

ＣＰＵ１４０は、ＲＯＭ１２１に格納されているコンピュータープログラムを、ＲＡＭ１２２に展開することにより、オペレーティングシステム１５０（ＯＳ１５０）、表示制御部１９０、音声処理部１７０、画像処理部１６０、マーカー識別部１６５、座標特定部１６６および演算部１６７として機能する。

表示制御部１９０は、右表示駆動部２２および左表示駆動部２４を制御する制御信号を生成する。表示制御部１９０は、右表示駆動部２２および左表示駆動部２４のそれぞれによる画像光の生成および射出を制御する。表示制御部１９０は、右ＬＣＤ制御部２１１と左ＬＣＤ制御部２１２とに対する制御信号のそれぞれを、送信部５１および５２を介して送信する。また、表示制御部１９０は、右バックライト制御部２０１と左バックライト制御部２０２とに対する制御信号のそれぞれを送信する。

画像処理部１６０は、コンテンツに含まれる画像信号を取得し、送信部５１，５２を介して、取得した画像信号を画像表示部２０の受信部５３，５４へと送信する。音声処理部１７０は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材４６に接続された右イヤホン３２内のスピーカー（図示しない）および左イヤホン３４内のスピーカー（図示しない）に対して供給する。

マーカー識別部１６５は、カメラ６１によって得られた撮像画像に対して、所定の階調値を閾値として２値化を行なう。マーカー識別部１６５は、２値化した画像の中から、マーカー記憶部１３９に記憶されたマーカーＭＫ１の抽出を判定する。２値化の判定の詳細については後述するが、本実施形態では、マーカー識別部１６５は、撮像画像に対して、初めに、予め設定された初期閾値で２値化を行なう。マーカー識別部１６５は、初期閾値を用いた２値化でマーカーＭＫ１を抽出できない場合には、予め設定された階調値である加算閾値を初期閾値に加えた新たな閾値として、撮像画像に対して、２値化を行ない、マーカーＭＫ１の抽出を判定する。このように、マーカー識別部１６５は、いくつかの階調値を閾値として２値化することで、撮像画像の中からマーカーＭＫ１の抽出を判定する。

座標特定部１６６は、マーカー識別部１６５によって撮像画像の中から抽出されたマーカーＭＫ１の特定点を特定する。例えば、正方形のマーカーＭＫ１の外形は、撮像される角度によって異なり、台形の形状として抽出される場合もある。座標特定部１６６は、抽出されたマーカーＭＫ１の画像における頂点Ｐ０，Ｐ１，Ｐ２，Ｐ３や複数の円の中心（例えば、図１の中心Ｃ３Ｐなど）の座標値を特定する。

演算部１６７は、座標特定部１６６によって特定されたマーカーＭＫ１の画像における特定点と、記憶されているモデル座標系におけるモデルマーカーＭＫ３の特定点と、の対応関係に基づいて、マーカーＭＫ１とカメラ６１との間の相対位置関係を求める。さらに、上記相対位置関係を用いて、使用者がマーカーＭＫ１を利用してキャリブレーションを実行することができる。本実施形態では、キャリブレーションで得られた補正値は、画像表示部における表示領域または仮想オブジェクトの表示画像の水平・垂直方向の調整を表す値であり得る。他の実施形態においては、補正値は、カメラ６１と画像表示部との間の相対位置関係を補正する値であり得る。

インターフェイス１８０は、制御部１０に対して、コンテンツの供給元となる種々の外部機器ＯＡを接続するためのインターフェイスである。外部機器ＯＡとしては、例えば、ＡＲシナリオを記憶している記憶装置、パーソナルコンピューター（ＰＣ）や携帯電話端末、ゲーム端末等、がある。インターフェイス１８０としては、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等、を用いることができる。

図３に示すように、画像表示部２０は、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、カメラ６１と、を備えている。

右表示駆動部２２は、受信部５３（Ｒｘ５３）と、光源として機能する右バックライト制御部２０１（右ＢＬ制御部２０１）および右バックライト２２１（右ＢＬ２２１）と、表示素子として機能する右ＬＣＤ制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１と、を含んでいる。右バックライト制御部２０１と右バックライト２２１とは、光源として機能する。右ＬＣＤ制御部２１１と右ＬＣＤ２４１とは、表示素子として機能する。

受信部５３は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右バックライト２２１は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、画像処理部１６０および表示制御部１９０から送信された制御信号に基づいて、右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。

右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を平行状態の光束にするコリメートレンズによって構成される。右光学像表示部２６としての右導光板２６１は、右投写光学系２５１から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼ＲＥに導く。なお、左表示駆動部２４は、右表示駆動部２２と同様の構成を有し、使用者の左眼ＬＥに対応するため、説明を省略する。

Ａ−３．姿勢算出処理：
図４は、本実施形態における姿勢算出処理のフローチャートである。補正行列算出処理は、ＣＰＵ１４０がカメラ６１によって得られた撮像画像に含まれるマーカーＭＫ１を用いて、マーカーＭＫ１とカメラ６１との間の相対的位置関係を算出する処理である。姿勢算出処理では、初めに、マーカー識別部１６５がカメラ６１によって得られた撮像画像の中からマーカーＭＫ１の外形を検出するマーカー領域検出処理を実行する（ステップＳ１０）。

図５は、本実施形態におけるマーカー領域検出処理のフローチャートである。図５に示すように、マーカー領域検出処理では、初めに、マーカー識別部１６５は、カメラ６１を用いて、外景を撮像する（ステップＳ１０１）。本実施形態では、撮像画像は、ＲＧＢ（Ｒｅｄ，Ｇｒｅｅｎ，Ｂｌｕｅ）の０から２５５までの２５６段階の階調値のデータとして取得される。本実施形態では、階調値が小さいほど、濃い色に設定されている。

図６は、カメラ６１によって撮像された撮像画像ＩＭＧ１の一例を示す説明図である。図６に示す撮像画像ＩＭＧ１には、デスクトップ型のパーソナルコンピューター（ＰＣ）のディスプレイＤＰと、マーカーＭＫ１と、マーカーＭＫ１とは異なるマーカーＭＫ２と、が含まれている。なお、図６では、ＲＧＢのすべての階調値が１００未満の画素を斜線部分のハッチングで表し、ＲＧＢのすべての階調値が１００以上１５６以下の画素を横線部分のハッチングで表し、それ以外の画素をハッチングしないで表している。

外景が撮像されると（図５のステップＳ１０１）、マーカー識別部１６５は、カメラ６１によって得られた撮像画像ＩＭＧ１に対して、初期閾値で２値化を行なう（ステップＳ１０３）。また、本実施形態では、予め、１００の階調値が初期閾値として設定され、後述する加算閾値としては、２８の階調値が設定されている。そのため、マーカー識別部１６５は、ＲＧＢのいずれかの画素の階調値が初期閾値以上の場合、２値化後の画素の階調値を１と設定し、ＲＧＢのすべての画素の階調値が初期閾値未満の場合、２値化後の画素の階調値を０と設定する。

マーカー識別部１６５は、撮像画像ＩＭＧ１に対して、１００の階調値である初期閾値で２値化を行なうと、ディスプレイＤＰの外枠である領域ＡＲ１と、マーカーＭＫ１を含む領域ＡＲ２と、マーカーＭＫ２を含む領域ＡＲ３と、を黒色領域として検出する（ステップＳ１０５）。マーカー識別部１６５は、検出した黒色領域に対して、マーカー記憶部１３９に記憶された所定の範囲のアスペクト比であり、かつ、所定の大きさの範囲である矩形形状の黒色領域を、マーカー領域の候補として抽出する（ステップＳ１０７）。撮像画像ＩＭＧ１に含まれるマーカーＭＫ１は、必ずしも正方形の矩形形状として検出されるわけではなく、カメラ６１の向きやカメラ６１までの距離に応じて、小さく撮像されたり、台形や長方形の形状として撮像される。そのため、マーカー記憶部１３９には、ある一定の大きさで、かつ、一定の位置関係にあるマーカーＭＫ１のみを検出するために、撮像画像の中から検出したいマーカーＭＫ１のアスペクト比や大きさが予め記憶されている。マーカー識別部１６５は、抽出された黒色の領域の内、所定の大きさであり、かつ、所定のアスペクト比である領域ＡＲ２および領域ＡＲ３を、それぞれ４つの頂点を結んだ四辺によってマーカー領域の候補として抽出する。

次に、マーカー識別部１６５は、マーカー領域の候補として、１つ以上の領域を抽出したか否かを判定する（ステップＳ１０９）。マーカー識別部１６５は、領域ＡＲ２をマーカー領域の候補として検出しているため（ステップＳ１０９：ＹＥＳ）、マーカー領域の候補の矩形形状から２つの対角線を抽出する（ステップＳ１１１）。マーカー識別部１６５は、領域ＡＲ２における隣接しない２頂点を直線で結ぶことで、２つの対角線を抽出する。

マーカー識別部１６５は、抽出した対角線に沿った走査（スキャン）を実施し、２値化した白と黒との階調値のプロファイル判定を実行する（ステップＳ１１３）。マーカー識別部１６５は、マーカー記憶部１３９に記憶されたマーカーＭＫ１の対角線上に沿った黒色と白色との並びと比較することで、マーカー領域の候補がマーカーＭＫ１であるか否かを判定する（ステップＳ１１５）。

図７は、マーカーＭＫ１の対角線ＣＬ１に沿った２値化後の階調値のプロファイルを示す説明図である。図１に示すマーカーＭＫ１を２値化した場合、対角線ＣＬ１の右下から左上へと沿った階調値のプロファイルは、図７に示すような折れ線を示す。０の階調値が黒色を表し、１の階調値が白色を表すため、白色の円Ｃ１，Ｃ２，Ｃ３，Ｃ４，Ｃ５の領域における対角線ＣＬ１に沿った階調値は、１になる。マーカー記憶部１３９には、図７に示す２つの対角線ＣＬ１，ＣＬ２に沿った階調値を特定するためのデータが格納されている。

図５のステップＳ１１３の処理において、マーカー識別部１６５は、図６の領域ＡＲ２の２つの対角線に沿った階調値のプロファイルがマーカー記憶部１３９に格納された対角線ＣＬ１，ＣＬ２に沿った階調値のプロファイルと同じであるか否かを判定する。マーカー識別部１６５は、領域ＡＲ２の対角線に沿った階調値がマーカー記憶部１３９に格納された対角線ＣＬ１，ＣＬ２に沿った階調値と明らかに異なるため（ステップＳ１１５：ＮＯ）、初期閾値である１００の階調値に加算閾値である２８の階調値を加えた１２８を新たな閾値として設定する（ステップＳ１１７）。なお、本実施形態では、マーカー識別部１６５は、マーカー領域候補の対角線に沿った階調値のプロファイルと、マーカー記憶部１３９に格納されている対角線ＣＬ１，ＣＬ２に沿った階調値のプロファイルとの異同を、所定の誤差を加味して判定する。

マーカー識別部１６５は、新たに設定した閾値が初期閾値を超えたか否かを判定する（ステップＳ１１９）。いくつかの場合、例えば、照明が変化する場合に、取得された画像から初期の閾値を用いてマーカーＭＫ１を抽出できないことがある。そこで、本実施形態では、マーカー識別部１６５は、撮像画像ＩＭＧ１の中からマーカーＭＫ１を抽出できない場合に、閾値に順々に加算閾値を加えていく。そのため、新たな閾値は、階調値の１００を始めとして、１２８，１５６，１８４，２１２，２４０の順に増加する。階調値の上限が２５５であるため、マーカー識別部１６５は、階調値が２４０を超えると、２５５から０へと戻って、２４を次の階調値として、１２，４０，７８の順に新たな階調値を閾値として設定する。そして、７８の階調値に２８の階調値である加算閾値を加えると、初期閾値を超えるため、本実施形態では、マーカー識別部１６５は、７８の階調値の閾値を最後に判定するための閾値として設定し、これ以降、ステップＳ１１７の処理を実行しない。そのため、ステップＳ１１９の処理において、マーカー識別部１６５は、新たな閾値が初期閾値を超えたと判定した場合には（ステップＳ１１９：ＹＥＳ）、マーカーＭＫ１が撮像画像ＩＭＧ１から抽出できなかったとして、マーカー領域検出処理を終了する。なお、本実施形態における初期閾値は、請求項における第１閾値および所定の値に相当する。本実施形態における初期閾値として設定される階調値は、請求項における所定の階調値に相当する。また、本実施形態における加算閾値として設定される階調値は、請求項における階調補正値に相当する。

ステップＳ１１９の処理において、マーカー識別部１６５は、新たな閾値が初期階調値をまだ超えていないと判定した場合には（ステップＳ１１９：ＮＯ）、新たな閾値として設定された１２８の階調値を用いて撮像画像ＩＭＧ１の２値化を実行する（ステップＳ１２１）。その後、マーカー識別部１６５は、ステップＳ１０５からステップＳ１１５までを繰り返す。つまり、マーカー識別部１６５は、２値化した撮像画像に対して、黒色の領域を抽出する（ステップＳ１０５）。マーカー識別部１６５は、マーカーＭＫ１の外形と同じと判定するマーカー領域の候補の有無を判定する（ステップＳ１０７）。本実施形態では、この場合に、マーカー識別部１６５は、領域ＡＲ１と領域ＡＲ２とではなく、マーカーＭＫ１とマーカーＭＫ２とを黒色領域として抽出するとする（ステップＳ１０５）。

具体的には、マーカー識別部１６５は、抽出したマーカーＭＫ１の矩形形状とマーカーＭＫ２の矩形形状とに対して、マーカー記憶部１３９に記憶されたアスペクト比および大きさを比較することで、マーカーＭＫ１およびマーカーＭＫ２をマーカー領域の候補として抽出する（ステップＳ１０７）。マーカーＭＫ１およびマーカーＭＫ２は、マーカー領域の候補であるため（ステップＳ１０９：ＹＥＳ）、マーカー識別部１６５は、マーカーＭＫ１とマーカーＭＫ２とのそれぞれの対角線を抽出する（ステップＳ１１１）。マーカー識別部１６５は、抽出したマーカーＭＫ１の対角線に沿った階調値のプロファイルとマーカー記憶部１３９に記憶された階調値のプロファイルとを同じと判定する（ステップＳ１１３）。すなわち、マーカー識別部１６５は、撮像画像ＩＭＧ１の中からマーカー領域の候補として抽出したマーカーＭＫ１の画像を、マーカーＭＫ１であると判定する。

なお、ステップＳ１０９の処理において、マーカー識別部１６５は、マーカー領域の候補を撮像画像ＩＭＧ１の中から抽出できない場合には（ステップＳ１０９：ＮＯ）、ステップＳ１１７以降の処理を実行する。

図８は、抽出されたマーカーＭＫ２の対角線と対角線に沿った階調値との関係を示す説明図である。図８（Ａ）には、撮像されたマーカーＭＫ２の拡大図が示されている。図８（Ａ）に示すように、マーカーＭＫ２は、４つの頂点Ｐ４，Ｐ５，Ｐ６，Ｐ７を直線で結んだ矩形形状を有している。また、マーカーＭＫ２の内部には、複数の矩形形状の組み合わせによって黒色と白色とに分けられた領域が存在する。

図８（Ｂ）には、図８（Ａ）に示すマーカーＭＫ２の頂点Ｐ５と頂点Ｐ７とを結んだ対角線ＣＬ３に沿った階調値の並びを表す折れ線が示されている。図８（Ａ）と図８（Ｂ）とには、互いに対応する２値化後の階調値がゼロの白色部分ＷＨ１および白色部分ＷＨ２が示されている。図８（Ｂ）に示すように、マーカーＭＫ２の対角線に沿った階調値の並びは、マーカー記憶部１３９に格納された２つの階調値の並び（プロファイル）のいずれとも異なる。そのため、マーカー識別部１６５は、マーカーＭＫ２の対角線を抽出した後（ステップＳ１１１）、マーカー領域の候補として抽出したマーカーＭＫ２がマーカーＭＫ１とは異なると判定する（ステップＳ１１３）。

ステップＳ１１５の処理において、マーカー識別部１６５は、マーカー記憶部１３９に記憶されたマーカーＭＫ１（以下、モデルマーカーＭＫ３）と同じマーカーＭＫ１を撮像画像ＩＭＧ１の中から抽出し（ステップＳ１１５：ＹＥＳ）、マーカー領域検出処理を終了する。

図４のステップＳ１０のマーカー領域検出処理が終了すると、マーカー識別部１６５は、マーカー領域検出処理において、撮像画像ＩＭＧ１の中から、マーカー領域の検出の有無を判定する（ステップＳ１１）。マーカー識別部１６５は、マーカー領域が検出できなかった場合には（ステップＳ１１：ＮＯ）、姿勢算出処理を終了する。

マーカー領域が検出された場合には（ステップＳ１１：ＹＥＳ）、座標特定部１６６は、２値化された撮像画像ＩＭＧ１の画素の階調値を用いて、マーカーＭＫ１に含まれる複数の円の中心の座標値を特定する（ステップＳ１３）。座標特定部１６６は、マーカーＭＫ１の外形を特定するための４つの頂点の座標に加えて、２値化した撮像画像ＩＭＧ１の画素の階調値を用いて、正方形のマーカーＭＫ１の中に含まれる複数の円の中心座標を特定する（ステップＳ１３）。次に、演算部１６７は、撮像画像ＩＭＧ１から抽出されたマーカーＭＫ１の４つの頂点と、モデルマーカーＭＫ３（図１）の４つの頂点Ｐ０，Ｐ１，Ｐ２，Ｐ３とのそれぞれを用いて、外景におけるＸＹ平面上のオブジェクト座標（ｘ、ｙ）と、撮像画像ＩＭＧ１における画像座標（ｐ、ｑ）との関係を算出する（ステップＳ１５）。

図９は、オブジェクト座標を画像座標に変換する写像変換行列Ｈ１を説明するための説明図である。図９に示すように、撮像画像ＩＭＧ１に含まれるオブジェクト座標（ｐ、ｑ）と、カメラ６１の焦点距離ｆと、画像座標（ｘ、ｙ）とは、回転移動と並行移動とを含む行列を用いて、下記の式（１）の関係として表される。なお、式（１）に含まれるｒ１１ないしｒ３３は、回転移動を表す行列であり、ｔｘ、ｔｙ、ｔｚは、並行移動を表す行列である。

式（１）の右辺の４行１列の行列の内の３列目の値がゼロであるため、式（１）を下記の式（２）のように導出できる。

式（２）の右辺の３行４列の行列の内の４列目の値のすべてがゼロであるため、式（２）を下記の式（３）のように導出でき、式（３）を解くと式（４）になる。

ここで、算出したい写像変換行列Ｈ１の各要素をｈ１１〜ｈ３３と仮定すると、式（５）が得られる。

撮像画像ＩＭＧ１から抽出された４つの頂点の座標値、および４つの座標値Ｐ０ｍ（ｐ０、ｑ０）、Ｐ１ｍ（ｐ１、ｑ１）、Ｐ２ｍ（ｐ２、ｑ２）、Ｐ３ｍ（ｐ３、ｑ３）を用いて、下記の式（６）が導出される。なお、ｈ３３は１としてよい。

式（６）を、行列を表すアルファベットに置換して、式（７）を導出し、式（７）を解くことで式（８）が得られる。

以上のように、図４のステップＳ１５において、演算部１６７は、式（１）から式（８）を解くことで、４つの頂点に基づく写像変換行列Ｈ１（平面写像変換行列Ｈ１）を算出する。

写像変換行列Ｈ１（平面写像変換行列Ｈ１）を用いて、モデルマーカーＭＫ３の１０の円と、画像から抽出された１０の円との対応関係を、見つける。

本実施形態では、まず、写像変換行列Ｈ１により、モデル座標系上のモデルマーカーＭＫ３の円の座標（modelPt_x[i], modelPt_y[i]）を、画像座標系の座標（xpi, ypi）に変換する。

そして、撮像画像から抽出（検出）された１０個の円の座標との距離を比べる。つまり、抽出されたi番目の円の場合に、Mink［Pdi, Ppk］を求める。ここで、Pdiは抽出（検出）されたi番目の円の座標であり、PpkはモデルマーカーＭＫ３の座標である。iとkはそれぞれ１〜１０の整数である。[ ]はノルムを意味し、Minは１〜１０までのkについて最小値を求めることを意味する。最も短い距離の円が対応関係にある。これにより、抽出（検出）された１０個の円が、モデルマーカーＭＫ３の１０個の円のいずれに対応するかが分かる。さらに、対応付けの誤りを防止するために、演算部１６７は、モデルマーカーＭＫ３の方向特定円Ｃ１０の中心Ｃ１０Ｐの座標値を用いて、撮像画像ＩＭＧ１から抽出されたマーカーＭＫ１の方向を特定する。

図１０は、抽出されたマーカーＭＫ１の方向の特定を説明するための説明図である。図１０には、モデルマーカーＭＫ３と、画像から抽出されたマーカーＭＫ１における方向特定円の中心ＰＰと、が示されている。演算部１６７は、モデル座標系上でモデルマーカーＭＫ３を０°、９０°、１８０°、２７０°だけ回転した場合のＣ１０Ｐの４つの座標を導出する。そして、演算部１６７は、写像変換行列Ｈ１を作用させて、Ｃ１０Ｐの当該４つの座標を画像座標系の座標に変換し、変換後の４つの座標と、方向特定円Ｃ１０に対応すると判定された円の座標との距離をそれぞれ導出する。最も短い距離をもたらした円のペアが、方向特定円Ｃ１０Ｐの正しい対応関係であり、方向特定円Ｃ１０Ｐの正しい対向関係に基づいて、撮像画像上のマーカーＭＫ１の方向を特定することができる。そして、必要があれば方向特定円Ｃ１０の位置に基づいて方向特定円Ｃ１０以外の円の対応関係を修正することができるから、モデルマーカーＭＫ３に属する円と撮像画像上のマーカーＭＫ１に属する円の対応関係がより確かになる。これによりまた、マーカーＭＫ１上に固定された仮想的な座標軸の向きも正確に判別できる。

演算部１６７は、マーカーの方向を特定すると、マーカーＭＫ１の中心Ｃ３Ｐの座標値を原点とする９つの円（方向特定円Ｃ１０を含まない）の中心座標を用いて、写像変換行列Ｈ１よりも精度の高い写像変換行列Ｈ２を算出する（ステップＳ１９）。演算部１６７は、４つよりも多い９つの座標値を用いて式（６）から式（８）までを解くことで、誤差がより少ない写像変換行列Ｈ２を算出する。また、先の４つの点はいずれも角の点であったが、円の中心を検出する場合の再現性は、隅または角の点の場合よりも２倍よい。このことからも、検出された円の中心の精度が高く、誤差がより少ない写像変換行列が算出される。もちろん、方向特定点を含む１０個の特定点の座標値を用いて写像変換行列Ｈ２を算出してもよい。

演算部１６７は、写像変換行列Ｈ２を算出すると、撮像されたマーカーＭＫ１の位置および向きの概念を含むマーカー姿勢を特定するための回転行列を算出する（ステップＳ２１）。演算部１６７は、算出した写像変換行列Ｈ２から３つの新しい列ベクトルｈ１，ｈ２，ｈ３を定義して、回転行列Ｒを下記の式（９）のように定義する。

上記の式（５）において、列ベクトルｈ１（ｈ１１、ｈ２１、ｈ３１），ｈ２（ｈ１２、ｈ２２、ｈ３２）が平面回転ベクトルであり、列ベクトルｈ３（ｈ３１、ｈ３２、ｈ３３）が平面並進ベクトルであるから、回転行列Ｒは写像変換行列Ｈ２を用いて算出される。列ベクトルｒ１は、列ベクトルｈ１を用いて算出され、下記の式（１０）の関係が成り立つ。

ここで、カメラ６１の平面上における主点位置座標を（Ｃｘ、Ｃｙ）とすると、式（１０）の行列Ｋは、下記の式（１１）のように表すことができる。

ここで、列ベクトルｒ１を規格化して、ノルムλを算出すると、列ベクトルｒ２は、下記の式（１２）として算出できる。

列ベクトルｒ３は、列ベクトルｒ１と列ベクトルｒ２との外積として算出できる。演算部１６７は、得られた回転行列Ｒに対して、特異値分解（singular value decomposition）を行ない、回転行列Ｒが直交行列であることを確実にする。

演算部１６７は、回転行列Ｒを算出すると、回転行列Ｒを算出する際に用いた列ベクトルｈ３を用いて、以下の式により並進行列Ｔを算出する（ステップＳ２３）。

演算部１６７は、算出した回転行列Ｒと並進行列Ｔとを用いて、オブジェクト座標を、画像を表示する光学像表示部２６，２８の画素のそれぞれに対応させる補正行列を算出する（ステップＳ２５）。その後、ＣＰＵ１４０は、姿勢算出処理を終了する。

本明細書では、姿勢算出処理によって得られた回転行列Ｒと並進行列とは、撮像部に対するマーカーＭＫ１の「第１の姿勢」とも表記される。

上記方法により求められた第１の姿勢の精度は、さらに「モデルアライメント」処理により向上し得る。本実施形態では、具体的には、撮像部のカメラパラメーターと、第１の姿勢を表す回転行列Ｒおよび並進行列Ｔとにより、モデルマーカーＭＫ３に属する複数（例えば９個）の座標を画像座標系の座標に変換する。そして、当該変換された当該複数の座標と、撮像画像上のマーカーＭＫ１の対応座標のそれぞれと、の間の差の二乗和を含むコスト関数を導出する。そして、当該コスト関数がグローバルミニマムになるように、ガウス・ニュートン法などで、回転行列Ｒおよび並進行列Ｔに含まれるパラメーターを、変化させて最適化する。このとき、計算のし易さから、回転行列Ｒに含まれるパラメーターは４元数で表現されてもよい。当該コスト関数がグローバルミニマムに達した場合の回転行列Ｒおよび並進行列Ｔが、より精度の高いマーカーＭＫ１の姿勢であり得る。この場合の回転行列Ｒおよび並進行列Ｔは、撮像部に対するマーカーＭＫ１の「第２の姿勢」とも表記される。

（変形例Ａ）
マーカーＭＫ１のトラッキング結果、つまり上記実施形態１における第２の姿勢のトラッキング結果は、光学シースルーキャリブレーションまたはＡＲアプリケーションにおいて用いられる。ユーザビリティを向上させるため、逐次得られる第２の姿勢は、非常に安定していることが好ましい。本変形例では、指数関数またはガウス関数による平滑化をマーカーＭＫ１の第２の姿勢に適用し、姿勢を安定化し、「姿勢ジッター」を低減する。
１ ジッターの主な原因
特定点（円の中心）の抽出エラーは、一つのジッター源である。マーカーがそれほど小さくないとき、マーカーＭＫ１の円の中心の精度はサブ画素のレベルにあり、特定点の抽出エラーは無視できる。マーカーが小さいとき、円の中心の検出精度は保証されないことがあり、特定点の抽出エラーが、一つの主要なジッター源になり得る。したがって、特定点の検出により生じたジッターを低減するには、マーカーサイズはある程度大きいことが好ましい。例えば、ある仕様のＨＭＤの場合、腕の長さ相当の距離で、マーカーサイズが４ｃｍのとき、ジッターは観測され得るだろう。一方、マーカーサイズが６ｃｍのとき、ほとんどジッターはない。
実験による結果は、使用者（人）の頭部の動きによるジッターがＨＭＤに関して姿勢のジッターの主要な原因であることを示した。頭部の動きのさまざまなレベルについていくつかの実験によると、頭部に動きがないときのジッターレベルをテストするために、被験者に、リーディングインストラクションの間、その頭部を動かさないことを求めた。このテストの間、５０ｍｓ内でジッターが非常に小さい角度範囲で観測された（０．０５−０．１５度）。これは、秒速１〜３度に等価である。頭部の遅い動きに対するジッターレベルをテストするために、被験者に、オブジェクトを組み立てる間、ゆっくりと頭部を動かすことを要求した。このテストの間、ジッターは、５０ｍｓ内での狭い角度範囲の回転（０．１−０．７５度）を伴って観測された。これは、秒速２〜１５度と等価である。一般的な頭部の動きに対しては、ジッターは、５０ｍｓ内でのより広い角度範囲での回転(０．８〜５度)を伴って観測された。これは毎秒１５〜１００度と等価である。
本変形例では、第２の姿勢に現れるジッターが抑制されることで第２の姿勢が平滑化されて、頭部に動きのないとき、または低速の動きのときに対して、安定化が図られる。一方、通常の動きのときに対しては、第２の姿勢は、ほとんど平滑化されない。以下に詳細を示す。
２．指数関数による平滑化
指数関数による平滑化の最も簡単な形態は、回転行列については、次の式で与えられる。

ここで添え字は、例えばカメラフレームに対応する。また、αは、平滑化因子であり、０＜α＜１であり、ｑは、四元数の形態で表された回転角ベクトルを表す。すなわち、

回転行列Ｒと四元数との間の変換式については、詳述を省略する。
同様にして、姿勢の並進行列を平滑化する式は、

回転におけるジッターはより目につきやすい。他方、並進におけるジッターは目につきにくい。このため、α１を１にセットしてよい。これは、回転角だけをジッターに対して平滑化することを意味する。
３．平滑化因子αの推定
頭部のジッターが主にＸ、Ｙ方向であるとし、Ｚ軸（ほぼ視線方向）回りの回転は無視できるとすると、頭部の動きの推定は、撮像画像におけるＸ、Ｙ座標におけるベクトル（Δｕ, Δｖ）の推定に簡単化できる。（Δｕ, Δｖ）を推定する一つの方法は、現在フレームと過去フレームと間で円の中心のｘ、ｙ座標の差の最大値（または平均値）を計算することである。αは、以下のようにして推定される。

ＨＭＤのカメラ６１のフレームレートは、例えば、３０ｆｐｓであるとする。焦点距離ｆはカメラ６１の仕様から求められる。σは実験により最適値が求められる。よって、ｆσは既知となるから、αは、式１６により更新され、回転は式１３により更新され、したがって、第２の姿勢がそれにより更新され得る。本変形例では、第２の姿勢が平滑化されたが、他の変形例では第１の姿勢が平滑化されてもよい。

（変形例Ｂ）
ＡＲアプリケーションにとってはマーカートラッキングが遅いとレイテンシーがより目につきやすい。したがって、マーカーＭＫ１の検出速度は高速であることが好ましい。このため、全体のプロセッシング速度を改善することと、マーカーＭＫ１の検出精度を維持することとを両立するために、処理のパイプラインに疎精度から高精度へのアプローチが適用されてもよい。
例えば、上記実施形態におけるマーカー領域検出処理（図４のステップＳ１０）までは、縮小された撮像画像に基づいて実行し、主要な時間消費部分を高速にし得る。上記実施形態における座標の特定（図４のステップＳ１４）以降は、オリジナルの撮像画像の解像度に基づいて実行し、特定点の位置精度および姿勢推定の精度を確保し得る。

以上説明したように、本実施形態のマーカーＭＫ１は、４つの頂点Ｐ０，Ｐ１，Ｐ２，Ｐ３で形成される矩形形状を有する。矩形状のマーカーＭＫ１の中には、複数の円で構成される第１円群ＣＧ１および第２円群ＣＧ２と、中心がＣ１０Ｐである方向特定円Ｃ１０と、が含まれている。そのため、カメラ６１によって得られた撮像画像にマーカーＭＫ１が含まれる場合に、マーカー識別部１６５は、４つの頂点を用いて、マーカーＭＫ１の外形を特定する。さらに、マーカー識別部１６５は、マーカーＭＫ１の方向を特定するための方向特定円Ｃ１０の中心Ｃ１０Ｐと、第１円群ＣＧ１および第２円群ＣＧ２に含まれる円によって、マーカーＭＫ１の位置や姿勢を特定する。これにより、カメラ６１を有するＨＭＤ１００などの装置は、カメラ６１に対するマーカーＭＫ１の位置や姿勢をより正確に特定でき、特定した位置関係を用いて、カメラ６１が撮像する外景に、画像表示部２０が表示する画像をより正確に重畳できる。よって、本実施形態のマーカーＭＫ１が撮像されることで、画像を重畳するためのキャリブレーションが正確に行なわれ、画像表示部に表示される画像を視認する使用者の利便性が向上する。

また、本実施形態のマーカーＭＫ１は、マーカーＭＫ１の２つの対角線ＣＬ１，ＣＬ２の交点を中心Ｃ３Ｐとする円Ｃ３を含んでいる。そのため、本実施形態のマーカーＭＫ１では、撮像されたマーカーＭＫ１の座標を特定するために、円Ｃ３の中心Ｃ３Ｐを原点として用いることで、より正確にマーカーＭＫ１の形状をＨＭＤ１００などの装置に認識させることができる。

また、本実施形態のマーカーＭＫ１では、円Ｃ３は、第１円群ＣＧ１に含まれ、かつ、第２円群ＣＧ２に含まれる円である。そのため、円Ｃ３が第１円群ＣＧ１と第２円群ＣＧ２との一方のみに含まれる場合と比較して、マーカーＭＫ１が撮像された場合に、マーカーＭＫ１の中心が特定されやすい。

また、本実施形態のマーカーＭＫ１では、マーカーＭＫ１の方向を特定する中心Ｃ１０Ｐは、マーカーＭＫ１の中心円である円Ｃ３以外の円Ｃ１０の中心点である。そのため、本実施形態のマーカーＭＫ１が撮像された場合に、マーカーＭＫ１を認識するための原点の座標となるＣ３Ｐ以外の点がマーカーＭＫ１の方向を特定するための点と用いられるため、撮像されたマーカーＭＫ１の方向をより正確に特定できる。

また、本実施形態のマーカーＭＫ１では、マーカーＭＫ１の方向を特定する方向特定円Ｃ１０は、第１円群ＣＧ１と第２円群ＣＧ２とのどちらにも含まれない円である。そのため、本実施形態のマーカーＭＫ１が撮像された場合に、マーカーＭＫ１を特定するための第１円群ＣＧ１および第２円群ＣＧ２と別の円である方向特定円Ｃ１０によってマーカーＭＫ１の方向が特定されるため、より正確にマーカーＭＫ１の方向が特定される。

また、本実施形態のマーカーＭＫ１では、１つの円である方向特定円Ｃ１０によってマーカーＭＫ１の方向が特定されるため、複数の要素によってマーカーＭＫ１の方向が特定される場合と比較して、簡便にマーカーＭＫ１の方向が特定される。

また、本実施形態のマーカーＭＫ１では、第１円群ＣＧ１と第２円群ＣＧ２とは、円Ｃ３の中心Ｃ３Ｐに対して、点対称かつ線対称に形成されている。 また、マーカーＭＫ１に含まれる複数の円の大きさは、すべて同じ大きさである。そのため、本実施形態のマーカーＭＫ１が撮像された場合に、マーカーＭＫ１の存在のみをカメラ６１によって得られた撮像画像の中から抽出する場合に、より簡便に抽出できる。

また、本実施形態のマーカーＭＫ１では、マーカーＭＫ１に含まれる円とそれ以外の部分との色が異なり、マーカーＭＫ１を構成する色は、対象の黒色と白色とである。そのため、本実施形態のマーカーＭＫ１が撮像された場合に、マーカーＭＫ１に含まれる円とそれ以外との部分を明確に区別して、マーカーＭＫ１が特定されやすい。

また、本実施形態のマーカーＭＫ１では、第１円群ＣＧ１および第２円群ＣＧ２のそれぞれは、同じ大きさの奇数個の円で構成され、第１円群ＣＧ１における隣接する円の中心の距離と、第２円群ＣＧ２における隣接する円の中心の距離とは、同じ距離である。そのため、本実施形態のマーカーＭＫ１が撮像された場合に、マーカーＭＫ１の存在のみをカメラ６１によって得られた撮像画像の中から抽出する場合に、より簡便にマーカーＭＫ１を抽出できる。

また、本実施形態のマーカーＭＫ１の検出方法では、マーカー識別部１６５がカメラ６１によって得られた撮像画像の中からマーカーＭＫ１を抽出する。また、座標特定部１６６は、抽出されたマーカーＭＫ１の方向を特定する方向特定円Ｃ１０の中心Ｃ１０Ｐと、その他のマーカーＭＫ１に含まれる複数の円の中心を特定する。演算部１６７は、特定された方向特定円Ｃ１０の中心Ｃ１０Ｐおよびその他の複数の円の中心に基づいて、回転行列Ｒと並進行列Ｔとを用いた補正行列を算出する。そのため、本実施形態のマーカーＭＫ１の検出方法が用いられることで、ＨＭＤ１００などの装置は、表示画像の基の画像データを表示させる画像表示部の画素のそれぞれを、補正行列に基づいて設定することで、撮像された外景に表示画像を重畳させて使用者に視認させることができる。これにより、使用者がＨＭＤ１００などを使う際の利便性や使い勝手が向上する。

また、本実施形態のマーカーＭＫ１の検出方法では、マーカー識別部１６５は、撮像された外景の画像に対して、初期閾値で２値化した後の撮像画像からマーカー領域の候補の抽出の判定を行なう。マーカー識別部１６５は、マーカー領域の候補を抽出しない場合には、初期閾値に加算閾値を加えた新たな階調値を閾値として、マーカー領域の候補の抽出を判定する。マーカー識別部１６５は、マーカー領域の候補を抽出するまで、閾値に加算閾値を加えた階調値を新たな閾値として、マーカー領域の候補の抽出を行なう、または、新たな閾値が所定の閾値としての初期閾値に設定された階調値を超えた場合には、マーカー識別部１６５は、マーカー領域の候補の抽出の処理を終了する。そのため、本実施形態のマーカーＭＫ１の検出方法では、ＨＭＤ１００などのマーカーＭＫ１を検出する装置は、１つの撮像画像に対して、異なる階調値の閾値によって複数の２値化を行なうため、撮像画像の中にマーカーＭＫ１が含まれる場合に、より正確にマーカーＭＫ１を抽出しやすい。

また、本実施形態のマーカーＭＫ１の検出方法では、マーカー識別部１６５は、マーカーＭＫ１を特定するための複数の特定点を、マーカーＭＫ１に含まれる複数の円のそれぞれの中心点として特定した。そのため、本実施形態のマーカーＭＫ１の検出方法では、ＨＭＤ１００などのマーカーＭＫ１を検出する装置は、撮像画像に含まれる特定点としての一点を特定するために、特定点を中心とする円の輪郭の複数の測定点を用いて特定するため、より正確に特定点を特定できる。

Ｂ．第２実施形態：
図１１は、第２実施形態のＨＭＤ１００ａの構成を機能的に示すブロック図である。第２実施形態のＨＭＤ１００ａでは、第１実施形態のＨＭＤ１００と比較して、次の（１）、（２）、（３）および（４）において異なる。それらは、（１）ＨＭＤ１００ａがＩＭＵ７１（Inertial Measurement Unit）を備えること；（２）初期化フェーズにおいて、ＨＭＤ１００ａが、第１実施形態において導出されたマーカーＭＫ１の「第１の姿勢」または「第２の姿勢」を利用することで、ワールド座標系（以下では、「グローバル座標系」とも呼ぶ）に対するマーカーＭＫ１の位置と姿勢を導出すること；（３）ＨＭＤ１００ａが、マーカーＭＫ１を撮像しているカメラ６１の出力と、慣性センサー７１の出力と、に基づき、センサー融合アルゴリズムによって慣性センサー７１の位置と姿勢を推定すること；および（４）推定されたＩＭＵ７１の位置および姿勢と、グローバル座標系に対するマーカーＭＫ１の位置と姿勢と、を用いて、カメラ６１に対するマーカーＭＫ１の位置と姿勢を検出すること、である。そのため、第２実施形態では、ＩＭＵ７１および演算部１６７ａについて詳細に説明し、第１実施形態と同じ構成や処理については簡略化して説明する。

図１１に示すように、第２実施形態のＨＭＤ１００ａが備える画像表示部２０ａは、ＩＭＵ７１を有する。ＩＭＵ７１は、加速度および角速度を検出する慣性センサーである。さらに、ＩＭＵ７１は、ＩＭＵ７１の位置と姿勢とを出力するように構成されている。ＩＭＵ７１は、画像表示部２０ａにおけるカメラ６１ａの近くに内蔵されている。ＩＭＵ７１は、加速度および角速度に加えて、地磁気に基づく方位を検出する。第２実施形態のＩＭＵ７１は、１２５ヘルツ（Ｈｚ）の周期で加速度および角速度を検出する。なお、以降では、ＩＭＵ７１によって検出された加速度および角速度を、ＩＭＵ７１の検出値とも言う。ＩＭＵ７１は、請求項における慣性センサーに相当する。

カメラ６１ａは、３０Ｈｚの周期で外景を撮像する。換言すると、カメラ６１ａは、１秒間に３０フレームの静止画像を、動画として取得する。なお、他の実施形態では、カメラ６１ａは、画像表示部２０ａに対して可動であるように構成されていてもよい。

ＣＰＵ１４０ａが有する演算部１６７ａは、ＩＭＵ７１の検出値を用いて、絶対座標系であるグローバル座標系に対するＩＭＵ７１のセンサー座標系の位置関係を算出する。

図１２は、マーカー追跡処理のフローチャートである。マーカー追跡処理では、初めに、ＣＰＵ１４０ａは、第１実施形態の図４に示すマーカーＭＫ１の姿勢算出処理を実行する（ステップＳ３０）。次に、ＣＰＵ１４０ａは、グローバル座標系に対するマーカーＭＫ１の位置および姿勢（変換行列Ｔ_Ｏ２Ｇ）を導出する（ステップＳ３１）。変換行列Ｔ_Ｏ２Ｇの導出の詳細は後述する。本実施形態において、ステップＳ３０およびステップＳ３１は、初期化フェーズまたは初期化プロセスと表記されてもよい。

次に、演算部１６７ａは、マーカーＭＫ１の画像フレームを取得しているカメラ６１ａの出力とＩＭＵ７１の出力とに基づき、センサー融合アルゴリズムを用いて、グローバル座標系に対するＩＭＵ７１の位置と姿勢を導出する（ステップＳ３３）。後述されるように、センサー融合アルゴリズムの一例として、拡張カルマンフィルターに基づくアルゴリズムが用いられる。

カメラ６１ａの出力とＩＭＵ７１の出力との融合のためには、グローバル座標系に対してカメラ６１ａの位置と姿勢を精度よく推定することが求められる。図１３は、上述の融合パイプラインまたは融合処理において用いられる座標系間の関係を表す概略図である。図１３には、以下に示す三次元座標系が示されている。図１３において、オブジェクト座標系ＣＳ_Ｏは、マーカーＭＫ１に固定された座標系である。図１３において、カメラ座標系ＣＳ_Ｃは、カメラ６１ａに固定された座標系である。図１３において、グローバル座標系ＣＳ_Ｇは、地球に対して固定され、そのＸ軸はローカル磁場による北を指し、そのＺ軸は重力加速度と反対方向を指す座標系である。図１３において、センサー座標系ＣＳ_Ｓは、ＩＭＵ７１に固定されている座標系である。

ＩＭＵ７１の検出値または出力によって、グローバル座標系ＣＳ_Ｇに対するＩＭＵ７１の姿勢が算出される。ＩＭＵ７１の出力にＩＭＵ７１の姿勢が含まれるようにＩＭＵ７１が構成されていてもよい。演算部１６７ａは、カメラ６１ａのビジョン出力を用いて、カメラ座標系ＣＳ_Ｃに対するマーカーＭＫ１の姿勢を出力する。ビジョンとＩＭＵ７１とを融合するためには、これら２つを共通の座標系で表わすことが必要であり、本実施形態では、グローバル座標系ＣＳ_Ｇがそのような共通の座標系として用いられる。さらに、融合の結果はグローバル座標系ＣＳ_ＧにおけるＩＭＵ７１の姿勢であるから、レンダリングのために、それがカメラ座標系ＣＳ_Ｃに変換される必要がある。ＩＭＵ７１の姿勢をカメラ座標系におけるオブジェクトの姿勢に変換するために、次の式（２３）が利用される。

ここで、行列Ｔ_Ｓ２Ｃは、センサー座標系ＣＳ_Ｓとカメラ座標系ＣＳ_Ｃとの間の変換行列であり、従来のＩＭＵ−カメラ間のキャリブレーションによって事前に求めておくことができる。行列Ｔ_Ｏ２Ｇは、オブジェクト座標系ＣＳ_Ｏとグローバル座標系ＣＳ_Ｇとの間の変換行列である。ここでは、マーカーがほぼ静止していることを前提としているので、行列Ｔ_Ｏ２Ｇは、固定であり、かつ初期化フェーズの間に１回だけ計算されれば済む（ステップＳ３０およびＳ３１）。行列Ｔ_Ｓ２Ｇは、グローバル座標系ＣＳ_Ｇで表わされた（グローバル座標系における）ＩＭＵ７１の位置と姿勢である。行列Ｔ_Ｏ２Ｃは、カメラ座標系ＣＳ_Ｃにおけるオブジェクト、例えばマーカーＭＫ１、の位置と姿勢である。

第２実施形態では、行列Ｔ_Ｏ２Ｇを計算する自動的な方法として、以下に説明する方法を用いる。上述の式（２３）によれば、以下の式（２４）が導出される。なお、式（２５）の関係が成立している。

初期化フェーズ（ステップＳ３０およびＳ３１）において、ＨＭＤ１００ａを装着している使用者は、ＨＭＤ１００ａにおける所定のインターフェース部を介して、マーカーＭＫ１をカメラ６１ａの視野に入れたままで１秒ほど使用者自身の頭部を実質的に静止させることを求められる。ＩＭＵ７１が実質的に静的な状態にあるとき、行列Ｔ_Ｓ２Ｇは、以下の式（２６）ないし式（３３）のように計算され得る。ここで、ax, ay, azは、ＩＭＵ７１に含まれる加速度センサーの読出出力または計測出力である。

上記式（２６）から式（３１）において、roll、pitchおよびyawはグローバル座標系ＣＳ_ＧにおけるXG軸、YG軸およびZG軸の回りの回転角を表す。本実施形態では、重力方向に平行なZG軸の回りの回転角を表すyawは式（２８）においてゼロに設定されている。式（３３）に示されるように、このようにして得られる行列Ｔ_Ｓ２Ｇは、４×４の行列である。そして、行列Ｔ_Ｓ２Ｇは初期化フェーズで用いられる。

行列Ｔ_Ｏ２Ｃは、カメラ座標系において表されたマーカーの姿勢であり、図１２におけるステップＳ３０において、第１実施形態において説明された方法によって導出される。演算部１６７aが、行列Ｔ_Ｓ２Ｇと行列Ｔ_Ｏ２Ｃを導出した場合には、演算部１６７aは、ステップＳ３１において、式（２４）にしたがって、行列Ｔ_Ｓ２Ｇと行列Ｔ_Ｏ２Ｃとに基づいて行列Ｔ_Ｏ２Ｇを導出する。

演算部１６７ａが初期化フェーズまたは初期化プロセス（ステップＳ３０およびＳ３１）を終了した場合には、画像フレームにおいて、マーカーＭＫ１上の特徴要素の位置が検出される。具体的には、本実施形態において、座標特定部１６６は、画像フレーム上の座標（画像座標）において、マーカーＭＫ１上の９つの円の中心の座標を特定し、出力する。マーカーの姿勢（位置と姿勢を含む）の計算は、本実施形態では、必ずしも必要ではない。

演算部１６７ａは、拡張カルマンフィルター（ＥＫＦ）を実行して、カメラ６１ａの出力とＩＭＵ７１の出力とに基づいてＩＭＵ７１の位置と姿勢を推定または導出する(ステップS33）。なお、カメラ６１ａの出力は、上述の９つの円の中心の画像座標を含んでいる。ここで、２つのＥＫＦ、すなくち、ＤＬＴに基づくＥＫＦと、エラードリブンＥＫＦ(Error-driven EKF)と、が適用可能である。第２実施形態では、演算部１６７aは、図１２におけるステップＳ３３においてパイプラインまたは処理の一部としてエラードリブンＥＫＦを実行するように構成されており、以下ではそれについて説明する。なお、拡張カルマンフィルター（ＥＫＦ）は、請求項におけるセンサー融合アルゴリズムに相当する。

状態ｘｋおよび観測ｚｋは、それぞれ下記の式（３４）、（３５）で表わされる。

ここで、式（３４）および式（２５）において、ｗ_ｋと、ｖ_ｋは、プロセスノイズと観測（observation）ノイズであり、それらは、それぞれＱ_ｋおよびＲ_ｋの共分散を有する平均ゼロの多変量ガウスノイズであると想定される。

状態予報と状態予測とは、それぞれ下記の式（３６）、（３７）で表わされる。

カメラ６１aからの画像フレームにおいてマーカーＭＫ１が検出される場合には、以下の式（３８）から（４１）により、状態更新は式（４２）で表わされる。カメラ６１ａが撮像した画像情報が利用可能である場合の状態更新を行なうと、下記の式（３８）ないし（４２）を導ける。

上記式におけるＦ_ｋ，Ｌ_ｋ，Ｍ_ｋ，およびＲ_ｋの計算には、従来の方法が利用できる。

ステップＳ３３において、状態ベクトルｘｋ＝｛ｂｋ，ｂｋ’，ｑｋ｝は、いずれもグローバル座標系ＣＳ_Ｇにおいて表されている。ここで、ｘｋは、ＩＭＵ７１の位置ｂ_ｋ、ＩＭＵ７１の速度ｂ_ｋ’、ＩＭＵ７１の配向ｑ_ｋ（姿勢）を含んでいる。ｕ_ｋは、ＩＭＵ７１に含まれる加速度センサーの入力およびジャイロの入力を含んだコントロール入力である。他の実施形態では、磁気センサーからの入力をコントロール入力に含めてもよい。観測（observation）ｚ_ｋは、マーカーＭＫ１上の特徴点（本実施形態では９つの円中心）の画像座標を含んでいる。

カメラ６１ａからの画像フレームにおいてマーカーＭＫ１が検出された場合に、状態ベクトルｘ_ｋが式（４２）により更新される。マーカーが検出されない場合には、状態ベクトルｘ_ｋは、式（３６）により更新（予測）される。

ｘ_ｋは、最新のＩＭＵ７１の位置と姿勢を含む一方、ＣＰＵ１１０ａがレンダリングするには、ＨＭＤ１００ａは、例えば、カメラ座標系ＣＳ_Ｃで表わされたマーカーＭＫ１の位置と姿勢を必要とする。マーカーＭＫ１の位置と姿勢は、演算部１６７ａによって、ステップＳ３５において式（２３）にしたがって、ＩＭＵ７１の位置と姿勢（「ＩＭＵ姿勢」とも呼ぶ）から計算される。本実施形態によれば、マーカーＭＫ１が検出されるか検出されないかに関わらず、マーカーＭＫ１の位置と姿勢は、ＩＭＵ７１の１２５Ｈｚの周波数でＩＭＵ７１の位置と姿勢に従って更新される。

図１４は、ＩＭＵ７１の有無によって、追跡されるマーカーの位置と姿勢（「マーカー姿勢」とも呼ぶ）がどのように更新されるかを示している。図１４において、水平軸は時間を表す。また、図１４において、上部の並びは、カメラ６１ａによる画像フレームの取得が生じる時点を表している。中間の並びは、カメラ６１ａを用いるがＩＭＵ７１なしで追跡されるマーカー姿勢を表している。そして、下部の並びは、本実施形態に係るものであり、カメラ６１ａとＩＭＵ７１とを用いて追跡されるマーカー姿勢を表している。矢印csは、追跡されたマーカーＭＫ１の画像フレームにおけるX座標であり、双方向矢印dvは、使用者が画像表示部２０越しに視認する実物のマーカーＭＫ１の中心と、画像表示部２０上に表示される追跡されたマーカーＭＫ１の中心と、の間の距離を表している。カメラ６１ａによる画像フレームの取得は、30Hzの周波数で生じ、Tnで表わされている。ＩＭＵ７１による検出は、125Hzの周波数で生じ、Tn_mで表わされている。図１４から理解されるように、カメラ６１ａとＩＭＵ７１とを用いてマーカーＭＫ１を追跡することは、ＩＭＵ７１なしでマーカーＭＫ１を追跡することに比較して、追跡におけるレイテンシーを低減する。

マーカーＭＫ１が、カメラ６１ａを用いるがＩＭＵ７１無しで追跡される場合でも、合理的な大きさのマーカーＭＫ１が用いられれば、当該追跡は安定する。しかしながら、マーカーＭＫ１の大きさが小さくなるか、またはカメラ６１ａとマーカーＭＫ１との間の距離が増加する場合には、追跡においてより多くのジッターが観測されることがある。これに対して、マーカーＭＫ１が、カメラ６１ａとＩＭＵ７１とを用いて追跡される場合には、たとえマーカーＭＫ１がより小さくなり、またはカメラ６１ａとＩＭＵ７１との間の距離が増加する場合であっても、観測されるジッターに大きな増加は見られず、そしてこのため、その追跡は安定を保つ。

演算部１６７ａが図１２のステップＳ３５の処理を実行すると、ＣＰＵ１４０ａは、マーカーＭＫ１の姿勢追跡を終了するか否かを判定する（ステップＳ３７）。使用者によって操作部１３５が、姿勢追跡を終了するための所定の操作を受け付けると（ステップＳ３７：ＹＥＳ）、ＣＰＵ１４０ａは、マーカー追跡処理を終了する。ステップＳ３７の処理において、操作部１３５が姿勢追跡を終了する所定の操作を受け付けない場合には（ステップＳ３７：ＮＯ）、ステップＳ３０以降の処理を繰り返す。

以上説明したように、第２実施形態のＨＭＤ１００ａでは、演算部１６７ａは、初期化フェーズまたは初期化プロセスの後で、マーカーＭＫ１とカメラ６１ａとの間の相対位置関係を、カメラ６１ａの出力と、ＩＭＵ７１の出力とを用いて導出する。ここで、初期化フェーズまたはプロセスにおいて、第１実施形態において導出されたカメラ６１ａとマーカーＭＫ１との間の相対位置関係が用いられる。この結果、ＩＭＵ７１なしでマーカーＭＫ１を追跡することに比較して、追跡において観測されるレイテンシーが低減する。さらに、大きなジッターの増加は観測されず、そしてこのため、たとえより小さいマーカーＭＫ１が用いられるか、またはカメラ６１ａとマーカーＭＫ１との間の距離が増加する場合でも、その追跡は安定を維持する。第２実施形態に係る初期化フェーズ（図１２におけるステップＳ３０およびＳ３１）は、ＨＭＤ１００ａを装着している使用者に、カメラ６１ａとＩＭＵ７１とを用いてマーカーＭＫ１の位置と姿勢を追跡することを開始する際に、単に、カメラ６１ａの視野の中にマーカーＭＫ１を位置させ、好適には１秒ほどその頭部を実質的に静的に保つことを要求するだけであることから、カメラ６１ａとＩＭＵ７１との融合の利用をより簡単にする。

Ｃ．変形例：
なお、この発明は上記実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば、次のような変形も可能である。

Ｃ−１．変形例１：
上記実施形態のマーカーＭＫ１では、正方形の中に含まれる複数の正円は、同じ大きさであるが、マーカーの中に含まれる正円は異なる大きさであってもよいし、正円以外の形状である半円や三角形などの形状であってもよい。例えば、第１円群ＣＧ１に含まれる円と第２円群ＣＧ２に含まれる円とは、異なる大きさであってもよい。また、円の代わりに正三角形が用いられる場合には、正三角形の重心が、マーカーＭＫ１を特定するための特定点として用いられてもよい。

上記実施形態のマーカーＭＫ１では、２つの対角線ＣＬ１，ＣＬ２の交点を中心とする円Ｃ３が形成されていたが、必ずしも対角線の交点を中心とする円が形成されていなくてもよい。また、第１円群ＣＧ１に含まれる円と第２円群ＣＧ２に含まれる円とは、奇数個であったが偶数個であってもよいし、一方が奇数個でもう一方が偶数個であってもよい。また、第１円群ＣＧ１と第２円群ＣＧ２とは、円Ｃ３の中心Ｃ３Ｐを中心として点対称であり、かつ、中心Ｃ３Ｐを通る四辺の一辺を中心として線対称であったが、点対称でなくてもよく、線対称でなくてもよい。また、第１円群ＣＧ１および第２円群ＣＧ２を構成する隣接する円の中心間の距離は同じであったが、異なっていてもよいし、例えば、第１円群ＣＧ１に含まれる特定の円においてのみ、なんらかの距離の関係が形成されていてもよい。

上記実施形態のマーカーＭＫ１では、方向特定円Ｃ１０は、１つの円によって構成されたが、複数の円によって構成されてもよいし、円以外の形状によって構成されてもよい。

Ｃ−２．変形例２：
上記実施形態のマーカーＭＫ１の検出方法では、マーカー識別部１６５は、カメラ６１によって得られた撮像画像の画素の階調値を２値化して、マーカーＭＫ１を撮像画像から抽出したが、２つよりももっと多い数で多値化してマーカーＭＫ１を撮像画像から抽出してもよい。また、マーカー識別部１６５は、１つの撮像画像に対して、初期閾値で２値化した後にマーカーＭＫ１を抽出できない場合に、初期閾値に加算閾値としての階調値を加えた新たな階調値を新たな階調値として撮像画像を２値化したが、必ずしも複数の階調値を閾値として設定して２値化する必要はない。マーカー識別部１６５は、予め設定された１つの階調値である閾値のみで、撮像画像を２値化して、マーカーＭＫ１の抽出を判定してもよい。また、マーカー識別部１６５は、閾値に加算閾値を加えることを続行するかやめるかの判定をするための階調値として、初期閾値の階調値を用いたが、これ以外の階調値が用いられてもよい。例えば、マーカー識別部１６５は、階調値の上限値を超えた場合に、新たな閾値の階調値に加算閾値の階調値を加える処理をやめてもよい。

Ｃ−３．変形例３：
マーカーＭＫ１のカメラ６１に対する姿勢（回転）のうち座標軸の向きを求めなくてもよい場合には、画像表示部に、本実施形態のマーカーＭＫ１から配向特定円Ｃ１０を省略してもよい。この場合、第１円群ＣＧ１と第２円群ＣＧ２により、マーカーの誤検出の可能性を抑制しつつ、精度の高い並進関係を求めることができる。

Ｃ−４．変形例４：
マーカーＭＫ１は、コントローラー１０の表面に取り付けられてもよい。また、マーカーＭＫ１は、スマートフォンなどの表示部を有する携帯端末の当該表示部に表示されるように、コンピュータープログラムまたはデータの形態で当該携帯端末に供給されてもよい。

本発明は、上記実施形態や変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや、組み合わせを行なうことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

Ｃ−５．変形例５：
上記実施形態では、撮像した外景に表示画像を重畳させるための装置として、ＨＭＤ１００を一例に挙げて説明したが、撮像部としてのカメラ６１や画像表示部２０を有する装置として、異なる装置が用いられてもよい。例えば、撮像部と画像表示部と演算部１６７を有する装置のそれぞれは、異なる装置であってもよい。この場合に、ＬＡＮなどの無線通信を介したデータの送受信が行なわれることで、演算部１６７は、他の装置が取得した撮像画像を用いて、上記実施形態で説明した相対位置関係を算出し、演算部１６７を有する装置とは異なる装置が、算出された相対位置関係を用いた画像の表示を行なってもよい。

１０…コントローラー，２０，２０ａ…画像表示部，２１…右保持部，２２…右表示駆動部，２３…左保持部，２４…左表示駆動部，２６…右光学像表示部，２８…左光学像表示部，３０…イヤホンプラグ，３２…右イヤホン，３４…左イヤホン，４０…接続部，４２…右コード，４４…左コード，４６…連結部材，４８…本体コード，５１，５２…送信部，５３，５４…受信部，６１，６１ａ…カメラ，７１…ＩＭＵ，１００，１００ａ…頭部装着型表示装置（ＨＭＤ），１２１…ＲＯＭ，１２２…ＲＡＭ，１３０…電源，１３５…操作部，１３９…マーカー記憶部，１４０，１４０ａ…ＣＰＵ，１５０…オペレーティングシステム，１６０…画像処理部，１６５…マーカー識別部，１６６…座標特定部，１６７，１６７ａ…演算部，１７０…音声処理部，１８０…インターフェイス，１９０…表示制御部，２０１…右バックライト制御部，２０２…左バックライト制御部，２１１…右ＬＣＤ制御部，２１２…左ＬＣＤ制御部，２２１…右バックライト，２４１…右ＬＣＤ，２４２…左ＬＣＤ，２５１…右投写光学系，２５２…左投写光学系，２６１…右導光板，２６２…左導光板，Ｃ０，Ｃ１，Ｃ２，Ｃ３，Ｃ４，Ｃ５，Ｃ６，Ｃ７，Ｃ８，Ｃ９，…円，Ｃ１０…方向特定円，Ｃ０Ｐ，Ｃ１Ｐ，Ｃ２Ｐ，Ｃ３Ｐ，Ｃ４Ｐ，Ｃ５Ｐ，Ｃ６Ｐ，Ｃ７Ｐ，Ｃ８Ｐ，Ｃ９Ｐ，ＰＰ…中心，Ｃ１０Ｐ…円Ｃ１０の中心（方向特定点），ＣＧ１…第１円群，ＣＧ２…第２円群，ＣＬ１，ＣＬ２，ＣＬ３…対角線，ｃｓ…マーカー位置，ＣＳ_０…オブジェクト座標系，ＣＳ_Ｃ…カメラ座標系，ＣＳ_Ｇ…グローバル座標系，ＣＳ_Ｓ…センサー座標系，ｄｖ…ＩＭＵの位置，Ｈ１，Ｈ２…写像変換行列，ＩＭＧ１…撮像画像，ＬＥ…左眼，ＲＥ…右眼，ＭＫ１，ＭＫ２，ＭＫ３…マーカー，ＯＡ…外部機器，Ｐ０，Ｐ１，Ｐ２，Ｐ３…頂点（矩形特定点），Ｐ４，Ｐ５，Ｐ６，Ｐ７…頂点，Ｐ０ｍ…座標値，ｄ０…距離，ｈ１，ｈ２，ｈ３，ｒ１，ｒ２，ｒ３…列ベクトル，ＡＲ１，ＡＲ２，ＡＲ３…領域，Ｒ…回転行列，Ｔ…並進行列，Ｔ０，Ｔ１＿１…時刻，ＷＨ１，ＷＨ２…白色部分，ｆ…焦点距離

Claims (16)

1. マーカーであって、
   矩形を特定する矩形特定点と、
   特定された前記矩形の２つの対角線の内の１つである第１対角線の線上に中心があり、前記矩形内に含まれる複数の円の集合である第１円群と、
   前記２つの対角線の内の前記第１対角線とは異なる第２対角線の線上に中心があり、前記矩形内に含まれる複数の円の集合である第２円群と、
   方向特定点と、を備える、マーカー。
2. 請求項１に記載のマーカーであって、さらに、
   ２つの対角線の交点を中心とする中心円を備える、マーカー。
3. 請求項２に記載のマーカーであって、
   前記中心円は、前記第１円群に含まれる円であり、前記第２円群に含まれる円である、マーカー。
4. 請求項１から請求項３までのいずれか一項に記載のマーカーであって、
   前記方向特定点は、２つの対角線の交点と異なり、前記矩形内に含まれる方向特定円の中心点である、マーカー。
5. 請求項４に記載のマーカーであって、
   前記方向特定円は、２つの対角線の交点を中心とする中心円と、前記第１円群に含まれる円と、前記第２円群に含まれる円とは、異なる円である、マーカー。
6. 請求項４または請求項５に記載のマーカーであって、
   前記方向特定円は、１つの円である、マーカー。
7. 請求項１から請求項６までのいずれか一項に記載のマーカーであって、
   前記第１円群と前記第２円群とは、前記矩形の前記中心を通ると共に前記矩形の一辺と平行な直線に対して線対称、および２つの対角線の交点に対して点対称の少なくとも一方の対称性で形成されている、マーカー。
8. 請求項１から請求項７までのいずれか一項に記載のマーカーであって、
   前記矩形に含まれる円の大きさは、全て同じである、マーカー。
9. 請求項１から請求項８までのいずれか一項に記載のマーカーであって、
   前記矩形に含まれる円は、白色または黒色であり、
   前記矩形特定点は、前記矩形の外枠が交差する４つの頂点であり、前記矩形に含まれる円以外の部分は、前記円と異なる白色または黒色である、マーカー。
10. 請求項１から請求項９までのいずれか一項に記載のマーカーであって、
    前記第１円群は、２つの対角線の交点を中心とする複数の円の中心間の距離が同じで、同じ大きさの円によって形成され、
    前記第２円群は、２つの対角線の交点を中心とする複数の円の中心間の距離が前記第１円群に含まれる円の中心間の距離と同じで、前記第１円群に含まれる円と同じ大きさの円によって形成される、マーカー。
11. マーカーを検出する方法であって、
    外景を撮像する工程と、
    撮像された外景の画像から前記マーカーを抽出するマーカー抽出工程と、
    抽出された前記マーカーの方向を特定する方向特定点を特定する方向特定工程と、
    抽出された前記マーカーの中から前記方向特定点以外で、前記マーカーを特定するための複数の特定点を特定する特定工程と、
    特定された前記マーカーの方向特定点と、特定された前記複数の特定点と、に基づいて、前記撮像部に対する前記マーカーの位置および姿勢を算出する算出工程と、を備える、方法。
12. 請求項１１に記載の方法であって、
    前記マーカー抽出工程と前記方向特定工程と前記特定工程とでは、
    撮像された外景の画像に対して、予め設定された階調値としての第１閾値を基準として２値化が行なわれ、前記第１閾値による２値化によって前記複数の座標を抽出できない場合には、前記第１閾値に予め設定された階調補正値を加えた第２閾値を前記第１閾値として置換して２値化が行なわれ、
    前記第１閾値による２値化は、前記マーカー抽出工程における前記マーカーの抽出と前記方向特定工程における前記方向特定点の特定と前記特定工程における前記複数の特定点の特定を実行する、または、前記第１閾値に前記階調補正値を加えた値が所定の値を超えるまで行なわれる、方法。
13. 請求項１１または請求項１２に記載の方法であって、
    前記方向特定点および前記複数の特定点は、円の中心点を用いて特定される、方法。
14. 撮像部を備えた装置を制御するためのコンピューターに、マーカーを検出させるためのコンピュータープログラムであって、
    前記撮像部を介して外景を撮像する第１の撮像機能と、
    撮像された外景の画像から前記マーカーを抽出するマーカー抽出機能と、
    抽出された前記マーカーの方向を特定する方向特定点を特定する方向特定機能と、
    特定された前記マーカーの中から前記方向特定点以外で、前記マーカーを特定するための複数の特定点を特定する特定機能と、
    特定された前記マーカーの方向特定点と、特定された前記複数の特定点と、に基づいて、前記撮像部に対する前記マーカーの位置および姿勢を算出する算出機能と、をコンピューターに実現させるためのコンピュータープログラム。
15. 請求項１４に記載のコンピュータープログラムであって、
    前記装置は、慣性センサーを含み、
    前記撮像部を介して前記マーカーを撮像する第２の撮像機能と、
    前記第２の撮像機能によって得た前記撮像部の出力と、前記慣性センサーの出力と、に基づき、センサー融合アルゴリズムによって前記慣性センサーの位置と姿勢を推定する融合機能と、
    前記算出機能によって算出された前記マーカーの前記位置および姿勢と、前記融合機能によって導出された前記慣性センサーの前記位置および姿勢と、に少なくとも基づいて、前記マーカーの位置および姿勢を算出する第２の算出機能と、
    をコンピューターに実現させるためのプログラム。
16. マーカーであって、
    矩形を特定する矩形特定要素と、
    特定された前記矩形の２つの対角線の内の１つである第１対角線の線上にあり、前記矩形内に含まれる複数の特定要素の集合である第１特定要素群と、
    前記２つの対角線の内の前記第１対角線とは異なる第２対角線の線上にあり、前記矩形内に含まれる複数の特定要素の集合である第２特定要素群と、
    方向特定要素と、を備える、マーカー。

Images