JP2017046233A - 表示装置及び情報処理装置及びその制御方法 - Google Patents

Abstract

【課題】 装着型の表示装置の位置姿勢を、これまでより少ない数のマーカーで検出が可能となる。
【解決手段】観察者に提示するための映像を表示するディスプレイを搭載した、装着型の表示装置であって、表示装置を装着した際の観察者の視線方向の画像であって、前記ディスプレイに表示するための画像を撮像するための主カメラ２３，２８と、主カメラの撮像視野を包含するために、当該主カメラよりも広い画角を有する副カメラ３１，３２とを備える。
【選択図】 図３

Description

本発明は、ＨＭＤ（Head Mounted Display）に代表される装着型の表示装置、及び、それに接続される情報処理装置及びその制御方法に関するものである。

近年、観察者の頭部に装着し、該観察者の眼前に映像を表示する映像表示装置（ヘッドマウントディスプレイ＝ＨＭＤ）が、利用されるようになってきている。ＨＭＤは、手軽に映像を大画面で見ることが可能であること、立体視が容易であること等の理由から、人工現実感（バーチャルリアリティ＝ＶＲ）、複合現実感（ミックスドリアリティ＝ＭＲ）を体験可能な機器として使用されている。

ＭＲを実現するためのＨＭＤは、観察者の左右の眼に対応した被写体の画像を取り込むための撮像部を有することになる。また、該撮像部により撮影された画像とＰＣ等により作成された３Ｄ−ＣＧオブジェクトの画像と重畳し表示するための表示部、並びに、観察者に投影するための観察光学系も有することになる。

観察者に投影する映像は、観察者の左右の眼に対応した小型の液晶パネル等の表示素子に映像を表示し、この映像を観察者の左右それぞれの目に対応した前記観察光学系を介して拡大した後に，観察者の左右の眼球に投影するようになっている。

そして、撮影された被写体の画像は左右両眼に対応する視差を有した画像になっている。さらには３Ｄ−ＣＧのオブジェクトを表す画像を観察者の左右両眼に対応した視差画像を作成し、前記撮像系で撮像された映像に重畳して表示する。この結果、観察者には、３Ｄ−ＣＧのオブジェクトがあたかも現実空間内に存在するかのように視覚されることになる。かかる点で３Ｄ−ＣＧのオブジェクトは仮想オブジェクトとも呼ばれる。

撮像系にて外界を撮影した画像に、３Ｄ−ＣＧのオブジェクトを表す画像を重畳し、観察者に違和感なく表示させるためには、ＨＭＤの位置姿勢を検出し、検出された位置姿勢に応じた仮想オブジェクトを表す画像を作成する必要がある。

観察者が装着しているＨＭＤの位置姿勢を検出する手法としては、ＨＭＤとは別個に外部のセンサを制御し、ＨＭＤの位置、姿勢を算出する方法が知られている。また、ＨＭＤの撮像部でマーカーと呼ばれる目印映像を撮影し、該マーカーの撮影画像からＨＭＤの位置姿勢を検出する手法も知られている。

特許第３３６３８６１号公報 特開２０１１−２０５３５８号公報

特許文献１において、ＨＭＤの位置・姿勢を検出する手段として、センサを制御することが開示されているが、センサを別個に有することは、構成の増大であり、重量、構成部品の増加によるコスト増が懸念される。

また、マーカーと呼ばれる目印映像を撮影することでＨＭＤの位置・姿勢を算出する方法は、検出の精度を高めるためには、様々な位置に多数のマーカーを配置する必要がある。それ故、観察者にとってみれば、視野内にたくさんのマーカーがあるように見えてしまい、興ざめの感をぬぐえない。

特許文献２において、ＨＭＤの撮像部は広画角の映像を取得し、歪補正を行った映像を観察者に提供する方法が開示されている。しかしながら、広画角の映像から一部分を表示する方法は、解像度の低下を招き、観察者に提供する映像の品位が下がってしまうという問題がある。

この課題を解決するため、例えば本発明の表示装置は以下の構成を備える。すなわち、
観察者に提示するための映像を表示するディスプレイを搭載した、装着型の表示装置であって、
前記表示装置を装着した際の観察者の視線方向の画像であって、前記ディスプレイに表示するための画像を撮像するための第１の撮像手段と、
前記第１の撮像手段の撮像視野を包含するために、当該第１の撮像手段よりも広い画角を有する第２の撮像手段とを備える。

また、本発明の情報処理装置は、上記の表示装置と接続し、当該表示装置が有するディスプレイに表示するための画像を生成する情報処理装置であって、
前記第２の撮像手段が撮像した画像データを解析し、所定のマーカーを検出することで前記表示装置の位置姿勢を検出する検出手段と、
検出した位置姿勢に基づき、合成することになる仮想オブジェクトを表す画像データを生成する生成手段と、
生成した画像データを、前記第１の撮像手段が撮像した画像データと合成する合成手段と、
合成した画像データを前記表示装置に出力する出力手段とを有する。

本発明によれば、装着型の表示装置の位置姿勢を、これまでより少ない数のマーカーで検出が可能となる。

実施形態におけるＨＭＤの装着状態を示す図。 実施形態のＨＭＤの他の例を示す図。 本発明におけるHMDの内部に配置される光学ユニットの斜視図 図３のおける光学ユニットの断面構成図。 実施形態におけるマーカの形態を示す図。 主カメラ、副カメラで撮影される画像の例を示す図。 情報処理装置の機能構成図を示す図。 情報処理装置の処理手順を示すフローチャート。

以下、添付図面に従って本発明に係る実施形態を詳細に説明する。

図１は実施形態における、観察者の頭部に装着する映像表示装置(以下HMDと略す)の側面図である。図中、参照符号１０はＨＭＤ本体であり、内部には、後述する光学ユニット部１１を内蔵している。参照符号３０は、ＨＭＤ１０本体を観察者Ｈの前頭部に安定して密着するためのフレームである。参照符号３２はフレーム３０の両端から延出し、可撓性（たとえばポリプロピレンの薄板など）部材で構成され、観察者Ｈの側頭部、後頭部にかけて緊締するバンド部材である。参照符号２０および４０は、ＨＭＤ本体１０を観察者Ｈの頭部に安定的に、また快適に固定させるためのパッド部材である。パッド部材２０，４０を観察者Ｈの頭部に当接させた状態で、バンド部材３２の全長を調整することで観察者Ｈの頭部への圧力が分散し、観察者に与える違和感を抑制し、かつ、ＨＭＤ本体１０を観察者Ｈ眼前に安定して固定されることが可能となる。そして、図示の構成により、観察者Ｈにとっては、両手がフリーになり、様々な操作を行うことができることになる。

なお、複数人が同一の機体を使用する場合は、装着、取り外し作業が頻繁に発生する点、並びに、そのために清潔面での問題が発生する可能性がある。そのため、ＨＭＤ本体１０を手持ち形態にすることが考えられる。

図２は、手持ち形態の装着型のＨＭＤの形態を模式的に示した図である。ＨＭＤ本体１０を装着系から分離し、手持ちユニット２００に接続する。観察者Ｈは手持ちユニット２００を手で維持し、ＨＭＤ本体１０を観察者Ｈの眼前に装着した状態を維持することになる。手持ち形態にすることで、前述の取りまわり、装着によるデメリットは解消され、複数人が快適に使用できる環境を提供できる。ただし、両手もしくは片手がフリーにはならない。図１、図２の形態は、いずれもが本体１０を、観察者の眼前に装着（密着）することには変わりはなく、手持ちユニット２００の有無などの、物理的な構造の差は存在すれど、電子的、光学的な構成上の差はないと言える。

図３はＨＭＤ１０の内部に配置されている光学ユニット部１１の斜視図、図４は光学ユニット部１１のうちの片眼側を観察者の光軸に垂直な面で切断した断面図である。

図３、４において、参照符号２１は、PC等の機器で作成された２次元映像を表示するための表示素子であり、有機EL、あるいは液晶等の２次元マトリクスで映像を表示する素子で構成されている。但し、２次元マトリクスで表示する素子に限定されているものではなく、走査型で映像を表示する素子でも問題ないことは言うまでもない。参照符号２２は表示素子２１に表示された映像を拡大し、観察者の眼球に投影する観察光学系を構成する素子であるプリズムである。表示素子２１、およびプリズム２２は観察者の左右両眼の眼前に配置される。

表示素子２１に表示された映像は、プリズム２２を通ることで拡大され、観察者は左右の眼前に拡大された映像が表示され、高い没入感を得ることができる。なお、表示素子２１、プリズム２２は観察者に画像を提示する表示部として機能することになる。
参照符号２３、２８は、観察者の左右の視野に相当する画像を撮影するカメラである。カメラ２３は、撮像素子２４および撮像素子２４に像を結像させるためのカメラレンズ２５から構成されている。カメラ２８も同様である。

なお、カメラ２３，２８は、上記の通り、観察者の視野に相当する画像を撮影するカメラであり、後述するもう一組のカメラ３１，３２と区別するため、以降、カメラ２３、２８を便宜的に「主カメラ」、カメラ３１、３２を「副カメラ」と呼び区別する。

また主カメラ２３、２８の撮影光軸は物体方向からみてミラー２６で一回折り曲げられ、下方向に光軸を変化させた後、主カメラ２３、２８に入射される。１回光路を折り曲げることで装置全体を小型化している。もちろん目的は小型化であり、１回の折り曲げ、また折り曲げ方法がミラーに限定されるものではなく、プリズムで複数回光路を折り曲げる構成にしてもよい。主カメラ２３、２８の撮影光軸は観察者がプリズム２２を観察する観察光軸と略一致しており、観察者の視線方向の映像を撮影するようになっている。また、主カメラ２３，２８の撮影画角（焦点距離）は、観察者が表示素子２１の映像を観察する際の画角と略一致しているか若干広い画角を撮影するようになっている。主カメラ２３、２８で撮影された映像は、撮像素子２４の基板に接続されたケーブルでPC等の外部の情報処理装置に接続される。(ケーブルは図示していない)。情報処理装置は、例えばCGによる仮想オブジェクトの画像を生成し、入力された撮影画像に、生成した仮想オブジェクトを重畳させ、表示素子２１に表示させる。この際、情報処理装置は、左右の表示素子２１に表示する、仮想オブジェクトを左右の視差に応じて作成する。この結果、観察者は、あたかも観察者の眼前の現実の空間内に、PCで作成されたＣＧによる仮想オブジェクトが存在するかのように観察することになる。

観察者Ｈにとって、仮想オブジェクトは観察者Ｈの位置姿勢とは無関係に存在するものでなければならない。例えば、観察者が右を向いた場合には、仮想オブジェクトは元の位置に留まるよう見せるために、観察者の視野内で左側に移動しなければならない。つまり、情報処理装置は、カメラ２３，２８で撮像した撮像画像内にて、仮想オブジェクトの位置が左側に移動するように重畳させる処理を行わなければならない。このためには、観察者Ｈの視点の位置姿勢を検出することである。観察者Ｈの視点の位置姿勢を検出するため、現実空間内に、位置姿勢検出用のマーカーを随所に配置する技術がある。これらのマーカーの位置や種類は、外部装置には既知である。そして、情報処理装置は、観察者Ｈのカメラで撮影した左右の画像内のマーカーを検出する処理を行い、画像内の位置やサイズなどから、観察者の視点の位置姿勢を検出する。かかる技術を実現するためには、観察者Ｈの視野となる主カメラ２３，２８の撮像視野範囲内に、必ず予め設定された数以上のマーカーが入る必要がある。観察者は、その観察する視点位置を自由に変更できる。それ故、最悪の視点位置であっても、位置姿勢が特定できる数のマーカーが撮像画像中に存在するためには、マーカーを予め設定された間隔内に配置しなければならない。この結果、場合によっては、観察者Ｈの視野範囲に多数のマーカーが存在することになり、興ざめの感を与えることになりかねない。そこで、本実施形態では、観察者Ｈの視野内に入るマーカーの数を減らしながらも、観察者の視点の位置姿勢を精度よく検出することを可能とする例を説明する。このため、実施形態におけるＨＭＤ本体１０には、主カメラ２３、２８以外に、主カメラ２３、２８の更に外側に副カメラ３１，３２を配置させた。主カメラ２３、２８は、観察者Ｈの視野範囲の映像として撮像するものであり、観察者Ｈが実際に肉眼で直視するのと等価の映像を得るため、その画角（または焦点距離）には自ずと制約がある。これに対し、副カメラ３１、３２は、観察者Ｈの視点の位置姿勢を検出するためのカメラであり、画角の制限はない。また、副カメラ３１、３２間の距離は、観察者の左右の目の距離より大きくできるので、視差画像としての精度を高めることができる。

以下、外部機器における。副カメラ３１，３２で撮像された映像よりＨＭＤ本体１０の視点の位置姿勢（＝観察者の位置姿勢）を算出する方法について述べる。

外部機器は、事前に左右の主カメラ２３、２８と、左右の副カメラ３１、３２それぞれの相対位置関係、レンズの焦点距離等のカメラパラメータを取得し、記憶保持しているものとする。

副カメラ３１，３２は、ＨＭＤ本体１０の位置・姿勢を算出するために使用されており、その撮影画角は、主カメラ２３、２８よりも広画角な範囲を撮影できるようになっている。それ故、副カメラ３１、３２による視野範囲内に、ＨＭＤ本体１０の位置姿勢の検出するためのマーカーが存在すればよく、主カメラ２３，２８には極端にはマーカーが存在しなくても良い。つまり、同じ現実空間であれば、設置するマーカーの個数は、これまでより十分に少なくできることになる。

また、前述のカメラパラメータを所得するため副カメラ３１，３２の撮影する画角は、主カメラ２３，２８の画角を包含している。同一の物体を撮影した際に主カメラ２３，２８と、副カメラ３１，３２の映像を比較することで各カメラの位置、姿勢、焦点距離等を算出できる。

図５はＨＭＤ本体１０の位置、姿勢を検出するために使用されるマーカー３０１の一例の形状である。マーカー３０１は平板様の形状をしており、表面上に特殊な幾何学模様が描画されている。マーカー３０１をHMD本体１０で撮影すると図６（ａ）乃至（ｄ）に示されるように２個の主カメラ２３、２８、２個の副カメラ３１、３２でそれぞれマーカー３０１の画像が取得される。実施形態の場合、副カメラ３１，３２で撮像した画像から、ＨＭＤ本体の位置、姿勢等の相対関係、焦点距離を公知の手順に従い算出する。この結果を受けて、外部機器は、算出された位置・姿勢に応じてＣＧに基づく仮想オブジェクトを示す画像を作成し、主カメラ２３，２８で撮像した画像の、該当する位置に重畳する。この結果、観察者Ｈが空間内を動き回ってもその観察方向に応じたCGを作成することが可能となる。また観察者Ｈは、ＣＧに基づく仮想オブジェクトが、現実空間内にあたかも固定され、その場に存在するかのように観察することが可能となる。

前述の通り、副カメラ３１，３２は、ＨＭＤ本体１０の位置・姿勢を算出するために使用されており、その撮影画角は、主カメラ２３，２８よりも広画角な範囲を撮影できるようになっている。副カメラ３１、３２は、主カメラ２３，２８よりも外側の離れた位置に配置される。この結果、副カメラ３１，３２による視差は、主カメラのそれよりも大きくなり、マーカー３０１の検出の精度を高めることが可能となる。

また、副カメラ３１，３２で撮影される映像は、主カメラ２３，２８により撮影される映像を包含し、より広画角の映像を撮影できるようになっている。

ここで、主カメラ２３、２８の画像が、副カメラ３１，３２の映像と関係なく独立になっている場合を考察する。この場合、主カメラでマーカー３０１が撮影されているにもかかわらず、副カメラ３１，３２でマーカー３０１が検出できない場合が起こり得る。この場合、ＨＭＤ本体１０の位置・姿勢算出ができず、仮想オブジェクトを示す画像が正しい位置に重畳できない。そのため観察者は装置の故障を疑い、ＨＭＤ本体１０の位置、姿勢検出に不満を持つことが考えられる。

かかる点、実施形態によれば、副カメラ３１，３２による撮影画像は、主カメラ２３，２８の映像を包含している。従って、観察者Ｈの視野を撮影する主カメラ２３，２８でマーカー３０１が撮影されているならば、副カメラ３１，３２でもマーカー３０１が検出されることが約束され、ＨＭＤ本体１０の位置・姿勢を検出を行うことができる。

また、副カメラ３１，３２は、主カメラ２３，２８の視野範囲を含み、上側、あるいは下側に傾けて配置されるようにしても良い。例えば天井や床にマーカー３０１を配置した場合、主カメラ２３、２８ではその方向にHMDを向けないとマーカー３０１が検出できないが、副カメラ３１，３２は、撮影光軸が傾いているため、マーカー３０１を検出可能である。それ故、副カメラ３１，３２からの映像を利用して、ＨＭＤ本体１０の位置・姿勢を検出（あるいは算出）することができる。

前述のようにマーカー３０１を天井、あるいは床に設置した場合、観察者Ｈの視線は多くの場合、水平方向を向く傾向があるので、マーカーそのものが観察者Ｈの視野に入りづらくなる。つまり、観察者はマーカーを意識しなくても良いことになる。また、マーカー３０１を壁面に設置すると他の人、物体に邪魔されてマーカーの検出でできない状態になり得る。かかる点、副カメラ３１，３２の画角を、主カメラ２３，２８の画角を包含し、かつ、所定角度だけ上側または下側に向けることで、他人によるマーカーの遮蔽の影響を少なくできる。

また、より好適に天井、あるいは床に配置されたマーカー３０１を検出するため、副カメラ３１，３２で撮影される映像は、縦長のアスペクト比の画像を撮影するように、撮像素子を９０度回転させて設置している。縦長の撮影範囲とすることで、天井、あるいは床のより広い範囲が撮影可能となり、マーカー３０１の検出可能範囲を広げることができる。また、例えば観察者Ｈの真上、真下といったような通常視線を向ける方向ではない位置に設置されたマーカー３０１が検出可能となる。また、観察者Ｈにマーカー３０１の存在を意識させないような使用が可能となり、より快適な環境を提供可能となる。

マーカー３０１は平板上に幾何学図形が描画されているものとして説明したが、形状が四角形である必要はなく、様々な模様であってよい。また、平板である必要もなく立体的にマーカー３０１が配置されていてもよい。さらにはマーカーのような特殊な形状ではなく、撮影画像内からエッジ等の目印になるものを検出し、検出されたエッジを基にHMDの位置、姿勢を算出してもよい、
マーカーは、ＨＭＤ本体１０の位置姿勢を算出するために使用されるものであり、形状等に制約を受けるものではないことは言うまでもない。

図７は、実施形態におけるＨＭＤ本体１０と情報処理装置７００との接続関係、並びに、それぞれの構成図である。

ＨＭＤ本体１０についての構成については既に説明したので、以下では情報処理装置７００の構成とその動作を、図８のフローチャートに従って説明する。

なお、情報処理装置７００は、通常のＰＣと同様のハードウェアを有するものである。図７の構成は、ＨＭＤ本体と通信するアプリケーションを起動した際の、ソフトウェアを主とする機能構成図であると理解されたい。それ故、図示の制御部７０１は、ＣＰＵ並びにＣＰＵが実行するアプリケーションを格納したＲＡＭで構成される。記憶装置７０２は、現実空間におけるマーカー３０１の種類と配置位置を示す情報を記憶している。また、記憶装置７０２には、合成する仮想オブジェクトにかかる情報も格納されているものとする。記憶装置７０２は、各カメラの焦点距離などのパラメータも、この記憶装置７０２に格納されているものとする。記憶装置７０２は、典型的にはハードディスク装置である。また、ＨＭＤ本体１０と情報処理装置７００とは、例えば、ＵＳＢ（Universal Serial Bus）インターフェースで接続されるものとする。ただし、デジタル画像データの像受信を行うための十分な転送帯域を有するものであればよく、通信形態も有線／無線のいずであってもよく、インターフェースの種類は問わない。

ステップＳ１にて、情報処理装置７００は、ＨＭＤ本体１００が有する主カメラ２３，２８、並びに、副カメラ３１，３２が撮像した映像データを受信する。ここでは、説明を単純化するため、主カメラ２３，２８、並びに、副カメラ３１，３２ともに３０フレーム／秒で撮像し、その撮像した映像を情報処理装置７００に出力（送信）するものとする。従って、図８のフローチャートに基づく処理は、１／３０秒ごとに実行されるものと理解されたい。

位置姿勢検出部７０３は、ステップＳ２にて、副カメラ３１，３２から受信した左右の映像データを解析する。そして、位置姿勢検出部７０３は、その映像データが示す映像中に存在する、予め設定された数のマーカー３０１の検出し、記憶装置７０２を参照して、マーカーの特定と、その向きや大きさなどから、ＨＭＤ本体１０の位置姿勢を検出（算出）する。かかる処理は公知であるので、その詳述は省略する。

ＣＧ生成部７０４は、ステップＳ３にて、位置姿勢検出部７０３で検出したＨＭＤ本体１０の位置姿勢に基づき、観察者Ｈの左右の視点から見えることになる、仮想オブジェクトを表す画像データを生成する。そして、ＣＧ合成部７０５は、ステップＳ４にて、生成された仮想オブジェクトを表す左右の画像データを、主カメラ２３，２８で撮像した左右の画像内のそれぞれに該当する位置に合成する。情報処理装置７００は、ステップＳ５にて、合成後の左右の画像データを、ＨＭＤ本体１０に向けて送信する。この結果、ＨＭＤ本体１０は、受信した合成後の左右の目用の画像データを表示素子２１に表示処理を実行する。

以上説明したように本実施形態によれば、観察者の視野に相当する映像を取得する主カメラとは別個に、その主カメラの撮像視野を包含し、より撮像視野が広角な副カメラを搭載し、その副カメラによりＨＭＤ本体１０の位置姿勢検出用のマーカーを検出する。この結果、これまでよりも少ないマーカーの数で、位置姿勢を検出することができる。

また、副カメラは、主カメラの外側に設けることで、ＨＭＤ本体の位置、姿勢検出精度を向上させることが可能になる。また、副カメラは、天井、あるいは床をもその視野に入るようにし、天井や床にマーカーを設置するとで、安定してマーカーが検出できるようになる。また、副カメラの視野範囲の水平方向のサイズよりも垂直方向のサイズを大きくすることで、無理なく天井や床に設置したマーカーを検出することが可能になる。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０…ＨＭＤ本体、２１…表示素子、２２…プリズム、２３，２８…主カメラ、３１，３２…副カメラ、７００…情報処理装置、７０１…制御部、７０２…記憶装置、７０３…位置姿勢検出部、７０４…ＣＧ生成部、７０５…ＣＧ合成部

Claims (8)

1. 観察者に提示するための映像を表示するディスプレイを搭載した、装着型の表示装置であって、
   前記表示装置を装着した際の観察者の視線方向の画像であって、前記ディスプレイに表示するための画像を撮像するための第１の撮像手段と、
   前記第１の撮像手段の撮像視野を包含するために、当該第１の撮像手段よりも広い画角を有する第２の撮像手段と、
   を備えることを特徴とする表示装置。
2. 前記第２の撮像手段を構成する左右のカメラは、前記第１の撮像手段を構成する左右のカメラの外側に配置されることを特徴とする請求項１に記載の表示装置。
3. 前記第２の撮像手段を構成する左右のカメラの視線方向は、前記第１の撮像手段を構成する左右のカメラの視線方向に対して、予め設定され角度だけ上または下方向を向いていることを特徴とする請求項１または２に記載の表示装置。
4. 前記第２の撮像手段が撮像する撮像視野の範囲の垂直方向のサイズは、水平方向のサイズよりも大きいことを特徴とする請求項１乃至３のいずれか１項に記載の表示装置。
5. 請求項１の表示装置と接続し、当該表示装置が有するディスプレイに表示するための画像を生成する情報処理装置であって、
   前記第２の撮像手段が撮像した画像データを解析し、所定のマーカーを検出することで前記表示装置の位置姿勢を検出する検出手段と、
   検出した位置姿勢に基づき、合成することになる仮想オブジェクトを表す画像データを生成する生成手段と、
   生成した画像データを、前記第１の撮像手段が撮像した画像データと合成する合成手段と、
   合成した画像データを前記表示装置に出力する出力手段と
   を有することを特徴とする情報処理装置。
6. 請求項１の表示装置と接続し、当該表示装置が有するディスプレイに表示するための画像を生成する情報処理装置の制御方法であって、
   検出手段が、前記第２の撮像手段が撮像した画像データを解析し、所定のマーカーを検出することで前記表示装置の位置姿勢を検出する検出工程と、
   生成手段が、検出した位置姿勢に基づき、合成することになる仮想オブジェクトを表す画像データを生成する生成工程と、
   合成手段が、生成した画像データを、前記第１の撮像手段が撮像した画像データと合成する合成工程と、
   出力手段が、合成した画像データを前記表示装置に出力する出力工程と
   を有することを特徴とする情報処理装置の制御方法。
7. コンピュータが読み込み実行することで、前記コンピュータを、請求項１の表示装置と接続し、当該表示装置が有するディスプレイに表示するための画像を生成する情報処理装置として機能させるためのプログラムであって、
   前記コンピュータを、
   前記第２の撮像手段が撮像した画像データを解析し、所定のマーカーを検出することで前記表示装置の位置姿勢を検出する検出手段、
   検出した位置姿勢に基づき、合成することになる仮想オブジェクトを表す画像データを生成する生成手段、
   生成した画像データを、前記第１の撮像手段が撮像した画像データと合成する合成手段、
   合成した画像データを前記表示装置に出力する出力手段
   として機能させるためのプログラム。
8. 請求項７に記載のプログラムを格納した、コンピュータが読み取り可能な記憶媒体。