JP2016115230A - 情報処理装置、情報処理システム、その制御方法及びプログラム - Google Patents

Abstract

【課題】解像度のモードに応じて、複合現実における画像の出力方法を容易に切替え可能な仕組みを提供すること【解決手段】撮像位置の情報を取得し、撮像された画像を記憶し、撮像位置と仮想オブジェクトの位置姿勢に基いて画像に仮想オブジェクトを重畳した複合現実画像を生成し、低解像度の複合現実画像を出力する低解像度モードと、高解像度の画像を出力する高解像度モードとのいずれのモードが設定されているか特定し、低解像度モードが設定されていることが特定された場合に低解像度の複合現実画像を出力し、高解像度モードが設定されていることが特定された場合に高解像度の画像を出力する【選択図】図６

Description

情報処理装置、情報処理システム、その制御方法及びプログラムに関する。

近年、複合現実（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ／以下、ＭＲと記載）の技術が普及し、ＭＲ技術を用いて、室内に、現実物体とＣＧモデルが配置されることが行われている。

特許文献１には、ヘッドマウントディスプレイ（以下、ＨＭＤ）に搭載されたカメラでマーカを撮像し、当該撮像したマーカの絶対座標と、画像から検出されたマーカ位置（クラスタ重心）とからＨＭＤの位置・姿勢を検出して、当該位置姿勢に応じた、ＣＧモデルを重畳した複合現実画像を生成する技術が開示されている。

特許文献２では、ユーザが注視した場所を特定して、当該注視した場所の画像を高解像度に変更する技術が記載されている。

特開２０００−３５０８６０号公報 特開平１０−３２６０７１号公報

また、複合現実の実現に際して、特許文献２の技術を用いて画像の解像度を調整することが考えられる。高解像度の画像を用いて複合現実画像を生成すべく、現実画像にＣＧモデルを重畳して描画使用とした場合、画素数の違いやメモリ上の処理領域の確保が難しくなることから、低解像度の画像を用いた複合現実画像を生成するのに比べて処理負荷が高くなってしまう。

しかし、常に低解像度の画像をＨＭＤに表示させていると、表示された物体を十分に視認できない場合がある。

本発明は、解像度のモードに応じて、複合現実における画像の出力方法を容易に切替え可能な仕組みを提供することを目的とする。

本発明の情報処理装置は、撮像装置と、画像を表示する表示装置と通信可能な、仮想空間上に配置されるオブジェクトである仮想オブジェクト及び当該仮想オブジェクトを配置する位置姿勢を記憶する記憶機能を備える情報処理装置であって、画像を撮像する位置である撮像位置の情報を取得する撮像位置取得手段と、前記撮像位置取得手段で取得した前記撮像位置から撮像された画像を記憶する画像記憶手段と、前記撮像位置取得手段で取得された撮像位置と、前記仮想オブジェクト及び仮想オブジェクトを配置する位置姿勢の情報に基いて、前記画像記憶手段に記憶された画像に仮想オブジェクトを重畳した複合現実画像を生成する複合現実画像生成手段と、画像を前記表示装置に表示させるべく出力する出力手段と、前記出力手段で、前記複合現実画像生成手段で生成された低解像度の複合現実画像を出力する低解像度モードと、前記画像記憶手段から取得された高解像度の画像を出力する高解像度モードとのいずれのモードが設定されているか特定するモード特定手段と、を備え、前記出力手段は、前記モード特定手段で前記低解像度モードが設定されていることが特定された場合に、前記複合現実画像生成手段で生成された低解像度の複合現実画像を出力し、前記モード特定手段で前記高解像度モードが設定されていることが特定された場合に、前記画像記憶手段から取得された高解像度の画像を出力することを特徴とする。

本発明によれば、解像度のモードに応じて、複合現実における画像の出力方法を容易に切替え可能な仕組みを提供することができる。

本発明の実施形態における、情報処理システムの構成の一例を示す図である。 本発明の実施形態における、ＰＣ１００、ＨＭＤ１０１のハードウェア構成の一例を示す図である。 本発明の実施形態における、各種装置の機能構成の一例を示す図である。 本発明の第１の実施形態における、モード設定処理の概要を示すフローチャートである。 本発明の実施形態における、画像の取得処理の詳細を示すフローチャートである。 本発明の実施形態における、表示画像の生成・送信処理の詳細を示すフローチャートである。 本発明の実施形態における、画像の様子を示す画像の一例を示す図である。 本発明の実施形態における、各種データテーブルの構成の一例を示す図である。 本発明の第２の実施形態における、モード設定処理の詳細を示すフローチャートである。 本発明の第２の実施形態における、データテーブルの構成の一例を示す図である。 本発明の第３の実施形態における、モード設定処理の詳細を示すフローチャートである。 本発明の第３の実施形態における、データテーブルの構成の一例を示す図である。 本発明の第４の実施形態における、モード設定処理の詳細を示すフローチャートである。 本発明の第４の実施形態における、データテーブルの構成の一例を示す図である。 本発明の実施形態における、データテーブルの構成の一例を示す図である。 本発明の実施形態における、開閉部の開閉の様子の一例を示す図である。 本発明の実施形態における、開閉部の開閉の様子の一例を示す図である。 本発明の実施形態における、開閉部の開閉の様子の一例を示す図である。 本発明の実施形態における、ＨＭＤの位置・姿勢、現実物体の位置、ＨＭＤの向いているベクトルに向けての所定範囲の位置関係の一例を示す図である。 本発明の実施形態における、ＨＭＤの位置・姿勢、現実物体の位置、ＨＭＤの向いているベクトルに向けての所定範囲、ＨＭＤから見て開閉部より先の所定距離範囲の関係の一例を示す図である。 本発明の実施形態における、画像の様子を示す画像の一例を示す図である。 本発明の実施形態における、開閉部の開閉状態に応じた仮想オブジェクトの描画領域の変化の様子を示す画像の一例を示す図である。 本発明の第５の実施形態における、画像切替処理の詳細を示すフローチャートである。

図１を参照して、本発明の実施形態における、情報処理システムの構成の一例について説明する。図１は、本発明の実施形態における、情報処理システムの構成の一例を示す図である。

本発明の情報処理システムは、ＰＣ１００、ＨＭＤ１０１（ヘッドマウントディスプレイ１０１）、マーカ１０２、仮想オブジェクト１０３、現実物体１０５等から構成される。ＰＣ１００とＨＭＤ１０１（表示装置）は、図１に示すＬＡＮ１５０や、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等を介して相互にデータ通信可能に接続されている。

マーカ１０２には、ＭＲ空間（複合現実空間）上の位置情報が対応付けられており、ＨＭＤ１０１に搭載されるビデオカメラでマーカ１０２を撮像することで、当該撮像されたマーカ１０２の中心点とマーカ１０２の面積（画像中の大きさ）を用いて、ＨＭＤ１０１のＭＲ空間上の位置・姿勢（撮像方向）を特定することが可能である。

本実施形態においては、マーカの位置＝マーカの中心点とする。また、本実施形態においては、当該位置・姿勢の特定処理はＰＣ１００のＣＰＵが実行するものとする。マーカ１０２の位置・面積・識別応報は、ＰＣ１００の外部メモリに予め記憶されているものとする。

また、図１にはマーカがマーカ１０２のみ記載されているが、例えば、複数のマーカをＨＭＤの周辺（ＭＲ空間を設定する現実空間上の壁・床等）に配置して、各マーカに位置情報を対応付けてＰＣ１００の外部メモリに記憶しておき、当該マーカのいずれかを撮像することで、ＨＭＤ１０１のＭＲ空間上の位置・姿勢を特定することが可能である。ＨＭＤ１０１の位置・姿勢の方法はどのようなものでも構わない。

尚、本発明の実施形態において、マーカ１０２は、ＨＭＤ１０１がＭＲ空間上にある現実物体に接近したか否かの判定にも用いられるものとする。当該判定、及び判定結果に応じた処理については後述する。

また、ＰＣ１００の外部メモリには、ＭＲ空間上に配置するＣＧ（仮想オブジェクト）の情報がＭＲ空間上の位置・姿勢の情報と対応付けて記憶されている。ＰＣ１００は、ＨＭＤ１０１のビデオカメラにより撮像された画像を取得して、当該ＨＭＤ１０１の位置・姿勢の情報を用いて、当該取得した画像に、ＣＧ（仮想オブジェクト）の画像を重畳して、ＭＲ画像（重畳画像／複合現実画像）を生成する（複合現実画像生成）。

ＰＣ１００は当該ＭＲ画像をＨＭＤ１０１に送信して、ＨＭＤ１０１はディスプレイに当該ＭＲ画像を表示する。

上述した、ＨＭＤ１０１の位置及び姿勢の特定・算出の具体的な方法、及び、ＭＲ画像の生成方法は既知の技術であり、例えば、参考文献（特開２０００−３５０８６０号公報）にも記載されているため、ここでは説明を割愛する。

なお、ＨＭＤ１０１は撮影モード（モード情報）の設定に応じて、高解像度モードが設定されている場合は高解像度の画像を撮像し、低解像度モードの場合は低解像度の画像を撮像する。また、ＰＣ１００は、高解像度モードが設定されている場合は高解像度の画像をＨＭＤ１０１に出力し、低解像度モードの場合は低解像度の画像（低解像度の画像を基に作成したＭＲ画像）をＨＭＤ１０１に出力する。

仮想オブジェクト１０３は、ＭＲ空間上に配置されたＣＧモデルである。当該仮想オブジェクト１０３は、ＰＣ１００の外部メモリに、ＭＲ空間上の位置の情報と対応付けて記憶されている。

例えば、ＭＲの技術を用いて、機械の内部機構（例えばエンジン）としての現実物体１０５と、当該内部機構を覆う外装板としての仮想オブジェクト１０３のようなＣＧを、ＨＭＤ１０１に表示し、実際に現実物体としての外装板が取り付けられた場合に、当該内部機構の整備を行う整備者が当該内部機構の整備を行うことができるかシュミレーションすることが考えられる。

しかしながら、上述したように、解像度の低い画像では、仮想オブジェクト１０３の開閉部（開閉機構）に整備者の腕が入るか否か程度のおおまかな状態については、ＨＭＤ１０１のディスプレイにＭＲ画像を表示させ、ＨＭＤ１０１を装着したユーザが開閉部（開閉機構）の開いた箇所に腕を入れこむことで確認可能だが、ねじ穴のような細かい部分については、画像が荒いために確認が難しい。

かといって、単純に高解像度の画像を用いてＭＲ画像を生成しようとすれば、処理負荷が高くなり、画像の表示が遅くなってしまう可能性がある。

これに対し、本発明の第１の実施形態においては、例えば、撮影モードの設定が低解像度モードに設定されている場合にはＭＲ画像を生成してＨＭＤ１０１のディスプレイに出力し、高解像度モードに設定されている場合には現実物体の詳細をユーザに確認させるべく、現実画像をＨＭＤ１０１のディスプレイに出力する処理を行う。

以上が図１の、本発明の実施形態における、情報処理システムの構成の一例についての説明である。

次に図２を参照して、本発明の実施形態における、ＰＣ１００、ＨＭＤ１０１のハードウェア構成の一例について説明する。図２は、本発明の実施形態における、ＰＣ１００、ＨＭＤ１０１のハードウェア構成の一例を示す図である。尚、図２のＰＣ１００とＨＭＤ１０１のハードウェアの構成は一例であり、用途や目的に応じて様々な構成例がある。

まず、ＰＣ１００は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、システムバス２０４、入力コントローラ２０５、ビデオコントローラ２０６、メモリコントローラ２０７、通信Ｉ／Ｆコントローラ２０８、入力デバイス２０９、ディスプレイ２１０、外部メモリ２１１等を備える。

ＣＰＵ２０１は、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。

また、ＲＯＭ２０２あるいは外部メモリ２１１には、ＣＰＵ５０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ ＯｕｔｐｕｔＳｙｓｔｅｍ）やオペレーティングシステムや、各種装置の実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。

ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＡＭ２０３にロードして、プログラムを実行することで各種動作を実現するものである。

また、入力コントローラ（入力Ｃ）２０５は、キーボードやマウス２５０等のポインティングデバイスからの入力を制御する。

ビデオコントローラ（ＶＣ）２０６は、ディスプレイ２１０等の表示器への表示を制御する。表示器は液晶ディスプレイでもＣＲＴでも構わない。

メモリコントローラ（ＭＣ）２０７は、ブートプログラム、ブラウザソフトウエア、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶するハードディスク（ＨＤ）やフレキシブルディスク（ＦＤ）或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるカード型メモリ等の外部メモリ２１１へのアクセスを制御する。

通信Ｉ／Ｆコントローラ（通信Ｉ／ＦＣ）２０８は、ネットワークを介して、外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いたインターネット通信等が可能である。

尚、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ２１０上での表示を可能としている。また、ＣＰＵ２０１は、ディスプレイ２１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。

本発明のＰＣ１００が後述する各種処理を実行するために用いられる各種プログラム等は外部メモリ２１１に記録されており、必要に応じてＲＡＭ２０３にロードされることによりＣＰＵ２０１によって実行されるものである。さらに、本発明に係わるプログラムが用いる定義ファイルや各種情報テーブルは外部メモリ２１１に格納されている。

次に、ＨＭＤ１０１は、右目ビデオカメラ２２１、左目ビデオカメラ２２２、右目ディスプレイ２２３、左目ディスプレイ２２４、コントローラ２２５等を備える。

右目ビデオカメラ２２１と、左目ビデオカメラ２２２は、現実世界を撮影するビデオカメラである。右目ビデオカメラ２２１は、右目ディスプレイ２２３に表示するための画像を撮影し、左目ビデオカメラ２２２は、左目ディスプレイ２２４に表示するための画像を撮影する。撮影された画像（現実空間画像）は、コントローラ２２５がＰＣ１００に送信し、通信Ｉ／Ｆコントローラ２０８を通じてＰＣ１００が受信する。

ＰＣ１００から通信Ｉ／Ｆコントローラ２０８を通じて複合現実画像が送信されると、コントローラ２２５が受信し、受信した複合現実画像を右目ディスプレイ２２３と左目ディスプレイ２２４に表示させる。この時、右目ビデオカメラ２２１で撮影された現実空間画像に基づいて生成された複合現実画像は、右目ディスプレイ２２３に表示し、左目ビデオカメラ２２２で撮影された現実空間画像に基づいて生成された複合現実画像は、左目ディスプレイ２２４に表示する。以上が図２の、本発明の実施形態における、ＰＣ１００、ＨＭＤ１０１のハードウェア構成の一例についての説明である。

次に図３を参照して、本発明の実施形態における、各種装置の機能構成の一例について説明する。図３は、本発明の実施形態における、各種装置の機能構成の一例を示す図である。

ＰＣ１００は、オブジェクトの描画位置を特定するＰｌａｔｆｏｒｍアプリケーションと、当該特定した情報を用いてオブジェクトを描画し、ＭＲ画像を生成するＶｉｅｗｅｒアプリケーションを備える。

撮像処理部３１１は、現実画像を撮像して取得する。撮像画像送信部３１２は、撮像した現実画像（撮像画像）をＰＣ１００に送信する。

撮像画像受信部３０１は、ＨＭＤ１０１の撮像処理部で撮像された画像（現実画像／撮像画像）であって、撮像画像送信部３１２で送信された現実画像を受信する受信部である。位置姿勢特定部３０２は、例えば、ＨＭＤ１０１から受信した現実画像に写るマーカ（例えばマーカ１０２）の中心点の位置・面積からＨＭＤ１０１の位置・姿勢を特定する。

モード変更処理部３０３は、たとえばユーザからの操作指示に応じて撮影モードを変更・設定する処理部である。モード判定部３０４は、撮影モードが高解像度モードか低解像度モードかを判定する。

仮想オブジェクト記憶部３０５は、仮想オブジェクト（ＣＧモデル）を、ＭＲ空間上の位置と対応付けて記憶する記憶部である。当該ＭＲ空間上の位置は、別途ＰＣ１００の外部メモリに記憶されたＭＲ空間上の原点座標からの相対位置である。

仮想オブジェクト表示制御部３０６は、仮想オブジェクトの表示・非表示を制御する制御部である。つまり、ＭＲ画像を生成するか否かを決定する。

例えば、高解像度モードの場合、ＭＲ画像の生成処理による処理負荷が増大すると考えられるため、仮想オブジェクトの表示（ＭＲ画像のＨＭＤ１０１への出力）は不要とする。仮想オブジェクトの全部又は一部を表示しない高解像度の現実画像をＨＭＤ１０１に送信する。低解像度モードの場合、現実物体周辺の（ＨＭＤ１０１の視野角内の）仮想オブジェクトを表示したＭＲ画像を生成してＨＭＤ１０１に送信するものとする。

ＭＲ画像生成部３０７は、ＭＲ画像を生成する生成部である。画像送信部３０８は、ＨＭＤ１０１に、現実画像、又は、現実画像を用いて生成したＭＲ画像を送信する送信部である。

画像受信部３１３は、画像の受信処理部である。画像表示部３１４は、画像の表示処理部である。以上が図３の説明である。

次に図８を参照して、本発明の実施形態における、各種データテーブルの構成の一例について説明する。図８は、本発明の実施形態における、各種データテーブルの構成の一例を示す図である。図８の各種データは、ＰＣ１００の外部メモリに記憶されている。

ＨＭＤ位置姿勢情報８００は、ＨＭＤの位置８０１、姿勢８０２から構成されている。ＨＭＤ位置姿勢情報８００は、ＰＣ１００のＣＰＵ２０１が、例えば、ＨＭＤ１０１から取得する画像の中のマーカの中心位置（中心点）・面積などを用いて随時算出し、当該算出された値に随時更新されるものとする。

被写体情報８１０は、被写体である現実物体の位置情報を示す。ここでは、現実物体に添付されたマーカの位置＝現実物体の位置とする。マーカＩＤ８１１は、マーカを一意に識別するための識別情報である。位置８１２は、当該マーカのＭＲ空間上の位置の情報である。当該被写体情報８１０は、ＰＣ１００の外部メモリに予め記憶されているものとする。

尚、上述した図８の説明においては、被写体情報８１０は＝ＨＭＤ１０１のカメラで撮像された現実画像中のマーカ画像（ＨＭＤ１０１の位置姿勢、画像中のマーカの画像の大きさ・ベクトル等）から特定された、現実物体に添付されたマーカの位置＝現実物体のＭＲ空間上の位置とするものとしたが、現実物体の位置が確認できればよいため、例えば予めＰＣ１００の外部メモリに現実物体のＭＲ空間上の位置情報として被写体情報８１０に示す情報を記憶しておき、当該記憶している情報を被写体情報８１０の代わりに利用して、ＰＣ１００のＣＰＵ２０１が本発明の各フローチャートの処理を実行するようにしてもよい。

仮想オブジェクト情報８２０は、仮想オブジェクトの識別情報であるオブジェクトＩＤ８２１と、位置８２２（位置姿勢）を対応付けて記憶している。仮想オブジェクト情報８２０は、ＰＣ１００の外部メモリに予め記憶されているものとする（記憶機能に該当）。

モード情報８３０は、前述した撮影モードの設定（モード設定）の情報である。モード情報８３０には現在設定中のモードが記憶される。当該モード情報８３０は、例えば後述する図４の処理で設定・変更可能であり、ＰＣ１００の外部メモリに記憶されているものとする。

以上が図８の、本発明の実施形態における、各種データテーブルの構成の一例についての説明である。

以下、図４〜図７を用いて、本発明の第１の実施形態について説明する。

次に図４を参照して、本発明の実施形態における、本発明の第１の実施形態における、モード設定の概要について説明する。

ＰＣ１００のＣＰＵ２０１は、ユーザ指示に応じて不図示のモード設定画面を表示画面に表示し（ステップＳ４０１）、高解像度モードまたは低解像度モードのいずれかにモード情報を変更する指示を受け付けたか判定する（ステップＳ４０２）。変更指示を受け付けていない場合（ステップＳ４０２でＮＯ）、処理を終了し、現在設定中のモードの情報を保持する。

変更指示を受け付けた場合（ステップＳ４０２でＹＥＳ）、ＰＣ１００のＣＰＵ２０１は、高解像度モードへの設定変更の指示を受け付けたか低解像度モードへの設定変更の指示を受け付けたか判定する。

高解像度モードへの設定変更の指示を受け付けた場合、モード情報８３０を高解像度モードに変更して外部メモリに記憶する。低解像度モードへの設定変更の指示を受け付けた場合、モード情報８３０を低解像度モードに変更して外部メモリに記憶する。つまり、モード情報８３０を更新する。以上が図４の説明である。

次に図５を参照して、本発明の実施形態における、画像の取得処理の詳細について説明する。

ＰＣ１００のＣＰＵ２０１は、外部メモリに記憶されているモード情報８３０を取得してＨＭＤ１０１に送信する（ステップＳ５０１）。ＨＭＤ１０１は当該モード情報８３０を取得し（ステップＳ５０２）、当該モード情報８３０が高解像度モードか低解像度モードか判定する（ステップＳ５０３）。

高解像度モードの場合、ＨＭＤ１０１はビデオカメラの設定を高解像度画像の撮像設定に切り替えて高解像度の画像を撮像し、取得する（ステップＳ５０４）。低解像度モードの場合、ビデオカメラの設定を低解像度画像の撮像設定に切り替えて低解像度の画像を撮像し、取得する（ステップＳ５０５）。

ＨＭＤ１０１は、撮像画像（ステップＳ５０４で取得した高解像度画像またはステップＳ５０５で取得した低解像度画像／現実画像）をＰＣ１００に送信し（ステップＳ５０６）、ＰＣ１００のＣＰＵ２０１がこれを受信してメモリに記憶し（ステップＳ５０７／画像記憶手段に該当）、ＨＭＤ１０１に表示させる表示画像の生成・送信処理を実行する（ステップＳ５０８）。ステップＳ５０８の詳細については図６の説明で後述する。以上が図５の説明である。
次に図６を参照して、本発明の実施形態における、表示画像の生成・送信処理の詳細について説明する。

ＰＣ１００のＣＰＵ２０１は、図５のステップＳ５０６で受信した画像をメモリより取得し（ステップＳ６０１）、モード情報８３０を取得してモードが高解像度モードか低解像度モードか判定する（ステップＳ６０２／モード特定手段に該当）。低解像度モードである場合、図５のステップＳ５０６で受信しステップＳ６０１で取得した低解像度画像を用いてＭＲ画像を生成する（ステップＳ６０４）。例えば、図７の７００のようなＭＲ画像を生成する。

ＭＲ画像の生成手法については特許文献１に示したように既知の技術であるため詳細な説明は割愛する。ここでは、例えば特許文献１に記載の技術を用いてＭＲ画像を生成するものとする。

ＰＣ１００のＣＰＵ２０１は、生成したＭＲ画像をＨＭＤ１０１に表示させるべく（ＨＭＤ１０１のディスプレイに表示させる表示画像として決定し）ＨＭＤ１０１に送信する（ステップＳ６０５）。

一方、ステップＳ６０４で、モードが高解像度モードであると判定された場合、図５のステップＳ５０６で受信しステップＳ６０１で取得した高解像度画像（現実画像）を、ＨＭＤ１０１のディスプレイに表示させる表示画像として決定する。例えば、図７の７１０にしめすような、仮想オブジェクトを描画しない（ＣＧモデルを重畳しない）高解像度の現実画像をＨＭＤ１０１に送信する画像（高解像度画像）とする。そして、当該高解像度画像をＨＭＤ１０１に送信する（ステップＳ６０３）。

ＨＭＤ１０１はステップＳ６０４で送信されたＭＲ画像またはステップＳ６０３で送信された高解像度画像（現実画像）を受信して（ステップＳ６０６）、表示画面に表示する（ステップＳ６０７）。以上が図６の説明である。

以上、本発明の第１の実施形態について説明した。

以上説明したように、本発明の第１の実施形態によれば、解像度のモードに応じて、複合現実における画像の出力方法を容易に切替え可能な仕組みを提供することができる。

次に図９、図１０を参照して、本発明の第２の実施形態について説明する。

本発明の第２の実施形態においては、第１の実施形態の図４の説明において、ユーザの手動で設定・変更されたに撮影モードを、ＨＭＤと現実物体との距離に応じて変更する。

例えば仮想空間上で現実物体に重なって仮想オブジェクトが配置されている状態で、現実物体の詳細を確認するためにＨＭＤが（ユーザが）現実物体に近づいた場合、現実物体重なって配置されている仮想オブジェクトを大きく表示（描画）する必要があるため、処理負荷が増大してしまう。一方、ＨＭＤとの距離が離れている場合は仮想オブジェクトが小さく見えるようにＭＲ画像を生成するため、ＨＭＤに表示する画像の中で仮想オブジェクトの画像が占める割合が少ないことが考えられる。

よって第２の実施形態においては、例えば、仮想オブジェクトが重なった現実物体との距離が近く、仮想オブジェクトを大きく描画しなければならないために生じる描画処理の処理負荷を軽減するために、ＨＭＤと現実物体の距離が所定距離以内である場合に高解像度モードに設定を変更し、ＨＭＤと現実物体の距離が所定距離より離れている場合に低解像度モードに設定を変更する。

次に図９を参照して、本発明の第２の実施形態における、モード設定処理の詳細について説明する。

第２の実施形態においては、第１の実施形態における図４の処理の代わりに図９の処理を（ＰＣ１００のＣＰＵ２０１が）実行する。図５、図６等の処理については第１の実施形態と同様であるため、説明は割愛する。以下、第１の実施形態と共通する処理については説明を割愛する。

ＰＣ１００のＣＰＵ２０１は、ＨＭＤ１０１の位置と姿勢の情報（図８のＨＭＤ位置姿勢情報８００）を取得（計測）する（ステップＳ９０１／撮像位置取得手段）。そして観察対象である仮想オブジェクトと重なっている現実物体１０５の位置情報を取得する（ステップＳ８０２）。例えば、ここではマーカ１０２の位置＝現実物体１０５の位置（図８の位置８１２の情報）とし、現実物体１０５の位置である当該位置８１２を取得する。また、当該現実物体１０５の位置８１２に重なる仮想オブジェクトを、仮想オブジェクト情報８２０より特定する。つまり、仮想オブジェクトＩＤ８２１の示す仮想オブジェクトを位置８２２に配置した場合に、仮想オブジェクトの形状から、当該仮想オブジェクトの一部が現実物体１０５（現実物体１０５の位置８１２）に重なるかを算出する。そして現実物体１０５と重なる仮想オブジェクトを特定して、ステップＳ８０２で当該現実物体１０５と重なる仮想オブジェクトの位置を取得するものである。

ＰＣ１００のＣＰＵ２０１は、ＨＭＤ１０１の位置から仮想オブジェクトと重なる現実物体１０５の位置（マーカ１０２の位置）までの距離を算出し（ステップＳ９０３／距離特定手段）、撮影モードを切替える条件（使用する画像を切替える条件）である切替条件１０００を取得する（ステップＳ８０４）。

切替条件１０００は、ＰＣ１００のＣＰＵ２０１が、撮影モード（モード情報８３０）を低解像度モードから高解像度モードに、高解像度モードから低解像度モードに切替える距離の閾値（条件）を記憶している。切替条件１０００は、ＰＣ１００の外部メモリに予め記憶されているものとする。

ここでは、ＨＭＤ１０１の位置である位置８０１と、被写体情報８１０の位置８１２が示す現実物体の位置との距離が、距離１００１以内になった場合に、モード情報８３０を高解像度モードに設定（変更）する。また、位置８０１と位置８１２の距離が、距離１００１より大きくなった場合に、モード情報８３０を低解像度モードに設定（変更）する。

また、角度１００２に角度を示す数値が挿入（記憶）されている場合、ＨＭＤ１０１の位置８０１及び姿勢８０２と、現実物体の位置である位置８１２を用いて、現実物体（位置８１２の示す位置）が、ＨＭＤ１０１の向いているベクトル（姿勢ベクトル）に向けての所定範囲内（図１９における範囲１９０１）にあるかどうかを、角度１００２の値を用いてＰＣ１００のＣＰＵ２０１が判定し、位置８０１と位置８１２の距離が距離１００１以内であって、且つ、現実物体（位置８１２の示す位置）が、ＨＭＤ１０１の向いているベクトルに向けての所定範囲内にある場合に、モード情報８３０を低解像度モードから高解像度モードに切替える（変更する）。

図１９は、ＨＭＤ１０１の位置・姿勢（姿勢ベクトル）、現実物体の位置（例えばマーカ１０２の位置）、ＨＭＤ１０１の向いているベクトルに向けての所定範囲（範囲１９０１）の位置関係の一例を示している。

ＰＣ１００のＣＰＵ２０１は、ＨＭＤの位置８０１と現実物体の位置８１２の距離が距離１００１より大きい場合、又は、位置８０１と位置８１２の距離が距離１００１以内であっても現実物体（位置８１２の示す位置）が、ＨＭＤ１０１の所定範囲内（範囲１９０１）にない場合には、モードを高解像度モードから低解像度モードに切替える（変更する）ものとする。

現実物体（位置８１２の示す位置）が、ＨＭＤ１０１の所定範囲内（範囲１９０１）にある場合とは、例えば、ＨＭＤ１０１の視野（ＨＭＤ１０１に設置されたカメラの画角内）に現実物体があるということである。反対に、現実物体（位置８１２の示す位置）が、ＨＭＤ１０１の所定範囲内（範囲１９０１）にない場合とは、例えば、ＨＭＤ１０１の視野（ＨＭＤ１０１に設置されたカメラの画角内）に現実物体がないということである。

つまり、ＨＭＤ１０１の視野内（ユーザの視野内）に現実物体があるか否か（ユーザが現実物体の詳細を確認しようとしているか否か）に応じて低解像度モードを用いたＭＲ画像の生成・送信処理と、高解像度モードを用いたＭＲ画像の生成・送信処理を使い分けることができる。

当該現実物体１０５（マーカ１０２）がＨＭＤ１０１の所定範囲内（範囲１９０１）にあるか否かの判定方法については後述する。

図９の説明に戻る。ＰＣ１００のＣＰＵ２０１は、ＨＭＤ１０１の位置から現実物体１０５の位置までの距離が、所定の距離（切替条件１０００における距離１００１）以内か判定し（ステップＳ９０５／ＨＭＤ１０１の位置から現実物体１０５の位置までの距離の値が所定の値に達したか（達しているか）判定／距離判定手段に該当）、所定の距離以内でない場合（ステップＳ９０５でＮＯ）、撮影モード（モード情報８３０）を低解像度モードに変更する（ステップＳ９１１）。

ＨＭＤ１０１の位置から現実物体１０５の位置までの距離が、所定の距離以内の場合（ステップＳ９０５でＹＥＳ）、処理をステップＳ９０６に移行し、ＨＭＤ１０１から現実物体の位置８１２への向きベクトルを算出する（ステップＳ９０６）。

そして、ＨＭＤ１０１の姿勢ベクトルである姿勢８０２（図８）の値を取得して、姿勢８０２の示すベクトルと、ＨＭＤ１０１から現実物体の位置８１２への向きベクトルの成す角度を算出する（ステップＳ９０７）。

ＰＣ１００のＣＰＵ２０１は、ＨＭＤ１０１の向いている方向における所定範囲内（範囲１９０１内）に、現実物体１０５（マーカ１０２）が含まれるか判定すべく、当該判定の基準となる角度の情報（図１０の角度１００２）を取得する（ステップＳ９０８）。

そして、ステップＳ９０７で算出した角度が、角度１００２（ここでは３０°）以内か判定し（ステップＳ９０９／範囲判定手段／所定の範囲内か判定し））、３０°以内である場合（ステップＳ９０９でＹＥＳ）、現実物体がＨＭＤ１０１の向いている方向の所定範囲（範囲１９０１）内にあるものと判断し、処理をステップＳ９１０に移行する。

ステップＳ９０７で算出した角度が、３０°以内でない場合（ステップＳ９０９でＮＯ）、現実物体がＨＭＤ１０１の向いている方向の範囲（範囲１９０１）内にない（つまり、ユーザは現実物体の詳細を確認しようとしていない＝現実物体の画像を精細に表示する必要がない）ものと判断し、処理をステップＳ９１１に移行する。

ステップＳ９１０では、ＰＣ１００のＣＰＵ２０１は、撮影モード（モード情報８３０）を高解像度モードに変更する（ステップＳ９１０）。そして、第１の実施形態同様、図５、図６の処理を実行する。

以下、上述した距離・角度の値の具体的な計算方法について記載する。

ＨＭＤの位置をＨｐｘ，Ｈｐｙ，Ｈｐｚ、姿勢（向き／姿勢ベクトル／方向単位ベクトル）をＨｄｘ，Ｈｄｙ，Ｈｄｚとする。また、現実物体の位置（現実物体に付加されたマーカ（例えばマーカ１０２）の位置）をＴｐｘ，Ｔｐｙ，Ｔｐｚとする。

ＨＭＤと現実物体の距離Ｄは

で求まる。

また、ＨＭＤが現実物体を真正面に見た場合の姿勢（方向単位ベクトル）Ｄｘ，Ｄｙ，Ｄｚは

で求まる。

ＨｄとＤの成す角度θが小さければＨＭＤが正面に近い向きであることが計算できる。例えば、ここで０≦θ≦１８０とすると

でθを求めることができる。
以上が図９の説明である。

本発明の第２の実施形態によれば、ＨＭＤと現実物体との距離に応じて変更される解像度のモードに応じて、複合現実における画像の出力方法を容易に切替え可能な仕組みを提供することができる。

次に、本発明の第３の実施形態について説明する。

本発明の第３の実施形態においては、カメラ（ＨＭＤ）の向いている方向に位置する開閉部の開閉に応じて、高解像度モードと低解像度モードを切替える処理を行う。

例えば、仮想オブジェクトの開閉部が開いた場合（開閉部を開く操作を受け付けた場合／開いている状態の場合）、ユーザが、当該開閉部の先にある現実物体の画像をより詳細に確認したいと考えられる。また、仮想オブジェクトの開閉部が開かれたことで、（図２２に示すように）開閉部が閉まっているときよりも仮想オブジェクトを描画する画像上の面積が増加してしまうため、当該描画の処理負荷を低減して高解像度の画像をユーザに提示すべく撮影モードを高解像度モードに変更する。

ここで図１１を参照して、本発明の第３の実施形態における、モード設定処理の詳細について説明する。

尚、図１１の処理は上述した第１の実施形態における図４の処理の代わりにＰＣ１００のＣＰＵ２０１により実行される。図５、図６の各処理（第１の実施形態と共通の処理）の内容は、第１の実施形態で説明した内容と同一のため、説明は割愛する。

ＰＣ１００のＣＰＵ２０１は、ＨＭＤ１０１の位置を取得し（位置取得手段）、ＨＭＤ１０１の向いている方向（ＨＭＤ１０１に設置されたカメラの向いている方向）に開閉部が存在するか判定する（ステップＳ１１０１）。

当該開閉部が存在するか否かの判定は、例えば、ＨＭＤ１０１の位置及び姿勢のベクトルと、開閉部のＭＲ空間上の位置情報を用いて行われる。当該開閉部のＭＲ空間上の位置の情報は、図１２のように、ＰＣ１００の外部メモリに予め記憶されている。当該開閉部が画像中にあるかどうかは、例えば、上述した第１の実施形態における、現実物体の位置（Ｔｐｘ，Ｔｐｙ，Ｔｐｚ）を開閉部位置９０２に置き換える（開閉部位置＝Ｔｐｘ，Ｔｐｙ，Ｔｐｚとする）ことで特定・判定するものとする。

ここで図１２を参照して、本発明の第３の実施形態における、データテーブルの構成の一例について説明する。

図１２のデータテーブル１２００は、ＰＣ１００の外部メモリに予め記憶されている、開閉部の位置及び開閉状態（開閉状況）を示すテーブルである。

オブジェクトＩＤ１２０１は、開閉部を備える仮想オブジェクト（ＣＧモデル）の識別情報である。開閉部位置１２０２は、開閉部のＭＲ空間上の座標位置を示す。例えば、オブジェクトＩＤ１２０１の中で開閉機構を備える部位（開閉機構を構成するＣＧモデルの集合）の中心位置であるものとする。例えば図１８でいう、１８０１の位置である。図１７は、本発明の実施形態における、開閉部の開閉の様子の一例を示す図である。

開閉状態１２０３は、開閉部の開閉状態を示す。ｏｐｅｎの場合、開閉部が開いている状態、ｃｌｏｓｅの場合、開閉部が閉じている状態を示す。当該開閉状態１２０３のステータスは、例えば、ユーザからの当該開閉部の開閉操作を受け付けた場合に、ＰＣ１００のＣＰＵ２０１により更新される。

例えば、オブジェクトＩＤ１２０１の示す仮想オブジェクトに対しユーザの手が触れた場合に、随時、当該オブジェクトＩＤに対応する開閉部の開閉状態を切替えるものとする。（開閉部が開いている状態で、仮想オブジェクトにユーザの手が触れた場合は、開閉状態１２０３をｏｐｅｎに、開閉部が閉じている状態で、仮想オブジェクトにユーザの手が触れた場合は、開閉状態１２０３をｃｌｏｓｅにする）

尚、ユーザの手が仮想オブジェクトに触れたかどうかの判定技術は既知の技術を用いる。例えば、手の位置を検出するためのマーカを添付した手袋をユーザに装着させて撮像することで、当該マーカの位置・大きさ・角度から手の位置、角度を検出し、当該手の位置が仮想オブジェクトの位置から所定の距離範囲内にあるかどうかを判断し、所定の距離範囲内にある場合に手が仮想オブジェクトに触れていると判断するものである。既知の技術であるため、ここでは説明を割愛する。以上が図１２の説明である。

図１１の説明に戻る。ＰＣ１００のＣＰＵ２０１は、ステップＳ１１０１で、ＨＭＤ１０１の向いている方向に開閉部が存在しない（検出されなかった）と判定した場合（ステップＳ１１０１でＮＯ）、撮影モードを低解像度モードに変更する（ステップＳ１１０４）。つまり、モード情報８３０に低解像度モードの設定を記憶する。

ＨＭＤ１０１の向いている方向に開閉部が存在すると判定した場合（ステップＳ１１０１でＹＥＳ）、当該開閉部の開閉状態１２０３を参照し、当該開閉部が開いているか否かを判定する（ステップＳ１１０２／開閉判定手段）。開閉部が閉じられている場合（ステップＳ１１０２でＮＯ）、処理をステップＳ１１０４に移行する。

開閉部が開かれている場合（ステップＳ１１０２でＹＥＳ）、ＰＣ１００のＣＰＵ２０１は、撮影モードを高解像度モードに変更する（ステップＳ１１０３）。つまり、モード情報８３０に高解像度モードの設定を記憶する。そして、図５、図６の処理を実行する。

本発明の第３の実施形態によれば、開閉部の開閉状態に応じて変更される解像度のモードに応じて、複合現実における画像の出力方法を容易に切替え可能な仕組みを提供することができる。

以上が本発明の第３の実施形態の説明である。

次に、本発明の第４の実施形態について説明する。

本発明の第４の実施形態においては、カメラ（ＨＭＤ）の向いている所定範囲（範囲１９０１）内に位置する開閉部の開閉と、当該開閉部の先の情報に応じて、撮影モードを変更する処理を行う。

例えば、仮想オブジェクトの開閉部が開いた場合（開閉部を開く操作を受け付けた場合／開いている状態の場合）で、当該開閉部の先に現実物体が存在する場合に、ユーザが、当該開閉部の先にある現実物体の画像をより詳細に確認したいと考えられるため、ＨＭＤ１０１のディスプレイに表示する画像を高解像度画像に変更する必要がある。また、開閉部の先に仮想オブジェクトがあった場合には、描画しなければならない仮想オブジェクトの数に応じて描画処理の負荷が増大することが考えられるため、ＨＭＤ１０１のディスプレイに表示する画像を低解像度画像に変更する必要がある。

よって、第４の実施形態においては、開閉部の先に現実物体がある場合に高解像度モードを設定し、開閉部の先に仮想オブジェクトがある場合に低解像度モードを設定する。

ここで図１３を参照して、本発明の第４の実施形態における、モード設定処理の詳細について説明する。

尚、図１３の処理は上述した第１の実施形態における図４の処理の代わりにＰＣ１００のＣＰＵ２０１により実行される。

他、第１の実施形態と共通の処理である図５、図６の各処理の内容は、第１の実施形態で説明した内容と同一のため、説明は割愛する。また、図１３のステップＳ１３０１及び１３０２の処理は、第３の実施形態における図１１のステップＳ１１０１、Ｓ１１０２の処理と同じであるため、説明は割愛する。

ＰＣ１００のＣＰＵ２０１は、ステップＳ１３０２で、ＨＭＤ１０１の向いている方向にある開閉部が開かれていると判定した場合、当該開閉部より先の所定の距離範囲内に、現実物体が存在するか、仮想オブジェクトが存在するかを判定する（ステップＳ１３０３）。

当該開閉部より先の所定の距離範囲内に現実物体が存在するか、仮想オブジェクトが存在するかの判定は、例えば、ＨＭＤ１０１の位置及び開閉部のＭＲ空間上の位置、図１４の物体間距離１４００の距離（所定の距離範囲）、仮想オブジェクトの位置８２２、現実物体の位置８１２の情報を用いて行われる。

図１４の物体間距離は、ＰＣ１００の外部メモリに予め記憶されている、ＨＭＤ１０１から見て、開閉部より先（奥／向こう側）の所定の距離範囲内に、現実物体が存在するか否かの判定に用いられる、当該所定の距離範囲の情報である。

つまり、図２０でいう、範囲１９０１内のライン２００１からライン２００２までの間の範囲内に、現実物体が存在するか判定する。図２０は、ＨＭＤ１０１の位置・姿勢（姿勢ベクトル）、現実物体の位置（例えばマーカ１０２の位置）、ＨＭＤ１０１の向いているベクトルに向けての所定範囲（範囲１９０１）、ＨＭＤ１０１から見て開閉部より先の所定距離範囲（物体間距離１４００によって示されるライン２００１からライン２００２の間の、範囲１９０１に含まれる範囲）の関係の一例を示している。

図１３の説明に戻る。ＰＣ１００のＣＰＵ２０１は、開閉部より先の所定の距離範囲内に仮想オブジェクトが存在すると判定した場合、処理をステップＳ１４０５に移行し、撮影モードを低解像度モードに変更する（ステップＳ１４０５）。

開閉部より先の所定の距離範囲内に現実物体（例えばマーカ１０２）が存在すると判定した場合、ＰＣ１００のＣＰＵ２０１は、撮影モードを高解像度モードに設定する（ステップＳ１４０４）。その後、図５、図６の処理を実行する。

以上説明したように、本発明の第４の実施形態によれば、開閉部の先の状態に応じて変更される解像度のモードに応じて、複合現実における画像の出力方法を容易に切替え可能な仕組みを提供することができる。

次に、本発明の第５の実施形態について説明する。

本発明の第５の実施形態においては、ＨＭＤと現実物体が所定距離と開閉部の開閉状態に応じて、高解像度モードと低解像度モードを切替える処理を行う。つまり、上述した第２の実施形態と、第３の実施形態又は第４の実施形態の処理を組み合わせた実施形態である。

例えば、ＨＭＤ１０１を装着したユーザが現実物体を確認しようと開閉部を開けて、現実物体の近くに移動した場合に、現実物体の詳細を確認させるため、高解像度モードに切り替える。

以下、図２３を参照して、本発明の第５の実施形態における、画像切替処理の詳細について説明する。図２３においては、一例として第２の実施形態（図９）の処理と、第４の実施形態（図１３）の処理とを組み合わせた処理の流れを説明する。

図２３の処理は、第１の実施形態における図４の処理の代わりにＰＣ１００のＣＰＵ２０１によって実行される。

図２３におけるステップＳ９０１〜Ｓ９０９の処理は図９のステップＳ９０１〜Ｓ９０９の処理と同じであるため説明は省略する。

ＰＣ１００のＣＰＵ２０１は、ステップＳ９０９において、ステップＳ９０７で算出した角度が角度１００２（ここでは３０°）以内か判定し（ステップＳ９０９／範囲判定手段／所定の範囲内か判定し））、３０°以内である場合（ステップＳ９０９でＹＥＳ）、現実物体がＨＭＤ１０１の向いている方向の所定範囲（範囲１９０１）内にあるものと判断して処理をステップＳ１３０１に移行する。３０°以内でない場合（ステップＳ９０９でＮＯ）、現実物体がＨＭＤ１０１の向いている方向の所定範囲（範囲１９０１）内にないものと判断して処理をステップＳ１３０５に移行する。

ステップＳ１３０１〜Ｓ１３０５の処理は図１３のステップＳ１３０１〜Ｓ１３０５の処理と同じであるため説明は省略する。以上が図２３の説明である。

尚、第２の実施形態と第３の実施形態を組み合わせた処理を行う場合は、図１９のステップＳ１３０３をスキップして、ステップＳ１３０２でＨＭＤ１０１の向いている方向にある開閉部が開かれていると判定した場合に（ステップＳ１３０２でＹＥＳ）処理をステップＳ１３０４に移行するものとする。

本発明の第５の実施形態によれば、ＨＭＤと現実物体が所定距離と開閉部の開閉状態に応じて変更される解像度のモードに応じて、複合現実における画像の出力方法を容易に切替え可能な仕組みを提供することができる。

また、図２３のステップＳ１３０３の処理を実行することで、ＨＭＤと現実物体が所定距離と、開閉部の開閉状態と、開閉部と現実物体の位置関係に応じて変更される解像度のモードに応じて、複合現実における画像の出力方法を容易に切替え可能な仕組みを提供することができる。

以上が本発明の第５の実施形態の説明である。

第５の実施形態で前述したように、上述した実施形態を組み合わせて、解像度のモードに応じて、複合現実における画像の出力方法を容易に切替えるようにしてもよい。

例えば、ＨＭＤ１０１から現実物体までの所定の距離が所定距離以内であって（第２の実施形態）、且つ、検出された開閉部が開かれている場合に（第３の実施形態）、高解像度モードに切替えるようにしてもよい。この場合、例えば、図９のステップＳ９０９でＹＥＳの場合に、処理を図１１のステップＳ１１０１に移行し、ステップＳ９０９でＮＯの場合には、処理をステップＳ１１０４に移行するようにする。図１１の処理終了後、処理を図５、図６の処理を実行する。

また、本発明の実施形態においては、現実物体を囲う外装が仮想オブジェクト（仮想オブジェクト１０３）であるものとしたが、例えば、当該現実物体を囲う外装自体が現実物体である場合でも、各実施形態における処理と同様の処理を適用するようにしてもよい。

外装が現実物体である場合、図１６、図１７に示すように、現実物体である外装板に二次元マーカを貼付し、前述のマーカ１０２の位置の特定方法と同様の方法で、当該二次元マーカの位置（例えば、当該二次元マーカの位置＝外装板の位置とする）を特定することができる。

また、図１６に示すように、開閉部の表面と開閉部近くの外装に二次元マーカを貼付して、当該２つのマーカを対応付けてＰＣ１００の外部メモリに記憶しておき、カメラから取得した画像において、当該２つのマーカのうち１しか検出されない場合には、開閉部が開いていると判定し、当該２つのマーカが２つとも検出される場合には、開閉部が閉じていると判定するものである。

また、図１７に示すように、開閉部の表面と裏面に二次元マーカを貼付して、カメラから取得した画像において、裏面の二次元マーカが検出されている場合には、開閉部が開いていると判定し、表面の二次元マーカが検出されている場合には、開閉部が閉じていると判定するようにしてもよい。開閉部の開閉の判定方法はこれらに限るものではない。

また、第３の実施形態・第４の実施形態において、開閉部が仮想オブジェクトである場合に、高解像度モードを利用するにあたり当該開閉部（仮想オブジェクト）を描画せずにＨＭＤ１０１に画像を送信してしまうと、ユーザは開閉部（仮想オブジェクト）が見えなくなってしまうため、当該仮想オブジェクトに触れることで開閉部を閉じることができなくなってしまう。

よって、ステップＳ６０４の前に、図２１に示すように、現実物体から所定距離２１１１以内にある仮想オブジェクトを透過したＭＲ画像を生成してＨＭＤ１０１に送信するようにしてもよい。具体的には、画像の最前面のレイヤに、当該所定距離２１１１を半径とする、仮想オブジェクト（ＣＧ）を描画しない領域を規定する球状のマスクオブジェクトを、マーカ１０２（現実物体）の位置を中心として配置して、ＭＲ画像を生成する。

当該所定距離２１１１の情報は、予めＰＣ１００の外部メモリに記憶されており、当該マスクオブジェクトの生成及び配置、ＭＲ画像の生成処理は、当該所定距離２１１１の情報を用いて、ＰＣ１００のＣＰＵ２０１が行うものとする。

これにより、ユーザが詳細に確認したい現実物体の周辺に位置するＣＧのみを表示しないようにすることができ、当該現実物体の確認を容易にすることができる。また、高解像度画像であっても、仮想オブジェクトを描画する範囲を減らすことができ、当該描画処理（ＭＲ画像の生成）にかかる処理負荷を軽減することができる。

また、上述した実施形態においては、仮想オブジェクトの重なった現実物体までの距離が短い場合（所定の値以内である場合）に、現実物体を精細に表示して仮想オブジェクトの描画処理による負荷を軽減するために高解像度モードを設定するものとした。しかし、例えば、反対に、現実物体がＨＭＤの近くにある場合には画像の解像度が低くとも現実物体を確認可能だが、現実物体がＨＭＤから遠い位置にある場合画像の解像度が低いと当該現実物体を視認できない／詳細に確認できない場合が考えられる。また、仮想オブジェクトの重なった現実物体との距離が離れているということは、他の現実物体（仮想オブジェクトの重なった現実物体）が視野内に入り込むことが考えられる。つまり、現実物体との距離が離れていることにより仮想オブジェクトを複数描画しなければならず、処理負荷が高まってしまう場合がある。

よって、例えば、上述の実施形態における、図９のステップＳ９１０の処理とステップＳ９１１の処理を入れ替えて、それぞれの処理のタイミングで、ＰＣ１００のＣＰＵ２０１が、現実物体がＨＭＤ１０１の位置から所定距離以内にあり、且つ、範囲１９０１内にある場合に、低解像度モードを設定し、現実物体がＨＭＤ１０１の位置から所定距離以内にない場合には、高解像度モードを設定するようにしてもよい。

これにより、遠方の被写体の画像を精細に表示させることができる。また、複数の仮想オブジェクトを描画することによる処理負荷を軽減することができる。

また、ＨＭＤ１０１が近づいたとしても詳細を確認させる必要がない現実物体がＭＲ空間上に存在することが考えられる。

例えば、図１５の被写体情報１５００の切替フラグ１５０１のように、現実物体に対して（ここでは現実物体に貼付されたマーカのＩＤに対して）当該現実物体とＨＭＤ１０１が所定距離内にある場合に低解像度モードを高解像度モードに切り替えるか、低解像度モードをそのまま利用するかを切り替えるかを設定しておき、当該設定に従って、当該現実物体と仮想オブジェクトが重なっている場合であって、当該現実物体とＨＭＤ１０１が所定距離内にある場合にいずれの撮影モードを用いるか決定することで、仮想オブジェクトと重なった高解像度画像で詳細を確認させる必要がある現実物体とＨＭＤ１０１が所定距離内にある場合に高解像度画像をＨＭＤ１０１に送信して表示させ、高解像度画像で詳細を確認させる必要がない現実物体とＨＭＤ１０１が所定距離内にある場合には低解像度画像をＨＭＤ１０１に送信して表示させることができる。

尚、図１５の各データテーブルは予めＰＣ１００の外部メモリに記憶されているものとする。図１５のマーカＩＤ８１１、位置８１２は図８のマーカＩＤ８１１、位置８１２と同じであるためここでは説明を割愛する。切替フラグ１５０１＝ＯＮの現実物体は、高解像度画像をＨＭＤ１０１に表示させるべき現実物体であり、切替フラグ１５０１＝ＯＦＦの現実物体は、高解像度画像をＨＭＤ１０１に表示させるべき現実物体でないものとする。

切替フラグ１５０１を用いた具体的な処理について説明する。ＰＣ１００のＣＰＵ２０１は、ステップＳ９０５で、ＨＭＤ１０１の位置から現実物体１０５の位置までの距離が、所定の距離（切替条件１０００における距離１００１）以内であると判定した場合に、当該現実物体を示すＩＤ（マーカＩＤ８１１）に対応する切替フラグ１５０１を参照して、当該現実物体が、ＨＭＤ１０１と近づいたことで高解像度画像をＨＭＤ１０１に表示させるべき現実物体か判定する。

高解像度画像をＨＭＤ１０１に表示させるべき現実物体である（切替フラグ１５０１＝ＯＮである）と判定した場合には処理をステップＳ９０６に移行し、高解像度画像をＨＭＤ１０１に表示させるべき現実物体でない（切替フラグ１５０１＝ＯＦＦである）と判定した場合には処理をステップＳ９１１に移行する。

当該切替フラグ１５０１を用いることにより、高解像度画像で詳細を確認させる必要がある現実物体とＨＭＤ１０１が所定距離内にある場合に高解像度画像をＨＭＤ１０１に送信して表示させ、高解像度画像で詳細を確認させる必要がない現実物体とＨＭＤ１０１が所定距離内にある場合には低解像度画像をＨＭＤ１０１に送信して表示させることができる。

以上説明したように、本発明によれば、ＨＭＤの位置情報を用いて、利用する異なる解像度の画像を、容易に切替え可能な仕組みを提供することができる。

本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、１つの機器からなる装置に適用してもよい。

上述した実施形態においては図４のステップＳ４０１で表示された不図示のモード設定画面においてユーザ操作に応じて高解像度モードまたは低解像度モードの設定がされるものとしたが、例えば、ＨＭＤ１０１にボタンスイッチを設けて、当該ボタンスイッチが押し込まれた場合にＨＭＤ１０１がモード情報８３０を現在設定中のモードから別のモード（低解像度モードまたは高解像度モード）に変更するようＰＣ１００に指示し、ＰＣ１００のＣＰＵ２０１が当該指示に従って、モード情報８３０の設定を変更して記憶するようにしてもよい。

また例えば、ＨＭＤ１０１が、図面に記載された各データテーブルの情報を必要に応じてＰＣ１００に要求して取得し、ＨＭＤ１０１が図４〜図６、図９、図１１、図１３、図２３の全ての処理を実行するようにしてもよい。

また例えば、ＨＭＤ１０１に外部メモリを設置し、図面に記載された各データテーブルの情報を当該ＨＭＤ１０１の外部メモリに記憶させて、ＨＭＤ１０１が当該外部メモリ上の各データテーブルの情報を用いて、図４〜図６、図９、図１１、図１３、図２３の全ての処理を実行するようにしてもよい。

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。

また、ＨＭＤ１０１は、ＧＯＯＧＬＥ ＧＬＡＳＳ（登録商標）のようなシースルー型の端末であってもよい（本発明におけるＨＭＤ１０１は、シースルー型の端末も含むものとする）。

例えば、図１に示す各種端末、マーカ等の構成は一例であり、用途や目的に応じて様々な構成例がある。例えば、赤外線カメラ（不図示）をＨＭＤ１０１の周辺に設置して、ＨＭＤ１０１に設置された光マーカ（オプティカルマーカ）を撮影し、撮影した結果取得したＨＭＤ１０１の位置姿勢の情報（座標の情報）をＰＣ１００に送信することでＨＭＤ１０１の位置・姿勢の情報を特定するようにしてもよい。

また、磁場を発生させるトランスミッター（不図示）を用いて、ＨＭＤ１０１の位置や姿勢を特定することも可能である。この場合、トランスミッターは磁場を発生し、発生した磁場をＨＭＤ１０１に備えられたレシーバが受信する。受信した磁場に関する情報をＰＣ１００に送信すると、磁場の強さからＨＭＤ１０１の位置や姿勢をＰＣ１００が特定するものとする。これにより、マーカが検出できない場合であってもＨＭＤの位置・姿勢を特定可能である。

このように、ＨＭＤ１０１の位置や姿勢を特定するためには、マーカやセンサ（赤外線、磁場）を用いる場合がある。ＨＭＤ１０１の位置や姿勢を特定できれば、どのような形態でも構わない。

また、上述した実施形態においては、ステップＳ９０５、ステップＳ９０９、Ｓ１３０３において、判定対象の距離が“所定の値以内であるか”を判定しているが、例えば、“所定の値より小さいか”判定するようにしてもよい。例えば、所定の値より小さい場合＝ステップＳ９０５でＹＥＳ、ステップＳ９０９でＹＥＳ、ステップＳ１３０３でＹＥＳ、であるものとし、判定対象の距離が所定の値以上の場合＝ステップＳ９０５でＮＯ、ステップＳ９０９でＮＯ、ステップＳ１３０３でＮＯ、であるものとする。

本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。

なお、前述した実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００ ＰＣ
１０１ ＨＭＤ
１０２ マーカ
１０３ 仮想オブジェクト
１０５ 現実物体
１５０ ＬＡＮ
２０１ ＣＰＵ
２０２ ＲＯＭ
２０３ ＲＡＭ
２０４ システムバス
２０５ 入力コントローラ
２０６ ビデオコントローラ
２０７ メモリコントローラ
２０８ 通信Ｉ／Ｆコントローラ
２０９ 入力デバイス
２１０ ディスプレイ
２１１ 外部メモリ
２２１ 右目ビデオカメラ
２２２ 左目ビデオカメラ
２２３ 右目ディスプレイ
２２４ 左目ディスプレイ
２２５ コントローラ

Claims (8)

1. 撮像装置と、画像を表示する表示装置と通信可能な、仮想空間上に配置されるオブジェクトである仮想オブジェクト及び当該仮想オブジェクトを配置する位置姿勢を記憶する記憶機能を備える情報処理装置であって、
   画像を撮像する位置である撮像位置の情報を取得する撮像位置取得手段と、
   前記撮像位置取得手段で取得した前記撮像位置から撮像された画像を記憶する画像記憶手段と、
   前記撮像位置取得手段で取得された撮像位置と、前記仮想オブジェクト及び仮想オブジェクトを配置する位置姿勢の情報に基いて、前記画像記憶手段に記憶された画像に仮想オブジェクトを重畳した複合現実画像を生成する複合現実画像生成手段と、
   画像を前記表示装置に表示させるべく出力する出力手段と、
   前記出力手段で、前記複合現実画像生成手段で生成された低解像度の複合現実画像を出力する低解像度モードと、前記画像記憶手段から取得された高解像度の画像を出力する高解像度モードとのいずれのモードが設定されているか特定するモード特定手段と、
   を備え、
   前記出力手段は、前記モード特定手段で前記低解像度モードが設定されていることが特定された場合に、前記複合現実画像生成手段で生成された低解像度の複合現実画像を出力し、前記モード特定手段で前記高解像度モードが設定されていることが特定された場合に、前記画像記憶手段から取得された高解像度の画像を出力することを特徴とする情報処理装置。
2. 前記記憶機能は更に、仮想空間における現実物体の位置を記憶し、
   前記現実物体の位置と仮想オブジェクトの位置とを用いて特定される、前記仮想オブジェクトと重なって配置される現実物体と、前記撮像位置取得手段で取得される前記撮像位置との距離が所定の距離以内か判定する距離判定手段と、
   前記距離判定手段で前記現実物体と前記撮像位置との距離が所定の距離以内であると判定された場合に、高解像度モードを設定する第１の設定手段と、
   を備え、
   前記距離判定手段で前記現実物体と前記撮像位置との距離が所定の距離以内であると判定された場合に、前記第1の設定手段により設定された高解像度モードが設定中であることに基いて、前記画像記憶手段から取得された高解像度の画像を出力することを特徴とする請求項１に記載の情報処理装置。
3. 前記記憶機能は更に、仮想空間における開閉機構の位置と、開閉機構の開閉状態を記憶し、
   前記開閉機構の位置と開閉状態に基いて、前記撮像位置取得手段で取得された撮像位置から撮像される範囲に位置する前記開閉機構が開いているか判定する開閉判定手段と、
   前記開閉判定手段で、前記撮像される範囲に位置する前記開閉機構が開いていると判定された場合に、高解像度モードを設定する第２の設定手段と、
   前記開閉判定手段で前記撮像される範囲に位置する前記開閉機構が開いていると判定された場合に、前記第２の設定手段により設定された高解像度モードが設定中であることに基いて、前記画像記憶手段から取得された高解像度の画像を出力することを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記開閉機構の先に仮想オブジェクトが存在する場合に、前記低解像度モードを設定する第３の設定手段と、
   前記開閉機構の先に現実物体が存在する場合に、前記高解像度モードを設定する第４の設定手段と、
   前記開閉機構の先に仮想オブジェクトが存在する場合に、前記第３の設定手段により設定された低解像度モードが設定中であることに基いて、前記複合現実画像生成手段により生成された低解像度の複合現実画像を出力し、
   前記開閉機構の先に現実物体が存在する場合に、前記第４の設定手段により設定された高解像度モードが設定中であることに基いて、前記画像記憶手段から取得された高解像度の画像を出力することを特徴とする請求項３に記載の情報処理装置。
5. 現実物体と、前記距離判定手段で当該現実物体と前記撮像位置との距離が所定の距離以内であると判定された場合に低解像度モードを設定すべきか高解像度モードを設定すべきかを対応付けて記憶する記憶手段と、
   を備え、
   前記第１の設定手段は、前記距離判定手段で前記現実物体と前記撮像位置との距離が所定の距離以内であると判定された場合であって、前記記憶手段において当該現実物体と前記撮像位置との距離が所定の距離以内であると判定された場合に高解像度モードを設定すべきと記憶されている場合に、高解像度モードを設定することを特徴とする請求項２乃至４のいずれか１項に記載の情報処理装置。
6. 撮像装置と、画像を表示する表示装置と通信可能な、仮想空間上に配置されるオブジェクトである仮想オブジェクト及び当該仮想オブジェクトを配置する位置姿勢を記憶する記憶機能を備える情報処理装置の制御方法であって、
   画像を撮像する位置である撮像位置の情報を取得する撮像位置取得工程と、
   前記撮像位置取得工程で取得した前記撮像位置から撮像された画像を記憶する画像記憶工程と、
   前記撮像位置取得工程で取得された撮像位置と、前記仮想オブジェクト及び仮想オブジェクトを配置する位置姿勢の情報に基いて、前記画像記憶工程に記憶された画像に仮想オブジェクトを重畳した複合現実画像を生成する複合現実画像生成工程と、
   画像を前記表示装置に表示させるべく出力する出力工程と、
   前記出力工程で、前記複合現実画像生成工程で生成された低解像度の複合現実画像を出力する低解像度モードと、前記画像記憶工程から取得された高解像度の画像を出力する高解像度モードとのいずれのモードが設定されているか特定するモード特定工程と、
   を含み、
   前記出力工程は、前記モード特定工程で前記低解像度モードが設定されていることが特定された場合に、前記複合現実画像生成工程で生成された低解像度の複合現実画像を出力し、前記モード特定工程で前記高解像度モードが設定されていることが特定された場合に、前記画像記憶工程から取得された高解像度の画像を出力することを特徴とする情報処理装置の制御方法。
7. 撮像装置と、画像を表示する表示装置と通信可能な、仮想空間上に配置されるオブジェクトである仮想オブジェクト及び当該仮想オブジェクトを配置する位置姿勢を記憶する記憶機能を備える情報処理装置で実行が可能なプログラムであって、
   前記情報処理装置を、
   画像を撮像する位置である撮像位置の情報を取得する撮像位置取得手段と、
   前記撮像位置取得手段で取得した前記撮像位置から撮像された画像を記憶する画像記憶手段と、
   前記撮像位置取得手段で取得された撮像位置と、前記仮想オブジェクト及び仮想オブジェクトを配置する位置姿勢の情報に基いて、前記画像記憶手段に記憶された画像に仮想オブジェクトを重畳した複合現実画像を生成する複合現実画像生成手段と、
   画像を前記表示装置に表示させるべく出力する出力手段と、
   前記出力手段で、前記複合現実画像生成手段で生成された低解像度の複合現実画像を出力する低解像度モードと、前記画像記憶手段から取得された高解像度の画像を出力する高解像度モードとのいずれのモードが設定されているか特定するモード特定手段として機能させ、
   前記出力手段は、前記モード特定手段で前記低解像度モードが設定されていることが特定された場合に、前記複合現実画像生成手段で生成された低解像度の複合現実画像を出力し、前記モード特定手段で前記高解像度モードが設定されていることが特定された場合に、前記画像記憶手段から取得された高解像度の画像を出力することを特徴とする情報処理装置のプログラム。
8. 撮像装置と、画像を表示する表示装置と、仮想空間上に配置されるオブジェクトである仮想オブジェクト及び当該仮想オブジェクトを配置する位置姿勢を記憶する記憶機能を備える情報処理装置とを含む情報処理システムであって、
   画像を撮像する位置である撮像位置の情報を取得する撮像位置取得手段と、
   前記撮像位置取得手段で取得した前記撮像位置から撮像された画像を記憶する画像記憶手段と、
   前記撮像位置取得手段で取得された撮像位置と、前記仮想オブジェクト及び仮想オブジェクトを配置する位置姿勢の情報に基いて、前記画像記憶手段に記憶された画像に仮想オブジェクトを重畳した複合現実画像を生成する複合現実画像生成手段と、
   画像を前記表示装置に表示させるべく出力する出力手段と、
   前記出力手段で、前記複合現実画像生成手段で生成された低解像度の複合現実画像を出力する低解像度モードと、前記画像記憶手段から取得された高解像度の画像を出力する高解像度モードとのいずれのモードが設定されているか特定するモード特定手段と、
   を備え、
   前記出力手段は、前記モード特定手段で前記低解像度モードが設定されていることが特定された場合に、前記複合現実画像生成手段で生成された低解像度の複合現実画像を出力し、前記モード特定手段で前記高解像度モードが設定されていることが特定された場合に、前記画像記憶手段から取得された高解像度の画像を出力することを特徴とする情報処理システム。
   

Images