JP2006178661A - 情報処理方法および装置 - Google Patents

Abstract

【課題】 用途に応じて簡略されたＣＧデータを簡単に作成できるようにすること。
【解決手段】 ＣＧ生成部１０６は現実画像の視点位置姿勢情報に基づき複数のパーツで構成される仮想物体に関する３次元ＣＧモデルから仮想画像を生成し、画像合成部１０３はこの仮想画像と現実画像とを合成することにより複合現実空間画像を生成し、モデルデータ再構築部１０９は仮想画像におけるパーツの状態を示すパーツ画像情報に基づき、３次元ＣＧモデルを再構成する。
【選択図】 図１

Description

本発明は、仮想物体の画像を生成する為の技術に関するものである。

現実空間映像と仮想空間映像とを重畳して複合現実空間映像を生成するＭＲ(Mixed Reality)システムが従来から存在する（特許文献１を参照）。このシステムでは、観察者はヘッドマウントディスプレイ（ＨＭＤ）を頭部に装着し、このＨＭＤに備わっている表示部に表示される複合現実空間を観察する。

複合現実空間には仮想空間の３ＤＣＧモデルが表示されている。この３ＤＣＧモデルの複雑さは、システムに負荷を掛け、複合現実空間映像のフレームレートに影響を与える。例えば仮想空間を１００万ポリゴンで表現する場合には毎秒３０フレームで表示可能であったとしても、仮想空間を２００万ポリゴンで表現すればその表示は毎秒１０フレームに落ちてしまう場合がある。

また、ＭＲシステムでは観察者が動きながら任意の視点で複合現実空間を観察することができる。その際に観察者がストレスなく観察を行うためには描画レートは大体毎秒３０フレーム程度が必要とされる。そこで実際の運用においては十分なフレームレートで表示できるような３ＤＣＧモデルを使用することになる。
特開２００４−６２７５８号公報

しかしながら、世の中に存在する３ＤＣＧデータはＭＲシステムで表示するために作成された訳ではない。即ち、表現したい仮想空間によってはより多くのポリゴン数を必要とする場合もある。

そこでこのようにポリゴン数の多い仮想空間を複合現実空間中に表示する場合、従来では、一律にポリゴン数を減らしてデータの削減を行ったり、仮想空間を構成する部品を選んで省いていくといった作業が必要となる。

しかし、ポリゴン数の削減はモデルの形を崩す場合があるし、部品を手で選択して削減する場合は観察に不要な部品を選択するのが難しい。

本発明は以上の問題に鑑みて成されたものであり、用途に応じて簡略されたＣＧデータを簡単に作成できるようにすることを目的とする。

本発明の目的を達成するために、例えば本発明の情報処理方法は以下の構成を備える。

即ち、現実画像を取得する現実画像取得工程と、
現実画像の視点位置姿勢情報を取得する位置姿勢取得工程と、
前記視点位置姿勢情報に基づき、複数のパーツで構成される仮想物体に関する３次元ＣＧモデルから仮想画像を生成する仮想画像生成工程と、
前記現実画像と前記仮想画像を合成することにより複合現実空間画像を生成する合成工程と、
前記仮想画像におけるパーツの状態を示すパーツ画像情報を求めるパーツ画像情報取得工程と、
前記パーツ画像情報に基づき、前記３次元ＣＧモデルを再構成する再構成工程とを有することを特徴とする。

本発明の目的を達成するために、例えば本発明の情報処理装置は以下の構成を備える。

即ち、現実画像を取得する現実画像取得手段と、
現実画像の視点位置姿勢情報を取得する位置姿勢取得手段と、
前記視点位置姿勢情報に基づき、複数のパーツで構成される仮想物体に関する３次元ＣＧモデルから仮想画像を生成する仮想画像生成手段と、
前記現実画像と前記仮想画像を合成することにより複合現実空間画像を生成する合成手段と、
前記仮想画像におけるパーツの状態を示すパーツ画像情報を求めるパーツ画像情報取得手段と、
前記パーツ画像情報に基づき、前記３次元ＣＧモデルを再構成する再構成手段とを有することを特徴とする。

本発明の構成により、用途に応じて簡略されたＣＧデータを簡単に作成できるようにすることができる。

以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。

図１は、本実施形態に係るシステムの機能構成を示す図である。同図に示す如く、本システムは大まかには、ビデオシースルー型ＨＭＤ１３２、コンピュータ１０１、位置姿勢計測部１５０により構成されている。

コンピュータ１０１は同図に示す如く、画像合成部１０３、画像出力部１０４、画像入力部１０２、位置姿勢入力部１０５、ＣＧ生成部１０６、表示ＣＧ情報記録部１０７、表示ＣＧ解析部１０８、モデルデータ再構築部１０９、ＣＧデータ入力部１１０により構成されている。

ビデオシースルー型ＨＭＤ１３２は同図に示す如く、画像入力部１３５、画像表示部１３６、カメラ１３３、画像出力部１３４により構成されている。

次に、以上の各部の動作について説明する。ビデオシースルー型ＨＭＤ１３２は、現実空間と仮想空間とが融合した複合現実空間を観察する観察者が自身の頭部に装着するものである。

このビデオシースルー型ＨＭＤ１３２に備わっているカメラ１３３は現実空間の動画像を撮像するものであり、撮像した各フレームの画像は順次画像出力部１３４によりコンピュータ１０１側の画像入力部１０２に出力される。画像入力部１０２は、入力した現実空間の画像（フレーム画像）を画像合成部１０３に出力する。

一方で、位置姿勢計測部１５０は、カメラ１３３の位置姿勢を計測するためのものであり、その計測結果はコンピュータ１０１側の位置姿勢入力部１０５に入力される。この位置姿勢計測部１５０は、例えばカメラ１３３の近傍位置に設けられたものであり、例えば位置姿勢計測部１５０が磁気センサである場合には、磁気発生源の位置を原点とし、この原点で互いに直交する３軸をそれぞれｘ、ｙ、ｚ軸とする座標系（センサ座標系）における位置姿勢計測部１５０の位置姿勢に応じた磁気の変化を計測し、これを計測結果として位置姿勢入力部１０５に入力する。なお、以下ではカメラ１３３を「視点」と呼称する場合がある。位置姿勢入力部１０５は位置姿勢計測部１５０から受けた計測結果をデータとしてＣＧ生成部１０６に出力する。

また、ＣＧデータ入力部１１０は、仮想空間の画像を描画するために必要なデータであるＣＧデータ１２１を入力し、これをＣＧ生成部１０６に出力する。

ＣＧ生成部１０６は、位置姿勢入力部１０５から入力した計測結果を用いて視点のセンサ座標系における位置姿勢を求め（例えば予め位置姿勢計測部１５０とカメラ１３３との位置姿勢関係をデータとして求めておき、これを用いて、位置姿勢計測部１５０の計測結果を補正することで、センサ座標系におけるカメラ１３３の位置姿勢を求めることができる）、求めた位置姿勢の視点から観察される仮想空間の画像をＣＧデータ１２１を用いて生成する。なお、所定の位置姿勢を有する視点から観察される仮想空間の画像を生成する処理については周知のものであるので、これに関する説明は省略する。

画像合成部１０３は、画像入力部１０２から入力した現実空間の画像上に生成された仮想空間の画像を重畳することにより複合現実空間の画像を生成し、画像出力部１０４に出力する。画像出力部１０４は複合現実空間の画像をビデオシースルー型ＨＭＤ１３２に備わっている画像入力部１３５に出力する。画像出力部１３５は入力した複合現実空間の画像を画像表示部１３６に出力し、画像表示部１３６は入力した複合現実空間の画像を表示する。

画像表示部１３６はビデオシースルー型ＨＭＤ１３２を頭部に装着した観察者の眼前に複合現実空間の画像を提示することができる。

仮想空間は１以上の仮想物体により構成されており、更に１つの仮想物体は１以上のパーツにより構成されている。よってこの仮想物体の数やパーツの数が多いと、表示レートを落とさないと表示できなくなってしまう。そこで、本実施形態では、ＣＧデータ１２１に格納されているモデルデータを再構築するモデルデータ再構築モードを備え、用途に応じた簡略モデルデータを生成する機能を有する。

モデルデータ再構築モードが設定された場合は、ＣＧ生成部１０６は、視点の位置姿勢の取得処理、現実空間の画像の取得処理、ＣＧデータ１２１の取得処理、仮想空間の生成処理に加え、生成した仮想空間の画像上に表示された仮想物体のそれぞれについて、画像上に表示されたパーツの表示サイズ、表示時間などを求め、求めた表示サイズ、表示時間などの表示ＣＧ情報（パーツ画像情報）を表示ＣＧ情報記録部１０７に記録する。

表示ＣＧ情報記録部１０７は表示ＣＧ情報（パーツ画像情報）をフレーム毎に記録する。モデルデータ再構築部１０９は、フレーム毎に記録された各パーツの表示サイズや表示時間に基づいて、仮想物体を構成する各パーツから実際に表示に使用するパーツを選択し、選択したパーツのみで仮想物体が構成されるように新ＣＧデータ１２２を生成する。

モデルデータ再構築モードによれば、実際に複合現実空間を体験する際に不必要または重要でないパーツの描画を削除することにより得られる新ＣＧデータ１２２を、ＣＧ１２１から生成することができる。

新ＣＧデータ１２２を使用して、通常モードにより複合現実空間を体験することにより、仮想物体の描画にかかる計算負荷を低減することができ、表示レートを落とさずに表示することができる。

図９は、上記コンピュータ１０１の基本構成を示す図である。

同図において９０１はＣＰＵで、ＲＡＭ９０２やＲＯＭ９０３に格納されているプログラムやデータを用いて本コンピュータ１０１全体の制御を行うと共に、コンピュータ１０１が行う各処理を実行する。例えばＣＰＵ９０１は、図１に示した画像合成部１０３、画像出力部１０４、画像入力部１０２、位置姿勢入力部１０５、ＣＧ生成部１０６、表示ＣＧ情報記録部１０７、表示ＣＧ解析部１０８、モデルデータ再構築部１０９、ＣＧデータ入力部１１０の各部の機能を有する。即ち、各部が行う処理を実行する。

９０２はＲＡＭで、外部記憶装置９０６からロードされたプログラムやデータ、Ｉ／Ｆ９０７，９０８から入力された各種のデータを一時的に記憶するためのエリアを備えると共に、ＣＰＵ９０１が各種の処理を実行する際に用いるワークエリアを備える。

９０３はＲＯＭで、本コンピュータ１０１の設定データやブートプログラムなどを格納する。

９０４は操作部で、キーボードやマウスなどにより構成されており、本コンピュータ１０１の操作者が操作することで、各種の指示をＣＰＵ９０１に対して入力することができる。

９０５は表示部で、ＣＲＴや液晶画面などにより構成されており、ＣＰＵ９０１による処理結果を画像や文字などもでって表示することができる。

９０６は外部記憶装置で、ハードディスクドライブ装置などの大容量情報記憶装置であって、ここにＯＳ（オペレーティングシステム）や、ＣＰＵ９０１にコンピュータ１０１が行う各処理を実行させるためのプログラムやデータが保存されており、これらの一部、若しくは全部はＣＰＵ９０１の制御に従ってＲＡＭ９０２にロードされ、ＣＰＵ９０１による処理対象となる。なお、外部記憶装置９０６に保存されているデータには、上記ＣＧデータ１２１も含まれており、このＣＧデータ１２１は、仮想空間を構成する各仮想物体の画像を描画するために必要なデータであって、例えば各仮想物体がポリゴンにより構成されている場合には、各ポリゴンの頂点の位置データ、ポリゴンの法線データ、ポリゴンカラーデータであり、これらは仮想物体が複数のパーツからなる場合にはそれぞれのパーツ毎に管理されている。また、仮想物体に対してテクスチャマッピングを行う場合には、このテクスチャマッピングに用いるテクスチャのデータも外部記憶装置９０６に保存されている。

９０７はＩ／Ｆで、本コンピュータ１０１とビデオシースルー型ＨＭＤ１３２とを繋ぐためのものであり、このＩ／Ｆ９０７を介して本コンピュータ１０１はビデオシースルー型ＨＭＤ１３２とのデータ通信を行うことができる。

９０８はＩ／Ｆで、本コンピュータ１０１と位置姿勢計測部１５０とを繋ぐためのものであり、このＩ／Ｆ９０８を介して本コンピュータ１０１は位置姿勢計測部１５０とのデータ通信を行うことができる。

９０９は上述の各部を繋ぐバスである。

次に、以上説明したシステムの運用について説明する。図２は、本システムの使用者（上記観察者に相当）２０２と仮想物体を配置する台２０１とを示す図である。本実施形態ではこの仮想物体としてプリンタを用いるが、以下の説明の本質がこのモデルに限定するものではないことは以下の説明により明らかであろう。

図３は、ビデオシースルー型ＨＭＤ１３２を頭部に装着した観察者２０２と、台２０１、そしてこの台２０１の上に配置された仮想物体としてのプリンタ３０１を示す図である。なお、同図のプリンタ３０１は実際にはそこに存在するものではなく、ビデオシースルー型ＨＭＤ１３２を頭部に装着した観察者２０２のみが見えているものである。

本実施形態では観察者２０２はビデオシースルー型ＨＭＤ１３２を頭部に装着したままで、プリンタ３０１のモデルを複数の方向から観察する。図４は、観察者２０２がこのプリンタ３０１のモデルを複数の方向から観察する様子を示す図である。同図に示す如く、観察者２０２は、２０２ａ〜２０２ｅに示す各位置に立ってプリンタ３０１のモデルを観察する。これにより、コンピュータ１０１は、それぞれの視点位置から見えるプリンタ３０１のモデルの画像を生成することになる。

図５（ａ）〜（ｄ）はそれぞれ、プリンタ３０１のモデルを正面、上、右、左の４つの方向から見た場合に見えるプリンタ３０１のモデルの画像を示す図である。即ち、観察者がプリンタ３０１のモデルを正面、上、右、左の４つの方向から見た場合に、それぞれの視点の位置姿勢に基づいてコンピュータ１０１が生成した仮想空間の画像がそれぞれ図５（ａ）〜（ｄ）に示したものである。

同図に示す如く、プリンタ３０１のモデルを様々な方向から見た場合に、見えるパーツと見えないパーツとが存在する。また、見えていてもその表示サイズが著しく小さいものもある。よって観察者がプリンタ３０１のモデルを見る場合に、存在しなくても観察者には気づかれない、若しくは気づかれにくいパーツがある。よって本実施形態では、プリンタ３０１のモデルを構成する全てのパーツのうち、実際に表示に使用するパーツを決定し、決定したパーツのみでプリンタ３０１のモデルを構成するよう、プリンタ３０１のモデルのデータを再構成する。

図６は、このような再構成処理のフローチャートである。なお、同図のフローチャートに従った処理をＣＰＵ９０１に実行させるためのプログラムやデータは外部記憶装置９０６に保存されており、必要に応じてＣＰＵ９０１の制御に従ってＲＡＭ９０２にロードされ、ＣＰＵ９０１がこのロードされたプログラムやデータを用いて処理を行うことで、コンピュータ１０１は以下説明する各処理を実行することになる。

先ず、位置姿勢計測部１５０が計測した自身の位置姿勢を示す情報（位置姿勢情報）がＩ／Ｆ９０８を介してコンピュータ１０１に入力されるので、ＣＰＵ９０１はこれを一時的にＲＡＭ９０２に取得（記録）する（ステップＳ６０１）と共に、Ｉ／Ｆ９０７を介してカメラ１３３が撮像した各フレームの現実空間の画像が入力されるので、ＣＰＵ９０１はこれを順次ＲＡＭ９０２に取得（記録）する処理を行う（ステップＳ６０２）。

次にＣＰＵ９０１は、視点の位置姿勢を算出するのであるが、算出方法としては例えば、予め位置姿勢計測部１５０とカメラ１３３との位置姿勢関係をデータとして求めておき、これを用いて、位置姿勢計測部１５０の計測結果を補正することにより、センサ座標系における視点の位置姿勢を求める（ステップＳ６０３）。なお、算出方法についてはこれに限定するものではないし、求める視点の位置姿勢が属する座標系についても、適宜変更しても良い。

次にＣＰＵ９０１は、ステップＳ６０３で求めた位置姿勢の視点から見える仮想空間の画像を生成する処理を行う（ステップＳ６０４）。ここで、仮想空間の画像を生成する場合には、外部記憶装置９０６に保存されている「ＣＧデータ１２１」に基づいて生成する。本実施形態の場合には仮想空間にはプリンタ３０１のモデルのみが存在するので、ＣＰＵ９０１は、ステップＳ６０３で求めた位置姿勢の視点から見えるプリンタ３０１のモデルの画像を生成する。

そして次に、ステップＳ６０２でＲＡＭ９０２上に取得した現実空間の画像上に、ステップＳ６０４で生成した仮想空間の画像を重畳させた画像である複合現実空間画像を生成し（ステップＳ６０５）、これをＩ／Ｆ９０７を介してビデオシースルー型ＨＭＤ１３２に出力する（ステップＳ６０６）。

次にＣＰＵ９０１は、現在設定されているモードをチェックする（ステップＳ６０７）。モードの選択は本フローチャートに従った処理を開始する前に操作者が操作部９０４を操作して、図１０に示した操作画面を用いて行われる。図１０はモードを選択するためのＧＵＩの表示例を示す図で、同図のＧＵＩは表示部９０５の表示画面上に表示される。

同図のＧＵＩでは通常モード、モデルデータ再構築モードの何れかのモードを選択することができ、更にモデルデータ再構築モードを選択した場合にはモデルデータを再構築する（ＣＧデータ１２１から新ＣＧデータ１２２を作成する）ために用いる基準（基準１〜基準５）を選択することができる。それぞれの基準については後述する。

設定されているモードが通常モードである場合は、処理をステップＳ６０８に進め、操作部９０４の操作により本処理を終了する指示が入力されているのかを判断し、入力されている場合には本処理を終了し、入力されていない場合には処理をステップＳ６０１に戻し、以降の処理を繰り返す。

一方、ステップＳ６０７におけるチェック処理の結果、モデルデータ再構築モードが設定されている場合には処理をステップＳ６０９に進め、先ず、ステップＳ６０４において生成した仮想空間の画像に含まれている仮想物体毎に、表示されている各パーツの表示状態を示す情報（パーツ画像情報）をこの画像から取得し、これをＲＡＭ９０２に記録する（ステップＳ６０９）。本実施形態の場合には仮想空間にはプリンタ３０１のモデルのみが存在するので、このプリンタ３０１のモデルを構成する各パーツのパーツ画像情報をＲＡＭ９０２に記録する。このパーツ画像情報については後述する。

そして、ステップＳ６０９における記録処理を完了する旨の指示は操作部９０４を介して入力するのであるが、ステップＳ６０９における記録処理を完了する旨の指示をＣＰＵ９０１が検知していない場合には処理をステップＳ６１０を介してステップＳ６０８に進める。即ち、記録処理の終了を指示しない限り、各フレームの仮想空間の画像について、パーツ画像情報をＲＡＭ９０２に記録することになる。

一方、ステップＳ６０９における記録処理を完了する旨の指示が操作部９０４を介して入力され、ＣＰＵ９０１がこれを検知した場合にはステップＳ６１０を介してステップＳ６１１に進め、ＲＡＭ９０２に記録されたパーツ画像情報と設定された基準とに基づき、表示に使用するパーツを選択し、新ＣＧデータを生成する（ステップＳ６１１）。

本実施形態の場合には仮想空間にはプリンタ３０１のモデルのみが存在するので、このプリンタ３０１のモデルを構成する各パーツのうち、実際に表示に使用されるパーツが選択される。

ここで、実際に表示に使用するパーツの選択処理について説明する。選択の基準には様々なものがあるが、本実施形態では例として以下の５つの基準を用いる。

＜基準１＞
モデルデータ再構築モード中に生成された各仮想空間の画像において、すくなくとも１度表示されたパーツを選択する。つまり、一度も表示されなかったパーツは選択されない。

例えば図８に示すように、プリンタ３０１のモデルにおいて、その内部に位置するパーツ８０１はどのような視点位置からも見えない。よって、このようなパーツは選択されない。即ち、プリンタ３０１の新ＣＧデータには、このようなパーツは含まれない。

基準１を用いて表示対象となるパーツの選択する場合は、パーツ画像情報として、仮想物体を構成する各パーツの画像上における表示サイズ（例えば画素数）を求める。なお、画像上における各パーツの表示サイズを求める方法としては例えば以下のような方法がある。

ポリゴンを２Ｄ画面にレンダリングする部分で各パーツの表示サイズを計測する。具体的にはレンダリング時に２Ｄ画面に出力される各ドットがどのパーツの部分であるかをフレーム毎に記録していく。この記録を集計することで各パーツの画面露出度が測定される。

もしこの処理をリアルタイムにすると重い場合は観察者の位置姿勢を記録しておく。そして観察終了後に観察者の位置姿勢を再現してフレーム毎に上記処理を行う。

そして、基準１を用いて表示に使用するパーツの特定を行う際には、モデルデータ再構築モード中にＲＡＭ９０２に記録した各フレームにおける各パーツのパーツ画像情報を参照して、常に表示サイズが０のパーツを特定し、特定したパーツについては表示に使用しない。

図７は、パーツ画像情報を表示サイズとした場合に、１０個のパーツからなる仮想物体に対するパーツ画像情報の例を示す図で、同図に示す如く、各フレームにおける各パーツの表示サイズが記録されている。よってこのような場合、部品番号１，３，６，９，１０についてはモデルデータ再構築モード中（フレーム番号が１から７の仮想空間の画像を生成した期間中）に一度も画像上に表示されていないことになるので、これらのパーツは表示には使用しない。

＜基準２＞
モデルデータ再構築モード中にＲＡＭ９０２上に生成した仮想空間の画像において、表示サイズが所定サイズ以上のパーツを選択する。画像上でその表示サイズが著しく小さいものについては存在しなくても観察者には気づかれない、もしくは気づかれにくいので、このようなパーツについては表示には使用しないようにすることで、表示対象として処理するパーツの数が減らし、表示処理に係る処理負荷を軽減する。

基準２を用いて表示に使用するパーツの選択を行う場合には、基準１の場合と同様に、パーツ画像情報として表示サイズを用いる。

基準２を用いて表示に使用するパーツを選択する際は、モデルデータ再構築モード中にＲＡＭ９０２に記録した各フレームにおける各パーツのパーツ画像情報を参照して、表示サイズの最小値が所定の閾値以上のパーツを選択する。例えば図７の場合で、閾値を５とした場合には、部品番号１，３，６，９，１０に加え、部品番号８のパーツについても表示には使用しない。

なお、閾値はそれぞれのパーツで同じものであることに限定するものではなく、それぞれのパーツのサイズ（モデルのサイズ）に応じて異ならせても良い。即ち、サイズの大きいパーツに対しては閾値をより大きくし、サイズの小さいパーツに対しては閾値をより小さくしても良い。

＜基準３＞
モデルデータ再構築モード中にＲＡＭ９０２上に生成した仮想空間の画像において、表示サイズと自身の体積（大きさ）との比が所定値以下のパーツについては表示には使用しない。よって基準３を用いて表示に使用するパーツの特定を行う場合には、基準１の場合と同様に、パーツ画像情報として表示サイズを取得する必要がある。更に、各パーツについて予め体積を求めておく必要がある。

よって、基準３を用いて表示に使用するパーツの特定を行う際には、モデルデータ再構築モード中にＲＡＭ９０２に記録した各フレームにおける各パーツのパーツ画像情報を参照して、体積Ｖと表示サイズＰとの比Ｐ／Ｖが所定の閾値ｋ以上のパーツを選択する。

＜基準４＞
モデルデータ再構築モード中にＲＡＭ９０２上に生成した仮想空間の画像において、表示サイズと自身の複雑さとの比が所定値以下のパーツについては表示には使用しない。よって基準４を用いて表示に使用するパーツの特定を行う場合には、基準１の場合と同様に、パーツ画像情報として表示サイズを取得する必要がある。更に、各パーツについて予め複雑さを求めておく必要がある。ここで、「複雑さ」とは、ポリゴン数のことである。従って予め各パーツについて、パーツを構成するポリゴン数を計数しておく必要がある。

よって、基準４を用いて表示に使用するパーツの特定を行う際には、モデルデータ再構築モード中にＲＡＭ９０２に記録した各フレームにおける各パーツのパーツ画像情報を参照して、複雑さ（ポリゴン数）Ｃと表示サイズＰとの比Ｐ／Ｃが所定の閾値ｋ以上のパーツを選択する。

＜基準５＞
モデルデータ再構築モード中にＲＡＭ９０２上に生成した仮想空間の画像において、表示時間が所定時間以上のパーツを選択する。よって基準５を用いて表示に使用するパーツを選択する場合は、パーツ画像情報として表示時間を取得する。

即ち、画像上でその表示時間が著しく短いものについては存在しなくても観察者には気づかれない、もしくは気づかれにくいので、このようなパーツについては表示には使用しないようにすることで、表示対象として処理するパーツの数を減らすことができ、表示処理に係る処理負荷を軽減することができる。

よって、基準５を用いて表示に使用するパーツを選択する際は、モデルデータ再構築モード中にＲＡＭ９０２に記録した各フレームにおける各パーツのパーツ画像情報を参照して、観察時間（即ち、モデルデータ再構築モード中にＲＡＭ９０２に記録した仮想空間画像のフレーム数）Ｔ１と、各フレームにおいて画像上に登場する回数（即ち表示時間）Ｔ２との比Ｔ２／Ｔ１が所定の時間Ｔ３以上のパーツを選択する。

なお、「所定の時間Ｔ３」はそれぞれのパーツで同じものであることに限定するものではなく、それぞれのパーツのサイズ（モデルのサイズ）に応じて異ならせても良い。即ち、サイズの大きいパーツに対しては「所定の時間Ｔ３」をより長くし、サイズの小さいパーツに対しては「所定の時間Ｔ３」をより短くしても良い。

以上のようにしてステップＳ６１１における処理、即ち、様々な基準を用いて、新ＣＧデータとして使用するパーツを選択する。なお、上記基準は単独で用いるようにしても良いし、適宜組み合わせて用いるようにしても良い。

また、上記の選択処理では、ＣＧデータから新ＣＧデータとして登録するパーツを基準を用いて選択していたが、ＣＧデータから削除するパーツを基準を用いて選択するようにしても構わない。この場合、ＣＧデータから、選択されたパーツのデータを削除することにより新ＣＧデータを生成することができる。

図６に戻って、表示に使用するパーツの選択処理を行った後には、各仮想物体について、仮想物体を構成する各パーツのうち、選択されたパーツのみを用いて仮想物体を構成するように、ＣＧデータを再構成処理する（ステップＳ６１２）。本実施形態の場合には仮想空間にはプリンタ３０１のモデルのみが存在するので、プリンタ３０１のモデルを構成する各パーツのうち、表示に使用するとして選択されたパーツのみでプリンタ３０１のモデルを構成し、このようにして再構成されたプリンタ３０１のモデルのデータを生成する。即ち、上述のように、元々プリンタ３０１のモデルデータには、このプリンタ３０１のモデルを構成する各パーツ毎に、パーツを構成する各ポリゴンやテクスチャのデータが含まれているので、ステップＳ６１２ではこれらパーツ毎のデータのうち、実際に表示に使用するデータのみをこのプリンタ３０１のモデルデータとして残す。

このようにして、仮想物体を構成する各パーツのうち表示しなくても別段問題のないパーツについては削除することで、この仮想物体の画像を生成するための処理負荷を軽減させることができると共に、同様の目的のためにポリゴン数を削減する事で生じる「モデルの品質の劣化問題」については回避することができる。

そしてステップＳ６１２におけるモデルの再構成処理が完了すると、処理をステップＳ６０８に進める。

そしてこのようにして再構成された仮想物体のデータ（ＣＧデータ）は次回、通常モードに設定されたときに使用される。

なお、本実施形態では、１人の観察者が仮想物体をある位置、姿勢でもって観察することでコンピュータ１０１が生成する仮想空間の画像に基づいて、仮想物体を構成する各パーツのうち表示に使用するパーツを特定するようにしているが、これではある位置姿勢では表示に使用しないパーツの存在は気にならなかったものが、異なる位置姿勢でこの仮想物体を観察すると突然気になることもある。

そこで図４に示したように、仮想物体を様々な位置姿勢で観察し、その結果、様々な位置姿勢毎に得られる仮想空間画像のそれぞれについて上記処理を行うようにしする。これは即ち、仮想物体を観察する際に観察者が取り得る位置姿勢全てについて仮想空間画像を得、得たそれぞれの仮想空間画像を用いて表示に使用しないパーツを選択すれば、少なくとも、観察時に取った位置姿勢のどれで観察しても、削除したパーツの存在は気にならないはずである。

またこのような場合、観察者を複数人にして、それぞれ異なる位置姿勢でもって仮想物体を観察することで、様々な位置姿勢により観察された仮想物体の画像を得るようにしても良い。また、このような画像を予め外部記憶装置９０６に保存しておき、これを用いるようにしてもよい。即ち、仮想空間画像の取得形態については特に限定するものではない。

また図６のフローチャートにおいて、モデルデータ再構築モードに設定されている場合にいきなりステップＳ６０９における記録処理を行うのではなく、操作部９０４を介した指示が検出された時にのみ記録処理を行うようにしても良い。

また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

本発明の実施形態に係るシステムの機能構成を示す図である。 システムの使用者２０２と仮想物体を配置する台２０１とを示す図である。 ビデオシースルー型ＨＭＤ１３２を頭部に装着した観察者２０２と、台２０１、そしてこの台２０１の上に配置された仮想物体としてのプリンタ３０１を示す図である。 観察者２０２がこのプリンタ３０１のモデルを複数の方向から観察する様子を示す図である。 プリンタ３０１のモデルを正面、上、右、左の４つの方向から見た場合に見えるプリンタ３０１のモデルの画像を示す図である。 再構成処理のフローチャートである。 パーツ画像情報を表示サイズとした場合に、１０個のパーツからなる仮想物体に対するパーツ画像情報の例を示す図である。 プリンタ３０１のモデルを示す図である。 コンピュータ１０１の基本構成を示す図である。 モードを選択するためのＧＵＩの表示例を示す図である。

Claims (11)

1. 現実画像を取得する現実画像取得工程と、
   現実画像の視点位置姿勢情報を取得する位置姿勢取得工程と、
   前記視点位置姿勢情報に基づき、複数のパーツで構成される仮想物体に関する３次元ＣＧモデルから仮想画像を生成する仮想画像生成工程と、
   前記現実画像と前記仮想画像を合成することにより複合現実空間画像を生成する合成工程と、
   前記仮想画像におけるパーツの状態を示すパーツ画像情報を求めるパーツ画像情報取得工程と、
   前記パーツ画像情報に基づき、前記３次元ＣＧモデルを再構成する再構成工程とを有することを特徴とする情報処理方法。
2. 前記パーツ画像情報は表示サイズであり、
   前記再構成工程は、表示サイズに基づき、仮想画像を生成する際に必要なパーツを選択することを特徴とする請求項１記載の情報処理方法。
3. 前記再構成工程は、表示の有無に基づき、仮想画像を生成する際に必要なパーツを選択することを特徴とする請求項１記載の情報処理方法。
4. 前記パーツ画像情報は表示時間であり、
   前記再構成工程は、表示時間に基づき、仮想画像を生成する際に必要なパーツを選択することを特徴とする請求項１記載の情報処理方法。
5. 前記再構成工程は表示サイズをパーツの大きさで除した値に基づき、仮想画像を生成する際に必要なパーツを選択することを特徴とする請求項１記載の情報処理方法。
6. 前記再構成工程は表示サイズをパーツの複雑さで除したで値に基づき、仮想画像を生成する際に必要なパーツを選択することを特徴とする請求項１記載の情報処理方法。
7. 前記再構成工程は、複数の基準を組み合わせて、仮想画像を生成する際に必要なパーツを選択することを特徴とする請求項２乃至６のいずれかに記載の情報処理方法。
8. 前記再構成工程で、仮想画像を生成する際に必要なパーツを選択する際に用いる基準を、ユーザの指示に応じて設定する設定工程を更に有することを特徴とする請求項１乃至７のいずれかに記載の情報処理方法。
9. 前記パーツ画像情報取得工程は、複数の視点における仮想画像のそれぞれについて、前記パーツ画像情報を求めることを特徴とする請求項１乃至８のいずれかに記載の情報処理方法。
10. コンピュータに請求項１乃至９のいずれかに記載の情報処理方法を実行させることを特徴とするプログラム。
11. 現実画像を取得する現実画像取得手段と、
    現実画像の視点位置姿勢情報を取得する位置姿勢取得手段と、
    前記視点位置姿勢情報に基づき、複数のパーツで構成される仮想物体に関する３次元ＣＧモデルから仮想画像を生成する仮想画像生成手段と、
    前記現実画像と前記仮想画像を合成することにより複合現実空間画像を生成する合成手段と、
    前記仮想画像におけるパーツの状態を示すパーツ画像情報を求めるパーツ画像情報取得手段と、
    前記パーツ画像情報に基づき、前記３次元ＣＧモデルを再構成する再構成手段とを有することを特徴とする情報処理装置。

Images