JP2006012042A - 画像生成方法及び装置 - Google Patents

Abstract

【課題】 現実世界又はその映像に位置合わせされたＣＧ画像を生成する画像生成方法において、任意の現実物体について、ＣＧ画像を重畳した状態としない状態とを観察者が容易に観察可能とすること。
【解決手段】 ＣＧを重畳しないＣＧマスク領域を設定しておき、ＣＧマスク領域に含まれる現実物体にはＣＧを重畳しないようにする。任意の現実物体について選択的にＣＧが重畳された状態と重畳されない状態とを観察することが可能になる。
【選択図】 図１

Description

本発明は、現実世界もしくはその映像に位置合わせして表示するための画像を生成する画像生成方法及び装置に関する。

現実世界もしくはその映像に位置合わせされたＣＧ（Computer Graphics）を重畳した映像（以下、複合現実感映像という）を用いて、様々な行動を支援する技術は拡張現実感（ＡＲ: Augmented Reality）や複合現実感（ＭＲ: Mixed Reality）に関する技術として、活発に研究されている。具体的な検討例としては、患者の画像に体内のＣＧ映像を重畳し、患者の体内を透視しているように医師に提示する医療補助や、工場において製品の組み立て手順を部品の映像に重ねて表示する作業補助がある。また最近では、ＣＡＤデータをもとに生成された製品がＣＡＤデータと一致しているかどうかの製品チェックにＭＲを利用したいという要求がある。

加藤博一, Mark Billinghurst, 浅野浩一, 橘啓八郎: マーカー追跡に基づく拡張現実感システムとそのキャリブレーション, 日本バーチャルリアリティ学会論文誌, Vol.4, No.4, pp.607-616 (1999) 特開２００３−２９６７５９号公報

ところで、複合現実感映像を観察し、ＭＲ体験をしている際に、ＣＧが重畳されて見えない現実物体を観察したい場合がある。特に、上述した製品チェックにおいては、現実物体（製品）とＣＡＤデータを可視化したＣＧとを見比べる必要があることから、このような要求は大きい。

特許文献１には、複合現実感映像を生成する際、特定の現実物体（例えば体験者の手など）がＣＧで隠されずに常に見えるように、体験者の視点位置から撮影した現実空間映像から特定の現実物体に対応する領域を抽出し、その領域にはＣＧを描画（重畳）しないマスク処理（体験者の目の前の物体がＣＧに隠れずに見えるようにする処理）が記載されている。しかし、特許文献１記載の技術は、マスク処理する現実物体（マスク処理対象）は予め定められており、複合現実感映像の観察中にマスク処理対象を変化させることについては考慮されていない。

従来、複合現実感映像の観察中、体験者がＣＧに隠された現実物体を観察したくなった場合、（１）（邪魔なＣＧを構成している）仮想物体を選択して、他の場所へ移動する。それができなければ（２）ＣＧと実写とを切り替えて表示させる。それもできなければ（３）複合現実感映像を観察するための頭部装着型表示装置（ＨＭＤ）を取り外す、等が体験者の取りうる手段であった。

そして、（１）では、仮想物体を「選択」して「移動」というわずらわしい操作が必要であり、（２）では全てのＣＧを一斉に表示／非表示するため、一部のＣＧのみを選択的に非表示とすることができない。（３）はその都度ＨＭＤの着脱が必要であり、手間がかかる上、（２）と同様、所望のＣＧのみを非表示とすることはできない。

そこで、本出願人は先に特願２００３−２０４８１３において、ＣＧを表示したくない領域（マスク領域）を観察中にリアルタイムで指定可能とする技術を提案した。しかし、この方法においては、体験者はマスク領域を指定することに注意を払わなければならない。特に、作業支援システムなどにおいて、観察者が工具などの現実物体を手に持って作業をしながら複合現実感映像を観察している場合には、マスク領域を指定することがわずらわしい場合があった。

本発明はこのような従来技術の課題に鑑みなされたものであり、その目的は、体験者の観察する現実世界もしくはその映像に位置合わせして表示すべきＣＧ画像を生成する画像生成方法及び装置において、任意の現実物体についてＣＧを重畳した状態と重畳しない状態とを容易に観察可能とすることにある。

すなわち、本発明の要旨は、観察者の位置姿勢情報を用い、観察者が観察する現実空間もしくはその撮像画像に位置合わせされて観察されるようなＣＧ画像を生成する画像生成方法であって、観察者の位置姿勢情報を求める観察者位置姿勢情報取得ステップと、ＣＧ画像を位置合わせして表示すべき現実物体の位置姿勢情報を取得する現実物体位置姿勢情報取得ステップと、観察者及び現実物体の位置姿勢情報と、予め定められたＣＧマスク領域に関する情報とを用い、ＣＧ画像を生成するＣＧ画像生成ステップとを有し、ＣＧ画像生成ステップが、ＣＧマスク領域に含まれる部分を除いてＣＧ画像を生成することを特徴とする画像生成方法に存する。

また、本発明の別の要旨は、観察者の位置姿勢情報を用い、観察者が観察する現実空間もしくはその撮像画像に位置合わせされて観察されるようなＣＧ画像を生成する画像生成装置であって、観察者の位置姿勢情報を求める観察者位置姿勢情報取得手段と、ＣＧ画像を位置合わせして表示すべき現実物体の位置姿勢情報を取得する現実物体位置姿勢情報取得手段と、観察者及び現実物体の位置姿勢情報と、予め定められたＣＧマスク領域に関する情報とを用い、ＣＧ画像を生成するＣＧ画像生成手段とを有し、ＣＧ画像生成手段が、ＣＧマスク領域に含まれる部分を除いてＣＧ画像を生成することを特徴とする画像生成装置に存する。

また、本発明の別の要旨は、コンピュータに、本発明の画像生成方法を実現させるプログラム又はこのプログラムを格納したコンピュータ読み取り可能な記憶媒体に存する。

本発明によれば、ＣＧを表示しない領域をあらかじめ設定し、その領域についてはＣＧを生成しないことにより、任意の現実物体についてＣＧを重畳した状態と重畳しない状態とを容易に観察可能とすることができる。

以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。
●（第１の実施形態）
本発明の第１の実施形態に係る画像生成装置の一例は、体験者（観察者）が表示装置を装着して現実物体、ここでは簡単な形状のみを表現した模型（以下、モックアップ）を観察すると、詳細なデザインを表すＣＧ画像がモックアップに重畳表示されるＭＲシステムである。

本実施形態において、表示装置には、位置姿勢計測可能なビデオシースルーＨＭＤを用いる。つまり、ＨＭＤには位置姿勢計測センサおよびカメラが内蔵されており、体験者の略視点位置からの映像が体験者頭部の位置姿勢情報とともに取得可能である。もちろん、光学シースルーＨＭＤを利用することも可能である。

本実施形態におけるＭＲシステムには、ＣＧマスク領域設定モードと、観察モードとがある。
これらモードについて説明する。ＣＧマスク領域設定モードとは、ＣＧを重畳表示させない領域を設定するモードである（以下、ＣＧを重畳させない領域をＣＧマスク領域、ＣＧを重畳させる領域をＣＧ重畳領域と呼ぶ）。図１ではＣＧマスク領域は、立方体で囲まれた領域である。このＣＧマスク領域は、後述するユーザインタフェース（ＵＩ）を用いて、ＨＭＤを装着した状態で形、大きさ、３次元空間（現実空間）中の場所について、もしくはＨＭＤ表示画像中の２次元的な領域を任意に設定可能である（ＣＧマスク領域をあえて設定しないことも可能である）。

ＣＧマスク領域設定モードでは、ＣＧマスク領域が可視であることが望ましい。このことから、不図示のＵＩを用いて、ＣＧマスク領域の表示方法を選択できる。ＣＧマスク領域の表示方法例として、ＣＧマスク領域をワイヤフレームで表示したり、ＣＧマスク領域にはある透明度を持つＣＧを生成したりすることなどが挙げられるが、この手法に限ったものではない。

また、観察モードとは、実際にＭＲを体験するモードである。この観察モードでは、ＣＧ重畳領域内では、モックアップにデザインのＣＧが重畳表示されデザインを観察することができる。また、ＣＧマスク領域内ではＣＧが表示されないことからモックアップそのものを観察することができる。それゆえ、モックアップをＣＧマスク領域とＣＧ重畳領域との間で移動させることで、ＣＧを重畳表示させたり、ＣＧを重畳させなかったりと簡単に制御することができる。また、ＣＧマスク領域に存在するかどうかだけでＣＧの重畳可否が判定されるため、不特定多数の物体に対してＣＧの重畳可否制御を行うことが可能である。

ＣＧマスク領域を３次元空間の中で設定した場合、ＣＧマスク領域とＣＧ重畳領域との境界平面を境に、ＣＧマスク領域は部品が表示されず、ＣＧ重畳領域はＣＧが表示されることから、部品データＣＧの断面を観察することができる。
また、領域によってＣＧの重畳・非重畳を二分するのではなく、ＣＧ除去領域およびＣＧ重畳領域のＣＧの透明度を任意に変更するといった表示方法も可能である。これらの機能は、チェック部品と部品データとを見比べる部品チェックにおいて非常に有効である。

この観察モードにおいては、ＣＧマスク領域設定モードで表示したＣＧマスク領域の可視化のためのＣＧは、観察の邪魔となるため、描画しないことが望ましいが、必要によっては、領域の頂点のみ表示するなどといったことも可能である。この描画方法に関しても、不図示のＵＩを用いて設定可能である。

モックアップにデザインのＣＧを位置合わせして重畳表示するためには、システム側がモックアップの位置姿勢を認識する必要がある。例えば、モックアップにマーカ（撮影画像から抽出可能な指標）を貼り付けておき、ＨＭＤ内蔵の２台のカメラでモックアップを撮像した画像（ステレオ視差画像）中のマーカの座標とカメラの位置姿勢情報とから、周知のステレオ測量の原理でモックアップの位置姿勢を求めることができる。また、モックアップに位置姿勢センサを内蔵もしくは付加しておき、位置姿勢センサの出力に基づいてモックアップの位置姿勢を求めたり、マーカを用いた方法と位置姿勢センサを用いた方法とを組み合わせることも可能である。カメラが内蔵されていない光学シースルーＨＭＤを表示装置として用いる場合には、位置姿勢センサを用いた方法で認識すればよい。

次に、本実施形態におけるＣＧマスク領域の設定について説明する。ＣＧマスク領域の設定は、上述したように、システムモードをＣＧマスク領域設定モードにして行う。
ＣＧマスク領域の設定パラメータとしては、座標系、形状、大きさ、位置などがある。以下、これらパラメータと、その設定方法について説明する。
座標系の指定とは、ＣＧマスク領域をどの座標系に固定するかを指定する。座標系の設定には、世界座標系（３次元）、ユーザ座標系（３次元）、視野座標系（２次元）がある。

世界座標系では、ＣＧマスク領域は世界座標系に固定される。図２は、ユーザから見て右上部に直方体のＣＧマスク領域を設定した例を表した図である。観察モードにおいて、図２（ａ）のように、世界座標系に固定されたＣＧマスク領域にモックアップを持っていくと、図５（ａ）で示すように、ＣＧが重畳されずにモックアップそのものを観察することができる。また、図２（ｃ）のように、ＣＧマスク領域外（ＣＧ重畳領域）にモックアップを持っていくと、図５（ｃ）のように、例えばデザインのＣＧが重畳されたモックアップを観察することができる。また、図２（ｂ）のように、モックアップがＣＧマスク領域の境界をまたいだ位置にある場合には、ＣＧマスク領域内の部分のみＣＧが除去された状態となる（図５（ｂ））。

また、ユーザ座標系では、ＣＧマスク領域はユーザの位置（ユーザ座標）に固定される。つまり、世界座標系に固定されず、ユーザの位置に応じて動く領域となる。図４は、ユーザ座標系上部（例えば胸より上）にＣＧマスク領域を設定した例を表した図である。この場合、観察モードにおいて、ユーザ座標系の上部にモックアップを持っていくと、図５（ａ）のようにＣＧが重畳されずにモックアップそのものを観察することができる。また、ＣＧマスク領域外（ＣＧ重畳領域）にモックアップを持っていくと、図５（ｃ）のように、例えばデザインのＣＧが重畳されたモックアップを観察することができる。不図示であるが、ＣＧマスク領域を立方体の領域として設定すれば、ユーザの視線位置姿勢に応じて動く立方体領域となる。

さらに、視野座標系では、ＣＧマスク領域はユーザの視野画像の２次元座標系（正確にはＨＭＤに内蔵されたカメラの２次元画像座標系）に固定される。つまり、世界座標系に固定されず、ユーザの視線位置姿勢に応じて動く領域となる。図３は、ユーザの視野上部にＣＧマスク領域を設定した例を表した図である。この場合、観察モードにおいて、図３（ａ）のように、視野画像の上部にモックアップを持っていくと、図５（ａ）のようにＣＧが重畳されずにモックアップそのものを観察することができる。また、図３（ｃ）のように、視野画像下部のＣＧマスク領域外（ＣＧ重畳領域）にモックアップを持っていくと、図５（ｃ）のように、例えばデザインのＣＧが重畳されたモックアップを観察することができる。

ユーザは不図示のＵＩを用いて、ＣＧマスク領域の形状を選択することができる。選択できる形状として例えば、直方体、球、円柱などがある。さらに、形状を表すデータファイルを読み込ませることで、他の任意の形状を設定することも可能である。

次に、ＣＧマスク領域の大きさ、位置姿勢の指定方法について述べる。不図示のＵＩに直接数値を入力する方法もしくは、位置姿勢の入力装置を用いて操作する方法がある。
図６は、位置姿勢入力装置の一例としてのスタイラスの例を示す図である。スタイラスは例えばペン形状を有し、内部に位置姿勢センサが設けられている。位置姿勢センサが検出する位置姿勢と、スタイラス先端との距離ｄとから、スタイラス先端位置が推定できる。

本実施形態におけるスタイラスは、スイッチの押下回数により、操作モードが切り換わる。操作モードには、大きさ変更モード、位置姿勢変更モードがある。スイッチを押すごとに大きさ変更モードと位置姿勢変更モードとが切り替わる。

ＣＧマスク領域の大きさ、位置姿勢を変更する場合には、各モードでスイッチを押したままスタイラスを動かすことで実現される。つまり、大きさを変更する場合、スイッチを押すことで大きさ変更モードにし、そのままスイッチを押し続けながらスタイラスを動かすことで、ＣＧマスク領域の大きさを変更し（ＣＧマスク領域の中心位置からスタイラスの先端位置の方向を正の方向としたとき、スタイラスを正の方向へ動かすことで、ＣＧマスク領域の全体を均等に拡大することが可能。逆に、負の方向に動かすことで、ＣＧマスク領域を縮小することが可能）、適切な大きさになったところで、スイッチを放す。

また、位置姿勢を変更する場合、スイッチを押すことで位置姿勢変更モードに切り替え、そのままスイッチを押し続けながらスタイラスを動かすことで、ＣＧマスク領域の位置姿勢を変更し（ＣＧマスク領域の位置姿勢はスタイラスの位置姿勢の変更に追従される）、適切な位置姿勢になったところでスイッチを放す。図１０に、３次元空間にＣＧマスク領域を設定するＣＧマスク領域設定モードにおいて、スタイラスを用いてＣＧマスク領域の大きさを変更している状態を模式的に示す。図１０に示すＧＵＩの例では、ＣＧマスク領域を表すＣＧとその情報（座標、大きさ、座標系など）、操作ガイダンスメッセージ、現在のシステム動作モードなどが仮想物体としてテキスト表示されている。

図１０に示すように、観察者は、現実空間映像にＣＧマスク領域を表すＣＧ画像（ここでは点線によるワイヤフレームで描画されている）を観察しながら、対話的にＣＧマスク領域の大きさ、位置及び姿勢について設定又は変更を行うことができる。

スタイラスの位置、姿勢情報及びスイッチの情報は、スタイラスに接続された図示しない信号線や、発信機を通じてシステムが取得することが可能である。従って、大きさ変更モード、位置姿勢変更モードに応じて、取得したスタイラスの位置姿勢情報の変化をＣＧマスク領域を表すＣＧ画像に反映させ、対話的なＣＧマスク領域の設定及び変更を可能とする。

システムのモード変更（ＣＧマスク領域設定モード、観察モード）の切り替えを、スタイラススイッチのＯＮ−ＯＦＦで自動的に切り替わるようにしてもよい。つまりこの場合、観察モードである場合でも、スタイラスボタンをＯＮにすることでＣＧマスク領域設定モードに切り替わりＣＧマスク領域の大きさや位置を変更でき、スタイラスボタンをＯＦＦにすることで、観察モードに戻る。

図７は本実施形態に係るＭＲシステムの概略構成例を示すブロック図である。
撮像部１は、ここではＨＭＤに内蔵された一対のカメラである。撮像部１は体験者の右目及び左目が観察する現実空間の映像をそれぞれ撮影し、撮影映像を映像信号として撮影映像取込部２に出力する。なお、本明細書においては説明を簡単にするため、特に左目用画像と右目用画像の処理を分けて説明しないが、ＨＭＤに表示するための左目用合成画像と右目用合成画像（これらは視差画像である）を生成するため、実際には左目、右目用の２系統の処理が行われることは言うまでもない。

撮影映像取込部２は、撮像部１より入力された映像信号をディジタルデータ化するなど映像合成部６で取り扱うのに適した形式に変換して、映像合成部６に送出する。
ＣＧマスク領域設定部３では、後述するスタイラス状態検出部１０および操作入力部９から送出される観察者からの入力を受け付け、入力に応じてＣＧマスク領域を設定する。この詳細については後述する。また、ＣＧマスク領域抽出部３は、システムモードが観察モードに切り替わった場合（もしくは後述するＣＧ生成部５からの要求があった場合）、ＣＧマスク領域設定モードで設定されたＣＧマスク領域に関する情報（ＣＧマスク領域の形状、大きさに関する情報及びＣＧマスク領域の定義されている座標系、また、ＣＧマスク領域のＣＧの描画方法などのうち、必要な情報）をＣＧ生成部５に出力する。

撮影位置姿勢計測部４は、ここではＨＭＤに内蔵された位置姿勢センサを用いて撮像部１の位置及び姿勢の計測を行う。また撮影位置姿勢計測部４は、ＣＧ生成部５からの要求に応じて、又はＣＧ生成部５からの要求なしに、計測結果をＣＧ生成部５に送出する。さらに撮影位置姿勢計測部４は、ＣＧマスク領域設定部３からの要求に応じて、又はＣＧマスク領域設定部３からの要求なしに、計測結果をＣＧマスク領域設定部３に送出する。撮影位置姿勢計測部４は、位置姿勢センサとして例えば地磁気センサやジャイロ、光学式のセンサを利用することが考えられる。

ＣＧ生成部５は、撮影位置姿勢計測部４から撮像部１の位置姿勢情報を受け取り、撮像部１の位置・撮影方向を推定する。撮像部１の位置・撮影方向が推定できれば撮像部１のレンズパラメータから視野が求まる。さらにＣＧ生成部５は、システムモードが観察モードに切り替わった場合、また、ＣＧマスク領域に関するデータがない場合、ＣＧマスク領域設定部３から送出されるＣＧマスク領域に関する情報を入力する。

ＣＧ生成部５はＣＧマスク領域に関する情報（ＣＧマスク領域、ＣＧマスク領域の定義されている座標系、描画方法）およびシステムのモード（ＣＧマスク領域設定モード、観察モード）に応じて、データ部７から撮像部１の視野に入る部分かつＣＧ表示領域に表示すべきＣＧを生成するためのデータを取り出し、撮像部１で撮影した映像に表示すべきＣＧを生成し、映像合成部６に出力する。これにより、ＣＧマスク領域には描画されていないＣＧが生成される。

或いは、ＣＧ生成部５は、データ部７から撮像部１の視野に入る空間に描画すべき全てのＣＧ作成用データをデータ部７から取り出し、描画を行った後、ＣＧマスク領域として指定された領域部分を除去する演算を行うことによりＣＧ画像を生成しても良い。

映像合成部６は、撮影映像取込部２から撮影映像を、ＣＧ生成部５からＣＧデータを読み込む。そして、撮影映像取込部２からの撮影映像にＣＧ生成部５からのＣＧを重畳合成する。映像合成部６で生成した合成画像（複合現実感映像）は表示部８（本実施形態においてはＨＭＤ）に送出する。

データ部７は、たとえばハードディスクから構成される記憶装置であり、ＣＧ生成部５に引き渡すデータを所持する。データ部７に格納されるデータとしては、たとえばモックアップに重畳表示するための三次元ＣＧデータ（形状データ、テクスチャデータなど）、モックアップ以外の仮想物体に関する三次元ＣＧデータ、テキスト情報やパノラマ映像、等といったものが考えられる。データ部７はＣＧ生成部５からの要求に応じて適切なデータをＣＧ生成部５に送出する。たとえばＣＧ生成部５が撮像部１の視野に合成する三次元ＣＧデータを要求してきた時に、データ部７は格納されている三次元ＣＧデータの中から撮像部１の視野に含まれる三次元ＣＧデータを取り出して送出する。なお、データ部７はハードディスクに限らず、データを保持することができる媒体であれば何でもよく、たとえばテープ状の記録媒体や半導体記憶装置などで構成してもよい。

表示部８は上述の通り本実施形態においては左目用画像と右目用画像を独立表示可能なＨＭＤである。映像合成部６から送出された複合現実感映像を表示する。なお、本実施形態に係るＭＲシステムにおいても、従来知られるＭＲシステムのように、ＨＭＤは右目用画像表示部と左目用画像表示部とを有し、映像合成部６においては右目用の表示画像と左目用の表示画像を生成してＨＭＤへ供給することにより、体験者は３次元映像（すなわち、複合現実空間）を体験することが可能である。

操作入力部９は、各種入力機器（キーボード、マウス、ジョイスティックなど）によって実現される。操作入力部９の操作内容はＣＧマスク領域設定部３に入力される他、図示しないシステム全体の制御部へ与えられ、制御部が入力に応じてシステムモード（ＣＧマスク領域設定モード、観察モード）の切替処理や、ＣＧマスク領域へのＣＧの描画方法（描画しない、透明度の高いＣＧ描画）、ＣＧマスク領域の表示方法、およびＣＧマスク領域の設定処理を行う。

スタイラス状態検出部１０は、スタイラス１１に関する情報（位置姿勢・ボタンのオンオフなど）をスタイラス１１から取得し、ＣＧマスク領域設定部３からの要求に応じて、又はＣＧマスク領域抽出部３からの要求なしに、取得した情報をＣＧマスク領域設定部３に送出する。

以上の様な構成を備えた、本実施形態のＭＲシステムの動作について、図８に示すフローチャートを用いて以下説明する。なお、データ部７には予め必要なデータが格納されているものとする。
システムが起動されると、ステップＳ１００で撮像部１から映像が取得され、取得された撮影映像は撮影映像取込部２で適切なフォーマットに変換され、映像合成部６に送られる。

ステップＳ２００では撮影位置姿勢計測部４が撮像部１の位置姿勢を計測し、計測された位置姿勢情報はＣＧマスク領域設定部３およびＣＧ生成部５に送られる。
ステップＳ３００で、ユーザの入力を受け付ける。ユーザの入力がシステムモードの変更である場合、システムモードをユーザの入力に従って設定し、システムモード情報をＣＧ生成部５およびＣＧ領域設定部３に送る。

ステップＳ４００で、システムモードが観察モードである場合、ステップＳ４０１に進む。システムモードがＣＧマスク領域設定モードである場合、ステップＳ４１１に進む。
まずは、観察モードである場合の処理（Ｓ４０１からＳ４０２）について説明する。
ステップＳ４０１では、システムが観察モードに切り替わった場合、ＣＧ生成部５がＣＧマスク領域設定部３からＣＧマスク領域に関する情報を取得する。

ステップＳ４０２では、ＣＧ生成部５が、撮影位置姿勢計測部４から送出された位置姿勢情報から撮像部１の視野を推定し、各種モードに応じてデータ部７からデータを取得し、合成すべきＣＧを生成する。生成したＣＧ画像は映像合成部６に送られる。

次に、ＣＧマスク領域設定モードである場合の処理（Ｓ４１１からＳ４１２）について説明する。
ステップＳ４１１において、スタイラスボタンがＯＮである場合、スタイラスの操作モードが大きさ変更モードであった場合、ＣＧマスク領域の中心位置からスタイラスの先端位置をＣＧマスク領域の大きさとして再設定する。また、スタイラスの操作モードが位置姿勢変更モードであった場合、スタイラスの位置姿勢をＣＧマスク領域の位置姿勢として再設定する。スタイラスボタンがＯＦＦである場合には何もしない。

ステップＳ４１２では、ＣＧ生成部５が、撮影位置姿勢計測部４から送出された位置姿勢情報から撮像部１の視野を推定し、ＣＧマスク領域の設定パラメータに応じてＣＧマスク領域を表すＣＧを生成する。
ステップＳ５００では、映像合成部６において、撮影映像取込部２から送出された撮影映像と、ＣＧ生成部５から送出されたＣＧ映像を合成し、合成画像を表示部８へ出力する。

ステップＳ６００では映像合成部６から送出されてきた映像情報を表示部８が表示する。
その後ステップＳ７００でシステムを終了するかどうかがチェックされ、システムを終了させる場合はシステムを終了させ、終了させない場合にはステップＳ１００に戻り、上述の処理を繰り返す。

以上のように、第１の実施形態によれば、ＣＧを重畳したくない現実物体を指定するのではなく、ＣＧを重畳表示しない領域（ＣＧマスク領域）を設けることにより、予め定める必要なく、任意の現実物体について選択的にＣＧが重畳された状態とされない状態とを観察することができる。

また、ＣＧマスク領域を表すＣＧを仮想物体として表示することにより、観察者が容易にＣＧマスク領域を把握することができる。
さらに、ＣＧマスク領域の大きさや位置姿勢、形状を対話的に変更可能としたため、観察者の希望や用途に応じて適切なＣＧマスク領域を設定、変更することができる。

●（第２の実施形態）
次に、本発明の第２の実施形態に係る画像生成装置について説明する。本実施形態も第１の実施形態と同様のＭＲシステムを用いて説明する。

本実施形態において、表示装置には、カメラが内蔵されたビデオシースルーＨＭＤを用いる。第１の実施形態と異なる点は、頭部位置姿勢計測用の位置姿勢センサがＨＭＤに内蔵されていない点である。そのため、本実施形態において、現実世界（撮像画像）と仮想世界（ＣＧ画像）との位置合わせは、モックアップにマーカを貼り付け、ＨＭＤ内蔵のステレオカメラで撮像したステレオ画像からマーカを抽出して、カメラのレンズパラメータを用いてモックアップとカメラとの相対位置姿勢を算出することで行う。この相対的位置姿勢が算出できれば、ユーザとマーカの相対位置姿勢として用いることで、ユーザ座標系モックアップ（現実物体）に重なるＣＧ画像（仮想物体画像）が生成できる。

本実施形態に係るシステムも、第１の実施形態において説明したシステムと同様、動作モードとしてＣＧマスク領域設定モードと観察モードとを有する。各モードの詳細は第１の実施形態において説明したＭＲシステムと同様であるため、説明を省略する。

本実施形態において、第１の実施形態におけるマスク領域設定と異なるのは、座標系の指定において、世界座標系がないことである。これは、モックアップとのカメラとの相対的位置姿勢しか定義していないため、世界座標系という概念がないためである。

ＣＧマスク領域設定における座標系の選択肢から世界座標系がないことを除き、第１の実施形態と同様の操作により同様の領域設定を行うことができる。

図９は本発明の第２の実施形態に係る画像生成装置の一例としてのＭＲシステムの概略構成例を示すブロック図である。図９において、図７と同様の構成要素には同じ参照数字を付し、重複する説明は省略する。図９と図７とを比較すると明らかなように、本実施形態のＭＲシステムでは撮影映像取込部２からの撮像画像から、マーカを抽出し、マーカ情報（マーカの頂点の画像座標など）を撮影位置姿勢算出部４’に送出するマーカ抽出部１２が新たに設けられていること、撮影位置姿勢算出部４’が、マーカ抽出部１２からのマーカ情報および、データ部からのマーカ情報（例えばマーカのパターン、大きさ及び頂点座標に関する情報）及びレンズパラメータを使って、モックアップに対するＨＭＤ内蔵の撮像装置との相対的位置姿勢を算出することのみが第１の実施形態におけるＭＲシステムと異なる。

なお、現実物体に取り付けたマーカをカメラで撮影した画像を用い、マーカとカメラとの相対的な位置姿勢を推定することは、例えば非特許文献１に記載されるように当技術分野において公知の技術であるが、概要を述べると、例えば大きさが既知の四角形マーカを現実物体に貼り、マーカの４頂点の撮像画像における座標値を求め、マーカ情報とレンズパラメータとを用いてマーカ座標系とカメラ座標系との変換行列を推定することにより、カメラとマーカとの相対的位置姿勢を算出することができる。

なお、本実施形態のようにマーカを取り付ける現実物体の位置姿勢が無制限に変化する場合、マーカが常に撮影できるよう、複数のマーカを取り付け位置を異ならせて設けることが好ましい。

また、モックアップ以外にＣＧを重畳すべき現実物体がある場合には、その現実物体にもマーカを取り付けることで、モックアップと同様にしてカメラとの相対位置姿勢を求め、データ部から読み出した三次元ＣＧデータを用いてＣＧを位置合わせして重畳することができる。

このようにして求めた相対的な位置姿勢情報を第１の実施形態における位置姿勢情報と同じように用いることで、モックアップに所望のＣＧを位置合わせして重畳表示することが可能になる。

以上のように、第２の実施形態においても、第１の実施形態と同様の効果が得られるほか、ＨＭＤ用の位置姿勢センサが不要となる。

（他の実施形態）
第１及び第２の実施形態では、ＨＭＤとしてビデオシースルー型ＨＭＤを対象として説明したが、光学シースルーＨＭＤを用いる実施形態に適用することも可能である。
第１及び第２の実施形態では、ＣＧマスク領域を１つ設けた場合のみ説明したが、ＣＧマスク領域を複数設けることももちろん可能である。

なお、上述した実施形態のみならず、前述した実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いて当該プログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムを実行することによって同等の機能が達成される場合も本発明に含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記録媒体、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。

有線／無線通信を用いたプログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイル等、クライアントコンピュータ上で本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムデータファイル）を記憶し、接続のあったクライアントコンピュータにプログラムデータファイルをダウンロードする方法などが挙げられる。この場合、プログラムデータファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに配置することも可能である。

つまり、本発明の機能処理をコンピュータで実現するためのプログラムデータファイルを複数のユーザに対してダウンロードさせるサーバ装置も本発明に含む。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件を満たしたユーザに対して暗号化を解く鍵情報を、例えばインターネットを介してホームページからダウンロードさせることによって供給し、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。

本発明の概要を説明する図である。 ＣＧ除去領域の効果を模式的に示す図である。 本発明の第１の実施形態に係るＭＲシステムにおけるＣＧマスク領域を、視点座標系で設定した例を示す図である。 本発明の第１および第２の実施形態に係るＭＲシステムのＣＧマスク領域を、ユーザ座標系で設定した例を示す図である。 本発明の第１および第２の実施形態に係るＭＲシステムで、ユーザが観察する画像の例を示す図である。 本発明の実施形態に係るＭＲシステムで用いるスタイラスの例を示す図である。 本発明の第１の実施形態に係るＭＲシステムの概略構成例を示すブロック図である。 本発明の第１の実施形態に係るＭＲシステムの動作を説明するフローチャートである。 本発明の第２の実施形態に係るＭＲシステムの概略構成例を示すブロック図である。 ＣＧマスク領域の設定状態におけるＧＵＩの例を示す図である。

Claims (8)

1. 観察者の位置姿勢情報を用い、前記観察者が観察する現実空間もしくはその撮像画像に位置合わせされて観察されるようなＣＧ画像を生成する画像生成方法であって、
   前記観察者の位置姿勢情報を求める観察者位置姿勢情報取得ステップと、
   前記ＣＧ画像を位置合わせして表示すべき現実物体の位置姿勢情報を取得する現実物体位置姿勢情報取得ステップと、
   前記観察者及び前記現実物体の位置姿勢情報と、予め定められたＣＧマスク領域に関する情報とを用い、前記ＣＧ画像を生成するＣＧ画像生成ステップとを有し、
   前記ＣＧ画像生成ステップが、前記ＣＧマスク領域に含まれる部分を除いてＣＧ画像を生成することを特徴とする画像生成方法。
2. 前記ＣＧ画像生成ステップが、前記ＣＧマスク領域を表すＣＧ画像をさらに生成することを特徴とする請求項１記載の画像生成方法。
3. 前記観察者位置姿勢情報取得ステップが、前記観察者に取り付けられた位置姿勢センサを用いて前記観察者の位置姿勢情報を取得することを特徴とする請求項１又は請求項２記載の画像生成方法。
4. 前記観察者位置姿勢情報取得ステップが、前記現実物体に取り付けられた指標を撮像した画像を用いて前記観察者の位置姿勢情報を取得することを特徴とする請求項１又は請求項２記載の画像生成方法。
5. 前記ＣＧマスク領域の大きさ、形状及び位置姿勢の少なくとも１つを前記観察者が設定、変更可能な設定ステップを更に有することを特徴とする請求項１乃至請求項４のいずれか１項に記載の画像生成方法。
6. 観察者の位置姿勢情報を用い、前記観察者が観察する現実空間もしくはその撮像画像に位置合わせされて観察されるようなＣＧ画像を生成する画像生成装置であって、
   前記観察者の位置姿勢情報を求める観察者位置姿勢情報取得手段と、
   前記ＣＧ画像を位置合わせして表示すべき現実物体の位置姿勢情報を取得する現実物体位置姿勢情報取得手段と、
   前記観察者及び前記現実物体の位置姿勢情報と、予め定められたＣＧマスク領域に関する情報とを用い、前記ＣＧ画像を生成するＣＧ画像生成手段とを有し、
   前記ＣＧ画像生成手段が、前記ＣＧマスク領域に含まれる部分を除いてＣＧ画像を生成することを特徴とする画像生成装置。
7. コンピュータに、請求項１乃至請求項５のいずれか１項に記載の画像生成方法を実現させるプログラム。
8. 請求項７記載のプログラムを格納したコンピュータ読み取り可能な記録媒体。

Images