JP2006012042A - 画像生成方法及び装置 - Google Patents
画像生成方法及び装置 Download PDFInfo
- Publication number
- JP2006012042A JP2006012042A JP2004191463A JP2004191463A JP2006012042A JP 2006012042 A JP2006012042 A JP 2006012042A JP 2004191463 A JP2004191463 A JP 2004191463A JP 2004191463 A JP2004191463 A JP 2004191463A JP 2006012042 A JP2006012042 A JP 2006012042A
- Authority
- JP
- Japan
- Prior art keywords
- image
- observer
- orientation
- orientation information
- mask
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
Abstract
【課題】 現実世界又はその映像に位置合わせされたCG画像を生成する画像生成方法において、任意の現実物体について、CG画像を重畳した状態としない状態とを観察者が容易に観察可能とすること。
【解決手段】 CGを重畳しないCGマスク領域を設定しておき、CGマスク領域に含まれる現実物体にはCGを重畳しないようにする。任意の現実物体について選択的にCGが重畳された状態と重畳されない状態とを観察することが可能になる。
【選択図】 図1
【解決手段】 CGを重畳しないCGマスク領域を設定しておき、CGマスク領域に含まれる現実物体にはCGを重畳しないようにする。任意の現実物体について選択的にCGが重畳された状態と重畳されない状態とを観察することが可能になる。
【選択図】 図1
Description
本発明は、現実世界もしくはその映像に位置合わせして表示するための画像を生成する画像生成方法及び装置に関する。
現実世界もしくはその映像に位置合わせされたCG(Computer Graphics)を重畳した映像(以下、複合現実感映像という)を用いて、様々な行動を支援する技術は拡張現実感(AR: Augmented Reality)や複合現実感(MR: Mixed Reality)に関する技術として、活発に研究されている。具体的な検討例としては、患者の画像に体内のCG映像を重畳し、患者の体内を透視しているように医師に提示する医療補助や、工場において製品の組み立て手順を部品の映像に重ねて表示する作業補助がある。また最近では、CADデータをもとに生成された製品がCADデータと一致しているかどうかの製品チェックにMRを利用したいという要求がある。
加藤博一, Mark Billinghurst, 浅野浩一, 橘啓八郎: マーカー追跡に基づく拡張現実感システムとそのキャリブレーション, 日本バーチャルリアリティ学会論文誌, Vol.4, No.4, pp.607-616 (1999)
特開2003−296759号公報
ところで、複合現実感映像を観察し、MR体験をしている際に、CGが重畳されて見えない現実物体を観察したい場合がある。特に、上述した製品チェックにおいては、現実物体(製品)とCADデータを可視化したCGとを見比べる必要があることから、このような要求は大きい。
特許文献1には、複合現実感映像を生成する際、特定の現実物体(例えば体験者の手など)がCGで隠されずに常に見えるように、体験者の視点位置から撮影した現実空間映像から特定の現実物体に対応する領域を抽出し、その領域にはCGを描画(重畳)しないマスク処理(体験者の目の前の物体がCGに隠れずに見えるようにする処理)が記載されている。しかし、特許文献1記載の技術は、マスク処理する現実物体(マスク処理対象)は予め定められており、複合現実感映像の観察中にマスク処理対象を変化させることについては考慮されていない。
従来、複合現実感映像の観察中、体験者がCGに隠された現実物体を観察したくなった場合、(1)(邪魔なCGを構成している)仮想物体を選択して、他の場所へ移動する。それができなければ(2)CGと実写とを切り替えて表示させる。それもできなければ(3)複合現実感映像を観察するための頭部装着型表示装置(HMD)を取り外す、等が体験者の取りうる手段であった。
そして、(1)では、仮想物体を「選択」して「移動」というわずらわしい操作が必要であり、(2)では全てのCGを一斉に表示/非表示するため、一部のCGのみを選択的に非表示とすることができない。(3)はその都度HMDの着脱が必要であり、手間がかかる上、(2)と同様、所望のCGのみを非表示とすることはできない。
そこで、本出願人は先に特願2003−204813において、CGを表示したくない領域(マスク領域)を観察中にリアルタイムで指定可能とする技術を提案した。しかし、この方法においては、体験者はマスク領域を指定することに注意を払わなければならない。特に、作業支援システムなどにおいて、観察者が工具などの現実物体を手に持って作業をしながら複合現実感映像を観察している場合には、マスク領域を指定することがわずらわしい場合があった。
本発明はこのような従来技術の課題に鑑みなされたものであり、その目的は、体験者の観察する現実世界もしくはその映像に位置合わせして表示すべきCG画像を生成する画像生成方法及び装置において、任意の現実物体についてCGを重畳した状態と重畳しない状態とを容易に観察可能とすることにある。
すなわち、本発明の要旨は、観察者の位置姿勢情報を用い、観察者が観察する現実空間もしくはその撮像画像に位置合わせされて観察されるようなCG画像を生成する画像生成方法であって、観察者の位置姿勢情報を求める観察者位置姿勢情報取得ステップと、CG画像を位置合わせして表示すべき現実物体の位置姿勢情報を取得する現実物体位置姿勢情報取得ステップと、観察者及び現実物体の位置姿勢情報と、予め定められたCGマスク領域に関する情報とを用い、CG画像を生成するCG画像生成ステップとを有し、CG画像生成ステップが、CGマスク領域に含まれる部分を除いてCG画像を生成することを特徴とする画像生成方法に存する。
また、本発明の別の要旨は、観察者の位置姿勢情報を用い、観察者が観察する現実空間もしくはその撮像画像に位置合わせされて観察されるようなCG画像を生成する画像生成装置であって、観察者の位置姿勢情報を求める観察者位置姿勢情報取得手段と、CG画像を位置合わせして表示すべき現実物体の位置姿勢情報を取得する現実物体位置姿勢情報取得手段と、観察者及び現実物体の位置姿勢情報と、予め定められたCGマスク領域に関する情報とを用い、CG画像を生成するCG画像生成手段とを有し、CG画像生成手段が、CGマスク領域に含まれる部分を除いてCG画像を生成することを特徴とする画像生成装置に存する。
また、本発明の別の要旨は、コンピュータに、本発明の画像生成方法を実現させるプログラム又はこのプログラムを格納したコンピュータ読み取り可能な記憶媒体に存する。
本発明によれば、CGを表示しない領域をあらかじめ設定し、その領域についてはCGを生成しないことにより、任意の現実物体についてCGを重畳した状態と重畳しない状態とを容易に観察可能とすることができる。
以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。
●(第1の実施形態)
本発明の第1の実施形態に係る画像生成装置の一例は、体験者(観察者)が表示装置を装着して現実物体、ここでは簡単な形状のみを表現した模型(以下、モックアップ)を観察すると、詳細なデザインを表すCG画像がモックアップに重畳表示されるMRシステムである。
●(第1の実施形態)
本発明の第1の実施形態に係る画像生成装置の一例は、体験者(観察者)が表示装置を装着して現実物体、ここでは簡単な形状のみを表現した模型(以下、モックアップ)を観察すると、詳細なデザインを表すCG画像がモックアップに重畳表示されるMRシステムである。
本実施形態において、表示装置には、位置姿勢計測可能なビデオシースルーHMDを用いる。つまり、HMDには位置姿勢計測センサおよびカメラが内蔵されており、体験者の略視点位置からの映像が体験者頭部の位置姿勢情報とともに取得可能である。もちろん、光学シースルーHMDを利用することも可能である。
本実施形態におけるMRシステムには、CGマスク領域設定モードと、観察モードとがある。
これらモードについて説明する。CGマスク領域設定モードとは、CGを重畳表示させない領域を設定するモードである(以下、CGを重畳させない領域をCGマスク領域、CGを重畳させる領域をCG重畳領域と呼ぶ)。図1ではCGマスク領域は、立方体で囲まれた領域である。このCGマスク領域は、後述するユーザインタフェース(UI)を用いて、HMDを装着した状態で形、大きさ、3次元空間(現実空間)中の場所について、もしくはHMD表示画像中の2次元的な領域を任意に設定可能である(CGマスク領域をあえて設定しないことも可能である)。
これらモードについて説明する。CGマスク領域設定モードとは、CGを重畳表示させない領域を設定するモードである(以下、CGを重畳させない領域をCGマスク領域、CGを重畳させる領域をCG重畳領域と呼ぶ)。図1ではCGマスク領域は、立方体で囲まれた領域である。このCGマスク領域は、後述するユーザインタフェース(UI)を用いて、HMDを装着した状態で形、大きさ、3次元空間(現実空間)中の場所について、もしくはHMD表示画像中の2次元的な領域を任意に設定可能である(CGマスク領域をあえて設定しないことも可能である)。
CGマスク領域設定モードでは、CGマスク領域が可視であることが望ましい。このことから、不図示のUIを用いて、CGマスク領域の表示方法を選択できる。CGマスク領域の表示方法例として、CGマスク領域をワイヤフレームで表示したり、CGマスク領域にはある透明度を持つCGを生成したりすることなどが挙げられるが、この手法に限ったものではない。
また、観察モードとは、実際にMRを体験するモードである。この観察モードでは、CG重畳領域内では、モックアップにデザインのCGが重畳表示されデザインを観察することができる。また、CGマスク領域内ではCGが表示されないことからモックアップそのものを観察することができる。それゆえ、モックアップをCGマスク領域とCG重畳領域との間で移動させることで、CGを重畳表示させたり、CGを重畳させなかったりと簡単に制御することができる。また、CGマスク領域に存在するかどうかだけでCGの重畳可否が判定されるため、不特定多数の物体に対してCGの重畳可否制御を行うことが可能である。
CGマスク領域を3次元空間の中で設定した場合、CGマスク領域とCG重畳領域との境界平面を境に、CGマスク領域は部品が表示されず、CG重畳領域はCGが表示されることから、部品データCGの断面を観察することができる。
また、領域によってCGの重畳・非重畳を二分するのではなく、CG除去領域およびCG重畳領域のCGの透明度を任意に変更するといった表示方法も可能である。これらの機能は、チェック部品と部品データとを見比べる部品チェックにおいて非常に有効である。
また、領域によってCGの重畳・非重畳を二分するのではなく、CG除去領域およびCG重畳領域のCGの透明度を任意に変更するといった表示方法も可能である。これらの機能は、チェック部品と部品データとを見比べる部品チェックにおいて非常に有効である。
この観察モードにおいては、CGマスク領域設定モードで表示したCGマスク領域の可視化のためのCGは、観察の邪魔となるため、描画しないことが望ましいが、必要によっては、領域の頂点のみ表示するなどといったことも可能である。この描画方法に関しても、不図示のUIを用いて設定可能である。
モックアップにデザインのCGを位置合わせして重畳表示するためには、システム側がモックアップの位置姿勢を認識する必要がある。例えば、モックアップにマーカ(撮影画像から抽出可能な指標)を貼り付けておき、HMD内蔵の2台のカメラでモックアップを撮像した画像(ステレオ視差画像)中のマーカの座標とカメラの位置姿勢情報とから、周知のステレオ測量の原理でモックアップの位置姿勢を求めることができる。また、モックアップに位置姿勢センサを内蔵もしくは付加しておき、位置姿勢センサの出力に基づいてモックアップの位置姿勢を求めたり、マーカを用いた方法と位置姿勢センサを用いた方法とを組み合わせることも可能である。カメラが内蔵されていない光学シースルーHMDを表示装置として用いる場合には、位置姿勢センサを用いた方法で認識すればよい。
次に、本実施形態におけるCGマスク領域の設定について説明する。CGマスク領域の設定は、上述したように、システムモードをCGマスク領域設定モードにして行う。
CGマスク領域の設定パラメータとしては、座標系、形状、大きさ、位置などがある。以下、これらパラメータと、その設定方法について説明する。
座標系の指定とは、CGマスク領域をどの座標系に固定するかを指定する。座標系の設定には、世界座標系(3次元)、ユーザ座標系(3次元)、視野座標系(2次元)がある。
CGマスク領域の設定パラメータとしては、座標系、形状、大きさ、位置などがある。以下、これらパラメータと、その設定方法について説明する。
座標系の指定とは、CGマスク領域をどの座標系に固定するかを指定する。座標系の設定には、世界座標系(3次元)、ユーザ座標系(3次元)、視野座標系(2次元)がある。
世界座標系では、CGマスク領域は世界座標系に固定される。図2は、ユーザから見て右上部に直方体のCGマスク領域を設定した例を表した図である。観察モードにおいて、図2(a)のように、世界座標系に固定されたCGマスク領域にモックアップを持っていくと、図5(a)で示すように、CGが重畳されずにモックアップそのものを観察することができる。また、図2(c)のように、CGマスク領域外(CG重畳領域)にモックアップを持っていくと、図5(c)のように、例えばデザインのCGが重畳されたモックアップを観察することができる。また、図2(b)のように、モックアップがCGマスク領域の境界をまたいだ位置にある場合には、CGマスク領域内の部分のみCGが除去された状態となる(図5(b))。
また、ユーザ座標系では、CGマスク領域はユーザの位置(ユーザ座標)に固定される。つまり、世界座標系に固定されず、ユーザの位置に応じて動く領域となる。図4は、ユーザ座標系上部(例えば胸より上)にCGマスク領域を設定した例を表した図である。この場合、観察モードにおいて、ユーザ座標系の上部にモックアップを持っていくと、図5(a)のようにCGが重畳されずにモックアップそのものを観察することができる。また、CGマスク領域外(CG重畳領域)にモックアップを持っていくと、図5(c)のように、例えばデザインのCGが重畳されたモックアップを観察することができる。不図示であるが、CGマスク領域を立方体の領域として設定すれば、ユーザの視線位置姿勢に応じて動く立方体領域となる。
さらに、視野座標系では、CGマスク領域はユーザの視野画像の2次元座標系(正確にはHMDに内蔵されたカメラの2次元画像座標系)に固定される。つまり、世界座標系に固定されず、ユーザの視線位置姿勢に応じて動く領域となる。図3は、ユーザの視野上部にCGマスク領域を設定した例を表した図である。この場合、観察モードにおいて、図3(a)のように、視野画像の上部にモックアップを持っていくと、図5(a)のようにCGが重畳されずにモックアップそのものを観察することができる。また、図3(c)のように、視野画像下部のCGマスク領域外(CG重畳領域)にモックアップを持っていくと、図5(c)のように、例えばデザインのCGが重畳されたモックアップを観察することができる。
ユーザは不図示のUIを用いて、CGマスク領域の形状を選択することができる。選択できる形状として例えば、直方体、球、円柱などがある。さらに、形状を表すデータファイルを読み込ませることで、他の任意の形状を設定することも可能である。
次に、CGマスク領域の大きさ、位置姿勢の指定方法について述べる。不図示のUIに直接数値を入力する方法もしくは、位置姿勢の入力装置を用いて操作する方法がある。
図6は、位置姿勢入力装置の一例としてのスタイラスの例を示す図である。スタイラスは例えばペン形状を有し、内部に位置姿勢センサが設けられている。位置姿勢センサが検出する位置姿勢と、スタイラス先端との距離dとから、スタイラス先端位置が推定できる。
図6は、位置姿勢入力装置の一例としてのスタイラスの例を示す図である。スタイラスは例えばペン形状を有し、内部に位置姿勢センサが設けられている。位置姿勢センサが検出する位置姿勢と、スタイラス先端との距離dとから、スタイラス先端位置が推定できる。
本実施形態におけるスタイラスは、スイッチの押下回数により、操作モードが切り換わる。操作モードには、大きさ変更モード、位置姿勢変更モードがある。スイッチを押すごとに大きさ変更モードと位置姿勢変更モードとが切り替わる。
CGマスク領域の大きさ、位置姿勢を変更する場合には、各モードでスイッチを押したままスタイラスを動かすことで実現される。つまり、大きさを変更する場合、スイッチを押すことで大きさ変更モードにし、そのままスイッチを押し続けながらスタイラスを動かすことで、CGマスク領域の大きさを変更し(CGマスク領域の中心位置からスタイラスの先端位置の方向を正の方向としたとき、スタイラスを正の方向へ動かすことで、CGマスク領域の全体を均等に拡大することが可能。逆に、負の方向に動かすことで、CGマスク領域を縮小することが可能)、適切な大きさになったところで、スイッチを放す。
また、位置姿勢を変更する場合、スイッチを押すことで位置姿勢変更モードに切り替え、そのままスイッチを押し続けながらスタイラスを動かすことで、CGマスク領域の位置姿勢を変更し(CGマスク領域の位置姿勢はスタイラスの位置姿勢の変更に追従される)、適切な位置姿勢になったところでスイッチを放す。図10に、3次元空間にCGマスク領域を設定するCGマスク領域設定モードにおいて、スタイラスを用いてCGマスク領域の大きさを変更している状態を模式的に示す。図10に示すGUIの例では、CGマスク領域を表すCGとその情報(座標、大きさ、座標系など)、操作ガイダンスメッセージ、現在のシステム動作モードなどが仮想物体としてテキスト表示されている。
図10に示すように、観察者は、現実空間映像にCGマスク領域を表すCG画像(ここでは点線によるワイヤフレームで描画されている)を観察しながら、対話的にCGマスク領域の大きさ、位置及び姿勢について設定又は変更を行うことができる。
スタイラスの位置、姿勢情報及びスイッチの情報は、スタイラスに接続された図示しない信号線や、発信機を通じてシステムが取得することが可能である。従って、大きさ変更モード、位置姿勢変更モードに応じて、取得したスタイラスの位置姿勢情報の変化をCGマスク領域を表すCG画像に反映させ、対話的なCGマスク領域の設定及び変更を可能とする。
システムのモード変更(CGマスク領域設定モード、観察モード)の切り替えを、スタイラススイッチのON−OFFで自動的に切り替わるようにしてもよい。つまりこの場合、観察モードである場合でも、スタイラスボタンをONにすることでCGマスク領域設定モードに切り替わりCGマスク領域の大きさや位置を変更でき、スタイラスボタンをOFFにすることで、観察モードに戻る。
図7は本実施形態に係るMRシステムの概略構成例を示すブロック図である。
撮像部1は、ここではHMDに内蔵された一対のカメラである。撮像部1は体験者の右目及び左目が観察する現実空間の映像をそれぞれ撮影し、撮影映像を映像信号として撮影映像取込部2に出力する。なお、本明細書においては説明を簡単にするため、特に左目用画像と右目用画像の処理を分けて説明しないが、HMDに表示するための左目用合成画像と右目用合成画像(これらは視差画像である)を生成するため、実際には左目、右目用の2系統の処理が行われることは言うまでもない。
撮像部1は、ここではHMDに内蔵された一対のカメラである。撮像部1は体験者の右目及び左目が観察する現実空間の映像をそれぞれ撮影し、撮影映像を映像信号として撮影映像取込部2に出力する。なお、本明細書においては説明を簡単にするため、特に左目用画像と右目用画像の処理を分けて説明しないが、HMDに表示するための左目用合成画像と右目用合成画像(これらは視差画像である)を生成するため、実際には左目、右目用の2系統の処理が行われることは言うまでもない。
撮影映像取込部2は、撮像部1より入力された映像信号をディジタルデータ化するなど映像合成部6で取り扱うのに適した形式に変換して、映像合成部6に送出する。
CGマスク領域設定部3では、後述するスタイラス状態検出部10および操作入力部9から送出される観察者からの入力を受け付け、入力に応じてCGマスク領域を設定する。この詳細については後述する。また、CGマスク領域抽出部3は、システムモードが観察モードに切り替わった場合(もしくは後述するCG生成部5からの要求があった場合)、CGマスク領域設定モードで設定されたCGマスク領域に関する情報(CGマスク領域の形状、大きさに関する情報及びCGマスク領域の定義されている座標系、また、CGマスク領域のCGの描画方法などのうち、必要な情報)をCG生成部5に出力する。
CGマスク領域設定部3では、後述するスタイラス状態検出部10および操作入力部9から送出される観察者からの入力を受け付け、入力に応じてCGマスク領域を設定する。この詳細については後述する。また、CGマスク領域抽出部3は、システムモードが観察モードに切り替わった場合(もしくは後述するCG生成部5からの要求があった場合)、CGマスク領域設定モードで設定されたCGマスク領域に関する情報(CGマスク領域の形状、大きさに関する情報及びCGマスク領域の定義されている座標系、また、CGマスク領域のCGの描画方法などのうち、必要な情報)をCG生成部5に出力する。
撮影位置姿勢計測部4は、ここではHMDに内蔵された位置姿勢センサを用いて撮像部1の位置及び姿勢の計測を行う。また撮影位置姿勢計測部4は、CG生成部5からの要求に応じて、又はCG生成部5からの要求なしに、計測結果をCG生成部5に送出する。さらに撮影位置姿勢計測部4は、CGマスク領域設定部3からの要求に応じて、又はCGマスク領域設定部3からの要求なしに、計測結果をCGマスク領域設定部3に送出する。撮影位置姿勢計測部4は、位置姿勢センサとして例えば地磁気センサやジャイロ、光学式のセンサを利用することが考えられる。
CG生成部5は、撮影位置姿勢計測部4から撮像部1の位置姿勢情報を受け取り、撮像部1の位置・撮影方向を推定する。撮像部1の位置・撮影方向が推定できれば撮像部1のレンズパラメータから視野が求まる。さらにCG生成部5は、システムモードが観察モードに切り替わった場合、また、CGマスク領域に関するデータがない場合、CGマスク領域設定部3から送出されるCGマスク領域に関する情報を入力する。
CG生成部5はCGマスク領域に関する情報(CGマスク領域、CGマスク領域の定義されている座標系、描画方法)およびシステムのモード(CGマスク領域設定モード、観察モード)に応じて、データ部7から撮像部1の視野に入る部分かつCG表示領域に表示すべきCGを生成するためのデータを取り出し、撮像部1で撮影した映像に表示すべきCGを生成し、映像合成部6に出力する。これにより、CGマスク領域には描画されていないCGが生成される。
或いは、CG生成部5は、データ部7から撮像部1の視野に入る空間に描画すべき全てのCG作成用データをデータ部7から取り出し、描画を行った後、CGマスク領域として指定された領域部分を除去する演算を行うことによりCG画像を生成しても良い。
映像合成部6は、撮影映像取込部2から撮影映像を、CG生成部5からCGデータを読み込む。そして、撮影映像取込部2からの撮影映像にCG生成部5からのCGを重畳合成する。映像合成部6で生成した合成画像(複合現実感映像)は表示部8(本実施形態においてはHMD)に送出する。
データ部7は、たとえばハードディスクから構成される記憶装置であり、CG生成部5に引き渡すデータを所持する。データ部7に格納されるデータとしては、たとえばモックアップに重畳表示するための三次元CGデータ(形状データ、テクスチャデータなど)、モックアップ以外の仮想物体に関する三次元CGデータ、テキスト情報やパノラマ映像、等といったものが考えられる。データ部7はCG生成部5からの要求に応じて適切なデータをCG生成部5に送出する。たとえばCG生成部5が撮像部1の視野に合成する三次元CGデータを要求してきた時に、データ部7は格納されている三次元CGデータの中から撮像部1の視野に含まれる三次元CGデータを取り出して送出する。なお、データ部7はハードディスクに限らず、データを保持することができる媒体であれば何でもよく、たとえばテープ状の記録媒体や半導体記憶装置などで構成してもよい。
表示部8は上述の通り本実施形態においては左目用画像と右目用画像を独立表示可能なHMDである。映像合成部6から送出された複合現実感映像を表示する。なお、本実施形態に係るMRシステムにおいても、従来知られるMRシステムのように、HMDは右目用画像表示部と左目用画像表示部とを有し、映像合成部6においては右目用の表示画像と左目用の表示画像を生成してHMDへ供給することにより、体験者は3次元映像(すなわち、複合現実空間)を体験することが可能である。
操作入力部9は、各種入力機器(キーボード、マウス、ジョイスティックなど)によって実現される。操作入力部9の操作内容はCGマスク領域設定部3に入力される他、図示しないシステム全体の制御部へ与えられ、制御部が入力に応じてシステムモード(CGマスク領域設定モード、観察モード)の切替処理や、CGマスク領域へのCGの描画方法(描画しない、透明度の高いCG描画)、CGマスク領域の表示方法、およびCGマスク領域の設定処理を行う。
スタイラス状態検出部10は、スタイラス11に関する情報(位置姿勢・ボタンのオンオフなど)をスタイラス11から取得し、CGマスク領域設定部3からの要求に応じて、又はCGマスク領域抽出部3からの要求なしに、取得した情報をCGマスク領域設定部3に送出する。
以上の様な構成を備えた、本実施形態のMRシステムの動作について、図8に示すフローチャートを用いて以下説明する。なお、データ部7には予め必要なデータが格納されているものとする。
システムが起動されると、ステップS100で撮像部1から映像が取得され、取得された撮影映像は撮影映像取込部2で適切なフォーマットに変換され、映像合成部6に送られる。
システムが起動されると、ステップS100で撮像部1から映像が取得され、取得された撮影映像は撮影映像取込部2で適切なフォーマットに変換され、映像合成部6に送られる。
ステップS200では撮影位置姿勢計測部4が撮像部1の位置姿勢を計測し、計測された位置姿勢情報はCGマスク領域設定部3およびCG生成部5に送られる。
ステップS300で、ユーザの入力を受け付ける。ユーザの入力がシステムモードの変更である場合、システムモードをユーザの入力に従って設定し、システムモード情報をCG生成部5およびCG領域設定部3に送る。
ステップS300で、ユーザの入力を受け付ける。ユーザの入力がシステムモードの変更である場合、システムモードをユーザの入力に従って設定し、システムモード情報をCG生成部5およびCG領域設定部3に送る。
ステップS400で、システムモードが観察モードである場合、ステップS401に進む。システムモードがCGマスク領域設定モードである場合、ステップS411に進む。
まずは、観察モードである場合の処理(S401からS402)について説明する。
ステップS401では、システムが観察モードに切り替わった場合、CG生成部5がCGマスク領域設定部3からCGマスク領域に関する情報を取得する。
まずは、観察モードである場合の処理(S401からS402)について説明する。
ステップS401では、システムが観察モードに切り替わった場合、CG生成部5がCGマスク領域設定部3からCGマスク領域に関する情報を取得する。
ステップS402では、CG生成部5が、撮影位置姿勢計測部4から送出された位置姿勢情報から撮像部1の視野を推定し、各種モードに応じてデータ部7からデータを取得し、合成すべきCGを生成する。生成したCG画像は映像合成部6に送られる。
次に、CGマスク領域設定モードである場合の処理(S411からS412)について説明する。
ステップS411において、スタイラスボタンがONである場合、スタイラスの操作モードが大きさ変更モードであった場合、CGマスク領域の中心位置からスタイラスの先端位置をCGマスク領域の大きさとして再設定する。また、スタイラスの操作モードが位置姿勢変更モードであった場合、スタイラスの位置姿勢をCGマスク領域の位置姿勢として再設定する。スタイラスボタンがOFFである場合には何もしない。
ステップS411において、スタイラスボタンがONである場合、スタイラスの操作モードが大きさ変更モードであった場合、CGマスク領域の中心位置からスタイラスの先端位置をCGマスク領域の大きさとして再設定する。また、スタイラスの操作モードが位置姿勢変更モードであった場合、スタイラスの位置姿勢をCGマスク領域の位置姿勢として再設定する。スタイラスボタンがOFFである場合には何もしない。
ステップS412では、CG生成部5が、撮影位置姿勢計測部4から送出された位置姿勢情報から撮像部1の視野を推定し、CGマスク領域の設定パラメータに応じてCGマスク領域を表すCGを生成する。
ステップS500では、映像合成部6において、撮影映像取込部2から送出された撮影映像と、CG生成部5から送出されたCG映像を合成し、合成画像を表示部8へ出力する。
ステップS500では、映像合成部6において、撮影映像取込部2から送出された撮影映像と、CG生成部5から送出されたCG映像を合成し、合成画像を表示部8へ出力する。
ステップS600では映像合成部6から送出されてきた映像情報を表示部8が表示する。
その後ステップS700でシステムを終了するかどうかがチェックされ、システムを終了させる場合はシステムを終了させ、終了させない場合にはステップS100に戻り、上述の処理を繰り返す。
その後ステップS700でシステムを終了するかどうかがチェックされ、システムを終了させる場合はシステムを終了させ、終了させない場合にはステップS100に戻り、上述の処理を繰り返す。
以上のように、第1の実施形態によれば、CGを重畳したくない現実物体を指定するのではなく、CGを重畳表示しない領域(CGマスク領域)を設けることにより、予め定める必要なく、任意の現実物体について選択的にCGが重畳された状態とされない状態とを観察することができる。
また、CGマスク領域を表すCGを仮想物体として表示することにより、観察者が容易にCGマスク領域を把握することができる。
さらに、CGマスク領域の大きさや位置姿勢、形状を対話的に変更可能としたため、観察者の希望や用途に応じて適切なCGマスク領域を設定、変更することができる。
さらに、CGマスク領域の大きさや位置姿勢、形状を対話的に変更可能としたため、観察者の希望や用途に応じて適切なCGマスク領域を設定、変更することができる。
●(第2の実施形態)
次に、本発明の第2の実施形態に係る画像生成装置について説明する。本実施形態も第1の実施形態と同様のMRシステムを用いて説明する。
次に、本発明の第2の実施形態に係る画像生成装置について説明する。本実施形態も第1の実施形態と同様のMRシステムを用いて説明する。
本実施形態において、表示装置には、カメラが内蔵されたビデオシースルーHMDを用いる。第1の実施形態と異なる点は、頭部位置姿勢計測用の位置姿勢センサがHMDに内蔵されていない点である。そのため、本実施形態において、現実世界(撮像画像)と仮想世界(CG画像)との位置合わせは、モックアップにマーカを貼り付け、HMD内蔵のステレオカメラで撮像したステレオ画像からマーカを抽出して、カメラのレンズパラメータを用いてモックアップとカメラとの相対位置姿勢を算出することで行う。この相対的位置姿勢が算出できれば、ユーザとマーカの相対位置姿勢として用いることで、ユーザ座標系モックアップ(現実物体)に重なるCG画像(仮想物体画像)が生成できる。
本実施形態に係るシステムも、第1の実施形態において説明したシステムと同様、動作モードとしてCGマスク領域設定モードと観察モードとを有する。各モードの詳細は第1の実施形態において説明したMRシステムと同様であるため、説明を省略する。
本実施形態において、第1の実施形態におけるマスク領域設定と異なるのは、座標系の指定において、世界座標系がないことである。これは、モックアップとのカメラとの相対的位置姿勢しか定義していないため、世界座標系という概念がないためである。
CGマスク領域設定における座標系の選択肢から世界座標系がないことを除き、第1の実施形態と同様の操作により同様の領域設定を行うことができる。
図9は本発明の第2の実施形態に係る画像生成装置の一例としてのMRシステムの概略構成例を示すブロック図である。図9において、図7と同様の構成要素には同じ参照数字を付し、重複する説明は省略する。図9と図7とを比較すると明らかなように、本実施形態のMRシステムでは撮影映像取込部2からの撮像画像から、マーカを抽出し、マーカ情報(マーカの頂点の画像座標など)を撮影位置姿勢算出部4’に送出するマーカ抽出部12が新たに設けられていること、撮影位置姿勢算出部4’が、マーカ抽出部12からのマーカ情報および、データ部からのマーカ情報(例えばマーカのパターン、大きさ及び頂点座標に関する情報)及びレンズパラメータを使って、モックアップに対するHMD内蔵の撮像装置との相対的位置姿勢を算出することのみが第1の実施形態におけるMRシステムと異なる。
なお、現実物体に取り付けたマーカをカメラで撮影した画像を用い、マーカとカメラとの相対的な位置姿勢を推定することは、例えば非特許文献1に記載されるように当技術分野において公知の技術であるが、概要を述べると、例えば大きさが既知の四角形マーカを現実物体に貼り、マーカの4頂点の撮像画像における座標値を求め、マーカ情報とレンズパラメータとを用いてマーカ座標系とカメラ座標系との変換行列を推定することにより、カメラとマーカとの相対的位置姿勢を算出することができる。
なお、本実施形態のようにマーカを取り付ける現実物体の位置姿勢が無制限に変化する場合、マーカが常に撮影できるよう、複数のマーカを取り付け位置を異ならせて設けることが好ましい。
また、モックアップ以外にCGを重畳すべき現実物体がある場合には、その現実物体にもマーカを取り付けることで、モックアップと同様にしてカメラとの相対位置姿勢を求め、データ部から読み出した三次元CGデータを用いてCGを位置合わせして重畳することができる。
このようにして求めた相対的な位置姿勢情報を第1の実施形態における位置姿勢情報と同じように用いることで、モックアップに所望のCGを位置合わせして重畳表示することが可能になる。
以上のように、第2の実施形態においても、第1の実施形態と同様の効果が得られるほか、HMD用の位置姿勢センサが不要となる。
(他の実施形態)
第1及び第2の実施形態では、HMDとしてビデオシースルー型HMDを対象として説明したが、光学シースルーHMDを用いる実施形態に適用することも可能である。
第1及び第2の実施形態では、CGマスク領域を1つ設けた場合のみ説明したが、CGマスク領域を複数設けることももちろん可能である。
第1及び第2の実施形態では、HMDとしてビデオシースルー型HMDを対象として説明したが、光学シースルーHMDを用いる実施形態に適用することも可能である。
第1及び第2の実施形態では、CGマスク領域を1つ設けた場合のみ説明したが、CGマスク領域を複数設けることももちろん可能である。
なお、上述した実施形態のみならず、前述した実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線/無線通信を用いて当該プログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムを実行することによって同等の機能が達成される場合も本発明に含む。
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等、プログラムの形態を問わない。
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記録媒体、MO、CD−ROM、CD−R、CD−RW、DVD−ROM、DVD−R、DVD−RW等の光/光磁気記憶媒体、不揮発性の半導体メモリなどがある。
有線/無線通信を用いたプログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイル等、クライアントコンピュータ上で本発明を形成するコンピュータプログラムとなりうるデータファイル(プログラムデータファイル)を記憶し、接続のあったクライアントコンピュータにプログラムデータファイルをダウンロードする方法などが挙げられる。この場合、プログラムデータファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに配置することも可能である。
つまり、本発明の機能処理をコンピュータで実現するためのプログラムデータファイルを複数のユーザに対してダウンロードさせるサーバ装置も本発明に含む。
また、本発明のプログラムを暗号化してCD−ROM等の記憶媒体に格納してユーザに配布し、所定の条件を満たしたユーザに対して暗号化を解く鍵情報を、例えばインターネットを介してホームページからダウンロードさせることによって供給し、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
Claims (8)
- 観察者の位置姿勢情報を用い、前記観察者が観察する現実空間もしくはその撮像画像に位置合わせされて観察されるようなCG画像を生成する画像生成方法であって、
前記観察者の位置姿勢情報を求める観察者位置姿勢情報取得ステップと、
前記CG画像を位置合わせして表示すべき現実物体の位置姿勢情報を取得する現実物体位置姿勢情報取得ステップと、
前記観察者及び前記現実物体の位置姿勢情報と、予め定められたCGマスク領域に関する情報とを用い、前記CG画像を生成するCG画像生成ステップとを有し、
前記CG画像生成ステップが、前記CGマスク領域に含まれる部分を除いてCG画像を生成することを特徴とする画像生成方法。 - 前記CG画像生成ステップが、前記CGマスク領域を表すCG画像をさらに生成することを特徴とする請求項1記載の画像生成方法。
- 前記観察者位置姿勢情報取得ステップが、前記観察者に取り付けられた位置姿勢センサを用いて前記観察者の位置姿勢情報を取得することを特徴とする請求項1又は請求項2記載の画像生成方法。
- 前記観察者位置姿勢情報取得ステップが、前記現実物体に取り付けられた指標を撮像した画像を用いて前記観察者の位置姿勢情報を取得することを特徴とする請求項1又は請求項2記載の画像生成方法。
- 前記CGマスク領域の大きさ、形状及び位置姿勢の少なくとも1つを前記観察者が設定、変更可能な設定ステップを更に有することを特徴とする請求項1乃至請求項4のいずれか1項に記載の画像生成方法。
- 観察者の位置姿勢情報を用い、前記観察者が観察する現実空間もしくはその撮像画像に位置合わせされて観察されるようなCG画像を生成する画像生成装置であって、
前記観察者の位置姿勢情報を求める観察者位置姿勢情報取得手段と、
前記CG画像を位置合わせして表示すべき現実物体の位置姿勢情報を取得する現実物体位置姿勢情報取得手段と、
前記観察者及び前記現実物体の位置姿勢情報と、予め定められたCGマスク領域に関する情報とを用い、前記CG画像を生成するCG画像生成手段とを有し、
前記CG画像生成手段が、前記CGマスク領域に含まれる部分を除いてCG画像を生成することを特徴とする画像生成装置。 - コンピュータに、請求項1乃至請求項5のいずれか1項に記載の画像生成方法を実現させるプログラム。
- 請求項7記載のプログラムを格納したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004191463A JP2006012042A (ja) | 2004-06-29 | 2004-06-29 | 画像生成方法及び装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004191463A JP2006012042A (ja) | 2004-06-29 | 2004-06-29 | 画像生成方法及び装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006012042A true JP2006012042A (ja) | 2006-01-12 |
Family
ID=35779209
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004191463A Withdrawn JP2006012042A (ja) | 2004-06-29 | 2004-06-29 | 画像生成方法及び装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006012042A (ja) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010164814A (ja) * | 2009-01-16 | 2010-07-29 | Brother Ind Ltd | ヘッドマウントディスプレイ |
JP2012133471A (ja) * | 2010-12-20 | 2012-07-12 | Kokusai Kogyo Co Ltd | 画像合成装置、画像合成プログラム、及び画像合成システム |
JP2013030059A (ja) * | 2011-07-29 | 2013-02-07 | Mitsubishi Electric Corp | 画像合成装置及び画像合成方法 |
JP2014167786A (ja) * | 2012-10-31 | 2014-09-11 | Boeing Co | 拡張現実のための自動基準フレーム較正 |
JP2015026286A (ja) * | 2013-07-26 | 2015-02-05 | セイコーエプソン株式会社 | 表示装置、表示システムおよび表示装置の制御方法 |
US9128529B2 (en) | 2013-02-21 | 2015-09-08 | Fujitsu Limited | Image processing device, image processing method |
US9256956B2 (en) | 2010-05-28 | 2016-02-09 | Qualcomm Incorporated | Dataset creation for tracking targets with dynamically changing portions |
JP2016151792A (ja) * | 2015-02-16 | 2016-08-22 | 富士フイルム株式会社 | 仮想オブジェクト表示装置、方法、プログラムおよびシステム |
JP2016151791A (ja) * | 2015-02-16 | 2016-08-22 | 富士フイルム株式会社 | 仮想オブジェクト表示装置、方法、プログラムおよびシステム |
US9784975B2 (en) | 2014-12-25 | 2017-10-10 | Seiko Epson Corporation | Display device and control method for display device |
JP2018018089A (ja) * | 2012-06-18 | 2018-02-01 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
KR20180099484A (ko) | 2017-02-27 | 2018-09-05 | 세이코 엡슨 가부시키가이샤 | 표시 장치 및, 표시 장치의 제어 방법 |
US10101586B2 (en) | 2014-12-24 | 2018-10-16 | Seiko Epson Corporation | Display device and control method for display device |
CN109765992A (zh) * | 2017-11-09 | 2019-05-17 | 波音公司 | 将虚拟内容与物理环境空间配准的系统、方法和工具 |
US11054650B2 (en) | 2013-03-26 | 2021-07-06 | Seiko Epson Corporation | Head-mounted display device, control method of head-mounted display device, and display system |
-
2004
- 2004-06-29 JP JP2004191463A patent/JP2006012042A/ja not_active Withdrawn
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010164814A (ja) * | 2009-01-16 | 2010-07-29 | Brother Ind Ltd | ヘッドマウントディスプレイ |
US9785836B2 (en) | 2010-05-28 | 2017-10-10 | Qualcomm Incorporated | Dataset creation for tracking targets with dynamically changing portions |
US9256956B2 (en) | 2010-05-28 | 2016-02-09 | Qualcomm Incorporated | Dataset creation for tracking targets with dynamically changing portions |
JP2012133471A (ja) * | 2010-12-20 | 2012-07-12 | Kokusai Kogyo Co Ltd | 画像合成装置、画像合成プログラム、及び画像合成システム |
JP2013030059A (ja) * | 2011-07-29 | 2013-02-07 | Mitsubishi Electric Corp | 画像合成装置及び画像合成方法 |
JP2018018089A (ja) * | 2012-06-18 | 2018-02-01 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP2014167786A (ja) * | 2012-10-31 | 2014-09-11 | Boeing Co | 拡張現実のための自動基準フレーム較正 |
US9128529B2 (en) | 2013-02-21 | 2015-09-08 | Fujitsu Limited | Image processing device, image processing method |
US11054650B2 (en) | 2013-03-26 | 2021-07-06 | Seiko Epson Corporation | Head-mounted display device, control method of head-mounted display device, and display system |
JP2015026286A (ja) * | 2013-07-26 | 2015-02-05 | セイコーエプソン株式会社 | 表示装置、表示システムおよび表示装置の制御方法 |
US10101586B2 (en) | 2014-12-24 | 2018-10-16 | Seiko Epson Corporation | Display device and control method for display device |
US9784975B2 (en) | 2014-12-25 | 2017-10-10 | Seiko Epson Corporation | Display device and control method for display device |
WO2016132817A1 (ja) * | 2015-02-16 | 2016-08-25 | 富士フイルム株式会社 | 仮想オブジェクト表示装置、方法、プログラムおよびシステム |
WO2016132822A1 (ja) * | 2015-02-16 | 2016-08-25 | 富士フイルム株式会社 | 仮想オブジェクト表示装置、方法、プログラムおよびシステム |
US20170315364A1 (en) * | 2015-02-16 | 2017-11-02 | Fujifilm Corporation | Virtual object display device, method, program, and system |
JP2016151791A (ja) * | 2015-02-16 | 2016-08-22 | 富士フイルム株式会社 | 仮想オブジェクト表示装置、方法、プログラムおよびシステム |
JP2016151792A (ja) * | 2015-02-16 | 2016-08-22 | 富士フイルム株式会社 | 仮想オブジェクト表示装置、方法、プログラムおよびシステム |
US10359916B2 (en) | 2015-02-16 | 2019-07-23 | Fujifilm Corporation | Virtual object display device, method, program, and system |
KR20180099484A (ko) | 2017-02-27 | 2018-09-05 | 세이코 엡슨 가부시키가이샤 | 표시 장치 및, 표시 장치의 제어 방법 |
US10455157B2 (en) | 2017-02-27 | 2019-10-22 | Seiko Epson Corporation | Display device and control method for display device |
US10750094B2 (en) | 2017-02-27 | 2020-08-18 | Seiko Epson Corporation | Display device and control method for display device |
US10972668B2 (en) | 2017-02-27 | 2021-04-06 | Seiko Epson Corporation | Display device and control method for display device |
CN109765992B (zh) * | 2017-11-09 | 2024-02-23 | 波音公司 | 将虚拟内容与物理环境空间配准的系统、方法和工具 |
CN109765992A (zh) * | 2017-11-09 | 2019-05-17 | 波音公司 | 将虚拟内容与物理环境空间配准的系统、方法和工具 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4298407B2 (ja) | 映像合成装置及び映像合成方法 | |
JP4401727B2 (ja) | 画像表示装置及び方法 | |
JP4739002B2 (ja) | 画像処理方法、画像処理装置 | |
JP3991020B2 (ja) | 画像表示方法及び画像表示システム | |
US8933965B2 (en) | Method for calculating light source information and generating images combining real and virtual images | |
JP4434890B2 (ja) | 画像合成方法及び装置 | |
JP4726194B2 (ja) | キャリブレーション方法及び装置 | |
JP2009123018A (ja) | 画像処理装置、画像処理方法 | |
WO2016132817A1 (ja) | 仮想オブジェクト表示装置、方法、プログラムおよびシステム | |
JP4834424B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2005107971A (ja) | 複合現実空間画像生成方法及び複合現実感システム | |
JP2008210276A (ja) | 三次元モデル情報の生成方法及び装置 | |
JP2006012042A (ja) | 画像生成方法及び装置 | |
JP2006285609A (ja) | 画像処理方法、画像処理装置 | |
JP2015125641A (ja) | 情報処理装置、その制御方法、及びプログラム | |
JP2007034628A (ja) | 画像処理方法及び装置 | |
JP2005174021A (ja) | 情報提示方法及び装置 | |
JP2016122392A (ja) | 情報処理装置、情報処理システム、その制御方法及びプログラム | |
JP2005327204A (ja) | 画像合成システムおよび画像合成方法、および画像合成装置 | |
JP2008146108A (ja) | 指標、画像処理装置、画像処理方法 | |
JP2022058753A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP6011567B2 (ja) | 情報処理装置、その制御方法、及びプログラム | |
JP2006085375A (ja) | 画像処理方法、画像処理装置 | |
JP4366165B2 (ja) | 画像表示装置及び方法並びに記憶媒体 | |
JP7279113B2 (ja) | 画像処理装置、画像処理方法、コンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20070904 |