JP2002095008A - 映像処理装置及びその方法並びに記憶媒体 - Google Patents
映像処理装置及びその方法並びに記憶媒体Info
- Publication number
- JP2002095008A JP2002095008A JP2000280698A JP2000280698A JP2002095008A JP 2002095008 A JP2002095008 A JP 2002095008A JP 2000280698 A JP2000280698 A JP 2000280698A JP 2000280698 A JP2000280698 A JP 2000280698A JP 2002095008 A JP2002095008 A JP 2002095008A
- Authority
- JP
- Japan
- Prior art keywords
- image
- video
- synthesizing
- generating
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
- Processing Of Color Television Signals (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
(57)【要約】
【課題】 撮像手段の位置、姿勢に依存することなく
クロマキー合成対象領域のみ現実空間と仮想物体との合
成を行い、同期のとれた映像を生成すること。 【解決手段】 カメラ１０１で撮像された実写映像はワ
ークステーション１０２を介して融合映像（前景）とし
てクロマキー合成装置１０６に出力される。仮想物体を
現実映像よりも手前に表示させたい場合、この仮想物体
のデータと仮想物体を配置する座標値が記載された不図
示のテーブルと、カメラ１０１の位置姿勢データに基づ
いてカメラ１０１の位置姿勢から見た仮想物体映像を生
成し、実写映像と合成し、融合映像を生成し、クロマキ
ー合成装置１０６に出力する。一方、ワークステーショ
ン１０３は背景の映像（ＣＧ映像）を生成し、クロマキ
ー合成装置１０６に出力され、融合映像とＣＧ映像とを
用いてクロマキー合成を行い、複合現実感映像を生成
し、モニタ１０７に出力され、表示される。
クロマキー合成対象領域のみ現実空間と仮想物体との合
成を行い、同期のとれた映像を生成すること。 【解決手段】 カメラ１０１で撮像された実写映像はワ
ークステーション１０２を介して融合映像（前景）とし
てクロマキー合成装置１０６に出力される。仮想物体を
現実映像よりも手前に表示させたい場合、この仮想物体
のデータと仮想物体を配置する座標値が記載された不図
示のテーブルと、カメラ１０１の位置姿勢データに基づ
いてカメラ１０１の位置姿勢から見た仮想物体映像を生
成し、実写映像と合成し、融合映像を生成し、クロマキ
ー合成装置１０６に出力する。一方、ワークステーショ
ン１０３は背景の映像（ＣＧ映像）を生成し、クロマキ
ー合成装置１０６に出力され、融合映像とＣＧ映像とを
用いてクロマキー合成を行い、複合現実感映像を生成
し、モニタ１０７に出力され、表示される。
Description
【０００１】
【発明の属する技術分野】本発明は、現実空間と仮想物
体との映像の合成処理を行う映像処理装置及びその方法
並びに記憶媒体に関するものである。
体との映像の合成処理を行う映像処理装置及びその方法
並びに記憶媒体に関するものである。
【０００２】
【従来の技術】複合現実感（Ｍｉｘｅｄ Ｒｅａｌｉｔ
ｙ ; 以下、ＭＲ）を体感するためには、コンピュー
タにより仮想物体（仮想空間）の映像を生成し、生成し
た仮想物体の映像とカメラにより撮像した現実空間の映
像とを合成した合成映像（複合現実感映像）を生成する
必要がある。複合現実感映像を生成する際、カメラによ
り撮像された現実物体の背景に仮想物体の映像を合成し
た複合現実感映像を生成する場合がある。従来ではこの
ような複合現実感映像を生成する際、以下に記載の方法
を用いていた。つまり、クロマキー色の背景板を現実物
体の背景に配置し、背景が背景板となるように現実物体
を撮像する。そして撮像した映像と、仮想物体の映像と
のクロマキー合成を行う。
ｙ ; 以下、ＭＲ）を体感するためには、コンピュー
タにより仮想物体（仮想空間）の映像を生成し、生成し
た仮想物体の映像とカメラにより撮像した現実空間の映
像とを合成した合成映像（複合現実感映像）を生成する
必要がある。複合現実感映像を生成する際、カメラによ
り撮像された現実物体の背景に仮想物体の映像を合成し
た複合現実感映像を生成する場合がある。従来ではこの
ような複合現実感映像を生成する際、以下に記載の方法
を用いていた。つまり、クロマキー色の背景板を現実物
体の背景に配置し、背景が背景板となるように現実物体
を撮像する。そして撮像した映像と、仮想物体の映像と
のクロマキー合成を行う。
【０００３】
【発明が解決しようとする課題】＜ クロマキー色の変
化 ＞しかし従来では光源の位置、姿勢とカメラの位
置、姿勢とによっては、撮像される背景のクロマキー色
が変化してしまい、クロマキー合成がうまくいかなかっ
た。つまり光源からの光が背景板で反射している場合、
反射する方向から背景板を含む現実物体の撮像を行え
ば、背景板はより白っぽく撮像されてしまう。この場
合、クロマキー色の変化により、クロマキー合成を行う
ことが困難となってしまう。 ＜ クロマキー合成対象外の部分のクロマキー合成 ＞
また従来では背景以外にクロマキー色を部分的に有する
現実物体が存在した場合（例えば現実物体が建物であっ
た場合、窓の色がクロマキー色に近い場合）、クロマキ
ー合成の対象でない部分もクロマキー合成が行われてし
まう。 ＜ 複合現実感映像を生成する際の生成の同期 ＞また
従来では複合現実感映像を生成する際に、前景の映像を
生成するタイミングと、背景に用いる仮想物体の映像の
生成のタイミングとは、処理速度の理由から異なってし
まい、同期のとれた複合現実感映像を生成することは困
難となってしまう。
化 ＞しかし従来では光源の位置、姿勢とカメラの位
置、姿勢とによっては、撮像される背景のクロマキー色
が変化してしまい、クロマキー合成がうまくいかなかっ
た。つまり光源からの光が背景板で反射している場合、
反射する方向から背景板を含む現実物体の撮像を行え
ば、背景板はより白っぽく撮像されてしまう。この場
合、クロマキー色の変化により、クロマキー合成を行う
ことが困難となってしまう。 ＜ クロマキー合成対象外の部分のクロマキー合成 ＞
また従来では背景以外にクロマキー色を部分的に有する
現実物体が存在した場合（例えば現実物体が建物であっ
た場合、窓の色がクロマキー色に近い場合）、クロマキ
ー合成の対象でない部分もクロマキー合成が行われてし
まう。 ＜ 複合現実感映像を生成する際の生成の同期 ＞また
従来では複合現実感映像を生成する際に、前景の映像を
生成するタイミングと、背景に用いる仮想物体の映像の
生成のタイミングとは、処理速度の理由から異なってし
まい、同期のとれた複合現実感映像を生成することは困
難となってしまう。
【０００４】本発明は以上の問題に鑑みてなされたもの
であり、撮像手段の位置、姿勢に依存することなく、ク
ロマキー合成対象領域のみ現実空間と仮想物体との合成
を行い、同期のとれた映像を生成することを目的とす
る。
であり、撮像手段の位置、姿勢に依存することなく、ク
ロマキー合成対象領域のみ現実空間と仮想物体との合成
を行い、同期のとれた映像を生成することを目的とす
る。
【０００５】
【課題を解決するための手段】本発明の目的を達成する
ために、例えば本発明の映像処理装置は以下の構成を備
える。すなわち、現実空間と仮想物体との映像の合成処
理を行う映像処理装置であって、現実空間を撮像する撮
像手段と、前記撮像手段の位置、姿勢を計測する計測手
段と、前記計測手段による前記撮像手段の位置、姿勢に
基づいて、前記撮像手段により撮像された現実空間を含
む前景の映像を生成する前景映像生成手段と、前記計測
手段による前記撮像手段の位置、姿勢に基づいて、前記
前景映像生成手段による前景の背景映像を生成する背景
映像生成手段と、前記前景映像生成手段による前景の映
像と、前記背景映像生成手段による背景の映像とを合成
する合成手段と、前記合成手段が合成する対象の映像が
同期して入力するための同期信号を発生する同期信号発
生手段とを備え、前記前景映像生成手段、前記背景映像
生成手段は夫々所定時間分のウェイト処理を行うこと
で、前記同期信号に応じて同期のとれた前景、背景の映
像を夫々前記合成手段に入力する。
ために、例えば本発明の映像処理装置は以下の構成を備
える。すなわち、現実空間と仮想物体との映像の合成処
理を行う映像処理装置であって、現実空間を撮像する撮
像手段と、前記撮像手段の位置、姿勢を計測する計測手
段と、前記計測手段による前記撮像手段の位置、姿勢に
基づいて、前記撮像手段により撮像された現実空間を含
む前景の映像を生成する前景映像生成手段と、前記計測
手段による前記撮像手段の位置、姿勢に基づいて、前記
前景映像生成手段による前景の背景映像を生成する背景
映像生成手段と、前記前景映像生成手段による前景の映
像と、前記背景映像生成手段による背景の映像とを合成
する合成手段と、前記合成手段が合成する対象の映像が
同期して入力するための同期信号を発生する同期信号発
生手段とを備え、前記前景映像生成手段、前記背景映像
生成手段は夫々所定時間分のウェイト処理を行うこと
で、前記同期信号に応じて同期のとれた前景、背景の映
像を夫々前記合成手段に入力する。
【０００６】本発明の目的を達成するために、例えば本
発明の映像処理装置は以下の構成を備える。すなわち、
現実空間と仮想物体との映像の合成処理を行う映像処理
装置であって、現実空間を撮像する撮像手段と、前記撮
像手段の位置、姿勢を計測する計測手段と、前記計測手
段による前記撮像手段の位置、姿勢に基づいて、前記撮
像手段による現実空間の背景の映像を生成する背景映像
生成手段と、前記撮像手段による現実空間と、前記背景
映像生成手段による背景の映像とを合成する第１の合成
手段と、前記計測手段による前記撮像手段の位置、姿勢
に基づいて仮想物体の映像を生成し、生成した仮想物体
の映像と前記第１の合成手段による映像とを合成する第
２の合成手段と、前記第１の合成手段と前記第２の合成
手段とが同期のとれた映像を合成するための同期信号を
発生する同期信号発生手段とを備え、前記第１の合成手
段は所定時間遅延した前記撮像手段からの現実空間の映
像を用いることで前記同期信号に応じて同期のとれた映
像を生成し、前記第２の合成手段は所定時間遅延した前
記計測手段からの前記撮像手段の位置、姿勢を用いるこ
とで前記同期信号に応じて同期のとれた映像を生成す
る。
発明の映像処理装置は以下の構成を備える。すなわち、
現実空間と仮想物体との映像の合成処理を行う映像処理
装置であって、現実空間を撮像する撮像手段と、前記撮
像手段の位置、姿勢を計測する計測手段と、前記計測手
段による前記撮像手段の位置、姿勢に基づいて、前記撮
像手段による現実空間の背景の映像を生成する背景映像
生成手段と、前記撮像手段による現実空間と、前記背景
映像生成手段による背景の映像とを合成する第１の合成
手段と、前記計測手段による前記撮像手段の位置、姿勢
に基づいて仮想物体の映像を生成し、生成した仮想物体
の映像と前記第１の合成手段による映像とを合成する第
２の合成手段と、前記第１の合成手段と前記第２の合成
手段とが同期のとれた映像を合成するための同期信号を
発生する同期信号発生手段とを備え、前記第１の合成手
段は所定時間遅延した前記撮像手段からの現実空間の映
像を用いることで前記同期信号に応じて同期のとれた映
像を生成し、前記第２の合成手段は所定時間遅延した前
記計測手段からの前記撮像手段の位置、姿勢を用いるこ
とで前記同期信号に応じて同期のとれた映像を生成す
る。
【０００７】
【発明の実施の形態】以下添付図面を参照して、本発明
をその好適な実施形態に従って詳細に説明する。
をその好適な実施形態に従って詳細に説明する。
【０００８】［第１の実施形態］本実施形態における映
像処理装置の概略構成を図１に示す。１０１はカメラ
で、本実施形態ではクロマキー色の背景板を背景に現実
物体の撮像を行う。図３にこの撮像の様子を示す。
像処理装置の概略構成を図１に示す。１０１はカメラ
で、本実施形態ではクロマキー色の背景板を背景に現実
物体の撮像を行う。図３にこの撮像の様子を示す。
【０００９】３０１はクロマキー色の背景板、３０２，
３０３は現実物体であって、カメラ１０１は背景板３０
１が背景となるように現実物体３０２，３０３を撮像す
る。
３０３は現実物体であって、カメラ１０１は背景板３０
１が背景となるように現実物体３０２，３０３を撮像す
る。
【００１０】図１に戻って、１０２，１０３はグラフィ
ック処理用のワークステーションで、グラフィック処理
を行うソフトウェアを実行することができる。なお１０
２，１０３は上記のソフトウェアを実行できる一般のコ
ンピュータでも良い。ワークステーション１０２，１０
３の内部構成を図４に示す。
ック処理用のワークステーションで、グラフィック処理
を行うソフトウェアを実行することができる。なお１０
２，１０３は上記のソフトウェアを実行できる一般のコ
ンピュータでも良い。ワークステーション１０２，１０
３の内部構成を図４に示す。
【００１１】４０１はＣＰＵで、ＲＡＭ４０２やＲＯＭ
４０３内に格納されたプログラムコードやデータを用い
てワークステーション全体の制御を行い、また各種の映
像処理やマトリクス演算なども行う。４０２はＲＡＭ
で、ＣＰＵ４０１により外部記憶装置４０４からロード
されたプログラムコードやデータを一時的に格納するエ
リアを備えると共に、ＣＰＵ４０１が各種の処理を行う
際に使用するワークエリアも備える。４０３はＲＯＭ
で、ワークステーションの起動プログラムや起動後の設
定などを格納すると共に、文字コードなども格納する。
４０４は外部記憶装置で、ＣＤ−ＲＯＭやフロッピー
（登録商標）ディスクなどの記憶媒体から読み込んだプ
ログラムコードやデータなどを保存する。４０５は操作
部で、キーボードやマウスなどのポインティングデバイ
スにより構成されており、ユーザが各種の指示を入力す
るためのインターフェースである。４０６は表示部で、
ＣＲＴや液晶画面などにより構成されており、各種の映
像の生成結果や、システムメッセージなどを表示するこ
とができる。４０７はインターフェース（Ｉ／Ｆ）部
で、周辺機器や他のワークステーションと接続すること
ができ、データの送受信を行うことができる。４０８は
ＮＣＵで、通信回線を介して他の機器とのデータの送受
信を行うことができる。４０９は上述の各部を繋ぐバス
である。
４０３内に格納されたプログラムコードやデータを用い
てワークステーション全体の制御を行い、また各種の映
像処理やマトリクス演算なども行う。４０２はＲＡＭ
で、ＣＰＵ４０１により外部記憶装置４０４からロード
されたプログラムコードやデータを一時的に格納するエ
リアを備えると共に、ＣＰＵ４０１が各種の処理を行う
際に使用するワークエリアも備える。４０３はＲＯＭ
で、ワークステーションの起動プログラムや起動後の設
定などを格納すると共に、文字コードなども格納する。
４０４は外部記憶装置で、ＣＤ−ＲＯＭやフロッピー
（登録商標）ディスクなどの記憶媒体から読み込んだプ
ログラムコードやデータなどを保存する。４０５は操作
部で、キーボードやマウスなどのポインティングデバイ
スにより構成されており、ユーザが各種の指示を入力す
るためのインターフェースである。４０６は表示部で、
ＣＲＴや液晶画面などにより構成されており、各種の映
像の生成結果や、システムメッセージなどを表示するこ
とができる。４０７はインターフェース（Ｉ／Ｆ）部
で、周辺機器や他のワークステーションと接続すること
ができ、データの送受信を行うことができる。４０８は
ＮＣＵで、通信回線を介して他の機器とのデータの送受
信を行うことができる。４０９は上述の各部を繋ぐバス
である。
【００１２】図１に戻って、１０４は位置姿勢計測装置
で、カメラ１０１の位置、姿勢を計測し、計測結果とし
ての位置、姿勢データを出力する。１０５は同期信号発
生器で、一定の時間間隔で同期信号を出力する。１０６
はクロマキー合成装置で、入力された映像同士のクロマ
キー合成を行い、合成結果としての複合現実感映像を出
力する。なお、用いるクロマキー色（図３に示した例で
は、背景板３０１のクロマキー色）は、クロマキー合成
装置１０６が認識できるように、同装置１０６に予め登
録しておく必要がある。１０７はモニタで、入力された
映像を表示することができる。
で、カメラ１０１の位置、姿勢を計測し、計測結果とし
ての位置、姿勢データを出力する。１０５は同期信号発
生器で、一定の時間間隔で同期信号を出力する。１０６
はクロマキー合成装置で、入力された映像同士のクロマ
キー合成を行い、合成結果としての複合現実感映像を出
力する。なお、用いるクロマキー色（図３に示した例で
は、背景板３０１のクロマキー色）は、クロマキー合成
装置１０６が認識できるように、同装置１０６に予め登
録しておく必要がある。１０７はモニタで、入力された
映像を表示することができる。
【００１３】以上の構成を備える映像処理装置が行う処
理の大まかな流れを図２を用いて説明する。カメラ１０
１の位置、姿勢は位置姿勢計測装置１０４により計測さ
れ、カメラ１０１の位置姿勢データとしてワークステー
ション１０２、ワークステーション１０３に夫々出力さ
れる。
理の大まかな流れを図２を用いて説明する。カメラ１０
１の位置、姿勢は位置姿勢計測装置１０４により計測さ
れ、カメラ１０１の位置姿勢データとしてワークステー
ション１０２、ワークステーション１０３に夫々出力さ
れる。
【００１４】カメラ１０１により撮像された実写映像は
ワークステーション１０２に（ＲＡＭ４０２内に）入力
され、融合映像（前景）としてクロマキー合成装置１０
６に出力される。なお、ワークステーション１０２（ワ
ークステーション１０３）が有する外部記憶装置４０４
内には仮想物体のデータが保存されており、カメラ１０
１から入力した現実映像よりも手前に仮想物体の映像を
表示させたい場合には（以下、この仮想物体を前景仮想
物体、前景仮想物体の映像を前景仮想物体映像と呼
ぶ）、前景仮想物体のデータ（前景仮想物体の３次元形
状のデータ、表面マテリアルのデータ）を外部記憶装置
４０４からＲＡＭ４０２にロードする。また、前景仮想
物体を配置する座標値が記載された不図示のテーブルも
一緒にロードする。そして位置姿勢計測装置１０４より
入力されたカメラ１０１の位置姿勢データに基づいて、
前景仮想物体のビューイング変換行列を生成し、カメラ
１０１の位置姿勢から見た前景仮想物体映像を生成す
る。そして生成された前景仮想物体映像と実写映像とを
合成し、融合映像を生成する。以上、生成された融合映
像はクロマキー合成装置１０６に出力される。
ワークステーション１０２に（ＲＡＭ４０２内に）入力
され、融合映像（前景）としてクロマキー合成装置１０
６に出力される。なお、ワークステーション１０２（ワ
ークステーション１０３）が有する外部記憶装置４０４
内には仮想物体のデータが保存されており、カメラ１０
１から入力した現実映像よりも手前に仮想物体の映像を
表示させたい場合には（以下、この仮想物体を前景仮想
物体、前景仮想物体の映像を前景仮想物体映像と呼
ぶ）、前景仮想物体のデータ（前景仮想物体の３次元形
状のデータ、表面マテリアルのデータ）を外部記憶装置
４０４からＲＡＭ４０２にロードする。また、前景仮想
物体を配置する座標値が記載された不図示のテーブルも
一緒にロードする。そして位置姿勢計測装置１０４より
入力されたカメラ１０１の位置姿勢データに基づいて、
前景仮想物体のビューイング変換行列を生成し、カメラ
１０１の位置姿勢から見た前景仮想物体映像を生成す
る。そして生成された前景仮想物体映像と実写映像とを
合成し、融合映像を生成する。以上、生成された融合映
像はクロマキー合成装置１０６に出力される。
【００１５】一方、ワークステーション１０３内にカメ
ラ１０１の位置姿勢データが入力されると、ワークステ
ーション１０３はこの位置姿勢データに基づいて、背景
の映像（ＣＧ映像）を生成する。カメラ１０１の位置姿
勢データに基づいた背景の映像の生成方法については詳
しくは後述する。以上、生成されたＣＧ映像はクロマキ
ー合成装置１０６に出力される。
ラ１０１の位置姿勢データが入力されると、ワークステ
ーション１０３はこの位置姿勢データに基づいて、背景
の映像（ＣＧ映像）を生成する。カメラ１０１の位置姿
勢データに基づいた背景の映像の生成方法については詳
しくは後述する。以上、生成されたＣＧ映像はクロマキ
ー合成装置１０６に出力される。
【００１６】クロマキー合成装置１０６は入力された融
合映像とＣＧ映像とを用いてクロマキー合成を行い、複
合現実感映像を生成する。クロマキー合成装置１０６が
行うクロマキー合成処理について図５を用いて説明す
る。
合映像とＣＧ映像とを用いてクロマキー合成を行い、複
合現実感映像を生成する。クロマキー合成装置１０６が
行うクロマキー合成処理について図５を用いて説明す
る。
【００１７】５０１はワークステーション１０２から入
力された融合映像で、５０２はワークステーション１０
３から入力されたＣＧ映像である。融合映像５０１内に
は、現実物体の映像５０１ａ，５０１ｂ、前景仮想物体
映像５０１ｃ、そしてクロマキー色の背景板の映像５０
１ｄが含まれている。融合映像５０１とＣＧ映像５０２
とのクロマキー合成を行うと、融合映像５０１内の背景
板の映像５０１ｄの領域にＣＧ映像５０２の該当領域の
映像が合成された複合現実感映像５０３が生成される。
力された融合映像で、５０２はワークステーション１０
３から入力されたＣＧ映像である。融合映像５０１内に
は、現実物体の映像５０１ａ，５０１ｂ、前景仮想物体
映像５０１ｃ、そしてクロマキー色の背景板の映像５０
１ｄが含まれている。融合映像５０１とＣＧ映像５０２
とのクロマキー合成を行うと、融合映像５０１内の背景
板の映像５０１ｄの領域にＣＧ映像５０２の該当領域の
映像が合成された複合現実感映像５０３が生成される。
【００１８】そして上述の説明による方法でクロマキー
合成装置１０６により生成された複合現実感映像はモニ
タ１０７に出力され、表示される。
合成装置１０６により生成された複合現実感映像はモニ
タ１０７に出力され、表示される。
【００１９】なお、以上の各部（カメラ１０１、ワーク
ステーション１０２、ワークステーション１０３、位置
姿勢計測装置１０４、クロマキー合成装置１０６）は同
期信号発生器１０５により出力される同期信号に同期し
て動作している。つまり、同期信号に同期して、カメラ
１０１からの実写映像の出力、ワークステーション１０
２からの融合映像の出力、ワークステーション１０３か
らのＣＧ映像の出力、位置姿勢計測装置１０４によるカ
メラ１０１の位置姿勢の計測及び位置姿勢データの出
力、クロマキー合成装置１０６によるクロマキー合成処
理の開始を行う。以下、上述の各部の動作の同期につい
て更に詳しく説明する。
ステーション１０２、ワークステーション１０３、位置
姿勢計測装置１０４、クロマキー合成装置１０６）は同
期信号発生器１０５により出力される同期信号に同期し
て動作している。つまり、同期信号に同期して、カメラ
１０１からの実写映像の出力、ワークステーション１０
２からの融合映像の出力、ワークステーション１０３か
らのＣＧ映像の出力、位置姿勢計測装置１０４によるカ
メラ１０１の位置姿勢の計測及び位置姿勢データの出
力、クロマキー合成装置１０６によるクロマキー合成処
理の開始を行う。以下、上述の各部の動作の同期につい
て更に詳しく説明する。
【００２０】上述の通り、同期信号に応じてカメラ１０
１からの実写映像の出力と、位置姿勢計測装置１０４か
らのカメラ１０１の位置姿勢データの出力が行われる
が、ワークステーション１０２において、キャプチャ
（ワークステーション１０２内のＲＡＭ４０２内に実写
映像を取り込む作業）する実写映像と、カメラ１０１の
位置姿勢データを同期させるために、実写映像のキャプ
チャに要する時間をｘフレームとすると、位置姿勢計測
装置１０４はｘフレーム前のカメラ１０１の位置姿勢デ
ータを出力する。このようにすることで、カメラ１０１
からの実写映像と、位置姿勢計測装置１０４からのカメ
ラ１０１の位置姿勢データとが同期をとってワークステ
ーション１０２内のＲＡＭ４０２に入力される。
１からの実写映像の出力と、位置姿勢計測装置１０４か
らのカメラ１０１の位置姿勢データの出力が行われる
が、ワークステーション１０２において、キャプチャ
（ワークステーション１０２内のＲＡＭ４０２内に実写
映像を取り込む作業）する実写映像と、カメラ１０１の
位置姿勢データを同期させるために、実写映像のキャプ
チャに要する時間をｘフレームとすると、位置姿勢計測
装置１０４はｘフレーム前のカメラ１０１の位置姿勢デ
ータを出力する。このようにすることで、カメラ１０１
からの実写映像と、位置姿勢計測装置１０４からのカメ
ラ１０１の位置姿勢データとが同期をとってワークステ
ーション１０２内のＲＡＭ４０２に入力される。
【００２１】もしくは、カメラ１０１と位置姿勢計測装
置１０４から夫々実写映像とカメラ１０１の位置姿勢デ
ータとをワークステーション１０２に入力し、カメラ１
０１の位置姿勢データをＲＡＭ４０２に蓄積しておい
て、融合映像を生成する際に、ＲＡＭ４０２内の位置姿
勢データのうち、ｘフレーム前のものを用いても良い。
なお、実写映像のキャプチャに要する時間は予め測定し
ておく。
置１０４から夫々実写映像とカメラ１０１の位置姿勢デ
ータとをワークステーション１０２に入力し、カメラ１
０１の位置姿勢データをＲＡＭ４０２に蓄積しておい
て、融合映像を生成する際に、ＲＡＭ４０２内の位置姿
勢データのうち、ｘフレーム前のものを用いても良い。
なお、実写映像のキャプチャに要する時間は予め測定し
ておく。
【００２２】また、ワークステーション１０２とワーク
ステーション１０３とで、夫々融合映像、ＣＧ映像を生
成する際に要する時間が異なることが多い。この場合の
ワークステーション１０２とワークステーション１０３
との映像の生成処理及び出力のタイミングチャートを図
６に示す。
ステーション１０３とで、夫々融合映像、ＣＧ映像を生
成する際に要する時間が異なることが多い。この場合の
ワークステーション１０２とワークステーション１０３
との映像の生成処理及び出力のタイミングチャートを図
６に示す。
【００２３】同図において、ｔ１はワークステーション
１０２が融合映像を生成するのに要する時間、ＷＴ１は
後述するウェイト時間、ｔ２はワークステーション１０
３がＣＧ映像を生成するのに要する時間、ＷＴ２は後述
するウェイト時間、ｔ３はクロマキー合成装置１０６が
クロマキー合成処理を行うのに要する時間を示す。
１０２が融合映像を生成するのに要する時間、ＷＴ１は
後述するウェイト時間、ｔ２はワークステーション１０
３がＣＧ映像を生成するのに要する時間、ＷＴ２は後述
するウェイト時間、ｔ３はクロマキー合成装置１０６が
クロマキー合成処理を行うのに要する時間を示す。
【００２４】ＷＴ１，ＷＴ２はワークステーション１０
２とワークステーション１０３とで夫々の１回の繰り返
し計算に要する時間の差を１フレーム以内に納めるため
に、及びクロマキー合成装置１０６によるクロマキー合
成処理が終了するタイミングを待つために、夫々ワーク
ステーション１０２、ワークステーション１０３に対し
て設けられたウェイト時間である。このように夫々ウェ
イト時間ＷＴ１，ＷＴ２を設けることで、同期信号に応
じてワークステーション１０２、ワークステーション１
０３から夫々同期をとって融合映像、ＣＧ映像が出力さ
れ、クロマキー合成装置１０６に入力される。
２とワークステーション１０３とで夫々の１回の繰り返
し計算に要する時間の差を１フレーム以内に納めるため
に、及びクロマキー合成装置１０６によるクロマキー合
成処理が終了するタイミングを待つために、夫々ワーク
ステーション１０２、ワークステーション１０３に対し
て設けられたウェイト時間である。このように夫々ウェ
イト時間ＷＴ１，ＷＴ２を設けることで、同期信号に応
じてワークステーション１０２、ワークステーション１
０３から夫々同期をとって融合映像、ＣＧ映像が出力さ
れ、クロマキー合成装置１０６に入力される。
【００２５】次に、背景の映像の生成方法について説明
する。背景の映像は遠景であることが多いために、微細
な３次元形状の再現はあまり必要ではない。よって、背
景の映像を生成する際に要する時間はより短い方がよ
い。本実施形態における背景の生成方法として、図７に
示すように、前景７０２を含むような半球体７０１を仮
想的に設定し、この半球体７０１の内側に予め魚眼レン
ズなどで撮影した画像をマッピングする。
する。背景の映像は遠景であることが多いために、微細
な３次元形状の再現はあまり必要ではない。よって、背
景の映像を生成する際に要する時間はより短い方がよ
い。本実施形態における背景の生成方法として、図７に
示すように、前景７０２を含むような半球体７０１を仮
想的に設定し、この半球体７０１の内側に予め魚眼レン
ズなどで撮影した画像をマッピングする。
【００２６】その結果、位置姿勢計測装置１０４から入
力されるカメラ１０１の位置姿勢データに基づいて、カ
メラ１０１の位置姿勢により見える半球体７０１内の画
像を生成し、背景として用いる。なお、前景７０２を含
む形状は半球体に限定されず、他にも上面が閉じた円柱
であっても良い。なお、上述の半球体７０１のデータ
（背景のデータ）はワークステーション１０３の外部記
憶装置４０４内に保存されており、必要に応じて読み出
される。
力されるカメラ１０１の位置姿勢データに基づいて、カ
メラ１０１の位置姿勢により見える半球体７０１内の画
像を生成し、背景として用いる。なお、前景７０２を含
む形状は半球体に限定されず、他にも上面が閉じた円柱
であっても良い。なお、上述の半球体７０１のデータ
（背景のデータ）はワークステーション１０３の外部記
憶装置４０４内に保存されており、必要に応じて読み出
される。
【００２７】以上の各処理において、ワークステーショ
ン１０２、ワークステーション１０３における処理のフ
ローチャートを夫々図８、図９に示し、以下説明する。
なお、夫々のフローチャートに従ったプログラムコード
は夫々のワークステーションの夫々の外部記憶装置４０
４内に保存され、必要に応じてＲＡＭ４０２に読み出さ
れ、夫々のワークステーション内の夫々のＣＰＵ４０１
により読み出され、実行される。
ン１０２、ワークステーション１０３における処理のフ
ローチャートを夫々図８、図９に示し、以下説明する。
なお、夫々のフローチャートに従ったプログラムコード
は夫々のワークステーションの夫々の外部記憶装置４０
４内に保存され、必要に応じてＲＡＭ４０２に読み出さ
れ、夫々のワークステーション内の夫々のＣＰＵ４０１
により読み出され、実行される。
【００２８】まず、ワークステーション１０２における
処理について説明する。まず、同期信号発生器１０５か
らの同期信号待ちとなる（ステップＳ８０１）。処理を
開始するとまず、カメラ１０１から実写映像をキャプチ
ャする（ステップＳ８０２）。そして位置姿勢計測装置
１０４からカメラ１０１の位置姿勢データを入力する
（ステップＳ８０３）。ステップＳ８０２とステップＳ
８０３の各処理の順序は逆でも良いし、並列に行っても
良い。そして次にキャプチャした実写映像をＲＡＭ４０
２内で描画する（ステップＳ８０４）。また、入力した
カメラ１０１の位置姿勢データ（予め測定したフレーム
数遅延させた位置姿勢データ）に基づいて、前景仮想物
体映像を生成するためのビューイング変換行列を算出し
（ステップＳ８０５）、算出されたビューイング変換行
列に基づいて生成された前景仮想物体映像を実写映像に
合成し、融合映像を生成する（ステップＳ８０６）。
処理について説明する。まず、同期信号発生器１０５か
らの同期信号待ちとなる（ステップＳ８０１）。処理を
開始するとまず、カメラ１０１から実写映像をキャプチ
ャする（ステップＳ８０２）。そして位置姿勢計測装置
１０４からカメラ１０１の位置姿勢データを入力する
（ステップＳ８０３）。ステップＳ８０２とステップＳ
８０３の各処理の順序は逆でも良いし、並列に行っても
良い。そして次にキャプチャした実写映像をＲＡＭ４０
２内で描画する（ステップＳ８０４）。また、入力した
カメラ１０１の位置姿勢データ（予め測定したフレーム
数遅延させた位置姿勢データ）に基づいて、前景仮想物
体映像を生成するためのビューイング変換行列を算出し
（ステップＳ８０５）、算出されたビューイング変換行
列に基づいて生成された前景仮想物体映像を実写映像に
合成し、融合映像を生成する（ステップＳ８０６）。
【００２９】そして最後にウェイト時間ＷＴ１だけウェ
イトし（ステップＳ８０７）、その後、融合映像をクロ
マキー合成装置１０６に出力する（ステップＳ８０
８）。その後に処理をステップＳ８０１に移行する。な
お前景仮想物体映像を描画しない場合にはステップＳ８
０５，Ｓ８０６及びＳ８０３における処理は必要ない。
イトし（ステップＳ８０７）、その後、融合映像をクロ
マキー合成装置１０６に出力する（ステップＳ８０
８）。その後に処理をステップＳ８０１に移行する。な
お前景仮想物体映像を描画しない場合にはステップＳ８
０５，Ｓ８０６及びＳ８０３における処理は必要ない。
【００３０】次にワークステーション１０３における処
理について、図９を用いて説明する。
理について、図９を用いて説明する。
【００３１】ステップＳ８０１と同様に同期待ちとなり
（ステップＳ９０１）、処理を開始したらステップＳ８
０３と同様にカメラ１０１の位置姿勢データの入力を行
い（ステップＳ９０２）、この位置姿勢データに基づい
て、背景ＣＧを生成する（ステップＳ９０４）。そして
ＷＴ２以上ウェイトすれば、背景のＣＧ映像を出力し、
処理をステップＳ９０１に移行する。
（ステップＳ９０１）、処理を開始したらステップＳ８
０３と同様にカメラ１０１の位置姿勢データの入力を行
い（ステップＳ９０２）、この位置姿勢データに基づい
て、背景ＣＧを生成する（ステップＳ９０４）。そして
ＷＴ２以上ウェイトすれば、背景のＣＧ映像を出力し、
処理をステップＳ９０１に移行する。
【００３２】また、クロマキー合成装置１０６における
処理のフローチャートを図１０に示し、以下説明する。
なお、同図のフローチャートに従ったプログラムコード
はクロマキー合成装置１０６内の不図示のＲＡＭやＲＯ
Ｍなどのメモリ内に格納され、不図示のＣＰＵにより読
み出され、実行される。
処理のフローチャートを図１０に示し、以下説明する。
なお、同図のフローチャートに従ったプログラムコード
はクロマキー合成装置１０６内の不図示のＲＡＭやＲＯ
Ｍなどのメモリ内に格納され、不図示のＣＰＵにより読
み出され、実行される。
【００３３】まず同期待ちで（ステップＳ１００１）、
処理を開始すればまず融合映像、ＣＧ映像を入力する
（ステップＳ１００２）。次にクロマキー合成処理を行
い（ステップＳ１００３）、その結果生成された複合現
実感映像をモニタ１０７に出力する（ステップＳ１００
４）。
処理を開始すればまず融合映像、ＣＧ映像を入力する
（ステップＳ１００２）。次にクロマキー合成処理を行
い（ステップＳ１００３）、その結果生成された複合現
実感映像をモニタ１０７に出力する（ステップＳ１００
４）。
【００３４】なお本実施形態において、融合映像とＣＧ
映像を生成するワークステーションは別としたが、同じ
ワークステーション内で行っても良い。その際にはこの
ワークステーションが有する外部記憶装置内には図８，
９に示したフローチャートに従ったプログラムコードが
保存されることになる。
映像を生成するワークステーションは別としたが、同じ
ワークステーション内で行っても良い。その際にはこの
ワークステーションが有する外部記憶装置内には図８，
９に示したフローチャートに従ったプログラムコードが
保存されることになる。
【００３５】以上の説明による本実施形態における映像
処理装置は、同期のとれた複合現実感映像を生成するこ
とができる。
処理装置は、同期のとれた複合現実感映像を生成するこ
とができる。
【００３６】［第２の実施形態］第１の実施形態におい
て、カメラ１０１の位置姿勢と、不図示の光源の位置姿
勢によっては、カメラ１０１で撮影した画像中で背景板
（図３では３０１、図５では５０１ｄ）の色が変化して
しまう場合がある。その場合、光源の位置姿勢は固定と
考えると、カメラ１０１の位置姿勢の変化に応じてクロ
マキー合成装置１０６におけるクロマキー合成パラメー
タを実時間で変化させる必要がある。本実施形態では、
このようなクロマキー合成装置１０６について説明す
る。なお本実施形態における映像処理装置の概略構成
は、図１において、位置姿勢計測装置１０４とクロマキ
ー合成装置１０６とが繋がっており、クロマキー合成装
置１０６に位置姿勢計測装置１０４からカメラ１０１の
位置姿勢データが入力される。
て、カメラ１０１の位置姿勢と、不図示の光源の位置姿
勢によっては、カメラ１０１で撮影した画像中で背景板
（図３では３０１、図５では５０１ｄ）の色が変化して
しまう場合がある。その場合、光源の位置姿勢は固定と
考えると、カメラ１０１の位置姿勢の変化に応じてクロ
マキー合成装置１０６におけるクロマキー合成パラメー
タを実時間で変化させる必要がある。本実施形態では、
このようなクロマキー合成装置１０６について説明す
る。なお本実施形態における映像処理装置の概略構成
は、図１において、位置姿勢計測装置１０４とクロマキ
ー合成装置１０６とが繋がっており、クロマキー合成装
置１０６に位置姿勢計測装置１０４からカメラ１０１の
位置姿勢データが入力される。
【００３７】まず、予め異なるカメラの位置姿勢に応じ
たクロマキー合成パラメータを調節し、テーブル（クロ
マキー合成パラメータテーブル）として保持しておく。
クロマキー合成パラメータの要素には色相、クリップ、
ゲイン、色相範囲、彩度等があり、記載した順番に従っ
てより厳密に調節しておく必要がある。図１１にクロマ
キー合成パラメータテーブルの構成例を示す。
たクロマキー合成パラメータを調節し、テーブル（クロ
マキー合成パラメータテーブル）として保持しておく。
クロマキー合成パラメータの要素には色相、クリップ、
ゲイン、色相範囲、彩度等があり、記載した順番に従っ
てより厳密に調節しておく必要がある。図１１にクロマ
キー合成パラメータテーブルの構成例を示す。
【００３８】同図のテーブル１１００内には、カメラ１
０１の位置データが記載された欄１１０１、カメラ１０
１の姿勢データが記載された欄１１０２と、欄１１０
１，欄１１０２内に記載されたカメラ１０１の位置姿勢
で特定されるクロマキー合成パラメータが記載された欄
１１０３が含まれる。なお、欄１１０１，１１０２内に
は必ずしもデータが記載されているとは限らず、例えば
カメラ１０１の位置が背景板から十分に離れている場合
には、カメラ１０１の位置データは欄１１０１に記載し
なくても良い。その場合、カメラ１０１の姿勢データの
みで、クロマキー合成パラメータを決定しても誤差が少
ないからである。
０１の位置データが記載された欄１１０１、カメラ１０
１の姿勢データが記載された欄１１０２と、欄１１０
１，欄１１０２内に記載されたカメラ１０１の位置姿勢
で特定されるクロマキー合成パラメータが記載された欄
１１０３が含まれる。なお、欄１１０１，１１０２内に
は必ずしもデータが記載されているとは限らず、例えば
カメラ１０１の位置が背景板から十分に離れている場合
には、カメラ１０１の位置データは欄１１０１に記載し
なくても良い。その場合、カメラ１０１の姿勢データの
みで、クロマキー合成パラメータを決定しても誤差が少
ないからである。
【００３９】次に実際にクロマキー合成パラメータテー
ブルを参照して、カメラ１０１の位置姿勢データが与え
られた際に対応するクロマキー合成パラメータを特定す
る処理について同処理のフローチャートを図１６に示
し、以下説明する。
ブルを参照して、カメラ１０１の位置姿勢データが与え
られた際に対応するクロマキー合成パラメータを特定す
る処理について同処理のフローチャートを図１６に示
し、以下説明する。
【００４０】カメラ１０１の位置姿勢データが与えられ
た場合（ステップＳ１６０１）、クロマキー合成パラメ
ータテーブルを参照し（ステップＳ１６０２）、このデ
ータがクロマキー合成パラメータテーブル（欄図１１の
例では１１０１，欄１１０２）に記載されたデータであ
れば（ステップＳ１６０３）、そのデータに応じたクロ
マキー合成パラメータを用いればよい（ステップＳ１６
０４）。しかし、カメラ１０１の位置姿勢データがクロ
マキー合成パラメータテーブル（図１１の例では欄１１
０１，１１０２）に記載されていない場合（ステップＳ
１６０３）、記載された位置姿勢データとクロマキー合
成パラメータを用いて補間し（ステップＳ１６０５）、
テーブルに記載されていない位置姿勢データに応じたク
ロマキー合成パラメータを特定することができる（ステ
ップＳ１６０６）。補間の方法としては特に限定しない
が、例えばスプライン補間等を用いても良い。
た場合（ステップＳ１６０１）、クロマキー合成パラメ
ータテーブルを参照し（ステップＳ１６０２）、このデ
ータがクロマキー合成パラメータテーブル（欄図１１の
例では１１０１，欄１１０２）に記載されたデータであ
れば（ステップＳ１６０３）、そのデータに応じたクロ
マキー合成パラメータを用いればよい（ステップＳ１６
０４）。しかし、カメラ１０１の位置姿勢データがクロ
マキー合成パラメータテーブル（図１１の例では欄１１
０１，１１０２）に記載されていない場合（ステップＳ
１６０３）、記載された位置姿勢データとクロマキー合
成パラメータを用いて補間し（ステップＳ１６０５）、
テーブルに記載されていない位置姿勢データに応じたク
ロマキー合成パラメータを特定することができる（ステ
ップＳ１６０６）。補間の方法としては特に限定しない
が、例えばスプライン補間等を用いても良い。
【００４１】以上の方法により、カメラ１０１の位置姿
勢により撮像されるクロマキー色が変化しても、本実施
形態におけるクロマキー合成装置１０６は、クロマキー
合成処理を行うことができる。
勢により撮像されるクロマキー色が変化しても、本実施
形態におけるクロマキー合成装置１０６は、クロマキー
合成処理を行うことができる。
【００４２】［第３の実施形態］現実物体にクロマキー
色が含まれている場合、例えば現実物体が建物であって
窓の色がクロマキー色であった場合、この窓の部分はク
ロマキー合成により背景のＣＧ映像の該当部分が合成さ
れることになる。よって、本実施形態では現実物体にク
ロマキー色の領域（以下、マスク領域）が含まれていて
も、このマスク領域をクロマキー合成の対象から外す処
理について説明する。
色が含まれている場合、例えば現実物体が建物であって
窓の色がクロマキー色であった場合、この窓の部分はク
ロマキー合成により背景のＣＧ映像の該当部分が合成さ
れることになる。よって、本実施形態では現実物体にク
ロマキー色の領域（以下、マスク領域）が含まれていて
も、このマスク領域をクロマキー合成の対象から外す処
理について説明する。
【００４３】まず予め、現実物体においてマスク領域の
形状、位置を３次元空間内で特定し、ワークステーショ
ン内の外部記憶装置４０４内に格納しておく。そしてカ
メラ１０１の位置姿勢データに基づいて生成されるビュ
ーイング変換行列を用いて３次元マスク形状データを変
換する事で、クロマキー合成処理対象の映像中における
マスク領域の形状、位置が特定される。よってこの領域
の情報をクロマキー合成装置１０６内に出力すること
で、この領域をクロマキー合成処理の対象外領域とする
事ができる。
形状、位置を３次元空間内で特定し、ワークステーショ
ン内の外部記憶装置４０４内に格納しておく。そしてカ
メラ１０１の位置姿勢データに基づいて生成されるビュ
ーイング変換行列を用いて３次元マスク形状データを変
換する事で、クロマキー合成処理対象の映像中における
マスク領域の形状、位置が特定される。よってこの領域
の情報をクロマキー合成装置１０６内に出力すること
で、この領域をクロマキー合成処理の対象外領域とする
事ができる。
【００４４】［第４の実施形態］第１の実施形態におけ
る映像処理装置が行う処理は他の構成によっても実現で
きる。図１２に本実施形態における映像処理装置の概略
構成を示す。
る映像処理装置が行う処理は他の構成によっても実現で
きる。図１２に本実施形態における映像処理装置の概略
構成を示す。
【００４５】各部に用いる機器は第１の実施形態と同じ
であるが、夫々の機器間の接続形式や各機器の動作タイ
ミングなどが異なる。本実施形態の映像処理装置におい
て各処理の流れを図１３を用いて説明する。
であるが、夫々の機器間の接続形式や各機器の動作タイ
ミングなどが異なる。本実施形態の映像処理装置におい
て各処理の流れを図１３を用いて説明する。
【００４６】ワークステーション１０２の外部記憶装置
４０４内には背景のデータが保存されており、必要に応
じてＣＰＵ４０１によりＲＡＭ４０２に読み出される。
よって、ワークステーション１０２は位置姿勢計測装置
１０４から入力したカメラ１０１の位置姿勢データに基
づいて第１の実施形態と同様にカメラ１０１の位置姿勢
に基づいた背景のＣＧ映像を生成し、生成した背景のＣ
Ｇ映像をクロマキー合成装置１０６に出力する。
４０４内には背景のデータが保存されており、必要に応
じてＣＰＵ４０１によりＲＡＭ４０２に読み出される。
よって、ワークステーション１０２は位置姿勢計測装置
１０４から入力したカメラ１０１の位置姿勢データに基
づいて第１の実施形態と同様にカメラ１０１の位置姿勢
に基づいた背景のＣＧ映像を生成し、生成した背景のＣ
Ｇ映像をクロマキー合成装置１０６に出力する。
【００４７】またカメラ１０１により撮像された実写映
像はダイレクトにクロマキー合成装置１０６に入力され
る。そしてクロマキー合成装置１０６は、入力された実
写映像と背景のＣＧ映像をクロマキー合成し、前景仮想
物体が含まれていない複合現実感映像を生成する。生成
された（前景仮想物体が含まれていない）複合現実感映
像はワークステーション１０３に入力される。ワークス
テーション１０３の外部記憶装置４０４内には前景仮想
物体のデータが保存されており、ＣＰＵ４０１によりＲ
ＡＭ４０２に読み出した後に、位置姿勢計測装置１０４
からのカメラ１０１の位置姿勢データに基づいた前景仮
想物体映像を生成し、クロマキー合成装置１０６から入
力された映像と合成し、複合現実感映像を生成した後に
モニタ１０７に出力する。
像はダイレクトにクロマキー合成装置１０６に入力され
る。そしてクロマキー合成装置１０６は、入力された実
写映像と背景のＣＧ映像をクロマキー合成し、前景仮想
物体が含まれていない複合現実感映像を生成する。生成
された（前景仮想物体が含まれていない）複合現実感映
像はワークステーション１０３に入力される。ワークス
テーション１０３の外部記憶装置４０４内には前景仮想
物体のデータが保存されており、ＣＰＵ４０１によりＲ
ＡＭ４０２に読み出した後に、位置姿勢計測装置１０４
からのカメラ１０１の位置姿勢データに基づいた前景仮
想物体映像を生成し、クロマキー合成装置１０６から入
力された映像と合成し、複合現実感映像を生成した後に
モニタ１０７に出力する。
【００４８】又第１の実施形態と同様、以上の各部（カ
メラ１０１、ワークステーション１０２、ワークステー
ション１０３、位置姿勢計測装置１０４、クロマキー合
成装置１０６）は同期信号発生器１０５により出力され
る同期信号に同期して動作している。つまり、同期信号
に同期して、カメラ１０１からの実写映像の出力、ワー
クステーション１０２からのＣＧ映像の出力、ワークス
テーション１０３からの複合現実感映像の出力、位置姿
勢計測装置１０４によるカメラ１０１の位置姿勢の計測
及び位置姿勢データの出力、クロマキー合成装置１０６
によるクロマキー合成処理の開始を行う。
メラ１０１、ワークステーション１０２、ワークステー
ション１０３、位置姿勢計測装置１０４、クロマキー合
成装置１０６）は同期信号発生器１０５により出力され
る同期信号に同期して動作している。つまり、同期信号
に同期して、カメラ１０１からの実写映像の出力、ワー
クステーション１０２からのＣＧ映像の出力、ワークス
テーション１０３からの複合現実感映像の出力、位置姿
勢計測装置１０４によるカメラ１０１の位置姿勢の計測
及び位置姿勢データの出力、クロマキー合成装置１０６
によるクロマキー合成処理の開始を行う。
【００４９】なお、クロマキー合成装置１０６に入力さ
れるカメラ１０１からの実写映像と、ワークステーショ
ン１０２からの背景のＣＧ映像の同期をとるため、カメ
ラ１０１からの実写映像はクロマキー合成装置１０６内
の不図示のメモリ内に蓄積しておき、適当な時間（理想
的にはワークステーション１０２からのＣＧ映像が入力
されたタイミングと、このＣＧ映像を生成する際に用い
たカメラ１０１の位置姿勢による実写映像が入力された
タイミングとの差分時間）遅延させて用いる。なお、こ
の遅延時間は予め測定しておく。例えば、カメラ１０１
からの実写映像とワークステーション１０２からの背景
のＣＧ映像とに夫々「生成された時間」の情報（生成時
間情報）を付加しておき、夫々同じ生成時間情報を有す
る映像がクロマキー合成装置１０６に入力された時間の
ずれを測定する。その結果、このずれが遅延時間とな
る。
れるカメラ１０１からの実写映像と、ワークステーショ
ン１０２からの背景のＣＧ映像の同期をとるため、カメ
ラ１０１からの実写映像はクロマキー合成装置１０６内
の不図示のメモリ内に蓄積しておき、適当な時間（理想
的にはワークステーション１０２からのＣＧ映像が入力
されたタイミングと、このＣＧ映像を生成する際に用い
たカメラ１０１の位置姿勢による実写映像が入力された
タイミングとの差分時間）遅延させて用いる。なお、こ
の遅延時間は予め測定しておく。例えば、カメラ１０１
からの実写映像とワークステーション１０２からの背景
のＣＧ映像とに夫々「生成された時間」の情報（生成時
間情報）を付加しておき、夫々同じ生成時間情報を有す
る映像がクロマキー合成装置１０６に入力された時間の
ずれを測定する。その結果、このずれが遅延時間とな
る。
【００５０】またワークステーション１０３は、クロマ
キー合成装置１０６から入力される映像と、位置姿勢計
測装置１０４から入力される位置姿勢データの同期をと
るため、位置姿勢計測装置１０４からのカメラ１０１の
位置姿勢データをＲＡＭ４０２内に蓄積しておき、適当
な時間（理想的には位置姿勢計測装置１０４からのカメ
ラ１０１の位置姿勢データが入力されたタイミングと、
この位置姿勢データを用いたクロマキー合成装置１０６
からの映像が入力されたタイミングとの差分時間）遅延
させて用いる。
キー合成装置１０６から入力される映像と、位置姿勢計
測装置１０４から入力される位置姿勢データの同期をと
るため、位置姿勢計測装置１０４からのカメラ１０１の
位置姿勢データをＲＡＭ４０２内に蓄積しておき、適当
な時間（理想的には位置姿勢計測装置１０４からのカメ
ラ１０１の位置姿勢データが入力されたタイミングと、
この位置姿勢データを用いたクロマキー合成装置１０６
からの映像が入力されたタイミングとの差分時間）遅延
させて用いる。
【００５１】上述のワークステーション１０２、ワーク
ステーション１０３夫々の処理のフローチャートを図１
４，１５に示し、以下説明する。なお、夫々のフローチ
ャートに従ったプログラムコードは夫々のワークステー
ションのぞれぞれの外部記憶装置４０４内に保存され、
必要に応じてＲＡＭ４０２に読み出され、夫々のワーク
ステーション内の夫々のＣＰＵ４０１により読み出さ
れ、実行される。
ステーション１０３夫々の処理のフローチャートを図１
４，１５に示し、以下説明する。なお、夫々のフローチ
ャートに従ったプログラムコードは夫々のワークステー
ションのぞれぞれの外部記憶装置４０４内に保存され、
必要に応じてＲＡＭ４０２に読み出され、夫々のワーク
ステーション内の夫々のＣＰＵ４０１により読み出さ
れ、実行される。
【００５２】まずワークステーション１０２における処
理について説明する。まず同期待ちとなり（ステップＳ
１４０１）、処理を開始するとまず、位置姿勢計測装置
１０４からカメラ１０１の位置姿勢データを入力する
（ステップＳ１４０２）。入力された位置姿勢データを
上述の通り適当な時間遅延させたこの位置姿勢データに
基づいて、背景のＣＧ映像を生成する（ステップＳ１４
０４）。そして生成された背景のＣＧ映像を出力する
（ステップＳ１４０５）。
理について説明する。まず同期待ちとなり（ステップＳ
１４０１）、処理を開始するとまず、位置姿勢計測装置
１０４からカメラ１０１の位置姿勢データを入力する
（ステップＳ１４０２）。入力された位置姿勢データを
上述の通り適当な時間遅延させたこの位置姿勢データに
基づいて、背景のＣＧ映像を生成する（ステップＳ１４
０４）。そして生成された背景のＣＧ映像を出力する
（ステップＳ１４０５）。
【００５３】次にワークステーション１０３における処
理について説明する。まず同期待ちとなり（ステップＳ
１５０１）、処理を開始するとまずカメラ１０１から実
写映像をキャプチャする（ステップＳ１５０２）。そし
て位置姿勢計測装置１０４からカメラ１０１の位置姿勢
データを入力する（ステップＳ１５０３）。ステップＳ
１５０２とステップＳ１５０３の各処理の順序は逆でも
良いし、並列に行っても良い。そして次にキャプチャし
た実写映像をＲＡＭ４０２内で描画する（ステップＳ１
５０４）。そして、入力したカメラ１０１の位置姿勢デ
ータのうち、予め測定したフレーム数遅延させた位置姿
勢データに基づいて、前景仮想物体映像を生成するため
のビューイング変換行列を算出し（ステップＳ１５０
５）、算出されたビューイング変換行列に基づいて生成
された前景仮想物体映像をクロマキー合成装置１０６か
らの映像に合成し、複合現実感映像を生成する（ステッ
プＳ１５０６）。そして生成された複合現実感映像を出
力する（ステップＳ１５０７）。
理について説明する。まず同期待ちとなり（ステップＳ
１５０１）、処理を開始するとまずカメラ１０１から実
写映像をキャプチャする（ステップＳ１５０２）。そし
て位置姿勢計測装置１０４からカメラ１０１の位置姿勢
データを入力する（ステップＳ１５０３）。ステップＳ
１５０２とステップＳ１５０３の各処理の順序は逆でも
良いし、並列に行っても良い。そして次にキャプチャし
た実写映像をＲＡＭ４０２内で描画する（ステップＳ１
５０４）。そして、入力したカメラ１０１の位置姿勢デ
ータのうち、予め測定したフレーム数遅延させた位置姿
勢データに基づいて、前景仮想物体映像を生成するため
のビューイング変換行列を算出し（ステップＳ１５０
５）、算出されたビューイング変換行列に基づいて生成
された前景仮想物体映像をクロマキー合成装置１０６か
らの映像に合成し、複合現実感映像を生成する（ステッ
プＳ１５０６）。そして生成された複合現実感映像を出
力する（ステップＳ１５０７）。
【００５４】なおクロマキー合成装置１０６における処
理のフローチャートは図１０におけるフローチャートに
おいて、ステップＳ１００２で実写映像と背景のＣＧ映
像を入力し、ステップＳ１００３で入力したこれらの映
像のクロマキー合成を行うとしたフローチャートであ
る。
理のフローチャートは図１０におけるフローチャートに
おいて、ステップＳ１００２で実写映像と背景のＣＧ映
像を入力し、ステップＳ１００３で入力したこれらの映
像のクロマキー合成を行うとしたフローチャートであ
る。
【００５５】なお本実施形態におけるワークステーショ
ン１０２，ワークステーション１０３は、一つのプロセ
ッサ（ＣＰＵ４０１）でカメラ１０１の位置姿勢データ
の受付とその他の処理の制御を行っている。つまりワー
クステーション１０２ではカメラ１０１の位置姿勢デー
タの受付と背景画像の生成を行っている。一方、ワーク
ステーション１０３では、一つのプロセッサで位置姿勢
計測装置１０４からのカメラ１０１の位置姿勢データの
受付と、クロマキー合成装置１０６からの映像の受付を
行っている。
ン１０２，ワークステーション１０３は、一つのプロセ
ッサ（ＣＰＵ４０１）でカメラ１０１の位置姿勢データ
の受付とその他の処理の制御を行っている。つまりワー
クステーション１０２ではカメラ１０１の位置姿勢デー
タの受付と背景画像の生成を行っている。一方、ワーク
ステーション１０３では、一つのプロセッサで位置姿勢
計測装置１０４からのカメラ１０１の位置姿勢データの
受付と、クロマキー合成装置１０６からの映像の受付を
行っている。
【００５６】しかしそれ以外にも、夫々のワークステー
ション内に位置姿勢計測装置１０４からのカメラ１０１
の位置姿勢データの受信専用プロセッサを新たに設けて
も良い。つまり、この受信専用プロセッサは定期的に位
置姿勢計測装置１０４からのカメラ１０１の位置姿勢デ
ータを受信し、夫々のワークステーション内のＲＡＭ４
０２に蓄積する。この蓄積に要する時間はほぼ０に等し
い。しかし、夫々のワークステーション内ではこの他に
もＣＧ映像の生成待ち、クロマキー合成装置１０６から
の映像の入力待ち行っている。そのために夫々のワーク
ステーション内の受信専用プロセッサにはウェイト時間
（待っている時間分の）を設ける必要がある。あるいは
ウェイトをせず、単に「カメラの位置姿勢データの受信
→ＲＡＭ４０２に蓄積」という処理を繰り返すだけでも
良い。そして過去の位置姿勢データを処理に用いる場合
には、ＲＡＭ４０２内で用いる時刻の位置姿勢データを
参照すればよい。
ション内に位置姿勢計測装置１０４からのカメラ１０１
の位置姿勢データの受信専用プロセッサを新たに設けて
も良い。つまり、この受信専用プロセッサは定期的に位
置姿勢計測装置１０４からのカメラ１０１の位置姿勢デ
ータを受信し、夫々のワークステーション内のＲＡＭ４
０２に蓄積する。この蓄積に要する時間はほぼ０に等し
い。しかし、夫々のワークステーション内ではこの他に
もＣＧ映像の生成待ち、クロマキー合成装置１０６から
の映像の入力待ち行っている。そのために夫々のワーク
ステーション内の受信専用プロセッサにはウェイト時間
（待っている時間分の）を設ける必要がある。あるいは
ウェイトをせず、単に「カメラの位置姿勢データの受信
→ＲＡＭ４０２に蓄積」という処理を繰り返すだけでも
良い。そして過去の位置姿勢データを処理に用いる場合
には、ＲＡＭ４０２内で用いる時刻の位置姿勢データを
参照すればよい。
【００５７】以上の方法は映像を扱うプロセッサを映像
データを受信する専用のプロセッサと、映像データを処
理するプロセッサとで分けた場合で、映像データを遅延
させる際にも適応させることができる。
データを受信する専用のプロセッサと、映像データを処
理するプロセッサとで分けた場合で、映像データを遅延
させる際にも適応させることができる。
【００５８】［第５の実施形態］又上述の実施形態にお
いて、前景と背景の合成にはクロマキー合成以外にも例
えばルミナンスキー合成技術を用いても良い。また、上
述の実施形態では複合現実感映像はモニタ１０７に出力
していたが、これに限らずに、例えばビデオなどに出力
して、録画しても良い。
いて、前景と背景の合成にはクロマキー合成以外にも例
えばルミナンスキー合成技術を用いても良い。また、上
述の実施形態では複合現実感映像はモニタ１０７に出力
していたが、これに限らずに、例えばビデオなどに出力
して、録画しても良い。
【００５９】［第６の実施形態］上述の実施形態では複
合現実感映像を生成する際の生成の同期をとっていた
が、この同期をとらなくても大きく問題にならないため
に同期処理を行わない場合もある。その際の映像処理装
置の構成としては、図１、図２、図１２，図１３におい
て同期信号発生器１０５は必要が無く、また、上述の各
部のウェイトを設ける必要もない。
合現実感映像を生成する際の生成の同期をとっていた
が、この同期をとらなくても大きく問題にならないため
に同期処理を行わない場合もある。その際の映像処理装
置の構成としては、図１、図２、図１２，図１３におい
て同期信号発生器１０５は必要が無く、また、上述の各
部のウェイトを設ける必要もない。
【００６０】［他の実施形態］本発明の目的は、前述し
た実施形態の機能を実現するソフトウェアのプログラム
コードを記録した記憶媒体（または記録媒体）を、シス
テムあるいは装置に供給し、そのシステムあるいは装置
のコンピュータ（またはCPUやMPU）が記憶媒体に格納さ
れたプログラムコードを読み出し実行することによって
も、達成されることは言うまでもない。この場合、記憶
媒体から読み出されたプログラムコード自体が前述した
実施形態の機能を実現することになり、そのプログラム
コードを記憶した記憶媒体は本発明を構成することにな
る。また、コンピュータが読み出したプログラムコード
を実行することにより、前述した実施形態の機能が実現
されるだけでなく、そのプログラムコードの指示に基づ
き、コンピュータ上で稼働しているオペレーティングシ
ステム(OS)などが実際の処理の一部または全部を行い、
その処理によって前述した実施形態の機能が実現される
場合も含まれることは言うまでもない。
た実施形態の機能を実現するソフトウェアのプログラム
コードを記録した記憶媒体（または記録媒体）を、シス
テムあるいは装置に供給し、そのシステムあるいは装置
のコンピュータ（またはCPUやMPU）が記憶媒体に格納さ
れたプログラムコードを読み出し実行することによって
も、達成されることは言うまでもない。この場合、記憶
媒体から読み出されたプログラムコード自体が前述した
実施形態の機能を実現することになり、そのプログラム
コードを記憶した記憶媒体は本発明を構成することにな
る。また、コンピュータが読み出したプログラムコード
を実行することにより、前述した実施形態の機能が実現
されるだけでなく、そのプログラムコードの指示に基づ
き、コンピュータ上で稼働しているオペレーティングシ
ステム(OS)などが実際の処理の一部または全部を行い、
その処理によって前述した実施形態の機能が実現される
場合も含まれることは言うまでもない。
【００６１】さらに、記憶媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された機能拡張カー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書込まれた後、そのプログラムコードの指示
に基づき、その機能拡張カードや機能拡張ユニットに備
わるCPUなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。
ラムコードが、コンピュータに挿入された機能拡張カー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書込まれた後、そのプログラムコードの指示
に基づき、その機能拡張カードや機能拡張ユニットに備
わるCPUなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。
【００６２】本発明を上記記憶媒体に適用する場合、そ
の記憶媒体には、先に説明した（図８、及び／又は図
９、及び／又は図１０、及び／又は図１４、及び／又は
図１５、及び／又は図１６に示す）フローチャートに対
応するプログラムコードが格納されることになる。
の記憶媒体には、先に説明した（図８、及び／又は図
９、及び／又は図１０、及び／又は図１４、及び／又は
図１５、及び／又は図１６に示す）フローチャートに対
応するプログラムコードが格納されることになる。
【００６３】
【発明の効果】以上の説明した通り本発明によれば、撮
像手段の位置、姿勢に依存することなく、クロマキー合
成対象領域のみ現実空間と仮想物体との合成を行い、同
期のとれた映像を生成することができる。
像手段の位置、姿勢に依存することなく、クロマキー合
成対象領域のみ現実空間と仮想物体との合成を行い、同
期のとれた映像を生成することができる。
【図１】本発明の第１の実施形態における映像処理装置
の概略構成を示す模式図である。
の概略構成を示す模式図である。
【図２】本発明の第１の実施形態における映像処理装置
が行う処理の大まかな流れを示すブロック図である。
が行う処理の大まかな流れを示すブロック図である。
【図３】カメラ１０１でクロマキー色の背景板を背景に
現実物体の撮像を行う様子を示す図である。
現実物体の撮像を行う様子を示す図である。
【図４】ワークステーション１０２，１０３の内部構成
を示す図である。
を示す図である。
【図５】クロマキー合成装置１０６が行うクロマキー合
成処理を説明する図である。
成処理を説明する図である。
【図６】ワークステーション１０２、１０３が行う映像
の生成処理及び出力のタイミングチャートを示す図であ
る。
の生成処理及び出力のタイミングチャートを示す図であ
る。
【図７】背景の生成方法を説明する図である。
【図８】本発明の第１の実施形態におけるワークステー
ション１０２が行う処理のフローチャートである。
ション１０２が行う処理のフローチャートである。
【図９】本発明の第１の実施形態におけるワークステー
ション１０３が行う処理のフローチャートである。
ション１０３が行う処理のフローチャートである。
【図１０】本発明の第１の実施形態におけるクロマキー
合成装置１０６が行う処理のフローチャートである。
合成装置１０６が行う処理のフローチャートである。
【図１１】クロマキー合成パラメータテーブルの構成例
を示す図である。
を示す図である。
【図１２】本発明の第２の実施形態における映像処理装
置の概略構成を示す図である。
置の概略構成を示す図である。
【図１３】本発明の第２の実施形態における映像処理装
置が行う処理の大まかな流れを示すブロック図である。
置が行う処理の大まかな流れを示すブロック図である。
【図１４】本発明の第２の実施形態における映像処理装
置が行う処理のフローチャートである。
置が行う処理のフローチャートである。
【図１５】本発明の第２の実施形態における映像処理装
置が行う処理のフローチャートである。
置が行う処理のフローチャートである。
【図１６】クロマキー合成パラメータテーブルを参照し
て、カメラ１０１の位置姿勢データが与えられた際に、
対応するクロマキー合成パラメータを特定する処理のフ
ローチャートである。
て、カメラ１０１の位置姿勢データが与えられた際に、
対応するクロマキー合成パラメータを特定する処理のフ
ローチャートである。
フロントページの続き Ｆターム(参考） 5B050 AA08 BA06 BA07 BA09 BA11 EA05 EA07 EA09 EA19 EA24 FA02 5B057 CA01 CA16 CB01 CB16 CE08 CE09 5C023 AA17 AA37 AA38 BA11 CA03 DA03 DA04 EA03 5C066 AA01 AA12 CA21 ED02 GA12 KE02 KE09 KM11 5C082 AA27 BA12 BA27 CA59 CB01 CB06 DA51 DA76 MM09 MM10
Claims (13)
- 【請求項１】 現実空間と仮想物体との映像の合成処理
を行う映像処理装置であって、 現実空間を撮像する撮像手段と、 前記撮像手段の位置、姿勢を計測する計測手段と、 前記計測手段による前記撮像手段の位置、姿勢に基づい
て、前記撮像手段により撮像された現実空間を含む前景
の映像を生成する前景映像生成手段と、 前記計測手段による前記撮像手段の位置、姿勢に基づい
て、前記前景映像生成手段による前景の背景映像を生成
する背景映像生成手段と、 前記前景映像生成手段による前景の映像と、前記背景映
像生成手段による背景の映像とを合成する合成手段と、 前記合成手段が合成する対象の映像が同期して入力する
ための同期信号を発生する同期信号発生手段とを備え、 前記前景映像生成手段、前記背景映像生成手段は夫々所
定時間分のウェイト処理を行うことで、前記同期信号に
応じて同期のとれた前景、背景の映像を夫々前記合成手
段に入力することを特徴とする映像処理装置。 - 【請求項２】 前記合成手段はクロマキー合成処理を行
い、前記撮像手段による現実空間のクロマキー色の領域
に、前記背景映像生成手段による背景の映像の該当する
領域を合成することを特徴とする請求項１に記載の映像
処理装置。 - 【請求項３】 前記現実空間における現実物体にクロマ
キー色の領域が含まれていて、当該領域をクロマキー合
成の対象外とする場合、当該領域の位置、形状を所定の
格納手段に格納し、前記計測手段による前記撮像手段の
位置、姿勢に基づいて前記領域を変換することで変換領
域を生成し、 前記合成手段は前記変換領域以外のクロマキー色の領域
に対して、クロマキー合成処理を行うことを特徴とする
請求項２に記載の映像処理装置。 - 【請求項４】 前記合成手段は前記撮像手段の位置、姿
勢に応じたクロマキー色が記載されたテーブルを備え、 前記計測手段による前記撮像手段の位置、姿勢に応じた
クロマキー色を前記テーブルから特定し、特定したクロ
マキー色をクロマキー合成処理に用いることを特徴とす
る請求項２に記載の映像処理装置。 - 【請求項５】 前記合成手段が前記計測手段による前記
撮像手段の位置、姿勢に応じたクロマキー色を前記テー
ブルから特定する際、 前記計測手段による前記撮像手段の位置、姿勢が前記テ
ーブルに記載されていない場合には、前記テーブルに記
載された前記撮像手段の位置、姿勢とそれに応じたクロ
マキー色とを用いて補間することで、前記計測手段によ
る前記撮像手段の位置、姿勢に応じたクロマキー色を特
定することを特徴とする請求項４に記載の映像処理装
置。 - 【請求項６】 前記前景映像生成手段は前記撮像手段に
よる現実空間の手前に仮想物体を設ける場合、 所定の格納手段に格納された仮想物体の描画に関する情
報を用いて前記計測手段による前記撮像手段の位置、姿
勢に基づいた前記仮想物体の映像を生成し、前記現実空
間に合成することで前景の映像を生成することを特徴と
する請求項１乃至５のいずれか１項に記載の映像処理装
置。 - 【請求項７】 前記前景映像生成手段は、前記撮像手段
により撮像された現実空間の映像に同期した前記撮像手
段の位置、姿勢を用いて前景の映像を生成することを特
徴とする請求項６に記載の映像処理装置。 - 【請求項８】 前記背景映像生成手段は所定の格納手段
に格納された背景のデータを用いて、 前記計測手段による前記撮像手段の位置、姿勢で見える
背景の映像を生成することを特徴とする請求項１乃至５
のいずれか１項に記載の映像処理装置。 - 【請求項９】 現実空間と仮想物体との映像の合成処理
を行う映像処理装置であって、 現実空間を撮像する撮像手段と、 前記撮像手段の位置、姿勢を計測する計測手段と、 前記計測手段による前記撮像手段の位置、姿勢に基づい
て、前記撮像手段による現実空間の背景の映像を生成す
る背景映像生成手段と、 前記撮像手段による現実空間と、前記背景映像生成手段
による背景の映像とを合成する第１の合成手段と、 前記計測手段による前記撮像手段の位置、姿勢に基づい
て仮想物体の映像を生成し、生成した仮想物体の映像と
前記第１の合成手段による映像とを合成する第２の合成
手段と、 前記第１の合成手段と前記第２の合成手段とが同期のと
れた映像を合成するための同期信号を発生する同期信号
発生手段とを備え、 前記第１の合成手段は所定時間遅延した前記撮像手段か
らの現実空間の映像を用いることで前記同期信号に応じ
て同期のとれた映像を生成し、前記第２の合成手段は所
定時間遅延した前記計測手段からの前記撮像手段の位
置、姿勢を用いることで前記同期信号に応じて同期のと
れた映像を生成することを特徴とする映像処理装置。 - 【請求項１０】 現実空間と仮想物体との映像の合成処
理を行う映像処理方法であって、 現実空間を撮像する所定の撮像手段の位置、姿勢を計測
する計測工程と、 前記計測工程による前記所定の撮像手段の位置、姿勢に
基づいて、前記所定の撮像手段により撮像された現実空
間を含む前景の映像を生成する前景映像生成工程と、 前記計測工程による前記所定の撮像手段の位置、姿勢に
基づいて、前記前景映像生成工程による前景の背景映像
を生成する背景映像生成工程と、 前記前景映像生成工程による前景の映像と、前記背景映
像生成工程による背景の映像とを合成する合成工程と、 前記合成工程が合成する対象の映像が同期して入力する
ための同期信号を発生する同期信号発生工程とを備え、 前記前景映像生成工程、前記背景映像生成工程は夫々所
定時間分のウェイト処理を行うことで、前記同期信号に
応じて同期のとれた前景、背景の映像を夫々前記合成工
程で用いることを特徴とする映像処理方法。 - 【請求項１１】 現実空間と仮想物体との映像の合成処
理を行う映像処理方法であって、 現実空間を撮像する所定の撮像手段の位置、姿勢を計測
する計測工程と、 前記計測工程による前記所定の撮像手段の位置、姿勢に
基づいて、前記所定の撮像手段による現実空間の背景の
映像を生成する背景映像生成工程と、 前記所定の撮像手段による現実空間と、前記背景映像生
成工程による背景の映像とを合成する第１の合成工程
と、 前記計測工程による前記所定の撮像手段の位置、姿勢に
基づいて仮想物体の映像を生成し、生成した仮想物体の
映像と前記第１の合成工程による映像とを合成する第２
の合成工程と、 前記第１の合成工程と前記第２の合成工程とが同期のと
れた映像を合成するための同期信号を発生する同期信号
発生工程とを備え、 前記第１の合成工程は所定時間遅延した前記所定の撮像
手段からの現実空間の映像を用いることで前記同期信号
に応じて同期のとれた映像を生成し、前記第２の合成工
程は所定時間遅延した前記計測工程からの前記所定の撮
像手段の位置、姿勢を用いることで前記同期信号に応じ
て同期のとれた映像を生成することを特徴とする映像処
理方法。 - 【請求項１２】 現実空間と仮想物体との映像の合成処
理のプログラムコードを格納する記憶媒体であって、 現実空間を撮像する所定の撮像手段の位置、姿勢を計測
する計測工程のプログラムコードと、 前記計測工程による前記所定の撮像手段の位置、姿勢に
基づいて、前記所定の撮像手段により撮像された現実空
間を含む前景の映像を生成する前景映像生成工程のプロ
グラムコードと、 前記計測工程による前記所定の撮像手段の位置、姿勢に
基づいて、前記前景映像生成工程による前景の背景映像
を生成する背景映像生成工程のプログラムコードと、 前記前景映像生成工程による前景の映像と、前記背景映
像生成工程による背景の映像とを合成する合成工程のプ
ログラムコードと、 前記合成工程が合成する対象の映像が同期して入力する
ための同期信号を発生する同期信号発生工程のプログラ
ムコードとを備え、 前記前景映像生成工程、前記背景映像生成工程は夫々所
定時間分のウェイト処理を行うことで、前記同期信号に
応じて同期のとれた前景、背景の映像を夫々前記合成工
程で用いることを特徴とする記憶媒体。 - 【請求項１３】 現実空間と仮想物体との映像の合成処
理のプログラムコードを格納する記憶媒体であって、 現実空間を撮像する所定の撮像手段の位置、姿勢を計測
する計測工程のプログラムコードと、 前記計測工程による前記所定の撮像手段の位置、姿勢に
基づいて、前記所定の撮像手段による現実空間の背景の
映像を生成する背景映像生成工程のプログラムコード
と、 前記所定の撮像手段による現実空間と、前記背景映像生
成工程による背景の映像とを合成する第１の合成工程の
プログラムコードと、 前記計測工程による前記所定の撮像手段の位置、姿勢に
基づいて仮想物体の映像を生成し、生成した仮想物体の
映像と前記第１の合成工程による映像とを合成する第２
の合成工程のプログラムコードと、 前記第１の合成工程と前記第２の合成工程とが同期のと
れた映像を合成するための同期信号を発生する同期信号
発生工程のプログラムコードとを備え、 前記第１の合成工程は所定時間遅延した前記所定の撮像
手段からの現実空間の映像を用いることで前記同期信号
に応じて同期のとれた映像を生成し、前記第２の合成工
程は所定時間遅延した前記計測工程からの前記所定の撮
像手段の位置、姿勢を用いることで前記同期信号に応じ
て同期のとれた映像を生成することを特徴とする記憶媒
体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000280698A JP3631117B2 (ja) | 2000-09-14 | 2000-09-14 | 映像処理装置及びその方法並びに記憶媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000280698A JP3631117B2 (ja) | 2000-09-14 | 2000-09-14 | 映像処理装置及びその方法並びに記憶媒体 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004142649A Division JP3927965B2 (ja) | 2004-05-12 | 2004-05-12 | 映像処理装置及びその方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002095008A true JP2002095008A (ja) | 2002-03-29 |
| JP3631117B2 JP3631117B2 (ja) | 2005-03-23 |
Family
ID=18765482
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000280698A Expired - Fee Related JP3631117B2 (ja) | 2000-09-14 | 2000-09-14 | 映像処理装置及びその方法並びに記憶媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3631117B2 (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100755187B1 (ko) * | 2006-02-23 | 2007-09-03 | 주식회사 엔씨소프트 | 실제영상에 가상매체를 표시할 수 있는 디지털 기기 및 그표시방법 |
| US7394462B2 (en) | 2002-05-13 | 2008-07-01 | Kabushiki Kaisha Micronet | Superimposing apparatus and method for broadcasting three-dimensional computer graphics image |
| KR100941749B1 (ko) | 2008-08-25 | 2010-02-11 | 에이알비전 (주) | 증강 현실 장치 및 가상 이미지 합성 방법 |
| CN103258339A (zh) * | 2012-02-16 | 2013-08-21 | 克利特股份有限公司 | 基于实况记录和基于计算机图形的媒体流的实时合成 |
| CN107979754A (zh) * | 2016-10-25 | 2018-05-01 | 百度在线网络技术（北京）有限公司 | 一种基于摄像头应用的测试方法和装置 |
| JP2021077078A (ja) * | 2019-11-08 | 2021-05-20 | 株式会社Ａｃｗ−Ｄｅｅｐ | 拡張仮想空間提供システム |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0628449A (ja) * | 1992-07-08 | 1994-02-04 | Matsushita Electric Ind Co Ltd | 画像合成装置 |
| JPH07212653A (ja) * | 1994-01-18 | 1995-08-11 | Matsushita Electric Ind Co Ltd | 画像処理装置 |
| JPH11313339A (ja) * | 1998-04-30 | 1999-11-09 | Toshiba Corp | 表示制御装置および動画／グラフィクス合成表示方法 |
-
2000
- 2000-09-14 JP JP2000280698A patent/JP3631117B2/ja not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0628449A (ja) * | 1992-07-08 | 1994-02-04 | Matsushita Electric Ind Co Ltd | 画像合成装置 |
| JPH07212653A (ja) * | 1994-01-18 | 1995-08-11 | Matsushita Electric Ind Co Ltd | 画像処理装置 |
| JPH11313339A (ja) * | 1998-04-30 | 1999-11-09 | Toshiba Corp | 表示制御装置および動画／グラフィクス合成表示方法 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7394462B2 (en) | 2002-05-13 | 2008-07-01 | Kabushiki Kaisha Micronet | Superimposing apparatus and method for broadcasting three-dimensional computer graphics image |
| KR100755187B1 (ko) * | 2006-02-23 | 2007-09-03 | 주식회사 엔씨소프트 | 실제영상에 가상매체를 표시할 수 있는 디지털 기기 및 그표시방법 |
| KR100941749B1 (ko) | 2008-08-25 | 2010-02-11 | 에이알비전 (주) | 증강 현실 장치 및 가상 이미지 합성 방법 |
| CN103258339A (zh) * | 2012-02-16 | 2013-08-21 | 克利特股份有限公司 | 基于实况记录和基于计算机图形的媒体流的实时合成 |
| CN107979754A (zh) * | 2016-10-25 | 2018-05-01 | 百度在线网络技术（北京）有限公司 | 一种基于摄像头应用的测试方法和装置 |
| JP2021077078A (ja) * | 2019-11-08 | 2021-05-20 | 株式会社Ａｃｗ−Ｄｅｅｐ | 拡張仮想空間提供システム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3631117B2 (ja) | 2005-03-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4847203B2 (ja) | 情報処理方法、情報処理装置 | |
| JP6395423B2 (ja) | 画像処理装置、制御方法及びプログラム | |
| JPH11331874A (ja) | 画像処理装置、奥行き画像計測装置、複合現実感提示システム、画像処理方法、奥行き画像計測方法、複合現実感提示方法、およびプログラムの記憶媒体 | |
| JP2002209208A (ja) | 画像処理装置及びその方法並びに記憶媒体 | |
| WO2005024723A1 (ja) | 画像合成システム、画像合成方法及びプログラム | |
| JP6521352B2 (ja) | 情報提示システム及び端末 | |
| JP2011035638A (ja) | 仮想現実空間映像制作システム | |
| JP3631117B2 (ja) | 映像処理装置及びその方法並びに記憶媒体 | |
| JP2023033975A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| JP4236705B2 (ja) | 直前の原フレームのみに基づく１つ以上の中間フレームを合成することにより原フレームの系列からディスプレイフレームを発生させる方法及びデバイス | |
| JP3927965B2 (ja) | 映像処理装置及びその方法 | |
| JP2007102478A (ja) | 画像処理装置、画像処理方法、及び半導体集積回路 | |
| JP4018273B2 (ja) | 映像処理装置及びその制御方法及び記憶媒体 | |
| JP2006323139A (ja) | プロジェクタ・カメラサーバ、及び画像投影方法 | |
| JP2002042158A (ja) | 画像合成装置および画像合成方法およびプログラムを記録した媒体 | |
| JPH1091790A (ja) | 三次元形状抽出方法及び装置並びに記憶媒体 | |
| JP4006105B2 (ja) | 画像処理装置およびその方法 | |
| JPH10255071A (ja) | 画像処理システム | |
| JP2020126393A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| WO2018084051A1 (ja) | 情報処理装置、ヘッドマウントディスプレイ、情報処理システム、および情報処理方法 | |
| EP4436159A1 (en) | Information processing apparatus, image processing method, and program | |
| JP2002058046A (ja) | 撮像システムおよび３次元カメラ | |
| JPH11259682A (ja) | 画像処理装置および方法、並びに提供媒体 | |
| US20240257301A1 (en) | Information processing apparatus and information processing system | |
| JP6935692B2 (ja) | 情報処理装置、情報処理システム、情報処理方法およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040315 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040512 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20040623 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041206 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041215 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3631117 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081224 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081224 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091224 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091224 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101224 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111224 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121224 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131224 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |