JP2000023037A - 映像合成装置 - Google Patents
映像合成装置Info
- Publication number
- JP2000023037A JP2000023037A JP10190598A JP19059898A JP2000023037A JP 2000023037 A JP2000023037 A JP 2000023037A JP 10190598 A JP10190598 A JP 10190598A JP 19059898 A JP19059898 A JP 19059898A JP 2000023037 A JP2000023037 A JP 2000023037A
- Authority
- JP
- Japan
- Prior art keywords
- video
- dimensional information
- image
- data
- computer graphics
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Image Processing (AREA)
- Studio Circuits (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 撮影現場において合成結果を確認しながら例
えば役者が演技したりＣＧの操作者が操作を行うことを
可能とする。 【解決手段】 撮影対象物及びその環境の実写映像を撮
影する映像撮影用カメラ１と、それらの３次元情報を生
成する距離計測用カメラ２と、ＣＧキャラクタの３次元
モデルデータを蓄積するＣＧキャラクタデータ部６、及
びＣＧ背景データを蓄積するＣＧ背景データ部１０と、
ＣＧキャラクタの動きを操作するＣＧ操作部８と、実写
映像とＣＧキャラクタとを３次元情報に基づいて合成す
る映像合成部１１と、少なくともその合成した映像を表
示可能な合成映像表示部１２とを具備する。
えば役者が演技したりＣＧの操作者が操作を行うことを
可能とする。 【解決手段】 撮影対象物及びその環境の実写映像を撮
影する映像撮影用カメラ１と、それらの３次元情報を生
成する距離計測用カメラ２と、ＣＧキャラクタの３次元
モデルデータを蓄積するＣＧキャラクタデータ部６、及
びＣＧ背景データを蓄積するＣＧ背景データ部１０と、
ＣＧキャラクタの動きを操作するＣＧ操作部８と、実写
映像とＣＧキャラクタとを３次元情報に基づいて合成す
る映像合成部１１と、少なくともその合成した映像を表
示可能な合成映像表示部１２とを具備する。
Description
【０００１】
【発明の属する技術分野】本発明は、少なくとも実写と
コンピュータグラフィックスとを合成可能な映像合成装
置に関する。
コンピュータグラフィックスとを合成可能な映像合成装
置に関する。
【０００２】
【従来の技術】従来より、映画やテレビジョンなどで実
写とコンピュータグラフィックス（以下、ＣＧとする）
の合成を行う場合は、いわゆるクロマキー（chroma ke
y）法、ロートスコーピング（roto scoping）法、ディ
ファレンスマッチング（difference matting）法などの
方法を用いて、実写からＣＧと合成する部分の切り出し
を行い、その後、実写の映像とＣＧを合成することが行
われている。
写とコンピュータグラフィックス（以下、ＣＧとする）
の合成を行う場合は、いわゆるクロマキー（chroma ke
y）法、ロートスコーピング（roto scoping）法、ディ
ファレンスマッチング（difference matting）法などの
方法を用いて、実写からＣＧと合成する部分の切り出し
を行い、その後、実写の映像とＣＧを合成することが行
われている。
【０００３】上記クロマキー法は、青色又は緑色の背景
の前で対象物（或いは対象者）の撮影を行い、背景と対
象物の色空間における違いを用いて切り出す方法であ
る。
の前で対象物（或いは対象者）の撮影を行い、背景と対
象物の色空間における違いを用いて切り出す方法であ
る。
【０００４】上記ロートスコーピング法は、切り出した
い対象物を、撮影後に手作業で指定して切り抜く方法で
ある。
い対象物を、撮影後に手作業で指定して切り抜く方法で
ある。
【０００５】上記ディファレンスマッチング法は、動き
を制御可能なカメラを用いて、先ず対象物が無い状態で
撮影を行い、次いで、同じカメラモーションを用いて対
象物込みで再度撮影を行い、その後、この２つの画像の
差分を取ることで、対象物の切り出しを行う方法であ
る。
を制御可能なカメラを用いて、先ず対象物が無い状態で
撮影を行い、次いで、同じカメラモーションを用いて対
象物込みで再度撮影を行い、その後、この２つの画像の
差分を取ることで、対象物の切り出しを行う方法であ
る。
【０００６】
【発明が解決しようとする課題】しかし、上記クロマキ
ー法には、以下のような各種の問題がある。
ー法には、以下のような各種の問題がある。
【０００７】(1)背景を同時に取り込むことができな
い。
い。
【０００８】(2)精度良く切り出しを行うためには、背
景色分布が狭い方が良いので、背景に対して均一に照明
を当てる必要がある。このように均一な照明を行うと、
例えば陰影のあるシーン等との合成が難い。
景色分布が狭い方が良いので、背景に対して均一に照明
を当てる必要がある。このように均一な照明を行うと、
例えば陰影のあるシーン等との合成が難い。
【０００９】(3)切り出したい対象物には、背景色を含
んではいけないという制限がある。
んではいけないという制限がある。
【００１０】(4)輪郭が背景色で滲むことがあり、当該
滲みを除去するための後処理が必要である。
滲みを除去するための後処理が必要である。
【００１１】(5)背景色の間接光で全体に青みがかる。
【００１２】また、上記ロートスコーピング法には、以
下のような問題がある。
下のような問題がある。
【００１３】(1)処理に時間がかかる。
【００１４】(2)撮影現場で切り抜きや合成の結果を確
認出来ないので、ＣＧの操作が不可能である。
認出来ないので、ＣＧの操作が不可能である。
【００１５】さらに、上記ディファレンスマッチング法
には、以下のような問題がある。
には、以下のような問題がある。
【００１６】(1)背景が動いたり、照明が変わったりし
ないという前提が必要である。
ないという前提が必要である。
【００１７】(2)撮影には通常の２倍の時間がかかる。
【００１８】上述したクロマキー法、ロートスコーピン
グ法、ディファレンスマッチング法では、画像からは２
次元的に切り取りが行われるのみであり、このため、複
雑な前後関係がある対象物とＣＧの合成を行うことがで
きない。
グ法、ディファレンスマッチング法では、画像からは２
次元的に切り取りが行われるのみであり、このため、複
雑な前後関係がある対象物とＣＧの合成を行うことがで
きない。
【００１９】上述したように、従来の映像合成手法で
は、撮影現場において合成結果を確認しながら例えば役
者が演技したりＣＧの操作者が操作を行うようなこと
は、非常に困難であり、これまでにそのようなことを実
現できる装置は存在していない。
は、撮影現場において合成結果を確認しながら例えば役
者が演技したりＣＧの操作者が操作を行うようなこと
は、非常に困難であり、これまでにそのようなことを実
現できる装置は存在していない。
【００２０】そこで、本発明はこのような状況に鑑みて
なされたものであり、撮影現場において合成結果を確認
しながら例えば役者が演技したりＣＧの操作者が操作を
行うことを可能とする映像合成装置を提供することを目
的とする。
なされたものであり、撮影現場において合成結果を確認
しながら例えば役者が演技したりＣＧの操作者が操作を
行うことを可能とする映像合成装置を提供することを目
的とする。
【００２１】
【課題を解決するための手段】本発明の映像合成装置
は、撮影対象及び当該撮影対象の入る環境を撮影する映
像撮影手段と、撮影対象と当該撮影対象の入る環境の３
次元情報を生成する３次元情報生成手段と、コンピュー
タグラフィックス映像を生成するコンピュータグラフィ
ックス生成手段と、コンピュータグラフィックス映像の
キャラクタを操作する操作手段と、撮影された映像とコ
ンピュータグラフィックス映像及びキャラクタとを３次
元情報に基づいて合成する映像合成手段と、少なくとも
合成した映像を表示可能な映像表示手段とを具備してな
ることにより、上述した課題を解決する。
は、撮影対象及び当該撮影対象の入る環境を撮影する映
像撮影手段と、撮影対象と当該撮影対象の入る環境の３
次元情報を生成する３次元情報生成手段と、コンピュー
タグラフィックス映像を生成するコンピュータグラフィ
ックス生成手段と、コンピュータグラフィックス映像の
キャラクタを操作する操作手段と、撮影された映像とコ
ンピュータグラフィックス映像及びキャラクタとを３次
元情報に基づいて合成する映像合成手段と、少なくとも
合成した映像を表示可能な映像表示手段とを具備してな
ることにより、上述した課題を解決する。
【００２２】
【発明の実施の形態】本発明の好ましい実施の形態につ
いて、図面を参照しながら説明する。
いて、図面を参照しながら説明する。
【００２３】図１には、例えば映画やテレビジョンなど
の撮影現場において、撮影された実写とコンピュータグ
ラフィックス（ＣＧ）それぞれの３次元位置の確認を行
いながら、役者の演技とＣＧの動きを操作できる、本発
明の一実施の形態としての映像合成装置のブロック構成
を示す。すなわち、本実施の形態の映像合成装置は、映
画やテレビジョンなどの撮影現場で、実写とＣＧの合成
を行うシーンを撮影する際に、撮影しているその場にお
いて（例えばビデオレートで）ＣＧと実写の合成を行
い、その位置関係を確認しながら、実写（例えば役者の
演技）とＣＧの動きを操作することを可能にするもので
ある。
の撮影現場において、撮影された実写とコンピュータグ
ラフィックス（ＣＧ）それぞれの３次元位置の確認を行
いながら、役者の演技とＣＧの動きを操作できる、本発
明の一実施の形態としての映像合成装置のブロック構成
を示す。すなわち、本実施の形態の映像合成装置は、映
画やテレビジョンなどの撮影現場で、実写とＣＧの合成
を行うシーンを撮影する際に、撮影しているその場にお
いて（例えばビデオレートで）ＣＧと実写の合成を行
い、その位置関係を確認しながら、実写（例えば役者の
演技）とＣＧの動きを操作することを可能にするもので
ある。
【００２４】図１において、映像撮影用カメラ１は、実
際に撮影対象物（者）及び撮影対象物（者）の入る環境
（背景など）を撮影し、映像データを得る。この映像撮
影用カメラ１が撮影した映像データは、映像合成部１１
と映像記録部５に送られる。
際に撮影対象物（者）及び撮影対象物（者）の入る環境
（背景など）を撮影し、映像データを得る。この映像撮
影用カメラ１が撮影した映像データは、映像合成部１１
と映像記録部５に送られる。
【００２５】距離計測用カメラ２は、例えば複数台のカ
メラからなり、これら複数台のカメラにて同時に撮影し
た複数枚分の映像データを３次元情報演算部３に送る。
メラからなり、これら複数台のカメラにて同時に撮影し
た複数枚分の映像データを３次元情報演算部３に送る。
【００２６】３次元情報演算部３では、距離計測用カメ
ラ２から供給された複数枚分の映像データを用いて、撮
影対象物及び当該撮影対象物の入る環境の個々の３次元
情報を生成する。すなわち、上記距離計測用カメラ２が
例えば左右２台のカメラからなる場合、当該３次元情報
演算部３では、これら左右２台のカメラから得られた左
右２枚の実画像から実際の空間の奥行き情報（３次元情
報）を求める。勿論、上記距離計測用カメラ２は左右２
台のカメラからなる場合のみならず、さらに複数台のカ
メラからなっていてもよく、当該３次元情報演算部３で
は、これら複数台のカメラから得られた複数の実画像か
ら実際の空間の奥行き情報を求めるようにしてもよい。
また、３次元情報演算部３での３次元情報の生成の際に
は、距離計測用カメラ２からの映像データだけでなく、
映像撮影用カメラ１から得られた映像データを使用する
ようにしても良い。
ラ２から供給された複数枚分の映像データを用いて、撮
影対象物及び当該撮影対象物の入る環境の個々の３次元
情報を生成する。すなわち、上記距離計測用カメラ２が
例えば左右２台のカメラからなる場合、当該３次元情報
演算部３では、これら左右２台のカメラから得られた左
右２枚の実画像から実際の空間の奥行き情報（３次元情
報）を求める。勿論、上記距離計測用カメラ２は左右２
台のカメラからなる場合のみならず、さらに複数台のカ
メラからなっていてもよく、当該３次元情報演算部３で
は、これら複数台のカメラから得られた複数の実画像か
ら実際の空間の奥行き情報を求めるようにしてもよい。
また、３次元情報演算部３での３次元情報の生成の際に
は、距離計測用カメラ２からの映像データだけでなく、
映像撮影用カメラ１から得られた映像データを使用する
ようにしても良い。
【００２７】さらに、３次元情報を得るための手法とし
ては、上述したように、距離計測用カメラ２にて撮影し
た映像から３次元情報を生成するパッシブな方法だけで
なく、例えば、いわゆるスリット光による光切断法、モ
アレを用いる方法、パターン光照射などのアクティブな
方法を用いて３次元情報を生成することも可能であり、
また、例えば赤外線や超音波等を用いて個々の対象物の
距離を実際に測定する距離測定装置などの距離情報に基
づいて３次元情報を生成することも可能である。
ては、上述したように、距離計測用カメラ２にて撮影し
た映像から３次元情報を生成するパッシブな方法だけで
なく、例えば、いわゆるスリット光による光切断法、モ
アレを用いる方法、パターン光照射などのアクティブな
方法を用いて３次元情報を生成することも可能であり、
また、例えば赤外線や超音波等を用いて個々の対象物の
距離を実際に測定する距離測定装置などの距離情報に基
づいて３次元情報を生成することも可能である。
【００２８】上記３次元情報演算部３にて求められた３
次元情報は、映像合成部１１に送られると共に、３次元
情報記録部４に送られる。
次元情報は、映像合成部１１に送られると共に、３次元
情報記録部４に送られる。
【００２９】３次元情報記録部４は、上記３次元情報演
算部３から供給された３次元情報を記録する。
算部３から供給された３次元情報を記録する。
【００３０】映像記録部５では、上記映像撮影用カメラ
１からの映像データを記録する。
１からの映像データを記録する。
【００３１】一方、ＣＧキャラクタデータ部６は、ＣＧ
のキャラクタ（例えば人や動物など）の３次元モデルデ
ータが蓄積されている。このＣＧキャラクタデータ部６
に蓄積された３次元モデルデータは、必要に応じて読み
出され、ＣＧ生成部７に供給される。
のキャラクタ（例えば人や動物など）の３次元モデルデ
ータが蓄積されている。このＣＧキャラクタデータ部６
に蓄積された３次元モデルデータは、必要に応じて読み
出され、ＣＧ生成部７に供給される。
【００３２】また、ＣＧ操作部８は、例えばジョイステ
ィックなどの操作手段を具備してなり、当該操作手段を
用いてＣＧキャラクタの動き情報を入力する。当該ＣＧ
操作部８でのＣＧキャラクタの動きの入力方法として
は、ジョイスティック以外に、例えば操作者の動きを捉
えるモーションキャプチャなども考えられる。このＣＧ
操作部８から入力されたキャラクタの動き情報は、動き
データ記録部９とＣＧ生成部７に送られる。
ィックなどの操作手段を具備してなり、当該操作手段を
用いてＣＧキャラクタの動き情報を入力する。当該ＣＧ
操作部８でのＣＧキャラクタの動きの入力方法として
は、ジョイスティック以外に、例えば操作者の動きを捉
えるモーションキャプチャなども考えられる。このＣＧ
操作部８から入力されたキャラクタの動き情報は、動き
データ記録部９とＣＧ生成部７に送られる。
【００３３】ＣＧ生成部７では、上記ＣＧキャラクタデ
ータ部６から読み出された３次元モデルデータを元に、
ＣＧ操作部８から入力されたＣＧ動き情報を付加して３
次元ＣＧデータを生成する。このＣＧ生成部７にて生成
された３次元ＣＧデータは、映像合成部１１に送られ
る。
ータ部６から読み出された３次元モデルデータを元に、
ＣＧ操作部８から入力されたＣＧ動き情報を付加して３
次元ＣＧデータを生成する。このＣＧ生成部７にて生成
された３次元ＣＧデータは、映像合成部１１に送られ
る。
【００３４】動きデータ記録部９では、ＣＧ操作部８か
らの動き情報を記録する。
らの動き情報を記録する。
【００３５】さらに、ＣＧ背景データ部１０は、上記Ｃ
Ｇキャラクタデータ部６の３次元モデルデータ以外のＣ
Ｇ（つまり操作する必要のないＣＧ）である背景データ
を記録している。このＣＧ背景データ部１０から必要に
応じて読み出された背景データは、映像合成部１１に送
られる。
Ｇキャラクタデータ部６の３次元モデルデータ以外のＣ
Ｇ（つまり操作する必要のないＣＧ）である背景データ
を記録している。このＣＧ背景データ部１０から必要に
応じて読み出された背景データは、映像合成部１１に送
られる。
【００３６】映像合成部１１は、３次元情報演算部２か
らの３次元情報と、映像撮影用カメラ１からの映像デー
タと、ＣＧ生成部７からの３次元ＣＧデータと、ＣＧ背
景データ部１０からの背景データとをそれぞれ入力と
し、映像撮影用カメラ１からの映像に３次元的にＣＧを
合成した映像データを生成する。この映像合成部１１に
て合成された映像データは、合成映像表示部１２に送ら
れる。
らの３次元情報と、映像撮影用カメラ１からの映像デー
タと、ＣＧ生成部７からの３次元ＣＧデータと、ＣＧ背
景データ部１０からの背景データとをそれぞれ入力と
し、映像撮影用カメラ１からの映像に３次元的にＣＧを
合成した映像データを生成する。この映像合成部１１に
て合成された映像データは、合成映像表示部１２に送ら
れる。
【００３７】合成映像表示部１２では、映像合成部１１
で生成された映像データの映像をモニタに表示する。な
お、合成映像表示部１２には、映像撮影用カメラ１から
の映像にＣＧを合成した映像を表示するだけでなく、Ｃ
Ｇ操作部８の操作者が判り易いように、その操作者の視
点（つまりＣＧのキャラクタの視点）から見えるであろ
う仮想的な映像を提示することも考えられる。
で生成された映像データの映像をモニタに表示する。な
お、合成映像表示部１２には、映像撮影用カメラ１から
の映像にＣＧを合成した映像を表示するだけでなく、Ｃ
Ｇ操作部８の操作者が判り易いように、その操作者の視
点（つまりＣＧのキャラクタの視点）から見えるであろ
う仮想的な映像を提示することも考えられる。
【００３８】上述したように、本発明実施の形態の映像
合成装置においては、映画やテレビジョンなどの撮影現
場で実際に撮影した実写と、予め作成して格納しておい
たＣＧキャラクタとを、撮影しているその場において
（例えばビデオレートで）３次元的に合成可能となって
いる。すなわち、本実施の形態の映像合成装置は、映画
やテレビジョンなどの撮影現場におけるプレビューアと
して用いることができ、したがって、例えば特撮などで
実写に対して３次元的にＣＧを合成するような場合に、
実写とＣＧの位置関係を確認及び調整しながら、実写
（例えば役者の演技）とＣＧの動きの操作及びその撮影
が可能である。より具体的に言うと、例えば、実写と実
写の間（前後）に、ある大きさの決まったＣＧを挿入す
るときなどでは、それぞれの前後関係などがきちんと計
られていなければならなく、撮影現場での位置関係の確
認が簡易的に行えることが望ましいが、本発明実施の形
態の映像合成装置によれば、実際に現場で合成された画
面を見ながら、実写とＣＧの位置関係を調整できる。
合成装置においては、映画やテレビジョンなどの撮影現
場で実際に撮影した実写と、予め作成して格納しておい
たＣＧキャラクタとを、撮影しているその場において
（例えばビデオレートで）３次元的に合成可能となって
いる。すなわち、本実施の形態の映像合成装置は、映画
やテレビジョンなどの撮影現場におけるプレビューアと
して用いることができ、したがって、例えば特撮などで
実写に対して３次元的にＣＧを合成するような場合に、
実写とＣＧの位置関係を確認及び調整しながら、実写
（例えば役者の演技）とＣＧの動きの操作及びその撮影
が可能である。より具体的に言うと、例えば、実写と実
写の間（前後）に、ある大きさの決まったＣＧを挿入す
るときなどでは、それぞれの前後関係などがきちんと計
られていなければならなく、撮影現場での位置関係の確
認が簡易的に行えることが望ましいが、本発明実施の形
態の映像合成装置によれば、実際に現場で合成された画
面を見ながら、実写とＣＧの位置関係を調整できる。
【００３９】このように、本発明実施の形態の映像合成
装置によれば、３次元情報を実写とＣＧの合成時の切り
抜きに使用しているために、実写とＣＧを複雑な前後関
係をもたせて合成する場合に、従来の手法では人手を用
いて行わなければならなかったところを自動化できる。
すなわち、本発明におけるＣＧとは、いわゆるアニメー
ションのように平面的に表現するだけのものではなく、
例えばいわゆる３次元ＣＡＤ（computer-aided desig
n）で用いているような、奥行き方向の情報を持ってい
るＣＧデータをも含んでいる。したがって、本発明によ
れば、実写とＣＧとの合成を行う場合に、実写画像に写
っているものの３次元的位置を測定し、ＣＧとの前後関
係を考慮した合成が可能となっている。より具体的にい
うと、本発明のおける３次元のＣＧでは、左右２枚の実
写映像（或いはさらに複数の実写映像）から実際の空間
の奥行き情報を求め、その奥行き情報に基づいてＣＧ合
成を行っているので、例えば人の実写映像があった時
に、人の後ろにＣＧで作った壁を表示し、さらに人の手
前の足下にＣＧで作った机などを置くような合成が可能
となる。
装置によれば、３次元情報を実写とＣＧの合成時の切り
抜きに使用しているために、実写とＣＧを複雑な前後関
係をもたせて合成する場合に、従来の手法では人手を用
いて行わなければならなかったところを自動化できる。
すなわち、本発明におけるＣＧとは、いわゆるアニメー
ションのように平面的に表現するだけのものではなく、
例えばいわゆる３次元ＣＡＤ（computer-aided desig
n）で用いているような、奥行き方向の情報を持ってい
るＣＧデータをも含んでいる。したがって、本発明によ
れば、実写とＣＧとの合成を行う場合に、実写画像に写
っているものの３次元的位置を測定し、ＣＧとの前後関
係を考慮した合成が可能となっている。より具体的にい
うと、本発明のおける３次元のＣＧでは、左右２枚の実
写映像（或いはさらに複数の実写映像）から実際の空間
の奥行き情報を求め、その奥行き情報に基づいてＣＧ合
成を行っているので、例えば人の実写映像があった時
に、人の後ろにＣＧで作った壁を表示し、さらに人の手
前の足下にＣＧで作った机などを置くような合成が可能
となる。
【００４０】なお、実際に放映する映画や放送するテレ
ビジョン映像は、本実施の形態の映像合成装置で実写と
ＣＧの位置調整を行った後、動きデータ記録部９に記録
しておいた動き情報と、３次元情報記録部４に記録して
おいた３次元情報と、映像記録部５に記録しておいた実
際の映像データとを用い、さらに細部まで完成された３
次元ＣＧモデルデータを用いて、時間をかけて精密な合
成を行ったものとすればよい。すなわち、本発明実施の
形態の映像合成装置は、実際の撮影現場のように、ＣＧ
と実写の速やかな位置確認が必要な場合などに好適なも
のである。このように、実際の撮影現場では、高速にＣ
Ｇを生成する必要があるので、ＣＧキャラクタデータ部
４に記録されている３次元ＣＧモデルデータは、大きさ
が判ればよく、細部まで完成されたものでなくても良
い。
ビジョン映像は、本実施の形態の映像合成装置で実写と
ＣＧの位置調整を行った後、動きデータ記録部９に記録
しておいた動き情報と、３次元情報記録部４に記録して
おいた３次元情報と、映像記録部５に記録しておいた実
際の映像データとを用い、さらに細部まで完成された３
次元ＣＧモデルデータを用いて、時間をかけて精密な合
成を行ったものとすればよい。すなわち、本発明実施の
形態の映像合成装置は、実際の撮影現場のように、ＣＧ
と実写の速やかな位置確認が必要な場合などに好適なも
のである。このように、実際の撮影現場では、高速にＣ
Ｇを生成する必要があるので、ＣＧキャラクタデータ部
４に記録されている３次元ＣＧモデルデータは、大きさ
が判ればよく、細部まで完成されたものでなくても良
い。
【００４１】
【発明の効果】以上の説明で明らかなように、本発明の
映像合成装置においては、撮影対象及び当該撮影対象の
入る環境を撮影すると共に、それらの３次元情報を生成
し、その撮影された映像とコンピュータグラフィックス
映像及び操作されたキャラクタとを、３次元情報に基づ
いて合成し、その合成した映像を表示することにより、
撮影現場において合成結果を確認しながら例えば役者が
演技したりコンピュータグラフィックスの操作者が操作
を行うことが可能である。
映像合成装置においては、撮影対象及び当該撮影対象の
入る環境を撮影すると共に、それらの３次元情報を生成
し、その撮影された映像とコンピュータグラフィックス
映像及び操作されたキャラクタとを、３次元情報に基づ
いて合成し、その合成した映像を表示することにより、
撮影現場において合成結果を確認しながら例えば役者が
演技したりコンピュータグラフィックスの操作者が操作
を行うことが可能である。
【図１】本発明実施の形態の映像合成装置の概略構成を
示すブロック図である。
示すブロック図である。
１ 映像撮影用カメラ、 ２ 距離計測用カメラ、 ３
３次元情報演算部、４ ３次元情報記録部、 ５ 映
像記録部、 ６ ＣＧキャラクタデータ部、７ ＣＧ生
成部、 ８ ＣＧ操作部、 ９ 動きデータ記録部、
１０ ＣＧ背景データ部、 １１ 映像合成部、 １２
合成映像表示部
３次元情報演算部、４ ３次元情報記録部、 ５ 映
像記録部、 ６ ＣＧキャラクタデータ部、７ ＣＧ生
成部、 ８ ＣＧ操作部、 ９ 動きデータ記録部、
１０ ＣＧ背景データ部、 １１ 映像合成部、 １２
合成映像表示部
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B057 BA02 BA15 BA23 CA13 CB13 CE08 DA07 DB03 5C023 AA16 BA01 BA11 CA03 DA08 5C061 AB04
Claims (9)
- 【請求項１】 撮影対象及び当該撮影対象の入る環境を
撮影する映像撮影手段と、 上記撮影対象と当該撮影対象の入る環境の３次元情報を
生成する３次元情報生成手段と、 コンピュータグラフィックス映像を生成するコンピュー
タグラフィックス生成手段と、 上記コンピュータグラフィックス映像のキャラクタを操
作する操作手段と、 上記映像撮影手段による映像と上記コンピュータグラフ
ィックス生成手段によるコンピュータグラフィックス映
像及び上記操作手段により操作されるキャラクタとを、
上記３次元情報生成手段による３次元情報に基づいて合
成する映像合成手段と、 少なくとも上記合成した映像を表示可能な映像表示手段
とを具備してなることを特徴とする映像合成装置。 - 【請求項２】 上記３次元情報生成手段は、複数台の撮
影カメラからなり、当該複数台の撮影カメラにより撮影
した映像から実際の空間の奥行きを求めて上記３次元情
報を生成することを特徴とする請求項１記載の映像合成
装置。 - 【請求項３】 上記３次元情報生成手段は、スリット光
による光切断法を用いて距離を計測し、当該距離に基づ
いて上記３次元情報を生成することを特徴とする請求項
１記載の映像合成装置。 - 【請求項４】 上記３次元情報生成手段は、モアレ法を
用いて距離を計測し、当該距離に基づいて上記３次元情
報を生成することを特徴とする請求項１記載の映像合成
装置。 - 【請求項５】 上記３次元情報生成手段は、パターン光
照射法を用いて距離を計測し、当該距離に基づいて上記
３次元情報を生成することを特徴とする請求項１記載の
映像合成装置。 - 【請求項６】 上記コンピュータグラフィックス生成手
段は、少なくともコンピュータグラフィックスのキャラ
クタの形状及び大きさを決定することを特徴とする請求
項１記載の映像合成装置。 - 【請求項７】 上記操作手段は、ジョイスティックを具
備し、 当該ジョイスティックの動きの応じて上記キャラクタを
操作することを特徴とする請求項１記載の映像合成装
置。 - 【請求項８】 上記操作手段は、モーションキャプチャ
を備え、 当該モーションキャプチャにて上記キャラクタを操作す
ることを特徴とする請求項１記載の映像合成装置。 - 【請求項９】 上記映像撮影手段にて撮影した映像のデ
ータを記録する映像記録手段と、 上記操作手段による操作の情報を記録する操作記録手段
と、 上記３次元情報生成手段による３次元情報を記録する３
次元情報記録手段とを具備することを特徴とする請求項
１記載の映像合成装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10190598A JP2000023037A (ja) | 1998-07-06 | 1998-07-06 | 映像合成装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10190598A JP2000023037A (ja) | 1998-07-06 | 1998-07-06 | 映像合成装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2000023037A true JP2000023037A (ja) | 2000-01-21 |
Family
ID=16260740
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10190598A Withdrawn JP2000023037A (ja) | 1998-07-06 | 1998-07-06 | 映像合成装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2000023037A (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002073955A1 (en) * | 2001-03-13 | 2002-09-19 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, studio apparatus, storage medium, and program |
| EP1241876A3 (en) * | 2001-03-13 | 2004-01-02 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and control program |
| JP2008010966A (ja) * | 2006-06-27 | 2008-01-17 | Xing Inc | 動画生成システム、及び動画生成方法 |
| JP2015170232A (ja) * | 2014-03-10 | 2015-09-28 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、その制御方法、及びプログラム |
| JP2020167654A (ja) * | 2019-07-16 | 2020-10-08 | 株式会社ドワンゴ | コンテンツ配信システム、コンテンツ配信方法、およびコンテンツ配信プログラム |
-
1998
- 1998-07-06 JP JP10190598A patent/JP2000023037A/ja not_active Withdrawn
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002073955A1 (en) * | 2001-03-13 | 2002-09-19 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, studio apparatus, storage medium, and program |
| EP1241876A3 (en) * | 2001-03-13 | 2004-01-02 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and control program |
| US7038699B2 (en) | 2001-03-13 | 2006-05-02 | Canon Kabushiki Kaisha | Image processing apparatus and method with setting of prohibited region and generation of computer graphics data based on prohibited region and first or second position/orientation |
| JP2008010966A (ja) * | 2006-06-27 | 2008-01-17 | Xing Inc | 動画生成システム、及び動画生成方法 |
| JP2015170232A (ja) * | 2014-03-10 | 2015-09-28 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、その制御方法、及びプログラム |
| JP2020167654A (ja) * | 2019-07-16 | 2020-10-08 | 株式会社ドワンゴ | コンテンツ配信システム、コンテンツ配信方法、およびコンテンツ配信プログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8243123B1 (en) | Three-dimensional camera adjunct | |
| JP4115117B2 (ja) | 情報処理装置および方法 | |
| US20060165310A1 (en) | Method and apparatus for a virtual scene previewing system | |
| US20150002636A1 (en) | Capturing Full Motion Live Events Using Spatially Distributed Depth Sensing Cameras | |
| US20080246757A1 (en) | 3D Image Generation and Display System | |
| JP2003219271A (ja) | 多地点仮想スタジオ合成システム | |
| JP4285422B2 (ja) | 動画像生成システム、動画像生成装置、動画像生成方法、プログラム、及び記録媒体 | |
| KR100795552B1 (ko) | 비디오 텍스투어링을 이용한 삼차원 가상 스튜디오 장치 | |
| US20240029761A1 (en) | Camera Tracking System For Live Composting | |
| KR101649752B1 (ko) | 영상 매트릭스 인터페이스를 이용한 다시점 영상 생성 방법 및 다시점 영상 생성 시스템 | |
| KR20160003614A (ko) | 3차원 리얼타임 가상입체 스튜디오 장치에서의 가상입체 스튜디오 영상 생성 방법 | |
| JP2011035638A (ja) | 仮想現実空間映像制作システム | |
| JP2000023037A (ja) | 映像合成装置 | |
| JP2000270261A (ja) | 撮像装置及び画像合成方法並びに記録媒体 | |
| JPH10336703A (ja) | 画像合成装置、方法および記憶媒体 | |
| JP2003168132A (ja) | Ｗｅｂ３Ｄオブジェクト生成システム | |
| JP4899733B2 (ja) | 画像生成方法及び画像生成システム | |
| JP2002271692A5 (ja) | 画像処理方法、画像処理装置、及び、コンピュータプログラム | |
| JPH05183808A (ja) | 画像情報入力装置と画像合成装置 | |
| JP2002271692A (ja) | 画像処理方法、画像処理装置、スタジオ装置、スタジオシステム及びプログラム | |
| JP2003346180A (ja) | ３ｄ画像合成システム | |
| JP4439668B2 (ja) | 画像合成装置 | |
| WO2022230718A1 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
| JP3683927B2 (ja) | コンピュータ・グラフィック制作システム及びその制御方法 | |
| JPH11259682A (ja) | 画像処理装置および方法、並びに提供媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20050906 |