JP2002271692A - 画像処理方法、画像処理装置、スタジオ装置、スタジオシステム及びプログラム - Google Patents

Abstract

(57)【要約】 【課題】 高品位な画像合成処理を行って、きれいな画
像を作成することが可能な画像処理方法、画像処理装
置、スタジオ装置、スタジオシステム及びプログラムを
提供する。 【解決手段】 撮影スタジオ１０１にネットワーク１１
３を介して接続され且つＣＧ映像生成機能及び画像合成
機能を有する高速処理装置１１４を撮影スタジオ１０１
とは別の編集スタジオ１１２に設けることにより、撮影
現場である撮影スタジオ１０１ではリアルタイム性を重
視した処理を行いつつ、編集スタジオ１１２において高
品位な合成画像を生成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、実写画像（映像）
とＣＧ（コンピュータグラフィックス）画像（映像）と
を処理する画像処理方法、画像処理装置、スタジオ装
置、スタジオシステム及びプログラムに関する。

【０００２】

【従来の技術】従来から、スタジオで撮影する映像（画
像）と、別途作成されたＣＧ映像若しくは別の場所で撮
影された映像とを合成し、この合成映像をビデオとして
録画或いは放送していた。

【０００３】そして、映像を合成しながら同時に放送す
るような場合には、リアルタイムで映像合成処理が必要
なため、スタジオでの撮影は、ブルーバックと呼ばれる
青または緑一色の壁を背景として行われ、このブルーバ
ックの部分に別の映像を合成するクロマキーと呼ばれる
方法で作成されていた。

【０００４】即ち、このクロマキー法は、ブルーバック
撮影（均一な青色または緑一色の背景の前で対象物を撮
影）した後、背景色以外の領域を自動的に切り出す方法
で、これを図１８に示す。

【０００５】図１８において、１８０１はスタジオ、１
８０２は被写体、１８０３はカメラ、１８０４はカメラ
１８０３で撮影した映像、１８０５は別途作成されたＣ
Ｇ映像、１８０６は別の場所で撮影された映像、１８０
７は映像合成手段であるクロマキー、１８０８はクロマ
キー１８０７で合成された合成映像である。

【０００６】そして、スタジオ１８０１でのカメラ１８
０３による被写体１８０２の撮影は、ブルーバック１８
０９と呼ばれる青或いは緑一色の壁を背景として行わ
れ、このブルーバック１８０９の部分に別の映像１８０
５若しくは１８０６をクロマキー１８０７により合成
し、その合成映像１８０８をビデオとして録画或いは放
送するものである。

【０００７】また、高品位なＣＧ映像と実写映像とを融
合した映像が必要な場合、ポストプロダクション、即
ち、後処理で非常に大掛かりな処理設備を用いて、実写
映像とＣＧ映像とを合成した高品位な映像を作成してい
た。この場合、撮影現場における演技、撮影において
は、予め後からＣＧ合成する対象物の位置等を念頭にお
いて、実写映像を作成していた。

【０００８】また、実写映像とＣＧ映像とを合成するた
めの応用システムとしては、例えば、特開平１１−３０
９２６９号や特開平１１−８８９１３号が提案されてい
る。

【０００９】これらにおいては、実写映像を背景として
用い、その上にＣＧ映像等を重畳することにより、映像
の合成処理を行っていた。

【００１０】

【発明が解決しようとする課題】しかしながら、上述し
た図１８に示すようなブルーバックのような方法や、ポ
ストプロダクション処理による方法では、合成される映
像が演技者に見えないため、演技が不自然になり、ま
た、演技の自由度が少なく、更に、カメラワークに関し
てもポジションが限定されるという問題点があった。

【００１１】また、上述した特開平１１−３０９２６９
号や特開平１１−８８９１３号の方法では、実写映像部
分とこれに合成される映像との関係が固定的な場合には
問題ないが、演技者・カメラ・仮想物体等が大幅且つ複
雑に動く場合に、正しい合成映像を得ることは困難であ
った。

【００１２】一方、近年、頭部装着型のディスプレイ装
置やＷｅａｒａｂｌｅコンピュータ等の発達により、合
成映像を実時間で見ながら演技を行うようになってき
た。

【００１３】ところで、映画やテレビ番組の撮影やリハ
ーサル、演劇、ゲーム、カラオケ等の用途で使う場合、
撮影現場では機材の可搬性等が重要となる。しかしなが
ら、可搬性のある設備を用いた場合、撮影現場での実時
間処理による合成映像は、一般的に高品位な画質を求め
るのは困難で、そのまま放送や映画のための最終出力と
はなり難かった。その一方で、高品位な映像に対する要
求は強く、高品位な処理を求めると撮影現場に非常に大
掛かりなポストプロダクション用の機材を持ち込む必要
があるが、現実には難しい。

【００１４】本発明は、上記のような問題点に鑑みてな
されたもので、その目的は、高品位な画像合成処理を行
って、きれいな画像を作成することが可能な画像処理方
法、画像処理装置、スタジオ装置、スタジオシステム及
びプログラムを提供することである。

【００１５】

【課題を解決するための手段】上記目的を達成するため
に、本発明の請求項１に記載の画像処理方法は、被写体
の位置・姿勢を測定し、測定された位置・姿勢を前記被
写体の画像に重畳されるＣＧ（コンピュータグラフィッ
クス）データに反映させて表示手段に表示させるための
画像処理方法であって、撮影手段により前記被写体を撮
影する撮影工程と、前記撮影手段によって撮影された実
写画像データと、前記撮影手段の撮影パラメータと、前
記表示手段の表示パラメータとをネットワークに接続さ
れた画像合成手段へと送信する送信工程と、前記画像合
成手段により、前記撮影パラメータ及び表示パラメータ
に基づいて、前記撮影手段の撮影視点からのＣＧ画像を
作成すると共に、前記撮影手段により撮影された前記被
写体の実写画像に前記ＣＧ画像を合成する画像合成工程
と、前記画像合成工程によって生成された前記実写画像
とＣＧ画像との合成画像を、前記ネットワークを介して
受信する受信工程と、前記受信工程によって受信した前
記合成画像を、前記表示手段に表示する表示制御工程と
を有することを特徴とする。

【００１６】また、上記目的を達成するために、本発明
の請求項２に記載の画像処理方法は、請求項１に記載の
画像処理方法において、前記画像合成工程は、前記ＣＧ
画像の存在可能領域を制限する禁則領域処理工程を有す
ることを特徴とする。

【００１７】また、上記目的を達成するために、本発明
の請求項３に記載の画像処理方法は、請求項１に記載の
画像処理方法において、前記画像合成工程は、前記ＣＧ
を生成するためのシナリオを情報を管理するシナリオ管
理工程を有することを特徴とする。

【００１８】また、上記目的を達成するために、本発明
の請求項４に記載の画像処理方法は、請求項１に記載の
画像処理方法において、前記撮影パラメータは、前記撮
影手段の撮影位置であることを特徴とする。

【００１９】また、上記目的を達成するために、本発明
の請求項５に記載の画像処理方法は、請求項１に記載の
画像処理方法において、前記撮影パラメータは、前記撮
影手段の撮影方向であることを特徴とする。

【００２０】また、上記目的を達成するために、本発明
の請求項６に記載の画像処理方法は、請求項１に記載の
画像処理方法において、前記表示パラメータは、前記表
示手段の表示位置であることを特徴とする。

【００２１】また、上記目的を達成するために、本発明
の請求項７に記載の画像処理方法は、請求項１に記載の
画像処理方法において、前記表示パラメータは、前記表
示手段の表示方向であることを特徴とする。

【００２２】また、上記目的を達成するために、本発明
の請求項８に記載の画像処理方法は、請求項１乃至７の
いずれかに記載の画像処理方法において、前記表示手段
は、ＨＭＤ（ヘッドマウントディスプレイ）であること
を特徴とする。

【００２３】また、上記目的を達成するために、本発明
の請求項９に記載の画像処理方法は、請求項１乃至８の
いずれかに記載の画像処理方法において、前記撮影手段
及び表示手段は撮影スタジオに配置され、前記画像合成
工程は編集スタジオにて実行されることを特徴とする。

【００２４】また、上記目的を達成するために、本発明
の請求項１０に記載の画像処理装置は、被写体の位置・
姿勢を測定し、測定された位置・姿勢を前記被写体の画
像に重畳されるＣＧ（コンピュータグラフィックス）デ
ータに反映させて表示手段に表示させる画像処理装置で
あって、撮影手段により前記被写体を撮影する撮影手段
と、前記撮影手段によって撮影された実写画像データ
と、前記撮影手段の撮影パラメータと、前記表示手段の
表示パラメータとをネットワークに接続された画像合成
手段へと送信する送信手段と、前記撮影パラメータ及び
表示パラメータに基づいて、前記撮影手段の撮影視点か
らのＣＧ画像を作成すると共に、前記撮影手段により撮
影された前記被写体の実写画像に前記ＣＧ画像を合成す
る画像合成手段と、前記画像合成手段によって生成され
た前記実写画像とＣＧ画像との合成画像を、前記ネット
ワークを介して受信する受信手段と、前記受信手段によ
って受信した前記合成画像を、前記表示手段に表示する
表示制御手段とを有することを特徴とする。

【００２５】また、上記目的を達成するために、本発明
の請求項１１に記載の画像処理装置は、請求項１０に記
載の画像処理装置において、前記画像合成手段は、前記
ＣＧ画像の存在可能領域を制限する禁則領域処理手段を
有することを特徴とする。

【００２６】また、上記目的を達成するために、本発明
の請求項１２に記載の画像処理装置は、請求項１０に記
載の画像処理装置において、前記画像合成手段は、前記
ＣＧを生成するためのシナリオを情報を管理するシナリ
オ管理手段を有することを特徴とする。

【００２７】また、上記目的を達成するために、本発明
の請求項１３に記載の画像処理装置は、請求項１０に記
載の画像処理装置において、前記撮影パラメータは、前
記撮影手段の撮影位置であることを特徴とする。

【００２８】また、上記目的を達成するために、本発明
の請求項１４に記載の画像処理装置は、請求項１０に記
載の画像処理装置において、前記撮影パラメータは、前
記撮影手段の撮影方向であることを特徴とする。

【００２９】また、上記目的を達成するために、本発明
の請求項１５に記載の画像処理装置は、請求項１０に記
載の画像処理装置において、前記表示パラメータは、前
記表示手段の表示位置であることを特徴とする。

【００３０】また、上記目的を達成するために、本発明
の請求項１６に記載の画像処理装置は、請求項１０に記
載の画像処理装置において、前記表示パラメータは、前
記表示手段の表示方向であることを特徴とする。

【００３１】また、上記目的を達成するために、本発明
の請求項１７に記載の画像処理装置は、請求項１０乃至
１６のいずれかに記載の画像処理装置において、前記表
示手段は、ＨＭＤ（ヘッドマウントディスプレイ）であ
ることを特徴とする。

【００３２】また、上記目的を達成するために、本発明
の請求項１８に記載の画像処理装置は、請求項１０乃至
１７のいずれかに記載の画像処理装置において、前記撮
影手段及び表示手段は撮影スタジオに配置され、画像合
成工程は編集スタジオにて実行されることを特徴とす
る。

【００３３】また、上記目的を達成するために、本発明
の請求項１９に記載のプログラムは、実写画像とＣＧ
（コンピュータグラフィックス）画像とを処理する画像
処理装置において、演技者等の被写体の位置・姿勢を測
定し、測定された位置・姿勢を前記被写体の画像に重畳
されるＣＧ画像に反映させて表示させるための画像生成
処理を制御するためのコンピュータ読み取り可能な制御
プログラムであって、前記撮影手段によって撮影された
実写画像データと、前記撮影手段の撮影パラメータと、
前記表示手段の表示パラメータをネットワークに接続さ
れた画像合成手段へと送信する送信工程と、前記画像合
成手段により、前記撮影パラメータ及び表示パラメータ
に基づいて、前記撮影手段の撮影視点からのＣＧ画像を
作成すると共に、前記撮影手段により撮影された前記被
写体の実写画像に前記ＣＧ画像を合成する画像合成工程
と、前記画像合成工程によって生成された前記実写画像
とＣＧ画像との合成画像を、前記ネットワークを介して
受信する受信工程と、前記受信工程によって受信した前
記合成画像を、前記表示手段に表示する表示制御工程と
を有し、これらの各工程をコンピュータに実行させるた
めのプログラムコードからなることを特徴とする。

【００３４】また、上記目的を達成するために、本発明
の請求項２０に記載のプログラムは、請求項１９に記載
のプログラムにおいて、さらに、背景を構成するセット
工程と、出演者や撮影に関わる人が装着する表示手段に
より画像を表示する表示工程と、前記ＣＧ画像の生成す
るためのシナリオ情報を管理するシナリオ管理工程を有
することを特徴とする。

【００３５】また、上記目的を達成するために、本発明
の請求項２１に記載のプログラムは、請求項１９に記載
のプログラムにおいて、前記撮影パラメータは、前記撮
影手段の撮影位置であることを特徴とする。

【００３６】また、上記目的を達成するために、本発明
の請求項２２に記載のプログラムは、請求項１９に記載
のプログラムにおいて、前記撮影パラメータは、前記撮
影手段の撮影方向であることを特徴とする。

【００３７】また、上記目的を達成するために、本発明
の請求項２３に記載のプログラムは、請求項１９に記載
のプログラムにおいて、前記表示パラメータは、前記表
示手段の表示位置であることを特徴とする。

【００３８】また、上記目的を達成するために、本発明
の請求項２４に記載のプログラムは、請求項１９に記載
のプログラムにおいて、前記表示パラメータは、前記表
示手段の表示方向であることを特徴とする。

【００３９】また、上記目的を達成するために、本発明
の請求項２５に記載のプログラムは、請求項１９乃至２
４のいずれかに記載のプログラムにおいて、前記表示手
段は、ＨＭＤ（ヘッドマウントディスプレイ）であるこ
とを特徴とする。

【００４０】また、上記目的を達成するために、本発明
の請求項２６に記載の撮影スタジオ装置は、請求項１０
に記載の前記撮影手段、表示手段、送信手段、受信手
段、表示制御手段を装備したことを特徴とする。

【００４１】また、上記目的を達成するために、本発明
の請求項２7に記載の撮影スタジオ装置は、請求項１０
に記載の画像合成を装備したことを特徴とする。

【００４２】また、上記目的を達成するために、本発明
の請求項２８に記載のスタジオシステムは、前記請求項
２６に記載の撮影スタジオ装置と前記請求項２７に記載
の編集スタジオ装置とからなることを特徴とする。

【００４３】

【発明の実施の形態】以下、本発明の一実施の形態を、
図１乃至図１６に基づき説明する。

【００４４】図１は、本実施の形態に係る画像処理装置
を装備したスタジオ装置のシステム構成を示すブロック
図である。

【００４５】図１において、１０１は撮影場所となる撮
影スタジオ（ＭＲスタジオ）、１０２はスタジオ１０１
に置かれたセット、１０３は演技者(被写体)、１０４は
撮影用のカメラ（撮影手段）、１０５は演技者１０３の
装着する頭部装着型ディスプレイ装置（Ｈｅａｄ−Ｍａ
ｕｎｔｅｄ Ｄｉｓｐｌａｙ、以下、ＨＭＤと記述す
る）、１０６はＨＭＤ１０５に組み込まれた位置センサ
ー（表示パラメータ取得手段）、１０７は演技者１０３
の見る映像及びカメラ１０４の撮影映像に重畳される仮
想物体、１０８は演技者１０３の見る映像を生成する映
像生成装置、１０９はカメラ１０４の撮影映像に仮想物
体１０７の映像を重畳する映像重畳装置、１１０は仮想
物体１０７の状態を管理・操作するオペレータ装置、１
１１は映像生成装置１０８、映像重畳装置１０９及びオ
ペレータ装置１１０を接続するネットワークである。

【００４６】以上の構成要素は撮影スタジオ１０１の近
くに設置する。また、一般に以上の構成要素は、可搬性
の高い機材を使用する。また、映像重畳装置１０９で
は、カメラ１０４の映像に仮想物体１０７の映像を重畳
した合成映像をリアルタイムで確認することもできる。

【００４７】一方、１１２は撮影スタジオ１０１とは別
途ネットワーク１１３で接続された場所にある編集スタ
ジオであり、１１４は高品位な合成処理を行う高速処理
装置、１１５は高速処理装置１１４の出力を蓄積するビ
デオ装置、１１６は映像重畳装置１０９の出力を発信或
いは放映する伝送装置である。高速処理装置１１４で
は、映像重畳装置１０９における合成映像をより高品位
にした放送向け映像を出力する。編集スタジオ１１２の
機材は、高品位の合成を旨としているため、一般に大掛
かりな設備となる。

【００４８】位置センサー１０６としては、例えば磁気
方式の位置・方位センサー、米国ポヒマス社のＦａｓｔ
ｒａｋ等の装置が利用可能である。また、映像生成装置
１０８若しくは映像重畳装置１０９は、ＰＣ（パーソナ
ルコンピュータ）とビデオキャプチャカード及びＣＧ描
画機能を有するビデオカードで構成することができる。
更に、オペレータ装置１１０は、一般のＰＣで構成する
ことができる。

【００４９】ＨＭＤ１０５及び映像生成装置１０８等
は、演技者或いは同時観察するスタッフの人数に応じて
増やすことができ、カメラ１０４及び映像重畳装置１０
９等は、撮影用のカメラの数に応じて増やすことが可能
である。

【００５０】図２は、ＨＭＤ１０５の内部構成を示す図
である。このＨＭＤ１０５は、表示装置であると共に撮
像装置の機能も持つもので、外部から入ってくる光線を
画像センサーに導く第１のプリズム光学素子２０１、光
線を受けて撮像する撮像素子２０２、映像を提示する表
示素子２０３及び表示映像を目に導く第２のプリズム光
学素子２０４等から構成される。

【００５１】図１に示すように、撮影スタジオ１０１に
はセット１０２が置かれ、その中で演技者１０３が演技
する。演技者１０３はＨＭＤ１０５を装着し、このＨＭ
Ｄ１０５には位置センサー１０６が組み込まれ、その位
置センサー１０６は位置情報を出力する。同時に、ＨＭ
Ｄ１０５には外界を撮影するカメラが組み込まれ、撮影
された映像データを映像生成装置１０８に出力する。オ
ペレータ装置１１０は、オペレータの操作により仮想物
体１０７を表示したり、動かしたりする指示を受け、こ
れをネットワーク１１１を介して、映像生成装置１０８
及び映像重畳装置１０９に伝達する。

【００５２】映像生成装置１０８は、指示された仮想物
体１０７の状態と位置センサー１０６等から得られる頭
部の位置情報に対応してＣＧ映像を生成し、これをＨＭ
Ｄ１０５から得られる撮像データと合成し、その合成映
像をＨＭＤ１０５へ出力・表示する。演技者１０３はＨ
ＭＤ１０５に映る映像を見ることにより、恰も仮想物体
１０７がセット１０２内にあるように観察することがで
きる。カメラ１０４は、演技者１０３やセット１０２を
含む撮影スタジオ１０１の様子を撮像し、その撮影デー
タを映像重畳装置１０９に出力する。映像重畳装置１０
９は、オペレータ装置１１０からの指示による仮想物体
１０７の状態とカメラ１０４の位置・姿勢に対応したＣ
Ｇ映像を生成し、これをカメラ１０４から得られる映像
データと合成することにより、出力映像を作成・表示す
る。

【００５３】一方、編集スタジオ１１２において、映像
重畳装置１０９での処理に対応した高品位な映像合成処
理を行うため、合成映像生成に必要なデータをネットワ
ーク１１３経由で高速処理装置１１４に送信する、この
高速処理装置１１４では、より精度の高い映像合成処理
を行い、出力映像を生成する。この出力映像は、ビデオ
装置１１５で録画されたり、伝送装置１１６で放映され
たりするのに用いられる。

【００５４】図３は、図１に示す本実施の形態に係る画
像処理装置の動作の詳細を示すブロック図である。

【００５５】図３において、３０１は所謂シースルー機
能を持つＨＭＤで、撮像部と画像表示部とを有する。３
０２は第１の画像合成手段で、ＨＭＤ３０１の撮像部で
撮影した映像と後述する第１のＣＧ描画手段３０３によ
り生成したＣＧ映像とを合成する。３０３はＨＭＤ３０
１の視点からのＣＧ映像を描画する第１のＣＧ描画手
段、３０４はＣＧオブジェクトの存在範囲を制御する禁
則領域処理手段、３０５はシナリオ管理手段で、ＣＧ描
画に必要なシナリオ進行とシナリオ情報とを管理する。
３０６は位置センサー等を含む位置合わせ手段、３０７
は第１のＣＧデータ管理手段で、ＣＧ描画に必要なＣＧ
データを管理する。３０８はカメラ等の撮影手段、３０
９は第２の画像合成手段で、撮影手段３０８により撮影
した映像と後述する第２のＣＧ描画手段３１０により生
成したＣＧ映像とを合成する。３１０は撮影手段３０８
の視点からのＣＧ映像を描画する第２のＣＧ描画手段、
３１１は画像表示手段で、合成画像を表示する。３１２
はデータを送信する送信手段、３１３は送信手段３１２
から送信されるデータを受信する受信手段、３１４は第
３の画像合成手段、３１５は第２のＣＧデータ管理手
段、３１６は第３のＣＧ描画手段、３１７は画像出力手
段である。

【００５６】シナリオ情報は、表示されるキャラクター
毎に、表示するＣＧモデルの番号、基準となる位置・姿
勢のデータ、動作の種類を示す番号、動作に付随するパ
ラメータ等からなる。シナリオ情報は、シーン単位で管
理されている。各シーンでは、キャラクターの持つパワ
ー、状態等のステータス値とオペレータからの操作入
力、演技者の動き等に応じて上述のデータの組が選択さ
れる。例えば、ランダムに選択されたキャラクターの種
類とそのキャラクターのパワー値（これはゲームの進行
によるポイントで加減される）により表示するＣＧモデ
ルの番号が決定する。オペレータは、キャラクターの移
動及び回転等に必要な情報を入力し、これにとり基準と
なる位置・姿勢データが決定する。また、この際のキャ
ラクターの位置・姿勢・ステータス値と演技者の位置・
姿勢・動作とでキャラクターの動作及びそのパラメータ
が決定される。

【００５７】なお、上述の位置・姿勢については、後述
する禁則領域処理により補正される。

【００５８】更に、シナリオ管理手段３０５は、演技の
補助に必要な台本・台詞・説明等の情報も蓄え、シーン
に応じて必要な情報を第１のＣＧデータ管理手段３０７
に送り、この第１のＣＧデータ管理手段３０７は、これ
らの情報を第１のＣＧ描画手段３０３及び第２のＣＧ描
画手段３１０に指示する。

【００５９】なお、シーンの進行は任意のユーザインタ
ーフェース（マウス、キーボード、音声入力等）を用い
て行われる。

【００６０】第１のＣＧデータ管理手段３０７には、Ｃ
Ｇシーンの描画に必要な三次元モデルやアニメーション
データ、実写映像等の画像データが記録されている。例
えば、ＣＧキャラクターの三次元アニメーションデータ
等が記録されている。そして、シナリオ管理手段３０５
から受け取ったシナリオ情報、即ち、キャラクター毎の
表示するＣＧモデルの番号、基準と成る位置・姿勢デー
タ、動作の種類を示す番号、動作に付随するパラメータ
等に従って、表示すべきＣＧモデルやアニメーションを
選択し、位置・姿勢、その他のパラメータを設定するこ
とで、ＣＧ描画に用いるシーングラフの生成・変更を行
う。第１のＣＧ描画手段３０３では、第１のＣＧデータ
管理手段３０７が生成・変更したシーングラフを受け取
り、ＣＧシーンを描画する。

【００６１】ＨＭＤ３０１で撮像された画像は、第１の
画像合成手段３０２で第１のＣＧ描画手段３０３の生成
したＣＧシーン画像と合成された後、ＨＭＤ３０１に表
示されることになる。この際、ＨＭＤ３０１で撮像され
た画像は、一旦位置合わせ手段３０６に送られ、この位
置合わせ手段３０６は、その情報と位置センサー１０６
（図１参照）等から得られるトラッキング情報を元にＨ
ＭＤ（即ち、頭部）の位置・方向を計算し、第１のＣＧ
描画手段３０３に伝達する。

【００６２】第１のＣＧ描画手段３０３は、位置合わせ
手段３０６から得られる頭部の位置・方向情報と、第１
のＣＧデータ管理手段３０７から得られるＣＧデータと
を元にＨＭＤ３０１視点からのＣＧ画像を描画する。シ
ナリオ管理手段３０５は、禁則領域処理手段３０４から
得られる情報とシナリオ進行状況、即ち、リハーサルや
演技の進行状況或いはオペレータの指示等に従い、シー
ン構成に必要なシナリオ情報を第１のＣＧデータ管理手
段３０７に伝達し、この第１のＣＧデータ管理手段３０
７は、これに応じたＣＧデータ等からシーングラフデー
タを作成し、第１のＣＧ描画手段３０３若しくは第２の
ＣＧ描画手段３１０に渡し、ＣＧ画像を生成する。

【００６３】撮影手段３０８から得られる画像に対する
処理も同様であり、撮影手段３０８で撮影された画像
は、第２の画像合成手段３０９で第２のＣＧ描画手段３
１０の生成したＣＧ画像と合成され、得られた合成画像
は画像表示手段３１１に表示されることになる。この
際、撮影手段３０８で撮像された画像は、位置合わせ手
段３０６に送られ、この位置合わせ手段３０６は、その
情報と位置センサー１０６等から得られるトラッキング
情報を元に撮影手段（即ち、カメラ）３０８の位置、方
向を計算し、その結果を第２のＣＧ描画手段３１０に伝
達する。第２のＣＧ描画手段３１０は、位置合わせ手段
３０６から得られるＣＧデータを元に撮影手段（即ち、
カメラ）３０８の視点からのＣＧ映像を描画する。

【００６４】なお、撮影手段３０８から得られる画像に
は、タイムコードが挿入される。同時にタイムコード
は、更に位置合わせ手段３０６を経由して第２のＣＧ描
画手段３１０にも伝達され、ここで生成されるＣＧ画像
にも挿入される。

【００６５】第２の画像合成手段３０９では、撮影画像
とＣＧ画像とのタイムコードを見て同期を取りながら合
成することで、時間的な位置ズレを少なくしている。

【００６６】なお、図３中の矢印に記述されたやり取り
される情報に「＊」を付してあるものは、タイムコード
を含むデータを表わす。

【００６７】また、位置合わせ手段３０６は、得られた
ＨＭＤ（即ち、頭部）１０５（図１参照）の位置・方向
データと撮影手段（即ち、カメラ）３０８の位置・方向
データとを禁則領域処理手段３０４に伝達し、この禁則
領域処理手段３０４は、これらのデータからＣＧオブジ
ェクトの存在すべき範囲を決定し、シナリオ管理手段３
０５は、前記ＣＧオブジェクトの存在すべき範囲に応じ
て、ＣＧオブジェクトの位置を修正するようになってい
る。

【００６８】以上の手続きは、撮影現場での映像確認の
ための処理であるため、速度の限られた処理装置でリア
ルタイム処置できるバランスを考慮した画像品質を提供
するものであった。

【００６９】しかし、放送用の高品位のＣＧ画像との合
成映像を生成するために、図１に示すように、ネットワ
ーク１１３を介して接続された編集スタジオ１１２に置
かれた高速処理装置１１４を用いて、以下の処理を行
う。

【００７０】即ち、送信手段３１２には、撮影手段３０
８で撮影された映像と、撮影手段３０８の位置・方向情
報、シナリオ情報が渡され、より高品位なＣＧ画像生成
及び映像処理が可能な編集スタジオ１１２に送信され
る。より高品位なＣＧ画像生成及び映像処理が可能なス
タジオ１１２では、受信手段３１３を通じて、撮影され
た映像、撮影手段３０８の位置・方向情報、シナリオ情
報を受け取ると、第１のＣＧデータ管理手段３０７と同
様に、第２のＣＧデータ管理手段３１５において送られ
て来たシナリオ情報からＣＧシーングラフを生成し、第
３のＣＧ描画手段３１６において送られて来た位置・方
向情報の撮影手段（即ち、カメラ）の視点からのＣＧ画
像を生成し、送られて来た撮影画像とＣＧ画像とを第３
の画像合成手段３１４によりタイムコードで同期しなが
ら合成処理する。

【００７１】なお、第２のＣＧデータ管理手段３１５で
は、第１のＣＧデータ管理手段３０７の監理するＣＧデ
ータよりも高品位な三次元モデルやアニメーションデー
タ、実写画像として保持されている。また、第３のＣＧ
描画手段３１６では、第２のＣＧ描画手段３１０よりも
より精密且つ高品位なＣＧレンダリング処理を行う。

【００７２】このようにして得られたＣＧ画像を第２の
画像合成手段３０９より高品位な第３の画像合成手段３
１４で合成処理し、得られた合成画像を最終出力として
画像出力手段３１７から出力する。

【００７３】画像出力手段３１７は、具体的には伝送装
置（放送）１１６や、ビデオ装置１１５である。

【００７４】また、編集スタジオ１１２では、単なる自
動での高品位処理だけではなく、人手を介して、より高
度な処理を行いながら綺麗な映像を生成しても良い。

【００７５】なお、ＨＭＤ１０５が外界を透過的に見ら
れるように構成することにより、シースルー機能を実現
すること（光学シースルー方式）も可能であり、この場
合には、上述の第１の画像合成手段３０２は不要とな
る。

【００７６】また、位置合わせ手段３０６は、例えば、
機械式のエンコーダ等、三次元での位置・姿勢を検出す
る手段から構成することや、前述した磁気方式の位置セ
ンサー或いは画像認識等による位置合わせから構成する
ことができる。また、撮影手段３０８に対する位置合わ
せ手段とＨＭＤ１０５に対する位置合わせ手段として
は、別々のものを用いることも可能である。

【００７７】図４は、機械式エンコーダを用いたカメラ
装置の一例を示す図である。同図において、４０１はカ
メラ、４０２はカメラ４０１を載置した台車、４０３は
ロータリーエンコーダ等の計測装置で、各ジョイントに
設けられている。そして、計測装置４０３により、台車
４０２の位置からカメラ４０１の位置及び方位を計測し
て出力することができる。

【００７８】なお、図３における第２の画像合成手段３
０９からの出力をカメラ４０１のファインダ部に出すこ
とも可能であり、これによりカメラマンにも仮想の世界
を合わせたカメラワークが可能となる。

【００７９】図５は、磁気式の位置・方位センサーを用
いた手持ちのカメラ装置の一例を示す図である。

【００８０】同図において、５０１はカメラで、このカ
メラ５０１には磁気の受信機（計測器）５０２が固定的
に装着されている。そして、受信器５０２により計測さ
れた磁気状態から、カメラ５０１の三次元的な位置及び
方位を計算するようになっている。前述したように、こ
のように用いることができる機器として、例えば、米国
ポヒマス社のＦａｓｔｒａｋといった装置がある。

【００８１】５０３はＨＭＤで、このＨＭＤ５０３につ
いてもカメラ５０１と同様の方法で位置・方位を計算す
るようになっている。このような手持ちのカメラ装置の
場合には、カメラマンはＨＭＤ５０３（或いはその片目
版）を装着し、このＨＭＤ５０３に画像合成手段の出力
を表示することで、仮想の世界に合わせたカメラワーク
が可能となる。

【００８２】なお、ズーム可能なカメラ装置の場合煮
は、ズームレンズのズーム情報も外部の処理装置に伝達
する。

【００８３】次に、図１における、演技者１０３の装着
したＨＭＤ１０５に表示される映像が作成される動作に
ついて、図１及び図６を用いて説明する。

【００８４】図６は、図１における、演技者１０３の装
着したＨＭＤ１０５に表示される映像が作成される動作
の流れを示すフローチャートであり、同図において、ス
テップＳ６１０〜ステップＳ６１２は、近年当該分野で
一般化した並列処理プログラムの技法を用いて、別々に
並行動作するスレッドとして実装されるものである。

【００８５】また、図６に示す処理は、動き出すと、割
り込みが入るまでは無限ループで動作し、割り込みが入
ると他の処理に移行する。

【００８６】映像生成装置１０８内での処理プロセス
は、まず、オペレータ装置１１０から得られた指示に応
じて、ＣＧを描画するための状態フラグ（表示物体の種
類、位置、状態）を更新する処理である内部状態更新処
理を行う（ステップＳ６０１）。次いで、頭部位置の決
定処理から得られる頭部位置情報を内部に取り込む（ス
テップＳ６０２）。次いで、ビデオキャプチャカードか
ら得られた最新の画像を背景画像として取り込む（ステ
ップＳ６０３）。次いで、背景画像の上に前記ステップ
Ｓ６０１において設定された内部状態に応じてＣＧデー
タを更新し、前記ステップＳ６０２において設定された
頭部位置をＣＧ生成の仮想カメラとしてＣＧを描画する
（ステップＳ６０４）。最後に、描画結果の合成画像を
表示するＣＧコマンドをビデオカードに与えることで、
ＨＭＤ１０５に合成画像が表示される（ステップＳ６０
５）。その後、前記ステップＳ６０１へ戻る。

【００８７】ここで、ステップＳ６１０はオペレータ装
置１１０からの指示データがネットワーク１１１を介し
て送信されてくるのを受け取るスレッドである。また、
ステップＳ６１１は位置センサー１０６からの情報を受
け取り、ビデオキャプチャカードから得られる画像デー
タと合わせて頭部の位置を決定するスレッドである。更
に、ステップＳ６１２は定期的にビデオキャプチャカー
ドから画像データを読み出す画像キャプチャスレッドで
ある。

【００８８】次に、頭部位置決定動作について、図１及
び図７を用いて説明する。

【００８９】図７は、頭部位置決定動作の流れを示すフ
ローチャートであり、同図において、ステップＳ７１０
は位置センサー１０６からのデータ読み込みのスレッ
ド、ステップＳ７１１はマーカー位置の通知を受け取る
スレッドである。

【００９０】ここで、位置センサー１０６からのデータ
は、通常のＲＳ２３２Ｃのポートへのデータ通信であ
り、ステップＳ７１０では、このポートのデータを定期
的に読み出している。また、ステップＳ７１１の通知
は、一般的なネットワーク通信プロトコル（ＴＣＰ−Ｉ
Ｐ）で通信される。

【００９１】また、図７に示す処理は、動き出すと、割
り込みが入るまでは無限ループで動作し、割り込みが入
ると他の処理に移行する。

【００９２】映像生成装置１０８は、まず、位置センサ
ー１０６から得られる最新の位置情報に頭部位置を更新
する（ステップＳ７０１）。次いで、ＨＭＤ１０５のカ
メラから得られた画像データから特定のマーカー画像を
認識することで、頭部位置の補正情報を得、これに応じ
て頭部の方向データを更新する（ステップＳ７０２）。
最後に、得られた頭部の位置（方向を含む）データを頭
部位置決定スレッドであるステップＳ７１１に受け渡す
（ステップＳ７０３）。その後、前記ステップＳ７０１
へ戻る。

【００９３】ここで、頭部の方向の補正は、まず、位置
センサー１０６から得られたワールド座標系での頭（視
点）の三次元位置及び方位とマーカーの三次元位置か
ら、マーカーが画像中のどこに見えるかの予測値（ｘ
０，ｙ０）を計算する。次いで、この予測値（ｘ０，ｙ
０）から画像中の実際のマーカー位置（ｘ１，ｙ１）に
向かう移動ベクトルを計算する。最後に、この移動ベク
トルを見込む角度を補正値として、これに相当する分だ
け頭部の方位を回転させた値をＨＭＤ１０５の方向とし
て出力する。

【００９４】図８は、位置計測に用いるために、スタジ
オ内に貼り込むマーカーの一例を示す図である。マーカ
ーには単色のものを用いることも可能であるが、本実施
の形態においては、３つの色票８０１，８０２，８０３
からなり、それぞれ特定の大きさを持つ矩形の色票を特
定の位置関係に配置したものである。それぞれの色票８
０１，８０２，８０３には、任意の色を選ぶことができ
る。このように構成することにより、より多種類のマー
カーを安定的に検出することが可能となる。

【００９５】次に、マーカー位置決定動作について、図
１及び図９を用いて説明する。

【００９６】図９は、マーカー位置決定動作の流れを示
すフローチャートであり、同図において、ステップＳ９
１０は画像認識の対象となる画像データを得るステップ
であり、画像キャプチャカードから画像を定期的に読み
出すスレッドとなっている。

【００９７】また、図９に示す処理は、動き出すと、割
り込みが入るまでは無限ループで動作し、割り込みが入
ると他の処理に移行する。

【００９８】映像生成装置１０８或いは映像重畳装置１
０９は、まず、最新の画像データを更新する（ステップ
Ｓ９０１）。次いで、登録されたマーカーを判別するた
めの幾つかの色情報によって画像を閾値処理する（ステ
ップＳ９０２）。次いで、得られた２値画像を連結化し
てラベリング処理する（ステップＳ９０３）。次いで、
各ラベルの領域の面積を計数し（ステップＳ９０４）、
重心位置を計算する（ステップＳ９０５）。次いで、各
ラベルの面積とラベル間の重心位置との関係から、登録
されたマーカーのパターンと一致するか否かを判定する
（ステップＳ９０６）。最後に、前記ステップＳ９０６
において判定された中心のラベルの重心をもってマーカ
ー位置として出力する（ステップＳ９０７）。その後、
前記ステップＳ９０１へ戻る。

【００９９】ここで、前記ステップＳ９０７において出
力されたマーカー位置の情報は、ＨＭＤ１０５或いはカ
メラ１０４の方位の補正に利用され、ＨＭＤ１０５・カ
メラ１０４の位置及び方位の情報をＣＧレンダリングの
際の仮想カメラの位置・方位とすることで、現実世界と
位置合わせされたＣＧ画像が生成される。

【０１００】次に、映像重畳装置１０９の映像処理動作
について、図１及び図１０を用いて説明する。

【０１０１】図１０は、映像重畳装置１０９の処理動作
の流れを示すフローチャートであり、同図において、ス
テップＳ１０１０〜ステップＳ１０１２は近年当該分野
で一般化した並列処理プログラムの技法を用いて、別々
に並行動作するスレッドとして実装されるものである。

【０１０２】また、図１０に示す処理は、動き出すと、
割り込みが入るまでは無限ループで動作し、割り込みが
入ると他の処理に移行する。

【０１０３】映像重畳装置１０９内での処理プロセス
は、まず、オペレータ装置１１０から得られた指示に応
じて、ＣＧを描画するための状態フラグ（表示物体の種
類、位置、状態）を更新する処理である内部状態更新処
理を行う（ステップＳ１００１）。次いで、カメラ位置
の決定処理から得られるカメラ位置情報を内部に取り込
む（ステップＳ１００２）。次いで、ビデオキャプチャ
カードから得られた最新の画像を背景画像として取り込
む（ステップＳ１００３）。次いで、背景画像の上に前
記ステップＳ１００１において設定された内部状態に応
じてＣＧデータを更新し、前記ステップＳ１００２にお
いて設定されたカメラ位置をＣＧ生成の仮想カメラとし
てＣＧを描画する（ステップＳ１００４）。最後に、描
画結果のである合成画像を表示するＣＧコマンドをビデ
オカードに与えることで、ＨＭＤ１０５に合成画像が表
示される（ステップＳ１００５）。その後、前記ステッ
プＳ１００１へ戻る。

【０１０４】ここで、ステップＳ１０１０はオペレータ
装置１１０からの指示データがネットワーク１１１を介
して送信されてくるのを受け取るスレッドである。ま
た、ステップＳ１０１１は図４或いは図５のカメラ装置
からの情報を受け取り、ビデオキャプチャカードから得
られる画像データと合わせてカメラの位置を決定するス
レッドである。更に、ステップＳ１０１２は定期的にビ
デオキャプチャカードから画像データを読み出す画像キ
ャプチャスレッドである。

【０１０５】次に、本実施の形態に係る画像処理装置に
おける高速処理装置１１４の動作について、図１、図３
及び図１１を用いて説明する。

【０１０６】図１１は、本実施の形態に係る画像処理装
置における高速処理装置１１４の動作の流れを示すフロ
ーチャートであり、同図において、ステップＳ１１１０
〜ステップＳ１１１２は、近年当該分野で一般化した並
列処理プログラムの技法を用いて、別々に並行動作する
スレッドとして実装されるものである。

【０１０７】また、図１１に示す処理は、動き出すと、
割り込みが入るまでは無限ループで動作し、割り込みが
入ると他の処理に移行する。

【０１０８】高速処理装置１１４内での処理プロセス
は、まず、受信手段手段３１３、即ち、別途動作してい
るスレッド（ステップＳ１１１０，ステップＳ１１１
１，ステップＳ１１１２）を通じて次の３種類のデータ
を受け取る。即ち、ステップＳ１１１０では、シナリオ
管理手段３０５の出力であるシナリオ情報データ、即
ち、ＣＧを描画するための各種状態フラグ（表示物体の
種類、位置、状態）、ステップＳ１１１１では、位置合
わせ手段３０６の出力である位置・方向情報データ、ス
テップＳ１１１２では、カメラ１０４或いは撮影手段３
０８から得られる撮影映像データを受け付ける。

【０１０９】なお、位置方向情報データと撮影画像デー
タにはタイムコードが含まれており、ステップＳ１１０
１〜ステップＳ１１０５の一連の処理は、このタイムコ
ードで同期して処理されるようになっている。

【０１１０】まず、シナリオ管理情報データを用いてＣ
Ｇを描画するための状態フラグ（表示物体の種類、位
置、状態）を更新し、内部状態、即ち、シーングラフを
更新する（ステップＳ１１０１）。次いで、カメラ位置
情報を更新する（ステップＳ１１０２）。次いで、画像
データを背景画像として取り込む（ステップＳ１１０
３）。次いで、前記ステップＳ１１０２において設定さ
れたカメラ位置をＣＧ生成の仮想カメラとして、前記ス
テップＳ１１０１において設定されたシーングラフに応
じてＣＧ画像を背景画像の上に描画する（ステップＳ１
１０４）。最後に、描画結果の合成映像を表示するＣＧ
コマンドをビデオカードに与えることで、画像表示手段
３１１に合成映像が表示される（ステップＳ１１０
５）。

【０１１１】その後、前記ステップＳ１１０１へ戻る。

【０１１２】尚、本実施の形態では、高速処理装置１１
４の出力として、リアルタイムの合成映像を出力するも
のとしているが、一旦、シナリオ情報データ、位置・方
向情報データ、撮影映像データを蓄積しておき、所謂ポ
ストプロダクション（時間をかけて後処理で最終生成物
となるビデオ映像を作成する工程）によって処理して、
高品位な映像を作成してもかまわない。

【０１１３】また、映像生成装置１０８或いは映像重畳
装置１０９、オペレータ装置１１０を構成するハードウ
ェアは、一般的なコンピュータと周辺機器との組み合わ
せで実現できる。

【０１１４】図１２は、映像生成装置１０８のハードウ
ェア構成の一例を示すブロック図である。同図におい
て、１２０１は入力手段であるマウス、１２０２は同じ
く入力手段であるキーボード、１２０３は画像を表示す
るディスプレイ装置、１２０４は画像を表示すると共に
画像を撮像するＨＭＤ、１２０５は周辺コントローラ、
１２０６は位置センサーとの間の情報授受のためのシリ
アル・インターフェース（Ｉ／Ｆ）、１２０７はプログ
ラムによる各種の処理を実行するＣＰＵ（中央演算処理
装置）、１２０８はメモリ、１２０９はネットワーク・
インターフェース（Ｉ／Ｆ）、１２１０はプログラムを
記憶媒体からロードするためのハードディスク（ＨＤ）
装置、１２１１はプログラムを記憶媒体からロードする
ためのフロッピー（登録商標）ディスク（ＦＤ）装置、
１２１２は画像キャプチャカード、１２１３はビデオグ
ラフィックカードである。

【０１１５】なお、映像重畳装置１０９の場合には、Ｈ
ＭＤ１２０４の代わりに撮影装置（カメラ）からの入力
を受け、画像表示装置であるディスプレイ装置１２０３
へ映像信号を出力する。また、オペレータ装置１１０の
場合には、ＨＭＤ１２０４及び画像キャプチャカード１
２１２は不要となる。

【０１１６】本発明の実施の形態を実現するためのプロ
グラムは、ＦＤ装置やネットワーク等を介してプログラ
ム記憶媒体からロードすることができる。次に、本実施
の形態に係る画像処理装置におけるオペレータ装置１１
０の動作を、図１及び図１３に基づき説明する。

【０１１７】図１３は、本実施の形態に係る画像処理装
置におけオペレータ装置１１０の処理動作の流れを示す
フローチャートであり、同図において、ステップＳ１３
１０は、ユーザ入力スレッドである。

【０１１８】また、図１３に示す処理は、動き出すと、
割り込みが入るまでは無限ループで動作し、割り込みが
入ると他の処理に移行する。

【０１１９】オペレータ装置１１０は、まず、ステップ
Ｓ１３１０におけるユーザ入力処理によるユーザからの
入力操作を受け取り（ステップＳ１３０１）、これに応
じて内部状態（シナリオの進行ポインタ、表示モード
等）を更新する（ステップＳ１３０２）。次いで、カメ
ラ１０４及び演技者１０３の位置情報から禁則領域を決
定し、ＣＧによる仮想オブジェクトがこの領域内に入ら
ないに位置データを更新する（ステップＳ１３０３）。
次いで、更新された状態の情報を映像生成装置１０８や
映像重畳装置１０９に伝達する（ステップＳ１３０
４）。その後は、前記ステップＳ１３０１へ戻る。

【０１２０】前述したようにユーザからの入力操作は、
マウスやキーボード等の入力装置若しくは音声入力やジ
ェスチャーコマンド等を介して行うことができる。

【０１２１】ここで、禁則領域処理は、仮想のＣＧオブ
ジェクトと実在のオブジェクトの隠れ関係等が不自然に
ならないように、ＣＧオブジェクトの存在可能領域を制
限する処理である。隠れ関係については、固定の実在オ
ブジェクトの場合には前もって実在オブジェクトと同じ
形状及び位置・方向にＣＧオブジェクトを設定し用意し
ておく（以下、設定したＣＧオブジェクトをオブジェク
トＡと記述する）。ここで、オブジェクトＡの領域の部
分はそのままの実写映像を流す。

【０１２２】一方、オブジェクトＡとは別に提示する仮
想ＣＧオブジェクト（以下、この仮想ＣＧオブジェクト
をオブジェクトＢと記述する）に関しては、オブジェク
トＢのレンダリングの際にオブジェクトＡとの隠面処理
を行う。これにより、オブジェクトＢの実在オブジェク
トによる隠れは正しく処理されることになる。

【０１２３】一方、演技者等のように、移動したり変形
したりする場合には、そのオブジェクトが占める空間領
域を確定することは容易ではない。そして、実在の演技
者等と仮想のオブジェクトが接近したり、前後したりし
た場合に、隠れ関係を正しく処理できないと、見えない
はずのものが見えたり、前後関係が逆転して見えたりと
いったように、大きな視覚的な障害となる。

【０１２４】本発明では、そのような不自然な見え方が
発生する可能性のある領域（禁則領域）を特定し、その
ような領域に仮想オブジェクトが侵入する場合には、そ
の位置を禁則領域外に修正することにより、視覚的な障
害を取り除くことができる。

【０１２５】図１４は、スタジオを上から鳥瞰した状況
で、最も単純な禁則領域を示す図であり、同図におい
て、１４０１は撮影手段（カメラ）、１４０２及び１４
０３は演技者或いは移動する実在オブジェクト、１４０
４は演技者等の周辺領域、１４０５は固定的な実在のオ
ブジェクト（スタジオセット）である。

【０１２６】ここで、例えば、カメラ１４０１と演技者
１４０２とを結ぶ直線上を演技者１４０２から周辺領域
１４０４の半径分だけカメラ１４１０側に偏位した点を
通る直線と直交する直線ＡＡ′を計算すると、直線直線
ＡＡ′で区分された空間のカメラ１４０１のない方が禁
則領域となる（実際には禁則領域を含む領域となるが、
視覚的な障害を取り除くという点では実用上全く問題が
ない）。同様に、その他の対象オブジェクト１４０３に
対する区分直線ＢＢ′とその禁則領域も計算でき、これ
らの和集合領域として全体の禁則領域が決定される。

【０１２７】従った、禁則領域外にある実在オブジェク
ト１４０５による仮想オブジェクトの隠れは正しく処理
されるが、禁則領域内の実在オブジェクトによる仮想オ
ブジェクトの隠れの処理はされないことになる。

【０１２８】次に、本実施の形態に係る画像処理装置に
おける禁則領域処理手段３０４の禁則領域計算処理動作
を、図１４及び図１５に基づき説明する。

【０１２９】図１５は、本実施の形態に係る画像処理装
置におけ禁則領域処理手段３０４の禁則領域計算処理動
作の流れを示すフローチャートであり、同図において、
ステップＳ１５１０及びステップＳ１５１１は、近年当
該分野で一般化した並列処理プログラムの技法を用い
て、別々に並行動作するスレッドとして実装されるもの
である。

【０１３０】また、図１５に示す処理は、動き出すと、
割り込みが入るまでは無限ループで動作し、割り込みが
入ると他の処理に移行する。

【０１３１】まず、カメラ１４１０の位置情報が最新の
カメラ位置に更新され（ステップＳ１５０１）、次い
で、演技者（プレイヤー）１４０２の位置情報が最新の
プレイヤー位置に更新される（ステップＳ１５０２）。
続いて、これらの情報から領域区分直線が計算され（ス
テップＳ１５０３）、仮想オブジェクトの領域区分直線
からの距離が計算される（ステップＳ１５０４）。この
値の正負の符号で禁則領域内か否かを判断し、禁則領域
内の場合には、最も近い領域外の点（これはカメラ１４
０１と仮想オブジェクトとを結ぶ直線と領域区分直線の
交点として計算できる）に仮想オブジェクトの位置を修
正する（ステップＳ１５０５）。その後、前記ステップ
Ｓ１５０１へ戻る。

【０１３２】図１６は、厳密な禁則領域を示す図で、同
図において図１４と同一部分には同一符号が付してあ
る。

【０１３３】ここでは、カメラ１４０１から発し、演技
者１４０２等の周辺領域１４０４を示す円弧と接する直
線ＯＣ，ＯＤ，ＯＥ，ＯＦが示されている。厳密な禁則
領域は、例えば、演技者１４０２の周辺領域１４０４と
直線ＯＣ・ＯＤで囲まれる領域の円弧１４０４よりカメ
ラ１４０１から見て遠方となる領域の和集合となる。こ
のような領域についても初等数学で簡単に計算できる。
処理速度が許すならば、このような計算にすることも可
能である。

【０１３４】図１７は、スタジオを側面から見た状態
で、禁則領域を示す図であり、同図において、図１４と
同一部分には同一符号が付してある。

【０１３５】ここで、演技者１４０２等の位置から、そ
の禁則領域の高さを推定することができ、これと接する
直線（実際には横方向に延びる平面）、例えば、直線Ｏ
Ｋ，ＯＬで領域区分直線が計算される。この上下方向に
関する計算の場合には、領域区分直線ＯＫ，ＯＬの区分
する２つの領域で演技者１４０２等の実体が存在する側
が禁則領域となる。

【０１３６】なお、本発明の目的は、上記実施の形態の
機能を実現するソフトウェアのプログラムコードを記録
した記憶媒体を、システム或いは装置に供給し、そのシ
ステム或いは装置のコンピュータ（またはＣＰＵやＭＰ
Ｕ等）が記憶媒体に格納されたプログラムコードを読み
出して実行することによっても達成されることは言うま
でもない。

【０１３７】この場合、記憶媒体から読み出されたプロ
グラムコード自体が前述した各実施の形態の機能を実現
することになり、そのプログラムコードを記憶した記憶
媒体は本発明を構成することになる。

【０１３８】また、プログラムコードを供給するための
記憶媒体としては、例えば、フロッピーディスク、ハー
ドディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−
Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、Ｄ
ＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメ
モリカード、ＲＯＭ等を用いることができる。

【０１３９】また、コンピュータが読み出したプログラ
ムコードを実行することにより、上記各実施の形態の機
能が実現されるだけでなく、そのプログラムコードの指
示に基づき、コンピュータ上で稼動しているＯＳ（オペ
レーティングシステム）等が実際の処理の一部または全
部を行い、その処理によって前述した各実施の形態の機
能が実現される場合も含まれることは言うまでもない。

【０１４０】更に、記憶媒体から読み出されたプログラ
ムコードが、コンピュータに挿入された機能拡張ボード
やコンピュータに接続された機能拡張ユニットに備わる
メモリに書き込まれた後、そのプログラムコードの指示
に基づき、その機能拡張ボードや機能拡張ユニットに備
わるＣＰＵ等が実際の処理の一部または全部を行い、そ
の処理によって前述した実施の形態の機能が実現される
場合も含まれることは言うまでもない。

【０１４１】以上のように本実施の形態によれば、撮影
スタジオ１０１にネットワーク１１３を介して接続され
且つＣＧ映像生成機能及び画像合成機能を有する高速処
理装置１１４を撮影スタジオ１０１とは別の編集スタジ
オ１１２に設けることにより、撮影現場である撮影スタ
ジオ１０１ではリアルタイム性を重視した処理を行いつ
つ、編集スタジオ１１２において高品位な合成画像を生
成することができる。また、ネットワーク経由で、ポス
トプロダクション処理に必要な情報を蓄積しておき、後
で処理することで、更に高品位な画像を生成することが
可能である。

【０１４２】

【発明の効果】以上説明したように本発明によれば、高
品位な画像合成処理を行って、きれいな画像を作成する
ことが可能となるという効果を奏する。

【図面の簡単な説明】

【図１】本発明の一実施の形態に係る画像処理装置を具
備したスタジオのシステム構成を示す図である。

【図２】本発明の一実施の形態に係る画像処理装置にお
けるＨＭＤの内部構成を示す図である。

【図３】本発明の一実施の形態に係る画像処理装置の動
作の詳細を示す図である。

【図４】本発明の一実施の形態に係る画像処理装置にお
ける機械式エンコーダを用いたカメラ装置の構成を示す
図である。

【図５】本発明の一実施の形態に係る画像処理装置にお
ける磁気式の位置・方位センサーを用いた手持ちカメラ
装置の構成を示す図である。

【図６】本発明の一実施の形態に係る画像処理装置にお
けるＨＭＤに表示される映像を作成する処理動作の流れ
を示すフローチャートである。

【図７】本発明の一実施の形態に係る画像処理装置にお
ける頭部位置を決定する処理動作の流れを示すフローチ
ャートである。

【図８】本発明の一実施の形態に係る画像処理装置にお
けるマーカーの一例を示す図である。

【図９】本発明の一実施の形態に係る画像処理装置にお
けるマーカー位置を決定する処理動作の流れを示すフロ
ーチャートである。

【図１０】本発明の一実施の形態に係る画像処理装置に
おける映像重畳装置の動作を示すフローチャートであ
る。

【図１１】本発明の一実施の形態に係る画像処理装置に
おける高速処理装置の処理動作の流れを示すフローチャ
ートである。

【図１２】本発明の一実施の形態に係る画像処理装置に
おける映像生成装置の構成を示すブロック図である。

【図１３】本発明の一実施の形態に係る画像処理装置に
おけるオペレータ装置の処理動作の流れを示すフローチ
ャートである。

【図１４】本発明の一実施の形態に係る画像処理装置を
具備したスタジオを上から鳥瞰した状況で、最も単純な
禁則領域を示す図である。

【図１５】本発明の一実施の形態に係る画像処理装置に
おける禁則領域処理手段の処理動作の流れを示すフロー
チャートである。

【図１６】本発明の一実施の形態に係る画像処理装置を
具備したスタジオを上から鳥瞰した状況で、厳密な禁則
領域を示す図である。

【図１７】本発明の一実施の形態に係る画像処理装置を
具備したスタジオを側面から見た状態で、禁則領域を示
す図である。

【図１８】従来の画像処理装置のシステム構成を示す図
である。

【符号の説明】

１０１ 撮影スタジオ １０２ セット １０３ 演技者(被写体) １０４ カメラ（撮影手段） １０５ ＨＭＤ（ヘッドマウントディスプレイ：表
示手段） １０６ 位置・姿勢センサー（撮影パラメータ取得
手段） １０７ 仮想物体 １０８ 映像生成装置 １０９ 映像重畳装置 １１０ オペレータ装置 １１１ ネットワーク １１２ 編集スタジオ １１３ ネットワーク １１４ 高速処理装置 １１５ ビデオ装置 １１６ 伝送装置（放送） ２０１ 第１のプリズム光学素子 ２０２ 撮像素子 ２０３ 第２のプリズム光学素子 ３０１ ＨＭＤ ３０２ 第１の画像合成手段 ３０３ 第１のＣＧ描画手段 ３０４ 禁則領域処理手段 ３０５ シナリオ管理手段 ３０６ 位置合わせ手段 ３０７ 第１のＣＧデータ管理手段 ３０８ 撮影手段 ３０９ 第２の画像合成手段 ３１０ 第２のＣＧ描画手段 ３１１ 画像表示手段 ３１２ 送信手段 ３１３ 受信手段 ３１４ 第３の画像合成手段 ３１５ 第２のＣＧデータ管理手段 ３１６ 第３のＣＧ描画手段 ３１７ 画像出力手段 ４０１ カメラ ４０２ 台車 ４０３ 計測装置 ５０１ カメラ ５０２ 受信機（計測器） ５０３ ＨＭＤ ８０１ 色票 ８０２ 色票 ８０３ 色票 １２０１ マウス（入力手段） １２０２ キーボード（入力手段） １２０３ ディスプレイ装置 １２０４ ＨＭＤ １２０５ 周辺コントローラ １２０６ シリアル・インターフェース（Ｉ／Ｆ） １２０７ ＣＰＵ（中央演算処理装置） １２０８ メモリ １２０９ ネットワーク・インターフェース（Ｉ／
Ｆ） １２１０ ハードディスク（ＨＤ）装置 １２１１ フロッピーディスク（ＦＤ）装置 １２１２ 画像キャプチャカード １２１３ ビデオグラフィックカード １４０１ カメラ（撮影手段） １４０２ 演技者（プレイヤー）または移動する実在
オブジェクト １４０３ 演技者（プレイヤー）または移動する実在
オブジェクト １４０４ 演技者等の周辺領域 １４０５ 固定的な実在オブジェクト

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 7/173 ６１０ Ｈ０４Ｎ 7/173 ６１０Ｚ ５Ｃ０６４ 7/18 7/18 Ｖ 13/00 13/00 Ｆターム(参考） 5B057 CA13 CB13 CC03 CE08 DA08 DA16 5C022 AC69 CA01 CA02 5C023 AA06 AA11 AA37 AA38 BA11 CA01 DA08 5C054 AA01 CA04 CC03 EA01 EA03 EA05 EH01 FE12 5C061 AA20 AB02 AB08 AB14 5C064 BB05 BC16 BC23 BD07 BD08

Claims (28)

【特許請求の範囲】
1. 【請求項１】 被写体の位置・姿勢を測定し、測定され
   た位置・姿勢を前記被写体の画像に重畳されるＣＧ（コ
   ンピュータグラフィックス）データに反映させて表示手
   段に表示させるための画像処理方法であって、 撮影手段により前記被写体を撮影する撮影工程と、 前記撮影手段によって撮影された実写画像データと、前
   記撮影手段の撮影パラメータと、前記表示手段の表示パ
   ラメータとをネットワークに接続された画像合成手段へ
   と送信する送信工程と、 前記画像合成手段により、前記撮影パラメータ及び表示
   パラメータに基づいて、前記撮影手段の撮影視点からの
   ＣＧ画像を作成すると共に、前記撮影手段により撮影さ
   れた前記被写体の実写画像に前記ＣＧ画像を合成する画
   像合成工程と、 前記画像合成工程によって生成された前記実写画像とＣ
   Ｇ画像との合成画像を、前記ネットワークを介して受信
   する受信工程と、 前記受信工程によって受信した前記合成画像を、前記表
   示手段に表示する表示制御工程とを有することを特徴と
   する画像処理方法。
2. 【請求項２】 前記画像合成工程は、前記ＣＧ画像の存
   在可能領域を制限する禁則領域処理工程を有することを
   特徴とする請求項１に記載の画像処理方法。
3. 【請求項３】 前記画像合成工程は、前記ＣＧを生成す
   るためのシナリオを情報を管理するシナリオ管理工程を
   有することを特徴とする請求項１に記載の画像処理方
   法。
4. 【請求項４】 前記撮影パラメータは、前記撮影手段の
   撮影位置であることを特徴とする請求項１に記載の画像
   処理方法。
5. 【請求項５】 前記撮影パラメータは、前記撮影手段の
   撮影方向であることを特徴とする請求項1に記載の画像
   処理方法。
6. 【請求項６】 前記表示パラメータは、前記表示手段の
   表示位置であることを特徴とする請求項１に記載の画像
   処理方法。
7. 【請求項７】 前記表示パラメータは、前記表示手段の
   表示方向であることを特徴とする請求項１に記載の画像
   処理方法。
8. 【請求項８】 前記表示手段は、ＨＭＤ（ヘッドマウン
   トディスプレイ）であることを特徴とする請求項１乃至
   ７のいずれかに記載の画像処理方法。
9. 【請求項９】 前記撮影手段及び表示手段は撮影スタジ
   オに配置され、前記画像合成工程は編集スタジオにて実
   行されることを特徴とする請求項１乃至８のいずれかに
   記載の画像処理方法。
10. 【請求項１０】 被写体の位置・姿勢を測定し、測定さ
    れた位置・姿勢を前記被写体の画像に重畳されるＣＧ
    （コンピュータグラフィックス）データに反映させて表
    示手段に表示させる画像処理装置であって、 撮影手段により前記被写体を撮影する撮影手段と、 前記撮影手段によって撮影された実写画像データと、前
    記撮影手段の撮影パラメータと、前記表示手段の表示パ
    ラメータとをネットワークに接続された画像合成手段へ
    と送信する送信手段と、 前記撮影パラメータ及び表示パラメータに基づいて、前
    記撮影手段の撮影視点からのＣＧ画像を作成すると共
    に、前記撮影手段により撮影された前記被写体の実写画
    像に前記ＣＧ画像を合成する画像合成手段と、 前記画像合成手段によって生成された前記実写画像とＣ
    Ｇ画像との合成画像を、前記ネットワークを介して受信
    する受信手段と、 前記受信手段によって受信した前記合成画像を、前記表
    示手段に表示する表示制御手段とを有することを特徴と
    する画像処理装置。
11. 【請求項１１】 前記画像合成手段は、前記ＣＧ画像の
    存在可能領域を制限する禁則領域処理手段を有すること
    を特徴とする請求項１０に記載の画像処理装置。
12. 【請求項１２】 前記画像合成手段は、前記ＣＧを生成
    するためのシナリオを情報を管理するシナリオ管理手段
    を有することを特徴とする請求項１０に記載の画像処理
    装置。
13. 【請求項１３】 前記撮影パラメータは、前記撮影手段
    の撮影位置であることを特徴とする請求項１０に記載の
    画像処理装置。
14. 【請求項１４】 前記撮影パラメータは、前記撮影手段
    の撮影方向であることを特徴とする請求項１０に記載の
    画像処理装置。
15. 【請求項１５】 前記表示パラメータは、前記表示手段
    の表示位置であることを特徴とする請求項１０に記載の
    画像処理装置。
16. 【請求項１６】 前記表示パラメータは、前記表示手段
    の表示方向であることを特徴とする請求項１０に記載の
    画像処理装置。
17. 【請求項１７】 前記表示手段は、ＨＭＤ（ヘッドマウ
    ントディスプレイ）であることを特徴とする請求項１０
    乃至１６のいずれかに記載の画像処理装置。
18. 【請求項１８】 前記撮影手段及び表示手段は撮影スタ
    ジオに配置され、画像合成工程は編集スタジオにて実行
    されることを特徴とする画像処理装置。
19. 【請求項１９】 実写画像とＣＧ（コンピュータグラフ
    ィックス）画像とを処理する画像処理装置において、演
    技者等の被写体の位置・姿勢を測定し、測定された位置
    ・姿勢を前記被写体の画像に重畳されるＣＧ画像に反映
    させて表示させるための画像生成処理を制御するための
    コンピュータ読み取り可能な制御プログラムであって、 前記撮影手段によって撮影された実写画像データと、前
    記撮影手段の撮影パラメータと、前記表示手段の表示パ
    ラメータをネットワークに接続された画像合成手段へと
    送信する送信工程と、 前記画像合成手段により、前記撮影パラメータ及び表示
    パラメータに基づいて、前記撮影手段の撮影視点からの
    ＣＧ画像を作成すると共に、前記撮影手段により撮影さ
    れた前記被写体の実写画像に前記ＣＧ画像を合成する画
    像合成工程と、前記画像合成工程によって生成された前
    記実写画像とＣＧ画像との合成画像を、前記ネットワー
    クを介して受信する受信工程と、 前記受信工程によって受信した前記合成画像を、前記表
    示手段に表示する表示制御工程とを有し、これらの各工
    程をコンピュータに実行させるためのプログラムコード
    からなることを特徴とするプログラム。
20. 【請求項２０】 さらに、背景を構成するセット工程
    と、出演者や撮影に関わる人が装着する表示手段により
    画像を表示する表示工程と、前記ＣＧ画像の生成するた
    めのシナリオ情報を管理するシナリオ管理工程を有する
    ことを特徴とする請求項１９に記載のプログラム。
21. 【請求項２１】 前記撮影パラメータは、前記撮影手段
    の撮影位置であることを特徴とする請求項１９に記載の
    プログラム。
22. 【請求項２２】 前記撮影パラメータは、前記撮影手段
    の撮影方向であることを特徴とする請求項１９に記載の
    プログラム。
23. 【請求項２３】 前記表示パラメータは、前記表示手段
    の表示位置であることを特徴とする請求項１９に記載の
    プログラム。
24. 【請求項２４】 前記表示パラメータは、前記表示手段
    の表示方向であることを特徴とする請求項１９に記載の
    プログラム。
25. 【請求項２５】 前記表示手段は、ＨＭＤ（ヘッドマウ
    ントディスプレイ）であることを特徴とする請求項１９
    乃至２４のいずれかに記載のプログラム。
26. 【請求項２６】 前記請求項１０に記載の前記撮影手
    段、表示手段、送信手段、受信手段、表示制御手段を装
    備したことを特徴とする撮影スタジオ装置。
27. 【請求項２７】 前記請求項１０に記載の画像合成手段
    を装備したことを特徴とする編集スタジオ装置。
28. 【請求項２８】 前記請求項２６に記載の撮影スタジオ
    装置と前記請求項２７に記載の編集スタジオ装置とから
    なることを特徴とするスタジオシステム。