JP2002269585A

JP2002269585A - 画像処理方法、画像処理装置、記憶媒体及びプログラム

Info

Publication number: JP2002269585A
Application number: JP2001071112A
Authority: JP
Inventors: Hideo Noro; 英生野呂; Hiroaki Sato; 宏明佐藤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2001-03-13
Filing date: 2001-03-13
Publication date: 2002-09-20

Abstract

(57)【要約】【課題】演技者よりも極端に大きなキャラクターやシ
ナリオの進行に応じて大きさ、色、材質、形状等の変化
するキャラクターを演じることができる画像処理方法、
画像処理装置、記憶媒体及びプログラムを提供する。【解決手段】演技者の位置・姿勢を測定する演技者ト
ラッキング手段１８０１と、演技者トラッキング手段１
８０１により得られた位置・姿勢を演技者全体を覆うＣ
Ｇ（コンピュータグラフィックス）キャラクターデータ
１８０２に反映させるＣＧキャラクターデータ反映手段
１８０３とを有する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、実写画像（映像）
とＣＧ（コンピュータグラフィックス）画像（映像）と
を処理する画像処理方法、画像処理装置、記憶媒体及び
プログラムに関する。

【０００２】

【従来の技術】従来から、映画やテレビ番組の撮影にお
いて、演技者がシナリオに応じて種々のキャラクターを
演じるため、身体全体を覆うような着ぐるみを着用する
ことがあった。

【０００３】

【発明が解決しようとする課題】この際、着ぐるみの大
きさは演技者の大きさに強く依存しており、極端に大き
なキャラクターやシナリオの進行に応じて大きさ、色、
材質、形状等が変化するキャラクターを演じることは不
可能であった。

【０００４】ＭＲ技術を用いて、演技者のみ別のスタジ
オで撮影したとしても、その場に前記演技者がいないた
めに、また、現実セットの障害物が無いために、着ぐる
みを着ている演技者及びその演技者と共に演じる演技者
にとって臨場感に欠けたものとなってしまう。

【０００５】また、前記両演技者同士及び両演技者の演
じるキャラクター同士の大きさの比が略一定である場合
には、互いの絡みも可能になるが、別スタジオで撮影す
る場合は、演技自体が非常に困難となる。

【０００６】これは、例えば、着ぐるみのキャラクター
と殺陣を演じた場合、刀同士が現実空間で衝突すること
がないことからも明らかである。

【０００７】更に、現実の着ぐるみを着用した場合、着
ぐるみの物理特性は、材質に大きく影響されてしまう。

【０００８】加えて、現実の着ぐるみの多くは非常に重
いため、キャラクターの機敏な動きを制限されていた。

【０００９】また、現実の着ぐるみは、演技者にとって
は蒸し暑く感じるものが多いが、これは演技者に負担を
強いるものであり、長時間に渉る撮影が困難でもあっ
た。

【００１０】本発明は、上記のような問題点に鑑みてな
されたもので、その目的は、演技者よりも極端に大きな
キャラクターやシナリオの進行に応じて大きさ、色、形
状の変化するキャラクターを演じることが可能で、ま
た、着ぐるみを着用している演技者及びその演技者と共
に演じる演技者にとって臨場感を持たせることができ、
また、着ぐるみのキャラクターの物理特性を自由に設定
することができ、また、現実の着ぐるみにおけるキャラ
クターの機敏な動きの制限を緩和することができ、更
に、現実の着ぐるみの蒸し暑さからくる演技者への負担
を取り除き、長時間に渉る撮影の困難を緩和することが
できる画像処理方法、画像処理装置、記憶媒体及びプロ
グラムを提供することである。

【００１１】

【課題を解決するための手段】上記目的を達成するため
に、本発明の請求項１に記載の画像処理方法は、演技者
等の被写体の位置・姿勢を測定するトラッキング工程
と、前記トラッキング工程により得られた位置・姿勢を
前記被写体の画像に重畳されるＣＧ（コンピュータグラ
フィックス）データに反映させるＣＧデータ反映工程と
を有することを特徴とする。

【００１２】また、上記目的を達成するために、本発明
の請求項２に記載の画像処理装置は、演技者等の被写体
の位置・姿勢を測定するトラッキング手段と、前記トラ
ッキング手段により得られた位置・姿勢を前記被写体の
画像に重畳されるＣＧ（コンピュータグラフィックス）
データに反映させるＣＧデータ反映手段とを有すること
を特徴とする。

【００１３】また、上記目的を達成するために、本発明
の請求項３に記載の画像処理方法は、演技者等の被写体
の位置・姿勢を測定し、測定された位置・姿勢を前記被
写体の画像に重畳されるＣＧ（コンピュータグラフィッ
クス）データに反映させて表示手段に表示させるための
画像処理方法であって、撮影手段により前記被写体を撮
影する撮影工程と、前記撮影手段の視点からのＣＧ画像
を、前記撮影手段の撮影パラメータ及び前記表示手段の
表示パラメータに基づいて作成するＣＧ画像作成工程
と、前記撮影手段により撮影された前記被写体の実写画
像に、前記ＣＧ画像作成工程により作成されたＣＧ画像
を合成して前記表示手段に表示する画像合成工程と、前
記画像合成工程において、前記ＣＧ画像の存在可能領域
を制限する禁則領域処理工程とを有することを特徴とす
る。

【００１４】また、上記目的を達成するために、本発明
の請求項４に記載の画像処理方法は、請求項３に記載の
画像処理方法において、前記ＣＧ画像作成工程は、前記
ＣＧを生成するためのシナリオ情報を管理するシナリオ
管理工程を有することを特徴とする。

【００１５】また、上記目的を達成するために、本発明
の請求項５に記載の画像処理方法は、請求項３に記載の
画像処理方法において、前記撮影パラメータは、前記撮
影手段の撮影位置であることを特徴とする。

【００１６】また、上記目的を達成するために、本発明
の請求項６に記載の画像処理方法は、請求項３に記載の
画像処理方法において、前記撮影パラメータは、前記撮
影手段の撮影方向であることを特徴とする。

【００１７】また、上記目的を達成するために、本発明
の請求項７に記載の画像処理方法は、請求項３に記載の
画像処理方法において、前記表示パラメータは、前記表
示手段の表示位置であることを特徴とする。

【００１８】また、上記目的を達成するために、本発明
の請求項８に記載の画像処理方法は、請求項３に記載の
画像処理方法において、前記表示パラメータは、前記表
示手段の表示方向であることを特徴とする。

【００１９】また、上記目的を達成するために、本発明
の請求項９に記載の画像処理方法は、請求項３乃至７の
いずれかに記載の画像処理方法において、前記表示手段
は、ＨＭＤ（ヘッドマウントディスプレイ）であること
を特徴とする。

【００２０】また、上記目的を達成するために、本発明
の請求項１０に記載の画像処理装置は、演技者等の被写
体の位置・姿勢を測定し、測定された位置・姿勢を前記
被写体の画像に重畳されるＣＧ（コンピュータグラフィ
ックス）データに反映させて表示手段に表示させるため
の画像処理装置であって、前記被写体を撮影手段により
撮影する撮影手段と、前記撮影手段の視点からのＣＧ画
像を前記撮影手段の撮影パラメータ及び前記表示手段の
表示パラメータに基づいて作成するＣＧ画像作成手段
と、前記撮影手段により撮影された前記被写体の実写画
像に、前記ＣＧ画像作成手段により作成されたＣＧ画像
を合成して前記表示手段に表示する画像合成手段と、前
記画像合成手段の画像合成処理において、前記ＣＧ画像
の存在可能領域を制限する禁則領域処理手段と、を有す
ることを特徴とする。

【００２１】また、上記目的を達成するために、本発明
の請求項１１に記載の画像処理装置は、請求項１０に記
載の画像処理装置において、前記ＣＧ画像作成手段は、
前記ＣＧを生成するためのシナリオ情報を管理するシナ
リオ管理手段を有することを特徴とする。

【００２２】また、上記目的を達成するために、本発明
の請求項１２に記載の画像処理装置は、請求項１０に記
載の画像処理装置において、前記撮影パラメータは、前
記撮影手段の撮影位置であることを特徴とする。

【００２３】また、上記目的を達成するために、本発明
の請求項１３に記載の画像処理装置は、請求項１０に記
載の画像処理装置において、前記撮影パラメータは、前
記撮影手段の撮影方向であることを特徴とする。

【００２４】また、上記目的を達成するために、本発明
の請求項１４に記載の画像処理装置は、請求項１０に記
載の画像処理装置において、前記表示パラメータは、前
記表示手段の表示位置であることを特徴とする。

【００２５】また、上記目的を達成するために、本発明
の請求項１５に記載の画像処理装置は、請求項１０に記
載の画像処理装置において、前記表示パラメータは、前
記表示手段の表示方向であることを特徴とする。

【００２６】また、上記目的を達成するために、本発明
の請求項１６に記載の画像処理装置は、請求項１０乃至
１５のいずれかに記載の画像処理装置において、前記表
示手段は、ＨＭＤ（ヘッドマウントディスプレイ）であ
ることを特徴とする。

【００２７】また、上記目的を達成するために、本発明
の請求項１７に記載の記憶媒体は、実写画像とＣＧ（コ
ンピュータグラフィックス）画像とを処理する画像処理
装置を制御するためのコンピュータ読み取り可能な制御
プログラムを格納した記憶媒体であって、演技者等の被
写体の位置・姿勢を測定するトラッキング工程と、前記
トラッキング工程により得られた位置・姿勢を前記被写
体の画像に重畳されるＣＧ（コンピュータグラフィック
ス）データに反映させるＣＧデータ反映工程とをコンピ
ュータに実行させるためのプログラムコードを備えたこ
とを特徴とする。

【００２８】また、上記目的を達成するために、本発明
の請求項１８に記載の記憶媒体は、実写画像とＣＧ（コ
ンピュータグラフィックス）画像とを処理する画像処理
装置において、演技者等の被写体の位置・姿勢を測定
し、測定された位置・姿勢を前記被写体の画像に重畳さ
れるＣＧ画像に反映させて表示手段に表示させるための
画像生成処理を制御するためのコンピュータ読み取り可
能な制御プログラムを格納した記憶媒体であって、前記
被写体を撮影手段により撮影する撮影工程と、前記撮影
手段の視点からのＣＧ画像を前記撮影手段の撮影パラメ
ータと前記表示手段の表示パラメータに基づいて作成す
るＣＧ画像作成工程と、前記撮影手段により撮影された
前記被写体の実写画像に、前記ＣＧ画像作成工程により
作成されたＣＧ画像を合成して前記表示手段に表示する
画像合成工程と、前記画像合成工程において、前記ＣＧ
画像の存在可能領域を制限する禁則領域処理工程とを有
し、これらの各工程をコンピュータに実行させるための
プログラムコードを備えたことを特徴とする。

【００２９】また、上記目的を達成するために、本発明
の請求項１９に記載の記憶媒体は、請求項１８に記載の
記憶媒体において、さらに、背景を構成するセット工程
と、出演者や撮影に関わる人が装着する表示手段により
画像を表示する表示工程と、前記ＣＧ画像を生成するた
めのシナリオ情報を管理するシナリオ管理工程とを有す
ることを特徴とする。

【００３０】また、上記目的を達成するために、本発明
の請求項２０に記載の記憶媒体は、請求項１８に記載の
記憶媒体において、前記撮影パラメータは、前記撮影手
段の撮影位置であることを特徴とする。

【００３１】また、上記目的を達成するために、本発明
の請求項２１に記載の記憶媒体は、請求項１８に記載の
記憶媒体において、前記撮影パラメータは、前記撮影手
段の撮影方向であることを特徴とする。

【００３２】また、上記目的を達成するために、本発明
の請求項２２に記載の記憶媒体は、請求項１８に記載の
記憶媒体において、前記表示パラメータは、前記表示手
段の表示位置であることを特徴とする。

【００３３】また、上記目的を達成するために、本発明
の請求項２３に記載の記憶媒体は、請求項１８に記載の
記憶媒体において、前記表示パラメータは、前記表示手
段の表示方向であることを特徴とする。

【００３４】また、上記目的を達成するために、本発明
の請求項２４に記載の記憶媒体は、請求項１８乃至２３
のいずれかに記載の記憶媒体において、前記表示手段
は、ＨＭＤ（ヘッドマウントディスプレイ）であること
を特徴とする。

【００３５】また、上記目的を達成するために、本発明
の請求項２５に記載のプログラムは、実写画像とＣＧ
（コンピュータグラフィックス）画像とを処理する画像
処理装置を制御するためのコンピュータ読み取り可能な
プログラムであって、演技者等の被写体の位置・姿勢を
測定するトラッキング工程と、前記トラッキング工程に
より得られた位置・姿勢を前記被写体の画像に重畳され
るＣＧ（コンピュータグラフィックス）データに反映さ
せるＣＧデータ反映工程とをコンピュータに実行させる
ためのプログラムコードから成ることを特徴とする。

【００３６】また、上記目的を達成するために、本発明
の請求項２６に記載のプログラムは、実写画像とＣＧ
（コンピュータグラフィックス）画像とを処理する画像
処理装置において、演技者等の被写体の位置・姿勢を測
定し、測定された位置・姿勢を前記被写体の画像に重畳
されるＣＧ画像に反映させて表示させるための画像生成
処理を制御するためのコンピュータ読み取り可能な制御
プログラムであって、前記被写体を撮影手段により撮影
する撮影工程と、前記撮影手段の視点からのＣＧ画像を
前記撮影手段の撮影パラメータと前記表示手段の表示パ
ラメータに基づいて作成するＣＧ画像作成工程と、前記
撮影手段により撮影された前記被写体の実写画像に、前
記ＣＧ画像作成工程により作成されたＣＧ画像を合成し
て前記表示手段に表示する画像合成工程と、前記画像合
成工程において、前記ＣＧ画像の存在可能領域を制限す
る禁則領域処理工程とを有し、これらの各工程をコンピ
ュータに実行させるためのプログラムコードからなるこ
とを特徴とする。

【００３７】また、上記目的を達成するために、本発明
の請求項２７に記載のプログラムは、請求項２６に記載
のプログラムにおいて、さらに、背景を構成するセット
工程と、出演者や撮影に関わる人が装着する表示手段に
より画像を表示する表示工程と、前記ＣＧ画像の生成す
るためのシナリオ情報を管理するシナリオ管理工程を有
することを特徴とする。

【００３８】また、上記目的を達成するために、本発明
の請求項２８に記載のプログラムは、請求項２６に記載
のプログラムにおいて、前記撮影パラメータは、前記撮
影手段の撮影位置であることを特徴とする。

【００３９】また、上記目的を達成するために、本発明
の請求項２９に記載のプログラムは、請求項２６に記載
のプログラムにおいて、前記撮影パラメータは、前記撮
影手段の撮影方向であることを特徴とする。

【００４０】また、上記目的を達成するために、本発明
の請求項３０に記載のプログラムは、請求項２６に記載
のプログラムにおいて、前記表示パラメータは、前記表
示手段の表示位置であることを特徴とする。

【００４１】また、上記目的を達成するために、本発明
の請求項３１に記載のプログラムは、請求項２６に記載
のプログラムにおいて、前記表示パラメータは、前記表
示手段の表示方向であることを特徴とする。

【００４２】また、上記目的を達成するために、本発明
の請求項３２に記載のプログラムは、請求項２６乃至３
１のいずれかに記載のプログラムにおいて、前記表示手
段は、ＨＭＤ（ヘッドマウントディスプレイ）であるこ
とを特徴とする。

【００４３】

【発明の実施の形態】以下、本発明の各実施の形態を、
図面に基づき説明する。

【００４４】（第１の実施の形態）まず、本発明の第１
の実施の形態を図１乃至図１６に基づき説明する。

【００４５】図１は、本実施の形態に係る画像処理装置
のシステム構成を示す図であり、同図において、１０１
は撮影場所となる撮影スタジオ（ＭＲスタジオ）、１０
２はスタジオ１０１に置かれたセット、１０３は演技
者、１０４は撮影用のカメラ（撮影手段）、１０５は演
技者１０３の装着する頭部装着型ディスプレイ装置（Ｈ
ｅａｄ−ＭａｕｎｔｅｄＤｉｓｐｌａｙ、以下、ＨＭ
Ｄと記述する）、１０６はＨＭＤ１０５に組み込まれた
位置センサー（表示パラメータ取得手段）、１０７は演
技者１０３の見る映像及びカメラ１０４の撮影映像に重
畳される仮想物体、１０８は演技者１０３の見る映像を
生成する映像生成装置、１０９はカメラ１０４の撮影映
像に仮想物体１０７の映像を重畳する映像重畳装置、１
１０は仮想物体１０７の状態を管理・操作するオペレー
タ装置、１１１は映像生成装置１０８、映像重畳装置１
０９及びオペレータ装置１１０を接続するネットワー
ク、１１２は映像重畳装置１０９の出力を蓄積するビデ
オ装置、１１３は映像重畳装置１０９の出力を発信或い
は放映する伝送装置である。

【００４６】位置センサー１０６としては、例えば磁気
方式の位置・方位センサー、米国ポヒマス社のＦａｓｔ
ｒａｋ等の装置が利用可能である。また、映像生成装置
１０８若しくは映像重畳装置１０９は、ＰＣ（パーソナ
ルコンピュータ）とビデオキャプチャカード及びＣＧ描
画機能を有するビデオカードで構成することができる。
更に、オペレータ装置１１０は、一般のＰＣで構成する
ことができる。

【００４７】ＨＭＤ１０５及び映像生成装置１０８等
は、演技者或いは同時観察するスタッフの人数に応じて
増やすことができ、カメラ１０４及び映像重畳装置１０
９等は、撮影用のカメラの数に応じて増やすことが可能
である。

【００４８】図２は、ＨＭＤ１０５の内部構成を示す図
である。このＨＭＤ１０５は、表示装置であると共に撮
像装置の機能も持つもので、外部から入ってくる光線を
画像センサーに導く第１のプリズム光学素子２０１、光
線を受けて撮像する撮像素子２０２、映像を提示する表
示素子２０３及び表示映像を目に導く第２のプリズム光
学素子２０４等から構成される。

【００４９】図１に示すように、撮影スタジオ１０１に
はセット１０２が置かれ、その中で演技者１０３が演技
する。演技者１０３はＨＭＤ１０５を装着し、このＨＭ
Ｄ１０５には位置センサー１０６が組み込まれ、その位
置センサー１０６は位置情報を出力する。同時に、ＨＭ
Ｄ１０５には外界を撮影するカメラが組み込まれ、撮影
された映像データを映像生成装置１０８に出力する。オ
ペレータ装置１１０は、オペレータの操作により仮想物
体１０７を表示したり、動かしたりする指示を受け、こ
れをネットワーク１１１を介して、映像生成装置１０８
及び映像重畳装置１０９に伝達する。

【００５０】映像生成装置１０８は、指示された仮想物
体１０７の状態と位置センサー１０６等から得られる頭
部の位置情報に対応してＣＧ映像を生成し、これをＨＭ
Ｄ１０５から得られる撮像データと合成し、その合成映
像をＨＭＤ１０５へ出力・表示する。演技者１０３はＨ
ＭＤ１０５に映る映像を見ることにより、恰も仮想物体
１０７がセット１０２内にあるように観察することがで
きる。カメラ１０４は、演技者１０３やセット１０２を
含む撮影スタジオ１０１の様子を撮像し、その撮影デー
タを映像重畳装置１０９に出力する。映像重畳装置１０
９は、オペレータ装置１１０からの指示による仮想物体
１０７の状態とカメラ１０４の位置・姿勢に対応したＣ
Ｇ映像を生成し、これをカメラ１０４から得られる映像
データと合成することにより、出力映像を作成・表示す
る。この出力映像は、ビデオ装置１１２で録画された
り、伝送装置１１３で放映されたりすることで用いられ
る。

【００５１】図３は、図１に示す本実施の形態に係る画
像処理装置の動作の詳細を示すブロック図である。

【００５２】図３において、３０１は所謂シースルー機
能を持つＨＭＤで、撮像部と画像表示部とを有する。３
０２は第１の画像合成手段で、ＨＭＤ３０１の撮像部で
撮影した映像と後述する第１のＣＧ描画手段３０３によ
り生成したＣＧ映像とを合成する。３０３はＨＭＤ３０
１の視点からのＣＧ映像を描画する第１のＣＧ描画手
段、３０４はＣＧオブジェクトの存在範囲を制御する禁
則領域処理手段、３０５はシナリオ管理手段で、ＣＧ描
画に必要なシナリオ進行とシナリオ情報とを管理する。
３０６は位置センサー等を含む位置合わせ手段、３０７
はＣＧデータ管理手段で、ＣＧ描画に必要なＣＧデータ
を管理する。３０８はカメラ等の撮影手段、３０９は第
２の画像合成手段で、撮影手段３０８により撮影した映
像と後述する第２のＣＧ描画手段３１０により生成した
ＣＧ映像とを合成する。３１０は撮影手段３０８の視点
からのＣＧ映像を描画する第２のＣＧ描画手段、３１１
は画像表示手段で、合成画像を表示する。

【００５３】ＨＭＤ３０１で撮像された画像は、第１の
画像合成手段３０２で第１のＣＧ描画手段３０３の生成
したＣＧシーン画像と合成された後、ＨＭＤ３０１に表
示されることになる。この際、ＨＭＤ３０１で撮像され
た画像は、一旦位置合わせ手段３０６に送られ、この位
置合わせ手段３０６は、その情報と位置センサー１０６
（図１参照）等から得られるトラッキング情報を元にＨ
ＭＤ（即ち、頭部）の位置・方向を計算し、第１のＣＧ
描画手段３０３に伝達する。

【００５４】第１のＣＧ描画手段３０３は、位置合わせ
手段３０６から得られる頭部の位置・方向情報と、第１
のＣＧデータ管理手段３０７から得られるＣＧデータと
を元にＨＭＤ３０１視点からのＣＧ画像を描画する。シ
ナリオ管理手段３０５は、禁則領域処理手段３０４から
得られる情報とシナリオ進行状況、即ち、リハーサルや
演技の進行状況或いはオペレータの指示等に従い、シー
ン構成に必要なシナリオ情報を第１のＣＧデータ管理手
段３０７に伝達し、この第１のＣＧデータ管理手段３０
７は、これに応じたＣＧデータを第１のＣＧ描画手段３
０３若しくは第２のＣＧ描画手段３１０に指示する。

【００５５】撮影手段３０８から得られる画像に対する
処理も同様であり、撮影手段３０８で撮影された画像
は、第２の画像合成手段３０９で第２のＣＧ描画手段３
１０の生成したＣＧ画像と合成され、得られた合成画像
は画像表示手段３１１に表示されることになる。この
際、撮影手段３０８で撮像された画像は、位置合わせ手
段３０６に送られ、この位置合わせ手段３０６は、その
情報と位置センサー１０６等から得られるトラッキング
情報を元に撮影手段（即ち、カメラ）３０８の位置、方
向を計算し、その結果を第２のＣＧ描画手段３１０に伝
達する。第２のＣＧ描画手段３１０は、位置合わせ手段
３０６から得られるＣＧデータを元に撮影手段（即ち、
カメラ）３０８の視点からのＣＧ映像を描画する。

【００５６】また、位置合わせ手段３０６は、得られた
ＨＭＤ（即ち、頭部）１０５（図１参照）の位置・方向
データと撮影手段（即ち、カメラ）３０８の位置・方向
データとを禁則領域処理手段３０４に伝達し、この禁則
領域処理手段３０４は、これらのデータからＣＧオブジ
ェクトの存在すべき範囲を決定し、シナリオ管理手段３
０５は、前記ＣＧオブジェクトの存在すべき範囲に応じ
て、ＣＧオブジェクトの位置を修正するようになってい
る。

【００５７】シナリオ管理手段３０５の管理するＣＧ描
画に必要な情報は、表示されるキャラクター毎に、表示
するＣＧモデルの番号、基準となる位置・姿勢のデー
タ、動作の種類を示す番号、動作に付随するパラメータ
等である。シナリオはシーン単位で管理されており、各
シーンではキャラクターの持つパワー、状態等のステー
タス値とオペレータからの操作入力、演技者の動き等に
応じて上述のデータの組が選択される。例えば、ランダ
ムに選択されたキャラクターの種類とそのキャラクター
のパワー値（これはゲームの進行によるポイントで加減
される）により表示するＣＧモデルの番号が決定する。
オペレータはキャラクターの移動及び回転等に必要な情
報を入力し、これで基準となる位置・姿勢・動作でキャ
ラクターの動作及びそのパラメータが決定される。

【００５８】なお、上述の位置・姿勢については、禁則
領域処理により補正される。

【００５９】また、ＨＭＤ１０５が外界を透過的に見ら
れるように構成することにより、シースルー機能を実現
すること（光学シースルー方式）も可能であり、この場
合には、上述の第１の画像合成手段３０２は不要とな
る。

【００６０】また、位置合わせ手段３０６は、例えば、
機械式のエンコーダ等、三次元での位置・姿勢を検出す
る手段から構成することや、前述した磁気方式の位置セ
ンサー或いは画像認識等による位置合わせから構成する
ことができる。また、撮影手段３０８に対する位置合わ
せ手段とＨＭＤ１０５に対する位置合わせ手段として
は、別々のものを用いることも可能である。

【００６１】図４は、機械式エンコーダを用いたカメラ
装置の一例を示す図である。同図において、４０１はカ
メラ、４０２はカメラ４０１を載置した台車、４０３は
ロータリーエンコーダ等の計測装置で、各ジョイントに
設けられている。そして、計測装置４０３により、台車
４０２の位置からカメラ４０１の位置及び方位を計測し
て出力することができる。

【００６２】なお、図３における第２の画像合成手段３
０９からの出力をカメラ４０１のファインダ部に出すこ
とも可能であり、これによりカメラマンにも仮想の世界
を合わせたカメラワークが可能となる。

【００６３】図５は、磁気式の位置・方位センサーを用
いた手持ちのカメラ装置の一例を示す図である。

【００６４】同図において、５０１はカメラで、このカ
メラ５０１には磁気の受信機（計測器）５０２が固定的
に装着されている。そして、受信器５０２により計測さ
れた磁気状態から、カメラ５０１の三次元的な位置及び
方位を計算するようになっている。前述したように、こ
のように用いることができる機器として、例えば、米国
ポヒマス社のＦａｓｔｒａｋといった装置がある。

【００６５】５０３はＨＭＤで、このＨＭＤ５０３につ
いてもカメラ５０１と同様の方法で位置・方位を計算す
るようになっている。このような手持ちのカメラ装置の
場合には、カメラマンはＨＭＤ５０３（或いはその片目
版）を装着し、このＨＭＤ５０３に画像合成手段の出力
を表示することで、仮想の世界に合わせたカメラワーク
が可能となる。

【００６６】なお、ズーム可能なカメラ装置の場合煮
は、ズームレンズのズーム情報も外部の処理装置に伝達
する。

【００６７】ＣＧデータ管理手段３０７には、ＣＧの三
次元モデルやアニメーションデータ、実写映像等の画像
データが記録されており、たとえば、ＣＧキャラクター
の三次元アニメーションデータ等が記録されている。そ
して、シナリオ管理手段３０５から受け取ったキャラク
ター毎の表示するＣＧモデルの番号、基準となる位置・
姿勢のデータ、動作の種類を示す番号、動作に付随する
パラメータ等に従って、表示すべきＣＧモデルやアニメ
ーションを選択し、位置・姿勢、その他のパラメータを
設定することで、ＣＧ描画に用いるシーングラフを変更
する。

【００６８】シナリオ管理手段３０５は、演技の補助に
必要な台本・台詞・説明等の情報を蓄え、シーンに応じ
て必要な情報をＣＧデータ管理手段３０７に送り、この
ＣＧデータ管理手段３０７は、これらの情報を第１のＣ
Ｇ描画手段３０３及び第２のＣＧ描画手段３１０に指示
する。シーンの進行は、任意のユーザインタフェース
（マウス、キーボード、音声入力等）を用いて行われ
る。

【００６９】次に、図１における、演技者１０３の装着
したＨＭＤ１０５に表示される映像が作成される動作に
ついて、図１及び図６を用いて説明する。

【００７０】図６は、図１における、演技者１０３の装
着したＨＭＤ１０５に表示される映像が作成される動作
の流れを示すフローチャートであり、同図において、ス
テップＳ６１０〜ステップＳ６１２は、近年当該分野で
一般化した並列処理プログラムの技法を用いて、別々に
並行動作するスレッドとして実装されるものである。

【００７１】また、図６に示す処理は、動き出すと、割
り込みが入るまでは無限ループで動作し、割り込みが入
ると他の処理に移行する。

【００７２】映像生成装置１０８内での処理プロセス
は、まず、オペレータ装置１１０から得られた指示に応
じて、ＣＧを描画するための状態フラグ（表示物体の種
類、位置、状態）を更新する処理である内部状態更新処
理を行う（ステップＳ６０１）。次いで、頭部位置の決
定処理から得られる頭部位置情報を内部に取り込む（ス
テップＳ６０２）。次いで、ビデオキャプチャカードか
ら得られた最新の画像を背景画像として取り込む（ステ
ップＳ６０３）。次いで、背景画像の上に前記ステップ
Ｓ６０１において設定された内部状態に応じてＣＧデー
タを更新し、前記ステップＳ６０２において設定された
頭部位置をＣＧ生成の仮想カメラとしてＣＧを描画する
（ステップＳ６０４）。最後に、描画結果の合成画像を
表示するＣＧコマンドをビデオカードに与えることで、
ＨＭＤ１０５に合成画像が表示される（ステップＳ６０
５）。その後、前記ステップＳ６０１へ戻る。

【００７３】ここで、ステップＳ６１０はオペレータ装
置１１０からの指示データがネットワーク１１１を介し
て送信されてくるのを受け取るスレッドである。また、
ステップＳ６１１は位置センサー１０６からの情報を受
け取り、ビデオキャプチャカードから得られる画像デー
タと合わせて頭部の位置を決定するスレッドである。更
に、ステップＳ６１２は定期的にビデオキャプチャカー
ドから画像データを読み出す画像キャプチャスレッドで
ある。

【００７４】次に、頭部位置決定動作について、図１及
び図７を用いて説明する。

【００７５】図７は、頭部位置決定動作の流れを示すフ
ローチャートであり、同図において、ステップＳ７１０
は位置センサー１０６からのデータ読み込みのスレッ
ド、ステップＳ７１１はマーカー位置の通知を受け取る
スレッドである。

【００７６】ここで、位置センサー１０６からのデータ
は、通常のＲＳ２３２Ｃのポートへのデータ通信であ
り、ステップＳ７１０では、このポートのデータを定期
的に読み出している。また、ステップＳ７１１の通知
は、一般的なネットワーク通信プロトコル（ＴＣＰ−Ｉ
Ｐ）で通信される。

【００７７】また、図７に示す処理は、動き出すと、割
り込みが入るまでは無限ループで動作し、割り込みが入
ると他の処理に移行する。

【００７８】映像生成装置１０８は、まず、位置センサ
ー１０６から得られる最新の位置情報に頭部位置を更新
する（ステップＳ７０１）。次いで、ＨＭＤ１０５のカ
メラから得られた画像データから特定のマーカー画像を
認識することで、頭部位置の補正情報を得、これに応じ
て頭部の方向データを更新する（ステップＳ７０２）。
最後に、得られた頭部の位置（方向を含む）データを頭
部位置決定スレッドであるステップＳ７１１に受け渡す
（ステップＳ７０３）。その後、前記ステップＳ７０１
へ戻る。

【００７９】ここで、頭部の方向の補正は、まず、位置
センサー１０６から得られたワールド座標系での頭（視
点）の三次元位置及び方位とマーカーの三次元位置か
ら、マーカーが画像中のどこに見えるかの予測値（ｘ
０，ｙ０）を計算する。次いで、この予測値（ｘ０，ｙ
０）から画像中の実際のマーカー位置（ｘ１，ｙ１）に
向かう移動ベクトルを計算する。最後に、この移動ベク
トルを見込む角度を補正値として、これに相当する分だ
け頭部の方位を回転させた値をＨＭＤ１０５の方向とし
て出力する。

【００８０】図８は、位置計測に用いるために、スタジ
オ内に貼り込むマーカーの一例を示す図である。マーカ
ーには単色のものを用いることも可能であるが、本実施
の形態においては、３つの色票８０１，８０２，８０３
からなり、それぞれ特定の大きさを持つ矩形の色票を特
定の位置関係に配置したものである。それぞれの色票８
０１，８０２，８０３には、任意の色を選ぶことができ
る。このように構成することにより、より多種類のマー
カーを安定的に検出することが可能となる。

【００８１】次に、マーカー位置決定動作について、図
１及び図９を用いて説明する。

【００８２】図９は、マーカー位置決定動作の流れを示
すフローチャートであり、同図において、ステップＳ９
１０は画像認識の対象となる画像データを得るステップ
であり、画像キャプチャカードから画像を定期的に読み
出すスレッドとなっている。

【００８３】また、図９に示す処理は、動き出すと、割
り込みが入るまでは無限ループで動作し、割り込みが入
ると他の処理に移行する。

【００８４】映像生成装置１０８或いは映像重畳装置１
０９は、まず、最新の画像データを更新する（ステップ
Ｓ９０１）。次いで、登録されたマーカーを判別するた
めの幾つかの色情報によって画像を閾値処理する（ステ
ップＳ９０２）。次いで、得られた２値画像を連結化し
てラベリング処理する（ステップＳ９０３）。次いで、
各ラベルの領域の面積を計数し（ステップＳ９０４）、
重心位置を計算する（ステップＳ９０５）。次いで、各
ラベルの面積とラベル間の重心位置との関係から、登録
されたマーカーのパターンと一致するか否かを判定する
（ステップＳ９０６）。最後に、前記ステップＳ９０６
において判定された中心のラベルの重心をもってマーカ
ー位置として出力する（ステップＳ９０７）。その後、
前記ステップＳ９０１へ戻る。

【００８５】ここで、前記ステップＳ９０７において出
力されたマーカー位置の情報は、ＨＭＤ１０５或いはカ
メラ１０４の方位の補正に利用され、ＨＭＤ１０５・カ
メラ１０４の位置及び方位の情報をＣＧレンダリングの
際の仮想カメラの位置・方位とすることで、現実世界と
位置合わせされたＣＧ画像が生成される。

【００８６】次に、映像重畳装置１０９の映像処理動作
について、図１及び図１０を用いて説明する。

【００８７】図１０は、映像重畳装置１０９の処理動作
の流れを示すフローチャートであり、同図において、ス
テップＳ１０１０〜ステップＳ１０１２は近年当該分野
で一般化した並列処理プログラムの技法を用いて、別々
に並行動作するスレッドとして実装されるものである。

【００８８】また、図１０に示す処理は、動き出すと、
割り込みが入るまでは無限ループで動作し、割り込みが
入ると他の処理に移行する。

【００８９】映像重畳装置１０９内での処理プロセス
は、まず、オペレータ装置１１０から得られた指示に応
じて、ＣＧを描画するための状態フラグ（表示物体の種
類、位置、状態）を更新する処理である内部状態更新処
理を行う（ステップＳ１００１）。次いで、カメラ位置
の決定処理から得られるカメラ位置情報を内部に取り込
む（ステップＳ１００２）。次いで、ビデオキャプチャ
カードから得られた最新の画像を背景画像として取り込
む（ステップＳ１００３）。次いで、背景画像の上に前
記ステップＳ１００１において設定された内部状態に応
じてＣＧデータを更新し、前記ステップＳ１００２にお
いて設定されたカメラ位置をＣＧ生成の仮想カメラとし
てＣＧを描画する（ステップＳ１００４）。最後に、描
画結果のである合成画像を表示するＣＧコマンドをビデ
オカードに与えることで、ＨＭＤ１０５に合成画像が表
示される（ステップＳ１００５）。その後、前記ステッ
プＳ１００１へ戻る。

【００９０】ここで、ステップＳ１０１０はオペレータ
装置１１０からの指示データがネットワーク１１１を介
して送信されてくるのを受け取るスレッドである。ま
た、ステップＳ１０１１は図４或いは図５のカメラ装置
からの情報を受け取り、ビデオキャプチャカードから得
られる画像データと合わせてカメラの位置を決定するス
レッドである。更に、ステップＳ１０１２は定期的にビ
デオキャプチャカードから画像データを読み出す画像キ
ャプチャスレッドである。

【００９１】なお、本実施の形態では、映像生成装置３
０８及び映像重畳装置３０９の出力であるリアルタイム
の合成映像を装置全体の出力としているが、撮像手段
（或いはＨＭＤ）から得られる映像データと撮像手段
（或いはＨＭＤ）の位置・姿勢を示すデータの両者を分
岐して出力することで、所謂ポストプロダクション（時
間をかけて後処理で最終生成物となるビデオ映像を作成
する工程）で用いるデータを同時に得ることができる。

【００９２】また、映像生成装置１０８或いは映像重畳
装置１０９、オペレータ装置１１０を構成するハードウ
ェアは、一般的なコンピュータと周辺機器との組み合わ
せで実現できる。

【００９３】図１１は、映像生成装置１０８のハードウ
ェア構成の一例を示すブロック図である。同図におい
て、１１０１は入力手段であるマウス、１１０２は同じ
く入力手段であるキーボード、１１０３は画像を表示す
るディスプレイ装置、１１０４は画像を表示すると共に
画像を撮像するＨＭＤ、１１０５は周辺コントローラ、
１１０６は位置センサーとの間の情報授受のためのシリ
アル・インターフェース（Ｉ／Ｆ）、１１０７はプログ
ラムによる各種の処理を実行するＣＰＵ（中央演算処理
装置）、１１０８はメモリ、１１０９はネットワーク・
インターフェース（Ｉ／Ｆ）、１１１０はプログラムを
記憶媒体からロードするためのハードディスク（ＨＤ）
装置、１１１１はプログラムを記憶媒体からロードする
ためのフロッピー（登録商標）ディスク（ＦＤ）装置、
１１１２は画像キャプチャカード、１１１３はビデオグ
ラフィックカードである。

【００９４】なお、映像重畳装置１０９の場合には、Ｈ
ＭＤ１１０４の代わりに撮影装置（カメラ）からの入力
を受け、画像表示装置であるディスプレイ装置１１０３
へ映像信号を出力する。また、オペレータ装置１１０の
場合には、ＨＭＤ１１０４及び画像キャプチャカード１
１１２は不要となる。

【００９５】本発明の実施の形態を実現するためのプロ
グラムは、ＦＤ装置やネットワーク等を介してプログラ
ム記憶媒体からロードすることができる。

【００９６】次に、本実施の形態に係る画像処理装置に
おけるオペレータ装置１１０の動作を、図１及び図１２
に基づき説明する。

【００９７】図１２は、本実施の形態に係る画像処理装
置におけオペレータ装置１１０の処理動作の流れを示す
フローチャートであり、同図において、ステップＳ１２
１０は、ユーザ入力スレッドである。

【００９８】また、図１２に示す処理は、動き出すと、
割り込みが入るまでは無限ループで動作し、割り込みが
入ると他の処理に移行する。

【００９９】オペレータ装置１１０は、まず、ステップ
Ｓ１２１０におけるユーザ入力処理によるユーザからの
入力操作を受け取り（ステップＳ１２０１）、これに応
じて内部状態（シナリオの進行ポインタ、表示モード
等）を更新する（ステップＳ１２０２）。次いで、カメ
ラ１０４及び演技者１０３の位置情報から禁則領域を決
定し、ＣＧによる仮想オブジェクトがこの領域内に入ら
ないに位置データを更新する（ステップＳ１２０３）。
次いで、更新された状態の情報を映像生成装置１０８や
映像重畳装置１０９に伝達する（ステップＳ１２０
４）。その後は、前記ステップＳ１２０１へ戻る。

【０１００】前述したようにユーザからの入力操作は、
マウスやキーボード等の入力装置若しくは音声入力やジ
ェスチャーコマンド等を介して行うことができる。

【０１０１】ここで、禁則領域処理は、仮想のＣＧオブ
ジェクトと実在のオブジェクトの隠れ関係等が不自然に
ならないように、ＣＧオブジェクトの存在可能領域を制
限する処理である。隠れ関係については、固定の実在オ
ブジェクトの場合には前もって実在オブジェクトと同じ
形状及び位置・方向にＣＧオブジェクトを設定し、実在
オブジェクトに対するＣＧオブジェクトの領域には実写
映像を用い、仮想オブジェクトのレンダリングの際には
設定した実在オブジェクトに対応するＣＧオブジェクト
との隠面処理を行うことにより、仮想オブジェクトの実
在オブジェクトによる隠れは正しく処理される。

【０１０２】一方、演技者等のように、移動したり変形
したりする場合には、そのオブジェクトが占める空間領
域を確定することは容易ではない。そして、実在の演技
者等と仮想のオブジェクトが接近したり、前後したりし
た場合に、隠れ関係を正しく処理できないと、見えない
はずのものが見えたり、前後関係が逆転して見えたりと
いったように、大きな視覚的な障害となる。

【０１０３】本発明では、そのような不自然な見え方が
発生する可能性のある領域（禁則領域）を特定し、その
ような領域に仮想オブジェクトが侵入する場合には、そ
の位置を禁則領域外に修正することにより、視覚的な障
害を取り除くことができる。

【０１０４】図１３は、スタジオを上から鳥瞰した状況
で、最も単純な禁則領域を示す図であり、同図におい
て、１３０１は撮影手段（カメラ）、１３０２及び１３
０３は演技者或いは移動する実在オブジェクト、１３０
４は演技者等の周辺領域、１３０５は固定的な実在のオ
ブジェクト（スタジオセット）である。

【０１０５】ここで、例えば、カメラ１３０１と演技者
１３０２とを結ぶ直線上を演技者１３０２から周辺領域
１３０４の半径分だけカメラ１３０１側に偏位した点を
通る直線と直交する直線ＡＡ′を計算すると、直線直線
ＡＡ′で区分された空間のカメラ１３０１のない方が禁
則領域となる（実際には禁則領域を含む領域となるが、
視覚的な障害を取り除くという点では実用上全く問題が
ない）。同様に、その他の対象オブジェクト１３０３に
対する区分直線ＢＢ′とその禁則領域も計算でき、これ
らの和集合領域として全体の禁則領域が決定される。

【０１０６】次に、本実施の形態に係る画像処理装置に
おける禁則領域処理手段３０４の禁則領域計算処理動作
を、図１３及び図１４に基づき説明する。

【０１０７】図１４は、本実施の形態に係る画像処理装
置におけ禁則領域処理手段３０４の禁則領域計算処理動
作の流れを示すフローチャートであり、同図において、
ステップＳ１４１０及びステップＳ１４１１は、近年当
該分野で一般化した並列処理プログラムの技法を用い
て、別々に並行動作するスレッドとして実装されるもの
である。

【０１０８】また、図１４に示す処理は、動き出すと、
割り込みが入るまでは無限ループで動作し、割り込みが
入ると他の処理に移行する。

【０１０９】まず、カメラ１３０１の位置情報が最新の
カメラ位置に更新され（ステップＳ１４０１）、次い
で、演技者（プレイヤー）１３０２の位置情報が最新の
プレイヤー位置に更新される（ステップＳ１４０２）。
続いて、これらの情報から領域区分直線が計算され（ス
テップＳ１４０３）、仮想オブジェクトの領域区分直線
からの距離が計算される（ステップＳ１４０４）。この
値の正負の符号で禁則領域内か否かを判断し、禁則領域
内の場合には、最も近い領域外の点（これはカメラ１３
０１と仮想オブジェクトとを結ぶ直線と領域区分直線の
交点として計算できる）に仮想オブジェクトの位置を修
正する（ステップＳ１４０５）。その後、前記ステップ
Ｓ１４０１へ戻る。

【０１１０】図１５は、厳密な禁則領域を示す図で、同
図において図１３と同一部分には同一符号が付してあ
る。

【０１１１】ここでは、カメラ１３０１から発し、演技
者１３０２等の周辺領域１３０４を示す円弧と接する直
線ＯＣ，ＯＤ，ＯＥ，ＯＦが示されている。厳密な禁則
領域は、例えば、演技者１３０２の周辺領域１３０４と
直線ＯＣ・ＯＤで囲まれる領域の円弧１３０４よりカメ
ラ１３０１から見て遠方となる領域の和集合となる。こ
のような領域についても初等数学で簡単に計算できる。
処理速度が許すならば、このような計算にすることも可
能である。

【０１１２】図１６は、スタジオを側面から見た状態
で、禁則領域を示す図であり、同図において、図１３と
同一部分には同一符号が付してある。

【０１１３】ここで、演技者１３０２等の位置から、そ
の禁則領域の高さを推定することができ、これと接する
直線（実際には横方向に延びる平面）、例えば、直線Ｏ
Ｋ，ＯＬで領域区分直線が計算される。この上下方向に
関する計算の場合には、領域区分直線ＯＫ，ＯＬの区分
する２つの領域で演技者１３０２等の実体が存在する側
が禁則領域となる。

【０１１４】以上のように本実施の形態によれば、ダイ
ナミックに禁則領域を計算して仮想オブジェクトの位置
を制御することにより、撮影映像とＣＧ映像等との実時
間での合成映像を体感するスタジオシステムにおいて、
良好な映像を得ることができる。

【０１１５】また、本発明における禁則領域の処理をリ
アルタイム処理でない用い方をした場合、カメラの移動
範囲と演技者の移動範囲とから可能性のある全ての禁則
領域の和をもって計算し、この領域に入らないように仮
想オブジェクトを制御することにより、実時間の計算を
省略することも可能である。

【０１１６】（第２の実施の形態）次に、本発明の第２
の実施の形態を、図１７及び図１８に基づき説明する。

【０１１７】図１７は、本実施の形態に係る画像処理装
置のシステム構成を示す図であり、同図において、上述
した第１の実施の形態における図１と同一部分には同一
符号が付してある。

【０１１８】図１７において図１と異なる点は、図１の
構成に仮想着ぐるみ１７０１、演技者トラッキング装置
１７０２を付加したことである。

【０１１９】仮想着ぐるみ１７０１は演技者１０３を覆
うものであり、また、演技者トラッキング装置１７０２
は演技者１０３の位置・姿勢を測定するものである。こ
の演技者トラッキング装置１７０２は、一般にモーショ
ントラッキング装置と呼ばれるもので、複数製品化され
ている。例えば、演技者の関節等、動きに関する特徴点
にマーカーを付け、それをビデオカメラで撮影し、前記
マーカーを追跡しながら書くマーカーの位置を算出する
もの或いは関節の位置にロータリーエンコーダを取り付
けたやぐら状の装置を装着するものである。また、位置
センサー１０６と同様のセンサーを動きに関する特徴点
に装着しても良い。更には、奥行きを撮影できるビデオ
カメラを用いて、身体の空間的連続性等から各部の位置
や姿勢を算出しても良い。

【０１２０】図１８は、本実施の形態に係る画像処理装
置の動作の詳細を示すブロック図であり、同図におい
て、上述した第１の実施の形態における図３と同一部分
には同一符号が付してある。

【０１２１】図１８において図３と異なる点は、図３の
構成に演技者トラッキング手段１８０１、ＣＧキャラク
ターデータ１８０２、ＣＧキャラクターデータ反映手段
１８０３を付加したことである。

【０１２２】図１８において、演技者トラッキング手段
１８０１は演技者の位置・姿勢情報を演技者トラッキン
グ装置１７０１から取得し、その結果を位置合わせ手段
３０６に伝達する。位置合わせ手段３０６は、その情報
から演技者１０３の位置や姿勢を計算し、禁則領域処理
手段３０４を経由してシナリオ管理手段３０５に伝達す
る。シナリオ管理手段３０５は、ＣＧキャラクターデー
タ反映手段１８０３を持つ。ＣＧキャラクターデータ反
映手段１８０３は、演技者１０３の位置や姿勢を該演技
者１０３の仮想きぐるみ１７０１の位置や姿勢に対応付
ける。その対応付けの結果はＣＧデータ管理手段３０７
に伝達され、このＣＧデータ管理手段３０７が管理する
ＣＧキャラクターデータ１８０２に対して変形等の操作
が行なわれる。その結果第２のＣＧ描画手段３１０、第
２の画像合成手段３０９、画像表示手段３１１を通じて
生成・表示される画像には、演技者１０３は仮想着ぐる
み１７０１の内部にいるので、完全に隠蔽され、恰も仮
想着ぐるみ１７０１が動いているように表示される。

【０１２３】なお、本発明の目的は、上記実施の形態の
機能を実現するソフトウェアのプログラムコードを記録
した記憶媒体を、システム或いは装置に供給し、そのシ
ステム或いは装置のコンピュータ（またはＣＰＵやＭＰ
Ｕ等）が記憶媒体に格納されたプログラムコードを読み
出して実行することによっても達成されることは言うま
でもない。

【０１２４】この場合、記憶媒体から読み出されたプロ
グラムコード自体が前述した各実施の形態の機能を実現
することになり、そのプログラムコードを記憶した記憶
媒体は本発明を構成することになる。

【０１２５】また、プログラムコードを供給するための
記憶媒体としては、例えば、フロッピーディスク、ハー
ドディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−
Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、Ｄ
ＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメ
モリカード、ＲＯＭ等を用いることができる。

【０１２６】また、コンピュータが読み出したプログラ
ムコードを実行することにより、上記各実施の形態の機
能が実現されるだけでなく、そのプログラムコードの指
示に基づき、コンピュータ上で稼動しているＯＳ（オペ
レーティングシステム）等が実際の処理の一部または全
部を行い、その処理によって前述した各実施の形態の機
能が実現される場合も含まれることは言うまでもない。

【０１２７】更に、記憶媒体から読み出されたプログラ
ムコードが、コンピュータに挿入された機能拡張ボード
やコンピュータに接続された機能拡張ユニットに備わる
メモリに書き込まれた後、そのプログラムコードの指示
に基づき、その機能拡張ボードや機能拡張ユニットに備
わるＣＰＵ等が実際の処理の一部または全部を行い、そ
の処理によって前述した実施の形態の機能が実現される
場合も含まれることは言うまでもない。

【０１２８】

【発明の効果】以上説明したように本発明によれば、演
技者よりも極端に大きなキャラクターやシナリオの進行
に応じて大きさ、色、材質、形状等の変化するキャラク
ターを演じることができ、また、着ぐるみを装着してい
る演技者及びその演技者と共に演じる演技者にとって臨
場感をもたせることができ、また、前記着ぐるみのキャ
ラクターの物理特性を自由に設定することができ、ま
た、現実の着ぐるみの場合に問題となっていたキャラク
ターの機敏な動きの制限を緩和することができ、更に、
現実の着ぐるみの場合における蒸し暑さからくる演技者
への負担を取り除き、長時間に渉る撮影の困難性を緩和
することができるという効果を奏する。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態に係る画像処理装置
を具備したスタジオのシステム構成を示す図である。

【図２】本発明の第１の実施の形態に係る画像処理装置
におけるＨＭＤの内部構成を示す図である。

【図３】本発明の第１の実施の形態に係る画像処理装置
の動作の詳細を示す図である。

【図４】本発明の第１の実施の形態に係る画像処理装置
における機械式エンコーダを用いたカメラ装置の構成を
示す図である。

【図５】本発明の第１の実施の形態に係る画像処理装置
における磁気式の位置・方位センサーを用いた手持ちカ
メラ装置の構成を示す図である。

【図６】本発明の第１の実施の形態に係る画像処理装置
におけるＨＭＤに表示される映像を作成する処理動作の
流れを示すフローチャートである。

【図７】本発明の第１の実施の形態に係る画像処理装置
における頭部位置を決定する処理動作の流れを示すフロ
ーチャートである。

【図８】本発明の第１の実施の形態に係る画像処理装置
におけるマーカーの一例を示す図である。

【図９】本発明の第１の実施の形態に係る画像処理装置
におけるマーカー位置を決定する処理動作の流れを示す
フローチャートである。

【図１０】本発明の第１の実施の形態に係る画像処理装
置における映像重畳装置の動作を示すフローチャートで
ある。

【図１１】本発明の第１の実施の形態に係る画像処理装
置における映像生成装置の構成を示すブロック図であ
る。

【図１２】本発明の第１の実施の形態に係る画像処理装
置におけるオペレータ装置の処理動作の流れを示すフロ
ーチャートである。

【図１３】本発明の第１の実施の形態に係る画像処理装
置を具備したスタジオを上から鳥瞰した状況で、最も単
純な禁則領域を示す図である。

【図１４】本発明の第１の実施の形態に係る画像処理装
置における禁則領域処理手段の処理動作の流れを示すフ
ローチャートである。

【図１５】本発明の第１の実施の形態に係る画像処理装
置を具備したスタジオを上から鳥瞰した状況で、厳密な
禁則領域を示す図である。

【図１６】本発明の第１の実施の形態に係る画像処理装
置を具備したスタジオを側面から見た状態で、禁則領域
を示す図である。

【図１７】本発明の第２の実施の形態に係る画像処理装
置を具備したスタジオのシステム構成を示す図である。

【図１８】本発明の第２の実施の形態に係る画像処理装
置の動作の詳細を示す図である。

【符号の説明】

１０１撮影スタジオ１０２セット１０３演技者１０４カメラ（撮影手段）１０５ＨＭＤ（ヘッドマウントディスプレイ：表
示手段）１０６位置・姿勢センサー（撮影パラメータ取得
手段）１０７仮想物体１０８映像生成装置１０９映像重畳装置１１０オペレータ装置１１１ネットワーク１１２ビデオ装置１１３伝送装置（放送）２０１第１のプリズム光学素子２０２撮像素子２０３第２のプリズム光学素子３０１ＨＭＤ３０２第１の画像合成手段３０３第１のＣＧ描画手段３０４禁則領域処理手段３０５シナリオ管理手段３０６位置合わせ手段３０７ＣＧデータ管理手段３０８撮影手段３０９第２の画像合成手段３１０第２のＣＧ描画手段３１１画像表示手段４０１カメラ４０２台車４０３計測装置５０１カメラ５０２受信機（計測器）５０３ＨＭＤ８０１色票８０２色票８０３色票１１０１マウス（入力手段）１１０２キーボード（入力手段）１１０３ディスプレイ装置１１０４ＨＭＤ１１０５周辺コントローラ１１０６シリアル・インターフェース（Ｉ／Ｆ）１１０７ＣＰＵ（中央演算処理装置）１１０８メモリ１１０９ネットワーク・インターフェース（Ｉ／
Ｆ）１１１０ハードディスク（ＨＤ）装置１１１１フロッピーディスク（ＦＤ）装置１１１２画像キャプチャカード１１１３ビデオグラフィックカード１３０１カメラ（撮影手段）１３０２演技者（プレイヤー）または移動する実在
オブジェクト１３０３演技者（プレイヤー）または移動する実在
オブジェクト１３０４演技者等の周辺領域１３０５固定的な実在オブジェクト１７０１仮想着ぐるみ１７０２演技者トラッキング装置１８０１演技者トラッキング手段１８０２ＣＧキャラクターデータ１８０３ＣＧキャラクターデータ反映手段

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5B050 AA09 BA07 BA08 BA11 BA18 EA07 EA19 FA02 FA09 5B057 BA24 CA13 CB13 CC03 CE08 DA08 DA16 DB03 5C023 AA11 AA34 CA03

Claims

【特許請求の範囲】

【請求項１】演技者等の被写体の位置・姿勢を測定す
るトラッキング工程と、前記トラッキング工程により得られた位置・姿勢を前記
被写体の画像に重畳されるＣＧ（コンピュータグラフィ
ックス）データに反映させるＣＧデータ反映工程とを有
することを特徴とする画像処理方法。
【請求項２】演技者等の被写体の位置・姿勢を測定す
るトラッキング手段と、前記トラッキング手段により得られた位置・姿勢を前記
被写体の画像に重畳されるＣＧ（コンピュータグラフィ
ックス）データに反映させるＣＧデータ反映手段とを有
することを特徴とする画像処理装置。
【請求項３】演技者等の被写体の位置・姿勢を測定
し、測定された位置・姿勢を前記被写体の画像に重畳さ
れるＣＧ（コンピュータグラフィックス）データに反映
させて表示手段に表示させるための画像処理方法であっ
て、撮影手段により前記被写体を撮影する撮影工程と、前記撮影手段の視点からのＣＧ画像を、前記撮影手段の
撮影パラメータ及び前記表示手段の表示パラメータに基
づいて作成するＣＧ画像作成工程と、前記撮影手段により撮影された前記被写体の実写画像
に、前記ＣＧ画像作成工程により作成されたＣＧ画像を
合成して前記表示手段に表示する画像合成工程と、前記画像合成工程において、前記ＣＧ画像の存在可能領
域を制限する禁則領域処理工程とを有することを特徴と
する画像処理方法。
【請求項４】前記ＣＧ画像作成工程は、前記ＣＧを生
成するためのシナリオ情報を管理するシナリオ管理工程
を有することを特徴とする請求項３に記載の画像処理方
法。
【請求項５】前記撮影パラメータは、前記撮影手段の
撮影位置であることを特徴とする請求項３に記載の画像
処理方法。
【請求項６】前記撮影パラメータは、前記撮影手段の
撮影方向であることを特徴とする請求項３に記載の画像
処理方法。
【請求項７】前記表示パラメータは、前記表示手段の
表示位置であることを特徴とする請求項３に記載の画像
処理方法。
【請求項８】前記表示パラメータは、前記表示手段の
表示方向であることを特徴とする請求項３に記載の画像
処理方法。
【請求項９】前記表示手段は、ＨＭＤ（ヘッドマウン
トディスプレイ）であることを特徴とする請求項３乃至
７のいずれかに記載の画像処理方法。
【請求項１０】演技者等の被写体の位置・姿勢を測定
し、測定された位置・姿勢を前記被写体の画像に重畳さ
れるＣＧ（コンピュータグラフィックス）データに反映
させて表示手段に表示させるための画像処理装置であっ
て、前記被写体を撮影手段により撮影する撮影手段と、前記撮影手段の視点からのＣＧ画像を前記撮影手段の撮
影パラメータ及び前記表示手段の表示パラメータに基づ
いて作成するＣＧ画像作成手段と、前記撮影手段により撮影された前記被写体の実写画像
に、前記ＣＧ画像作成手段により作成されたＣＧ画像を
合成して前記表示手段に表示する画像合成手段と、前記画像合成手段の画像合成処理において、前記ＣＧ画
像の存在可能領域を制限する禁則領域処理手段と、を有
することを特徴とする画像処理装置。
【請求項１１】前記ＣＧ画像作成手段は、前記ＣＧを
生成するためのシナリオ情報を管理するシナリオ管理手
段を有することを特徴とする請求項１０に記載の画像処
理装置。
【請求項１２】前記撮影パラメータは、前記撮影手段
の撮影位置であることを特徴とする請求項１０に記載の
画像処理装置。
【請求項１３】前記撮影パラメータは、前記撮影手段
の撮影方向であることを特徴とする請求項１０に記載の
画像処理装置。
【請求項１４】前記表示パラメータは、前記表示手段
の表示位置であることを特徴とする請求項１０に記載の
画像処理装置。
【請求項１５】前記表示パラメータは、前記表示手段
の表示方向であることを特徴とする請求項１０に記載の
画像処理装置。
【請求項１６】前記表示手段は、ＨＭＤ（ヘッドマウ
ントディスプレイ）であることを特徴とする請求項１０
乃至１５のいずれかに記載の画像処理装置。
【請求項１７】実写画像とＣＧ（コンピュータグラフ
ィックス）画像とを処理する画像処理装置を制御するた
めのコンピュータ読み取り可能な制御プログラムを格納
した記憶媒体であって、演技者等の被写体の位置・姿勢を測定するトラッキング
工程と、前記トラッキング工程により得られた位置・姿勢を前記
被写体の画像に重畳されるＣＧ（コンピュータグラフィ
ックス）データに反映させるＣＧデータ反映工程とをコ
ンピュータに実行させるためのプログラムコードを備え
たことを特徴とする記憶媒体。
【請求項１８】実写画像とＣＧ（コンピュータグラフ
ィックス）画像とを処理する画像処理装置において、演
技者等の被写体の位置・姿勢を測定し、測定された位置
・姿勢を前記被写体の画像に重畳されるＣＧ画像に反映
させて表示手段に表示させるための画像生成処理を制御
するためのコンピュータ読み取り可能な制御プログラム
を格納した記憶媒体であって、前記被写体を撮影手段により撮影する撮影工程と、前記撮影手段の視点からのＣＧ画像を前記撮影手段の撮
影パラメータと前記表示手段の表示パラメータに基づい
て作成するＣＧ画像作成工程と、前記撮影手段により撮影された前記被写体の実写画像
に、前記ＣＧ画像作成工程により作成されたＣＧ画像を
合成して前記表示手段に表示する画像合成工程と、前記画像合成工程において、前記ＣＧ画像の存在可能領
域を制限する禁則領域処理工程とを有し、これらの各工
程をコンピュータに実行させるためのプログラムコード
を備えたことを特徴とする記憶媒体。
【請求項１９】さらに、背景を構成するセット工程
と、出演者や撮影に関わる人が装着する表示手段により
画像を表示する表示工程と、前記ＣＧ画像を生成するた
めのシナリオ情報を管理するシナリオ管理工程とを有す
ることを特徴とする請求項１８に記載の記憶媒体。
【請求項２０】前記撮影パラメータは、前記撮影手段
の撮影位置であることを特徴とする請求項１８に記載の
記憶媒体。
【請求項２１】前記撮影パラメータは、前記撮影手段
の撮影方向であることを特徴とする請求項１８に記載の
記憶媒体。
【請求項２２】前記表示パラメータは、前記表示手段
の表示位置であることを特徴とする請求項１８に記載の
記憶媒体。
【請求項２３】前記表示パラメータは、前記表示手段
の表示方向であることを特徴とする請求項１８に記載の
記憶媒体。
【請求項２４】前記表示手段は、ＨＭＤ（ヘッドマウ
ントディスプレイ）であることを特徴とする請求項１８
乃至２３のいずれかに記載の記憶媒体。
【請求項２５】実写画像とＣＧ（コンピュータグラフ
ィックス）画像とを処理する画像処理装置を制御するた
めのコンピュータ読み取り可能なプログラムであって、演技者等の被写体の位置・姿勢を測定するトラッキング
工程と、前記トラッキング工程により得られた位置・姿勢を前記
被写体の画像に重畳されるＣＧ（コンピュータグラフィ
ックス）データに反映させるＣＧデータ反映工程とをコ
ンピュータに実行させるためのプログラムコードから成
ることを特徴とするプログラム。
【請求項２６】実写画像とＣＧ（コンピュータグラフィ
ックス）画像とを処理する画像処理装置において、演技
者等の被写体の位置・姿勢を測定し、測定された位置・
姿勢を前記被写体の画像に重畳されるＣＧ画像に反映さ
せて表示させるための画像生成処理を制御するためのコ
ンピュータ読み取り可能な制御プログラムであって、前記被写体を撮影手段により撮影する撮影工程と、前記撮影手段の視点からのＣＧ画像を前記撮影手段の撮
影パラメータと前記表示手段の表示パラメータに基づい
て作成するＣＧ画像作成工程と、前記撮影手段により撮影された前記被写体の実写画像
に、前記ＣＧ画像作成工程により作成されたＣＧ画像を
合成して前記表示手段に表示する画像合成工程と、前記画像合成工程において、前記ＣＧ画像の存在可能領
域を制限する禁則領域処理工程とを有し、これらの各工
程をコンピュータに実行させるためのプログラムコード
からなることを特徴とするプログラム。
【請求項２７】さらに、背景を構成するセット工程
と、出演者や撮影に関わる人が装着する表示手段により
画像を表示する表示工程と、前記ＣＧ画像の生成するた
めのシナリオ情報を管理するシナリオ管理工程を有する
ことを特徴とする請求項２６に記載のプログラム。
【請求項２８】前記撮影パラメータは、前記撮影手段
の撮影位置であることを特徴とする請求項２６７に記載
のプログラム。
【請求項２９】前記撮影パラメータは、前記撮影手段
の撮影方向であることを特徴とする請求項２６に記載の
プログラム。
【請求項３０】前記表示パラメータは、前記表示手段
の表示位置であることを特徴とする請求項２６に記載の
プログラム。
【請求項３１】前記表示パラメータは、前記表示手段
の表示方向であることを特徴とする請求項２６に記載の
プログラム。
【請求項３２】前記表示手段は、ＨＭＤ（ヘッドマウ
ントディスプレイ）であることを特徴とする請求項２６
乃至３１のいずれかに記載のプログラム。