JP2002232783A - 画像処理装置および画像処理方法、並びにプログラム記憶媒体 - Google Patents

Abstract

(57)【要約】 【課題】 素材映像内の特定の置き換え対象オブジェク
トにカメラで撮影した貼り付け対象オブジェクトに変更
する画像合成処理を簡易に実行可能な画像処理装置を提
供する。 【解決手段】 映画などの素材映像、あるいは３ＤＣＧ
に基づいて生成される画像データ内の置き換え対象オブ
ジェクト（ｅｘ．特定の登場人物の顔）の視点位置情報
を取得し、該視点位置情報に基づいて、貼り付け対象オ
ブジェクト（ｅｘ．ユーザの顔）を様々な視点位置から
撮影した複数の画像から近似視点画像を選択し、必要で
あればビューインターポレーション処理により画像を生
成して素材画像に合成する。本構成により、貼り付け対
象オブジェクト（ｅｘ．ユーザの顔）に様々な動きを強
いることなく画像合成が可能となる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理装置およ
び画像処理方法、並びにプログラム記憶媒体に関し、特
に、映画やドラマなどのシーン（素材映像）に同期して
決められた軌道を移動するカメラでユーザの顔を取り込
み、素材映像の登場人物の顔に合成するすることで、ユ
ーザが素材映像中の登場人物に成り代わってインタラク
ティブに入り込んだ映像を生成する画像処理装置および
画像処理方法、並びにプログラム記憶媒体に関する。

【０００２】

【従来の技術】映画やドラマなどシーンにおいて、そこ
に登場する人物にユーザ自身の画像を貼り付けて登場人
物に成り代わってユーザが映画やドラマなどのシーン中
にインタラクティブに入り込んだ映像を生成するシステ
ムとして、現在提案されているものに例えば次のような
ものがある。

【０００３】まず、映画の画像中の登場人物の顔部分に
貼り付けるためのユーザの顔の三次元形状と画像を取得
する。次に、映画の登場人物の顔部分に対する顔モデル
のフィッティング情報をもとに合成処理を実行する。こ
のフィッティング処理はマッチムーブと呼ばれ、映画の
特殊効果としては一般的である。しかしながら、このマ
ッチムーブ処理は、例えば映画の各シーンを構成する各
フレームにおける時間方向の不連続や振動が生じないよ
うに考慮した処理が必要となり、結果としてフレーム単
位での合成処理が必要になる。

【０００４】フィッティング処理に用いられる顔モデル
は三次元空間上で動かすことが可能であり、実際に映画
のシーンが進行し、登場人物と置き換わった自分の顔を
インタラクティブに操作できる。また、マイクに向かっ
て例えばセリフを話しかければ、その言葉を話すように
合成されたユーザの顔の口形状が変化する。また、キー
操作によって表情を任意に変えることがもきる。（詳し
くは例えば森島繁生,“顔の認識・合成と新メディアの
可能性”,第６回画像センシングシンポジウム講演論文
集，pp.415-424, June 2000 を参照のこと）また、顔の
表情などの動きに関しては、ユーザの顔の動きを計測し
て、それを顔モデルに反映させることも考えられる。

【０００５】上記の従来のフィッティング処理方法で
は、画像中に貼り付けるデータとしてユーザの三次元形
状を取り込む必要がある。また、このアプローチで技術
が進んだとしても、表現できる口形状や表情に限界があ
り、合成された画像には不自然な口の動きや表情が残っ
てしまう。このような不自然さを解消するために、顔の
向きや位置に関して、映画の中の登場人物と全く同じ動
作をユーザにしてもらい、その方向、位置部分の顔デー
タを抽出して合成する処理も考えられるが、映画などの
登場人物と全く同じ動作をすることは不可能であり、現
実的ではない。また、合成処理後に各シーンの合成画像
を取り出して微少な調整処理を実行するということも考
えられるが、このような後処理を実行するとリアルタイ
ムのインタラクティブなシステムとして成り立たなくな
ってしまう。

【０００６】また、カメラを移動させて、様々な角度か
らの被写体画像を撮り込み、映画の各シーン中の置き換
え対象画像の角度に近い撮影画像を選択して画像の置き
換え処理を行なう手法も提案されている。しかし、この
手法は、カメラの移動制御のための駆動機構が必要とな
り、被写体画像撮影装置のコストアップ、信頼性低下な
どの問題を発生させる。

【０００７】

【発明が解決しようとする課題】本発明は、上記のよう
な従来のフィッティング処理の問題点に鑑みてなされた
ものであり、映画やドラマ、あるいは３ＤＣＧなどに基
づく様々な画像データに対してユーザの顔、あるいは他
のオブジェクトの画像貼り付け処理をインタラクティブ
にかつ容易に実行し、自然な合成画像の生成を可能とし
た画像処理装置および画像処理方法を提供することを目
的とする。

【０００８】さらに、本発明は、被写体画像をカメラを
移動させることなく、様々な角度からの画像撮り込みを
可能とし、自然な合成画像の生成を可能とした画像処理
装置および画像処理方法を提供することを目的とする。

【０００９】

【課題を解決するための手段】本発明の第１の側面は、
素材画像データ内の特定オブジェクトを置き換え対象オ
ブジェクトとし、該置き換え対象オブジェクトの画像
を、カメラで撮影した貼り付け対象オブジェクトの画像
データに置き換える処理を実行する画像処理装置であ
り、貼り付け対象オブジェクトの画像を複数の視点位置
から撮り込む複数のカメラを配列した撮像手段と、前記
素材画像データ内の置き換え対象オブジェクトの視点位
置情報に基づいて、前記撮像手段から取得される異なる
視点位置からの複数の撮影画像から、前記視点位置情報
に近似する視点位置画像を選択し、該選択画像に基づい
て貼り付け対象オブジェクトの画像を生成し、前記素材
画像データ内の置き換え対象オブジェクトの画像を前記
貼り付け対象オブジェクトの画像に変更する画像合成処
理を実行する画像合成手段と、を有することを特徴とす
る画像処理装置にある。

【００１０】さらに、本発明の画像処理装置の一実施態
様において、前記画像処理装置は、前記置き換え対象オ
ブジェクトを含む素材画像データを格納した素材映像蓄
積手段と、前記置き換え対象オブジェクトの視点位置情
報を蓄積した視点位置情報蓄積手段を有し、視点位置情
報蓄積手段に格納される視点位置情報は、前記素材映像
蓄積手段に格納された素材画像データの各フレームに対
応する時系列データとして構成され、前記視点位置情報
蓄積手段に記録された視点位置情報の前記画像合成手段
に対する出力、および、前記素材映像蓄積手段に記録さ
れた素材映像の前記画像合成手段に対する出力、および
前記撮像手段からの撮影画像の前記画像合成手段に対す
る出力を同期させた処理として実行し、前記画像合成手
段は、前記素材映像蓄積手段から入力する素材映像と、
前記視点位置情報蓄積手段から入力する視点位置情報
と、前記撮像手段から入力される貼り付け対象オブジェ
クトの複数画像を並列に入力し、該入力データに基づい
て、前記素材画像中の置き換え対象オブジェクトの画像
を前記貼り付け対象オブジェクトの画像に変更する処理
を実行する構成であることを特徴とする。

【００１１】さらに、本発明の画像処理装置の一実施態
様において、前記画像合成手段は、選択された前記視点
位置情報に近似する視点位置画像が複数である際に、該
選択画像に基づくビューインターポレーション処理を実
行して貼り付け対象オブジェクトの画像を生成する処理
を実行する構成であることを特徴とする。

【００１２】さらに、本発明の画像処理装置の一実施態
様において、前記画像合成手段は、さらに、前記撮像手
段の撮影した画像から貼り付け対象オブジェクトの画像
のみを抽出する撮り込み画像抽出処理を実行する構成で
あることを特徴とする。

【００１３】さらに、本発明の画像処理装置の一実施態
様において、前記画像処理装置は、さらに、素材画像デ
ータ内の前記置き換え対象オブジェクトの遮蔽領域情報
としての隠れマスク情報を格納した隠れマスク情報蓄積
手段を有し、前記画像合成手段は、該隠れマスク情報蓄
積手段からの隠れマスク情報を入力し、マスク領域につ
いては、前記撮像手段からの貼り付け対象オブジェクト
の画像データではなく、前記素材画像データのデータを
出力データとして選択する合成処理を実行することを特
徴とする。

【００１４】さらに、本発明の画像処理装置の一実施態
様において、前記画像処理装置は、さらに、素材画像デ
ータ内の前記置き換え対象オブジェクトの輝度情報に基
づいて生成される照明位置情報を格納した照明位置情報
蓄積手段と、貼り付け対象オブジェクトを異なる方向か
ら照射する複数の照明を配列した照明手段と、前記照明
手段の各照明を前記照明位置情報に従って明滅させる照
明制御手段とを有する構成であることを特徴とする。

【００１５】さらに、本発明の画像処理装置の一実施態
様において、前記画像処理装置は、さらに、３次元モデ
ルデータを格納した３次元モデル蓄積手段と、前記３次
元モデル蓄積手段に格納した３次元モデルデータに含ま
れる置き換え対象オブジェクトの仮想撮影視点情報を格
納した仮想カメラ情報蓄積手段と、前記３次元モデルデ
ータと、前記仮想撮影視点情報に基づいて素材映像デー
タを生成する素材映像生成手段とを有し、前記画像合成
手段は、前記素材映像生成手段の生成する素材映像に含
まれる置き換え対象オブジェクトの仮想撮影視点情報に
基づいて生成される視点位置情報に従って、前記撮像手
段から入力される画像中から、該視点位置情報に近似す
る視点位置画像を選択し、該選択画像に基づいて貼り付
け対象オブジェクトの画像を生成し、前記素材画像デー
タ内の置き換え対象オブジェクトの画像を前記貼り付け
対象オブジェクトの画像に変更する画像合成処理を実行
する構成であることを特徴とする。

【００１６】さらに、本発明の第２の側面は、素材画像
データ内の特定オブジェクトを置き換え対象オブジェク
トとし、該置き換え対象オブジェクトの画像を、カメラ
で撮影した貼り付け対象オブジェクトの画像データに置
き換える処理を実行する画像処理方法であり、貼り付け
対象オブジェクトの画像を複数の視点位置から撮り込む
複数のカメラを配列した撮像手段により複数画像を撮り
込む画像撮り込みステップと、画像合成手段において、
前記素材画像データ内の置き換え対象オブジェクトの視
点位置情報に基づいて、前記撮像手段から取得される異
なる視点位置からの複数の撮影画像から、前記視点位置
情報に近似する視点位置画像を選択し、該選択画像に基
づいて貼り付け対象オブジェクトの画像を生成し、前記
素材画像データ内の置き換え対象オブジェクトの画像を
前記貼り付け対象オブジェクトの画像に変更する画像合
成処理を実行する画像合成ステップと、を有することを
特徴とする画像処理方法にある。

【００１７】さらに、本発明の画像処理方法の一実施態
様において、前記画像処理方法は、さらに、素材映像蓄
積手段に格納された素材画像データの各フレームに対応
する時系列データとして置き換え対象オブジェクトの視
点位置情報を生成し、視点位置情報蓄積手段に蓄積する
視点位置情報蓄積ステップと、前記視点位置情報蓄積手
段に記録された視点位置情報の前記画像合成手段に対す
る出力、および、前記素材映像蓄積手段に記録された素
材映像の前記画像合成手段に対する出力、および前記撮
像手段からの撮影画像の前記画像合成手段に対する出力
を同期させた処理として実行するステップとを有し、前
記画像合成ステップは、前記素材映像蓄積手段から入力
する素材映像と、前記視点位置情報蓄積手段から入力す
る視点位置情報と、前記撮像手段から入力される貼り付
け対象オブジェクトの複数画像を並列に入力し、該入力
データに基づいて、前記素材画像中の置き換え対象オブ
ジェクトの画像を前記貼り付け対象オブジェクトの画像
に変更する処理を実行することを特徴とする。

【００１８】さらに、本発明の画像処理方法の一実施態
様において、前記画像合成ステップは、選択された前記
視点位置情報に近似する視点位置画像が複数である際
に、該選択画像に基づくビューインターポレーション処
理を実行して貼り付け対象オブジェクトの画像を生成す
る処理を実行することを特徴とする。

【００１９】さらに、本発明の画像処理方法の一実施態
様において、前記画像処理方法は、さらに、前記画像撮
り込みステップにおいて撮影した画像から貼り付け対象
オブジェクトの画像のみを抽出する撮り込み画像抽出ス
テップを有することを特徴とする。

【００２０】さらに、本発明の画像処理方法の一実施態
様において、前記画像処理方法は、さらに、素材画像デ
ータ内の前記置き換え対象オブジェクトの遮蔽領域情報
としての隠れマスク情報を生成し格納する隠れマスク情
報蓄積ステップを有し、前記画像合成ステップは、前記
隠れマスク情報を入力し、マスク領域については、前記
画像撮り込みステップにおいて撮り込まれた貼り付け対
象オブジェクトの画像データではなく、前記素材画像デ
ータのデータを出力データとして選択する合成処理を実
行することを特徴とする。

【００２１】さらに、本発明の画像処理方法の一実施態
様において、前記画像処理方法は、さらに、素材画像デ
ータ内の前記置き換え対象オブジェクトの輝度情報に基
づいて生成される照明位置情報を生成し格納する照明位
置情報蓄積ステップを有し、前記画像撮り込みステップ
は、前記照明位置情報蓄積ステップにおいて生成した照
明位置情報に従って前記貼り付け対象オブジェクトを異
なる方向から照射する複数の照明を選択的に明滅させる
処理を実行することを特徴とする。

【００２２】さらに、本発明の画像処理方法の一実施態
様において、前記画像処理方法は、さらに、３次元モデ
ル蓄積手段に格納した３次元モデルデータに含まれる置
き換え対象オブジェクトの仮想撮影視点情報を生成格納
する仮想カメラ情報蓄積ステップと、前記３次元モデル
データと、前記仮想撮影視点情報に基づいて素材映像デ
ータを生成する素材映像生成ステップとを有し、前記画
像合成ステップは、前記素材映像生成ステップにおいて
生成する素材映像に含まれる置き換え対象オブジェクト
の仮想撮影視点情報に基づいて生成される視点位置情報
に従って、前記撮像ステップにおいて撮影された複数画
像中から、該視点位置情報に近似する視点位置画像を選
択し、該選択画像に基づいて貼り付け対象オブジェクト
の画像を生成し、前記素材画像データ内の置き換え対象
オブジェクトの画像を前記貼り付け対象オブジェクトの
画像に変更する画像合成処理を実行することを特徴とす
る。

【００２３】さらに、本発明の第３の側面は、素材画像
データ内の特定オブジェクトを置き換え対象オブジェク
トとし、該置き換え対象オブジェクトの画像を、カメラ
で撮影した貼り付け対象オブジェクトの画像データに置
き換える画像処理をコンピュータ・システム上で実行せ
しめるコンピュータ・プログラムを提供するプログラム
記憶媒体であって、前記コンピュータ・プログラムは、
貼り付け対象オブジェクトの画像を複数の視点位置から
撮り込む複数のカメラを配列した撮像手段により複数画
像を撮り込む画像撮り込みステップと、前記素材画像デ
ータ内の置き換え対象オブジェクトの視点位置情報に基
づいて、前記撮像手段によって撮影された異なる視点位
置からの複数画像から、前記視点位置情報に近似する視
点位置画像を選択し、該選択画像に基づいて貼り付け対
象オブジェクトの画像を生成し、前記素材画像データ内
の置き換え対象オブジェクトの画像を前記貼り付け対象
オブジェクトの画像に変更する画像合成処理を実行する
画像合成ステップと、を有することを特徴とするプログ
ラム記憶媒体にある。

【００２４】なお、本発明のプログラム記憶媒体は、例
えば、様々なプログラム・コードを実行可能な汎用コン
ピュータ・システムに対して、コンピュータ・プログラ
ムをコンピュータ可読な形式で提供する媒体である。媒
体は、ＣＤやＦＤ、ＭＯなどの記録媒体、あるいは、ネ
ットワークなどの伝送媒体など、その形態は特に限定さ
れない。

【００２５】このようなプログラム記憶媒体は、コンピ
ュータ・システム上で所定のコンピュータ・プログラム
の機能を実現するための、コンピュータ・プログラムと
記憶媒体との構造上又は機能上の協働的関係を定義した
ものである。換言すれば、該記憶媒体を介してコンピュ
ータ・プログラムをコンピュータ・システムにインスト
ールすることによって、コンピュータ・システム上では
協働的作用が発揮され、本発明の他の側面と同様の作用
効果を得ることができるのである。

【００２６】本発明のさらに他の目的、特徴や利点は、
後述する本発明の実施例や添付する図面に基づくより詳
細な説明によって明らかになるであろう。

【００２７】

【発明の実施の形態】［実施例１］図１は、本発明の画
像処理装置の一実施形態に係るインタラクティブ型の画
像処理装置のブロック図である。図２は図１の画像処理
装置におけるカメラ部１の具体的構成例を示す図であ
る。図１および図２を用いて本発明の画像処理装置の概
要について説明する。ここで説明する実施例において
は、映画、ドラマなどの動画像データの登場人物の顔を
図２に示すカメラ部１を用いて撮り込んだユーザの顔画
像を貼り付ける処理を想定して説明する。なお、本実施
例では撮り込み画像をユーザの顔とした例を説明する
が、その他のオブジェクト、例えば人物全体、車、建
物、風景など様々な被写体を撮り込みオブジェクトとす
る構成が可能である。

【００２８】なお、以下の説明では、映画、ドラマなど
の元画像中の人物の顔を、カメラで撮り込んだユーザの
顔に置き換える処理例を説明する。以下の説明中におい
て、映画、ドラマなどの素材画像中の人物の顔など置き
換え処理の対象となるオブジェクトを置き換え対象オブ
ジェクトと呼び、カメラで撮り込んだユーザの顔など、
元画像に貼り付けるオブジェクトを貼り付け対象オブジ
ェクトと呼ぶ。

【００２９】図１の構成において、カメラ部１は、図２
に示すように異なる方向から貼り付け対象オブジェクト
となるユーザの顔２を撮影する複数台のカメラからな
る。カメラ部１の各カメラで撮影された画像は画像合成
部３に送られる。

【００３０】素材映像蓄積部５には、映画やドラマのシ
ーンの映像（以下、素材映像と呼ぶ）が蓄積されてお
り、蓄積画像は時系列で画像合成部３に送られる。画像
合成部３では、素材映像蓄積部５から入力する映画、ド
ラマなどの素材画像中の人物の顔など置き換え処理の対
象となる置き換え対象オブジェクトをカメラ部１から入
力される貼り付け対象オブジェクトとなるユーザの顔の
画像に置き換える画像合成処理を実行する。

【００３１】カメラ部１では、図２に示すように貼り付
け対象オブジェクトとなるユーザの顔を異なる方向から
撮影する複数のカメラを備えており、各カメラがユーザ
の顔を異なる方向から撮り込む。各カメラの撮影画像は
画像合成部３に入力される。画像合成部３では、カメラ
部１から入力する複数画像から最適な撮影画像を選択し
て素材画像中の置き換え対象オブジェクト（ｅｘ．特定
の登場人物の顔）と置き換える処理を実行する。あるい
は、必要であれば、カメラ部１から入力する複数画像か
ら最適画像をビュー・インターポレーション（View Int
erpolation; View Morphingとも呼ばれる)処理により生
成し、生成画像を、素材画像中の置き換え対象オブジェ
クト（ｅｘ．特定の登場人物の顔）と置き換える処理を
実行する。これらの処理については後段で詳細に説明す
る。

【００３２】画像合成部３におけるカメラ部１から入力
する複数画像についての画像選択処理は、視点位置情報
蓄積部４から画像合成部３に入力される視点位置情報に
基づいて行われる。

【００３３】視点位置情報蓄積部４は、予め素材映像蓄
積部５に格納された素材データ、例えば映画のある特定
の登場人物の顔の向き（方向）、位置情報に対応してユ
ーザの顔２を撮り込む視点位置としてのカメラ位置情報
を時系列のシーケンシャルデータとして格納している。
すなわち視点位置情報蓄積部４は、素材映像蓄積部５の
置き換え対象となる画像オブジェクト（ここでは特定の
登場人物の顔）に一致した方向から貼り付け対象オブジ
ェクトである顔画像の撮り込みを行なうための視点位置
情報としてのカメラの位置情報を時系列シーケンシャル
データとして蓄積している。視点位置情報の取得処理の
詳細については後段で図面を用いて詳細に説明する。

【００３４】素材映像蓄積部５に格納された映画、ドラ
マなどの素材データの画像合成部３に対する出力と、視
点位置情報蓄積部４の視点位置情報の画像合成部３に対
する出力は、同期して実行され、画像合成部３は素材デ
ータの各画像フレームに対応する視点位置情報に基づい
て、各フレーム毎にカメラ部１から入力される複数画像
からの画像選択、合成処理を実行する。

【００３５】隠れマスク情報蓄積部６には、隠れマスク
情報が記録されており、素材映像蓄積部５の蓄積画像出
力に同期して時系列で画像合成部３に送られる。隠れマ
スク情報蓄積部６の格納している隠れマスク情報は、素
材画像中の置き換え処理対象オブジェクトの一部が手前
のオブジェクト、例えば柱、建物などに隠れているよう
な場合の隠れ領域情報である。

【００３６】画像合成部３は、隠れマスク情報に応じ
て、その画素領域についてカメラ部１の撮影画像ではな
く、素材映像蓄積部５から入力する素材映像データを選
択出力することにより、素材映像に対する撮り込み画像
の貼り付けが忠実に実行可能となる。例えば素材映像中
の登場人物の顔に手や柱の画像が手前にかぶさって顔の
一部または全部が隠れている場合に、隠れマスク情報蓄
積部9の格納している隠れマスク情報に基づく合成処理
を実行することにより、合成画像においてもその隠れ部
分が忠実に再現される。

【００３７】画像合成部３では、素材映像と、撮り込み
画像から抽出したユーザの顔の画像とを、隠れマスク情
報を用いて合成した画像を生成する。ただし、他の物体
で顔が隠れてしまうような状態がない場合には、隠れマ
スク情報はなくても合成可能である。生成された画像は
出力部７に送られ、出力される。出力部は、例えばＣＲ
Ｔ、ＬＣＤ等のモニタ装置や、ＣＤ，ＤＶＤ，ビデオな
どの記録装置、あるいはデータ通信のための通信手段等
である。

【００３８】なお、視点位置情報蓄積部４に記録された
視点位置情報、素材映像蓄積部５に記録された素材映
像、および隠れマスク情報蓄積部６に記録された隠れマ
スク情報の読み出しは、時系列で同期して行われる。

【００３９】カメラ部１の構成について図２を参照して
説明する。図２の構成は、ユーザの顔の映像を貼り付け
対象オブジェクトとして撮り込む構成を示したものであ
る。ユーザ２０は固定台２１に貼り付け対象オブジェク
トとなる顔を固定する。固定台２１とカメラ部１の位置
関係は既知である。カメラ部１に属する複数のカメラに
おいて、各カメラの位置関係は既知である。なお、図２
の例では各カメラ間の光軸は平行であるが、このように
各カメラ間の光軸を平行に設定することは必須ではな
く、各カメラの視野内に必ずユーザの顔が入るようにす
ればよい。また、図２ではカメラ部１の各カメラは平面
的に配置されているが、その必要はなく、たとえばユー
ザの横顔もカバーするように、半球のドーム状に配置し
てもよい。

【００４０】すなわち、貼り付け対象オブジェクト（ｅ
ｘ．ユーザの顔）を異なる方向から撮影する構成を達成
するものであればよく、素材画像中の置き換対象オブジ
ェクト（ｅｘ．登場人物の顔）に近い視点方向からの撮
影画像を選択可能な複数画像を撮影可能な構成であれば
よい。

【００４１】固定台２１は、例えば図２に示すように貼
り付け対象オブジェクト（顔）を出す穴のついた青、緑
等の単色に塗られた板を取りつけ、顔画像抽出部で顔の
抽出がしやすい構成とする。あるいは貼り付け対象オブ
ジェクト（ｅｘ．ユーザの顔）以外の部分を青、緑等の
布で覆うという構成としてもよい。

【００４２】カメラ部１を構成する各カメラの撮り込む
画像は、顔の周囲画像も含む画像となるので、図１に示
す画像合成部３では、貼り付け対象として選択した画像
から貼り付け対象となる顔画像のみを抽出する処理を実
行する。この抽出処理は、たとえば青や緑といった単色
の色情報を持つ固定台２１とともに貼り付け対象オブジ
ェクト（ｅｘ．ユーザの顔）をカメラで撮影し、撮影画
像から単色の色情報データを削除して所望の領域として
の貼り付け対象オブジェクト画像を抽出する、すなわち
クロマキー技術を用いることが可能である。

【００４３】なお、素材映像の進行状況やその時のセリ
フ情報をユーザに提示するディスプレイ２５をユーザの
見える位置に配置し、ユーザがディスプレイ２５に表示
された素材映像を見て、貼り付け対象となる登場人物の
表情あるいはセリフに基づいて口を動かすなどを行なう
構成としてもよい。このような処理構成とすることで、
より登場人物に近い表情に従ったユーザの顔を素材映像
に貼り付けることが可能となる。

【００４４】先に説明したように、図１に示す視点位置
情報蓄積部４には、素材映像蓄積部５に蓄積された映画
などの素材映像に基づく視点位置情報が予め蓄積され
る。素材映像中の置き換え対象オブジェクトである特定
のオブジェクト（例えば特定の登場人物の顔）に基づい
てその方向データを求めて、その同一方向からユーザの
顔２を撮りこむカメラの位置を視点位置情報とする。

【００４５】素材映像中の登場人物の顔の領域の特定
は、マニュアル作業で行なうか、自動的に抽出してもよ
い。画像からの特定画像抽出処理方法としては、例えば
H.Rowley, S.Baluja, and T.Kanade, "Neural Network-
Based Face Detection," IEEETransactions on Pattern
Analysis and Machine Intelligence, Vol. 20, No.1,
January, 1998, pp. 23-38. に詳細に記載されてい
る。

【００４６】視点位置情報の求め方を、図３を用いて説
明する。図３は、素材映像の２つのフレームｐ，ｑの画
像（ａ），（ｄ）について、貼り付け対象オブジェクト
（ユーザの顔）の画像撮りこみ処理を行なうためのカメ
ラ位置を設定する視点位置情報の取得処理について説明
する図である。

【００４７】まず、それぞれのフレーム画像（ａ），
（ｄ）の画像中の置き換え対象オブジェクトとしての登
場人物３０の位置と向きから直交座標軸を設定する。こ
こでは首の付け根を原点とし、顔の向きにＺ、頭の上に
向かってＹ、そしてＹ−Ｚ平面に垂直な方向をＸとす
る。なお、画像中の顔の向きの検出処理方法は、例えば
T.Horprasert, Y.Yacoob, and L.Davis, "Computing 3-
D head orientation froma monocular image sequenc
e," Proc. of the second International Conference o
n Automatic Face and Gesture Recognition, pp.242-2
47, 1996に詳細に説明されている。

【００４８】ユーザの顔４０をカメラ５０によって撮り
こむ環境（ｂ），（ｅ）では、座標系はユーザの顔に固
定されており、各Ｘ，Ｙ，Ｚ軸の取り方を、それぞれ対
応するフレーム画像（ａ），（ｄ）に示す各フレームの
素材映像中の登場人物に対応させる位置のカメラ５０を
選択する。すなわち、素材映像のフレームの画像（ａ）
に対するカメラ位置は、（ｂ）のユーザの顔４０をカメ
ラ５０によって撮りこむ環境において、（ａ），（ｂ）
の２つの座標軸をほぼ一致するような位置にあるカメラ
の撮影画像を選択する。

【００４９】この結果（ｃ）に示すように、（ａ）の登
場人物３０の顔と同じ位置・向き・大きさのユーザの顔
４０を撮影するカメラ５０によって撮り込む画像を選択
することができる。なお、（ｃ）は前述のクロマキー技
術を用いて周囲画像を削除し撮り込み画像としてのユー
ザの顔４０のみを抽出した画像である。

【００５０】同様に、素材映像のフレームの画像（ｄ）
に対するカメラ位置は、（ｅ）のユーザの顔４０をカメ
ラ５０によって撮りこむ環境において、（ｄ），（ｅ）
の２つの座標軸を一致するようなカメラ位置として設定
する。この結果（ｆ）に示すように、（ｄ）の登場人物
３０の顔と同じ位置・向き・大きさのユーザの顔４０を
カメラ５０によって撮り込むことができる。

【００５１】なお、図３に示す（ａ），（ｂ），
（ｃ）、および（ｄ），（ｅ），（ｆ）のそれぞれは素
材画像の１フレーム画像についての視点位置情報設定処
理であり、このような視点位置情報設定処理を素材画像
の各フレームにおいて実行し、これらを時系列情報とし
て視点位置情報蓄積部４に格納する。

【００５２】視点位置情報蓄積部４に格納された視点位
置情報は画像合成部３に出力され、画像合成部３は、視
点位置情報に最も近い視点位置から撮影した１つまたは
複数のカメラ部１の画像を貼り付け処理画像として選択
する。複数の画像選択を行なった場合は、選択した複数
の画像からビューインターポレーションにより視点位置
の画像を生成する。視点位置情報に基づく撮影画像の選
択処理は、素材映像蓄積部５から画像合成部３に入力さ
れる各フレーム毎に実行される。この処理により、素材
映像の例えば特定の登場人物の顔と同一の方向からのユ
ーザの顔を時系列的に撮り込むことが可能となる。

【００５３】このように、素材映像における、カメラの
移動やズームなどのカメラワークによる顔の位置や向き
の変化のみならず、置き換え対象オブジェクトである登
場人物の移動、あるいは首をまわしたりすることによる
顔の位置や向きの変化に対しても、貼り付け対象オブジ
ェクトであるユーザの顔を複数方向から撮影する複数の
撮影カメラの画像を選択することで対応でき、貼り付け
対象オブジェクトであるユーザは顔の位置は固定したま
まとすることができる。ユーザは、前述したディスプレ
イ２５（図２参照）を観察しながら顔や声の演技を楽し
むことが、さらにリアルな画像データの合成が可能にな
る。

【００５４】次に、画像合成部３における隠れマスク情
報との合成処理について図４を用いて説明する。隠れマ
スク情報は、前述したように、置き換え対象オブジェク
トの一部が手前のオブジェクト、例えば柱、建物などに
隠れているような場合の遮蔽領域情報である。

【００５５】図４（ａ）に示すように、素材画像のある
フレームで、たとえば柱６０のようなものが置き換え対
象となる登場人物３０の顔を隠す形で存在する場合、画
像合成部３は合成処理の際に、この柱６０を描く、すな
わち出力する必要がある。そこで図４（ｂ）のようなマ
スクを設定する。このマスク領域７０内の画素は、撮り
込み画像抽出部６の出力データではなく、必ず素材映像
蓄積部５の出力する素材映像を選択する処理を実行する
ことで、素材映像と同様にユーザの顔が柱６０に隠れた
画像として出力され、隠れの問題が解決される。なお、
画像合成部３はこのマスク領域７０の周囲にアルファブ
レンディング（ぼかし処理）の効果を入れる処理を実行
することで、より一層自然な合成が可能となる。

【００５６】次に、本発明の画像処理装置における処理
フローを、視点位置情報およびマスク情報生成処理、お
よび合成処理とに分けてそれぞれフローを用いて説明す
る。

【００５７】まず、図５を用いて視点位置情報およびマ
スク情報生成処理の手順について説明する。ステップＳ
１０１では初期値としてフレームナンバを示すｉ（ｉ＝
１〜ｎ、ｎは素材映像のフレーム数）について、ｉ＝１
の設定処理を実行する。

【００５８】次に、ステップＳ１０２において、素材映
像のｉフレームの画像を取得し、ステップＳ１０３にお
いて、素材映像のｉフレーム画像から置き換え対象オブ
ジェクト画像（ｅｘ．特定の登場人物の顔）を選択し、
顔の位置と向き情報を抽出する。次に、これらの情報に
基づいてステップＳ１０４において、貼り付け対象オブ
ジェクト（ｅｘ．顔）の撮影方向、位置情報としての視
点位置情報を生成する。この処理は、先に図３を用いて
説明した処理である。この視点位置情報が視点位置情報
蓄積部４に格納される。

【００５９】さらに、ステップＳ１０５において、隠れ
マスク情報の生成処理がなされる。これは、先に図４を
用いて説明した処理であり、素材映像のフレームｉにつ
いて、置き換え対象となる登場人物の顔を隠す形で存在
する領域を抽出し、これらの領域をマスク領域として設
定（図４（ｂ）参照）する処理であり、素材映像の各フ
レームに対応させて、マスク情報が生成されて隠れマス
ク情報蓄積部６に格納される。

【００６０】次に、ステップＳ１０６において、すべて
のフレームに対する処理が終了したか否かを判定し、未
処理フレームがある場合は、ステップＳ１０７において
フレームナンバｉのインクリメント処理を実行し、ステ
ップＳ１０２以下の処理をフレームｉ＋１について実行
する。

【００６１】すべてのフレームについての視点位置情
報、隠れマスク情報の生成が終了すると、ステップＳ１
０８において、各フレームがスムーズなつながりを持つ
ように、画像のパラメータの調整が実行される。これ
は、画像を動画として見たときに不連続や振動が生じな
いようにパラメータを調整する処理である。なお、この
処理は最後に一括して行なうか、あるいは、各フレーム
についての情報を生成するたびに過去の生成済みフレー
ム情報との連続性を考慮して調整するフレーム単位処理
としてもよい。

【００６２】次に、図６を用いて合成処理の手順につい
て説明する。まず、ステップＳ２０１において、図１に
おけるカメラ部１の撮影する貼り付け対象オブジェクト
（ｅｘ．ユーザの顔）の画像を取得する。

【００６３】次にステップＳ２０２では、画像合成部３
が撮り込み画像と、素材映像との合成処理を実行する。
この合成処理については、図７を用いて後段でさらに詳
細に説明する。画像合成部３において合成された画像は
ステップＳ２０３において出力部（ｅｘ．表示モニタ、
データ蓄積手段、通信手段）に出力する。ステップＳ２
０４では、素材映像が終了したか否かを判定し、終了し
ていない場合は、ステップＳ２０１以下の処理を繰り返
し実行する。

【００６４】画像合成部３における画像合成処理の詳細
について、図７の処理フローに従って説明する。まずス
テップＳ３０１において、画像合成部３は、カメラ部１
から得た異なる方向から貼り付け対象オブジェクト（ｅ
ｘ．ユーザの顔）を撮影した複数の画像のうち、視点位
置情報にある視点位置の周辺のカメラの画像を１以上選
択する。この画像選択処理は、視点位置情報蓄積部４か
ら時系列に画像合成部に入力される視点位置情報に従っ
て行なわれるものであり、視点位置情報にもっとも近い
視点位置からの1以上の撮影画像が選択される。

【００６５】次に、ステップＳ３０２において、選択さ
れた画像中の貼り付け対象オブジェクト（ｅｘ．顔）領
域の抽出処理を実行する。この処理は、前述したよう
に、撮影画像から単色の色情報データを削除して所望の
領域としての貼り付け対象オブジェクト画像を抽出する
クロマキー技術を用いることが可能である。

【００６６】次に、ステップＳ３０３において、カメラ
部１から入力されステップＳ３０１で選択された選択画
像すなわち視点周辺の画像と、視点位置情報を用い、ビ
ューインターポレーションを行って、視点位置で見える
べきユーザの顔の画像を生成する。ビューインターポレ
ーションについて図８を用いて説明する。

【００６７】ビューインターポレーション（View Inter
polation; View Morphingとも呼ばれる)とは、複数のカ
メラからの画像から、実際にはカメラのない視点から見
えるべき画像を生成する技術である。例えば図８のよう
に、カメラＡからの画像ＡとカメラＢからの画像Ｂを用
いて、その間に位置する仮想的なカメラＣで撮影される
べき画像Ｃを生成することである。この画像Ｃは、実際
にカメラＣがあったとして得られる画像と寸分違わぬ画
像である必要はなく、人の目に違和感なく自然に見えれ
ばよい。このビューインターポレーションを実現するた
めの技術はいくつかあるが、たとえば S. M. Seitz and
C. R. Dyer, "View Morphing," Proc. SIGGRAPH 96, A
CM, 1996pp.21-30. が利用できる。ただし、この手法は
仮想視点がカメラの投影中心を結んだ直線上しか移動で
きないので、たとえば仮想視点がカメラより前方に移動
する（被写体に近づく）ことを実現するには、たとえば
S.J. Gortler, R. Grzeszczuk, R. Szeliski, and M.F.
Cohen, "The Lumigraph", Proc. of SIGGRAPH '96, AC
M, 1996, pp. 43-54. にある手法が利用できる。

【００６８】なお、視点位置情報蓄積部４から提供され
る視点位置情報が、カメラ部１の１つのカメラ位置に一
致し、カメラ部１からの複数画像中の1つのみが選択さ
れた場合は上述のビューインターポレーション処理は省
略可能である。

【００６９】次に、ステップＳ３０４において、画像合
成部３が撮り込み画像と、素材映像との合成処理を実行
する。この合成処理において、素材映像の置き換え対象
オブジェクト（ｅｘ．登場人物の顔）と、貼り付け対象
オブジェクト、例えば撮影画像から抽出されたユーザの
顔は、視点位置情報に基づく画像選択およびビューイン
ターポレーションにより視点方向、位置、大きさが一致
した画像となるので、貼り付け対象オブジェクトである
ユーザの顔領域を素材画像の置き換え対象オブジェクト
の画像領域に上書きするのみの処理となる。なお、前述
したように貼り付け処理を行なった顔領域の周囲にアル
ファブレンディングの効果を入れることで、より一層自
然な合成が可能となる。また、画像合成部３は、隠れマ
スク情報蓄積部７から出力される隠れマスク情報がある
場合には、マスク領域部分は素材画像の出力データを選
択する。

【００７０】なお、例えば、貼り付け対象オブジェクト
の色、明るさなどが撮影方向によって変化している場合
など、これらのパラメータを各フレーム間で一致させた
り、あるいは各フレームの画像に合わせる処理などのパ
ラメータ調整処理を画像合成部３がオプショナルステッ
プとしてのステップＳ３０４’において実行してもよ
い。ステップＳ３０４’の処理は、オプション処理であ
り、必ずしも必要とはならない。このパラメータ調整処
理は、ある条件設定の下に自動的に実行することが可能
である。例えば貼り付け対象オブジェクトの輝度値が撮
影方向の差異により、前フレームと一定の閾値以上異な
っている場合に、貼り付け対象オブジェクトの輝度値を
変更したり、あるいは素材画像の平均輝度値と、貼り付
け対象オブジェクトの輝度値とが一定の閾値以上異なっ
ている場合に、貼り付け対象オブジェクトの輝度値を変
更するなどの処理を自動的に実行する。また、素材映像
の登場人物の顔の領域とユーザの顔の領域とでは輪郭が
異なり、ユーザの領域に入りきらないと、上書きしたと
きに素材映像の登場人物の顔が残ってしまうので、素材
映像の登場人物の顔領域（特にその周辺部）に、背景
（あるいは肌）を生成して置き換える処理を実行するこ
とが望ましい。

【００７１】このようにして合成された画像をステップ
Ｓ３０５において出力部（ｅｘ．表示モニタ、データ蓄
積手段、通信手段）に出力する。

【００７２】なお、より見た目に正しい合成を行うため
に、最初にユーザが固定台に顔を固定したときに、固定
台の位置のずれの補正や、顔の大きさや皮膚の色といっ
たユーザの固体差を校正する処理をステップＳ３０１の
処理以前に行ってもよい。

【００７３】このように、本発明の画像処理装置によれ
ば、素材映像蓄積部に蓄積された画像に含まれる置き換
え対象オブジェクト（ｅｘ．特定の登場人物の顔）を、
カメラで撮影した貼り付け対象オブジェクト（ｅｘ．ユ
ーザの顔）に変更して出力する画像合成処理を蓄積画像
の再生に同期した処理として迅速かつ容易に実行するこ
とが可能となる。

【００７４】ユーザは図２に示す固定台に顔を固定する
のみで、移動させたり方向を変えたりといった動作を行
なうことなく、素材映像の置き換え対象オブジェクトに
併せた画像をカメラの移動により取得して貼り付けるこ
とが可能となる。

【００７５】［実施例２］図９は、本発明の第２の実施
の形態に係わるインタラクティブ型の画像処理装置のブ
ロック図である。図１０は図９の画像処理装置における
カメラ部１と照明部１２の具体的構成例を示す図であ
る。図９および図１０を用いて本発明の画像処理装置の
第２実施例概要について説明する。

【００７６】照明位置情報蓄積部１０には照明位置情報
が格納される。照明位置情報は、予め素材映像蓄積部５
に格納された素材データ中の置き換え対象オブジェク
ト、例えば映画のある特定の登場人物の顔の輝度情報に
対応した輝度分布を持つユーザの顔２を撮り込むための
照明１２の位置情報を時系列のシーケンシャルデータと
して格納している。すなわち素材映像蓄積部５の置き換
え対象となる画像オブジェクト（ここでは特定の登場人
物の顔）の輝度分布に対応する輝度分布を持つ貼り付け
対象オブジェクトの顔画像の撮り込みを行なうための照
明１２の位置情報をシーケンシャルデータとして蓄積し
ている。

【００７７】照明位置情報蓄積部１０に格納された照明
位置情報は、照明制御部１１に送られる。照明位置情報
は、素材データ中の置き換え対象オブジェクト、例えば
映画のある特定の登場人物の顔の輝度情報に対応した輝
度分布を持つユーザの顔２を撮り込むための照明１２の
位置情報として生成されたデータとしたとえば照明部１
２の点灯すべき照明の位置について、素材画像の各フレ
ームに対応した時系列情報である。照明制御部１１では
照明位置情報に沿って照明部１２の照明を明滅させる。
照明部１２の照明は、ユーザの顔２に照明をあてる。

【００７８】視点位置情報蓄積部４は、予め素材映像蓄
積部５に格納された素材データ、例えば映画のある特定
の登場人物の顔の向き（方向）、位置情報に対応してユ
ーザの顔２を撮り込むための視点位置情報を時系列のシ
ーケンシャルデータとして格納している。すなわち素材
映像蓄積部５の置き換え対象となる画像オブジェクト
（ここでは特定の登場人物の顔）に一致した方向から貼
り付け対象オブジェクトである顔画像の撮り込みを行な
うための視点位置情報をシーケンシャルデータとして蓄
積している。

【００７９】素材映像蓄積部５に格納された映画、ドラ
マなどの素材データの画像合成部３に対する出力と、視
点位置情報蓄積部４の視点位置情報の画像合成部３に対
する出力、さらに、照明位置情報蓄積部１０に格納され
た照明位置情報の照明制御部１１に対する出力は同期し
て実行され、画像合成部３は素材データの各画像フレー
ムに対応する視点位置情報に基づいて、各フレーム毎に
カメラ部１から入力される複数画像からの画像選択処理
を実行する。

【００８０】素材映像蓄積部５には、映画やドラマのシ
ーンの映像（以下、素材映像と呼ぶ）が蓄積されてお
り、蓄積画像は時系列で画像合成部３に送られる。隠れ
マスク情報蓄積部６には、隠れマスク情報が記録されて
おり、素材映像蓄積部５の蓄積画像出力に同期して時系
列で画像合成部３に送られる。画像合成部３における合
成処理、隠れマスク情報についての処理については実施
例１と同様であるので説明を省略する。画像合成部３に
おいて生成された画像は出力部７に送られ、出力され
る。出力部は、例えばＣＲＴ、ＬＣＤ等のモニタ装置
や、ＣＤ，ＤＶＤ，ビデオなどの記録装置、あるいはデ
ータ通信のための通信手段等である。

【００８１】なお、視点位置情報蓄積部４に記録された
視点位置情報、照明位置情報蓄積部１０に蓄積された照
明位置情報、素材映像蓄積部５に記録された素材映像、
および隠れマスク情報蓄積部６に記録された隠れマスク
情報の読み出しは、時系列で同期して行われる。

【００８２】カメラ部１と照明部１２の構成について図
１０を参照して説明する。図１０の構成は、ユーザの顔
の映像を、貼り付け対象オブジェクトとして撮り込む構
成を示したものである。ユーザ２０は固定台２１に貼り
付け対象オブジェクトとなる顔を固定する。固定台２１
とカメラ部１の位置関係は既知である。カメラ部１に属
する複数のカメラにおいて、各カメラの位置関係は既知
である。なお、図１０の例では各カメラ間の光軸は平行
であるが、このように各カメラ間の光軸を平行に設定す
ることは必須ではなく、各カメラの視野内に必ずユーザ
の顔が入るようにすればよい。また、図１０ではカメラ
部１の各カメラは平面的に配置されているが、その必要
はなく、たとえばユーザの横顔もカバーするように、半
球のドーム状に配置してもよい。

【００８３】すなわち、貼り付け対象オブジェクト（ｅ
ｘ．ユーザの顔）を異なる方向から撮影する構成を達成
するものであればよく、素材画像中の置き換対象オブジ
ェクト（ｅｘ．登場人物の顔）にもっとも近い視点方向
からの撮影画像を選択可能な複数画像を撮影可能な構成
であればよい。

【００８４】照明部１２に属する照明は、カメラ部１の
カメラの視野に入らず、しかもユーザの顔を照らすこと
ができる位置に多数配置する。照明部１２に属する照明
の位置関係は既知であり、前述の照明位置情報にしたが
って明滅し、貼り付け対象オブジェクト（ｅｘ．ユーザ
の顔）に照明をあてる。

【００８５】固定台２１は、例えば図１０に示すように
貼り付け対象オブジェクト（顔）を出す穴のついた青、
緑等の単色に塗られた板を取りつけ、顔画像抽出部で顔
の抽出がしやすい構成とする。あるいは貼り付け対象オ
ブジェクト（ｅｘ．ユーザの顔）以外の部分を青、緑等
の布で覆うという構成としてもよい。

【００８６】カメラ部１の各カメラの撮り込む画像は、
顔の周囲画像も含む画像となるので、図８に示す画像合
成部３が貼り付け対象となる顔画像のみを抽出する処理
を実行する。たとえば青や緑といった単色の色情報を持
つ固定台２１とともに貼り付け対象オブジェクト（ｅ
ｘ．ユーザの顔）をカメラ部の複数カメラで撮影し、撮
影画像から単色の色情報データを削除して所望の領域と
しての貼り付け対象オブジェクト画像を抽出する、すな
わちクロマキー技術を用いることが可能である。

【００８７】なお、素材映像の進行状況やその時のセリ
フ情報をユーザに提示するディスプレイ２５をユーザの
見える位置に配置し、ユーザがディスプレイ２５に表示
された素材映像を見て、貼り付け対象となる登場人物の
表情あるいはセリフに基づいて口を動かすなどを行なう
構成としてもよい。このような処理構成とすることで、
より登場人物に近い表情に従ったユーザの顔を素材映像
に貼り付けることが可能となる。

【００８８】本実施例は、照明を制御することで、合成
された画像を第１の実施例より自然で質の高いものにす
ることが可能となる。照明位置情報は、素材映像の各フ
レームにおいて、画像を解析して光源の位置を推定して
作成される。したがって、光源の数を増やせば、より質
の高い合成が可能となる。

【００８９】［実施例３］次に、本発明の画像処理装置
の実施例３として、映画やドラマのシーンの素材映像で
はなく、３ＤＣＧ（コンピュータグラフィクス）のキャ
ラクタの映像を素材映像とし、その３ＤＣＧのオブジェ
クトを置き換え対象オブジェクトとした構成を持つシス
テムについて説明する。例えば、３ＤＣＧ（コンピュー
タグラフィクス）のキャラクタの顔を置き換え対象オブ
ジェクトとし、ユーザの顔を貼り付け対象オブジェクト
として、キャラクタにユーザが成り代わってインタラク
ティブに入り込んだ映像を生成するシステムである。

【００９０】図１１に３ＤＣＧ（コンピュータグラフィ
クス）のキャラクタの映像を素材映像とし、その顔にユ
ーザが成り代わってインタラクティブに入り込んだ映像
を生成する画像処理装置のブロック図を示す。

【００９１】３ＤＣＧモデル蓄積部３１は、ＣＧのキャ
ラクタの三次元モデルと、その動き情報が時系列で記録
された記憶部である。仮想カメラ情報蓄積部３２は、３
ＤＣＧのオブジェクトに対する視点に対応させてカメラ
を設定したと想定した仮想カメラに関する情報を蓄積す
る。すなわち、画像レンダリングの際に利用する仮想カ
メラのパラメータとしての、焦点距離、画像サイズ、３
ＤＣＧモデルに対する仮想カメラの位置情報等が時系列
データとして記憶される。

【００９２】素材映像生成部３３では、３ＤＣＧモデル
蓄積部３１に格納された３ＤＣＧモデルの情報と仮想カ
メラ情報蓄積部３２に格納された仮想カメラ情報とか
ら、レンダリングを行い、素材映像を生成する。

【００９３】視点位置情報生成部３４では、素材映像生
成部３３において３ＤＣＧモデルの情報から得られる顔
の向き情報と、仮想カメラ情報に基づくレンダリング処
理の結果、生成された素材映像内の置き換え対象オブジ
ェクト（ｅｘ．キャラクタの顔）の向き、位置情報を求
め、これらの情報に対応して、貼り付け対象オブジェク
ト（ｅｘ．ユーザの顔２）を撮り込むための視点位置情
報を時系列のシーケンシャルデータとして生成する。す
なわち素材映像生成部３３の置き換え対象となる画像オ
ブジェクト（ここでは特定の３ＤＣＧキャラクタの顔）
に一致した方向から貼り付け対象オブジェクトである顔
画像の撮り込みを行なうための視点位置情報としてのカ
メラの位置情報をシーケンシャルデータとして生成蓄積
する。なお、この際、実際のカメラ４のパラメータ（焦
点距離やレンズによる歪曲収差等）を加味して、視点位
置情報を生成する。

【００９４】すなわち、本実施例における画像合成部３
は、素材映像生成部３３の生成する素材映像に含まれる
置き換え対象オブジェクトの仮想撮影視点情報に基づい
て生成される視点位置情報に従ってカメラ部１の複数カ
メラの撮影画像から1以上の画像を選択、さらに必要で
あればビューインターポーレーション処理を実行して貼
り付け対象オブジェクトの画像として豪勢処理を実行す
る。

【００９５】隠れマスク情報生成部３５では、３ＤＣＧ
モデルの情報と仮想カメラ情報から隠れマスク情報が生
成される。隠れマスク情報の意味は、前述の実施例１で
説明したシステムと同様である。これ以降の処理構成は
実施例１と同じ処理となる。

【００９６】なお、本システムにおいては、レンダリン
グの際に、３ＤＣＧデータからなる背景や他の物体との
合成処理が可能である。また、素材映像生成の際に任意
の方向からの光源設定処理も可能となる。このようなレ
ンダリング処理において生成した光源情報に基づいて、
先に説明した実施例２と同様、貼り付け対象オブジェク
ト（ｅｘ．ユーザの顔）に対して照射する照明を選択す
る構成とすることも可能である。

【００９７】また、３ＤＣＧモデルの動き情報や仮想カ
メラの位置情報等は、蓄積された情報を使うのではなく
て、例えばユーザの動き情報を取得してユーザと同様の
動作を３ＤＣＧのキャラクタの動作として反映させる処
理構成としてインタラクティブな３ＤＣＧ合成画像を生
成する構成としてもよい。

【００９８】なお、上述した実施例において、貼り付け
対象オブジェクト（ｅｘ．ユーザの顔）の映像を取り込
む環境において、貼り付け対象オブジェクト（ｅｘ．ユ
ーザの顔）を固定する構成を説明した。しかし、たとえ
ばジャイロなどのセンサを貼り付け対象オブジェクト
（ｅｘ．ユーザの顔）につけるなどして、ユーザの顔の
位置と向きをリアルタイムに計測する構成とし、その情
報を照明位置情報、視点位置情報、および顔位置情報に
付加することで、貼り付け対象オブジェクト（ｅｘ．ユ
ーザの顔）を固定しないで貼り付け対象オブジェクト
（ｅｘ．ユーザの顔）の撮り込み画像を取得して合成す
ることも可能である。

【００９９】なお、上述の各実施例で述べた一連の処理
は、ハードウェアにより行うことは勿論、ソフトウェア
により行うこともできる。即ち、汎用のコンピュータ
や、マイクロコンピュータにプログラムを実行させるこ
とにより行う構成とすることが可能である。一連の処理
をソフトウェアによって行う場合には、そのソフトウェ
アを構成するプログラムが、例えば汎用のコンピュータ
や１チップのマイクロコンピュータ等にインストールさ
れる。図１３は、上述した一連の処理を実行するプログ
ラムがインストールされるコンピュータの一実施の形態
の構成例を示している。

【０１００】プログラムは、コンピュータに内蔵されて
いる記録媒体としてのハードディスク２０５やＲＯＭ２
０３に予め記録しておくことができる。あるいは、プロ
グラムはフロッピー（登録商標）ディスク、ＣＤ−ＲＯ
Ｍ(Compact Disc Read Only Memory)，ＭＯ(Magneto op
tical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁
気ディスク、半導体メモリなどのリムーバブル記録媒体
２１０に、一時的あるいは永続的に格納（記録）してお
くことができる。このようなリムーバブル記録媒体２１
０は、いわゆるパッケージソフトウエアとして提供する
ことができる。

【０１０１】なお、プログラムは、上述したようなリム
ーバブル記録媒体２１０からコンピュータにインストー
ルする他、ダウンロードサイトから、ディジタル衛星放
送用の人工衛星を介して、コンピュータに無線で転送し
たり、ＬＡＮ(Local Area Network)、インターネットと
いったネットワークを介して、コンピュータに有線で転
送し、コンピュータでは、そのようにして転送されてく
るプログラムを、通信部２０８で受信し、内蔵するハー
ドディスク２０５にインストールすることができる。

【０１０２】コンピュータは、ＣＰＵ(Central Process
ing Unit)２０２を内蔵している。ＣＰＵ２０２には、
バス２０１を介して、入出力インタフェース２１１が接
続されており、ＣＰＵ２０２は、入出力インタフェース
２１０を介して、キーボードやマウス等を介して入力部
２０７が操作されることにより指令が入力されると、そ
れにしたがって、ＲＯＭ(Read Only Memory)２０３に格
納されているプログラムを実行する。上述の実施例にお
ける貼り付け対象オブジェクトの画像は、カメラ２１２
を介して入力され、ＣＰＵ２０２の制御の下、例えばリ
ムーバブル記録媒体２１０に格納された素材映像、３Ｄ
ＣＧデータ等のデータとの合成処理が実行される。図に
はリムーバブル記録媒体２１０として１つの構成のみを
示しているが、様々なデータ、例えばカメラ位置情報、
照明位置情報、素材映像、隠れマスク情報等をそれぞれ
個別の記憶媒体に格納して接続する構成としてもよい。
また、これらのデータのいくつかはハードディスク２０
５に格納する構成としてもよい。

【０１０３】ＣＰＵ２０２は、ＲＯＭ格納プログラムに
限らず、ハードディスク２０５に格納されているプログ
ラム、衛星若しくはネットワークから転送され、通信部
２０８で受信されてハードディスク２０５にインストー
ルされたプログラム、またはドライブ２０９に装着され
たリムーバブル記録媒体２１０から読み出されてハード
ディスク２０５にインストールされたプログラムを、Ｒ
ＡＭ(Random Access Memory)２０４にロードして実行す
ることも可能である。

【０１０４】これにより、ＣＰＵ２０２は、上述した各
実施例にしたがった処理、あるいは上述したブロック
図、フローチャートに従って行われる処理を行う。そし
て、ＣＰＵ２０２は、その処理結果を、必要に応じて、
例えば、入出力インタフェース２１１を介して、ＬＣＤ
(Liquid CryStal Display)やスピーカ等で構成される出
力部２０６から出力、あるいは、通信部２０８から送
信、さらには、ハードディスク２０５に記録させる。

【０１０５】ここで、本明細書において、コンピュータ
に各種の処理を行わせるためのプログラムを記述する処
理ステップは、必ずしもフローチャートとして記載され
た順序に沿って時系列に処理する必要はなく、並列的あ
るいは個別に実行される処理（例えば、並列処理あるい
はオブジェクトによる処理）も含むものである。

【０１０６】また、プログラムは、１のコンピュータに
より処理されるものであっても良いし、複数のコンピュ
ータによって分散処理されるものであっても良い。さら
に、プログラムは、遠方のコンピュータに転送されて実
行されるものであっても良い。

【０１０７】以上、特定の実施例を参照しながら、本発
明について詳解してきた。しかしながら、本発明の要旨
を逸脱しない範囲で当業者が該実施例の修正や代用を成
し得ることは自明である。すなわち、例示という形態で
本発明を開示してきたのであり、限定的に解釈されるべ
きではない。本発明の要旨を判断するためには、冒頭に
記載した特許請求の範囲の欄を参酌すべきである。例え
ば、実施例においては、人の顔を素材映像中の登場人物
の顔と入れ替えるシステムを提供しているが、人の顔に
限らず、素材映像中のあらゆる物体を別の物体と入れ替
えることがインタラクティブに行える。

【０１０８】

【発明の効果】以上、説明したように、本発明の画像処
理装置、および画像処理方法、並びにプログラム記憶媒
体によれば、映画、ドラマなどの素材映像、あるいは３
ＤＣＧに基づいて生成される画像データ内の特定の置き
換え対象オブジェクト（ｅｘ．特定の登場人物の顔）に
カメラで撮影した貼り付け対象オブジェクト（ｅｘ．ユ
ーザの顔）を合成して貼り付ける処理が、貼り付け対象
オブジェクト（ｅｘ．ユーザの顔）に様々な動きを強い
ることなく、複数視点から撮影した画像の視点位置情報
に基づく選択処理によって実現される。

【０１０９】また、本発明の画像処理装置、および画像
処理方法、並びにプログラム記憶媒体によれば、貼り付
け対象オブジェクト（ｅｘ．ユーザの顔）の三次元形状
を取得する必要がなく、カメラ映像からの顔の画像をそ
のまま利用できるので、置き換え対象オブジェクト（ｅ
ｘ．特定の登場人物の顔）の動きや声を解析したり、表
情を合成したりする必要がなく、自然な合成画像の生成
が容易に実現できる。また、画像合成処理に必要な情報
としての視点位置情報等はあらかじめ求めておけばよ
く、運用時は極めて少ないの計算量となり、リアルタイ
ムのインタラクティブなシステムとして有効である。

【０１１０】また、本発明の画像処理装置、および画像
処理方法、並びにプログラム記憶媒体によれば、貼り付
け対象オブジェクト（ｅｘ．ユーザの顔）をカメラを移
動させることなく、様々な角度から撮り込むことが可能
となり、自然な合成画像の生成を低コストの装置で実現
できる。

【図面の簡単な説明】

【図１】本発明の画像処理装置の第1実施例の構成を示
すブロック図である。

【図２】本発明の画像処理装置の第1実施例の画像撮り
込み部の構成例を示す図である。

【図３】本発明の画像処理装置における視点位置情報の
取得処理を説明する図である。

【図４】本発明の画像処理装置における隠れマスク情報
の取得処理を説明する図である。

【図５】本発明の画像処理装置における視点位置情報、
隠れマスク情報の取得処理を説明するフロー図である。

【図６】本発明の画像処理装置における画像合成処理を
説明するフロー図である。

【図７】本発明の画像処理装置における画像合成処理の
詳細を説明するフロー図である。

【図８】本発明の画像処理装置においてて着ようか能な
ビューインターポレーションについて説明する図であ
る。

【図９】本発明の画像処理装置の第２実施例の構成を示
すブロック図である。

【図１０】本発明の画像処理装置の第２実施例の画像撮
り込み部の構成例を示す図である。

【図１１】本発明の画像処理装置の第３実施例の構成を
示すブロック図である。

【図１２】本発明の画像処理装置における処理をソフト
ウェアによって実行する場合の処理手段構成を示したブ
ロック図である。

【符号の説明】

１ カメラ部 ２ 貼り付け対象オブジェクト（ユーザの顔） ３ 画像合成部 ４ 視点位置情報蓄積部 ５ 素材映像蓄積部 ６ 隠れマスク情報蓄積部 ７ 出力部 ２０ ユーザ ２１ 固定台 ２５ デイスプレイ ３０ 登場人物 ４０ ユーザの顔 ５０ カメラ ６０ 柱 ７０ マスク領域 １０ 照明位置情報蓄積部 １１ 照明制御部 １２ 照明部 ３１ ３ＤＣＧモデル蓄積部 ３２ 仮想カメラ情報蓄積部 ３３ 素材映像生成部 ３４ 視点位置情報生成部 ３５ 隠れマスク情報生成部 ２０１ バス ２０２ ＣＰＵ ２０３ ＲＯＭ ２０４ ＲＡＭ ２０５ ハードディスク ２０６ 出力部 ２０７ 入力部 ２０８ 通信部 ２０９ ドライブ ２１０ リムーバブル記録媒体 ２１１ 入出力インタフェース ２１２ カメラ

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B050 BA08 BA12 DA02 EA03 EA19 FA02 5B057 BA02 CA08 CA12 CA16 CB08 CB12 CB16 CE08 DA08 DA16 DB02 DB09 5C023 AA06 AA10 AA16 AA37 BA02 BA11 CA01 5C061 AA20 AB04 AB08

Claims (15)

【特許請求の範囲】
1. 【請求項１】素材画像データ内の特定オブジェクトを置
   き換え対象オブジェクトとし、該置き換え対象オブジェ
   クトの画像を、カメラで撮影した貼り付け対象オブジェ
   クトの画像データに置き換える処理を実行する画像処理
   装置であり、 貼り付け対象オブジェクトの画像を複数の視点位置から
   撮り込む複数のカメラを配列した撮像手段と、 前記素材画像データ内の置き換え対象オブジェクトの視
   点位置情報に基づいて、前記撮像手段から取得される異
   なる視点位置からの複数の撮影画像から、前記視点位置
   情報に近似する視点位置画像を選択し、該選択画像に基
   づいて貼り付け対象オブジェクトの画像を生成し、前記
   素材画像データ内の置き換え対象オブジェクトの画像を
   前記貼り付け対象オブジェクトの画像に変更する画像合
   成処理を実行する画像合成手段と、 を有することを特徴とする画像処理装置。
2. 【請求項２】前記画像処理装置は、 前記置き換え対象オブジェクトを含む素材画像データを
   格納した素材映像蓄積手段と、 前記置き換え対象オブジェクトの視点位置情報を蓄積し
   た視点位置情報蓄積手段を有し、 視点位置情報蓄積手段に格納される視点位置情報は、前
   記素材映像蓄積手段に格納された素材画像データの各フ
   レームに対応する時系列データとして構成され、 前記視点位置情報蓄積手段に記録された視点位置情報の
   前記画像合成手段に対する出力、および、前記素材映像
   蓄積手段に記録された素材映像の前記画像合成手段に対
   する出力、および前記撮像手段からの撮影画像の前記画
   像合成手段に対する出力を同期させた処理として実行
   し、 前記画像合成手段は、前記素材映像蓄積手段から入力す
   る素材映像と、前記視点位置情報蓄積手段から入力する
   視点位置情報と、前記撮像手段から入力される貼り付け
   対象オブジェクトの複数画像を並列に入力し、該入力デ
   ータに基づいて、前記素材画像中の置き換え対象オブジ
   ェクトの画像を前記貼り付け対象オブジェクトの画像に
   変更する処理を実行する構成であることを特徴とする請
   求項１に記載の画像処理装置。
3. 【請求項３】前記画像合成手段は、 選択された前記視点位置情報に近似する視点位置画像が
   複数である際に、該選択画像に基づくビューインターポ
   レーション処理を実行して貼り付け対象オブジェクトの
   画像を生成する処理を実行する構成であることを特徴と
   する請求項１または２に記載の画像処理装置。
4. 【請求項４】前記画像合成手段は、さらに、 前記撮像手段の撮影した画像から貼り付け対象オブジェ
   クトの画像のみを抽出する撮り込み画像抽出処理を実行
   する構成であることを特徴とする請求項１または２に記
   載の画像処理装置。
5. 【請求項５】前記画像処理装置は、さらに、 素材画像データ内の前記置き換え対象オブジェクトの遮
   蔽領域情報としての隠れマスク情報を格納した隠れマス
   ク情報蓄積手段を有し、 前記画像合成手段は、該隠れマスク情報蓄積手段からの
   隠れマスク情報を入力し、マスク領域については、前記
   撮像手段からの貼り付け対象オブジェクトの画像データ
   ではなく、前記素材画像データのデータを出力データと
   して選択する合成処理を実行することを特徴とする請求
   項１または２に記載の画像処理装置。
6. 【請求項６】前記画像処理装置は、さらに、 素材画像データ内の前記置き換え対象オブジェクトの輝
   度情報に基づいて生成される照明位置情報を格納した照
   明位置情報蓄積手段と、 貼り付け対象オブジェクトを異なる方向から照射する複
   数の照明を配列した照明手段と、 前記照明手段の各照明を前記照明位置情報に従って明滅
   させる照明制御手段と、 を有する構成であることを特徴とする請求項１または２
   に記載の画像処理装置。
7. 【請求項７】前記画像処理装置は、さらに、 ３次元モデルデータを格納した３次元モデル蓄積手段
   と、 前記３次元モデル蓄積手段に格納した３次元モデルデー
   タに含まれる置き換え対象オブジェクトの仮想撮影視点
   情報を格納した仮想カメラ情報蓄積手段と、 前記３次元モデルデータと、前記仮想撮影視点情報に基
   づいて素材映像データを生成する素材映像生成手段とを
   有し、 前記画像合成手段は、 前記素材映像生成手段の生成する素材映像に含まれる置
   き換え対象オブジェクトの仮想撮影視点情報に基づいて
   生成される視点位置情報に従って、前記撮像手段から入
   力される画像中から、該視点位置情報に近似する視点位
   置画像を選択し、該選択画像に基づいて貼り付け対象オ
   ブジェクトの画像を生成し、前記素材画像データ内の置
   き換え対象オブジェクトの画像を前記貼り付け対象オブ
   ジェクトの画像に変更する画像合成処理を実行する構成
   であることを特徴とする請求項１または２に記載の画像
   処理装置。
8. 【請求項８】素材画像データ内の特定オブジェクトを置
   き換え対象オブジェクトとし、該置き換え対象オブジェ
   クトの画像を、カメラで撮影した貼り付け対象オブジェ
   クトの画像データに置き換える処理を実行する画像処理
   方法であり、 貼り付け対象オブジェクトの画像を複数の視点位置から
   撮り込む複数のカメラを配列した撮像手段により複数画
   像を撮り込む画像撮り込みステップと、 画像合成手段において、前記素材画像データ内の置き換
   え対象オブジェクトの視点位置情報に基づいて、前記撮
   像手段から取得される異なる視点位置からの複数の撮影
   画像から、前記視点位置情報に近似する視点位置画像を
   選択し、該選択画像に基づいて貼り付け対象オブジェク
   トの画像を生成し、前記素材画像データ内の置き換え対
   象オブジェクトの画像を前記貼り付け対象オブジェクト
   の画像に変更する画像合成処理を実行する画像合成ステ
   ップと、 を有することを特徴とする画像処理方法。
9. 【請求項９】前記画像処理方法は、さらに、 素材映像蓄積手段に格納された素材画像データの各フレ
   ームに対応する時系列データとして置き換え対象オブジ
   ェクトの視点位置情報を生成し、視点位置情報蓄積手段
   に蓄積する視点位置情報蓄積ステップと、 前記視点位置情報蓄積手段に記録された視点位置情報の
   前記画像合成手段に対する出力、および、前記素材映像
   蓄積手段に記録された素材映像の前記画像合成手段に対
   する出力、および前記撮像手段からの撮影画像の前記画
   像合成手段に対する出力を同期させた処理として実行す
   るステップとを有し、 前記画像合成ステップは、 前記素材映像蓄積手段から入力する素材映像と、前記視
   点位置情報蓄積手段から入力する視点位置情報と、前記
   撮像手段から入力される貼り付け対象オブジェクトの複
   数画像を並列に入力し、該入力データに基づいて、前記
   素材画像中の置き換え対象オブジェクトの画像を前記貼
   り付け対象オブジェクトの画像に変更する処理を実行す
   ることを特徴とする請求項８に記載の画像処理方法。
10. 【請求項１０】前記画像合成ステップは、 選択された前記視点位置情報に近似する視点位置画像が
    複数である際に、該選択画像に基づくビューインターポ
    レーション処理を実行して貼り付け対象オブジェクトの
    画像を生成する処理を実行することを特徴とする請求項
    ８または９に記載の画像処理方法。
11. 【請求項１１】前記画像処理方法は、さらに、 前記画像撮り込みステップにおいて撮影した画像から貼
    り付け対象オブジェクトの画像のみを抽出する撮り込み
    画像抽出ステップを有することを特徴とする請求項８ま
    たは９に記載の画像処理方法。
12. 【請求項１２】前記画像処理方法は、さらに、 素材画像データ内の前記置き換え対象オブジェクトの遮
    蔽領域情報としての隠れマスク情報を生成し格納する隠
    れマスク情報蓄積ステップを有し、 前記画像合成ステップは、前記隠れマスク情報を入力
    し、マスク領域については、前記画像撮り込みステップ
    において撮り込まれた貼り付け対象オブジェクトの画像
    データではなく、前記素材画像データのデータを出力デ
    ータとして選択する合成処理を実行することを特徴とす
    る請求項８または９に記載の画像処理方法。
13. 【請求項１３】前記画像処理方法は、さらに、 素材画像データ内の前記置き換え対象オブジェクトの輝
    度情報に基づいて生成される照明位置情報を生成し格納
    する照明位置情報蓄積ステップを有し、 前記画像撮り込みステップは、 前記照明位置情報蓄積ステップにおいて生成した照明位
    置情報に従って前記貼り付け対象オブジェクトを異なる
    方向から照射する複数の照明を選択的に明滅させる処理
    を実行することを特徴とする請求項８または９に記載の
    画像処理方法。
14. 【請求項１４】前記画像処理方法は、さらに、 ３次元モデル蓄積手段に格納した３次元モデルデータに
    含まれる置き換え対象オブジェクトの仮想撮影視点情報
    を生成格納する仮想カメラ情報蓄積ステップと、 前記３次元モデルデータと、前記仮想撮影視点情報に基
    づいて素材映像データを生成する素材映像生成ステップ
    とを有し、 前記画像合成ステップは、 前記素材映像生成ステップにおいて生成する素材映像に
    含まれる置き換え対象オブジェクトの仮想撮影視点情報
    に基づいて生成される視点位置情報に従って、前記撮像
    ステップにおいて撮影された複数画像中から、該視点位
    置情報に近似する視点位置画像を選択し、該選択画像に
    基づいて貼り付け対象オブジェクトの画像を生成し、前
    記素材画像データ内の置き換え対象オブジェクトの画像
    を前記貼り付け対象オブジェクトの画像に変更する画像
    合成処理を実行することを特徴とする請求項８または９
    に記載の画像処理方法。
15. 【請求項１５】素材画像データ内の特定オブジェクトを
    置き換え対象オブジェクトとし、該置き換え対象オブジ
    ェクトの画像を、カメラで撮影した貼り付け対象オブジ
    ェクトの画像データに置き換える画像処理をコンピュー
    タ・システム上で実行せしめるコンピュータ・プログラ
    ムを提供するプログラム記憶媒体であって、前記コンピ
    ュータ・プログラムは、 貼り付け対象オブジェクトの画像を複数の視点位置から
    撮り込む複数のカメラを配列した撮像手段により複数画
    像を撮り込む画像撮り込みステップと、 前記素材画像データ内の置き換え対象オブジェクトの視
    点位置情報に基づいて、前記撮像手段によって撮影され
    た異なる視点位置からの複数画像から、前記視点位置情
    報に近似する視点位置画像を選択し、該選択画像に基づ
    いて貼り付け対象オブジェクトの画像を生成し、前記素
    材画像データ内の置き換え対象オブジェクトの画像を前
    記貼り付け対象オブジェクトの画像に変更する画像合成
    処理を実行する画像合成ステップと、 を有することを特徴とするプログラム記憶媒体。