JP2002010060A - 画像融合装置及び画像融合方法 - Google Patents

Abstract

(57)【要約】 【課題】 エッジ線分Ｉ_１Ｉ_３におけるマッハバンドを
抑制することができるが、陰影付け後のＣＧ画像と背景
画像を合成する場合、そのＣＧ画像と背景画像の色調差
や、その背景画像に含まれているノイズを考慮して合成
する手段を有していないため、ＣＧ画像と背景画像の間
に違和感が生じるなどの課題があった。 【解決手段】 背景画像１２に含まれているノイズを抽
出すると、そのノイズをＣＧ画像１１に付加して、ＣＧ
画像１１と背景画像１２の融合画像１８を出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、ＣＧ画像（コン
ピュータグラフィック画像）と背景画像の融合画像を出
力する画像融合装置及び画像融合方法に関するものであ
る。

【０００２】

【従来の技術】図１０は例えば特開平８−２１２３８４
号公報に示された従来の陰影付け装置を示す構成図であ
り、図において、１は陰影付けの目標となる多角形及び
近傍における多角形の各頂点の色または輝度を計算する
頂点輝度抽出回路、２は目標となる多角形の内部の色ま
たは輝度を計算する輝度補間回路である。

【０００３】次に動作について説明する。頂点輝度抽出
回路１は、陰影付けの目標となる多角形及び近傍におけ
る多角形の各頂点の法線ベクトルを入力すると、目標と
なる多角形及び近傍における多角形の各頂点の法線ベク
トルから各頂点の色または輝度を計算する。具体的に
は、図１１における△Ｉ_１Ｉ_２Ｉ_３を目標とする多角形
とすれば、△Ｉ_１Ｉ_３Ｉ_４が近傍における多角形となる
ので、頂点輝度抽出回路１は、目標となる多角形△Ｉ_１
Ｉ_２Ｉ_３及び近傍における多角形△Ｉ_１Ｉ_３Ｉ_４の各頂
点の色または輝度、即ち、△Ｉ_１Ｉ_２Ｉ_３及び△Ｉ_１Ｉ
_３Ｉ_４における輝度を計算する。

【０００４】輝度補間回路２は、頂点輝度抽出回路１が
目標となる多角形及び近傍における多角形の各頂点の色
または輝度を計算すると、その計算結果を用いて、目標
となる多角形の内部の色または輝度を計算する。具体的
には、まず、目標となる多角形△Ｉ_１Ｉ_２Ｉ_３及び近傍
における多角形△Ｉ_１Ｉ_３Ｉ_４のエッジ線分Ｉ_１Ｉ_２、
Ｉ_１Ｉ_３及びＩ_１Ｉ_４と、スキャンライン３との交点に
おける色または輝度Ｉ_Ｓ１、Ｉ_Ｓ２及びＩ_Ｓ３を算出す
る。そして、３つの交点の色または輝度を用いて、目標
となる多角形△Ｉ_１Ｉ_２Ｉ _３の内部の点（Ｘ，Ｙ）の色
または輝度Iを次のように計算する。

【０００５】Ｉ_Ｓ１＝Ｉ_１（Ｙ_Ｓ−Ｙ_２）／（Ｙ_１−Ｙ
_２）＋Ｉ_２（Ｙ_１−Ｙ_Ｓ）／（Ｙ_１−Ｙ_２） Ｉ_Ｓ２＝Ｉ_１（Ｙ_Ｓ−Ｙ_３）／（Ｙ_１−Ｙ_３）＋Ｉ
_３（Ｙ_１−Ｙ_Ｓ）／（Ｙ_１−Ｙ_３） Ｉ_Ｓ３＝Ｉ_１（Ｙ_Ｓ−Ｙ_４）／（Ｙ_１−Ｙ_４）＋Ｉ
_４（Ｙ_１−Ｙ_Ｓ）／（Ｙ_１−Ｙ_４） Ｉ＝Ｉ_Ｓ１×Ｚ_１＋Ｉ_Ｓ２×Ｚ_２＋Ｉ_Ｓ３×Ｚ_３ ただし、 Ｚ_１＝｛（Ｘ−Ｘ_Ｓ２）／（Ｘ_Ｓ１−Ｘ_Ｓ２）｝×
｛（Ｘ−Ｘ_Ｓ３）／（Ｘ_Ｓ１−Ｘ_Ｓ３）｝ Ｚ_２＝｛（Ｘ−Ｘ_Ｓ１）／（Ｘ_Ｓ２−Ｘ_Ｓ１）｝×
｛（Ｘ−Ｘ_Ｓ３）／（Ｘ_Ｓ２−Ｘ_Ｓ３）｝ Ｚ_３＝｛（Ｘ−Ｘ_Ｓ１）／（Ｘ_Ｓ３−Ｘ_Ｓ１）｝×
｛（Ｘ−Ｘ_Ｓ２）／（Ｘ_Ｓ３−Ｘ_Ｓ２）｝

【０００６】上記の方法により、エッジ線分Ｉ_１Ｉ_３に
おける色または輝度の傾きの急激な変化を回避すること
ができ、エッジ線分Ｉ_１Ｉ_３におけるマッハバンドを抑
制することができる。

【０００７】

【発明が解決しようとする課題】従来の陰影付け装置は
以上のように構成されているので、エッジ線分Ｉ_１Ｉ_３
におけるマッハバンドを抑制することができるが、陰影
付け後のＣＧ画像と背景画像を合成する場合、そのＣＧ
画像と背景画像の色調差や、その背景画像に含まれてい
るノイズを考慮して合成する手段を有していないため、
ＣＧ画像と背景画像の間に違和感が生じるなどの課題が
あった。

【０００８】具体的には次の通りである。実世界におけ
る事物や風景などを写真撮影し、それを背景画像として
使用し、その上にＣＧにより生成した画像を合成するこ
とが行われる。例えば、新しく建てるビルや橋が現在の
景観に適合するか否かをシミュレーションしたり、新製
品となる冷蔵庫を室内に置いた場合の配色などを確かめ
たりすることがある。このような場合、写真撮影した事
物や風景の画像はノイズを含んでいるのに対し、ＣＧに
より生成した画像の色調は単調であり、ノイズを含まな
い。また、写真撮影した時の天候や日時などの変化によ
り背景となる画像の色調が異なり、ＣＧで生成した画像
との間で色調のずれを生じ、背景画像とＣＧ画像をうま
く合成できないことがある。従来の陰影付け装置では、
陰影付けの際に発生する色または輝度の傾きの急激な変
化であるマッハバンドを抑制することはできるが、最終
的に得られた画像の色調は単調であり、ノイズを含まな
い。また、背景となる画像との色調差を考慮していない
ため、ＣＧ画像と背景画像を合成する際の色調差が課題
となっていた。

【０００９】この発明は上記のような課題を解決するた
めになされたもので、ＣＧ画像と背景画像の違和感のな
い自然な融合を実現することができる画像融合装置及び
画像融合方法を得ることを目的とする。

【００１０】

【課題を解決するための手段】この発明に係る画像融合
装置は、ノイズ抽出手段が背景画像に含まれているノイ
ズを抽出すると、そのノイズをＣＧ画像に付加して、Ｃ
Ｇ画像と背景画像の融合画像を出力するようにしたもの
である。

【００１１】この発明に係る画像融合装置は、ノイズ発
生手段が背景画像に含まれているノイズに相当するノイ
ズを発生すると、そのノイズをＣＧ画像に付加して、Ｃ
Ｇ画像と背景画像の融合画像を出力するようにしたもの
である。

【００１２】この発明に係る画像融合装置は、色調差計
算手段がＣＧ画像と背景画像の色調差を計算すると、そ
の色調差をＣＧ画像又は背景画像に反映して、ＣＧ画像
と背景画像の融合画像を出力するようにしたものであ
る。

【００１３】この発明に係る画像融合装置は、色調差計
算手段がＣＧ画像と背景画像の色調差を計算すると、そ
の色調差をＣＧ画像又は背景画像に反映すると共にノイ
ズをＣＧ画像に付加するようにしたものである。

【００１４】この発明に係る画像融合装置は、ノイズ付
加手段、または、色調差計算手段及び色調差反映手段が
生成段階のＣＧ画像を処理対象にするようにしたもので
ある。

【００１５】この発明に係る画像融合装置は、背景画像
として静止画又は動画を用いるようにしたものである。

【００１６】この発明に係る画像融合方法は、背景画像
に含まれているノイズを抽出し、そのノイズをＣＧ画像
に付加して、ＣＧ画像と背景画像の融合画像を出力する
ようにしたものである。

【００１７】この発明に係る画像融合方法は、背景画像
に含まれているノイズに相当するノイズを発生し、その
ノイズをＣＧ画像に付加して、ＣＧ画像と背景画像の融
合画像を出力するようにしたものである。

【００１８】この発明に係る画像融合方法は、ＣＧ画像
と背景画像の色調差を計算し、その色調差をＣＧ画像又
は背景画像に反映して、ＣＧ画像と背景画像の融合画像
を出力するようにしたものである。

【００１９】この発明に係る画像融合方法は、ＣＧ画像
と背景画像の色調差を計算し、その色調差をＣＧ画像又
は背景画像に反映すると共にノイズをＣＧ画像に付加す
るようにしたものである。

【００２０】この発明に係る画像融合方法は、生成段階
のＣＧ画像を処理対象にするようにしたものである。

【００２１】この発明に係る画像融合方法は、背景画像
として静止画又は動画を用いるようにしたものである。

【００２２】

【発明の実施の形態】以下、この発明の実施の一形態を
説明する。 実施の形態１．図１はこの発明の実施の形態１による画
像融合装置を示す構成図であり、図において、１１はコ
ンピュータグラフィックスにより生成されたＣＧ画像、
１２は写真などの静止画である背景画像、１３はビデオ
などの動画である背景画像、１４は背景画像１２または
背景画像１３のいずれか一方を選択する選択手段、１５
は選択手段１４により選択された背景画像１２または１
３とＣＧ画像１１の色調合せを行う色調合せ手段、１６
は選択手段１４により選択された背景画像１２または１
３に含まれているノイズを抽出するノイズ抽出手段、１
７はノイズ抽出手段１６により抽出されたノイズをＣＧ
画像１１に付加して、ＣＧ画像１１と背景画像１２また
は１３の融合画像１８を出力するノイズ付加手段、１８
はＣＧ画像１１と背景画像１２または１３が合成された
融合画像である。図２はこの発明の実施の形態１による
画像融合方法を示すフローチャートである。

【００２３】次に動作について説明する。まず、選択手
段１４が背景画像１２または背景画像１３のいずれか一
方を選択する（ステップＳＴ１）。即ち、静止画である
背景画像１２と動画である背景画像１３とを予め準備
し、プログラム、メニュー選択、スイッチなどにより、
いずれかの背景画像を選択する。なお、いずれか一方の
背景画像のみを準備して、選択手段１４を不要とするこ
とも可能である。この実施の形態１では、説明の便宜
上、選択手段１４が背景画像１２を選択するものとして
説明を続ける。

【００２４】色調合せ手段１５のノイズ抽出手段１６
は、選択手段１４が背景画像１２を選択すると、その背
景画像１２に含まれているノイズを抽出する（ステップ
ＳＴ２）。図３は背景画像１２の一例を示す説明図であ
る。図３に示す通り、背景画像１２の画像サイズをＭ
（横）×Ｎ（縦）とし、横軸をＸ、縦軸をＹ、任意の点
（Ｘ，Ｙ）における画素値をＩ（Ｘ，Ｙ）とする。一例
として、Ｉ（Ｘ，Ｙ）がＲＧＢ各８ビットから構成され
ており、各ビットのうち、下位２ビットが画像ノイズで
あると定義する。Ｉ（Ｘ，Ｙ）のＲＧＢ各成分をＩ
_Ｒ（Ｘ，Ｙ）、Ｉ_Ｇ（Ｘ，Ｙ）及びＩ_Ｂ（Ｘ，Ｙ）と表
記すれば、各成分におけるノイズは次のように求められ
る。

【００２５】 Ｒ成分のノイズ：Ｉ_Ｒ（Ｘ，Ｙ）％４ Ｇ成分のノイズ：Ｉ_Ｇ（Ｘ，Ｙ）％４ Ｂ成分のノイズ：Ｉ_Ｂ（Ｘ，Ｙ）％４ （１）

【００２６】ここで、％は余りを求めるオペレータであ
り、Ａ％ＢはＡをＢで除算したときの余りである。一般
に、下位ｂビットがノイズであると定義した場合、Ｉ
（Ｘ，Ｙ）のノイズ成分はＩ（Ｘ，Ｙ）％（２＾ｂ）と
表記される。ただし、＾はべき乗を求めるオペレータで
あり、Ａ＾ＢはＡのＢ乗を意味する。

【００２７】ノイズ付加手段１７は、ノイズ抽出手段１
６が背景画像１２に含まれているノイズを抽出すると、
そのノイズをＣＧ画像１１に付加して、ＣＧ画像１１と
背景画像１２の融合画像１８を出力する（ステップＳＴ
３）。具体的には次の通りである。

【００２８】ノイズ抽出手段１６により抽出されたノイ
ズをＣＧ画像１１に付加するためには、ＣＧ画像１１か
らノイズに無関係な部分を抽出する必要がある。ＣＧ画
像１１も背景画像１２と同様に、Ｍ（横）×Ｎ（縦）の
画像サイズを持ち、ＲＧＢ各８ビットから構成されてい
るものとする。ＣＧ画像１１の任意の点（Ｘ，Ｙ）にお
ける画素値をＣ（Ｘ，Ｙ）とし、ＲＧＢ各成分をＣ
_Ｒ（Ｘ，Ｙ）、Ｃ_Ｇ（Ｘ，Ｙ）及びＣ_Ｂ（Ｘ，Ｙ）と表
記する。前述した様に、この実施の形態１では、下位２
ビットをノイズであると定義しているので、Ｃ（Ｘ，
Ｙ）よりノイズに無関係な部分は次のようにして算出さ
れる。

【００２９】 Ｒ成分のノイズ：［Ｃ_Ｒ（Ｘ，Ｙ）／４］×４ Ｇ成分のノイズ：［Ｃ_Ｇ（Ｘ，Ｙ）／４］×４ Ｂ成分のノイズ：［Ｃ_Ｂ（Ｘ，Ｙ）／４］×４ （２）

【００３０】ここで、［Ａ］は整数化関数であり、少数
点以下が切り捨てられ、整数部分を意味する。一般に下
位ｂビットがノイズであると定義した場合、Ｃ（Ｘ，
Ｙ）のノイズ無関係成分は［Ｃ（Ｘ，Ｙ）／（２＾
ｂ）］×（２＾ｂ）と表記される。

【００３１】上記の計算の結果、ＣＧ画像１１のノイズ
無関係成分と背景画像１２のノイズ成分が得られるの
で、これらを相互に加算することにより、背景画像１２
のノイズをＣＧ画像１１に付加することができる。ノイ
ズ付加手段１７により、最終的に得られる融合画像１８
は次のように記述される。

【００３２】 融合画像１８のＲ成分 ［Ｃ_Ｒ（Ｘ，Ｙ）／（２＾ｂ）］×（２＾ｂ） ＋Ｉ_Ｒ（Ｘ，Ｙ）％（２＾ｂ） 融合画像１８のＧ成分 ［Ｃ_Ｇ（Ｘ，Ｙ）／（２＾ｂ）］×（２＾ｂ） ＋Ｉ_Ｇ（Ｘ，Ｙ）％（２＾ｂ） 融合画像１８のＢ成分 ［Ｃ_Ｂ（Ｘ，Ｙ）／（２＾ｂ）］×（２＾ｂ） ＋Ｉ_Ｂ（Ｘ，Ｙ）％（２＾ｂ） （３）

【００３３】以上で明らかなように、この実施の形態１
によれば、背景画像１２に含まれているノイズを抽出す
ると、そのノイズをＣＧ画像１１に付加して、ＣＧ画像
１１と背景画像１２の融合画像１８を出力するように構
成したので、ＣＧ画像１１と背景画像１２の違和感のな
い自然な融合を実現することができる効果を奏する。

【００３４】実施の形態２．図４はこの発明の実施の形
態２による画像融合装置を示す構成図であり、図におい
て、図１と同一符号は同一または相当部分を示すので説
明を省略する。１９は背景画像１２または１３に含まれ
ているノイズに相当するノイズを発生するノイズ発生手
段である。

【００３５】次に動作について説明する。上記実施の形
態１では、背景画像１２または１３に含まれているノイ
ズを抽出するノイズ抽出手段１６を設けたものについて
示したが、背景画像１２または１３に含まれているノイ
ズに相当するノイズを発生するノイズ発生手段１９を設
けるようにしてもよい。ただし、ノイズ発生手段１９は
ノイズを発生するに際して、背景画像１２または１３を
使用しても使用しなくてもよい。

【００３６】最初に、ノイズ発生手段１９が背景画像１
２，１３を使用しないでノイズを発生させる方法につい
て述べる。一例として、０．０から１．０までの任意の
少数をランダムに発生する関数Ｆを導入すると、ノイズ
は［Ｆ×（２＾ｂ）］と定義でき、式（３）に従えば、
融合画像１８の各成分は次のように記述される。

【００３７】 融合画像１８のＲ成分 ［Ｃ_Ｒ（Ｘ，Ｙ）／（２＾ｂ）］×（２＾ｂ）＋［Ｆ×（２＾ｂ）］ 融合画像１８のＧ成分 ［Ｃ_Ｇ（Ｘ，Ｙ）／（２＾ｂ）］×（２＾ｂ）＋［Ｆ×（２＾ｂ）］ 融合画像１８のＢ成分 ［Ｃ_Ｂ（Ｘ，Ｙ）／（２＾ｂ）］×（２＾ｂ）＋［Ｆ×（２＾ｂ）］ （４）

【００３８】関数Ｆは起動する度に異なる値を発生する
ため、上記各成分のノイズ値は全て異なる。意図的に同
じノイズ値を挿入する場合は、関数Ｆを一度のみ起動
し、発生した値を保存して使用すればよい。この場合
は、次のように記述される。

【００３９】 ＮＯＩＳＥ＝［Ｆ×（２＾ｂ）］ 融合画像１８のＲ成分 ［Ｃ_Ｒ（Ｘ，Ｙ）／（２＾ｂ）］×（２＾ｂ）＋ＮＯＩＳＥ 融合画像１８のＧ成分 ［Ｃ_Ｇ（Ｘ，Ｙ）／（２＾ｂ）］×（２＾ｂ）＋ＮＯＩＳＥ 融合画像１８のＢ成分 ［Ｃ_Ｂ（Ｘ，Ｙ）／（２＾ｂ）］×（２＾ｂ）＋ＮＯＩＳＥ （５）

【００４０】上記例では、ランダム関数を使用してノイ
ズを発生させたものについて示したが、ノイズを定義で
きる関数であれば、如何なる関数でも構わない。例え
ば、三角関数、指数関数などがあり、これらの組み合わ
せ、あるいは、これらの関数とランダム関数の組み合わ
せなどが考えられる。

【００４１】次に、ノイズ発生手段１９が背景画像１２
を使用してノイズを発生させる方法について述べる。背
景画像１２の各成分より、式（１）に従ってノイズ成分
を抜き出し、その特性を調べる。例えば、ノイズの平均
値、分散、周期性などである。これらのノイズ特性に合
致するような関数を、ランダム関数、三角関数、指数関
数などの組み合わせにより生成する。生成された関数は
基本的に背景画像１２の画素位置に対応した関数とな
り、Ｇ（Ｘ，Ｙ）と記述される。ＲＧＢ各成分毎に求め
られたノイズ発生関数の一例を以下に示す。

【００４２】 Ｇ_Ｒ（Ｘ，Ｙ）＝Ｍ_Ｒ×（Ｓｉｎ（Ｘ）＋Ｓｉｎ（Ｙ））／２ Ｇ_Ｇ（Ｘ，Ｙ）＝Ｍ_Ｇ×（Ｓｉｎ（Ｘ）＋Ｓｉｎ（Ｙ））／２ Ｇ_Ｂ（Ｘ，Ｙ）＝Ｍ_Ｂ×（Ｓｉｎ（Ｘ）＋Ｓｉｎ（Ｙ））／２ （６） ただし、 Ｍ_Ｒ：Ｉ_Ｒ（Ｘ，Ｙ）のノイズ成分平均値 Ｍ_Ｇ：Ｉ_Ｇ（Ｘ，Ｙ）のノイズ成分平均値 Ｍ_Ｂ：Ｉ_Ｂ（Ｘ，Ｙ）のノイズ成分平均値

【００４３】これらの関数を使用することにより、融合
画像１８の各成分は次のように記述される。 融合画像１８のＲ成分 ［Ｃ_Ｒ（Ｘ，Ｙ）／（２＾ｂ）］×（２＾ｂ）＋Ｇ_Ｒ（Ｘ，Ｙ） 融合画像１８のＧ成分 ［Ｃ_Ｇ（Ｘ，Ｙ）／（２＾ｂ）］×（２＾ｂ）＋Ｇ_Ｇ（Ｘ，Ｙ） 融合画像１８のＢ成分 ［Ｃ_Ｂ（Ｘ，Ｙ）／（２＾ｂ）］×（２＾ｂ）＋Ｇ_Ｂ（Ｘ，Ｙ） （７）

【００４４】ここでは、ノイズ発生手段１９が背景画像
１２を使用してノイズを発生させる方法について述べた
が、背景画像１２の代わりに動画である背景画像１３を
使用してノイズを発生させる方法も同様にして行える。
ただし、背景画像１３を用いる場合は、背景となる画像
が複数存在するため、背景となる画像間の相関や全画像
を対象とした平均などノイズ特性を現す要素が多くな
り、ノイズ発生関数の選択肢が増加する。

【００４５】この実施の形態２によれば、背景画像１
２，１３を用いなくてもノイズを発生させることが可能
となる。また、背景画像１２，１３を用いる場合は、背
景画像１２，１３のノイズ特性を生かしたノイズの発生
が可能となり、ＣＧ画像１１と背景画像１２，１３との
より自然な融合を行うことができる。

【００４６】実施の形態３．図５はこの発明の実施の形
態３による画像融合装置を示す構成図であり、図におい
て、図１と同一符号は同一または相当部分を示すので説
明を省略する。２０はＣＧ画像１１と選択手段１４によ
り選択された背景画像１２または１３との色調差を計算
する色調差計算手段、２１は色調差計算手段２０により
計算された色調差をＣＧ画像１１、あるいは、背景画像
１２または１３に反映して、ＣＧ画像１１と背景画像１
２または１３の融合画像１８を出力する色調差反映手段
である。図６はこの発明の実施の形態３による画像融合
方法を示すフローチャートである。

【００４７】次に動作について説明する。まず、選択手
段１４が背景画像１２または背景画像１３のいずれか一
方を選択する（ステップＳＴ１１）。この実施の形態１
では、説明の便宜上、選択手段１４が背景画像１２を選
択するものとして説明を続ける。

【００４８】色調差計算手段２０は、選択手段１４が背
景画像１２を選択すると、ＣＧ画像１１と背景画像１２
の色調差を計算する（ステップＳＴ１２）。即ち、背景
画像１２のＲＧＢ各成分であるＩ_Ｒ（Ｘ，Ｙ）、Ｉ
_Ｇ（Ｘ，Ｙ）及びＩ_Ｂ（Ｘ，Ｙ）の（Ｘ，Ｙ）周辺にお
ける平均値と、ＣＧ画像１１のＲＧＢ各成分であるＣ_Ｒ
（Ｘ，Ｙ）、Ｃ_Ｇ（Ｘ，Ｙ）及びＣ_Ｂ（Ｘ，Ｙ）の
（Ｘ，Ｙ）周辺における平均値を計算し、それらの平均
値の差を色調差として求める。

【００４９】 Ｄ_Ｒ（Ｘ，Ｙ）＝ＭＩ_Ｒ（Ｘ，Ｙ）−ＭＣ_Ｒ（Ｘ，Ｙ） Ｄ_Ｇ（Ｘ，Ｙ）＝ＭＩ_Ｇ（Ｘ，Ｙ）−ＭＣ_Ｇ（Ｘ，Ｙ） Ｄ_Ｂ（Ｘ，Ｙ）＝ＭＩ_Ｂ（Ｘ，Ｙ）−ＭＣ_Ｂ（Ｘ，Ｙ） （８） ただし、 ＭＩ_Ｒ（Ｘ，Ｙ）：（Ｘ，Ｙ）の周囲ｍ×ｎ領域におけ
るＩ_Ｒの平均値 ＭＩ_Ｇ（Ｘ，Ｙ）：（Ｘ，Ｙ）の周囲ｍ×ｎ領域におけ
るＩ_Ｇの平均値 ＭＩ_Ｂ（Ｘ，Ｙ）：（Ｘ，Ｙ）の周囲ｍ×ｎ領域におけ
るＩ_Ｂの平均値 ＭＣ_Ｒ（Ｘ，Ｙ）：（Ｘ，Ｙ）の周囲ｍ×ｎ領域におけ
るＣ_Ｒの平均値 ＭＣ_Ｇ（Ｘ，Ｙ）：（Ｘ，Ｙ）の周囲ｍ×ｎ領域におけ
るＣ_Ｇの平均値 ＭＣ_Ｂ（Ｘ，Ｙ）：（Ｘ，Ｙ）の周囲ｍ×ｎ領域におけ
るＣ_Ｂの平均値

【００５０】色調差反映手段２１は、色調差計算手段２
０が色調差を計算すると、下記に示すように、その色調
差をＣＧ画像１１または背景画像１２に反映して、ＣＧ
画像１１と背景画像１２の融合画像１８を出力する（ス
テップＳＴ１３）。

【００５１】 背景画像１２と融合したＣＧ画像１１のＲ成分 Ｃ_Ｒ（Ｘ，Ｙ）＋Ｄ_Ｒ（Ｘ，Ｙ） 背景画像１２と融合したＣＧ画像１１のＧ成分 Ｃ_Ｇ（Ｘ，Ｙ）＋Ｄ_Ｇ（Ｘ，Ｙ） 背景画像１２と融合したＣＧ画像１１のＢ成分 Ｃ_Ｂ（Ｘ，Ｙ）＋Ｄ_Ｂ（Ｘ，Ｙ） （９）

【００５２】 ＣＧ画像１１と融合した背景画像１２のＲ成分 Ｉ_Ｒ（Ｘ，Ｙ）−Ｄ_Ｒ（Ｘ，Ｙ） ＣＧ画像１１と融合した背景画像１２のＧ成分 Ｉ_Ｇ（Ｘ，Ｙ）−Ｄ_Ｇ（Ｘ，Ｙ） ＣＧ画像１１と融合した背景画像１２のＢ成分 Ｉ_Ｂ（Ｘ，Ｙ）−Ｄ_Ｂ（Ｘ，Ｙ） （１０）

【００５３】ただし、上記計算の結果、各画素の値が最
大値を超える場合は最大値に設定し、最小値を下回る場
合は最小値に設定する。なお、式（９）と式（１０）の
両方を計算する必要がある訳ではなく、いずれか一方を
計算すればよい。通常は、ＣＧ画像１１を背景画像１２
の色調に合せることが多いため、式（９）を計算する
が、逆に背景画像１２をＣＧ画像１１の色調に合せる場
合には、式（１０）を計算する。

【００５４】この実施の形態３では、背景画像１２を用
いるものについて示したが、背景画像１２の代わりに動
画である背景画像１３を用いる場合も同様にして行え
る。ただし、背景画像１３を用いる場合は、背景となる
画像が複数存在するため、背景となる画像毎に色調差を
計算する方法や、複数の背景画像を対象に色調差を計算
する方法などが考えられる。

【００５５】以上で明らかなように、この実施の形態３
によれば、ＣＧ画像１１と背景画像１２の色調差を計算
し、その色調差をＣＧ画像１１又は背景画像１２に反映
するように構成したので、ＣＧ画像１１と背景画像１２
の違和感のない自然な融合を実現することができる効果
を奏する。

【００５６】実施の形態４．上記実施の形態１，２で
は、ノイズをＣＧ画像１１に付加するものについて示
し、上記実施の形態３では、色調差をＣＧ画像１１又は
背景画像１２に反映するものについて示したが、図７に
示すように、ノイズをＣＧ画像１１に付加する処理と、
色調差をＣＧ画像１１又は背景画像１２に反映する処理
の双方を行うようにしてもよい。

【００５７】具体的には、選択手段１４が背景画像１２
を選択し、ノイズ抽出手段１６が背景画像１２に含まれ
ているノイズを抽出する場合には、式（３）、式（８）
及び式（９）に従って処理を実行する。背景画像１２と
融合したＣＧ画像１１のＲＧＢ各成分は次のように記述
される。

【００５８】 融合ＣＧ画像のＲ成分 ［Ｃ_Ｒ（Ｘ，Ｙ）／（２＾ｂ）］×（２＾ｂ） ＋Ｉ_Ｒ（Ｘ，Ｙ）％（２＾ｂ）＋Ｄ_Ｒ（Ｘ，Ｙ） 融合ＣＧ画像のＧ成分 ［Ｃ_Ｇ（Ｘ，Ｙ）／（２＾ｂ）］×（２＾ｂ） ＋Ｉ_Ｇ（Ｘ，Ｙ）％（２＾ｂ）＋Ｄ_Ｇ（Ｘ，Ｙ） 融合ＣＧ画像のＢ成分 ［Ｃ_Ｂ（Ｘ，Ｙ）／（２＾ｂ）］×（２＾ｂ） ＋Ｉ_Ｂ（Ｘ，Ｙ）％（２＾ｂ）＋Ｄ_Ｂ（Ｘ，Ｙ） （１１）

【００５９】なお、ノイズ抽出手段１６の代わりに、ノ
イズ発生手段１９を用いる場合には、式（４）〜（９）
に従って、同様に記述される。また、背景画像１２の代
わりに、動画である背景画像１３を用いる場合、背景と
なる画像が複数存在するが、基本的な方式は同様であ
る。

【００６０】この実施の形態４によれば、背景となる画
像からノイズを抽出してＣＧ画像１１に付加するだけで
なく、背景画像１２等とＣＧ画像１１の色調差を計算
し、ＣＧ画像１１の色調を背景画像１２等の色調に合せ
ることが可能となるため、背景画像１２等とＣＧ画像１
１のより自然な融合を行うことができる。

【００６１】実施の形態５．図８はこの発明の実施の形
態５による画像融合装置を示す構成図であり、図におい
て、図７と同一符号は同一または相当部分を示すので説
明を省略する。３１はＣＧ画像の生成の基になるＣＧ形
状データ、３２はＣＧ画像生成に必要な陰影付け手段、
３３はＣＧ画像の色を生成する際の基本動作となる色補
間手段である。

【００６２】上記実施の形態１〜４では、色調合せ手段
１５を既に生成されたＣＧ画像１１に対して適用するも
のについて示したが、既に生成されたＣＧ画像１１では
なく、ＣＧ画像１１を生成する際の陰影付け手段３２の
中に色調合せ手段１５を組み込むことも可能である。こ
こでは、色調合せ手段１５をＣＧ画像生成時における陰
影付け手段３２の中に組み込んだ例を示す。

【００６３】次に動作について説明する。図９はＣＧ形
状データ３１の基本である三角形の陰影付け方法を示す
説明図であり、図において、３４はスキャンラインであ
る。通常、頂点Ｃ_１、Ｃ_２及びＣ _３における色が各頂点
における法線ベクトル、光源ベクトル、三角形の色属性
（環境光成分、拡散反射光成分及び鏡面反射光成分）な
どから計算される（詳細は、従来技術である特開平８−
２１２３８４号公報を参照）。

【００６４】次に、線分Ｃ_１Ｃ_２及び線分Ｃ_１Ｃ_３とス
キャンライン３４との交点における色（Ｃ_Ｓ１、
Ｃ_Ｓ２）が、Ｃ_１とＣ_２及びＣ_１とＣ_３の間の線形補間
により求められる。 Ｃ_Ｓ１（Ｘ，Ｙ） ＝｛Ｃ_１（Ｙ−Ｙ_２）＋Ｃ_２（Ｙ_１−Ｙ）｝／（Ｙ_１−Ｙ_２） Ｃ_Ｓ２（Ｘ，Ｙ） ＝｛Ｃ_１（Ｙ−Ｙ_３）＋Ｃ_３（Ｙ_１−Ｙ）｝／（Ｙ_１−Ｙ_３） （１２）

【００６５】次に、三角形内部の任意の点（Ｘ，Ｙ）に
おける色Ｃは、Ｃ_Ｓ１及びＣ_Ｓ２から次のようにして求
められる。 Ｃ（Ｘ，Ｙ） ＝｛Ｃ_Ｓ１（Ｘ_Ｓ２−Ｘ）＋Ｃ_Ｓ２（Ｘ−Ｘ_Ｓ１）｝ ／（Ｘ_Ｓ２−Ｘ_Ｓ１） （１３） ただし、式（１２）及び式（１３）では、色をＲＧＢ各
成分に分解することなく、一括して取り扱っている。

【００６６】ここで、式（８）における（Ｘ，Ｙ）の周
囲ｍ×ｎ領域における平均値を次のように計算する。 ＭＩ_Ｒ（Ｘ，Ｙ）：（Ｘ，Ｙ）の周囲ｍ×ｎ領域におけるＩ_Ｒの平均値 ＭＩ_Ｇ（Ｘ，Ｙ）：（Ｘ，Ｙ）の周囲ｍ×ｎ領域におけるＩ_Ｇの平均値 ＭＩ_Ｂ（Ｘ，Ｙ）：（Ｘ，Ｙ）の周囲ｍ×ｎ領域におけるＩ_Ｂの平均値 ｍ＝ＭＡＸ（Ｘ_１，Ｘ_２，Ｘ_３）−ＭＩＮ（Ｘ_１，Ｘ_２，Ｘ_３） ｎ＝ＭＡＸ（Ｙ_１，Ｙ_２，Ｙ_３）−ＭＩＮ（Ｙ_１，Ｙ_２，Ｙ_３） （１４） ただし、ＭＡＸは引数の最大値を求める関数であり、Ｍ
ＩＮは引数の最小値を求める関数である。 ＭＣ_Ｒ（Ｘ，Ｙ）＝（Ｃ_１Ｒ＋Ｃ_２Ｒ＋Ｃ_３Ｒ）／３ ＭＣ_Ｇ（Ｘ，Ｙ）＝（Ｃ_１Ｇ＋Ｃ_２Ｇ＋Ｃ_３Ｇ）／３ ＭＣ_Ｂ（Ｘ，Ｙ）＝（Ｃ_１Ｂ＋Ｃ_２Ｂ＋Ｃ_３Ｂ）／３

【００６７】上記結果を基にすると、色調合せ手段１５
を陰影付け手段３２に組み込んだ場合の融合画像１８
は、式（１５）のようにして得られる。 融合ＣＧ画像のＲ成分 ［Ｃ_Ｒ（Ｘ，Ｙ）／（２＾ｂ）］×（２＾ｂ） ＋Ｉ_Ｒ（Ｘ，Ｙ）％（２＾ｂ）＋Ｄ_Ｒ（Ｘ，Ｙ） 融合ＣＧ画像のＧ成分 ［Ｃ_Ｇ（Ｘ，Ｙ）／（２＾ｂ）］×（２＾ｂ） ＋Ｉ_Ｇ（Ｘ，Ｙ）％（２＾ｂ）＋Ｄ_Ｇ（Ｘ，Ｙ） 融合ＣＧ画像のＢ成分 ［Ｃ_Ｂ（Ｘ，Ｙ）／（２＾ｂ）］×（２＾ｂ） ＋Ｉ_Ｂ（Ｘ，Ｙ）％（２＾ｂ）＋Ｄ_Ｂ（Ｘ，Ｙ） （１５）

【００６８】 Ｃ_Ｒ（Ｘ，Ｙ） ＝｛Ｃ_Ｓ１Ｒ（Ｘ_Ｓ２−Ｘ）＋Ｃ_Ｓ２Ｒ（Ｘ−Ｘ_Ｓ１）｝ ／（Ｘ_Ｓ２−Ｘ_Ｓ１） Ｃ_Ｇ（Ｘ，Ｙ） ＝｛Ｃ_Ｓ１Ｇ（Ｘ_Ｓ２−Ｘ）＋Ｃ_Ｓ２Ｇ（Ｘ−Ｘ_Ｓ１）｝ ／（Ｘ_Ｓ２−Ｘ_Ｓ１） Ｃ_Ｂ（Ｘ，Ｙ） ＝｛Ｃ_Ｓ１Ｂ（Ｘ_Ｓ２−Ｘ）＋Ｃ_Ｓ２Ｂ（Ｘ−Ｘ_Ｓ１）｝ ／（Ｘ_Ｓ２−Ｘ_Ｓ１）

【００６９】 Ｃ_Ｓ１Ｒ（Ｘ，Ｙ） ＝｛Ｃ_１Ｒ（Ｙ−Ｙ_２）＋Ｃ_２Ｒ（Ｙ_１−Ｙ）｝／（Ｙ_１−Ｙ_２） Ｃ_Ｓ１Ｇ（Ｘ，Ｙ） ＝｛Ｃ_１Ｇ（Ｙ−Ｙ_２）＋Ｃ_２Ｇ（Ｙ_１−Ｙ）｝／（Ｙ_１−Ｙ_２） Ｃ_Ｓ１Ｂ（Ｘ，Ｙ） ＝｛Ｃ_１Ｂ（Ｙ−Ｙ_２）＋Ｃ_２Ｂ（Ｙ_１−Ｙ）｝／（Ｙ_１−Ｙ_２） Ｃ_Ｓ２Ｒ（Ｘ，Ｙ） ＝｛Ｃ_１Ｒ（Ｙ−Ｙ_３）＋Ｃ_３Ｒ（Ｙ_１−Ｙ）｝／（Ｙ_１−Ｙ_３） Ｃ_Ｓ２Ｇ（Ｘ，Ｙ） ＝｛Ｃ_１Ｇ（Ｙ−Ｙ_３）＋Ｃ_３Ｇ（Ｙ_１−Ｙ）｝／（Ｙ_１−Ｙ_３） Ｃ_Ｓ２Ｂ（Ｘ，Ｙ） ＝｛Ｃ_１Ｂ（Ｙ−Ｙ_３）＋Ｃ_３Ｂ（Ｙ_１−Ｙ）｝／（Ｙ_１−Ｙ_３）

【００７０】Ｉ_Ｒ：背景画像１２のＲ成分 Ｉ_Ｇ：背景画像１２のＧ成分 Ｉ_Ｂ：背景画像１２のＢ成分 Ｄ_Ｒ（Ｘ，Ｙ）＝ＭＩ_Ｒ（Ｘ，Ｙ）−ＭＣ_Ｒ（Ｘ，Ｙ） Ｄ_Ｇ（Ｘ，Ｙ）＝ＭＩ_Ｇ（Ｘ，Ｙ）−ＭＣ_Ｇ（Ｘ，Ｙ） Ｄ_Ｂ（Ｘ，Ｙ）＝ＭＩ_Ｂ（Ｘ，Ｙ）−ＭＣ_Ｂ（Ｘ，Ｙ） ＭＩ_Ｒ（Ｘ，Ｙ）：（Ｘ，Ｙ）の周囲ｍ×ｎ領域におけ
るＩ_Ｒの平均値 ＭＩ_Ｇ（Ｘ，Ｙ）：（Ｘ，Ｙ）の周囲ｍ×ｎ領域におけ
るＩ_Ｇの平均値 ＭＩ_Ｂ（Ｘ，Ｙ）：（Ｘ，Ｙ）の周囲ｍ×ｎ領域におけ
るＩ_Ｂの平均値 ｍ＝ＭＡＸ（Ｘ_１，Ｘ_２，Ｘ_３）−ＭＩＮ（Ｘ_１，
Ｘ_２，Ｘ_３） ｎ＝ＭＡＸ（Ｙ_１，Ｙ_２，Ｙ_３）−ＭＩＮ（Ｙ_１，
Ｙ_２，Ｙ_３） ＭＣ_Ｒ（Ｘ，Ｙ）＝（Ｃ_１Ｒ＋Ｃ_２Ｒ＋Ｃ_３Ｒ）／３ ＭＣ_Ｇ（Ｘ，Ｙ）＝（Ｃ_１Ｇ＋Ｃ_２Ｇ＋Ｃ_３Ｇ）／３ ＭＣ_Ｂ（Ｘ，Ｙ）＝（Ｃ_１Ｂ＋Ｃ_２Ｂ＋Ｃ_３Ｂ）／３

【００７１】以上のように、色調合せ手段１５を既に生
成されたＣＧ画像１１に適用するだけでなく、ＣＧ画像
１１を生成する際の陰影付け手段３２の中に組み込むこ
とが可能となり、高速にＣＧ画像１１と背景画像１２等
との自然な融合画像１８を得ることができる。

【００７２】

【発明の効果】以上のように、この発明によれば、ノイ
ズ抽出手段が背景画像に含まれているノイズを抽出する
と、そのノイズをＣＧ画像に付加して、ＣＧ画像と背景
画像の融合画像を出力するように構成したので、ＣＧ画
像と背景画像の違和感のない自然な融合を実現すること
ができる効果がある。

【００７３】この発明によれば、ノイズ発生手段が背景
画像に含まれているノイズに相当するノイズを発生する
と、そのノイズをＣＧ画像に付加して、ＣＧ画像と背景
画像の融合画像を出力するように構成したので、ＣＧ画
像と背景画像の違和感のない自然な融合を実現すること
ができる効果がある。

【００７４】この発明によれば、色調差計算手段がＣＧ
画像と背景画像の色調差を計算すると、その色調差をＣ
Ｇ画像又は背景画像に反映して、ＣＧ画像と背景画像の
融合画像を出力するように構成したので、ＣＧ画像と背
景画像の違和感のない自然な融合を実現することができ
る効果がある。

【００７５】この発明によれば、色調差計算手段がＣＧ
画像と背景画像の色調差を計算すると、その色調差をＣ
Ｇ画像又は背景画像に反映すると共にノイズをＣＧ画像
に付加するように構成したので、ＣＧ画像と背景画像の
違和感のない自然な融合を実現することができる効果が
ある。

【００７６】この発明によれば、ノイズ付加手段、また
は、色調差計算手段及び色調差反映手段が生成段階のＣ
Ｇ画像を処理対象にするように構成したので、高速にＣ
Ｇ画像と背景画像との自然な融合画像を得ることができ
る効果がある。

【００７７】この発明によれば、背景画像として静止画
又は動画を用いるように構成したので、静止画や動画を
ＣＧ画像と違和感なく融合することができる効果があ
る。

【００７８】この発明によれば、背景画像に含まれてい
るノイズを抽出し、そのノイズをＣＧ画像に付加して、
ＣＧ画像と背景画像の融合画像を出力するように構成し
たので、ＣＧ画像と背景画像の違和感のない自然な融合
を実現することができる効果がある。

【００７９】この発明によれば、背景画像に含まれてい
るノイズに相当するノイズを発生し、そのノイズをＣＧ
画像に付加して、ＣＧ画像と背景画像の融合画像を出力
するように構成したので、ＣＧ画像と背景画像の違和感
のない自然な融合を実現することができる効果がある。

【００８０】この発明によれば、ＣＧ画像と背景画像の
色調差を計算し、その色調差をＣＧ画像又は背景画像に
反映して、ＣＧ画像と背景画像の融合画像を出力するよ
うに構成したので、ＣＧ画像と背景画像の違和感のない
自然な融合を実現することができる効果がある。

【００８１】この発明によれば、ＣＧ画像と背景画像の
色調差を計算し、その色調差をＣＧ画像又は背景画像に
反映すると共にノイズをＣＧ画像に付加するように構成
したので、ＣＧ画像と背景画像の違和感のない自然な融
合を実現することができる効果がある。

【００８２】この発明によれば、生成段階のＣＧ画像を
処理対象にするように構成したので、高速にＣＧ画像と
背景画像との自然な融合画像を得ることができる効果が
ある。

【００８３】この発明によれば、背景画像として静止画
又は動画を用いるように構成したので、静止画や動画を
ＣＧ画像と違和感なく融合することができる効果があ
る。

【図面の簡単な説明】

【図１】 この発明の実施の形態１による画像融合装置
を示す構成図である。

【図２】 この発明の実施の形態１による画像融合方法
を示すフローチャートである。

【図３】 背景画像の一例を示す説明図である。

【図４】 この発明の実施の形態２による画像融合装置
を示す構成図である。

【図５】 この発明の実施の形態３による画像融合装置
を示す構成図である。

【図６】 この発明の実施の形態３による画像融合方法
を示すフローチャートである。

【図７】 この発明の実施の形態４による画像融合装置
を示す構成図である。

【図８】 この発明の実施の形態５による画像融合装置
を示す構成図である。

【図９】 ＣＧ形状データの基本である三角形の陰影付
け方法を示す説明図である。

【図１０】 従来の陰影付け装置を示す構成図である。

【図１１】 陰影付け方法を示す説明図である。

【符号の説明】

１１ ＣＧ画像、１２ 背景画像、１３ 背景画像、１
４ 選択手段、１５色調合せ手段、１６ ノイズ抽出手
段、１７ ノイズ付加手段、１８ 融合画像、１９ ノ
イズ発生手段、２０ 色調差計算手段、２１ 色調差反
映手段、３１ＣＧ形状データ、３２ 陰影付け手段、３
３ 色補間手段、３４ スキャンライン。

フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 5/272 Ｈ０４Ｎ 1/46 Ｚ Ｆターム(参考） 5B057 CA01 CB01 CE01 CE08 CE17 5C023 AA18 BA01 BA11 CA03 CA05 EA03 5C076 AA11 AA14 AA19 AA26 BA06 5C079 HB01 LA01 LA40 MA11 NA06

Claims (12)

【特許請求の範囲】
1. 【請求項１】 ＣＧ画像の背景画像に含まれているノイ
   ズを抽出するノイズ抽出手段と、上記ノイズ抽出手段に
   より抽出されたノイズを当該ＣＧ画像に付加して、当該
   ＣＧ画像と当該背景画像の融合画像を出力するノイズ付
   加手段とを備えた画像融合装置。
2. 【請求項２】 ＣＧ画像の背景画像に含まれているノイ
   ズに相当するノイズを発生するノイズ発生手段と、上記
   ノイズ発生手段から発生されたノイズを当該ＣＧ画像に
   付加して、当該ＣＧ画像と当該背景画像の融合画像を出
   力するノイズ付加手段とを備えた画像融合装置。
3. 【請求項３】 ＣＧ画像と背景画像の色調差を計算する
   色調差計算手段と、上記色調差計算手段により計算され
   た色調差を当該ＣＧ画像又は当該背景画像に反映して、
   当該ＣＧ画像と当該背景画像の融合画像を出力する色調
   差反映手段とを備えた画像融合装置。
4. 【請求項４】 ＣＧ画像と背景画像の色調差を計算する
   色調差計算手段と、上記色調差計算手段により計算され
   た色調差を当該ＣＧ画像又は当該背景画像に反映する色
   調差反映手段とを設けたことを特徴とする請求項１また
   は請求項２記載の画像融合装置。
5. 【請求項５】 ノイズ付加手段、または、色調差計算手
   段及び色調差反映手段は、生成段階のＣＧ画像を処理対
   象にすることを特徴とする請求項１から請求項４のうち
   のいずれか１項記載の画像融合装置。
6. 【請求項６】 背景画像として静止画又は動画を用いる
   ことを特徴とする請求項１から請求項５のうちのいずれ
   か１項記載の画像融合装置。
7. 【請求項７】 ＣＧ画像の背景画像に含まれているノイ
   ズを抽出し、そのノイズを当該ＣＧ画像に付加して、当
   該ＣＧ画像と当該背景画像の融合画像を出力する画像融
   合方法。
8. 【請求項８】 ＣＧ画像の背景画像に含まれているノイ
   ズに相当するノイズを発生し、そのノイズを当該ＣＧ画
   像に付加して、当該ＣＧ画像と当該背景画像の融合画像
   を出力する画像融合方法。
9. 【請求項９】 ＣＧ画像と背景画像の色調差を計算し、
   その色調差を当該ＣＧ画像又は当該背景画像に反映し
   て、当該ＣＧ画像と当該背景画像の融合画像を出力する
   画像融合方法。
10. 【請求項１０】 ＣＧ画像と背景画像の色調差を計算
    し、その色調差を当該ＣＧ画像又は当該背景画像に反映
    することを特徴とする請求項７または請求項８記載の画
    像融合方法。
11. 【請求項１１】 生成段階のＣＧ画像を処理対象にする
    ことを特徴とする請求項７から請求項１０のうちのいず
    れか１項記載の画像融合方法。
12. 【請求項１２】 背景画像として静止画又は動画を用い
    ることを特徴とする請求項７から請求項１１のうちのい
    ずれか１項記載の画像融合方法。