JP2000175217A

JP2000175217A - 画像処理装置及びその方法、及び画像処理システム

Info

Publication number: JP2000175217A
Application number: JP10342183A
Authority: JP
Inventors: Osamu Itokawa; 修糸川
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1998-12-01
Filing date: 1998-12-01
Publication date: 2000-06-23

Abstract

(57)【要約】【課題】クロマサブサンプリングされた画像データに
おいてオブジェクトを抽出する際に、抽出されたオブジ
ェクトがオブジェクト外の色を含んでしまうため、オブ
ジェクトの境界部分が不自然に色再現されるのみでな
く、抽出されたオブジェクトの符号化効率も低下してし
まう。【解決手段】ステップＳ１０６で所定のしきい値に基
づいてオブジェクトの輝度のテクスチャデータを作成
し、ステップＳ１０７でクロマのテクスチャデータの１
画素に対応する複数の輝度データがオブジェクト内であ
るか否かに応じて、クロマのオブジェクト境界画素を検
出し、ステップＳ１０８でオブジェクト境界でない画素
のみに対して、クロマの値を設定する。即ち、オブジェ
クト境界の画素はオブジェクト外とみなす。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像処理装置及びそ
の方法、及び画像処理システムに関し、特にカラー画像
におけるオブジェクトの抽出・合成処理を行う画像処理
装置及びその方法、及び画像処理システムに関する。

【０００２】

【従来の技術】近年、動画像の新しい符号化方式とし
て、ＭＰＥＧ４(Moving Picture Experts Group Phase
4)符号化方式が国際標準として規格化されつつある。

【０００３】従来のＭＰＥＧ２規格に代表される動画像
の符号化方式においては、フレームあるいはフィールド
を単位とした符号化を行なっていたが、動画像の映像や
音声を構成するコンテンツ(人物や建物，声，音，背景
等)の再利用や編集を実現するために、ＭＰＥＧ４規格
では映像データやオーディオ・データをオブジェクト
（物体）として扱うことを特徴とする。さらに、映像デ
ータに含まれる物体も独立して符号化され、それぞれも
オブジェクトとして扱うことができる。

【０００４】ＭＰＥＧ４規格によれば、オブジェクト毎
に符号化／復号化を行なうことにより、符号化効率の向
上、伝送路に応じたデータ配分、画像の再加工など、従
来は困難であったさまざまな応用が可能となる。

【０００５】このように、ＭＰＥＧ４規格の登場に伴っ
て、デジタル技術を利用して画像をオブジェクト毎に分
離、合成する処理が注目されている。

【０００６】オブジェクトの抽出・合成方法としては、
ブルーバック法と呼ばれる手法が良く知られている。こ
れは、スタジオセットなどで予めブルーの背景を用意し
ておき、該背景のもとで任意のオブジェクトを撮影した
画像に対して、スイッチャーによってブルーの背景部分
を別の背景画像に置き換えるものである。従って、該撮
影画像からオブジェクト抽出を行いたい場合には、ブル
ーの背景部分を他の背景データで置き換えずに、データ
なしとして処理すればよい。

【０００７】また、静止画像からのオブジェクト抽出に
際しては、エッジ部分を検出して抽出する方法や、信号
レベルにしきい値を設けて抽出する方法等が知られてい
る。

【０００８】

【発明が解決しようとする課題】しかしながら、上記従
来のオブジェクト抽出方法においては、以下に示す問題
があった。

【０００９】一般に、動画像データのフォーマットは、
視覚特性とデータ量の関係から、輝度（Ｙ）データに対
して色差（クロマ）データはサブサンプリングされてい
ることが多い。図１０に、クロマサブサンプリングされ
た動画像データにおける、Ｙデータ及びクロマデータの
画素配列の例を示す。図１０においては、Ｙの４画素に
対して、クロマのＣｒとＣｂが各１画素の割合となって
いる。即ち、Ｙの画素数に対して、クロマ（Ｃｒ及びＣ
ｂ）の画素数は半分である。従って、Ｙの解像度でオブ
ジェクトの境界が定められる場合、クロマの画素は、オ
ブジェクトの外部と内部の境界部分にまたがることがあ
る。このような場合、境界にまたがる画素はオブジェク
トの外側と内側の両方の色を含んでいることになる。

【００１０】上述したブルーバック法によるオブジェク
ト抽出は、クロマの画素のしきい値により、注目画素が
オブジェクトの内側であるか外側であるかを判断するの
で、境界にまたがる画素については、設定されたしきい
値によって、オブジェクトの内側であるか外側であるか
の判断結果が異なってしまう。従って、オブジェクトの
抽出結果はしきい値によって異なる。以下、図１１に示
す形状のオブジェクトを抽出する場合を例として、しき
い値によるオブジェクト抽出結果の違いについて説明す
る。

【００１１】まず、図１１に示す形状をなすオブジェク
トを抽出する場合、その理想的なＹ画素の抽出結果は図
１６に示すとおりとなる。しかしながら、上記ブルーバ
ック法においてクロマのしきい値を任意に設定してオブ
ジェクト抽出を行なう場合、抽出画素は図１２〜図１５
に示すようになる。

【００１２】図１２（ｂ）は、クロマのしきい値が低い
場合のオブジェクト抽出例を示し、境界にまたがる画素
はすべてオブジェクトの内側となるように設定されてい
る。ここでＹの抽出画素は、クロマの抽出結果に対応し
た範囲となるので、図１２（ａ）に示すような結果とな
る。

【００１３】図１３（ｂ）は、クロマのしきい値が高い
場合のオブジェクト抽出例を示し、境界にまたがる画素
はすべてオブジェクトの外側となるように設定されてい
る。ここでＹの抽出画素は同様に、クロマの抽出結果に
対応した範囲となるので、図１３（ａ）に示すような結
果となる。

【００１４】このようにクロマのしきい値を変更するこ
とにより、境界の画素をオブジェクトの内側もしくは外
側に設定することが可能であるが、しきい値が低い場合
及び高い場合のいずれも、図１１に示すオブジェクトの
形状とはかなり異なる抽出結果となってしまう。

【００１５】図１４および図１５は、境界にまたがる画
素の一部がオブジェクトの内側となり、一部が外側とな
るように、しきい値をやや高く又はやや低く設定した場
合のオブジェクト抽出例を示す。図１２および図１３と
比較して、目標とする形状には近づくが、図１６に示す
ような理想的な抽出結果は得られない。

【００１６】このように、図１６に示すような理想的な
抽出結果を得るためには、クロマのしきい値設定のみな
らず、Ｙの画素精度によるしきい値設定が必要となる。

【００１７】但し、ブルーバックのクロマしきい値設定
をＹにも拡張する、あるいは別の手法を用いることによ
り、図１６に示すようなＹの抽出結果が得られたとして
も、これに対応するクロマ画素の抽出形状は、Ｙの形状
の相似形とはならない。このため、境界上のクロマ画素
は、オブジェクトの外側の画素の色を含んでしまうこと
が避けられない。

【００１８】これは、以下に示す２つの問題を顕在化さ
せる。

【００１９】まず１つは、抽出されたオブジェクトを表
示させる際に、オブジェクトのエッジ部分に偽の色（オ
ブジェクトの外側の色）が付き、視覚的に不自然になっ
てしまうという問題である。

【００２０】そしてもう１つは、オブジェクトの外側の
色を含んだクロマデータは、隣接するオブジェクト内部
のクロマデータとは値が異なるため、符号化効率が低下
してしまうという問題である。

【００２１】本発明は上述した問題を解決するためにな
されたものであり、抽出されたオブジェクトが不自然に
色再現されることを回避する画像処理装置及びその方
法、及び画像処理システムを提供することを目的とす
る。

【００２２】また、画像の符号化効率を低下させること
なく、オブジェクトの抽出及び合成を可能とする画像処
理装置及びその方法、及び画像処理システムを提供する
ことを目的とする。

【００２３】

【課題を解決するための手段】上記目的を達成するため
の一手段として、本発明の画像処理装置は以下の構成を
備える。

【００２４】即ち、輝度信号及び色差信号からなる画像
データを入力する入力手段と、該輝度信号に基づいてオ
ブジェクト形状を表すシェイプデータを作成するシェイ
プデータ作成手段と、該輝度信号に基づいてオブジェク
トの絵柄を表すテクスチャデータの輝度成分を作成する
輝度テクスチャ作成手段と、該テクスチャデータの輝度
成分及び前記色差信号に基づいて該テクスチャデータの
色差成分を作成する色差テクスチャ作成手段と、を有
し、前記色差テクスチャ作成手段は、前記オブジェクト
の境界位置については前記テクスチャデータの色差成分
を作成しないことを特徴とする。

【００２５】また、画像のオブジェクト形状を示すシェ
イプデータと、該オブジェクトの絵柄を示す輝度成分と
色差成分からなるテクスチャデータを入力するオブジェ
クト入力手段と、該オブジェクトの合成対象となる対象
画像データを入力する対象画像入力手段と、前記対象画
像データに前記オブジェクトを合成する合成手段と、を
有し、該合成手段は、前記オブジェクトの境界位置につ
いては前記テクスチャデータの色差成分を周囲画素に基
づいて作成して合成することを特徴とする。

【００２６】また、輝度信号及び色差信号からなる第１
の画像データを入力する第１の入力手段と、合成対象と
なる第２の画像データを入力する第２の入力手段と、前
記第１の画像データの輝度信号に基づいてオブジェクト
形状を表すシェイプデータを作成するシェイプデータ作
成手段と、前記第１の画像データの輝度信号に基づいて
オブジェクトの絵柄を表すテクスチャデータの輝度成分
を作成する輝度テクスチャ作成手段と、該テクスチャデ
ータの輝度成分及び前記第１の画像データの色差信号に
基づいて該テクスチャデータの色差成分を作成する色差
テクスチャ作成手段と、前記シェイプデータ及び前記テ
クスチャデータからなるオブジェクトを前記第２の画像
データに合成する合成手段と、を有し、前記色差テクス
チャ作成手段は、前記オブジェクトの境界位置について
は前記テクスチャデータの色差成分を作成せず、該合成
手段は、前記オブジェクトの境界位置については前記テ
クスチャデータの色差成分を周囲画素に基づいて作成し
て合成することを特徴とする。

【００２７】

【発明の実施の形態】以下、本発明に係る一実施形態に
ついて、図面を参照して詳細に説明する。

【００２８】＜第１実施形態＞本実施形態においては、
オブジェクト抽出による符号化効率の低下を回避する例
について、図１〜図４を参照して説明する。

【００２９】図１は、本実施形態におけるオブジェクト
符号化を行なう画像処理装置の全体構成を示す図であ
る。

【００３０】本装置にはクロマサブサンプリングされた
画像データが入力される。そして、しきい値判定部２０
１において該画像データに対してＹ及びクロマデータ毎
にしきい値判定を行い、該判定結果に基づいて、シェイ
プデータ生成部２０２及びテクスチャデータ生成部２０
３においてそれぞれシェイプデータ及びテクスチャデー
タが生成される。シェイプデータはオブジェクトの形状
を表す２値データであり、例えばオブジェクトの外側に
位置する画素を０、内側に位置する画素を１とする。ま
た、テクスチャデータは絵柄を表すデータであり、輝度
（Ｙ）成分及びクロマ（Ｃr，Ｃb）成分からなる。ま
た、入力される画像のサイズに相当するシェイプデータ
のサイズは、入力画像データにおける輝度（Ｙ）データ
のサイズに等しい。これらシェイプデータとテクスチャ
データの組合わせにより、本実施形態のオブジェクトが
構成される。

【００３１】即ち、上記しきい値判定部２０１，シェイ
プデータ作成部２０２及びテクスチャデータ作成部２０
３によって、オブジェクトが抽出される。尚、オブジェ
クト抽出に関するしきい値判定及びシェイプデータ，テ
クスチャデータ作成の詳細アルゴリズムのについては、
後述する。

【００３２】そして、作成されたシェイプデータ及びテ
クスチャデータからなるオブジェクトは、オブジェクト
符号化部２０４において符号化されることにより、オブ
ジェクト対応画像のデータ圧縮が行われる。

【００３３】尚、オブジェクト符号化部２０４において
フレーム間の相関を利用した符号化を行なう場合には、
シェイプデータ及びテクスチャデータの符号化に加え、
更に動きベクトルの符号化を行なう。そしてこれらの符
号化データが多重化されることにより、該オブジェクト
のビットストリームとして出力される。

【００３４】以下、図２を参照して、本実施形態におけ
るオブジェクト抽出処理について詳細に説明する。

【００３５】図２は、オブジェクト抽出処理を示すフロ
ーチャートである。以下、本実施形態における入力画像
の画素のサンプリングパターンは図１０に示す配列をな
し、そのオブジェクトの形状は図１１に示す通りである
として説明する。尚、図１０に示すパターンにおいて
は、Ｙの縦横２画素ずつからなる４画素の範囲がクロマ
の各１画素に対応しているので、本実施形態のオブジェ
クト抽出処理においては、Ｙの４画素とＣｒ，Ｃｂの各
１画素により、オブジェクトの１ブロックを構成すると
考える。

【００３６】まずステップＳ１０１において、上記Ｙの
４画素（Ｙ0〜Ｙ3）とＣｒ，Ｃｂの各１画素からなるブ
ロックを作成する。そして、以下、ブロック内の画素に
ついてのしきい値判定を行なう。本実施形態のオブジェ
クトを構成するシェイプデータ及びテクスチャデータ
は、しきい値判定処理に伴って作成される。

【００３７】まずステップＳ１０２において、Ｃｒ，Ｃ
ｂが所定のしきい値の範囲内でなければ、Ｙに関する判
定を行なうまでもなく、このブロック内の画素はオブジ
ェクトの外側に位置するものであると判定し、ステップ
Ｓ１０３へ進む。一方、Ｃｒ，Ｃｂが該しきい値の範囲
内であれば、ステップＳ１０４へ進んでＹの判定を行な
う。ステップＳ１０４においては、Ｙ0〜Ｙ3の何れかの
画素が所定のしきい値の範囲内にあるか否かを判定し、
一つも範囲内に入っていない場合には、このブロック内
の画素はオブジェクトの外側に位置するとしてステップ
Ｓ１０３に進む。

【００３８】ステップＳ１０３では、当該ブロックに相
当する４つのシェイプデータを全て０に設定する。尚こ
の場合、ブロックはオブジェクト外であるため、ここで
はテクスチャデータの値は設定しない。

【００３９】一方、ステップＳ１０４においてＹ0〜Ｙ3
の少なくとも１つが該しきい値の範囲内にあればステッ
プＳ１０５に進み、該しきい値の範囲内にある画素の位
置をオブジェクトの内部とし、しきい値範囲外である画
素の位置をオブジェクトの外部として、シェイプデータ
を作成する。

【００４０】そしてステップＳ１０６では、しきい値の
範囲内に位置する画素について、Ｙの値をＹのテクスチ
ャデータとして設定する。

【００４１】次にクロマのテクスチャデータを設定する
が、まずステップＳ１０７で４つのＹ（Ｙ0〜Ｙ3）の全
てがオブジェクト内部にあるか否かを判定する。そし
て、全てがオブジェクト内部であれば、ステップＳ１０
８でＣｒ，Ｃｂの値をクロマのテクスチャデータとして
設定する。しかし、少なくとも１つがオブジェクト外部
であれば、当該ブロックはオブジェクト境界を構成する
ブロックであると判断する。即ち、境界上に位置する画
素はオブジェクトの外に位置するとして、本実施形態で
は特に値を設定しない。

【００４２】以上の様にして設定されたシェイプデータ
及びテクスチャデータの例を図３に示す。図３の（ａ）
及び（ｂ）は、それぞれＹ及びクロマのテクスチャデー
タ例を示し、図３の（ｃ）はシェイプデータ例を示す図
である。図３の（ｃ）においては、黒で示される画素が
オブジェクト内側と判定された画素であり、図３の
（ａ），（ｂ）においては、黒で示される画素が有意の
テクスチャデータが設定された画素である。言い替えれ
ば、図３の（ｃ）においては白で示される画素がオブジ
ェクト外側の画素であり、図３の（ａ），（ｂ）におい
ては、白で示される画素には任意の値が設定されてい
る。ここで、図３の（ａ）に示すＹのテクスチャデータ
は、図１６に示した理想的なＹのオブジェクト抽出結果
に一致することが分かる。

【００４３】図３によれば、Ｙのテクスチャデータとシ
ェイプデータとは同様の形状を呈し（３０１ａ及び３０
１ｃ）、クロマのテクスチャデータは、例えばＹのテク
スチャデータと照合すると、Ｙのブロック内の４画素が
全てオブジェクト内側である（有意データが設定されて
いる）ブロック（３０３ａ）に対応する画素のみに対し
て、Ｃｒ，Ｃｂの値が設定されている（３０３ｂ）こと
が分かる。即ち、ブロック内の４つのＹのうち、１つで
もオブジェクト外側であれば、クロマのテクスチャデー
タは設定されない（３０１ｂ，３０２ｂ）。

【００４４】以上のステップＳ１０１〜Ｓ１０８を繰り
返し、ステップＳ１０９において１つの画面上の全ての
画素に対する判定が終了した段階で、本実施形態のオブ
ジェクト抽出処理は終了する。

【００４５】以上のオブジェクト抽出処理により、オブ
ジェクトのシェイプデータは完成するが、テクスチャデ
ータについてはオブジェクトの内側については設定され
ているものの、オブジェクトの外側は任意の値のままと
なっている。

【００４６】従って、オブジェクト符号化部２０４にお
いては、オブジェクト外側のテクスチャデータを符号化
効率が向上するように設定した後、オブジェクトの符号
化を行なう。以下、本実施形態におけるオブジェクト外
側のテクスチャデータ設定について説明する。

【００４７】オブジェクト符号化部２０４においては、
オブジェクトの符号化を行なうに先立って、そのテクス
チャデータについて、オブジェクト外の画素の値を隣接
するオブジェクト内部の画素値に置き換える処理を行な
う。この処理はマクロブロックの単位で行われ、以下、
パディングと称する。パディングの詳細としては、オブ
ジェクト外のテクスチャデータに対して、まず水平方向
にオブジェクト内の画素値を埋め込んでいき（水平パデ
ィング）、次に、埋まらなかった部分については垂直方
向に、オブジェクト内の画素値を繰り返し埋め込んでい
く（垂直パディング）。

【００４８】図４は、マクロブロックのパディングの例
を示すである。ここでマクロブロックサイズは、Ｙが８
×８画素、クロマが４×４画素であるとする。図４にお
いて、黒で示される画素がオブジェクト内部の画素、横
線の入った画素が水平パディングにより設定された画
素、縦線が入った画素が垂直パディングにより設定され
た画素を示す。

【００４９】以上の処理によりシェイプデータ及びテク
スチャデータが完成し、オブジェクトが完全に抽出され
たことになる。するとオブジェクト符号化部２０４にお
いては、このテクスチャデータとシェイプデータをそれ
ぞれ符号化し、多重化することにより、抽出したオブジ
ェクトのビットストリームとして出力する。

【００５０】以上説明したように本実施形態のオブジェ
クト符号化によれば、オブジェクトの境界に跨がるクロ
マデータをオブジェクト内に含めず、更に、オブジェク
ト境界のクロマデータを、隣接するオブジェクト内部の
クロマデータと同じ値とすることにより、符号化効率を
向上させることができる。

【００５１】＜第２実施形態＞以下、本発明に係る第２
実施形態について説明する。

【００５２】第２実施形態においては、第１実施形態で
符号化されたオブジェクトを復号して、背景画像と合成
する例について説明する。

【００５３】図５は第２実施例におけるオブジェクト合
成を行なう画像処理装置の全体構成を示す図である。本
装置には、第１実施形態に示す画像処理装置から出力さ
れたオブジェクトの符号化データと、任意の背景画像の
符号化データとを多重化したビットストリームが入力さ
れる。該ビットストリームは、まず分離部５０１におい
て多重化された各データが分離され、オブジェクト符号
化データはオブジェクト復号部５０２に、背景符号化デ
ータは背景画像復号部５０３にそれぞれ入力される。

【００５４】オブジェクト復号部５０２においては更
に、オブジェクトデータをシェイプデータとテクスチャ
データに分離し、それぞれがシェイプデータ生成部５０
４，テクスチャデータ生成部５０５において復号され
る。尚、オブジェクトデータに時間方向の相関を利用し
た符号化がなされていた場合には、更に動きの復号処理
が加わる。そして、画像合成部５０６において、生成さ
れたシェイプデータに基づいて、オブジェクトのテクス
チャデータと背景画像とを合成し、合成画像を出力す
る。

【００５５】以下、図６を参照して、画像合成部５０６
におけるオブジェクト合成処理について詳細に説明す
る。

【００５６】まずステップＳ６０１において、サブサン
プル形状に応じたブロック化を行う。ここでは第１実施
形態と同様、Ｙが４画素、Ｃｒ，Ｃｂが各１画素の組み
合わせを１ブロックとする。

【００５７】そしてステップＳ６０２において、このブ
ロックに対応するシェイプデータがオブジェクト内であ
るか否かの判定を行う。即ち、ブロックに対応する４つ
のシェイプデータがすべて０であればオブジェクト外で
あると判定され、ステップＳ６０３にてブロック内すべ
ての画素について、Ｙ，Ｃｒ，Ｃｂとして背景画像デー
タを選択する。

【００５８】また、ステップＳ６０４において、４つの
シェイプデータがすべて１であればオブジェクト内であ
ると判定され、ステップＳ６０５にてブロック内すべて
の画素について、Ｙ，Ｃｒ，Ｃｂとしてオブジェクトの
テクスチャデータを選択する。

【００５９】一方、ステップＳ６０４において少なくと
も１つのシェイプデータがオブジェクト内であると判定
された場合には、Ｙとクロマとで異なる処理を行なう。
まずＹに関しては、ステップＳ６０６においてオブジェ
クトの形状どおりに、オブジェクトの内側はテクスチャ
データを、外側は背景画像を選択する。

【００６０】そしてクロマに関しては、まずステップＳ
６０７においてオブジェクト形状と周囲の画素値に基づ
く演算を行なうことにより、クロマの値を算出する。そ
してステップＳ６０８において、ステップＳ６０７で算
出したクロマ値と背景の値とを、ブロック内のオブジェ
クト内の画素比率に基づいて合成する。尚、このクロマ
の演算及び合成処理については後述する。

【００６１】以上のステップＳ６０１〜Ｓ６０８を繰り
返し、ステップＳ６０９において全ての画素に対する判
定が終了した段階で、当該オブジェクトにおけるオブジ
ェクト合成は終了する。

【００６２】以下、ステップＳ６０７〜Ｓ６０８に示し
た、少なくとも１つのシェイプデータがオブジェクト内
である場合のクロマの設定、及び画像合成処理につい
て、図７〜図９を参照して詳細に説明する。

【００６３】図７は、ステップＳ６０７に示したクロマ
のテクスチャデータの算出処理を示すフローチャートで
ある。まず、ステップＳ９０１において、周囲画素のク
ロマの値を検出する。図８に、現在対象としているター
ゲット画素Ａ及びその周囲画素Ｖ0〜Ｖ7の位置関係を示
す。以下、ターゲット画素Ａのクロマ値を算出する例に
ついて説明する。

【００６４】ステップＳ９０２において、周囲のクロマ
画素の有効性を判定する。ここで、クロマの周囲画素Ｖ
0〜Ｖ7の組み合わせとしては、２の８乗である２５６パ
ターンが存在するが、第２実施形態では、以下に示す方
法によってクロマの周囲画素の有効な組み合わせ（クロ
マパターン）を検出する。

【００６５】クロマのターゲット画素Ａには、それに対
応した、４画素からなるシェイプデータが存在する。第
２実施形態においては、周囲のクロマ画素が、ターゲッ
ト画素のシェイプデータの有効画素、即ちシェイプパタ
ーンに隣接しないような組み合わせについては、無効で
あると判定する。即ち、ターゲット画素Ａのシェイプパ
ターンと隣接するような周囲画素の組み合わせを、有効
と判定する。

【００６６】この有効性判定処理について、図９を参照
して説明する。図９の（ａ），（ｂ），（ｃ）は、それ
ぞれ背景色（白画素）が７５％，５０％，２５％として
合成を行なった場合の、ブロック内のシェイプデータ
（黒画素）が取り得るパターン（シェイプパターン）を
示す図である。例えば、クロマのターゲット画素Ａが図
９の（ａ）に示すシェイプパターン７０１に対応する場
合、クロマの周囲画素Ｖ1，Ｖ2，Ｖ4の組み合わせのみ
が有効となる。そして、それ以外の周囲画素の組み合わ
せは、ターゲット画素のシェイプパターンに隣接してい
ないため無効とする。

【００６７】従って、図９（ａ）に示すシェイプパター
ン７０１の場合、有効なクロマの周囲画素の組み合わせ
は、即ち周囲画素Ｖ1，Ｖ2，Ｖ4の組み合わせであるた
め、２の３乗である８パターンのクロマパターンを有す
ることになる。従って、図９（ａ）に示す背景色７５％
の場合、全部で４種類×８パターンのクロマパターンが
得られる。

【００６８】同様に、図９（ｂ）に示す背景色５０％の
場合は、ターゲット画素Ａのシェイプパターンに隣接す
るクロマの周囲画素は５つであるから、４種類×（２の
５乗）パターンのクロマデータが得られる。また、図９
（ｃ）に示す背景色２５％の場合は、ターゲット画素Ａ
のシェイプパターンに隣接するクロマの周囲画素は７つ
であるから、４種類×（２の７乗）パターンのクロマパ
ターンが得られる。ここで、図９（ａ）〜（ｃ）の各場
合共に、４つのシェイプパターンは向きが異なるのみで
あるため、パターン検出に対象性を用いれば、全部で８
＋３２＋１２８＝１６８のクロマパターンが検出され
る。

【００６９】次に図７のステップＳ９０３において、タ
ーゲット画素Ａと周囲画素との距離を算出する。ここ
で、ターゲット内の中心位置は、シェイプの重心とす
る。従って、対応するシェイプパターンによって、ター
ゲット画素Ａの中心位置は異なる。

【００７０】そしてステップＳ９０４において、該距離
と周囲画素のクロマ値とに基づいて、ターゲット画素Ａ
のクロマ値を算出する。周囲画素Ｖ0〜Ｖ7に対応するタ
ーゲット画素Ａの中心位置からの距離をそれぞれＤ0〜
Ｄ7とすると、ターゲット画素Ａのクロマ値は、以下に
示す式１によって算出される。

【００７１】Ａ＝〓(Ｖn／Ｄn)×〓Ｄn ・・・（式１）ただし、ｎはステップＳ９０２で有効と判定された周囲
画素、即ちクロマパターン内の画素のみとする。これに
より、ターゲット画素Ａのクロマ値を、周囲画素のクロ
マ値の平均として、距離に基づく重み付けを施して算出
することができる。

【００７２】ここで、上述したようにターゲット画素Ａ
と周囲画素との距離はシェイプパターンに依存するた
め、毎回計算する必要はなく、テーブルとして保持して
おくことにより、処理の高速化が図られる。また、距離
は画素値の重み付けに用いるのみであるため、高い精度
を要求しない場合には、整数に近似することも可能であ
る。

【００７３】次に、図６のステップＳ６０８に示す画像
合成処理について詳細に説明する。ステップＳ６０７に
おいて、上述した式１に基づいてターゲット画素Ａのク
ロマ値が算出できたら、次にステップＳ６０８において
背景画素との合成を行う。

【００７４】ここで、例えば図９（ａ）に示す背景色７
５％による合成を行なう場合、合成画像における背景の
比率は３／４である。同様に、図９（ｂ）に示す背景色
５０％の場合は２／４、図９（ｃ）に示す背景色２５％
の場合は１／４となる。ここで、オブジェクトのテクス
チャデータの画素値をＡ、背景の画素値をＢ、求める合
成画像の画素値をＣとすると、合成画像の画素値Ｃは、
以下に示す式２によって算出される。

【００７５】Ｃ＝(オブジェクト内シェイプデータ数)／(シェイプデータ数)×Ａ＋(オブジェクト外シェイプデータ数)／(シェイプデータ数)×Ｂ＝((オブジェクト内シェイプデータ数)×Ａ＋(オブジェクト外シェイプデータ数)×Ｂ)／(シェイプデータ数) ・・・（式２）式２において、（オブジェクト外シェイプデータ数）／
（シェイプデータ数）が、即ち背景の比率に相当する。

【００７６】以上説明したように第２実施形態のオブジ
ェクト合成によれば、オブジェクト境界に跨がるクロマ
画素の値を周囲画素のクロマ値に基づいて算出すること
により、背景画像とオブジェクト画像の境界において自
然な色再現が可能となる。

【００７７】尚、第２実施形態においては、背景画像と
１つのオブジェクトの計２つの画像を合成する例につい
て説明したが、同一位置に重なるオブジェクト、あるい
は接するオブジェクトが複数存在しても、各々のシェイ
プデータに基づいてその背景比率を求めることにより、
適切な画像合成を行なうことが可能である。

【００７８】尚、第２実施形態においては、上述した第
１実施形態で符号化されたオブジェクトを復号して、背
景画像と合成する例について説明したが、第１及び第２
実施形態で説明した装置を合成して１つの画像処理装置
とすることも可能である。この場合、各データの符号化
及び復号処理は必要なくなる。即ち、該装置に対してオ
ブジェクトを含んだ画像データと背景画像データとを並
行に入力し、第１実施形態で説明した方法で画像データ
からオブジェクトを抽出し、該オブジェクトを第２実施
形態で説明した方法で背景画像データに合成して、合成
画像を出力することができる。

【００７９】また、上述の各実施形態においては、Ｙ，
Ｃr，Ｃbが４:１:１の比率でカラー画像を表す場合につ
いて説明したが、本発明はこれ例に限定されず、Ｙ，Ｃ
r，Ｃbが４:１:０の比率である場合にも適用可能であ
る。

【００８０】

【他の実施形態】なお、本発明は、複数の機器（例えば
ホストコンピュータ，インタフェイス機器，リーダ，プ
リンタなど）から構成されるシステムに適用しても、一
つの機器からなる装置（例えば、複写機，ファクシミリ
装置など）に適用してもよい。

【００８１】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体を、システムあるいは装置に供給し、そ
のシステムあるいは装置のコンピュータ（またはＣＰＵ
やＭＰＵ）が記憶媒体に格納されたプログラムコードを
読出し実行することによっても、達成されることは言う
までもない。

【００８２】この場合、記憶媒体から読出されたプログ
ラムコード自体が前述した実施形態の機能を実現するこ
とになり、そのプログラムコードを記憶した記憶媒体は
本発明を構成することになる。

【００８３】プログラムコードを供給するための記憶媒
体としては、例えば、フロッピディスク，ハードディス
ク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ
−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭな
どを用いることができる。

【００８４】また、コンピュータが読出したプログラム
コードを実行することにより、前述した実施形態の機能
が実現されるだけでなく、そのプログラムコードの指示
に基づき、コンピュータ上で稼働しているＯＳ（オペレ
ーティングシステム）などが実際の処理の一部または全
部を行い、その処理によって前述した実施形態の機能が
実現される場合も含まれることは言うまでもない。

【００８５】さらに、記憶媒体から読出されたプログラ
ムコードが、コンピュータに挿入された機能拡張ボード
やコンピュータに接続された機能拡張ユニットに備わる
メモリに書込まれた後、そのプログラムコードの指示に
基づき、その機能拡張ボードや機能拡張ユニットに備わ
るＣＰＵなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。本発明を上記記憶
媒体に適用する場合、その記憶媒体には、先に説明した
フローチャートに対応するプログラムコードを格納する
ことになる。

【００８６】

【発明の効果】以上説明したように本発明によれば、抽
出されたオブジェクトを自然に色再現することができ
る。

【００８７】また、画像の符号化効率を低下させること
なく、オブジェクトの抽出及び合成が可能となる。

【００８８】

【図面の簡単な説明】

【図１】本発明に係る一実施形態における画像処理装置
の構成を示すブロック図である。

【図２】オブジェクト抽出処理を示すフローチャートで
ある。

【図３】抽出されたオブジェクトデータ例を示す図であ
る。

【図４】テクスチャデータのパディング例を示す図であ
る。

【図５】本発明に係る第２実施形態における画像処理装
置の構成を示すブロック図である。

【図６】オブジェクト合成処理を示すフローチャートで
ある。

【図７】クロマのテクスチャデータの算出処理を示すフ
ローチャートである。

【図８】クロマパターンの判定処理を説明するための画
素位置関係を示す図である。

【図９】クロマパターンの判定処理を説明するためのシ
ェイプパターン例を示す図である。

【図１０】クロマサブサンプリングされた動画像データ
における画素配列を示す図である。

【図１１】オブジェクトの形状を示す図である。

【図１２】クロマのしきい値が低い場合の抽出例を示す
図である。

【図１３】クロマのしきい値が高い場合の抽出例を示す
図である。

【図１４】クロマのしきい値がやや低い場合の抽出例を
示す図である。

【図１５】クロマのしきい値がやや高い場合の抽出例を
示す図である。

【図１６】理想的なＹの抽出画素を示す図である。

【符号の説明】２０１しきい値判定部２０２シェイプデータ作成部２０３テクスチャデータ作成部２０４オブジェクト符号化部５０１分離部５０２オブジェクト復号部５０３背景画像復号部５０４シェイプデータ生成部５０５テクスチャデータ生成部５０６画像合成部

フロントページの続きＦターム(参考） 2C262 AA24 AB13 BA16 BA17 CA03 EA06 5B057 CA16 CA18 CB16 CB18 CG02 CG07 5C057 AA03 AA12 AA13 BA00 EA02 EA07 EB02 EB03 EB12 EF01 EJ02 EL01 EM11 GF03 GH01 GH03 5C066 AA02 AA05 AA11 BA20 CA09 CA21 ED02 EE11 GA02 GA05 GA13 GA14 HA02 KD02 KD04 KE17 5C076 AA11

Claims

【特許請求の範囲】

【請求項１】輝度信号及び色差信号からなる画像デー
タを入力する入力手段と、該輝度信号に基づいてオブジェクト形状を表すシェイプ
データを作成するシェイプデータ作成手段と、該輝度信号に基づいてオブジェクトの絵柄を表すテクス
チャデータの輝度成分を作成する輝度テクスチャ作成手
段と、該テクスチャデータの輝度成分及び前記色差信号に基づ
いて該テクスチャデータの色差成分を作成する色差テク
スチャ作成手段と、と、を有し、前記色差テクスチャ作成手段は、前記オブジェクトの境
界位置については前記テクスチャデータの色差成分を作
成しないことを特徴とする画像処理装置。
【請求項２】更に、前記シェイプデータ及びテクスチ
ャデータを符号化する符号化手段を有することを特徴と
する請求項１記載の画像処理装置。
【請求項３】前記符号化手段は、前記テクスチャデー
タについては前記オブジェクトの内部に相当するデータ
でその他のデータをパディングすることを特徴とする請
求項２記載の画像処理装置。
【請求項４】前記入力手段は、前記輝度信号に対して
前記色差信号がサブサンプリングされた画像データを入
力することを特徴とする請求項１記載の画像処理装置。
【請求項５】前記入力手段は、前記輝度信号と前記色
差信号の比率が４対１である画像データを入力すること
を特徴とする請求項４記載の画像処理装置。
【請求項６】前記シェイプデータ作成手段及び前記輝
度テクスチャ作成手段は第１のブロック単位でシェイプ
データ及びテクスチャデータの輝度成分を作成し、前記色差テクスチャ作成手段は第２のブロック単位でテ
クスチャデータの色差成分を作成することを特徴とする
請求項１記載の画像処理装置。
【請求項７】前記第１のブロックと前記第２のブロッ
クのサイズは４対１の比率であることを特徴とする請求
項６記載の画像処理装置。
【請求項８】前記第１のブロックは４画素で構成さ
れ、前記第２のブロックは１画素で構成されることを特
徴とする請求項７記載の画像処理装置。
【請求項９】前記シェイプデータ作成手段及び前記輝
度テクスチャ作成手段は、前記入力された輝度信号が所
定範囲内であればオブジェクト内であると判定し、シェ
イプデータ及びテクスチャデータの輝度成分を前記第１
のブロック単位で作成することを特徴とする請求項６記
載の画像処理装置。
【請求項１０】前記色差テクスチャ作成手段は、前記
第１のブロック内のテクスチャデータの輝度成分が全て
オブジェクト内に位置する場合に、前記入力された色差
信号に基づいてテクスチャデータの色差成分を前記第２
のブロック単位で作成することを特徴とする請求項９記
載の画像処理装置。
【請求項１１】画像のオブジェクト形状を示すシェイ
プデータと、該オブジェクトの絵柄を示す輝度成分と色
差成分からなるテクスチャデータを入力するオブジェク
ト入力手段と、該オブジェクトの合成対象となる対象画像データを入力
する対象画像入力手段と、前記対象画像データに前記オブジェクトを合成する合成
手段と、を有し、該合成手段は、前記オブジェクトの境界位置については
前記テクスチャデータの色差成分を周囲画素に基づいて
作成して合成することを特徴とする画像処理装置。
【請求項１２】前記合成手段は、前記シェイプデータ
に基づいて前記オブジェクト境界位置を検出することを
特徴とする請求項１１記載の画像処理装置。
【請求項１３】前記合成手段は、前記シェイプデータ
がオブジェクト内を示す場合に前記テクスチャデータを
選択し、オブジェクト外を示す場合に前記対象画像デー
タを選択し、オブジェクト境界を示す場合に前記テクス
チャデータの色差成分を周囲画素に基づいて作成するこ
とを特徴とする請求項１２記載の画像処理装置。
【請求項１４】前記テクスチャデータの色差成分の１
画素は、前記シェイプデータ及び前記テクスチャデータ
の輝度成分のそれぞれ複数画素からなるブロックに対応
することを特徴とする請求項１３記載の画像処理装置。
【請求項１５】前記ブロックは４画素からなることを
特徴とする請求項１４記載の画像処理装置。
【請求項１６】前記合成手段は、前記ブロック内の前
記シェイプデータが全てオブジェクト内を示す場合は該
ブロックはオブジェクト内を示すと判断し、全てオブジ
ェクト外を示す場合は該ブロックはオブジェクト外を示
すと判断し、それ以外の場合は該ブロックはオブジェク
ト境界を示すと判断することを特徴とする請求項１４記
載の画像処理装置。
【請求項１７】前記合成手段は、前記オブジェクト境
界におけるターゲット画素のテクスチャデータの色差成
分を、その周囲画素の色差成分に基づいて作成すること
を特徴とする請求項１６記載の画像処理装置。
【請求項１８】前記周囲画素は、前記ターゲット画素
に対応する複数のシェイプデータのうち、オブジェクト
内を示すシェイプデータに隣接する画素であることを特
徴とする請求項１７記載の画像処理装置。
【請求項１９】前記合成手段は、前記周囲画素と前記
ターゲット画素との距離に応じた重み付けを行なって前
記周囲画素の色差成分の平均値を算出し、前記ターゲッ
ト画素の色差成分とすることを特徴とする請求項１７記
載の画像処理装置。
【請求項２０】前記合成手段は、前記ターゲット画素
の中心位置を、対応するオブジェクト内を示すシェイプ
データの重心位置とすることを特徴とする請求項１９記
載の画像処理装置。
【請求項２１】前記合成手段は、前記算出した平均値
を、前記ターゲット画素に対応する複数のシェイプデー
タが示す状態の比率に基づいて前記対象画像データと合
成することを特徴とする請求項１９記載の画像処理装
置。
【請求項２２】更に、前記ターゲット画素に対応する
複数のシェイプデータの取り得る状態の組み合わせに基
づいて、前記周囲画素の色差成分の平均値を予め算出し
たテーブルを備えることを特徴とする請求項１９記載の
画像処理装置。
【請求項２３】前記オブジェクト入力手段は、前記シ
ェイプデータとテクスチャデータとを符号化したオブジ
ェクトデータを入力し、それぞれを復号することを特徴
とする請求項１１記載の画像処理装置。
【請求項２４】前記対象画像入力手段は、前記対象画
像データの符号化データを入力し、復号することを特徴
とする請求項１１記載の画像処理装置。
【請求項２５】更に、前記オブジェクトデータ及び前
記対象画像データが多重化された信号を入力する入力手
段を有し、該入力手段は、該信号を分離して前記オブジェクトデー
タ及び前記対象画像データのそれぞれを前記オブジェク
ト入力手段及び前記対象画像入力手段に分配することを
特徴とする請求項１１記載の画像処理装置。
【請求項２６】輝度信号及び色差信号からなる第１の
画像データを入力する第１の入力手段と、合成対象となる第２の画像データを入力する第２の入力
手段と、前記第１の画像データの輝度信号に基づいてオブジェク
ト形状を表すシェイプデータを作成するシェイプデータ
作成手段と、前記第１の画像データの輝度信号に基づいてオブジェク
トの絵柄を表すテクスチャデータの輝度成分を作成する
輝度テクスチャ作成手段と、該テクスチャデータの輝度成分及び前記第１の画像デー
タの色差信号に基づいて該テクスチャデータの色差成分
を作成する色差テクスチャ作成手段と、前記シェイプデータ及び前記テクスチャデータからなる
オブジェクトを前記第２の画像データに合成する合成手
段と、を有し、前記色差テクスチャ作成手段は、前記オブジェクトの境
界位置については前記テクスチャデータの色差成分を作
成せず、該合成手段は、前記オブジェクトの境界位置については
前記テクスチャデータの色差成分を周囲画素に基づいて
作成して合成することを特徴とする画像処理装置。
【請求項２７】画像信号からオブジェクトを抽出する
オブジェクト抽出装置と、該抽出されたオブジェクトを
画像データと合成するオブジェクト合成装置とを接続し
た画像処理システムであって、前記オブジェクト抽出装置は、輝度信号及び色差信号からなる画像データを入力する入
力手段と、該輝度信号に基づいてオブジェクト形状を表すシェイプ
データを作成するシェイプデータ作成手段と、該輝度信号に基づいてオブジェクトの絵柄を表すテクス
チャデータの輝度成分を作成する輝度テクスチャ作成手
段と、該テクスチャデータの輝度成分及び前記色差信号に基づ
いて該テクスチャデータの色差成分を作成する色差テク
スチャ作成手段と、前記シェイプデータ及びテクスチャデータを符号化する
符号化手段と、を有し、前記色差テクスチャ作成手段は、前記オブジェクトの境
界位置については前記テクスチャデータの色差成分を作
成しないことを特徴とし、前記オブジェクト合成装置は、前記オブジェクト抽出装置において抽出されたシェイプ
データとテクスチャデータを入力するオブジェクト入力
手段と、該オブジェクトの合成対象となる対象画像データを入力
する対象画像入力手段と、前記対象画像データに前記オブジェクトを合成する合成
手段と、を有し、該合成手段は、前記オブジェクトの境界位置については
前記テクスチャデータの色差成分を周囲画素に基づいて
作成して合成することを特徴とする画像処理システム。
【請求項２８】輝度信号及び色差信号からなる画像デ
ータを入力する入力工程と、該輝度信号に基づいてオブジェクト形状を表すシェイプ
データを作成するシェイプデータ作成工程と、該輝度信号に基づいてオブジェクトの絵柄を表すテクス
チャデータの輝度成分を作成する輝度テクスチャ作成工
程と、該テクスチャデータの輝度成分及び前記色差信号に基づ
いて該テクスチャデータの色差成分を作成する色差テク
スチャ作成工程と、前記シェイプデータ及びテクスチャデータを符号化する
符号化工程と、を有し、前記色差テクスチャ作成工程においては、前記オブジェ
クトの境界位置については前記テクスチャデータの色差
成分を作成しないことを特徴とする画像処理方法。
【請求項２９】画像のオブジェクト形状を示すシェイ
プデータと、該オブジェクトの絵柄を示す輝度成分と色
差成分からなるテクスチャデータを入力するオブジェク
ト入力工程と、該オブジェクトの合成対象となる対象画像データを入力
する対象画像入力工程と、前記対象画像データに前記オブジェクトを合成する合成
工程と、を有し、該合成工程においては、前記オブジェクトの境界位置に
ついては前記テクスチャデータの色差成分を周囲画素に
基づいて作成して合成することを特徴とする画像処理方
法。
【請求項３０】輝度信号及び色差信号からなる第１の
画像データを入力する第１の入力工程と、合成対象となる第２の画像データを入力する第２の入力
工程と、前記第１の画像データの輝度信号に基づいてオブジェク
ト形状を表すシェイプデータを作成するシェイプデータ
作成工程と、前記第１の画像データの輝度信号に基づいてオブジェク
トの絵柄を表すテクスチャデータの輝度成分を作成する
輝度テクスチャ作成工程と、該テクスチャデータの輝度成分及び前記第１の画像デー
タの色差信号に基づいて該テクスチャデータの色差成分
を作成する色差テクスチャ作成工程と、前記シェイプデータ及び前記テクスチャデータからなる
オブジェクトを前記第２の画像データに合成する合成工
程と、を有し、前記色差テクスチャ作成工程においては、前記オブジェ
クトの境界位置については前記テクスチャデータの色差
成分を作成せず、該合成工程においては、前記オブジェクトの境界位置に
ついては前記テクスチャデータの色差成分を周囲画素に
基づいて作成して合成することを特徴とする画像処理方
法。
【請求項３１】画像データを入力する入力工程と、前記画像データ内のオブジェクト形状を表すシェイプデ
ータを作成するシェイプデータ作成工程と、該シェイプデータに基づいて、前記オブジェクトの絵柄
を表す輝度信号と色差信号のそれぞれの画素をオブジェ
クトの内側と外側に分類する分類工程と、オブジェクト境界に対応する画素を検出する検出工程
と、を有し、前記分類工程においては、前記色差信号の画素を分類す
る際に、前記検出工程で検出されたオブジェクト境界の
画素についてはオブジェクトの外側であるとして分類す
ることを特徴とする画像処理方法。
【請求項３２】画像のオブジェクト形状を表すシェイ
プデータと、該シェイプデータに対応するオブジェクト
画像データを入力する第１の入力工程と、合成対象となる対象画像データを入力する第２の入力工
程と、前記シェイプデータに基づいて前記オブジェクト画像デ
ータと前記対象画像データのいずれかの画素を選択する
選択工程と、前記シェイプデータに基づいてオブジェクト境界にある
境界画素を検出する検出工程と、該境界画素の値をその周囲画素の位置及び値に基づいて
算出する境界画素値算出工程と、該境界画素の値と対応する対象画像データの画素値に基
づいて合成後の画素の値を算出する合成画素値算出工程
と、を有することを特徴とする画像処理方法。
【請求項３３】画像処理のプログラムコードが記録さ
れた記録媒体であって、該プログラムコードは、輝度信号及び色差信号からなる画像データを入力する入
力工程のコードと、該輝度信号に基づいてオブジェクト形状を表すシェイプ
データを作成するシェイプデータ作成工程のコードと、該輝度信号に基づいてオブジェクトの絵柄を表すテクス
チャデータの輝度成分を作成する輝度テクスチャ作成工
程のコードと、該テクスチャデータの輝度成分及び前記色差信号に基づ
いて該テクスチャデータの色差成分を作成する色差テク
スチャ作成工程のコードと、前記シェイプデータ及びテクスチャデータを符号化する
符号化工程のコードと、を含み、前記色差テクスチャ作成工程においては、前記オブジェ
クトの境界位置については前記テクスチャデータの色差
成分を作成しないことを特徴とする記録媒体。
【請求項３４】画像処理のプログラムコードが記録さ
れた記録媒体であって、該プログラムコードは、画像のオブジェクト形状を示すシェイプデータと、該オ
ブジェクトの絵柄を示す輝度成分と色差成分からなるテ
クスチャデータを入力するオブジェクト入力工程のコー
ドと、該オブジェクトの合成対象となる対象画像データを入力
する対象画像入力工程のコードと、前記対象画像データに前記オブジェクトを合成する合成
工程のコードと、を含み、該合成工程においては、前記オブジェクトの境界位置に
ついては前記テクスチャデータの色差成分を周囲画素に
基づいて作成して合成することを特徴とする記録媒体。
【請求項３５】画像処理のプログラムコードが記録さ
れた記録媒体であって、該プログラムコードは、輝度信号及び色差信号からなる第１の画像データを入力
する第１の入力工程のコードと、合成対象となる第２の画像データを入力する第２の入力
工程のコードと、前記第１の画像データの輝度信号に基づいてオブジェク
ト形状を表すシェイプデータを作成するシェイプデータ
作成工程のコードと、前記第１の画像データの輝度信号に基づいてオブジェク
トの絵柄を表すテクスチャデータの輝度成分を作成する
輝度テクスチャ作成工程のコードと、該テクスチャデータの輝度成分及び前記第１の画像デー
タの色差信号に基づいて該テクスチャデータの色差成分
を作成する色差テクスチャ作成工程のコードと、前記シェイプデータ及び前記テクスチャデータからなる
オブジェクトを前記第２の画像データに合成する合成工
程のコードと、を含み、前記色差テクスチャ作成工程においては、前記オブジェ
クトの境界位置については前記テクスチャデータの色差
成分を作成せず、該合成工程においては、前記オブジェクトの境界位置に
ついては前記テクスチャデータの色差成分を周囲画素に
基づいて作成して合成することを特徴とする記録媒体。