JP2000278709A

JP2000278709A - 画像処理装置及びその方法、及び画像処理システム

Info

Publication number: JP2000278709A
Application number: JP8046199A
Authority: JP
Inventors: Osamu Itokawa; 修糸川
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1999-03-24
Filing date: 1999-03-24
Publication date: 2000-10-06

Abstract

(57)【要約】【課題】クロマサブサンプリング画像においては、オ
ブジェクトを抽出する際に符号化効率が低下してしま
う。また、抽出されたオブジェクトを背景画像と合成す
る際に、不自然に色再現されてしまう。【解決手段】オブジェクト抽出の際に、オブジェクト
境界にまたがるクロマ画素の値を周囲画素のクロマ値に
基づいて算出する（Ｓ１０６）ことにより、符号化効率
を向上させることができる。また、オブジェクト合成の
際には、境界にまたがるクロマデータを背景データとオ
ブジェクトデータの比率に基づいて合成することによ
り、自然な色再現が可能になる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像処理装置及びそ
の方法、及び画像処理システムに関し、特にカラー画像
におけるオブジェクトの抽出・合成処理を行う画像処理
装置及びその方法、及び画像処理システムに関する。

【０００２】

【従来の技術】近年、動画像の新しい符号化方式とし
て、ＭＰＥＧ４(Moving Picture Experts Group Phase
4)符号化方式が国際標準として規格化されつつある。

【０００３】従来のＭＰＥＧ２規格に代表される動画像
の符号化方式においては、フレームあるいはフィールド
を単位とした符号化を行なっていたが、動画像の映像や
音声を構成するコンテンツ(人物や建物，声，音，背景
等)の再利用や編集を実現するために、ＭＰＥＧ４規格
では映像データやオーディオ・データをオブジェクト
（物体）として扱うことを特徴とする。さらに、映像デ
ータに含まれる物体も独立して符号化され、それぞれも
オブジェクトとして扱うことができる。

【０００４】ＭＰＥＧ４規格によれば、オブジェクト毎
に符号化／復号化を行なうことにより、符号化効率の向
上、伝送路に応じたデータ配分、画像の再加工など、従
来は困難であったさまざまな応用が可能となる。

【０００５】このように、ＭＰＥＧ４規格の登場に伴っ
て、デジタル技術を利用して画像をオブジェクト毎に分
離、合成する処理が注目されている。

【０００６】ＭＰＥＧ４規格において扱うオブジェクト
としては、輝度(Ｙ)データ及び色差(クロマ)データで示
されるテクスチャ（絵柄）データそのものの他に、形状
を表すシェイプデータと、オブジェクトの透過度を表す
αデータがある。ただし、オブジェクトに半透明の状態
が存在しない場合には、αデータは省略される。従っ
て、以下においてαデータに関する説明は省略する。

【０００７】一般に動画像データは、視覚特性及びデー
タ量の関係から、Ｙデータに対してクロマデータを水
平、垂直方向共に１／２にサブサンプリングした４：
２：０と呼ばれるフォーマットとなっている。図１５
に、該フォーマット、即ち、クロマサブサンプリングさ
れた動画像データにおける、Ｙデータ及びクロマデータ
の画素配列の例を示す。図１５によれば、Ｙの４画素に
対して、クロマのＣｒとＣｂが各１画素の割合となって
いることが分かる。

【０００８】また、ＭＰＥＧ４規格における任意形状の
オブジェクトは、図１６に示すように、オブジェクトを
包含する「バウンディングボックス」と呼ばれる領域１
００１として抽出され、設定される。即ち、図１６にお
けるオブジェクトは、バウンディングボックス１００１
内の人物像である。バウンディングボックス１００１
は、マクロブロック１００２のサイズの整数比となり、
その絶対位置は画面左上からの距離で表される。

【０００９】マクロブロック１００２の構成を図１７に
示す。即ち、マクロブロック１００２は、Ｙデータが８
×８サイズの４ブロック、Ｃｂ，Ｃｒデータがそれぞれ
８×８サイズの１ブロック、及び１６×１６サイズのシ
ェイプデータによって構成される。

【００１０】抽出されたバウンディングボックス１００
１内において、オブジェクトの外側のテクスチャデータ
に対しては、符号化効率が向上するように、オブジェク
ト内部のテクスチャデータに置換する処理が施される。
この処理は「パディング」と呼ばれる処理であり、マク
ロブロック単位で行われる。

【００１１】また、抽出したオブジェクトと他の画像
（背景データ）との合成は、基本的にはオブジェクト抽
出処理と逆の手順によって行われる。

【００１２】このように、エンコーダ側において予めパ
ディング処理を施しておくことにより、オブジェクトの
境界が滑らかになるため、エッジとなる場合と比べて符
号化効率の向上が図られる。尚、デコーダ側において
は、エンコーダ側と逆の処理が行われるため、パディン
グされていた部分は背景データに置き換えられる。

【００１３】

【発明が解決しようとする課題】上述した従来のＭＰＥ
Ｇ４規格に準じたオブジェクトの抽出及び合成処理にお
いては、Ｙデータについてはシェイプデータと同様の解
像度であるため問題ないが、クロマデータについては、
その解像度は水平、垂直ともにシェイプデータの半分で
あるため、境界マクロブロックにおけるデータ形状によ
っては、クロマの画素がオブジェクトの外部と内部にま
たがってしまうことがある。これは、以下の２つの問題
を顕在化させる。

【００１４】まず１つは、オブジェクトの外側の色を含
んだクロマデータは、隣接するオブジェクト内部のクロ
マデータとは値が異なるため、符号化効率が低下してし
まう問題である。そしてもう１つは、このオブジェクト
を他の画像と合成して表示させる際に、オブジェクトの
エッジ部分に偽の色（オブジェクトの外側の色）が付
き、視覚的に不自然になってしまうという問題である。

【００１５】ここで、図１４（ｃ），（ｄ）を参照して
上記問題について更に詳しく説明する。図１４（ｃ）は
境界マクロブロックにおけるシェイプデータのブロック
化の例を示す図であり、図１４（ｄ）はこのときのクロ
マのパディング処理後のデータを示しており、Ｃ１から
Ｃ７で示した各画素がテクスチャデータ１３０５、横線
の入った画素が水平パディングデータ１３０４、縦線の
入った画素が垂直パディングデータ１３０６を示してい
る。図１４（ｄ）において、Ｃ１，Ｃ３，Ｃ５，Ｃ６，
Ｃ７の画素に上記問題が発生しうる。

【００１６】まずＣ１では、４つのシェイプデータに対
し、オブジェクト内部と外部のデータ比率が２：２であ
るので、クロマデータはオブジェクト内部の色と外部の
色が５０％ずつ混合されていると考えることができる。
同様にＣ３の場合は、内部と外部の比率が３：１なの
で、内部の色が７５％であり影響は少ないと考えられ
る。しかしＣ５の場合は、内部と外部の比率が１：３な
ので、内部の色はわずか２５％にすぎない。このこと
は、符号化効率と色再現性に大きな問題を生じる。

【００１７】Ｃ１の場合、５０％はオブジェクト外部の
色なので、Ｃ２とのデータの連続性が悪くなる。また水
平パディングデータはＣ１データの繰り返しになるの
で、符号化の際にはＣ１とＣ２の間のエッジが高周波成
分となり、符号化効率を低下させることになる。またＣ
５の場合には内部の色が２５％なので、更にギャップは
大きくなり、高周波成分が発生しやすくなる。

【００１８】また、抽出したオブジェクトを他の背景デ
ータと合成する際には、本来Ｃ１位置では背景データ５
０％、オブジェクトデータ５０％となるべきであるが、
オブジェクトデータがそのまま選択されるため、抽出時
の背景データが５０％含まれた状態で合成されてしま
う。更にＣ５の位置では、もともとオブジェクト内部の
色を２５％しか含んでいないので、合成後の画像では、
７５％が抽出時の背景色となり、本来のオブジェクトの
色とは異なる不自然な色再現となってしまう。

【００１９】本発明は上述した問題を解決するためにな
されたものであり、クロマサブサンプリング画像におい
て、符号化効率を低下させることなく、オブジェクトの
抽出を可能とする画像処理装置及びその方法、及び画像
処理システムを提供することを目的とする。

【００２０】また、抽出されたオブジェクトの自然な色
再現による背景画像との合成を可能とする画像処理装置
及びその方法、及び画像処理システムを提供することを
目的とする。

【００２１】

【課題を解決するための手段】上記目的を達成するため
の一手段として、本発明の画像処理装置は以下の構成を
備える。

【００２２】即ち、オブジェクト画像を含む画像を表す
データを入力する入力手段と、前記オブジェクト画像の
形状を表すシェイプデータを作成する作成手段と、前記
データ中の輝度信号に基づいて、前記オブジェクトの輝
度を表す第１テクスチャデータを発生する輝度テクスチ
ャ発生手段と、前記データ中の色差信号に基づいて、前
記オブジェクトの色を表す第２テクスチャデータを発生
する色差テクスチャ発生手段と、前記シェイプデータ及
び前記第１及び第２テクスチャデータを出力する出力手
段と、を有し、前記色差テクスチャ発生手段は、前記オ
ブジェクトの境界部の前記第２テクスチャデータを、該
境界部の周囲かつ前記オブジェクト内に位置する色差成
分を用いて新たに作成することを特徴とする。

【００２３】また、画像のオブジェクトの形状を示すシ
ェイプデータと、該オブジェクトの絵柄を示す輝度成分
と色差成分からなるテクスチャデータを入力する入力手
段と、前記オブジェクトの境界位置における前記色差成
分を周囲画素に基づいて新たに生成する生成手段と、前
記シェイプデータ及び前記新たな色差成分を含むテクス
チャデータとを符号化する符号化手段と、を有すること
を特徴とする。

【００２４】また、画像のオブジェクトの形状を示すシ
ェイプデータと、該オブジェクトの絵柄を示す輝度成分
と色差成分からなるテクスチャデータを入力するオブジ
ェクト入力手段と、該オブジェクトの合成対象となる対
象画像データを入力する対象画像入力手段と、前記オブ
ジェクトの境界位置における前記色差成分を、該位置に
対応するシェイプデータに基づいて新たに生成する生成
手段と、前記対象画像データに前記新たな色差成分を含
む前記オブジェクトを合成する合成手段と、を有するこ
とを特徴とする。

【００２５】

【発明の実施の形態】以下、本発明に係る一実施形態に
ついて、図面を参照して詳細に説明する。

【００２６】＜第１実施形態＞本実施形態においては、
オブジェクト抽出による符号化効率の低下を回避する例
について説明する。

【００２７】●一般的なパディング処理まず、ＭＰＥＧ４規格に準じたオブジェクト抽出処理の
際に行われる、一般的なパディング処理について詳細に
説明する。

【００２８】オブジェクトとして抽出されたバウンディ
ングボックス内において、オブジェクトの外側のテクス
チャデータに対しては、符号化効率が向上するように、
オブジェクト内部のテクスチャデータに置換するパディ
ング処理が施される。これはマクロブロック単位で行わ
れ、オブジェクトの状態により次の３種類のいずれかの
方法を取る。

【００２９】シェイプデータがオブジェクトの内部と
外部にまたがっている場合の、境界マクロブロックパデ
ィング処理。

【００３０】シェイプデータがオブジェクトの外部
で、かつ境界マクロブロックに隣接している場合の、マ
クロブロックパディング処理。

【００３１】上記２つの場合以外の、マクロブロック
パディング処理。

【００３２】ここで、上記各場合のパディング処理につ
いて詳細に説明する。

【００３３】まず、の境界マクロブロックにおけるパ
ディング処理を、図１１と図１２を参照して説明する。

【００３４】図１１は、Ｙ（輝度）データに対する境界
マクロブロックパディング処理を示すフローチャートで
ある。シェイプデータとＹデータとは解像度が一致して
いるため、１画素単位で判定を行えばよい。まずステッ
プＳ１４０１で、シェイプデータがオブジェクトの外部
であるか否かを判定し、外部であればステップＳ１４０
２にてパディング対象データとする。一方、オブジェク
ト内部と判定されれば、ステップＳ１４０３にてテクス
チャデータ（オブジェクトの画像データ）をそのまま出
力データとして採用する。マクロブロック内のすべての
画素に対して判定を終了したら（Ｓ１４０４）、パディ
ング対象となったデータに対してパディング処理を行
う。まずステップＳ１４０５にて水平のパディング処理
を行う。これは、オブジェクト外部のデータを水平方向
にオブジェクト内部のデータで埋めていく処理である。
次に水平パディングで埋められなかった画素を、ステッ
プＳ１４０６の垂直パディング処理により埋めていく。

【００３５】ここで、図１３は境界マクロブロック例を
示す図であり、図１４は該境界マクロブロックのパディ
ング処理例を示す図である。尚、ここでは説明のため、
マクロブロックサイズを一時的に８×８画素とする。図
１４（ａ）は境界マクロブロックにおけるシェイプデー
タの例であり、黒丸がオブジェクト内部、白丸がオブジ
ェクト外部の画素を示している。図１４（ｂ）は、この
ときのＹのパディング処理後のデータを示しており、Ｙ
１からＹ１９で示した各画素がテクスチャデータ１３０
２、横線の入った画素が水平パディングデータ１３０
１、縦線の入った画素が垂直パディングデータ１３０３
を示している。

【００３６】また、図１２は、クロマデータに対する境
界マクロブロックパディング処理を示すフローチャート
である。クロマデータにはＣｂデータとＣｒデータの２
種類があるが、いずれも同じ処理を行うため、ここでは
特に区別せずに説明する。クロマデータの解像度は、シ
ェイプデータの水平、垂直ともに半分なので、シェイプ
データ４画素に対してクロマ１画素での判定を行う。

【００３７】まずステップＳ１５０１でシェイプデータ
４画素分をブロック化する。次にステップＳ１５０２で
ブロック内の４つのシェイプデータが全てオブジェクト
の外部であるか否かを判定する。全てがオブジェクトの
外部であれば、ステップＳ１５０３にてパディング対象
データとする。一方、一つでもオブジェクト内部である
と判定されれば、ステップＳ１６０４にてテクスチャデ
ータをそのまま出力データとして採用する。マクロブロ
ック内のすべての画素に対して判定を終了したら（Ｓ１
５０５）、パディング対象となったデータに対してパデ
ィング処理を行う。まずステップＳ１５０６にて水平パ
ディング処理を行い、次に水平パディングで埋められな
かった画素をステップＳ１５０７の垂直パディング処理
により埋めていく。

【００３８】ここで、図１４（ｃ）は境界マクロブロッ
クにおけるシェイプデータのブロック化の例を示す図で
あり、図１４（ｄ）はこのときのクロマのパディング処
理後のデータを示しており、Ｃ１からＣ７で示した各画
素がテクスチャデータ１３２５、横線の入った画素が水
平パディングデータ１３０４、縦線の入った画素が垂直
パディングデータ１３０６を示している。

【００３９】次に、のシェイプデータがオブジェクト
の外部で、かつ境界マクロブロックに隣接している場合
のマクロブロックパディング処理について説明する。こ
のパディング処理は、拡張パディングと呼ばれる。ま
ず、参照マクロブロックにおいて、どの方向に境界マク
ロブロックが隣接しているかを、左、上、右、下の優先
順位で調べる。隣接している境界マクロブロックが見つ
かったら、その境界位置のデータを水平または垂直方向
に繰り返しコピーする。

【００４０】次に、の上記，以外のマクロブロッ
クパディング処理について説明する。即ち、シェイプデ
ータがオブジェクトの外部で、かつ境界マクロブロック
に隣接していない場合のパディング処理であり、一定値
パディングと呼ばれ、マクロブロック内の全データを
「１２８」の一定値とする。

【００４１】このように、エンコーダ側において予めパ
ディング処理を施しておくことにより、オブジェクトの
境界が滑らかになるため、エッジとなる場合と比べて符
号化効率の向上が図られる。

【００４２】●本実施形態のオブジェクト符号化装置図１は、本実施形態におけるオブジェクト符号化を行な
う画像処理装置の全体構成を示す図である。

【００４３】画像入力部２０１では、処理する画像フォ
ーマットに合わせたデータの整合を行う。例えば入力画
像がアナログ信号であればＡ／Ｄ変換を、ＲＧＢデータ
であればＹＣｂＣｒ変換を行なう。またあるいは、クロ
マサブサンプリング処理による４：２：０のフォーマッ
ト変換、といった処理を行う。

【００４４】オブジェクト抽出部２０２においては、オ
ブジェクトの存在する領域を検出し、シェイプデータの
生成を行う。また、シェイプデータの形状に基づいてバ
ウンディングボックスを形成し、マクロブロックの生成
も行う。尚、オブジェクト抽出の方法としては、クロマ
キーを用いたしきい値処理や、動的輪郭モデルを用いた
方法等があるが、本実施形態はこれらの抽出方法に何ら
依存するものではないため、どのような方法によりオブ
ジェクト抽出を行なっても良い。

【００４５】Ｙパディングブロック生成部２０３では、
マクロブロック単位でＹデータのパディング処理を行
う。マクロブロック内のデータがすべてオブジェクト内
ならば、パディング処理は必要ない。即ち、境界マクロ
ブロック、拡張パディング対象マクロブロック、一定値
パディング対象マクロブロックに対してのみ、パディン
グ処理を行う。

【００４６】クロマデータ生成部２０４では、境界マク
ロブロックのうち、クロマデータがオブジェクトの内外
にまたがるものに対し、新たなデータ生成を行うもので
ある。クロマデータ生成部２０４における処理の詳細に
ついては、後述する。

【００４７】クロマパディングブロック生成部２０５で
は、マクロブロック単位でクロマデータのパディング処
理を行う。マクロブロック内のデータがすべてオブジェ
クト内ならば、パディング処理は必要ない。即ち、境界
マクロブロック、拡張パディング対象マクロブロック、
一定値パディング対象マクロブロックに対してのみ、パ
ディング処理を行う。尚、境界マクロブロックのうち、
クロマデータがオブジェクトの内外にまたがるものに対
しては、クロマデータ生成部２０４で生成されたデータ
を使用する。クロマパディングブロック生成部２０５に
おける処理の詳細については、後述する。

【００４８】全てのマクロブロックのパディング処理が
終了すると、オブジェクト符号化部２０６において符号
化処理を行う。Ｙ（輝度）とクロマ（色差）のテクスチ
ャデータに対しては、ＤＣＴや量子化、可変長符号化等
の処理が行われる。シェイプデータに対しては、ＣＡＥ
(Context-based Arithmetic Encoding)と呼ばれる算術
符号化が行われる。尚、オブジェクト符号化部２０６に
おいて生成されるのは１つのビデオオブジェクトのスト
リームであり、複数のストリームを扱うためには、この
後多重化の処理が必要となる。

【００４９】●クロマデータ生成処理概要以下、クロマデータ生成部２０４及びクロマパディング
ブロック部２０５におけるクロマデータの生成及びパデ
ィング処理について、図２及び図３のフローチャートを
参照して詳細に説明する。

【００５０】本実施形態におけるクロマデータは、マク
ロブロック単位に図２のフローチャートに従って処理さ
れる。まずステップＳ１０１において、シェイプデータ
の４画素を１つの単位としてブロック化する。そしてス
テップＳ１０２でこのブロック内のシェイプデータがす
べてオブジェクト外であるか否かを判定し、オブジェク
ト外であれば、ステップＳ１０３でパディング対象デー
タとして設定する。一方、一つでもオブジェクト内であ
れば、更にステップＳ１０４にてシェイプデータがすべ
てオブジェクト内であるか否かの判定を行う。すべてオ
ブジェクト内であれば、ステップＳ１０５でテクスチャ
データ（オブジェクトのクロマデータそのもの）として
設定する。

【００５１】ステップＳ１０２，Ｓ１０４のいずれでも
ないと判定されたブロックは即ち、クロマデータがオブ
ジェクトの内外にまたがつていることを意味している。
このようなブロックに対しては、ステップＳ１０６にて
クロマデータの生成を行う。このステップＳ１０６にお
けるクロマデータ生成処理の詳細については、図３を用
いて後述する。

【００５２】そしてステップＳ１０７でマクロブロック
内のすべての画素に対し、上記処理が終了したか否かを
判定し、終了するまでステップＳ１０２〜Ｓ１０７の処
理を繰り返す。マクロブロック内の全画素についての処
理が終了したら、上記ステップＳ１０３においてパディ
ング対象として設定されたデータに対するパディング処
理を実行する。即ち、まずステップＳ１０８で水平方向
のパディング処理を行い、次にステップＳ１０９にて垂
直方向のパディング処理を行う。以上の処理により、マ
クロブロック内のクロマデータはすべて決定されたこと
になる。

【００５３】●クロマデータ生成処理詳細上述したステップＳ１０６におけるクロマデータの生成
処理は、クロマデータ生成部２０４において行われる。
以下、図３のフローチャートを参照して、本実施形態に
おけるクロマデータ生成処理について詳細に説明する。

【００５４】まず、ステップＳ５０１において、周囲画
素のクロマの値を検出する。ここで、対象となるデータ
は周囲８画素のデータとし、その位置関係を図４に示
す。図４におけるＡが生成しようとしているターゲット
の位置、Ｖ0〜Ｖ7が隣接位置を示している。以下、ター
ゲット画素Ａのクロマ値を算出する例について説明す
る。

【００５５】ここで、クロマの周囲画素Ｖ0〜Ｖ7の組み
合わせとしては、２の８乗である２５６パターンが存在
するが、この中には無効なパターンも含まれている。従
ってステップＳ９０２において、周囲のクロマ画素の有
効性を判定する。以下、有効なパターン（クロマパター
ン）を導出する方法について説明する。

【００５６】クロマのターゲット画素Ａには、それに対
応した、４画素からなるシェイプデータが存在する。本
実施形態では周囲のクロマ画素が、ターゲット画素のシ
ェイプデータの有効画素、即ちシェイプパターンに隣接
しないような組み合わせについては、無効であると判定
する。即ち、ターゲット画素Ａのシェイプパターンと隣
接するような周囲画素の組み合わせを、有効と判定す
る。

【００５７】この有効性判定処理をステップＳ５０２に
おいて行なうが、以下図５を参照して該判定方法を説明
する。図５の（ａ），（ｂ），（ｃ）は、それぞれ背景
色（図中の白画素）が７５％，５０％，２５％として合
成を行なった場合の、ブロック内のシェイプデータ（図
中の黒画素）が取り得るパターン（シェイプパターン）
を示す図である。例えば、クロマのターゲット画素Ａが
図５の（ａ）に示すシェイプパターン７０１に対応する
場合、クロマの周囲画素Ｖ1，Ｖ2，Ｖ4の組み合わせの
みが有効となる。そして、それ以外の周囲画素の組み合
わせは、ターゲット画素のシェイプパターンに隣接して
いないため無効とする。

【００５８】従って、シェイプパターン７０１の場合、
有効なクロマの周囲画素の組み合わせは、即ち周囲画素
Ｖ1，Ｖ2，Ｖ4の組み合わせであるため、２の３乗の８
パターンとなる。従って、図５（ａ）に示す背景色７５
％の場合、全部で４種類×８パターンが有効となる。

【００５９】同様に、図５（ｂ）に示す背景色５０％の
場合は、ターゲット画素Ａのシェイプパターンに隣接す
るクロマの周囲画素は５つであるから、４種類×（２の
５乗）パターンが有効となる。また、図５（ｃ）に示す
背景色２５％の場合は、ターゲット画素Ａのシェイプパ
ターンに隣接するクロマの周囲画素は７つであるから、
４種類×（２の７乗）パターンが有効となる。ここで、
図５（ａ）〜（ｃ）の各場合共に、４つのシェイプパタ
ーンは向きが異なるのみであるため、その対象性を考慮
することにより、全部で８＋３２＋１２８＝１６８パタ
ーンが有効となる。

【００６０】次に図３のステップＳ５０３において、タ
ーゲット画素Ａと有効な周囲画素との距離を算出する。
これは、距離による重み付けを行なって平均値を算出す
るための処理である。ここで、ターゲット内の中心位置
は、シェイプの重心とする。従って、対応するシェイプ
パターンによって、ターゲット画素Ａの中心位置は異な
る。

【００６１】そしてステップＳ５０４において、画素間
距離と周囲画素のクロマ値とに基づいて、ターゲット画
素Ａのクロマ値を算出する。周囲画素Ｖ0〜Ｖ7に対応す
るターゲット画素Ａの中心位置からの距離をそれぞれＤ
0〜Ｄ7とすると、ターゲット画素Ａのクロマ値は、以下
に示す式１によって算出される。

【００６２】Ａ＝ Σ(Ｖn／Ｄn)×ΣＤn ・・・（式１）ただし、ｎはステップＳ５０２で有効と判定された周囲
画素のみとする。これにより、ターゲット画素Ａのクロ
マ値を、周囲画素のクロマ値の平均として、距離に基づ
く重み付けを施して算出することができる。

【００６３】ここで、上述したようにターゲット画素Ａ
と周囲画素との距離はシェイプパターンに依存するた
め、毎回計算する必要はなく、テーブルとして保持して
おくことにより、処理の高速化が図られる。また、距離
は画素値の重み付けに用いるのみであるため、高い精度
を要求しない場合には、整数に近似することも可能であ
る。

【００６４】また、更に簡便な方法としては、有効と判
定された周囲画素のうち、最も近距離にある画素の値を
もって、ターゲット画素のクロマ値とすることも可能で
ある。この方法によれば、例えば図１４（ｄ）に示す例
において、Ｃ１の値はＣ２に等しくなり、このラインの
水平パディングデータはすべてＣ２と等しくなる。同様
に、Ｃ３の値はＣ４と等しくなり、このラインの水平パ
ディングデータはすべてＣ４と等しくなる。

【００６５】以上説明した方法によって、オブジェクト
の外側の色を含めずにクロマデータを生成することがで
きる。従って、オブジェクト境界にまたがるクロマデー
タにおいて、隣接するオブジェクト内部のクロマデータ
とのギャップが小さくて済むため、オブジェクト符号化
部２０８における符号化効率が向上する。

【００６６】以上説明したように本実施形態によれば、
クロマサブサンプリング画像におけるオブジェクト抽出
の際に、オブジェクト境界にまたがるクロマ画素の値を
周囲画素のクロマ値に基づいて算出することにより、ク
ロマデータにおける符号化効率を向上させることができ
る。

【００６７】＜第２実施形態＞以下、本発明に係る第２
実施形態について説明する。第２実施形態においては、
オブジェクトを復号し、別の背景画像との自然な合成を
行なう例について説明する。

【００６８】●一般的なオブジェクト合成処理まず、ＭＰＥＧ４規格に準じて抽出されたオブジェクト
を他の画像（背景データ）と合成する、一般的なオブジ
ェクト合成処理について詳細に説明する。オブジェクト
合成処理は、基本的にはオブジェクト抽出処理と逆の手
順を踏めばよい。ここでは、境界マクロブロックの合成
処理についてのみ説明する。

【００６９】図６は、Ｙデータの合成処理例を示すフロ
ーチャートである。シェイプデータとＹデータとは解像
度が一致しているため、１画素単位で判定を行えばよ
い。まずステップＳ１６０１でシェイプデータがオブジ
ェクトの外部であるか否かを判定し、外部であればステ
ップＳ１６０２にて背景データを選択する。一方、オブ
ジェクト内部と判定されれば、ステップＳ１６０３にて
テクスチャデータ（オブジェクトデータ）をそのまま採
用する。マクロブロック内全てのデータの処理が終わっ
た段階で（Ｓ１６０４）、この合成処理を終了する。

【００７０】図７は、クロマデータの合成処理例を示す
フローチャートである。クロマデータの解像度は、シェ
イプデータの水平、垂直ともに半分なので、シェイプデ
ータ４画素に対してクロマ１画素での判定を行う。まず
ステップＳ１７０１でシェイプデータ４画素分をブロッ
ク化する。次にステップＳ１７０２でブロック内の４つ
のシェイプデータが全てオブジェクトの外部であるか否
かを判定する。全てがオブジェクトの外部であれば、ス
テップＳ１７０３にて背景データを選択する。一方、一
つでもオブジェクト内部と判定されれば、ステップＳ１
７０４にてテクスチャデータ（オブジェクトのデータ）
をそのまま採用する。マクロブロック内全てのデータの
処理が終わった段階で（Ｓ１７０５）、この合成処理を
終了する。

【００７１】以上のように、デコード側においてはエン
コード側と逆の処理によってテクスチャデータを合成す
ることにより、デコード側においてパディングされてい
た部分は背景データに置き換えられる。

【００７２】●第２実施形態のオブジェクト合成装置図８は、第２実施形態におけるオブジェクトの復号及び
合成を行なう画像処理装置の全体構成を示す図である。

【００７３】分離部４０１では、多重化されたビットス
トリームの分離を行う。ここでは、多重化されているビ
ットストリームは、背景画像に関するデータと、画像オ
ブジェクトに関するデータの２種類として説明する。分
離部４０１にて分離された各ストリームデータは、オブ
ジェクト復号部４０２、背景画像復号部４０３にそれぞ
れ送られる。

【００７４】オブジェクト復号部４０２では、テクスチ
ャデータがマクロブロック単位により、可変長復号化や
逆量子化、及び逆ＤＣＴ等の処理を経て復号される。ま
たシェイプデータも算術復号等の処理を経て、マクロブ
ロック単位に復号される。背景画像復号化部４０３にお
いても同様の復号処理により、背景画像データが復号さ
れる。

【００７５】Ｙデータ選択部４０４では、シェイプデー
タの値に基づき、テクスチャデータとしてオブジェクト
のＹデータを採用するか、背景のＹデータを採用するか
を選択する。

【００７６】クロマデータ生成部４０５では、境界マク
ロブロックのうち、クロマデータがオブジェクトの内外
にまたがるものに対して、新たなクロマデータを生成す
る。クロマデータ生成部４０５における処理の詳細につ
いては、後述する。

【００７７】クロマデータ選択部４０６では、シェイプ
データの値に基づき、テクスチャデータとしてオブジェ
クトのクロマデータを採用するか、背景のクロマデータ
を採用するか、又はクロマデータ生成部４０５で生成し
たデータを採用するかを選択す。クロマデータ選択部４
０６における処理の詳細については、後述する。

【００７８】画像出力部４０７では、Ｙデータ選択部４
０４及びクロマデータ選択部４０６における選択により
合成された各データを、出力フォーマットに変換する処
理を行う。例えば、サブサンプリングデータのアップサ
ンプリング処理や、ＹＣｂＣｒデータのＲＧＢ変換、ア
ナログ出力を行なう場合のＤ／Ａ変換等の処理が行われ
る。

【００７９】●クロマデータ生成処理以下、クロマデータ生成部４０５及びクロマデータ選択
部４０６におけるクロマデータの生成及び選択処理につ
いて、図９のフローチャートを参照して詳細に説明す
る。まずステップＳ３０１において、シェイプデータの
４画素を１つの単位としてまとめるブロック化処理を行
なう。ステップＳ３０２でこのブロック内のシェイプデ
ータがすべてオブジェクト外であるか否かを判定し、オ
ブジェクト外であれば、ステップＳ３０３で背景のクロ
マデータを選択する。一方、一つでもオブジェクト内で
あれば、更にステップＳ３０４にて全てのシェイプデー
タがオブジェクト内であるか否かを判定する。すべてオ
ブジェクト内であれば、ステップＳ３０５で、テクスチ
ャデータ（オブジェクトのクロマデータそのもの）を選
択する。

【００８０】ステップＳ３０２，Ｓ３０４のいずれでも
ないと判定されたブロックは即ち、クロマデータがオブ
ジェクトの内外にまたがつていることを意味している。
このようなブロックに対しては、ステップＳ３０６にて
合成データの生成を行う。このステップＳ３０６におけ
る合成データ生成処理の詳細については、図１０を用い
て後述する。

【００８１】そしてステップＳ３０７でマクロブロック
内のすべての画素に対し、上記処理が終了したか否かを
判定し、終了するまでステップＳ３０２〜Ｓ３０７の処
理を繰り返す。マクロブロック内の全画素についての処
理が終了したと判定された時点で、マクロブロック内の
クロマデータはすべて決定されたことになる。

【００８２】●クロマデータ合成処理上述したステップＳ３０６におけるクロマデータの合成
処理は、クロマデータ生成部４０５において行われる。
以下、図１０のフローチャートを参照して、本実施形態
におけるクロマデータ合成処理について詳細に説明す
る。

【００８３】まず、ステップＳ６０１でブロック内のシ
ェイプデータの背景とオブジェクトの比率を求める。そ
してステップＳ６０２で、該比率に応じて背景データと
オブジェクトデータの合成を行う。

【００８４】例えば図５（ａ）に示すシェイプパターン
例においては背景の比率が３／４、となり、同様に図５
（ｂ）の場合は２／４、図５（ｃ）の場合は１／４とな
る。ここで、オブジェクトのクロマデータの値をＡ、背
景のクロマデータの値をＢ、求める合成クロマデータの
値をＣとすると、一般式は、Ｃ＝（（オブジェクト内シェイプデータ数）×Ａ＋（オブジェクト外シェイプデータ数）×Ｂ）／（全シェイプデータ数）・・・（式２）で表される。尚、式２における「全シェイプデータ数」
は即ち、クロマの１画素に対応するシェイプデータ数で
あり、第２実施形態においては「４」である。

【００８５】以上説明したように第２実施形態によれ
ば、オブジェクトの合成処理の際に、境界にまたがるク
ロマデータを背景データとオブジェクトデータの比率に
基づいて合成することにより、自然な色再現が可能にな
る。

【００８６】尚、第２実施形態は、上述した第１実施形
態とは独立して実施することが可能であるが、オブジェ
クトのエンコード側に第１実施形態を適用し、デコード
側に第２実施形態を適用することにより、合成後の色再
現性を更に向上させることが可能である。

【００８７】＜他の実施形態＞なお、本発明は、複数の
機器（例えばホストコンピュータ、インタフェイス機
器、リーダ、プリンタなど）から構成されるシステムに
適用しても、一つの機器からなる装置（例えば、複写
機、ファクシミリ装置など）に適用してもよい。

【００８８】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体（または記録媒体）を、システムあるい
は装置に供給し、そのシステムあるいは装置のコンピュ
ータ（またはCPUやMPU）が記憶媒体に格納されたプログ
ラムコードを読み出し実行することによっても、達成さ
れることは言うまでもない。この場合、記憶媒体から読
み出されたプログラムコード自体が前述した実施形態の
機能を実現することになり、そのプログラムコードを記
憶した記憶媒体は本発明を構成することになる。また、
コンピュータが読み出したプログラムコードを実行する
ことにより、前述した実施形態の機能が実現されるだけ
でなく、そのプログラムコードの指示に基づき、コンピ
ュータ上で稼働しているオペレーティングシステム(OS)
などが実際の処理の一部または全部を行い、その処理に
よって前述した実施形態の機能が実現される場合も含ま
れることは言うまでもない。

【００８９】さらに、記憶媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された機能拡張カー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書込まれた後、そのプログラムコードの指示
に基づき、その機能拡張カードや機能拡張ユニットに備
わるCPUなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。

【００９０】本発明を上記記憶媒体に適用する場合、そ
の記憶媒体には、先に説明した（図２，図３，図９，図
１０に示す）フローチャートに対応するプログラムコー
ドが格納されることになる。

【００９１】

【発明の効果】以上説明したように本発明によれば、ク
ロマサブサンプリング画像において、符号化効率を低下
させることなく、オブジェクトを抽出することが可能と
なる。

【００９２】また、抽出されたオブジェクトの自然な色
再現による背景画像との合成が可能となる。

【図面の簡単な説明】

【図１】本発明に係る一実施形態における画像処理装置
の構成を示すブロック図、

【図２】本実施形態におけるクロマデータ処理を示すフ
ローチャート、

【図３】本実施形態におけるクロマデータ生成処理を示
すフローチャート、

【図４】ターゲットおよびその周囲のクロマ画素の位置
関係を示す図、

【図５】ブロック内のシェイプパターン例を示す図、

【図６】Ｙデータの合成処理を示すフローチャート、

【図７】クロマデータの合成処理を示すフローチャー
ト、である。

【図８】本発明に係る第２実施形態における画像処理装
置の構成を示すブロック図、

【図９】第２実施形態におけるクロマデータ処理を示す
フローチャート、

【図１０】第２実施形態におけるクロマデータ合成処理
を示すフローチャート、

【図１１】Ｙデータの抽出・パディング処理を示すフロ
ーチャート、

【図１２】クロマデータの抽出・パディング処理を示す
フローチャート、

【図１３】境界マクロブロックを説明するための図、

【図１４】境界マクロブロックを説明するための図、

【図１５】クロマサブサンプリングされた画素配列を示
す図、

【図１６】バウンディングボックスを説明するための
図、

【図１７】マクロブロック構成を説明するための図、

【符号の説明】

２０１画像入力部２０２オブジェクト抽出部２０３Ｙパディングブロック生成部２０４クロマデータ生成部２０５クロマパディングブロック生成部２０６オブジェクト符号化部４０１分離部４０２オブジェクト復号部４０３背景画像復号部４０４Ｙデータ選択部４０５クロマデータ生成部４０６クロマデータ選択部４０７画像出力部

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5C057 AA06 CE10 EA02 EA07 ED01 ED10 EL01 EM09 EM13 GH05 5C059 KK01 LA00 LA01 MA00 MA23 MB01 MB14 MB16 MB27 MC38 ME01 ME11 PP16 PP25 PP28 PP29 SS20 UA02 5C078 AA09 BA21 BA66 CA00 DA00 DA01 DA11 DA16 DB00 DB05 9A001 EE04 EZ02 EZ05 HH27 HH28 JJ71 KK54

Claims

【特許請求の範囲】

【請求項１】オブジェクト画像を含む画像を表すデー
タを入力する入力手段と、前記オブジェクト画像の形状を表すシェイプデータを作
成する作成手段と、前記データ中の輝度信号に基づいて、前記オブジェクト
の輝度を表す第１テクスチャデータを発生する輝度テク
スチャ発生手段と、前記データ中の色差信号に基づいて、前記オブジェクト
の色を表す第２テクスチャデータを発生する色差テクス
チャ発生手段と、前記シェイプデータ及び前記第１及び第２テクスチャデ
ータを出力する出力手段と、を有し、前記色差テクスチャ発生手段は、前記オブジェクトの境
界部の前記第２テクスチャデータを、該境界部の周囲か
つ前記オブジェクト内に位置する色差成分を用いて新た
に作成することを特徴とする画像処理装置。
【請求項２】前記第２テクスチャデータは、前記第１
テクスチャデータよりも低解像度であることを特徴とす
る請求項１記載の画像処理装置。
【請求項３】前記第２テクスチャデータは、前記シェ
イプデータよりも低解像度であることを特徴とする請求
項１記載の画像処理装置。
【請求項４】前記シェイプデータ及び前記第１テクス
チャデータは、同一の解像度であることを特徴とする請
求項１記載の画像処理装置。
【請求項５】前記出力手段は、前記シェイプデータ及
び前記第１及び第２テクスチャデータを符号化して出力
することを特徴とする請求項１記載の画像処理装置。
【請求項６】オブジェクト画像を含む画像を表すデー
タを入力する入力工程と、前記オブジェクト画像の形状を表すシェイプデータを作
成する作成工程と、前記データ中の輝度信号に基づいて、前記オブジェクト
の輝度を表す第１テクスチャデータを発生する輝度テク
スチャ発生工程と、前記データ中の色差信号に基づいて、前記オブジェクト
の色を表す第２テクスチャデータを発生する色差テクス
チャ発生工程と、前記シェイプデータ及び前記第１及び第２テクスチャデ
ータを出力する出力工程と、を有し、前記色差テクスチャ発生工程においては、前記オブジェ
クトの境界部の前記第２テクスチャデータを、該境界部
の周囲かつ前記オブジェクト内に位置する色差成分を用
いて新たに作成することを特徴とする画像処理方法。
【請求項７】画像のオブジェクトの形状を示すシェイ
プデータと、該オブジェクトの絵柄を示す輝度成分と色
差成分からなるテクスチャデータを入力する入力手段
と、前記オブジェクトの境界位置における前記色差成分を周
囲画素に基づいて新たに生成する生成手段と、前記シェイプデータ及び前記新たな色差成分を含むテク
スチャデータとを符号化する符号化手段と、を有するこ
とを特徴とする画像処理装置。
【請求項８】更に、前記新たな色差成分を含むテクス
チャデータについて、前記オブジェクトの内部に相当す
るデータの値でその他のデータをパディングするパディ
ング手段を備え、前記符号化手段は、前記パディングされたテクスチャデ
ータを符号化することを特徴とする請求項７記載の画像
処理装置。
【請求項９】前記生成手段は、前記シェイプデータに
基づいて前記オブジェクト境界位置を検出することを特
徴とする請求項８記載の画像処理装置。
【請求項１０】前記生成手段は、処理対象の色差成分
に対応する前記シェイプデータがオブジェクト内を示す
場合に該色差成分をそのまま出力し、オブジェクト外を
示す場合に該色差成分を前記パディング手段におけるパ
ディング対象として設定し、オブジェクト境界を示す場
合に前記色差成分を周囲画素に基づいて新たに作成する
ことを特徴とする請求項９記載の画像処理装置。
【請求項１１】前記色差成分の１画素は、前記シェイ
プデータ及び前記輝度成分のそれぞれ複数画素からなる
ブロックに対応することを特徴とする請求項１０記載の
画像処理装置。
【請求項１２】前記ブロックは、前記シェイプデータ
及び前記輝度成分の４画素からなることを特徴とする請
求項１０記載の画像処理装置。
【請求項１３】前記生成手段は、前記ブロック内の前
記シェイプデータが全てオブジェクト内を示す場合は該
ブロックはオブジェクト内を示すと判断し、全てオブジ
ェクト外を示す場合は該ブロックはオブジェクト外を示
すと判断し、それ以外の場合は該ブロックはオブジェク
ト境界を示すと判断することを特徴とする請求項１１記
載の画像処理装置。
【請求項１４】前記生成手段は、前記オブジェクト境
界におけるターゲット画素の色差成分を、その周囲画素
の色差成分に基づいて作成することを特徴とする請求項
１３記載の画像処理装置。
【請求項１５】前記周囲画素は、前記ターゲット画素
に対応する複数のシェイプデータのうち、オブジェクト
内を示すシェイプデータに隣接する画素であることを特
徴とする請求項１４記載の画像処理装置。
【請求項１６】前記生成手段は、前記周囲画素と前記
ターゲット画素との距離に応じた重み付けを行なって前
記周囲画素の色差成分の平均値を算出し、前記ターゲッ
ト画素の色差成分とすることを特徴とする請求項１４記
載の画像処理装置。
【請求項１７】前記生成手段は、前記ターゲット画素
の中心位置を、対応するオブジェクト内を示すシェイプ
データの重心位置とすることを特徴とする請求項１６記
載の画像処理装置。
【請求項１８】更に、前記ターゲット画素に対応する
複数のシェイプデータの取り得る状態の組み合わせに基
づいて、前記周囲画素の色差成分の平均値を予め算出し
たテーブルを備えることを特徴とする請求項１６記載の
画像処理装置。
【請求項１９】前記入力手段は、画像データから前記
シェイプデータ及びテクスチャデータを抽出して入力す
ることを特徴とする請求項７記載の画像処理装置。
【請求項２０】画像のオブジェクトの形状を示すシェ
イプデータと、該オブジェクトの絵柄を示す輝度成分と
色差成分からなるテクスチャデータを入力するオブジェ
クト入力手段と、該オブジェクトの合成対象となる対象画像データを入力
する対象画像入力手段と、前記オブジェクトの境界位置における前記色差成分を、
該位置に対応するシェイプデータに基づいて新たに生成
する生成手段と、前記対象画像データに前記新たな色差成分を含む前記オ
ブジェクトを合成する合成手段と、を有することを特徴
とする画像処理装置。
【請求項２１】前記生成手段は、処理対象の色差成分
に対応する前記シェイプデータがオブジェクト境界を示
す場合に、前記色差成分を新たに生成することを特徴と
する請求項２０記載の画像処理装置。
【請求項２２】前記合成手段は、処理対象の色差成分
に対応する前記シェイプデータがオブジェクト内を示す
場合に該色差成分を選択し、オブジェクト外を示す場合
に前記対象画像データを選択し、オブジェクト境界を示
す場合に前記生成手段により新たに生成された色差成分
を選択することにより、合成を行なうことを特徴とする
請求項２１記載の画像処理装置。
【請求項２３】前記色差成分の１画素は、前記シェイ
プデータ及び前記輝度成分のそれぞれ複数画素からなる
ブロックに対応することを特徴とする請求項２２記載の
画像処理装置。
【請求項２４】前記ブロックは、前記シェイプデータ
及び前記輝度成分の４画素からなることを特徴とする請
求項２３記載の画像処理装置。
【請求項２５】前記生成手段は、処理対象の色差成分
に対応する複数のシェイプデータがオブジェクト内部に
ある比率に基づいて、新たな色差成分を生成することを
特徴とする請求項２３記載の画像処理装置。
【請求項２６】前記生成手段は、処理対象の色差成分
に対応する複数のシェイプデータがオブジェクト内部に
ある比率に基づいて該色差成分及び前記対象画像データ
を合成することにより、新たな色差成分を生成すること
を特徴とする請求項２５記載の画像処理装置。
【請求項２７】前記合成手段は、前記ブロック内の前
記シェイプデータが全てオブジェクト内を示す場合は該
ブロックはオブジェクト内を示すと判断し、全てオブジ
ェクト外を示す場合は該ブロックはオブジェクト外を示
すと判断し、それ以外の場合は該ブロックはオブジェク
ト境界を示すと判断することを特徴とする請求項２３記
載の画像処理装置。
【請求項２８】前記オブジェクト入力手段は、前記シ
ェイプデータとテクスチャデータとを符号化したオブジ
ェクトデータを入力し、それぞれを復号することを特徴
とする請求項２０記載の画像処理装置。
【請求項２９】前記対象画像入力手段は、前記対象画
像データの符号化データを入力し、復号することを特徴
とする請求項２０記載の画像処理装置。
【請求項３０】更に、前記オブジェクトデータ及び前
記対象画像データが多重化された信号を入力する入力手
段を有し、該入力手段は、該信号を分離して前記オブジェクトデー
タ及び前記対象画像データのそれぞれを前記オブジェク
ト入力手段及び前記対象画像入力手段に分配することを
特徴とする請求項２０記載の画像処理装置。
【請求項３１】画像のオブジェクトの形状を示すシェ
イプデータと、該オブジェクトの絵柄を示す輝度成分と
色差成分からなるテクスチャデータを入力する入力工程
と、前記オブジェクトの境界位置における前記色差成分を周
囲画素に基づいて新たに生成する生成工程と、前記シェイプデータ及び前記新たな色差成分を含むテク
スチャデータとを符号化する符号化工程と、を有するこ
とを特徴とする画像処理方法。
【請求項３２】前記生成工程は、前記シェイプデータをブロック化するブロック化工程
と、該ブロック内のシェイプデータがオブジェクト境界を示
すか否かを判定する判定工程と、前記ブロックがオブジェクト境界を示す場合に、該ブロ
ックに対応する色差成分を生成する色差成分生成工程
と、を有することを特徴とする請求項３１記載の画像処
理方法。
【請求項３３】前記色差成分生成工程は、処理対象の色差成分の周囲画素を検出する検出工程と、該検出された周囲画素が有効であるか否かを判定する有
効性判定工程と、有効である周囲画素の、前記処理対象の色差成分の画素
からの距離を算出する距離算出工程と、有効である周囲画素とその距離に基づいて新たな色差成
分を算出する色差成分算出工程と、を有することを特徴
とする請求項３２記載の画像処理方法。
【請求項３４】画像のオブジェクトの形状を示すシェ
イプデータと、該オブジェクトの絵柄を示す輝度成分と
色差成分からなるテクスチャデータを入力するオブジェ
クト入力工程と、該オブジェクトの合成対象となる対象画像データを入力
する対象画像入力工程と、前記オブジェクトの境界位置における前記色差成分を、
該位置に対応するシェイプデータに基づいて新たに生成
する生成工程と、前記対象画像データに前記新たな色差成分を含む前記オ
ブジェクトを合成する合成工程と、を有することを特徴
とする画像処理方法。
【請求項３５】前記生成工程は、前記シェイプデータをブロック化するブロック化工程
と、該ブロック内のシェイプデータがオブジェクト境界を示
すか否かを判定する判定工程と、前記ブロックがオブジェクト境界を示す場合に、該ブロ
ックに対応する色差成分を生成する色差成分生成工程
と、を有することを特徴とする請求項３４記載の画像処
理方法。
【請求項３６】前記色差成分生成工程は、前記ブロック内のシェイプデータがオブジェクト内部に
ある比率を算出する算出工程と、該比率に基づいて該ブロックに対応する色差成分及び前
記対象画像データを合成する色差合成工程と、を有する
ことを特徴とする請求項３５記載の画像処理方法。
【請求項３７】画像信号からオブジェクトを抽出する
オブジェクト抽出装置と、該抽出されたオブジェクトを
画像データと合成するオブジェクト合成装置とを接続し
た画像処理システムであって、前記オブジェクト抽出装置は、画像のオブジェクトの形状を示すシェイプデータと、該
オブジェクトの絵柄を示す輝度成分と色差成分からなる
テクスチャデータを入力する入力手段と、前記オブジェクトの境界位置における前記色差成分を周
囲画素に基づいて新たに生成する生成手段と、を有し、前記オブジェクト合成装置は、前記オブジェクト抽出装置において抽出されたシェイプ
データテクスチャデータを入力するオブジェクト入力手
段と、該オブジェクトの合成対象となる対象画像データを入力
する対象画像入力手段と、前記オブジェクトの境界位置における前記色差成分を、
該位置に対応するシェイプデータに基づいて新たに生成
する生成手段と、前記対象画像データに前記新たな色差成分を含む前記オ
ブジェクトを合成する合成手段と、を有することを特徴とする画像処理システム。
【請求項３８】画像処理のプログラムコードが記録さ
れた記録媒体であって、該プログラムコードは少なくと
も、画像のオブジェクトの形状を示すシェイプデータ
と、該オブジェクトの絵柄を示す輝度成分と色差成分か
らなるテクスチャデータを入力する入力工程のコード
と、前記オブジェクトの境界位置における前記色差成分を周
囲画素に基づいて新たに生成する生成工程のコードと、前記シェイプデータ及び前記新たな色差成分を含むテク
スチャデータとを符号化する符号化工程のコードと、を
有することを特徴とする記録媒体。
【請求項３９】画像処理のプログラムコードが記録さ
れた記録媒体であって、該プログラムコードは少なくと
も、画像のオブジェクトの形状を示すシェイプデータと、該
オブジェクトの絵柄を示す輝度成分と色差成分からなる
テクスチャデータを入力するオブジェクト入力工程のコ
ードと、該オブジェクトの合成対象となる対象画像データを入力
する対象画像入力工程のコードと、前記オブジェクトの境界位置における前記色差成分を、
該位置に対応するシェイプデータに基づいて新たに生成
する生成工程のコードと、前記対象画像データに前記新たな色差成分を含む前記オ
ブジェクトを合成する合成工程のコードと、を有するこ
とを特徴とする記録媒体。