JP2002094775A

JP2002094775A - 任意の形状の静止及び動画像を形成するための方法及び装置

Info

Publication number: JP2002094775A
Application number: JP2000283440A
Authority: JP
Inventors: Thiow Keng Tan; ケン・タンティオ; Yon Roo Tee; ヨン・ローテー
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2000-09-19
Filing date: 2000-09-19
Publication date: 2002-03-29

Abstract

(57)【要約】【課題】本発明は、内容が情報のいくつかの層から構
成され、これらの層が互いに重ね合わされた、静止及び
動画像を表現する方法、装置を提案する。【解決手段】前記前景画像に前記形状のみの画像の不
透明度を乗算し、前記背景画像に前記形状のみの画像の
透明度を乗算し、前記乗算するステップの結果得られた
二つの画像の和を求め、和のスケールを調整し、合成さ
れたテクスチャ情報を得る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、テキスト、幾何学
的形状、グラフィックス、制止及び動画像の互いに重な
ったいくつかの層から内容が構成されているような、制
止及び動画像の表現の分野において役立つ。それは特
に、ＩＳＯ／ＩＥＣＪＴＣ１／ＳＣ２９／ＷＧ１１
ＭＰＥＧ−４規格を使用したオブジェクトベースの表現
において役立つ。

【０００２】

【従来の技術】いくつかの層を重ね合わせて合成映像を
形成する技術は特に新しくない。この技術は、実世界に
おいて容易に捉えられない光景を創造するために、スタ
ジオにおいて使用されてきた。我々はこれを、ニュース
リーダが緑か青の背景において撮影され、その後、それ
とは別に撮影され無線電送される背景上に合成されるテ
レビ映像は、毎日のように見ている。この技術の別の変
形例を映画及びコンピュータアニメーションにおいて見
ることができる。

【０００３】従来技術において、この合成技術はテクス
チャの形状と透明性を定義するα平面を使用する。図１
は、前景画像の背景画像上への合成を示す説明図であ
り、これは、前景画像がテクスチャ及び形状情報をとも
に含み、前景画像の透明部分が背景画像を現れさせる古
典的場合である。図１において示されている一例におい
て、映像は、前景画像１１０と背景画像１４０から構成
される。背景画像１４０は任意の典型的な静止または動
画像のようなものである。前景画像１１０はテクスチャ
情報１２０とα平面情報１３０から構成される。この例
において、α平面情報１３０における黒い領域は、前景
画像において透明な領域を示し、α平面における白い領
域は、前景画像において不透明の領域を示す。黒と白の
間の任意の領域は半透明の領域を示す。前景を背景上に
重ね合わせると、合成画像１５０を得ることができる。

【０００４】合成には二つの標準的な方法がある。その
第一は一般的にクロスフェーディングと呼ばれ、第二は
加法的混合と呼ばれる。合成のための標準的構造式はそ
れぞれ次の数式によって与えられる。

【０００５】クロスフェーディングに対しては：ｎビッ
トα信号を持った層Ｎが背景層Ｍに重ね合わされ、新し
い層Ｐが生成されるときには、構成されるＹ、Ｕ、Ｖ、
及びα値はＰｙｕｖ＝（（２ⁿ−１−Ｎα）＊Ｍｙｕｖ＋（Ｎα＊
Ｎｙｕｖ））／（２ⁿ−１）Ｐα＝（２ⁿ−１）となる。

【０００６】従って、合成画像は、不透明性を乗算され
た前景層Ｎと透明性を乗算された背景情報信号の正規化
された和である。

【０００７】不透明性はｎビットα信号の値によって与
えられ、一方、透明性は全ダイナミックレンジとｎビッ
トα信号の間の差によって与えられる。

【０００８】加法的混合に対しては：ｎビットα信号を
持った層Ｎが層Ｍに重ね合わされ、新しい層Ｐが生成さ
れるときには、構成されるＹ、Ｕ、Ｖ、及びα値はＮα＝０のときには、Ｐｙｕｖ＝ＭｙｕｖＮα＞０のときには、Ｐｙｕｖ＝（Ｍｙｕｖ−ＢＬＡＣＫ）−（（Ｍｙｕｖ−
ＢＬＡＣＫ）＊Ｎα）／（２^n-1）＋Ｎｙｕｖとなる。（黒レベルを考慮し、またビデオ復号器は、Ｎ
αが１に正規化されたとき、α＝０の領域に何も出力を
生成しないという事実を考慮すれば、これはＰｙｕｖ＝
Ｍｙｕｖ＊（１−α）＋Ｎｙｕｖに同等である。）Ｐα＝Ｎα＋Ｍα−（Ｎα＊Ｍα）／（２ⁿ−１）ここでＢＬＡＣＫは前景物及び背景物に共通する黒値で
ある。

【０００９】なお、合成部は合成する前に、前景物と背
景物を同じ黒値と信号域を持つように変換しなければな
らない。

【００１０】過去において、合成法は通常スタジオにお
いて行われ、消費者は最終の合成物を見るだけである。
ＭＰＥＧ−４規格はこれを変えて、合成過程を消費者側
に移動した。ＭＰＥＧ−４は任意の形状を有する内容を
符号化することを許容し、復号部において、個々の内容
の重ね合わせを定義する。

【００１１】ＭＰＥＧ−４におけるもう一つの新しい内
容は、２進数で表わされた形状のみを符号化できること
である。すなわち、符号化されたビットストリームが形
状に関する情報のみを含み、テクスチャに関する情報は
含まない。この能力のため、従来の合成技術では、これ
らの異なった画像を合成する方法に関する解決法を持た
ない。事実、この形状に関する情報は、マウスの位置検
出やクリック検出のようなユーザ操作の検出に用いられ
ていただけで、表示のために用いられていない。

【００１２】

【発明が解決しようとする課題】先ず第一に、従来例に
おいては、形状のみの内容はテクスチャ情報を含んでい
ない。これは図２に示されている。図２は、従来技術の
合成の説明図であり、これは、既存の技術が壊れる古典
的な場合の例である。前景画像はテクスチャ情報を何も
持たず、形状情報だけを有している。従って、前景画像
の不透明な領域においてさえ、背景画像が現れるべきか
どうかが不明。もし背景画像が現れなければ、前景画像
が何のテクスチャも持たないので、どんなテクスチャを
配置すべきかどうか不明である。図１における前景画像
１１０と異なって、形状のみの画像は形状情報２１０の
みを含む。これは検出のため主として用いられる。この
形状は復号器に対し、表示部のどの部分がマウスの動き
やクリックのようなユーザの操作に反応するかを示す。
従って、背景画像２２０に合成されたときに、形状情報
がユーザ表示部２３０にどのように現れるべきかは定義
されていない。

【００１３】第二に、従来例においては、形状情報を持
つことができないか、あるいは対応する形状情報を持つ
ことができない他の画像が存在する。その例として、予
め符号化された矩形画像又は幾何学的画像がある。

【００１４】従って、本発明は、形状のみの情報を整合
的に表示することを許容し、また形状のみの情報を他の
画像と結合させることを可能にするものである。

【００１５】

【課題を解決するための手段】この問題を解決するた
め、本発明は、形状のみの内容の役割を再定義する。検
出のみに使用される代わりに、形状のみの情報はユーザ
表示部上における外観を形成するために定義される。本
発明は、形状のみの情報が、描写順序において、直上の
画像内容の形状として使用されように定義する。直上の
画像内容がすでに形状情報を持っている場合には、これ
ら二つの形状の組合せが使用される。形状のみの内容が
もう一つの形状のみの内容に続いて表われる場合には、
これらの形状のみの内容の組合せが一つの新しい形状の
みの内容を形成し、この新しい形状のみの内容はその直
上の次の内容に適用される。

【００１６】従って、本発明は、従来技術における画像
の２つの層を含む合成ではなく、中間層が形状のみの画
像であるような３つの層からなる新しい合成形式を提供
する。本発明は、また、前景画像と背景画像の間に位置
する中間の形状のみの画像をとり入れて、前景画像と背
景画像を合成する方法を提供する。

【００１７】請求項１にかかる発明は、前景画像、形状
のみの画像、及び背景画像からなる複数の画像を一つの
画像に合成する方法であって、前記前景画像に前記形状
のみの画像の不透明度を乗算するステップ、前記背景画
像に前記形状のみの画像の透明度を乗算するステップ、
前記乗算するステップの結果得られた二つの画像の和を
求めるステップ、及び前記和のスケールを調整し、合成
されたテクスチャ情報を得るステップから構成される方
法である。

【００１８】請求項２にかかる発明は、テクスチャ及び
形状情報を有する前景画像、形状のみの画像、及び背景
画像からなる複数の画像を一つの画像に合成する方法で
あって、前景形状情報と前記形状のみの画像を使用し
て、中間形状画像を形成するステップ、前記前景画像に
前記中間形状画像の不透明度を乗算するステップ、前記
背景画像に前記中間形状画像の透明度を乗算するステッ
プ、前記乗算するステップの結果得られた二つの画像の
和を求めるステップ、及び前記和のスケールを調整し、
合成されたテクスチャ情報を得るステップから構成され
る方法である。

【００１９】請求項３にかかる発明は、前景画像、形状
のみの画像、及び背景画像からなる複数の画像を一つの
画像に合成する方法であって、もし前景形状が存在しな
いならば、前景形状情報を不透明な形状で置き換えるス
テップ、もし前景テクスチャが存在しないならば、前景
形状情報を透明な形状で置き換えるステップ、前景形状
情報と形状のみの画像を使用して、中間形状画像を形成
するステップ、前記前景画像に前記中間形状画像の不透
明度を乗算するステップ、前記背景画像に前記中間形状
画像の透明度を乗算するステップ、前記乗算するステッ
プの結果得られた二つの画像の和を求めるステップ、及
び前記和のスケールを調整し、合成されたテクスチャ情
報を得るステップから構成される方法である。

【００２０】請求項４にかかる発明は、請求項１、２、
又は３に記載の方法であって、さらに合成画像の形状を
不透明に設定するステップを含む方法である。

【００２１】請求項５にかかる発明は、請求項２、３、
又は４に記載の方法であって、前記中間形状画像を形成
するステップが前記前景画像と前記形状のみの画像の積
を計算し、前記積のスケールを元のダイナミックレンジ
に調整するステップを含む方法である。

【００２２】請求項６にかかる発明は、請求項２、３、
又は４に記載の方法であって、ダイナミックレンジが０
から１までであるとき、前記中間形状画像を形成するス
テップが前記前景画像と前記形状のみの画像の論理積を
取るステップを含む方法である。

【００２３】請求項７にかかる発明は、前景画像、形状
のみの画像、及び背景画像からなる複数の画像を一つの
画像に合成する方法であって、前記背景画像から黒レベ
ルを減算するステップ、前記減算するステップにおいて
得られた画像に前記形状のみの画像の透明度を乗算する
ステップ、前記乗算するステップにおいて得られた画像
のスケールを正しいダイナミックレンジに調整するステ
ップ、前記前景画像と前記調整するステップによって得
られた画像の和を求めるステップ、及び前記形状のみの
画像における各ピクセルが透明であるか不透明であるか
に依存して、それぞれ前記背景画像および前記和から、
対応する位置におけるピクセルをそれぞれ選択して、合
成されたテクスチャ画像を得るステップから構成される
方法である。

【００２４】請求項８にかかる発明は、テクスチャ及び
形状情報を有する前景画像、形状のみの画像、及び背景
画像からなる複数の画像を一つの画像に合成する方法で
あって、前景形状情報と形状のみの画像を使用して、中
間形状画像を形成するステップ、前記背景画像から黒レ
ベルを減算するステップ、前記減算するステップにおい
て得られた画像に前記形状のみの画像の透明度を乗算す
るステップ、前記乗算するステップにおいて得られた画
像のスケールを正しいダイナミックレンジに調整するス
テップ、前記前景画像と前記調整するステップによって
得られた画像の和を求めるステップ、及び前記中間形状
のみの画像における各ピクセルが透明であるか不透明で
あるかに依存して、前記背景画像および前記和から、対
応する位置におけるピクセルをそれぞれ選択して、合成
されたテクスチャ画像を得るステップから構成される方
法である。

【００２５】請求項９にかかる発明は、前景画像、形状
のみの画像、及び背景画像からなる複数の画像を一つの
画像に合成する方法であって、もし前景形状が存在しな
ければ、前景形状情報を不透明な形状で置き換えるステ
ップ、もし前景テクスチャが存在しなければ、前景形状
情報を透明な形状で置き換えるステップ、前景形状情報
と形状のみの画像を使用して、中間形状画像を形成する
ステップ、前記背景画像から黒レベルを減算するステッ
プ、前記減算するステップにおいて得られた画像に前記
中間形状画像の透明度を乗算するステップ、前記乗算す
るステップにおいて得られた画像のスケールを正しいダ
イナミックレンジに調整するステップ、前記前景画像と
前記調整するステップによって得られた画像の和を求め
るステップ、前記形状のみの画像における各ピクセルが
透明であるか不透明であるかに依存して、それぞれ前記
背景画像および前記和から、対応する位置におけるピク
セルをそれぞれ選択して、合成されたテクスチャ画像を
得るステップから構成される方法である。

【００２６】請求項１０にかかる発明は、請求項７に記
載の方法であって、更に前記形状のみの画像と背景形状
画像の和を求めるステップ、前記形状のみの画像と背景
形状画像を乗算するステップ、前記乗算するステップの
結果得られた画像のスケールを正しいダイナミックレン
ジに調整するステップ、及び前記和から、前記調整する
ステップによって得られた画像を減算し、合成画像の形
状を得るステップを含む方法である。

【００２７】請求項１１にかかる発明は、請求項８又は
９に記載の方法であって、更に前記形状のみの画像と背
景形状画像の和を求めるステップ、前記形状のみの画像
と背景形状画像を乗算するステップ、前記乗算するステ
ップの結果得られた画像のスケールを正しいダイナミッ
クレンジに調整するステップ、及び前記和から、前記調
整するステップによって得られた画像を減算し、合成画
像の形状を得るステップを含む方法である。

【００２８】請求項１２にかかる発明は、請求項８、
９、１０、又は１１に記載の方法であって、更に前記中
間形状画像を形成するステップが更に前記前景画像と前
記形状のみの画像の積を計算し、前記積のスケールを元
のダイナミックレンジに調整するステップを含む方法で
ある。

【００２９】請求項１３にかかる発明は、請求項８、
９、１０、又は１１に記載の方法であって、ダイナミッ
クレンジが０から１までであるとき、前記中間形状画像
を形成するステップが前記前景画像と前記形状のみの画
像の論理積を取るステップを含む方法である。

【００３０】請求項１４にかかる発明は、前景画像、形
状のみの画像、及び背景画像からなる複数の画像を一つ
の画像に合成する装置であって、前記前景画像に前記形
状のみの画像の不透明度を乗算する手段、前記背景画像
に前記形状のみの画像の透明度を乗算する手段、前記乗
算する手段の結果得られた二つの画像の和を求める手
段、及び前記和のスケールを調整し、合成されたテク
スチャ情報を得る手段から構成される装置である。

【００３１】請求項１５にかかる発明は、テクスチャ及
び形状情報を有する前景画像、形状のみの画像、及び背
景画像からなる複数の画像を一つの画像に合成する装置
であって、前景形状情報と前記形状のみの画像を使用し
て、中間形状画像を形成する手段、前記前景画像に前記
中間形状画像の不透明度を乗算する手段、前記背景画像
に前記中間形状画像の透明度を乗算する手段、前記乗算
する手段の結果得られた二つの画像の和を求める手段、
及び前記和のスケールを調整し、合成されたテクスチャ
情報を得る手段から構成される装置である。

【００３２】請求項１６にかかる発明は、前景画像、形
状のみの画像、及び背景画像からなる複数の画像を一つ
の画像に合成する装置であって、もし前景形状が存在し
ないならば、前景形状情報を不透明な形状で置き換える
手段、もし前景テクスチャが存在しないならば、前景形
状情報を透明な形状で置き換える手段、前景形状情報と
形状のみの画像を使用して、中間形状画像を形成する手
段、前記前景画像に前記中間形状画像の不透明度を乗算
する手段、前記背景画像に前記中間形状画像の透明度を
乗算する手段、前記乗算する手段の結果得られた二つの
画像の和を求める手段、及び前記和のスケールを調整
し、合成されたテクスチャ情報を得る手段から構成され
る装置である。

【００３３】請求項１７にかかる発明は、請求項１４、
１５、又は１６に記載の装置であって、さらに合成画像
の形状を不透明に設定する手段を含む装置である。

【００３４】請求項１８にかかる発明は、請求項１５、
１６、又は１７に記載の装置であって、前記中間形状画
像を形成する手段が前記前景画像と前記形状のみの画像
の積を計算し、前記積のスケールを元のダイナミックレ
ンジに調整する手段を含む装置である。

【００３５】請求項１９にかかる発明は、請求項１５、
１６、又は１７に記載の装置であって、ダイナミックレ
ンジが０から１までであるとき、前記中間形状画像を形
成する手段が前記前景画像と前記形状のみの画像の論理
積を取る手段を含む装置である。

【００３６】請求項２０にかかる発明は、前景画像、形
状のみの画像、及び背景画像からなる複数の画像を一つ
の画像に合成する装置であって、前記背景画像から黒レ
ベルを減算する手段、前記減算する手段において得られ
た画像に前記形状のみの画像の透明度を乗算する手段、
前記乗算する手段において得られた画像のスケールを正
しいダイナミックレンジに調整する手段、前記前景画像
と前記調整する手段によって得られた画像の和を求める
手段、及び前記形状のみの画像における各ピクセルが透
明であるか不透明であるかに依存して、それぞれ前記背
景画像および前記和から、対応する位置におけるピクセ
ルをそれぞれ選択して、合成されたテクスチャ画像を得
る手段から構成される装置である。

【００３７】請求項２１にかかる発明は、テクスチャ及
び形状情報を有する前景画像、形状のみの画像、及び背
景画像からなる複数の画像を一つの画像に合成する装置
であって、前景形状情報と形状のみの画像を使用して、
中間形状画像を形成する手段、前記背景画像から黒レベ
ルを減算する手段、前記減算する手段において得られた
画像に前記形状のみの画像の透明度を乗算する手段、前
記乗算する手段において得られた画像のスケールを正し
いダイナミックレンジに調整する手段、前記前景画像と
前記調整する手段によって得られた画像の和を求める手
段、及び前記中間形状のみの画像における各ピクセルが
透明であるか不透明であるかに依存して、前記背景画像
および前記和から、対応する位置におけるピクセルをそ
れぞれ選択して、合成されたテクスチャ画像を得る手段
から構成される装置である。

【００３８】請求項２２にかかる発明は、前景画像、形
状のみの画像、及び背景画像からなる複数の画像を一つ
の画像に合成する装置であって、もし前景形状が存在し
なければ、前景形状情報を不透明な形状で置き換える手
段、もし前景テクスチャが存在しなければ、前景形状情
報を透明な形状で置き換える手段、前景形状情報と形状
のみの画像を使用して、中間形状画像を形成する手段、
前記背景画像から黒レベルを減算する手段、前記減算す
る手段において得られた画像に前記中間形状画像の透明
度を乗算する手段、前記乗算する手段において得られた
画像のスケールを正しいダイナミックレンジに調整する
手段、前記前景画像と前記調整する手段によって得られ
た画像の和を求める手段、前記形状のみの画像における
各ピクセルが透明であるか不透明であるかに依存して、
それぞれ前記背景画像および前記和から、対応する位置
におけるピクセルをそれぞれ選択して、合成されたテク
スチャ画像を得る手段から構成される装置である。

【００３９】請求項２３にかかる発明は、請求項２０に
記載の装置であって、更に前記形状のみの画像と背景形
状画像の和を求める手段、前記形状のみの画像と背景形
状画像を乗算する手段、前記乗算する手段の結果得られ
た画像のスケールを正しいダイナミックレンジに調整す
る手段、及び前記和から、前記調整する手段によって得
られた画像を減算し、合成画像の形状を得る手段を含む
装置である。

【００４０】請求項２４にかかる発明は、請求項２１又
は２２に記載の装置であって、更に前記形状のみの画像
と背景形状画像の和を求める手段、前記形状のみの画像
と背景形状画像を乗算する手段、前記乗算する手段の結
果得られた画像のスケールを正しいダイナミックレンジ
に調整する手段、及び前記和から、前記調整する手段に
よって得られた画像を減算し、合成画像の形状を得る手
段を含む装置である。

【００４１】請求項２５にかかる発明は、請求項２１、
２２、２３、又は２４に記載の装置であって、更に前記
中間形状画像を形成する手段が更に前記前景画像と前記
形状のみの画像の積を計算し、前記積のスケールを元の
ダイナミックレンジに調整する手段を含む装置である。

【００４２】請求項２６にかかる発明は、請求項２１、
２２、２３、又は２４に記載の装置であって、ダイナミ
ックレンジが０から１までであるとき、前記中間形状画
像を形成する手段が前記前景画像と前記形状のみの画像
の論理積を取る手段を含む装置である。

【００４３】

【発明の実施の形態】この新しい発明には第1、第２の
場合と第３の簡略化した場合がある。その第１の場合
は、前景画像がテクスチャのみを含み、形状情報を持た
ない場合である。第２の場合は、前景画像がテクスチャ
と形状情報を含む場合である。第３の簡略化した場合
は、前景画像が存在しない場合である。

【００４４】第１の場合：これは、前景画像がテクスチ
ャのみからなり、形状情報を含まない場合である。図３
は合成される画像の３つの層を示す。図３は、本発明に
おける第１の場合の合成の説明図であり、これは本発明
における第一の場合であって、合成は、テクスチャ情報
のみを持った前景画像、形状のみの画像、及び背景画像
からなる３つの層のグループにおいて行われる。最下部
の層は、通常通り矩形画像３３０であり、背景又は以前
に合成された層である。中間層は２進数で表わされた形
状のみの画像３２０である。そして最上部の層は前景画
像３１０である。以下、これら３つの層を使用してどの
ように合成されるかを示す。画像３２０において、不透
明な白い領域と同じ位置にある、前景画像３１０からの
ピクセルは、合成された最終の画像３４０に現れる。画
像３２０において、透明な黒い領域と同じ位置にある、
前景画像３１０からのピクセルは、合成された画像に現
れない。これらの代わりに、同じ位置にある背景画像３
３０からのピクセルが現れる。

【００４５】この実施の形態においては、中間層の画像
３２０の情報が透明か不透明であるかという場合だけで
なく、完全に透明である情報から完全に不透明である情
報まで中間的透明性を持ったグレイスケールのα情報に
拡張することができる。この中間的透明性の場合には、
背景の一部が前景を通して現れる。

【００４６】もしｎビットのα信号を持たない層Ｎが、
中間のｎビットα信号層Ｌとともに、層Ｍに重ねられ、
新しい層Ｐが生成されるならば、合成されたＹ、Ｕ、
Ｖ、及びα値は：クロスフェーディングに対しては、Ｐｙｕｖ＝（（２ⁿ−１−Ｌα）＊Ｍｙｕｖ＋（Ｌα＊
Ｎｙｕｖ））／（２ⁿ−１）Ｐα＝（２ⁿ−１）となる。

【００４７】加法的混合に対しては：Ｌα＝０のときには、Ｐｙｕｖ＝ＭｙｕｖＬα＞０のときには、Ｐｙｕｖ＝（Ｍｙｕｖ−ＢＬＡＣ
Ｋ）−（（Ｍｙｕｖ−ＢＬＡＣＫ）＊Ｌα）／（２ⁿ−
１）＋Ｎｙｕｖとなる。（黒レベルを考慮し、またビデオ復号器は、Ｌ
αが１に正規化されたとき、α＝０の領域に何も出力を
生成しないという事実を考慮すれば、これはＰｙｕｖ＝
Ｍｙｕｖ＊（１−Ｌα）＋Ｎｙｕｖに同等である。）Ｐα＝Ｌα＋Ｍα−（Ｌα＊Ｍα）／（２ⁿ−１）ここでＢＬＡＣＫは前景物及び背景物に共通する黒値で
ある。

【００４８】なお、合成部は合成する前に、前景物と背
景物を同じ黒値と信号域を持つように変換しなければな
らない。

【００４９】第２の場合：これは前景画像層が形状情報
を有するテクスチャから構成される場合である。図４は
合成されるべき画像の３つの層を示す。図４は、本発明
における第２の場合の合成の説明図であり、これは本発
明における第二の場合であって、合成は、テクスチャ及
び形状情報のみを持った前景画像、形状のみの画像、及
び背景画像からなる３つの層のグループにおいて行われ
る。最下部の層は、通常通り、矩形画像４５０であり、
これは背景又は以前に合成された層である。中間層は２
進数で表わされた形状のみの画像４４０である。最上部
の層は前景画像４１０であり、テクスチャ画像４２０と
形状情報４３０から構成される。以下、これら３つの層
を使用してどのように合成されるかを示す。

【００５０】図５は二つの形状情報、一つは前景画像５
１０から作られた前景形状画像５２０、もう一つは２進
数で表わされた形状のみの画像５３０が、合成が行われ
る前に、どのように融合されるかを示す。図５は、本発
明における第３の場合の合成の説明図であり、これは本
発明における第二の場合の同等な解釈であって、第一の
場合のような合成が行われる前に、前景画像形状と形状
のみの画像がＡＮＤによって合成され、中間形状情報５
４０が形成される。複数の形状画像５２０、５３０がＡ
ＮＤによって合成されるとき、両画像においてともに透
明な部分のみが中間形状において透明となる。もしどち
らか一方が不透明であれば、中間形状では不透明となる
これら二つの２進数で表わされた形状画像５２０、５３
０は先ず、論理積ＡＮＤによって、中間形状画像５４０
を形成する。言い換えれば、中間形状画像におけるピク
セルは、同じ位置の、前景形状情報におけるピクセルか
または２進数で表わされた形状のみの情報におけるピク
セルのいずれかが不透明であれば、不透明となる。同じ
位置の、前景形状情報におけるピクセル及び２進数で表
わされた形状のみの情報におけるピクセルがともに透明
であるときのみ、それは透明となる。

【００５１】中間形状画像５４０を形成した後、不透明
な中間画像と同じ位置にある前景画像５１０からのピク
セルは、合成された最終合成画像５６０に現れる。透明
な中間画像と同じ位置にある前景画像からのピクセル
は、合成された最終画像に現れない。それらの代わり
に、同じ位置にある背景画像５５０からのピクセルが現
れる。

【００５２】これは形状情報が透明か不透明であるかと
いう場合だけでなく、完全に透明であるとする状態から
完全に不透明であるとする状態に至るまでの中間的透明
性を有するグレイスケールのα情報に拡張することがで
きる。その場合には、前記二つの２進数で表わされた形
状情報はＡＮＤによってでなく、掛け算され、元のダイ
ナミックレンジのレベルに合わされ、調整される。

【００５３】ｎビットα信号を持った層Ｎが、中間のｎ
ビットのα信号層Ｌとともに層Ｍに重ね合わされ、新し
い層Ｐが生成されるときには、構成されるＹ、Ｕ、Ｖ、
及びα値はクロスフェーディングに対しては：Ｐｙｕｖ＝（（２ⁿ−１−（Ｌα＊Ｎα）／（２ⁿ−
１））＊Ｍｙｕｖ＋（（Ｌα＊Ｎα）／（２ⁿ−１）＊
Ｎｙｕｖ））／（２ⁿ−１）Ｐα＝（２ⁿ−１）となる。

【００５４】加法的混合に対しては：（Ｌα＊Ｎα）／（２ⁿ−１）＝０の時には、Ｐｙｕｖ＝Ｍｙｕｖとなる。

【００５５】（Ｌα＊Ｎα）／（２ⁿ−１）＞０の時に
は、Ｐｙｕｖ＝（Ｍｙｕｖ−ＢＬＡＣＫ）−（（Ｍｙｕｖ−
ＢＬＡＣＫ）＊Ｌα＊Ｎα）／（２ⁿ−１））／（２ⁿ−
１）＋Ｎｙｕｖとなる。（黒レベルを考慮し、またビデオ復号器は、Ｌ
αとＮαが１に正規化されたとき、α＝０の領域に何も
出力を生成しないという事実を考慮すれば、これはＰｙ
ｕｖ＝Ｍｙｕｖ＊（１−（Ｌα＊Ｎα））＋Ｎｙｕｖに
同等である。）Ｐα＝（Ｌα＊Ｎα）／（２ⁿ−１）＋Ｍα−（（Ｌα
＊Ｍα）／（２ⁿ−１）＊Ｍα）／（２ⁿ−１）ここでＢＬＡＣＫは前景物及び背景物に共通する黒値で
ある。

【００５６】なお、合成部は合成する前に、前景物と背
景物を同じ黒値と信号域を持つように変換しなければな
らない。

【００５７】第３の場合：簡略化した場合においては、
形状上に何のテクスチャも存在しない。テクスチャが存
在しないので、この形状に色を勝手に割り当てることは
不可能である。従って、この場合には、全背景が現れ、
形状は何の視覚的効果も持たない。

【００５８】一般の場合：第１、第２、及び第３の場合
は、前景画像層の形状に関して仮定を設けることによっ
て一般化する事ができる。第１の場合においては、前景
画像は何の形状も持たない。我々はこれを、実際には形
状を持っているが完全に不透明であると仮定することが
できる。完全に不透明な形状と形状画像層における形状
とのＡＮＤを取れば、結果として得られる中間形状画像
は形状層と同じものとなる。

【００５９】第２の場合には、前景画像層に形状が存在
し、形状画像層とＡＮＤを取られて中間形状画像が得ら
れるので、何の仮定も必要でない。

【００６０】第３の場合には、前景画像層が完全に透明
なテクスチャから構成されるものと仮定する。この場合
には、形状画像層と前景層の論理積ＡＮＤは完全に透明
な形状をもたらす。従って、その形状は何の視覚的効果
も持たない。

【００６１】従って、上記の一般化を次のように述べる
ことができる。

【００６２】前景画像層Ｎ、形状画像層Ｌ、及び背景画
像層Ｍから構成される３つの層を含む合成において、中
間形状画像Ｓは、前景画像層Nの形状と形状画像層LのＡ
ＮＤを取ることによって形成される。もし前景形状が存
在しないないならば、それは完全に不透明であると仮定
される。もし前景画像が存在しないならば、それは完全
に透明であると仮定される。

【００６３】合成過程はそれから、新しい層Ｐを生成
し、合成されるＹ、Ｕ，Ｖ、及びα値は：クロスフェーディングに対しては：Ｐｙｕｖ＝（（２ⁿ−１−Ｓα）＊Ｍｙｕｖ＋（Ｓα＊
Ｎｙｕｖ））／（２ⁿ−１）Ｐα＝（２ⁿ−１）となる。ここでＳα＝（Ｌα＊Ｎα）／（２ⁿ−１）で
ある。

【００６４】加法的混合に対しては：Ｓα＝０の時には、Ｐｙｕｖ＝ＭｙｕｖＳα＞０の時には、Ｐｙｕｖ＝（Ｍｙｕｖ−ＢＬＡＣ
Ｋ）−（（Ｍｙｕｖ−ＢＬＡＣＫ）＊Ｓα）／（２ⁿ−
１））＋Ｎｙｕｖとなる。ここでＳα＝（Ｌα＊Ｎα）／（２ⁿ−１）で
ある。（黒レベルを考慮し、またビデオ復号器は、Ｓα
が１に正規化されたとき、α＝０の領域に何も出力を生
成しないという事実を考慮すれば、これはＰｙｕｖ＝Ｍ
ｙｕｖ＊（１−Ｓα）＋Ｎｙｕｖに同等である。）Ｐα＝Ｓα＋Ｍα−（Ｓα＊Ｍα）／（２ⁿ−１）ここでＢＬＡＣＫは前景物及び背景物に共通する黒値で
ある。

【００６５】なお、合成部は合成する前に、前景物と背
景物を同じ黒値と信号域を持つように変換しなければな
らない。

【００６６】

【発明の効果】本発明によれば、整合的な方法で形状の
みの画像の表示を得ることができる。同時に、別々に符
号化された形状情報とテクスチャ情報を組合せる機構も
提案されている。

【図面の簡単な説明】

【図１】前景画像の背景画像上への合成を示す説明
図。

【図２】従来技術の合成の説明図。

【図３】本発明における第１の場合の合成の説明図。

【図４】本発明における第２の場合の合成の説明図。

【図５】本発明における第３の場合の合成の説明図。

フロントページの続き (72)発明者テーヨン・ローシンガポール534415シンガポール、タイ・セン・アベニュー、ブロック1022、04− 3530番、タイ・セン・インダストリアル・エステイト、パナソニック・シンガポール研究所株式会社内Ｆターム(参考） 5B057 CE08 CE11 CH09 5C059 MB01 MB14 MB16 MB23 MB26 PP01 PP04 UA02 5C076 AA12 AA13 AA19 BA06 CA12 5C082 BA12 BA27 CA18 CA56 DA51 DA87 MM09 MM10

Claims

【特許請求の範囲】

【請求項１】前景画像、形状のみの画像、及び背景画像
からなる複数の画像を一つの画像に合成する方法であっ
て、前記前景画像に前記形状のみの画像の不透明度を乗算す
るステップ、前記背景画像に前記形状のみの画像の透明度を乗算する
ステップ、前記乗算するステップの結果得られた二つの画像の和を
求めるステップ、及び前記和のスケールを調整し、合成
されたテクスチャ情報を得るステップから構成される方
法。
【請求項２】テクスチャ及び形状情報を有する前景画
像、形状のみの画像、及び背景画像からなる複数の画像
を一つの画像に合成する方法であって、前景形状情報と前記形状のみの画像を使用して、中間形
状画像を形成するステップ、前記前景画像に前記中間形状画像の不透明度を乗算する
ステップ、前記背景画像に前記中間形状画像の透明度を乗算するス
テップ、前記乗算するステップの結果得られた二つの画像の和を
求めるステップ、及び前記和のスケールを調整し、合成
されたテクスチャ情報を得るステップから構成される方
法。
【請求項３】前景画像、形状のみの画像、及び背景画像
からなる複数の画像を一つの画像に合成する方法であっ
て、もし前景形状が存在しないならば、前景形状情報を不透
明な形状で置き換えるステップ、もし前景テクスチャが存在しないならば、前景形状情報
を透明な形状で置き換えるステップ、前景形状情報と形状のみの画像を使用して、中間形状画
像を形成するステップ、前記前景画像に前記中間形状画像の不透明度を乗算する
ステップ、前記背景画像に前記中間形状画像の透明度を乗算するス
テップ、前記乗算するステップの結果得られた二つの画像の和を
求めるステップ、及び前記和のスケールを調整し、合成
されたテクスチャ情報を得るステップから構成される方
法。
【請求項４】請求項１、２、又は３に記載の方法であっ
て、さらに合成画像の形状を不透明に設定するステップ
を含む方法。
【請求項５】請求項２、３、又は４に記載の方法であっ
て、前記中間形状画像を形成するステップが前記前景画
像と前記形状のみの画像の積を計算し、前記積のスケー
ルを元のダイナミックレンジに調整するステップを含む
方法。
【請求項６】請求項２、３、又は４に記載の方法であっ
て、ダイナミックレンジが０から１までであるとき、前
記中間形状画像を形成するステップが前記前景画像と前
記形状のみの画像の論理積を取るステップを含む方法。
【請求項７】前景画像、形状のみの画像、及び背景画像
からなる複数の画像を一つの画像に合成する方法であっ
て、前記背景画像から黒レベルを減算するステップ、前記減算するステップにおいて得られた画像に前記形状
のみの画像の透明度を乗算するステップ、前記乗算するステップにおいて得られた画像のスケール
を正しいダイナミックレンジに調整するステップ、前記前景画像と前記調整するステップによって得られた
画像の和を求めるステップ、及び前記形状のみの画像に
おける各ピクセルが透明であるか不透明であるかに依存
して、それぞれ前記背景画像および前記和から、対応す
る位置におけるピクセルをそれぞれ選択して、合成され
たテクスチャ画像を得るステップから構成される方法。
【請求項８】テクスチャ及び形状情報を有する前景画
像、形状のみの画像、及び背景画像からなる複数の画像
を一つの画像に合成する方法であって、前景形状情報と形状のみの画像を使用して、中間形状画
像を形成するステップ、前記背景画像から黒レベルを減算するステップ、前記減算するステップにおいて得られた画像に前記形状
のみの画像の透明度を乗算するステップ、前記乗算するステップにおいて得られた画像のスケール
を正しいダイナミックレンジに調整するステップ、前記前景画像と前記調整するステップによって得られた
画像の和を求めるステップ、及び前記中間形状のみの画
像における各ピクセルが透明であるか不透明であるかに
依存して、前記背景画像および前記和から、対応する位
置におけるピクセルをそれぞれ選択して、合成されたテ
クスチャ画像を得るステップから構成される方法。
【請求項９】前景画像、形状のみの画像、及び背景画像
からなる複数の画像を一つの画像に合成する方法であっ
て、もし前景形状が存在しなければ、前景形状情報を不透明
な形状で置き換えるステップ、もし前景テクスチャが存在しなければ、前景形状情報を
透明な形状で置き換えるステップ、前景形状情報と形状のみの画像を使用して、中間形状画
像を形成するステップ、前記背景画像から黒レベルを減算するステップ、前記減算するステップにおいて得られた画像に前記中間
形状画像の透明度を乗算するステップ、前記乗算するステップにおいて得られた画像のスケール
を正しいダイナミックレンジに調整するステップ、前記前景画像と前記調整するステップによって得られた
画像の和を求めるステップ、前記形状のみの画像における各ピクセルが透明であるか
不透明であるかに依存して、それぞれ前記背景画像およ
び前記和から、対応する位置におけるピクセルをそれぞ
れ選択して、合成されたテクスチャ画像を得るステップ
から構成される方法。
【請求項１０】請求項７に記載の方法であって、更に前
記形状のみの画像と背景形状画像の和を求めるステッ
プ、前記形状のみの画像と背景形状画像を乗算するステッ
プ、前記乗算するステップの結果得られた画像のスケールを
正しいダイナミックレンジに調整するステップ、及び前
記和から、前記調整するステップによって得られた画像
を減算し、合成画像の形状を得るステップを含む方法。
【請求項１１】請求項８又は９に記載の方法であって、
更に前記形状のみの画像と背景形状画像の和を求めるス
テップ、前記形状のみの画像と背景形状画像を乗算するステッ
プ、前記乗算するステップの結果得られた画像のスケールを
正しいダイナミックレンジに調整するステップ、及び前
記和から、前記調整するステップによって得られた画像
を減算し、合成画像の形状を得るステップを含む方法。
【請求項１２】請求項８、９、１０、又は１１に記載の
方法であって、更に前記中間形状画像を形成するステッ
プが更に前記前景画像と前記形状のみの画像の積を計算
し、前記積のスケールを元のダイナミックレンジに調整
するステップを含む方法。
【請求項１３】請求項８、９、１０、又は１１に記載の
方法であって、ダイナミックレンジが０から１までであ
るとき、前記中間形状画像を形成するステップが前記前
景画像と前記形状のみの画像の論理積を取るステップを
含む方法。
【請求項１４】前景画像、形状のみの画像、及び背景画
像からなる複数の画像を一つの画像に合成する装置であ
って、前記前景画像に前記形状のみの画像の不透明度を乗算す
る手段、前記背景画像に前記形状のみの画像の透明度を乗算する
手段、前記乗算する手段の結果得られた二つの画像の和を求め
る手段、及び前記和のスケールを調整し、合成された
テクスチャ情報を得る手段から構成される装置。
【請求項１５】テクスチャ及び形状情報を有する前景画
像、形状のみの画像、及び背景画像からなる複数の画像
を一つの画像に合成する装置であって、前景形状情報と前記形状のみの画像を使用して、中間形
状画像を形成する手段、前記前景画像に前記中間形状画像の不透明度を乗算する
手段、前記背景画像に前記中間形状画像の透明度を乗算する手
段、前記乗算する手段の結果得られた二つの画像の和を求め
る手段、及び前記和のスケールを調整し、合成されたテ
クスチャ情報を得る手段から構成される装置。
【請求項１６】前景画像、形状のみの画像、及び背景画
像からなる複数の画像を一つの画像に合成する装置であ
って、もし前景形状が存在しないならば、前景形状情報を不透
明な形状で置き換える手段、もし前景テクスチャが存在しないならば、前景形状情報
を透明な形状で置き換える手段、前景形状情報と形状のみの画像を使用して、中間形状画
像を形成する手段、前記前景画像に前記中間形状画像の不透明度を乗算する
手段、前記背景画像に前記中間形状画像の透明度を乗算する手
段、前記乗算する手段の結果得られた二つの画像の和を求め
る手段、及び前記和のスケールを調整し、合成されたテ
クスチャ情報を得る手段から構成される装置。
【請求項１７】請求項１４、１５、又は１６に記載の装
置であって、さらに合成画像の形状を不透明に設定する
手段を含む装置。
【請求項１８】請求項１５、１６、又は１７に記載の装
置であって、前記中間形状画像を形成する手段が前記前
景画像と前記形状のみの画像の積を計算し、前記積のス
ケールを元のダイナミックレンジに調整する手段を含む
装置。
【請求項１９】請求項１５、１６、又は１７に記載の装
置であって、ダイナミックレンジが０から１までである
とき、前記中間形状画像を形成する手段が前記前景画像
と前記形状のみの画像の論理積を取る手段を含む装置。
【請求項２０】前景画像、形状のみの画像、及び背景画
像からなる複数の画像を一つの画像に合成する装置であ
って、前記背景画像から黒レベルを減算する手段、前記減算する手段において得られた画像に前記形状のみ
の画像の透明度を乗算する手段、前記乗算する手段において得られた画像のスケールを正
しいダイナミックレンジに調整する手段、前記前景画像と前記調整する手段によって得られた画像
の和を求める手段、及び前記形状のみの画像における各
ピクセルが透明であるか不透明であるかに依存して、そ
れぞれ前記背景画像および前記和から、対応する位置に
おけるピクセルをそれぞれ選択して、合成されたテクス
チャ画像を得る手段から構成される装置。
【請求項２１】テクスチャ及び形状情報を有する前景画
像、形状のみの画像、及び背景画像からなる複数の画像
を一つの画像に合成する装置であって、前景形状情報と形状のみの画像を使用して、中間形状画
像を形成する手段、前記背景画像から黒レベルを減算する手段、前記減算する手段において得られた画像に前記形状のみ
の画像の透明度を乗算する手段、前記乗算する手段において得られた画像のスケールを正
しいダイナミックレンジに調整する手段、前記前景画像と前記調整する手段によって得られた画像
の和を求める手段、及び前記中間形状のみの画像におけ
る各ピクセルが透明であるか不透明であるかに依存し
て、前記背景画像および前記和から、対応する位置にお
けるピクセルをそれぞれ選択して、合成されたテクスチ
ャ画像を得る手段から構成される装置。
【請求項２２】前景画像、形状のみの画像、及び背景画
像からなる複数の画像を一つの画像に合成する装置であ
って、もし前景形状が存在しなければ、前景形状情報を不透明
な形状で置き換える手段、もし前景テクスチャが存在しなければ、前景形状情報を
透明な形状で置き換える手段、前景形状情報と形状のみの画像を使用して、中間形状画
像を形成する手段、前記背景画像から黒レベルを減算する手段、前記減算する手段において得られた画像に前記中間形状
画像の透明度を乗算する手段、前記乗算する手段において得られた画像のスケールを正
しいダイナミックレンジに調整する手段、前記前景画像と前記調整する手段によって得られた画像
の和を求める手段、前記形状のみの画像における各ピクセルが透明であるか
不透明であるかに依存して、それぞれ前記背景画像およ
び前記和から、対応する位置におけるピクセルをそれぞ
れ選択して、合成されたテクスチャ画像を得る手段から
構成される装置。
【請求項２３】請求項２０に記載の装置であって、更に
前記形状のみの画像と背景形状画像の和を求める手段、前記形状のみの画像と背景形状画像を乗算する手段、前記乗算する手段の結果得られた画像のスケールを正し
いダイナミックレンジに調整する手段、及び前記和か
ら、前記調整する手段によって得られた画像を減算し、
合成画像の形状を得る手段を含む装置。
【請求項２４】請求項２１又は２２に記載の装置であっ
て、更に前記形状のみの画像と背景形状画像の和を求め
る手段、前記形状のみの画像と背景形状画像を乗算する手段、前記乗算する手段の結果得られた画像のスケールを正し
いダイナミックレンジに調整する手段、及び前記和か
ら、前記調整する手段によって得られた画像を減算し、
合成画像の形状を得る手段を含む装置。
【請求項２５】請求項２１、２２、２３、又は２４に記
載の装置であって、更に前記中間形状画像を形成する手
段が更に前記前景画像と前記形状のみの画像の積を計算
し、前記積のスケールを元のダイナミックレンジに調整
する手段を含む装置。
【請求項２６】請求項２１、２２、２３、又は２４に記
載の装置であって、ダイナミックレンジが０から１まで
であるとき、前記中間形状画像を形成する手段が前記前
景画像と前記形状のみの画像の論理積を取る手段を含む
装置。