JP2008277932A

JP2008277932A - 画像符号化方法及びその装置

Info

Publication number: JP2008277932A
Application number: JP2007116311A
Authority: JP
Inventors: Tomokazu Murakami; 智一村上; Masashi Takahashi; 昌史高橋
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2007-04-26
Filing date: 2007-04-26
Publication date: 2008-11-13

Abstract

【課題】
領域分割処理を高精度に行い、これを用いた高画質で圧縮率のよい画像符号化方法及びその装置を実現する。
【解決手段】
入力画像データのカラーベクトル情報もしくは輝度情報に対し、画像のエッジに対して異方性を有する平滑化フィルタ処理を行うフィルタ処理ステップと、フィルタ処理ステップによる処理を行った後のカラーベクトル情報もしくは輝度情報に対して、領域成長法による領域分割処理を行い、入力画像の複数の分割領域情報を生成する領域分割ステップと、領域分割ステップにより生成した複数の分割領域情報を用いて、入力画像を複数のレイヤーに分割するレイヤー分割ステップと、レイヤー分割ステップにおいて生成したレイヤーごとに符号化処理を行う符号化ステップとを備える。
【選択図】図１

Description

本発明は画像を符号化する画像符号化技術、画像を復号化する画像復号化技術、および画像中から背景と被写体を分離する画像処理技術に関する。

大容量の映像、音声情報をデジタルデータ化して記録、伝達する手法として、MPEG (Moving Picture Experts Group)方式等の符号化方式が策定され、MPEG-1規格、MPEG-2規格、MPEG-4規格、H.264/AVC(Advanced Video Coding)規格等として国際標準の符号化方式となっている。これらの方式はデジタル衛星放送やDVD、携帯電話やデジタルカメラなどにおける符号化方式として採用され、現在ますます利用の範囲が広がり、身近なものとなってきている。

MPEG-4規格では、画像中の背景と被写体をレイヤーに分離し、背景レイヤーと被写体レイヤーをそれぞれ符号化するオブジェクト符号化方式が規定されている。但しMPEG-4規格では、分離後の背景レイヤーと被写体レイヤーをどのように符号化するかは規定されているが、画像中の背景と被写体を分離する方法についての詳細は示されていない。

また、画像の分離方式には領域成長法と呼ばれる方式があり、例えば、非特許文献１に示されるWatershed法がなどがある。

L.Vincent and P. Soille : "Watersheds in digital spaces: An efficient algorithm based on immersion simulations", IEEE Trans. PAMI, vol.13, no.6, pp.583-598, (1991).

しかしながら、Watershed法はノイズや本来被写体の境界ではない模様の部分を分離してしまい、必要以上に細かい分割領域が発生すし、過分割となる。

ここで、ノイズ自体は一般的な平滑化フィルタを用いることによって低減できるが、一般的な平滑化フィルタを用いると、被写体の輪郭が崩れ、その後従来の分離方式を行っても被写体の分離すべきエッジ部で分離できない。

上記のような領域の分割を用いてオブジェクト符号化方式を行うと、画質が低下し、画像の圧縮率も良くないという課題があった。

本発明は、上記の課題を鑑みてなされたものであり、その目的は、高精度な領域分割処理を実現し、これを用いた高画質で圧縮率のよい画像符号化方法及びその装置を実現することにある。

上記目的を達成するために、本発明の一実施の態様は、例えば特許請求の範囲に記載されたように構成すればよい。

本発明によれば、高精度な領域分割処理を実現することが可能となり、これを用いた高画質で圧縮率のよい画像符号化方法及びその装置を実現することができる。

以下、本発明の実施例を、図面を参照して説明する。

図１は本発明の実施例1に係る画像符号化方法及びその装置において用いる領域分割処理方法の一例を示したものである。本処理方法では、まずステップ１０１にて画像を入力する。次にステップ１０２にて入力した画像に対して画像のカラーベクトル化処理を行う。画像のカラーベクトル化処理とは、ＲＧＢあるいはＹＣｂＣｒ等のカラーコンポーネントからなる画像に対して、これら３つの要素を持つ各画素の値を色空間のベクトルとして表現し、このベクトル長を処理対象とするように変換処理を行うことを示す。この時、カラーベクトル長Ｌは、例えば、数１のように与えられる。

なお、領域分割処理では色差情報の情報を重視する方が分離精度を高められる。よって例えば、数２あるいは数３のようにして与えられるカラーベクトル長Ｌを用いても良い。

例えば、数式２や数式３などのように、輝度情報よりも色差情報の重み付けをたかくすることにより、分離精度を高めることができる。

ここで、上記のカラーベクトル長を用いる処理でははなく、カラーベクトル長Ｌに換えて、画像の輝度値Ｙを処理対象としてもよい。この場合は、数式1乃至数式３の処理を行う必要がないので、処理量を低減できるという効果がある。

ここではカラーベクトル化の処理を非等方拡散フィルタ処理や領域分割処理と独立のステップとして説明しているが、非等方拡散フィルタや領域分割の処理内部にて画素の比較を行う際にベクトル長を計算して処理してもよい。この場合は、実質的に処理の順番が異なるのみであるので、同等の効果を得ることができる。

次にステップ１０３ではステップ１０２によって得られた処理対象画像に対して非等方拡散フィルタ処理を行う。非等方拡散フィルタとは、対象画素の処理過程が非等方な熱拡散方程式に基づく偏微分方程式で表されるフィルタである。すなわち、非等方拡散フィル
タとは、線状のエッジを含む２次元画像において、エッジの接線方向とエッジの垂直方向
で程度の異なる平滑化処理が行われるフィルタである。非等方拡散フィルタの定義式については参考文献２に記述されている。また、非等方拡散フィルタの例としては、参考文献３に示されるTotal Variation Filterがある。以下Total Variation Filterによる処理を例に挙げて説明する。
参考文献２：辻, 徳増, 高橋, 中嶋 : “非等方拡散法に基づく空間平滑化フィルタの構築に関する基礎検討”, 電子情報通信学会論文誌 D-II, Vol. J88-D-II, No.6, pp.1024-1034, (2005).
参考文献３：L.Vese, S. Osher : “Modeling Textures with Total Variation Minimization and Oscillating Patterns in Image Processing”, Journal of Scientific Computing, 19, pp.553-572, (2003).
Total Variation Filterは非等方拡散フィルタの一種であり、画面全体あるいは一定の範囲内について、対象画素と空間および時間における周辺の画素との絶対値誤差の和を、一定の条件（例えば原画像と処理画像の誤差が大きくならないような条件）の下で小さくする処理を行う。ここで、Total Variation Filterによる処理は、画像のエッジの接線方向に対する平滑化処理の程度が、前記エッジの垂直方向に対する平滑化処理の程度よりも大きい。よって、エッジを保存しながら平滑化を行うことができる。

Total Variation Filterの一例は、数４を用いて表される。

ここでαは処理を行う対象画素位置を示し、β、γはαの近傍の画素を示す。N(α)はαの近傍の画素の集合であり４近傍や８近傍を用いる。uは画素の値を示す。w(u)は画素間の値の差に反比例した関数である。λはフィッティングパラメータと呼ばれるフィルタリングの強度を調整するパラメータである。Total Variation Filterでは数４のフィルタを繰り返しかけることによってフィルタリングを行う。画素の値は繰り返し処理された画像のものを用いるが、数４の第２項については入力画像の画素を用いる。N(α)の近傍の例を図２に示す。図２では処理対象となる画素×に対して上下左右の位置にある画素の値を参照し、数４に従ったフィルタ処理を行う。これを画面全体に対して行う。このような非等方拡散フィルタの処理により、被写体の境界であるエッジの形状を崩すことなく、ノイズを除去し、領域分割に不必要な細かい模様を消すことが可能となる。

次にステップ１０４では、ステップ１０３によって得られた処理画像に対して領域成長法による領域分割処理を行う。本実施例では、領域分割手法としてWatershed法を用いる。

Watershed法は領域分割の手法の一つであり、領域成長法の一つに分類される。領域成長法は、領域分割する画面内において複数の初期位置を設定し、その開始点から領域を広げるようにして他の領域と重ならないように範囲を分割する手法である。これを図３を用いて具体的に説明する。

図３は処理対象画像の各画素値、即ち輝度や上述のカラーベクトル長の値について、これらを連続した関数のサンプル値としてみた時の微分値(Gradient)を計算したものである。
ここでは、説明のため１次元として表現しているが、実際には２次元の平面として処理が行われる。

まず画面の各画素における輝度あるいは上記のようなカラーベクトル長の値について、これらの微分値を地形に見立て、周辺と比較した時の極小値であるローカルミニマム３０１を探索し、ここを領域成長の開始点とする。次に微分値の変化を地形として考えた時にローカルミニマムから水を注ぎ入れた時に、他の領域と峰を越えてぶつかるところまで領域を成長させ、そのぶつかった点を境界点３０２とする。このように処理することによって、画面全体を閉じた領域によって分割することができ、ローカルミニマムを中心とした分割された領域３０３を得ることができる。

すなわち、Watershed法による領域分割は、サンプル値の２次元分布における稜線を分割線として用いる処理である。

上記のようにステップ１０４では領域分割処理を行い、最後にステップ１０５では領域分割の結果を出力する。

以上説明した図１の画像領域分割処理方法によれば、入力としてカラーベクトル長を用い、非等方拡散フィルタによる平滑化を行ったうえで、Watershed法による画像領域分割処理を行うことによって、従来のWatershed法におけるノイズによる過分割や本来被写体の境界ではない細かい模様の部分等を領域として分割するということを低減し、高精度な画像の領域分割処理方法を実現できる。

なお、Watershed法による領域分割処理の後処理としては、似た色の領域をまとめる統合処理や、多数決フィルタ等を用いた孤立点、小領域の除去等が行われる場合がある。本方式にこうした処理を組み合わせてもよい。これらの処理は既存の方式を用いればよい。

図５に本発明の実施例1に係る画像符号化方法及びその装置において用いる領域分割処理を行う装置の一例を示す。本画像処理装置は画像メモリ５０１、カラーベクトル化処理部５０２、非等方拡散フィルタ処理部５０３、領域分割処理部５０４、分割結果出力部５０５からなる。画像メモリ５０１は入力画像を保持する。保持された入力画像をカラーベクトル化処理部５０２は入力画像を色空間のベクトルとして表現し、このベクトル長を処理対象とするように変換処理を行う。処理内容は図１の説明において説明した通りである。非等方拡散フィルタ処理部５０３は、受け取った画像をTotal Variation Filter等を用いて非等方拡散フィルタ処理を行う。処理内容は図１の説明において説明した通りである。領域分割処理部５０４は、Watershed法等を用いて領域分割処理を行う。処理内容は図１の説明において説明した通りである。分割結果出力部５０５は領域分割処理によって得られた領域分割結果を出力する。

以上説明した図５の画像領域分割処理装置によれば、入力としてカラーベクトル長を用い、非等方拡散フィルタによる平滑化を行ったうえで、Watershed法による画像領域分割処理を行うことによって、従来のWatershed法におけるノイズによる過分割や本来被写体の境界ではない細かい模様の部分等を領域として分割するということを低減し、高精度な画像の領域分割処理装置を実現できる。

次に、図４に本実施例に係る画像符号化方法及びその装置において用いる領域分割処理の一例と従来の処理の処理結果の一例を示す。

図４(a)が背景と前景としての人物とが存在する原画像、(b)が原画像に対して既存方式であるWatershed法のみを用いて領域分割した時の境界を示した結果、(c) 原画像に対して一般的な平滑化処理であるガウシアンフィルタを行なったのちWatershed法を用いて領域分割した時の境界を示した結果、(d)が実施例1に係る画像領域分割処理方法もしくは画像領域分割装置により領域分割を行なった時の境界を示した結果である。

ここで、Watershed法のみを用いて領域分割した時の結果(b)では、過分割の影響により、例えば、人物と背景との境界線や人物の手や腕の境界線が不明瞭である。また、ガウシアンフィルタを行なったのちWatershed法を用いて領域分割した時の結果(c)では、結果(b)よりも分割数は低減しているが、一般的な平滑化処理の影響により、人物の腕・肩の境界線が消滅してしまっている。

これらに対し、実施例1に係る画像領域分割処理方法もしくは画像領域分割装置により領域分割を行なった時の結果(d)においては、人物の肩、腕、手、髪など、本来抽出すべき境界線を明確に残している。また結果(d)においては、結果(b)や結果(c)などに比べ、余分なノイズの低減により、分割数を低減して過分割を抑えている。

よって、実施例1に係る画像領域分割処理方法もしくは画像領域分割装置による領域分割処理は、高精度な領域分割処理を実現している。

以上、図１乃至図４を用いて説明した実施例1に係る画像領域分割処理方法もしくは画像領域分割装置による領域分割処理により、画像中の背景と被写体を高精度に分離することができ、これをオブジェクト符号化等の画像符号化装置、画像復号化装置、動物体を認識可能な監視システム等に用いることができる。本方式を画像符号化装置に用いれば圧縮率の向上、復号画像の被写体毎の編集が可能となる。また監視システムでは自動的な個数・人数計測、個人認証等に応用できる。

次に、図６に本発明の実施例1に係る画像符号化装置の一例を示す。当該画像符号化装置は、上記で説明した画像領域分割処理方法もしくは画像領域分割装置を用いたものである。本画像符号化装置は入力画像を記録する原画像メモリ６０１、レイヤー分割部６０２、符号化部６０３、符号出力部６０４、パラメータ選択部６０５、高精度領域分割部６０６からなる。

高精度領域分割部６０６は、原画像メモリ６０１から取得した入力画像について図５に示した領域分割処理処理を行い、領域分割結果を出力する部分であり、処理内容は前述の通りである。原画像メモリ６０１から取得した入力画像についてレイヤー分割部６０２は、高精度領域分割部６０６による領域分割結果に従い符号化効率を高めるように被写体レイヤーと背景レイヤーの分離処理を行う。被写体レイヤー、背景レイヤーは複数あってもよく、重なる部分があってもよい。符号化部６０３は、レイヤー分割部６０２が分離したそれぞれのレイヤーを符号化する。パラメータ選択部６０５は、高精度領域分割部６０６による領域分割結果に従い、それぞれのレイヤーを符号化する際のパラメータを決定する。例えば被写体レイヤーは符号量を多くして高画質に符号化し、背景レイヤーは符号量を少なくして全体のバランスを取る方法がある。符号出力部６０４は被写体レイヤーと背景レイヤーの位置関係等を示した情報と符号化されたデータを多重化して出力する。

次に、図８に本発明の実施例1に係る画像符号化方法の一例を示す。本実施例では、まずステップ８０１において、符号化するための画像が入力される。次にステップ８０２において高精度な領域分割処理が行われる。本発明による高精度な領域分割処理の内容については前述の通りである。次にステップ８０３において領域分割結果に従いレイヤー分割処理が行われる。これによって画像が被写体レイヤー、背景レイヤー等に分離される。次にステップ８０４において各レイヤーに対して適した符号化パラメータが設定される。次にステップ８０５において各レイヤーが設定されたパラメータを用いて符号化される。最後にステップ８０６において個別に符号化されたレイヤーデータがレイヤーの配置情報とともに多重化され符号化ストリームとして出力される。

以上説明した本発明の実施例１に係る画像符号化装置または画像符号化方法によれば、高精度な画像の領域分割処理の結果を用いて、背景レイヤーと被写体レイヤーをそれぞれ符号化するオブジェクト符号化処理を行なうことにより、高画質で圧縮率のよい画像符号化装置または画像符号化方法を実現することができる。

次に、図７に本発明の実施例２に係る画像復号化装置の一例を示す。本画像復号化装置はストリーム解析部７０１、復号化部７０２、レイヤー統合部７０３、復号画像出力部７０４からなる。ストリーム解析部７０１は、受信したストリームからフラグや復号データを取り出す。復号化部７０２は受信した復号データを復号化し、それぞれのレイヤーデータを取得する。レイヤー統合部７０３は、解析されたレイヤー配置情報や復号化されたレイヤーデータを統合し、復号画像を合成する。復号画像出力部７０４は合成された復号画像を出力する。

図９に本発明の実施例２に係る画像復号化方法の一例を示す。本実施例では、まずステップ９０１において、復号化するための符号化ストリームが入力される。次にステップ９０２において、入力されたストリームの解析が行われ、フラグや復号データが取り出される。次にステップ９０３において、取り出された各レイヤーデータの復号化が行われる。次にステップ９０４において、レイヤーの配置情報に従って復号化された各レイヤーが統合され復号画像として合成される。最後にステップ９０５において合成された復号画像が出力される。

以上説明した本発明の実施例２に係る画像復号化装置または画像復号化方法によれば、高精度な画像の領域分割処理の結果を用いた、オブジェクト符号化処理により、高画質で高圧縮率で符号化された符号化ストリームを復号化することのできる画像復号化装置または画像復号化方法を実現することができる。

なお、以上説明した各図、各方法等の実施例のいずれを組み合わせても、本発明の一実施の形態となりうる。

以上説明した本発明の各実施例によれば、高精度な領域分割処理を実現することが可能となり、これを用いた高画質で圧縮率のよい画像符号化方法もしくはその装置、またはこれに対応する画像復号化方法もしくはその装置を実現することができる。

本発明の一実施例に係る画像処理方法の流れ図の説明図本発明の一実施例に係るTotal Variation Filterの処理方法の例の説明図本発明の一実施例に係るWatershed法の処理方法の例の説明図本発明の一実施例とに係る画像領域分割処理と従来方式の結果の比較の説明図本発明の一実施例に係る画像領域分割処理装置の一実施例の説明図本発明の一実施例に係る画像符号化装置の一実施例の説明図本発明の一実施例に係る画像復号化装置の一実施例の説明図本発明の一実施例に係る画像符号化方法の例の説明図本発明の一実施例に係る画像復号化方法の例の説明図

符号の説明

５０１…画像メモリ、５０２…カラーベクトル化処理部、５０３…非等方拡散フィルタ処理部、５０４…領域分割処理部、５０５…分割結果出力部、６０１…原画像メモリ、６０２…レイヤー分割部、６０３…符号化部、６０４…符号出力部、６０５…パラメータ選択部、６０６…高精度領域分割部、７０１…ストリーム解析部、７０２…復号化部、７０３…レイヤー統合部、７０４…復号画像出力部

Claims

入力画像を符号化する画像符号化方法であって、
前記入力画像データのカラーベクトル情報もしくは輝度情報に対し、画像のエッジに対して異方性を有する平滑化フィルタ処理を行うフィルタ処理ステップと、
前記フィルタ処理ステップによる処理を行った後のカラーベクトル情報もしくは輝度情報に対して、領域成長法による領域分割処理を行い、前記入力画像の複数の分割領域情報を生成する領域分割ステップと、
前記領域分割ステップにより生成した前記複数の分割領域情報を用いて、前記入力画像を複数のレイヤーに分割するレイヤー分割ステップと、
前記レイヤー分割ステップにおいて生成したレイヤーごとに符号化処理を行う符号化ステップとを備える画像符号化方法。
前記画像のエッジに対して異方性を有する平滑化フィルタ処理は、画像のエッジの接線方向に対する平滑化処理と前記エッジの垂直方向に対する平滑化処理の程度が異なるフィルタ処理である請求項１に記載の画像符号化方法。
前記画像のエッジに対して異方性を有する平滑化フィルタ処理は、画像のエッジの接線方向に対する平滑化処理の程度が、前記エッジの垂直方向に対する平滑化処理の程度よりも大きいフィルタ処理である請求項１に記載の画像符号化方法。
前記領域成長法による領域分割処理は、前記入力画像データのカラーベクトル情報もしくは輝度情報の大きさの値の２次元分布における稜線を分割線として用いる処理である請求項１に記載の画像符号化方法。
前記画像のエッジに対して異方性を有する平滑化フィルタ処理は、非等方拡散フィルタによる処理である請求項１に記載の画像符号化方法。
前記画像のエッジに対して異方性を有する平滑化フィルタ処理は、Total Variation Filterによる処理である請求項１に記載の画像符号化方法。
前記領域成長法による領域分割処理は、Watershed法による領域分割処理である請求項１に記載の画像符号化方法。
前記フィルタ処理ステップと前記領域分割ステップとを行ったことを示すフラグと、前記符号化ステップにおいて符号化処理を行った符号化データとを有する符号化ストリームを出力する出力ステップを備える請求項１に記載の画像符号化方法。
入力画像を符号化して符号化ストリームを出力する画像符号化装置であって、
前記入力画像データのカラーベクトル情報もしくは輝度情報に対し、画像のエッジに対して異方性を有する平滑化フィルタ処理を行い、前記フィルタ処理を行った後のカラーベクトル情報もしくは輝度情報に対して領域成長法による領域分割処理を行い、前記入力画像の領域分割に関する情報を生成する領域分割情報生成部と、
前記領域分割情報生成部が生成した前記領域分割に関する情報を用いて、前記入力画像を複数のレイヤーに分割するレイヤー分割部と、
前記レイヤー分割部が分割したレイヤーごとに符号化処理を行う符号化部と、
前記符号化部が符号化したデータを含む符号化ストリームを出力する出力部を備える画像符号化装置。
前記画像のエッジに対して異方性を有する平滑化フィルタ処理は、画像のエッジの接線方向に対する平滑化処理と前記エッジの垂直方向に対する平滑化処理の程度が異なるフィルタ処理である請求項９に記載の画像符号化装置。
前記画像のエッジに対して異方性を有する平滑化フィルタ処理は、画像のエッジの接線方向に対する平滑化処理の程度が、前記エッジの垂直方向に対する平滑化処理の程度よりも大きいフィルタ処理である請求項９に記載の画像符号化装置。
前記領域成長法による領域分割処理は、前記入力画像データのカラーベクトル情報もしくは輝度情報の大きさの値の２次元分布における稜線を分割線として用いる処理である請求項９に記載の画像符号化装置。
前記画像のエッジに対して異方性を有する平滑化フィルタ処理は、非等方拡散フィルタによる処理である請求項９に記載の画像符号化装置。
前記画像のエッジに対して異方性を有する平滑化フィルタ処理は、Total Variation Filterによる処理である請求項９に記載の画像符号化装置。
前記領域成長法による領域分割処理は、Watershed法による領域分割処理である請求項９に記載の画像符号化装置。
前記出力部が出力する符号化ストリームは、前記フィルタ処理と前記領域分割処理とを行ったことを示すフラグを含む請求項１に記載の画像符号化装置。