JP2010268283A - 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法 - Google Patents

Abstract

【課題】画像を任意の形状を単位とした複数領域に分割し、前記分割した領域を単位として予測を行う場合、領域情報を効率良く符号化すること。
【解決手段】画像符号化装置１００は、入力画像を複数の領域に分割する領域分割部１０８と、分割された各領域を単位に入力画像を符号化する画像符号化部１０３と、各画素に対し分割されたどの領域に属するかを示す識別情報を生成して付与する識別情報生成部１０９と、識別情報を符号化する識別情報符号化部１１１とを備える。識別情報符号化部１１１は、符号化対象画像に付与した識別情報と、時系列的に過去または未来の符号化済み参照画像の識別情報から生成した予測識別情報とを差分化し、差分識別情報を符号化する。
【選択図】図１

Description

本発明は、高画質で符号化効率の良い画像符号化技術及び画像復号化技術に関する。

ＴＶ信号などの動画像データを高能率に符号化して記録あるいは伝送する手法としてＭＰＥＧ（Moving Picture Experts Group）方式等の符号化方式が策定され、ＭＰＥＧ−１規格、ＭＰＥＧ−２規格、ＭＰＥＧ−４規格等として国際標準の符号化方式となっている。また、さらに圧縮率を向上させる方式として、Ｈ．２６４／ＡＶＣ（Advanced Video Coding）規格等が定められている。ＭＰＥＧ符号化方式では１画面（１フレーム）をマクロブロック（１６画素×１６ライン）単位に分割して、それぞれのブロックについて画面内または画面間の相関を利用した予測符号化を行う。Ｈ．２６４／ＡＶＣ方式では、マクロブロックをさらに１６×８、８×１６、８×８、８×４、４×８、４×４の小ブロックに分割するモードを有しており、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４と比べて符号化を行う際のブロックについて分割種別を増やすことにより予測精度を向上し、高い圧縮率を実現している。

さらに、画像を矩形以外の形状を有する複数の領域に分割して符号化する技術も提案されている。例えば特許文献１には、画像を画素単位で複数の領域に分割し、それぞれの領域に対して複数段階の画質を設定する手段を有することで、重要な部分の画質を維持したまま符号化効率を向上する手法が記載されている。

特開２００１−３３３２８１号公報

画像には静止した領域と動きのある領域が１枚の画面内に混在する場合や、更には動きの異なる複数の領域が混在する場合がある。これらの動きの異なる領域が混在する画像を符号化する場合において、従来ではブロックの分割方法が矩形形状に限定されているため、ブロック内に動きの異なる複数の領域が混在した場合には精度よく予測を行うことができず、復号化後の画質が低くなる、あるいは画質改善のために符号量が多くなるという課題があった。

前記特許文献１に記載される技術によれば、矩形以外の形状を有する複数の領域に分割することが可能となる。その際、領域分割に関する情報を画像情報と共にエントロピー符号化することが記載されている。すなわち任意形状符号化においては、ブロック単位での符号化と比べて領域情報の符号量が新たに加算されるため、トータルの符号量を削減しにくいという点で課題を残している。

本発明は上記課題を鑑みてなされたものであり、その目的は、画像を任意の形状を単位とした複数領域に分割し、前記分割した領域を単位として予測を行う場合、領域情報を効率良く符号化することで、高画質で符号化効率の良い画像符号化技術及び画像復号化技術を提供することにある。

本発明は、入力画像を、複数の領域に分割して符号化する画像符号化装置であって、前記入力画像を、該入力画像を構成する複数の任意の形状の領域に分割する領域分割部と、前記分割された各領域を単位に前記入力画像を符号化する画像符号化部と、前記入力画像の各画素に対し、前記分割されたどの領域に属するかを示す識別情報を生成して付与する識別情報生成部と、前記識別情報を符号化する識別情報符号化部とを備え、該識別情報符号化部は、符号化対象画像に付与した識別情報と、時系列的に過去または未来の符号化済み参照画像の識別情報から生成した予測識別情報とを差分化し、差分識別情報を符号化する。

さらに前記識別情報符号化部により符号化された識別情報を復号化する識別情報復号化部を備え、該識別情報復号化部は、対象画素の識別情報を復号した結果が予め定めた識別情報の付与手順と合致しない場合、対象画素に隣接する画素の復号識別情報を用いて補正する。

本発明は、入力画像を複数の領域に分割して符号化する画像符号化方法であって、前記入力画像を、該入力画像を構成する複数の任意の形状の領域に分割する領域分割ステップと、前記入力画像の各画素に対し、前記分割されたどの領域に属するかを示す識別情報を生成して付与する識別情報生成ステップと、前記識別情報を符号化する識別情報符号化ステップと、前記分割された各領域を単位に前記入力画像を符号化する画像符号化ステップとを備え、前記識別情報符号化ステップは、符号化対象画像に付与した識別情報と、時系列的に過去または未来の符号化済み参照画像の識別情報から生成した予測識別情報とを差分化し、差分識別情報を符号化する。

本発明は、画像を複数の任意の形状の領域に分割して符号化された符号化データを復号化する画像復号化装置であって、前記分割された各領域を識別するために各画素に付与された識別情報を復号化する識別情報復号化部と、前記分割された各領域を単位に前記符号化データから画像を復号化する画像復号化部とを備え、前記識別情報復号化部は、前記符号化データを復号化して得られる差分識別情報と、時系列的に過去または未来の復号化済み参照画像の識別情報から生成した予測識別情報とを加算し、識別情報を生成する。

本発明は、画像を複数の任意の形状の領域に分割して符号化された符号化データを復号化する画像復号化方法において、前記分割された各領域を識別するために各画素に付与された識別情報を復号化する識別情報復号化ステップと、前記分割された各領域を単位に前記符号化データから画像を復号化する画像復号化ステップとを備え、前記識別情報復号化ステップは、前記符号化データを復号化して得られる差分識別情報と、時系列的に過去または未来の復号化済み参照画像の識別情報から生成した予測識別情報とを加算し、識別情報を生成する。

本発明によれば、高画質で符号化効率の良い画像符号化装置、画像復号化装置及びその方法を提供できる。

本発明の画像符号化装置の一実施例（実施例１）を示す構成ブロック図。 画像符号化部１０３および画像復号化部１０４の内部構成を示した図。 入力画像の領域分割の一例を示す図。 分割領域に対して識別情報を付与した一例を示す図。 識別情報の予測動作を説明する図。 エッジ強度を計算するために用いるフィルタ係数の例。 エッジ強度を算出するために参照する画素値。 識別情報の付与手順を説明した図。 本実施例における符号化処理手順を示すフローチャート。 本発明の画像復号化装置の一実施例（実施例２）を示す構成ブロック図。 画像復号化部２０２の内部構成を示した図。 本実施例における１フレームの復号化処理手順を示すフローチャート。 識別情報復号処理（Ｓ１２０３）の手順を更に詳細に示すフローチャート。 画像情報復号処理（Ｓ１２０４）の手順を更に詳細に示すフローチャート。 本発明の画像符号化装置の他の実施例（実施例３）を示す構成ブロック図。 識別情報の補正動作を説明する図。 本実施例における識別情報補正手順を示すフローチャート。 本発明の画像復号化装置の他の実施例（実施例４）を示す構成ブロック図。

以下、本発明の実施例を画像符号化装置と画像復号化装置に分けて説明する。

図１は、本発明の画像符号化装置の一実施例（実施例１）を示す構成ブロック図である。画像符号化装置１００は、画像信号処理部１２１、識別情報処理部１２２、多重化部１２３を備える。画像信号処理部１２１は、領域抽出部１０１、減算器１０２、画像符号化部１０３、画像復号化部１０４、加算器１０５、メモリ部１０６、画像予測部１０７を有する。識別情報処理部１２２は、領域分割部１０８、識別情報生成部１０９、減算器１１０、識別情報符号化部１１１、識別情報復号化部１１２、加算器１１３、メモリ部１１４、識別情報予測部１１５を有する。

初めに、画像符号化装置１００の概略動作について説明する。
画像信号処理部１２１において、領域抽出部１０１は、入力画像１５０の中から後述する復号識別情報１５９で指定される領域を抽出し、領域画像１５１を出力する。減算器１０２は、領域抽出部１０１で抽出した領域画像１５１と、後述する画像予測部１０７から出力される予測画像１５３との減算処理を行い、差分画像を生成する。画像符号化部１０３は、前記差分画像に対して符号化処理を行い、符号化画像データ１５２を生成する。符号化画像データ１５２は多重化部１２３に送られ、後述する符号化識別情報１５７および符号化予測情報１６１と多重化され、符号化ストリーム１６２として出力される。

画像復号化部１０４は、画像符号化部１０３から出力される符号化画像データ１５２を復号し、復号差分画像を生成する。加算器１０５は、前記復号差分画像と予測画像１５３を加算して復号画像１５４を生成し、メモリ部１０６に格納する。画像予測部１０７は、メモリ部１０６から読み出した参照画像１５５を基に次に符号化する領域画像１５１に対する予測画像１５３を生成し、前記減算器１０２に出力する。

識別情報処理部１２２において、領域分割部１０８は、入力画像１５０を画像の輪郭や動きに合わせ、任意の形状を単位とした複数個の領域に分割する。識別情報生成部１０９は、分割された各領域に対して識別情報１５６を付与する。減算器１１０は、識別情報生成部１０９から出力される識別情報１５６と後述する識別情報予測部１１５から出力される予測識別情報１５８との減算処理を行い、差分識別情報を生成する。識別情報符号化部１１１は、前記差分識別情報に対して符号化処理を行い符号化識別情報１５７を生成する。符号化識別情報１５７は、識別情報復号化部１１２に出力されるとともに、前記多重化部１２３へ送られ多重化される。

識別情報復号化部１１２は、符号化識別情報１５７を復号し復号差分識別情報を生成する。加算器１１３は、前記復号差分識別情報と予測識別情報１５８を加算して復号識別情報１５９を生成する。復号識別情報１５９は、メモリ部１１４および前記領域抽出部１０１と画像予測部１０７に出力される。識別情報予測部１１５は、メモリ部１６０から読み出した参照識別情報１６０に基づき、予測識別情報１５８および符号化予測情報１６１を生成する。予測識別情報１５８は、減算器１１０および加算器１１３に送られる。符号化予測情報１６１は、前記画像予測部１０７と多重化部１２３に出力される。

次に、各ブロックの処理動作を詳細に説明する。
（１）画像信号処理部１２１の動作。
領域抽出部１０１は、入力画像１５０の中から符号化対象とする領域として、識別情報処理部１２２からの復号識別情報１５９で指定される領域のみを抽出して減算器１０２に出力する。減算器１０２は、領域抽出部１０１より出力される領域画像１５１と画像予測部１０７より出力される予測画像との減算処理を行い、差分画像を出力する。画像符号化部１０３は、前記差分画像に対して符号化処理を行い符号化画像データ１５２を生成するものであり、画像復号化部１０４は画像符号化部１０３と逆の手順を行うことにより前記符号化画像データ１５２から復号差分画像を生成する。本処理において、画像符号化部１０３における画像符号化処理が可逆符号化であれば、画像復号化部１０４の処理結果は画像符号化部１０３への入力と同一となる。画像符号化部１０３における画像符号化処理が非可逆符号化の場合は、画像復号化部１０４の処理結果は画像符号化部１０３への入力と必ずしも同一とはならい。なお、可逆符号化処理は非可逆符号化と比べて一般に圧縮率が低いため、非可逆符号化処理を用いるのが好ましい。

図２は、画像符号化部１０３および画像復号化部１０４の内部構成を示した図である。
符号３００は図１の画像符号化部１０３に相当する。周波数変換部３０１は、差分画像３５０を離散コサイン変換（Discrete Cosine Transform：ＤＣＴ変換）等の周波数変換を行い、周波数変換データを出力する。量子化部３０２は、前記周波数変換データを量子化して量子化データ３５１を出力する。可変長符号化部３０３は、量子化データを可変長符号化して符号化画像データ３５２を出力する。また符号３１０は図１の画像復号化部１０４に相当する。逆量子化部３１１は、量子化部３０２から出力した量子化データ３５１を逆量子化し、逆周波数変換部３１２は、これを逆周波数変換して復号差分画像３５３を生成する。

符号化処理において、量子化部３０２での量子化幅を大きくすると量子化後のデータ量が少なくなり、すなわち圧縮率を上げることが可能となるが、量子化誤差が大きくなる。逆に、量子化部３０２での量子化幅を小さくすればすると量子化後のデータ量は多くなり、すなわち圧縮率は小さくなるが、量子化誤差を小さくすることが可能となる。

加算器１０５は、復号差分画像と予測画像１５３を加算して復号画像１５４を生成し、メモリ部１０６に格納する。メモリ部１０６に格納された復号画像１５４は、次の画像（フレーム）の画像情報を符号化する際の参照画像１５５とするために用いられる。

画像予測部１０７は、メモリ部１０６から読み出した参照画像１５５を基に、次に符号化する領域画像１５１に対する予測画像１５３を生成して出力する。予測画像１５３の生成方法として、従来の各ＭＰＥＧ方式においては、参照画像１５５の中から領域画像１５１に最も合致する領域を探索する手法が主として用いられている。これに対し本実施例においては、識別情報処理部１２２からの復号識別情報１５９と符号化予測情報１６１に基づき予測画像１５３を生成するものである。すなわち、復号識別情報１５９を用いて参照画像１５５の中から符号化対象の領域画像１５１に対応する領域を抽出し、更に符号化予測情報１６１を用いて動きを補正して予測画像１５３を生成するようにした。

（２）識別情報処理部１２２の動作。
領域分割部１０８は、入力画像１５０に対して、画像の輪郭や動きに合わせて任意の形状を単位とした複数個の領域に分割する。

図３は、入力画像の領域分割の一例を示す図である。（ｂ）は符号化対象画像５００を示し、図１における入力画像１５０に対応する。（ａ）は符号化対象画像５００に対して時間軸上で過去あるいは未来の参照画像５１０を示し、符号化処理および復号化処理を終了してメモリ部１０６から読み出された参照画像１５５に対応する。この例では、（ｂ）の画像５００は（ａ）の画像５１０に対して、人物５００ａが右から左に、車５００ｂが左から右に動いており、それ以外の領域は静止している。（ｃ）は符号化対象画像５００を領域分割し、４個の画像領域を生成した状態を示す。ここでは、人物領域５０１、車領域（左側）５０２、車領域（右側）５０３、背景領域５０４の４つの領域に分割している。

領域分割方法の一例として、画像内の各画素のエッジ強度により領域を分離する方法を説明する。具体的には、画像５００の各画素におけるエッジ強度ｆを、水平エッジ強度ｆ_ｈ、垂直エッジ強度ｆ_ｖから次の数式（１）により算出する。

ここで、水平エッジ強度ｆ_ｈと垂直エッジ強度ｆ_ｖは以下のように算出する。
図６は、エッジ強度を計算するために用いるフィルタ係数の例で、ソーベルフィルタである。垂直方向フィルタは、垂直エッジ強度ｆ_ｖを算出するために水平方向の画素値の差分を求める係数である。水平方向フィルタは、水平エッジ強度ｆ_ｈを算出するために垂直方向の画素値の差分を求める係数である。また図７は、エッジ強度を算出するために参照する画素値を示す。Ａは画素値で、ｉ，ｊは画面左上端を原点とした時の水平、垂直座標を表す。画素Ａ（ｉ，ｊ）が中心画素で、これに隣接する８個の画素を用いる。

これらを用いて、画素Ａ（ｉ，ｊ）における垂直エッジ強度ｆ_ｖと水平エッジ強度ｆ_ｈは、数式（２）と数式（３）により算出する。

前記数式（１）で算出したエッジ強度ｆを予め定める閾値ｆ_ｔｈと比較し、ｆ＞ｆ_ｔｈの時はその画素をエッジ画素、ｆ≦ｆ_ｔｈの時はその画素を平坦画素とする。以上の処理を画像５００に含まれる全画素に対して実施した後、エッジ画素を境界とする閉領域を分割の単位とすることが可能である。本手法により、図３（ｂ）の画像５００は、図３（ｃ）の各画像領域５０１〜５０４に分割される。

次に、領域分割方法の他の例として、動きベクトルの類似性を用いる方法を説明する。最初に、図３（ｂ）の画像５００中の画素Ａ_ｃｕｒに対して、図３（ａ）の画像５１０内で値が最も近くなる画素Ａ_ｒｅｆを探索する。画素Ａ_ｃｕｒの座標を（ｘ_ｃｕｒ、ｙ_ｃｕｒ）、上記探索で求められた画素Ａ_ｒｅｆの座標を(ｘ_ｒｅｆ，ｙ_ｒｅｆ)とした時、画像５００から画像５１０に向かう画素Ａ_ｃｕｒｒの動きベクトルｍｖ（Ａ_ｃｕｒｒ）を次の数式（４）により算出する。

画像５００における全画素について上記の動きベクトルｍｖを算出した後、動きベクトルｍｖが類似する画素を同一領域として統合する。この方法では図３（ｂ）の画像について時間的な動きの類似度に応じた領域分割を行うことが可能となる。

以上、領域分割方法として、エッジ強度の大きさを用いた分割方法と動きの類似度を用いた分割方法の例を説明したが、さらに上記これらを組み合わせた方法を用いることも可能である。これにより、入力画像を、画像の輪郭や動きに応じて複数の任意の形状の領域に分割することができる。

次に識別情報生成部１０９は、分割された各画像領域に対して識別情報を付与する。識別情報とは、画像内の各画素が、どの分割領域に属するかを示す情報である。

図４は、図３の分割領域に対して識別情報を付与した一例を示す図である。（ｂ）は符号化対象画像５００であり、人物領域５０１に識別情報Ｉｄ＝１、車領域（左側）５０２に識別情報Ｉｄ＝２、車領域（右側）５０３に識別情報Ｉｄ＝３、背景領域５０４に識別情報Ｉｄ＝０を付与している。また（ａ）は参照画像５１０であり、これについても車領域５１１に識別情報Ｉｄ＝１、人物領域５１２に識別情報Ｉｄ＝２、背景領域５１３に識別情報Ｉｄ＝０を付与している。参照画像５１０の識別情報は、参照識別情報とも呼ばれる。後述するように、識別情報Ｉｄは符号化対象画像ごとにスキャン順に付与するので、（ａ）と（ｂ）の異なる画像（フレーム）の間では、同一の人物領域５１２，５０１であっても異なる識別情報Ｉｄが付与される場合がある。

図８は、識別情報Ｉｄの付与手順を説明した図である。（ａ）において、符号化対象画像８００は入力画像１５０であり複数の画素８０１で構成される。識別情報生成部１０９は、画像８００の全画素に矢印８０２に示す順番で識別情報を付与する。一例として、画像８００は領域分割の結果、（ｂ）に示すように領域８１１〜領域８１５の５つの領域に分離された場合を想定する。識別情報の付与ルールは、識別情報Ｉｄの初期値を０とし、（ｂ）の各画素８０１に対して（ａ）の矢印８０２の順にスキャンし、新しい領域が検出される毎に識別情報Ｉｄを１だけインクリメントして付与する。その結果、（ｃ）に示すように、各画素に対してどの領域に属するかを示す識別情報Ｉｄ＝０，１，２，３，４を付与することができる。このように識別情報Ｉｄは画面内のスキャン順に初期値０から付与されるので、符号化対象画像８００が変化すれば同一形状であっても異なる識別情報Ｉｄが付与されることになる。

次に、識別情報予測部１１５の動作について説明する。識別情報予測部１１５は、図４（ｂ）の符号化対象画像５００の各分割領域５０１〜５０４について、図４（ａ）の参照画像５１０の中から領域の形状が最も合致する領域を予測して、予測した領域の識別情報を参照して予測識別情報１５８とする。ここでは、（ｂ）の人物領域５０１について（ａ）の中から最も合致する領域を探す場合を説明する。

図５は、識別情報の予測動作を説明する図である。図５（ａ）は、図４（ａ）の参照画像５１０に対して２値化情報を割り当てたものであり、参照画像５１０を構成する３つの領域（５１１〜５１３）のいずれか１つの領域のみに２値化情報Ｖ＝１を、それ以外の領域に対して２値化情報Ｖ＝０を割り当てる。（ａ１）は領域５１１のみにＶ＝１を、（ａ２）は領域５１２のみにＶ＝１を、（ａ３）は領域５１３のみにＶ＝１を割り当てた場合を示す。次に、図５（ｂ）は、図４（ｂ）の符号化対象画像５００に対して２値化情報Ｖを割り当てたものであり、ここでは予測対象である人物領域５０１に対して２値化情報Ｖ＝１を、それ以外の領域に対してＶ＝０を割り当てた場合である。

符号化対象画像５００のうち、予測対象であるＶ＝１が割り当てられた領域５０１を含む矩形領域５０１’に着目し、参照画像（ａ１）、（ａ２）、（ａ３）の中から２値化情報Ｖの差分絶対値和が最も小さくなる領域を探索する。探索の結果、図５（ｃ）のように、参照画像（ａ２）における領域５１２を含む矩形領域５１２’が差分絶対値和が最小となる領域として選択される。このとき識別情報予測部１１５は、矩形領域５１２’のうち、予測対象である領域５０１（Ｖ＝１）に対応する領域５１２の識別情報を参照して、予測識別情報１５８とする。すなわち、図５（ｄ）のように、領域５１２の識別情報Ｉｄ＝２をもって予測対象領域５０１の予測識別情報１５８とする。このような識別情報の予測動作により、異なる画像（フレーム）間で同一形状の領域に対して異なる識別情報が付与されたものを、共通の識別情報に変換することができる。

また、（ｃ）に示すように、矩形領域５０１’を、（ａ２）画像上の同一座標位置に配置した矩形領域５０１”を基準とし、矩形領域５０１”の左上頂点から矩形領域５１２’の左上頂点へのベクトル５５０を求め、符号化予測情報１６１とする。このように、識別情報予測部１１５では、識別情報生成部１０９で生成した全ての領域に対して、参照画像の識別情報を用いて予測識別情報１５８と符号化予測情報１６１を生成し出力する。

次に、識別情報の符号化について説明する。

減算器１１０は、識別情報生成部１０９で生成した各領域の識別情報１５６と識別情報予測部１１５で生成した予測識別情報１５８との減算を行う。識別情報符号化部１１１は、前記減算結果に対して符号化処理を行い符号化識別情報１５７を生成する。識別情報復号化部１１２は、識別情報符号化部１１１と逆の手順を行うことにより、復号差分識別情報を生成する。ここで、識別情報符号化部１１１における符号化処理が可逆符号化であれば識別情報復号化部１１２の処理結果は識別情報符号化部１１１への入力と同一となるが、識別情報符号化部１１１における符号化処理が非可逆符号化の場合は識別除法復号化部１１２の処理結果は識別情報符号化部１１１への入力と必ずしも同一とはならない。加算器１１３は、識別情報復号化部１１２より出力される復号差分識別情報と予測識別情報１５８を加算して復号識別情報１５９を生成し、メモリ部１１４と領域抽出部１０１および画像予測部１０７に出力する。メモリ部１１４に格納された復号識別情報１５９は、次の画像（フレーム）の識別情報を符号化する際の参照識別情報１６０として用いられる。

このように本実施例では、識別情報生成部１０９で生成した各領域の識別情報１５６をそのまま用いるのではなく、識別情報予測部１１５で生成した予測識別情報１５８で差分値を求め、さらに識別情報符号化部１１１により、差分情報を符号化処理を行い符号化識別情報１５７を生成するものである。よって、符号化ストリーム１６２に加算される符号化識別情報１５７の符号量は大幅に削減され、符号化効率の良い画像符号化装置を実現することが可能となる。

図９は、本実施例における符号化処理手順を示すフローチャートである。まず、１フレーム内のすべての画素に対して以下の処理（ループ１）を行う（Ｓ９０１）。すなわち、入力画像のすべての画素に対して領域分割処理を行い、各領域に対して識別情報を付与する（Ｓ９０２）。以上の処理をフレーム内のすべての画素に対して実施する（Ｓ９０３）。

次に、１フレーム内のすべての領域に対して以下の処理（ループ２）を行う（Ｓ９０４）。識別情報符号化処理（Ｓ９０５）により、領域分割処理（Ｓ９０２）で生成した識別情報を符号化し、符号化識別情報を生成する。続いて、識別情報復号化処理（Ｓ９０６）により符号化識別情報を復号化する。次に、入力画像から各領域に対応する画像情報を抽出する（Ｓ９０７）。画像情報符号化処理（Ｓ９０８）は画像抽出処理（Ｓ９０７）で抽出した画像情報を符号化し、符号化画像データを生成する。画像情報復号化処理（Ｓ９０９）は符号化画像データを復号化する。符号化データ多重処理（Ｓ９１０）は、識別情報符号化処理（Ｓ９０５）で生成した符号化識別情報と、画像情報符号化処理（Ｓ９０８）で生成した符号化画像データを多重する。以上の処理をすべての領域に対して実施し（Ｓ９１１）、画像１フレーム分の符号化が終了する。

以上のように実施例１の画像符号化処理では、入力画像を任意の形状を単位とする複数の領域に分割し、前記分割した領域を単位として予測符号化を行うものである。その際、上記形状を識別するために識別情報を付与し、該識別情報についても前記分割領域と同様に予測符号化を行うものである。これにより予測誤差を削減し、高画質で符号化効率の良い画像符号化装置および画像符号化方法を提供することが可能となる。

図１０は、本発明の画像復号化装置の一実施例（実施例２）を示す構成ブロック図である。画像復号化装置２００は、分離部２０１、画像信号処理部２２１、識別情報処理部２２２を備える。画像信号処理部２２１は、画像復号化部２０２、領域抽出部２０３、加算器２０４、メモリ部２０５、画像予測部２０６を有する。識別情報処理部２２２は、識別情報復号化部２０７、加算器２０８、メモリ部２０９、識別情報予測部２１０を有する。

まず、画像復号化装置２００の概略動作について説明する。
画像信号処理部２２１において、分離部２０１は、受信した符号化ストリーム２５０を符号化画像データ２５１、符号化予測情報２５２、符号化識別情報２５３に分離してそれぞれ出力する。画像復号化部２０２は、符号化画像データ２５１を復号し復号差分画像２５４を生成する。領域抽出部２０３は、復号差分画像２５４の中から後述する復号識別情報２５７で指定される領域を抽出し、復号差分領域画像を出力する。加算器２０４は、前記復号差分領域画像と後述する画像予測部２０６より出力する予測画像２５６を加算して、復号画像２５５を生成し出力する。また前記復号画像２５５は、メモリ部２０５にも格納される。画像予測部２０６は、メモリ部２０５から読み出した参照画像２６０により予測画像２５６を生成し、加算器２０４に出力する。

識別情報処理部２２２において、識別情報復号化部２０７は、符号化識別情報２５３を復号し復号差分識別情報を生成する。加算器２０８は、前記復号差分識別情報と後述する識別情報予測部２１０より出力する予測識別情報２５８を加算して、復号識別情報２５７を生成する。復号識別情報２５７は、メモリ部２０９および領域抽出部２０３と画像予測部２０６に出力される。識別情報予測部２１０は、メモリ部２０９より読み出した参照識別情報２５９から予測識別情報２５８を生成し、加算器２０８に出力する。

次に、各ブロックの処理動作を詳細に説明する。
（１）画像信号処理部２２１の動作。
画像復号化部２０２は前記図１（画像符号化装置）の画像復号化部１０４に対応し、また領域抽出部２０３、加算器２０４、メモリ部２０５、画像予測部２０６は、それぞれ図１の１０１、１０５、１０６、１０７に対応し、同様に動作する。

図１１は、画像復号化部２０２の内部構成を示した図である。符号４００は図１０の画像復号化部２０２に相当する。可変長復号化部４０１は、符号化画像データ４５０を可変長復号化して量子化データとする。逆量子化部４０２は、量子化データを逆量子化し、逆周波数変換部４０３は、これを逆周波数変換して復号差分画像４５１を生成する。

領域抽出部２０３に関して、実施例１（図１）の領域抽出部１０１では、入力画像１５０から符号化対象領域１５１を抽出するため復号識別情報１５９を参照している。これに対し図１０では、復号差分画像２５４から復号画像生成の対象領域を抽出するため復号識別情報２５７を参照している。また、画像予測部２０６に関して、実施例１（図１）の画像予測部１０７では、符号化予測情報１６１を識別情報予測部１１５より取得している。これに対し図１０では、符号化予測情報２５２を分離部２０１より取得している点が異なる。

（２）識別情報処理部２２２の動作。
識別情報復号化部２０７は、実施例１（図１）の識別情報復号化部１１２に対応し、また加算器２０８、メモリ部２０９は、それぞれ実施例１（図１）の１１３、１１４と対応し、同様に動作する。識別情報予測部２１０は、メモリ部２０９から読み出した参照識別情報２５９の中から、符号化予測情報２５２に基づいて予測識別情報２５８を生成する。この動作は、実施例１の図５（ｃ）において、画像５１０を参照画像２６０、ベクトル５５０を符号化予測情報２５２として、矩形５１２’における識別情報を抽出する処理と同等である。すなわち、実施例１における識別情報予測部１１５では図５（ｃ）におけるベクトル５５０を算出する処理を行うものであるが、実施例２における識別情報予測部２１０では、ベクトル情報が符号化予測情報２５２として与えられるため、そのベクトル情報に基づいて矩形５１２’を抽出する点が異なる。

図１２は、本実施例における１フレームの復号化処理手順を示すフローチャートである。まず、１フレーム内のすべての領域に対して、以下の処理を行う（Ｓ１２０１）。すなわち、入力した符号化ストリームに対して符号化データ分離処理（Ｓ１２０２）を行い、符号化ストリームから符号化識別情報と符号化画像データと符号化予測情報を分離する。次に、識別情報復号処理（Ｓ１２０３）により符号化識別情報を復号化する。続いて、画像情報復号処理（Ｓ１２０４）により符号化画像データを復号化する。以上の処理をフレーム内のすべての領域に対して実施し（Ｓ１２０５）、画像１フレーム分の復号化が終了する。

図１３は、図１２に示す識別情報復号処理（Ｓ１２０３）の手順を更に詳細に示すフローチャートである。まず、符号化データ分離処理（Ｓ１２０２）で分離した符号化予測情報を取得する（Ｓ１３０１）。次に、取得した符号化予測情報に対応する予測識別情報を生成する（Ｓ１３０２）。復号識別情報生成処理（Ｓ１３０３）では、符号化データ分離処理（Ｓ１２０２）から取得した符号化予測情報を復号して復号差分識別情報を生成し、予測識別情報生成処理（Ｓ１３０２）で生成した予測識別情報を加算して復号識別情報を生成し、識別情報の復号処理を終了する。

図１４は、図１２に示す画像情報復号処理（Ｓ１２０４）の手順を更に詳細に示すフローチャートである。まず、符号化データ分離処理（Ｓ１２０２）で分離した符号化予測情報を取得する（Ｓ１４０１）。次に、識別情報復号処理（Ｓ１２０３）で復号した復号識別情報を取得する（Ｓ１４０２）。予測画像生成処理（Ｓ１４０３）は、復号識別情報取得処理（Ｓ１４０２）で取得した識別情報に該当する領域を取得し、前記取得した領域を予測識別情報取得処理（Ｓ１４０１）で取得した符号化予測情報を用いて動き補償を行うことで予測画像を生成する。復号画像生成処理（Ｓ１４０４）は、符号化データ分離処理（Ｓ１２０２）から取得した符号化画像データを復号して復号差分画像を生成し、予測画像生成処理（Ｓ１４０３）で生成した予測画像を加算して復号画像を生成し、画像復号処理を終了する。

以上のように、実施例２の画像復号化装置は、任意の形状を単位として複数の領域に分割し、符号化された符号化ストリームに対して、符号化ストリームから前記任意形状の識別情報を復号し、前記領域を単位として画像を復号化するものである。これにより、画像符号化装置での符号化処理に忠実に対応した復号化処理を行うことができ、高画質の復号画像を得ることが可能となる。

図１５は、本発明の画像符号化装置の他の実施例（実施例３）を示す構成ブロック図である。
本実施例の符号化装置１５００は、実施例１（図１）に記載の符号化装置１００の構成に対して、識別情報補正部１５０１を追加したことを特徴とする。図１と同一機能を実現するブロックについては同一符号を付与している。

前記実施例１（画像符号化装置）で述べたように、図１の画像符号化部１０３の処理が非可逆の場合には符号化画像データ１５２の符号量を削減することができるが、符号化データに符号化時の誤差が含まれるため、画像復号化部１０４から出力される復号差分画像は減算器１０２から出力される差分画像と必ずしも同一にならない。これは、図１の識別情報符号化部１１１についても同様に当てはまる。そこで本実施例では、図１の識別情報符号化部１１１にておいて非可逆符号化処理を適用した場合に、識別情報補正部１５０１により復号識別情報の値を補正する構成としている。以下では、識別情報補正部１５０１の動作を中心に説明する。

図１６は、識別情報の補正動作を説明する図である。（ａ）は識別情報を付与した状態、（ｂ）は識別情報を符号化しさらに復号化した状態、（ｃ）は識別情報の誤りを補正した状態を示す。（ａ）の画像１６００は、図１５の入力画像１５０に対して識別情報生成部１０９により識別情報を付与した結果である。識別情報の付与手順は、実施例１に記載した図８のスキャン順に基づいている。（ｂ）の画像１６１０は、（ａ）の識別情報を図１５の識別情報符号化部１１１で符号化（非可逆符号化）した後、識別情報復号化部１５７で復号化し、加算器１１３から出力された結果を示している。本例では説明の簡略化のため、画像１６１０中の画素１６１４について誤りが発生し、符号化前の識別情報Ｉｄ＝１がＩｄ＝４に変化している。

識別情報補正部１５０１は、加算器１１３から出力される識別情報（図１６（ｂ））について、符号化処理での識別情報付与手順に合致するかを否かを判定する。すなわち、画像１６１０中の画素１６１１から画素１６１４の直前となる画素１６１３までに対して、矢印１６１２に示す順序で付与された識別情報を抽出する。その結果、画素１６１１〜画素１６１３までに出現する識別情報Ｉｄは、０、１、２の３種類であることを知る。識別情報付与手順に従えば、次の画素１６１４については、画素１６１３までに出現済みのＩｄ＝０、１、２のいずれかの識別情報か、あるいは画素１６１３までに付与された識別情報の中の最大値Ｉｄ＝２に対して１インクリメントした値Ｉｄ＝３のいずれかの識別情報しか取り得ないこととなる。従って、画素１６１４に付与されている識別情報Ｉｄ＝４は、識別情報付与手順に合致しないと判定する。

識別情報補正部１５０１は、加算器１１３から出力される復号識別情報が、符号化処理での識別情報付与手順と合致しないと判定した場合、図１６（ｃ）のように、画素１６１４の識別情報をＩｄ＝４からＩｄ＝１に補正して出力する。加算器１１３から出力される復号識別情報が、符号化処理での識別情報付与手順と合致すると判定した場合には、復号識別情報をそのまま出力する。

ここで、識別情報の補正値の決定方法の例について説明する。
図１７は、本実施例における識別情報補正手順を示すフローチャートである。まず、補正対象となる画素を中心した隣接する周囲８画素の識別情報を取得する（Ｓ１７０１）。次に、取得した周辺識別情報の中で最頻度となる識別情報を取得する（Ｓ１７０２）。最頻度識別情報が１つしかない場合（Ｓ１７０３の判定結果がＹＥＳの時）は補正対象画素の識別情報を、前記最頻度識別情報で置換する（Ｓ１７０５）。一方、最頻度識別情報が複数存在する場合（Ｓ１７０３の判定結果がＮＯの時）は、前記複数の最頻度識別情報の中から最も小さい値を有する識別情報を取得し（Ｓ１７０４）、補正対象画素の識別情報を置換する（Ｓ１７０５）。

図１６（ｂ）の場合は、画素１６１４を中心した領域１６１５内の周辺識別情報が、識別情報Ｉｄ＝１となる画素数４個、Ｉｄ＝２となる画素数１個、Ｉｄ＝３となる画素数３個であり、Ｉｄ＝１が最頻度となる。よって、図１６（ｃ）のように、画素１６１４の識別情報をＩｄ＝４からＩｄ＝１に補正する。これにより、周辺画素の識別情報と整合性の良い識別情報に補正することができる。

前記実施例３では、画像符号化装置における識別情報の補正について説明した。本実施例では、画像復号化装置の復号処理において識別情報を補正するものである。

図１８は、本発明の画像復号化装置の他の実施例（実施例４）を示す構成ブロック図である。本実施例の画像復号化装置１８００は、実施例２（図１０）に記載の復号化装置２００の構成に対して、識別情報補正部１８０１を追加したことを特徴とする。図１０と同一機能を実現するブロックについては同一符号を付与している。

本実施例における識別情報補正部１８０１は、画像符号化装置にて非可逆符号化処理を行った場合に発生した識別情報の誤りを補正することができる。その動作は、前記実施例３（図１５）における識別情報補正部１５０１と同様であり、説明を省略する。

以上のように、本実施例の画像符号化装置および画像復号化装置は、任意の形状を単位として複数の領域に分割した符号化および復号化を行うものである。更に、前記任意形状の識別情報の符号化において非可逆符号化を適用した場合において、その復号識別情報を補正する機能を実現するものである。これにより符号化装置では、高画質で符号化効率の良い画像符号化を実現することが可能となり、画像符号化装置では、符号化処理に忠実に対応した復号化処理を行うことができ、高画質の復号画像を得ることが可能となる。

１００，１５００…画像符号化装置
１０１…領域抽出部
１０２…減算器
１０３…画像符号化部
１０４…画像復号化部
１０５…加算器
１０６…メモリ部
１０７…画像予測部
１０８…領域分割部
１０９…識別情報生成部
１１０…減算器
１１１…識別情報符号化部
１１２…識別情報復号化部
１１３…加算器
１１４…メモリ部
１１５…識別情報予測部
１２１…画像信号処理部
１２２…識別情報処理部
１２３…多重化部
２００，１８００…画像復号化装置
２０１…分離部
２０２…画像復号化部
２０３…領域抽出部
２０４…加算器
２０５…メモリ部
２０６…画像予測部
２０７…識別情報復号化部
２０８…加算器
２０９…メモリ部
２１０…識別情報予測部
１５０１…識別情報補正部
１８０１…識別情報補正部。

Claims (14)

1. 入力画像を複数の領域に分割して符号化する画像符号化装置において、
   前記入力画像を、該入力画像を構成する複数の任意の形状の領域に分割する領域分割部と、
   前記分割された各領域を単位に前記入力画像を符号化する画像符号化部と、
   前記入力画像の各画素に対し、前記分割されたどの領域に属するかを示す識別情報を生成して付与する識別情報生成部と、
   前記識別情報を符号化する識別情報符号化部とを備え、
   該識別情報符号化部は、符号化対象画像に付与した識別情報と、時系列的に過去または未来の符号化済み参照画像の識別情報から生成した予測識別情報とを差分化し、差分識別情報を符号化することを特徴とする画像符号化装置。
2. 請求項１に記載の画像符号化装置において、
   前記画像符号化部は、前記識別情報符号化部にて符号化した識別情報を復号化し、復号化した識別情報に基づいて符号化対象領域を決定することを特徴とする画像符号化装置。
3. 請求項１に記載の画像符号化装置において、
   前記識別情報生成部は、画面内の全画素を予め定めた順序で探索した際に検出される領域の順に識別情報を付与することを特徴とする画像符号化装置。
4. 請求項１乃至３のいずれか１項に記載の画像符号化装置において、
   前記識別情報符号化部により符号化された識別情報を復号化する識別情報復号化部を備え、
   該識別情報復号化部は、対象画素の識別情報を復号した結果が予め定めた識別情報の付与手順と合致しない場合、対象画素に隣接する画素の復号識別情報を用いて補正することを特徴とする画像符号化装置。
5. 入力画像を複数の領域に分割して符号化する画像符号化方法において、
   前記入力画像を、該入力画像を構成する複数の任意の形状の領域に分割する領域分割ステップと、
   前記入力画像の各画素に対し、前記分割されたどの領域に属するかを示す識別情報を生成して付与する識別情報生成ステップと、
   前記識別情報を符号化する識別情報符号化ステップと、
   前記分割された各領域を単位に前記入力画像を符号化する画像符号化ステップとを備え、
   前記識別情報符号化ステップは、符号化対象画像に付与した識別情報と、時系列的に過去または未来の符号化済み参照画像の識別情報から生成した予測識別情報とを差分化し、差分識別情報を符号化することを特徴とする画像符号化方法。
6. 請求項５に記載の画像符号化方法において、
   前記画像符号化ステップは、前記識別情報符号化ステップにて符号化した識別情報を復号化し、復号化した識別情報に基づいて符号化対象領域を決定することを特徴とする画像符号化方法。
7. 請求項５に記載の画像符号化方法において、
   前記識別情報生成方法は、画面内の全画素を予め定めた順序で探索した際に検出される領域の順に識別情報を付与することを特徴とする画像符号化方法。
8. 請求項５乃至７のいずれか１項に記載の画像符号化方法において、
   前記識別情報符号化ステップにより符号化された識別情報を復号化する識別情報復号化ステップを備え、
   該識別情報復号化ステップは、対象画素の識別情報を復号した結果が予め定めた識別情報の付与手順と合致しない場合、対象画素に隣接する画素の復号識別情報を用いて補正することを特徴とする画像符号化方法。
9. 画像を複数の任意の形状の領域に分割して符号化された符号化データを復号化する画像復号化装置において、
   前記分割された各領域を識別するために各画素に付与された識別情報を復号化する識別情報復号化部と、
   前記分割された各領域を単位に前記符号化データから画像を復号化する画像復号化部とを備え、
   前記識別情報復号化部は、前記符号化データを復号化して得られる差分識別情報と、時系列的に過去または未来の復号化済み参照画像の識別情報から生成した予測識別情報とを加算し、識別情報を生成することを特徴とする画像復号化装置。
10. 請求項９に記載の画像復号化装置において、
    前記画像復号化部は、前記識別情報復号化部にて復号化した復号識別情報に基づいて復号化対象領域を決定することを特徴とする画像復号化装置。
11. 請求項９または１０に記載の画像復号化装置において、
    前記識別情報復号化部は、対象画素の識別情報を復号した結果が予め定めた識別情報の付与手順と合致しない場合、対象画素に隣接する画素の復号識別情報を用いて補正することを特徴とする画像復号化装置。
12. 画像を複数の任意の形状の領域に分割して符号化された符号化データを復号化する画像復号化方法において、
    前記分割された各領域を識別するために各画素に付与された識別情報を復号化する識別情報復号化ステップと、
    前記分割された各領域を単位に前記符号化データから画像を復号化する画像復号化ステップとを備え、
    前記識別情報復号化ステップは、前記符号化データを復号化して得られる差分識別情報と、時系列的に過去または未来の復号化済み参照画像の識別情報から生成した予測識別情報とを加算し、識別情報を生成することを特徴とする画像復号化方法。
13. 請求項１２に記載の画像復号化方法において、
    前記画像復号化ステップは、前記識別情報復号化ステップにて復号化した復号識別情報に基づいて復号化対象領域を決定することを特徴とする画像復号化方法。
14. 請求項１２または１３に記載の画像復号化方法において、
    前記識別情報復号化ステップは、対象画素の識別情報を復号した結果が予め定めた識別情報の付与手順と合致しない場合、対象画素に隣接する画素の復号識別情報を用いて補正することを特徴とする画像復号化方法。

Images