JP2000510311A - デジタル化画像の符号化および復号化のための方法および装置 - Google Patents

Abstract

(57)【要約】 シェイプアダプティブ変換符号化及びシェイプアダプティブ逆変換符号化を提案する。局所領域内の変換すべき画素の符号化情報の信号エネルギは周波数領域内の変換される画素の符号化情報の信号エネルギにほぼ等しい。

Description

【発明の詳細な説明】 デジタル化画像の符号化および復号化のための方法および装置 画像符号化標準Ｈ．２６１，Ｈ．２６３およびＭＰＥＧ１およびＭＰＥＧ２に よるビデオ信号の符号化は、ブロック指向(blockorientiert)離散コサイン変換 （ＤＣＴ）を基礎としている。この方法は一般的にブロックを基礎とした画像符 号化原理を用いている。 画像符号化のための別の１つのアプローチはいわゆる、オブジェクトを基礎と する画像符号化の原理である。オブジェクトを基礎とする画像符号化では原画の セグメント化が、シーンに現れるオブジェクトとこれらのオブジェクトの別個の 符号化とに従って行われる。 図２には画像符号化および画像復号化のための装置が概略的に示されている。 図２には、画像を撮影するカメラＫが示されている。カメラＫは例えば任意の アナログカメラＫであり、カメラＫはシーンの画像を撮影し、これらの画像をカ メラＫでデジタル化するかまたはアナログで第１のコンピュータＲ１に伝送し、 次いで第１のコンピュータＲ１で、デジタル化画像Ｂが処理されるかまたはアナ ログ画像が、デジタル化画像Ｂに変換され、デジタル化画像Ｂが処理される。 カメラＫはデジタルカメラＫであってもよく、このカメラＫにより直接に、デ ジタル化画像Ｂが撮影され、第１のコンピユータＲ１に供給され処理される。 第１のコンピュータＲ１は、後述するステップを実施する自立した装置、例え ばコンピュータの中に設けられている自立したコンピュータカードとして形成す ることも可能である。 第１のコンピュータＲ１は、一般に後述する方法による画像処理を実施できる ユニット、例えば移動端末装置（移動電話機）と見なすことができる。 第１のコンピュータＲ１はプロセッサユニットＰを有し、プロセッサユニット Ｐにより、画像符号化または画像復号化の後述のステップを実施する。プロセッ サユニットＰは例えばバスＢＵを介してメモリＳＰに接続され、メモリＳＰに画 像データが記憶される。 一般的に、後述の方法はソフトウェアとしてもハードウェアとしてもあるいは 部分的にソフトウェアおよび部分的にハードウェアとしても実現できる。 第１のコンピュータＲ１で画像符号化が行われ、圧 ンピュータＲ２に伝送された後に第２のコンピュータＲ２で画像復号化が行われ る。 第２のコンピュータＲ２は、第１のコンピュータと 同一の構成を有することができる、すなわちメモリＳＰを有することができ、メ モリＳＰはバスＢＵを介してプロセッサユニットＰに接続されている。 図３には詳細に画像符号化または画像復号化のための原理的回路図の形の１つ の装置が示され、この装置は、ブロックを基礎とする画像符号化の範囲内で、そ して部分的には、オブジェクトを基礎とする画像符号化の範囲内で使用できる。 ブロックを基礎とする画像符号化法では、デジタル化画像Ｂは、８×８画素Ｂ Ｐまたは１６×１６画素ＢＰの大きさの通常は正方形のブロックに分割され、画 像符号化装置に供給される。 １つの画素には通常は符号化情報例えば輝度情報（輝度値）または色情報（ク ロミナンス値）を一義的に割当てる。 ブロックを基礎とする画像符号化法では異なる画像符号化モードの間の区別が 行われる。 いわゆるイントラ画像符号化モード（Intra-Bildcodierungs-Modus）ではその 都度に画像全体が、画像の画素に割当てられているすべての符号化情報により符 号化されて伝送される（Ｉ画像）。 いわゆるインター画像符号化モード(Inter-Bildcodierungs-Modus)ではその都 度に、２つの時間的に順次の画像の差分画像情報のみが符号化されて伝送される （Ｐ画像，Ｂ画像）。 イントラ画像符号化モードとインター画像符号化モードとの間の切換えのため に２つのスイッチユニットＳＥが設けられている。インター画像符号化モードを 実行するために減算ユニットＳが設けられ、減算ユニットＳで２つの順次の画像 Ｂの画像情報の差が形成される。画像符号化全体は画像符号化制御ユニットＳＴ を介して制御される。符号化する画像ブロックＢＢまたは差分画像ブロックＢＢ がそれぞれ変換符号化ユニットＤＣＴに供給され、変換符号化ユニットＤＣＴで 、画素に割当てられている符号化情報に変換符号化、例えば離散コサイン変換（ ＤＣＴ）が適用される。 しかし一般的にそれぞれの任意の変換符号化、例えば離散サイン変換または離 散的フーリエ変換を行うことができる。 変換符号化により形成されたスペクトル係数は量子化ユニットＱで量子化され 、画像符号化マルチプレクサ（図示せず）に例えばチャネル符号化および／また はエントロピー符号化のために供給される。内部の再構成ループで、量子化され たスペクトル係数は逆量子化ユニットＩＱで逆量子化され、逆変換符号化ユニッ トＩＤＣＴで逆変換符号化にかけられる。 更にインター画像符号化の場合には加算ユニットＡＥで、その都度の時間的に 先行する画像の画像情報が加算される。このようにして再構成された画像は画像 メモリＳＰに記憶される。画像メモリＳＰの中には、 わかりやすく図示するために、動き補償ユニットＭＣがシンボリックに示されて いる。 更にループフィルターＬＦが設けられ、ループフィルターＬＦはメモリＳＰお よび減算ユニットＳに接続されている。 画像符号化マルチプレクサには付加的に、伝送される画像データの外にモード フラグｐが供給され、モードフラグｐによりその都度に、イントラ画像符号化と インター画像符号化とのどちらが行われるかが示される。 更にスペクトル係数のための量子化インデックスｑが画像符号化マルチプレク サに供給される。 動きベクトルｖもその都度に画像ブロックおよび／または例えば４画像ブロッ クを有するマクロブロックに割当てられ、画像符号化マルチプレクサに供給され る。 更に、ループフィルターＬＦをアクティブまたはデアクティブにするための情 報信号ｆが存在している。 ２のコンピュータＲ２で、伝送されたデータの復号化が行われる。このために第 ２のコンピュータＲ２の中に画像復号化装置が設けられ、この画像復号化装置は 例えば、図２に示されている装置の再構成ループの構成を有する。オブジェクト を基礎とする画像符号化法ではそれぞれの画像オブジェクトはまず初めに１つ の固定した大きさ例えば同様に８×８画素の大きさの複数のブロックに分割され る。この分割の後に、合成する画像ブロックの一部は完全に画像オブジェクトＢ Ｏの中に位置する。この状態は図４に示されている。画像Ｂは少なくとも１つの 画像オブジェクトＢＯを含み、画像オブジェクトＢＯは画像オブジェクトＢＯの オブジェクトエッジＯＫにより縁取りされている。更に画像ブロックＢＢが８× ８画素ＢＰにより示されている。オブジェクトエッジＯＫの少なくとも一部を含 む画像ブロックＢＢが端縁画像ブロックＲＢＢとして示されている。 分割の後に完全に画像オブジェクトＢＯの中に位置する画像ブロックＢＢは、 前述のブロックを基礎とする画像符号化法を基礎にして、ブロックを基礎とする 通常の離散コサイン変換により符号化できる。しかし端縁画像ブロックＲＢＢは 部分的に画像情報により満たされており、特別の方法により符号化しなければな らない。 端縁画像ブロックＲＢＢを符号化するために現在のところ２つの基本的なアプ ローチが存在する。 文献［１］から、端縁画像ブロックＲＢＢの中の画像オブジェクトＢＯの画像 情報を、符号化情報を適切な外挿法により補足して、完全な端縁画像ブロックＲ ＢＢの面を形成することが公知である。このアプローチはパディング（Padding ）と称される。補足された 面は次いで、通常の２次元の離散コサイン変換により符号化される。 これに対して文献［１］および［２］から、所与の画像オブジェクトＢＯが行 および列に分離されて変換されることも公知である。このアプローチは、シェイ プアダプティブ（Shape Adaptive）変換符号化（formangepasste Transformatio nscodierung）と称され、ＤＣＴを使用する具体的な場合にはシェイプアダプテ ィブＤＣＴと称される。画像オブジェクトＢＯに割当られているＤＣＴ係数は、 端縁画像ブロックＲＢＢの中の画像オブジェクトＢＯに所属しない画素ＢＰが抑 圧されるように定められる。次いで、まず初めに、残りの画素ＢＰに行毎に変換 が適用され、変換の長さは、この行の残りの画素の数に相当する。これにより得 られる係数は水平に配向され、次いで、相応の長さで垂直方向における１次元の ＤＣＴが行われる。この場合、イントラ画像符号化に対してもインター画像符号 化に対しても同一の方法が適用される。 シェイプアダプティブ変換符号化の前述の公知の方法はとりわけ、予測誤差画 像において圧縮すべき画像データの圧縮率を比較的劣悪にしか実現できない欠点 を有する。 シェイプアダプティブ変換符号化における予測誤差画像の符号化のための公知 の規則は、次式の構成を有する変換マトリクスＤＣＴ−Ｎを基礎とする。 合にはγ＝１である。 Ｎにより、変換される画素を含む変換すべき画像ベクトルの大きさを示す。 ＤＣＴ−Ｎにより大きさＮＸＮの変換マトリクスを示す。 ｐ，ｋによりインデックスを示し、ただしｐ，ｋ∈［０，Ｎ−１］である。 公知のやり方では、画像セグメントのシェイプアダプティブＤＣＴは、まず初 めにこのセグメントのそれぞれの列が次式（２）により変換され、次いで、これ により得られたデータにこの式（２）を水平方向に適用する。 しかしこの式（２）は、予測誤差画像の符号化にとって最適ではない。 従って本発明の課題は、シェイプアダプティブ変換符号化を、画像データのた めの改善された圧縮率で達成することを可能にする、画像符号化および画像復号 化のための方法と、画像符号化および画像復号化のた めの装置とを提供することにある。 この課題は請求項１に記載の方法と、請求５に記載の方法と、請求項１１に記 載の装置とにより解決される。 デジタル化画像Ｂの符号化ための請求項１に記載の方法では、画像オブジェク トBOの画素ＢＰが修正されたシェイプアダプティブ変換符号化によって符号化さ れる。 この「新しい」シェイプアダプティブ変換符号化は、局所領域内の変換すべき 画素の符号化情報の信号エネルギが周波数領域内の変換される画素の符号化情報 の信号エネルギにほぼ等しいように行われる。 言い換えれば、これはシェイプアダプティブ変換符号化が正規直交化されるこ とを意味している。 このやり方の利点は、変換により得られるスペクトル係数をその後で量子化す ることによって、量子化誤差がすべての画素ＢＰにわたり均一に分散され、量子 化誤差が通常の８×８画素の画像ブロックの場合と同一の平均値を有することに ある。 この方法はとりわけ、画像セグメントの端縁画像ブロックの符号化に適する。 このようにして本方法により大幅に改善された符号化効率が得られる、すなわ ち同一のデータ速度において、達成可能な画像品質は向上する。後述のように、 公知の方法に対して、付加的な計算コスト無しに、約 １ｄＢの大幅に改善されたＳＮ比が達成可能である。 請求項５に記載の方法では、復号化において第１のシェイプアダプティブ逆変 換符号化が行われ、この場合も局所領域内の変換すべき画素の符号化情報の信号 エネルギは周波数領域内の変換される画素の符号化情報の信号エネルギに等しい 。 この方法は、画像符号化の相応の前述の利点を同様に有する。 本方法を実施するための請求項１１に記載の装置では、画素のシェイプアダプ ティブ変換符号化のための変換符号化装置および／またはシェイプアダプティブ 逆変換符号化のための変換復号化ユニットが設けられている。変換符号化ユニッ ト乃至は変換復号化ユニットは、局所領域内の変換すべき画素の符号化情報の信 号エネルギは周波数領域内の変換される画素の符号化情報の信号エネルギに等し いように構成される。 この装置に関しても「新しい」変換符号化の前述の利点が当てはまる。 本発明の有利な実施の形態は従属請求項から明らかである。 本方法の１つの有利な実施形態の１つの利点は、変換すべき画素ｘ _jの変換係 数ｃ _jを次式により形成する： ただし、 Ｎは、変換される画素を含む変換すべき画像ベクトルの大きさを表し、 ＤＣＴ−Ｎは、大きさＮ×Ｎの変換マトリクスを表し、 ｐ，ｋはインデックスを表し、ただしｐ，ｋ∈［０，Ｎ−１］である。 式（３）から分かるように大幅な改善は、公知のやり方に対して変換規則の異 なる様々なスケーリングによってのみ達成される。 さらに、本発明の実施形態では、有利には、この「新しい」シェイプアダプテ ィブ変換符号化はインター画像符号化モードにおいてのみ実施される。イントラ 画像符号化モードにおいては本発明の実施形態では公知のシェイプアダプティブ 変換符号化が実施される。 画像符号化のための方法の前述の有利な実施の形態は、相応する逆演算規則に よる逆変換符号化の式において、画像復号化のための有利な実施の形態としても 設けられている。 本方法の有利な実施の形態は、画像符号化のための装置の変換符号化ユニット の構成に対しても同様に有利である。 同様に、画像復号化のための装置に対しても本発明の方法に関連して示された 変換符号化の実施形態が設 けられ、それぞれ変換符号化ユニットは相応の実施形態が実施されるように構成 されている。 本発明の方法も装置も、オブジェクトを基礎とする画像符号化における端縁画 像ブロックのシェイプアダプティブ変換符号化においてとりわけ有利に使用可能 である。 本発明の１つの実施例を図を用いて詳細に説明する。 図１は個々のステップを概略的に示すフローチャート、 図２はカメラ、２つのコンピュータ、伝送媒体を有する画像符号化のための通 常の装置の概略図、 図３はブロックを基礎とする画像符号化のための通常の装置の概略図、 図４は画像オブジェクトおよび画像ブロックおよび端縁画像ブロックを有する 画像の概略図である。 オブジェクトを基礎とする画像符号化の範囲内で、デジタル化画像Ｂのセグメ ント化が、シーンの中に現れる画像オブジェクトＢＯに相応して行われ、画像オ ブジェクトＢＯの別個の符号化が行われる。 このためにそれぞれの画像オブジェクトＢＯは通常はまず初めに、固定した大 きさの画像ブロックＢＢ例えば８×８個の画素ＢＰに分割される。分割の後に、 この分割により得られる画像ブロックＢＢの一部は完全に画像オブジェクトＢＯ の中に位置する。これらの ブロックＢＢは、前に引用して説明した方法を介して、ブロックを基礎とする通 常の変換符号化により符号化できる。 しかし前述のように端縁画像ブロックＲＢＢは部分的にしか画像情報により充 填されておらず、特別な方法により符号化しなければならない。 この方法では第１のコンピュータＲ１で有利には端縁画像ブロックＲＢＢが第 １のステップ１０１で変換符号化ユニットＤＣＴに供給される。第１のコンピュ ータＲ１は、図３に示されているモジュールが実施できるように形成されている 。 第２のステップ１０２ではそれぞれの端縁画像ブロックＲＢＢに対して、それ ぞれの端縁画像ブロックＲＢＢの画素ＢＰの符号化情報のために、変換すべき画 素ｘ _jの変換係数ｃ _jが、次の式に従って形成される。 Ｎは、変換画素を含む変換すべき画像ベクトルの大きさを表し、 ＤＣＴ−Ｎは、大きさＮ×Ｎの変換マトリクスを表し、 ｐ，ｋはインデックスを表し、ただしｐ，ｋ∈［０，Ｎ−１］である。 分かりやすく表現すると変換符号化のための式（３）は、局所領域内の変換す べき画素の符号化情報の信号エネルギーが周波数領域内の変換される画素の符号 化情報の信号エネルギーに等しいことを意味する。 シェイプアダプティブ変換符号化として有利には、シェイプアダプティブ離散 コサイン変換が使用される。 式（３）は、画像符号化がインター画像符号化モードで行われる場合には変換 符号化のために有利に適用される。 画像符号化がイントラ画像符号化モードで行われる場合には有利には、変換画 素ｘ _jの変換係数.ｃ _jが次の式に従って形成される。 符号化された画像情報の伝送（ステップ１０５）の後すなわち量子化（ステッ プ１０３）の後に、場合に応じて、伝送する画像データのエントロピー符号化（ ステップ１０４）が、例えば［１］で説明されている ンピュータＲ２で画像復号化が行われる。 画像復号化では第１のステップ１０６でエントロピー復号化が行われ、第２の ステップ１０７で、量子化されたスペクトル係数の逆量子化が行われる。スペク トル係数ｃ _jは更に、シェイプアダプティブ逆変換符号化（ＩＤＣＴ）に供給さ れる。画像符号化法に対応して画像復号化のためにこの場合にも、シェイプアダ プティブ変換符号化が、周波数領域内の変換画素の符号化情報の信号エネルギー が局所領域内の画素の符号化情報の信号エネルギーにほぼ等しいように、行われ る。シェイプアダプティブ逆変換符号化のために画素ｘ _jがスペクトル変換係数ｃ _j から次式により形成される（ステップ１０８）。 ただし、 Ｎは、変換画素を含む変換すべき画像ベクトルの大きさであり、 ＤＣＴ−Ｎは、大きさＮ×Ｎの変換マトリクスであり、 ｐ，ｋはインデックスであり、ただしｐ，ｋ∈［０，Ｎ−１］であり、 ( )^-は逆マトリクスである。 式（４）によるシェイプアダプティブ逆変換符号化は、有利には画像復号化の 範囲内でインター画像復号化モードで行われる。 イントラ画像復号化モードでは有利には、シェイプ アダプティブ逆変換符号化は次式により行われる。 画像符号化装置には、画素ＢＰのシェイプアダプティブ変換符号化のための変 換符号化ユニットＤＣＴが設けられている。変換符号化ユニットＤＣＴは、局所 領域内の変換すべき画素の符号化情報の信号エネルギーが周波数領域内の変換さ れる画素の符号化情報の信号エネルギーにほぼ等しいように、形成されている。 変換符号化ユニットは有利には、画像符号化法の範囲内で説明したステップが 変換符号化ユニットＤＣＴの中で実現されるように形成されている。勿論、方法 は本装置の中でソフトウェアとして実現でき、このソフトウェアはプロセッサＰ により処理される。 同様のことが、逆変換符号化ユニットＩＤＣＴを有する画像復号化装置にも当 てはまる。相応して、逆変換符号化ユニットＩＤＣＴは、画像復号化ステップと りわけシェイプアダプティブ逆変換符号化ステップが実現されるように形成され ている。 本方法も本装置も有利には、デジタル化画像Ｂの画像オブジェクトＢＯの端縁 画像ブロックＲＢＢに適用可能である。 要するにこの方法は、変換方式のスケーリングを変化することを意味し、局所 領域内の画素の符号化情報 の信号エネルギは周波数領域内の画素の符号化情報の信号エネルギに等しい。 本発明にとっていずれの方法で、変換画素すなわちスペクトル係数が画像符号 化の範囲内で適用されるか、すなわち量子化、エントロピー符号化またはチャネ ル符号化のタイプは重要でない。 本明細書において引用した文献は次のとおりである。 ［１］ISO/IEC JTC1/SC29/WG11，MPEG-4 Video Verification Model Version 5. 0 Doc.N1469，1996年11月，55〜59頁。 ［２］T.SikoraおよびB.Makai，Shape Adaptive DCT for Generic Coding of Vi deo，IEEE Transactions on Circuits and Systems for Video Technology誌， 第５巻，59〜62頁,1995年2月。

Claims (1)

1. 【特許請求の範囲】 １． 任意の数の画素を有する画像オブジェクトを含むデジタル化画像の符号化 方法において、 前記画素をシェイプアダプティブ変換符号化によって符号化し、 このシェイプアダプティブ変換符号化は、局所領域内の変換すべき画素の信 号エネルギーが周波数領域内の変換される画素の信号エネルギーにほぼ等しいよ うに行われる、任意の数の画素を有する画像オブジェクトを含むデジタル化画像 の符号化方法。 ２． 変換される画素ｘ _jの変換係数ｃ _jが次式により形成され、 ただし、 Ｎは、変換画素を含む変換すべき画像ベクトルの大きさを表し、 ＤＣＴ−Ｎは、大きさＮ×Ｎの変換マトリクスを表し、 ｐ，ｋはインデックスを表し、ただしｐ，ｋ∈［０，Ｎ−１］である、請求 項１記載の方法。 ３． 画像符号化をイントラ画像符号化モードまたはインター画像符号化モード で行ない、 シェイプアダプティブ変換符号化を前記インター画像符号化モードでのみ実 施し、 前記イントラ画像符号化モードにおいては、前記シェイプアダプティブ変換 符号化とは異なる第２のシェイプアダプティブ変換符号化を実施する、請求項１ 又は２記載の方法。 ４． 第２のシェイプアダプティブ変換符号化として、シェイプアダプティブ離 散コサイン変換を使用する、請求項３記載の方法。 ５． 任意の数の画素を有する画像オブジェクトを含むデジタル化画像の復号化 方法において、 前記画素をシェイプアダプティブ逆変換符号化によって復号化し、 このシェイプアダプティブ変換復号化は、局所領域内の変換すべき画素の信 号エネルギーが周波数領域内の変換される画素の信号エネルギーにほぼ等しいよ うに行われる、任意の数の画素を有する画像オブジェクトを含むデジタル化画像 の復号化方法。 ６． シェイプアダプティブ変換符号化として、変形シェイプアダプティブ離散 コサイン変換を使用する、請求項１から５までのうちの１項記載の方法。 ７． 変換される画素ｘ _jは変換係数ｃ _jから次式により形成され、 ただし、 Ｎは、変換画素を含む変換すべき画像ベクトルの大きさを表し、 ＤＣＴ−Ｎは、大きさＮＸＮの変換マトリクスを表し、 ｐ，ｋはインデックスを表し、ただしｐ，ｋ∈［０，Ｎ−１］であり、 ( )^-は逆マトリクスである、請求項５又は６記載の方法。 ８． 画像復号化をイントラ画像復号化モードまたはインター画像復号化モード で行ない、 シェイプアダプティブ変換符号化を前記インター画像復号化モードでのみ 実施し、 前記イントラ画像復号化モードにおいては、前記シェイプアダプティブ変換 符号化とは異なる第２のシェイプアダプティブ変換符号化をｊ実施する、請求項 ５から７までのうちの１項記載の方法。 ９． 第２のシェイプアダプティブ変換符号化として、シェイプアダプティブ離 散コサイン変換を使用する、請求項８記載の方法。 １０． シェイプアダプティブ変換符号化を端縁画像ブロックにのみ適用する、 請求項１から９までのうちの１項記載の方法。 １１． 請求項１から１０までのうちの１項記載の方法を実施するための装置に おいて、 変換符号化ユニットは画素のシェイプアダプティブ変換符号化のために設け られており及び/又は 変換復号化ユニットは画素のシェイプアダプティブ逆変換符号化のために設 けられている、請求項１から１０までのうちの１項記載の方法を実施するための 装置。