JP2001520838A

JP2001520838A - デジタル画像の符号化方法および符号化装置

Info

Publication number: JP2001520838A
Application number: JP54760298A
Authority: JP
Inventors: パンデルユルゲン; ザライアルベルト
Original assignee: Siemens AG
Current assignee: Siemens AG
Priority date: 1997-05-07
Filing date: 1998-04-23
Publication date: 2001-10-30
Anticipated expiration: 2018-04-23
Also published as: US6606414B1; CN1260097A; EP0981910A1; WO1998051086A1; JP3478836B2; EP0981910B1; CN1156169C; DE59802148D1

Abstract

(57)【要約】符号化すべき画像セグメントの符号化情報と、運動査定の際に検出された予測画像セグメントの符号化情報との一致が十分に大きい場合、画像セグメントを残留エラー符号化に使用しない。

Description

【発明の詳細な説明】デジタル画像の符号化方法および符号化装置本発明は、ビデオデータ流、とりわけデジタル画像の符号化に関する。通信技術分野、とりわけ画像処理分野では、デジタル画像データ（ビデオデータ流）の効率的な符号化がますます重要になっている。データの符号化は、情報損失をできるだけ少なくしながら、できるだけ大きな情報圧縮が達成されるようにして行うべきである。ビデオデータ流の符号化には種々の方法が公知である。例えばＭＰＥＧ［１］、［７］、ＪＰＥＧ［２］、Ｈ．２６１［３］、Ｈ．２６３［４］である。これらのいわゆるブロック指向の画像符号化方法は、予測符号化、変換符号化およびエントロピー符号化の原理を使用する。予測では、差分画像が予測された画像データを符号化すべき元の画像データから減算することにより形成される。予測のためにいわゆる運動補償予測が使用される。このために必要な運動査定の基礎およびこれを運動補償された予測に使用することは当業者には公知である［５］。運動査定は符号化すべき画像ブロックに対して次のように行われる。すなわち、符号化すべき画像ブロックのそれぞれ画像の各画素に配属されている輝度情報を、記憶されていて時間的に先行する画像の同形領域の輝度情報と比較することにより行われる。比較は通常、個々の輝度値の絶対差の形成によって行われる。比較は、先行する画像の複数の領域を備えた符号化すべき画像ブロックに対して行われる。この画像ブロックを以下、先行画像ブロックと称する。差分画像は、画像ブロックの輝度値の差と、運動査定の際に最も良く一致した先行画像ブロックの輝度値だけを含む。差分画像に存在する、隣接する画素間の位置的相関は適切な変換、例えば離散コサイン変換（ＤＣＴ）によって利用される。使用される変換符号化は変換符号化係数を送出し、この係数は量子化およびエントロピー符号化に利用される。引き続き、変換符号化係数が受信器に伝送され、この受信器では符号化方法全体が逆方向に実行される。これにより受信器では復号化を実行した後、画素に対する直接的情報が再び得られる。いわゆるオブジェクト指向のブロック符号化は［６］から公知である。この方法では、同じように運動査定および変換符号化のための方法が使用される。前に述べた公知の符号化方法では、すべての差分画像が変換符号化に使用される。個々のブロックが運動査定の結果として非常に似ていれば、符号化すべき画像ブロックと先行する画像の相応する画像ブロックとの変換すべき差は非常に小さな値となり、この値は変換符号化係数の量子化の際に場合によってはゼロに量子化することができる。しかしそれ以前に、個々の画像ブロックの輝度値差は変換符号化の公知のブロック指向符号化方法において使用されている。本発明の課題は、ビデオデータ流の符号化および復号化に対するコストを低減することである。この課題は、請求項１記載の方法並びに請求項１５記載の装置により解決される。請求項１記載のデジタル画像の符号化方法では、デジタル画像がそれぞれ符号化情報の配属されている画素を有する画像セグメントを備えている。ここでの符号化は時間的に先行する記憶画像を使用して行われ、この画像はそれぞれ先行する符号化情報の配属された先行画素を有する先行画像セグメントを備えている。先行画像セグメントは、画像セグメントと先行の画像セグメントとの位置的ずれを表すスタートベクトルに依存して選択される。画像セグメントの符号化情報と先行画像セグメントの先行符号化情報とのエラー度が形成され、このエラー度が第１の閾値よりも小さいか否かが検査される。エラー度が第１の閾値（Ｓ１）より小さい場合には、画像セグメントは残留エラー符号化には使用されない。その他の場合には、画像セグメントは残留エラー符号化とエントロピー符号化に使用される。時間的に先行する画像とは先行する復元画像であると理解されたい。また先行する画像セグメントおよび先行する画素とは先行する画像の画像セグメントおよび画素であると理解されたい。本明細書の枠内で、残留エラー符号化とは差分画像情報の効率的な符号化、例えばＤＣＴベースの変換符号化、小波形変換符号化、Quadtree符号化、端数符号化、ベクトル量子化、差分パルス符号化変調（ＤＰＣＭ）等である。符号化情報とは、画素に配属された明度情報（輝度情報）または色情報（クロミナンス情報）と理解されたい。請求項１５に記載の装置はプロセッサユニットを有し、このプロセッサユニットは上に述べた方法ステップが実施されるように構成されている。装置は、コンピュータプログラムの形態で上記の方法が記憶された通常のコンピュータとすることができる。しかしまた、画像符号化に使用される専用ハードウエアとして実現することもできる。本発明の有利な実施形態は従属請求項に記載されている。さらなるエラー度として以下の基準の少なくとも１つを使用することができる。・画像セグメントの画素の色情報と、先行する画像セグメントの先行画素の色情報との差。・画像セグメントの画素の符号化情報と、先行する画像セグメントの先行画素の符号化情報との差の位置的広がり。第２のエラー度を形成するためのこれら基準は、公知の画像符号化方法によって発生する種々のアーチファクト形式に関する種々の検査に相応する。色情報ないしは輝度情報を画像セグメントの比較の際に考慮することによって、比較がさらなる基準だけ拡張され、比較結果が改善される。符号化情報の差の位置的広がりをさらなる基準とすることにより、本発明により画像品質の主観的悪化がほとんど発生しないことが保証される。さらに本発明の方法を簡単にするための改善形態、すなわち本発明の方法の実施に必要な計算能力を節約するための改善形態では、差の位置的広がりを検出するために少なくとも一回、符号化情報の差が第１の数より多い複数の画素において第３の閾値Ｔ１より大きいか否かが検査される。符号化情報の差が第１の数より多い複数の画素において第３の閾値より大きければ、画像セグメントは残留エラー符号化およびエントロピー符号化に使用される。符号化情報の差がそれぞれ別の数より多い複数の画素においてそれぞれ別の閾値より大きいか否かを複数のステップで検査することもできる。画像品質を改善するためには、少なくとも１つの数および／または閾値を適合的に、有利には量子化パラメータに依存して構成する。これにより、量子化が粗い場合に多数の画像セグメントを運動査定、残留エラー符号化、およびエントロピー符号化に使用する必要がなく、従って本発明の方法を実施するための計算能力が節約される。得られた結果のさらなる改善は改善実施例において、種々の画素の符号化情報の差を異なるように重み付けするようにしてエラー度を求めることにより達成される。頻繁なアーチファクトは画像セグメントの縁部領域に発生するから、この種の重み付けを次のようにして実行すると有利である。すなわち、画像セグメントの所定の大きさの縁部領域に存在する画素の差を縁部領域外の画素の差よりも大きく重み付けするのである。以下、本発明の実施例では、ブロック指向の画像符号化方法を説明するが、これは容易にオブジェクト指向の画像符号化方法に有利に使用することができる。画像セグメントとは以下、任意の形態の多数の画素であり、群に統合されたものであると理解されたい。ブロック指向の画像符号化方法では、画像セグメントは矩形を有し、例えばＭＰＥＧ２規格の方法ではそれぞれ８×８画素（画像ブロック）または１６×１６画素（マクロブロック）を含む正方形である。ブロック指向の画像符号化方法では画像セグメントが画像ブロックと称される。以下、本発明の有利な実施例を図面に基づいて詳細に説明する。図１は、第３の実施例の方法ステップを示すフローチャート、図２は、２つの計算器、カメラ、および画像データを記録、符号化、伝送および復号化するための伝送媒体を備えた計算装置の概略図、図３は、画像ブロックに群分けされた画素を有する画像の概略図、図４は、本発明の第１の実施例および第２の実施例に基づく符号化装置の概略図、図５は、第３の実施例に基づく符号化装置の概略図、図６は、第１の実施例の個々の方法ステップを示したフローチャート、図７は、第２の実施例の個々の方法ステップを示したフローチャートである。図２はカメラＫを示し、このカメラにより画像Ｂのシーケンスが記録され、第１の計算器Ｒ１に接続路Ｖを介して供給される。第１の計算器Ｒ１では、画像Ｂのシーケンスの画像がデジタル化され、［１］に記載されたＭＰＥＧ２規格に従って符号化される。第１の計算器Ｒ１は伝送媒体ＵＭ、例えばケーブルまたは無線伝送区間を介して第２の計算器Ｒ２と接続されている。伝送媒体ＵＭを介して、第１の計算器R1 により符号化された画像データが第２の計算器Ｒ２に伝送され、そこで復号化される。第１の計算器Ｒ１と第２の計算器Ｒ２はそれぞれ１つのメモリＳＰとプロセッサユニットＲＥを有し、これらはバスＢＵを介して相互に接続されている。第１の計算器Ｒ１のプロセッサユニットＲＥは、デジタル画像の符号化のための方法ステップ（後で説明する）が実行されるように構成されている。第２の計算器Ｒ２のプロセッサユニットＲＥは、受信された符号化データがＭＰＥＧ２規格に従って復号されるように構成されている。第１の計算器Ｒ１と第２の計算器Ｒ２とはさらに、画像Ｂの表示のための画像スクリーンＢＳと、計算器Ｒ１，Ｒ２を制御するためのキーボードＴＡおよびマウスＭＡをそれぞれ１つ有している。すべての実施例において、画像Ｂは第１の計算器Ｒ１でデジタル化される。デジタル化された画像Ｂは画素ＢＰ（図３参照）を有しており、これら画素に輝度情報（明度情報）および／または色情報（クロミナンス情報）が配属される。画素ＢＰは画像ブロックＢＢに群分けされる。ＭＰＥＧ２規格による方法では、明度情報の配属された画素ＢＰを備えるそれぞれ４つの隣接する画像ブロックＢＢと、色情報を備えた２つの画像ブロックＢＢとが１つのマクロブロックＭＢに群分けされる。画像Ｂの符号化のための基礎となる方法ステップもすべての実施例で共通である。この方法ステップは、符号化装置の概略図に基づいて説明する（図４と図５参照）。それぞれ１つの画像ブロックＢＢが減算ユニットＳＥに供給される。減算ブロックＳＥでは、画像ブロックＢＢの画素ＢＰの符号化情報から、後で説明する予測画像ブロックＰＢＢの画素の符号化情報が減算される。差形成によって得られた差分画像ブロックＤＢＢは変換符号化ＤＣＴのためのユニットに供給される。このユニットでは、差分画像ブロックＤＢＢに離散コサイン変換（ＤＣＴ）が変換係数ＴＫの形成のために適用される。変換係数ＴＫは量子化ユニットＱで量子化されるＱＴＫ。量子化された変換係数ＱＴＫはエントロピー符号化のためのユニットＶＬＣに供給される。このユニットではいわゆるラン・レングス符号化および／またはいわゆる変数レングス符号化（Variable L ength Coding）が実行される。符号化の際には量子化された変換係数ＱＴＫがさらに逆量子化のためのユニットＩＱに供給される。このユニットでは、逆量子化された変換係数ＩＱＴＫが形成される。加算ユニットＡＥにはさらに予測された画像ブロックＰＢＢが供給される。予測された画像ブロックＰＢＢは予測された符号化情報を含み、この情報は逆変換係数ＩＴＫに加算される。ここから得られる復元画素ＲＢＰは復元画像を形成し、メモリＳＰに記憶される。メモリＳＰにはそれぞれ少なくとも１つの時間的に先行する復元画像が記憶される。先行画像は、復元された画素を備える先行画像ブロックを有している。復元された画素が先行画像の先行画素ＢＰの先行符号化情報を表すのである。メモリＳＰに記憶された画像は運動査定に使用される。この運動査定は運動査定ＢＳＣのためのユニットで実行される。運動査定ＢＳＣは、それぞれのマクロブロックＭＢおよび／または画像ブロックＢＢの画素ＢＰに対して、符号化情報を先行する画像の画素ＢＰの符号化情報と比較することによって行われる。先行する画像ではそれぞれ先行する画素が適用される。この先行画素は先行画像ブロックＶＢＢないしは先行マクロブロックＶＭＢにおいて群分けされる。画像ブロックＢＢないしはマクロブロックＭＢに対して、画像ブロックＢＢないしはマクロブロックＭＢに含まれる画素ＢＰの符号化情報と、先行画像の（画像ブロックＢＢないしはマクロブロックＭＢと同形状を有する）領域の画素の符号化情報との絶対差の和が形成される。この絶対差の和を以下、エラー度と称する。次にマクロブロック（１６×１６画素ＢＰ）に対する簡素化表示のための方法を説明する。画像ブロックＢＢ（８×８画素ＢＰを有する）に対してもステップは相応に実施される。エラー度がマクロブロックＭＢに対して次の規則に従って形成される：＊＊数式（１）ここで、ｉはマクロブロックＭＢ内の行を一義的に表すための行インデックス、ｊは、マクロブロックＭＢ内の列を一義的に表すための列インデックス、ｘ_ijは、ｉｊにより表される位置に存在する（先行画像の領域内にある）先行画素ＢＰに配属された符号化情報の値を表す。エラー度は、先行画像内にある所定数の領域、いわゆる探査領域に対して形成される。運動査定ＢＳＣの結果として、先行画像Ｂの領域が予測画像ブロックＰＢＢとして選択される。この予測画像ブロックに対してはエラー度は最小である。なぜなら、この領域に対して画像ブロックＢＢとの一致が最適だからである。運動査定ＢＳＣの結果として、先行画像Ｂの領域が予測画像ブロックＰＢＢとして選択される。この画像ブロックに対してはエラー度が最小である。なぜなら、この領域に対して画像ブロックＢＢとの一致が最適だからである。さらに運動査定の枠内で、画像ブロックＢＢの予測画像ブロックＰＢＢに対する位置的ずれが先行画像において検出される。ずれは以降、動きベクトルＢＶと称する。運動査定ＢＳＣの枠内で、先行画像の領域をそれぞれ一義的にアドレシングするためにＡＤＲがメモリＳＰに供給される。動きベクトルＢＶは運動査定ＢＳＣが完全に終了した後、メモリＳＰに記憶される。予測画像ブロックＰＢＢの画素の符号化情報は減算ユニットＳＥに供給され、マクロブロックＭＢないしは画像ブロックＢＢの画素ＢＰの符号化情報から減算される。第１の実施例：第１の実施例（その方法ステップが図６に示されている）では、上に述べた方法が次のように拡張されて実行される。各マクロブロックＭＢないしは各画像ブロックＢＢ（６００）に対して、記憶された先行画像内で領域が選択される。この領域は先行画像内で、デジタル画像Ｂ内のマクロブロックＭＢないしは画像ブロックＢＢと相対的に同じ位置にある。すなわち、画像セグメントの領域に対する位置的ずれを表す、選択されたスタートベクトルはゼロベクトルである。選択された領域はマクロブロックＭＢ（１６×１６画素）ないしは画像ブロックＢＢ（８×８画素）と同じ形状と大きさを有する。選択された領域を以下、先行マクロブロックＶＭＢないしは先行画像ブロックＶＢＢと称する。先行マクロブロックＶＭＢないしは先行画像ブロックＶＢＢとマクロブロックＭＢないしは画像ブロックＢＢは第１の比較ユニットＶＥ１（図４参照）に供給され、子のユニットで上に述べたエラー度Ｆが形成される（ステップ６０２）。第３のステップ６０２３では、エラー度Ｆが所定の第１の閾値Ｓ１より小さいか否かが検査される（Ｆ＜Ｓ１？）エラー度Ｆが第１の閾値Ｓ１より小さければ（６０４）、第１の比較ユニットＶＥ１により信号ＢＳＢＳが形成され、運動査定ＢＳＣのためのユニットに供給される。この信号により、マクロブロックＭＢないしは画像ブロックＢＢに対して運動査定が実行されないことが指示される。さらに、第１の比較ユニットＶＥ１により別の信号ＢＳＤＣＴが形成され、変換符号化ＤＣＴのためのユニットに供給される。この信号によりマクロブロックＭＢないしは画像ブロックＢＢに対して変換符号化ＤＣＴが実行されないことが指示される。言い替えるとこの場合は、マクロブロックＭＢないしは画像ブロックＢＢと先行マクロブロックＶＭＢないしは先行画像ブロックＶＢＢとの間に十分に良好な一致が存在する場合には運動査定ＢＳＣ（６０５）および変換符号化ＤＣＴ（６０６）を行わないことを意味する。エラー度Ｆが第１の閾値Ｓ１より小さくなければ（６０７）、上に説明した運動査定ＢＳＣ（６０８）と変換符号化ＤＣＴ（６０９）、量子化およびエントロピー符号化（６１０）が実行される。この手段により、符号化のために必要な計算時間を格段に節約することができる。第２の実施例：第２の実施例のステップが図７に示されている。この第２の実施例は第１の実施例とは、いくつかの付加的なステップの点で異なるだけである。各マクロブロックＭＢないしは各画像ブロックＢＢ（６００）に対して同じように、記憶された先行画像内で領域が選択される（ステップ６０１）。この領域は、先行画像内においてデジタル画像ＢのマクロブロックＭＢないしは画像ブロックＢＢと相対的に同じ位置にある。選択された領域はマクロブロックＭＢ（１６×１６画素）ないしは画像ブロックＢＢ（８×８画素）と同じ形状および大きさである。選択された領域を以下、先行マクロブロックＶＭＢないしは先行画像ブロックＶＢＢと称する。先行マクロブロックＶＭＢないしは先行画像ブロックＶＢＢとマクロブロックＭＢないしは画像ブロックＢＢは第１の比較ユニットＶＥ１（図４参照）に供給され、ここで上に述べたエラー度Ｆが形成される（ステップ６０２）。第３のステップ６０３で、エラー度Ｆが所定の第１の閾値Ｓ１（６０４）より小さいか否かが検査される（Ｆ＜Ｓ１？）。エラー度Ｆが第１の閾値Ｓ１よりも小さければ（６０４）、次にステップがさらに実行される。少なくとも１つの別のエラー度Ｆ２が第１の比較ユニットＶＥ１でマクロブロックＭＢないしは画像ブロックＢＢに対して形成される（ステップ７０１）。少なくとも１つの別のエラー度Ｆ２は、マクロブロックＭＢないしは画像ブロックＢＢの、先行マクロブロックＶＭＢないしは先行画像ブロックＶＢＢからの偏差を種々の側面について表す。この種々の側面とは符号化された画像を復号する際に別のアーチファクトにつながり得るものである。別のエラー度として、マクロブロックＭＢないしは画像ブロックＢＢの画素のそれぞれ別の符号化情報と、先行マクロブロックＭＢないしは先行画像ブロックＢＢの画素ＢＰの色値との一致を使用する。このことは、エラー度Ｆの形成に対して輝度情報を使用し、別のエラー度Ｆ２の形成に対してはクロミナンス情報を使用すること、またはその反対に使用することを意味する。別のエラー度の形成も、符号化情報の差分の絶対値の和を形成することにより行われる。第２のエラー度Ｆが所定の第２の閾値よりも小さければ（ステップ７０２，７０３）、さらに符号化情報の差（輝度情報および／または色情報）が第１の数ｎ１より多い複数の画素において第３の閾値Ｔ１より大きいか否かを検査する（ステップ７０４）。言い替えればこのことは、符号化情報が第３の閾値Ｔ１よりも大きな画素の数ｗを検出することである。この数が第１の数ｎ１より多ければマクロブロックＭＢないしは画像ブロックＢＢを符号化しなければならない。そうでなければ（ステップ７０５）、さらに所定数の別の検査ステップ（７０６）において、符号化情報の差がそれぞれ別の数ｎｋ（ｋ＝２...ｍ、ｍ∈Ｎ＋/ {1}）より多い複数の画素においてそれぞれ別の閾値Ｔｋより大きいか否かが検査される。それぞれ、（ｎｋ＋１＜ｎｋ）および（Ｔｋ＋１＞Ｔｋ）が成り立つ。符号化情報が別の閾値Ｔｋより大きい画素の数ｗｋが別の数ｎｋより多い場合（７０７）、マクロブロックＭＢないしは画像ブロックＢＢは常に符号化されるか、またはマクロブロックＭＢないしは画像ブロックＢＢに対して運動査定が実行される。しかし符号化情報が別の閾値Ｔｋより大きい画素の数ｗｋが別の閾値ｎｋより多くなければ（７０８）、第１の比較ユニットＶＥ１により信号ＢＳＢＳが形成され、運動推定ＢＳＣのためのユニットに供給される。この信号により、マクロブロックＭＢないしは画像ブロックＢＢに対して運動推定の実行されないことが指示される。さらに第１の比較ユニットＶＥ１により別の信号ＢＳＤＣＴが形成され、変換符号化ＤＣＴのためのユニットに供給される。この信号により、マクロブロックＭＢないしは画像ブロックＢＢに対して変換符号化の実行されないことが指示される。言い替えればこのことは、マクロブロックＭＢないしは画像ブロックＢＢと先行マクロブロックないしは先行画像ブロックＶＢＢとの間に十分に良好な一致が存在する場合、運動査定ＢＳＣ（６０５）および変換符号化ＤＣＴ（６０６）が実行されないことを意味する。他のすべての場合に対しては、上に説明した運動査定ＢＳＣ（６０８）および変換符号化ＤＣＴ（６０９）、量子化およびエントロピー符号化（６１０）が実行される。第３の実施例：第３の実施例が図５に、そのフローチャートが図１に示されている。第３の実施例では、各マクロブロックＭＢないしは画像ブロックＢＢに対して動きベクトルＢＶを検出するための運動査定ＢＳＣが実行される（１０１）。動きベクトルＢＶはマクロブロックＭＢないしは画像ブロックＢＢに配属され（ステップ１０２）、メモリＳＰに記憶される（ステップ１０３）。図５は第２の比較ユニットＶＥ２を示し、このユニットは次の方法ステップが実行されるように構成されている。第２の比較ユニットＶＥ２にはマクロブロックＭＢないしは画像ブロックＢＢ並びに先行マクロブロックＶＭＢないしは先行画像ブロックＶＢＢが供給される。少なくともエラー度Ｆが第２の比較ユニットＶＥ２でマクロブロックＭＢないしは画像ブロックＢＢに対して形成される（ステップ６０２）。さらに第２のエラー度Ｆ２がマクロブロックＭＢないしは画像ブロックＢＢに対して形成される。別のエラー度Ｆ２として、マクロブロックＭＢないしは画像ブロックＢＢの画素ＢＰの符号化情報と、先行マクロブロックＶＭＢないしは先行画像ブロックＶＢＢの画素ＢＰの符号化情報との一致が使用される。このことは、色値の差分絶対値の和形成によって行われる。別のエラー度Ｆ２が所定の閾値Ｓ２より小さければ（ステップ７０２，７０３）、さらに符号化情報（輝度情報および／または色情報）の差が第１の数ｎ１より多い複数の画素において第３の閾値Ｔ１よりも大きいか否かが検査される（ステップ７０４）。言い替えればこのことは、符号化情報が第３の閾値Ｔ１より大きな画素の数ｗを検出することである。この数が第１の数ｎ１より多ければ、マクロブロックＭＢないしは画像ブロックＢＢを符号化しなければならない。そうでない場合（ステップ７０５）、さらに所定数の別の検査ステップ（７０６）において、符号化情報の差がそれぞれ別の数ｎｋ（ｋ＝１...ｍ、ｍ∈Ｎ+/{ 1}）より多い複数の画素においてそれぞれ別の閾値Ｔｋより大きいか否かが検査される。それぞれ、（ｎｋ＋１＜ｎｋ）および（Ｔｋ＋１＞Ｔｋ）が当てはまる。マクロブロックＭＢないしは画像ブロックＢＢは、符号化情報が別の閾値Ｔｋより大きい画素の数ｗｋが別の数ｎｋより多い場合（７０７）、常に符号化される。しかし符号化情報が別の閾値Ｔｋよりも大きい画素の数ｗｋが別の閾値ｎｋよりも多くなければ（７０８）、第２の比較ユニットＶＥ２により別の信号ＢＳＤＣＴが形成され、変換符号化ＤＣＴのためのユニットに供給される。この信号により、マクロブロックＭＢないしは画像ブロックＢＢに対して変換符号化ＤＣＴの実行されないことが指示される。言い替えれば、マクロブロックＭＢないしは画像ブロックＢＢと先行マクロブロックＶＭＢないしは先行画像ブロックＶＢＢとの間に十分に良好な一致がある場合には、変換符号化ＤＣＴは行われない（６０６）。動きベクトルＢＶ自体だけがエントロピー符号化ＶＬＣのためのユニットに供給され、そこでエントロピー符号化される。第２の比較ユニットＶＥ２によってこの場合は、別の信号ＢＳＤＣＴが形成され、変換符号化ＤＣＴのためのユニットに供給される。この信号により、マクロブロックＭＢないしは画像ブロックＢＢに対して変換符号化ＤＣＴの実行されないことが指示される。それ以外の場合はすべて（７０９，７１０）、上に説明した変換符号化ＤＣＴ（６０９）、量子化およびエントロピー符号化（６１０）がマクロブロックＭＢないしは画像ブロックＢＢに対して実行される。さらに上に説明した実施例に対するいくつかの択一的実施例を示す。本発明の枠内で、運動査定および変換符号化を使用する各ブロック指向の画像符号化方法を使用することができる。これは例えば、ＭＰＥＧ１、Ｈ．２６１規格による方法またはＨ．２６３規格による方法である。本発明はさらに簡単に、オブジェクト指向の画像符号化方法にも有利に適用できる。この場合は、画像セグメントが任意の形状を有する。エラー度は別の手法でも形成することができる。例えば輝度値の差の任意の基準を和形成することにより形成できる。すべての閾値および／または数ｎｋは適合的に構成することができる。閾値を適合的に、量子化を表す量子化パラメータに依存させると有利である。エラー度Ｆないしは別のエラー度Ｆ２を形成するために、マクロブロックＭＢないしは画像ブロックＢＢの縁部領域にある画素の差を、縁部領域の外にある画素の差よりも大きく重み付けすると有利である。エラー度Ｆないしは別のエラー度Ｆ２は一般的に次式から得られる。＊＊数式（２）ここで、α_ijは重み付けマトリクス（α_ij）の要素を表す。重み付けマトリクス（α_ij）に対しては、次の例として示された構造が有利である。＊＊数式（３）重み付けマトリクス（α_ij）の縁部近傍にあるα_ijに重み付けマトリクス（α_ij ）の中心にあるものよりも大きな値を割り当てると有利である。縁部領域に対しては値１０、中心に対しては値１が有利である。これにより重み付けマトリクス（α_ij）に対して次の構造が得られる。＊＊数式４縁部領域の大きさは、それぞれ２列ないし２行をマクロブロックＭＢないしは画像ブロックＢＢの縁部に有すれば十分である。スタートベクトルとしてさらに、予測によって求められた予測ベクトルを使用することができる。本明細書の枠内で次の刊行物が引用されている。＊＊表

【手続補正書】特許法第１８４条の８第１項【提出日】平成１１年５月２６日（１９９９．５．２６）【補正内容】請求の範囲１．画像セグメントを備えたデジタル画像の符号化方法であって、該画像セグメントは、それぞれ符号化情報の配属された画素を有しており、記憶された、時間的に先行する画像を使用し、該画像は先行画像セグメントを備え、当該画像セグメントはそれぞれ先行する符号化情報の配属された先行画素を有している形式の方法において、先行画像セグメントを所定のスタートベクトルに依存して選択し、該スタートベクトルにより、画像セグメントの先行画像セグメントに対する位置的ずれが表され、画像セグメントの符号化情報と先行画像セグメントの符号化情報との間のエラー度を形成し、当該エラー度を、種々異なる画素の符号化情報の差が異なって重み付けされるようにして形成し、該エラー度が第１の閾値より小さいか否かを検査し、エラー度が第１の閾値（Ｓ１）より小さい場合、画像セグメントを残留エラー符号化には使用せず、それ以外の場合に、画像セグメントを残留エラー符号化およびエントロピー符号化に使用する、ことを特徴とする符号化方法。２．前記スタートベクトルは、ゼロベクトル、または画像セグメントに対する予測によって求められた予測ベクトル、または画像セグメントに対する運動査定によって求められた動きベクトルである、請求項１記載の方法。３．エラー度が第１の閾値より小さい場合には次の方法ステップを実行する：画像セグメントに対して、画像セグメントと先行する画像セグメントとの間の少なくとも１つの別のエラー度を形成し、第２のエラー度が第２の閾値（Ｓ２）より小さい場合には、前記画像セグメントを残留エラー符号化には使用せず、それ以外の場合、画像セグメントを残留エラー符号化およびエントロピー符号化に使用する、請求項１または２記載の方法。４．残留エラー符号化では、画像セグメントを量子化に使用する、請求項１から３までのいずれか１項記載の方法。５．少なくとも１つの閾値を適合的に構成する、請求項１から４までのいずれか１項記載の方法。６．閾値の少なくとも１つを量子化パラメータに依存して適合的に構成する、請求項４記載の方法。７．別のエラー度として次の基準の少なくとも１つを使用する；・画像セグメントの画素の色情報と、先行する画像セグメントの先行する画素の色情報との差・画像セグメントの画素の輝度情報と、先行する画像セグメントの先行する画素の輝度情報との差・画像セグメントの画素の符号化情報と先行する画像セグメントの先行する画素の符号化情報との差の位置的広がり；請求項３から６までのいずれか１項記載の方法。８．画像セグメントの画素の符号化情報と先行する画像セグメントの先行する画素の符号化情報との差の位置的広がりを求めるために、少なくとも一度、符号化情報の差が第１の数（ｎ１）より多い複数の画素において第３の閾値（Ｔ１）より大きいか否かを検査し、符号化情報の差が、第１の数（ｎ１）より多い複数の画素において第３の閾値（ｔ１）より大きければ、画像セグメントを残留エラー符号化およびエントロピー符号化に使用する、請求項７記載の方法。９．符号化情報の差の位置的広がりを求めるために複数のステップで、符号化情報の差が別の数（ｎｋ）より多い複数の画素においてそれぞれ別の閾値（Ｔｋ）より大きいか否かを検査し、符号化情報の差が、別の数（ｎｋ）より多い複数の画素において別の閾値（Ｔｋ）より大きい場合、前記画像セグメントを残留エラー符号化およびエントロピー符号化に使用する、請求項８記載の方法。１０．少なくとも１つの数および／または少なくとも１つの閾値を適合的に構成する、請求項８または９記載の方法。１１．少なくとも１つの数および／または第３の閾値（Ｔ１）および／または別の閾値（Ｔｋ）を量子化パラメータに依存して適合的に構成する、請求項８または９記載の方法。１２．別のエラー度を、種々異なる画素の符号化情報の差が異なって重み付けされるようにして求める、請求項１から１１までのいずれか１項記載の方法。１３．重み付けは、画像セグメントの所定の大きさの縁部に存在する画素の符号化情報の差を、縁部領域の外にある画素の符号化情報の差よりも大きく重み付けするように行う、請求項１から１２までのいずれか１項記載の方法。１４．画像セグメントを備えたデジタル画像の符号化装置であって、該画像セグメントはそれぞれ符号化情報の配属された画素を有し、記憶された、時間的に先行する画像が使用され、該画像は、先行する画素を有する先行する画像セグメントを備えており、前記画素にはそれぞれ先行する符号化情報が配属されており、マイクロプロセッサユニットを有し、該マイクロプロセッサユニットは次のように構成されている、すなわち先行する画像セグメントがスタートベクトルに依存して選択され、該スタートベクトルにより画像セグメントの先行画像セグメントに対する位置的ずれが表され、画像セグメントの符号化情報と、先行する画像セグメントの先行する符号化情報とのエラー度が形成され、当該エラー度は、種々の画素の符号化情報の差が異なって重み付けされるようにして検出され、エラー度が第１の閾値より小さいか否かが検査され、エラー度が第１の閾値（Ｓ１）より小さい場合、画像セグメントは残留エラー符号化に使用されず、それ以外の場合、画像セグメントが残留エラー符号化およびエントロピー符号化に使用される、ように構成されていることを特徴とする符号化装置。１５．プロセッサユニットは、スタートベクトルがゼロベクトル、または画像セグメントに対する予測によって求められた予測ベクトル、または画像セグメントに対する運動査定によって求められた動きベクトルであるように構成されている、請求項１４記載の装置。１６．プロセッサユニットは、エラー度が第１の閾値より小さい場合、次のステップが実行されるように構成されている：・画像セグメントに対して、画像セグメントと先行する画像セグメントとの間の少なくとも１つの別のエラー度が形成され、・第２のエラー度が第２の閾値（Ｓ２）より小さい場合、画像セグメントが残留エラー符号化に使用されず、それ以外の場合、画像セグメントは残留エラー符号化およびエントリピー符号化に使用される、ように構成されている、請求項１４または１５記載の装置。１７．プロセッサユニットは、残留エラー符号化の際に画像セグメントが量子化に使用されるように構成されている請求項１４から１６までのいずれか１項記載の装置。１８．プロセッサユニットは、閾値の少なくとも１つが適合的であるように構成されている、請求項１４から１７までのいずれか１項記載の装置。１９．プロセッサユニットは、閾値の少なくとも１つが量子化パラメータに依存して適合的であるように構成されている、請求項１７記載の装置。２０．プロセッサユニットは、別のエラー度として次の基準の少なくとも１つが使用されるように構成されている、・画像セグメントの画素の色情報と、先行する画像セグメントの先行する画素の色情報との差・画像セグメントの画素の輝度情報と、先行する画像セグメントの先行する画素の輝度情報との差・画像セグメントの画素の符号化情報と、先行する画像セグメントの先行する画素の符号化情報との差の位置的広がり請求項１６から１９までのいずれか１項記載の装置。２１．プロセッサユニットは、画像セグメントの画素の符号化情報と先行する画像セグメントの先行する画素の符号化情報との差の位置的広がりを検出するために、少なくとも一度、符号化情報の差が第１の数（ｎ１）より多い複数の画素において第３の閾値（Ｔ１）より大きいか否かが検査され、符号化情報の差が、第１の数（ｎ１）より多い複数の画素において第３の閾値（Ｔ１）より大きい場合、画像セグメントが残留エラー符号化とエントロピー符号化に使用されるように構成されている、請求項２０記載の装置。２２．プロセッサユニットは、符号化情報の差の位置的広がりを検出するために複数のステップで、符号化情報の差が別の数（ｎｉ）より多い複数の画素においてそれぞれ別の閾値（Ｓｉ）より大きいか否かが検査され、符号化情報の差が、別の数（ｎｋ）より多い複数の画素において別の閾値（Ｔｋ）より大きい場合、画像セグメントが残留エラー符号化およびエントロピー符号化に使用されるように構成されている、請求項２１記載の装置。２３．プロセッサユニットは、少なくとも１つの数および／または少なくとも１つの閾値が適合的であるように構成されている、請求項２１または２２記載の装置。２４．プロセッサユニットは、少なくとも１つの数および／または第３の閾値（Ｔ１）および／または別の閾値（Ｔｋ）が量子化パラメータに依存して適合的であるように構成されている、請求項２１または２２記載の装置。２５．プロセッサユニットは、第２のエラー度が種々異なる画素の符号化情報の差が異なって重み付けされるようにして検出されるように構成されている、請求項１４から２４までのいずれか１項記載の装置。２６．プロセッサユニットは、画像セグメントの所定の大きさの縁部領域にある画素の符号化情報の差が、縁部領域の外にある画素の符号化情報の差よりも大きく重み付けされるように構成されている、請求項１４から２５までのいずれか１項記載の装置。

Claims

【特許請求の範囲】１．画像セグメントを有するデジタル画像の符号化方法であって、前記画像セグメントは、それぞれ符号化情報の配属された画素を有し、記憶された、時間的に先行する画像を使用し、該画像は、先行する画素を有する画像セグメントを備えており、前記画素にはそれぞれ先行する符号化情報が配属されている形式の方法において、先行する画像セグメントを次のようなスタートベクトルに依存して選択し、該スタートベクトルは画像セグメントの、先行する画像セグメントに対する位置的ずれを表すものであり、画像セグメントの符号化情報と先行する画像セグメントの符号化情報との間のエラー度を形成し、該エラー度が第１の閾値よりも小さいか否かを検査し、エラー度が第１の閾値（Ｓ１）より小さい場合には、前記画像セグメントを残留エラー符号化に使用せず、それ以外の場合、画像セグメントを残留エラー符号化およびエントロピー符号化に使用する、ことを特徴とする符号化方法。２．前記スタートベクトルは、ゼロベクトル、または画像セグメントに対する予測によって求められた予測ベクトル、または画像セグメントに対する運動査定によって求められた動きベクトルである、請求項１記載の方法。３．エラー度が第１の閾値より小さい場合には次の方法ステップを実行する：画像セグメントに対して、画像セグメントと先行する画像セグメントとの間の少なくとも１つの別のエラー度を形成し、第２のエラー度が第２の閾値（Ｓ２）より小さい場合には、前記画像セグメントを残留エラー符号化には使用せず、それ以外の場合、画像セグメントを残留エラー符号化およびエントロピー符号化に使用する、請求項１または２記載の方法。４．残留エラー符号化では、画像セグメントを量子化に使用する、請求項１から３までのいずれか１項記載の方法。５．少なくとも１つの閾値を適合的に構成する、請求項１から４までのいずれか１項記載の方法。６．閾値の少なくとも１つを量子化パラメータに依存して適合的に構成する、請求項４記載の方法。７．別のエラー度として次の基準の少なくとも１つを使用する；・画像セグメントの画素の色情報と、先行する画像セグメントの先行する画素の色情報との差・画像セグメントの画素の輝度情報と、先行する画像セグメントの先行する画素の輝度情報との差・画像セグメントの画素の符号化情報と先行する画像セグメントの先行する画素の符号化情報との差の位置的広がり；請求項３から６までのいずれか１項記載の方法。８．画像セグメントの画素の符号化情報と先行する画像セグメントの先行する画素の符号化情報との差の位置的広がりを求めるために、少なくとも一度、符号化情報の差が第１の数（ｎ１）より多い複数の画素において第３の閾値（Ｔ１）より大きいか否かを検査し、符号化情報の差が、第１の数（ｎ１）より多い複数の画素において第３の閾値（ｔ１）より大きければ、画像セグメントを残留エラー符号化およびエントロピー符号化に使用する、請求項７記載の方法。９．符号化情報の差の位置的広がりを求めるために複数のステップで、符号化情報の差が別の数（ｎｋ）より多い複数の画素においてそれぞれ別の閾値（Ｔｋ）より大きいか否かを検査し、符号化情報の差が、別の数（ｎｋ）より多い複数の画素において別の閾値（Ｔｋ）より大きい場合、前記画像セグメントを残留エラー符号化およびエントロピー符号化に使用する、請求項８記載の方法。１０．少なくとも１つの数および／または少なくとも１つの閾値を適合的に構成する、請求項８または９記載の方法。１１．少なくとも１つの数および／または第３の閾値（Ｔ１）および／または別の閾値（Ｔｋ）を量子化パラメータに依存して適合的に構成する、請求項８または９記載の方法。１２．エラー度を、種々異なる画素の符号化情報の差が異なって重み付けされるようにして検出する、請求項１から１１までのいずれか１項記載の方法。１３．別のエラー度を、種々異なる画素の符号化情報の差が異なって重み付けされるようにして求める、請求項１から１２までのいずれか１項記載の方法。１４．重み付けは、画像セグメントの所定の大きさの縁部に存在する画素の符号化情報の差を、縁部領域の外にある画素の符号化情報の差よりも大きく重み付けするように行う、請求項１２または１３記載の方法。１５．画像セグメントを備えたデジタル画像の符号化装置であって、該画像セグメントはそれぞれ符号化情報の配属された画素を有し、記憶された、時間的に先行する画像が使用され、該画像は、先行する画素を有する先行する画像セグメントを備えており、前記画素にはそれぞれ先行する符号化情報が配属されており、マイクロプロセッサユニットを有し、該マイクロプロセッサユニットは次のように構成されている、すなわち先行する画像セグメントがスタートベクトルに依存して選択され、該スタートベクトルにより画像セグメントの先行する画像セグメントに対する位置的ずれが表され、画像セグメントの符号化情報と、先行する画像セグメントの先行する符号化情報とのエラー度が形成され、エラー度が第１の閾値より小さいか否かが検査され、エラー度が第１の閾値（Ｓ１）より小さい場合、画像セグメントは残留エラー符号化に使用されず、それ以外の場合、画像セグメントが残留エラー符号化およびエントロピー符号化に使用される、ように構成されていることを特徴とする符号化装置。１６．プロセッサユニットは、スタートベクトルがゼロベクトル、または画像セグメントに対する予測によって求められた予測ベクトル、または画像セグメントに対する運動査定によって求められた動きベクトルであるように構成されている、請求項１５記載の装置。１７．プロセッサユニットは、エラー度が第１の閾値より小さい場合、次のステップが実行されるように構成されている：・画像セグメントに対して、画像セグメントと先行する画像セグメントとの間の少なくとも１つの別のエラー度が形成され、・第２のエラー度が第２の閾値（Ｓ２）より小さい場合、画像セグメントが残留エラー符号化に使用されず、それ以外の場合、画像セグメントは残留エラー符号化およびエントリピー符号化に使用される、ように構成されている、請求項１５または１６記載の装置。１８．プロセッサユニットは、残留エラー符号化の際に画像セグメントが量子化に使用されるように構成されている請求項１５から１７までのいずれか１項記載の装置。１９．プロセッサユニットは、閾値の少なくとも１つが適合的であるように構成されている、請求項１５から１８までのいずれか１項記載の装置。２０．プロセッサユニットは、閾値の少なくとも１つが量子化パラメータに依存して適合的であるように構成されている、請求項１８記載の装置。２１．プロセッサユニットは、別のエラー度として次の基準の少なくとも１つが使用されるように構成されている、・画像セグメントの画素の色情報と、先行する画像セグメントの先行する画素の色情報との差・画像セグメントの画素の輝度情報と、先行する画像セグメントの先行する画素の輝度情報との差・画像セグメントの画素の符号化情報と、先行する画像セグメントの先行する画素の符号化情報との差の位置的広がり請求項１７から２０までのいずれか１項記載の装置。２２．プロセッサユニットは、画像セグメントの画素の符号化情報と先行する画像セグメントの先行する画素の符号化情報との差の位置的広がりを検出するために、少なくとも一度、符号化情報の差が第１の数（ｎ１）より多い複数の画素において第３の閾値（Ｔ３）より大きいか否かが検査され、符号化情報の差が、第１の数（ｎ１）より多い複数の画素において第３の閾値（Ｔ１）より大きい場合、画像セグメントが残留エラー符号化とエントロピー符号化に使用されるように構成されている、請求項２１記載の装置。２３．プロセッサユニットは、符号化情報の差の位置的広がりを検出するために複数のステップで、符号化情報の差が別の数（ｎｉ）より多い複数の画素においてそれぞれ別の閾値（Ｓｉ）より大きいか否かが検査され、符号化情報の差が、別の数（ｎｋ）より多い複数の画素において別の閾値（Ｔｋ）より大きい場合、画像セグメントが残留エラー符号化およびエントロピー符号化に使用されるように構成されている、請求項２２記載の装置。２４．プロセッサユニットは、少なくとも１つの数および／または少なくとも１つの閾値が適合的であるように構成されている、請求項２２または２３記載の装置。２５．プロセッサユニットは、少なくとも１つの数および／または第３の閾値（Ｔ１）および／または別の閾値（Ｔｋ）が量子化パラメータに依存して適合的であるように構成されている、請求項２２または２３記載の装置。２６．プロセッサユニットは、エラー度が種々異なる画素の符号化情報の差が異なって重み付けされるようにして検出されるように構成されている、請求項１５から２５までのいずれか１項記載の装置。２７．プロセッサユニットは、第２のエラー度が種々異なる画素の符号化情報の差が異なって重み付けされるようにして検出されるように構成されている、請求項１５から２６までのいずれか１項記載の装置。２８．プロセッサユニットは、画像セグメントの所定の大きさの縁部領域にある画素の符号化情報の差が、縁部領域の外にある画素の符号化情報の差よりも大きく重み付けされるように構成されている、請求項２６または２７記載の装置。