【発明の詳細な説明】
ビデオ画像符号化方法発明の分野
本発明は、ビデオ画像をブロックに分割するステップと、前記ブロックの各々
に対して複数の異なった符号化方法から１つを選択するステップと、前記選択さ
れた符号化方法を使用して前記ブロックを符号化し、各々のブロックに対する符
号化データを得るステップとを具える、ビデオ画像符号化方法に関係する。本発
明は、前記符号化方法を実行する装置にも関係する。発明の背景
序章において記述したようなビデオ画像符号化方法は、欧州特許出願公開明細
書第０２２０７０６号において開示されている。この既知の方法において、変換
符号化を各々のブロックに用い、ブロックサイズを輝度変化に応じて可変にする
。前記ブロックをより小さいブロックに再分割し、各々のブロック内部の平均歪
みが許容しうる値を越えないようにする。発明の目的および要約
本発明の目的は、前記ビデオ画像符号化方法をさらに改善することである。
この目的のために、本発明による方法は、前記符号化方法を選択するステップ
が、レート−歪みの観点から最適である符号化方法の決定を含むことを特徴とす
る。レートと歪みとの間の最適な妥協が、それによって達成される。
前記方法の実施例において、前記複数の異なった符号化方法を、等しいサイズ
の画素ブロックに用いる。前記異なった符号化方法の例は、変換符号化およびフ
ラクタル符号化である。他の実施例において、前記符号化方法を全画素変換とし
、異なったブロックサイズの画素ブロックに用いる。変換符号化において使用す
る変換を、すべて技術的に既知の、離散コサイン変換（ＤＣＴ）、アダマール変
換、重ね合わせ直交変換（ＬＯＴ）、特に、改良ＬＯＴ（ＭＬＯＴ）とする。
前記方法の好適実施例において、符号化すべき前記画像の統計を正規分布とし
、変換係数を無相関とする。この実施例において、最適な変換形式の基礎となる
レ
ートおよび歪みを、簡単に計算することができる。図面の簡単な説明
図１は、本発明による方法を使用するビデオ符号化および伝送局の図を示す。
図２は、異なった符号化方法に関係するレート−歪み曲線の例を示す。
図３は、図１に示す分割回路によって行われるステップのフローチャートを示
す。
図４は、画像の異なった領域に用いられる異なった符号化方法を示す画像の分
割マップを示す。好適実施例の説明
図１は、本発明による方法を用いるビデオ符号化および伝送局の図である。こ
の装置は、ビデオ入力信号Ｘinを受ける。最適減算回路１において、予測ビデオ
信号Ｖpredをそこから減じる。このように、エンコーダは、フレーム内モードま
たは（あるいは動き補償された）フレーム外モードにおいて動作することができ
る。符号化すべき画像を、分割回路２および変換回路３に用いる。前記分割回路
は、例えば、前解析段階において、所定のブロックに対してどの変換がレート−
歪みの観点において最適であるかを決定する。前記回路は、さらに、同じ変換に
属する隣接するブロックを合併し、同じ変換による領域を形成する。このように
形成された“分割マップ”を、伝送または格納するために、符号化回路４によっ
て符号化する。
前記分割マップを、実際の符号化段階中にどの変換を実行すべきかを示すため
に、さらに変換回路３に用いる。変換回路３から得られた変換係数を、量子化器
およびエントロピ符号化器５によって、量子化および無損失符号化する。量子化
およびエントロピ符号化は、技術において既知である。例えば、ＭＰＥＧ２のよ
うな符号化を使用することができる。各々の変換ブロックに対する係数を、ジク
ザグに走査する。ＤＣ係数を、一定のステップ幅を使用して量子化し、微分的に
符号化する。ＡＣ係数を、適応的に量子化し、ハフマン符号化およびランレング
ス符号化の組み合わせを使用してエントロピ符号化する。ブロックの終端コード
を、ブロックの最後のゼロでないＡＣ係数の後に伝送する。このように得られた
符号化データを、前記符号化分割マップと共に、マルチプレクサ６によって多重
化し、デコーダに伝送するか、格納媒体（図示せず）に格納する。
分割回路２は、レート−歪みの観点において最適な符号化方法を決定する。所
定の符号化方法のレート−歪み曲線は、符号化パラメータｔ、例えば、変換符号
化器の量子化ステップ幅の異なった値に対するレート−歪み対（Ｒ，Ｄ）の集合
である。図２は、第１符号化方法Ｔ１に関係するレート−歪み曲線２０１と、第
２符号化方法Ｔ２に関係するレート−歪み曲線２０２とを示す。以下の実施例に
おいて、変換符号化を、等しくないサイズの画素ブロックに用いる。分割回路２
は、最適なブロックサイズを決定する。本実施例において、２つの仮定を行い、
分割処理を高速化する。すなわち、符号化すべき画像の統計を正規分布とし、変
換係数を統計的に独立とする。これらの仮定の下で、以下のことを行う（１９７
１年、ニュージャージー州エングルウッドクリフスのプレンティスホール社のト
ビー・バーガー：レート、歪み理論、データ圧縮の数学的基礎を参照されたい）
。すなわち、
１． 処理される各々の画素ブロックにたいして、レートＲk（ｔ）および歪み
Ｄk（ｔ）を、
とし、ここで、ｃi,kを変換ブロックｋのｉ番目の係数とし、ｔを符号化パラメ
ータ、例えば、量子化器ステップ幅とする。
２． 前記レート−歪み曲線の勾配ｓを、
とする。
図３は、分割回路２によって行われるステップのフローチャートである。ステ
ップ２１において、前記回路は、グローバルレートＲ(t)が所望のレートＲretに
等しくなる、すなわち、
となるように、ｔの動作値を計算する。ｔの値を、例えば、二分法を使用して求
める。表１は、疑似プログラミング言語におけるこのような二分法の一例を示す
。もちろん、傾斜法のようなより効率的なアルゴリズムを使用することもできる
。
ステップ２２において、前記回路は、各々の画素ブロックｋに所定の変換を用
い、変換係数ｃi,kを得て、ステップ２１において求めた値ｔを使用して、式（
１）および（２）に従って、前記ブロックに対するレートＲk（ｔ）および歪み
Ｄk（ｔ）を計算する。ステップ２２を、異なったブロックサイズに対して繰り
返す。本例において、４つの異なった変換、すなわち、２＊２変換Ｔ１、４＊４
変換Ｔ２、８＊８変換Ｔ３および１６＊１６変換Ｔ４を考える。ステップ２３に
おいて、すべてのこれらの変換が処理されたか否かを検査する。
レート−歪み対（Ｒ，Ｄ）を各々の変換形式に関して計算したら、ステップ２
４において最適な変換を選択する。この最適な変換を、Ｌ＝Ｒ＋ｓ・Ｄとして規
定される“ラグランジアンコスト”が最小となる変換とする。ここで、ｓは、式
（３）によるレート−歪み曲線の傾きである。前記最適な変換を選択する適切な
方法を、上記変換結果を対に関して比較することによって、すなわち、以下のサ
ブステップを実行することによって達成する。
１． ４＊４ブロックに関して、４つの２＊２Ｔ１変換ブロックを対応する４＊
４Ｔ２変換ブロックと比較する。
２． ８＊８ブロックに関して、８＊８Ｔ３変換をこのブロックに関するサブス
テップ１による結果の変換と比較する。
３． １６＊１６ブロックに関して、１６＊１６Ｔ４変換をこのブロックに関す
るサブステップ２による結果の変換と比較する。
ステップ２５において、選択された変換形式を前記分割マップに格納し、これ
は最も小さいブロックサイズによって決定されるグリッドを規定する。図４は、
このような分割マップの説明的な例を示す。
ここで、図１に戻って、前記画像の実際の符号化の期間中、どの変換形式を使
用すべきかを示すために、前記分割マップを変換回路３に用いる。この符号化処
理中、分割回路２によって規定されるようなビットレートを実際に達成するため
に、ステップ２２において規定されるようなブロックｋに対するレートＲk（t）
を、ビットレート調節回路（図１には示さず）に用いてもよい。ビットレート調
節回路は、技術的に既知である。前記分割マップを、さらに、前記デコーダに伝
送するか、格納媒体に格納するために、符号化回路４に用いる。実際の符号化方
法は、固有の番号を異なった変換形式に割り当てることである。この変換番号は
、ＤＰＣＭを使用する無損失符号化である。結果としての違いを、ハフマン符号
化およびランレングス符号化の組み合わせによって伝送する。
前記レート−歪み対を計算する（上記ステップ２２）代わりの実施例は、各々
の可能な画素ブロックｋを実際に符号化（変換、量子化、ハフマンおよびランレ
ングス符号化）することである。その場合において、上記仮定（符号化すべき画
像の統計を正規分布であり、変換係数を無相関とする）を適用することはできな
い。
等しいブロックサイズに対する異なった変換を、自動的な分割、例えば、離散
コサイン変換、アダマール変換、または改良重ね合わせ直交変換のような重ね合
わせ変換において使用することができることにも注意されたい。
完全な（に近い）復元を維持する間、前記符号化処理において、領域間の輪郭
における異なった変換間の切替えを準備する必要があることにさらに注意された
い。例えば、線形位相変換を使用して、これを、領域境界における反射によって
実行することができる。
要約において、異なった符号化方法を画像の異なった領域に用いるビデオ画像
を符号化する方法を開示した。前記画像をブロックに分割し、各々のブロックに
対して、レート−歪みの観点から最適な符号化方法を選択する。ある実施例にお
いて、ＤＣＴまたはＬＯＴのような変換符号化をすべてのブロックに対して用い
る。ブロックサイズを、レート−歪み規準に従って選択する。Description: FIELD OF THE INVENTION The present invention relates to the step of dividing a video image into blocks and the step of selecting one of a plurality of different encoding methods for each of said blocks. Encoding the blocks using the selected encoding method and obtaining encoded data for each block. The invention also relates to an apparatus for performing the encoding method. BACKGROUND OF THE INVENTION A video image coding method as described in the introduction is disclosed in EP-A-0220706. In this known method, transform coding is used for each block and the block size is made variable according to the change in luminance. The blocks are subdivided into smaller blocks so that the average distortion within each block does not exceed an acceptable value. Objects and Summary of the Invention It is an object of the present invention to further improve said video image coding method. For this purpose, the method according to the invention is characterized in that the step of selecting the coding method comprises determining a coding method that is optimal in terms of rate-distortion. An optimal compromise between rate and distortion is thereby achieved. In an embodiment of the method, the different encoding methods are used for equally sized pixel blocks. Examples of the different coding methods are transform coding and fractal coding. In another embodiment, the encoding method is an all pixel transform and is used for pixel blocks of different block sizes. The transforms used in transform coding are the discrete cosine transforms (DCT), Hadamard transforms, superimposed orthogonal transforms (LOT), and in particular the improved LOT (MLOT), all known in the art. In a preferred embodiment of the method, the statistics of the image to be coded are normally distributed and the transform coefficients are uncorrelated. In this embodiment, the rate and distortion on which the optimal conversion format is based can be easily calculated. BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 shows a diagram of a video coding and transmission station using the method according to the invention. FIG. 2 shows examples of rate-distortion curves relating to different encoding methods. FIG. 3 shows a flowchart of steps performed by the division circuit shown in FIG. FIG. 4 shows a segmentation map of an image showing different encoding methods used for different regions of the image. Description Figure 1 of the preferred embodiment is a diagram of a video encoding and transmitting station using the method according to the invention. The device receives the video input signal X in. In the optimal subtraction circuit 1, the predicted video signal V pred is subtracted therefrom. In this way, the encoder can operate in an intra-frame mode or (or motion-compensated) out-of-frame mode. The image to be encoded is used for the dividing circuit 2 and the converting circuit 3. The partitioning circuit determines, for example, in a pre-analysis stage, which transform is optimal for a given block in terms of rate-distortion. The circuit further merges adjacent blocks belonging to the same transform to form a region with the same transform. The “division map” thus formed is encoded by the encoding circuit 4 for transmission or storage. The segmentation map is further used by the transformation circuit 3 to indicate which transformation should be performed during the actual encoding stage. The transform coefficients obtained from the transform circuit 3 are quantized and losslessly encoded by the quantizer and entropy encoder 5. Quantization and entropy coding are known in the art. For example, an encoding such as MPEG2 can be used. The coefficients for each transform block are scanned zigzag. The DC coefficients are quantized using a constant step width and differentially encoded. The AC coefficients are adaptively quantized and entropy coded using a combination of Huffman coding and run-length coding. The end code of the block is transmitted after the last non-zero AC coefficient of the block. The coded data thus obtained is multiplexed together with the coded division map by the multiplexer 6 and transmitted to a decoder or stored in a storage medium (not shown). The dividing circuit 2 determines an optimal encoding method from the viewpoint of rate-distortion. The rate-distortion curve for a given encoding method is a set of rate-distortion pairs (R, D) for different values of the encoding parameter t, for example, the quantization step width of the transform encoder. FIG. 2 shows a rate-distortion curve 201 relating to the first encoding method T1 and a rate-distortion curve 202 relating to the second encoding method T2. In the following example, transform coding is used for pixel blocks of unequal size. The dividing circuit 2 determines an optimal block size. In the present embodiment, two assumptions are made to speed up the dividing process. That is, the statistics of the image to be coded are normally distributed, and the transform coefficients are statistically independent. Under these assumptions, do the following (see Toby Berger, Prentice Hall, Englewood Cliffs, NJ, 1971: Mathematical Foundations for Rate, Distortion Theory, Data Compression). That is, 1. For each pixel block processed, the rate R k (t) and the distortion D k (t) are Where c i, k is the i-th coefficient of the transform block k, and t is a coding parameter, for example, a quantizer step width. 2. The slope s of the rate-distortion curve is And FIG. 3 is a flowchart of steps performed by the division circuit 2. In step 21, the circuit determines that the global rate R (t) is equal to the desired rate R ret , The operation value of t is calculated so that The value of t is determined, for example, using a dichotomy. Table 1 shows an example of such a dichotomy in a pseudo-programming language. Of course, more efficient algorithms such as the gradient method can be used. In step 22, the circuit uses a predetermined transform for each pixel block k, obtains a transform coefficient c i, k , and uses the value t obtained in step 21 to calculate equations (1) and (2). Calculate the rate R k (t) and distortion D k (t) for the block according to Step 22 is repeated for different block sizes. In the present example, consider four different transforms: a 2 * 2 transform T1, a 4 * 4 transform T2, an 8 * 8 transform T3 and a 16 * 16 transform T4. In step 23 it is checked whether all these transformations have been processed. Once the rate-distortion pair (R, D) has been calculated for each transform type, in step 24 the optimal transform is selected. This optimal transformation is a transformation that minimizes the “Lagrangian cost” defined as L = R + s · D. Here, s is the slope of the rate-distortion curve according to equation (3). An appropriate method of selecting the optimal transformation is achieved by comparing the transformation results in pairs, ie by performing the following sub-steps. 1. For a 4 * 4 block, compare the four 2 * 2T1 transform blocks with the corresponding 4 * 4T2 transform blocks. 2. For an 8 * 8 block, compare the 8 * 8 T3 transform with the resulting transform from substep 1 for this block. 3. For a 16 * 16 block, compare the 16 * 16 T4 transform with the resulting transform from substep 2 for this block. In step 25, the selected transform type is stored in the partition map, which defines a grid determined by the smallest block size. FIG. 4 shows an illustrative example of such a division map. Returning now to FIG. 1, the division map is used by the transformation circuit 3 to indicate which transformation format to use during the actual encoding of the image. During this encoding process, in order to actually achieve the bit rate as defined by the dividing circuit 2, the rate R k (t) for the block k as defined in step 22 is determined by the bit rate adjusting circuit (FIG. 1 (not shown). Bit rate adjustment circuits are known in the art. The division map is further used by the encoding circuit 4 for transmission to the decoder or for storage in a storage medium. The actual encoding method is to assign unique numbers to different transform types. This conversion number is lossless encoding using DPCM. The resulting difference is transmitted by a combination of Huffman coding and run-length coding. An alternative embodiment of calculating the rate-distortion pair (step 22 above) is to actually encode (transform, quantize, Huffman and run-length encode) each possible pixel block k. In that case, the above assumption (the statistic of the image to be coded is a normal distribution and the transform coefficient is uncorrelated) cannot be applied. It should also be noted that different transforms for equal block sizes can be used in automatic partitioning, for example, a superposition transform such as a discrete cosine transform, a Hadamard transform, or an improved superposition orthogonal transform. It is further noted that while maintaining full (near) reconstruction, the encoding process needs to provide for switching between different transforms on the contours between regions. For example, using a linear phase transformation, this can be performed by reflection at the region boundaries. In summary, a method for encoding a video image using different encoding methods for different regions of the image has been disclosed. The image is divided into blocks, and an optimal coding method is selected for each block from the viewpoint of rate-distortion. In one embodiment, transform coding such as DCT or LOT is used for all blocks. The block size is selected according to the rate-distortion criterion.
─────────────────────────────────────────────────────
フロントページの続き
(72)発明者 ヘースデンス リチャード
オランダ国 5656 アーアー アインドー
フェン プロフ ホルストラーン ６────────────────────────────────────────────────── ───
Continuation of front page
(72) Inventor Hasdense Richard
Netherlands 5656
Fen Prof. Holstrahn 6