JP2007251758A - 動画像符号装置及び方法 - Google Patents

Abstract

【課題】基本ブロックの変換係数を量子化した結果が全てゼロであった場合でも、現基本ブロックの量子化パラメータを符号化できるようにして、フィルタリング強度を制御できるようにする。
【解決手段】入力画像信号を基本ブロック単位で直交変換する直交変換手段１と、得られた各変換係数を量子化パラメータで量子化する量子化手段２と、前記量子化パラメータを符号化する符号化手段１０と、量子化手段２の量子化結果から動き補償予測のための参照画像信号を生成する復号画像生成手段３，４，５と、得られた参照画像信号について、前記基本ブロックについて非ゼロの有効変換係数が存在する場合に前記量子化パラメータに応じたフィルタリング強度でフィルタリングを行なうフィルタ手段１５と、前記変換係数が全てゼロであった場合に、少なくともいずれかの変換係数を非ゼロに制御する制御手段２０Ａとをそなえる。
【選択図】図１

Description

本発明は、動画像符号化装置及び方法に関し、例えば、Ｈ．２６４符号化方式を採用した装置に用いて好適な技術に関する。

図７はＨ．２６４符号化方式を採用する従来の動画像符号化装置（Ｈ．２６４エンコーダ）の要部構成を示すブロック図で、この図７に示す動画像符号化装置（以下、単に「符号化装置」とも称する）は、直交変換部３１０，量子化部３２０，逆量子化部３３０，逆直交変換部３４０，復号画像生成部（加算器）３５０，復号画像記憶部（フレームメモリ）３６０，動きベクトル計算部３７０，予測画像生成部３８０，イントラ予測方向計算部３８１，イントラ予測画像生成部３８２，コスト比較部３８３，デブロッキングフィルタ（ループフィルタ）３８４，イントラ／インター（フレーム内／フレーム間）切り替えスイッチ３８５，予測誤差信号生成部（減算器）３９０，係数エントロピー符号化部４００，ベクトルエントロピー符号化部４００及び多重化部（ＭＵＸ）４２０をそなえて構成されている。

かかる構成を有する符号化装置では、予測誤差信号生成部３９０にて、原画入力（原画像信号）と、予測画像生成部３８０（又はイントラ予測画像生成部３８２）により生成された予測画像信号との差分が検出されることにより、予測誤差信号が生成され、当該予測誤差信号について、直交変換部３１０にて、最大１６×１６画素（ピクセル）のブロックサイズのマクロブロック（ＭＢ）（基本ブロック）単位で離散コサイン変換（ＤＣＴ）等の直交変換（係数変換）処理が施された後、量子化部３２０にて、その変換係数が量子化パラメータ（ＱＰ）を用いて量子化される。

そして、その量子化結果は、係数エントロピー符号化部４００にて、ハフマン符号化や算術符号化等のエントロピー符号化が施され、多重化部４２０にて、動きベクトル計算部３７０により計算された動きベクトルをベクトルエントロピー符号化部４１０でエントロピー符号化した結果と多重化されて出力される。
一方、量子化部３２０による量子化結果は、逆量子化部３３０にも入力され、当該逆量子化部３３０にて逆量子化された後、逆直交変換部３４０にて逆直交変換されることにより、前記予測誤差信号が再生され、当該再生予測誤差信号と、予測画像生成部３８０（又はイントラ予測画像生成部３８２）により生成された画像信号とが、復号画像生成部（加算器）３５０にて加算（合成）されることにより、原画像信号が再生され、これが予測符号化のための参照画像信号として、イントラ予測方向計算部３８１，イントラ予測画像生成部３８２，デブロッキングフィルタ３８４，復号画像記憶部３６０にそれぞれ入力される。

イントラ予測方向計算部３８１では、予測誤差信号生成部３９０への入力信号である原画像信号と、復号画像生成部３５０にて再生（復号）された再生原画像信号（以下、復号画像信号ともいう）とに基づいて、イントラ予測（フレーム内予測）方向が計算（決定）され、その結果に応じた方向へのイントラ予測がイントラ予測画像生成部３８２にて前記再生原画像信号について行なわれてイントラ予測画像信号が生成される。

また、デブロッキングフィルタ３８４では、前記復号画像信号について、従来の動画像符号化アルゴリズムで課題となっていたブロックノイズ（歪）を軽減する目的で、ブロック境界にローパスフィルタによるフィルタリング処理を施す。このように、Ｈ．２６４では、デブロッキングフィルタ３８４が符号化ループに組み込まれていることにより、ブロックノイズの除去された画像信号を下記の動き補償予測の参照画像信号として用いることが可能となり、動き補償予測による予測誤差からブロックノイズの影響を除去して、符号化効率を向上することが可能である。

さらに、予測画像生成部３８０では、復号画像記憶部３６０に記憶された復号画像信号（参照画像信号）と、動きベクトル計算部３７０で計算された動きベクトルとに基づいて、動き補償予測（フレーム間予測）を行ない、（フレーム間）予測画像信号を生成する。
なお、このフレーム間予測画像信号と前記イントラ予測画像信号のいずれかが、コスト比較部３８３でのコスト比較結果に応じたフレーム内／フレーム間切り替えスイッチ（以下、単に「スイッチ」と称する）３８５の切り替え、つまり、イントラ予測モードとインター予測モードとの切り替えにより、予測誤差信号生成部３９０での差分検出に用いる予測画像信号として選択的に出力される。

ここで、コスト比較部３８３は、前記イントラ予測方向計算部３８１及び動きベクトル計算部３７０による各計算結果（例えば、イントラ予測での原画面と予測画面との差分絶対値と、インター予測での原画面と予測画面との差分絶対値）を比較して、差分絶対値の小さい方のモード、即ち、シーンチェンジ等の動画像としての連続性が失われてフレーム間予測を用いると却って符号化効率の低下を招くような場合に、イントラ予測画像信号が予測誤差信号生成部３９０のための参照画像信号として選択され、逆に、動画像としての連続性が保たれており動き補償予測が有利な場合に、フレーム間予測画像信号が予測誤差信号生成部３９０のための参照画像信号として選択されるように、スイッチ３８５（イントラ予測モード／インター予測モード）を切り替え制御する。

また、前記動きベクトルは、動きベクトル計算部３７０にて、現在（現フレーム）の原画像信号と過去（前フレーム）の復号画像信号との差分検出により計算される。
なお、従来の動画像の符号化装置として、他に、下記特許文献１及び２により提案されている技術もある。
特許文献１の技術は、カラー映像のためのビデオ符号化／復号化に関する技術であり、入力映像について第１の動き予測を行ない、その予測結果である予測誤差映像に対して、所定の色成分に基づく第２の動き予測を行なうことにより、色情報による最適な符号化／復号化を実現するものである。

特許文献２の技術は、グレイアルファチャンネルを含んだ映像の符号化／復号化に関する技術であり、画像データのブロックに含まれたグレイアルファ成分の値に応じて各ブロックを前景領域と背景領域とのいずれかに分類し、前景領域に含まれるブロックのグレイアルファ成分と輝度及び色度成分とを順次符号化するとともに、背景領域に含まれるブロックのグレイアルファ成分を符号化するという技術である。
特開２００５−３９８４２号公報 特開２００５−２５３０８８号公報

Ｈ．２６４の規格において、あるマクロブロック（ＭＢ）のデブロッキングフィルタ３８４のフィルタリング強度（係数）は、そのＭＢのＤＣＴ係数を量子化した値（ＱＰ）と隣接ＭＢのＱＰの平均によって決定される。ただし、Ｈ．２６４のシンタックス上では、ＭＢの予測モードが１６×１６画素のブロックサイズによるイントラ予測モード（Intra_16x16）でなく、かつ、非ゼロＤＣＴ係数の存在を示すフラグ（ＣＢＰ：Coded Block Pattern）が０であった場合、そのＭＢのＱＰを符号化しないことになっている。このとき、デブロッキングフィルタ３８４のフィルタリング強度の決定には、そのＭＢのＱＰの代わりに前ＭＢのＱＰを用いることになる。

そのため、そのＭＢのＤＣＴ係数の量子化を行なったＱＰと前ＭＢのＱＰとが異なる可能性があり、前ＭＢのＱＰを基に決定した強度でフィルタリングするのが適切でない場合がある。例えば、図８に模式的に示すように、＃Ｂで示す位置のＭＢのＤＣＴ係数が全てゼロであった場合、当該＃Ｂの位置のＭＢと画像平面において距離が遠く統計的な相関が低い可能性のある、＃Ａで示す位置の前ＭＢのＱＰを用いてデブロッキングフィルタ３８４のフィルタリング強度が決定されてしまうことになる。

また、入力画像を分割して、複数系統の符号化器で並列に符号化を行なう場合、ＭＢのストリーム上の順序と符号化するときの順序が入れ替わる場合がある。例えば図９に模式的に示すように、符号Ａ〜Ｄで示す４つの符号化器でＭＢ（＃１〜＃４０）を並列処理することを想定した場合、符号化器Ａ〜Ｄにおいて、それぞれ、＃１、＃１１、＃２１、＃３１のＭＢからほとんど同時に処理が開始されることになる。

このとき、＃１１のＭＢを処理する場合、＃１０のＭＢの処理がまだ終わっていない。つまり、ストリーム上のＭＢの順序は＃１０→＃１１であるが、符号化器内での時間的な処理順序は＃１１→＃１０の逆順となっている。ここで、符号化器Ｂでの＃１１のＤＣＴ係数がすべてゼロである場合、デブロッキングフィルタ３８４の強度は、＃１０のＱＰを用いて決定されるはずであるが、符号化器Ｂで＃１１のＭＢを処理している時点ではまだ、符号化器Ａにおいて＃１０のＭＢに対するＱＰは決定していないために、＃１１についてのデブロッキングフィルタ３８４のフィルタリング強度を決定することができない。

本発明は、以上のような課題に鑑み創案されたもので、基本ブロックの変換係数を量子化した結果が全てゼロであった場合でも、現基本ブロックの量子化パラメータを符号化できるようにして、フィルタリング強度を制御できるようにすることを目的とする。

上記の目的を達成するために、本発明では、下記の動画像符号化装置及び方法を用いることを特徴としている。即ち、
（１）動画像符号化装置は、入力画像信号の１画面を複数の画素からなる基本ブロックに分割し、各基本ブロック単位で直交変換を行なう直交変換手段と、該直交変換手段による直交変換後の各変換係数を量子化パラメータで量子化する量子化手段と、前記変換係数が非ゼロの場合に前記量子化パラメータを符号化する符号化手段と、該量子化手段の量子化結果を逆量子化し逆直交変換して動き補償予測のための参照画像信号を生成する復号画像生成手段と、該復号画像生成手段により得られた前記参照画像信号について、前記基本ブロックについて非ゼロの有効変換係数が存在する場合に前記量子化パラメータに応じたフィルタリング強度でフィルタリングを行なうフィルタ手段と、該直交変換手段により得られた変換係数が全てゼロであった場合に、少なくともいずれかの変換係数を非ゼロに制御する制御手段とをそなえて構成されたことを特徴としている。

（２）ここで、該制御手段は、該符号化手段で符号化する量子化パラメータを該量子化手段で用いた量子化パラメータ以下の値に制御するように構成されていてもよい。
（３）また、該制御手段は、該符号化手段で符号化する量子化パラメータの範囲を、前記非ゼロに制御した変換係数を逆直交変換した結果が全てゼロになる範囲とするようにしてもよい。

（４）さらに、該制御手段は、色差の直流成分を非ゼロに制御して前記変換係数を非ゼロに制御してもよい。
（５）また、本発明の動画像符号化装置は、入力画像信号の１画面を複数の画素からなる基本ブロックに分割し、各基本ブロック単位で直交変換を行なう直交変換手段と、該直交変換手段による直交変換後の各変換係数を量子化パラメータで量子化する量子化手段と、前記基本ブロックを更に分割した小ブロックのいずれかに非ゼロの変換係数が存在するかを表す符号ブロックパターン（ＣＢＰ）符号を符号化する符号化手段と、前記ＣＢＰ符号が非ゼロの変換係数が存在することを示す場合に前記量子化パラメータを符号化する符号化手段と、該量子化手段の量子化結果を逆量子化し逆直交変換して動き補償予測のための参照画像信号を生成する復号画像生成手段と、該復号画像生成手段により得られた前記参照画像信号について、前記基本ブロックについて非ゼロの有効変換係数が存在する場合に前記量子化パラメータに応じたフィルタリング強度でフィルタリングを行なうフィルタ手段と、前記ＣＢＰ符号が非ゼロの変換係数が存在しないことを示す場合に、前記ＣＢＰ符号を非ゼロの変換係数が存在することを示す符号に制御する制御手段とをそなえて構成されたことを特徴としている。

（６）さらに、本発明の動画像符号化方法は、入力画像信号の１画面を複数の画素からなる基本ブロックに分割し、各基本ブロック単位で直交変換を行なう直交変換過程と、直交変換後の各変換係数を量子化パラメータで量子化する量子化過程と、前記変換係数が非ゼロの場合に前記量子化パラメータを符号化する符号化過程と、前記量子化結果を逆量子化し逆直交変換して動き補償予測のための参照画像信号を生成する復号画像生成過程と、該復号画像生成過程により得られた前記参照画像信号について、前記基本ブロックについて非ゼロの有効変換係数が存在する場合に前記量子化パラメータに応じたフィルタリング強度でフィルタリングを行なうフィルタリング過程と、前記直交変換過程により得られた変換係数が全てゼロであった場合に、少なくともいずれかの変換係数を非ゼロに制御する制御過程とを有することを特徴としている。

（７）ここで、該制御過程は、該符号化過程で符号化する量子化パラメータを該量子化過程で用いた量子化パラメータ以下の値に制御する過程を含んでいてもよい。
（８）また、該制御過程において、該符号化過程で符号化する量子化パラメータの範囲を、前記非ゼロに制御した変換係数を逆直交変換した結果が全てゼロになる範囲としてもよい。

（９）さらに、該制御過程は、色差の直流成分を非ゼロに制御して前記変換係数を非ゼロに制御する過程を含んでいてもよい。
（１０）また、本発明の動画像符号化方法は、入力画像信号の１画面を複数の画素からなる基本ブロックに分割し、各基本ブロック単位で直交変換を行なう直交変換過程と、該直交変換過程による直交変換後の各変換係数を量子化パラメータで量子化する量子化過程と、前記基本ブロックを更に分割した小ブロックのいずれかに非ゼロの変換係数が存在するかを表す符号ブロックパターン（ＣＢＰ）符号を符号化する符号化過程と、前記ＣＢＰ符号が非ゼロの変換係数が存在することを示す場合に前記量子化パラメータを符号化する符号化過程と、該量子化過程の量子化結果を逆量子化し逆直交変換して動き補償予測のための参照画像信号を生成する復号画像生成過程と、該復号画像生成過程により得られた前記参照画像信号について、前記基本ブロックについて非ゼロの有効変換係数が存在する場合に前記量子化パラメータに応じたフィルタリング強度でフィルタリングを行なうフィルタリング過程と、前記ＣＢＰ符号が非ゼロの変換係数が存在しないことを示す場合に、前記ＣＢＰ符号を非ゼロの変換係数が存在することを示す符号に制御する制御過程とを有することを特徴としている。

上記本発明によれば、少なくとも次のような効果ないし利点が得られる。
（１）基本ブロックの変換係数を量子化した結果が全てゼロであった場合でも、いずれかの変換係数を非ゼロに制御することにより、現基本ブロックの量子化パラメータを符号化し、現基本ブロックのフィルタ手段のフィルタリング強度を制御することができるので、その基本ブロックのフィルタ手段のフィルタリング強度が他の基本ブロック（前基本ブロック）の量子化パラメータだけで決定されてしまうことを防ぐことができる。したがって、フィルタ手段のフィルタリング強度を常に適切に制御することができ、ブロックノイズの除去性能が従来よりも向上し、符号化効率をより向上することが可能となる。

（２）現ＭＢのＱＰを符号化することができるので、ほとんど情報量、画質を損なうことなく、複数符号化器で並列に符号化を行なう場合の、フィルタ手段のフィルタリング強度の符号化器と復号化器との間のミスマッチを回避することが可能となる。
（３）量子化パラメータを量子化手段で用いた量子化パラメータ以下の値に制御することにより、本来、変換係数がゼロであったところを非ゼロに制御することに起因して生じるノイズを抑制することができる。

以下、図面を用いて、本発明の実施の形態について説明する。
〔Ａ〕第１実施形態の説明
図１は本発明の第１実施形態に係る動画像符号化装置としてのＨ．２６４エンコーダの要部構成を示すブロック図で、この図１に示すエンコーダも、図７により前述したエンコーダと同様に、直交変換部１，量子化部２，逆量子化部３，逆直交変換部４，復号画像生成部（加算器）５，復号画像記憶部（フレームメモリ）６，動きベクトル計算部７，予測画像生成部８，予測誤差信号生成部９，係数エントロピー符号化部１０，ベクトルエントロピー符号化部１１，多重化部１２，イントラ予測方向計算部１３，イントラ予測画像生成部１４，デブロッキングフィルタ（ループフィルタ）１５，コスト比較部１６及びイントラ／インター（フレーム内／フレーム間）切り替えスイッチ１７をそなえるほか、量子化部２と係数エントロピー符号化部１０との間に、変換係数／ＱＰ制御部２０Ａがそなえられている。

ここで、予測誤差信号生成部９は、入力画像信号（原画入力）とイントラ（フレーム内）予測モードでの予測画像信号又はインター（フレーム間）予測モードでの予測画像信号との差分を検出することにより、予測誤差信号を生成するものであり、直交変換部１は、当該予測誤差信号（入力画像信号）の１画面を複数の画素からなる基本ブロックであるＭＢ（例えば、最大１６×１６画素のブロックサイズのＭＢ）に分割し、当該ＭＢ単位でＤＣＴ変換等の直交変換処理を行なうものであり、量子化部２は、当該直交変換処理により得られた変換係数（例えば、ＤＣＴ係数）を量子化パラメータ（ＱＰ）で量子化するものである。

逆量子化部３は、前記量子化後のＭＢを逆量子化することにより上記量子化前の変換係数を再生するものであり、逆直交変換部４は、この逆量子化部３により再生された変換係数を逆直交変換することにより、直交変換部１による直交変換前の予測誤差信号を再生するものである。
復号画像生成部５は、上記再生された予測誤差信号と、イントラ予測モードでの予測画像信号又はインター予測モードでの予測画像信号とを加算（合成）することにより、動き補償予測のための参照画像信号として用いられる原画像信号を再生（復号）するものである。

つまり、上記の逆量子化部３，逆直交変換部４及び復号画像生成部５は、量子化部２の量子化結果を逆量子化し逆直交変換して動き補償予測のための参照画像信号を生成する復号画像生成手段としての機能を果たしていることになる。
イントラ予測方向計算部１３は、予測誤差信号生成部９への入力信号である原画像信号と、復号画像生成部５にて再生（復号）された復号原画像信号とに基づいて、イントラ予測（フレーム内予測）モードでの予測方向を計算（決定）するもので、その結果は、イントラ予測画像生成部１４とコスト比較部１６とにそれぞれ供給されるようになっている。

イントラ予測画像生成部１４は、上記イントラ予測方向計算部１３での計算結果に応じた方向へのイントラ予測を行なってイントラ予測画像信号を生成するものであり、デブロッキングフィルタ（フィルタ手段）１５は、復号画像生成部５により得られた復号画像信号について、ブロックノイズ（歪）を軽減すべく、ブロック境界にローパスフィルタによるフィルタリング処理を施すもので、符号化対象のＭＢを含む、有効な（非ゼロの）変換係数があった最後のＭＢのＱＰに応じたフィルタリング強度を決定して、現ＭＢについて、非ゼロの有効な変換係数が存在する場合に決定したフィルタリング強度でフィルタリングを行なうものである。

復号画像記憶部６は、デブロッキングフィルタ１５によるフィルタリング処理後（あるいは、未処理）の復号画像信号を記憶するものであり、予測画像生成部８は、この復号画像記憶部６に記憶された復号画像信号（参照画像信号）と、動きベクトル計算部７で計算された動きベクトルとに基づいて、動き補償予測（フレーム間予測）を行ない、（フレーム間）予測画像信号を生成するものである。

動きベクトル計算部７は、現在（現フレーム）の原画像信号と過去（前フレーム）の復号画像信号との差分検出により動きベクトルを計算するものであり、コスト比較部１６は、この動きベクトル計算部７により得られた動きベクトルと、イントラ予測方向計算部１３での計算結果とに基づいて、イントラ予測モードとインター予測モードとを適応的に切り替えるためのもので、本例においても、イントラ予測方向計算部１３及び動きベクトル計算部７による各計算結果（例えば、イントラ予測での原画面と予測画面との差分絶対値と、インター予測での原画面と予測画面との差分絶対値）を比較して、差分絶対値の小さい方のモード、即ち、シーンチェンジ等の動画像としての連続性が失われてフレーム間予測を用いると却って符号化効率の低下を招くような場合に、イントラ予測画像信号が予測誤差信号生成部９のための参照画像信号として選択され、逆に、動画像としての連続性が保たれており動き補償予測が有利な場合に、フレーム間予測画像信号が予測誤差信号生成部９のための参照画像信号として選択されるように、フレーム内／フレーム間切り替えスイッチ（以下、単に「スイッチ」ともいう）１７（イントラ予測モード／インター予測モード）を切り替え制御するようになっている。

係数エントロピー符号化部（符号化手段）１０は、変換係数／ＱＰ制御部２０Ａの出力（ＱＰ，ＣＢＰ符号）について、ハフマン符号化や算術符号化等のエントロピー符号化を施すもので、ここでは、前記変換係数が非ゼロの場合にＱＰを符号化するようになっている。ベクトルエントロピー符号化部１１は、動きベクトル計算部７により得られた動きベクトルをハフマン符号化や算術符号化等によりエントロピー符号化するものであり、多重化部１２は、これらの符号化部１０及び１１により得られた符号化結果を多重化して出力するものである。

そして、変換係数／ＱＰ制御部（制御手段）２０Ａは、量子化部２による量子化結果、即ち、ＭＢの変換係数を量子化した結果が全てゼロ（即ち、当該ＭＢの変換係数が全てゼロ）であった場合でも、いずれかの変換係数を非ゼロに制御（変更）するとともに、デブロッキングフィルタ１５のフィルタリング強度の決定要素として用いられるＱＰ値を制御することができるもので、そのために、例えば図２に示すように、判定部５０，係数付加部５１，ＱＰ生成部５２及びスイッチ部５３をそなえて構成される。

ここで、判定部５０は、ＭＢの予測モードが１６×１６画素のブロックサイズによるイントラ予測モード（Intra_16x16）でなく、かつ、ＤＣＴ係数が全てゼロ（ＣＢＰ符号が０）であるか否かを判定するもので、当該判定条件を満たした場合には、スイッチ部５３を係数付加部５１側（Ａ側）へ切り替え、当該判定条件を満たさない場合には、スイッチ部５３を逆側（Ｂ側）に切り替えるようになっている。これにより、前記判定条件を満たした場合には、係数付加部５１の出力が後段の係数エントロピー符号化部１０及び逆量子化部３に入力され、前記判定条件を満たさない場合には、量子化部２の出力がそのまま後段の係数エントロピー符号化部１０及び逆量子化部３に入力されることになる。

係数付加部５１は、ＤＣＴ係数のいずれかを非ゼロの値に変更するもので、例えば、後述するごとく色差ＣｂのＤＣ成分を１とすることにより、ＤＣＴ係数を非ゼロに変更できるようになっている。
ＱＰ生成部５２は、判定部５０において前記判定条件が満たされた場合に、本来、ＤＣＴ係数が全てゼロであったところを係数付加部５１により非ゼロに変更することに伴って、変更した係数がノイズとなるため、当該ノイズの発生を抑えるべく、本来のＱＰ値（ＤＣＴ係数を非ゼロに変更する前のＱＰ値）以下のＱＰ値を生成してＱＰ値の変更を行なうものである。

以下、上述のごとく構成された本実施形態のＨ．２６４エンコーダの動作について説明する。ただし、以下では、直交変換部１ではＤＣＴによる係数変換を行ない、逆直交変換部４では逆ＤＣＴ変換を行なうことを前提とする。
まず、原画像信号は、予測誤差信号生成部９，イントラ予測方向計算部１３及び動きベクトル計算部７にそれぞれ入力される。予測誤差信号生成部９では、当該原画像信号と、スイッチ１７の出力、即ち、イントラ予測画像生成部１４又は予測画像生成部８により生成された予測画像信号との差分が検出されることにより、予測誤差信号が生成され、当該予測誤差信号について、直交変換部１にて、最大１６×１６画素のブロックサイズのＭＢ単位でＤＣＴが施された後（直交変換過程）、量子化部２にて、そのＤＣＴ係数が量子化パラメータ（ＱＰ）を用いて量子化される（量子化過程）。

そして、その量子化結果は、変換係数／ＱＰ制御部２０Ａの判定部５０に入力され、当該変換係数／ＱＰ制御部２０Ａにて、ＭＢの予測モードが１６×１６画素のブロックサイズによるイントラ予測モード（Intra_16x16）でなく、かつ、ＤＣＴ係数が全てゼロ（ＣＢＰがゼロ）であるか否かが判定される。その結果、当該判定条件を満たさなければ、判定部５０によりスイッチ部５３がＢ側（図２参照）に切り替えられて、量子化部２による量子化結果がそのまま係数エントロピー符号化部１０及び逆量子化部３へ出力される。

係数エントロピー符号化部１０では、前記量子化結果についてハフマン符号化や算術符号化等のエントロピー符号化が施され（符号化過程）、その符号化結果が多重化部１２にて、動きベクトル計算部７により計算された動きベクトルをベクトルエントロピー符号化部１１でエントロピー符号化した結果と多重化されて出力される。
一方、逆量子化部３では、前記量子化結果を逆量子化して量子化部２による量子化前の信号を再生し、これが逆直交変換部４にて逆ＤＣＴされることにより、直交変換部１によるＤＣＴ前の前記予測誤差信号が再生される（復号画像生成過程）。そして、当該再生予測誤差信号と、スイッチ１７の出力、即ち、予測画像生成部８又はイントラ予測画像生成部１４により生成された画像信号とが、復号画像生成部（加算器）５にて加算（合成）されることにより、原画像信号が再生され、これが予測符号化のための画像信号として、イントラ予測方向計算部１３，イントラ予測画像生成部１４，デブロッキングフィルタ１５，復号画像記憶部６にそれぞれ入力される。

イントラ予測方向計算部１３では、予測誤差信号生成部９への入力信号である原画像信号と、復号画像生成部５にて再生（復号）された復号画像信号とに基づいて、イントラ予測（フレーム内予測）方向が計算（決定）され、その結果に応じた方向へのイントラ予測がイントラ予測画像生成部１４にて前記再生原画像信号について行なわれてイントラ予測画像信号が生成される。

また、デブロッキングフィルタ１５では、前記復号画像信号について、従来の動画像符号化アルゴリズムで課題となっていたブロックノイズ（歪）を軽減する目的で、現ＭＢについての前記変換係数に非ゼロの有効係数が存在する場合に、ブロック境界にローパスフィルタによるフィルタリング処理を有効係数が存在した最後のＭＢについてのＱＰに応じたフィルタリング強度で施す（フィルタリング過程）。これにより、前述したごとく、ブロックノイズの除去された画像信号を下記の動き補償予測の参照画像信号として用いることが可能となり、動き補償予測による予測誤差からブロックノイズの影響を除去して、符号化効率を向上することが可能となる。

さらに、予測画像生成部８では、復号画像記憶部６に記憶された復号画像信号（参照画像信号）と、動きベクトル計算部７で計算された動きベクトルとに基づいて、動き補償予測（フレーム間予測）を行ない、（フレーム間）予測画像信号を生成する。
なお、このフレーム間予測画像信号と前記イントラ予測画像信号のいずれかが、コスト比較部１６でのコスト比較結果に応じたスイッチ１７の切り替え、つまり、イントラ予測モードとインター予測モードとの切り替えにより、予測誤差信号生成部９での差分検出に用いる予測画像信号として選択的に出力される。

以上が判定部５０での前記判定条件〔ＭＢの予測モードが１６×１６画素のブロックサイズによるイントラ予測モード（Intra_16x16）でなく、かつ、ＤＣＴ係数が全てゼロ（ＣＢＰがゼロ）〕を満たさない場合の動作であるが、当該判定条件を満たした場合、判定部５０は、図２に示すスイッチ部５３をＡ側に切り替えることになる。
これにより、量子化部２による量子化結果は、係数付加部５１に入力され、係数付加部５１は、例えば図３に模式的に示すように、全てゼロであるＤＣＴ係数列の少なくともいずれかを非ゼロにすべく所定の係数ａ（ａ≠０）を付加する〔図３の（１），（２）参照：制御過程〕。より詳細には、例えば、色差ＣｂのＤＣ成分を１にする。

一方、ＱＰ生成部５２では、上述のごとく色差ＣｂのＤＣ成分を１にしたことによって、ＣＢＰがゼロから非ゼロ（例えば、１６）になるため、当該ＤＣＴ係数変更によるノイズを抑制する（理想的にはゼロにする）ために、次表１に示す色差の量子化行列ＤＣ成分の値（ChromaScalingListDC）から色差の量子化パラメータ値（qpc）をテーブル引きする。なお、次表１は、係数を１（非ゼロ）にしても逆ＤＣＴ結果が０になる量子化パラメータ値（qpc）の範囲を示している。

そして、求められた量子化パラメータ値（qpc）から、次表２によって、当該量子化パラメータ値（qpc）に対応する輝度の量子化パラメータ値（qp1）をさらにテーブル引きし、当該輝度の量子化パラメータ値（qp1）と前ＭＢについての量子化パラメータ値（qpA）とを比較してより小さい方（同じ値の場合は当然どちらを選択してもよい）を符号化するＱＰ値とする。これにより、図３の（３），（４）に示すように、逆直交変換部４による逆ＤＣＴ結果は、前記係数付加を行なった場合と行なわない場合とで同じ結果（全ＤＣＴ係数列がゼロ）となる。

以降の動作は前記判定条件を満たさない場合と同様であるが、デブロッキングフィルタ１５では、上述のようにして最終的に求められたＱＰ値を用いて強度を決定することになる。

以上のように、本実施形態によれば、ＭＢの変換係数（ＤＣＴ係数）を量子化した結果が全てゼロであった場合にでも、いずれかの変換係数を非ゼロに変更することにより、現ＭＢのＱＰを符号化し、現ＭＢのデブロッキングフィルタ１５のフィルタリング強度を制御することができるので、現ＭＢのＣＢＰがゼロであった場合、そのＭＢのデブロッキングフィルタ１５のフィルタリング強度が他のＭＢ（前ＭＢ）のＱＰ値だけで決定されてしまうことを防ぐことができる。

したがって、デブロッキングフィルタ１５のフィルタリング強度を常に適切に制御することができ、ブロックノイズの除去性能が従来よりも向上し、符号化効率をより向上することが可能となる。
また、図９により前述した並列処理を行なう場合であっても、常に現ＭＢのＱＰを符号化することができるので、ほとんど情報量、画質を損なうことなく、複数符号化器で並列に符号化を行なう場合の、デブロッキングフィルタ１５のフィルタリング強度の符号化器と復号化器との間のミスマッチを回避することが可能となる。

〔Ｂ〕第２実施形態の説明
図４は本発明の第２実施形態に係る動画像符号化装置としてのＨ．２６４エンコーダの要部構成を示すブロック図で、この図４に示すエンコーダは、図１により前述した第１実施形態のエンコーダに比して、変換係数／ＱＰ制御部２０Ａに代えて、ＣＢＰ制御部２０Ｂをそなえて構成されている点が異なる。なお、他の既述の符号を付した構成要素は、特に断らない限り、既述の構成要素と同一若しくは同様のものである。

ここで、ＣＢＰ制御部２０Ｂは、ＭＢを更に分割した小ブロックのいずれかに非ゼロの変換係数が存在するかを表すＣＢＰ符号がゼロの場合（非ゼロの変換係数が存在しないことを示す場合）に、ＣＢＰを非ゼロの変換係数が存在することを示すように制御（変更）するためのもので、そのために、本例では、例えば図５に示すように、ＣＢＰ計算部５４，判定部５５，ＣＢＰ非ゼロ値変更部５６及びスイッチ部５７をそなえて構成される。

ここで、ＣＢＰ計算部５４は、量子化部２による量子化結果からＣＢＰ符号を計算するものであり、判定部５５は、ＭＢの予測モードが１６×１６画素のブロックサイズによるイントラ予測モード（Intra_16x16）でなく、かつ、ＣＢＰ計算部５４により計算された或るＭＢのＣＢＰ符号がゼロであるかを判定するもので、当該判定条件が満たされると、スイッチ部５７をＣＢＰ非ゼロ値変更部５６側（Ａ側）へ切り替え、当該判定条件が満たされない場合には、スイッチ部５７を逆側（Ｂ側）へ切り替えるようになっている。これにより、前記判定条件が満たされる場合には、ＣＢＰ非ゼロ値変更部５６の出力が係数エントロピー符号化部１０及び逆量子化部３へそれぞれ出力され、前記判定条件が満たされない場合には、ＣＢＰ計算部５４により計算されたＣＢＰ符号がそのまま係数エントロピー符号化部１０及び逆量子化部３へそれぞれ出力されることになる。

そして、ＣＢＰ非ゼロ値変更部５６は、ＣＢＰ計算部５４により計算されたＣＢＰ符号を非ゼロに変更するものである（ただし、ＤＣＴ係数は全てゼロのままである）。
上述のごとく構成された本実施形態のエンコーダでは、量子化部２による量子化結果を基にＣＢＰ制御部２０ＢのＣＢＰ計算部５４にて現ＭＢのＣＢＰ符号が計算され、その結果が、１６×１６画素のブロックサイズによるイントラ予測モード（Intra_16x16）でない場合で、ゼロであるか否かが判定部５５にて判定される。

その結果、当該判定条件を満たした場合には、判定部５５によりスイッチ部５７がＡ側に切り替えられ、ＣＢＰ非ゼロ値変更部５６により、例えば図６に模式的に示すごとく、ＤＣＴ係数は全てゼロのままでＣＢＰ符号を非ゼロ値（図６では第１行第１列の値を１）に変更する。
このように、ＣＢＰ符号が非ゼロの変換係数（ＤＣＴ係数）が存在しないことを示す場合にでも、当該ＣＢＰ符号を非ゼロの変換係数が存在することを示すように（強制的に）変更することにより、現ＭＢのＱＰの符号化を可能とし、現ＭＢのデブロッキングフィルタ１５の強度を制御することが可能となる。

したがって、第１実施形態と同様に、現ＭＢのＣＢＰがゼロであった場合でも、そのＭＢのデブロッキングフィルタ１５のフィルタリング強度が他のＭＢ（前ＭＢ）のＱＰ値だけで決定されてしまうことを防いで、デブロッキングフィルタ１５のフィルタリング強度を常に適切に制御することができ、その結果、ブロックノイズの除去性能が従来よりも向上し、符号化効率をより向上することが可能となる。

また、本例においても、図９により前述した並列処理を行なう場合であっても、常に現ＭＢのＱＰを符号化することができるので、ほとんど情報量、画質を損なうことなく、複数符号化器で並列に符号化を行なう場合の、デブロッキングフィルタ１５のフィルタリング強度の符号化器と復号化器との間のミスマッチを回避することが可能となる。
なお、本発明は、上述した実施形態に限定されず、本発明の趣旨を逸脱しない範囲で種々変形して実施できることはいうまでもない。

以上詳述したように、本発明によれば、基本ブロックの変換係数を量子化した結果が全てゼロであった場合でも、いずれかの変換係数を非ゼロに制御することにより、現基本ブロックの量子化パラメータの符号化を可能とし、現基本ブロックのフィルタ手段のフィルタリング強度を制御することができるので、フィルタ手段のフィルタリング強度を常に適切に制御することができ、ブロックノイズの除去性能が従来よりも向上し、符号化効率をより向上することが可能となる。したがって、動画像の符号化技術を用いる技術分野において極めて有用と考えられる。

本発明の第１実施形態に係る動画像符号化装置としてのＨ．２６４エンコーダの要部構成を示すブロック図である。 図１に示す変換係数／ＱＰ制御部の構成例を示すブロック図である。 図１及び図２に示す変換係数／ＱＰ制御部の動作を説明するための模式図である。 本発明の第２実施形態に係る動画像符号化装置としてのＨ．２６４エンコーダの要部構成を示すブロック図である。 図４に示すＣＢＰ制御部の構成例を示すブロック図である。 図４及び図５に示すＣＢＰ制御部の動作を説明するための模式図である。 Ｈ．２６４符号化方式を採用する従来の動画像符号化装置（Ｈ．２６４エンコーダ）の要部構成を示すブロック図である。 図７に示すＨ．２６４エンコーダの課題を説明するための図である。 図７に示すＨ．２６４エンコーダの課題を説明するための図である。

符号の説明

１ 直交変換部
２ 量子化部
３ 逆量子化部
４ 逆直交変換部
５ 復号画像生成部（加算器）
６ 復号画像記憶部（フレームメモリ）
７ 動きベクトル計算部
８ 予測画像生成部
９ 予測誤差信号生成部
１０ 係数エントロピー符号化部
１１ ベクトルエントロピー符号化部
１２ 多重化部
１３ イントラ予測方向計算部
１４ イントラ予測画像生成部
１５ デブロッキングフィルタ（ループフィルタ）
１６ コスト比較部
１７ イントラ／インター（フレーム内／フレーム間）切り替えスイッチ
２０Ａ 変換係数／ＱＰ制御部
２０Ｂ ＣＢＰ制御部
５０，５５ 判定部
５１ 係数付加部
５２ ＱＰ生成部
５３，５７ スイッチ部
５４ ＣＢＰ計算部
５６ ＣＢＰ非ゼロ値変更部

Claims (10)

1. 入力画像信号の１画面を複数の画素からなる基本ブロックに分割し、各基本ブロック単位で直交変換を行なう直交変換手段と、
   該直交変換手段による直交変換後の各変換係数を量子化パラメータで量子化する量子化手段と、
   前記変換係数が非ゼロの場合に前記量子化パラメータを符号化する符号化手段と、
   該量子化手段の量子化結果を逆量子化し逆直交変換して動き補償予測のための参照画像信号を生成する復号画像生成手段と、
   該復号画像生成手段により得られた前記参照画像信号について、前記基本ブロックについて非ゼロの有効変換係数が存在する場合に前記量子化パラメータに応じたフィルタリング強度でフィルタリングを行なうフィルタ手段と、
   該直交変換手段により得られた変換係数が全てゼロであった場合に、少なくともいずれかの変換係数を非ゼロに制御する制御手段とをそなえて構成されたことを特徴とする、動画像符号化装置。
2. 該制御手段が、
   該符号化手段で符号化する量子化パラメータを該量子化手段で用いた量子化パラメータ以下の値に制御するように構成されたことを特徴とする、請求項１記載の動画像符号化装置。
3. 該制御手段が、
   該符号化手段で符号化する量子化パラメータの範囲を、前記非ゼロに制御した変換係数を逆直交変換した結果が全てゼロになる範囲とすることを特徴とする、請求項１記載の動画像符号化装置。
4. 該制御手段が、
   色差の直流成分を非ゼロに制御して前記変換係数を非ゼロに制御することを特徴とする、請求項１記載の動画像符号化装置。
5. 入力画像信号の１画面を複数の画素からなる基本ブロックに分割し、各基本ブロック単位で直交変換を行なう直交変換手段と、
   該直交変換手段による直交変換後の各変換係数を量子化パラメータで量子化する量子化手段と、
   前記基本ブロックを更に分割した小ブロックのいずれかに非ゼロの変換係数が存在するかを表す符号ブロックパターン（ＣＢＰ）符号を符号化する符号化手段と、
   前記ＣＢＰ符号が非ゼロの変換係数が存在することを示す場合に前記量子化パラメータを符号化する符号化手段と、
   該量子化手段の量子化結果を逆量子化し逆直交変換して動き補償予測のための参照画像信号を生成する復号画像生成手段と、
   該復号画像生成手段により得られた前記参照画像信号について、前記基本ブロックについて非ゼロの有効変換係数が存在する場合に前記量子化パラメータに応じたフィルタリング強度でフィルタリングを行なうフィルタ手段と、
   前記ＣＢＰ符号が非ゼロの変換係数が存在しないことを示す場合に、前記ＣＢＰ符号を非ゼロの変換係数が存在することを示す符号に制御する制御手段とをそなえて構成されたことを特徴とする、動画像符号化装置。
6. 入力画像信号の１画面を複数の画素からなる基本ブロックに分割し、各基本ブロック単位で直交変換を行なう直交変換過程と、
   直交変換後の各変換係数を量子化パラメータで量子化する量子化過程と、
   前記変換係数が非ゼロの場合に前記量子化パラメータを符号化する符号化過程と、
   前記量子化結果を逆量子化し逆直交変換して動き補償予測のための参照画像信号を生成する復号画像生成過程と、
   該復号画像生成過程により得られた前記参照画像信号について、前記基本ブロックについて非ゼロの有効変換係数が存在する場合に前記量子化パラメータに応じたフィルタリング強度でフィルタリングを行なうフィルタリング過程と、
   前記直交変換過程により得られた変換係数が全てゼロであった場合に、少なくともいずれかの変換係数を非ゼロに制御する制御過程とを有することを特徴とする、動画像符号化方法。
7. 該制御過程が、
   該符号化過程で符号化する量子化パラメータを該量子化過程で用いた量子化パラメータ以下の値に制御する過程を含むことを特徴とする、請求項６記載の動画像符号化方法。
8. 該制御過程において、
   該符号化過程で符号化する量子化パラメータの範囲を、前記非ゼロに制御した変換係数を逆直交変換した結果が全てゼロになる範囲とすることを特徴とする、請求項６記載の動画像符号化方法。
9. 該制御過程が、
   色差の直流成分を非ゼロに制御して前記変換係数を非ゼロに制御する過程を含むことを特徴とする、請求項６記載の動画像符号化方法。
10. 入力画像信号の１画面を複数の画素からなる基本ブロックに分割し、各基本ブロック単位で直交変換を行なう直交変換過程と、
    該直交変換過程による直交変換後の各変換係数を量子化パラメータで量子化する量子化過程と、
    前記基本ブロックを更に分割した小ブロックのいずれかに非ゼロの変換係数が存在するかを表す符号ブロックパターン（ＣＢＰ）符号を符号化する符号化過程と、
    前記ＣＢＰ符号が非ゼロの変換係数が存在することを示す場合に前記量子化パラメータを符号化する符号化過程と、
    該量子化過程の量子化結果を逆量子化し逆直交変換して動き補償予測のための参照画像信号を生成する復号画像生成過程と、
    該復号画像生成過程により得られた前記参照画像信号について、前記基本ブロックについて非ゼロの有効変換係数が存在する場合に前記量子化パラメータに応じたフィルタリング強度でフィルタリングを行なうフィルタリング過程と、
    前記ＣＢＰ符号が非ゼロの変換係数が存在しないことを示す場合に、前記ＣＢＰ符号を非ゼロの変換係数が存在することを示す符号に制御する制御過程とを有することを特徴とする、動画像符号化方法。

Images