JP2007208543A

JP2007208543A - 動画像符号化装置

Info

Publication number: JP2007208543A
Application number: JP2006023733A
Authority: JP
Inventors: Takeo Tsubooka; 健男坪岡
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 2006-01-31
Filing date: 2006-01-31
Publication date: 2007-08-16

Abstract

【課題】画面内予測モードの絞り込み判定結果を伝送する情報量を削減する。
【解決手段】画面内予測モード絞り込みフラグ生成・送信部１１１は絞り込まれた画面内予測モードの情報を複数の画面内予測対象ブロックごとにまとめ、そのまとめた情報が前の複数の画面内予測対象ブロックと異なる場合には「絞り込み情報あり」のフラグを付加して出力し、同一の場合に「絞り込み情報なし」のフラグのみを出力し、画面内予測画像信号算出部１０３は前の複数の画面内予測対象ブロックの絞り込み画面内予測モード情報を記憶し、「絞り込み情報あり」のフラグと絞り込み画面内予測モード情報が出力された場合にその絞り込み画面内予測モード情報の各モードについて画面内予測画像信号を生成し、「絞り込み情報なし」のフラグが出力された場合に、記憶した前の複数の画面内予測対象ブロックの絞り込み画面内予測モード情報の各モードについて画面内予測画像信号を生成する。
【選択図】図１

Description

本発明は、動画像のディジタル圧縮符号化、特に複数の画面内予測モードに対して最も符号化効率のよい符号化を選択して圧縮符号化を行う動画像符号化装置に関する。

Ｈ．２６４／ＭＰＥＧ−４ＡＶＣ符号化方式では、画面間のみならず、画面内についても圧縮率を向上させるために、ブロック間の画素相関を利用して画面内予測符号化を行っている（例えば下記の特許文献１参照）。
特開２００４−３０４７２４号公報（図３、図４、図５）

しかしながら、画面内予測符号化では、すべての予測方向（予測モード）に対して予測画像信号を生成して現画像信号と予測画像信号との差分信号を算出し、差分信号から誤差評価値を求めて最適な予測モードを求めるので、演算量が多いという問題点がある。そこで、複数の画面内予測モードの中から最も符号化効率の良いものを選び出す際に、図９に示すように、画面内予測モード絞り込み部１０１により、画素パターンに応じた画面内予測モードの絞り込みを行って、画面内予測画像信号算出部１０３がすべての画面内予測モードについて画面内予測画像信号を算出することなく、絞り込んだいくつかのモードのみについて算出を行い、画面内予測モード決定部１０４がそれぞれの予測結果を評価して最も符号化効率の良いものを選び出すことにより、画面内符号化で選択されない画面内予測モードの演算を行う無駄を削減する方法が考えられる。

しかしながら、画面内予測モード絞り込み部１０１により画面内予測モードの絞り込みを行っても、画面内予測の処理単位は水平方向×垂直方向の矩形の領域１６×１６画素、８×８画素、４×４画素（輝度成分）、８×８画素（色差成分）の４パターンあり、それぞれについて画面内予測モードを絞り込んで表すことを考えると、例としてそれぞれの組合わせを４通りずつに絞り込む場合、それぞれ２ビットで表せるから、画面サイズが７２０×４８０、色情報がＹＵＶ４：２：０ならば
２×（７２０×４８０）／（１６×１６）
＋２×（７２０×４８０）／（８×８）
＋２×（７２０×４８０）／（４×４）
＋２×（３６０×２４０）／（８×８）
＋２×（３６０×２４０）／（８×８）
＝６２１００ビット必要となる。すなわち、演算量を削減するトレードオフとして、画面内予測画像信号算出部１０３に送る情報量が増加する。特に演算量の多い高能率な符号化方式であるＨ．２５４／ＭＰＥＧ−４ＡＶＣなどにおいては、情報伝送による待ち時間が課題であった。そこで、画面内予測モード絞り込み情報を伝送する際の情報量を抑える方法が重要となる。

そこで本発明は、画面内予測モードを絞り込む場合に、絞り込み判定結果を伝送する情報量を削減することができる動画像符号化装置を提供することを目的とする。

本発明は上記目的を達成するために、画面内予測の対象となる画像ブロックの原画像信号に対して、あらかじめ設定されているＮ（＞１）個の画面内予測モードの各々について、画面内予測対象ブロックを画面内予測した際の各誤差を表す誤差評価値を算出し、前記誤差評価値に基づいて前記Ｎ個の画面内予測モードをＭ（＜Ｎ）個の画面内予測モードに絞り込む画面内予測モード絞り込み手段と、
前記画面内予測モード絞り込み手段により絞り込まれた画面内予測モードの情報を複数の画面内予測対象ブロックごとにまとめ、そのまとめた情報が前の複数の画面内予測対象ブロックと異なる場合には「絞り込み情報あり」のフラグを付加して出力し、同一の場合に「絞り込み情報なし」のフラグのみを出力する絞り込み画面内予測モード情報出力手段と、
前記前の複数の画面内予測対象ブロックの絞り込み画面内予測モード情報を記憶し、前記画面内予測モード情報出力手段から「絞り込み情報あり」のフラグと絞り込み画面内予測モード情報が出力された場合にその絞り込み画面内予測モード情報の各モードについて画面内予測画像信号を生成し、「絞り込み情報なし」のフラグが出力された場合に前記記憶した前の複数の画面内予測対象ブロックの絞り込み画面内予測モード情報の各モードについて画面内予測画像信号を生成する画面内予測画像信号生成手段とを、
備えたことを特徴とする。

本発明の動画像符号化装置によれば、画面内予測符号化において、画面内予測符号化部に伝送する画面内予測モード絞り込み結果の情報量を押さえ、また、絞り込み対象とならなかった画面内予測モードの演算についてはこれを省くことにより、システム全体の処理時間を稼ぎ、高画質化や高圧縮化といった他の演算量の多い処理に費やせるという効果を得ることができる。

以下、図面を参照して本発明の実施の形態について説明する。図１は本発明に係る動画像符号化装置の一実施の形態を示すブロック図であり、図９と同一要素には同一の参照番号を付している。

本実施の形態の動画像符号化装置は、図１に示すように画面内予測モード絞り込み部１０１と、画像メモリ１０２と、画面内予測画像信号算出部１０３と、画面内予測モード決定部１０４と、直交変換量子化部１０５と、逆量子化逆直交変換部１０６と、エントロピー符号化部１０７と、画面内予測モード絞り込みフラグ生成・送信部１１１と、メモリ１１２と、画面内予測モード絞り込みフラグ受信・判定部１１３と、メモリ１１４と、差分器１２０と、加算器１２２とから構成されている。

画面内予測モード絞り込み部１０１は、画面内予測の対象となる画像ブロックの原画像信号に対して、Ｎ（＞１）個のすべての画面内予測モードについて原画誤差評価値を求めて任意のＭ（＜Ｎ）個の画面内予測モードに絞り込み、絞り込んだ画面内予測モードの情報を画面内予測モード絞り込みフラグ生成・送信部１１１に出力する。ここで、図２、図３を用いて原画誤差評価値について説明する。画面内予測対象ブロック内の画素を図２（Ａ）に示すように４×４の画素ａ〜ｐとし、隣接ブロックの隣接画素を図３（Ｂ）、（Ｃ）に示すようにＡ〜Ｈとして、予測モード０では図３（Ｂ）に示すように画素ａ〜ｐを上の画素Ａ、Ｂ、Ｃ、Ｄから予測し、予測モード１では図３（Ｃ）に示すように画素ａ〜ｐを左の画素Ｅ、Ｆ、Ｇ、Ｈから予測する。この場合の原画誤差評価値の例は以下のようになる。

モード０の原画誤差評価値
＝｜ａ−ｅ｜
＋｜ｉ−ｍ｜
＋｜ｂ−ｆ｜
＋｜ｊ−ｎ｜
＋｜ｃ−ｇ｜
＋｜ｋ−ｏ｜
＋｜ｄ−ｈ｜
＋｜ｌ−ｐ｜ …（１）
モード１の原画誤差評価値
＝｜ａ−ｂ｜
＋｜ｃ−ｄ｜
＋｜ｅ−ｆ｜
＋｜ｇ−ｈ｜
＋｜ｉ−ｊ｜
＋｜ｋ−ｌ｜
＋｜ｍ−ｎ｜
＋｜ｏ−ｐ｜ …（２）

このように、原画誤差評価値は、あらかじめ設定されている全部でＮ（＞１）個ある各画面内予測モードについて、画面内予測対象ブロックを予測した際の各誤差を予測した値であり、各予測モードに従って、画面内予測対象ブロックに隣接するブロックの複数の隣接画素のうち、同一の隣接画素が入る、画面内予測対象ブロックの画素位置の原画像信号における画素の差分絶対値として算出される。この差分絶対値が小さいほど原画像信号の相違が小さいことを意味し、予測画素値は同一なので、原画像信号の相違が小さいほど差分信号の相違も小さくなる。差分信号の相違が小さくなることは、直交変換後の高域成分が少なくなることを意味する。すなわち、原画像の誤差評価値が大きい予測モードを候補から除外しても予測効率は低下しない。

例えば画面内予測対象ブロック内の４×４画素ａ〜ｐが図３（Ａ）に示す各値であり、モード０における隣接ブロックの隣接画素Ａ〜Ｄが図３（Ｂ）に示す各値であり、モード１における隣接ブロックの隣接画素Ｅ〜Ｈが図３（Ｃ）に示す各値である場合、隣接画素との差分信号は、モード０の場合は図３（Ｄ）に示され、モード１の場合は図３（Ｅ）に示される。したがって、図３（Ｄ）及び（Ｅ）から差分信号はモード０の方が差分信号の相違が小さいことが分かる。

一方、原画誤差評価値は、モード０の場合は（１）式に図３（Ａ）に示す画素の値を代入することにより「５」となり、モード１の場合は（２）式から「７３」となる。したがって、原画誤差評価値の小さいモード０の方が、相違の小さい差分信号が得られることが分かる。なお、ここでは、差分絶対値を用いた誤差評価値の例を示したが、誤差評価値は原画像信号のみから算出できる値であればどのような値でもよい。さらに別の効果として、誤差評価値は、予測モードに対応した予測画像信号を必要とせず原画像信号のみから算出できるため、画面内予測対象ブロック単位で処理を行う必要がなく、ＭＢ（マクロブロック）単位やピクチャ単位でも処理を行うことができる。そのため、他の符号化処理との並列処理が可能となり、並列処理することにより高速化ができる。このようにして、各画面内予測モードの誤差評価値のうち、値の小さな画面内予測モードをＭ（＜Ｎ）個に絞り込む。

次に、画面内予測モード絞り込み部１０１の画面内予測モード絞り込み情報の例を説明する。図５に示すように符号化の対照とする画面を複数の画素で構成される任意の大きさのブロックに分ける。図５では画素ａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈ、ｉ、ｊ、ｋ、１、ｍ、ｎ、ｏ、ｐの４×４＝１６画素の構成によるブロックとしている。このブロックに対して画面内予測モードの絞り込みを行う。上記演算によって、画面内予測モードの候補が、図４に示すようにＮ個の画面内予測モードからＭ個に決定され、候補として採り得る画面内予測モードの組合わせがｒ通りであるとき、ｒ≦２^Sであるようなｓビットの値で絞り込んだ画面内予測モードの組合わせを表すことができる。このようなｓビットの値を任意のＰブロック数分まとめ、これを画面内予測モード絞り込み情報の伝送フォーマットとする。上記の手順をフローチャートに示したものが図６の点線（１）の部分である。図６に示すように、対象とするブロック単位に画面内予測モード絞り込みを行い、任意のＰブロック数分の結果をまとめている（ステップＳ１〜Ｓ６）。

図１に戻って説明するに、画面内予測モード絞り込みフラグ生成・送信部１１１は、画面内予測モード絞り込み部１０１の出力する最新の画面内予測モード絞り込み情報と、メモリ１１２に記憶された前の画面内予測モード絞り込み情報とを比較し、両者が同一の場合には「画面内予測モード絞り込み情報なし」を示すフラグを、逆に同一でない場合には「画面内予測モード絞り込み情報あり」を示すフラグと共に画面内予測モード絞り込み情報を画面内予測モード絞り込みフラグ受信・判定部１１３に出力する。画面内予測モード絞り込み情報を新たに出力した場合にはメモリ１１２の内容を書換え更新する。

画面内予測モード絞り込みフラグ生成・送信部１１１の動作について図５、図６を用いて説明する。画面内予測モード絞り込みフラグ生成・送信部１１１は、図６の点線部（２）に示すように、画面内予測モード絞り込み部１０１の画面内予測モード絞り込み情報と、メモリ１１２の画面内予測モード絞り込み情報とを比較し（ステップＳ７）、一致した場合には図５に示すように画面内予測モード絞り込み情報の有無を表すフラグを「絞り込み情報なし」にしてこれを出力する（ステップＳ８）。これは画面内予測モード絞り込み情報を出力しないことを意味する。逆に一致しなかった場合にはフラグを「絞り込み情報あり」として、続けて画面内予測モード絞り込み情報を出力する（ステップＳ９、Ｓ１０）。

これら画面内予測モード絞り込みフラグ生成・送信部１１１の出力する画面内予測モード絞り込みに関するデータの大きさは、図５に示す通り、「画面内予測モード絞り込み情報なし」の場合で１ビット、「情報あり」の場合で１ビット＋ｓビット×Ｐブロックとなる。例としてまとめるブロック数を１５ブロック、それぞれの予測モード絞り込み情報の大きさを２ビットとすると
１ビット（画面内予測モード絞り込み情報なしの場合）
又は
１＋２×１５＝３１ビット（画面内予測モード絞り込み情報ありの場合）
となる。

図７は、画面内予測モード絞り込みフラグ受信・判定部１１３の動作を示すフロー図である。画面内予測モード絞り込みフラグ受信・判定部１１３は、画面内予測モード絞り込みフラグ生成・送信部１１１の出力したフラグについて、画面内予測モード絞り込み情報の有無を判定し（ステップＳ１１、Ｓ１２）、「なし」と判定した場合にはメモリ１１４に記憶された画面内予測モード絞り込み情報を（ステップＳ１３）、「あり」と判定した場合には今回受信した画面内予測モード絞り込み情報を画面内予測画像信号算出部１０３に出力する（ステップＳ１４）。新たな絞り込み情報を使用した場合にはメモリ１１４の内容を書き換え更新する（ステップＳ１５）。

図１に戻って説明するに、画像メモリ１０２は、既に符号化が終了しているブロックの復号画像を記憶している。画面内予測画像信号算出部１０３は、画面内予測モード絞り込みフラグ受信・判定部１１３の出力する画面内予測モード絞り込み情報に基づき、Ｎ個からＭ（＜Ｎ）個に絞り込まれた画面内予測モードそれぞれに対して画面内予測画像信号を算出し、算出した予測画像信号を差分器１２０に出力する。ここで、画面内予測画像信号算出部１０３では、画面内予測モードの数がＮ個からＭ（＜Ｎ）個に絞り込まれているので、Ｍ個の絞り込まれた画面内予測モードにそれぞれに対して画面内予測画像信号を算出する。このため、画面内予測画像信号を算出する回数が、Ｎ回からＭ（＜Ｎ）回に減少されるため、演算量が削減される。

差分器１２０は原画像信号及びこの予測画像信号の差分信号を画面内予測モード決定部１０４に供給する。画面内予測モード決定部１０４は、原画像信号と画面内予測画像信号算出部１０３で算出した予測画像信号の差分信号に対して誤差評価値を算出し、誤差評価値の最も小さいモードを絞り込み画面内予測モードに決定し、決定した画面内予測モード情報をエントロピー符号化部１０７に供給するとともに、決定した画面内予測モードに対応する差分信号を直交変換量子化部１０５に供給する。ここでも、原画像信号と予測画像信号との差分信号に対して誤差評価値を算出する回数が、Ｎ回からＭ（＜Ｎ）回に減少されるため、演算量が削減される。

直交変換量子化部１０５は、原画像信号と画面内予測モード決定部１０４で決定した画面内予測モードに対応する画面内予測画像信号との差分信号を直交変換量子化し、直交変換量子化された信号を逆量子化逆直交変換部１０６とエントロピー符号化部１０７に供給する。エントロピー符号化部１０７は、直交変換量子化部１０５で直交変換量子化された信号と、画面内予測モード決定部１０４で決定した画面内予測モード情報をエントロピー符号化し、外部に符号データとして出力する。逆量子化逆直交変換部１０６は、直交変換量子化部１０５で直交変換量子化された信号を逆量子化逆直交変換する。逆量子化逆直交変換された信号は加算器１２２により、画面内予測画像信号算出部１０３により算出され、画面内予測モード決定部１０４により決定された画面内予測モードに対応する画面内予測画像信号に加算され、復号画像として画像メモリ１０２に記憶される。

ここで、例えば複数個のマイクロプロセッサやプログラマブルロジックアレーといったデバイスによって本発明の構成を実施する場合、例えば図８の機能ブロック１０１’と機能ブロック１０３’のように画面内予測モード絞り込み部１０１、画面内予測モード絞り込みフラグ生成・送信部１１１、メモリ１１２と、画面内予測モード絞り込みフラグ受信・判定部１１３、画面内予測画像信号算出部１０３、メモリ１１４とを別のデバイスで構成する方法が考えられる。このとき、機能ブロック１０１’と機能ブロック１０３’間のデータの送受信は信号線１１５を介して行われるが、本実施の形態においては画面内予測モード絞り込み情報が同じ値で連続する場合に伝送するデータ量を抑えることができる。以上により、画面内予測符号化において画面内予測モード絞り込みを行う場合において、画面内予測モード絞り込みの結果が同じ値で連続する場合、伝送する情報量を抑えることができ、結果、他の処理の処理時間を稼ぐことができる。

本発明に係る動画像符号化装置の一実施の形態を示すブロック図である。図１の画面内予測モード絞り込み部の処理を示す説明図である。図１の画面内予測モード絞り込み部の処理を示す説明図である。画面内予測モード絞り込み情報を示す説明図である。画面内予測モード絞り込み情報の伝送フォーマットを示す説明図である。図１の画面内予測モード絞り込み部と画面内予測モード絞り込みフラグ生成・送信部の処理を説明するためのフローチャートである。画面内予測モード絞り込みフラグ受信・判定部の処理を説明するためのフローチャートである。図１の動画像符号化装置の変形例を示すブロック図である。本発明が解決しようとする課題を示すブロック図である。

符号の説明

１０１画面内予測モード絞り込み部
１０２画像メモリ
１０３画面内予測画像信号算出部
１０４画面内予測モード決定部
１０５直交変換量子化部
１０６逆量子化逆直交変換部
１０７エントロピー符号化部
１１１画面内予測モード絞り込みフラグ生成・送信部
１１２、１１４メモリ
１１３画面内予測モード絞り込みフラグ受信・判定部
１２０差分器
１２２加算器

Claims

画面内予測の対象となる画像ブロックの原画像信号に対して、あらかじめ設定されているＮ（＞１）個の画面内予測モードの各々について、画面内予測対象ブロックを画面内予測した際の各誤差を表す誤差評価値を算出し、前記誤差評価値に基づいて前記Ｎ個の画面内予測モードをＭ（＜Ｎ）個の画面内予測モードに絞り込む画面内予測モード絞り込み手段と、
前記画面内予測モード絞り込み手段により絞り込まれた画面内予測モードの情報を複数の画面内予測対象ブロックごとにまとめ、そのまとめた情報が前の複数の画面内予測対象ブロックと異なる場合には「絞り込み情報あり」のフラグを付加して出力し、同一の場合に「絞り込み情報なし」のフラグのみを出力する絞り込み画面内予測モード情報出力手段と、
前記前の複数の画面内予測対象ブロックの絞り込み画面内予測モード情報を記憶し、前記画面内予測モード情報出力手段から「絞り込み情報あり」のフラグと絞り込み画面内予測モード情報が出力された場合にその絞り込み画面内予測モード情報の各モードについて画面内予測画像信号を生成し、「絞り込み情報なし」のフラグが出力された場合に前記記憶した前の複数の画面内予測対象ブロックの絞り込み画面内予測モード情報の各モードについて画面内予測画像信号を生成する画面内予測画像信号生成手段とを、
備えた動画像符号化装置。