JP2010226528A - 符号化装置およびその方法 - Google Patents

Abstract

【課題】 フレーム内予測符号化における局所的な符号化歪を考慮して予測モードを決定する。
【解決手段】 予測部101から104は、予測単位の予測対象画像に隣接する、フレームバッファ10が記憶する予測単位の画像を参照して、複数の予測モードそれぞれに対する予測対象画像の符号長、符号化歪量および予測単位の境界に生じる符号化歪の境界歪量を計算する。評価値算出部105は、符号長、符号化歪量および境界歪量に基づき、予測モードそれぞれに対する評価値を計算する。予測モード選択部106は、予測モードそれぞれに対する評価値に基づき、予測対象画像の予測モードを選択する。
【選択図】 図4

Description

本発明は、フレーム内予測を行う動画像の符号化に関する。

近年のディジタル信号処理技術の飛躍的な進歩により、従来困難であった記憶メディアへの動画像の記録や、伝送路を介した動画像の伝送が容易になった。このような記録や伝送を行う場合、動画像を構成するそれぞれのピクチャに圧縮符号化処理を施して、符号化ストリームのデータ量を大幅に削減する。JVT (Joint Video Team)は、動画像の圧縮符号化方式としてH.264/AVCを策定している。

H.264は、ピクチャを連続する、分割単位である複数のマクロブロック(MB)で区切ったスライスが符号化の基本単位である。一つのピクチャは、P (predictive)スライス、B (bi-predictive)スライス、I (intra)スライス、並びに、ストリーム切替用の特殊なP、IスライスであるSP、SIスライスの少なくとも一つから構成される。各スライスのMBは、イントラ予測を用いた符号化モードがサポートされている。

H.264によれば、輝度情報のイントラ予測には4×4画素と16×16画素の予測単位があり、クロマ情報のイントラ予測には8×8画素の予測単位がある。4×4画素のイントラ予測モードを「イントラ4×4」、16×16画素のイントラ予測モードを「イントラ16×16」、8×8画素のクロマ情報のイントラ予測モードを「イントラクロマ」と呼ぶ。イントラ4×4には九種類の予測モードと対応する九つの予測演算式が、イントラ16×16には四種類の予測モードと対応する四つの予測演算式が、イントラクロマには四種類の予測モードと対応する四つの予測値演算式がそれぞれ規定されている。

H.264には、予測モードの決定方法が規格化されていない。一方、JVTが提供するH.264の基本ソフトウェアであるJM (Joint Model)には、選択方式として、差分絶対値和(SAD: sum of absolute differences)方式とRDO(rate distortion optimization)方式が実装されている。SAD方式は、JMの外部入力パラメータRDOptimization=‘0’のときに使用され、RDO方式は、RDOptimization=‘1’のときに使用される。

SAD方式は、予測モードごとに、予測対象画像の予測値を算出し、予測誤差を算出する。そして、予測モードごとに算出されたSADの中で最小のSADに対応する予測モードによって、予測対象画像を予測符号化する。

一方、RDO方式は、式(1)によって評価値を算出し、予測モードごとに算出された評価値の中で最小の評価値に対応する予測モードによって、予測対象画像で予測符号化する。
J = D + λ(QP)×R …(1)
ここで、Dは符号化歪量、
Rは予測対象画像の符号長、
QPは量子化スケール、
λはQPをパラメータとするラグランジェ乗数。

なお、式(1)において、符号化歪量Dは、予測対象画像を符号化した後にローカルデコードした再構成画像と予測対象画像の差分二乗和として計算する。また、量子化スケールQPが大きくなると（高ビットレートでは）、ラグランジェ乗数λの値もべき乗で大きくなる。

RDO方式とSAD方式を比較すると、符号長Rと符号化歪量Dから最適な予測モードを選択するRDO方式はより高い符号化効率を示す。しかし、式(1)に示すように、符号化歪量Dと符号長Rの演算量が非常に多く、実装コストは非常に高い。一方、演算量が少なく低コストのSAD方式は、処理速度が要求される符号化装置において多く利用される。

JVTの予測モードの選択方式は、高い符号化効率をあげることができる。しかし、局所的な符号化歪を生じる予測モードを選択してしまう問題がある。JVTの予測モードの選択方式によって、プレーンなカラー背景に線や文字が重畳したグラフィック画像や、窓枠など縦線、横線が多い写真画像を符号化すると、低ビットレートにおいて横方向や縦方向に伸びる符号化歪が視覚的に顕著に認識される場合がある。とくに、水平もしくは垂直方向に伸びる符号化歪は偽色として認識され易い。

イントラ予測は、予測単位と、予測単位に隣接する画像ブロック（参照画像）の相関が高いことを利用したフレーム内予測を行う。しかし、参照画像は再構成画像であるため、低ビットレートになるにつれて参照画像の符号化歪は大きくなる。そのため、低ビットレートでは参照画像と予測対象画像の相関が低下し、予測精度が低下する。

グラフィックスや写真画像において、隣接する参照画素間の符号化歪が不均一な参照画素を用いて、水平もしくは垂直方向の予測を施すと、予測方向に対し、一定の予測誤差が発生し易くなる。このような予測誤差は、整数変換により、高い周波数成分を示す。しかし、量子化によって高周波成分が削除されるため、予測方向に対して縞状の符号化歪が発生する要因になる。人間の視覚は、水平もしくは垂直方向の符号化歪に対して敏感であり、水平もしくは垂直方向の縞状の符号化歪は、画質劣化として認識される。

JVTの予測モードの選択方式は、予測単位のSADまたは評価値を算出し、最小のSADまたは評価値に対応する予測モードを選択するため、予測単位内の局所的な符号化歪を検知することができない。

特開2005-086249公報

本発明は、フレーム内予測符号化における局所的な符号化歪を考慮して予測モードを決定することを目的とする。

本発明は、前記の目的を達成する一手段として、以下の構成を備える。

本発明は、フレーム内予測を行う動画像の符号化を行う際に、予測単位に分割され予測符号化された画像をローカルデコードした画像を記憶し、前記予測単位の予測対象画像に隣接する、前記バッファが記憶する前記予測単位の画像を参照して、複数の予測モードそれぞれに対する前記予測対象画像の符号長、符号化歪量および前記予測単位の境界に生じる符号化歪の境界歪量を計算し、前記符号長、前記符号化歪量および前記境界歪量に基づき、前記予測モードそれぞれに対する評価値を計算し、前記予測モードそれぞれに対する評価値に基づき、前記予測対象画像の予測モードを選択することを特徴とする。

本発明によれば、フレーム内予測符号化における局所的な符号化歪を考慮して予測モードを決定することができる。

実施例の動画像符号化装置の基本的な構成例を示すブロック図、 イントラクロマの予測モードを説明する図、 イントラ予測部の構成例を示すブロック図、 予測モード決定部の構成例を示すブロック図である。

以下、本発明にかかる実施例の動画像処理を図面を参照して詳細に説明する。

［装置の構成］
図1は実施例の動画像符号化装置の基本的な構成例を示すブロック図である。

イントラ予測部31は、フレームバッファ10に格納されたローカルデコード画像を参照して、予測単位ごとに、予測対象画像のフレーム内予測を行い、予測対象画像の予測誤差を出力する。なお、参照画像は符号化済みのフレーム画像をローカルデコードした再構成画像である。

インタ予測部32は、ローカルデコードしたフレーム画像33を参照して、フレーム単位に、予測対象画像のフレーム間予測を行い、予測対象画像の予測誤差を出力する。なお、フレーム画像33はフレームバッファに格納されている。

整数変換部34は、予測誤差を入力して整数変換を行い、変換係数を出力する。量子化部(Q)35は、変換係数を量子化する。エントロピ符号化部36は、量子化された変換係数をエントロピ符号化する。バッファ37は、エントロピ符号化部36が出力する符号をバッファして、符号ストリームとして装置外に出力する。

逆量子化部(Q^-1)38は、量子化された変換係数を逆量子化する。逆整数変換部39は、逆量子化された変換係数に逆整数変換を施す。再構成画素算出部40は、イントラ予測部31の予測値またはインタ予測部32の予測値と、逆整数変換によって復元された予測誤差を加算して再構成画素を算出する。再構成画素は、フレームバッファ10に格納され、参照画像として利用される。また、デブロッキングフィルタ41は、ブロックノイズを低減するフィルタである。

［イントラ予測部］
以下では、イントラ予測部31の構成を説明する。なお、説明を簡単にするため、ここではクロマ情報（色差）のイントラ予測部の構成について述べる。

クロマ情報の予測単位は8×8画素の一種類であり、予測モードには平均値(DC)、水平、垂直、プレーンの四種類がある。この四つの予測モードには「0」から「3」まで予測モード番号が規定されている。

図2はイントラクロマの予測モードを説明する図である。

予測モード0の予測値は、左方向と上方向に隣接する参照16画素の平均値である。予測モード1の予測値は、左方向に隣接する参照八画素の画素値である。予測モード2の予測値は、上方向に隣接する参照八画素の画素値である。予測モード3の予測値は、水平、垂直および右上方向に隣接する参照24画素を斜め方向に内挿処理した画素値である。

図3はイントラ予測部31の構成例を示すブロック図である。

予測値算出部301a〜301dはそれぞれ、予測モード1から4の予測演算式を用いて、予測単位ごとに、フレームバッファ10に格納された参照画像から予測値を算出する。減算器305a〜305dはそれぞれ、予測単位ごとに、入力画像から、対応する予測値算出部301a〜301dから入力される予測値を減算した結果の予測誤差を出力する。

予測モード決定部302は、予測単位ごとに、入力画像と参照画像から使用する予測モードを決定する。予測誤差選択部303と予測値選択部304は、予測モード決定部302が決定した予測モード（選択結果）に対応する予測誤差と予測値を選択的に出力する。

［予測モード決定部］
図4は予測モード決定部302の構成例を示すブロック図である。

予測モード0の予測部101の符号長推定部101aは、予測単位ごとに、入力画像とフレームバッファ10の参照画像から予測モード0によって予測符号化した場合の符号長R0を推定する。符号長R0は、予測モードに応じて符号化した符号ストリームから正確に算出してもよいが、符号長R0の算出を簡単にするため、下式に示すように、SADから非線形に符号長R0を推定する。
Rn = LUT[SADn] …(2)
ここで、nは予測モード番号、イントラクロマの場合は0≦n≦3、
LUTはSADをアドレスとして符号長を返すルックアップテーブル。

符号化歪推定部101bは、予測単位ごとに、入力画像とフレームバッファ10の参照画像から予測モード0によって予測符号化した場合の予測単位内の符号化歪量Di0を推定する。符号化歪量Di0は、予測モードに応じて算出される再構成画素と原画素から正確に算出してもよいが、符号化歪量Di0の算出を簡単にするため、下式に示すように、SADを符号化歪量Di0とする。
Din = SADn …(3)
ここで、nは予測モード番号、イントラクロマの場合は0≦n≦3。

境界歪算出部101cは、予測単位ごとに、入力画像とフレームバッファ10の参照画像から予測モード0によって予測符号化した場合の予測単位の境界に生じる符号化歪量（以下、境界歪量）Db0を推定する。境界歪量Db0は、参照画素の符号化歪と予測モードに応じて算出される。従って、再構成画素から境界歪量Db0の傾きを正確に算出してもよい。しかし、境界歪量Db0の算出を簡単にするため、下式に示す演算式で算出する。
Dbn = Dvn + Dhn …(4)
ここで、nは予測モード番号、イントラクロマの場合は0≦n≦3、
Dvは垂直方向の境界歪量、
Dhは水平方向の境界歪量。

垂直方向の境界歪量Dvおよび水平方向の境界歪量Dhは下式によって算出する。
Dv = Σ{Cv×|Dref(x, -1) - DIFF(x, 0)|} …(5)
ここで、Σ演算の範囲はx=0〜7、
Dref(x, -1)は予測単位の上方に位置する参照画素の符号化歪量、
DIFF(x, 0)は予測単位の上方の参照画素に隣接する予測誤差、
Cvは符号化歪量の重み付け係数（本実施例においては1）。
Dh = Σ{Ch×|Dref(-1, y) - DIFF(0, y)|} …(6)
ここで、Σ演算の範囲はy=0〜7、
Dref(-1, y)は予測単位の左方に位置する参照画素の符号化歪量、
DIFF(0, y)は予測単位の左方の参照画素に隣接する予測誤差、
Chは符号化歪量の重み付け係数（本実施例においては1）。

なお、Dref(x, -1)またはDref(-1, y)を示す符号化歪量は、符号化装置内にあって局所復号した復号画素と、符号化装置内で符号化処理が施される前の原画素の差によって求められる。一方、DIFF(x, 0)またはDIFF(0, y)を示す予測誤差は、予測単位の上方境界もしくは左方境界に位置する原画素値と予測値の差分である。

予測モード0の予測部101は、上記のようにして、予測単位ごとに符号長R0、予測単位内の符号化歪量Di0、境界歪量Db0を推測する。同様に、予測モード1の予測部102は、予測単位ごとに符号長R1、予測単位内の符号化歪量Di1、境界歪量Db1を推測する。予測モード2の予測部103は、予測単位ごとに符号長R2、予測単位内の符号化歪量Di2、境界歪量Db2を推測する。予測モード3の予測部104は、予測単位ごとに符号長R3、予測単位内の符号化歪量Di3、境界歪量Db3を推測する。

評価値算出部105aは、予測単位ごとに、予測モード0の予測部101から符号長R0、符号化歪量Di0、境界歪量Db0を入力して、下式により、予測モード0の評価値を算出する。
Costn = Din + Dbn + λ(QP)×Rn …(7)
ここで、nは予測モード番号、イントラクロマの場合は0≦n≦3、
λは量子化スケールQPによって決まる重み付け係数。

上式において、Costnは、予想される符号化効率を示す指標である。符号化効率が低いと予想された場合はCostnの値は小さくなり、符号化効率が高いと予想された場合はCostnの値が大きくなる。なお、Constnにおける符号化効率とは、符号化歪（ブロック歪・ブロック境界歪）、および、符号長から判断される。

同様に、評価値算出部105bは、予測単位ごとに、予測モード1の予測部102から符号長R1、符号化歪量Di1、境界歪量Db1を入力して、式(7)により、予測モード1の評価値を算出する。評価値算出部105cは、予測単位ごとに、予測モード2の予測部103から符号長R2、符号化歪量Di2、境界歪量Db2を入力して、式(7)により、予測モード2の評価値を算出する。評価値算出部105dは、予測単位ごとに、予測モード3の予測部104から符号長R3、符号化歪量Di3、境界歪量Db3を入力して、式(7)により、予測モード3の評価値を算出する。

予測モード選択部106は、評価値算出部105a〜105dから入力される評価値から、最小の評価値を求め、最小の評価値に対応する予測モード番号を出力する。

なお、イントラ予測部31は、イントラ4×4の九つの予測モードに対応して、九つの予測モードに対応する予測値算出部と、九つの予測モードに対応する予測モード決定部の予測部を有する。また、イントラ16×16の四つの予測モードに対応して、四つの予測モードに対応する予測値算出部と、四つの予測モードに対応する予測モード決定部の予測部を有する。イントラ4×4、イントラ16×16において、予測モードを決定する方法は、イントラクロマと同様であり、説明を省略する。

また、フレームバッファ10に格納された参照画像を利用して、符号長、符号化歪量、境界歪量を推定する例を説明したが、図1に示す各処理手段が出力する信号を利用して、符号長、符号化歪量、境界歪量を推定しても構わない。

このように、予測モードの決定に、予測対象画像（予測単位）の符号化効率を示す指標（符号長Rn）だけでなく、符号化歪の指標として、予測単位内の符号化歪量Dinと境界歪量Dbnを追加する。これにより、局所的な符号化歪を抑制する予測モードを選択することが可能になる。従って、低ビットレートにおいても、視覚的な劣化の少ないフレーム予測符号化を行うことができる。

［他の実施例］
本発明は、上記実施例の機能を実現するプログラムを記録した記録媒体（または記憶媒体）を装置（またはシステム）に供給し、装置のコンピュータ（CPUやMPU）が記録媒体から読み出したプログラムを実行することでも実現される。この場合、記録媒体に格納されたプログラムが上記実施例の機能を実現し、そのプログラムと、そのプログラムを記憶するコンピュータが読み取り可能な記録媒体は本発明を構成する。

また、プログラムの実行により上記機能が実現されるだけではない。つまり、プログラムの指示により、コンピュータ上で稼働するオペレーティングシステム(OS)および/または他のプログラムなどが実際の処理または制御の一部または全部を行い、それによって上記機能が実現される場合も含む。また、プログラムは、コンピュータに接続された機能拡張カードやユニットなどのデバイスのメモリに格納されていてもよい。つまり、プログラムの指示により、デバイスのCPUなどが実際の処理の一部または全部を行い、それによって上記機能が実現される場合も含む。本発明を記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応または関連するプログラムが格納される。

Claims (8)

1. フレーム内予測を行う動画像の符号化装置であって、
   予測単位に分割され予測符号化された画像をローカルデコードした画像を記憶するバッファと、
   前記予測単位の予測対象画像に隣接する、前記バッファが記憶する前記予測単位の画像を参照して、複数の予測モードそれぞれに対する前記予測対象画像の符号長、符号化歪量および前記予測単位の境界に生じる符号化歪の境界歪量を計算する推定手段と、
   前記符号長、前記符号化歪量および前記境界歪量に基づき、前記予測モードそれぞれに対する評価値を計算する計算手段と、
   前記予測モードそれぞれに対する評価値に基づき、前記予測対象画像の予測モードを選択する選択手段とを有することを特徴とする符号化装置。
2. 前記計算手段は、前記符号化歪量、前記境界歪量、および、量子化スケールによって決まる重みを与えた前記符号長の和を前記評価値にすることを特徴とする請求項1に記載された符号化装置。
3. 前記選択手段は、最小の評価値に対応する前記予測モードを選択することを特徴とする請求項1または請求項2に記載された符号化装置。
4. 前記推定手段は、前記予測対象画像の垂直方向の境界の境界歪量と、前記予測対象画像の水平方向の境界の境界歪量の和を前記境界歪として計算することを特徴とする請求項1から請求項3の何れか一項に記載された符号化装置。
5. さらに、前記予測モードそれぞれに対する、前記予測対象画像の予測値および予測誤差を算出する算出手段と、
   前記選択手段の選択結果に応じた予測モードの予測値および予測誤差を選択的に出力する出力手段とを有することを特徴とする請求項1から請求項4の何れか一項に記載された符号化装置。
6. フレーム内予測を行う動画像の符号化方法であって、
   予測単位に分割され予測符号化された画像をローカルデコードした画像をバッファに記憶し、
   前記予測単位の予測対象画像に隣接する、前記バッファが記憶する前記予測単位の画像を参照して、複数の予測モードそれぞれに対する前記予測対象画像の符号長、符号化歪量および前記予測単位の境界に生じる符号化歪の境界歪量を計算し、
   前記符号長、前記符号化歪量および前記境界歪量に基づき、前記予測モードそれぞれに対する評価値を計算し、
   前記予測モードそれぞれに対する評価値に基づき、前記予測対象画像の予測モードを選択することを特徴とする符号化方法。
7. コンピュータ装置を制御して、請求項1から請求項5の何れか一項に記載された符号化装置の各手段として機能させることを特徴とするプログラム。
8. 請求項7に記載されたプログラムが記録されたことを特徴とするコンピュータが読み取り可能な記録媒体。

Images