JP2006157214A - 動画像符号化装置 - Google Patents

Abstract

【課題】ラグランジュ乗数を用いたレート歪み評価値を用いて符号化を行う場合に、いかなる符号化対象画像においても最適なインター予測符号化を行うことができ、符号化効率を向上させ、良好な画質を得ることが可能な動画像符号化装置を提供する。
【解決手段】前回の符号化で採用した量子化係数Ｑｐと符号量とから、今回の符号化にて採用候補となる量子化係数Ｑｐの中心値を求めて、その前後の所定値を決定する。決定した前記所定値毎に、前回の符号化時に算出したラグランジュ乗数算出係数Ｌと今回の符号化にて採用候補となる量子化係数Ｑｐとを用いて算出したラグランジュ乗数を用いて符号化を行う。その符号化の結果、最も符号化効率の良かった量子化係数Ｑｐの値を選択する。選択した量子化係数Ｑｐの値とラグランジュ乗数λによりラグランジュ乗数算出係数Ｌを求め、次回の符号化に用いることにより、最適な符号化を行うことができる。
【選択図】 図１

Description

本発明は、特にレート歪み特性を考慮して予測モード判定を行う動画像符号化装置に関するものである。

動画像符号化方式の国際標準規格としてＨ．２６４がある。Ｈ．２６４は従来方式であるＭＰＥＧ−２やＭＰＥＧ−４と同程度の画質を維持しながら、より圧縮効率を向上させた符号化方式であり、ＭＰＥＧ−４ ＡＶＣ、ＭＰＥＧ−４ Ｐａｒｔ１０等とも呼ばれている。

Ｈ．２６４では、イントラ予測符号化、インター予測符号化、直交変換符号化、量子化、エントロピー符号化などの符号化手法が用いられている。以下、それぞれの手法について説明する。
［イントラ予測符号化］
イントラ予測符号化は、同一画像内の所定画素の周辺には画像相関性が高い画素が存在する可能性が高いことを利用して符号量を圧縮する符号化手法である。イントラ予測符号化は従来のＭＰＥＧ−２規格等には無かった手法である。

符号化対象画像を１６×１６画素、または４×４画素のブロックに分割して、分割したブロック毎に、近傍の参照画素領域との差分である残差成分を求めて符号量を圧縮する。
前記近傍の参照画素領域は、H．２６４で定義されている１３種類のイントラ予測モードにてどの位置の参照画素領域を用いるかが決定される。イントラ予測符号化は、前記イントラ予測モードのうち一番符号化効率が良いと推定できる予測モードを選択して行うのが一般的である。
［インター予測符号化］
インター予測符号化は、一般に時間的に連続する動画像間においては画像相関性が高いという特性を利用して符号量を圧縮する符号化手法である。動き補償予測符号化とも呼ばれる。

符号化対象画像を所定の画素数の２次元ブロックに分割し、分割したブロック毎に、時間的に連続する参照画像で一番相関の高いブロック領域を検出する。そして前記符号化対象画像ブロックと前記参照画像上で一番相関の高いブロック領域との差分をとった残差成分と、前記参照画像上のブロック領域が符号化対象画像ブロックからどのくらいずれた位置に存在するのかを表す動きベクトルとを求めて符号量を圧縮する手法である。

インター予測符号化の際に符号化対象画像より時間的に前の画像のみを参照画像として符号化した符号化画像をＰピクチャと呼ぶ。また、インター予測符号化の際に符号化対象画像の時間的に前と後の画像のうち２枚の画像を参照画像として符号化した符号化画像をＢピクチャと呼ぶ。インター予測符号化を行なわずに前述のイントラ予測符号化のみを行った符号化画像をＩピクチャと呼ぶ。

従来のＭＰＥＧ−２等では、インター予測符号化で用いられる分割ブロック領域は１６×１６画素、または８×８画素に固定されていた。Ｈ．２６４では、符号化効率を高めるために、１６×１６画素のブロック内を図９に示すようにさらに細かい７つのパターンのパーティションに分けてインター予測符号化を行う。１６×１６画素のブロックをマクロブロック（以下ＭＢと略する）と呼ぶ。８×１６画素、１６×８画素、８×８画素のブロックをＭＢパーティションと呼ぶ。4×８画素、８×４画素、４×４画素のブロックをＭＢサブパーティションと呼ぶ。

また従来のＭＰＥＧ−２等では、インター予測符号化で用いられる参照画像は、Ｐピクチャでは前方の直近１ピクチャ、Ｂピクチャでは前後それぞれの直近の１ピクチャに固定されていた。Ｈ．２６４では符号化効率を高めるために、参照画像として、Ｐピクチャは前方最大１６ピクチャの中から所定の１ピクチャ、Ｂピクチャは前後それぞれ最大１６ピクチャのうち所定の２ピクチャを参照画像として使用可能である。

従って、Ｈ．２６４では、前記７パターンのブロック内パーティションと、前記参照画像との組み合わせの数だけインター予測符号化を行えるモードが存在することになる。これらのモードをインター予測モードと呼ぶ。インター予測符号化は、前記インター予測モードのうち一番符号化効率が良いと推定できる予測モードを選択して行うのが一般的である。
［直交変換符号化］
直交変換符号化は、前記インター予測符号化が行われた後の残差成分、または前記イントラ予測符号化が行われた後の残差成分を、所定の画素数のブロックに分割して、前記ブロック毎に２次元直交変換を施すと、ある直交変換係数の周りに大きな値が集中する画像の特性を利用した符号化手法である。

従来のＭＰＥＧ−２等では、分割ブロックサイズを８×８画素とし、直交変換には離散コサイン変換を用いていた。Ｈ．２６４では、符号化効率を高めるために、分割ブロックサイズを４×４画素とし、直交変換には整数変換を用いている。
［量子化］
量子化は直行変換符号化を行うことによって発生した直交変換係数をマクロブロック毎に決定される所定の除数で割り算を行い、余りを丸めることで得られる値（変換係数と呼ぶ）を以後の符号化に用いることで符号量を圧縮する手法である。このマクロブロック毎に決定する所定の除数を量子化係数Ｑｐと呼ぶ。この値を大きくすると圧縮効率は向上するが復号再生時の画質は劣化する方向となる。
［エントロピー符号化］
エントロピー符号化は、出現頻度の高い変換係数値には短いビット長の符号を割り当て、出現頻度の低い変換係数値には長いビット長の符号を割り当てることにより符号量を圧縮する手法である。前記量子化にて得られた変換係数に対して行う。

前述のようにＨ．２６４におけるインター予測符号化では、７種類のＭＢ内分割ブロックパターンと、参照画像との組み合わせの数だけインター予測モードが存在する。インター予測符号化は、前記インター予測モードのうち一番符号化効率が良いと判断できる予測モードを選択してインター予測符号化を行うのが一般的である。

また動きベクトル検出に関しても、複数ある参照画像から一番符号化効率が良いと判断できる参照画像を選択し、その選択した参照画像中の所定範囲のブロック領域から一番符号化効率が良いと判断できる領域を指し示す動きベクトルを求めてインター予測符号化を行うのが一般的である。

従って、インター予測符号化においては、前述したインター予測モード、動きベクトル、参照画像の選択において、符号化効率の良し悪しの判断を精度良く行うことが重要であり、さまざまな符号化効率判定手法が提案されている。
［Ｈ．２６４の符号化効率判定手法］
Ｈ．２６４規格で提供されている検証用エンコーダの仕様では、動きベクトル検出とインター予測モード選択において、レート歪み特性を考慮した符号化効率判定手法が公開されている。以下に簡単に説明する。

下記式６はこの符号化効率判定手法の一般式である。符号化誤差量Ｄｉｓｔｏｒｔｉｎと符号量Ｒａｔｅを、ラグランジュ乗数λを用いて線形結合して算出した値を符号化効率評価値Ｊとする。動きベクトル検出およびインター予測モード選択において、前述したそれぞれ全てのパターンもしくはモードについて符号化誤差量Ｄｉｓｔｏｒｔｉｎと符号量Ｒａｔｅを求める。そして求めた符号化誤差量Ｄｉｓｔｏｒｔｉｎと符号量Ｒａｔｅを下記式６に代入し符号化効率評価値Ｊを求める。この符号化効率評価値Ｊが最小となる組み合わせの動きベクトル、参照画像、インター予測モードをインター予測符号化に用いると最も符号化効率がよくなるという手法である。

前記式６は一般式であり、インター予測モード選択時と動きベクトル検出時とではそれぞれに符号化誤差量Ｄｉｓｔｏｒｔｉｎと符号量Ｒａｔｅの算出パラメータが異なる。またラグランジュ乗数λの値も異なる。次に詳細に説明する。

インター予測モード選択に用いるラグランジュ乗数λをインター予測モード選択用ラグランジュ乗数λＭＯＤＥと定義する。このインター予測モード選択用ラグランジュ乗数λＭＯＤＥは、量子化係数Ｑｐから下記式７のように算出される。

また、動きベクトル検出に用いるラグランジュ乗数λを動きベクトル検出用ラグランジュ乗数λＭＯＴＩＯＮと定義する。動きベクトル検出用ラグランジュ乗数λＭＯＴＩＯＮはインター予測モード選択用ラグランジュ乗数λＭＯＤＥから下記式４のように算出される。

インター予測モード選択時の符号化効率評価値ＪＭＯＤＥ（第一の符号化効率評価値：以下インター予測モード符号化評価値と呼ぶ）を求める算出式を下記式１に示す。この算出式でインター予測モード符号化効率評価値ＪＭＯＤＥが最小となるインター予測モードを選択する。

動きベクトル検出時の符号化効率評価値ＪＭＯＴＩＮ（第二の符号化効率評価値：以下動きベクトル符号化効率評価値と呼ぶ）を求める算出式を下記式３に示す。この算出式で動きベクトル符号化効率評価値ＪＭＯＴＩＯＮが最小となる動きベクトルおよび参照画像の組み合わせを選択する。

ところで、このインター予測モード選択に使用するラグランジュ乗数であるインター予測モード選択用ラグランジュ乗数λＭＯＤＥの算出式である前記式７は、Ｈ．２６４検討当初から用いられてきた算出式であり、その後の標準化作業において数々の仕様変更がなされた符号化方式に対して、必ずしも最適な算出式とはなっていない。

そこで、非特許文献１では、インター予測モード選択用ラグランジュ乗数λＭＯＤＥの算出式を最適化したとする報告がなされている。この報告では、Ｈ．２６４標準化団体（ＪＶＴ）が用いている数枚の標準動画像において量子化係数Ｑｐ及びインター予測モード選択用ラグランジュ乗数λＭＯＤＥのパラメータを複数の所定値に変更して実験した結果、インター予測モード選択用ラグランジュ乗数λＭＯＤＥは前記式７の算出式で導かれる値よりも多少小さくすると良い結果が得られると結論付けられている。
高木他,ＲＤ特性に基づくＪＶＴ符号化方式の検証,２００２年映像情報メディア学会年次大会１２−５

しかしながら、インター予測モード選択用ラグランジュ乗数λＭＯＤＥ及び動きベクトル検出用ラグランジュ乗数λＭＯＴＩＯＮの最適値は、符号化対象画像の複雑さや動きの激しさ、画像サイズなどによって影響を受け変動する。従って、非特許文献１で報告されているような数枚の標準動画像を用いて得られた前記式７で算出される値よりも多少小さい値にインター予測モード選択用ラグランジュ乗数λＭＯＤＥを決定してインター予測符号化を行っても、全ての符号化対象画像において符号化効率が向上するとは言い難い。

本発明は上記課題を鑑みてなされたものである。
本発明は、いかなる画像においても最適なインター予測符号化を行うことができ、符号化効率を向上させ、良好な画質を得ることが可能な動画像符号化装置を実現することを目的とする。

そこで上記課題を解決するために本発明は、下記の装置を提供するものである。
（１）画像信号を複数の画素の２次元配列からなるマクロブロックに分割し、前記マクロブロック単位で順次、インター予測符号化またはイントラ予測符号化を行い、前記イントラ予測符号化または前記インター予測符号化にて生成された予測符号化信号を入力として直交変換符号化を行い、前記直交変換符号化にて生成された直交変換符号化信号を入力として、既に符号化が行われた符号化対象画像の符号量に対応した量子化係数Ｑｐの値を用いて当該マクロブロックの量子化を行う動画像符号化装置において、
前記マクロブロック毎に、前記インター予測符号化にて採用候補となる複数のインター予測モード全てに対して、下記式１に示す算出式より第一の符号化効率評価値ＪＭＯＤＥの値を算出し、算出した全ての前記第一の符号化効率評価値ＪＭＯＤＥの値を比較して、最も値が小さい前記第一の符号化効率評価値ＪＭＯＤＥの値に対応するインター予測モードを最も符号化効率がよい予測モードとして選択するインター予測モード選択手段と、

前記マクロブロック毎に、前記インター予測符号化において使用する動きベクトルと参照画像とを検出する際に、前記動きベクトルと前記参照画像との全ての組み合わせにおいて、下記式３に示す算出式より第二の符号化効率評価値ＪＭＯＴＩＯＮの値を算出し、算出した全ての前記第二の符号化効率評価値ＪＭＯＴＩＯＮの値を比較して、最も値が小さい前記第二の符号化効率評価値ＪＭＯＴＩＯＮの値となる動きベクトルと参照画像との組み合わせを、最も符号化効率のよい組み合わせと判断して検出する動きベクトル検出手段と、

前記インター予測モード選択用ラグランジュ乗数の値と前記動きベクトル検出用インター予測モード選択用ラグランジュ乗数の値とをそれぞれ前記式２及び前記式４に基づいて制御するラグランジュ乗数制御手段とを有し、
前記ラグランジュ乗数制御手段は、
前回の符号化で採用した量子化係数Ｑｐと前回の符号化で発生した符号量とから所定の算出手順に従って今回の符号化で採用候補となる量子化係数Ｑｐの値を求め、
求めた前記今回の符号化で採用候補となる量子化係数Ｑｐと、前回の符号化で算出したラグランジュ乗数算出係数Ｌとを用いて上記式２より今回の符号化で用いるインター予測モード選択用ラグランジュ乗数λＭＯＤＥを求め、
前記今回の符号化で採用候補となる量子化係数Ｑｐを中心値として所定数の前後複数の値を選択し、選択した前記複数の値を新たに今回の符号化で採用候補となる量子化係数Ｑｐとして決定し、
前記インター予測モード選択用ラグランジュ乗数λＭＯＤＥと、前記決定した複数の今回の符号化で採用候補となる量子化係数Ｑｐと、前記インター予モードとの全ての組み合わせにおいて前記式１を用いて前記符号化効率評価値ＪＭＯＤＥを算出し、算出した全ての前記符号化効率評価値ＪＭＯＤＥの値を比較して、最も値が小さい前記符号化効率評価値ＪＭＯＤＥに対応する前記インター予測モードと前記量子化係数Ｑｐの組み合わせを選択し、
前記選択した量子化係数Ｑｐと、前記インター予測モード選択用ラグランジュ乗数λＭＯＤＥとから前記式２を変形した下記式５を用いて、次の符号化に用いるラグランジュ乗数算出係数Ｌを求めるように制御する、
ことを特徴とする動画像符号化装置。

本発明によれば、いかなる画像においても符号化効率の良い最適な符号化を行うことができ、符号化効率を向上させ、良好な画質を得ることが可能となる。

本発明の実施の最良の形態を以下に説明する。
従来から使用されているインター予測モード選択用ラグランジュ乗数λＭＯＤＥを算出する式は下記式７である。本算出式はこれまで述べてきたように、Ｈ．２６４検討当初から用いられてきた算出式であり、その後の標準化作業において数々の仕様変更がなされた符号化方式に対して、必ずしも最適な算出式とはなっていない。

本発明では、下記式７を下記式２に示すように、係数０．８５にあたるパラメータを、ラグランジュ乗数算出係数Ｌと定義する変数に置き換える。
そして、最初の符号化においては、予め所定値に決定してあるインター予測モード選択用ラグランジュ乗数λＭＯＤＥと、予め所定値に決定してある複数の量子化係数Ｑｐとの組み合わせにおいてそれぞれ符号化を行い、その各符号化の結果最も符号化効率が良いものを実際の符号化とすると同時に、その符号化で採用した量子化係数Ｑｐを記憶する。

次に前記記憶した量子化係数Ｑｐと、前記所定値のインター予測モード選択用ラグランジュ乗数λＭＯＤＥとから下記式２を変形した下記式５を用いて、次の符号化に用いるためのラグランジュ乗数算出係数Ｌを求めて記憶する。

２回目以降の符号化においては、まず前回の符号化で採用して記憶してある量子化係数Ｑｐと前回の符号化で発生した符号量とから所定の算出手順に従って今回の符号化で採用候補となる量子化係数Ｑｐの値を求める。

そして、求めた今回の符号化で採用候補となる量子化係数Ｑｐと、前回の符号化で算出して記憶してあるラグランジュ乗数算出係数Ｌとを用いて下記式２より今回の符号化で用いるインター予測モード選択用ラグランジュ乗数λＭＯＤＥを求める。

また前述の今回の符号化で採用候補となる量子化係数Ｑｐを中心値として前後複数の所定値をおのおの新たな採用候補の量子化係数Ｑｐと決定する。決定した前記複数の今回の符号化で採用候補となる各量子化係数Ｑｐと、求めたインター予測モード選択用ラグランジュ乗数λＭＯＤＥとにおいてそれぞれ符号化を行い、その各符号化の結果最も符号化効率が良いものを実際の符号化とすると同時に、その符号化で採用した量子化係数Ｑｐを記憶する。そして前記記憶した量子化係数Ｑｐと、前記所定値のインター予測モード選択用ラグランジュ乗数λＭＯＤＥとから下記式２を変形した下記式５を用いて、次の符号化に用いるためのラグランジュ乗数算出係数Ｌを求めて記憶しておく。

以降は符号化処理終了まで上記の２回目以降の処理を繰り返し実行する。
なお符号化処理で使用する動きベクトル検出用ラグランジュ乗数λＭＯＴＩＯＮは
それぞれの符号化で求めたインター予測モード選択用ラグランジュ乗数λＭＯＤＥから下記式４により一意に導かれる値を使用するものとする。

上記のような符号化処理を行うことで、いかなる画像においても符号化効率の良い最適な符号化を行うことができ、符号化効率を向上させ、良好な画質を得ることが可能となる。

以下図面とフローチャートを用いて、本発明の実施例を説明する。
図１は、本発明の動画像符号化装置の第一の実施例を示すブロック図である。
フレームメモリ１０１、直交変換符号化部１０２、符号列生成部１０３、直交変換復号化部１０４、量子化係数制御部１０５、符号量算出部１０６、予測モード選択部１０７、インター予測部１０８、フレームメモリ１０９、符号列出力部１１０、差分演算部１１１、加算演算部１１２、スイッチ１１３、１１４、ラグランジュ乗数制御部１２０から構成されている。

また図３は、本発明の動画像符号装置の第一の実施例の処理の流れを示すフローチャートである。
符号化対象画像データは、フレームメモリ１０１に所定枚数分蓄積され、あらかじめ決定されているピクチャタイプ（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）の符号化順序に従って並び替えが行われる。その後、マクロブロック（以下ＭＢと呼ぶ）単位で読み出され、符号化処理が行われる。ここでは、ＭＢの大きさを水平１６画素×垂直１６画素であるとする。

符号化対象画像ＭＢをＩピクチャとしてイントラ予測符号化を行う場合、スイッチ１１３、１１４はオフとする（Ｓ３０１）。
読み出された符号化対象画像ＭＢは直交変換符号化部１０２および予測モード選択部１０７、差分演算部１１１に入力される。

直交変換符号化部１０２に入力された符号化対象画像ＭＢは、従来例で説明したとおりＨ．２６４で定義されている１３種類のイントラ予測モードについて、それぞれ直交変換されたのち、量子化係数制御部１０５から入力される量子化係数Ｑｐを用いて量子化される。

量子化係数制御部１０５は、符号量算出部１０６から入力される既に符号化が行われた符号化対象画像の符号量と、予測モード選択部１０７から入力された、既に符号化が行われた前回の符号化対象画像ＭＢに採用した量子化係数Ｑｐから、今回の符号化で採用候補となる量子化係数Ｑｐを決定し、ラグランジュ乗数制御部１２０に出力する。さらにこの量子化係数Ｑｐを中心としてあらかじめ決められた範囲で変化させた値を直交変換符号化部１０２に出力する。ここでは、前回の符号化対象画像ＭＢの符号化に採用した量子化係数Ｑｐ±２の範囲の値を出力することとする。すなわち、前回の符号化対象画像ＭＢの符号化で選択した量子化係数Ｑｐが２６であるとすると、ラグランジュ乗数制御部１２０には量子化係数Ｑｐとして２６が入力され、直交変換符号化部１０２には、今回の符号化で採用候補となる量子化係数Ｑｐとして２６、２５、２４、２７、２８が入力される。
なお、最初の符号化対象画像ＭＢの符号化時の採用候補となる量子化係数は、あらかじめ連続する例えば２２、２３、２４，２５，２６といった所定の値を用いるものとする。

直交変換符号化部１０２は入力された今回の符号化で採用候補となる各量子化係数Ｑｐを用いてそれぞれ量子化および直交変換を行い、イントラ予測符号化データを生成して符号列生成部１０３および直交変換復号化部１０４に出力する（Ｓ３０２）。

直交変換復号化部１０４では、入力されたイントラ予測符号化データに対して逆量子化、直交逆変換といった復号化処理を施し、復号画像ＭＢを生成する。生成された復号画像ＭＢは、加算演算部１１２を経て予測モード選択部１０７に出力される（Ｓ３０３）。
＜インター予測符号化＞
符号化対象画像ＭＢをＰピクチャまたはＢピクチャとして符号化する場合、まず、スイッチ１１３および１１４はオフとして前述したＩピクチャの場合と同じ方法で、イントラ予測符号化処理を行う。

次に、スイッチ１１３および１１４をオンにして以下に述べるインター予測符号化処理を行う（Ｓ３０１）。
読み出された符号化対象画像ＭＢは直交変換符号化部１０２および予測モード選択部１０７、インター予測部１０８、差分演算部１１１に入力される。

インター予測部１０８では、入力された符号化対象画像ＭＢと、フレームメモリ１０９に蓄積された参照画像を用いて動きベクトルを検出し、動き補償を行う。動きベクトルの検出及び動き補償は、複数のインター予測モードにおいてそれぞれ行われる。インター予測モードは従来例でも説明したとおり図２に示すような７パターンのブロック内パーティションと、選択する参照画像の組み合わせの数だけ存在する。

動きベクトルと参照画像の検出は、下記式３の評価式の動きベクトル符号化効率評価値ＪＭＯＴＩＯＮが最小になる組み合わせを選択することで行われる。
ここで使用する動きベクトル検出用ラグランジュ乗数λＭＯＴＩＯＮは、符号化対象画像ＭＢを１つの符号化の単位として、ラグランジュ乗数制御部１２０で算出されるインター予測モード選択用ラグランジュ乗数λＭＯＤＥから下記式４を用いて与えられるものとする。

インター予測部１０８は検出された動きベクトルと参照画像を用いて動き補償された参照画像ブロックを差分演算部１１１及び加算演算部１１２に出力する（Ｓ３０４）。

差分演算部１１１では、符号化対象画像ＭＢと検出した参照画像ブロックとの差分を演算し、インター予測誤差データを生成して直交変換符号化部１０２に出力する（Ｓ３０５）。

インター予測誤差データは、直交変換符号化部１０２において直交変換されたのち、前述したイントラ予測符号化処理のときと同様に量子化係数制御部１０５から与えられる今回の符号化で採用候補となる各量子化係数Ｑｐを用いておのおの量子化される。すなわち、前回の符号化対象画像ＭＢの符号化で選択した量子化係数Ｑｐが２６であるとすると、ラグランジュ乗数制御部１２０には量子化係数Ｑｐとして２６が入力され、直交変換符号化部１０２には、今回の符号化で採用候補となる量子化係数Ｑｐとして２６、２５、２４、２７、２８が入力される。

直交変換符号化部１０２ではこれらの今回の符号化で採用候補となる各量子化係数Ｑｐを用いてそれぞれ量子化および直交変換を行い、それぞれの結果をインター予測符号化データとして符号列生成部１０３および直交変換復号化部１０４に出力する（Ｓ３０６）。

直交変換復号化部１０４では、入力された各インター予測符号化データに対してそれぞれ逆量子化、直交逆変換といった復号化処理を施し、復号予測誤差データを生成して加算演算部１１２に出力する（Ｓ３０７）。

加算演算部１１２では、インター予測部１０８から入力された参照画像ブロックと直交変換復号化部１０４から入力された復号予測誤差データとで加算演算を行い、復号画像ＭＢを生成して予測モード選択部１０７に出力する（Ｓ３０８）。

一方、符号列生成部１０３では、直交変換符号化部１０２から入力されたイントラ予測符号化データまたはインター予測符号化データから、あらかじめ決められた規則に従って符号列データを生成し、符号量算出部１０６および符号列出力部１１０に出力する（Ｓ３０９）。

符号量算出部１０６は入力されたそれぞれの符号列データの符号量を算出し、量子化係数制御部１０５および予測モード選択部１０７に出力する（Ｓ３１０）。
予測モード選択部１０７は加算演算部１１２から入力された復号画像ＭＢと、フレームメモリ１０１から入力される符号化対象画像ＭＢから符号化誤差量ＤＭＯＤＥを算出する。そしてこの算出した符号化誤差量ＤＭＯＤＥと、符号量算出部１０６から入力される符号量ＲＭＯＤＥと、ラグランジュ乗数制御部１２０で前回の符号化時に求められているラグランジュ乗数算出係数Ｌと、同じく前回の符号化時に求められている量子化係数Ｑｐとにより下記式２により算出され入力されるインター予測モード選択用ラグランジュ乗数λＭＯＤＥとを用いて、下記式１のインター予測モード符号化評価値ＪＭＯＤＥを最小にする予測モードおよび量子化係数Ｑｐを選択する。

復号画像ＭＢと符号量ＲＭＯＤＥは、全てのイントラ予測モードおよびインター予測モードと、量子化係数Ｑｐの組み合わせについて入力される。従って、予測モードは全てのイントラ予測モードとインター予測モードの中から選択される。また量子化係数Ｑｐは｛２６、２５、２４、２７、２８｝の中から選択される（Ｓ３１１）。

なお、イントラ予測モードの選択方法の詳細に関しては本発明とは直接関係が無いので説明は省略する。
予測モード選択部１０７は、選択した量子化係数Ｑｐを量子化係数制御部１０５に出力し、また前記選択した量子化係数Ｑｐと選択した予測モードに使用したインター予測モード選択用ラグランジュ乗数λＭＯＤＥとを、ラグランジュ乗数制御部１２０に出力し、選択した予測モードおよび量子化係数Ｑｐに対応する復号画像ＭＢをフレームメモリ１０９に出力すると共に、選択した予測モードを符号列出力部１１０に出力する。

符号列出力部１１０は予測モード選択部１０７から入力された選択ブロックモードに対応する符号列を符号化ビットストリームとして出力する。
ラグランジュ乗数制御部１２０では、入力された、今回の符号化で選択された量子化係数Ｑｐと、同じく今回の符号化で選択された予測モードに使用したラグランジュ乗数λＭＯＤＥとにより、下記式５を用いて次の符号化に使用する為のラグランジュ乗数算出係数Ｌを算出する。（Ｓ３１２）

ここまでに述べてきたＳ３０１からＳ３１２までの符号化処理を全符号化対象画像終了まで繰り返して行う（Ｓ３１３）。

図４は、本発明の動画像符号化装置の第二の実施例を示すブロック図である。
フレームメモリ１０１、直交変換符号化部１０２、符号列生成部１０３、直交変換復号化部１０４、量子化係数制御部１０５、符号量算出部１０６、予測モード選択部１０７、インター予測部１０８、フレームメモリ１０９、符号列出力部１１０、差分演算部１１１、加算演算部１１２、スイッチ１１３、１１４、量子化係数及びラグランジュ乗数記憶部１１９、ラグランジュ乗数制御部１２０から構成されている。

また図６は、本発明の動画像符号装置の第二の実施例の処理の流れを示すフローチャートである。
符号化対象画像データは、フレームメモリ１０１に所定枚数分蓄積され、あらかじめ決定されているピクチャタイプ（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）の符号化順序に従って並び替えが行われる。その後、マクロブロック（以下ＭＢと呼ぶ）単位で読み出され、符号化処理が行われる。ここでは、ＭＢの大きさを水平１６画素×垂直１６画素であるとする。

符号化対象画像ＭＢをＩピクチャとしてイントラ予測符号化を行う場合、スイッチ１１３、１１４はオフとする（Ｓ４０１）。
読み出された符号化対象画像ＭＢは直交変換符号化部１０２および予測モード選択部１０７、差分演算部１１１に入力される。

直交変換符号化部１０２に入力された符号化対象画像ＭＢは、従来例で説明したとおりＨ．２６４で定義されている１３種類のイントラ予測モードについて、それぞれ直交変換されたのち、量子化係数制御部１０５から入力される量子化係数Ｑｐを用いて量子化される。

量子化係数制御部１０５は、符号量算出部１０６から入力される既に符号化が行われた符号化対象画像の符号量と、予測モード選択部１０７から入力された、既に符号化処理が行われた前回の符号化対象画像ＭＢに採用した量子化係数Ｑｐから、今回の符号化で採用候補となる量子化係数Ｑｐを決定し、ラグランジュ乗数制御部１１５に出力する。さらにこの量子化係数Ｑｐを中心としてあらかじめ決められた範囲で変化させた値を直交変換符号化部１０２に出力する。ここでは、前回の符号化対象画像ＭＢの符号化に採用した量子化係数Ｑｐ±２の範囲の値を出力することとする。すなわち、前回の符号化対象画像ＭＢの符号化で選択した量子化係数Ｑｐが２６であるとすると、ラグランジュ乗数制御部１１５には量子化係数Ｑｐとして２６が入力され、直交変換符号化部１０２には、今回の符号化で採用候補となる量子化係数Ｑｐとして２６、２５、２４、２７、２８が入力される。
なお、最初の符号化対象画像ＭＢの符号化時の採用候補となる量子化係数は、あらかじめ連続する例えば２２、２３、２４，２５，２６といった所定の値を用いるものとする。

直交変換符号化部１０２は入力された今回の符号化で採用候補となる各量子化係数Ｑｐを用いてそれぞれ量子化および直交変換を行い、イントラ予測符号化データを生成して符号列生成部１０３および直交変換復号化部１０４に出力する（Ｓ４０２）。

直交変換復号化部１０４では、入力されたイントラ予測符号化データに対して逆量子化、直交逆変換といった復号化処理を施し、復号画像ＭＢを生成する。生成された復号画像ＭＢは、加算演算部１１２を経て予測モード選択部１０７に出力される（Ｓ４０３）。

符号化対象画像ＭＢをＰピクチャまたはＢピクチャとして符号化する場合、まず、スイッチ１１３および１１４はオフとして前述したＩピクチャの場合と同じ方法で、イントラ予測符号化処理を行う。

次に、スイッチ１１３および１１４をオンにして以下に述べるインター予測符号化処理を行う（Ｓ４０１）。
読み出された符号化対象画像ＭＢは直交変換符号化部１０２および予測モード選択部１０７、インター予測部１０８、差分演算部１１１に入力される。

インター予測部１０８では、入力された符号化対象画像ＭＢと、フレームメモリ１０９に蓄積された参照画像を用いて動きベクトルを検出し、動き補償を行う。動きベクトルの検出及び動き補償は、複数のインター予測モードにおいてそれぞれ行われる。インター予測モードは従来例でも説明したとおり図２に示すような７パターンのブロック内パーティションと、選択する参照画像の組み合わせの数だけ存在する。

動きベクトルと参照画像の検出は、下記式３の評価式の動きベクトル符号化効率評価値ＪＭＯＴＩＯＮが最小になる組み合わせを選択することで行われる。
ここで使用する動きベクトル検出用ラグランジュ乗数λＭＯＴＩＯＮは、符号化対象画像を１つの符号化の単位として、ラグランジュ乗数制御部１２０で算出されるインター予測モード選択用ラグランジュ乗数λＭＯＤＥから下記式４を用いて与えられるものとする。

インター予測部１０８は検出された動きベクトルと参照画像を用いて動き補償された参照画像ブロックを差分演算部１１１及び加算演算部１１２に出力する（Ｓ４０４）。

差分演算部１１１では、符号化対象画像ＭＢと検出した参照画像ブロックとの差分を演算し、インター予測誤差データを生成して直交変換符号化部１０２に出力する（Ｓ４０５）。

インター予測誤差データは、直交変換符号化部１０２において直交変換されたのち、前述したイントラ予測符号化処理のときと同様に量子化係数制御部１０５から与えられる今回の符号化で採用候補となる量子化係数Ｑｐを用いて量子化される。すなわち、前回の前回の符号化対象画像ＭＢの符号化で選択した量子化係数Ｑｐが２６であるとすると、ラグランジュ乗数制御部１１５には量子化係数Ｑｐとして２６が入力され、直交変換符号化部１０２には、今回の符号化で採用候補となる量子化係数Ｑｐとして２６、２５、２４、２７、２８が入力される。

直交変換符号化部１０２ではこれらの今回の符号化で採用候補となる各量子化係数Ｑｐを用いてそれぞれ量子化および直交変換を行い、それぞれの結果をインター予測符号化データとして符号列生成部１０３および直交変換復号化部１０４に出力する（Ｓ４０６）。

直交変換復号化部１０４では、入力された各インター予測符号化データに対してそれぞれ逆量子化、直交逆変換といった復号化処理を施し、復号予測誤差データを生成して加算演算部１１２に出力する（Ｓ４０７）。

加算演算部１１２では、インター予測部１０８から入力された参照画像ブロックと直交変換復号化部１０４から入力された復号予測誤差データとで加算演算を行い、復号画像ＭＢを生成して予測モード選択部１０７に出力する（Ｓ４０８）。

一方、符号列生成部１０３では、直交変換符号化部１０２から入力されたイントラ予測符号化データまたはインター予測符号化データから、あらかじめ決められた規則に従って符号列データを生成し、符号量算出部１０６および符号列出力部１１０に出力する（Ｓ４０９）。

符号量算出部１０６は入力されたそれぞれの符号列データの符号量を算出し、量子化制御部１０５および予測モード選択部１０７に出力する（Ｓ４１０）。
予測モード選択部１０７は加算演算部１１１から入力された復号画像ＭＢと、フレームメモリ１０１から入力される符号化対象画像ＭＢから符号化誤差量ＤＭＯＤＥを算出する。そしてこの算出した符号化誤差量ＤＭＯＤＥと、符号量算出部１０６から入力される符号量ＲＭＯＤＥと、ラグランジュ乗数制御部１２０で前回の符号化時に求められているラグランジュ乗数算出係数Ｌと、同じく前回の符号化時に求められている量子化係数Ｑｐとにより下記式２により算出され入力されるインター予測モード選択用ラグランジュ乗数λＭＯＤＥとを用いて、下記式１のインター予測モード符号化評価値ＪＭＯＤＥを最小にする予測モードおよび量子化係数Ｑｐを選択する。

復号画像ＭＢと符号量ＲＭＯＤＥは全てのイントラ予測モードおよびインター予測モードと、量子化係数Ｑｐの組み合わせについて入力される。従って、予測モードは全てのイントラ予測モードとインター予測モードの中から選択される。また量子化係数Ｑｐは｛２６、２５、２４、２７、２８｝の中から選択される（Ｓ４１１）。

なお、イントラ予測モードの選択方法の詳細に関しては本発明とは直接関係が無いので説明は省略する。
予測モード選択部１０７は、選択した量子化係数Ｑｐを量子化係数制御部１０５に出力し、また前記選択した量子化係数Ｑｐと選択した予測モードに使用したインター予測モード選択用ラグランジュ乗数λＭＯＤＥとを、量子化係数及びラグランジュ乗数記憶部１１９に出力し、選択した予測モードおよび量子化係数Ｑｐに対応する復号画像ＭＢをフレームメモリ１０９に出力すると共に、選択された予測モードを符号列出力部１１０に出力する。

符号列出力部１１０は予測モード選択部１０７から入力された選択ブロックモードに対応する符号列を符号化ビットストリームとして出力する。
ラグランジュ乗数制御部１２０では、入力された、今回の符号化で選択された量子化係数Ｑｐと、同じく今回の符号化で選択された予測モードに使用したラグランジュ乗数λＭＯＤＥとにより、式５を用いて次の符号化に使用する為のラグランジュ乗数算出係数Ｌを算出する。

実施例１と異なる点を以下に説明する。実施例１は符号化対象画像ＭＢを１つの符号化の単位として、符号化対象画像ＭＢ毎にラグランジュ乗数算出係数Ｌを求め、求めたラグランジュ乗数算出係数Ｌと前回の符号化対象画像ＭＢで採用した量子化係数Ｑｐと符号量から求まる量子化係数Ｑｐとからインター予測モード選択用ラグランジュ乗数λＭＯＤＥを求めている。

対して本実施例ではラグランジュ乗数算出係数Ｌを求める符号化の単位を、ピクチャ毎としている。従って、実施例１では符号化対象画像ＭＢ毎にラグランジュ乗数算出係数Ｌを算出するのに対して、本実施例では符号化対象のピクチャ毎にラグランジュ乗数算出係数Ｌを算出する。従ってラグランジュ乗数算出係数Ｌを算出するための、量子化係数Ｑpおよびインター予測モード選択用ラグランジュ乗数λＭＯＤＥは、前回の符号化対象のピクチャを符号化した際に求まっている各符号化対象画像ＭＢ毎の値を、それぞれ量子化係数及びラグランジュ乗数記憶部１１９に一旦記憶しておく（Ｓ４１２）。

そして１ピクチャ内の全ての符号化対象画像ＭＢの符号化が終了したか否かを判断する（Ｓ４１３）。
１ピクチャ内の全ての符号化対象画像ＭＢの符号化が終了したならば、前記量子化係数及びラグランジュ乗数記憶部１１９から、記憶してある各符号化対象画像ＭＢに対応する量子化係数Ｑｐ及びインター予測モード選択用ラグランジュ乗数λＭＯＤＥを読み出し、おのおのの平均値である量子化係数平均値ＡｖｅＱｐおよびインター予測モード選択用ラグランジュ乗数平均値ＡｖｅλＭＯＤＥを算出する。そして算出した前記量子化係数平均値ＡｖｅＱｐおよびインター予測モード選択用ラグランジュ乗数平均値ＡｖｅλＭＯＤＥにて下記式５を用いて、次の符号化対象のピクチャの符号化に用いるラグランジュ乗数算出係数Ｌを求める（Ｓ４１４）。

ここまでに述べてきたＳ４０１からＳ４１４までの処理を符号化対象画像全てに対して行う（Ｓ４１５）。

本発明の実施例１と実施例２の違いを再度明確にする。
実施例１では予測モード選択部１０７で選択した量子化係数Ｑｐをラグランジュ乗数制御部１２０に入力し、その量子化係数Ｑｐを用いて符号化対象画像ＭＢ毎にラグランジュ乗数算出係数Ｌを更新する。

対して実施例２では量子化係数及びラグランジュ乗数記憶部１１９を設けて、予測モード選択部１０７で選択された各符号化対象画像ＭＢ毎の量子化係数Ｑｐとインター予測モード選択用ラグランジュ乗数λＭＯＤＥとを量子化係数及びラグランジュ乗数記憶部１１９に一度記憶する。そして記憶した各符号化対象画像ＭＢ毎の量子化係数Ｑｐとインター予測モード選択用ラグランジュ乗数λＭＯＤＥとをラグランジュ乗数制御部１２０はピクチャ毎に読み出して量子化係数平均値ＡｖｅＱＰ及びインター予測モード選択用ラグランジュ乗数平均値ＡｖｅλＭＯＤＥを求める。最後に求めた量子化係数平均値ＡｖｅＱＰとインター予測モード選択用ラグランジュ乗数平均値ＡｖｅλＭＯＤＥとを用いてランジュ乗数算出係数Ｌを算出、更新する。

実施例２は量子化係数及びラグランジュ乗数記憶部１１９を設けているので、実施例１に比べて回路規模は増大するが、符号化対象のピクチャ全体の画像の特徴をより正確にランジュ乗数算出係数Ｌに反映させることができる。実施例２では１ピクチャ毎に量子化係数平均値ＡｖｅＱＰ及びインター予測モード選択用ラグランジュ乗数平均値ＡｖｅλＭＯＤＥを求め、ラグランジュ乗数算出係数Ｌを更新しているが、もちろん１ピクチャ毎である必要はなく、それ以外の頻度での更新としてもよい。どちらの実施例においても、複数の量子化係数Ｑｐの中から、式１の評価値が最小となるインター予測モードと量子化係数Ｑｐを選択し、その量子化係数Ｑｐに応じてラグランジュ乗数算出係数Ｌを更新している。

これにより、いかなる画像においても符号化効率の良い最適な符号化を行うことができ、符号化効率を向上させ、良好な画質を得ることが可能となる。
さらにまた、本発明は上記した動画像符号化装置の機能をコンピュータに実現させるためのプログラムも含むものである。これらのプログラムは、記録媒体から読み取られてコンピュータに取り込まれてもよいし、通信ネットワークを介して伝送されてコンピュータに取り込まれてもよい。

本発明の第一の実施例の形態を説明するブロック図である。 従来のインター予測モードに使用する分割ブロックの様子を示す図である。 本発明の第一の実施の形態に係る符号化手順の流れを示すフローチャートである。 本発明の第二の実施例の形態を説明するブロック図である。 本発明の第二の実施の形態に係る符号化手順の流れを示すフローチャートである。

符号の説明

１０１ フレームメモリ
１０２ 直交変換符号化部
１０３ 符号列生成部
１０４ 直交変換復号化部
１０５ 量子化係数制御部
１０６ 符号量算出部
１０７ 予測モード選択部
１０８ インター予測部
１０９ フレームメモリ
１１０ 符号列出力部
１１１ 差分演算部
１１２ 加算演算部
１２０ ラグランジュ乗数制御部

Claims (1)

1. 画像信号を複数の画素の２次元配列からなるマクロブロックに分割し、前記マクロブロック単位で順次、インター予測符号化またはイントラ予測符号化を行い、前記イントラ予測符号化または前記インター予測符号化にて生成された予測符号化信号を入力として直交変換符号化を行い、前記直交変換符号化にて生成された直交変換符号化信号を入力として、既に符号化が行われた符号化対象画像の符号量に対応した量子化係数Ｑｐの値を用いて当該マクロブロックの量子化を行う動画像符号化装置において、
   前記マクロブロック毎に、前記インター予測符号化にて採用候補となる複数のインター予測モード全てに対して、下記式１に示す算出式より第一の符号化効率評価値ＪＭＯＤＥの値を算出し、算出した全ての前記第一の符号化効率評価値ＪＭＯＤＥの値を比較して、最も値が小さい前記第一の符号化効率評価値ＪＭＯＤＥの値に対応するインター予測モードを最も符号化効率がよい予測モードとして選択するインター予測モード選択手段と、
   

   

   

   前記マクロブロック毎に、前記インター予測符号化において使用する動きベクトルと参照画像とを検出する際に、前記動きベクトルと前記参照画像との全ての組み合わせにおいて、下記式３に示す算出式より第二の符号化効率評価値ＪＭＯＴＩＯＮの値を算出し、算出した全ての前記第二の符号化効率評価値ＪＭＯＴＩＯＮの値を比較して、最も値が小さい前記第二の符号化効率評価値ＪＭＯＴＩＯＮの値となる動きベクトルと参照画像との組み合わせを、最も符号化効率のよい組み合わせと判断して検出する動きベクトル検出手段と、
   

   

   

   前記インター予測モード選択用ラグランジュ乗数の値と前記動きベクトル検出用インター予測モード選択用ラグランジュ乗数の値とをそれぞれ前記式２及び前記式４に基づいて制御するラグランジュ乗数制御手段とを有し、
   前記ラグランジュ乗数制御手段は、
   前回の符号化で採用した量子化係数Ｑｐと前回の符号化で発生した符号量とから所定の算出手順に従って今回の符号化で採用候補となる量子化係数Ｑｐの値を求め、
   求めた前記今回の符号化で採用候補となる量子化係数Ｑｐと、前回の符号化で算出したラグランジュ乗数算出係数Ｌとを用いて上記式２より今回の符号化で用いるインター予測モード選択用ラグランジュ乗数λＭＯＤＥを求め、
   前記今回の符号化で採用候補となる量子化係数Ｑｐを中心値として所定数の前後複数の値を選択し、選択した前記複数の値を新たに今回の符号化で採用候補となる量子化係数Ｑｐとして決定し、
   前記インター予測モード選択用ラグランジュ乗数λＭＯＤＥと、前記決定した複数の今回の符号化で採用候補となる量子化係数Ｑｐと、前記インター予モードとの全ての組み合わせにおいて前記式１を用いて前記符号化効率評価値ＪＭＯＤＥを算出し、算出した全ての前記符号化効率評価値ＪＭＯＤＥの値を比較して、最も値が小さい前記符号化効率評価値ＪＭＯＤＥに対応する前記インター予測モードと前記量子化係数Ｑｐの組み合わせを選択し、
   前記選択した量子化係数Ｑｐと、前記インター予測モード選択用ラグランジュ乗数λＭＯＤＥとから前記式２を変形した下記式５を用いて、次の符号化に用いるラグランジュ乗数算出係数Ｌを求めるように制御する、
   ことを特徴とする動画像符号化装置。
   

   

   
   

Images