JP2011066592A - 符号化モード選択方法，符号化モード選択装置および符号化モード選択プログラム - Google Patents

Abstract

【課題】少ない処理演算量で動画像符号化におけるフレーム符号化／フィールド符号化を適応的に選択して切り替えることができるようにする。
【解決手段】入力画像についてフィールドを組み合わせたフレーム画像およびフィールド分割部１０でフィールドを分割したフィールド画像のそれぞれに対して，低域フィルタ処理部１４１で垂直方向に低域フィルタをかけ，フィルタをかける前の映像とフィルタをかけた後の映像との間のＰＳＮＲ等の誤差情報から，動き検出を行うことなく，符号化モードを選択する。
【選択図】図１

Description

本発明は，動画像符号化においてピクチャ単位またはブロック単位にフレーム符号化とフィールド符号化とを適応的に選択する方法とその装置に関する。

Ｈ．２６４／ＡＶＣなどの映像符号化規格では，高効率的な符号化を実現するため，以下の４つの符号化方式がある。
（１）１ピクチャを１フレームとみなして符号化を行うフレーム符号化，
（２）１ピクチャをトップフィールドとボトムフィールドに分けて符号化を行うフィールド符号化，
（３）ピクチャごとにフィールド／フレーム符号化を切り替えて符号化を行うピクチャレベルフィールドフレーム適応符号化，
（４）マクロブロックペア単位でフィールド／フレーム符号化を切り替えて符号化するマクロブロックレベルフィールドフレーム適応符号化。

（１）のフレーム符号化方式は，動きの少ない動画像を符号化するのに適しており，（２）のフィールド符号化方式は，動きのある動画像を符号化するのに適しているが，１つの動画像シーケンスの中にも動きの少ないシーン，動きのあるシーンが混在している。そのため，（３）のピクチャレベルでフィールド／フレーム符号化を適応的に切り替える符号化方式が用意されている。

また，１つのピクチャ内にも動きの少ない領域と動きのある領域とが混在しており，これに対応するために，（４）の決まった領域レベル（マクロブロックレベル）でフィールド／フレーム符号化を適応的に切り替える符号化方式がある。

一般的に，（３）や（４）の適応切替え符号化方式を用い，ピクチャまたはマクロブロック毎に符号化効率が高くなる方式を選択することにより，符号化を改善することができる。

それに対し，特許文献１や特許文献２に記載されているような動き情報を用いたフィールド／フレーム符号化の切替え方法が知られている。しかし，動き情報の導出，すなわち動き検出処理は演算量が大きく，また動き検出誤差の影響を受けるという問題があり，できる限り軽い演算量で，切替え処理で用いる情報に含まれる誤差による影響が小さい処理が望ましい。

また，（３），（４）のいずれが高効率となるかは，ピクチャに依存する。例えば，全体的に動きのあるピクチャに対し符号化を行う場合，（３）で選択されるピクチャフィールド符号化が最も高効率となるが，（４）を用いると，ヘッダー情報が増加するため効率は低下する。一方，局所的に動きのあるピクチャに対し符号化を行う場合，（４）で領域毎に選択されるフレームまたはフィールド符号化が最も高効率となるが，（３）を用いると，予測誤差が大きくなるため符号化効率は低下する。以上の観点から（３）と（４）とを組み合わせ，ピクチャによって適応的に切り替えることが望ましい。

図８は，従来の符号化モード選択方法を用いる動画像符号化装置の一例を示す図である。以下，図８に従って，従来の符号化モードを適応的に選択して切り替える方法の例を説明する。

まず，原画像データを入力すると，フィールド分割部５０は，トップフィールド画像とボトムフィールド画像のフィールド画像に分割する。符号化モード判定基準算出部５１は，原画像データのフレーム画像と，フィールド分割部５０で分割した２つのフィールド画像とを入力し，ブロック分割部５１１によりそれぞれの画像を符号化単位のブロックに分割する。分割されたフレームブロック画像，フィールドブロック画像のそれぞれについて，フレーム／フィールド動き検出部５１２により，動き情報と，平均二乗誤差（ＭＳＥ）等の所定の評価関数による評価関数値が算出される。また，ブロック単位でフレーム画像の評価関数値とフィールド画像の評価関数値との差分Ｄｉｆが算出される。動きベクトルなどの動き情報は，動きベクトル格納メモリ５６に保存される。

ブロック数カウント部５２は，１つのピクチャについて評価関数値の差分Ｄｉｆがある閾値以上のブロック数をカウントし，そのブロック数のフレーム内ブロック総数に対する割合Ｒを算出する。この割合Ｒがある範囲内であれば，ブロック単位フィールド／フレーム符号化選択部５４が選ばれ，そうでなければ，ピクチャ単位フィールド／フレーム符号化選択部５３が選ばれる。

ピクチャ単位フィールド／フレーム符号化選択部５３は，割合Ｒの値によって，ピクチャ単位フレーム符号化かピクチャ単位フィールド符号化の符号化モードを選択し，スイッチＳＷを切り替えて，原画像データを符号化部６０のピクチャ単位フレーム符号化部６０２またはピクチャ単位フィールド符号化部６０３へ送る。ピクチャ単位フレーム符号化部６０２は，動きベクトル格納メモリ５６に格納している動き情報を用いて，ピクチャ単位でフレーム符号化を行う。また，ピクチャ単位フィールド符号化部６０３は，同様に動きベクトル格納メモリ５６に格納している動き情報を用いて，ピクチャ単位でフレーム符号化を行う。

ブロック単位フィールド／フレーム符号化選択部５４は，上記割合Ｒの値を判定して，ピクチャ内に動きの大きい部分と小さい部分とが混在しているような場合に，ブロックレベルの適応符号化を行うため，フレーム画像の評価関数値とフィールド画像の評価関数値との差分Ｄｉｆが，ある閾値以上であるかどうかによって，ブロック（マクロブロックペア）単位にフィールド符号化を行うかフレーム符号化を行うかを決定し，その符号化モードの選択情報を符号化モード格納メモリ５５に格納する。このとき，原画像データは，ブロック単位符号化部６０１へ送られ，ブロック単位符号化部６０１では，符号化モード格納メモリ５５に格納された符号化モードに従って，動きベクトル格納メモリ５６に格納している動き情報を用いて，ブロック単位にフレーム符号化モードまたはフィールド符号化モードによる符号化を行う。

以上の従来技術では，フレーム／フィールド動き検出部５１２にて，符号化モードの選択前に，フレーム画像およびフィールド画像の全部について，必ず動き検出の処理を実行しなければならないので，その演算の負荷が大きい。

特開平５−３０８６２７号公報 特開平５−９５５４５号公報

本発明は，上記問題を解決するために提案されたもので，その目的は，ピクチャの持つ周波数特性をもとに，少ない処理演算量で動画像符号化におけるフレーム符号化／フィールド符号化を適応的に切替え選択すること，すなわち適切な符号化のモード選択を，短時間で実施できるようにすることにある。

上記の課題を解決するため，本発明は，動き検出時に計算される平均二乗誤差（ＭＳＥ）等の評価関数値をモード選択に用いる代わりに，入力画像についてフィールドを組み合わせたフレーム画像およびフィールド分割部でフィールドを分割したトップフィールド画像，ボトムフィールド画像のそれぞれに対して，垂直方向に低域フィルタをかけ，フィルタをかける前の映像とフィルタをかけた後の映像との間のＰＳＮＲ（Peak Signal to Noise Ratio）等の誤差情報から符号化モードを選択することを最も主要な特徴とする。

すなわち，本発明は，インターレース映像に対してフレーム符号化とフィールド符号化とを適応的に選択して符号化する動画像符号化において，入力画像をトップフィールドおよびボトムフィールドのフィールドピクチャ（フィールド画像ともいう）に分割し，入力画像に対して所定の帯域幅により，フレームピクチャ単位およびフィールドピクチャ単位でそれぞれフィルタ処理を行う。また，入力画像を符号化単位の複数画素で構成されるブロックに分割し，フィルタ処理後のフレームピクチャ（フレーム画像ともいう）と入力画像との誤差情報（例えばＰＳＮＲ）をブロック単位で算出するとともに，フィルタ処理後のフィールドピクチャと入力画像のフィールドピクチャとの誤差情報をブロック単位で算出し，そのフレームピクチャとフィールドピクチャとのブロック単位誤差情報の差分を符号化モード判定基準として算出する。算出した符号化モード判定基準を用いて，ピクチャ単位フレーム符号化，ピクチャ単位フィールド符号化，ブロック単位フレーム符号化またはブロック単位フィールド符号化のいずれか複数を含む符号化モードの中から一つの符号化モードを選択する。

また，上記発明において，符号化モードを選択する過程では，フレームピクチャとフィールドピクチャとのブロック単位誤差情報の差分が，所定の閾値以上となるブロック数をカウントし，そのカウントしたブロック数の総ブロック数に対する割合を算出し，その割合からピクチャ単位フレーム符号化およびピクチャ単位フィールド符号化のいずれかの符号化モードを選択する。

また，上記発明において，符号化モードを選択する過程では，フレームピクチャとフィールドピクチャとのブロック単位誤差情報の差分と，所定の閾値との大小をブロック単位で比較することにより，ブロック単位フレーム符号化またはブロック単位フィールド符号化のいずれかの符号化モードを選択する。

上記発明において，量子化パラメータまたは目標符号量または発生符号量によって符号化モードの選択に用いる閾値を大きくしたり小さくしたり制御する実施も好適である。

本発明によれば，ピクチャの持つ周波数特性をもとに，少ない処理演算量で動画像符号化におけるフレーム符号化／フィールド符号化を適応的に切替え選択することができるため，高速かつ高効率な符号化を行うことが可能となる。

本発明の第１および第２の例に係る符号化モード選択方法を用いる動画像符号化装置の構成例を示す図である。 符号化モード判定基準算出部の構成例を示す図である。 ブロック単位符号化部の構成例を示す図である。 ピクチャ単位フレーム符号化部の構成例を示す図である。 第１の例の処理フローチャートである。 第２の例の処理フローチャートである。 第３の例に係る符号化モード選択方法を用いる動画像符号化装置の構成例を示す図である。 従来の符号化モード選択方法を用いる動画像符号化装置の一例を示す図である。

以下，図面を用いて本発明の実施の形態を説明する。

＜動画像符号化装置の構成例＞
図１は，後述する第１の例および第２の例におけるフレーム符号化，フィールド符号化を適応的に選択する符号化モード選択方法を用いる動画像符号化装置の構成例を示したブロック図であり，図１に示す動画像符号化装置は，フィールド分割部１０と，符号化モード判定基準算出部１４と，ブロック数カウント部１５と，ピクチャ単位フィールド／フレーム符号化選択部１６と，ブロック単位フィールド／フレーム符号化選択部１７と，符号化モード格納メモリ１８と，符号化部２０とを備える。

符号化モード判定基準算出部１４は，原画像のフィールドを組み合わせたフレーム画像１１，およびフィールド分割部１０で分離したトップフィールド画像（図では，１ｓｔフィールド画像と表記）１２とボトムフィールド画像（図では，２ｎｄフィールド画像と表記）１３とにそれぞれ低域フィルタ処理を施す低域フィルタ処理部１４１，これらの画像を符号化単位の複数画素からなるブロックに分割するブロック分割部１４２，また，誤差情報・差分情報算出部１４３を備える。誤差情報・差分情報算出部１４３は，フィルタ処理後のフレーム画像と入力画像との誤差情報（例えばＰＳＮＲ）をブロック単位で算出する処理，フィルタ処理後のフィールド画像と入力画像のフィールド画像との誤差情報をブロック単位で算出する処理，そのフレーム画像とフィールド画像とのブロック単位誤差情報の差分を符号化モード判定基準として算出する処理を行う。

符号化部２０は，ブロックレベル適応符号化のときにブロック単位でフィールド符号化とフレーム符号化とを切り替えて符号化するブロック単位符号化部２００と，ピクチャ単位フレーム符号化モードのときに，ピクチャ単位でフレーム符号化を行うピクチャ単位フレーム符号化部３００と，ピクチャ単位フィールド符号化モードのときに，ピクチャ単位でフィールド符号化を行うピクチャ単位フィールド符号化部４００とを備える。

図１に示す装置が，従来技術と違うところは，主に符号化モード判定基準算出部１４と，符号化部２０であり，符号化モード判定基準算出部１４では，演算負荷の大きい動き検出を行わないで符号化モード判定基準を算出する点と，符号化部２０では，符号化時に必要なフィールド画像またはフレーム画像に対する動き検出だけを行って符号化する点が従来技術と異なる。

図２は，図１に示す符号化モード判定基準算出部１４の構成例を示している。図１に示す低域フィルタ処理部１４１は，フレーム画像１１に対して所定の帯域幅ｒの低域フィルタをかける低域フィルタ処理部１４１１，１ｓｔフィールド画像１２に対して所定の帯域幅ｒの低域フィルタをかける低域フィルタ処理部１４１２，２ｎｄフィールド画像１３に対して所定の帯域幅ｒの低域フィルタをかける低域フィルタ処理部１４１３から構成される。

図１に示すブロック分割部１４２は，フィルタ処理後のフレームフィルタ画像，１ｓｔフィールドフィルタ画像，２ｎｄフィールドフィルタ画像をそれぞれブロックに分割するブロック分割部１４２１，１４２２，１４２３から構成される。

図１に示す誤差情報・差分情報算出部１４３は，誤差情報としてブロック単位でフレーム画像と原画像との間のＰＳＮＲを算出するＳＮＲ算出部１４３１と，１ｓｔフィールド画像と原画像との間のＰＳＮＲを算出するＳＮＲ算出部１４３２と，２ｎｄフィールド画像と原画像との間のＰＳＮＲを算出するＳＮＲ算出部１４３３と，ＳＮＲ算出部１４３２の出力とＳＮＲ算出部１４３３の出力との平均値を算出する平均値算出部１４３４と，ＳＮＲ算出部１４３１の出力と平均値算出部１４３４の出力との差分を算出し，符号化モード判定基準とする誤差差分情報を出力する減算器１４３５から構成される。

図３は，図１に示すブロック単位符号化部２００の構成例を示している。ブロック単位符号化部２００は，原画像データを入力すると，まず，ブロック分割部２０１において符号化モード格納メモリ１８に格納されている符号化モードからフレームモードでブロックを分割するかフィールドモードでブロックを分割するかを決め，原画像データをブロックに分割する。その後の処理は，通常の動き補償を用いる符号化処理と同様であり，まず，動き検出部２０２で動きベクトルを検出し，その動きベクトルとローカルデコード画像２０８とから予測部２０３により予測信号を生成する。

減算器２２０は，ブロック分割された原画像の信号と予測信号との差分である予測残差信号を算出し，ＤＣＴ変換部２０４は，予測残差信号に対して離散コサイン変換の直交変換を行う。量子化部２０５は，直交変換係数を量子化し，可変長符号化部２０９と逆量子化部２０６に出力する。可変長符号化部２０９は，量子化の結果をエントロピ符号化する。多重化部２１０では，ブロック単位で符号化モードの符号化データと，直交変換係数を量子化した結果の符号化データと，動きベクトルの符号化データとを多重化し，バッファ部２１１に格納する。バッファ部２１１に格納された符号化データは，符号化ストリームとして出力される。制御部２１２は，バッファ部２１１に格納された符号化データの発生符号量と目標符号量とから量子化部２０５における発生符号量の制御を行う。

逆量子化部２０６は，量子化部２０５の出力を逆量子化し，逆直交変換部２０７は，逆量子化により得られた直交変換係数を逆直交変換して予測残差信号を算出する。この結果と予測信号とを加算器２２１により加算することにより，ローカルデコード画像２０８を生成して，後の予測符号化で参照画像として用いるためにメモリに格納する。

図４は，図１に示すピクチャ単位フレーム符号化部３００の構成例を示している。図３に示すブロック単位符号化部２００では，ブロック単位にフレーム符号化とフィールド符号化を切り替えるブロックレベルの適応符号化を行っていたが，ピクチャ単位フレーム符号化部３００では，現在のピクチャの全体に対して，すなわちピクチャ内の全ブロックに対してフレーム符号化を行う。そのため，多重化部３１０では，図３の多重化部２１０と異なり，ブロック単位に符号化モードの符号化データを多重化することは行わない。他の部分の基本的な機能・動作は，図２に示すブロック単位符号化部２００と同様である。

図１に示すピクチャ単位フィールド符号化部４００は，原画像データの入力画像に対して，ピクチャ単位でトップフィールドとボトムフィールドのそれぞれのフィールド符号化を行うこと以外は，図４のピクチャ単位フレーム符号化部３００の構成とまったく同様であるため，図を用いた説明は省略する。

＜第１の例＞
図５は，図１に示す動画像符号化装置の第１の例の処理フローチャートである。第１の例では，符号化部２０として，ブロック単位符号化部２００とピクチャ単位フィールド符号化部４００とを用い，ピクチャ単位フレーム符号化部３００は用いない。すなわち，第１の例は，ピクチャ単位フレーム符号化モードを選択しない場合の例である。

まず，ステップＳ１００では，原画像データＢ＿ｏを入力し，ステップＳ１０１では，フィールド分割部１０において，原画像データＢ＿ｏをトップフィールド画像データＢ＿tfl と，ボトムフィールド画像データＢ＿bfl に分割する。

ステップＳ１０２では，分割されたフィールド画像を低域フィルタ処理部１４１へ入力し，所定の帯域幅ｒでフィルタ処理を行い，各フィールドフィルタ画像データＢ＿tfl ＿fil およびＢ＿bfl ＿fil を生成する。一方，分割をしないフレーム画像データＢ＿frは，原画像データＢ＿ｏそのものであり，それを直接，低域フィルタ処理部１４１へ入力し，上記帯域幅と同じｒでフィルタ処理を行い，フレームフィルタ画像データＢ＿fr＿fil を生成する。

ステップＳ１０３では，得られた各フィルタ画像データと原画像データをそれぞれブロック分割部１４２においてブロック単位に分割する。続いて，ステップＳ１０４では，分割されたブロックの誤差情報（例えばＰＳＮＲなど）を誤差情報・差分情報算出部１４３において算出する。ここで，Ｎを分割したブロックに与えるブロック番号とし，トップフィールドフィルタ画像データ，ボトムフィールドフィルタ画像データおよびフレームフィルタ画像データのブロック単位誤差情報を，それぞれＰ＿tfl ［Ｎ］，Ｐ＿bfl ［Ｎ］およびＰ＿fr［Ｎ］とする。また，Ｐ＿fl［Ｎ］＝ (Ｐ＿tfl ［Ｎ］＋Ｐ＿bfl ［Ｎ］) ／２とする。これら誤差情報の差分Ｄｂ＝Ｐ＿fr［Ｎ］−Ｐ＿fl［Ｎ］を算出する。すなわち，この誤差情報の差分Ｄｂは，ブロック単位でフレーム画像のＰＳＮＲからフィールド画像のＰＳＮＲ（トップフィールド画像のＰＳＮＲとボトムフィールド画像のＰＳＮＲの平均値）を引いた値である。この差分Ｄｂが大きいということは，フィルタ処理によるフィールド画像の画質劣化の程度が，フレーム画像の画質劣化の程度に比べてかなり大きいということである。

ステップＳ１０５では，ブロック数カウント部１５において，以下の条件を満たすブロックの数をＭとする。

Ｄｂ≧Ｔｈ１ …(a)
ここで，Ｔｈ１は，閾値として与えられた定数であり，入力画像サイズ，用いるフィルタの特性などにより異なる値となる。Ｍのカウント結果から，ピクチャに含まれるブロックの総数に対する条件(a) を満たすブロックＭの比率（割合）であるＲを算出する。

Ｒ＝Ｍ／ブロック総数
ステップＳ１０６では，Ｒがある閾値Ｔｒ以上かどうかを判定し，Ｒが閾値Ｔｒより小さい場合，ピクチャ単位フィールド／フレーム符号化選択部１６において，ピクチャ単位フィールド符号化を選択し，ステップＳ１０７で，ピクチャ単位フィールド符号化部４００によるピクチャ単位符号化を行う。Ｒが閾値Ｔｒより小さいということは，符号化対象ピクチャの全ブロックに対してフィールド符号化を行っても，画像品質の劣化は小さいと考えられるからである。なお，後述するように誤差情報としてＰＳＮＲではなく，例えば原画像とフィルタ後の画像との平均二乗誤差（ＭＳＥ）等を用いることもでき，この場合には，閾値との大小関係がＰＳＮＲを用いる場合と逆になる。これは，以下に説明する他の例においても同様である。

ステップＳ１０６の判定において，Ｒが閾値Ｔｒ以上の場合，第１の例では，ステップＳ１０８へ進み，ブロックレベル適応符号化を選択する。ブロックレベル適応符号化の場合，ブロックレベル単位フィールド／フレーム符号化選択部１７が動作し，ステップＳ１０９により，誤差情報・差分情報算出部１４３で算出したフィールドフィルタ画像のブロック単位誤差情報およびフレームフィルタ画像のブロック単位誤差情報を参照して，以下の条件を満たすか否かを判定して，ブロック単位フレーム符号化またはブロック単位フィールド符号化のいずれかを選択する。

Ｄｂ≧Ｔｈ２ …(b)
ここで，Ｔｈ２は閾値として与えられた定数であり，条件(a) のＴｈ１と同様に入力画像サイズ，用いるフィルタの特性などにより異なる値となる。この条件(b) を満たす場合には，ブロック単位フレーム符号化を選択し，その符号化モードの情報を符号化モード格納メモリ１８に格納する。また，条件(b) を満たさない場合には，ブロック単位フィールド符号化を選択し，その符号化モードの情報を符号化モード格納メモリ１８に格納する。

ブロック単位符号化部２００は，符号化対象のピクチャに対し，ブロックごとの符号化モードにより，ブロック単位フレーム符号化のときには，ステップＳ１１０により対象ブロックについてフレーム符号化を行い，ブロック単位フィールド符号化のときには，ステップＳ１１１により対象ブロックについてフィールド符号化を行う。

以下では，上記第１の例の手法について具体例を用いて説明する。原画像の画像サイズを１９２０×１０８０とし，フィルタの帯域幅をｒ＝０．５（水平垂直方向に対し周波数成分を半分にカットするローパスフィルタ），定数Ｔｈ１＝１，Ｔｈ２＝２，Ｔｒ＝０．８とする。

まず，原画像をフィールド分割部１０において，トップ（１ｓｔ）フィールド，ボトム（２ｎｄ）フィールドに分割し，フィールド画像（１９２０×５４０）とする。これらを低域フィルタ処理部１４１へ入力し，０．５の帯域幅でフィルタ処理を行い，各フィールドフィルタ画像Ｂ＿tfl ＿fil およびＢ＿bfl ＿fil を得る。一方，原画像をフレーム画像とする場合，そのまま低域フィルタ処理部１４１へ入力し，０．５の帯域幅でフィルタ処理を行い，フレームフィルタ画像Ｂ＿fr＿fil を得る。

次に，ブロック分割部１４２において，各フィールドフィルタ画像およびフレームフィルタ画像を１６×１６，１６×３２にそれぞれ分割し，誤差情報・差分情報算出部１４３において，例えば誤差情報として各フィルタ画像の原画像に対するＰＳＮＲを測定する。その結果が，Ｐ＿tfl ［１］＝２６（ｄＢ），Ｐ＿tfl ［２］＝２５（ｄＢ），……，Ｐ＿bfl ［１］＝２４（ｄＢ），Ｐ＿bfl ［２］＝２３（ｄＢ），……，Ｐ＿fr［１］＝２７（ｄＢ），Ｐ＿fr［２］＝２５（ｄＢ），……であったとする。なお，上記の場合の分割数は，１２０×３４＝４０８０となる。

次に，ブロック数カウント部１５において，これらを条件(a) に当てはめる。条件(a) を満たすブロック数Ｍが３０００であったとする。この場合，Ｒ（＝３５００／４０８０）がＴｒ（＝０．８）未満となるため，ピクチャ単位フィールド／フレーム符号化選択部１６において，ピクチャ単位フィールド符号化を選択し，符号化部２０にて符号化を行い，処理を終了する。

一方，ブロック数Ｍが３５００であった場合，ＲがＴｒ以上となるため，以下の処理を進める。先に誤差情報・差分情報算出部１４３において算出した誤差情報の差分Ｄｂを参照し，ブロック単位フィールド／フレーム符号化選択部１７において，各ブロックごとに，条件(b) に当てはめる。そうすると，１番目のブロックでは条件が満たされるためブロック単位フレーム符号化を，２番目のブロックでは条件が満たされないためブロック単位フィールド符号化を選択し，以降のブロックについても同様に選択し，ブロック単位符号化部２００においてブロックレベルの適応符号化を行い，処理を終了する。

＜第２の例＞
図６は，図１に示す動画像符号化装置の第２の例の処理フローチャートである。第２の例では，符号化部２０として，ブロック単位符号化部２００とピクチャ単位フィールド符号化部４００の他に，ピクチャ単位フレーム符号化部３００に用いる。すなわち，第２の例は，ピクチャ単位フレーム符号化モードについてもモード選択の対象とする場合の例である。

図６のステップＳ２０１からＳ２０７までの処理は，図５に示す第１の例のステップＳ１０１からＳ１０７までの処理と同様である。第２の例が第１の例と異なるのは，フレーム内のブロック総数に対する条件(a) を満たすブロック数Ｍの割合Ｒと比較する閾値が，Ｔｒ１とＴｒ２の２つ用意されており，第２の例では，ＲとＴｒ２の比較によって（ステップＳ２０８），Ｒ≦Ｔｒ２ではない場合に，対象ピクチャに対してピクチャ単位フレーム符号化を行う（ステップＳ２０９）という点である。以降のブロックレベル適応符号化の処理は，前述した第１の例と同様である。

なお，閾値Ｔｒ１は，第１の例の閾値Ｔｒと同じであり，Ｔｒ２は，Ｔｒ１より大きい値をとる閾値である（Ｔｒ２＞Ｔｒ１）。

すなわち，符号化モードは次のように選択される。
・Ｒ＜Ｔｒ１の場合：
ピクチャ単位フィールド／フレーム符号化選択部１６によって，ピクチャ単位フィールド符号化が選択され，ピクチャ単位フィールド符号化部４００によって，対象ピクチャに対し，フィールド動き検出処理を含むピクチャ単位フィールド符号化が行われる。
・Ｒ＞Ｔｒ２の場合：
ピクチャ単位フィールド／フレーム符号化選択部１６によって，ピクチャ単位フレーム符号化が選択され，ピクチャ単位フレーム符号化部３００によって，対象ピクチャに対し，フレーム動き検出処理を含むピクチャ単位フレーム符号化が行われる。
・Ｔｒ１≦Ｒ≦Ｔｒ２の場合：
ブロックレベル適応符号化が選択され，ブロック単位フィールド／フレーム符号化選択部１７によって，ブロック単位に誤差情報の差分Ｄｂと閾値Ｔｈ２との比較により，ブロック単位フレーム符号化，ブロック単位フィールド符号化の選択を行う。すなわち，Ｄｂ≧Ｔｈ２であれば，対象ピクチャにおけるそのブロックに対し，ブロック単位フレーム符号化を選択し，Ｄｂ＜Ｔｈ２であれば，対象ピクチャにおけるそのブロックに対し，ブロック単位フィールド符号化を選択して，ブロック単位符号化部２００で符号化を行う。

＜第３の例＞
図７は，第３の例におけるフレーム符号化，フィールド符号化を適応的に選択する動画像符号化装置の一例を示したブロック図である。図１の動画像符号化装置に対して，さらに量子化パラメータ適応部１９が設けられている。他の部分については，図１で説明した動画像符号化装置と同様であるので，説明を省略する。

第３の例は，量子化パラメータ適応部１９を設けることにより，各符号化モードの選択に用いる閾値Ｔｈ１，Ｔｈ２およびＴｒ（またはＴｒ１，Ｔｒ２）を量子化パラメータに応じて可変とするものである。この第３の例は，つまり第１の例および第２の例で用いる閾値を量子化パラメータに応じて変化させることにより，より一層の高精度化を可能とする。

この量子化パラメータ適応部１９は，各モード選択の直前で閾値を適応的に変化させるようにしてもよいし，また，処理の最初の部分で各閾値を一括して決めるようにしてもよい。

量子化パラメータが小さい場合，画像を細かく量子化することになる。細かく量子化することでその分だけ画質は向上する。すなわち，量子化パラメータが小さいと発生符号量は大きくなる。この前提のもとで，例えば閾値を次のように決める。

・Ｔｈ１およびＴｈ２について
フィールド画像は，垂直方向に１ライン飛ばしとなっているため，フレーム画像に比べて相関が低く，垂直方向に同一帯域幅のフィルタを施した場合には，一般的にフレーム画像よりもＳＮ比は悪くなる。このことからＴｈ１およびＴｈ２を符号化効率を考慮して適切な値に決める。この値については，量子化パラメータが変化しても影響は小さいため，量子化パラメータによって変化させなくてもよい。

・Ｔｒ（Ｔｒ１，Ｔｒ２）について
ブロック単位でフレーム／フィールド符号化を切り替えた場合，フレーム単位で切り替えるよりも符号化効率は高くなる。しかし，どちらの符号化を実施するかを示すための情報をブロック単位に付加する必要があり，この付加情報が増加することで全体的な情報量が増加し，符号化効率が低下する可能性がある。そのため，Ｔｒは，大きめに設定するほうが効率が高い（例えばＴｒ＝０．８等）。ただし，量子化パラメータが小さい（画質が良い）場合，符号量が多くなるため，全体の情報量に占める付加情報の割合が小さくなる。そのため，Ｔｒは，量子化パラメータが小さい場合には，小さめに設定するほうがよい。

＜他の例について＞
前述した例において，条件(a) の左辺はトップフィールド，ボトムフィールドの平均誤差情報値としているが，フィールド間での相関は高いため，どちらか一方の誤差情報値だけを用いて算出しても同様の効果を奏する。また，誤差情報としてＰＳＮＲを用いているが，平均二乗誤差などを用いる場合にも同様の効果を奏する。なお，モード選択における誤差差分情報などと閾値との比較では，誤差情報として何を用いるかによって大小関係が変わる。

さらに，フィルタ処理で用いる帯域幅ｒは，０＜ｒ＜１の値をとることができ，その値によってフィルタ特性は異なり，フィルタ定数もそれに応じ異なるものとなるが，同様の効果を奏する。フィルタ処理も垂直および水平方向に同じ帯域幅で行っているが，垂直水平方向で別々の帯域幅を用いたり，どちらか一方，特に垂直方向のみにフィルタ処理を施す場合にも同様の効果を奏する。

また，Ｒはブロック比率としているが，画像サイズ（解像度）とブロック数との関係を示す表などを用いる場合にも同様の効果を奏する。また，ブロック分割部１４２，誤差情報・差分情報算出部１４３およびブロック数カウント部１５を経た結果により，ピクチャ単位フィールド符号化であるか否かを選択しているが，フィールドフィルタ画像およびフレームフィルタ画像の誤差情報（各ブロック単位誤差情報の平均値）のみからピクチャ単位フィールド符号化を選択する場合にも同様の効果を奏する。また，第３の例における量子化パラメータ適応部１９においては，量子化パラメータの代わりに，目標符号量や発生符号量などを用いる場合にも同様の効果を奏する。

さらに，低域フィルタ処理部１４１におけるフィルタ処理をノイズ除去や符号化効率の改善を目的としたプレフィルタ処理とすることにより，プレフィルタ処理を具備する符号化装置プレフィルタ処理とフィールド／フレーム選択処理を一括して行うことができるため，非常に整合性が高く，演算量を増やすことなく高機能化が可能となり，有益なものとなる。

以上の符号化モード選択処理は，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも，ネットワークを通して提供することも可能である。

１０ フィールド分割部
１１ フレーム画像
１２ １ｓｔフィールド画像
１３ ２ｎｄフィールド画像
１４ 符号化モード判定基準算出部
１５ ブロック数カウント部
１６ ピクチャ単位フィールド／フレーム符号化選択部
１７ ブロック単位フィールド／フレーム符号化選択部
１８ 符号化モード格納メモリ
１９ 量子化パラメータ適応部
２０ 符号化部
１４１ 低域フィルタ処理部
１４２ ブロック分割部
１４３ 誤差情報・差分情報算出部
２００ ブロック単位符号化部
３００ ピクチャ単位フレーム符号化部
４００ ピクチャ単位フィールド符号化部

Claims (9)

1. インターレース映像に対してフレーム符号化とフィールド符号化とを適応的に選択して符号化する動画像符号化における符号化モード選択方法において，
   入力画像をトップフィールドおよびボトムフィールドのフィールドピクチャに分割する過程と，
   入力画像に対して所定の帯域幅によりフレームピクチャ単位でフィルタ処理を行う過程と，
   入力画像に対して所定の帯域幅によりフィールドピクチャ単位でフィルタ処理を行う過程と，
   入力画像を符号化単位の複数画素で構成されるブロックに分割する過程と，
   フィルタ処理後のフレームピクチャと入力画像との誤差情報をブロック単位で算出する過程と，
   フィルタ処理後のフィールドピクチャと入力画像のフィールドピクチャとの誤差情報をブロック単位で算出する過程と，
   前記フレームピクチャと前記フィールドピクチャとのブロック単位誤差情報の差分を符号化モード判定基準として算出する過程と，
   前記符号化モード判定基準を用いて，ピクチャ単位フレーム符号化，ピクチャ単位フィールド符号化，またはブロックレベル適応符号化におけるブロック単位フレーム符号化もしくはブロック単位フィールド符号化のいずれか複数を含む符号化モードの中から一つの符号化モードを選択する過程とを有する
   ことを特徴とする符号化モード選択方法。
2. 請求項１に記載の符号化モード選択方法において，
   前記符号化モードを選択する過程では，前記フレームピクチャと前記フィールドピクチャとのブロック単位誤差情報の差分が，所定の閾値以上となるブロック数をカウントし，そのカウントしたブロック数の総ブロック数に対する割合を算出し，その割合からピクチャ単位フレーム符号化またはピクチャ単位フィールド符号化のいずれかの符号化モードを選択する
   ことを特徴とする符号化モード選択方法。
3. 請求項１または請求項２に記載の符号化モード選択方法において，
   前記符号化モードを選択する過程では，前記フレームピクチャと前記フィールドピクチャとのブロック単位誤差情報の差分と，所定の閾値との大小をブロック単位で比較することにより，ブロックレベル適応符号化におけるブロック単位フレーム符号化またはブロック単位フィールド符号化のいずれかの符号化モードを選択する
   ことを特徴とする符号化モード選択方法。
4. 請求項２または請求項３に記載の符号化モード選択方法において，
   量子化パラメータまたは目標符号量または発生符号量によって前記符号化モードの選択に用いる閾値を制御する過程を有する
   ことを特徴とする符号化モード選択方法。
5. インターレース映像に対してフレーム符号化とフィールド符号化とを適応的に選択して符号化する動画像符号化における符号化モード選択装置において，
   入力画像をトップフィールドおよびボトムフィールドのフィールドピクチャに分割する手段と，
   入力画像に対して所定の帯域幅によりフレームピクチャ単位でフィルタ処理を行う手段と，
   入力画像に対して所定の帯域幅によりフィールドピクチャ単位でフィルタ処理を行う手段と，
   入力画像を符号化単位の複数画素で構成されるブロックに分割する手段と，
   フィルタ処理後のフレームピクチャと入力画像との誤差情報をブロック単位で算出する手段と，
   フィルタ処理後のフィールドピクチャと入力画像のフィールドピクチャとの誤差情報をブロック単位で算出する手段と，
   前記フレームピクチャと前記フィールドピクチャとのブロック単位誤差情報の差分を符号化モード判定基準として算出する手段と，
   前記符号化モード判定基準を用いて，ピクチャ単位フレーム符号化，ピクチャ単位フィールド符号化，またはブロックレベル適応符号化におけるブロック単位フレーム符号化もしくはブロック単位フィールド符号化のいずれか複数を含む符号化モードの中から一つの符号化モードを選択する手段とを備える
   ことを特徴とする符号化モード選択装置。
6. 請求項５に記載の符号化モード選択装置において，
   前記符号化モードを選択する手段は，前記フレームピクチャと前記フィールドピクチャとのブロック単位誤差情報の差分が，所定の閾値以上となるブロック数をカウントし，そのカウントしたブロック数の総ブロック数に対する割合を算出し，その割合からピクチャ単位フレーム符号化またはピクチャ単位フィールド符号化のいずれかの符号化モードを選択する
   ことを特徴とする符号化モード選択装置。
7. 請求項５または請求項６に記載の符号化モード選択装置において，
   前記符号化モードを選択する手段は，前記フレームピクチャと前記フィールドピクチャとのブロック単位誤差情報の差分と，所定の閾値との大小をブロック単位で比較することにより，ブロックレベル適応符号化におけるブロック単位フレーム符号化またはブロック単位フィールド符号化のいずれかの符号化モードを選択する
   ことを特徴とする符号化モード選択装置。
8. 請求項６または請求項７に記載の符号化モード選択装置において，
   量子化パラメータまたは目標符号量または発生符号量によって前記符号化モードの選択に用いる閾値を制御する手段を備える
   ことを特徴とする符号化モード選択装置。
9. 請求項１から請求項４までのいずれか１項に記載の符号化モード選択方法を，コンピュータに実行させるための符号化モード選択プログラム。

Images