JP2009188826A

JP2009188826A - 動画像符号化装置

Info

Publication number: JP2009188826A
Application number: JP2008027858A
Authority: JP
Inventors: Takahiro Takimoto; 崇博瀧本; Tomoya Kodama; 知也児玉
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2008-02-07
Filing date: 2008-02-07
Publication date: 2009-08-20

Abstract

【課題】
符号化前に符号量と量子化スケールとの関係関数を推定することで、精度良く割当符号量の算出を行い、より安定したレート制御を行うことが可能な動画像符号化装置を提供すること。
【解決手段】
入力画像の画像特徴量として、Ｉピクチャではフレーム内アクティビティを、Ｐ、Ｂピクチャではフレーム内アクティビティとフレーム間差分アクティビティの相乗平均を画像特徴量として算出する（ステップS0）。また過去の符号化済み画像での実測の符号化複雑度と画像特徴量との関係式をピクチャタイプ毎に推定し、推定された関係式にステップS０で求められた画像特徴量を当てはめることで推定符号化複雑度を算出する（ステップS1）。推定符号化複雑度から、入力画像を符号化する際の量子化スケールを決定する（ステップS5）ことを特徴としている。
【選択図】図２

Description

本発明は、動画像符号化装置に関する。

動画像符号化でのビットレート制御には様々な手法が提案されている。

特許文献１は、入力画像若しくは入力画像と参照画像との差分画像の平均差分絶対値和を画像特徴量として求め、固定的なテーブルを参照して画像特徴量に応じた発生符号量と量子化スケールとの関係を推定してビットレート制御を行う手法を開示する。

特許文献２は、入力画像のアクティビティを直前に符号化された同じピクチャタイプの画像のアクティビティで除算したものに、入力画像の直前に符号化された同じピクチャタイプの画像の実測の符号化複雑度を乗算することで、入力画像の推定符号化複雑度を算出して、ビットレート制御を行う手法を開示する。
特開2003-18590公報特開2001-8215公報

画像特徴量は符号化特性を完全に表現できるものではないため、前述のような固定的なテーブルを用いるだけでは前記関係式を十分に予測できないというという問題を有する。図７は異なるシーケンス4種類の画像をフレーム内符号化した際に得られる符号化複雑度(符号化を行う困難さを数値化したもの)と、後述するマクロブロックのアクティビティの関係を示したものである。特許文献1によれば平均差分絶対値和は、元来マクロブロックのアクティビティを近似的に求めるために採用されたパラメータであるが、図７に示すように画像シーケンスによってアクティビティと符号化複雑度との間の関係にばらつきが生じる。その結果、特許文献１の手法では、算出される量子化スケールに誤りが生じる場合がある。

また、一般的に動画像における近接するフレーム間の相関は高いことが知られているが、直前に符号化された画像と入力画像で符号化複雑度とアクティビティとの関係の特性が異なる場合がある。そのため、特許文献２の手法は算出された量子化スケールで適切な符号量を割り当てることができないという問題を有する。

本発明は、上記従来技術の課題点を解決するためになれさたものであって、ピクチャタイプ毎に符号化済み画像の画像特徴量と、符号化の際に実際に発生した実測の符号化複雑度との関係特性を示す関数の推定を順次行うことでレート制御の精度を向上させることを可能とする動画像符号化装置を提供することを目的とする。

上記目的を達成するために本発明は、動画像を符号化する符号化装置において、入力画像のピクチャタイプに応じた画像特徴量を求める第1の解析手段と、前記画像特徴量から前記入力画像の推定される符号化複雑度である推定符号化複雑度を算出する推定複雑度算出手段と、前記推定符号化複雑度と割当符号量とに基づいて量子化スケールを決定する決定手段と、前記量子化スケールに従った量子化を行うことにより前記入力画像を符号化して符号化データを生成する符号化手段と、前記符号化データの発生符号量と前記量子化スケールとに基づいて前記符号化データの符号化複雑度を求める第２の解析手段と、既に符号化されたフレームの前記符号化複雑度と前記画像特徴量とに基づいて、ピクチャタイプ毎に前記入力画像の画像特徴量と前記符号化複雑度の関係を示す関数を推定する関数推定手段とを有し、前記推定複雑度算出手段は、前記関数を用いて前記入力画像の前記画像特徴量から前記推定複雑度を算出することを特徴とする動画像符号化装置を提供する。

本発明によれば、適切な量子化スケールに基づいた符号量を割り当てることで、安定したレート制御を行うことが可能な動画像符号化装置を実現できる。

以下、図面を参照しながら発明の実施形態について説明する。ここで、互いに同じ部分には共通の符号を付して、重複説明は省略する。

図1は、本実施形態の動画像符号化装置を示すブロック図である。

本実施形態に係る動画像符号化装置は、入力画像解析器101と、符号化画像解析器102と、関数推定器103と、推定複雑度算出器104と、符号量算出器105と、量子化スケール決定器106と、符号化器107を備える。

本実施形態の動画像符号化装置に画像が入力されると入力画像解析器101は入力画像のピクチャタイプに従った画像特徴量を算出する。本実施形態では、画像特徴量Ciとしてフレーム内符号化ではアクティビティが、フレーム間符号化ではアクティビティとフレーム間差分アクティビティの相乗平均アクティビティが用いられる。入力画像解析器101は第１のバッファ108に画像特徴量Ciを格納する。本実施形態の関数推定器103は符号化複雑度Ｘiと画像特徴量Ciとの関係をXi=a+b×Ciという一次関数で近似する。関数推定器103は、この一次関数の定数項ａおよび係数ｂを推定する。関数を推定する際の近似方法は後述する。推定複雑度算出器104は、関数推定器103が推定した一次関数に入力画像解析器101で算出され第１のバッファ108に格納された入力画像の画像特徴量Ciを代入し、入力画像の推定符号化複雑度(X_pred,i(j))を算出する。なお、説明を簡単にするために、本実施形態では入力される順番によって入力画像のピクチャタイプが決定されるものとする。

また、割当符号量算出器105は、所定のビットレート(Bitrate)で動画像を符号化するために入力画像へ割り当てる適切な割当符号量（Ti）を算出する。量子化スケール決定器106は、割当符号量算出器105で算出された割当符号量（Ti）となるように、推定複雑度算出器104で算出された推定符号化複雑度と、割当符号量算出器105が算出したピクチャタイプ群毎の割当符号量(T_j)から、入力画像の量子化スケール(Q_j)をそれぞれ算出する。入力画像を符号化器107で符号化する際の量子化スケールQ_jを決定する。符号化器107は、決定された量子化スケールQ_jに基づいてH.264/MPEG-4 AVCに準拠した方式で符号化を行い、符号化された符号化データを出力する。

量子化スケール決定器106では、推定複雑度算出器104から求めた入力フレームjに対して算出された推定符号化複雑度(X_pred,i(j))と、割当符号量算出器105から得たピクチャタイプiに対応する割当符号量(T_j)とから、入力画像に対する量子化スケール(Q_j)を算出する。

符号化された入力画像は、出力されるとともに符号化画像解析器102で、実際に符号化器107で符号化するに際して発生した符号量と量子化スケールから実測の符号化複雑度(X_real,i(j))が解析される。まず、符号化画像解析器102は、実際に符号化器107で符号化するに際して発生した符号量を計測する。次に、実測の符号化複雑度を算出する。符号化複雑度(X)、量子化パラメータ(Q)、符号量(R)には式（1）の関係があることが知られている。

ここで、g_iはピクチャタイプ毎に決定される値であり同一のピクチャタイプであれば、画像によらずほぼ一定となることが知られている。実測符号化複雑度X_real,i(j)は、式（1）に発生符号量Rおよび符号化の際の量子化スケールＱを代入することによって算出することができる。本実施形態では入力画像１フレーム単位でピクチャタイプに応じて実測符号化複雑度を算出するものとする。なお、１フレーム内のマクロブロック毎に複数符号化モードがある場合には、符号化モードに応じて実測符号化複雑度を算出してもよい。

解析された実測符号化複雑度は第２のバッファ109に格納される。符号化前に入力画像解析器101で求められ、第１のバッファ108に格納された画像特徴量と符号化画像解析器102で求めたピクチャ毎の実測符号化複雑度の組((C_i(j),X_real,i(j)))を用いて関数算出部103で符号化複雑度と画像特徴量の関係式が再び推定される。この関係式に基づき、その後に入力される符号化対象の入力画像の推定符号化複雑度が符号化前に算出される。

次に、本発明に係る符号化器107について図面を参照し、説明する。

図３は、本実施形態に係る動画像符号化装置のうち、符号化器107及び量子化スケール決定部106の構成を抜き出して示したものである。符号化器107は、H.264/MPEG-4 AVCに準拠した動画像の符号化処理を行う。符号化器107は、動き検出器201、動き補償器202、離散コサイン変換器204、量子化器205、可変長符号化器206、逆離散コサイン変換器209、逆量子化器210を有する。

動き検出器201は、フレームメモリ207に蓄積された既に符号化された参照画像フレームから、入力画像の動きベクトルを検出する。動き補償器202は、参照画像フレーム上で動きベクトルが指し示す領域の画像信号から動き補償を行って予測画像を作成する。減算器203は、符号化する画像から予測信号を引いた予測残差画像を求める。離散コサイン変換器204は、予測残差画像の離散コサイン変換係数を求める。量子化スケール決定器106は量子化スケールを決定する。量子化器205は量子化スケールに応じて離散コサイン変換係数を量子化して、量子化離散コサイン変換係数を求める。可変長符号化器206は量子化離散コサイン変換係数を可変長符号化して符号化データを生成する。逆量子化器210は、量子化器205で求められた量子化離散コサイン変換係数データを逆量子化して復元離散コサイン変換係数を求める。逆離散コサイン変換器209は、復元離散コサイン変換係数を逆離散コサイン変換して残差画像を求める。加算器208は、残差画像に、動き補償器202が作成した予測画像を加えて符号化の結果である画素値を再現したローカルデコード画像を得る。フレームメモリ207は、符号化画像を一定量、蓄積して送出する。

次に、図２は、本実施形態の動画像符号化装置による符号化処理のフローチャートである。

入力画像が入力されると入力画像解析器101は、画像特徴量(C_i)を算出する（ステップS0）。算出された画像特徴量は、第１のバッファ108に格納されると共に、推定複雑度算出器104に出力される。

次に、ステップS0で算出した入力画像の画像特徴量から、入力画像の推定符号化複雑度(X_pred,i)を算出する。関数推定器103は、後述する方法で符号化画像解析器102が算出した過去に符号化された画像の実測の符号化複雑度と、入力画像解析器101が解析したその画像の符号化前の画像特徴量の組から符号化複雑度と画像特徴量との関係式を推定する。関数推定器103が推定した符号化複雑度と画像特徴量との関係式に、入力画像解析器101が算出した入力画像の画像特徴量を代入することで、推定複雑度算出器104は該入力画像の推定符号化複雑度(X_pred,i)を算出する (ステップS1)。

あらかじめ指定した区間内のすべての符号化対象である画像群それぞれの入力画像について画像特徴量の算出、及び画像特徴量に対応する推定符号化複雑度の算出が行われるまでステップＳ０からステップＳ１を繰り返す（ステップS2）。

次に、割当符号量算出器105は、所定のビットレート(Bitrate)で動画像を符号化するために必要な、その区間内の符号化対象の入力画像の集団に対する割り当てる符号量を算出する。割当符号量算出器105は後述する方法で区間内に割り当てる符号量(Bit_gop)を算出する。算出された区間内割り当て符号量(Bit_gop)を元に、区間内のピクチャタイプ毎の入力画像集合であるピクチャタイプ群毎に割り当てる割当符号量（Tj）を算出する（ステップS3）。

次に、量子化スケール決定器106が、区間内の一つ一つのフレームの符号化の際の量子化スケールを決定する（ステップS4）。ステップS１で算出された推定複雑度算出器104が求めた入力フレームjに対する推定符号化複雑度(X_pred,i(j))と、ステップS3で割当符号量算出器105が算出したピクチャタイプ群毎の割当符号量(T_j)から、入力フレームjの量子化スケール(Q_j)をそれぞれ算出する。入力フレームjの量子化スケール(Q_j)は、式（２）によって決定する。

ここでg_iは、ピクチャタイプ毎に決定される固定値であり、同一のピクチャタイプであればフレームによらずほぼ一定となることが知られている。

次に、決定した量子化スケールQ_jに基づいて符号化器107がH.264/MPEG-4 AVCに準拠した方式で符号化を行い、符号化済み画像を出力する（ステップS5）。

次に、ステップS４で符号化された符号化済み画像の符号化複雑度である実測符号化複雑度(X_real,i(j))を符号化画像解析器102が解析する（ステップS6）。符号化画像解析器102は、実測符号化複雑度を符号化済み画像から得られる発生符号量(R_real,j)と符号化器107が符号化を行った際の量子化スケール(Q_j)から算出し、第２のバッファ109に格納する。実測符号化複雑度は、式（３）によって求められる。

以上、ステップS0からステップS6の処理を入力画像がなくなるまで繰り返すこととする。

次に、ステップS0で入力画像解析部101が入力画像の画像特徴量を算出する方法を詳細に説明する。

図４は、入力画像のフレームの構成を示すモデル図である。入力画像は複数の画素から構成されており、図４に示すように16x16画素の集合からなるマクロブロック(MB)から構成されている。また、マクロブロックは8x8画素の集合からなるサブマクロブロック(SubMB)に更に分割される。本実施形態に係る画像符号化処理は、このように規定されたマクロブロック毎に行っている。

図５は、入力画像の符号化の際の予測構造の例を示す図である。ピクチャ同士を結ぶ実線もしくは破線の矢印は、フレーム間符号化の際の予測方向を示すものである。

本実施形態では、各画像フレームの画像特徴量を算出する際にサブマクロブロックの輝度成分の分散のフレーム内での平均値であるアクティビティ（Activity）を利用する。ここで、Activity(Y)は入力画像フレームの8x8サブマクロブロックの輝度成分の分散値のフレーム内での平均値で、式（４）、式（５）、式（６）によって以下の様に定義される。式（４）はサブブロックの輝度の平均を求める式である。

式（５）はサブブロックの輝度の分散を求める式である。

式（６）は、ピクチャ内のサブブロックの輝度の分散の平均値を求める式である。

以上の式によって、サブマクロブロックの輝度成分の分散のフレーム内での平均値であるアクティビティ（Activity）が算出される。

入力画像解析部101は、すべてのピクチャタイプの入力画像のフレームに対してフレーム内のアクティビティを算出する。

ここで、MPEGにおけるピクチャタイプについて簡単に説明する。ピクチャタイプはまず、Ｉ（Intra）ピクチャ、Ｐ（Predictive）ピクチャ、Ｂ（Bi-directionally Predictive）ピクチャに分けられる。Ｉピクチャは、フレーム間の差分を用いずに、そのフレームの情報のみによって符号化される画面であり、Ｉピクチャに含まれる全てのマクロブロックはフレーム内符号化されている。Ｐピクチャは、Ｉピクチャ、または過去のＰピクチャからの予測を行うことによって生成される画面である。これに対してＢピクチャは、２つのピクチャからの予測符号化によって得られる画面である。

本実施形態ではIピクチャの画像特徴量を入力画像のアクティビティとする。フレーム間符号化を行うPピクチャ、Bピクチャでは、入力画像と符号化する際に参照する参照画像に対応した原画像とのフレーム間の同じ位置の画素の各輝度成分の差分を求めた差分画像のアクティビティ(フレーム間差分アクティビティ)をさらに求める。Pピクチャ、Bピクチャは、フレーム内アクティビティとフレーム間差分アクティビティの相乗平均を画像特徴量とする。Bピクチャの画像特徴量は、２つの参照するフレーム間差分アクティビティのうち小さい値をもつ方と相乗平均をフレーム間差分アクティビティとして採用する。ピクチャの種類i=I,P,Bに対するそれぞれの、Iピクチャ、Pピクチャ、Bピクチャの画像特徴量はC_I、C_P、C_Bとすると、式（７）のように定義できる。

ここで、 Yi (i=I,P,B)は、ピクチャの種類i=I,P,Bに対するそれぞれの、Iピクチャ、Pピクチャ、Bピクチャの入力画像の輝度成分である。

Y_P−Y_{P_ref}は入力画像と予測構造に基づく参照画像に対応する原画像とのフレーム間の差分画像である。Y_P−Y_{P_ref}は入力画像と原参照画像とで同じ位置にある画素の輝度成分の差分を求めて得られる差分画像である。例えば、入力画像が図５におけるP1であった場合は、P0とP1との間で同一位置の各画素の輝度成分の差分を求めた差分画像を示している。Y_B−Y_{B_refk}(k=1、2)は、符号化する際に参照する2枚の参照画像に対応する原画像との当該符号化画像の差分を求めた差分画像を示している。min((Y_B−Y_{B_ref1}),( Y_B−Y_{B_ref2}))は、Y_B−Y_{B_refk}(k=1、2)のうち小さい方の以上のように、入力画像の画像特徴量を算出する。

上述のように、本実施形態に係る動画像符号化装置では、複雑度を求める基準となるパラメータである画像特徴量としてIピクチャではフレーム内のアクティビティを、Pピクチャ、Bピクチャではフレーム内のアクティビティとフレーム間差分画像のアクティビティの相乗平均を用いる。

Pピクチャ、Bピクチャでは、参照画像のローカルデコード画像から動き補償が行われ、その残差成分が離散コサイン変換、符号化される。しかしながらローカルデコード画像は、一般的に符号化により原画像に比べて高周波成分が失われている。したがって、本実施形態で用いた原画像との差分画像と比較して、ローカルデコード画像から動き補償された残差成分は、特に動きのない領域ではより多くの原画像に含まれる高周波成分が残っていると考えられる。そこで、符号化における残差成分の符号化複雑度を反映させるために本実施形態では、原画像に含まれる高周波成分を表す「原画像のアクティビティ」と、2つの画像の違いを表す「残差成分のアクティビティ」の相乗平均を用いている。両者の相乗平均を用いることで、符号化前に当該入力画像の符号化複雑度と相関の高いパラメータを得ることができる。

次に、ステップS１で符号化複雑度と画像特徴量との関係式を推定する方法について詳細に説明する。ステップS0で算出され第１のバッファ108に格納されている画像特徴量と、ステップS6で算出される過去の符号化済み画像の実測符号化複雑度とのフレームｊ毎の組((C_i(j),X_real,i(j)))とを用いて、符号化画像解析器102は符号化複雑度と画像特徴量との関係式を推定する。ピクチャタイプ毎に所定の数M_i(i=I,P,B)個の実測符号化複雑度X_realと画像特徴量C_i(j)の組から関数推定器103が近似関数を算出する。例えば、ピクチャタイプi(i=I,P,B)における画像特徴量(C_i)と符号化複雑度(X_i)の関係式の近似曲線を算出する方法として最小二乗法を用いた線形近似がある。最小二乗法を用いた近似曲線は、以下の式（８）で算出される。

このようにして求めた符号化複雑度と画像特徴量の関数を用いて、入力画像の符号化する際の推定画像複雑度の算出に用いる。

次に、ステップS３で割当符号量算出器105が、所定のビットレート(Bitrate)で動画像を符号化するために、各フレームに対して割当符号量を算出する方法について詳細に説明する。本実施形態の割当符号量算出器105は、1つの符号化単位である1GOP(通常はIピクチャの間隔)GOP単位で推定符号化複雑度を算出する。また、以下の説明では一例として、図５に示すように、１枚のIピクチャと、４枚のPピクチャと、１０枚のBピクチャとを１GOPに含む場合を扱う。１GOPに対する割り当てる符号量(Bit_gop)は（9）式に基づいて算出される。

ここで、T_gopはGOP区間が時間にして何秒あるかを表したものである。Bit_diffはひとつ前の1GOPに割り当てられた符号量と実際に発生した符号量との差である。

割当符号量算出器105は、符号化対象の1GOPに対して割り当てる符号量(Bit_gop)を算出し、その後にピクチャタイプ毎の割当符号量を算出する。ステップS1で、すでに1GOP内の各ピクチャに対して前述の推定符号化複雑度(X_{pred_I,}X_{pred_Pk,}X_{pred_Bj}, k=0,1,2,3, j=0,1,…,9)が求められている。それらの推定符号化複雑度を元に各ピクチャに割り当てる符号量を算出する。GOPの先頭のピクチャであるIピクチャに割り当てる符号量(T_I)は、ステップS1で算出したGOP内の各ピクチャにおける推定符号化複雑度(X_{pred_I}, X_{pred_Pk,}X_{pred_Bj})と式（9）で算出したBit_gopから式（１０）によって求めることができる。

ここで、K_PとK_Bは各ピクチャに対する符号量割当の重みを規定する定数を表している。また、N_P0、N_B0はそれぞれ当該GOP内に存在するPピクチャ、Bピクチャの枚数を示しており、例えば図５に示すGOP内のピクチャの構成の場合はN_P0=4、N_B0=10となる。

符号量が割り当てられたピクチャに対して、後述のステップS4、ステップS5で符号化を行うことにより、GOP内のn番目のピクチャの実際の発生符号量(R_real、n)が求まる。これを用いてGOP内の符号量を算出していない残りのピクチャに割り当てる符号量の総和(Bit_remain)を求める。GOP内のn枚のピクチャの符号化が終了した時点におけるBit_remainは、（1１）式によって計算される。

ここで、R_real、kは、GOP内のk番目のピクチャを実際に符号化したときに発生する発生符号量を示している。n番目のPピクチャ、Bピクチャに対する割り当て符号量は（12）式によって求まる。

ここで、N_Pn、N_Bnはそれぞれn番目のピクチャの符号化時に当該GOPに残っているPピクチャ、Bピクチャの枚数を示す。

図６は、ステップS１でピクチャ毎に所定のM_i(i=I,P,B)個の第２のバッファに格納された実測符号化複雑度と第１のバッファに格納された画像特徴量の組から、関数推定器103が近似直線を推定する例を示す図である。

一般的に動画像における近接するフレーム間の相関は高いことが知られている。したがって、前述の実測符号化複雑度および画像特徴量も近接するフレーム間で似通った値になることが予想されるが、ある程度の長い区間について同一ピクチャタイプの実測符号化複雑度と画像特徴量を調べることで、両者の関係を示す関数を高い精度で推定することができる。

また、ピクチャタイプ毎に複数個の画像特徴量と過去の符号化結果から算出した実測符号化複雑度の組から得られる関係式を随時更新することでシーンに対する符号化複雑度の推定精度の追従性を向上させることができる。その結果、割当て符号量の算出精度が向上することとなる。

更に、本実施形態によれば1GOPにわたって原画像を先読みしあらかじめ1GOPを構成する入力フレーム毎に独立に画像特徴量を算出し、符号化する前に符号量−量子化スケール関数を入力フレーム毎に独立に算出できる。これによって、GOP内で同一タイプのピクチャには同一の量子化スケールが割り当たるように符号量を割り当てることが可能となり、画像全体を通して画質を安定させている。

また、本実施形態では1GOP分の符号化複雑度を符号化処理に先立って先読みすることとしたが、その区間は任意の長さでも良い。

上記実施形態では、アクティビティを8x8画素のサブマクロブロックごとの輝度成分の分散値のフレーム全体での平均値として求めたが、任意の大きさのブロックごと、例えば4x4画素や16x16画素の輝度成分の分散値のフレーム全体での平均値としても良い。

また、上記実施形態ではアクティビティを求める際、各画素の輝度成分のみを用いて画像特徴量を算出したが、輝度成分だけではなく色差成分を含めても良い。

上記実施形態では、アクティビティを8x8サブマクロブロックごとの輝度成分の分散値の平均値として求めたが、8x8画素のサブマクロブロックごとの輝度成分の分散値の最小値の平均としても良い。

また、Pピクチャ、Bピクチャの画像特徴量として、アクティビティとフレーム間差分アクティビティとの相乗平均を用いたが、アクティビティとフレーム間差分アクティビティをそれぞれ重み付けしたもの、例えば式（13）で定義されるものでも良い。

ここで、αは重み付けを行う定数である。式（8）で与えられる符号化複雑度と画像特徴量の関数を推定した際の相関係数の値に応じて変化させることも可能である。

また、本実施形態では、関数推定器103では符号化複雑度−画像特徴量関数を求める際の近似関数を推定する際一般的な最小二乗法を用いた。しかし、（C_i,X_{real, i(j)}）に関して入力画像に近いフレームの符号化結果から求まった符号化複雑度ほど大きな重みを設けた重み付き最小二乗法を用いても良い。重み(α)の基準としては、例えば指数加重移動平均を用いて式（14）のように求めても良い。

ここで、Nは最新の符号化結果から何枚離れた符号化結果であるかを示すものとする。

また、ステップS１で符号化複雑度と画像特徴量関数を推定する際に線形近似を用いることとしたが累乗近似を用いても良い。

また、符号化器107はH.264/MPEG-4 AVC規格に準ずるように符号化を行ったが、MPEG-2、MPEG-4などの規格に準ずるような符号化処理を行っても良い。

また、最初の数フレームに関しては、それぞれの画像特徴量を算出した後に推定符号化複雑度の算出を行わずに符号化処理を行い、符号化済みのフレームの実測の符号化複雑度を解析し画像特徴量−符号化複雑度関数を算出する。その後の入力画像に対しては上述のように符号化に先立ち推定符号化複雑度の算出を行う。

また、Pピクチャの参照フレーム(Y_{P_ref})を1フレームのみとして説明したが、H.264/MPEG-4 AVCで規定されている複数の参照フレームを使用する際には、Bピクチャと同様に複数の参照フレームに対して差分画像を求めアクティビティを算出すれば良い。また、Bピクチャで更に多くの参照画像があった場合においても、同様に全ての参照画像に対して差分画像を求めアクティビティを算出すれば良い。

また、プログレッシブ方式の場合、画像特徴量であるアクティビティはフレーム単位でよいが、インターレース方式の場合は、フィールド単位で求めるのが好ましい。

本実施形態に係る動画像符号化装置の構成を示すブロック図本実施形態の動画像符号化装置が入力された動画像を符号化する動作を示すフローチャート。本実施形態の動画像符号化装置のうち符号化器及び量子化スケール決定器構成を抜き出して示したブロック図。入力画像のフレーム内の構成を示すモデル図。符号化ピクチャ構造の例を示す図。最小二乗法を利用し画像特徴量−符号化複雑度関数の近似曲線を算出した図。異なるシーケンス4種類の画像を画面内符号化した際の符号化複雑度とマクロブロックのアクティビティの関係を示す図。

符号の説明

101…入力画像解析器
102…符号化画像解析器
103…関数推定器
104…推定複雑度算出器
105…割当符号量算出器
106…量子化スケール決定器
107…符号化器
108…第１のバッファ
109…第２のバッファ

201…動き検出器
202…動き補償器
203…減算器
204…離散コサイン変換器
205…量子化器
206…可変長符号化器
207…フレームメモリ
208…加算器
209…逆離散コサイン変換器
210…逆量子化器

Claims

動画像を符号化する符号化装置において、
入力画像のピクチャタイプに応じた画像特徴量を求める第1の解析手段と、
前記画像特徴量から前記入力画像の推定される符号化複雑度である推定符号化複雑度を算出する推定複雑度算出手段と、
前記推定符号化複雑度と割当符号量とに基づいて量子化スケールを決定する決定手段と、
前記量子化スケールに従った量子化を行うことにより前記入力画像を符号化して符号化データを生成する符号化手段と、
前記符号化データの発生符号量と前記量子化スケールとに基づいて前記符号化データの符号化複雑度を求める第２の解析手段と、
既に符号化されたフレームの前記符号化複雑度と前記画像特徴量とに基づいて、ピクチャタイプ毎に前記入力画像の画像特徴量と前記符号化複雑度の関係を示す関数を推定する関数推定手段とを有し、
前記推定複雑度算出手段は、前記関数を用いて前記入力画像の前記画像特徴量から前記推定符号化複雑度を算出することを特徴とする動画像符号化装置。
前記第1の解析手段は、
前記入力画像を所定の大きさに分割したブロック毎の画素値の分散から前記入力画像の分散を求める第３の解析手段と、
前記入力画像がフレーム間符号化を行うピクチャタイプである場合には、符号化する際に参照する参照画像と前記入力画像の差分画像を所定の大きさに分割したブロック毎の画素値の分散から前記差分画像のフレーム内の分散であるフレーム間差分分散を求める第４の解析手段と、
前記入力画像がフレーム内符号化を行うピクチャタイプである場合には前記フレーム内分散を前記入力画像の画像特徴量とし、前記入力画像がフレーム間符号化を行うピクチャタイプである場合には前記フレーム内分散と前記フレーム間差分分散と乗算したものに基づいて算出する値を前記入力画像の画像特徴量として求める特徴量計算手段とを具備することを特徴とする請求項１記載の動画像符号化装置。
前記入力画像がフレーム間符号化を行うピクチャタイプである場合、前記特徴量計算手段が求める前記入力画像の画像特徴量は、前記フレーム内分散と前記フレーム間差分分散の相乗平均であることを特徴とする請求項２記載の動画像符号化装置。
前記入力画像がフレーム間符号化を行うピクチャタイプであり、かつ符号化する際に参照する参照画像が複数枚の場合、第４の解析手段はそれぞれの参照画像に対応する前記差分画像に対して前記フレーム間差分分散を算出し、
前記特徴量計算手段は前記第４の解析手段が算出した複数の前記フレーム間差分分散のうちフレーム間差分分散値の最小値と前記フレーム内分散とを乗算したものに基づいて前記入力画像の特徴量を求める事を特徴とする請求項２に記載の動画像符号化装置。
前記関数推定手段は前記符号化済画像の符号化複雑度と、前記符号化済画像に対応する画像特徴量の組から最小二乗法を用いた線形近似によって前記関数を推定する事を特徴とする請求項１記載の動画像符号化装置。
前記関数推定手段は、既に符号化されたフレームのうち前記入力画像に表示順番が近い符号化済画像の前記符号化複雑度と前記画像特徴量の組ほど大きな重み付けをして、前記関数を推定する事を特徴とする請求項１項記載の動画像符号化装置。