JP2007221208A - 動画像符号化方法および装置 - Google Patents

Abstract

【課題】符号化に適応化した動き補償付き時間方向ローパスフィルタリングを符号化の前処理として行うことにより、符号化効率を向上させることを可能にする。
【解決手段】動画像符号化装置は、動きベクトルを含む予測データを生成するために、入力動画像に対して予め定められた予測構造に従って動き推定を伴う予測符号化を行う仮符号化部１０１と、ローパスフィルタ処理された画像を生成するために、前記予測データに基づいて前記入力動画像に対して動き補償を伴う時間方向のローパスフィルタリングを行うプレフィルタ１０３と、前記入力動画像に対応する符号化データを生成するために、前記ローパスフィルタ処理された画像に対して前記予測構造に従って予測符号化を行う本符号化部１０５とを有する。
【選択図】 図１

Description

本発明は、動画像符号化方法および装置に係り、特に動き補償付き時間方向ローパスフィルタリングを符号化の前処理として用いる動画像符号化方法および装置に関する。

動画像を符号化する場合に、前処理として時間方向フィルタリングを行うことは公知である。例えば、特許文献１には符号化によって発生する視覚的に目立つ画質劣化を抑制するため、予め入力動画像の高周波成分を削減するか、またはノイズレベルを低減することが開示されている。特許文献２には、与えられた伝送ビットレートで十分な画質を得るために全体的な符号量の割り当てを制御する符号化方法において、動きが速く予測残差が大きくなる画像間に予めローパスフィルタをかけることによって画像をぼかし、予測を当たりやすくすることによって予測残差の発生を抑制する技術が開示されている。

一方、非特許文献１にはスケーラブルビデオコーディング規格策定の中で検討された、動き補償付き時間方向フィルタリング（motion compensated temporal filtering：ＭＣＴＦ）を動画像符号化のプレフィルタに用いることにより、特定の動画像において符号化効率が向上するということが示されている。ＭＣＴＦは、１次元ウェーブレットを用いて動き補償を伴う時間方向サブバンド分割を行い、入力動画像を時間方向について高周波成分（予測残差フレーム）と低周波成分（平均フレーム）に分離する手法である。
特開平９‐１０７５４９公報 特開平１０‐１０８１９７公報 H. Schwarz, D. Marpe, and T. Wiegand, "Comparison of MCTF and closed-loop hierarchical B pictures", Joint Video Team, Doc. JVT-P059, Poznan, July, 2005.

プレフィルタとしての時間方向ローパスフィルタは、一般にフレームメモリを使ったリカーシブフィルタの形式をとる。このようなフィルタでは、符号化しようとする入力動画像を過去に符号化した画像を使って逐次平均化することによって画像をぼかすため、一般的に符号化効率は低下する。特許文献１及び特許文献２の符号化方法は、何れも符号化効率の低下を最小限に抑え、且つ主観画質を向上させるように適応化されており、符号化効率を向上させる効果は持たない。

一方、非特許文献１に記載された技術においても、符号化効率を向上させるために適応化したプレフィルタリングを行うことはできない。非特許文献１の手法では、前段のプレフィルタ（ＭＣＴＦ）による動き補償付き時間方向フィルタリング（ローパスフィルタ処理）と、後段の符号化処理は完全に独立して行われる。動き補償付き時間方向フィルタリングによる符号化効率向上の効果を十分に得るためには、フィルタをかける位置（動き推定によって決定される画像間の対応画素）を後段の符号化処理に対して適応化する必要がある。さらに、フィルタの高域阻止特性についても後段の符号化処理に対して適応化することが望まれる。しかしながら非特許文献１では、このような適応化について何ら考慮されていない。

本発明は、プレフィルタを適用する位置を後段の符号化処理における予測に適応して予め決定でき、さらには後段の符号化処理に適したプレフィルタの高域阻止特性制御を行うことを可能とする動画像符号化方法および装置を提供することを目的とする。

本発明の一態様によると、動きベクトルを含む予測データを生成するために、入力動画像に対して予め定められた予測構造に従って動き推定を伴う第１の予測符号化を行う第１の符号化ステップと；ローパスフィルタ処理された画像を生成するために、前記予測データに基づいて前記入力動画像に対して動き補償を伴う時間方向のローパスフィルタリングを行うフィルタリングステップと；前記入力動画像に対応する符号化データを生成するために、前記ローパスフィルタ処理された画像に対して前記予測構造に従って第２の予測符号化を行う第２の符号化ステップと；を具備する動画像符号化方法を提供する。

本発明の他の態様によると、動きベクトルを含む予測データを生成するために、入力動画像に対して予め定められた予測構造に従って動き推定を伴う第１の予測符号化を行う第１の符号化部と；ローパスフィルタ処理された画像を生成するために、前記予測データに基づいて前記入力動画像に対して動き補償を伴う時間方向のローパスフィルタリングを行うプレフィルタと；前記入力動画像に対応する符号化データを生成するために、前記ローパスフィルタ処理された画像に対して前記予測構造に従って第２の予測符号化を行う第２の符号化部と；を具備する動画像符号化装置を提供する。

本発明によれば、後段の第２の符号化処理と同様の処理で予測符号化を行う第１の符号化処理をプレフィルタの前段に置くことによって、第２の符号化処理に用いる予測データを予め検出し、それを用いて動き補償を伴う時間方向のローパスプレフィルタリングを行うことができる。さらに、ローパスプレフィルタリングの高域阻止特性を予測符号化で用いる量子化パラメータに基づいて制御することによって、符号化効率を向上させるために適応化した高域阻止特性の制御を行うことが可能となる。

以下、本発明の実施形態について図面を参照して説明する。

（第１の実施形態）
図１は、本発明の第1の実施形態に係る動画像符号化装置の構成を示している。図１の動画像符号化装置は、符号化制御部１００、仮符号化部１０１、フレームメモリ１０２、プレフィルタ１０３、予測データメモリ１０４及び本符号化部１０５を備えている。

仮符号化部１０１と本符号化部１０５は、基本的に同様の構成を有する。例えば、仮符号化部１０１と本符号化部１０５は共にＭＰＥＧ−２やＨ．２６４／ＭＰＥＧ−４ＡＶＣといった従来の動画像符号化方式と同様に、所謂ハイブリッド符号化方法を用いて動画像信号の予測符号化を行う。

ハイブリッド符号化では、入力動画像を所定の画素数の画素ブロックに分割し、当該画素ブロック毎に動き推定を行って動きベクトルを検出する。検出された動きベクトルに従って動き補償フレーム間予測を行い、それによって得られる予測画像信号と入力動画像信号との間の差分である予測残差信号に対してＤＣＴ（離散コサイン変換）のような直交変換を行う。最後に、直交変換によって得られる変換係数をエントロピー符号化することにより、入力動画像信号に対応した符号化データを生成する。

具体的に説明すると、仮符号化部１０１は入力動画像信号に対して動き推定を伴う予測符号化を行うことによって、画素ブロック毎に（ａ）動きベクトル、（ｂ）当該動きベクトルが参照する参照画像のインデクス、及び（ｃ）符号化モード（例えば４×４画面内予測や１６×１６画面間予測）、といった情報を示す予測データを生成する。生成された予測データは、予測データメモリ１０４に記憶される。

フレームメモリ１０２は、入力動画像信号を１ＧＯＰ（group of picture）分取得して記憶し、さらに後述するプレフィルタ１０３によって生成されたローパスフィルタ処理された画像信号（以下、ローパスフィルタ処理画像信号という）を記憶する。

プレフィルタ１０３は、予測データメモリ１０４から読み込んだ予測データ及びフレームメモリ１０２から読み込んだ入力動画像信号を用いて、動き補償を伴う時間方向フィルタリング（動き補償付き時間方向ローパスフィルタリング）を行い、前記ローパスフィルタ処理画像信号を生成する。

本符号化部１０５は、プレフィルタ１０３によって生成されたローパスフィルタ処理画像信号を含む１ＧＯＰ分の画像信号をフレームメモリ１０２から読み込み、当該画像信号について予測符号化を行って符号化データを出力する。

符号化制御部１００は符号化処理全体の制御、例えば仮符号化部１０１及び本符号化部１０５における画像の符号化順序を決める予測構造の制御と、仮符号化部１０１、プレフィルタ１０３及び本符号化部１０５における量子化パラメータの制御等を行う。ここで、予測構造及び量子化パラメータを総称して符号化パラメータと呼ぶことにする。

本実施形態では、符号化制御部１００によって仮符号化部１０１の符号化パラメータ（特に予測構造）を本符号化部１０５の符号化パラメータと同様に制御することにより、後段の本符号化部１０５での符号化処理に適応した予測データを予め仮符号化部１０１において生成することができる。

また、プレフィルタ１０３において当該予測データに基づいた動き補償付き時間方向ローパスフィルタリングを実行することができる。

さらに、符号化制御部１００によって制御される符号化パラメータに基づいてプレフィルタ１０３におけるローパスフィルタ処理の高域阻止特性を適応的に制御することにより、後述する時間方向フィルタリングの効果によって符号化効率を効果的に向上させることができる。

次に、図２（ａ）（ｂ）、図３（ａ）（ｂ）及び図４（ａ）（ｂ）を用いて図１の動画像符号化装置によって符号化を行う際の予測構造と、それに対応してプレフィルタ１０３において行われる動き補償付き時間方向ローパスフィルタリングの例を説明する。

図２（ａ）は、１ＧＯＰのフレーム数（Ｍ）が４の場合において、時間的に連続する４つのフレームｆ₀〜ｆ₄を階層構造で予測符号化する際の予測構造の例を示す図であり、図の矢印は予測の方向を表す。最初に符号化されるフレームｆ₀は、当該フレームｆ₀のみで符号化されるＩピクチャである。２番目に符号化されるフレームｆ₄は、符号化済みのフレームｆ₀を用いて片方向予測によって予測符号化されるＰピクチャである。フレームｆ₁〜ｆ₃は、双方向予測で予測符号化されるＢピクチャであり、この場合は階層構造であるため、ｆ₂，ｆ₁，ｆ₃の順に予測符号化される。

符号化制御部１００は、本符号化部１０５の符号化パラメータを本符号化部１０５での予測構造が図２（ａ）となるように制御する場合、仮符号化部１０１についても予測構造が図２（ａ）になるように符号化パラメータの制御を行う。これにより仮符号化部１０１は、図２（ａ）の矢印で示した予測関係に基づいて予測データを生成することができる。

次いで、図２（ａ）の予測構造に従って生成した予測データに基づいて、プレフィルタ１０３において例えば図２（ｂ）に示すような動き補償付き時間方向ローパスフィルタリングを行う。図２（ｂ）は、分割レベルが２のサブバンド分割によるＭＣＴＦの例を示している。

１回目の分割では、仮符号化部１０１により生成された予測データを用いてフレームｆ₀，ｆ₂，ｆ₄にフィルタリングが施され、ローパスフィルタ処理画像Ｌ₀，Ｌ₂，Ｌ₄が生成される。２回目の分割では、さらに１回目の分割で得られたローパスフィルタ処理画像のうちのＬ₀，Ｌ₄に対して、仮符号化部１０１により生成された予測データを用いてフィルタリングが施され、ローパスフィルタ処理画像ＬＬ₀，ＬＬ₄が新たに生成される。

このようにＭＣＴＦによって、１ＧＯＰのフレーム数Ｍが２ⁿの階層予測構造の場合、ｎ回の分割によってフィルタリングが行われる。図２（ａ）の例では、Ｍ＝４であるため、図２（ｂ）のように２回の分割によってフィルタリングが行われ、ローパスフィルタ処理画像ＬＬ₀，Ｌ₂，ＬＬ₄が生成される。

次に、図２（ｂ）に示されるローパスフィルタ処理画像Ｌ₀，Ｌ₂，ＬＬ₄は、本符号化部１０５において図２（ｃ）に示すように符号化される。すなわち、図２（ａ）のフレームｆ₀，ｆ₂，ｆ₄は、プレフィルタ１０３によりローパスフィルタ処理画像ＬＬ₀，Ｌ₂，ＬＬ₄に置き換えられてから図２（ａ）の予測構造に従って予測符号化される。

このように本実施形態では、本符号化部１０５の予測構造に合わせて予測に用いられる参照画像（Ｍ＝４の図２（ａ）の例では、フレームｆ₀，ｆ₂，ｆ₄）に対してのみ、プレフィルタ１０３によるフィルタリングが行われる。従って、例えば本符号化部１０５の予測構造が従来の動画像符号化方式で一般的に用いられるＭ＝３、すなわち“ＩＢＢＰＢＢＰＢＢＰ・・・”となる図３（ａ）に示すような予測構造をとる場合、仮符号化部１０１により生成される予測データに従って図３（ｂ）のようにローパスフィルタ処理画像Ｌ₀，Ｌ₃が生成される。Ｂピクチャであるｆ₁，ｆ₂は、図３（ｃ）のようにローパスフィルタ処理画像Ｌ₀，Ｌ₃を参照して予測符号化される。

次に、プレフィルタ１０３により動き補償付き時間方向ローパスフィルタリングを行うことによる効果について、図４（ａ）（ｂ）を用いて詳しく説明する。図４（ａ）（ｂ）は、簡単のため画像内の画素を１次元信号で表している。図４（ａ）（ｂ）において、時刻ｔの画像を参照画像、時刻ｔ＋１の画像を予測画像とする。すなわち、時刻ｔの画像から時刻ｔ＋１の画像が予測されるものとする。ｘ_t，ｘ_t+1は、それぞれ時刻ｔ，ｔ＋１における原画像の画素値を表す。図４（ａ）はプレフィルタを用いずに通常の予測符号化を行った場合の予測残差ｄを示している。予測残差ｄは、次式のように表すことができる。

ここで、ｘ_t′は一度符号化され、動画像符号化装置の内部で得られる局部復号画像の画素を表す。

一方、図４（ｂ）はプレフィルタ１０３を用いて予め時刻ｔの参照画像ｘ_tにフィルタリング（ローパスフィルタ処理）を施した場合の様子を示す図であり、ローパスフィルタ処理画像Ｌは次式で表すことができる。

ここで、αはローパスフィルタの高域阻止特性を決定するパラメータであり、ここでは０≦α≦１の範囲の値をとる。αが０に近いほど弱いローパスフィルタ処理となり、１に近づくほど強いローパスフィルタ処理となる。このとき、プレフィルタ１０３によるフィルタリングを行った後の予測符号化における予測残差Ｈは、次式で表すことができる。

ここで、Ｌ′は局部復号画像の画素を表す。

図４（ａ）と図４（ｂ）を比較してわかるように、式（１）のｄと式（３）のＨの関係は明らかにＨ≦ｄとなる。すなわち、プレフィルタ１０３により動き補償付き時間方向ローパスフィルタリングを行うことによって、時刻ｔ＋１の予測残差はｄ−Ｈだけ小さくなる。これによって、時刻ｔ＋１の予測残差を直交変換及び量子化したときに生成されるゼロ係数が増加する。一般的に、予測残差の符号量は変換後の非ゼロ係数に比例し、ゼロ係数に反比例すると考えることができるので、ゼロ係数の増加により予測画像における符号量を減らすことができる。また、量子化誤差の影響を受ける非ゼロ係数の個数が減少するため、予測画像における符号化歪を低減する効果もあり、符号化効率が向上する。

一方、時刻ｔのローパスフィルタ処理画像Ｌには、量子化による符号化歪だけではなく、式（２）に示されるように原画像ｘ_tとの差Δが生じる。量子化パラメータが大きく、Δに対して十分大きい量子化幅で量子化される場合には、Δによる誤差は量子化誤差に吸収される。しかし、量子化パラメータが小さく、Δに対して小さい量子化幅で量子化される場合には、Δによる誤差の影響が無視できなくなる。従って、プレフィルタ１０３によるローパスフィルタリングの高域阻止特性は、参照画像における符号化歪の増加を抑えつつ予測画像の符号化効率を上げるように、本符号化部１０５での符号化における量子化パラメータに適応した制御がなされることが望ましい。

さらに、上述したようなプレフィルタ１０３の効果を十分に得るためには、本符号化部１０５の符号化過程で求められる動きベクトルが指し示す参照画像中の参照画素と、プレフィルタ１０３による動き補償付き時間方向ローパスフィルタリングを適用する画素が一致していることが望ましい。このためには、プレフィルタ１０３で用いる動きベクトルとして、本符号化部１０５の符号化処理において用いられるのと同じ動きベクトルを予め生成しておくことが望ましい。

本実施形態によると、本符号化部１０５と同様の構成を持ち、且つ符号化制御部１００によって本符号化部１０５と同様に符号化パラメータが制御される仮符号化部１０１をプレフィルタ１０３の前段に置き、仮符号化部１０１により生成された予測データに基づいてプレフィルタ１０３で動き補償付き時間方向ローパスフィルタリングを行うことによって、上述した符号化効率向上の効果を実現することができる。

次に、プレフィルタ１０３について詳細に説明する。図５は、プレフィルタ１０３の具体例を示している。図５において、動き補償部４０１は図１中のフレームメモリ１０２から参照画像信号、予測データメモリ１０４から予測データをそれぞれ読み込み、参照画像信号に対して予測データ中の動きベクトルを用いて動き補償を行う。減算器４０４は、フレームメモリ１０２から読み込んだ入力画像信号と動き補償部４０１からの動き補償後の画像信号との差分である予測残差信号を生成する。フィルタ係数制御部４０２は、減算器４０４からの予測残差信号と符号化制御部１００からの量子化パラメータに基づいて、ローパスフィルタ４０３のフィルタ係数を制御する。ローパスフィルタ４０３は、減算器４０４からの予測残差信号とフィルタ係数制御部４０２によって制御されるフィルタ係数を用いて、フレーム１０２から読み込んだ参照画像信号に対してローパスフィルタリングを施す。符号化制御部１００は、フィルタ係数制御部４０２において用いる量子化パラメータの制御等、プレフィルタ１０３全体の制御を行う。

次に、図６のフローチャートを用いてプレフィルタ１０３の動作を説明する。本実施形態では、プレフィルタ１０３による動き補償付き時間方向ローパスフィルタリングとして、１次元ウェーブレットを利用したサブバンド分割によるローパスフィルタリングを用いる。さらに、本実施形態では予測残差信号を生成するハイパスフィルタとローパスフィルタを段階的に適用するリフティング操作によってフィルタ処理を行い、また一般的に用いられるフィルタの一例としてＨａａｒフィルタを用いた場合の例を示す。しかしながら、プレフィルタ１０３は仮符号化部１０１により生成された予測データに基づいて動き補償付き時間方向ローパスフィルタリングを行うローパスフィルタであれば、上記のようなフィルタに限られるものではない。

まず、プレフィルタ１０３はフィルタリングが適用される参照画像信号Ａと、参照画像信号Ａから予測される予測画像信号Ｂをフレームメモリ１０２から取得する（ステップＳ５００〜Ｓ５０１）。例えば、図２（ａ）に示した階層構造の予測符号化の例によると、フレームｆ₄の予測符号化時はフレームｆ₀が参照画像信号に相当し、フレームｆ₄が予測画像信号に相当する。フレームｆ₂の予測符号化時はフレームｆ₀，ｆ₄が参照画像信号に相当し、ｆ₂が予測画像信号に相当する。以下同様に、フレームｆ₁の予測符号化時はフレームｆ₀，ｆ₂が参照画像信号に相当し、ｆ₁が予測画像信号に相当し、フレームｆ₃の予測符号化時はフレームｆ₂，ｆ₄が参照画像信号に相当し、ｆ₃が予測画像信号に相当する。

次に、仮符号化部１０１において生成された予測データのうち画像信号Ａ及びＢを予測符号化するために用いた予測データを予測データメモリ１０４から読み込んで取得する（ステップＳ５０２）。

次に、ステップＳ５０２で取得された予測データの動きベクトルを用いて参照画像信号Ａに対して動き補償を行う（ステップＳ５０３）。

次に、動き補償後の参照画像信号Ａ_mと予測画像信号Ｂとの差分をとり、次式のように予測残差信号ｈを生成する（ステップＳ５０４）。

ここで、ｘ，ｙはフレーム内の画素の水平方向及び垂直方向の座標を表す。

次に、生成された予測残差信号ｈを用いて参照画像信号Ａに対して動き補償付き時間方向ローパスフィルタリングを行う。ここでは、図７に示すように例えば１６×１６画素、あるいは４×４画素を一つの単位とする画素ブロック毎にローパスフィルタリングを行う。このために、予測残差信号ｈ内の所定の画素ブロックｈ_eを取得する。

次に、取得された画素ブロックｈ_eにおける予測データ中の動きベクトルによって指し示される画像信号Ａ中の画素に対して、次式に従うローパスフィルタリングを施し、ローパスフィルタ処理画像信号ｌを求める。

ここで、前述したようにローパスフィルタリングの高域阻止特性を画素ブロック毎に適応的に変更する場合は、式（５）の代わりにフィルタ係数にかける重みＷ（０≦Ｗ≦１）を用いた次式を用いてローパスフィルタリングを行う。

Ｗは、例えば４×４画素ブロックの予測残差信号ｈ_eのパワーＥと符号化制御部１００で制御される量子化パラメータＱＰによって制御され、次式のように求められる。

ここで、Ｅは次式のように表され、ｈ_eにおける画素ブロックｂ（ここでは４×４画素ブロックを用いた場合の例を示しているため、ｂは１６画素）中の各画素の予測残差パワーの和に基づいて決定される。

式（７）において、しきい値ｆ（ＱＰ）は量子化パラメータＱＰによって決まるしきい値であり、例えば図８のようにＱＰの増加に伴ってｆ（ＱＰ）が大きくなるように制御される。一方、動き推定の正確さが十分ではなく、予測残差のパワーＥが大きくなる画素ブロックでは、しきい値ｆ（ＱＰ）に応じてフィルタ係数が小さくなるように重み係数Ｗは制御される。このように重み係数Ｗを制御することによって、式（６）のローパスフィルタリングの高域阻止特性は予測残差信号のパワーＥに対して負の相関を持ち、量子化パラメータＱＰに対して正の相関を持つように制御される。

上述した動き補償付き時間方向ローパスフィルタリングの手順を図６により説明すると、まず所定の画素ブロック毎に予測残差信号のパワーＥを取得する（ステップＳ５０５）。次に、ローパスフィルタリングを適用する画像信号の量子化パラメータＱＰを取得する（ステップＳ５０６）。次に、式（７）に基づいてフィルタ係数にかける重みＷを決定する（ステップＳ５０７）。次に、ステップＳ５０７で求められたＷを用いて、式（６）に従い参照画像信号Ａの所定の画素に対してローパスフィルタリングを実行する（ステップＳ５０８）。

次に、処理すべき全ての画素ブロックに対してローパスフィルタ処理が完了したかどうかを判定する（ステップＳ５０９）。完了してなければ、完了するまでステップＳ５０５〜ステップＳ５０９の処理を繰り返し実行し、完了したならば最終的に生成されたローパスフィルタ処理画像信号をフレームメモリ１０２へ出力する（ステップＳ５１０）。

次に、図１中の仮符号化部１０１及び本符号化部１０５について具体的に説明する。図９は仮符号化部１０１の構成を示し、図１０は本符号化部１０５の構成を示している。図９及び図１０は、例えばＨ．２６４／ＭＰＥＧ−４ＡＶＣのような符号化の過程でデコード（ローカルでコード）処理を行い、符号化歪を考慮して最適な符号化を行う動画像符号化方式を用いている。

図９に示す仮符号化部１０１は予測部３０１、変換／量子化部３０２、符号化部３０３、逆変換／逆量子化部３０４、フレームメモリ３０５、符号化歪３０６、符号量測定部３０７、モード判定部３０８、減算器３０９及び加算器３１０を有する。

予測部３０１は、取得した入力画像信号に対して画素ブロック毎に動き推定を行い、これにより得られる動きベクトルを用いてフレームメモリ３０５からの参照画像信号に対して動き補償を実行し、予測画像信号を生成する。減算器３０９では、入力動画像信号と予測画像信号との差分をとることにより予測残差信号が生成される。変換／量子化部３０２では、予測残差信号に対して例えばＤＣＴ（離散コサイン変換）などの直交変換が行われ、これによって得られる変換係数が量子化される。量子化された変換係数は、符号化部３０３によって符号化される。

一方、量子化された変換係数は逆変換／逆量子化部３０４において逆量子化され、さらに逆直交変換されることによって、量子化誤差を含む予測残差画像信号が復元される。加算器３１０では、復元された予測残差画像信号と予測画像信号との和をとることによって局部復号画像信号が生成され、フレームメモリ３０５に格納される。

ここで、予測部３０１における画素ブロック毎の符号化モードは、例えば１６×１６画素の画面間予測モードや、４×４画素の画面内予測モードなどから最適なモードが選択される。具体的には、各符号化モードで符号化した場合の局部復号画像信号の歪を符号化歪測定部３０６によって計算し、符号量を符号量測定部３０７によって計算し、モード判定部３０８において次式により符号化コストを計算し、符号化コストが最小となる符号化モードを選択する。

である。Ｊは符号化コストを表し、Ｄは符号化歪を表し、Ｒは符号量を表す。

図１０に示す本符号化部１０５は予測部６０１、変換／量子化部６０２、符号化部６０３、逆変換／逆量子化部６０４、フレームメモリ６０５、符号化歪測定部６０６、符号量測定部６０７、モード判定部６０８、減算器６０９及び加算器６１０を有する。本符号化部１０５の各構成要素は図９に示した仮符号化部１０１の各構成要素と同様であるため、詳細な説明を省略する。

但し、本符号化部１０５ではフレームメモリ１０２からの入力動画像信号が入力されるのに対し、仮符号化部１０１ではプレフィルタ１０３からのフィルタ処理画像信号が入力される。また、仮符号化部１０１ではプレフィルタ１０３で必要となる予測データが出力される。さらに、本符号化部１０５ではプレフィルタ１０３により生成されたローパスフィルタ処理画像信号を含む画像信号が予測符号化され、本符号化部１０５から符号化データが外部へ出力される。ここで、図１０における符号化歪測定部６０６において計算される符号化歪は、ローパスフィルタ処理画像信号と比較した歪となることに注意する。

このように第１の実施形態によれば、本符号化部１０５と基本的に同一構成の仮符号化部１０１をプレフィルタ１０３の前段に置くことによって、プレフィルタ１０３によって本符号化部１０５での予測に基づく動き補償付き時間方向プレフィルタリングを行うことができる。

さらに、プレフィルタ１０３によるローパスフィルタリングの高域阻止特性を符号化制御部１００によって制御される量子化パラメータを基に制御することにより、符号化効率を向上させるために適応したローパスフィルタリングを行うことが可能となる。

（第２の実施形態）
図１１は、本発明の第２の実施形態に係る動画像符号化装置を示している。図１１のどう得画像符号化装置は、図１に示した動画像符号化装置と同様に符号化制御部７００、仮符号化部７０１、フレームメモリ７０２、プレフィルタ７０３、予測データメモリ７０４及び本符号化部７０５を備えている。これらの各構成要素は図１に示した動画像符号化装置の各構成要素と同様であるため、詳細な説明を省略する。

ここで、図１１では予測データメモリ７０４から本符号化部７０５へのラインが追加されている。すなわち、本符号化部７０５では動き推定を行わず、予測データメモリ７０４から予測データあるいは予測データの一部を読み込んで取得し、それに基づいて予測符号化を行う。

図１２及び図１３は、図１１中の本符号化部７０５の具体例を示している。図１２の本符号化部７０５は予測部９０１、変換／量子化部９０２、符号化部９０３、逆変換／逆量子化部９０４、フレームメモリ９０５、符号化歪測定部９０６、符号量測定部９０７、モード判定部９０８、減算器９０９及び加算器９１０を有する。図１２の本符号化部７０５の各構成要素は図１０に示した本符号化部１０５の各構成要素と同様であるため、詳細な説明を省略する。

ここで、図１２の本符号化部７０５においては、図１１中の予測データメモリ７０４から予測データ中の動き推定データ（動きベクトルの情報）が予測部９０１に入力されており、予測部９０１では当該動きベクトルを用いて予測を行う。従って、本符号化部７０５における動き推定処理を省略することができ、それによって符号化処理の高速化を図ることができる。

一方、図１３の本符号化部７０５は予測部１００１、変換／量子化部１００２、符号化部１００３、逆変換／逆量子化部１００４、フレームメモリ１００５、減算器１００６及び加算器１００７を有し、図１２の構成要素から符号化歪測定部、符号量測定部及びモード判定部を除去した構成となっている。図１３の本符号化部７０５においては、図１１中の予測データメモリ７０４からの予測データが予測部１００１及び符号化部１００３に入力されている。予測部１００１では予測データを用いて予測を行い、符号化部１００３では予測データを用いて符号化を行う。

このように図１３の本符号化部７０５においても動き推定処理を省略することができるので、符号化処理の高速化を図ることが可能となる。さらに、図１３の本符号化部７０５においては、図１１中の仮符号化部７０１により生成された予測データ中の符号化モードの情報を用いることによって、モード判定処理が不要となるため、より高速な符号化処理を行うことができる。

以上のように第２の実施形態によれば、仮符号化部７０１において生成された予測データを本符号化部７０５においても用いることで、本符号化部７０５における予測処理を省略することができ、符号化処理を高速に実行することが可能となる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明の一実施形態に係る動画像符号化装置の構成を示すブロック図 本発明の一実施形態における符号化の予測構造に合わせた動き補償付き時間方向ローパスフィルタリングを１ＧＯＰのフレーム数Ｍが４の場合について示す図 本発明の一実施形態における符号化の予測構造に合わせた動き補償付き時間方向ローパスフィルタリングを１ＧＯＰのフレーム数Ｍが３の場合について示す図 本発明の一実施形態におけるプレフィルタによる動き補償付き時間フィルタリングの効果を１次元信号で説明する図 本発明の一実施形態に係るプレフィルタの構成を示すブロック図 本発明の一実施形態に係るプレフィルタの動作を示すフローチャート プレフィルタによるローパスフィルタ処理を適用する画素範囲を示す図 プレフィルタによるローパスフィルタリングの高域阻止特性に係るしきい値ｆ（ＱＰ）と量子化パラメータＱＰとの関係を示す図 本発明の一実施形態に係る仮符号化部の構成を示すブロック図 本発明の一実施形態に係る本符号化部の構成を示すブロック図 本発明の他の実施形態に係る動画像符号化装置の構成を示すブロック図 図１１中の本符号化部の具体例を示すブロック図 図１１中の本符号化部の他の具体例を示すブロック図

符号の説明

１００・・・符号化制御部
１０１・・・仮符号化部
１０２・・・フレームメモリ
１０３・・・プレフィルタ
１０４・・・予測データメモリ
１０５・・・本符号化部

Claims (12)

1. 動きベクトルを含む予測データを生成するために、入力動画像に対して予め定められた予測構造に従って動き推定を伴う第１の予測符号化を行う第１の符号化ステップと；
   ローパスフィルタ処理された画像を生成するために、前記予測データに基づいて前記入力動画像に対して動き補償を伴う時間方向のローパスフィルタリングを行うフィルタリングステップと；
   前記入力動画像に対応する符号化データを生成するために、前記ローパスフィルタ処理された画像に対して前記予測構造に従って第２の予測符号化を行う第２の符号化ステップと；を具備する動画像符号化方法。
2. 前記第１の符号化ステップによって生成される前記予測データは、（ａ）前記動きベクトル、（ｂ）前記動きベクトルが参照する参照画像のインデックス及び（ｃ）符号化モードの情報を含む請求項１記載の動画像符号化方法。
3. 前記フィルタリングステップは、前記動きベクトルが参照する参照画像中の前記動きベクトルが指し示す参照画素に対して前記ローパスフィルタリングを行う請求項１記載の動画像符号化方法。
4. 前記第１の符号化ステップ及び第２の符号化ステップは、前記第１の予測符号化及び第２の予測符号化の過程で生成される予測誤差を量子化パラメータに従って量子化するステップを含み、前記フィルタリングステップは、前記ローパスフィルタリングの高域阻止特性を制御するために、前記ローパスフィルタリングのフィルタ係数を前記予測残差の大きさに対して負の相関を持ち、前記量子化パラメータに対して正の相関を持つように制御するフィルタ係数制御ステップを含む請求項１記載の動画像符号化方法。
5. 前記第２の符号化ステップは、前記ローパスフィルタ処理された画像を基準として前記第２の符号化ステップで生じる符号化歪を測定する符号化歪測定ステップと、前記第２の符号化ステップで発生する符号量を測定する符号量測定ステップと、複数の符号化モードのうち前記符号量及び符号化歪みから計算される符号化コストを最小にする１つのモードを判定するモード判定ステップとを含み、判定されたモードに従って前記予測符号化を行う請求項１記載の動画像符号化方法。
6. 前記第２の符号化ステップは、前記予測データを用いて前記第２の予測符号化を行う請求項１記載の動画像符号化方法。
7. 動きベクトルを含む予測データを生成するために、入力動画像に対して予め定められた予測構造に従って動き推定を伴う第１の予測符号化を行う第１の符号化部と；
   ローパスフィルタ処理された画像を生成するために、前記予測データに基づいて前記入力動画像に対して動き補償を伴う時間方向のローパスフィルタリングを行うプレフィルタと；
   前記入力動画像に対応する符号化データを生成するために、前記ローパスフィルタ処理された画像に対して前記予測構造に従って第２の予測符号化を行う第２の符号化部と；を具備する動画像符号化装置。
8. 前記第１の符号化部によって生成される前記予測データは、（ａ）前記動きベクトル、（ｂ）前記動きベクトルが参照する参照画像のインデックス及び（ｃ）符号化モードの情報を含む請求項７記載の動画像符号化装置。
9. 前記プレフィルタは、前記動きベクトルが参照する参照画像中の前記動きベクトルが指し示す参照画素に対して前記ローパスフィルタリングを行う請求項７記載の動画像符号化装置。
10. 前記第１の符号化部及び第２の符号化部は、前記第１の予測符号化及び第２の予測符号化の過程で生成される予測誤差を直交変換し且つ量子化パラメータに従って量子化する変換／量子化部を含み、前記プレフィルタは、前記ローパスフィルタリングの高域阻止特性を制御するために、前記ローパスフィルタリングのフィルタ係数を前記予測残差の大きさに対して負の相関を持ち、前記量子化パラメータに対して正の相関を持つように制御するフィルタ係数制御部を含む請求項７記載の動画像符号化装置。
11. 前記第２の符号化部は、前記ローパスフィルタ処理された画像を基準として前記第２の符号化部で生じる符号化歪を測定する符号化歪測定部と、前記第２の符号化部で発生する符号量を測定する符号量測定部と、複数の符号化モードのうち前記符号量及び符号化歪みから計算される符号化コストを最小にする１つのモードを判定するモード判定部とを含み、判定されたモードに従って前記予測符号化を行う請求項７記載の動画像符号化装置。
12. 前記第２の符号化部は、前記予測データを用いて前記第２の予測符号化を行う請求項７記載の動画像符号化装置。

Images