JP2009095066A

JP2009095066A - 動画像復号化装置、動画像復号化方法、動画像符号化装置、および動画像符号化方法

Info

Publication number: JP2009095066A
Application number: JP2009022699A
Authority: JP
Inventors: Toshitake Yasuda; 豪毅安田; Takeshi Nakajo; 健中條
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2009-02-03
Filing date: 2009-02-03
Publication date: 2009-04-30

Abstract

【課題】局部復号化画像の整数画素に対してフィルタリング処理を行なった画像と入力画像とから予測画像を生成する。
【解決手段】フレームメモリ１０７に記憶された局部復号化画像信号１５と入力画像信号１１が動き補償予測器１０８に入力される。動き補償予測器１０８は、まず、フィルタ生成器２０６において、局部復号化画像信号１５と入力画像信号１１とから、予測画像信号と入力画像信号１１との間の誤差が最小になるように、局部復号化画像信号１５の整数画素に対するフィルタを求める。次に、参照画像生成器２０２において、求められたフィルタによって局部復号化画像信号１５の整数画素をフィルタリングして参照画像信号を生成する。次に、動き検出器２０４において、参照画像信号と入力画像信号１１との間の動きベクトルが求められ、予測画像生成器２０９は、この動きベクトルと参照画像信号を用いて予測画像信号１６を生成する。
【選択図】図１

Description

本発明は、符号化対象画像を高精度に復号化する動動画像復号化装置および動画像復号化方法に関する。

従来から、動画像符号化技術の一つとして、動き補償予測を用いる方法が広く知られている。動き補償予測を用いる動画像符号化装置では、まず、符号化しようとする入力画像と、すでに符号化された画像を動画像符号化装置内で復号化した画像（局部復号化画像）との間の動きベクトルが求められる。次に、求められた動きベクトルと局部復号化画像を用いて動き補償が行なわれ、入力画像に対する予測画像が生成される。このようにして生成された予測画像と入力画像との間の予測誤差は、直交変換され、その直交変換係数は量子化されて、動き補償予測に用いられた動きベクトルとともに復号化装置に送られる。復号化装置は、このようにして符号化装置で符号化された予測誤差と動きベクトルを受信し、すでに復号化装置において復号化された復号化画像を用いて新たな予測画像を生成して、この予測画像と予測誤差とを用いて、もとの画像を復号化する。

このように動き補償予測を行なって予測画像を生成する動画像符号化方法では、入力画像に対する復号化画像の画質の劣化を防ぐためには、入力画像と予測画像との間の予測誤差を小さくする必要がある。

予測誤差を小さくする方法としては、例えば、まず局部復号化画像にもともと存在する画素（整数画素）の間に、補間フィルタを用いて生成した小数点画素と呼ばれる仮想的な画素を補間し、次に、この小数点画素が補間された局部復号化画像（以下、補間画像と呼ぶ）と入力画像との間で動きベクトルを求めることで、動きベクトルをより詳細な解像度で求めることができるようにした動画像符号化方法がある（例えば、非特許文献１を参照）。また、このとき、さらに小数点画素を生成するための補間フィルタのフィルタ係数を入力画像に対して適応的に変化させて、入力画像と予測画像との間の予測誤差がより小さくなるような小数点画素を生成する補間フィルタを生成する方法も提案されている（例えば、非特許文献１を参照）。

Ｔ．Ｗｅｄｉ，"ＡｄａｐｔｉｖｅＩｎｔｅｒｐｏｌａｔｉｏｎＦｉｌｔｅｒｆｏｒＭｏｔｉｏｎＣｏｍｐｅｎｓａｔｅｄＰｒｅｄｉｃｔｉｏｎ，"Ｐｒｏｃ．ＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＩｍａｇｅＰｒｏｃｅｓｓｉｎｇ，Ｒｏｃｈｅｓｔｅｒ，ＮｅｗＹｏｒｋＵＳＡ，Ｓｅｐｔｅｍｂｅｒ２００２

上述したように、従来の非特許文献１に開示された動画像符号化方法によれば、入力画像と補間画像との間の動きベクトルが、補間画像の小数点画素を指していた場合には、補間フィルタを入力画像に応じて適応的に変化させることにより、入力画像と予測画像との間の予測誤差を小さくすることが可能になる。

しかし、小数点画素によって局部復号化画像を補間した場合であっても、補間画像と入力画像との間の動きベクトルが、補間画像の整数画素（すなわち、局部復号化画像にもともと存在する画素）を指していた場合には、補間フィルタを変化させても、それによって補間画像の整数画素は変化することはないため、入力画像と予測画像との間の予測誤差を小さくする効果は得られない。

本発明は、上記従来技術の問題点を解決するためになされたものであって、局部復号化画像をフィルタリングして得られる画像（以下、参照画像と呼ぶ）を動き補償して得られる画像と入力画像との間の誤差が小さくなるように、局部復号化画像に対するフィルタを生成し、このフィルタを用いて得られる参照画像から予測画像を生成することにより、入力画像と予測画像との間の予測誤差を小さくすることを可能とする動画像符号化方法、動画像符号化装置、動画像復号化方法および動画像復号化装置を提供することを目的とする。

上記目的を達成するために、本発明の動画像符号化方法は、入力された符号化データを復号化して、量子化された直交変換係数と、動きベクトルと、フィルタ係数の差分信号及びオフセットの差分信号と、を得るステップと、前記量子化された直交変換係数を逆量子化および逆直交変換して予測誤差信号を生成するステップと、フィルタメモリに記憶されているフィルタ係数及びオフセットのそれぞれに、フィルタ係数の差分信号及びオフセットの差分信号を加算し、参照画像を生成するためのフィルタを得るステップと、フレームメモリに記憶されている復号化画像の各整数画素について、前記フィルタのフィルタ係数によりその整数画素を含む一定範囲の整数画素の画素値の重み付け和に、前記フィルタのオフセットを加算して、新たな整数画素を生成することにより参照画像を生成するステップと、前記参照画像と前記動きベクトルとから予測画像を生成するステップと、前記予測画像と前記予測誤差信号とから復号化画像を生成するステップと、前記復号化されたフィルタ係数及びオフセットを前記フィルタメモリに記憶するステップと、前記復号化された復号画像を前記フレームメモリに記憶するステップと、を有することを特徴とする動画像復号化方法を提供する。

また、入力された符号化データを復号化して、量子化された直交変換係数と、動きベクトルと、フィルタ係数の差分信号及びオフセットの差分信号と、を得る手段と、前記量子化された直交変換係数を逆量子化および逆直交変換して予測誤差信号を生成する手段と、フィルタメモリに記憶されているフィルタ係数及びオフセットのそれぞれに、フィルタ係数の差分信号及びオフセットの差分信号を加算し、参照画像を生成するためのフィルタを得る手段と、フレームメモリに記憶されている復号化された復号化画像の各整数画素について、前記フィルタのフィルタ係数によりその整数画素を含む一定範囲の整数画素の画素値の重み付け和に、前記フィルタのオフセットを加算して、新たな整数画素を生成することにより参照画像を生成する手段と、前記参照画像と前記動きベクトルとから予測画像を生成する手段と、前記予測画像と前記予測誤差信号とから復号化画像を生成する手段と、前記復号化されたフィルタ係数及びオフセットを前記フィルタメモリに記憶する手段と、
前記復号された復号画像を前記フレームメモリに記憶する手段と、を有することを特徴とする動画像復号化装置を提供する。

また、フレームメモリに記憶されている局部復号化画像の各整数画素について、参照画像を生成するためのフィルタのフィルタ係数によりその整数画素を含む一定範囲の整数画素の画素値の重み付け和に、前記参照画像を生成するためのフィルタのオフセットを加算して、新たな整数画素を生成することにより参照画像を生成するステップと、前記参照画像と入力画像との間の動きベクトルに従って予測画像を生成するステップと、前記予測画像と前記入力画像との間の予測残差信号を得るステップと、前記参照画像を生成するためのフィルタのフィルタ係数及びオフセットのそれぞれから、フィルタメモリに記憶されているフィルタ係数及びオフセット、を減算しフィルタ係数の差分信号及びオフセットの差分信号を得るステップと、前記参照画像を生成するためのフィルタのフィルタ係数及びオフセットを前記フィルタメモリに記憶するステップと、前記入力画像の局部復号画像を前記フレームメモリに記憶するステップと、前記予測画像と前記入力画像との間の予測誤差信号を直交変換および量子化して、量子化された直交変換係数を得るステップと、前記量子化された直交変換係数と、動きベクトルと、前記フィルタ係数の差分信号及びオフセットの差分信号、を符号化して符号化データを得るステップと、を有することを特徴とする動画像復号化方法を提供する。

また、フレームメモリに記憶されている局部復号化画像の各整数画素について、参照画像を生成するためのフィルタのフィルタ係数によりその整数画素を含む一定範囲の整数画素の画素値の重み付け和に、前記参照画像を生成するためのフィルタのオフセットを加算して、新たな整数画素を生成することにより参照画像を生成する手段と、前記参照画像と入力画像との間の動きベクトルに従って予測画像を生成する手段と、前記予測画像と前記入力画像との間の予測残差信号を得る手段と、前記参照画像を生成するためのフィルタのフィルタ係数及びオフセットのそれぞれから、フィルタメモリに記憶されているフィルタ係数及びオフセット、を減算しフィルタ係数の差分信号及びオフセットの差分信号を得る手段と、前記参照画像を生成するためのフィルタのフィルタ係数及びオフセットを前記フィルタメモリに記憶する手段と、前記入力画像の局部復号画像を前記フレームメモリに記憶する手段と、前記予測画像と前記入力画像との間の予測誤差信号を直交変換および量子化して、量子化された直交変換係数を得る手段と、前記量子化された直交変換係数と、動きベクトルと、前記フィルタ係数の差分信号及びオフセットの差分信号、を符号化して符号化データを得る手段と、を有することを特徴とする動画像復号化装置を提供する。

本発明によれば、参照画像を動き補償して得られる画像と入力画像との間の誤差が小さくなるように、局部復号化画像信号に対するフィルタを生成し、このフィルタを用いて得られる参照画像から予測画像を生成するので、入力画像と予測画像との間の予測誤差を小さくすることが可能となる。

本発明の実施形態に係わる動画像符号化装置の構成を示すブロック図。本発明の実施形態に係わる動画像符号化装置の動き補償予測器の構成を示すブロック図。本発明の実施形態に係わる動画像符号化装置の動作を示すフローチャート。本発明の実施形態に係わる動画像符号化装置の動き補償予測器の動作を示すフローチャート。本発明の実施形態の局部復号化画像に対するフィルタを表す図。本発明の実施形態に係わる動画像復号化装置の構成を示すブロック図。本発明の実施形態に係わる動画像復号化装置の動作を示すフローチャート。

以下、本発明の実施形態について説明する。

図１は、本発明の実施形態に係わる動画像符号化装置を示すブロック図である。

この実施形態に係わる動画像符号化装置は、入力画像信号１１と予測画像信号１６から予測誤差信号１２を生成する減算器１０１と、予測誤差信号１２を直交変換する直交変換器１０２と、直交変換器１０２で得られる直交変換係数を量子化する量子化器１０３と、量子化器１０３で量子化された直交変換係数を逆量子化する逆量子化器１０４と、逆量子化器１０４で逆量子化された直交変換係数を逆直交変換し予測誤差信号を再生する逆直交変換器１０５と、再生された予測誤差信号と予測画像信号１６を加算して局部復号化画像信号１４を生成する加算器１０６と、局部復号化画像信号１４を記憶するフレームメモリ１０７と、フレームメモリ１０７から読み出された局部復号化画像信号１５と入力画像信号１１から動き補償予測を行なって予測画像信号１６を生成する動き補償予測器１０８と、を備えている。

また、図２は、本発明の実施形態に係わる動き補償予測器１０８の構成を示すブロック図である。

この動き補償予測器１０８は、局部復号化画像信号１５の入力先を切り替えるスイッチ２０１と、局部復号化画像信号１５から参照画像信号を生成する参照画像生成器２０２と、スイッチ２０１と連動して動き検出器２０４に入力される信号を切り替えるスイッチ２０３と、スイッチ２０３で選択された局部復号化画像信号１５もしくは参照画像信号と入力画像信号１１から動きベクトルを求める動き検出器２０４と、スイッチ２０１およびスイッチ２０３と連動して、動き検出器２０４で求められた動きベクトルの出力先を切り替えるスイッチ２０５と、動き検出器２０４で求められた動きベクトル、局部復号化画像信号１５および入力画像信号１１から、局部復号化画像信号１５に対するフィルタを生成するフィルタ生成器２０６と、フィルタ生成器２０６で生成されたフィルタを記憶するフィルタメモリ２０７と、フィルタ生成器２０６で生成されたフィルタと、フィルタメモリ２０７に記憶されたフィルタとの間の差分を計算する減算器２０８と、動き検出器２０４で求められた動きベクトルと参照画像生成器２０２で生成される参照画像信号から予測画像信号１６を生成する予測画像生成器２０９と、を備えている。

次に、図１、図２および図３を用いて、本発明の実施形態に係わる動画像符号化装置の動作について説明する。なお、図３は、本発明の実施形態に係わる動画像符号化装置の動作を示すフローチャートである。

まず、符号化対象となる動画像信号が動画像符号化装置に入力される（ステップＳ１０１）。ここで、動画像信号は時系列の静止画像データによって構成されており、各時刻の静止画像データが入力画像信号１１として、動画像符号化装置に入力される。なお、以下では、各時刻の静止画像データをフレームと呼ぶ。

次に、減算器１０１において、入力画像信号１１と、すでに動き補償予測器１０８において生成された予測画像信号１６との間で、対応する画素の画素値の差分が計算され、予測誤差信号１２が生成される（ステップＳ１０２）。

予測誤差信号１２は、直交変換器１０２で直交変換され（ステップＳ１０３）、その直交変換係数は、量子化器１０３で量子化される（ステップＳ１０４）。このように量子化された予測誤差信号１２の直交変換係数は、次に、エントロピー符号化器１０９に入力されて、符号化処理が施される。

また、量子化された予測誤差信号１２の直交変換係数は、逆量子化器１０４にも入力され、逆量子化器１０４において逆量子化される（ステップＳ１０５）。そして、次に、逆直交変換器１０５において逆直交変換されて予測誤差信号が再生される（ステップＳ１０６）。

次に、再生された予測誤差信号と、ステップＳ１０２で減算器１０１に入力された予測画像信号１６とが加算器１０６によって加算されて、局部復号化画像信号１４が生成され（ステップＳ１０７）、フレームメモリ１０７に記憶される（ステップＳ１０８）。

次に、フレームメモリ１０７から局部復号化画像信号１５が読み出されて、動き補償予測器１０８に入力される。ここでフレームメモリ１０７から読み出される局部復号化画像信号１５は、あらかじめ現在のフレームに対して一定のフレームだけ過去のフレームの局部復号化画像信号を用いると定めておいてもよく、また、別途外部から読み出す局部復号化画像信号を指定できるようにしてもよい。また、処理する入力画像信号のフレームの順序を入れ替えて、現在処理するフレームに対して未来のフレームの局部復号化画像信号を先に生成してフレームメモリ１０７に記憶しておき、これを読み出して現在処理するフレームの動き補償予測に用いることができるようにしてもよい。

動き補償予測器１０８では、フレームメモリ１０７から読み出された局部復号化画像信号１５と入力画像信号１１とから、動き補償予測を用いて予測画像信号１６を生成する（ステップＳ１０９）。

ここで、図２および図４を用いて、動き補償予測器１０８の動作について説明する。なお、図４は、動き補償予測器１０８における予測画像信号１６を生成する動作を示すフローチャートである。

まず、動き補償予測器１０８では、スイッチ２０１、スイッチ２０３およびスイッチ２０５の状態が初期化される（ステップＳ２０１）。すなわち、スイッチ２０１、スイッチ２０３およびスイッチ２０５では、それぞれ端子２０１ａ、端子２０３ａおよび端子２０５ａが導通状態となる。

スイッチの設定が初期化されると、入力画像信号１１および局部復号化画像信号１５が動き検出器２０４に入力されて、動き検出器２０４において入力画像信号１１と局部復号化画像信号１５との間の動きベクトル（以下、初期動きベクトルと呼ぶ）が算出される（ステップＳ２０２）。２つの画像信号から動きベクトルを算出する方法としては、例えば、各画像信号を複数の領域（ブロック）に分割し、ブロックごとに２つの画像信号から最も類似したブロックを探索し、探索されたブロック間の画像信号上の位置の差をそのブロックの動きベクトルとするブロックマッチング法を用いることができる。ブロックマッチング法では、ブロック単位で動きベクトルが求まるため、初期動きベクトルの数はブロック数と同数となる。このように動き検出器２０４で検出された初期動きベクトルは、次に、フィルタ生成器２０６に送られる。

フィルタ生成器２０６は、初期動きベクトル、入力画像信号１１および局部復号化画像信号１５を用いて、局部復号化画像信号１５から参照画像信号を生成するためのフィルタを生成する（ステップＳ２０３）。

ここで、フィルタ生成器２０６で生成されるフィルタとしては、例えば、局部復号化画像信号１５の各整数画素について、その整数画素を含む一定の範囲内の画素の画素値の線形和を取るフィルタとすればよい。すなわち、局部復号化画像信号１５の座標（ｘ，ｙ）の画素の画素値をＳＬ（ｘ，ｙ）とすると、対応する参照画像信号の座標（ｘ，ｙ）における画素の画素値ＳＲ（ｘ，ｙ）は、（１）式によって得られるものとする。

ここで、ｈ（ｉ，ｊ）は、図５に示すように、座標（ｘ＋ｉ，ｙ＋ｊ）に対するフィルタの重み係数、Ｎは線形和をとる画素の範囲を表す定数である。また、［ａ］は、実数ａを四捨五入した値を表す。

また、（１）式の代わりに、符号化のための計算量を制御するため、（２）式を用いて、局部復号化画像信号１５の整数画素の画素値の線形和をｍビットだけ右にビットシフトして得られる値を参照画像の画素値とすることも可能である。

ここで、＞＞は右ビットシフトを意味する演算子を表す。また、（２）式では、ｍビットシフトして得られる値について四捨五入演算を行なうため、局部復号化画像信号１５の整数画素の画素値の線形和に２ｍ−１を加算した後に、ビットシフトを行なっている。また、ｍはあらかじめ定めた定数である。

さらに、（１）式の代わりに、（３）式のように、局部復号化画像信号１５の整数画素の画素値の線形和をｍビットだけ右にビットシフトして得られる値に、オフセットｈｏｆｆｓｅｔを加算したものを参照画像の画素値とすることも可能である。

このように、オフセットｈｏｆｆｓｅｔを加算したものを参照画像信号の画素値とすることにより、画像全体の画素の平均的な輝度変化をも考慮したフィルタとすることができる。

また、（３）式の代わりに、（４）式のように、局部復号化画像信号１５の整数画素の画素値の線形和にオフセットを加算した値をｍビットだけ右にビットシフトしたものを参照画像の画素値としてもよい。

なお、以下では、上述した（３）式を用いて参照画像信号を算出する場合について説明する。

フィルタ生成器２０６は、局部復号化画像信号１５に対するフィルタのフィルタ係数ｈ（ｉ，ｊ）およびオフセット値ｈｏｆｆｓｅｔを求める。これらのフィルタ係数ｈ（ｉ，ｊ）およびオフセット値ｈｏｆｆｓｅｔは、参照画像信号を初期動きベクトルによって動き補償して得られる予測画像信号と入力画像信号１１との間の誤差が最小になるように生成される。初期ベクトルによる参照画像信号の動き補償は、例えば、（５）式にしたがって行なえばよい。

ここで、ＳＰ（ｘ，ｙ）は予測画像信号の座標（ｘ，ｙ）における画素値、ｖＩｉｘおよびｖＩｉｙは、それぞれ座標（ｘ，ｙ）が属するブロックｉの初期動きベクトルＶＩｉのｘ成分およびｙ成分を表す。

また、予測画像信号と入力画像信号１１との間の誤差は、例えば、（６）式で表される二乗誤差や（７）式で表される絶対値誤差を用いることができる。

ここで、Ｓ（ｘ，ｙ）は、入力画像信号１１の座標（ｘ，ｙ）における画素値を表し、Σｘ，ｙは、画像信号内に含まれるすべての画素についての和を表す。

（６）式あるいは（７）式によって求まる予測画像信号と入力画像信号１１との間の誤差を最小にするフィルタ係数ｈ（ｉ，ｊ）およびオフセット値ｈｏｆｆｓｅｔは、例えば、最小二乗法の正規化方程式を解くことによって求めることができる。または、ＤｏｗｎｈｉｌｌＳｉｍｐｌｅｘ法（例えば、Ｊ．Ｒ．ＮｅｌｄｅｒａｎｄＲ．Ｍｅａｄ，“Ａｓｉｍｐｌｅｘｍｅｔｈｏｄｆｏｒｆｕｎｃｔｉｏｎｍｉｎｉｍｉｚａｔｉｏｎ，”ＣｏｍｐｕｔｅｒＪｏｕｒｎａｌ，ｖｏｌ．７，ｐｐ．３０８−３１３，１９６５を参照）などの近似最小化手法によって、誤差を近似的に最小にするフィルタとして求めてもよい。

このようにフィルタ生成器２０６で生成されたフィルタ（ｈ（ｉ，ｊ）およびｈｏｆｆｓｅｔ）は、参照画像生成器２０２に送られるとともに、フィルタメモリ２０７にも送られて記憶される。さらに、減算器２０８では、フィルタ生成器２０６で生成されたフィルタと、フィルタメモリ２０７にすでに記憶されているフィルタとの間の差分が計算され、差分信号１７が生成される。ここで、フィルタ間の差分を計算するフィルタとしては、例えば、現在のフレームに対して、１フレームだけ過去のフレームのフィルタを用いればよい。

フィルタ間の差分の計算は、例えば、（８）式によって行なう。

ここで、ｈＭ（ｉ，ｊ）およびｈMｏｆｆｓｅｔは、それぞれフィルタメモリ２０７に記憶されている１フレームだけ過去のフィルタのフィルタ係数およびオフセット値である。

このようにして求められたフィルタ間の差分信号１７は、エントロピー符号化器１０９に送られ、量子化された予測誤差信号１２の直交変換係数とともに符号化される。このように、フィルタ係数およびオフセット値をそのまま符号化するのではなく、すでに生成され、記憶されているフィルタとの間で差分をとり、この差分を符号化することにより、符号化すべき情報量を減らすことが可能になる。

フィルタ生成器２０６から参照画像生成器２０２にフィルタが送られると、スイッチの設定が変更される（ステップＳ２０４）。すなわち、スイッチ２０１、スイッチ２０３およびスイッチ２０５では、それぞれ端子２０１ｂ、端子２０３ｂおよび端子２０５ｂが導通状態となる。

スイッチの設定が変更されると、局部復号化画像信号１５が参照画像生成器２０２に入力されて、参照画像信号が生成される（ステップＳ２０５）。参照画像信号は、フィルタ生成器２０６から送られたフィルタを用いて、局部復号化画像信号１５を（３）式にしたがってフィルタリングすることによって生成される。参照画像生成器２０２で生成された参照画像信号は、次に、スイッチ２０３を経て、動き検出器２０４に送られる。

動き検出器２０４では、参照画像生成器２０２から送られる参照画像信号と入力画像信号１１との間の動きベクトルが算出される（ステップＳ２０６）。動きベクトルの算出方法としては、例えば、上述したブロックマッチング法を用いればよい。算出された動きベクトルは、スイッチ２０５を経て、予測画像生成器２０９に送られる。また、算出された動きベクトルは、エントロピー符号化器１０９にも送られ、量子化された予測誤差信号１２の直交変換係数および減算器２０８から送られるフィルタ間の差分信号１７とともに符号化される。

予測画像生成器２０９では、参照画像生成器２０２から送られる参照画像信号と動き検出器２０４から送られる動きベクトルから、予測画像信号１６が生成される（ステップＳ２０７）。予測画像信号１６は、（９）式にしたがって求めることができる。

ここで、ｖｉｘおよびｖｉｙは、それぞれ動き検出器２０４から送られる、座標（ｘ，ｙ）の属するブロックｉの動きベクトルＶｉのｘ成分およびｙ成分を表す。

このように予測画像生成器２０９で生成された予測画像信号１６は、次に、減算器１０１に送られ、新たに入力される入力画像信号１１との間で、予測誤差信号１２を生成するために用いられる。

以上が、動き補償予測器１０８の動作である。このように、動き補償予測器１０８は、１フレームごとに局部復号化画像信号１５に対するフィルタを生成し、このフィルタを用いて入力画像信号１１に対する予測画像信号１６を生成する。

次に、動き補償予測器１０８で求められた参照画像信号生成のためのフィルタの差分信号１７、動きベクトル１８および量子化器１０３で得られる量子化された予測誤差信号１２の直交変換係数は、エントロピー符号化器１０９に送られて符号化される（ステップＳ１１０）。エントロピー符号化器１０９としては、例えば、算術符号化器を用いればよい。

エントロピー符号化器１０９で符号化されたこれらのデータは、さらに多重化器１１０で多重化され、ビットストリームの符号化データ１９として出力される。そして符号化データ１９は、図示しない蓄積系あるいは伝送路へ送出される。

このように、本発明の実施形態に係わる動画像符号化装置によれば、予測画像信号と入力画像信号との間の誤差が小さくなるように、局部復号化画像信号１５の整数画素に対するフィルタを生成し、このフィルタを用いて生成される参照画像信号と入力画像信号１１とから予測画像信号１６を生成することにより、予測画像信号１６と入力画像信号１１との間の予測誤差を小さくすることができるので、入力画像信号に対する復号化画像信号の画質の劣化を防ぐことが可能になる。

なお、上述した実施形態では、フィルタ生成器２０６では、局部復号化画像信号１５のすべての整数画素に共通するフィルタを生成したが、動き検出器２０４で得られるブロックごとに、異なるフィルタを生成することも可能である。例えば、第ｋ番目のブロックに属する局部復号化画像信号１５の座標（ｘ，ｙ）に対するフィルタ係数をｈｋ（ｉ，ｊ）、オフセットをｈｋｏｆｆｓｅｔとして、参照画像信号の座標（ｘ，ｙ）における画素値を（１０）式によって求めるものとする。

そして、ブロックごとに、（５）式によって求まる予測画像信号と入力画像信号１１との間の二乗誤差（（６）式）または絶対値誤差（（７）式）が最小になるように、フィルタの重み係数ｈｋ（ｉ，ｊ）およびオフセットｈｋｏｆｆｓｅｔを定めればよい。このように、ブロックごとにフィルタを生成することにより、予測画像信号と入力画像信号の間の予測誤差をより小さくすることが可能になる。

また、複数のブロックをまとめて組を作り、ブロックの組単位ごとにひとつのフィルタを生成することも可能である。このようにすることで、局部復号化画像信号１５のすべての整数画素に共通するフィルタを生成する場合に比べて、予測画像信号と入力画像信号との間の予測誤差を小さくすることが可能となるとともに、ブロックごとにフィルタを生成する場合に比べて、フィルタ生成のための計算量を削減することが可能になる。

また、上述した実施形態では、（３）式もしくは（４）式で用いるビットシフト量を、あらかじめ定めた定数としているが、ビットシフト量を符号化効率に応じて可変とできるようにしておき、このビットシフト量も符号化して復号化器に送信することも可能である。このように、ビットシフト量を可変にすることで、効率的に符号化する情報量を制御することが可能になる。

また、上述した実施形態では、フレームメモリ１０７から読み出す局部復号化画像信号１５を、あらかじめ定めた一定時間だけ過去のフレームの局部復号化画像信号としたが、例えば、現在フレームに対して一定時間だけ過去もしくは未来の局部復号化画像信号のすべてに対して、図４に示すフローチャートによって予測画像信号を生成し、そのうち、予測画像信号と入力画像信号との間の予測誤差が最も小さくなる局部復号化画像を選択するようにしてもよい。

また、上述した実施形態では、ステップＳ２０７で、予測画像生成器２０９において、参照画像生成器２０２から送られる参照画像信号と動き検出器２０４から送られる動きベクトルを用いて予測画像信号１６を生成していたが、動き補償予測器１０８の構成を変更し、局部復号化画像信号１５とフィルタ生成器２０６で生成されるフィルタを直接予測画像生成器２０９に送るようにして、局部復号化画像１５、フィルタ生成器２０６で生成されるフィルタおよび動き検出器２０４から送られる動きベクトルを用いて、（１１）式にしたがって予測画像信号１６を生成するようにしてもよい。

ここで、ｖｋｘおよびｖｋｙは、それぞれ動き検出器２０４から送られる、座標（ｘ，ｙ）の属するブロックｋの動きベクトルＶｋのｘ成分およびｙ成分を表す。

次に、本発明の実施形態に係わる動画像復号化装置について説明する。

図６は、本発明の実施形態に係わる動画像復号化装置を示すブロック図である。

この実施形態に係わる動画像復号化装置は、符号化データ３１を分離する多重化分離器３０１と、多重化分離器３０１により分離された符号化データから、量子化された予測誤差信号の直交変換係数３２、動きベクトル３３および参照画像信号生成のためのフィルタの差分信号３４を復号化するエントロピー復号化器３０２と、量子化された予測誤差信号の直交変換係数３２を逆量子化する逆量子化器３０３と、予測誤差信号の直交変換係数を逆直交変換することにより予測誤差信号３５を再生する逆直交変換器３０４と、既に復号化されている復号化画像信号を記憶するフレームメモリ３０５と、フレームメモリ３０５に記憶されている復号化画像信号をフィルタリングして参照画像信号３６を生成する参照画像生成器３０６と、参照画像生成器３０６で生成された参照画像信号３６とエントロピー復号化器３０２から送られる動きベクトル３３とから予測画像信号３７を生成する予測画像生成器３０７と、予測画像生成器３０７で生成される予測画像信号３７と逆直交変換器３０４で再生された予測誤差信号３５とを加算して復号化画像信号を生成する加算器３０８と、再生されたフィルタを記憶するフィルタメモリ３０９と、フィルタメモリ３０９に記憶されたフィルタとエントロピー復号化器３０２から送られるフィルタの差分信号３４とを加算することでフィルタを再生して参照画像生成器３０６に送る加算器３１０と、を備えている。

次に図６および図７を用いて、本発明の実施形態に係わる動画像復号化装置の動作について説明する。なお、図７は、本発明の実施形態に係わる動画像復号化装置の動作を示すフローチャートである。

まず、復号化対象となる符号化データ３１として、図１の動画像符号化装置から出力される符号化データ１９が、蓄積系または伝送系を経て、図６に示す動画像復号化装置に入力される（ステップＳ３０１）。

入力された符号化データ３１は、多重化分離器３０１で、動きベクトル、参照画像信号生成のためのフィルタの差分信号および量子化された予測誤差信号の直交変換係数の符号化データへと分離される（ステップＳ３０２）。

分離された各符号化データは、次に、エントロピー復号化器３０２に送られ、復号化される（ステップＳ３０３）。エントロピー復号化器３０２で復号化された量子化された予測誤差信号の直交変換係数３２、動きベクトル３３および参照画像信号生成のためのフィルタの差分信号３４（Δｈ（ｉ，ｊ）およびΔｈｏｆｆｓｅｔ）は、それぞれ逆量子化器３０３、予測画像生成器３０７および加算器３１０に送られる。

量子化された予測誤差信号の直交変換係数３２は、まず、逆量子化器３０３で逆量子化され（ステップＳ３０４）、次に、逆直交変換器３０４で逆直交変換されて、予測誤差信号３５が再生される（ステップＳ３０５）。

加算器３１０に送られた参照画像信号生成のためのフィルタの差分信号３４（Δｈ（ｉ，ｊ）およびΔｈｏｆｆｓｅｔ）は、フィルタメモリ３０９に記憶されているフィルタ（ｈＭ（ｉ，ｊ）およびｈＭｏｆｆｓｅｔ）と加算されて、現在フレームにおけるフィルタ（ｈ（ｉ，ｊ）およびｈｏｆｆｓｅｔ）が再生される（ステップＳ３０６）。フィルタの再生は、（１２）式にしたがって行なえばよい。

ここで、フィルタの再生に用いられるフィルタメモリ３０９に記憶されているフィルタとしては、例えば、動画像符号化器において、現在フレームに対して１フレームだけ過去のフィルタを用いてフィルタ間の差分信号を生成した場合には、これに対応して、１フレームだけ過去のフレームをフィルタメモリ３０９から読み出して用いればよい。

加算器３１０で再生されたフィルタは、参照画像生成器３０６に送られるとともに、フィルタメモリ３０９にも送られて記憶される。

次に参照画像生成器３０６では、フレームメモリ３０５に記憶されている一定の時間だけ過去もしくは未来の復号化画像信号を読み出し、加算器３１０から送られるフィルタを用いてフィルタリングを行なって、参照画像信号３６を生成する（ステップＳ３０７）。参照画像信号３６の生成は、（１３）式によって行なう。

ここで、ＳＤ（ｘ，ｙ）は、フレームメモリ３０５に記憶されている復号化画像信号の座標（ｘ，ｙ）における画素の画素値を表す。また、読み出される復号化画像信号としては、例えば、動画像符号化装置において、現在フレームに対して一定のフレームだけ過去の局部復号化画像信号を用いて参照画像信号を生成した場合には、これに対応して、現在のフレームに対して、一定のフレームだけ過去の復号化画像信号をフレームメモリ３０５から読み出して用いればよい。

参照画像生成器３０６で生成された参照画像信号３６は、次に、予測画像生成器３０７に送られる。

予測画像生成器３０７では、参照画像信号３６とエントロピー復号化器３０２から送られる動きベクトル３３とを用いて、予測画像信号３７を生成する（ステップＳ３０８）。予測画像信号３７の生成は、（１４）式によって行なう。

ここで、ｖｉｘおよびｖｉｙは、それぞれエントロピー復号化器３０２から送られる、座標（ｘ，ｙ）の属するブロックの動きベクトルＶｉのｘ成分およびｙ成分を表す。

予測画像生成器３０７で生成された予測画像信号３７は、加算器３０８において、逆直交変換器３０４から送られた予測誤差信号３５と加算され、復号化画像信号が生成される（ステップＳ３０９）。こうして生成される復号化画像信号の時系列データが、復号化された動画像信号となる。

また、加算器３０８から出力される復号化画像信号は、フレームメモリ３０５にも送られ、記憶される（ステップＳ３１０）。

このように、本発明の実施形態に係わる動画像復号化装置によれば、予測画像信号と動画像符号化装置に入力される入力画像信号との間の誤差が小さくなるように生成されたフィルタを用いて参照画像信号３６が生成され、この参照画像信号３６から予測画像信号３７が生成されるため、動画像符号化装置に入力される入力画像信号に対する復号化画像信号の画質の劣化を防ぐことが可能になる。

１１・・・入力画像信号
１２、３５・・・予測誤差信号
１３、３２・・・量子化された予測誤差信号の直交変換係数
１４、１５・・・局部復号化画像信号
１６、３７・・・予測画像信号
１７、３４・・・参照画像信号生成ためのフィルタの差分信号
１８、３３・・・動きベクトル
１９、３１・・・符号化データ
３６・・・参照画像信号
１０１、２０８・・・減算器
１０２・・・直交変換器
１０３・・・量子化器
１０４、３０３・・・逆量子化器
１０５、３０４・・・逆直交変換器
１０６、３０８、３１０・・・加算器
１０７、３０５・・・フレームメモリ
１０８・・・動き補償予測器
１０９・・・エントロピー符号化器
１１０・・・多重化器
２０１、２０３、２０５・・・スイッチ
２０２、３０６・・・参照画像生成器
２０４・・・動き検出器
２０６・・・フィルタ生成器
２０７、３０９・・・フィルタメモリ
２０９、３０７・・・予測画像生成器
３０１・・・多重化分離器
３０２・・・エントロピー復号化器

Claims

入力された符号化データを復号化して、量子化された直交変換係数と、動きベクトルと、フィルタ係数の差分信号及びオフセットの差分信号と、を得るステップと、
前記量子化された直交変換係数を逆量子化および逆直交変換して予測誤差信号を生成するステップと、
フィルタメモリに記憶されているフィルタ係数及びオフセットのそれぞれに、フィルタ係数の差分信号及びオフセットの差分信号を加算し、参照画像を生成するためのフィルタを得るステップと、
フレームメモリに記憶されている復号化画像の各整数画素について、前記フィルタのフィルタ係数によりその整数画素を含む一定範囲の整数画素の画素値の重み付け和に、前記フィルタのオフセットを加算して、新たな整数画素を生成することにより参照画像を生成するステップと、
前記参照画像と前記動きベクトルとから予測画像を生成するステップと、
前記予測画像と前記予測誤差信号とから復号化画像を生成するステップと、
前記復号化されたフィルタ係数及びオフセットを前記フィルタメモリに記憶するステップと、
前記復号化された復号画像を前記フレームメモリに記憶するステップと、
を有することを特徴とする動画像復号化方法。
入力された符号化データを復号化して、量子化された直交変換係数と、動きベクトルと、フィルタ係数の差分信号及びオフセットの差分信号と、を得る手段と、
前記量子化された直交変換係数を逆量子化および逆直交変換して予測誤差信号を生成する手段と、
フィルタメモリに記憶されているフィルタ係数及びオフセットのそれぞれに、フィルタ係数の差分信号及びオフセットの差分信号を加算し、参照画像を生成するためのフィルタを得る手段と、
フレームメモリに記憶されている復号化された復号化画像の各整数画素について、前記フィルタのフィルタ係数によりその整数画素を含む一定範囲の整数画素の画素値の重み付け和に、前記フィルタのオフセットを加算して、新たな整数画素を生成することにより参照画像を生成する手段と、
前記参照画像と前記動きベクトルとから予測画像を生成する手段と、
前記予測画像と前記予測誤差信号とから復号化画像を生成する手段と、
前記復号化されたフィルタ係数及びオフセットを前記フィルタメモリに記憶する手段と、
前記復号された復号画像を前記フレームメモリに記憶する手段と、
を有することを特徴とする動画像復号化装置。
フレームメモリに記憶されている局部復号化画像の各整数画素について、参照画像を生成するためのフィルタのフィルタ係数によりその整数画素を含む一定範囲の整数画素の画素値の重み付け和に、前記参照画像を生成するためのフィルタのオフセットを加算して、新たな整数画素を生成することにより参照画像を生成するステップと、
前記参照画像と入力画像との間の動きベクトルに従って予測画像を生成するステップと、
前記予測画像と前記入力画像との間の予測残差信号を得るステップと、
前記参照画像を生成するためのフィルタのフィルタ係数及びオフセットのそれぞれから、フィルタメモリに記憶されているフィルタ係数及びオフセット、を減算しフィルタ係数の差分信号及びオフセットの差分信号を得るステップと、
前記参照画像を生成するためのフィルタのフィルタ係数及びオフセットを前記フィルタメモリに記憶するステップと、
前記入力画像の局部復号画像を前記フレームメモリに記憶するステップと、
前記予測画像と前記入力画像との間の予測誤差信号を直交変換および量子化して、量子化された直交変換係数を得るステップと、
前記量子化された直交変換係数と、動きベクトルと、前記フィルタ係数の差分信号及びオフセットの差分信号、を符号化して符号化データを得るステップと、
を有することを特徴とする動画像復号化方法。
フレームメモリに記憶されている局部復号化画像の各整数画素について、参照画像を生成するためのフィルタのフィルタ係数によりその整数画素を含む一定範囲の整数画素の画素値の重み付け和に、前記参照画像を生成するためのフィルタのオフセットを加算して、新たな整数画素を生成することにより参照画像を生成する手段と、
前記参照画像と入力画像との間の動きベクトルに従って予測画像を生成する手段と、
前記予測画像と前記入力画像との間の予測残差信号を得る手段と、
前記参照画像を生成するためのフィルタのフィルタ係数及びオフセットのそれぞれから、フィルタメモリに記憶されているフィルタ係数及びオフセット、を減算しフィルタ係数の差分信号及びオフセットの差分信号を得る手段と、
前記参照画像を生成するためのフィルタのフィルタ係数及びオフセットを前記フィルタメモリに記憶する手段と、
前記入力画像の局部復号画像を前記フレームメモリに記憶する手段と、
前記予測画像と前記入力画像との間の予測誤差信号を直交変換および量子化して、量子化された直交変換係数を得る手段と、
前記量子化された直交変換係数と、動きベクトルと、前記フィルタ係数の差分信号及びオフセットの差分信号、を符号化して符号化データを得る手段と、
を有することを特徴とする動画像復号化装置。