JP2012209874A - 動画像復号化装置及び動画像復号化方法 - Google Patents

Abstract

【課題】参照画像メモリの容量削減のためにＡＣ係数を大きく量子化すると、参照画像が劣化し、符号化される動画像の画質の劣化が顕著になる。
【解決手段】動画像を動き補償して復号化する復号化装置において、参照画像記憶部は、圧縮部１２００とメモリ部１２０１と伸長部１２０２とを含み、参照画像をテンプレート符号化して記憶する。圧縮部１２００は、参照画像の画素値をブロック単位で直交変換し、係数のテンプレートとの差分、選択されたテンプレートを示すインデックス、および選択されたテンプレートを符号化し、メモリ部１２０１に書き出す。伸長部１２０２は、メモリ部１２０１から係数のテンプレートとの差分、使用されたテンプレートを示すインデックス、および使用されたテンプレートを読み出して、復号化し、係数と使用されたテンプレートの和をとって、ブロック単位で逆直交変換して画素値を得る。
【選択図】図１２

Description

本発明は、動画像の復号化技術に関し、特に動き補償予測を利用した動画像の復号化技術に関する。

動画像を少ない符号量で効率的に表現するため、ＭＰＥＧ−４ ＡＶＣ（ＩＳＯ／ＩＥＣ １４４９６−１０）などの規格に代表される、フレーム間予測差分符号化方式が用いられている。この方式では、参照画像と符号化画像とをブロック単位で比較し、画像内の物体がどのように動いたかを推定する。また、符号化対象のブロックから動きの分だけ移動した位置における参照画像を用いて、符号化対象のブロックを符号化する。つまり、符号化時に使用する参照画像を保存するために、大容量の参照画像メモリが必要となる。よって、この参照画像メモリの容量を削減することが望まれている。

従来の符号化装置では、参照画像をアダマール変換し、ＡＣ係数を大きく量子化して参照画像メモリの容量を削減している（たとえば、特許文献１）。

特開２００１−２６８５７１号公報

従来の動画像符号化装置では、参照画像メモリの容量を削減する際に、ＡＣ係数を大きく量子化している。これにより参照画像が大きく劣化し、これを用いて符号化すると画質の劣化が顕著になることが課題であった。

本発明はこうした状況に鑑みてなされたものであり、その目的は、参照画像メモリの容量を削減する際に参照画像を大きく劣化させないようにして、従来よりも画質劣化を抑制する動画像符号化装置および動画像復号化装置を提供することにある。

上記課題を解決するために、本発明のある態様の動画像復号化装置は、参照画像を用いて動き補償により動画像を復号化する動画像復号化装置であって、参照画像をテンプレート符号化して記憶する参照画像記憶部を備える。前記参照画像記憶部は、圧縮部（１２００）と、メモリ部（１２０１）と、伸長部（１２０２）とを備える。前記圧縮部は、参照画像の画素値を所定のブロック単位で直交変換して係数を得る直交変換部（２００）と、所定個数のテンプレートに対して、ブロックの前記係数と各テンプレートとの差分の符号量およびテンプレートの符号量を評価して、いずれかのテンプレートを選択するテンプレート減算部（２０２）と、前記係数のテンプレートとの差分、選択されたテンプレートを示すインデックス、および選択されたテンプレートを符号化し、前記メモリ部に書き出す符号化部（２０１）とを備える。前記メモリ部は、符号化後の前記係数のテンプレートとの差分および前記インデックスを保存する係数・インデックス保存部（２０３）と、前記係数・インデックス保存部に保存された全てのインデックスに対応する符号化後の前記テンプレートを保存するテンプレート保存部（２０４）とを備える。前記伸長部は、前記メモリ部から前記係数のテンプレートとの差分、前記選択されたテンプレートを示すインデックス、および前記選択されたテンプレートを読み出して、復号化する復号化部（２０５）と、復号された前記係数のテンプレートとの差分と前記選択されたテンプレートとの和をとるテンプレート加算部（２０７）と、テンプレート加算後の前記係数を所定のブロック単位で逆直交変換して画素値を得る逆直交変換部（２０６）とを備える。

本発明の別の態様もまた、動画像復号化装置である。この装置は、参照画像を用いて動き補償により動画像を復号化する動画像復号化装置であって、参照画像をテンプレート符号化して記憶する参照画像記憶部を備える。前記参照画像記憶部は、圧縮部（１２００）と、メモリ部（１２０１）と、伸長部（１２０２）とを備える。前記圧縮部は、参照画像の画素値を所定のブロック単位で直交変換して係数を得る直交変換部（２００）と、所定個数のテンプレートを保存する第１テンプレート保存部（２１０）と、前記第１テンプレート保存部からテンプレートを読み出して、ブロックの前記係数と各テンプレートとの差分の符号量およびテンプレートの符号量を評価して、いずれかのテンプレートを選択するテンプレート減算部（２０２）と、前記係数のテンプレートとの差分、選択されたテンプレートを示すインデックスを符号化し、前記メモリ部に書き出す符号化部（２０１）とを備える。前記メモリ部は、符号化後の前記係数のテンプレートとの差分および前記インデックスを保存する係数・インデックス保存部（２０３）を備える。前記伸長部は、前記メモリ部から前記係数のテンプレートとの差分、および前記選択されたテンプレートを示すインデックスを読み出して、復号化する復号化部（２０５）と、前記圧縮部の第１テンプレート保存部と同じ所定個数のテンプレートを保存する第２テンプレート保存部（２１１）と、復号された前記インデックスが示すテンプレートを前記第２テンプレート保存部から読み出して、復号された前記係数のテンプレートとの差分と前記第２テンプレート保存部から読み出されたテンプレートとの和をとるテンプレート加算部（２０７）と、テンプレート加算後の前記係数を所定のブロック単位で逆直交変換して画素値を得る逆直交変換部（２０６）とを備える。

本発明のさらに別の態様は、動画像復号化方法である。この方法は、参照画像を用いて動き補償により動画像を復号化する動画像復号化方法であって、参照画像をテンプレート符号化して記憶する参照画像記憶ステップを備える。前記参照画像記憶ステップは、圧縮ステップと、メモリ記憶ステップと、伸長ステップとを備える。前記圧縮ステップは、参照画像の画素値を所定のブロック単位で直交変換して係数を得る直交変換ステップと、所定個数のテンプレートに対して、ブロックの前記係数と各テンプレートとの差分の符号量およびテンプレートの符号量を評価して、いずれかのテンプレートを選択するテンプレート減算ステップと、前記係数のテンプレートとの差分、選択されたテンプレートを示すインデックス、および選択されたテンプレートを符号化し、メモリに書き出す符号化ステップとを備える。前記メモリ記憶ステップは、符号化後の前記係数のテンプレートとの差分および前記インデックスを前記メモリに保存する係数・インデックス保存ステップと、前記係数・インデックス保存ステップにて保存された全てのインデックスに対応する符号化後の前記テンプレートを前記メモリに保存するテンプレート保存ステップとを備える。前記伸長ステップは、前記メモリから前記係数のテンプレートとの差分、前記選択されたテンプレートを示すインデックス、および前記選択されたテンプレートを読み出して、復号化する復号化ステップと、復号された前記係数のテンプレートとの差分と前記選択されたテンプレートとの和をとるテンプレート加算ステップと、テンプレート加算後の前記係数を所定のブロック単位で逆直交変換して画素値を得る逆直交変換ステップとを備える。

本発明のさらに別の態様もまた、動画像復号化方法である。この方法は、参照画像を用いて動き補償により動画像を復号化する動画像復号化方法であって、参照画像をテンプレート符号化して記憶する参照画像記憶ステップを備える。前記参照画像記憶ステップは、圧縮ステップと、メモリ記憶ステップと、伸長ステップとを備える。前記圧縮ステップは、参照画像の画素値を所定のブロック単位で直交変換して係数を得る直交変換ステップと、所定個数のテンプレートをメモリから読み出す第１テンプレート読み出しステップと、ブロックの前記係数と各テンプレートとの差分の符号量およびテンプレートの符号量を評価して、いずれかのテンプレートを選択するテンプレート減算ステップと、前記係数のテンプレートとの差分、選択されたテンプレートを示すインデックスを符号化し、メモリに書き出す符号化ステップとを備える。前記メモリ記憶ステップは、符号化後の前記係数のテンプレートとの差分および前記インデックスを保存する係数・インデックス保存ステップを備える。前記伸長ステップは、保存された前記係数のテンプレートとの差分、および前記選択されたテンプレートを示すインデックスを読み出して、復号化する復号化ステップと、復号された前記インデックスが示すテンプレートをメモリから読み出す第２テンプレート読み出しステップと、復号された前記係数のテンプレートとの差分と前記第２テンプレート読み出しステップで読み出されたテンプレートとの和をとるテンプレート加算ステップと、テンプレート加算後の前記係数を所定のブロック単位で逆直交変換して画素値を得る逆直交変換ステップとを備える。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、参照画像メモリの容量を削減する際に参照画像を大きく劣化させないようにして、動画像の画質劣化を抑制することができる。

実施の形態１に係る動画像符号化装置を示すブロック図である。 図１の圧縮部、メモリ部、および伸長部の構成を示すブロック図である。 図１の圧縮部の動作を説明するフローチャートである。 テンプレートを説明する図である。 インデックス０のテンプレートを示す図である。 図２の係数・インデックス保存部にデータを保存する際の配置を示す図である。 図２の係数・インデックス保存部に保存される圧縮データの内容を説明する図である。 図２の伸長部の動作を説明するフローチャートである。 実施の形態２に係る動画像符号化装置の圧縮部、メモリ部、および伸長部の構成を示すブロック図である。 図９における圧縮部の動作を説明するフローチャートである。 評価値を算出する際の重み付けを説明する図である。 実施の形態３に係る動画像復号化装置を示すブロック図である。

本発明の実施の形態に係る動画像符号化装置及び動画像復号装置について図面を参照して説明する。

（実施の形態１）
図１は実施の形態１に係る動画像符号化装置の構成を示すブロックである。図１において点線で囲まれた参照画像記憶部の構成以外は、ＭＰＥＧ−４ ＡＶＣを用いた動画像符号化装置と同様の動作をする。

実施の形態の動画像符号化装置は、ＤＣＴ部１２、量子化部１３、可変長符号化部１４、逆量子化部１５、逆ＤＣＴ部１６、デブロックフィルタ部１７、動き推定（ＭＥ）部１９、動き補償（ＭＣ）部２０、イントラ予測部２１、減算器２４、加算器２６、圧縮部１００、メモリ部１０１、および伸長部１０２を備える。

入力されたデジタル画像信号は、たとえば１６×１６画素で構成されるマクロブロック単位で符号化対象ブロックとして切り出され、減算器２４、イントラ予測部２１、およびＭＥ部１９に供給される。減算器２４は、入力された符号化対象ブロックから、イントラ予測部２１またはＭＣ部２０から供給される予測画像ブロックを減じ、その結果を差分ブロックとしてＤＣＴ（Discrete Cosine Transform）部１２に供給する。

ＤＣＴ部１２は、差分ブロックをＤＣＴ変換し、直交変換された周波数成分信号に相当するＤＣＴ係数を生成する。ＤＣＴ部１２は、生成したＤＣＴ係数をマクロブロック単位でまとめて量子化部１３に出力する。量子化部１３は、ＤＣＴ係数を除算する量子化処理を実行する。量子化部１３は、量子化処理されたＤＣＴ係数を、逆量子化部１５及び可変長符号化部１４に供給する。可変長符号化部１４は、量子化部１３より供給された量子化されたＤＣＴ係数を可変長符号化し、符号化ストリームを出力する。

逆量子化部１５は、量子化部１３より供給された量子化処理されたＤＣＴ係数に対して、量子化時に除算に用いられた値を乗算する逆量子化を実行し、逆量子化された結果を復号されたＤＣＴ係数として、逆ＤＣＴ部１６に出力する。逆ＤＣＴ部１６は、逆ＤＣＴ処理を行い、復号された差分ブロックを生成する。逆ＤＣＴ部１６は、復号された差分ブロックを加算器２６に供給する。加算器２６は、イントラ予測部２１またはＭＣ部２０から供給される予測画像ブロックと、逆ＤＣＴ部１６から供給される復号された差分ブロックとを加算し、局部復号ブロックを生成する。加算器２６によって生成された局部復号ブロックは、デブロックフィルタ部１７に供給される。

イントラ予測部２１は、入力される符号化対象ブロックと、符号化対象ブロックに隣接する符号化済みの復号ブロック画像とから、面内予測を行い、面内予測ブロックを出力する。

デブロックフィルタ部１７は、符号化対象ブロック内のＤＣＴ境界に対して、符号化処理で発生する歪を除去するための低域通過フィルタによりフィルタリングを施し、その結果を参照画像として、圧縮部１００に供給する。圧縮部１００は、参照画像を圧縮してメモリ部１０１に保持する。メモリ部１０１に格納された参照画像は、時間相関を用いた動き補償予測ブロックを生成するために用いられる。伸長部１０２は、メモリ部１０１に保持された圧縮後の参照画像を伸長し、ＭＥ部１９に供給する。

点線で囲まれた、圧縮部１００、メモリ部１０１、および伸長部１０２は、参照画像をテンプレート符号化して保持する「参照画像記憶部」として機能する。

ＭＥ部１９は、符号化対象ブロックと伸長部１０２から供給される参照画像との間で、ブロックマッチングを行い、動きベクトルを検出する動き推定処理を行う。ＭＥ部１９によって求められた動きベクトルは、ＭＣ部２０に供給される。ＭＣ部２０は、ＭＥ部１９から供給された動きベクトルを用いて予測画像を生成し、出力する。

図２は、図１の参照画像記憶部の詳細な構成を示す図である。参照画像記憶部は、圧縮部１００、メモリ部１０１、および伸長部１０２を備える。圧縮部１００は、ＤＣＴ部２００、符号化部２０１、およびテンプレート減算部２０２を備える。メモリ部１０１は、係数・インデックス保存部２０３およびテンプレート保存部２０４を備える。伸長部１０２は、復号化部２０５、逆ＤＣＴ部２０６、およびテンプレート加算部２０７を備える。

圧縮部１００の処理の流れについて図３を参照しながら説明する。圧縮部１００のＤＣＴ部２００は、デブロックフィルタ部１７より入力された参照画像を８×８画素のブロック単位で区切り、画素値に対してＤＣＴ変換を行い（Ｓ３０１）、たとえば８ビットで量子化および逆量子化される（Ｓ３０２）。この量子化および逆量子化の量子化パラメータは、係数の位置（周波数帯域）によって変えてもよく、量子化部１３の量子化パラメータに合わせてもよく、メモリ部１０１の容量に応じて変えてもよい。逆量子化後のＤＣ係数は、符号化部２０１によって、メモリ部１０１内の係数・インデックス保存部２０３にゴロム符号化して保存される（Ｓ３０３）。

一方、テンプレート減算部２０２は、ブロックのＡＣ係数をテンプレートＴ［ｎ］としてテンプレート減算部２０２内に登録する（Ｓ３０４）。ここで、ブロックのＡＣ係数が既に登録済みのいずれかのテンプレートと同じ値であれば、新たに登録しない。

ここで、テンプレートとは、任意のＡＣ係数Ｍ個のジグザグスキャン順の集合であり、いまＭ＝５として図４のブロックの１から５の位置の係数を表す。また、テンプレート減算部２０２には、予めＴ［０］として図５に示す５つの係数が０のテンプレートが登録されている。さらに、ｎは現在のテンプレート数であり、予めＴ［０］が登録されているのでｎの初期値は１となる。このｎは最大１２８までとし、これ以上のテンプレートの登録は禁止する。この最大数は、メモリ部１０１の容量に応じて変化させても良い。

次に、テンプレート減算部２０２は、ＡＣ係数Ｃ（ｐ）とテンプレートＴ［ｉ］（ｐ）の差分を取り、符号量Ｂ［ｉ］を以下の式により算出する（Ｓ３０５）。

ここで、ｐはブロックのジグザグスキャン順の位置であり、ｉはテンプレートの種類を示すインデックスである。Ｂ［ｉ］の第１項は、ブロックのＡＣ係数とテンプレートの差分をゴロム符号化したときの符号量を表し、第２項は、テンプレート自身をゴロム符号化したときの符号量を表す。

ｉを０からｎまで変化させて符号量Ｂ［ｉ］を算出し、符号量Ｂ［ｉ］が最小となるテンプレートがＴ［０］であれば（Ｓ３０６Ｙ）、符号化部２０１はＡＣ係数とインデックス０を係数・インデックス保存部２０３に保存する（Ｓ３０７）。保存に際し、係数はゴロム符号化される。さらに、符号量Ｂ［ｉ］が最小となるテンプレートがＴ［０］であったことから、ステップＳ３０４でテンプレート減算部２０２内に登録したＴ［ｎ］は不要なので破棄する（Ｓ３０８）。

一方、符号量Ｂ［ｉ］が最小となるテンプレートがＴ［０］でなくＴ［ｉ］ならば（Ｓ３０６Ｎ）、符号化部２０１はＡＣ係数とＴ［ｉ］の差分およびインデックスｉを係数・インデックス保存部２０３に保存する（Ｓ３０９）。保存に際し、係数の差分はゴロム符号化される。

ステップＳ３０９の後、符号量Ｂ［ｉ］が最小となるテンプレートのインデックスｉがｎでない場合（Ｓ３１０のＮ）、ステップＳ３０４でテンプレート減算部２０２内に登録したＴ［ｎ］は当該ブロックのテンプレートとして使用されなかったことから、不要であるため破棄する（Ｓ３０８）。すなわち、テンプレートは新しいブロックをテンプレート符号化する度に作るのではなく、符号量Ｂ［ｉ］が最小となるテンプレートが既にあれば、テンプレートを新しく登録せず、符号量Ｂ［ｉ］が最小となる登録済みのテンプレートを利用する。

一方、符号量Ｂ［ｉ］が最小となるテンプレートのインデックスｉがｎの場合（Ｓ３１０のＹ）、テンプレートＴ［ｎ］は新しいテンプレートとして利用されるため、符号化部２０１は、ステップＳ３０４でテンプレート減算部２０２内に登録したＴ［ｎ］をテンプレート保存部２０４にゴロム符号化して保存する（Ｓ３１１）。

テンプレートは、複数のブロックにわたって画像が似ている部分では共通のものが用いられる。つまり、テンプレートを用いることにより、複数のブロックの画像をまとめて効率的に符号化することができる。よって、テンプレートを用いずに符号化するのに比べて、符号量を削減することができる。これは、保存にかかるメモリの容量が決まっている場合にはより多くの情報を表現できることになるので、従来の技術のように参照画像メモリの容量を削減するためにＡＣ係数を大きく量子化する必要がないので、従来の技術に比べて参照画像の劣化を抑えることができる。

ここで、メモリ部１０１の構成について説明する。メモリ部１０１は、係数・インデックス保存部２０３とテンプレート保存部２０４に分割されている。図６は、係数・インデックス保存部２０３にブロック毎に係数とインデックスのデータを保存する際の配置を示す。８×８画素のブロック単位に区切って圧縮したデータは、図７に示すようにテンプレートのインデックス、ＤＣ係数、ＡＣ係数またはＡＣ係数とテンプレートとの差分をまとめた形になっており、これを圧縮ブロックと呼ぶ。図６は、この圧縮ブロックを、画像のブロックに対応した位置に並べたメモリ配置を示す。このような配置により、動き推定時などにおける圧縮ブロックへのアクセスが容易になる。

圧縮ブロックを保存する際、符号化部２０１は、全ての圧縮ブロックが同じ特定のビット数に収まるようにＡＣ係数またはＡＣ係数の差分を切り捨てる。この切り捨ては、係数の位置（周波数帯域）によって量子化する値を変えても良い。また、特定のビット数とは、メモリ部１０１の容量をｂビットにする場合、参照画像を１フレーム分保存するものとして、特定のビット数＝（ｂ−テンプレート保存部の容量）／ブロック数である。いま、テンプレート数の最大は１２８、登録する係数は５個である。また、テンプレートに登録する係数の絶対値の最大を２５６に制限すれば、テンプレート保存部の容量は３８４０ビットである。さらに、輝度のみ考えて、ブロック数＝画像の幅＊画像の高さ／（８＊８）である。よって、画像の大きさが１９２０×１０８８で８ｂｉｔの場合、これを圧縮して半分、すなわちメモリ圧縮率を１／２にするならば、ｂ＝１９２０＊１０８８＊８／２である。従って、係数・インデックス保存部２０３の容量は１ブロック当たり２５５ビットとなる。ここで、インデックスは７ビット、ＤＣ係数は９ビットで表せるから、結局特定のビット数は２３９ビットとなる。この圧縮ブロックのデータは、ライン単位に配置してもよい。

圧縮部１００は、全てのブロックに対して以上の処理をする。ここで、上記の処理は８×８ブロック単位でなく、さらに小さい単位やさらに大きい単位で処理しても良い。また、インデックスをゴロム符号化しても良いし、ゴロム符号化以外の方法によって符号化しても良い。加えて、登録されるテンプレートは、ＤＣＴ以外の直交変換やそれらの線形結合を用いても良い。

次に、伸長部１０２の処理の流れについて図８を参照しながら説明する。伸長部１０２は圧縮ブロック単位で動作し、まず復号化部２０５が係数・インデックス保存部２０３からインデックスｉを読み出す（Ｓ８００）。また、復号化部２０５は係数・インデックス保存部２０３からＤＣ係数と、ＡＣ係数またはＡＣ係数の差分とを読み出し、ゴロム復号化する（Ｓ８０１）。

ステップＳ８００において読み出したインデックスｉが０でない場合（Ｓ８０２のＮ）、復号化部２０５はテンプレート保存部２０４からテンプレートＴ［ｉ］を読み出してゴロム復号化し（Ｓ８０３）、テンプレート加算部２０７はステップＳ８０１で読み出したＡＣ係数の差分にテンプレートＴ［ｉ］を加算し（Ｓ８０４）、ステップＳ８０５に進む。

ステップＳ８００において読み出したインデックスｉが０である場合（Ｓ８０２のＹ）、テンプレートの加算は必要ではないから、ステップＳ８０５に進む。

逆ＤＣＴ部２０６は、ＤＣ係数および必要に応じてテンプレートが加算されたＡＣ係数に対して、８×８画素のブロック単位で逆ＤＣＴ変換を行い（Ｓ８０５）、参照画像の画素値を得る。伸長部１０２は、全ての圧縮ブロックに対して以上の処理をする。

以上述べたように、図２の圧縮部１００、メモリ部１０１、および伸長部１０２が参照画像のテンプレート符号化処理をすることにより、参照画像の劣化を抑制して参照画像メモリの容量を削減することができる。

（実施の形態２）
実施形態２に係る動画像符号化装置を説明する。実施形態２の動画像符号化装置は、図１の実施の形態１の動画像符号化装置の点線で囲まれた参照画像記憶部の構成だけが異なり、他は同じである。図９は実施の形態２に係る動画像符号化装置の参照画像記憶部の構成を示すブロック図である。図２に示した実施の形態１の動画像符号化装置の参照画像記憶部とは異なり、実施の形態２の動画像符号化装置の参照画像記憶部では、メモリ部１００１にテンプレート保存部がなく、その代わりに、圧縮部１０００および伸長部１００２にテンプレート保存部２１０および２１１が設けられる。

まず、実施の形態２の圧縮部１０００について、図１０を参照しながら説明する。圧縮部１０００のＤＣＴ部２００は、画像を８ｘ８画素のブロック単位で区切り、デブロックフィルタ部１７より入力された参照画像の画素値に対してＤＣＴ変換を行う（Ｓ１００１）。

次に、テンプレート減算部２０２は、ＡＣ係数とテンプレート保存部２１０に保存されたテンプレートとの差分をとり、評価値を算出する（Ｓ１００２）。ここで、テンプレート保存部２１０に保存されたテンプレートとは、予めいくつかの画像に対してＤＣＴ変換し、出現頻度が高い係数をまとめた集合のことである。あるいは規格により、テンプレートを定義しておいてもよい。そして、テンプレート保存部２１０のメモリ容量は実施の形態１と同じく３８４０ビットであり、出現頻度が高い係数を持つテンプレートから順にできるだけ多く保存する。また、テンプレートＴ［ｉ］による評価値Ｅ［ｉ］は、以下の式により算出する。

ここで、ｗ（ｐ）は係数が低域成分であるほど大きくなるような重み付けであり、図１１に示す５つの値である。テンプレート保存部２１０にあるｎ個のテンプレートに対して評価値を算出する。評価値Ｅ［ｉ］が最小となるテンプレートがＴ［０］であれば（Ｓ１００３のＹ）、符号化部２０１はインデックス０を係数・インデックス保存部２０３に保存する（Ｓ１００４）。さらに、符号化部２０１はＤＣ係数およびＡＣ係数をビットプレーン符号化して保存する（Ｓ１００５）。

一方、評価値が最小となるテンプレートがＴ［０］でなくＴ［ｉ］ならば（Ｓ１００３のＮ）、符号化部２０１はインデックスｉを係数・インデックス保存部２０３に保存する（Ｓ１００６）。さらに、符号化部２０１はＤＣ係数、およびＡＣ係数とＴ［ｉ］の差分をビットプレーン符号化して係数・インデックス保存部２０３に保存する（Ｓ１００７）。ビットプレーン符号化して保存する際、符号化部２０１は、全ての圧縮ブロックが同じ特定のビット数に収まるように下位ビットを切り捨てる。圧縮部１０００は、全てのブロックに対して以上の処理をする。

次に、伸長部１００２の処理の流れを実施の形態１で用いた図８を参照しながら説明するが、実施の形態２では、図８におけるＳ８０３の処理は省略される。

伸長部１００２は圧縮ブロック単位で動作し、まず復号化部２０５が係数・インデックス保存部２０３からインデックスｉを読み出す（Ｓ８００）。また、係数・インデックス保存部２０３からＤＣ係数およびＡＣ係数を読み出し、ビットプレーン復号化する（Ｓ８０１）。

ステップＳ８００において読み出したインデックスｉが０でない場合（Ｓ８０２のＮ）、テンプレート加算部２０７はステップＳ８０１で読み出したＡＣ係数の差分にテンプレート保存部２１１に保存されているテンプレートＴ［ｉ］を加算し（Ｓ８０４）、ステップＳ８０５に進む。

ここで、テンプレート保存部２１１は、圧縮部１０００のテンプレート減算部２０２にテンプレートを供給するテンプレート保存部２１０と同じものである。よって、圧縮部１０００のテンプレート保存部２１０と、伸長部１００２のテンプレート保存部２１１を共通にしても良い。

ステップＳ８００において読み出したインデックスｉが０である場合（Ｓ８０２のＹ）、テンプレートの加算は必要ではないから、ステップＳ８０５に進む。

逆ＤＣＴ部２０６は、ＤＣ係数およびＡＣ係数に対して、８×８画素のブロック単位で逆ＤＣＴ変換を行い（Ｓ８０５）、参照画像の画素値を得る。伸長部１００２は、全ての圧縮ブロックに対して以上の処理をする。

以上述べたように、図９の圧縮部１０００、メモリ部１００１、伸長部１００２が参照画像のテンプレート符号化処理をすることにより、参照画像の劣化を抑制して参照画像メモリの容量を削減することができる。さらに、メモリ部１００１にテンプレート保存部がないことから、テンプレートの符号化、メモリ部１００１へのテンプレートの保存および読み出し、テンプレートの復号化にかかる処理を削減することができる。すなわち、圧縮部１０００および伸長部１００２にテンプレート保存部２１０および２１１が設けられていることから、テンプレートを圧縮部１０００と伸長部１００２の間でやりとりする必要がなく、メモリ部１００１にテンプレート保存部を設けた場合のようにテンプレートの保存、読み出しに必要なメモリアクセスが発生しない。このため、メモリ部１００１の容量を抑え、メモリアクセスによるバスの輻輳を抑制することができる。

（実施の形態３）
図１２は、実施の形態３に係る動画像復号装置の構成を示すブロックである。動画像復号装置は、実施の形態１および２の動画像符号化装置に対応するものであり、動画像符号化装置により生成される符号化ストリームを復号して動画像を再生する。図１２において点線で囲まれた参照画像記憶部の構成以外は、ＭＰＥＧ−４ ＡＶＣを用いた動画像復号化装置と同様の動作をする。

実施の形態３の動画像復号装置は、可変長復号化部５２、逆量子化部５３、逆ＤＣＴ部５４、イントラ予測部５５、動き補償（ＭＣ）部５６、デブロックフィルタ部５８、バッファ部５９、加算器６２、圧縮部１２００、メモリ部１２０１、および伸長部１２０２を備える。

図１２の動画像復号装置の復号処理は、図１の動画像符号化装置の内部に設けられている復号処理に対応するものであるから、図１２の逆量子化部５３、逆ＤＣＴ部５４、イントラ予測部５５、動き補償（ＭＣ）部５６、デブロックフィルタ部５８、および加算器６２の各構成は、図１の動画像符号化装置の逆量子化部１５、逆ＤＣＴ部１６、イントラ予測部２１、ＭＣ部２０、デブロックフィルタ部１７、および加算器２６の各構成とそれぞれ対応する機能を有する。

可変長復号化部５２は、入力された符号化ビットストリームより、符号化された動きベクトル情報と量子化されたＤＣＴ係数とを復号し、量子化されたＤＣＴ係数を逆量子化部５３に出力し、面内予測情報をイントラ予測部５５に出力し、動きベクトル情報をＭＣ部５６に出力する。

イントラ予測部５５は、隣接する符号化済みの復号ブロック画像を取得し、面内予測ブロックを生成し、加算器６２に出力する。ＭＣ部５６は、動きベクトルに従って、後述の参照画像記憶部より動き補償予測ブロックを取得し、加算器６２に出力する。

逆量子化部５３、逆ＤＣＴ部５４、加算器６２、デブロックフィルタ部５８は、実施の形態１の動画像符号化装置の局部復号処理と同様の処理を行う。

デブロックフィルタ部５８により、符号化によるブロック歪を減少させる処理が施された復号画像は、バッファ部５９に格納され、バッファ部５９から復号画像の信号が出力される。

実施の形態３の動画像復号化装置の参照画像記憶部は、圧縮部１２００、メモリ部１２０１、および伸長部１２０２を備え、これらは、実施の形態１または実施の形態２の圧縮部１００または１０００、メモリ部１０１または１００１、および伸長部１０２および１００２と同じ構成であり、同じ動作をする。

従来の動画像復号化装置には、圧縮部１２００、メモリ部１２０１、伸長部１２０２の構成が存在しないため、実施の形態１や実施の形態２の動画像符号化装置によって符号化された符号化ストリームを復号すると、動画像符号化装置において圧縮・伸長した参照画像と、動画像復号化装置において圧縮・伸長しない参照画像とは不可逆圧縮による劣化分だけ違いがあるため、参照画像の不一致により、出力信号に顕著な画質劣化が発生する。

それに対して、本実施の形態の動画像復号化装置は、動画像符号化装置と同じ圧縮部１２００、メモリ部１２０１、および伸長部１２０２を備えるため、実施の形態１や実施の形態２の動画像符号化装置によって符号化された符号を復号する際に発生する顕著な画質劣化を防止することができる。

以上述べたように、実施の形態の動画像符号化装置および動画像復号装置によれば、参照画像に対してテンプレートを用いて圧縮符号化することで、参照画像メモリの容量を小さくすることができ、メモリ容量に制限があっても、参照画像を量子化により大きく劣化させずにメモリに記憶できる。これにより参照画像を用いて符号化される動画像の画質の劣化を抑制することができる。

以上の符号化及び復号に関する処理は、ハードウェアを用いた伝送、蓄積、受信装置として実現することができるのは勿論のこと、ＲＯＭ（リード・オンリ・メモリ）やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバから提供することも、地上波あるいは衛星デジタル放送のデータ放送として提供することも可能である。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

たとえば、実施の形態１および実施の形態２において、テンプレートを用いた圧縮と伸長の対象は参照画像であったが、画像の入力信号も同様にテンプレートを用いた圧縮と伸長の対象とすることで、逐次入力される信号を一時的に保持する入力画像メモリの容量を削減することができる。あるいは、実施の形態３のバッファ部５９に保存される出力信号に対して同様にテンプレートを用いた圧縮と伸長の対象とすることで、適時出力される信号を一時的に保持する出力画像メモリの容量を削減することができる。

実施の形態２において、テンプレート保存部２１０の構成は実施の形態１と同じにしたが、出現確率がたとえば１０％以上の係数を持つテンプレートを全て保存できるだけのメモリ容量を持つメモリで構成するようにしても良い。

実施の形態では単一のブロックごとに処理しているが、これは複数のブロックをまとめて処理しても良い。また、スライスなど一定の符号化単位でテンプレートの使用の有無を切り換えるようにして、テンプレートが不得意とする複雑な画像を多く含むスライスにおいては参照画像のテンプレート符号化を使用せず、テンプレートのインデックスの保存にかかるメモリ量を削減できるようにしても良い。また、スライスなど一定の符号化単位でメモリ圧縮率を変えるようにして、参照頻度の低いスライスの圧縮率を高くしてメモリを削減したり、他のスライスより高画質にしたいスライスの圧縮率を低くして画質を優先できるようにしても良い。

１２ ＤＣＴ部、 １３ 量子化部、 １４ 可変長符号化部、 １５ 逆量子化部、 １６ 逆ＤＣＴ部、 １７ デブロックフィルタ部、 １９ ＭＥ部、 ２０ ＭＣ部、 ２１ イントラ予測部、 ５２ 可変長復号化部、 ５３ 逆量子化部、 ５４ 逆ＤＣＴ部、 ５５ イントラ予測部、 ５６ ＭＣ部、 ５８ デブロックフィルタ部、 ５９ バッファ部、 １００ 圧縮部、 １０１ メモリ部、 １０２ 伸長部、 ２００ ＤＣＴ部、 ２０１ 符号化部、 ２０２ テンプレート減算部、 ２０３ 係数・インデックス保存部、 ２０４ テンプレート保存部、 ２０５ 復号化部、 ２０６ 逆ＤＣＴ部、 ２０７ テンプレート加算部、 ２１０、２１１ テンプレート保存部、 １０００ 圧縮部、 １００１ メモリ部、 １００２ 伸長部、 １２００ 圧縮部、 １２０１ メモリ部、 １２０２ 伸長部。

Claims (5)

1. 参照画像を用いて動き補償により動画像を復号化する動画像復号化装置であって、
   参照画像をテンプレート符号化して記憶する参照画像記憶部を備え、
   前記参照画像記憶部は、圧縮部と、メモリ部と、伸長部とを備え、
   前記圧縮部は、
   参照画像の画素値を所定のブロック単位で直交変換して係数を得る直交変換部と、
   所定個数のテンプレートに対して、ブロックの前記係数と各テンプレートとの差分の符号量およびテンプレートの符号量を評価して、いずれかのテンプレートを選択するテンプレート減算部と、
   前記係数のテンプレートとの差分、選択されたテンプレートを示すインデックス、および選択されたテンプレートを符号化し、前記メモリ部に書き出す符号化部とを備え、
   前記メモリ部は、
   符号化後の前記係数のテンプレートとの差分および前記インデックスを保存する係数・インデックス保存部と、
   前記係数・インデックス保存部に保存された全てのインデックスに対応する符号化後の前記テンプレートを保存するテンプレート保存部とを備え、
   前記伸長部は、
   前記メモリ部から前記係数のテンプレートとの差分、前記選択されたテンプレートを示すインデックス、および前記選択されたテンプレートを読み出して、復号化する復号化部と、
   復号された前記係数のテンプレートとの差分と前記選択されたテンプレートとの和をとるテンプレート加算部と、
   テンプレート加算後の前記係数を所定のブロック単位で逆直交変換して画素値を得る逆直交変換部とを備える
   ことを特徴とする動画像復号化装置。
2. 前記圧縮部は、入力されたブロックの前記係数から新たなテンプレートを生成し、前記係数と各テンプレートとの差分の符号量およびテンプレートの符号量の合計が最小であるテンプレートがその新たなテンプレートとは異なる場合は、その新たなテンプレートを破棄することにより、動的にテンプレートを生成することを特徴とする請求項１に記載の動画像復号化装置。
3. 参照画像を用いて動き補償により動画像を復号化する動画像復号化装置であって、
   参照画像をテンプレート符号化して記憶する参照画像記憶部を備え、
   前記参照画像記憶部は、圧縮部と、メモリ部と、伸長部とを備え、
   前記圧縮部は、
   参照画像の画素値を所定のブロック単位で直交変換して係数を得る直交変換部と、
   所定個数のテンプレートを保存する第１テンプレート保存部と、
   前記第１テンプレート保存部からテンプレートを読み出して、ブロックの前記係数と各テンプレートとの差分の符号量およびテンプレートの符号量を評価して、いずれかのテンプレートを選択するテンプレート減算部と、
   前記係数のテンプレートとの差分、選択されたテンプレートを示すインデックスを符号化し、前記メモリ部に書き出す符号化部とを備え、
   前記メモリ部は、
   符号化後の前記係数のテンプレートとの差分および前記インデックスを保存する係数・インデックス保存部を備え、
   前記伸長部は、
   前記メモリ部から前記係数のテンプレートとの差分、および前記選択されたテンプレートを示すインデックスを読み出して、復号化する復号化部と、
   前記圧縮部の第１テンプレート保存部と同じ所定個数のテンプレートを保存する第２テンプレート保存部と、
   復号された前記インデックスが示すテンプレートを前記第２テンプレート保存部から読み出して、復号された前記係数のテンプレートとの差分と前記第２テンプレート保存部から読み出されたテンプレートとの和をとるテンプレート加算部と、
   テンプレート加算後の前記係数を所定のブロック単位で逆直交変換して画素値を得る逆直交変換部とを備える
   ことを特徴とする動画像復号化装置。
4. 参照画像を用いて動き補償により動画像を復号化する動画像復号化方法であって、
   参照画像をテンプレート符号化して記憶する参照画像記憶ステップを備え、
   前記参照画像記憶ステップは、圧縮ステップと、メモリ記憶ステップと、伸長ステップとを備え、
   前記圧縮ステップは、
   参照画像の画素値を所定のブロック単位で直交変換して係数を得る直交変換ステップと、
   所定個数のテンプレートに対して、ブロックの前記係数と各テンプレートとの差分の符号量およびテンプレートの符号量を評価して、いずれかのテンプレートを選択するテンプレート減算ステップと、
   前記係数のテンプレートとの差分、選択されたテンプレートを示すインデックス、および選択されたテンプレートを符号化し、メモリに書き出す符号化ステップとを備え、
   前記メモリ記憶ステップは、
   符号化後の前記係数のテンプレートとの差分および前記インデックスを前記メモリに保存する係数・インデックス保存ステップと、
   前記係数・インデックス保存ステップにて保存された全てのインデックスに対応する符号化後の前記テンプレートを前記メモリに保存するテンプレート保存ステップとを備え、
   前記伸長ステップは、
   前記メモリから前記係数のテンプレートとの差分、前記選択されたテンプレートを示すインデックス、および前記選択されたテンプレートを読み出して、復号化する復号化ステップと、
   復号された前記係数のテンプレートとの差分と前記選択されたテンプレートとの和をとるテンプレート加算ステップと、
   テンプレート加算後の前記係数を所定のブロック単位で逆直交変換して画素値を得る逆直交変換ステップとを備える
   ことを特徴とする動画像復号化方法。
5. 参照画像を用いて動き補償により動画像を復号化する動画像復号化方法であって、
   参照画像をテンプレート符号化して記憶する参照画像記憶ステップを備え、
   前記参照画像記憶ステップは、圧縮ステップと、メモリ記憶ステップと、伸長ステップとを備え、
   前記圧縮ステップは、
   参照画像の画素値を所定のブロック単位で直交変換して係数を得る直交変換ステップと、
   所定個数のテンプレートをメモリから読み出す第１テンプレート読み出しステップと、
   ブロックの前記係数と各テンプレートとの差分の符号量およびテンプレートの符号量を評価して、いずれかのテンプレートを選択するテンプレート減算ステップと、
   前記係数のテンプレートとの差分、選択されたテンプレートを示すインデックスを符号化し、メモリに書き出す符号化ステップとを備え、
   前記メモリ記憶ステップは、
   符号化後の前記係数のテンプレートとの差分および前記インデックスを保存する係数・インデックス保存ステップを備え、
   前記伸長ステップは、
   保存された前記係数のテンプレートとの差分、および前記選択されたテンプレートを示すインデックスを読み出して、復号化する復号化ステップと、
   復号された前記インデックスが示すテンプレートをメモリから読み出す第２テンプレート読み出しステップと、
   復号された前記係数のテンプレートとの差分と前記第２テンプレート読み出しステップで読み出されたテンプレートとの和をとるテンプレート加算ステップと、
   テンプレート加算後の前記係数を所定のブロック単位で逆直交変換して画素値を得る逆直交変換ステップとを備える
   ことを特徴とする動画像復号化方法。

Images