JP2009272792A - 動画像符号化装置、動画像復号化装置、動画像符号化プログラム、及び動画像復号化プログラム - Google Patents

Abstract

【課題】復号画像信号に平滑化処理を行うことなく、動き補償予測符号化を用いた場合の予測誤差成分に起因する符号化歪を低減すると共に、消失した高解像度成分や動き補償ミスマッチ成分を復元し、劣化の少ない復号画像を得ることを可能とする。
【解決手段】直交変換係数推定器１１８は、復号されたＤＣＴ係数から、量子化されたＤＣＴ係数が失われた係数成分を推定し、その推定されたＤＣＴ係数を出力する。係数補正器１１９は、直交変換係数推定器１１８から出力される推定されたＤＣＴ係数と、逆量子化器１１０から出力される復号されたＤＣＴ係数とより、入力画像信号の持っていたＤＣＴ係数が量子化で失われた成分を判断し係数に補正を加える。補正ＤＣＴ係数は、逆直交変換器１１１により逆ＤＣＴ処理され、復号された画像信号として加算器１１２及び２次元ブロック逆変換器１１３を介して、参照画像メモリ１１４に参照画像として格納される。
【選択図】図１

Description

本発明は動画像符号化装置、動画像復号化装置、動画像符号化プログラム、及び動画像復号化プログラムに係り、特に動き補償予測符号化を用いて動画像信号を符号化して符号化動画像信号を得る動画像符号化装置及び動画像符号化プログラム、並びに符号化動画像信号を復号化する動画像復号化装置及び動画像復号化プログラムに関する。

近年、デジタル化された画像・音声信号に対して高能率符号化による圧縮された情報を用いて、記録媒体により長時間のコンテンツを記録する装置や、衛星や地上局等からのデジタル放送波やネットワークを介してコンテンツを配信するサービスが実用化されている。このようなサービスにおいては、膨大な情報量を持つ画像・音声の情報を大量に放送・伝送するために、大きな圧縮率を実現する高能率符号化が必要となっている。この動画像の高能率符号化として国際規格であるＭＰＥＧ２（Moving Picture Experts Group phase 2）、ＭＰＥＧ４（Moving Picture Experts Group phase 4）、ＡＳＰ（Advanced Simple Profile）、ＭＰＥＧ４ ＡＶＣ（Advanced Video Coding）等の符号化方式が用いられている。これらの符号化方式においては、画像信号の隣接画素間（空間方向）の相関および、隣接するフレーム間やフィールド間（時間方向）の相関を利用して情報量を圧縮する方式を用いている。一例として、以下にＭＰＥＧ２画像符号化処理に関しての説明を行う。

ＭＰＥＧ２においては、時間的に連続して入力される画像フレームを、基準フレームと予測フレームに振り分けて処理を行う。基準フレームは空間方向の相関のみを用いて符号化することで、そのフレームの符号化データのみで復元することができる。予測フレームは、基準となるフレームからの時間方向の相関と空間方向の相関を共に用いて符号化することにより、基準フレームに対してより符号化効率を高めることができる。予測フレームの符号化データは、復元された基準フレームと予測フレームの符号化データより復元される。

基準フレームの画像信号は、輝度信号で水平方向１６画素、垂直方向１６画素のマクロブロックと呼ばれる処理単位に分割される。分割されたマクロブロックのデータは、更に水平方向８画素、垂直方向８画素単位の２次元ブロックに分割され、直交変換の一種であるＤＣＴ（Discrete Cosine Transform：離散コサイン変換）処理が行われる。

ＤＣＴ変換後の信号はその２次元ブロックの周波数成分に準じた値を示すため、一般的な画像では低域に成分が集中する。また、高周波数成分の情報劣化は低周波数成分の情報劣化よりも視覚的に目立ちにくい性質がある。よって、低周波数成分を細かく高周波数成分を粗く量子化し、それにより得られた係数成分と成分が無い係数０の連続する長さを可変長符号化することにより、情報量を圧縮している。

予測フレームの画像信号は、基準フレームと同様に、輝度信号で水平方向１６画素、垂直方向１６画素のマクロブロックの単位に分割される。予測フレームにおいては、マクロブロック毎に基準フレームとの間の動きベクトルが求められ、マクロブロックの各画素に対して、動きベクトルにより切り出された２次元ブロックの各画素との差分ブロックが生成される。正確な動きベクトルが検出された場合には、差分ブロックの情報量は元のマクロブロックの持っている情報量よりも大幅に少なくなるため、基準フレームよりも粗い量子化処理が可能となる。

動きベクトルの検出は、一般的にブロックマッチングにより求められる。このブロックマッチングでは、マクロブロックの各画素と、動きベクトル値だけマクロブロックの存在する水平・垂直の位置を動かした場所の基準フレームを水平方向１６画素、垂直方向１６画素にブロック化した各画素の差分絶対値総和（もしくは差分二乗総和）を求め、その最小値を取る動きベクトルの値を、検出された動きベクトルとして出力する。画面の動きによっては、予測フレームとマッチングする画像が参照フレーム内に存在しない場合もあるため、差分ブロックを符号化するか非差分ブロック（イントラブロック）を符号化するかを選択し（予測モード判定）、選択されたブロックに対して基準フレームと同様にＤＣＴ・可変長符号化処理を施し、情報量を圧縮する。

図１２は、従来の動画像符号化装置の一例のブロック図を示す。この動画像符号化装置は、上記のＭＰＥＧ２符号化方式による動画像符号化装置である。同図において、入力端子１２００より入力された符号化対象の動画像信号であるデジタル画像信号は、入力画像メモリ１２０１に供給されて記憶され、符号化シンタックスに従って符号化される順番に並べ替えを行うため遅延される。入力画像メモリ１２０１から出力されたデジタル画像信号は、２次元ブロック変換器１２０２にてマクロブロックが切り出される。

基準フレームにおいては、２次元ブロック変換器１２０２から出力されたマクロブロックデータは、減算器１２０３を介して直交変換器１２０４に供給され、水平方向８画素、垂直方向８画素の２次元ブロック単位で、直交変換の一種であるＤＣＴが行われてＤＣＴ係数が出力される。ＤＣＴ係数はさらに輝度信号で水平方向１６画素、垂直方向１６画素のマクロブロック単位にまとめられて、量子化器１２０５に送られる。量子化器１２０５においては、ＤＣＴ係数を周波数成分毎に異なった値を持つ量子化マトリクスにより、係数毎に異なった値で除算することにより、量子化処理する。量子化されたＤＣＴ係数は、エントロピー符号化器１２０６において、符号化テーブル１２０７の係数に対応したアドレスを参照することにより、可変長または固定長の符号化が行われる。エントロピー符号化器１２０６から出力されたビットストリームは、ストリームバッファ１２０８に格納された後、出力端子１２０９を介して、記録媒体もしくは伝送路に出力される。

一方、量子化器１２０５において量子化されたＤＣＴ係数は、逆量子化器１２１０及び逆直交変換器１２１１において逆量子化及び逆ＤＣＴ処理が順次に行われ、量子化されたＤＣＴ係数が復号される。逆直交変換器１２１１から出力された復号されたＤＣＴ係数は、加算器１２１２及び２次元ブロック逆変換器１２１３を介してローカルデコードデータとして生成され、参照画像メモリ１２１４に供給されて格納される。参照画像メモリ１２１４に格納されたローカルデコードデータは、予測フレームの符号化処理時に参照画像として使用される。

続いて、予測フレームにおいては、入力画像メモリ１２０１から切り出されたマクロブロックデータと参照画像メモリ１２１４に格納されている参照画像との間で、ＭＥ（動き推定）器１２１５によって、画像間での動きベクトルが求められる。ＭＥ器１２１５から出力された動きベクトルは、ＭＣ（動き補償）器１２１６に供給され、ここで参照画像メモリ１２１４内の参照画像から予測ブロックを切り出す。ＭＣ器１２１６では、複数切り出された予測ブロックの中から最適な予測モードの選択を行い、選択した予測ブロックを減算器１２０３及び加算器１２１２にそれぞれ供給する。

減算器１２０３は、入力画像ブロックと予測ブロックとの差分信号を直交変換器１２０４に送り出す。直交変換器１２０４は、上記の差分信号に対して、前記基準フレームの各ブロックと同様のＤＣＴ処理を行い、これにより得たＤＣＴ係数を量子化器１２０５により量子化処理させる。エントロピー符号化器１２０６は、ＭＣ器１２１６から出力される動きベクトルや予測モードを、量子化器１２０５から出力される符号化処理されたＤＣＴ係数と共に、所定の構文構造に基づいて符号化し出力することで、符号化ビットストリームを生成する。生成された符号化ビットストリームは、ストリームバッファ１２０８を介して出力端子１２０９に出力される。

一方、量子化器１２０５において量子化されたＤＣＴ係数は、逆量子化器１２１０及び逆直交変換器１２１１において逆量子化及び逆ＤＣＴ処理が行われ、量子化されたＤＣＴ係数が復号され、更に加算器１２１２において予測ブロックと加算され、ローカルデコードデータが生成される。ローカルデコードデータは、参照を受ける画像の場合には２次元ブロック逆変換器１２１３を介して参照画像メモリ１２１４に供給されて参照画像として格納される。参照画像メモリ１２１４に格納された参照画像が、続く予測フレームの符号化処理時に使用される。

符号量の制御に関しては、符号量制御器１２１７においてエントロピー符号化器１２０６からストリームバッファ１２０８に出力されたビットストリームの符号量と、目標とする符号量との間で比較がとられ、目標符号量に近づけるために量子化器１２０５の量子化の細かさ（量子化スケール）を制御する。符号化処理における情報の集中度に依存して、量子化スケールが変動するため、集中度が十分でない場合には粗い量子化スケールで量子化が施されるため、それを復号した画像信号の品質が低下する。

図１３は、従来の動画像復号化装置の一例のブロック図を示す。この動画像復号化装置は、ＭＰＥＧ２方式による復号化処理を行う装置である。同図において、入力端子１３００に入力されたＭＰＥＧ２方式で符号化された符号化信号からなるビットストリームは、ストリームバッファ１３０１に蓄えられ、エントロピー復号器１３０２に供給される。エントロピー復号器１３０２は、符号化テーブル１３０３を用いて可変長または固定長の符号を復号し、量子化されたＤＣＴ係数と動きベクトルや予測モードを復元する。

量子化されたＤＣＴ係数は、逆量子化器１３０４及び逆直交変換器１３０５において逆量子化及び逆ＤＣＴ処理が行われ、復号データが生成される。基準フレームの場合には、加算器１３０６、２次元ブロック逆変換器１３０７を介して復号画像信号として出力画像メモリ１３１０に蓄えられて出力時刻順に並べ替えられた後、出力端子１３１１より出力される。また、復号画像信号は、参照画像メモリ１３０８にも供給されて格納される。

予測フレームにおいては、エントロピー復号器１３０２から出力される動きベクトル及びモード信号がＭＣ（動き補償）器１３０９に入力され、参照画像メモリ１３０８より入力される参照画像を切り出す事により予測ブロックが生成される。生成された予測ブロックは加算器１３０６に供給され、復号データと加算される。加算器１３０６で加算された復号データは、基準フレームと同様に２次元ブロック逆変換器１３０７を介して復号画像信号として出力画像メモリ１３１０に蓄えられ出力時刻順に並べ替えられた後、出力端子１３１１より出力される。また、復号画像信号は該当フレームが参照を受ける画像の場合には、参照画像メモリ１３０８にも供給されて格納される。

上記のＭＰＥＧ２の符号化方式にかかわらず、ＭＰＥＧ４ ＡＳＰ、ＭＰＥＧ４ ＡＶＣ等、多くの動画像符号化方式においては、２次元ブロック化された画像信号に対して、動き補償予測を施し時間方向の成分を集中させると共に、空間方向の成分に対してＤＣＴ等の直交変換を施し低域に成分を集中させ、高周波数成分を粗く量子化することで情報量を圧縮している。このような動画像符号化方式においては、必要以上の圧縮率で符号化する際に、ＤＣＴ変換後の信号の高い周波数の収束度合いにより量子化スケールが上下することになり、高周波数成分の多い画像や、動き補償予測の精度が十分でない画像に関しては、量子化スケールが大きくなる。

量子化スケールが大きくなった場合に生じる劣化としては、２次元ブロックで画像信号が分割されて量子化処理が施されることに起因するブロック歪、動き補償予測が２次元ブロック単位で施されブロック毎の予測画像に不連続性が生じることに起因するブロック歪、画像信号そのものの高周波成分が粗く量子化されることによるモスキート歪、符号化される画像信号内に存在する物体のカメラに対する距離やフォーカス等が時間変化し、画面内の物体が変形することで動き補償予測にミスマッチが生じ、その結果生じる様々な周波数成分での誤差成分の蓄積による歪などが存在する。動き補償予測に用いられる参照画像信号は、符号化された信号の復号画像となるため、上記劣化成分は予測画像に混入されることにより更なる劣化を伴うことになる。

このような歪成分を低減させるための技術として、ブロック歪を低減させるフィルタ処理が考えられている（例えば、特許文献１参照）。この特許文献１においては、劣化成分の中のブロック歪に限定してその劣化を視覚的に低減させるために、復号化装置において、図１３の出力画像メモリ１３１０に蓄えられた復号画像に対して、まず、図１４（Ａ）に示すようなブロックの境界の画素の差分を算出する。図１４（Ａ）において、対象ブロックをＣとし、対象ブロックＣの左側、上側、右側、下側にそれぞれ隣接する隣接ブロックをそれぞれＬ、Ｕ、Ｒ、Ｄとする。特許文献１記載の復号化装置では、対象ブロックＣの画素Ｃ００、Ｃ１０、・・・、Ｃ７０と、隣接ブロックＬの画素Ｌ０７、Ｌ１７、・・・、Ｌ７７との各画素間の差分絶対値と、対象ブロックＣの画素Ｃ００、Ｃ０１、・・・、Ｃ０７と、隣接ブロックＵの画素Ｕ７０、Ｕ７１、・・・、Ｕ７７との各画素間の差分絶対値と、対象ブロックＣの画素Ｃ０７、Ｃ１７、・・・、Ｃ７７と、隣接ブロックＲの画素Ｒ００、Ｒ１０、・・・、Ｒ７０との各画素間の差分絶対値と、対象ブロックＣの画素Ｃ７０、Ｃ７１、・・・、Ｃ７７と、隣接ブロックＤの画素Ｄ００、Ｄ０２、・・・、Ｄ０７との各画素間の差分絶対値をそれぞれ求める。

続いて、上記の復号化装置では、得られた上記のブロックの境界の各画素間差分絶対値と所定の閾値ＴＨとを比較して、すべての差分絶対値が閾値ＴＨ未満であるときは、ブロック歪が激しいと判断した境界を平均化させる低域フィルタ処理を施して、出力端子１２１１よりフィルタリングされた復号画像を出力する。ここで、上記の低域フィルタ処理では、例えば、対象ブロックＣの画素Ｃ７１と隣接ブロックＤの画素Ｄ０１とのブロック境界においては、図１４（Ｂ）に示すように、対象ブロックＣの画素Ｃ７１とそれに上方向に隣接する２画素Ｃ６１及びＣ５１と、隣接ブロックＤの画素Ｄ０１とそれに下方向に隣接する画素Ｄ１１の計５画素の値の平均値を求め、図１４（Ｃ）に示すように、その平均値を対象ブロックＣの画素Ｃ７１の値Ｃ７１’とする。

更に、動き補償予測による予測画像のブロック間不連続性を考慮したブロック歪低減フィルタとして、動き補償予測のブロック間の連続性を評価しフィルタ処理の強度を変化させることで、不必要なフィルタ処理を施さないような動作をさせる技術も開示されている（例えば、特許文献２参照）。この特許文献２に記載されたような処理は、ＭＰＥＧ４ ＡＶＣ規格においては、符号化処理内で施すことが可能となるように定義されている。

特開平１０−５１７７５号公報 特許第３６８８２８３号公報

しかしながら、前述した特許文献１記載の復号化装置においては、ＤＣＴ成分が量子化された際に生じるブロック境界の歪をブロック間の境界付近の画素に対する画像信号の平滑化を行うことで、不連続な状態を緩和することを試みているものの、歪成分の評価を復号画像の差分を基に判断しており、平滑化の強弱によってブロック間の不連続性を十分緩和することができない場合がある。

例えば、平滑化の強度が必要とする強度よりも弱い場合には、ブロック間の不連続性が十分改善することができずに依然としてブロック歪として影響が残る。また、平滑化の強度が必要とする強度よりも強い場合には、ブロック境界部分の不連続性は改善されるものの、ブロック境界部分のテクスチャ情報に対しても平滑化をかけすぎてしまうため、復号画像の解像度の低下が生じて必要なテクスチャ情報を消失する。

また、特許文献２記載の復号化装置においては、動き補償予測に用いられた動き量や使用した参照画像の同一性を基に予測画像の連続性を判断して、平滑化の強度を変化させている。このため、予測誤差が発生しない場合の復号画像への不必要な平滑化は避けられるものの、予測誤差が生じている場合に誤差のＤＣＴ成分が量子化されることにより生じるブロック歪には対応できておらず、歪成分の評価を特許文献１記載の復号化装置と同様に復号画像の視覚的検知から判断しており、本来画像信号に存在していた成分を復元する形の歪除去は施されていない。

以上のことから動き補償予測処理を用いた動画像符号化及び復号化においては、高い圧縮率で品質の良い復号画像を得るために、歪成分の評価を復号画像の視覚的検知からの判断からだけでなく、本来画像信号に存在していた成分を復元する形の歪除去を実現し、従来手法で行われていたブロック境界の歪成分を目立たなくする処理による解像度劣化の弊害を無くすと共に、十分に対応できていないモスキート歪や動き補償ミスマッチに起因する歪成分を除去する方法が必要となっている。

本発明は以上の点に鑑みなされたもので、復号画像信号に平滑化処理を行うことなく、動き補償予測符号化を用いた場合の予測誤差成分に起因する符号化歪を低減すると共に、消失した高解像度成分や動き補償ミスマッチ成分を復元し、劣化の少ない復号画像を得ることを可能とする、動画像符号化装置、動画像復号化装置、動画像符号化プログラム、及び動画像復号化プログラムを提供することを目的とする。

上記の目的を達成するため、第１の発明は、入力された符号化対象の動画像信号を所定の画素数からなる矩形領域毎に分割し、矩形領域を処理単位として、過去に符号化された画像の復号画像信号を参照画像として動き補償予測処理を行い、符号化対象の動画像信号である符号化対象画像と動き補償予測信号との差分信号に対して、矩形領域とは別に定義された矩形領域を処理単位として直交変換処理及び量子化処理を順次に施して符号化を行う動画像符号化装置において、動き補償予測信号と、直交変換処理及び量子化処理が施された結果生成される量子化データを逆量子化することで生成される復号直交変換係数とを入力として受け、量子化された結果失われた直交変換係数を推定して推定直交変換係数を出力する直交変換係数推定手段と、直交変換係数推定手段より出力された推定直交変換係数と、復号直交変換係数と、量子化処理が施された際の量子化の細かさを示す係数毎の量子化値とを入力として受け、量子化値より量子化前の直交変換係数が取りうる領域情報を算出し、その領域情報を基に復号直交変換係数を推定直交変換係数に置き換えるか否かの判断を行って補正直交変換係数を生成する係数補正手段と、係数補正手段より出力される補正直交変換係数に逆直交変換処理を施して得た信号を動き補償予測信号と加算することで補正復号画像信号を生成する補正画像信号生成手段とを有し、補正復号画像信号を、続いて符号化対象となる動画像信号の参照画像として用いることを特徴とする。

また、上記の目的を達成するため、第２の発明は、入力された符号化対象の動画像信号を所定の画素数からなる矩形領域毎に分割し、矩形領域を処理単位として、過去に符号化された画像の復号画像信号を参照画像として動き補償予測処理を行い、符号化対象の動画像信号である符号化対象画像と動き補償予測信号との差分信号に対して、矩形領域とは別に定義された矩形領域を処理単位として直交変換処理及び量子化処理を順次に施して符号化された動画像信号のビットストリームを復号する、動画像復号化装置において、ビットストリームから量子化された直交変換係数と動きベクトルを復号するエントロピー復号手段と、エントロピー復号手段からの動きベクトルに基づき、過去の復号画像信号を参照信号として切り出して動き補償予測信号を生成する動き補償手段と、エントロピー復号手段より出力された量子化された直交変換係数を逆量子化することで生成される復号直交変換係数と、動き補償予測信号とを入力として受け、量子化された結果失われた直交変換係数を推定して推定直交変換係数を出力する直交変換係数推定手段と、直交変換係数推定手段より出力された推定直交変換係数と、復号直交変換係数及び量子化処理が施された際の量子化の細かさを示す係数毎の量子化値とを入力として受け、量子化値より量子化前の直交変換係数が取りうる領域情報を算出し、その領域情報を基に復号直交変換係数を推定直交変換係数に置き換えるか判断を行って補正直交変換係数を生成する係数補正手段と、係数補正手段より出力される補正直交変換係数に逆直交変換処理を行って得た信号に動き補償予測信号を加算することで補正復号画像信号を生成する補正復号画像信号生成手段とを有し、補正復号画像信号を、続いて符号化対象となる動画像信号の参照画像として用いることを特徴とする。

また、上記の目的を達成するため、第３の発明は、第２の発明と同様の動画像復号化装置において、ビットストリームから量子化された直交変換係数と動きベクトルを復号するエントロピー復号手段と、エントロピー復号手段からの動きベクトルに基づき、過去の復号画像信号を参照信号として切り出して動き補償予測信号を生成する動き補償手段と、エントロピー復号手段より出力された量子化された直交変換係数を逆量子化することで生成される復号直交変換係数と、動き補償予測信号とを入力として受け、量子化された結果失われた直交変換係数を推定して推定直交変換係数を出力する直交変換係数推定手段と、直交変換係数推定手段より出力された推定直交変換係数と、復号直交変換係数及び量子化処理が施された際の量子化の細かさを示す係数毎の量子化値とを入力として受け、量子化値より量子化前の直交変換係数が取りうる領域情報を算出し、その領域情報を基に復号直交変換係数を推定直交変換係数に置き換えるか判断を行い、置き換える係数と直交変換係数との差分情報である補正差分直交変換係数を出力する係数補正差分生成手段と、係数補正差分生成手段より出力される補正差分直交変換係数に対し、逆直交変換処理を施すことで補正差分信号に変換する逆直交変換手段と、復号直交変換係数を逆直交変換して得た信号と動き補償予測信号とを用いて復号した復号画像信号を参照画像として格納した後に、出力画像として出力する復号画像信号に対してのみ前記補正差分信号を加算して、再生画像に対して補正された復号画像信号を出力する画像信号復号手段とを有することを特徴とする。

また、上記の目的を達成するため、第４の発明は、入力された符号化対象の動画像信号を所定の画素数からなる矩形領域毎に分割し、矩形領域を処理単位として、過去に符号化された画像の復号画像信号を参照画像として動き補償予測処理を行い、符号化対象の動画像信号である符号化対象画像と動き補償予測信号との差分信号に対して、矩形領域とは別に定義された矩形領域を処理単位として直交変換処理及び量子化処理を順次に施して行う符号化をコンピュータにより実行させる動画像符号化プログラムにおいて、上記コンピュータを、第１の発明の構成である直交変換係数推定手段と、係数補正手段と、補正画像信号生成手段として機能させ、補正復号画像信号を続いて符号化対象となる動画像信号の参照画像として用いることを特徴とする。

また、上記の目的を達成するため、第５の発明は、入力された符号化対象の動画像信号を所定の画素数からなる矩形領域毎に分割し、矩形領域を処理単位として、過去に符号化された画像の復号画像信号を参照画像として動き補償予測処理を行い、符号化対象の動画像信号である符号化対象画像と動き補償予測信号との差分信号に対して、矩形領域とは別に定義された矩形領域を処理単位として直交変換処理及び量子化処理を順次に施して符号化された動画像信号のビットストリームを復号する、動画像復号化をコンピュータにより実行させる動画像復号化プログラムにおいて、上記コンピュータを、第２の発明のエントロピー復号手段と、動き補償手段と、復号直交変換係数と、直交変換係数推定手段と、係数補正手段と、補正復号画像信号生成手段として機能させ、補正復号画像信号を、続いて符号化対象となる動画像信号の参照画像として用いることを特徴とする。

また、上記の目的を達成するため、第６の発明は、第３の発明と同様の動画像復号化をコンピュータにより実行させる動画像復号化プログラムにおいて、上記コンピュータを、第３の発明のエントロピー復号手段と、動き補償手段と、直交変換係数推定手段と、係数補正差分生成手段と、逆直交変換手段と、画像信号復号手段として機能させることを特徴とする。

本発明によれば、動き補償予測処理が施された予測誤差信号が直交変換処理及び量子化処理によって生じる劣化成分を、量子化された予測誤差直交変換信号の切り捨てられた成分を推定する事により、劣化成分を補正することができる。その結果、復号画像信号に単純に平滑化処理を行い視覚的に目立たなくする方式でなく、ブロック間の不連続な状態に起因するブロック歪を解消すると共に、消失した高解像度成分や動き補償ミスマッチ成分を復元し、劣化の少ない復号画像を得ることができる。

また、本発明によれば、復号直交変換係数を推定する際に、ブロック内の信号の振る舞いを規定する２次関数等の所定のソースモデルで表現し、ブロック内の信号をブロックの境界条件に基づいて推定信号を生成する技術を用いる事で、ブロック間の歪成分が除去された形でブロック全体が保持している信号特性を推定できるため、領域情報により置き換え選択される有意な推定信号を生成でき、より補正処理を適切に機能できる。これにより、本発明によれば、従来よりも圧縮率を高めても劣化の少ない動画像符号化装置および動画像符号化プログラムを提供することができる。

更に、本発明によれば、従来よりも圧縮率が高められて伝送された情報を少ない劣化で再生できる、動画像復号化装置および動画像復号化プログラムを提供することができる。

次に、発明を実施するための最良の形態について図面を併せ参照して説明する。

（第１の実施の形態）
まず、本発明の動画像符号化装置、動画像復号化装置の第１の実施の形態について説明する。図１は、本発明になる動画像符号化装置の第１の実施の形態のブロック図を示す。

図１に示すように、本実施の形態の符号化装置は、入力端子１００、入力画像メモリ１０１、２次元ブロック変換器１０２、減算器１０３、直交変換器１０４、量子化器１０５、エントロピー符号化器１０６、符号化テーブル１０７、ストリームバッファ１０８、出力端子１０９、逆量子化器１１０、逆直交変換器１１１、加算器１１２、２次元ブロック逆変換器１１３、参照画像メモリ１１４、ＭＥ（動き推定）器１１５、ＭＣ（動き補償）器１１６、符号量制御器１１７、直交変換係数推定器１１８、係数補正器１１９、及び画像バッファ１２０から構成される。入力端子１００から符号量制御器１１７に関しては、従来技術である図１２の入力端子１２００から符号量制御器１２１７と同じ構成を用いる。本実施の形態は、加えて直交変換係数推定器１１８、係数補正器１１９を設けた点に特徴がある。

次に、本実施の形態の動画像符号化装置の動作について説明する。図１において、入力端子１００より入力された符号化対象の動画像信号であるデジタル画像信号は、入力画像メモリ１０１に供給されて記憶され２次元ブロック変換器１０２にてマクロブロックデータが切り出される。マクロブロックデータは減算器１０３を介して直交変換器１０４に供給され、水平方向８画素、垂直方向８画素の２次元ブロック単位で直交変換の一種であるＤＣＴが行われてＤＣＴ係数が出力される。ＤＣＴ係数は更に輝度信号で水平方向１６画素、垂直方向１６画素のマクロブロック単位にまとめられて、量子化器１０５に送られる。

量子化器１０５はＤＣＴ係数に量子化処理を施す。エントロピー符号化器１０６は、量子化器１０５から出力された量子化されたＤＣＴ係数に対して、符号化テーブル１０７を参照して、可変長または固定長の符号化を行ってビットストリームを生成する。エントロピー符号化器１０６から出力されたビットストリームは、ストリームバッファ１０８を介して出力端子１０９より出力される。

一方、量子化器１０５において量子化されたＤＣＴ係数は、また、逆量子化器１１０において逆量子化処理が行われＤＣＴ係数が復号される。復号されたＤＣＴ係数は、直交変換係数推定器１１８及び係数補正器１１９に入力される、直交変換係数推定器１１８は、復号されたＤＣＴ係数から、量子化されたＤＣＴ係数が失われた係数成分を推定し、その推定されたＤＣＴ係数を出力する。係数補正器１１９は、直交変換係数推定器１１８から出力される推定されたＤＣＴ係数と、逆量子化器１１０から出力される復号されたＤＣＴ係数とより、入力画像信号の持っていたＤＣＴ係数が量子化で失われた成分を判断し係数に補正を加える。詳細動作は後述する。

係数補正器１１９から出力された補正ＤＣＴ係数は、逆直交変換器１１１により逆ＤＣＴ処理が行われ、復号された画像信号として加算器１１２及び２次元ブロック逆変換器１１３を介して、参照画像メモリ１１４に供給されて参照画像として格納される。基準フレームおいては、加算器１１２に入力される予測ブロックはＭＣ器１１６より生成されないため、画像バッファ１２０は機能しない。参照画像メモリ１１４に格納された復号画像信号は、予測フレームの符号化処理時に参照画像として使用される。

続いて、予測フレームにおいては、ＭＥ（動き推定）器１１５は、入力画像メモリ１０１から切り出されたマクロブロックデータと参照画像メモリ１１４に格納されている画像との間で動きベクトルを求める。ＭＣ（動き補償）器１１６は、ＭＥ器１１５で求められた動きベクトルに基づいて、参照画像メモリ１１４内の参照画像から予測ブロックを切り出す。更に、ＭＣ器１１６では、複数切り出した予測ブロックの中から最適な予測モードの選択を行い、選択した予測ブロックを減算器１０３、画像バッファ１２０及び直交変換係数推定器１１８にそれぞれ供給する。

減算器１０３は、入力画像ブロックと予測ブロックとの差分信号を直交変換器１０４に送り出す。直交変換器１０４は、上記の差分信号に対して、前記基準フレームの各ブロックと同様のＤＣＴ処理を行い、これにより得た予測差分ＤＣＴ係数を量子化器１０５により量子化処理させる。エントロピー符号化器１０６は、ＭＣ器１１６から出力される動きベクトルや予測モードを、量子化器１０５から出力される符号化処理されたＤＣＴ係数と共に、所定の構文構造に基づいて符号化し出力することで、符号化ビットストリームを生成する。生成された符号化ビットストリームは、ストリームバッファ１０８を介して出力端子１０９に出力される。

一方、量子化器１０５において量子化された予測差分ＤＣＴ係数は、逆量子化器１１０において逆量子化処理が行われ予測差分ＤＣＴ係数が復号される。復号された予測差分ＤＣＴ係数は、直交変換係数推定器１１８及び係数補正器１１９に入力される、直交変換係数推定器１１８は、逆量子化器１１０から供給される復号された予測差分ＤＣＴ係数と共に、ＭＣ器１１６より予測ブロックを受け取り、量子化された差分ＤＣＴ係数が失われた係数成分を推定し、推定された差分ＤＣＴ係数を出力する。係数補正器１１９は、直交変換係数推定器１１８で推定された差分ＤＣＴ係数と、逆量子化器１１０で復号された差分ＤＣＴ係数より、動き補償予測差分信号の持っていたＤＣＴ係数が量子化で失われた成分を判断し係数に補正を加える。この処理の詳細も後述する。

係数補正器１１９より出力された補正差分ＤＣＴ係数は、逆直交変換器１１１により逆ＤＣＴ処理が行われ、復号された予測差分信号とされる。画像バッファ１２０は、直交変換係数推定器１１８において、係数推定処理のために要する遅延を吸収するためのバッファであり、ＭＣ器１１６から出力された予測ブロック信号を固定時間遅延させ、加算器１１２に出力する。画像バッファ１２０の大きさは直交変換係数推定器１１８が要する遅延に依存し、遅延を生じない推定処理を行う場合には画像バッファ１２０を削除することが可能である。加算器１１２は、逆直交変換器１１１により得られた復号された予測差分信号と、画像バッファ１２０により遅延された予測ブロックとを加算し、復号画像信号を生成して出力する。

加算器１１２から出力された復号画像信号は、参照を受ける画像の場合には、２次元ブロック逆変換器１１３を介して参照画像メモリ１１４に供給されて参照画像として格納される。参照画像メモリ１１４に格納された参照画像が、続く予測フレームの符号化処理時に使用される。非参照となる予測フレームの場合には、逆量子化器１１０以降の復号画像信号生成処理は機能しなくてもよい。

次に、直交変換係数推定器１１８について更に詳細に説明する。図２は、直交変換係数推定器１１８の一実施の形態のブロック図を示す。同図において、直交変換係数推定器１１８には、ＭＣ器１１６より動き補償予測信号が、逆量子化器１１０より復号された予測差分ＤＣＴ係数が入力される。動き補償予測信号は、直交変換器２００において、水平方向８画素、垂直方向８画素の２次元ブロック単位で、直交変換（ここでは、直交変換の一種であるＤＣＴ）が行われて予測ＤＣＴ係数とされて出力される。加算器２０１は、直交変換器２００から出力された予測ＤＣＴ係数と、逆量子化器１１０から出力された復号された予測差分ＤＣＴ係数とを係数単位で加算することにより、復号ＤＣＴ係数を生成する。この復号ＤＣＴ係数は、復号画像信号に対して直交変換を施した結果と同等の成分になる。復号ＤＣＴ係数は、係数バッファ２０２において水平方向分に相当するマクロブロック期間遅延される。本実施の形態では、水平方向分のマクロブロック係数を蓄積することにより、ターゲットとするＤＣＴブロックの上下左右のＤＣＴブロックに対する復号ＤＣＴ係数を得る。

係数バッファ２０２からは、ターゲットとするＤＣＴブロックとその上下左右のＤＣＴブロックの復号ＤＣＴ係数が、傾き相殺直交変換係数生成器２０３に入力される。傾き相殺直交変換係数生成器２０３においては、ターゲットとするブロックの画像信号と隣接するブロックの画像信号とのブロック境界を滑らかに接続するための、ブロック境界傾き相殺関数のＤＣＴ係数を生成する。

ブロック境界傾き相殺関数のＤＣＴ係数を生成する手法として、本実施の形態においては、ブロック境界の画像信号の傾きを境界条件としてポアソン方程式に適用することによってブロック内の予測信号を推定し、そのＤＣＴ係数を生成する多重調和局所余弦変換手法で用いられている推定技術を適用する。 続いて、この多重調和局所余弦変換手法の説明を行う。

図３は、多重調和局所余弦変換手法の基本概念を示すための概念図である。多重調和局所余弦変換手法は、公知の文献（Improvement of DCT-based Compression Algorithms Using Poisson's Equation）等で述べられているように、ＪＰＥＧ(Joint Photographic Experts Group)などで用いられるＤＣＴの符号化効率を改善するための手法である。図３は、原画像フレーム内のある特定のブロックにおいて、その中のある特定のラインに注目し、注目したラインの原信号と、ブロック境界上にあるその原信号の境界の状態が、この手法によってどのように推移するかを示している。

図３（ａ）に示す原信号３０１に対して、ブロック境界３０４、３０５に対応する原信号３０１の両端部分における画像信号の傾き３０２、３０３を求める。この両端部分の画像信号の傾き３０２、３０３を境界条件とする。多重調和局所余弦変換手法は、ブロック内の信号の振る舞いを規定する２次関数等の所定のソースモデルを規定し、ブロック内の信号をその所定のソースモデルにより表現し、所定のソースモデルにより表現したブロック内の信号をブロックの境界条件に基づいて推定信号を生成することを、ＤＣＴ（離散余弦変換）係数から導出できるようにした手法である。

ここでは、図３（ｂ）に示すような原信号３０１の両端部分の画像信号の傾きを境界条件として、推定信号３０６を生成する。所定のソースモデルは、境界条件の下で原信号に最も近い信号を推定することができるモデルを採用することが望ましい。一般に、図３のような１次元の信号の場合には所定のソースモデルとして２次関数を適用することで容易に求めることが可能であるが、ここでは特にこのモデルに限定されるものではなく、１次関数等の低次の関数や、３次関数、４次関数等のより高次な関数でもよい。このように本実施の形態では、所定のソースモデルを導入することで膨大な演算量を費やしてポアソン方程式を数値的に解くことなく、解析的にブロック内の推定信号を生成している。

多重調和局所余弦変換手法においては、図３（ｂ）のような境界条件に基づいた推定信号３０６を生成した後、原信号３０１と推定信号３０６との間で差分を求めることで、図３（ｃ）に示すような残差信号３０７を生成する。このようにして求めた残差信号３０７に対して、通常の直交変換であるＤＣＴや量子化及びエントロピー符号化を行うことで、通常のＤＣＴによる符号化を行った場合よりも発生する符号量を抑制することが可能である。

本実施の形態においては、多重調和局所余弦変換手法におけるブロック内の推定処理を、復号画像信号に対して施すことにより、入力された原信号に近い信号を推定し、その推定信号から動き補償予測信号を減ずることにより、量子化処理によって切り捨てられた本来有していた予測差分ＤＣＴ係数を復元させる処理に適用する。

続いて、傾き相殺直交変換係数生成器２０３における具体的な処理を説明する。まず、入力される動画像フレーム（本実施の形態では復号画像信号を示す）に対して、数１によって表現される図４に示される各ブロックとして動画像フレームの画像信号をとらえる。

図４のΩ^(0,0)が現在処理対象となっているブロックであるものとする。また、各ブロック内の各画素は、数２で表現される。

続いて、図４に示すブロックの境界部分Γ⁽¹⁾、Γ^（2）、Γ^(3）、Γ⁽⁴⁾の境界条件である画像信号の傾きを周波数領域で議論することができるように、ＤＣＴ級数で表現する。ここでは数３に示した境界条件のＤＣＴ級数展開の式を利用して画像信号の傾きをｇとした場合に数３に示した式中のＧ_ｋのようなＤＣＴ係数で表現する。

また、ポアソン方程式の概念を導入してブロック内の原信号に対する推定信号を求める。ここで、ポアソン方程式は、処理対象ブロックＱｊにおいて、ブロック内の推定信号ｕのラプラシアンであるΔｕ_ｊがソース項Ｋ_ｊとの間において、次式が成立する方程式である。

Δｕ_ｊ＝Ｋ_ｊ
ブロック内の推定信号ｕはノイマンの境界条件とＤＣＴ級数表記を用いることで、数５に示す式のように表現することができる。これは、数４で示すような各境界からの推定信号のＤＣＴ級数展開成分を足し合わせることで求められる。

このような推定信号ｕに対してＤＣＴを行うことで、数７を伴う数６で示されるような推定信号Ｕを得る。

数７に示した式より、ηおよびη^*はブロック内の位置情報のみに依存し、ブロック内の画像信号には依存しないことから、予め一意に計算して求めておくことができる。従って、推定信号Ｕを求めるためには、傾きのＤＣＴ係数情報Ｇ_kを求めることが重要となる。

ここで、Ｇ_kをブロック内の原信号に対してＤＣＴを行った後のＤＣＴ係数情報を利用して求めることを可能にするため、境界条件であるブロック境界における画像信号の傾きを求める際に、数８の式で示されるようなブロック内の各方向における信号成分の平均値を代表値としてブロック間の傾きを算出し、この傾きをブロック境界での傾きとして近似することでｇを求める。

続いて、この近似されたｇに対してＤＣＴを行うことでＧを求める。ここで、傾きのＤＣＴ係数情報Ｇを求める際に数８に示した式を考慮して数９に示した式変形を行うことで、Ｇを数９に示した式中のＦ、つまりブロック内のＤＣＴ係数情報を利用して求めることが可能となる。

傾き相殺直交変換係数生成器２０３においては、係数バッファ２０２より入力されたＤＣＴ係数情報をＦとして数９に示した式から傾きのＤＣＴ係数情報Ｇを求めることで、推定信号ｕのＤＣＴ係数Ｕを生成する処理が施される。

具体的には、図５に示されるように、ターゲットとなる対象復号ＤＣＴブロック５０１、及びその対象復号ＤＣＴブロック５０１の左、上、右、下にそれぞれ隣接する復号ＤＣＴブロック５０２、５０３、５０４、５０５に対する、２次元ＤＣＴにおけるＤＣ項及び１次元ＤＣＴにおけるＤＣ項の係数値を持ってＧを計算し、ターゲットとなる対象復号ＤＣＴブロック５０１のＤＣ項を除く推定信号ＤＣＴ係数Ｕを算出する処理が施される。

ここで、図５において、ｃ００は対象復号ＤＣＴブロック５０１の２次元ＤＣＴのＤＣ項、水平方向に並ぶｃ０１〜ｃ０７は復号ＤＣＴブロック５０１の垂直１次元ＤＣＴのＤＣ項、垂直方向に並ぶｃ１０〜ｃ７０は復号ＤＣＴブロック５０１の水平１次元ＤＣＴのＤＣ項を示す。また、ｌ００、ｕ００、ｒ００、ｄ００は、隣接復号ＤＣＴブロック５０２、５０３、５０４、５０５の２次元ＤＣＴのＤＣ項を示す。また、水平方向に並ぶｌ０１〜ｌ０７、ｕ０１〜ｕ０７、ｒ０１〜ｒ０７、ｄ０１〜ｄ０７は、それぞれ隣接復号ＤＣＴブロック５０２、５０３、５０４、５０５の垂直１次元ＤＣＴのＤＣ項、垂直方向に並ぶｃ１０〜ｃ７０、ｕ１０〜ｕ７０、ｒ１０〜ｒ７０、ｄ１０〜ｄ７０は、それぞれ隣接復号ＤＣＴブロック５０２、５０３、５０４、５０５の水平１次元ＤＣＴのＤＣ項である。

図２に戻って説明する。傾き相殺直交変換係数生成器２０３から出力された推定信号ＤＣＴ係数は、係数バッファ２０４から出力された予測ＤＣＴ係数と共に、減算器２０５に入力され、推定信号ＤＣＴ係数から予測ＤＣＴ係数が係数単位で減算され、推定予測差分ＤＣＴ係数として係数補正器１１９に出力される。

傾き相殺直交変換係数生成器２０３には、基準フレームの画像信号の場合には、逆量子化器１１０より復号ＤＣＴ係数が入力され、ＭＣ器１１６からは動き補償予測信号は入力されないため、加算器２０１、減算器２０５への動き補償予測ＤＣＴ係数は入力されず、係数補正器１１９へは、推定ＤＣＴ係数が出力される。

次に、係数補正器１１９の動作を説明する。係数補正器１１９には、基準フレームの場合には逆量子化器１１０より復号ＤＣＴ係数が入力され、直交変換係数推定器１１８より推定ＤＣＴ係数が入力される。動き補償予測が用いられた場合には、上記の復号ＤＣＴ係数は復号予測差分ＤＣＴ係数となり、上記の推定ＤＣＴ係数は推定予測差分ＤＣＴ係数となる。

係数補正器１１９は、復号予測差分ＤＣＴ係数を直交変換係数推定器１１８が推定予測差分ＤＣＴ係数を算出するために必要な遅延を行い、ターゲットとなるＤＣＴブロックの処理タイミングを一致させ、復号予測差分ＤＣＴ係数と推定予測差分ＤＣＴ係数とを係数毎に比較し、どちらのＤＣＴ係数を適用するかを選択する。

係数補正器１１９における、ＤＣＴブロック単位での係数を選択するアルゴリズムを図６のフローチャートを参照して説明する。まず、係数補正器１１９は、ターゲットとなるＤＣＴブロックに対する、復号ＤＣＴ係数ＤｅｃＣと推定ＤＣＴ係数ＥｓｔＣを得る（ステップＳ６００）。

続いて、ターゲットとなるＤＣＴブロックが量子化された際の量子化ステップＱ及び量子化マトリクスＭを得る（ステップＳ６０１）。次に、係数補正器１１９は、ＤＣＴブロックのそれぞれの係数項に関して、復号されたＤＣＴ係数が量子化される前に取りうる範囲を計算する。ＭＰＥＧ２符号化においては、動き補償予測を用いたＤＣＴブロックに関しては、ＤＣＴ係数は量子化時に切り捨て処理が行われ、動き補償予測が用いられず、画像信号そのものがＤＣＴ処理された場合には、四捨五入処理が行われる。よって、ターゲットのＤＣＴブロックが動き補償予測を用いた予測差分ブロックであるかどうかを判断する（ステップＳ６０２）。

係数補正器１１９は、ターゲットのＤＣＴブロックが予測差分ＤＣＴの場合には、復号予測差分ＤＣＴにおける水平ｘ、垂直ｙの係数をＤｅｃＣ(ｘ，ｙ)、水平ｘ、垂直ｙの項の量子化マトリクス値をＭ（ｘ，ｙ）とすると、量子化される前に取りうる係数の絶対値の範囲を、以下のように計算する（ステップＳ６０３）。

最小値 ＥｓｔＣｍｉｎ＝ａｂｓ（ＤｅｃＣ（ｘ，ｙ））
最大値 ＥｓｔＣｍａｘ＝ａｂｓ（ＤｅｃＣ（ｘ，ｙ））＋Ｑ＊Ｍ（ｘ，ｙ）
一方、ターゲットのＤＣＴブロックが予測差分ＤＣＴでない場合には、係数補正器１１９は、以下の計算を行う(ステップＳ６０４)。

最小値 ＥｓｔＣｍｉｎ＝０ ： ＤｅｃＣ（ｘ，ｙ）＝０の時
ａｂｓ（ＤｅｃＣ（ｘ，ｙ））−Ｑ＊Ｍ（ｘ，ｙ）／２
： ＤｅｃＣ（ｘ，ｙ）≠０の時
最大値 ＥｓｔＣｍａｘ＝ａｂｓ（ＤｅｃＣ（ｘ，ｙ））＋Ｑ＊Ｍ（ｘ，ｙ）／２
続いて、係数補正器１１９は、ステップＳ６０３又はＳ６０４で計算した最大値、最小値と推定ＤＣＴ係数とを、以下の量子化される前に取りうる係数の範囲内であることを満たす条件を満足するか否か比較し（ステップＳ６０５）、その条件を満足する場合には、推定ＤＣＴ係数ＥｓｔＣ（ｘ，ｙ）を補正ＤＣＴ係数ＣｏｒＣ（ｘ，ｙ）として選択し（ステップＳ６０６）、その条件を満足しない場合には復号ＤＣＴ係数ＤｅｃＣ（ｘ，ｙ）を補正ＤＣＴ係数ＣｏｒＣ（ｘ，ｙ）として選択する（ステップＳ６０７）。

ここで、上記の取りうる係数の範囲内であることを満たす条件は、以下（１）と（２）と（３）とをすべて同時に満たすことである。

（１）推定ＤＣＴ係数ＥｓｔＣ（ｘ，ｙ）と復号ＤＣＴ係数ＤｅｃＣ（ｘ，ｙ）の極性が同一、もしくはＤｅｃＣ（ｘ，ｙ）＝０
（２）ＥｓｔＣｍｉｎ≦ａｂｓ（ＥｓｔＣ（ｘ，ｙ））＜ＥｓｔＣｍａｘ
（３）ＤＣ項（ｘ＝０，ｙ＝０）でない
最後に、係数補正器１１９は、ＤＣＴブロックのＤＣ項は復号ＤＣＴを選択し、その他すべての係数項に対して、ステップＳ６０６又はＳ６０７で得たＤｅｃＣ（ｘ，ｙ）とＥｓｔＣ（ｘ，ｙ）の選択された係数を、補正ＤＣＴ係数ＣｏｒＣ（ｘ，ｙ）として格納する（ステップＳ６０８）。係数補正器１１９は、上記のアルゴリズムに従いマクロブロック内のすべてのＤＣＴブロックに対して補正ＤＣＴ係数を求め、図１の逆直交変換器１１１に出力する。

本実施形態においては、予測残差成分のＤＣＴ領域にて量子化により切り捨てられた予測残差成分を推定して補正を行う仕組みを提供する。ＤＣＴ領域でカットされた成分の範囲は、量子化スケールより推測できるため、推定されたＤＣＴ係数が適切な補正量の範囲にあるかどうかを復号されたＤＣＴ係数の各成分個別に判断を行う。ＤＣＴ係数の推定処理に関しては、復号した画像の歪成分が除去された想定の信号を生成し、その信号が復号されるために出力されるべきＤＣＴ係数、及び予測差分ＤＣＴ係数を算出することで実現する。

本実施の形態においては、ターゲットとするブロックの画像信号と隣接するブロックの画像信号とのブロック境界連続性より推定信号を特定する手法を用いたが、他の復号信号推定技術を用いることも可能である。本実施の形態では、推定された信号の正当性の判断を量子化処理が施された、ＤＣＴ係数及び予測差分ＤＣＴ係数の量子化誤差範囲に存在することを確認することで実現しており、そのため不必要な成分を変化させることなく、劣化成分を復元させることができる。

次に、本発明になる動画像復号化装置について説明する。図７は、本発明になる動画像復号化装置の第１の実施の形態のブロック図を示す。同図に示すように、本実施の形態の復号化装置は、入力端子７００、ストリームバッファ７０１、エントロピー復号器７０２、符号化テーブル７０３、逆量子化器７０４、逆直交変換器７０５、加算器７０６、２次元ブロック逆変換器７０７、参照画像メモリ７０８、ＭＣ（動き補償）器７０９、出力画像メモリ７１０、出力端子７１１、直交変換係数推定器７１２、係数補正器７１３、および画像バッファ７１４から構成される。

入力端子７００から出力端子７１１までの各部に関しては、図１３の従来の動画像復号化装置の入力端子１３００から出力端子１３１１までと同じ構成を用いる。本実施の形態は、従来の動画像復号化装置の構成に加えて、直交変換係数推定器７１２と係数補正器７１３と画像バッファ７１４とを設けた点に特徴がある。

入力端子７００に入力された図１の動画像符号化装置又は後述する動画像符号化プログラムにより生成されたビットストリームは、ストリームバッファ７０１に蓄えられ、エントロピー復号器７０２に供給される。エントロピー復号器７０２では、符号化テーブル７０３を用いて可変長又は固定長の符号を復号し、量子化されたＤＣＴ係数と動きベクトルや予測モードを復元する。量子化されたＤＣＴ係数は、逆量子化器７０４により逆量子化処理が行われ、復号ＤＣＴ係数が算出される。

復号されたＤＣＴ係数は、直交変換係数推定器７１２及び係数補正器７１３に入力される。直交変換係数推定器７１２は、符号化時に量子化によってＤＣＴ係数が失われた係数成分を推定し、推定されたＤＣＴ係数を出力する。係数補正器７１３は、推定されたＤＣＴ係数と復号されたＤＣＴ係数より、符号化された画像信号の持っていたＤＣＴ係数が量子化で失われた成分を選択し、復号されたＤＣＴ係数に補正を加えて補正ＤＣＴ係数を算出する。

係数補正器７１３より出力された補正ＤＣＴ係数は、逆直交変換器７０５により逆ＤＣＴ処理が行われ、復号された画像信号として加算器７０６及び２次元ブロック逆変換器７０７を介して、参照画像メモリ７０８に供給されて格納される。基準フレームおいては、加算器７０６に画像バッファ７１４を介して入力される予測ブロックは、ＭＣ器７０９により生成されないため、画像バッファ７１４は機能しない。

参照画像メモリ７０８に格納された復号画像信号は、予測フレームの符号化処理時に使用される。また、復号画像信号は、出力画像メモリ７１０に蓄えられ出力時刻順に並べ替えられ、出力端子７１１より出力されることにより、符号化された動画像信号を再生することができる。

予測フレームにおいては、予測ブロックがエントロピー復号器７０２から出力される動きベクトル及びモード信号をＭＣ器７０９に入力し、参照画像メモリ７０８より参照画像を切り出すことにより生成される。生成された予測ブロックは、画像バッファ７１４及び直交変換係数推定器７１２に供給される。予測フレームにおいては、逆量子化器７０４からは復号された差分ＤＣＴ係数が出力され、直交変換係数推定器７１２及び係数補正器７１３に送られる。

直交変換係数推定器７１２は、復号された差分ＤＣＴ係数と共に、ＭＣ器７０９より予測ブロックを受け取り、量子化された差分ＤＣＴ係数が失われた係数成分を推定し、推定された差分ＤＣＴ係数を出力する。係数補正器７１３は、推定された差分ＤＣＴ係数と復号された差分ＤＣＴ係数より、動き補償予測差分信号の持っていたＤＣＴ係数が量子化によって失った成分を選択し、復号された差分ＤＣＴ係数に補正を加えて補正差分ＤＣＴ係数を算出する。

係数補正器７１３より出力された補正差分ＤＣＴ係数は、逆直交変換器７０５により逆ＤＣＴ処理が行われ、復号された予測差分信号として、加算器７０６において画像バッファ７１４からの予測ブロックと加算され、復号画像信号として出力される。画像バッファ７１４は、直交変換係数推定器７１２において、係数推定処理のために要する遅延を吸収するためのバッファであり、ＭＣ器７０９から出力された予測ブロックを固定時間遅延させ、加算器７０６に出力する。画像バッファ７１４の容量の大きさは、直交変換係数推定器７１２が要する遅延に依存し、遅延を生じない推定処理を行う場合には画像バッファ７１４を削除することが可能である。

加算器７０６から出力された復号画像信号は出力画像メモリ７１０に蓄えられ出力時刻順に並べ替えられ、出力端子７１１より出力される。また、加算器７０６から出力された復号画像信号は、該当フレームが参照を受ける画像の場合には、２次元ブロック逆変換器７０７を介して参照画像メモリ７０８に供給されて格納される。参照画像メモリ７０８に格納された画像が、続く予測フレームの符号化処理時に使用される。

第１の実施の形態の動画像復号化装置における、直交変換係数推定器７１２及び係数補正器７１３の詳細動作に関しては、図１に示す第１の実施の形態の動画像符号化装置における、直交変換係数推定器１１８及び係数補正器１１９と同じ動作を行うことによって、符号化時と復号時の復元画像を一致させ、動き補償予測符号化処理における参照画像のミスマッチが生じないようにする。

第１の実施の形態においては、復号画像にＤＣＴを施して生成された各係数値を求め、対象となるＤＣＴブロックの入力時に保持していた係数成分を、対象ブロックの復号画像が持つＤＣＴ係数及び周辺ブロックの復号画像が持つＤＣＴ係数を基に推定し、動き補償予測符号化時の予測差分ＤＣＴ成分を、推定した入力画像のＤＣＴ成分から予測ブロックのＤＣＴ成分より減算することで推定する。

第１の実施の形態においては、動き補償予測処理が施された予測誤差信号が直交変換処理及び量子化処理によって生じる劣化成分を、量子化された予測誤差直交変換信号の切り捨てられた成分を推定することにより、劣化成分を補正する。量子化で切り捨てられた差分成分は、量子化スケールと量子化マトリクスより範囲を限定できるため、推定された成分の妥当性を係数別に判断することができる。これにより、本実施の形態によれば、予測誤差信号が直交変換処理及び量子化処理によって生じる劣化成分である、ブロック歪を補正する成分、モスキート歪を補正する成分、動き補償予測のミスマッチにより生じた差分信号が量子化で切り捨てられた成分、それぞれに対して失われた成分などを適切に選択して符号化時に施された量子化処理を基準に復元させることができる。

復元した画像信号は、また動き補償予測の参照画像として用いられるため、品質の向上した参照画像と入力画像の時間方向相関を算出することができ、動きベクトルの精度も向上できると共に、劣化成分が予測フレームの復号画像に残ることによる劣化も防ぐことができる。

更に、本実施の形態によれば、復号直交変換係数を推定する際に、ブロック内の信号の振る舞いを規定する２次関数等の所定のソースモデルで表現し、ブロック内の信号をブロックの境界条件に基づいて推定信号を生成する技術を用いることで、ブロック間の歪成分が除去された形でブロック全体が保持している信号特性を推定できるため、領域情報により置き換え選択される有意な推定信号を生成でき、より補正処理を適切に機能できる。

（第２の実施の形態）
次に、本発明の動画像符号化装置、及び動画像復号化装置の第２の実施の形態について説明する。この第２の実施の形態は、動画像符号化装置に関して標準の符号化処理を行った場合に、復号される復号画像の品質を向上させる動画像復号化装置を提供する。

図８は、本発明になる動画像復号化装置の第２の実施の形態のブロック図を示す。同図に示すように、本実施の形態の動画像復号化装置は、入力端子８００、ストリームバッファ８０１、エントロピー復号器８０２、符号化テーブル８０３、逆量子化器８０４、逆直交変換器８０５、加算器８０６、２次元ブロック逆変換器８０７、参照画像メモリ８０８、ＭＣ（動き補償）器８０９、出力画像メモリ８１０、出力端子８１１、直交変換係数推定器８１２、係数補正差分生成器８１３、逆直交変換器８１４、補正画像差分メモリ８１５及び加算器８１６から構成される。入力端子８００から出力端子８１１までの回路部に関しては、図１３の従来の動画像復号化装置の入力端子１２００から出力端子１２１１までの回路部と同じ構成である。

また、直交変換係数推定器８１２は、第１の実施の形態の動画像復号化装置内の直交変換係数推定器７１２と同じ構成を用いる。本実施の形態は、第１の実施の形態の動画像復号化装置と比較すると、係数補正差分生成器８１３、逆直交変換器８１４、補正画像差分メモリ８１５を設け、画像バッファ７１４に相当する画像バッファを削除した点に特徴がある。

図８において、図１２の動画像符号化装置などにより標準の符号化処理を行って得られたビットストリームが入力端子８００に入力され、更にストリームバッファ８０１、エントロピー復号器８０２、符号化テーブル８０３、逆量子化器８０４からなる回路部により復号ＤＣＴ係数が算出される。この動作は従来の動画像復号化装置と同様である。

復号されたＤＣＴ係数は、逆直交変換器８０５、直交変換係数推定器８１２及び係数補正差分生成器８１３に入力される、直交変換係数推定器８１２は、符号化時に量子化によってＤＣＴ係数が失った係数成分を推定し、推定されたＤＣＴ係数を出力する。係数補正差分生成器８１３は、推定されたＤＣＴ係数と復号されたＤＣＴ係数より、符号化された画像信号の持っていたＤＣＴ係数が量子化で失われた成分を選択し、選択された成分と復号されたＤＣＴ係数との差分情報を算出する。第１の実施の形態の動画像復号化装置との構成で異なる部分は、復号されたＤＣＴ係数に直接補正係数を加える処理を行わずに、局部復号処理を従来のＤＣＴ係数を処理させる部分である。

ここで、係数補正差分生成器８１３における、ＤＣＴブロック単位での係数を選択するアルゴリズムを図９のフローチャートを参照して説明する。まず、係数補正差分生成器８１３は、ターゲットとなるＤＣＴブロックに対する、復号ＤＣＴ係数ＤｅｃＣと推定ＤＣＴ係数ＥｓｔＣを得る（ステップＳ９００）。

続いて、ターゲットとなるＤＣＴブロックが量子化された際の量子化ステップＱ及び量子化マトリクスＭを得る（ステップＳ９０１）。次に、係数補正差分生成器８１３は、ＤＣＴブロックのそれぞれの係数項に関して、復号されたＤＣＴ係数が量子化される前に取りうる範囲を計算する。ＭＰＥＧ２符号化においては、動き補償予測を用いたＤＣＴブロックに関しては、ＤＣＴ係数は量子化時に切り捨て処理が行われ、動き補償予測が用いられず、画像信号そのものがＤＣＴ処理された場合には、四捨五入処理が行われる。よって、ターゲットのＤＣＴブロックが動き補償予測を用いた予測差分ブロックであるかどうかを判断する（ステップＳ９０２）。

係数補正差分生成器８１３は、ターゲットのＤＣＴブロックが予測差分ＤＣＴの場合には、復号ＤＣＴ係数における水平ｘ、垂直ｙの係数をＤｅｃＣ(ｘ，ｙ)、水平ｘ、垂直ｙの項の量子化マトリクス値をＭ（ｘ，ｙ）とすると、量子化される前に取りうる係数の絶対値の範囲を、以下のように計算する（ステップＳ９０３）。

最小値 ＥｓｔＣｍｉｎ＝ａｂｓ（ＤｅｃＣ（ｘ，ｙ））
最大値 ＥｓｔＣｍａｘ＝ａｂｓ（ＤｅｃＣ（ｘ，ｙ））＋Ｑ＊Ｍ（ｘ，ｙ）
一方、ターゲットのＤＣＴブロックが予測差分ＤＣＴでない場合には、係数補正差分生成器８１３は、以下の計算を行う(ステップＳ９０４)。

最小値 ＥｓｔＣｍｉｎ＝０ ： ＤｅｃＣ（ｘ，ｙ）＝０の時
ａｂｓ（ＤｅｃＣ（ｘ，ｙ））−Ｑ＊Ｍ（ｘ，ｙ）／２
： ＤｅｃＣ（ｘ，ｙ）≠０の時
最大値 ＥｓｔＣｍａｘ＝ａｂｓ（ＤｅｃＣ（ｘ，ｙ））＋Ｑ＊Ｍ（ｘ，ｙ）／２
続いて、係数補正差分生成器８１３は、ステップＳ９０３又はＳ９０４で計算した最大値、最小値と取得した推定ＤＣＴ係数とを、以下の量子化される前に取りうる係数の範囲内であることを満たす条件を満足するか否か比較し（ステップＳ９０５）、その条件を満足する場合には、推定ＤＣＴ係数ＥｓｔＣ（ｘ，ｙ）を補正ＤＣＴ係数ＣｏｒＣ（ｘ，ｙ）として選択し（ステップＳ９０６）、その条件を満足しない場合には復号ＤＣＴ係数ＤｅｃＣ（ｘ，ｙ）を補正ＤＣＴ係数ＣｏｒＣ（ｘ，ｙ）として選択する（ステップＳ９０７）。ここで、上記の取りうる係数の範囲内であることを満たす条件は、前述した図６のフローチャートのステップＳ６０５における条件と同じである。

最後に、係数補正差分生成器８１３は、ＤＣＴブロックのＤＣ項に対しては補正ＤＣＴ係数差分情報ＤｉｆＣ（ｘ，ｙ）を０とし、残りのすべての復号ＤＣＴ係数に対しては、次式
ＤｉｆＣ（ｘ，ｙ）＝ＣｏｒＣ（ｘ，ｙ）−ＤｅｃＣ（ｘ，ｙ）
に基づいて補正ＤＣＴ係数差分情報ＤｉｆＣを算出し、出力する（ステップＳ９０８）。係数補正差分生成器８１３は、上記のアルゴリズムに従いマクロブロック内のすべてのＤＣＴブロックに対して補正ＤＣＴ係数差分情報ＤｉｆＣを求める。

係数補正差分生成器８１３より出力された補正ＤＣＴ係数差分情報ＤｉｆＣは、従来の復号化装置が施す処理とは異なり、図８の逆直交変換器８１４により逆ＤＣＴ処理が行われ、復号された画像信号に補正を行うための補正画像差分信号とされた後、補正画像差分メモリ８１５に格納される。補正画像差分メモリ８１５及び出力画像メモリ８１０においては、符号化処理構造に合わせて出力時刻順に並べ替えられると共に、同一時刻・同一位置の信号が出力されるように補正画像差分信号と出力画像の出力タイミングを一致させる。

一方、逆直交変換器８０５においては、逆量子化器８０４から復号ＤＣＴ係数が入力されて逆ＤＣＴ処理を施すことで、復号データを生成する。基準フレームの場合には、その復号データは、加算器８０６、及び２次元ブロック逆変換器８０７を介して復号画像信号として出力画像メモリ８１０に蓄えられると共に、参照画像メモリ８０８にも供給されて参照画像として格納される。

予測フレームにおいては、予測ブロックがエントロピー復号器８０２から出力される動きベクトル及びモード信号をＭＣ器８０９に入力し、参照画像メモリ８０８より参照画像を切り出す事により生成される。生成された予測ブロックは加算器８０６に供給され、逆直交変換器８０５からの復号データと加算される。加算された復号データは、基準フレームと同様に２次元ブロック逆変換器８０７を介して復号画像信号として出力画像メモリ８１０に蓄えられると共に、該当フレームが参照を受ける画像の場合には、参照画像メモリ８０８にも供給されて参照画像として格納される。このように、参照画像として内部に格納される画像においては、従来の動画像符号化装置で生成される情報を格納できるように、処理を構成している。

加算器８１６は、出力画像メモリ８１０から出力された復号画像信号と、補正画像差分メモリ８１５から出力された補正画像差分信号とを加算することで補正された復号画像信号生成し、出力端子８１１より補正復号画像信号として出力する。

この第２の実施の形態においては、第１の実施の形態と同様に、対象とするブロックの復号画像信号が入力時に保持しているＤＣＴ係数を推定し、動き補償予測符号化時の予測差分ＤＣＴ成分を、推定した入力画像のＤＣＴ成分から予測ブロックのＤＣＴ成分より減算する事で推定する。推定された成分の妥当性は、量子化スケールと量子化マトリクスより係数別に判断する部分も同様であるが、その推定成分に関しては、続く動画像の動き補償予測に用いられる参照画像には反映させないことで、既存の動画像符号化装置で生成されたビットストリームを誤差蓄積なく復号することが可能になる。

また、本実施の形態では、推定されたＤＣＴ成分から、復号されたＤＣＴ成分との差分成分を算出し、その差分成分に対する逆直交変換（ＩＤＣＴ）を施すことで、復号画像信号に対する補正信号を生成する。そして、生成した補正信号を、復号画像信号出力時に加算することで、ブロック歪補正、モスキート歪補正、動き補償予測のミスマッチにより生じた差分信号が量子化で切り捨てられた成分の補正が施された信号を再生できる。よって、本実施の形態によれば、既存の符号化処理により符号化され伝送・記録された情報の劣化成分を補正して再生できる動画像復号化装置を構築できる。
（第３の実施の形態）
次に、本発明の第３の実施の形態について説明する。この第３の実施の形態は、第１及び第２の実施の形態の動画像符号化装置、及び動画像復号化装置の機能を図１０、図１１に示すコンピュータである中央処理制御装置において実現させるための動画像符号化プログラム、及び動画像復号化プログラムであり、以下それらのプログラムについて説明する。

図１０は、本発明になる動画像符号化プログラムにより動作する情報処理装置の一例の構成図を示す。同図において、情報処理装置１０００は、各種の情報を入力するための入力装置１００１と、各種の情報を出力するための出力装置１００２と、本実施の形態の動画像符号化プログラムにより動作する中央処理制御装置１００３と、外部記憶装置１００４と、中央処理制御装置１００３による演算処理の際の作業領域などに用いる一時記憶装置１００５と、外部と通信するための通信装置１００６とが、双方向のバス１００７により接続された構成とされている。

中央処理制御装置１００３は、本実施の形態の動画像符号化プログラムが記録媒体から、あるいは通信ネットワークを介して配信されて通信装置１００６により取り込まれ、図１に示した２次元ブロック変換器１０２に相当する２次元ブロック変換手段１００８、減算器１０３に相当する減算１００９、直交変換器１０４に相当する直交変換手段１０１０、量子化器１０５に相当する量子化手段１０１１、エントロピー符号化器１０６に相当するエントロピー符号化手段１０１２、逆量子化器１１０に相当する逆量子化手段１０１３、逆直交変換器１１１に相当する逆直交変換手段１０１４、加算器１１２に相当する加算手段１０１５、２次元ブロック逆変換器１１３に相当する２次元ブロック逆変換手段１０１６、ＭＥ器１１５に相当するＭＥ手段１０１７、ＭＣ器１１６に相当するＭＣ手段１０１８、符号量制御器１１７に相当する符号化制御手段１０１９、直交変換係数推定器１１８に相当する直交変換係数推定手段１０２０、係数補正器１１９に相当する係数補正手段１０２１の各機能を少なくとも有し、図１に示す動画像符号化装置と同様の動作をソフトウェア処理により実行する。

図１１は、本発明になる動画像復号化プログラムの一実施の形態により動作する情報処理装置の一例の構成図を示す。同図において、情報処理装置１１００に含まれる装置の基本構成は、図１０における情報処理装置１０００と同様であるため、説明を省略する。中央処理制御装置１１０３は、本実施の形態の動画像復号化プログラムが記録媒体から、あるいは通信ネットワークを介して配信されて通信装置１１０６により取り込まれ、図７のエントロピー復号化器７０２に相当するエントロピー復号化手段１１０８、逆量子化器７０４に相当する逆量子化手段１１０９、逆直交変換器７０５に相当する逆直交変換手段１１１０、加算器７０６に相当する加算手段１１１１、２次元ブロック逆変換器７０７に相当する２次元ブロック逆変換手段１１１２、ＭＣ器７０９に相当するＭＣ手段１１１３、直交変換係数推定器７１２に相当する直交変換係数推定手段１１１４の各機能を少なくとも有し、係数補正器７１３に相当する係数補正手段１１１５の機能を有する事で、図７に示した第１の実施例の復号化装置と同様の動作をソフトウェア処理により実行する。

また、係数補正手段１１１５の替りに、図８に示した係数補正差分生成器８１３に相当する係数補正差分生成手段１１１６を有することで、図８に示した第２の実施の形態の動画像復号化装置と同様の動作をソフトウェアにより実行する。

図１０及び図１１において、画像及び係数を蓄えるメモリは一時記憶装置１００２、１１０２において構成され、図８における逆直交変換器８１４の処理は、ソフトウェアとしては逆直交変換手段１０１４、１１１０で共用可能であるため、特に追加の手段を有してはいない。

なお、本発明の各実施の形態においては、動画像符号化の構成としてＭＰＥＧ２符号化方式を用いたが、ＭＰＥＧ１、ＭＰＥＧ４ ＡＳＰ、ＭＰＥＧ４ ＡＶＣ、ＶＣ１などの、動き補償予測及び直交変換を用いた他の動画像符号化規格を用いても同様の効果を発揮する事が期待でき、有効に活用することが可能である。

本発明は、動画像信号を圧縮して伝送する符号化装置及び符号化プログラム等に適用できる。また本発明は、動画像信号が圧縮されて伝送された情報を復元する、復号化装置および復号化プログラム等に適用できる。

本発明の動画像符号化装置の第１の実施の形態のブロック図である。 図１中の直交変換係数推定器の一実施の形態のブロック図である。 多重調和局所直交変換の基本概念を表す概念図である。 復号画像ブロックにおけるブロック間の境界に関する定義を示すための概念図である。 本発明の第１の実施の形態の直交変換係数推定器において処理される係数データを示す概念図である。 図１中の係数補正器の動作を説明するフローチャートである。 本発明の第１の実施の形態の動画像復号化装置のブロック図である。 本発明の第２の実施の形態の動画像復号化装置のブロック図である。 図８中の係数補正差分生成器の動作を説明するフローチャートである。 本発明の動画像符号化装置が備える機能を、本発明の動画像符号化プログラムを実行させることにより実現する情報処理装置の基本構成を表す機能ブロック図である。 本発明の動画像復号化装置が備える機能を、本発明の動画像復号化プログラムを実行させることにより実現する情報処理装置の基本構成を表す機能ブロック図である。 従来のＭＰＥＧ２符号化装置の一例を示すブロック図である。 従来のＭＰＥＧ２復号化装置の一例を示すブロック図である。 従来のブロック歪除去フィルタの動作概念を示す概念図である。

符号の説明

１００ デジタル画像信号入力端子
１０１ 入力画像メモリ
１０２ ２次元ブロック変換器
１０３、２０５ 減算器
１０４、２００ 直交変換器
１０５ 量子化器
１０６ エントロピー符号化器
１０７、７０３、８０３ 符号化テーブル
１０８、７０１、８０１ ストリームバッファ
１０９、７１１、８１１ 出力端子
１１０、７０４、８０４ 逆量子化器
１１１、７０５、８０５ 逆直交変換器
１１２、２０１、７０６、８０６、８１６ 加算器
１１３、７０７、８０７ ２次元ブロック逆変換器
１１４、７０８、８０８ 参照画像メモリ
１１５ ＭＥ（動き推定）器
１１６、７０９、８０９ ＭＣ（動き補償）器
１１７ 符号量制御器
１１８ 直交変換係数推定器
１１９ 係数補正器
１２０ 画像バッファ
２０２、２０４ 係数バッファ
２０３ 傾き相殺直交変換係数生成器
７００、８００ ビットストリーム入力端子
７０２、８０２ エントロピー復号器
７１０ 出力画像メモリ
７１１ 出力端子
７１２、８１２ 直交変換係数推定器
７１３ 係数補正器
７１４ 画像バッファ
８１３ 係数補正差分生成器
８１５ 補正画像差分メモリ
１０００、１１００ 情報処理装置
１００１、１１０１ 入力装置
１００２、１１０２ 出力装置
１００３、１１０３ 中央処理制御装置
１００４、１１０４ 外部記憶装置
１００５、１１０５ 一時記憶装置
１００６、１１０６ 通信装置
１００７、１１０７ 双方向バス
１００８ ２次元ブロック変換手段
１００９ 減算手段
１０１０ 直交変換手段
１０１１ 量子化手段
１０１２ エントロピー符号化手段
１０１３、１１０９ 逆量子化手段
１０１４、１１１０ 逆直交変換手段
１０１５、１１１１ 加算手段
１０１６、１１１２ ２次元ブロック逆変換手段
１０１７ ＭＥ手段
１０１８、１１１３ ＭＣ手段
１０１９ 符号量制御手段
１０２０、１１１４ 直交変換係数推定手段
１０２１、１１１５ 係数補正手段
１１１６ 係数補正差分生成手段

Claims (10)

1. 入力された符号化対象の動画像信号を所定の画素数からなる矩形領域毎に分割し、前記矩形領域を処理単位として、過去に符号化された画像の復号画像信号を参照画像として動き補償予測処理を行い、前記符号化対象の動画像信号である符号化対象画像と動き補償予測信号との差分信号に対して、前記矩形領域とは別に定義された矩形領域を処理単位として直交変換処理及び量子化処理を順次に施して符号化を行う動画像符号化装置において、
   前記動き補償予測信号と、前記直交変換処理及び量子化処理が施された結果生成される量子化データを逆量子化することで生成される復号直交変換係数とを入力として受け、量子化された結果失われた直交変換係数を推定して推定直交変換係数を出力する直交変換係数推定手段と、
   前記直交変換係数推定手段より出力された前記推定直交変換係数と、前記復号直交変換係数と、量子化処理が施された際の量子化の細かさを示す係数毎の量子化値とを入力として受け、前記量子化値より量子化前の直交変換係数が取りうる領域情報を算出し、その領域情報を基に前記復号直交変換係数を前記推定直交変換係数に置き換えるか否かの判断を行って補正直交変換係数を生成する係数補正手段と、
   前記係数補正手段より出力される補正直交変換係数に逆直交変換処理を施して得た信号を前記動き補償予測信号と加算することで補正復号画像信号を生成する補正画像信号生成手段とを有し、
   前記補正復号画像信号を、続いて符号化対象となる動画像信号の前記参照画像として用いることを特徴とする動画像符号化装置。
2. 前記直交変換係数推定手段は、
   前記動き補償予測信号に対する直交変換係数を生成するための直交変換手段と、
   前記動き補償予測信号と前記復号直交変換係数とより復号画像信号の直交変換係数を生成する手段と、
   生成された前記復号画像信号の直交変換係数を、直交変換処理の対象となる矩形領域単位で周囲に存在する矩形領域の復号画像信号との対応する境界部分の境界条件を基に、ポアソン方程式を満たすような、前記矩形領域内の推定復号画像信号を生成することで、復号画像信号の推定直交変換係数を生成する、傾き相殺直交変換係数生成手段と、
   前記推定直交変換係数より、前記直交変換手段から出力された前記動き補償予測信号に対する直交変換係数を減算することで、推定予測差分直交変換係数を生成する減算手段と
   を有することを特徴とする請求項１記載の動画像符号化装置。
3. 前記傾き相殺直交変換係数生成手段は、前記直交変換処理の対象となる矩形領域及び、その直交変換処理の対象となる矩形領域の周囲に存在する矩形領域の復号画像信号に対する直交変換係数とを入力として受け、入力された前記直交変換係数の加算・乗算により復号画像信号の推定直交変換係数を生成することを特徴とする請求項２記載の動画像符号化装置。
4. 入力された符号化対象の動画像信号を所定の画素数からなる矩形領域毎に分割し、前記矩形領域を処理単位として、過去に符号化された画像の復号画像信号を参照画像として動き補償予測処理を行い、前記符号化対象の動画像信号である符号化対象画像と動き補償予測信号との差分信号に対して、前記矩形領域とは別に定義された矩形領域を処理単位として直交変換処理及び量子化処理を順次に施して符号化された動画像信号のビットストリームを復号する、動画像復号化装置において、
   前記ビットストリームから量子化された直交変換係数と動きベクトルを復号するエントロピー復号手段と、
   前記エントロピー復号手段からの前記動きベクトルに基づき、過去の復号画像信号を参照信号として切り出して動き補償予測信号を生成する動き補償手段と、
   前記エントロピー復号手段より出力された前記量子化された直交変換係数を逆量子化することで生成される復号直交変換係数と、前記動き補償予測信号とを入力として受け、量子化された結果失われた直交変換係数を推定して推定直交変換係数を出力する直交変換係数推定手段と、
   前記直交変換係数推定手段より出力された前記推定直交変換係数と、前記復号直交変換係数及び量子化処理が施された際の量子化の細かさを示す係数毎の量子化値とを入力として受け、前記量子化値より量子化前の直交変換係数が取りうる領域情報を算出し、その領域情報を基に前記復号直交変換係数を前記推定直交変換係数に置き換えるか判断を行って補正直交変換係数を生成する係数補正手段と、
   前記係数補正手段より出力される前記補正直交変換係数に逆直交変換処理を行って得た信号に前記動き補償予測信号を加算することで補正復号画像信号を生成する補正復号画像信号生成手段とを有し、
   前記補正復号画像信号を、続いて符号化対象となる動画像信号の前記参照画像として用いることを特徴とする動画像復号化装置。
5. 入力された符号化対象の動画像信号を所定の画素数からなる矩形領域毎に分割し、前記矩形領域を処理単位として、過去に符号化された画像の復号画像信号を参照画像として動き補償予測処理を行い、前記符号化対象の動画像信号である符号化対象画像と動き補償予測信号との差分信号に対して、前記矩形領域とは別に定義された矩形領域を処理単位として直交変換処理及び量子化処理を順次に施して符号化された動画像信号のビットストリームを復号する、動画像復号化装置において、
   前記ビットストリームから量子化された直交変換係数と動きベクトルを復号するエントロピー復号手段と、
   前記エントロピー復号手段からの前記動きベクトルに基づき、過去の復号画像信号を参照信号として切り出して動き補償予測信号を生成する動き補償手段と、
   前記エントロピー復号手段より出力された前記量子化された直交変換係数を逆量子化することで生成される復号直交変換係数と、前記動き補償予測信号とを入力として受け、量子化された結果失われた直交変換係数を推定して推定直交変換係数を出力する直交変換係数推定手段と、
   前記直交変換係数推定手段より出力された前記推定直交変換係数と、前記復号直交変換係数及び量子化処理が施された際の量子化の細かさを示す係数毎の量子化値とを入力として受け、前記量子化値より量子化前の直交変換係数が取りうる領域情報を算出し、その領域情報を基に前記復号直交変換係数を前記推定直交変換係数に置き換えるか判断を行い、置き換える係数と前記直交変換係数との差分情報である補正差分直交変換係数を出力する係数補正差分生成手段と、
   前記係数補正差分生成手段より出力される前記補正差分直交変換係数に対し、逆直交変換処理を施すことで補正差分信号に変換する逆直交変換手段と、
   前記復号直交変換係数を逆直交変換して得た信号と前記動き補償予測信号とを用いて復号した復号画像信号を前記参照画像として格納した後に、出力画像として出力する前記復号画像信号に対してのみ前記補正差分信号を加算して、再生画像に対して補正された復号画像信号を出力する画像信号復号手段と
   を有することを特徴とする動画像復号化装置。
6. 前記直交変換係数推定手段は、
   前記動き補償予測信号に対する直交変換係数を生成するための直交変換手段と、
   前記動き補償予測信号と前記復号直交変換係数とより復号画像信号の直交変換係数を生成する手段と、
   生成された前記復号画像信号の直交変換係数を、直交変換処理の対象となる矩形領域単位で周囲に存在する矩形領域の復号画像信号との対応する境界部分の境界条件を基に、ポアソン方程式を満たすような、前記矩形領域内の推定復号画像信号を生成することで、復号画像信号の推定直交変換係数を生成する、傾き相殺直交変換係数生成手段と、
   前記推定直交変換係数より、前記直交変換手段から出力された前記動き補償予測信号に対する直交変換係数を減算することで、推定予測差分直交変換係数を生成する減算手段と
   を有することを特徴とする請求項４又は５記載の動画像復号装置。
7. 前記傾き相殺直交変換係数生成手段は、前記直交変換処理の対象となる矩形領域及び、その直交変換処理の対象となる矩形領域の周囲に存在する矩形領域の復号画像信号に対する直交変換係数とを入力として受け、入力された前記直交変換係数の加算・乗算により前記補正直交変換係数を生成することを特徴とする請求項６記載の動画像復号化装置。
8. 入力された符号化対象の動画像信号を所定の画素数からなる矩形領域毎に分割し、前記矩形領域を処理単位として、過去に符号化された画像の復号画像信号を参照画像として動き補償予測処理を行い、前記符号化対象の動画像信号である符号化対象画像と動き補償予測信号との差分信号に対して、前記矩形領域とは別に定義された矩形領域を処理単位として直交変換処理及び量子化処理を順次に施して行う符号化を、コンピュータにより実行させる動画像符号化プログラムにおいて、
   前記コンピュータを、
   前記動き補償予測信号と、前記直交変換処理及び量子化処理が施された結果生成される量子化データを逆量子化することで生成される復号直交変換係数とを入力として受け、量子化された結果失われた直交変換係数を推定して推定直交変換係数を出力する直交変換係数推定手段と、
   前記直交変換係数推定手段より出力された前記推定直交変換係数と、前記復号直交変換係数と、量子化処理が施された際の量子化の細かさを示す係数毎の量子化値とを入力として受け、前記量子化値より量子化前の直交変換係数が取りうる領域情報を算出し、その領域情報を基に前記復号直交変換係数を前記推定直交変換係数に置き換えるか否かの判断を行って補正直交変換係数を生成する係数補正手段と、
   前記係数補正手段より出力される補正直交変換係数に逆直交変換処理を施して得た信号を前記動き補償予測信号と加算することで補正復号画像信号を生成する補正画像信号生成手段と、
   して機能させ、前記補正復号画像信号を、続いて符号化対象となる動画像信号の前記参照画像として用いることを特徴とする動画像符号化プログラム。
9. 入力された符号化対象の動画像信号を所定の画素数からなる矩形領域毎に分割し、前記矩形領域を処理単位として、過去に符号化された画像の復号画像信号を参照画像として動き補償予測処理を行い、前記符号化対象の動画像信号である符号化対象画像と動き補償予測信号との差分信号に対して、前記矩形領域とは別に定義された矩形領域を処理単位として直交変換処理及び量子化処理を順次に施して符号化された動画像信号のビットストリームを復号する動作をコンピュータにより実行させる動画像復号化プログラムにおいて、
   前記コンピュータを、
   前記ビットストリームから量子化された直交変換係数と動きベクトルを復号するエントロピー復号手段と、
   前記エントロピー復号手段からの前記動きベクトルに基づき、過去の復号画像信号を参照信号として切り出して動き補償予測信号を生成する動き補償手段と、
   前記エントロピー復号手段より出力された前記量子化された直交変換係数を逆量子化することで生成される復号直交変換係数と、前記動き補償予測信号とを入力として受け、量子化された結果失われた直交変換係数を推定して推定直交変換係数を出力する直交変換係数推定手段と、
   前記直交変換係数推定手段より出力された前記推定直交変換係数と、前記復号直交変換係数及び量子化処理が施された際の量子化の細かさを示す係数毎の量子化値とを入力として受け、前記量子化値より量子化前の直交変換係数が取りうる領域情報を算出し、その領域情報を基に前記復号直交変換係数を前記推定直交変換係数に置き換えるか判断を行って補正直交変換係数を生成する係数補正手段と、
   前記係数補正手段より出力される前記補正直交変換係数に逆直交変換処理を行って得た信号に前記動き補償予測信号を加算することで補正復号画像信号を生成する補正復号画像信号生成手段と
   して機能させ、前記補正復号画像信号を、続いて符号化対象となる動画像信号の前記参照画像として用いることを特徴とする動画像復号化プログラム。
10. 入力された符号化対象の動画像信号を所定の画素数からなる矩形領域毎に分割し、前記矩形領域を処理単位として、過去に符号化された画像の復号画像信号を参照画像として動き補償予測処理を行い、前記符号化対象の動画像信号である符号化対象画像と動き補償予測信号との差分信号に対して、前記矩形領域とは別に定義された矩形領域を処理単位として直交変換処理及び量子化処理を順次に施して符号化された動画像信号のビットストリームを復号する動作をコンピュータにより実行させる動画像復号化プログラムにおいて、
    前記コンピュータを、
    前記ビットストリームから量子化された直交変換係数と動きベクトルを復号するエントロピー復号手段と、
    前記エントロピー復号手段からの前記動きベクトルに基づき、過去の復号画像信号を参照信号として切り出して動き補償予測信号を生成する動き補償手段と、
    前記エントロピー復号手段より出力された前記量子化された直交変換係数を逆量子化することで生成される復号直交変換係数と、前記動き補償予測信号とを入力として受け、量子化された結果失われた直交変換係数を推定して推定直交変換係数を出力する直交変換係数推定手段と、
    前記直交変換係数推定手段より出力された前記推定直交変換係数と、前記復号直交変換係数及び量子化処理が施された際の量子化の細かさを示す係数毎の量子化値とを入力として受け、前記量子化値より量子化前の直交変換係数が取りうる領域情報を算出し、その領域情報を基に前記復号直交変換係数を前記推定直交変換係数に置き換えるか判断を行い、置き換える係数と前記直交変換係数との差分情報である補正差分直交変換係数を出力する係数補正差分生成手段と、
    前記係数補正差分生成手段より出力される前記補正差分直交変換係数に対し、逆直交変換処理を施すことで補正差分信号に変換する逆直交変換手段と、
    前記復号直交変換係数を逆直交変換して得た信号と前記動き補償予測信号とを用いて復号した復号画像信号を前記参照画像として格納した後に、出力画像として出力する前記復号画像信号に対してのみ前記補正差分信号を加算して、再生画像に対して補正された復号画像信号を出力する画像信号復号手段と
    して機能させることを特徴とする動画像復号化プログラム。

Images