JP2012054618A - 動画像符号化装置及び符号化方法、動画像復号化装置及び復号化方法 - Google Patents

Abstract

【課題】画面間予測および画面内予測を用いた動画像符号化において、複雑なテクスチャを持つ画像が複雑に動く場合などにも予測差分の符号量を減少させて、圧縮効率を向上する。
【解決手段】画面間予測を行って予測差分を計算する画面間予測部と、予測差分に対して符号化を行う周波数変換部および量子化部と、記号の発生確率に応じた符号化を行うための可変長符号化部を有し、画面間予測部では既符号化領域の画像を平滑化し、対象領域と時空間的に近接する平滑化後の既符号化領域の動きベクトルに基づいて対象領域の動きベクトルを予測してその予測差分を符号化する。
【選択図】図８

Description

本発明は、動画像符号化装置及び符号化方法、動画像復号化装置及び復号化方法に係わり、少ない符号量で高画質に画像を符号化できる動画像符号化装置及び符号化方法、動画像復号化装置及び復号化方法に関する。

大容量の動画像情報をデジタルデータ化して記録、伝達する手法として、MPEG (Moving Picture Experts Group)方式等の符号化方式が策定され、MPEG-1規格、MPEG-2規格、MPEG-4規格、H.264/AVC(Advanced Video Coding)規格等として国際標準の符号化方式となっている。これらの方式はデジタル衛星放送やDVD、携帯電話やデジタルカメラなどにおける符号化方式として採用され、現在ますます利用の範囲が広がり、身近なものとなってきている。

これらの規格では、符号化処理が完了した画像情報を利用して符号化対象画像をブロック単位で予測し、原画像との予測差分を符号化することによって、動画像の持つ冗長性を除いて符号量を減らしている。

H.264/AVCでは、対象画像とは別の画像を参照する画面間予測により、符号化対象ブロックと相関の高いブロックを参照画像中から探索することによって、高精度な予測を可能としている。また、対象画像内を参照する画面内予測では、符号化対象ブロックと相関の高いブロックを符号化済みの対象画像中から探索することによって、高精度な予測を可能としている。これにより、符号量を大幅に削減することに成功している。
図１はH.264/AVCによる画面間予測処理の動作について概念的に示したものである。H.264/AVCでは、符号化対象画像に対してラスタースキャンの順序に従ってブロック単位による符号化を行う。画面間予測を行う際には、符号化対象画像(503)と同じ映像(501)に含まれる符号化済みの画像の復号画像を参照画像(502)とし、対象画像中の対象ブロック(504)と相関の高いブロック(予測ブロック)(505)を参照画像中から探索する。このとき、両ブロックの差分として計算される予測差分と、両ブロックの座標値の差分を動きベクトル(506)として符号化する。一方復号化の際には上記の逆の手順を行えばよく、復号化された予測差分を参照画像中の予測ブロック(505)に加えることにより、復号化画像を取得できる。以上のように、H.264/AVCでは、画面間予測処理を導入することにより、画面間相関が高い画像の符号量を大幅に削減することが可能になった。

図２は、H.264/AVCによる画面内予測符号化処理の動作について概念的に示したものである。H.264/AVCでは、符号化対象画像に対してラスタースキャンの順序に従って符号化を実行し(1201)、符号化対象ブロックの左、左上、上、右上に隣接する符号化済みのブロックの復号化画像を参照して予測を行う。特に、予測にはこれらのブロックに含まれる13個の画素を利用し(1202)、予測方向ベクトルを傾きとする同じ直線上の画素はすべて同じ画素から予測される。例えば(1203)に示すように、符号化対象ブロックの画素B、C、D、Eはすべて同じ画素を参照して予測符号化が行われ、画素Bの直上の画素を復号化した値A’との差分(予測差分)b、c、d、eが計算される。さらに、H.264/AVCでは縦、横、斜めなど、8種類の予測方向候補の中から最適なものをブロック単位で選択することができ、予測差分と予測方向の値が符号化される。なお、H.264/AVCでは、上記特定の方向に沿った予測の他に、参照画素の平均値によって符号化対象ブロックに含まれるすべての画素を予測する「DC予測」を利用することができる(1204)。以上のように、H.264/AVCでは、画面内予測処理を導入することにより、画面内相関が高い画像の符号量を大幅に削減することが可能になった。

しかし、複雑なテクスチャを持つ画像が複雑に動く場合などでは、画面間予測および画面内予測の効果をさらに改善し、少ない符号量で高画質な画像を得る方法を開発する必要がある。

本発明は、前記の課題に鑑みてなされたものであり、その目的は、少ない符号量で高画質に画像を符号化できる動画像符号化装置及び符号化方法、動画像復号化装置及び復号化方法を提供することにある。

上記目的を達成するために本発明は、入力された動画像を圧縮し、伝送符号化して出力する動画像符号化装置であって、前記入力された動画像の符号化対象領域と平滑化後の既符号化領域の差分である予測差分を求める減算部と、前記予測差分に対して符号化を行う周波数変換量子化処理部と、前記符号化された予測差分をその発生確率に応じた伝送符号とする可変長符号化部と、前記符号化された予測差分を復号する逆量子化逆周波数変換部と、前記入力された動画像を基に生成された前記圧縮に際して参照する既符号化領域の参照画像を格納する参照画像格納部と、前記復号化された予測差分と前記平滑化後の既符号化領域を加算して前記既符号化領域の参照画像を生成し前記参照画像格納部に与える参照画像生成部と、前記格納された参照画像を平滑化する平滑化処理部と、前記平滑化された参照画像を参照し、符号化対象領域と時空間的に近接する平滑化後の既符号化領域との間の動きベクトルに基づいて、前記減算部に与える平滑化後の既符号化領域を求める画面間予測部とを有したことを特徴としている。

本発明は、入力された動画像を圧縮し、伝送符号化して出力する動画像符号化方法であって、前記入力された動画像の符号化対象領域と平滑化後の既符号化領域の差分である予測差分を求める減算ステップと、前記予測差分に対して符号化を行う周波数変換量子化処理ステップと、前記符号化された予測差分をその発生確率に応じた伝送符号とする可変長符号化ステップと、前記符号化された予測差分を復号する逆量子化逆周波数変換ステップと、前記入力された動画像を基に生成された前記圧縮に際して参照する既符号化領域の参照画像を格納する参照画像格納ステップと、前記復号化された予測差分と前記平滑化後の既符号化領域を加算して前記既符号化領域の参照画像を生成し前記参照画像格納部に与える参照画像生成ステップと、前記格納された参照画像を平滑化する平滑化処理ステップと、前記平滑化された参照画像を参照し、符号化対象領域と時空間的に近接する平滑化後の既符号化領域との間の動きベクトルに基づいて、前記減算部に与える平滑化後の既符号化領域を求める画面間予測ステップとを有し、前記平滑化処理により前記予測差分の符号量を低減したことを特徴としている。

本発明は、発生確率に応じて可変長符号とされた動画像の予測差分が入力され、これを復号して復号化動画像を出力する動画像復号化装置であって、前記可変長符号を復号する可変長復号化部と、該可変長復号化部で復号された符号より予測差分を求める逆量子化逆周波数変換部と、前記予測差分と平滑化後の既復号化領域の和を求め、前記復号化動画像を出力する加算部と、前記復号化動画像を参照画像として格納する参照画像格納部と、前記格納された参照画像を平滑化する平滑化処理部と、前記平滑化された参照画像を参照し、復号化対象領域と時空間的に近接する平滑化後の既復号化領域との間の動きベクトルに基づいて、前記加算部に与える平滑化後の既復号化領域を求める画面間予測部とを有したことを特徴としている。

本発明は、発生確率に応じて可変長符号とされた動画像の予測差分が入力され、これを復号して復号化動画像を出力する動画像復号化方法であって、前記可変長符号を復号する可変長復号化ステップと、該可変長復号化部で復号された符号より予測差分を求める逆量子化逆周波数変換ステップと、前記予測差分と平滑化後の既復号化領域の和を求め、前記復号化動画像を出力する加算ステップと、前記復号化動画像を参照画像として格納する参照画像格納ステップと、前記格納された参照画像を平滑化する平滑化処理ステップと、前記平滑化された参照画像を参照し、復号化対象領域と時空間的に近接する平滑化後の既復号化領域との間の動きベクトルに基づいて、前記加算部に与える平滑化後の既復号化領域を求める画面間予測ステップとを有したことを特徴としている。

本発明は、入力された動画像を圧縮し、伝送符号化して出力する動画像符号化装置であって、前記入力された動画像の符号化対象領域と平滑化後の既符号化領域の差分である予測差分を求める減算部と、前記予測差分に対して符号化を行う周波数変換量子化処理部と、前記符号化された予測差分をその発生確率に応じた伝送符号とする可変長符号化部と、前記符号化された予測差分を復号する逆量子化逆周波数変換部と、前記入力された動画像を基に生成された前記圧縮に際して参照する既符号化領域の参照画像を格納する参照画像格納部と、前記復号化された予測差分と前記平滑化後の既符号化領域を加算して前記既符号化領域の参照画像を生成し前記参照画像格納部に与える参照画像生成部と、前記格納された参照画像を平滑化する平滑化処理部と、前記平滑化された参照画像を参照し、ブロック単位で画面内予測を行って符号化対象領域と平滑化後の既符号化領域の差分を求め、前記周波数変換量子化処理部に予測差分を与える画面内予測部とを有したことを特徴としている。

本発明は、入力された動画像を圧縮し、伝送符号化して出力する動画像符号化方法であって、前記入力された動画像の符号化対象領域と平滑化後の既符号化領域の差分である予測差分を求める減算ステップと、前記予測差分に対して符号化を行う周波数変換量子化処理ステップと、前記符号化された予測差分をその発生確率に応じた伝送符号とする可変長符号化ステップと、前記符号化された予測差分を復号する逆量子化逆周波数変換ステップと、前記入力された動画像を基に生成された前記圧縮に際して参照する既符号化領域の参照画像を格納する参照画像格納ステップと、前記復号化された予測差分と前記平滑化後の既符号化領域を加算して前記既符号化領域の参照画像を生成し前記参照画像格納部に与える参照画像生成ステップと、前記格納された参照画像を平滑化する平滑化処理ステップと、前記平滑化された参照画像を参照し、ブロック単位で画面内予測を行って符号化対象領域と平滑化後の既符号化領域の差分を求め、前記周波数変換量子化処理部に予測差分を与える画面内予測ステップとを有し、前記平滑化処理により前記予測差分の符号量を低減したことを特徴としている。

本発明は、発生確率に応じて可変長符号とされた動画像の予測差分が入力され、これを復号して復号化動画像を出力する動画像復号化装置であって、前記可変長符号を復号する可変長復号化部と、該可変長復号化部で復号された符号より予測差分を求める逆量子化逆周波数変換部と、前記予測差分と平滑化後の既復号化領域の和を求め、前記復号化動画像を出力する加算部と、前記復号化動画像を参照画像として格納する参照画像格納部と、前記格納された参照画像を平滑化する平滑化処理部と、前記平滑化された参照画像を参照し、ブロック単位で画面内予測を行い、前記加算部に与える平滑化後の既復号化領域を求める画面内予測部とを有したことを特徴としている。

本発明は、発生確率に応じて可変長符号とされた動画像の予測差分が入力され、これを復号して復号化動画像を出力する動画像復号化方法であって、前記可変長符号を復号する可変長復号化ステップと、該可変長復号化部で復号された符号より予測差分を求める逆量子化逆周波数変換ステップと、前記予測差分と平滑化後の既復号化領域の和を求め、前記復号化動画像を出力する加算ステップと、前記復号化動画像を参照画像として格納する参照画像格納ステップと、前記格納された参照画像を平滑化する平滑化処理ステップと、前記平滑化された参照画像を参照し、ブロック単位で画面内予測を行い、前記加算部に与える平滑化後の既復号化領域を求める画面内予測ステップとを有したことを特徴としている。

本発明によれば、少ない符号量で高画質に画像を符号化できる動画像符号化装置及び符号化方法、動画像復号化装置及び復号化方法を得ることができ、ユーザに良好な動画像を提供する動画像符号化装置及び符号化方法、動画像復号化装置及び復号化方法を実現できるという効果がある。

以下、本発明の実施例を、図面を参照して説明する。各図面において、同じの符号が付されている構成要素は同様の機能を有することとする。
また、簡単のため、従来方式としてH.264/AVCを例に挙げて以下説明するが、本発明はこれに限定されるわけではなく、他の画像符号化方式に対しても同様に広く利用することができる。

図３は、本発明による画面間予測方法の一例について概念的に示している。同図(a)において、対象画像(701)は、これから符号化しようとしている画像であり、一例として、被写体の女性が花壇に水をまいている様子を示している。H.264/AVCによる画面間予測処理では、同図(a)(b)(c)に示すように、対象画像(701)の中の対象ブロック(703)と相関の高い予測ブロック(704)を参照画像(702)の中から探索する。このとき、勢いよく噴出す水のように、複雑なテクスチャを持つ画像が複雑に動く場合には、おおまかな水の動きは一致しても、水滴の一つずつの動きは正確に一致しないため、対象ブロック(703)と予測ブロック(704)の間の相関が低くなり、予測差分が大きくなる。

そこで、本発明による画面間予測方法では、参照画像(702)に対して平滑化を行ったのちに、対象ブロック(703)と相関の高い予測ブロック(705)を探索する。このとき、対象ブロック(703)と平滑化後の予測ブロック(705)の間でおおまかな水の動きは一致しやすくなるため、平滑化しない予測ブロック(704)を用いたときよりも、対象ブロック(703)との相関が高くなる。

同図(e)は、平滑化方法の一例を示している。すなわち、参照画像(702)を構成する全画素に対して、同図(e)に示すような水平方向および垂直方向からなる2次元ローパスフィルタのタップ係数(706)を畳み込み演算することにより、平滑化を行う。この平滑化処理(畳み込み演算)は、一般的な技術を用いて実現可能なため、図示および詳細な説明は省略する。なお、同図(e)に示した平滑化方法は一例であり、本発明はこれに限定されるものではない。例えば、各タップ係数を変更したり、水平方向や垂直方向のタップ数を増やしたりすることによって、フィルタの通過特性や阻止特性を変更し、平滑化の度合いをより強くしたり、より弱くしたりしてもよい。また、水平方向のみ、あるいは垂直方向のみの1次元ローパスフィルタとしてもよい。また、水平方向、垂直方向のみならず、時間的に隣接する画面の画素を用いて時間軸方向にも畳み込み演算して、平滑化を行っても良い。また、画面の端の近傍の画素の処理ついては、一般のフィルタ処理でよく用いられるように、画素値=0の画素が画面の外側に向かって無限に連続しているものと仮定して処理してもよいし、画面端の画素値が画面の外側に向かって無限に連続しているものと仮定して処理してもよいし、画面端を対称軸として左右対象あるいは上下対象に画面内の画素が画面外にも無限に連続しているものと仮定して処理してもよい。また、同図(a)に示す参照画面(702)の全体を平滑化するのではなく、同図(c)に示す予測ブロック(704)に対して平滑化を行って同図(d)に示す平滑化後の予測ブロック(705)を生成してもよい。このときのブロックの端の近傍の画素の処理についても、上述した画面の端の近傍の画素の処理と同様にしてもよい。また、予測ブロック(704)に対して平滑化を行う際に、参照画像(702)の中の予測ブロック(704)の外側の画素を用いて処理してもよく、この場合は参照画像(702)の全体を平滑化したのと同じ結果になる。なお、上述した平滑化方法は、実施例２以降でも同様であるため、実施例２以降ではこれらの説明を省略する。

図４は、本実施例における動画像符号化装置の一例を示したものである。動画像符号化装置は、入力された原画像(101)を保持する入力画像メモリ(102)と、入力画像を小領域に分割するブロック分割部(103)と、ブロック単位で画面内予測を行う画面内予測部(105)と、動き探索部(104)にて検出された動き量を基にブロック単位で画面間予測を行う画面間予測部(106)と、画像の性質に合った予測符号化手段(予測方法およびブロックサイズ)を決定するモード選択部(107)と、予測差分を生成するための減算部(108)と、予測差分に対して符号化を行う周波数変換部(109)および量子化処理部(110)と、量子化処理後の予測差分およびモード選択部(107)で選択したモード情報(116)を記号の発生確率に応じた符号化を行うための可変長符号化部(111)と、一度符号化した予測差分を復号化するための逆量子化処理部(112)および逆周波数変換部(113)と、復号化された予測差分を用いて復号化画像を生成するための加算部(114)と、復号化画像を保持して後の予測に活用するための参照画像メモリ(115)を有する。

入力画像メモリ(102)は原画像(101)の中から一枚の画像を符号化対象画像として保持し、これをブロック分割部(103)にて細かなブロックに分割し、動き探索部(104)、画面内予測部(105)、および画面間予測部(106)に渡す。動き探索部(104)では、参照画像メモリ(115)に格納されている復号化済み画像を用いて該当ブロックの動き量を計算し、動きベクトルを画面間予測部(106)に渡す。画面内予測部(105)および画面間予測部(106)では画面内予測処理および画面間予測処理をいくつかの大きさのブロック単位で実行し、モード選択部(107)にてどちらか最適な予測方法を選ぶ。続いて減算部(108)では最適な予測符号化手段による予測差分を生成し、周波数変換部(109)に渡す。周波数変換部(109)および量子化処理部(110)では、送られてきた予測差分に対して指定された大きさのブロック単位でそれぞれDCT(Discrete Cosine Transformation：離散コサイン変換)などの周波数変換および量子化処理を行い、可変長符号化処理部(111)および逆量子化処理部(112)に渡す。さらに可変長符号化処理部(111)では、周波数変換係数によって表される予測差分情報と、例えば画面内予測を行う際に利用した予測方向や画面間予測を行う際に利用した動きベクトルなど、復号化に必要な情報を、記号の発生確率に基づいて可変長符号化を行って符号化ストリームを生成する。また、逆量子化処理部(112)および逆周波数変換部(113)では、量子化後の周波数変換係数に対して、それぞれ逆量子化およびIDCT(Inverse DCT：逆DCT)などの逆周波数変換を施し、予測差分を取得して加算部(114)に送る。続いて加算部(114)により復号化画像を生成して参照画像メモリ(115)に格納する。

図５は画面間予測部(106)の詳細について、その一例を示したものである。画面間予測部は、既符号化領域の動きベクトルを記憶するための動きベクトル記憶メモリ(201)と、既符号化領域の動きベクトルを利用して予測ベクトルを算出する予測ベクトル算出部(202)と、動きベクトルと予測ベクトルの差を計算して差分ベクトルを算出する減算器(203)と、予測画像を生成する予測画像生成部(204)を有する。

予測ベクトル算出部(202)は動きベクトル記憶メモリ(201)に記憶されている既符号化領域の動きベクトルに基づいて対象ブロックの予測ベクトルを算出し、減算部(203)では、動き探索部(104)で算出された動きベクトルと予測ベクトルの差分を計算して差分ベクトル(205)を算出する。予測画像生成部(204)では動きベクトルと参照画像から予測画像(206)を生成する。そして、動きベクトルを動きベクトル記憶メモリ(201)に記憶する。

図６は本実施例による動画像復号化装置の一例を示したものである。動画像復号化装置は、例えば図４に示す動画像符号化装置によって生成された符号化ストリーム(301)に対して可変長符号化の逆の手順を踏む可変長復号化部(302)と、予測差分を復号化するための逆量子化処理部(303)および逆周波数変換部(304)と、画面間予測を行う画面間予測部(305)と、画面内予測を行う画面内予測部(306)と、復号化画像を取得するための加算部(307)と、復号化画像を一時的に記憶しておくための参照画像メモリ(308)を有する。

可変長復号化部(302)では、符号化ストリーム(301)を可変長復号化し、予測差分の周波数変換係数成分と、ブロックサイズや動きベクトルなど予測処理に必要な情報を取得する。前者の予測差分情報に対しては逆量子化処理部(303)に、後者の予測処理に必要な情報に対しては、画面間予測部(305)、または画面内予測部(306)に送られる。続いて、逆量子化処理部(303)および逆周波数変換部(304)では、予測差分情報に対してそれぞれ逆量子化と逆周波数変換を施して復号化を行う。続いて画面間予測部(305)または画面内予測部(306)では、可変長復号化部(302)から送られてきた情報を基に参照画像メモリ(308)を参照して予測処理を実行し、加算部(307)にて復号化画像を生成するとともに、復号化画像を参照画像メモリ(308)に格納する。

図７は画面間予測部(305)の詳細について、その一例を示したものである。画面間予測部(305)は、既復号化領域の動きベクトルを記憶するための動きベクトル記憶メモリ(401)と、既復号化領域の動きベクトルを利用して予測ベクトルを算出する予測ベクトル算出部(402)と、差分ベクトルと予測ベクトルの和を計算して動きベクトルを算出する加算器(403)と、予測画像を生成する予測画像生成部(404)を有する。

予測ベクトル算出部(402)は動きベクトル記憶メモリ(401)に記憶されている既復号化領域の動きベクトルに基づいて対象ブロックの予測ベクトルを算出し、加算部(403)では、可変長復号化部にて復号化された差分ベクトルと予測ベクトルの和を計算して動きベクトルを復号化する。そして、復号化された動きベクトルを動きベクトル記憶メモリ(401)に記憶する一方で、予測画像生成部(404)では動きベクトルと参照画像から予測画像(405)を生成する。

図４〜図７に示す動画像符号化装置、動画像復号化装置の構成は実施例2以降でも同様であるため、実施例2以降ではこれらの説明を省略する。

図８は、上述した図４に示した動画像符号化装置の構成をベースに、図３に概念的に示した参照画像の平滑化処理部を追加したものである。同図において、点線で囲った部分(601)が追加部分であり、その他は図４に示した構成と同様のため説明は省略する。以下、点線で囲った部分(601)について説明する。

同図において、平滑化処理部(602)によって、参照画像メモリ(115)に格納されている復号化済み画像を平滑化して、動き探索部(603)と画面間予測部(604)に渡す。動き探索部(603)では、平滑化処理後の復号化済み画像と、ブロック分割部(103)からの対象画像を用いて該当ブロックの動き量を計算し、動きベクトルを画面間予測部(604)に渡す。画面間予測部(604)では画面間予測処理をいくつかの大きさのブロック単位で実行したのち、モード選択部(107)にて画面内予測部(105)および画面間予測部(106)の結果も含めて最適な予測方法を選ぶ。このとき、平滑化処理を行ったかどうかを示す情報をモード情報(116)に含めて、モード選択部から可変長符号化部(111)に渡して符号化する。なお、動き探索部(603)の動作および構成は動き探索部(104)と同様で良く、画面間予測部(604)の動作および構成は画面間予測部(106)と同様で良い。

図９は、本実施例における動画像復号化装置の一例を示したものであり、上述した図６に示した動画像復号化装置の構成をベースに、参照画像の平滑化処理部を追加したものである。同図において、点線で囲った部分(801)が追加部分であり、その他は図６に示した構成と同様のため説明は省略する。以下、点線で囲った部分(801)について説明する。

同図において、平滑化処理部(803)によって、参照画像メモリ(308)に格納されている復号化済み画像(参照画像)を平滑化して、画面間予測部(802)に渡す。画面間予測部(802)では、可変長復号化部(302)から送られてきた情報を基に平滑化処理後の参照画像を参照して予測処理を実行し、可変長復号化したモード情報(309)に基づいて、画面間予測部(802)、画面間予測部(305)、画面内予測部(306)の各結果のうち一つを選択し、加算部(307)にて復号化画像を生成するとともに、復号化画像を参照画像メモリ(308)に格納する。なお、平滑化処理部(803)の特性は、図８に示した動画像符号化装置における平滑化処理部(602)の特性と同様で良い。また、画面間予測部(802)の動作および構成は画面間予測部(305)と同様で良い。このように、モード情報(309)に基づいて、符号化時と復号化時の平滑化処理の有無を一致させれば、符号化ストリームを正しく復号して復号化画像を得ることができる。

図１０は、本実施例における1フレームの符号化処理手順について示している。まず、符号化対象となるフレーム内に存在するすべてのブロックに対して(2001)、以下の処理を行う。すなわち、該当ブロックに対して一度すべての符号化モード(予測方法とブロックサイズの組み合わせ)に対して(2002)、予測を実行する。ここでは、予測の方法に応じて(2003)、画面内予測(2004)、または画面間予測に関わる処理(2005)を行い、予測差分の計算を行う。画面間予測に関わる処理(2005)では、一般的な画面間予測処理(2006)によって予測差分の計算を行うとともに、予測画像に対して平滑化処理(2007)を行ったのちに画面間予測処理(2008)によって予測差分の計算を行う。なお、画面間予測処理(2006)(2008)は、処理に用いる予測画像は異なるが、処理内容は同様で良い。さらに、画面間予測を行う際には、予測差分の他に、動きベクトルと、平滑化処理の有無を示すモード情報を可変長符号化する。続いて、予測差分に対して周波数変換処理(2009)、量子化処理(2010)、および可変長符号化処理(2011)を行い、各符号化モードの画質歪（入力画像と復号画像の画素毎の差をいう）と符号量を計算する。以上の処理をすべての符号化モードに対して終了すれば、以上の結果に基づいて最も符号化効率の良いモードを選択する(2012)。なお、多数の符号化モードの中から最も符号化効率の高いものを選択する際には、例えば画質歪と符号量の関係から最適な符号化モードを決定するRD-Optimization方式を利用することによって、効率良く符号化できる。RD-Optimization方式の詳細については〔参考文献１〕に詳しい。

〔参考文献１〕G. Sullivan and T.Wiegand : “Rate-Distortion Optimization for Video Compression”, IEEE Signal Processing Magazine, vol.15, no.6, pp.74-90, 1998.
続いて、選択された符号化モードに対して、量子化済みの周波数変換係数に逆量子化処理(2013)と逆周波数変換処理(2014)を施して予測差分を復号化し、復号化画像を生成して参照画像メモリに格納する(2015)。以上の処理をすべてのブロックに対して完了すれば、画像1フレーム分の符号化は終了する(2016)。

図１１は、本実施例における1フレームの復号化処理手順について示している。まず、1フレーム内のすべてのブロックに対して、以下の処理を行う(2101)。すなわち、入力ストリームに対して可変長復号化処理を施し(2102)、逆量子化処理(2103)および逆周波数変換処理(2104)を施して予測差分を復号化する。続いて、予測の方法に応じて(2105)、画面内予測処理(2106)および画面間予測に関わる処理(2107)を行う。なお、画面間予測を行う際には予測に先駆けて動きベクトルとモード情報の復号化を行う必要がある。画面間予測に関わる処理(2107)では、モード情報に応じて(2108)、符号化時に平滑化処理を行っていない場合には一般的な画面間予測処理(2109)を行い、符号化時に平滑化処理を行った場合には予測画像に対して符号化時と同様の平滑化処理(2110)を行ったのちに画面間予測処理(2111)を行う。このとき、画面間予測処理(2109)は図１０に示した符号化処理における画面間予測処理(2006)と同様の内容で良く、画面間予測処理(2111)は図１０に示した符号化処理における画面間予測処理(2008)と同様の処理内容とする。以上の処理をフレーム中のすべてのブロックに対して完了すれば、画像1フレーム分の復号化が終了する(2112)。

本実施例では、予測ベクトルの算出をブロック単位で行っているが、それ以外にも例えば画像の背景から分離したオブジェクト単位で算出しても良い。また、周波数変換の一例としてDCTを挙げているが、DST(Discrete Sine Transformation：離散サイン変換)、WT(Wavelet Transformation：ウェーブレット変換)、DFT(Discrete Fourier Transformation：離散フーリエ変換)、KLT(Karhunen-Loeve Transformation：カルーネン-レーブ変換)など、画素間相関除去に利用する直交変換ならどんなものでも構わないし、特に周波数変換を施さずに予測差分そのものに対して符号化を行っても構わない。さらに、可変長符号化も特に行わなくて良い。

以上説明した実施例１に係る動画像符号化装置及び符号化方法、動画像復号化装置及び復号化方法は、対象画像と参照画像の間で、画像のテクスチャの詳細は一致しないが、おおまかに一致する場合に対しても、好適な画面間予測が実現できるという効果を有する。

上述した実施例１では、予測ブロックに対する平滑化処理を一つしか設けていなかったため、画像のテクスチャの精細さの度合い(すなわち、画像に含まれる高精細成分の周波数と振幅)によっては、画面間予測を行う際の対象ブロックと平滑化処理後の予測ブロックの間の相関が高くならず、符号化効率が向上しない場合もある。そこで、本発明の実施例２では、符号化装置と復号化装置のそれぞれに特性の異なる複数の平滑化処理を設け、最も符号化効率が高くなる平滑化処理を符号化時に選択することにより、符号化効率を向上することを狙いとしている。

図１２は、本実施例における動画像符号化装置の一例を示したものである。同図は、上述した図８に示した動画像符号化装置の構成をベースに、参照画像に対して複数の平滑化処理部を追加したものである。同図において、点線で囲った部分(901)が追加部分であり、その他は図８に示した構成と同様のため説明は省略する。以下、点線で囲った部分(901)について説明する。

同図において、平滑化処理部(902)によって、参照画像メモリ(115)に格納されている復号化済み画像を平滑化して、動き探索部(903)と画面間予測部(904)に渡す。動き探索部(903)では、平滑化処理後の復号化済み画像と、ブロック分割部(103)からの対象画像を用いて該当ブロックの動き量を計算し、動きベクトルを画面間予測部(904)に渡す。画面間予測部(904)では画面間予測処理をいくつかの大きさのブロック単位で実行したのち、モード選択部(107)にて画面内予測部(105)、画面間予測部(106)および画面間予測部(604)の結果も含めて最適な予測方法を選ぶ。このとき、どの平滑化処理を行ったかどうかを示す情報をモード情報(116)に含めて、モード選択部から可変長符号化部(111)に渡して符号化する。ここで、平滑化処理部(902)と平滑化処理部(602)を異なる特性にして、最も符号化効率が高くなる平滑化処理を符号化時に選択することにより、符号化効率が向上する。このとき例えば、平滑化処理部(902)と平滑化処理部(602)の間で、各タップ係数を変更したり、水平方向や垂直方向のタップ数を増やしたりすることによって、フィルタの通過特性や阻止特性を変更し、平滑化の度合いをより強くしたり、より弱くしたりしてもよい。また、水平方向のみ、あるいは垂直方向のみの1次元ローパスフィルタとしてもよい。なお、動き探索部(903)の動作および構成は動き探索部(104)および(603)と同様で良く、画面間予測部(904)の動作および構成は画面間予測部(106)および(604)と同様で良い。

図１３は、本実施例における動画像復号化装置の一例を示したものであり、上述した図９に示した動画像復号化装置の構成をベースに、複数の平滑化処理部を追加したものである。同図において、点線で囲った部分(1001)が追加部分であり、その他は図９に示した構成と同様のため説明は省略する。以下、点線で囲った部分(1001)について説明する。

同図において、平滑化処理部(1003)によって、参照画像メモリ(308)に格納されている復号化済み画像(参照画像)を平滑化して、画面間予測部(1002)に渡す。画面間予測部(1002)では、可変長復号化部(302)から送られてきた情報を基に平滑化処理後の参照画像を参照して予測処理を実行し、モード情報(309)に基づいて、画面間予測部(1002)、画面間予測部(802)、画面間予測部(305)、画面内予測部(306)の各結果のうち一つを選択し、加算部(307)にて復号化画像を生成するとともに、復号化画像を参照画像メモリ(308)に格納する。なお、平滑化処理部(1003)の特性は、図１２に示した動画像符号化装置における平滑化処理部(902)の特性と同様で良い。また、画面間予測部(1002)の動作および構成は画面間予測部(305)と同様で良い。このように、モード情報(309)に基づいて、符号化時と復号化時の平滑化処理の有無を一致させれば、符号化ストリームを正しく復号して復号化画像を得ることができる。

なお、上記では、動画像符号化装置および動画像復号化装置における平滑化処理部の各個数を2個として説明を行ったが、本発明はこれに限定されるわけではなく、3個以上の平滑化処理部を設け、その中から最適な予測方法を選ぶ構成にしてもよいことは明らかである。

また、本実施例における動画像復号化装置も、図９に示した第１の実施例における動画像復号化装置と同様に平滑化処理部を一つのみとし、図１２に示した動画像符号化装置における平滑化処理部(602)あるいは(902)の特性と同様になるように、モード情報(309)に基づいて、予測ブロックごとに平滑化処理部(803)の特性を変更するように構成してもよい。
図１４は、本実施例における1フレームの符号化処理手順について示している。同図に示す手順は、図１０に示した符号化処理手順をベースに、点線で囲んだ画面間予測に関わる処理(2005)の内容を画面間予測に関わる処理(2201)に変更したものである。その他は図１０に示した各手順と同様のため説明は省略する。以下、画面間予測に関わる処理(2201)について説明する。

画面間予測に関わる処理(2201)では、一般的な画面間予測処理(2006)によって予測差分の計算と、予測画像に対して第1の平滑化処理(2007)を行ったのちに画面間予測処理(2008)によって予測差分の計算を行うとともに、予測画像に対して第2の平滑化処理(2202)を行ったのちに画面間予測処理(2203)によって予測差分の計算を行う。なお、画面予測処理(2006)(2008)(2203)は、処理に用いる予測画像は異なるが、処理内容は同様で良い。さらに、画面間予測を行う際には、予測差分の他に、動きベクトルと、平滑化処理の有無、および平滑化処理を行った場合はどの平滑化処理を行ったかを示すモード情報を可変長符号化する。

図１５は、本実施例における1フレームの復号化処理手順について示している。同図に示す手順は、図１１に示した符号化処理手順をベースに、点線で囲んだ画面間予測に関わる処理(2301)の内容を変更したものである。その他は図１１に示した各手順と同様のため説明は省略する。以下、画面間予測に関わる処理(2301)について説明する。

画面間予測に関わる処理(2301)では、復号化したモード情報に応じて(2108)、符号化時に平滑化処理を行っていない場合には一般的な画面間予測処理(2109)を行う。符号化時に平滑化処理を行った場合には、さらにモード情報に応じて(2302)、予測画像に対して符号化時と同様の平滑化処理、すなわち第1の平滑化処理(2110)または第2の平滑化処理(2303)を選択して行ったのちに、それぞれ画面間予測処理(2111)または画面間予測処理(2304)を行う。このとき、画面間予測処理(2304)は図１４に示した符号化処理における画面間予測処理(2203)と同様の処理内容で良い。

なお、上記では、符号化手順および復号化手順における平滑化処理手順の各個数を2個として説明を行ったが、本発明はこれに限定されるわけではなく、3個以上の平滑化処理手順を設け、その中から最適な予測方法を選ぶ構成にしてもよいことは明らかである。

また、本実施例における復号化手順も、図１１に示した第１の実施例における復号化手順と同様に平滑化処理手順を一つのみとし、図１４に示した符号化手順における平滑化処理手順(2007)あるいは(2202)の特性と同様になるように、モード情報に基づいて、予測ブロックごとに平滑化処理手順(2110)の特性を変更する処理手順としてもよい。

以上説明した実施例２に係る動画像符号化装置及び符号化方法、動画像復号化装置及び復号化方法は、画像のテクスチャの精細さの度合い(すなわち、画像に含まれる高精細成分の周波数と振幅)に関わらず、画面間予測を行う際の対象ブロックと平滑化処理後の予測ブロックの間の相関を高くすることができ、好適な画面間予測が実現できるという効果を有する。

上述した実施例1では、予測画像の平滑化処理の有無を示すモード情報を符号化し、復号化時にこのモード情報を用いて予測画像の平滑化処理を行うか否かを判定する必要があるため、モード情報が増加した分だけ符号化効率が低下する場合もある。そこで、本発明の実施例３では、予測画像の平滑化処理の有無を示すモード情報を符号化せず、復号化時にもモード情報を用いないで予測画像の平滑化処理を行うか否かを判定することにより、符号化効率を向上することを狙いとしている。

本実施例における動画像符号化装置の構成として、実施例１に係る図８に示した動画像符号化装置の構成をそのまま用いることができるため、図示および説明は省略する。ただし、本実施例では図８における相当するモード情報には、予測画像の平滑化処理の有無を示す情報を含めない。

図１６は、本実施例における動画像復号化装置の一例を示したものであり、上述した図６に示した動画像復号化装置の構成をベースに、参照画像の平滑化処理部とモード選択部を追加したものである。同図において、点線で囲った部分(1101)が追加部分であり、その他は図６に示した構成と同様のため説明は省略する。以下、点線で囲った部分(1101)について説明する。

同図において、平滑化処理部(803)によって、参照画像メモリ(308)に格納されている復号化済み画像(参照画像)を平滑化して、画面間予測部(802)に渡す。画面間予測部(802)では、可変長復号化部(302)から送られてきた情報を基に平滑化処理後の参照画像を参照して予測処理を実行する。モード選択部(1102)では、後述する選択方法に基づいて、画面間予測部(802)、画面間予測部(305)の各結果のどちらかを選択する。その後、可変長復号化したモード情報(309)に基づいて、画面間予測部(802)(305)のどちらかの結果と画面内予測部(306)の結果のうち一つを選択し、加算部(307)にて復号化画像を生成するとともに、復号化画像を参照画像メモリ(308)に格納する。

ここで、既に符号化済みの領域については、図１６に示した動画像復号化装置における画面間予測部(305)と画面間予測部(802)の各結果が、図８に示した動画像符号化装置におけるモード選択部(107)における画面間予測部(106)と画面間予測部(604)の各結果とそれぞれ同様になる。これを利用し、モード選択部(1102)における選択方法として、図８に示した動画像符号化装置におけるモード選択部(107)における画面間予測部(106)と画面間予測部(604)の選択方法と同様の選択方法を用いるようにすれば、符号化時と復号化時の平滑化処理の有無を一致させることができ、モード情報を追加せずに符号化ストリームを正しく復号して復号化画像を得ることができる。

図１７は、本実施例における1フレームの復号化処理手順について示している。同図に示す手順は、図１１に示した符号化処理手順における画面間予測に関わる処理(2107)を処理(2401)に変更したものである。その他は図１１に示した各手順と同様のため説明は省略する。以下、変更後の画面間予測に関わる処理(2401)について説明する。

画面間予測に関わる処理(2401)では、まず、参照画像の平滑化処理を行った場合と行わない場合のそれぞれについて、予測一致度推定処理(2402)を行う。このとき例えば、図１８に示すように、符号化済み領域(2501)に属する領域として、対象ブロック(2504)の周辺領域(A)(2505)を利用する。すなわち、復号化した動きベクトル(2506)に基づいて対象ブロック(2504)と対応する予測ブロック(2507)を求めておき、その周辺領域(B)(2508)と周辺領域(A)(2505)の画素間の絶対値差分総和(SAD: Sum of Absolute Difference)をとり、その値をSAD(A, B)とする。同様に、復号化した動きベクトル(2509)(動きベクトル(2506)と同じ)に基づいて対象ブロック(2504)と対応する予測ブロック(2510)を求めておき、その周辺領域(C)(2511)と周辺領域(A)(2505)の画素間の絶対値差分総和(SAD)をとり、その値をSAD(A, C)とする。判断方法の一例(2512)に示したように、SAD(A, B)とSAD(A, C)の値を比較し、絶対値差分総和が小さくなるように、平滑化を行うか行わないかを判断(2403)すればよい。この判断結果に基づき、画面間予測処理(2403)を行うか、参照画像の平滑化処理(2404)を行ったのちに画面間予測処理(2405)を行う。なお、予測一致度推定処理(2402)の内容は絶対値差分総和に限定されるわけではなく、対象ブロックと予測ブロックの画素間の2乗差分総和(SSD: Sum of Squared Difference)や分散値、H.264/AVCで用いられているアクティビティ値などを用いてもよい。また、対象ブロックの中に小さい物体のランダムな動きや非剛体領域を含む場合は、一般に画面間予測の精度が低くなることが多いため、参照画像の平滑化処理を行うように判断(2403)してもよい。復号化手順における予測一致度推定処理(2402)および平滑化を行うかどうかの判断(2403)を、符号化手順における予測一致度推定処理および平滑化を行うかどうかの判断と一致させることにより、モード情報を用いなくても、符号化時と復号化時の平滑化処理の有無を一致させることができる。

なお、本実施例は、実施例２に係る画面間予測装置のように、複数の平滑化処理を備える場合にも適用することができる。この場合、すべての平滑化後の参照画像に対して、図１８に示したSAD値を求めておき、SAD値が最小となる参照画像を用いて画面間予測するように判断すれば、符号化時と復号化時の平滑化処理の有無、およびどの平滑化処理を選択したかを一致させることができる。

以上説明した実施例３に係る動画像符号化装置及び符号化方法、動画像復号化装置及び復号化方法は、予測画像の平滑化処理の有無を示すモード情報を符号化する必要がなくなり、符号化効率低下を生じることなく、好適な画面間予測が実現できるという効果を有する。

以上の実施例では、参照画像の平滑化処理を画面間予測に適用する場合について説明した。一方、本発明の実施例４では、参照画像の平滑化処理を画面内予測に適用し、符号化効率を向上する。

上述したように、H.264/AVCでは、図２に示す画面内予測符号化処理が用いられている。このとき、符号化対象画像に対してラスタースキャンの順序に従って符号化を実行し(1201)、符号化対象ブロックの左、左上、上、右上に隣接する符号化済みのブロックの復号化画像(参照画像)を参照して予測を行い、縦、横、斜めなど、8種類の予測方向候補の中から最適なものをブロック単位で選択することができ、予測差分と予測方向の値が符号化される。また、上記特定の方向に沿った予測の他に、参照画素の平均値によって符号化対象ブロックに含まれるすべての画素を予測する「DC予測」を利用することができる(1204)。

本実施例では、上述した参照画像に対して平滑化処理を行うモードを備え、平滑化処理を行わない従来のモードと比較して、最も符号化効率の良いモードを選択する。なお、平滑化処理後の参照画像から参照画素の平均値を求めることにより、DC予測にも同様に適用できる。

図１９は、本実施例における動画像符号化装置の一例を示したものである。同図は、上述した図４に示した動画像符号化装置の構成をベースに、画面内予測における参照画像に対する平滑化処理部を追加したものである。同図において、点線で囲った部分(1301)が追加部分であり、その他は図４に示した構成と同様のため説明は省略する。以下、点線で囲った部分(1301)について説明する。

同図において、平滑化処理部(1302)によって、参照画像メモリ(115)に格納されている復号化済み画像を平滑化して、画面内予測部(1303)に渡す。画面内予測部(1303)では、画面内予測部(105)と同様の画面内予測処理を実行したのち、モード選択部(107)にて画面内予測部(105)および画面間予測部(106)の結果も含めて最適な予測方法を選ぶ。このとき、平滑化処理を行ったかどうかを示す情報をモード情報(116)に含めて、モード選択部から可変長符号化部(111)に渡して符号化する。

図２０は、本実施例における動画像復号化装置の一例を示したものであり、上述した図６に示した動画像復号化装置の構成をベースに、画面内予測における参照画像の平滑化処理部を追加したものである。同図において、点線で囲った部分(1401)が追加部分であり、その他は図６に示した構成と同様のため説明は省略する。以下、点線で囲った部分(1401)について説明する。

同図において、平滑化処理部(1403)によって、参照画像メモリ(308)に格納されている復号化済み画像(参照画像)を平滑化して、画面内予測部(1402)に渡す。画面内予測部(1402)では、可変長復号化部(302)から送られてきた情報を基に平滑化処理後の参照画像を参照して予測処理を実行し、可変長復号化したモード情報(309)に基づいて、画面内予測部(1402)、画面間予測部(305)、画面内予測部(306)の各結果のうち一つを選択し、加算部(307)にて復号化画像を生成するとともに、復号化画像を参照画像メモリ(308)に格納する。なお、平滑化処理部(1403)の特性は、図１９に示した動画像符号化装置における平滑化処理部(1302)の特性と同様で良い。また、画面内予測部(1402)の動作および構成は画面内予測部(1303)と同様で良い。このように、モード情報(309)に基づいて、符号化時と復号化時の平滑化処理の有無を一致させれば、符号化ストリームを正しく復号して復号化画像を得ることができる。

図２１は、本実施例における1フレームの符号化処理手順について示している。まず、符号化対象となるフレーム内に存在するすべてのブロックに対して(2601)、以下の処理を行う。すなわち、該当ブロックに対して一度すべての符号化モード(予測方法とブロックサイズの組み合わせ)に対して(2602)、予測を実行する。ここでは、予測の方法に応じて(2603)、画面間予測(2604)、または画面内予測に関わる処理(2605)を行い、予測差分の計算を行う。画面内予測に関わる処理(2605)では、一般的な画面内予測処理(2606)によって予測差分の計算を行うとともに、予測画像に対して平滑化処理(2607)を行ったのちに画面内予測処理(2608)によって予測差分の計算を行う。なお、画面内予測処理(2606)(2608)は、処理に用いる予測画像は異なるが、処理内容は同様で良い。さらに、画面内予測を行う際には、予測差分の他に、平滑化処理の有無を示すモード情報を可変長符号化する。続いて、予測差分に対して周波数変換処理(2609)、量子化処理(2610)、および可変長符号化処理(2611)を行い、各符号化モードの画質歪と符号量を計算する。以上の処理をすべての符号化モードに対して終了すれば、以上の結果に基づいて最も符号化効率の良いモードを選択する(2612)。続いて、選択された符号化モードに対して、量子化済みの周波数変換係数に逆量子化処理(2613)と逆周波数変換処理(2614)を施して予測差分を復号化し、復号化画像を生成して参照画像メモリに格納する(2615)。以上の処理をすべてのブロックに対して完了すれば、画像1フレーム分の符号化は終了する(2616)。なお、同図における画面間予測処理(2604)として、図１０に示した画面間予測に関わる処理(2005)や、図１４に示した画面間予測に関わる処理(2201)や、図１７に示した画面間予測に関わる処理(2401)を用いてもよい。

図２２は、本実施例における1フレームの復号化処理手順について示している。まず、1フレーム内のすべてのブロックに対して、以下の処理を行う(2701)。すなわち、入力ストリームに対して可変長復号化処理を施し(2702)、逆量子化処理(2703)および逆周波数変換処理(2704)を施して予測差分を復号化する。続いて、予測の方法に応じて(2705)、画面間予測処理(2706)および画面内予測に関わる処理(2707)を行う。なお、画面内予測を行う際には予測に先駆けてモード情報の復号化を行う必要がある。画面内予測に関わる処理(2707)では、モード情報に応じて(2708)、符号化時に平滑化処理を行っていない場合には一般的な画面内予測処理(2709)を行い、符号化時に平滑化処理を行った場合には予測画像に対して符号化時と同様の平滑化処理(2710)を行ったのちに画面内予測処理(2711)を行う。このとき、画面内予測処理(2709)は図２１に示した符号化処理における画面内予測処理(2606)と同様の内容であり、画面内予測処理(2711)は図２１に示した符号化処理における画面内予測処理(2608)と同様の処理内容とする。以上の処理をフレーム中のすべてのブロックに対して完了すれば、画像1フレーム分の復号化が終了する(2712)。なお、同図における画面間予測処理(2706)として、図１１に示した画面間予測に関わる処理(2107)や、図１５に示した画面間予測に関わる処理(2301)や、図１７示した画面間予測に関わる処理(2401)を用いてもよい。

以上説明した実施例４に係る動画像符号化装置及び符号化方法、動画像復号化装置及び復号化方法は、対象画像と参照画像の間で、画像のテクスチャの詳細は一致しないが、おおまかに一致する場合に対しても、好適な画面内予測が実現できるという効果を有する。

上述した実施例４では、画面内予測において、符号化対象ブロックの左、左上、上、右上に隣接する符号化済みのブロックの復号化画像(参照画像)を参照する場合に、参照画像の平滑化処理を適用する装置および方法について説明した。一方、本発明の実施例５では、参照画像を符号化対象ブロックに隣接する符号化済みのブロックのみに限定せず、符号化対象画面内のすべての符号化済みのブロックの復号化画像(参照画像)を参照する場合に、参照画像の平滑化処理を適用することによって、符号化効率を向上する。

符号化対象画面内のすべての符号化済みのブロックの復号化画像(参照画像)を参照する技術として、テクスチャマッチング処理が提案されている。

図２３は、テクスチャマッチング処理の動作について概念的に示したものである。同図において、対象画像(1501)の符号化済み領域(1503)の中で、対象ブロック(1502)と最も相関が高いブロック、すなわち最もテクスチャが近いブロックを探索して予測ブロック(1504)とする処理である。このとき、対象ブロック(1502)と予測ブロック(1504)の位置情報(ベクトル)をテクスチャマッチング結果(1505)とし、予測差分とともに符号化する。テクスチャマッチング処理の詳細については〔参考文献２〕を参照のこと。

〔参考文献２〕S. L. Yu and C. Chrysafis, “New intra prediction using intra-macroblock motion compensation,” JVT-C151, Joint Video Team (JVT) of ISO/lEC MPEG & ITU-T VCEG Meeting, May 2002.
本実施例では、上述したテクスチャマッチング処理を行う際に、参照画像に対して平滑化処理を行うモードを備え、平滑化処理を行わない従来のモードと比較して、最も符号化効率の良いモードを選択する。

図２４は、本実施例における動画像符号化装置の一例を示したものである。同図は、上述した図４に示した動画像符号化装置の構成をベースに、画面内予測における参照画像に対する平滑化処理部を追加したものである。同図において、点線で囲った部分(1601)が追加部分であり、その他は図４に示した構成と同様のため説明は省略する。以下、点線で囲った部分(1601)について説明する。

同図において、平滑化処理部(1302)によって、参照画像メモリ(115)に格納されている復号化済み画像を平滑化して、テクスチャマッチング部(1602)と画面内予測部(1303)に渡す。テクスチャマッチング部(1602)では、平滑化処理後の復号化済み画像と、ブロック分割部(103)からの対象画像を用いて最もテクスチャが近いブロックを探索し、テクスチャマッチング結果(ベクトル)を画面内予測部(1303)に渡す。画面内予測部(1303)では、画面内予測部(105)と同様の画面内予測処理を実行したのち、モード選択部(107)にて画面内予測部(105)および画面間予測部(106)の結果も含めて最適な予測方法を選ぶ。このとき、平滑化処理を行ったかどうかを示す情報と、平滑化処理を行った場合にはテクスチャマッチング結果(ベクトル)をモード情報(116)に含めて、モード選択部から可変長符号化部(111)に渡して符号化する。

本実施例における動画像復号化装置の構成として、実施例４に係る図２０に示した動画像符号化装置の構成をそのまま用いることができるため、図示および説明は省略する。ただし、図２０において、参照画像メモリ(308)から平滑化処理部(1403)に渡す予測ブロックの位置は、可変長復号化したモード情報(309)に含まれるテクスチャマッチング結果(ベクトル)に基づいて決定する。

図２５は、本実施例における1フレームの符号化処理手順について示している。同図に示す手順は、図２１に示した符号化処理手順をベースに、点線で囲んだ画面内予測に関わる処理(2605)の内容を抜き出して変更したものである。その他は図２１に示した各手順と同様のため説明は省略する。以下、変更後の画面間予測に関わる処理(2605)について説明する。

図２５において、一般的な画面内予測処理(2606)によって予測差分の計算行うとともに、予測画像に対して平滑化処理(2607)を行ったのちに、テクスチャマッチング処理(2801)によって対象ブロックと最もテクスチャが近い平滑化処理後のブロックを探索して予測ブロックとする。この予測ブロックと対象ブロックを用いて、画面内予測処理(2608)によって予測差分の計算を行う。なお、画面内予測を行う際には、予測差分の他に、平滑化処理の有無、および平滑化処理を行った場合はテクスチャマッチング結果(ベクトル)を含めたモード情報を可変長符号化する。

本実施例における1フレームの復号化処理手順として、図２２に示した1フレームの復号化処理手順をそのまま用いることができるため、図示および説明は省略する。ただし、図２２において、画面内予測処理(2711)を行う際の予測ブロックの位置は、モード情報に含まれるテクスチャマッチング結果(ベクトル)に基づいて決定する。
以上説明した実施例５に係る動画像符号化装置及び符号化方法、動画像復号化装置及び復号化方法は、実施例４に係る動画像符号化装置及び符号化方法、動画像復号化装置及び復号化方法の効果に加え、画面内予測を行う際の対象ブロックと平滑化処理後の予測ブロックの間の相関を高くすることができ、好適な画面内予測が実現できるという効果を有する。

上述した実施例５では、テクスチャマッチング結果(ベクトル)をモード情報に含めて符号化し、復号化時にこのテクスチャマッチング結果(ベクトル)を用いて予測画像の位置を決定する必要があるため、モード情報が増加した分だけ符号化効率が低下する場合もある。そこで、本発明の実施例６では、テクスチャマッチング結果(ベクトル)を符号化せず、復号化時にもテクスチャマッチング結果(ベクトル)を用いないで予測画像の位置を決定して平滑化処理することにより、符号化効率を向上する。
テクスチャマッチング処理を用いて画面内符号化を行う際に、テクスチャマッチング結果(ベクトル)の符号化を不要にする技術として、〔参考文献３〕に記載の技術が提案されている。

〔参考文献３〕特開２００８-９２３５２号公報
図２６は、上記〔参考文献３〕に記載の技術を概念的に示したものである。同図において、既に符号化済みの領域(1503)については、符号化装置と復号化装置で同様の復号化画像を得ることができる。これを利用し、対象画像(1501)の中の対象ブロック(1502)の周辺領域(1701)と最もテクスチャが近い周辺領域(1702)を符号化装置と復号化装置のそれぞれで探索し、そのテクスチャマッチング結果(ベクトル)(1703)を対象ブロック(1502)と予測ブロック(1504)の間のテクスチャマッチング結果(ベクトル)とみなすことにより、テクスチャマッチング結果(ベクトル)を符号化せずに予測ブロックの位置を決定できる。

図２７は、本実施例における動画像符号化装置の一例を示したものである。同図は、上述した図４に示した動画像符号化装置の構成をベースに、画面内予測における参照画像に対する平滑化処理部を追加したものである。同図において、点線で囲った部分(1801)が追加部分であり、その他は図４に示した構成と同様のため説明は省略する。以下、点線で囲った部分(1801)について説明する。

同図において、平滑化処理部(1302)によって、参照画像メモリ(115)に格納されている復号化済み画像を平滑化して、テクスチャマッチング部(1602)と画面内予測部(1303)に渡す。同様に、平滑化処理部(1802)によって、参照画像メモリ(115)に格納されている復号化済み画像を平滑化して、テクスチャマッチング部(1602)に渡す。ここで、平滑化処理部(1302)と平滑化処理部(1802)は、それぞれ図２６に示した予測ブロックの周辺領域(1702)と対象ブロックの周辺領域(1701)を平滑化処理するものであり、説明のために2つに分けて示したが、共通化して一つにまとめた構成にしてもよい。テクスチャマッチング部(1602)では、平滑化処理後の対象ブロックの周辺領域(1701)と、平滑化処理後の予測ブロックの周辺領域(1702)を用いて最もテクスチャが近いブロックを探索し、テクスチャマッチング結果(ベクトル)を画面内予測部(1303)に渡す。画面内予測部(1303)では、図２６に示した対象ブロック(1502)と予測ブロック(1504)を用いて画面内予測部(105)と同様の画面内予測処理を実行したのち、モード選択部(107)にて画面内予測部(105)および画面間予測部(106)の結果も含めて最適な予測方法を選ぶ。このとき、平滑化処理を行ったかどうかを示す情報をモード情報(116)に含めて、モード選択部から可変長符号化部(111)に渡して符号化する。なお、上述したように、テクスチャマッチング結果(ベクトル)は符号化しない。

図２８は、本実施例における動画像復号化装置の一例を示したものであり、上述した図６に示した動画像復号化装置の構成をベースに、画面内予測における参照画像の平滑化処理部とテクスチャマッチング部を追加したものである。同図において、点線で囲った部分(1901)が追加部分であり、その他は図６に示した構成と同様のため説明は省略する。以下、点線で囲った部分(1901)について説明する。

同図において、平滑化処理部(1403)(1902)によって、参照画像メモリ(308)に格納されている復号化済み画像(参照画像)を平滑化して、画面内予測部(1402)に渡す。ここで、平滑化処理部(1403)と平滑化処理部(1902)は、それぞれ図２６に示した予測ブロックの周辺領域(1702)と対象ブロックの周辺領域(1701)を平滑化処理するものであり、説明のために2つに分けて示したが、共通化して一つにまとめた構成にしてもよい。テクスチャマッチング部(1903)では、平滑化処理後の対象ブロックの周辺領域(1701)と、平滑化処理後の予測ブロックの周辺領域(1702)を用いて最もテクスチャが近いブロックを探索し、テクスチャマッチング結果(ベクトル)を画面内予測部(1402)に渡す。画面内予測部(1402)では、可変長復号化部(302)から送られてきた情報を基に平滑化処理後の予測ブロック(1504)を参照して予測処理を実行し、可変長復号化したモード情報(309)に基づいて、画面内予測部(1402)、画面間予測部(305)、画面内予測部(306)の各結果のうち一つを選択し、加算部(307)にて復号化画像を生成するとともに、復号化画像を参照画像メモリ(308)に格納する。

本実施例における1フレームの符号化処理手順として、図２５に示した本実施例における1フレームの符号化処理手順をそのまま用いることができるため、図示および説明は省略する。ただし、図２５において、テクスチャマッチング処理(2801)に用いる画像として、図２６に示した対象ブロックの周辺領域(1701)と予測ブロックの周辺領域(1702)を用い、そのテクスチャマッチング結果(ベクトル)を対象ブロック(1502)と予測ブロック(1504)のテクスチャマッチング結果(ベクトル)とみなす。

図２９は、本実施例における1フレームの復号化処理手順について示している。同図に示す手順は、図２２に示した復号化処理手順をベースに、点線で囲んだ画面内予測に関わる処理(2707)の内容を抜き出して変更したものである。その他は図２２に示した各手順と同様のため説明は省略する。以下、変更後の画面間予測に関わる処理(2707)について説明する。

画面内予測に関わる処理(2707)では、モード情報に応じて(2708)、符号化時に平滑化処理を行っていない場合には一般的な画面内予測処理(2709)を行う。符号化時に平滑化処理を行った場合には、予測画像に対して符号化時と同様の平滑化処理(2710)を行ったのちに、符号化時と同様のテクスチャマッチング処理(2901)を行って予測ブロックを決定する。この予測ブロックと対象ブロックを用いて、画面内予測処理(2711)を行う。このとき、テクスチャマッチング処理(2901)に用いる画像として、図２６に示した対象ブロックの周辺領域(1701)と予測ブロックの周辺領域(1702)を用い、そのテクスチャマッチング結果(ベクトル)を対象ブロック(1502)と予測ブロック(1504)のテクスチャマッチング結果(ベクトル)とみなす。

以上のように処理することにより、テクスチャマッチング結果(ベクトル)を符号化することなく、符号化時と復号化時で、同様の予測ブロックを決定して利用することができるようになる。
以上説明した実施例６に係る動画像符号化装置及び符号化方法、動画像復号化装置及び復号化方法は、実施例５に係る動画像符号化装置及び符号化方法、動画像復号化装置及び復号化方法の効果に加え、テクスチャマッチング結果(ベクトル)を符号化する必要がなくなり、符号化効率低下を生じることなく、好適な画面内予測が実現できるという効果を有する。

本発明に係る画面間予測の一例を示す説明図である。 本発明に係る画面内予測の一例を示す説明図である。 本発明に係る平滑化方法の一例を示す説明図である。 本発明に係る動画像符号化装置の一例を示すブロック図である。 本発明に係る動画像符号化装置の画面間予測部の一例を示すブロック図である。 本発明に係る動画像復号化装置の一例を示すブロック図である。 本発明に係る動画像復号化装置の画面間予測部の一例を示すブロック図である。 本発明の実施例１に係る動画像符号化装置のブロック図である。 本発明の実施例１に係る動画像復号化装置のブロック図である。 本発明の実施例１に係る動画像符号化装置のフローチャートである。 本発明の実施例１に係る動画像復号化装置のフローチャートである。 本発明の実施例２に係る動画像符号化装置のブロック図である。 本発明の実施例２に係る動画像復号化装置のブロック図である。 本発明の実施例２に係る動画像符号化装置のフローチャートである。 本発明の実施例２に係る動画像復号化装置のフローチャートである。 本発明の実施例３に係る動画像復号化装置のブロック図である。 本発明の実施例３に係る動画像復号化装置のフローチャートである。 本発明の実施例３に係る画面間予測動作の説明図である。 本発明の実施例４に係る動画像符号化装置のブロック図である。 本発明の実施例４に係る動画像復号化装置のブロック図である。 本発明の実施例４に係る動画像符号化装置のフローチャートである。 本発明の実施例４に係る動画像復号化装置のフローチャートである。 本発明に係るテクスチャマッチングの一例を示す説明図である。 本発明の実施例５に係る動画像符号化装置のブロック図である。 本発明の実施例５に係る動画像符号化装置のフローチャートである。 本発明に係るテクスチャマッチングの別な一例を示す説明図である。 本発明の実施例６に係る動画像符号化装置のブロック図である。 本発明の実施例６に係る動画像復号化装置のブロック図である。 本発明の実施例６に係る動画像復号化装置のフローチャートである。

符号の説明

１０１〜１１５…本発明の一実施例による動画像符号化装置の説明図、２０１〜２０６…本発明の一実施例による動画像符号化装置の説明図、３０１〜３０９…本発明の一実施例による動画像復号化装置の説明図、４０１〜４０５…本発明の一実施例による動画像復号化装置の説明図、５０１〜５０５…H.264/AVCによる画面間予測符号化処理の説明図、６０１〜６０４…本発明の一実施例による動画像符号化装置の説明図、７０１〜７０６…本発明の一実施例による動きベクトルの予測技術に関する説明図、８０１〜８０２…本発明の一実施例による動画像復号化装置の説明図、９０１〜９０４…本発明の一実施例による動画像符号化装置の説明図、１００１〜１００３…本発明の一実施例による動画像復号化装置の説明図、１１０１〜１１０２…本発明の一実施例による動画像復号化装置の説明図、１２０１〜１２０４…H.264/AVCによる画面内予測符号化処理の説明図、１３０１〜１３０３…本発明の一実施例による動画像符号化装置の説明図、１４０１〜１４０３…本発明の一実施例による動画像復号化装置の説明図、１５０１〜１５０５…従来技術によるテクスチャマッチング処理の説明図、１６０１〜１６０２…本発明の一実施例による動画像符号化装置の説明図、１７０１〜１７０３…従来技術によるテクスチャマッチング処理の説明図、１８０１〜１８０２…本発明の一実施例による動画像符号化装置の説明図、１９０１〜１９０３…本発明の一実施例による動画像復号化装置の説明図、２５０１〜２５１３…本発明の一実施例による動画像符号化方法および動画像復号化方法の説明図。

Claims (14)

1. 入力された動画像を圧縮し、伝送符号化して出力する動画像符号化装置であって、
   前記入力された動画像の符号化対象領域と平滑化後の既符号化領域の差分である予測差分を求める減算部と、
   前記予測差分に対して符号化を行う周波数変換量子化処理部と、
   前記符号化された予測差分をその発生確率に応じた伝送符号とする可変長符号化部と、
   前記符号化された予測差分を復号する逆量子化逆周波数変換部と、
   前記入力された動画像を基に生成された前記圧縮に際して参照する既符号化領域の参照画像を格納する参照画像格納部と、
   前記復号化された予測差分と前記平滑化後の既符号化領域を加算して前記既符号化領域の参照画像を生成し前記参照画像格納部に与える参照画像生成部と、
   前記格納された参照画像を平滑化する平滑化処理部と、
   前記平滑化された参照画像を参照し、符号化対象領域と時空間的に近接する平滑化後の既符号化領域との間の動きベクトルに基づいて、前記減算部に与える平滑化後の既符号化領域を求める画面間予測部と
   を有したことを特徴とする動画像符号化装置。
2. 請求項１記載の動画像符号化装置において、前記画面間予測部では符号化対象領域と時空間的に近接する平滑化後の既符号化領域の動きベクトルに基づいて符号化したことを示すモード情報を符号化することを特徴とする動画像符号化装置。
3. 請求項１に記載の動画像符号化装置において、前記平滑化処理部は互いに平滑化の特性が異なるＮ個(Ｎは２以上の整数)の平滑化処理部を有し、前記画面間予測部では符号化対象領域と時空間的に近接するＮ個の平滑化後の既符号化領域との間の動きベクトルに基づいて、Ｎ個の予測差分を求め、該Ｎ個の予測差分のうちで符号量が最小となる予測差分を選択して符号化するとともに、選択した予測差分を求めた平滑化処理の特性を示すモード情報を符号化することを特徴とする動画像符号化装置。
4. 入力された動画像を圧縮し、伝送符号化して出力する動画像符号化方法であって、
   前記入力された動画像の符号化対象領域と平滑化後の既符号化領域の差分である予測差分を求める減算ステップと、
   前記予測差分に対して符号化を行う周波数変換量子化処理ステップと、
   前記符号化された予測差分をその発生確率に応じた伝送符号とする可変長符号化ステップと、
   前記符号化された予測差分を復号する逆量子化逆周波数変換ステップと、
   前記入力された動画像を基に生成された前記圧縮に際して参照する既符号化領域の参照画像を格納する参照画像格納ステップと、
   前記復号化された予測差分と前記平滑化後の既符号化領域を加算して前記既符号化領域の参照画像を生成し前記参照画像格納部に与える参照画像生成ステップと、
   前記格納された参照画像を平滑化する平滑化処理ステップと、
   前記平滑化された参照画像を参照し、符号化対象領域と時空間的に近接する平滑化後の既符号化領域との間の動きベクトルに基づいて、前記減算部に与える平滑化後の既符号化領域を求める画面間予測ステップとを有し、
   前記平滑化処理により前記予測差分の符号量を低減したことを特徴とする動画像符号化方法。
5. 請求項４に記載の動画像符号化方法において、前記画面間予測ステップでは符号化対象領域と時空間的に近接する平滑化後の既符号化領域の動きベクトルに基づいて符号化したことを示すモード情報を符号化することを特徴とする動画像符号化方法。
6. 請求項４に記載の動画像符号化方法において、前記平滑化処理ステップは互いに平滑化の特性が異なるＮ個(Ｎは２以上の整数)の平滑化処理ステップを有し、前記画面間予測ステップでは符号化対象領域と時空間的に近接するＮ個の平滑化後の既符号化領域との間の動きベクトルに基づいて、Ｎ個の予測差分を求め、該Ｎ個の予測差分のうちで符号量が最小となる予測差分を選択して符号化するとともに、選択した予測差分を求めた平滑化処理の特性を示すモード情報を符号化することを特徴とする動画像符号化方法。
7. 発生確率に応じて可変長符号とされた動画像の予測差分が入力され、これを復号して復号化動画像を出力する動画像復号化装置であって、
   前記可変長符号を復号する可変長復号化部と、
   該可変長復号化部で復号された符号より予測差分を求める逆量子化逆周波数変換部と、
   前記予測差分と平滑化後の既復号化領域の和を求め、前記復号化動画像を出力する加算部と、
   前記復号化動画像を参照画像として格納する参照画像格納部と、
   前記格納された参照画像を平滑化する平滑化処理部と、
   前記平滑化された参照画像を参照し、復号化対象領域と時空間的に近接する平滑化後の既復号化領域との間の動きベクトルに基づいて、前記加算部に与える平滑化後の既復号化領域を求める画面間予測部と
   を有したことを特徴とする動画像復号化装置。
8. 請求項７に記載の動画像復号化装置において、前記平滑化処理部は互いに平滑化の特性が異なるＮ個(Ｎは２以上の整数)の平滑化処理部を有し、前記画面間予測部では復号化対象領域と時空間的に近接するＮ個の平滑化後の既復号化領域との間の動きベクトルに基づいて、Ｎ個の予測差分を求め、該Ｎ個の予測差分のうちで符号量が最小となる予測差分を選択して復号化することを特徴とする動画像復号化装置。
9. 発生確率に応じて可変長符号とされた動画像の予測差分が入力され、これを復号して復号化動画像を出力する動画像復号化方法であって、
   前記可変長符号を復号する可変長復号化ステップと、
   該可変長復号化部で復号された符号より予測差分を求める逆量子化逆周波数変換ステップと、
   前記予測差分と平滑化後の既復号化領域の和を求め、前記復号化動画像を出力する加算ステップと、
   前記復号化動画像を参照画像として格納する参照画像格納ステップと、
   前記格納された参照画像を平滑化する平滑化処理ステップと、
   前記平滑化された参照画像を参照し、復号化対象領域と時空間的に近接する平滑化後の既復号化領域との間の動きベクトルに基づいて、前記加算部に与える平滑化後の既復号化領域を求める画面間予測ステップと
   を有したことを特徴とする動画像復号化方法。
10. 請求項９に記載の動画像復号化方法において、前記平滑化処理ステップは互いに平滑化の特性が異なるＮ個(Ｎは２以上の整数)の平滑化処理ステップを有し、前記画面間予測ステップでは復号化対象領域と時空間的に近接するＮ個の平滑化後の既復号化領域との間の動きベクトルに基づいて、Ｎ個の予測差分を求め、該Ｎ個の予測差分のうちで符号量が最小となる予測差分を選択して復号化することを特徴とする動画像復号化方法。
11. 入力された動画像を圧縮し、伝送符号化して出力する動画像符号化装置であって、
    前記入力された動画像の符号化対象領域と平滑化後の既符号化領域の差分である予測差分を求める減算部と、
    前記予測差分に対して符号化を行う周波数変換量子化処理部と、
    前記符号化された予測差分をその発生確率に応じた伝送符号とする可変長符号化部と、
    前記符号化された予測差分を復号する逆量子化逆周波数変換部と、
    前記入力された動画像を基に生成された前記圧縮に際して参照する既符号化領域の参照画像を格納する参照画像格納部と、
    前記復号化された予測差分と前記平滑化後の既符号化領域を加算して前記既符号化領域の参照画像を生成し前記参照画像格納部に与える参照画像生成部と、
    前記格納された参照画像を平滑化する平滑化処理部と、
    前記平滑化された参照画像を参照し、ブロック単位で画面内予測を行って符号化対象領域と平滑化後の既符号化領域の差分を求め、前記周波数変換量子化処理部に予測差分を与える画面内予測部と
    を有したことを特徴とする動画像符号化装置。
12. 入力された動画像を圧縮し、伝送符号化して出力する動画像符号化方法であって、
    前記入力された動画像の符号化対象領域と平滑化後の既符号化領域の差分である予測差分を求める減算ステップと、
    前記予測差分に対して符号化を行う周波数変換量子化処理ステップと、
    前記符号化された予測差分をその発生確率に応じた伝送符号とする可変長符号化ステップと、
    前記符号化された予測差分を復号する逆量子化逆周波数変換ステップと、
    前記入力された動画像を基に生成された前記圧縮に際して参照する既符号化領域の参照画像を格納する参照画像格納ステップと、
    前記復号化された予測差分と前記平滑化後の既符号化領域を加算して前記既符号化領域の参照画像を生成し前記参照画像格納部に与える参照画像生成ステップと、
    前記格納された参照画像を平滑化する平滑化処理ステップと、
    前記平滑化された参照画像を参照し、ブロック単位で画面内予測を行って符号化対象領域と平滑化後の既符号化領域の差分を求め、前記周波数変換量子化処理部に予測差分を与える画面内予測ステップとを有し、
    前記平滑化処理により前記予測差分の符号量を低減したことを特徴とする動画像符号化方法。
13. 発生確率に応じて可変長符号とされた動画像の予測差分が入力され、これを復号して復号化動画像を出力する動画像復号化装置であって、
    前記可変長符号を復号する可変長復号化部と、
    該可変長復号化部で復号された符号より予測差分を求める逆量子化逆周波数変換部と、
    前記予測差分と平滑化後の既復号化領域の和を求め、前記復号化動画像を出力する加算部と、
    前記復号化動画像を参照画像として格納する参照画像格納部と、
    前記格納された参照画像を平滑化する平滑化処理部と、
    前記平滑化された参照画像を参照し、ブロック単位で画面内予測を行い、前記加算部に与える平滑化後の既復号化領域を求める画面内予測部と
    を有したことを特徴とする動画像復号化装置。
14. 発生確率に応じて可変長符号とされた動画像の予測差分が入力され、これを復号して復号化動画像を出力する動画像復号化方法であって、
    前記可変長符号を復号する可変長復号化ステップと、
    該可変長復号化部で復号された符号より予測差分を求める逆量子化逆周波数変換ステップと、
    前記予測差分と平滑化後の既復号化領域の和を求め、前記復号化動画像を出力する加算ステップと、
    前記復号化動画像を参照画像として格納する参照画像格納ステップと、
    前記格納された参照画像を平滑化する平滑化処理ステップと、
    前記平滑化された参照画像を参照し、ブロック単位で画面内予測を行い、前記加算部に与える平滑化後の既復号化領域を求める画面内予測ステップと
    を有したことを特徴とする動画像復号化方法。

Images