JP2005039428A - 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム - Google Patents
動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム Download PDFInfo
- Publication number
- JP2005039428A JP2005039428A JP2003198606A JP2003198606A JP2005039428A JP 2005039428 A JP2005039428 A JP 2005039428A JP 2003198606 A JP2003198606 A JP 2003198606A JP 2003198606 A JP2003198606 A JP 2003198606A JP 2005039428 A JP2005039428 A JP 2005039428A
- Authority
- JP
- Japan
- Prior art keywords
- image
- residual
- compensation
- inverse
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
【課題】動画像の効率の良い符号化を実現可能な動画像符号化装置を提供する。
【解決手段】動画像符号化装置１では、残差補償部６によって、基底記憶部６ｂに記憶された二次元基底を用いたＭＰ（Ｍａｔｃｈｉｎｇ Ｐｕｒｓｕｉｔｓ）法によって、予測残差画像Ｉ３が残差補償情報Ｉ５に変換される。残差補償情報Ｉ５から復元される残差補償画像Ｉ４と予測残差画像Ｉ３との差演算に基づく補償残差画像Ｉ６は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）によって変換される。かかる構成の動画像符号化装置１では、予測残差画像及び補償残差画像が、それぞれに適した変換によって効率的に分解されるので、動画像が効率よく符号化される。
【選択図】 図１
【解決手段】動画像符号化装置１では、残差補償部６によって、基底記憶部６ｂに記憶された二次元基底を用いたＭＰ（Ｍａｔｃｈｉｎｇ Ｐｕｒｓｕｉｔｓ）法によって、予測残差画像Ｉ３が残差補償情報Ｉ５に変換される。残差補償情報Ｉ５から復元される残差補償画像Ｉ４と予測残差画像Ｉ３との差演算に基づく補償残差画像Ｉ６は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）によって変換される。かかる構成の動画像符号化装置１では、予測残差画像及び補償残差画像が、それぞれに適した変換によって効率的に分解されるので、動画像が効率よく符号化される。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラムに関するものである。
【０００２】
【従来の技術】
動画像符号化装置では、一般に、符号化対象画像が所定サイズの複数のブロックに分割され、各々のブロックと参照フレームの所定領域における参照画像との動き補償予測が行われることによって動きベクトルが検出されて、符号化対象画像の予測画像が生成される。かかる動画像符号化装置では、符号化対象画像が参照画像からの動きベクトルによって表現されることによって時間方向に存在する冗長度が削減される。また、符号化対象画像と予測画像との差による予測残差画像が、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）変換され、ＤＣＴ係数として表現されることによって、空間方向に存在する冗長度が削減される。
【０００３】
【特許文献１】
特開平７−２６４５９２号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、上記の予測残差画像は符号化済の画像である参照画像と符号化前の画像である符号化対象画像との間で動き補償予測を行った後に差分をとるため、偏った分布を持つ画像信号であることが知られている。上述した従来の動画像符号化装置は、このような特徴を持つ画像信号に対しても、その特徴を利用せずにＤＣＴによる変換符号化を行っているために、効率のよい符号化が実現できないという問題があった。
【０００５】
本発明は上記問題点を解決するためになされたもので、動画像の効率の良い符号化を実現可能な動画像符号化装置、動画像符号化方法、及び動画像符号化プログラムを提供し、また、この動画像符号化装置によって符号化された動画像を復号する動画像復号装置、動画像復号方法、及び動画像復号プログラムを提供することを課題としている。
【０００６】
【課題を解決するための手段】
上記課題を解決するため、本発明の動画像符号化装置は、参照画像に基づいて符号化対象画像の動き補償予測を行うことによって予測画像及び動き情報を生成する動き補償予測手段と、上記符号化対象画像と上記予測画像との差演算に基づき予測残差画像を生成する残差画像生成手段と、所定の第１の変換規則に基づいて上記予測残差画像から残差補償情報を生成すると共に、該残差補償情報に基づいて残差補償画像を生成する残差補償手段と、上記残差補償画像と上記予測残差画像との差演算に基づき補償残差画像を生成する減算手段と、上記補償残差画像を所定の第２の変換規則に基づいて変換してなる変換係数を生成し、該変換係数を量子化することによって量子化変換係数を生成する量子化変換手段と、上記量子化変換係数を逆量子化することによって逆量子化変換係数を生成し、上記所定の第２の変換規則の逆変換である所定の第２の逆変換規則に基づき該逆量子化変換係数を用いて逆変換を行うことによって復号補償残差画像を生成する逆量子化変換手段と、上記復号補償残差画像と上記残差補償画像とを加算することによって復号予測残差画像を生成する加算手段と、上記復号予測残差画像と上記予測画像とを加算することによって復号画像を生成する復号画像生成手段と、上記復号画像生成手段によって生成された上記復号画像を、上記動き補償予測手段による動き補償予測に提供する上記参照画像として記憶する参照画像記憶手段と、上記動き情報と上記残差補償情報と上記量子化変換係数とを符号化してなる符号化データを含む圧縮データを生成する符号化手段とを備え、上記残差補償手段は、上記所定の第１の変換規則に基づき、複数の二次元基底を用いて、該二次元基底を特定するための基底情報と、該基底情報によって特定される二次元基底に付する補償係数とに上記予測残差画像を変換し、該基底情報を上記残差補償情報に含める変換手段と、上記補償係数を量子化することによって量子化補償係数を生成し、該量子化補償係数を上記残差補償情報に含める量子化手段と、上記量子化補償係数を逆量子化することによって逆量子化補償係数を生成する逆量子化手段と、上記所定の第１の変換規則の逆変換である所定の第１の逆変換規則に基づき、上記逆量子化補償係数を用いて逆変換を行うことによって上記残差補償画像を生成する逆変換手段とを有することを特徴としている。
【０００７】
また、上記課題を解決するため本発明の動画像符号化方法は、動き補償予測手段が、参照画像に基づいて符号化対象画像の動き補償予測を行うことによって予測画像及び動き情報を生成する動き補償予測ステップと、残差画像生成手段が、上記符号化対象画像と上記予測画像との差演算に基づき予測残差画像を生成する残差画像生成ステップと、残差補償手段が、所定の第１の変換規則に基づいて上記予測残差画像から残差補償情報を生成すると共に、該残差補償情報に基づいて残差補償画像を生成する残差補償ステップと、減算手段が、上記残差補償画像と上記予測残差画像との差演算に基づき補償残差画像を生成する減算ステップと、量子化変換手段が、上記補償残差画像を所定の第２の変換規則に基づいて変換してなる変換係数を生成し、該変換係数を量子化することによって量子化変換係数を生成する量子化変換ステップと、逆量子化変換手段が、上記量子化変換係数を逆量子化することによって逆量子化変換係数を生成し、上記所定の第２の変換規則の逆変換である所定の第２の逆変換規則に基づき該逆量子化変換係数を用いて逆変換を行うことによって復号補償残差画像を生成する逆量子化変換ステップと、加算手段が、上記復号補償残差画像と上記残差補償画像とを加算することによって復号予測残差画像を生成する加算ステップと、復号画像生成手段が、上記復号予測残差画像と上記予測画像とを加算することによって復号画像を生成する復号画像生成ステップと、参照画像記憶手段が、上記復号画像生成手段によって生成された上記復号画像を、上記動き補償予測手段による動き補償予測に提供する上記参照画像として記憶する参照画像記憶ステップと、符号化手段が、上記動き情報と上記残差補償情報と上記量子化変換係数とを符号化してなる符号化データを含む圧縮データを生成する符号化ステップとを備え、上記残差補償ステップは、変換手段が、上記所定の第１の変換規則に基づき、複数の二次元基底を用いて、該二次元基底を特定するための基底情報と、該基底情報によって特定される二次元基底に付する補償係数とに上記予測残差画像を変換し、該基底情報を上記残差補償情報に含める変換ステップと、量子化手段が、上記補償係数を量子化することによって量子化補償係数を生成し、該量子化補償係数を上記残差補償情報に含める量子化ステップと、逆量子化手段が、上記量子化補償係数を逆量子化することによって逆量子化補償係数を生成する逆量子化ステップと、逆変換手段が、上記所定の第１の変換規則の逆変換である所定の第１の逆変換規則に基づき、上記逆量子化補償係数を用いて逆変換を行うことによって上記残差補償画像を生成する逆変換ステップと含むことを特徴としている。
【０００８】
また、上記課題を解決するため、本発明の動画像符号化プログラムは、コンピュータを、参照画像に基づいて符号化対象画像の動き補償予測を行うことによって予測画像及び動き情報を生成する動き補償予測手段と、上記符号化対象画像と上記予測画像との差演算に基づき予測残差画像を生成する残差画像生成手段と、所定の第１の変換規則に基づいて上記予測残差画像から残差補償情報を生成すると共に、該残差補償情報に基づいて残差補償画像を生成する残差補償手段と、上記残差補償画像と上記予測残差画像との差演算に基づき補償残差画像を生成する減算手段と、上記補償残差画像を所定の第２の変換規則に基づいて変換してなる変換係数を生成し、該変換係数を量子化することによって量子化変換係数を生成する量子化変換手段と、上記量子化変換係数を逆量子化することによって逆量子化変換係数を生成し、上記所定の第２の変換規則の逆変換である所定の第２の逆変換規則に基づき該逆量子化変換係数を用いて逆変換を行うことによって復号補償残差画像を生成する逆量子化変換手段と、上記復号補償残差画像と上記残差補償画像とを加算することによって復号予測残差画像を生成する加算手段と、上記復号予測残差画像と上記予測画像とを加算することによって復号画像を生成する復号画像生成手段と、上記復号画像生成手段によって生成された上記復号画像を、上記動き補償予測手段による動き補償予測に提供する上記参照画像として記憶する参照画像記憶手段と、上記動き情報と上記残差補償情報と上記量子化変換係数とを符号化してなる符号化データを含む圧縮データを生成する符号化手段と、として機能させ、上記残差補償手段は、上記所定の第１の変換規則に基づき、複数の二次元基底を用いて、該二次元基底を特定するための基底情報と、該基底情報によって特定される二次元基底に付する補償係数とに上記予測残差画像を変換し、該基底情報を上記残差補償情報に含める変換手段と、上記補償係数を量子化することによって量子化補償係数を生成し、該量子化補償係数を上記残差補償情報に含める量子化手段と、上記量子化補償係数を逆量子化することによって逆量子化補償係数を生成する逆量子化手段と、上記所定の第１の変換規則の逆変換である所定の第１の逆変換規則に基づき、上記逆量子化補償係数を用いて逆変換を行うことによって上記残差補償画像を生成する逆変換手段とを有することを特徴としている。
【０００９】
これらの発明によれば、二次元基底を用いた所定の第１の変換規則によって予測残差画像が補償係数と二次元基底を特定するための基底情報とを含む残差補償情報に分解されるので、ＤＣＴ等の直交変換に比して少ない数の情報によって予測残差画像を表すことが可能となる。また、予測残差画像と残差補償情報から復元される残差補償画像との差に基づく補償残差画像は、上述したような画像信号中の偏った分布が取り除かれた画像とされているので、例えばＤＣＴといった所定の第２の変換規則によって効率よく分解される。
【００１０】
また、本発明の動画像符号化装置においては、上記残差補償手段は、上記変換手段に提供する二次元基底を記憶する基底記憶手段を更に有し、上記変換手段は、上記基底記憶手段に記憶された二次元基底を用いて上記予測残差画像を変換し、上記逆変換手段は、上記基底記憶手段に記憶された二次元基底を用いて上記逆変換を行うことを特徴としても良い。
【００１１】
また、本発明の動画像符号化装置においては、上記復号予測残差画像を参照復号予測残差画像として記憶する復号予測残差画像記憶手段を更に備え、上記変換手段は、上記復号予測残差画像記憶手段に記憶された上記参照復号予測残差画像の部分画像を上記二次元基底として用いて上記予測残差画像を変換し、上記逆変換手段は、上記変換手段によって用いられた上記二次元基底を用いて逆変換することを特徴とすることが好ましい。
【００１２】
この発明によれば、二次元基底として復号予測残差画像の部分画像を用いて予測残差画像が分解されるので、予測残差画像の類似性を利用した更に効果的な残差補償が実現される。また、二次元基底として復号予測残差画像の部分画像と、基底記憶手段に記憶された二次元基底とを用いることができるので、例えば、フレーム間に急激な変化が生じている場合にでも、予測残差画像が効率的に分解される。
【００１３】
また、上記課題を解決するため、本発明の動画像復号装置は、復号画像に対する予測画像を生成するための動き情報と、上記予測画像に対する残差補償画像を復元するための量子化補償係数と基底情報とを含む残差補償情報と、上記予測画像と上記残差補償画像との差に基づく補償残差画像を復元するための量子化変換係数とが符号化されてなる符号化データを含む圧縮データを復号することによって、上記動き情報と上記残差補償情報と上記量子化変換係数とを生成する復号手段と、上記残差補償情報を用いて所定の第１の逆変換規則に基づき逆変換を行うことによって上記残差補償画像を生成する残差復号手段と、上記量子化変換係数を逆量子化することによって逆量子化変換係数を生成し、該逆量子化変換係数を用いて所定の第２の逆変換規則に基づく逆変換を行うことによって復号補償残差画像を生成する逆量子化変換手段と、上記残差補償画像と上記復号補償残差画像との加算に基づき復号予測残差画像を生成する加算手段と、参照画像及び上記動き情報を用いて動き補償予測を行うことによって上記予測画像を生成する動き補償予測手段と、上記復号予測残差画像と上記予測画像との加算に基づき復号画像を生成する復号画像生成手段と、上記復号画像生成手段によって生成された上記復号画像を、上記動き補償予測手段による上記動き補償予測に提供する上記参照画像として記憶する参照画像記憶手段とを備え、上記残差復号手段は、上記残差補償情報に含まれている上記量子化補償係数を逆量子化することによって逆量子化補償係数を生成する逆量子化手段と、複数の二次元基底のうち上記残差補償情報に含まれる基底情報によって特定される二次元基底と、上記逆量子化手段手段によって生成された上記逆量子化補償係数逆変換とを用い、上記所定の第１の逆変換規則に基づき逆変換を行うことによって上記残差補償画像を生成する逆変換手段とを有することを特徴としている。
【００１４】
また、上記課題を解決するため、本発明の動画像復号方法は、復号手段が、復号画像に対する予測画像を生成するための動き情報と、上記予測画像に対する残差補償画像を復元するための量子化補償係数と基底情報とを含む残差補償情報と、上記予測画像と上記残差補償画像との差に基づく補償残差画像を復元するための量子化変換係数とが符号化されてなる符号化データを含む圧縮データを復号することによって、上記動き情報と上記残差補償情報と上記量子化変換係数とを生成する復号ステップと、残差復号手段が、上記残差補償情報を用いて所定の第１の逆変換規則に基づき逆変換を行うことによって上記残差補償画像を生成する残差復号ステップと、逆量子化変換手が、上記量子化変換係数を逆量子化することによって逆量子化変換係数を生成し、該逆量子化変換係数を用いて所定の第２の逆変換規則に基づく逆変換を行うことによって復号補償残差画像を生成する逆量子化変換ステップと、加算手段が、上記残差補償画像と上記復号補償残差画像との加算に基づき復号予測残差画像を生成する加算ステップと、動き補償予測手段が、参照画像及び上記動き情報を用いて動き補償予測を行うことによって上記予測画像を生成する動き補償予測ステップと、復号画像生成手段が、上記復号予測残差画像と上記予測画像との加算に基づき復号画像を生成する復号画像生成ステップと、参照画像記憶手段が、上記復号画像生成手段によって生成された上記復号画像を、上記動き補償予測手段による上記動き補償予測に提供する上記参照画像として記憶する参照画像記憶ステップとを備え、上記残差復号ステップは、逆量子化手段が、上記残差補償情報に含まれている上記量子化補償係数を逆量子化することによって逆量子化補償係数を生成する逆量子化ステップと、逆変換手段が、複数の二次元基底のうち上記残差補償情報に含まれる基底情報によって特定される二次元基底と、上記逆量子化手段手段によって生成された上記逆量子化補償係数逆変換とを用い、上記所定の第１の逆変換規則に基づき逆変換を行うことによって上記残差補償画像を生成する逆変換ステップとを含むことを特徴としている。
【００１５】
また、上記課題を解決するため、本発明の動画像復号プログラムは、コンピュータを、復号画像に対する予測画像を生成するための動き情報と、上記予測画像に対する残差補償画像を復元するための量子化補償係数と基底情報とを含む残差補償情報と、上記予測画像と上記残差補償画像との差に基づく補償残差画像を復元するための量子化変換係数とが符号化されてなる符号化データを含む圧縮データを復号することによって、上記動き情報と上記残差補償情報と上記量子化変換係数とを生成する復号手段と、上記残差補償情報を用いて所定の第１の逆変換規則に基づき逆変換を行うことによって上記残差補償画像を生成する残差復号手段と、上記量子化変換係数を逆量子化することによって逆量子化変換係数を生成し、該逆量子化変換係数を用いて所定の第２の逆変換規則に基づく逆変換を行うことによって復号補償残差画像を生成する逆量子化変換手段と、上記残差補償画像と上記復号補償残差画像との加算に基づき復号予測残差画像を生成する加算手段と、参照画像及び上記動き情報を用いて動き補償予測を行うことによって上記予測画像を生成する動き補償予測手段と、上記復号予測残差画像と上記予測画像との加算に基づき復号画像を生成する復号画像生成手段と、上記復号画像生成手段によって生成された上記復号画像を、上記動き補償予測手段による上記動き補償予測に提供する上記参照画像として記憶する参照画像記憶手段と、として機能させ、上記残差復号手段は、上記残差補償情報に含まれている上記量子化補償係数を逆量子化することによって逆量子化補償係数を生成する逆量子化手段と、複数の二次元基底のうち上記残差補償情報に含まれる基底情報によって特定される二次元基底と、上記逆量子化手段手段によって生成された上記逆量子化補償係数逆変換とを用い、上記所定の第１の逆変換規則に基づき逆変換を行うことによって上記残差補償画像を生成する逆変換手段とを有することを特徴としている。
【００１６】
これらの発明によれば、圧縮データから復号される残差補償情報に基づいて残差補償画像が復元され、圧縮データから復号される量子化変換係数に基づいて復号補償残差画像が復元され、残差補償画像と復号補償残差画像が加算されることによって復号予測残差画像が生成される。また、圧縮データから復号される動き情報に基づいて予測画像が生成され、予測画像と復号予測残差画像が加算されることによって、復号画像が生成される。したがって、上述した動画像符号化装置によって生成された圧縮データから動画像が忠実に復元される。
【００１７】
また、本発明の動画像復号装置においては、上記残差復号手段は、上記複数の二次元基底を記憶する基底記憶手段を更に有し、上記逆変換手段は、上記基底記憶部に記憶された上記二次元基底を用いて上記逆変換を行うことを特徴としても良い。
【００１８】
また、本発明の動画像復号装置においては、上記復号予測残差画像を記憶する復号予測残差画像記憶手段を更に備え、上記逆変換手段は、上記復号予測残差画像記憶手段に記憶された上記復号予測残差画像の部分画像を上記二次元基底として用い上記逆変換を行うことを特徴とすることが好適である。
【００１９】
この発明によれば、上記の復号予測残差画像の部分画像が二次元基底として用いられるので、上述して動画像符号化装置によって生成された圧縮データから動画像が忠実に復元される。
【００２０】
【発明の実施の形態】
以下、図面を参照して本発明の好適な実施形態について詳細に説明する。なお、各図面において同一又は相当の部分に対しては同一の符号を附すこととする。
【００２１】
まず、本発明の第１実施形態にかかる動画像符号化装置１について説明する。動画像符号化装置１は、物理的には、ＣＰＵ（中央演算装置）、メモリといった記憶装置、ハードディスクといった格納装置等を備えるコンピュータである。ここでの「コンピュータ」とは、パーソナルコンピュータ等の通常のコンピュータに加えて、移動通信端末といった情報携帯端末も含むものであり、本発明の思想は情報処理可能な機器に広く適用される。
【００２２】
図１は、動画像符号化装置１の機能的な構成を示す図である。動画像符号化装置１は、機能的には、動き補償予測部（動き補償予測手段）２と、動き残差生成部（動き補償残差生成手段）４と、残差補償部（残差補償手段）６と、減算部（減算手段）８と、量子化変換部（量子化変換手段）１０と、符号化部（符号化手段）１２と、逆量子化変換部（逆量子化変換手段）１４と、加算部（加算手段）１６と、復号画像生成部（復号画像生成手段）１８と、参照画像記憶部（参照画像記憶手段）２０とを備える。
【００２３】
動き補償予測部２は、参照画像記憶部２０に記憶されている参照画像を用いて動き補償予測を行い符号化対象画像Ｉ０の予測画像Ｉ１を生成し、予測画像Ｉ１を動き残差生成部４及び復号画像生成部１８に出力する。また、動き補償予測部２は、動き補償予測を再現するために必要な動き情報Ｉ２を符号化部１２に出力する。
【００２４】
より具体的には、動き補償予測部２は、符号化対象画像Ｉ０を所定のサイズのブロックに分割する。この所定のサイズは、例えば１６画素×１６ライン、１６画素×８ライン、８画素×１６ライン、８画素×８ラインなどのようにサイズや形状の異なる複数種類のブロックに符号化対象画像Ｉ０を分割することができる。
【００２５】
動き補償予測部２は、符号化対象画像を分割した複数のブロックの各々について、参照画像記憶部２０に記憶されている参照画像のうち所定の領域の予測参照領域に対するブロックマッチングを行い、複数のブロック各々の参照画像に対する動きベクトルを検出する。
【００２６】
動き補償予測部２は、上記の動きベクトルを用いて参照画像から符号化対象画像Ｉ０の予測画像Ｉ１を生成する。動き補償予測部２は、生成した予測画像Ｉ１を動き残差生成部４及び復号画像生成部１８に出力する。また、動き補償予測部２は、検出した動きベクトル、及びブロック形状を特定するための情報を動き情報Ｉ２として符号化部１２に出力する。
【００２７】
なお、参照画像から生成される予測参照領域の画像は、整数画素のみによって構成される画像に限らず、整数画素間の１／２位置、１／４位置を補間する補間画素を設けた画像とされても良い。このように補間画素を設けることによって、動きベクトルを高解像度に検出することが可能とされる。また、動き補償予測部２は、着目するブロックの動きベクトルによって得られる画素値と隣接するブロックの動きベクトルを用いて得られる画素値とに重み付けを行って画素値を得るオーバーラップ動き補償を適用することによって予測画像Ｉ１を得ても良い。
【００２８】
動き残差生成部４は、動き補償予測部２によって生成された予測画像Ｉ１と符号化対象画像Ｉ０との差演算を実行し、予測画像Ｉ１と符号化対象画像Ｉ０との残差からなる予測残差画像Ｉ３を生成する。動き残差生成部４は、予測残差画像Ｉ３を残差補償部６及び減算部８に出力する。
【００２９】
残差補償部６は、動き残差生成部４によって出力された予測残差画像Ｉ３に対する残差補償を行い残差補償画像Ｉ４を生成する。残差補償部６は、生成した残差補償画像Ｉ４を減算部８及び加算部１６に出力する。また、残差補償部６は、残差補償を再現するために必要な情報を残差補償情報Ｉ５として符号化部１２に出力する。なお、残差補償部６についての詳細は後述する。
【００３０】
減算部８は、残差補償部６によって出力された残差補償画像Ｉ４と動き残差生成部４によって出力された予測残差画像Ｉ３との差演算を実行し、残差補償画像Ｉ４と予測残差画像Ｉ３との残差からなる補償残差画像Ｉ６を生成する。減算部８は、生成した補償残差画像Ｉ６を量子化変換部１０に出力する。
【００３１】
量子化変換部１０は、減算部８によって出力された補償残差画像Ｉ６を所定の第２の変換規則を用いて係数の集合に分解する変換処理を行う。この所定の変換規則としては、例えばＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）を用いることができる。ＤＣＴが用いられる場合には、補償残差画像Ｉ６はＤＣＴ係数の集合に変換される。量子化変換部１０は、上記の係数に量子化操作を施して量子化変換係数Ｉ７を生成する。量子化変換部１０は、生成した量子化変換係数Ｉ７を符号化部１２及び逆量子化変換部１４に出力する。
【００３２】
符号化部１２は、動き補償予測部２によって出力された動き情報Ｉ２を符号化してなる符号化データを生成する。また、符号化部１２は残差補償部６よって出力された残差補償情報Ｉ５を符号化してなる符号化データを生成する。さらに、符号化部１２は量子化変換部１０よって出力された量子化変換係数Ｉ７を符号化してなる符号化データを生成する。符号化部１２はこれら符号化データを含む圧縮データＩ１６を生成する。この符号化処理には、例えば、ハフマン符号化や算術符号化といったエントロピー符号化処理を用いることができる。
【００３３】
逆量子化変換部１４は、量子化変換部１０によって生成された量子化変換係数Ｉ７を逆量子化することによって逆量子化変換係数を生成する。逆量子化変換部１４は、生成した逆量子化変換係数に量子化変換部１０によって用いられる上記の変換処理の逆変換処理を行うことによって、復号補償残差画像Ｉ８を生成する。逆量子化変換部１４は、生成した復号補償残差画像Ｉ８を加算部１６に出力する。
【００３４】
加算部１６は、残差補償部６によって出力された残差補償画像Ｉ４と加算部１６によって出力された復号補償残差画像Ｉ８を加算することによって、復号予測残差画像Ｉ９を生成する。加算部１６は、生成した復号予測残差画像Ｉ９を復号画像生成部１８に出力する。
【００３５】
復号画像生成部１８は、動き補償予測部２によって出力された予測画像Ｉ１と加算部１６によって出力された復号予測残差画像Ｉ９を加算することによって、復号画像Ｉ１０を生成する。復号画像生成部１８は、復号画像Ｉ１０を参照画像記憶部２０に出力する。参照画像記憶部２０は、復号画像生成部１８によって出力された復号画像Ｉ１０を参照画像Ｉ１１として記憶し、次フレームに対する動き補償予測部２による処理のために、この参照画像Ｉ１１を提供する。なお、復号画像生成部１８は、復号画像Ｉ１０にデブロッキングフィルタを適用した画像を、参照画像記憶部２０に出力しても良い。
【００３６】
以下、残差補償部６について詳細に説明する。図２は、残差補償部６の構成を示す図である。残差補償部６は、変換部（変換手段）６ａと、基底記憶部（基底記憶手段）６ｂと、量子化部（量子化手段）６ｃと、逆量子化部（逆量子化手段）６ｄと、逆変換部（逆変換手段）６ｅとを有している。
【００３７】
変換部６ａは、予測残差画像Ｉ３に所定の第１の変換規則を用いた変換処理を施す。所定の第１の変換規則としては、Ｍａｔｃｈｉｎｇ Ｐｕｒｓｕｉｔｓ法（以下、「ＭＰ法」という）を用いることができる。ＭＰ法は、予測残差画像Ｉ３を初期の残差成分とし、下式（１）に従い残差成分を基底セットを用いて分解する処理を反復するものである。
【数１】
ここで、式（１）において、ｆは予測残差画像、Ｒｎｆは第ｎ反復後の残差成分であり、ｇｋｎはＲｎｆとの内積値を最大とする基底であり、Ｒｍｆは第ｍ反復処理後の残差成分である。
【００３８】
ＭＰ法によれば、基底セットのうちから残差成分との内積値を最大とする基底が選択され、選択された基底とこの基底に乗じる為の係数である最大の内積値とに残差成分が分解される。
【００３９】
ここで、動き補償予測の予測残差である予測残差画像は偏った分布を持つ画像信号であることが知られている。ＭＰ法では、予め基底として予測残差画像に出現しやすいパターンを二次元基底として記憶しておくことによって、記憶された二次元基底の中からより残差成分が小さくなるような基底を用いて画像を順次分解することが可能となる。したがって、ＤＣＴなどといった直交変換に比べて少ない数の基底を用いて効果的に予測残差画像を表すことができる。
【００４０】
本実施形態では、基底記憶部６ｂが基底セットを記憶している。変換部６ａは、基底記憶部６ｂによって提供される基底セットを用い、残差成分との内積値を最大とする基底を特定するための基底情報Ｉ１２を求め、基底情報Ｉ１２を逆変換部６ｅに出力する。また、基底情報Ｉ１２は、残差補償情報Ｉ５の一部として符号化部１２に出力される。変換部６ａは、上記の内積値を補償係数Ｉ１３として求め、補償係数Ｉ１３を量子化部６ｃに出力する。
【００４１】
量子化部６ｃは、変換部６ａによって出力された補償係数Ｉ１３に量子化操作を施すことによって、量子化補償係数Ｉ１４を生成する。量子化部６ｃは、量子化補償係数Ｉ１４を逆量子化部６ｄに出力すると共に、量子化補償係数Ｉ１４を残差補償情報Ｉ５の一部として符号化部１２に出力する。
【００４２】
逆量子化部６ｄは、量子化補償係数Ｉ１４を逆量子化し、逆量子化補償係数Ｉ１５を生成する。逆量子化部６ｄは、逆量子化補償係数Ｉ１５を逆変換部６ｅに出力する。逆変換部６ｅは、逆量子化補償係数Ｉ１５、基底情報Ｉ１２、及び基底記憶部６ｂに記憶されている基底を用い、変換部６ａによって行われる上述の変換処理の逆変換処理を実行することによって、残差補償画像Ｉ４を生成する。逆変換部６ｅは、残差補償画像Ｉ４を減算部８及び加算部１６に出力する。
【００４３】
上述したように、符号化部１２は、動き補償予測部２によって出力された動き情報Ｉ２を符号化してなる符号化データ、量子化変換部１０によって出力された量子化変換係数Ｉ７を符号化してなる符号化データ、及び、残差補償部６よって出力された残差補償情報Ｉ５を符号化してなる符号化データを生成する。符号化部１２は、これら符号化データを含む圧縮データＩ１６を生成する。この符号化処理には、例えば、ハフマン符号化や算術符号化といったエントロピー符号化処理を用いることができる。符号化部１２は、動き情報Ｉ２および量子化変換係数Ｉ７に関しては、例えばＭＰＥＧ−４符号化方式などといった従来の動画像符号化方式に採用されているエントロピー符号化と同様の方法によって符号化を行うことができる。
【００４４】
残差補償情報Ｉ５のエントロピー符号化について説明する。上述したように、残差補償情報Ｉ５は基底情報Ｉ１２および量子化補償係数Ｉ１４を含んでいる。基底情報Ｉ１２は基底セットの中から１つの基底を特定するための情報であるので、例えば２ｃ個の基底が基底記憶部６ｂに記憶されている場合、ｃビットの固定長符号によって基底情報Ｉ１２を符号化することができる。また、量子化補償係数Ｉ１４は基底に乗じるスカラ値を量子化したものであり、例えばレンジを１〜２ｄの範囲とすると、ｄビットの固定長符号によって量子化補償係数Ｉ１４を符号化することができる。
【００４５】
次に、動画像符号化装置１の動作について説明する。併せて、本発明の第１実施形態にかかる動画像符号化方法について説明する。図３は第１実施形態にかかる動画像符号化方法のフローチャートである。また、図４は、第１実施形態の動画像符号化方法における残差補償に関する処理のフローチャートである。
【００４６】
図３に示すように、第１実施形態にかかる動画像符号化方法においては、まず、動き補償予測部２によって動き補償予測が行われる（ステップＳ０１）。動き補償予測においては、符号化対象画像Ｉ０が所定のサイズのブロックに分割される。そして、各々のブロックについて動き補償予測部２によって参照画像に対する動きベクトルが求められ、符号化対象画像Ｉ０に関する予測画像Ｉ１が生成される。参照画像としては、参照画像記憶部２０に記憶された画像が用いられる。また、動き補償予測部２によって、動きベクトルといった情報を含む上述の動き情報Ｉ２が符号化部１２に出力される。
【００４７】
次に、動き補償予測部２によって出力された予測画像Ｉ１と符号化対象画像Ｉ０との差演算が、動き残差生成部４によって実行されることによって予測残差画像Ｉ３が生成される（ステップＳ０２）。
【００４８】
次に、残差補償部６によって残差補償が行われる（ステップＳ０３）。残差補償においては、図４に示すように、変換部６ａによって基底記憶部６ｂに記憶されている基底を用いて予測残差画像Ｉ３が分解される。そして、変換部６ａによって、予測残差画像Ｉ３の分解に用いられた基底を特定するための基底情報Ｉ１２と基底に乗ずる補償係数Ｉ１３が出力される（ステップＳ０４）。
【００４９】
次に、量子化部６ｃによって補償係数Ｉ１３が量子化され、量子化補償係数Ｉ１４とされる（ステップＳ０５）。基底情報Ｉ１２および量子化補償係数Ｉ１４は残差補償情報Ｉ５として符号化部１２に出力される。
【００５０】
次に、逆量子化部６ｄによって量子化補償係数Ｉ１４が、逆量子化され、逆量子化補償係数Ｉ１５とされる（ステップＳ０６）。そして、逆変換部６ｅによって、逆量子化補償係数Ｉ１５、基底情報Ｉ１２、及び基底記憶部６ｂに記憶されている基底が用いられ変換部６ａによる変換処理の逆操作である逆変換処理が行われることによって、残差補償画像Ｉ４が生成される。（ステップＳ０７）。
【００５１】
図３を参照すると、次に、残差補償部６によって出力された残差補償画像Ｉ４と動き残差生成部４よって出力された予測残差画像Ｉ３との差演算が減算部８によって実行されることによって、補償残差画像Ｉ６が生成される（ステップＳ０８）。
【００５２】
次に、量子化変換部１０によって、補償残差画像Ｉ６が上述したように係数の集合に分解された後、その集合に含まれる係数に量子化操作が施されることによって量子化変換係数Ｉ７が出力される（ステップＳ０９）。
【００５３】
次に、逆量子化変換部１４によって量子化変換係数Ｉ７に逆量子化操作が施されることによって、逆量子化変換係数が生成される。そして、逆量子化変換係数に、量子化変換部１０によって実行された変換処理の逆変換処理が施され、復号補償残差画像Ｉ８が生成される（ステップＳ１０）。
【００５４】
次に、復号補償残差画像Ｉ８と残差補償画像Ｉ４が、加算部１６によって加算され、復号予測残差画像Ｉ９が生成される（ステップＳ１１）。さらに、復号画像生成部１８によって復号予測残差画像Ｉ９と予測画像Ｉ１が加算されることによって、復号画像Ｉ１０が生成される（ステップＳ１２）。復号画像Ｉ１０は、上述したように参照画像記憶部２０によって参照画像Ｉ１１として記憶され（ステップＳ１３）、動き補償予測部２によって符号化対象画像の予測画像を生成する処理に用いられる。そして、動き情報Ｉ２と残差補償情報Ｉ５と、量子化変換係数Ｉ７とが符号化部１２によって符号化されることによって、圧縮データＩ１６が生成される（ステップＳ１４）。
【００５５】
次に、コンピュータを動画像符号化装置１として機能させる動画像符号化プログラム３０について説明する。図５は、動画像符号化プログラム３０の構成を示す図である。図５に示すように動画像符号化プログラム３０は、処理を統括するメインモジュール３１と、動き補償予測モジュール３２と、動き残差生成モジュール３４と、残差補償モジュール３６と、減算モジュール３８と、量子化変換モジュール４０と、符号化モジュール４２と、逆量子化変換モジュール４４と、加算モジュール４６と、復号画像生成モジュール４８と、参照画像記憶モジュール５０とを備える。残差補償モジュール３６は、変換サブモジュール３６ａと、基底記憶サブモジュール３６ｂと、量子化サブモジュール３６ｃと、逆量子化サブモジュール３６ｄと、逆変換サブモジュール３６ｅとを備えている。
【００５６】
動き補償予測モジュール３２、動き残差生成モジュール３４、残差補償モジュール３６、減算モジュール３８、量子化変換モジュール４０、符号化モジュール４２、逆量子化変換モジュール４４、加算モジュール４６、復号画像生成モジュール４８、参照画像記憶モジュール５０、変換サブモジュール３６ａ、基底記憶サブモジュール３６ｂ、量子化サブモジュール３６ｃ、逆量子化サブモジュール３６ｄ、逆変換サブモジュール３６ｅがコンピュータに実現させる機能は、動き補償予測部２、動き残差生成部４、残差補償部６、減算部８、量子化変換部１０、符号化部１２、逆量子化変換部１４、加算部１６、復号画像生成部１８、参照画像記憶部２０、変換部６ａ、基底記憶部６ｂ、量子化部６ｃ、逆量子化部６ｄ、逆変換部６ｅとそれぞれ同様である。
【００５７】
以下、第１実施形態にかかる動画像符号化装置１の作用及び効果について説明する。動画像符号化装置１では、符号化対象画像に対して動き補償予測を施して生成される予測画像と上記符号化対象画像との差分である予測残差画像に対してＭＰ法を適用することによって、少ない基底数で効率よく予測残差画像に出現しやすい信号パターンを表すことができる。例えば、エッジ部分の画像のようにＤＣＴやウェーブレット変換のような直交変換ではすべての周波数帯域に係数が出現するため、効率的に符号化を行うことができない。しかし、二次元基底にエッジ形状のものを予め記憶することによって、少ない数の基底を用いて予測残差画像を表現することが可能となるので、より効率的な符号化が実現される。
【００５８】
また、残差補償画像と予測残差画像との差分である補償残差画像は、予測残差画像において出現しやすいパターンを取り除かれた画像であるため、ＤＣＴを用いて効率よく表すことができる。このように、本発明の第１実施形態にかかる動画像符号化装置１においては、予測残差画像と残差補償画像をそれぞれに適した方法で分解することができる。その結果、符号化対象画像をより効率よく符号化することができる。
【００５９】
なお、本実施形態における変換部６ａは、所定の第１の変換規則としてＭＰ法に従うように構成されていたが、ＭＰ法に限らず、特定のパターンをより効果的に分解できる変換規則に従う限り、本発明の思想による効果が得られる。例えば、所定の第１の変換規則には、ＭＰ法の他にベクトル量子化法（以下ＶＱ法とよぶ）を適用することができる。
【００６０】
ＶＱ法は、予測残差画像を初期の残差成分とし、下式（２）を用いて残差成分を基底セットを用いて分解する処理を反復するものである。
【数２】
ここで、式（２）において、ｆは予測残差画像であり、Ｒｍｆは第ｍ反復処理後の残差成分である。Ｒｍｆのエネルギーを最小とする（係数ａｎ，基底ｖｋｎ）の組み合わせを選択し、選択された基底とこの基底に乗じる為の係数に残差成分が分解される。ＶＱ法では、予測残差画像に出現しやすいパターンを基底とする基底セットを用いることによって、基底セットの中から残差成分が小さくなるような基底を用いて画像を順次分解するので、少ない基底数でより効率的に予測残差画像を分解することができる。
【００６１】
次に、本発明の第２実施形態にかかる動画像符号化装置６０について説明する。動画像符号化装置６０は、参照復号予測残差画像Ｉ１７を記憶するための復号予測残差画像記憶部（復号予測残差画像記憶手段）６８を備え、残差補償における変換で用いられる基底として復号予測残差画像記憶部６８に記憶された参照復号予測残差画像Ｉ１７の部分画像を用いることを特徴とする。以下、動画像符号化装置６０について詳細に説明する。
【００６２】
動画像符号化装置６０の機能的な構成について説明する。図６は、動画像符号化装置６０の機能的な構成を示す図である。動画像符号化装置６０は、機能的には、動き補償予測部２と、動き残差生成部４と、残差補償部（残差補償手段）６２と、減算部８と、量子化変換部１０と、符号化部（符号化手段）６４と、逆量子化変換部１４と、加算部（加算手段）６６と、復号画像生成部１８と、参照画像記憶部２０と、復号予測残差画像記憶部（復号予測残差画像記憶手段）６８とを備える。以下、第１実施形態の動画像符号化装置１と異なる要素について説明する。
【００６３】
復号予測残差画像記憶部６８は、加算部６６によって出力された復号予測残差画像Ｉ９を参照復号予測残差画像Ｉ１７として記憶し、記憶した参照復号予測残差画像Ｉ１７を残差補償部６２に提供する。
【００６４】
残差補償部６２は、動き残差生成部４によって出力された予測残差画像Ｉ３に対する残差補償を行い残差補償画像Ｉ４を生成する。また、残差補償部６２は、残差補償を再現するために必要な情報を残差補償情報Ｉ５として符号化部６４に出力する。
【００６５】
以下、残差補償部６２について詳細に説明する。図７は、残差補償部６２の構成を示す図である。残差補償部６２は、変換部（変換手段）６２ａと、量子化部（量子化手段）６２ｂと、逆量子化部（逆量子化手段）６２ｃと、逆変換部（逆変換手段）６２ｄとを有している。
【００６６】
変換部６２ａは、第１実施形態の変換部６ａと同様に、予測残差画像Ｉ３に所定の第１の変換規則を用いた変換処理を施す。変換部６２ａは、この所定の第１の変換規則として、ＭＰ法やＶＱ法を適用することができる。第１実施形態の変換部６ａは、ＭＰ法やＶＱ法に用いる基底として基底記憶部６ｂに記憶されている基底を用いていたが、変換部６２ａは、参照復号予測残差画像Ｉ１７の部分画像を基底として用いる。
【００６７】
図８は、変換部６２ａによる変換処理を説明するための図である。図８に示すように、変換部６２ａは、予測残差画像Ｉ３における注目領域Ｒ１の画像の変換処理に、参照復号予測残差画像Ｉ１７の対応する領域Ｒ２の部分画像とその近傍の領域Ｒ３における部分画像を基底として用いる。変換部６２ａは、これらの部分画像のうち、注目領域Ｒ１の画像に対する残差エネルギーを最小とする部分画像を基底として選択することによって、注目領域Ｒ１の画像を基底に分解する。変換部６２ａは、分解に用いた基底（部分画像）を特定するための情報を基底情報Ｉ１２として、逆変換部６２ｄに出力する。また、変換部６２ａは、基底情報Ｉ１２を、残差補償情報Ｉ５の一部として符号化部６４に出力する。また、変換部６２ａは、基底に乗じる係数を補償係数Ｉ１３として、量子化部６２ｂに出力する。
【００６８】
量子化部６２ｂは、変換部６２ａによって出力された補償係数Ｉ１３に量子化操作を施すことによって、量子化補償係数Ｉ１４を生成する。量子化部６２ｂは、量子化補償係数Ｉ１４を逆量子化部６２ｃに出力すると共に、量子化補償係数Ｉ１４を残差補償情報Ｉ５の一部として符号化部６４に出力する。
【００６９】
逆量子化部６２ｃは、量子化補償係数Ｉ１４を逆量子化し、逆量子化補償係数Ｉ１５を生成する。逆量子化部６２ｃは、逆量子化補償係数Ｉ１５を逆変換部６２ｄに出力する。逆変換部６２ｄは、逆量子化補償係数Ｉ１５、基底情報Ｉ１２、及び参照復号予測残差画像Ｉ１７を用い、変換部６２ａによって行われる上述の変換処理の逆変換処理を実行することによって、残差補償画像Ｉ４を生成する。逆変換部６２ｄは、残差補償画像Ｉ４を減算部８及び加算部６６に出力する。
【００７０】
符号化部６４は、動き補償予測部２によって出力された動き情報Ｉ２と、量子化変換部１０によって出力された量子化変換係数Ｉ７と、残差補償部６２によって出力された残差補償情報Ｉ５をそれぞれ圧縮してなる符号化データを生成し、これら符号化データを含む圧縮データを出力する。なお、符号化部６４による圧縮処理は、第１実施形態の符号化部１２と同様の処理である。
【００７１】
以下、動画像符号化装置６０の動作を説明し、併せて本発明の第２実施形態にかかる動画像符号化方法について説明する。図９は、第２実施形態にかかる動画像符号化方法のフローチャートである。図１０は、第２実施形態の動画像符号化方法における残差補償に関する処理のフローチャートである。
【００７２】
図９に示すように、第２実施形態にかかる動画像符号化方法においては、まず、動き補償予測部２によって動き補償予測が行われる（ステップＳ２１）。ステップＳ２１における処理は、第１実施形態のステップＳ０１の処理と同様である。
【００７３】
次に、動き補償予測部２によって出力された予測画像Ｉ１と符号化対象画像Ｉ０との差演算が、動き残差生成部４によって実行されることによって予測残差画像Ｉ３が生成される（ステップＳ２２）。
【００７４】
次に、残差補償部６２によって残差補償が行われる（ステップＳ２３）。残差補償においては、図１０に示すように、変換部６２ａによって予測残差画像Ｉ３が分解される。ここで、変換部６２ａは、上述したように、復号予測残差画像記憶部６８によって提供される参照復号予測残差画像Ｉ１７の部分画像を基底として用い予測残差画像Ｉ３の分解を行う。そして、変換部６２ａによって、予測残差画像Ｉ３の分解に用いられた基底（部分画像）を特定するための基底情報Ｉ１２と基底に乗ずる補償係数Ｉ１３が出力される（ステップＳ２４）。
【００７５】
次に、量子化部６２ｂによって補償係数Ｉ１３が量子化され、量子化補償係数Ｉ１４とされる（ステップＳ２５）。基底情報Ｉ１２および量子化補償係数Ｉ１４は残差補償情報Ｉ５として符号化部６４に出力される。
【００７６】
次に、逆量子化部６２ｃによって量子化補償係数Ｉ１４が、逆量子化され、逆量子化補償係数Ｉ１５とされる（ステップＳ２６）。そして、逆変換部６２ｄによって、かかる逆量子化補償係数Ｉ１５、基底情報Ｉ１２、及び参照復号予測残差画像Ｉ１７が用いられ、変換部６２ａによる変換処理の逆操作である逆変換処理が行われることによって、残差補償画像Ｉ４が生成される。（ステップＳ２７）。
【００７７】
図９を参照すると、次に、残差補償部６によって出力された残差補償画像Ｉ４と動き残差生成部４よって出力された予測残差画像Ｉ３との差演算が減算部８によって実行されることによって、補償残差画像Ｉ６が生成される（ステップＳ２８）。
【００７８】
次に、量子化変換部１０によって、補償残差画像Ｉ６が上述したように係数の集合に分解された後、その集合に含まれる係数に量子化操作が施されることによって量子化変換係数Ｉ７が出力される（ステップＳ２９）。
【００７９】
次に、逆量子化変換部１４によって量子化変換係数Ｉ７に逆量子化操作が施されることによって、逆量子化変換係数が生成される。そして、逆量子化変換係数に、量子化変換部１０によって実行された変換処理の逆変換処理が施され、復号補償残差画像Ｉ８が生成される（ステップＳ３０）。
【００８０】
次に、復号補償残差画像Ｉ８と残差補償画像Ｉ４が、加算部６６によって加算され、復号予測残差画像Ｉ９が生成される（ステップＳ３１）。復号予測残差画像Ｉ９は、復号予測残差画像記憶部６８によって参照復号予測残差画像Ｉ１７として記憶され、残差補償部６２による処理に提供される（ステップＳ３２）。
【００８１】
次に、復号画像生成部１８によって復号予測残差画像Ｉ９と予測画像Ｉ１が加算されることによって、復号画像Ｉ１０が生成される（ステップＳ３３）。復号画像Ｉ１０は、上述したように参照画像記憶部２０によって参照画像Ｉ１１として記憶され（ステップＳ３４）、動き補償予測部２によって符号化対象画像の予測画像を生成する処理に用いられる。そして、動き情報Ｉ２と残差補償情報Ｉ５と、量子化変換係数Ｉ７とが符号化部６４によって符号化されることによって、圧縮データＩ１６が生成される（ステップＳ３５）。
【００８２】
次に、コンピュータを動画像符号化装置６０として機能させる動画像符号化プログラム７０について説明する。図１１は、動画像符号化プログラム７０の構成を示す図である。図１１に示すように動画像符号化プログラム７０は、処理を統括するメインモジュール３１と、動き補償予測モジュール３２と、動き残差生成モジュール３４と、残差補償モジュール７２と、減算モジュール３８と、量子化変換モジュール４０と、符号化モジュール７４と、逆量子化変換モジュール４４と、加算モジュール７６と、復号予測残差画像記憶モジュール７８と、復号画像生成モジュール４８と、参照画像記憶モジュール５０とを備える。残差補償モジュール７２は、変換サブモジュール７２ａと、量子化サブモジュール７２ｂと、逆量子化サブモジュール７２ｃと、逆変換サブモジュール７２ｄとを備えている。
【００８３】
動き補償予測モジュール３２、動き残差生成モジュール３４、残差補償モジュール７２、減算モジュール３８、量子化変換モジュール４０、符号化モジュール７４、逆量子化変換モジュール４４、加算モジュール７６、復号予測残差画像記憶モジュール７８、復号画像生成モジュール４８、参照画像記憶モジュール５０、変換サブモジュール７２ａ、量子化サブモジュール７２ｂ、逆量子化サブモジュール７２ｃ、逆変換サブモジュール７２ｄがコンピュータに実現させる機能は、動き補償予測部２、動き残差生成部４、残差補償部６２、減算部８、量子化変換部１０、符号化部６４、逆量子化変換部１４、加算部６６、復号予測残差画像記憶部６８、復号画像生成部１８、参照画像記憶部２０、変換部６２ａ、量子化部６２ｂ、逆量子化部６２ｃ、逆変換部６２ｄとそれぞれ同様である。
【００８４】
以上のように、残差補償における変換処理に用いる基底として、復号予測残差画像記憶部６８に記憶された参照復号予測残差画像（復号予測残差画像）の部分画像を用いることによって、予測残差画像の類似性を利用した更に効果的な残差補償を行うことができるので、効率の良い符号化を実現することができる。
【００８５】
次に、本発明の第３実施形態にかかる動画像符号化装置８０について説明する。動画像符号化装置８０は、基底セットを記憶するための基底記憶部（基底記憶手段）８２ｂと、参照復号予測残差画像Ｉ１７を記憶するための復号予測残差画像記憶部（復号予測残差画像記憶手段）６８とを備え、残差補償における変換で用いられる基底として基底記憶部８２ｂに記憶された基底セット、又は、復号予測残差画像記憶部６８に記憶された参照復号予測残差画像Ｉ１７の部分画像を用いることを特徴とする。
【００８６】
動画像符号化装置８０の機能的な構成について説明する。図１２は、動画像符号化装置８０の機能的な構成を示す図である。動画像符号化装置８０は、機能的には、動き補償予測部２と、動き残差生成部４と、残差補償部（残差補償手段）８２と、減算部８と、量子化変換部１０と、符号化部（符号化手段）８４と、逆量子化変換部１４と、加算部６６と、復号画像生成部１８と、参照画像記憶部２０と、復号予測残差画像記憶部６８とを備える。以下、第１実施形態の動画像符号化装置１、又は、第２実施形態の動画像符号化装置６０と異なる要素について説明する。
【００８７】
残差補償部８２は、予測残差画像Ｉ３に対する残差補償を行い残差補償画像Ｉ４を生成する。残差補償部８２は、生成した残差補償画像Ｉ４を減算部８及び加算部６６に出力する。また、残差補償部８２は、残差補償を再現するために必要な情報を残差補償情報Ｉ５として符号化部８４に出力する。
【００８８】
以下、残差補償部８２について詳細に説明する。図１３は、残差補償部８２の構成を示す図である。図１３に示すように、残差補償部８２は、変換部（変換手段）８２ａと、基底記憶部（基底記憶手段）８２ｂと、量子化部（量子化手段）８２ｃと、逆量子化部（逆量子化手段）８２ｄと、逆変換部（逆変換手段）８２ｅとを有している。
【００８９】
変換部８２ａは、予測残差画像Ｉ３に所定の第１の変換規則を用いた変換処理を施す。所定の第１の変換規則としては、第１実施形態と同様にＭＰ法、或いはＶＱ法を用いることができる。
【００９０】
本実施形態では、基底記憶部８２ｂが複数の二次元基底を含む基底セットを記憶している。変換部８２ａは、第１実施形態と同様に基底記憶部８２ｂによって提供される基底セットを用いて予測残差画像Ｉ３を分解することができ、また、第２実施形態と同様に復号予測残差画像記憶部６８から提供される参照復号予測残差画像Ｉ１７中の部分画像を用いて予測残差画像Ｉ３を分解することもできる。
【００９１】
変換部８２ａは、基底記憶部８２ｂに記憶されている基底セットまたは復号予測残差画像記憶部６８から提供される参照復号予測残差画像Ｉ１７中の部分画像のうち、エネルギー減少量が最大のものを基底として選択し、予測残差画像Ｉ３の分解を行う。変換部８２ａは、この分解に用いられた基底を特定するための情報を基底情報Ｉ１２として逆変換部６２ｄに出力する。また、変換部８２ａは、基底情報Ｉ１２を、残差補償情報Ｉ５の一部として符号化部８４に出力する。また、変換部６２ａは、基底に乗じる係数を補償係数Ｉ１３として、量子化部８２ｃに出力する。
【００９２】
量子化部８２ｃは、変換部８２ａによって出力された補償係数Ｉ１３に量子化操作を施すことによって、量子化補償係数Ｉ１４を生成する。量子化部８２ｃは、量子化補償係数Ｉ１４を逆量子化部８２ｄに出力すると共に、量子化補償係数Ｉ１４を残差補償情報Ｉ５の一部として符号化部８４に出力する。
【００９３】
逆量子化部８２ｄは、量子化補償係数Ｉ１４を逆量子化し、逆量子化補償係数Ｉ１５を生成する。逆量子化部８２ｄは、逆量子化補償係数Ｉ１５を逆変換部８２ｅに出力する。逆変換部８２ｅは、逆量子化補償係数Ｉ１５、基底情報Ｉ１２、基底記憶部８２ｂに記憶された基底セット、及び参照復号予測残差画像Ｉ１７を用い、変換部８２ａによって行われる上述の変換処理の逆変換処理を実行することによって、残差補償画像Ｉ４を生成する。逆変換部８２ｅは、残差補償画像Ｉ４を減算部８及び加算部６６に出力する。
【００９４】
符号化部６４は、動き補償予測部２によって出力された動き情報Ｉ２と、量子化変換部１０によって出力された量子化変換係数Ｉ７と、残差補償部６２によって出力された残差補償情報Ｉ５をそれぞれ圧縮してなる符号化データを生成し、これら符号化データを含む圧縮データを出力する。なお、符号化部８４による圧縮処理は、第１実施形態の符号化部１２と同様の処理である。
【００９５】
以下、動画像符号化装置８０の動作を説明し、併せて本発明の第３実施形態にかかる動画像符号化方法について説明する。図１４は、第３実施形態にかかる動画像符号化方法のフローチャートである。図１５は、第３実施形態の動画像符号化方法における残差補償に関する処理のフローチャートである。
【００９６】
図１４に示すように、第３実施形態にかかる動画像符号化方法においては、まず、動き補償予測部２によって動き補償予測が行われる（ステップＳ４１）。ステップＳ４１における処理は、第１実施形態のステップＳ０１の処理と同様である。
【００９７】
次に、動き補償予測部２によって出力された予測画像Ｉ１と符号化対象画像Ｉ０との差演算が、動き残差生成部４によって実行されることによって予測残差画像Ｉ３が生成される（ステップＳ４２）。
【００９８】
次に、残差補償部８２によって残差補償が行われる（ステップＳ４３）。残差補償においては、図１５に示すように、変換部８２ａによって予測残差画像Ｉ３が分解される。ここで、変換部８２ａは、上述したように、基底記憶部８２ｂに記憶された記憶セット及び復号予測残差画像記憶部６８によって提供される参照復号予測残差画像Ｉ１７の部分画像を基底として用い予測残差画像Ｉ３の分解を行う。そして、変換部８２ａによって、予測残差画像Ｉ３の分解に用いられた基底を特定するための基底情報Ｉ１２と基底に乗ずる補償係数Ｉ１３が出力される（ステップＳ４４）。
【００９９】
次に、量子化部８２ｃによって補償係数Ｉ１３が量子化され、量子化補償係数Ｉ１４とされる（ステップＳ４５）。基底情報Ｉ１２および量子化補償係数Ｉ１４は残差補償情報Ｉ５として符号化部６４に出力される。
【０１００】
次に、逆量子化部８２ｄによって量子化補償係数Ｉ１４が、逆量子化され、逆量子化補償係数Ｉ１５とされる（ステップＳ４６）。そして、逆変換部８２ｅによって、かかる逆量子化補償係数Ｉ１５、基底情報Ｉ１２、基底記憶部８２ｂに記憶された基底セット、及び参照復号予測残差画像Ｉ１７が用いられ、変換部６２ａによる変換処理の逆操作である逆変換処理が行われることによって、残差補償画像Ｉ４が生成される。（ステップＳ４７）。
【０１０１】
図１４を参照すると、次に、残差補償部８２によって出力された残差補償画像Ｉ４と動き残差生成部４よって出力された予測残差画像Ｉ３との差演算が減算部８によって実行されることによって、補償残差画像Ｉ６が生成される（ステップＳ４８）。
【０１０２】
次に、量子化変換部１０によって、補償残差画像Ｉ６が上述したように係数の集合に分解された後、その集合に含まれる係数に量子化操作が施されることによって量子化変換係数Ｉ７が出力される（ステップＳ４９）。
【０１０３】
次に、逆量子化変換部１４によって量子化変換係数Ｉ７に逆量子化操作が施されることによって、逆量子化変換係数が生成される。そして、逆量子化変換係数に、量子化変換部１０によって実行された変換処理の逆変換処理が施され、復号補償残差画像Ｉ８が生成される（ステップＳ５０）。
【０１０４】
次に、復号補償残差画像Ｉ８と残差補償画像Ｉ４が、加算部６６によって加算され、復号予測残差画像Ｉ９が生成される（ステップＳ５１）。復号予測残差画像Ｉ９は、復号予測残差画像記憶部６８によって参照復号予測残差画像Ｉ１７として記憶され、残差補償部８２による処理に提供される（ステップＳ５２）。
【０１０５】
次に、復号画像生成部１８によって復号予測残差画像Ｉ９と予測画像Ｉ１が加算されることによって、復号画像Ｉ１０が生成される（ステップＳ５３）。復号画像Ｉ１０は、上述したように参照画像記憶部２０によって参照画像Ｉ１１として記憶され（ステップＳ５４）、動き補償予測部２によって符号化対象画像の予測画像を生成する処理に用いられる。そして、動き情報Ｉ２と残差補償情報Ｉ５と、量子化変換係数Ｉ７とが符号化部８４によって符号化されることによって、圧縮データＩ１６が生成される（ステップＳ５５）。
【０１０６】
次に、コンピュータを動画像符号化装置８０として機能させる動画像符号化プログラム９０について説明する。図１６は、動画像符号化プログラム９０の構成を示す図である。図１６に示すように動画像符号化プログラム９０は、処理を統括するメインモジュール３１と、動き補償予測モジュール３２と、動き残差生成モジュール３４と、残差補償モジュール９２と、減算モジュール３８と、量子化変換モジュール４０と、符号化モジュール９４と、逆量子化変換モジュール４４と、加算モジュール７６と、復号予測残差画像記憶モジュール７８と、復号画像生成モジュール４８と、参照画像記憶モジュール５０とを備える。残差補償モジュール９２は、変換サブモジュール９２ａと、基底記憶サブモジュール９２ｂと、量子化サブモジュール９２ｃと、逆量子化サブモジュール９２ｄと、逆変換サブモジュール９２ｅとを備えている。
【０１０７】
動き補償予測モジュール３２、動き残差生成モジュール３４、残差補償モジュール９２、減算モジュール３８、量子化変換モジュール４０、符号化モジュール９４、逆量子化変換モジュール４４、加算モジュール７６、復号予測残差画像記憶モジュール７８、復号画像生成モジュール４８、参照画像記憶モジュール５０、変換サブモジュール９２ａ、基底記憶サブモジュール９２ｂ、量子化サブモジュール９２ｃ、逆量子化サブモジュール９２ｄ、逆変換サブモジュール９２ｅがコンピュータに実現させる機能は、動き補償予測部２、動き残差生成部４、残差補償部８２、減算部８、量子化変換部１０、符号化部８４、逆量子化変換部１４、加算部６６、復号予測残差画像記憶部６８、復号画像生成部１８、参照画像記憶部２０、変換部８２ａ、基底記憶部８２ｂ、量子化部８２ｃ、逆量子化部８２ｄ、逆変換部８２ｅとそれぞれ同様である。
【０１０８】
以上のように、動画像符号化装置８０によれば、残差補償における変換で用いられる基底として復号予測残差画像記憶部６８に記憶された参照復号予測残差画像Ｉ１７の部分画像と基底記憶部８２ｂに記憶された基底セットとが併用される。したがって、動画像符号化装置８０は、予測残差画像の類似性を利用して効果的に予測残差画像Ｉ３の残差補償を行うことができ、また、フレーム間に急激な変化が生じている場合には基底記憶部８２ｂに記憶された基底セットを用いることができるので、効率のよい符号化を実現することができる。
【０１０９】
次に、本発明の第４実施形態にかかる動画像復号装置１００について説明する。動画像復号装置１００は、第１実施形態の動画像符号化装置１によって生成された圧縮データを復号して動画像を生成する装置である。動画像復号装置１００は、物理的には、ＣＰＵ（中央演算装置）、メモリといった記憶装置、ハードディスクといった記憶装置等を備えるコンピュータである。ここでの「コンピュータ」とは、パーソナルコンピュータ等の通常のコンピュータに加えて、移動通信端末といった情報携帯端末も含むものであり、本発明の思想は情報処理可能な機器に広く適用される。
【０１１０】
以下、動画像復号装置１００の機能的な構成について説明する。図１７は、動画像復号装置１００の機能的な構成を示す図である。動画像復号装置１００は、機能的には、復号部（復号手段）１０２と、逆量子化変換部（逆量子化変換手段）１０４と、残差復号部（残差復号手段）１０６と、加算部（加算手段）１０８と、動き補償予測部（動き補償予測手段）１１０と、復号画像生成部（復号画像生成手段）１１２と、参照画像記憶部（参照画像記憶手段）１１４と、を備える。
【０１１１】
復号部１０２は、動画像符号化装置１によって生成された圧縮データＩ１６を復号する。復号部１０２は、圧縮データＩ１６を復号することによって得られる量子化変換係数Ｉ７を逆量子化変換部１０４に出力する。また、復号部１０２は、圧縮データＩ１６を復号することによって得られる残差補償情報Ｉ５を残差復号部１０６に出力する。また、復号部１０２は、圧縮データＩ１６を復号することによって得られる動き情報Ｉ２を動き補償予測部１１０に出力する。
【０１１２】
逆量子化変換部１０４は、上記の量子化変換係数に逆量子化操作を施してなる逆量子化変換係数を生成する。逆量子化変換部１０４は、上述した所定の第２の逆変換規則を用い、逆量子化変換係数を逆変換することによって復号補償残差画像Ｉ８を生成する。この所定の第２の逆変換規則は、第１実施形態の動画像符号化装置１によって用いられる所定の第２の変換規則の逆変換操作である。
【０１１３】
残差復号部１０６は、復号部１０２によって出力される残差補償情報Ｉ５を用いて残差復号を行うことによって残差補償画像Ｉ４を生成する。残差復号部１０６による処理の詳細については後述する。
【０１１４】
加算部１０８は、逆量子化変換部１０４によって生成された復号補償残差画像Ｉ８と残差復号部１０６によって生成された残差補償画像Ｉ４を加算して復号予測残差画像Ｉ９を生成する。
【０１１５】
動き補償予測部１１０は、復号部１０２によって出力された動き情報Ｉ２を用いて、参照画像記憶部１１４に記憶された参照画像Ｉ１１に対する動き補償予測を行い、復号画像Ｉ１０の予測画像Ｉ１を生成する。
【０１１６】
復号画像生成部１１２は、加算部１０８によって生成された復号予測残差画像Ｉ９と動き補償予測部１１０によって生成された予測画像Ｉ１を加算して復号画像Ｉ１０を生成する。復号画像生成部１１２は、復号画像Ｉ１０を参照画像記憶部１１４へ出力し、復号画像Ｉ１０を参照画像記憶部１１４に記憶させる。参照画像記憶部１１４は、記憶した復号画像Ｉ１０を、動き補償予測のために動き補償予測部１１０に参照画像Ｉ１１として提供する。
【０１１７】
次に、残差復号部１０６の詳細について説明する。残差復号部１０６は、残差補償情報Ｉ５に含まれる量子化補償係数Ｉ１４を逆量子化してなる逆量子化補償係数Ｉ１５と、残差補償情報Ｉ５に含まれる基底情報Ｉ１２を用いて所定の第１の逆変換規則を用いて逆変換を行い残差補償画像Ｉ４を生成する。この所定の第１の逆変換規則は、第１実施形態の動画像符号化装置１によって用いられる所定の第１の変換規則の逆変換操作である。
【０１１８】
図１８は、残差復号部１０６の構成を示す図である。残差復号部１０６は、逆量子化部（逆量子化手段）１０６ａと、逆変換部（逆変換手段）１０６ｂと、基底記憶部（基底記憶手段）１０６ｃとを備えている。
【０１１９】
逆量子化部１０６ａは、量子化補償係数Ｉ１４を逆量子化し、逆量子化補償係数Ｉ１５を生成する。逆変換部１０６ｂは、基底記憶部１０６ｃに記憶されている基底セットのうちから基底情報Ｉ１２によって特定される基底を抽出する。逆変換部１０６ｂは、抽出した基底と逆量子化部１０６ａによって生成された逆量子化補償係数Ｉ１５を用いて、変換部６ａによる変換処理の逆操作である逆変換処理を行い、残差補償画像Ｉ４を生成する。なお、基底記憶部１０６ｃには、基底記憶部６ｂに記憶されている基底と同様の基底を含む基底セットを記憶させておくことができる。
【０１２０】
以下、動画像復号装置１００の動作について説明し、併せて第４実施形態にかかる動画像復号方法について説明する。図１９は、第４実施形態の動画像復号方法のフローチャートである。また、図２０は、第４実施形態の動画像復号方法の残差復号に関する処理を示すフローチャートである。
【０１２１】
図１９に示すように、第４実施形態の動画像復号方法においては、まず、動画像符号化装置１によって生成された圧縮データＩ１６から、復号部１０２によって量子化変換係数Ｉ７と残差補償情報Ｉ５と動き情報Ｉ２が復号される（ステップＳ６１）。
【０１２２】
次に、逆量子化変換部１０４が、量子化変換係数Ｉ７に逆量子化操作を施すことによって逆量子化変換係数を生成する。逆量子化変換部１０４は、生成した逆量子化変換係数に、所定の第２の逆変換規則による逆変換を施すことによって、復号補償残差画像Ｉ８を復元する（ステップＳ６２）。
【０１２３】
次に、残差復号部１０６が、復号部１０２によって復号された残差補償情報Ｉ５を用いて、残差復号を行い、残差補償画像Ｉ４を生成する（ステップＳ６３）。図２０に示すように残差復号部１０６では、逆量子化部１０６ａが量子化補償係数Ｉ１４を逆量子化することによって逆量子化補償係数Ｉ１５を生成する（ステップＳ６４）。
【０１２４】
次に、逆変換部１０６ｂが、逆量子化補償係数Ｉ１５、残差補償情報Ｉ５に含まれる基底情報Ｉ１２、及び基底記憶部１０６ｃに記憶され基底情報Ｉ１２によって特定される基底を用いて、変換部６ａによる変換処理の逆操作である逆変換処理を行い、残差補償画像Ｉ４を生成する（ステップＳ６５）。
【０１２５】
図１９を参照すると、次に、加算部１０８が復号補償残差画像Ｉ８と残差補償画像Ｉ４とを加算することによって復号予測残差画像Ｉ９を生成する（ステップＳ６６）。
【０１２６】
次に、動き補償予測部１１０が、復号部１０２によって出力された動き情報Ｉ２を用いて、参照画像記憶部１１４に記憶される参照画像Ｉ１１に対する動き補償予測を行うことによって復号画像Ｉ１０の予測画像Ｉ１を生成する（ステップＳ６７）。
【０１２７】
次に、復号画像生成部１１２が、予測画像Ｉ１と復号予測残差画像Ｉ９とを加算することによって、復号画像Ｉ１０を生成する（ステップＳ６８）。復号画像生成部１１２は、復号画像Ｉ１０を参照画像記憶部１１４へ出力し、復号画像Ｉ１０を参照画像記憶部１１４に記憶させる（ステップＳ６９）。参照画像記憶部１１４は、記憶した復号画像Ｉ１０を、動き補償予測のために動き補償予測部１１０に参照画像Ｉ１１として提供する。
【０１２８】
以下、コンピュータを動画像復号装置１００として動作させる動画像復号プログラム１２０について説明する。図２１は、動画像復号プログラム１２０の構成を示す図である。動画像復号プログラム１２０は、処理を統括するメインモジュール１２１と、復号モジュール１２２と、逆量子化変換モジュール１２４と、残差復号モジュール１２６と、加算モジュール１２８と、動き補償予測モジュール１３０と、復号画像生成モジュール１３２と、参照画像記憶モジュール１３４とを備える。残差復号モジュール１２６は、逆量子化サブモジュール１２６ａと、逆変換サブモジュール１２６ｂと、基底記憶サブモジュール１２６ｃとを有している。
【０１２９】
復号モジュール１２２、逆量子化変換モジュール１２４、残差復号モジュール１２６、加算モジュール１２８、動き補償予測モジュール１３０、復号画像生成モジュール１３２、参照画像記憶モジュール１３４、逆量子化サブモジュール１２６ａ、逆変換サブモジュール１２６ｂ、基底記憶サブモジュール１２６ｃがコンピュータに実現させる機能は、復号部１０２、逆量子化変換部１０４、残差復号部１０６、加算部１０８、動き補償予測部１１０、復号画像生成部１１２、参照画像記憶部１１４、逆量子化部１０６ａ、逆変換部１０６ｂ、基底記憶部１０６ｃとそれぞれ同様である。
【０１３０】
以下、第４実施形態にかかる動画像復号装置１００の作用及び効果を説明する。動画像復号装置１００は、圧縮データＩ１６を復号することによって得られる情報に逆量子化変換処理、残差復号処理、及び動き補償予測処理を行う。すなわち、動画像復号装置１００によれば、動画像符号化装置１によって動画像から圧縮データが生成される処理の逆処理が行われるので、上記の動画像が忠実に復元される。
【０１３１】
次に、本発明の第５実施形態にかかる動画像復号装置１４０について説明する。動画像復号装置１４０は、第２実施形態の動画像符号化装置６０によって生成された圧縮データＩ１６から動画像を復元する装置である。動画像復号装置１４０では、参照復号予測残差画像Ｉ１７を記憶するための復号予測残差画像記憶部（復号予測残差画像記憶手段）１４８を備え、残差復号における逆変換で用いられる基底として復号予測残差画像記憶部１４８に記憶された参照復号予測残差画像Ｉ１７の部分画像を用いることを特徴とする。
【０１３２】
以下、動画像復号装置１４０の機能的な構成について説明する。図２２は、動画像復号装置１４０の機能的な構成を示す図である。動画像復号装置１４０は、機能的には、復号部（復号手段）１４２と、逆量子化変換部１０４と、残差復号部（残差復号部）１４４と、加算部（加算手段）１４６と、動き補償予測部（動き補償予測手段）１１０と、復号画像生成部１１２と、参照画像記憶部１１４と、復号予測残差画像記憶部（復号予測残差画像記憶手段）１４８とを備える。以下、第４実施形態の動画像復号装置１００と異なる要素について説明する。
【０１３３】
復号部１４２は、動画像符号化装置６０によって生成された圧縮データＩ１６を復号し、量子化変換係数Ｉ７と、残差補償情報Ｉ５と、動き情報Ｉ２とを出力する。この残差補償情報Ｉ５には、復号予測残差画像記憶部１４８に記憶される参照復号予測残差画像Ｉ１７の部分画像を用いて残差補償画像Ｉ４を復元するための基底情報Ｉ１２と、量子化補償係数Ｉ１４が含まれている。
【０１３４】
残差復号部１４４は、残差補償情報Ｉ５を用いて残差復号を行い残差補償画像Ｉ４を生成する。以下、残差復号部１４４について詳細に説明する。図２３は、残差復号部１４４の構成を示す図である。図２３に示すように、残差復号部１４４は、逆量子化部（逆量子化手段）１４４ａと、逆変換部（逆変換手段）１４４ｂとを有する。
【０１３５】
逆量子化部１４４ａは、残差補償情報Ｉ５に含まれている量子化補償係数Ｉ１４に逆量子化操作を施すことによって、逆量子化補償係数Ｉ１５を生成する。
【０１３６】
逆変換部１４４ｂは、復号予測残差画像記憶部１４８に記憶された参照復号予測残差画像Ｉ１７のうち、残差補償情報Ｉ５に含まれている基底情報Ｉ１２から部分画像（基底）を特定する。逆変換部１４４ｂは、特定した部分画像と、逆量子化部１４４ａによって生成された逆量子化補償係数Ｉ１５とを用いて変換部６２ａによる変換処理の逆操作である逆変換処理を行い、残差補償画像Ｉ４を生成する。
【０１３７】
図２２を参照すると、加算部１４６は、復号部１４２によって復号された量子化変換係数Ｉ７が更に逆量子化変換部１０４によって逆量子化及び逆変換されてなる復号補償残差画像Ｉ８と残差復号部１４４によって生成された残差補償画像Ｉ４とを加算することによって、復号予測残差画像Ｉ９を生成する。加算部１４６は、復号予測残差画像Ｉ９を復号画像生成部１１２に出力すると共に、復号予測残差画像Ｉ９を復号予測残差画像記憶部１４８に参照復号予測残差画像Ｉ１７として記憶させる。復号予測残差画像記憶部１４８は、記憶した参照復号予測残差画像Ｉ１７を残差復号のために残差復号部１４４に提供する。
【０１３８】
次に、動画像復号装置１４０の動作について説明し、併せて第５実施形態にかかる動画像復号方法について説明する。図２４は、第５実施形態の動画像復号方法のフローチャートである。また、図２５は、第５実施形態の動画像復号方法の残差復号に関する処理を示すフローチャートである。
【０１３９】
図２４に示すように、第５実施形態の動画像復号方法においては、まず、動画像符号化装置６０によって生成された圧縮データＩ１６から、復号部１４２によって量子化変換係数Ｉ７と残差補償情報Ｉ５と動き情報Ｉ２が復号される（ステップＳ７１）。
【０１４０】
次に、逆量子化変換部１０４が、量子化変換係数Ｉ７に逆量子化操作を施すことによって逆量子化変換係数を生成する。逆量子化変換部１０４は、生成した逆量子化変換係数に、所定の第２の逆変換規則による逆変換を施すことによって、復号補償残差画像Ｉ８を復元する（ステップＳ７２）。
【０１４１】
次に、残差復号部１４４が、復号部１４２によって復号された残差補償情報Ｉ５を用いて、残差復号を行い、残差補償画像Ｉ４を生成する（ステップＳ７３）。図２５に示すように残差復号部１４４では、逆量子化部１４４ａが量子化補償係数Ｉ１４を逆量子化することによって逆量子化補償係数Ｉ１５を生成する（ステップＳ７４）。
【０１４２】
次に、逆変換部１４４ｂが、逆量子化補償係数Ｉ１５、残差補償情報Ｉ５に含まれる基底情報Ｉ１２、及び復号予測残差画像記憶部１４８によって提供される参照復号予測残差画像Ｉ１７を用いて、変換部６２ａによる変換処理の逆操作である逆変換処理を行い、残差補償画像Ｉ４を生成する（ステップＳ７５）。
【０１４３】
図２４を参照すると、次に、加算部１４６が復号補償残差画像Ｉ８と残差補償画像Ｉ４とを加算することによって復号予測残差画像Ｉ９を生成する（ステップＳ７６）。
【０１４４】
次に、復号予測残差画像記憶部１４８が、加算部１４６によって生成された復号予測残差画像Ｉ９を参照復号予測残差画像Ｉ１７として記憶する（ステップＳ７７）。復号予測残差画像記憶部１４８は、記憶した参照復号予測残差画像Ｉ１７を残差復号のために残差復号部１４４に提供する。
【０１４５】
次に、動き補償予測部１１０が、復号部１０２によって出力された動き情報Ｉ２を用いて、参照画像記憶部１１４に記憶された参照画像Ｉ１１に対する動き補償予測を行うことによって復号画像Ｉ１０の予測画像Ｉ１を生成する（ステップＳ７８）。
【０１４６】
次に、復号画像生成部１１２が、予測画像Ｉ１と復号予測残差画像Ｉ９とを加算することによって、復号画像Ｉ１０を生成する（ステップＳ７９）。復号画像生成部１１２は、復号画像Ｉ１０を参照画像記憶部１１４へ出力し、復号画像Ｉ１０を参照画像記憶部１１４に記憶させる（ステップＳ８０）。参照画像記憶部１１４は、記憶した復号画像Ｉ１０を、動き補償予測のために動き補償予測部１１０に参照画像Ｉ１１として提供する。
【０１４７】
以下、コンピュータを動画像復号装置１４０として動作させる動画像復号プログラム１５０について説明する。図２６は、動画像復号プログラム１５０の構成を示す図である。動画像復号プログラム１５０は、処理を統括するメインモジュール１５１と、復号モジュール１５２と、逆量子化変換モジュール１２４と、残差復号モジュール１５４と、加算モジュール１５６と、復号予測残差画像記憶モジュール１５８と、動き補償予測モジュール１３０と、復号画像生成モジュール１３２と、参照画像記憶モジュール１３４とを備える。残差復号モジュール１５４は、逆量子化サブモジュール１５４ａと、逆変換サブモジュール１５４ｂとを有している。
【０１４８】
復号モジュール１５２、逆量子化変換モジュール１２４、残差復号モジュール１５４、加算モジュール１５６、復号予測残差画像記憶モジュール１５８、動き補償予測モジュール１３０、復号画像生成モジュール１３２、参照画像記憶モジュール１３４、逆量子化サブモジュール１５４ａ、逆変換サブモジュール１５４ｂがコンピュータに実現させる機能は、復号部１４２、逆量子化変換部１０４、残差復号部１４４、加算部１４６、復号予測残差画像記憶部１４８、動き補償予測部１１０、復号画像生成部１１２、参照画像記憶部１１４、逆量子化部１４４ａ、逆変換部１４４ｂとそれぞれ同様である。
【０１４９】
以上のように、動画像復号装置１４０は、残差復号における逆変換で用いられる基底として復号予測残差画像記憶部１４８に記憶された参照復号予測残差画像Ｉ１７の部分画像を用いるよう構成されているので、動画像符号化装置６０が動画像から圧縮データを生成する処理の逆処理を忠実に行うことができる。したがって、動画像復号装置１４０は、動画像符号化装置６０によって生成された圧縮データから上記の動画像を復元することができる。
【０１５０】
本発明の第６実施形態にかかる動画像復号装置１７０について説明する。動画像復号装置１７０は、第３実施形態の動画像符号化装置８０によって生成される圧縮データＩ１６から動画像を復元する装置である。動画像復号装置１７０では、基底セットを記憶するための基底記憶部（基底記憶手段）１７４ｃと、参照復号予測残差画像Ｉ１７を記憶するための復号予測残差画像記憶部（復号予測残差画像記憶手段）１４８とを備え、残差補償における変換で用いられる基底として基底記憶部１７４ｃに記憶された基底セット、又は、復号予測残差画像記憶部１４８に記憶された参照復号予測残差画像Ｉ１７の部分画像を用いることを特徴とする。
【０１５１】
以下、動画像復号装置１７０の機能的な構成について説明する。図２７は、動画像復号装置１７０の機能的な構成を示す図である。動画像復号装置１７０は、機能的には、復号部（復号手段）１７２と、逆量子化変換部（逆量子化変換手段）１０４と、残差復号部（残差復号手段）１７４と、加算部（加算手段）１４６と、動き補償予測部（動き補償予測手段）１１０と、復号画像生成部（復号画像生成手段）１１２と、参照画像記憶部（参照画像記憶手段）１１４と、復号予測残差画像記憶部（復号予測残差画像記憶手段）１４８とを備える。以下、第４実施形態の動画像復号装置１００又は第５実施形態の動画像復号装置１４０と異なる要素について説明する。
【０１５２】
復号部１７２は、動画像符号化装置８０によって生成された圧縮データＩ１６を復号し、量子化変換係数Ｉ７と、残差補償情報Ｉ５と、動き情報Ｉ２とを出力する。この残差補償情報Ｉ５には、基底記憶部１７４ｃに記憶された基底セットを用いて残差補償画像Ｉ４を復元するための基底情報Ｉ１２、又は、復号予測残差画像記憶部１４８に記憶される参照復号予測残差画像Ｉ１７の部分画像を用いて残差補償画像Ｉ４を復元するための基底情報Ｉ１２と、量子化補償係数Ｉ１４が含まれている。
【０１５３】
残差復号部１７４は、残差補償情報Ｉ５を用いて残差復号を行い残差補償画像Ｉ４を生成する。以下、残差復号部１７４について詳細に説明する。図２８は、残差復号部１７４の構成を示す図である。図２８に示すように、残差復号部１７４は、逆量子化部（逆量子化手段）１７４ａと、逆変換部（逆変換手段）１７４ｂと、基底記憶部（基底記憶手段）１７４ｃとを有する。
【０１５４】
逆量子化部１７４ａは、残差補償情報Ｉ５に含まれている量子化補償係数Ｉ１４に逆量子化操作を施すことによって、逆量子化補償係数Ｉ１５を生成する。
【０１５５】
逆変換部１７４ｂは、基底記憶部１７４ｃに記憶された基底セットのうち、残差補償情報Ｉ５に含まれている基底情報Ｉ１２から基底を特定する。また、逆変換部１７４ｂは、復号予測残差画像記憶部１４８に記憶された参照復号予測残差画像Ｉ１７のうち、残差補償情報Ｉ５に含まれている基底情報Ｉ１２から部分画像を基底として特定する。逆変換部１７４ｂは、特定した基底と、逆量子化部１４４ａによって生成された逆量子化補償係数Ｉ１５とを用いて変換部８２ａによる変換処理の逆操作である逆変換処理を行い、残差補償画像Ｉ４を生成する。
【０１５６】
以下、動画像復号装置１７０の動作について説明し、併せて第６実施形態にかかる動画像復号方法について説明する。図２９は、第６実施形態の動画像復号方法のフローチャートである。また、図３０は、第６実施形態の動画像復号方法の残差復号に関する処理を示すフローチャートである。
【０１５７】
図２９に示すように、第６実施形態の動画像復号方法においては、まず、動画像符号化装置８０によって生成された圧縮データＩ１６から、復号部１７２によって量子化変換係数Ｉ７と残差補償情報Ｉ５と動き情報Ｉ２が復号される（ステップＳ９１）。
【０１５８】
次に、逆量子化変換部１０４が、量子化変換係数Ｉ７に逆量子化操作を施すことによって逆量子化変換係数を生成する。逆量子化変換部１０４は、生成した逆量子化変換係数に、所定の第２の逆変換規則による逆変換を施すことによって、復号補償残差画像Ｉ８を復元する（ステップＳ９２）。
【０１５９】
次に、残差復号部１７４が、復号部１７２によって復号された残差補償情報Ｉ５を用いて、残差復号を行い、残差補償画像Ｉ４を生成する（ステップＳ７３）。図３０に示すように残差復号部１７４では、逆量子化部１７４ａが量子化補償係数Ｉ１４を逆量子化することによって逆量子化補償係数Ｉ１５を生成する（ステップＳ９４）。
【０１６０】
次に、逆変換部１７４ｂが、逆量子化補償係数Ｉ１５、残差補償情報Ｉ５に含まれる基底情報Ｉ１２、基底記憶部１７４ｃに記憶された基底セット、及び復号予測残差画像記憶部１４８によって提供される参照復号予測残差画像Ｉ１７を用いて、変換部８２ａによる変換処理の逆操作である逆変換処理を行い、残差補償画像Ｉ４を生成する（ステップＳ９５）。
【０１６１】
図２９を参照すると、次に、加算部１４６が復号補償残差画像Ｉ８と残差補償画像Ｉ４とを加算することによって復号予測残差画像Ｉ９を生成する（ステップＳ９６）。
【０１６２】
次に、復号予測残差画像記憶部１４８が、加算部１４６によって生成された復号予測残差画像Ｉ９を参照復号予測残差画像Ｉ１７として記憶する（ステップＳ９７）。復号予測残差画像記憶部１４８は、記憶した参照復号予測残差画像Ｉ１７を残差復号のために残差復号部１７４に提供する。
【０１６３】
次に、動き補償予測部１１０が、復号部１７２によって出力された動き情報Ｉ２を用いて、参照画像記憶部１１４に記憶された参照画像Ｉ１１に対する動き補償予測を行うことによって復号画像Ｉ１０の予測画像Ｉ１を生成する（ステップＳ９８）。
【０１６４】
次に、復号画像生成部１１２が、予測画像Ｉ１と復号予測残差画像Ｉ９とを加算することによって、復号画像Ｉ１０を生成する（ステップＳ９９）。復号画像生成部１１２は、復号画像Ｉ１０を参照画像記憶部１１４へ出力し、復号画像Ｉ１０を参照画像記憶部１１４に記憶させる（ステップＳ１００）。参照画像記憶部１１４は、記憶した復号画像Ｉ１０を、動き補償予測のために動き補償予測部１１０に参照画像Ｉ１１として提供する。
【０１６５】
以下、コンピュータを動画像復号装置１７０として動作させる動画像復号プログラム１８０について説明する。図３１は、動画像復号プログラム１８０の構成を示す図である。動画像復号プログラム１８０は、処理を統括するメインモジュール１８１と、復号モジュール１８２と、逆量子化変換モジュール１２４と、残差復号モジュール１８４と、加算モジュール１５６と、復号予測残差画像記憶モジュール１５８と、動き補償予測モジュール１３０と、復号画像生成モジュール１３２と、参照画像記憶モジュール１３４とを備える。残差復号モジュール１８４は、逆量子化サブモジュール１５４ａと、逆変換サブモジュール１５４ｂ、基底記憶サブモジュール１８４ｃとを有している。
【０１６６】
復号モジュール１８２、逆量子化変換モジュール１２４、残差復号モジュール１８４、加算モジュール１５６、復号予測残差画像記憶モジュール１５８、動き補償予測モジュール１３０、復号画像生成モジュール１３２、参照画像記憶モジュール１３４、逆量子化サブモジュール１８４ａ、逆変換サブモジュール１８４ｂ、基底記憶サブモジュール１８４ｃがコンピュータに実現させる機能は、復号部１７２、逆量子化変換部１０４、残差復号部１７４、加算部１４６、復号予測残差画像記憶部１４８、動き補償予測部１１０、復号画像生成部１１２、参照画像記憶部１１４、逆量子化部１７４ａ、逆変換部１７４ｂ、基底記憶部１７４ｃとそれぞれ同様である。
【０１６７】
以上のように、動画像復号装置１７０は、残差復号における逆変換で用いられる基底として、基底記憶部１７４ｃに記憶された基底セット、及び、復号予測残差画像記憶部１４８に記憶された参照復号予測残差画像Ｉ１７の部分画像を用いるよう構成されているので、動画像符号化装置８０が動画像から圧縮データを生成する処理の逆処理を忠実に行うことができる。したがって、動画像復号装置１７０は、動画像符号化装置８０によって生成された圧縮データから上記の動画像を復元することができる。
【０１６８】
【発明の効果】
以上説明したように本発明によれば、予測残差画像と補償残差画像とをそれぞれ効率よく分解することができるので、効率の良い符号化が実現可能な動画像符号化装置、動画像符号化方法、及び動画像符号化プログラムが提供される。また、かかる動画像符号化装置によって生成された圧縮データから動画像を忠実に復元可能な動画像復号装置、動画像復号方法、及び動画像復号プログラムが提供される。
【図面の簡単な説明】
【図１】図１は、本発明の第１実施形態にかかる動画像符号化装置の機能的な構成を示す図である。
【図２】図２は、第１実施形態の残差補償部の構成を示す図である。
【図３】図３は、本発明の第１実施形態にかかる動画像符号化方法のフローチャートである。
【図４】図４は、第１実施形態の動画像符号化方法における残差補償に関する処理のフローチャートである。
【図５】図５は、本発明の第１実施形態にかかる動画像符号化プログラムの構成を示す図である。
【図６】図６は、本発明の第２実施形態にかかる動画像符号化装置の機能的な構成を示す図である。
【図７】図７は、第２実施形態の残差補償部の構成を示す図である。
【図８】図８は、第２実施形態の変換部ａによる変換処理を説明するための図である。
【図９】図９は、本発明の第２実施形態にかかる動画像符号化方法のフローチャートである。
【図１０】図１０は、第２実施形態の動画像符号化方法における残差補償に関する処理のフローチャートである。
【図１１】図１１は、本発明の第２実施形態にかかる動画像符号化プログラムの構成を示す図である。
【図１２】図１２は、本発明の第３実施形態にかかる動画像符号化装置の機能的な構成を示す図である。
【図１３】図１３は、第３実施形態の残差補償部の構成を示す図である。
【図１４】図１４は、本発明の第３実施形態にかかる動画像符号化方法のフローチャートである。
【図１５】図１５は、第３実施形態の動画像符号化方法における残差補償に関する処理のフローチャートである。
【図１６】図１６は、本発明の第３実施形態にかかる動画像符号化プログラムの構成を示す図である。
【図１７】図１７は、本発明の第４実施形態にかかる動画像復号装置の機能的な構成を示す図である。
【図１８】図１８は、第４実施形態にかかる残差復号部の構成を示す図である。
【図１９】図１９は、本発明の第４実施形態の動画像復号方法のフローチャートである。
【図２０】図２０は、第４実施形態の動画像復号方法の残差復号に関する処理を示すフローチャートである。
【図２１】図２１は、本発明の第４実施形態にかかる動画像復号プログラムの構成を示す図である。
【図２２】図２２は、本発明の第５実施形態にかかる動画像復号装置の機能的な構成を示す図である。
【図２３】図２３は、第５実施形態にかかる残差復号部の構成を示す図である。
【図２４】図２４は、本発明の第５実施形態の動画像復号方法のフローチャートである。
【図２５】図２５は、第５実施形態の動画像復号方法の残差復号に関する処理を示すフローチャートである。
【図２６】図２６は、本発明の第５実施形態にかかる動画像復号プログラムの構成を示す図である。
【図２７】図２７は、本発明の第６実施形態にかかる動画像復号装置の機能的な構成を示す図である。
【図２８】図２８は、第６実施形態にかかる残差復号部の構成を示す図である。
【図２９】図２９は、本発明の第６実施形態の動画像復号方法のフローチャートである。
【図３０】図３０は、第６実施形態の動画像復号方法の残差復号に関する処理を示すフローチャートである。
【図３１】図３１は、本発明の第６実施形態にかかる動画像復号プログラムの構成を示す図である。
【符号の説明】
１，６０，８０…動画像符号化装置、２…動き補償予測部、４…動き残差生成部、６，６２，８２…残差補償部、６ａ，６２ａ，８２ａ…変換部、６ｂ，８２ｂ…基底記憶部、６ｃ，６２ｂ，８２ｃ…量子化部、６ｄ，６２ｃ，８２ｄ…逆量子化部、６ｅ，６２ｄ，８２ｅ…逆変換部、８…減算部、１０…量子化変換部、１２，６４，８４…符号化部、１４…逆量子化変換部、１６，６６…加算部、１８…復号画像生成部、２０…参照画像記憶部、６８…復号予測残差画像記憶部、１００，１４０，１７０…動画像復号装置、１０２，１４２，１７２…復号部、１０４…逆量子化変換部、１０６，１４４，１７４…残差復号部、１０６ａ，１４４ａ，１７４ａ…逆量子化部、１０６ｂ，１４４ｂ，１７４ｂ…逆変換部、１０６ｃ，１７４ｃ…基底記憶部、１０８，１４６…加算部、１１０…動き補償予測部、１１２…復号画像生成部、１１４…参照画像記憶部、１４８…復号予測残差画像記憶部。
【発明の属する技術分野】
本発明は、動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラムに関するものである。
【０００２】
【従来の技術】
動画像符号化装置では、一般に、符号化対象画像が所定サイズの複数のブロックに分割され、各々のブロックと参照フレームの所定領域における参照画像との動き補償予測が行われることによって動きベクトルが検出されて、符号化対象画像の予測画像が生成される。かかる動画像符号化装置では、符号化対象画像が参照画像からの動きベクトルによって表現されることによって時間方向に存在する冗長度が削減される。また、符号化対象画像と予測画像との差による予測残差画像が、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）変換され、ＤＣＴ係数として表現されることによって、空間方向に存在する冗長度が削減される。
【０００３】
【特許文献１】
特開平７−２６４５９２号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、上記の予測残差画像は符号化済の画像である参照画像と符号化前の画像である符号化対象画像との間で動き補償予測を行った後に差分をとるため、偏った分布を持つ画像信号であることが知られている。上述した従来の動画像符号化装置は、このような特徴を持つ画像信号に対しても、その特徴を利用せずにＤＣＴによる変換符号化を行っているために、効率のよい符号化が実現できないという問題があった。
【０００５】
本発明は上記問題点を解決するためになされたもので、動画像の効率の良い符号化を実現可能な動画像符号化装置、動画像符号化方法、及び動画像符号化プログラムを提供し、また、この動画像符号化装置によって符号化された動画像を復号する動画像復号装置、動画像復号方法、及び動画像復号プログラムを提供することを課題としている。
【０００６】
【課題を解決するための手段】
上記課題を解決するため、本発明の動画像符号化装置は、参照画像に基づいて符号化対象画像の動き補償予測を行うことによって予測画像及び動き情報を生成する動き補償予測手段と、上記符号化対象画像と上記予測画像との差演算に基づき予測残差画像を生成する残差画像生成手段と、所定の第１の変換規則に基づいて上記予測残差画像から残差補償情報を生成すると共に、該残差補償情報に基づいて残差補償画像を生成する残差補償手段と、上記残差補償画像と上記予測残差画像との差演算に基づき補償残差画像を生成する減算手段と、上記補償残差画像を所定の第２の変換規則に基づいて変換してなる変換係数を生成し、該変換係数を量子化することによって量子化変換係数を生成する量子化変換手段と、上記量子化変換係数を逆量子化することによって逆量子化変換係数を生成し、上記所定の第２の変換規則の逆変換である所定の第２の逆変換規則に基づき該逆量子化変換係数を用いて逆変換を行うことによって復号補償残差画像を生成する逆量子化変換手段と、上記復号補償残差画像と上記残差補償画像とを加算することによって復号予測残差画像を生成する加算手段と、上記復号予測残差画像と上記予測画像とを加算することによって復号画像を生成する復号画像生成手段と、上記復号画像生成手段によって生成された上記復号画像を、上記動き補償予測手段による動き補償予測に提供する上記参照画像として記憶する参照画像記憶手段と、上記動き情報と上記残差補償情報と上記量子化変換係数とを符号化してなる符号化データを含む圧縮データを生成する符号化手段とを備え、上記残差補償手段は、上記所定の第１の変換規則に基づき、複数の二次元基底を用いて、該二次元基底を特定するための基底情報と、該基底情報によって特定される二次元基底に付する補償係数とに上記予測残差画像を変換し、該基底情報を上記残差補償情報に含める変換手段と、上記補償係数を量子化することによって量子化補償係数を生成し、該量子化補償係数を上記残差補償情報に含める量子化手段と、上記量子化補償係数を逆量子化することによって逆量子化補償係数を生成する逆量子化手段と、上記所定の第１の変換規則の逆変換である所定の第１の逆変換規則に基づき、上記逆量子化補償係数を用いて逆変換を行うことによって上記残差補償画像を生成する逆変換手段とを有することを特徴としている。
【０００７】
また、上記課題を解決するため本発明の動画像符号化方法は、動き補償予測手段が、参照画像に基づいて符号化対象画像の動き補償予測を行うことによって予測画像及び動き情報を生成する動き補償予測ステップと、残差画像生成手段が、上記符号化対象画像と上記予測画像との差演算に基づき予測残差画像を生成する残差画像生成ステップと、残差補償手段が、所定の第１の変換規則に基づいて上記予測残差画像から残差補償情報を生成すると共に、該残差補償情報に基づいて残差補償画像を生成する残差補償ステップと、減算手段が、上記残差補償画像と上記予測残差画像との差演算に基づき補償残差画像を生成する減算ステップと、量子化変換手段が、上記補償残差画像を所定の第２の変換規則に基づいて変換してなる変換係数を生成し、該変換係数を量子化することによって量子化変換係数を生成する量子化変換ステップと、逆量子化変換手段が、上記量子化変換係数を逆量子化することによって逆量子化変換係数を生成し、上記所定の第２の変換規則の逆変換である所定の第２の逆変換規則に基づき該逆量子化変換係数を用いて逆変換を行うことによって復号補償残差画像を生成する逆量子化変換ステップと、加算手段が、上記復号補償残差画像と上記残差補償画像とを加算することによって復号予測残差画像を生成する加算ステップと、復号画像生成手段が、上記復号予測残差画像と上記予測画像とを加算することによって復号画像を生成する復号画像生成ステップと、参照画像記憶手段が、上記復号画像生成手段によって生成された上記復号画像を、上記動き補償予測手段による動き補償予測に提供する上記参照画像として記憶する参照画像記憶ステップと、符号化手段が、上記動き情報と上記残差補償情報と上記量子化変換係数とを符号化してなる符号化データを含む圧縮データを生成する符号化ステップとを備え、上記残差補償ステップは、変換手段が、上記所定の第１の変換規則に基づき、複数の二次元基底を用いて、該二次元基底を特定するための基底情報と、該基底情報によって特定される二次元基底に付する補償係数とに上記予測残差画像を変換し、該基底情報を上記残差補償情報に含める変換ステップと、量子化手段が、上記補償係数を量子化することによって量子化補償係数を生成し、該量子化補償係数を上記残差補償情報に含める量子化ステップと、逆量子化手段が、上記量子化補償係数を逆量子化することによって逆量子化補償係数を生成する逆量子化ステップと、逆変換手段が、上記所定の第１の変換規則の逆変換である所定の第１の逆変換規則に基づき、上記逆量子化補償係数を用いて逆変換を行うことによって上記残差補償画像を生成する逆変換ステップと含むことを特徴としている。
【０００８】
また、上記課題を解決するため、本発明の動画像符号化プログラムは、コンピュータを、参照画像に基づいて符号化対象画像の動き補償予測を行うことによって予測画像及び動き情報を生成する動き補償予測手段と、上記符号化対象画像と上記予測画像との差演算に基づき予測残差画像を生成する残差画像生成手段と、所定の第１の変換規則に基づいて上記予測残差画像から残差補償情報を生成すると共に、該残差補償情報に基づいて残差補償画像を生成する残差補償手段と、上記残差補償画像と上記予測残差画像との差演算に基づき補償残差画像を生成する減算手段と、上記補償残差画像を所定の第２の変換規則に基づいて変換してなる変換係数を生成し、該変換係数を量子化することによって量子化変換係数を生成する量子化変換手段と、上記量子化変換係数を逆量子化することによって逆量子化変換係数を生成し、上記所定の第２の変換規則の逆変換である所定の第２の逆変換規則に基づき該逆量子化変換係数を用いて逆変換を行うことによって復号補償残差画像を生成する逆量子化変換手段と、上記復号補償残差画像と上記残差補償画像とを加算することによって復号予測残差画像を生成する加算手段と、上記復号予測残差画像と上記予測画像とを加算することによって復号画像を生成する復号画像生成手段と、上記復号画像生成手段によって生成された上記復号画像を、上記動き補償予測手段による動き補償予測に提供する上記参照画像として記憶する参照画像記憶手段と、上記動き情報と上記残差補償情報と上記量子化変換係数とを符号化してなる符号化データを含む圧縮データを生成する符号化手段と、として機能させ、上記残差補償手段は、上記所定の第１の変換規則に基づき、複数の二次元基底を用いて、該二次元基底を特定するための基底情報と、該基底情報によって特定される二次元基底に付する補償係数とに上記予測残差画像を変換し、該基底情報を上記残差補償情報に含める変換手段と、上記補償係数を量子化することによって量子化補償係数を生成し、該量子化補償係数を上記残差補償情報に含める量子化手段と、上記量子化補償係数を逆量子化することによって逆量子化補償係数を生成する逆量子化手段と、上記所定の第１の変換規則の逆変換である所定の第１の逆変換規則に基づき、上記逆量子化補償係数を用いて逆変換を行うことによって上記残差補償画像を生成する逆変換手段とを有することを特徴としている。
【０００９】
これらの発明によれば、二次元基底を用いた所定の第１の変換規則によって予測残差画像が補償係数と二次元基底を特定するための基底情報とを含む残差補償情報に分解されるので、ＤＣＴ等の直交変換に比して少ない数の情報によって予測残差画像を表すことが可能となる。また、予測残差画像と残差補償情報から復元される残差補償画像との差に基づく補償残差画像は、上述したような画像信号中の偏った分布が取り除かれた画像とされているので、例えばＤＣＴといった所定の第２の変換規則によって効率よく分解される。
【００１０】
また、本発明の動画像符号化装置においては、上記残差補償手段は、上記変換手段に提供する二次元基底を記憶する基底記憶手段を更に有し、上記変換手段は、上記基底記憶手段に記憶された二次元基底を用いて上記予測残差画像を変換し、上記逆変換手段は、上記基底記憶手段に記憶された二次元基底を用いて上記逆変換を行うことを特徴としても良い。
【００１１】
また、本発明の動画像符号化装置においては、上記復号予測残差画像を参照復号予測残差画像として記憶する復号予測残差画像記憶手段を更に備え、上記変換手段は、上記復号予測残差画像記憶手段に記憶された上記参照復号予測残差画像の部分画像を上記二次元基底として用いて上記予測残差画像を変換し、上記逆変換手段は、上記変換手段によって用いられた上記二次元基底を用いて逆変換することを特徴とすることが好ましい。
【００１２】
この発明によれば、二次元基底として復号予測残差画像の部分画像を用いて予測残差画像が分解されるので、予測残差画像の類似性を利用した更に効果的な残差補償が実現される。また、二次元基底として復号予測残差画像の部分画像と、基底記憶手段に記憶された二次元基底とを用いることができるので、例えば、フレーム間に急激な変化が生じている場合にでも、予測残差画像が効率的に分解される。
【００１３】
また、上記課題を解決するため、本発明の動画像復号装置は、復号画像に対する予測画像を生成するための動き情報と、上記予測画像に対する残差補償画像を復元するための量子化補償係数と基底情報とを含む残差補償情報と、上記予測画像と上記残差補償画像との差に基づく補償残差画像を復元するための量子化変換係数とが符号化されてなる符号化データを含む圧縮データを復号することによって、上記動き情報と上記残差補償情報と上記量子化変換係数とを生成する復号手段と、上記残差補償情報を用いて所定の第１の逆変換規則に基づき逆変換を行うことによって上記残差補償画像を生成する残差復号手段と、上記量子化変換係数を逆量子化することによって逆量子化変換係数を生成し、該逆量子化変換係数を用いて所定の第２の逆変換規則に基づく逆変換を行うことによって復号補償残差画像を生成する逆量子化変換手段と、上記残差補償画像と上記復号補償残差画像との加算に基づき復号予測残差画像を生成する加算手段と、参照画像及び上記動き情報を用いて動き補償予測を行うことによって上記予測画像を生成する動き補償予測手段と、上記復号予測残差画像と上記予測画像との加算に基づき復号画像を生成する復号画像生成手段と、上記復号画像生成手段によって生成された上記復号画像を、上記動き補償予測手段による上記動き補償予測に提供する上記参照画像として記憶する参照画像記憶手段とを備え、上記残差復号手段は、上記残差補償情報に含まれている上記量子化補償係数を逆量子化することによって逆量子化補償係数を生成する逆量子化手段と、複数の二次元基底のうち上記残差補償情報に含まれる基底情報によって特定される二次元基底と、上記逆量子化手段手段によって生成された上記逆量子化補償係数逆変換とを用い、上記所定の第１の逆変換規則に基づき逆変換を行うことによって上記残差補償画像を生成する逆変換手段とを有することを特徴としている。
【００１４】
また、上記課題を解決するため、本発明の動画像復号方法は、復号手段が、復号画像に対する予測画像を生成するための動き情報と、上記予測画像に対する残差補償画像を復元するための量子化補償係数と基底情報とを含む残差補償情報と、上記予測画像と上記残差補償画像との差に基づく補償残差画像を復元するための量子化変換係数とが符号化されてなる符号化データを含む圧縮データを復号することによって、上記動き情報と上記残差補償情報と上記量子化変換係数とを生成する復号ステップと、残差復号手段が、上記残差補償情報を用いて所定の第１の逆変換規則に基づき逆変換を行うことによって上記残差補償画像を生成する残差復号ステップと、逆量子化変換手が、上記量子化変換係数を逆量子化することによって逆量子化変換係数を生成し、該逆量子化変換係数を用いて所定の第２の逆変換規則に基づく逆変換を行うことによって復号補償残差画像を生成する逆量子化変換ステップと、加算手段が、上記残差補償画像と上記復号補償残差画像との加算に基づき復号予測残差画像を生成する加算ステップと、動き補償予測手段が、参照画像及び上記動き情報を用いて動き補償予測を行うことによって上記予測画像を生成する動き補償予測ステップと、復号画像生成手段が、上記復号予測残差画像と上記予測画像との加算に基づき復号画像を生成する復号画像生成ステップと、参照画像記憶手段が、上記復号画像生成手段によって生成された上記復号画像を、上記動き補償予測手段による上記動き補償予測に提供する上記参照画像として記憶する参照画像記憶ステップとを備え、上記残差復号ステップは、逆量子化手段が、上記残差補償情報に含まれている上記量子化補償係数を逆量子化することによって逆量子化補償係数を生成する逆量子化ステップと、逆変換手段が、複数の二次元基底のうち上記残差補償情報に含まれる基底情報によって特定される二次元基底と、上記逆量子化手段手段によって生成された上記逆量子化補償係数逆変換とを用い、上記所定の第１の逆変換規則に基づき逆変換を行うことによって上記残差補償画像を生成する逆変換ステップとを含むことを特徴としている。
【００１５】
また、上記課題を解決するため、本発明の動画像復号プログラムは、コンピュータを、復号画像に対する予測画像を生成するための動き情報と、上記予測画像に対する残差補償画像を復元するための量子化補償係数と基底情報とを含む残差補償情報と、上記予測画像と上記残差補償画像との差に基づく補償残差画像を復元するための量子化変換係数とが符号化されてなる符号化データを含む圧縮データを復号することによって、上記動き情報と上記残差補償情報と上記量子化変換係数とを生成する復号手段と、上記残差補償情報を用いて所定の第１の逆変換規則に基づき逆変換を行うことによって上記残差補償画像を生成する残差復号手段と、上記量子化変換係数を逆量子化することによって逆量子化変換係数を生成し、該逆量子化変換係数を用いて所定の第２の逆変換規則に基づく逆変換を行うことによって復号補償残差画像を生成する逆量子化変換手段と、上記残差補償画像と上記復号補償残差画像との加算に基づき復号予測残差画像を生成する加算手段と、参照画像及び上記動き情報を用いて動き補償予測を行うことによって上記予測画像を生成する動き補償予測手段と、上記復号予測残差画像と上記予測画像との加算に基づき復号画像を生成する復号画像生成手段と、上記復号画像生成手段によって生成された上記復号画像を、上記動き補償予測手段による上記動き補償予測に提供する上記参照画像として記憶する参照画像記憶手段と、として機能させ、上記残差復号手段は、上記残差補償情報に含まれている上記量子化補償係数を逆量子化することによって逆量子化補償係数を生成する逆量子化手段と、複数の二次元基底のうち上記残差補償情報に含まれる基底情報によって特定される二次元基底と、上記逆量子化手段手段によって生成された上記逆量子化補償係数逆変換とを用い、上記所定の第１の逆変換規則に基づき逆変換を行うことによって上記残差補償画像を生成する逆変換手段とを有することを特徴としている。
【００１６】
これらの発明によれば、圧縮データから復号される残差補償情報に基づいて残差補償画像が復元され、圧縮データから復号される量子化変換係数に基づいて復号補償残差画像が復元され、残差補償画像と復号補償残差画像が加算されることによって復号予測残差画像が生成される。また、圧縮データから復号される動き情報に基づいて予測画像が生成され、予測画像と復号予測残差画像が加算されることによって、復号画像が生成される。したがって、上述した動画像符号化装置によって生成された圧縮データから動画像が忠実に復元される。
【００１７】
また、本発明の動画像復号装置においては、上記残差復号手段は、上記複数の二次元基底を記憶する基底記憶手段を更に有し、上記逆変換手段は、上記基底記憶部に記憶された上記二次元基底を用いて上記逆変換を行うことを特徴としても良い。
【００１８】
また、本発明の動画像復号装置においては、上記復号予測残差画像を記憶する復号予測残差画像記憶手段を更に備え、上記逆変換手段は、上記復号予測残差画像記憶手段に記憶された上記復号予測残差画像の部分画像を上記二次元基底として用い上記逆変換を行うことを特徴とすることが好適である。
【００１９】
この発明によれば、上記の復号予測残差画像の部分画像が二次元基底として用いられるので、上述して動画像符号化装置によって生成された圧縮データから動画像が忠実に復元される。
【００２０】
【発明の実施の形態】
以下、図面を参照して本発明の好適な実施形態について詳細に説明する。なお、各図面において同一又は相当の部分に対しては同一の符号を附すこととする。
【００２１】
まず、本発明の第１実施形態にかかる動画像符号化装置１について説明する。動画像符号化装置１は、物理的には、ＣＰＵ（中央演算装置）、メモリといった記憶装置、ハードディスクといった格納装置等を備えるコンピュータである。ここでの「コンピュータ」とは、パーソナルコンピュータ等の通常のコンピュータに加えて、移動通信端末といった情報携帯端末も含むものであり、本発明の思想は情報処理可能な機器に広く適用される。
【００２２】
図１は、動画像符号化装置１の機能的な構成を示す図である。動画像符号化装置１は、機能的には、動き補償予測部（動き補償予測手段）２と、動き残差生成部（動き補償残差生成手段）４と、残差補償部（残差補償手段）６と、減算部（減算手段）８と、量子化変換部（量子化変換手段）１０と、符号化部（符号化手段）１２と、逆量子化変換部（逆量子化変換手段）１４と、加算部（加算手段）１６と、復号画像生成部（復号画像生成手段）１８と、参照画像記憶部（参照画像記憶手段）２０とを備える。
【００２３】
動き補償予測部２は、参照画像記憶部２０に記憶されている参照画像を用いて動き補償予測を行い符号化対象画像Ｉ０の予測画像Ｉ１を生成し、予測画像Ｉ１を動き残差生成部４及び復号画像生成部１８に出力する。また、動き補償予測部２は、動き補償予測を再現するために必要な動き情報Ｉ２を符号化部１２に出力する。
【００２４】
より具体的には、動き補償予測部２は、符号化対象画像Ｉ０を所定のサイズのブロックに分割する。この所定のサイズは、例えば１６画素×１６ライン、１６画素×８ライン、８画素×１６ライン、８画素×８ラインなどのようにサイズや形状の異なる複数種類のブロックに符号化対象画像Ｉ０を分割することができる。
【００２５】
動き補償予測部２は、符号化対象画像を分割した複数のブロックの各々について、参照画像記憶部２０に記憶されている参照画像のうち所定の領域の予測参照領域に対するブロックマッチングを行い、複数のブロック各々の参照画像に対する動きベクトルを検出する。
【００２６】
動き補償予測部２は、上記の動きベクトルを用いて参照画像から符号化対象画像Ｉ０の予測画像Ｉ１を生成する。動き補償予測部２は、生成した予測画像Ｉ１を動き残差生成部４及び復号画像生成部１８に出力する。また、動き補償予測部２は、検出した動きベクトル、及びブロック形状を特定するための情報を動き情報Ｉ２として符号化部１２に出力する。
【００２７】
なお、参照画像から生成される予測参照領域の画像は、整数画素のみによって構成される画像に限らず、整数画素間の１／２位置、１／４位置を補間する補間画素を設けた画像とされても良い。このように補間画素を設けることによって、動きベクトルを高解像度に検出することが可能とされる。また、動き補償予測部２は、着目するブロックの動きベクトルによって得られる画素値と隣接するブロックの動きベクトルを用いて得られる画素値とに重み付けを行って画素値を得るオーバーラップ動き補償を適用することによって予測画像Ｉ１を得ても良い。
【００２８】
動き残差生成部４は、動き補償予測部２によって生成された予測画像Ｉ１と符号化対象画像Ｉ０との差演算を実行し、予測画像Ｉ１と符号化対象画像Ｉ０との残差からなる予測残差画像Ｉ３を生成する。動き残差生成部４は、予測残差画像Ｉ３を残差補償部６及び減算部８に出力する。
【００２９】
残差補償部６は、動き残差生成部４によって出力された予測残差画像Ｉ３に対する残差補償を行い残差補償画像Ｉ４を生成する。残差補償部６は、生成した残差補償画像Ｉ４を減算部８及び加算部１６に出力する。また、残差補償部６は、残差補償を再現するために必要な情報を残差補償情報Ｉ５として符号化部１２に出力する。なお、残差補償部６についての詳細は後述する。
【００３０】
減算部８は、残差補償部６によって出力された残差補償画像Ｉ４と動き残差生成部４によって出力された予測残差画像Ｉ３との差演算を実行し、残差補償画像Ｉ４と予測残差画像Ｉ３との残差からなる補償残差画像Ｉ６を生成する。減算部８は、生成した補償残差画像Ｉ６を量子化変換部１０に出力する。
【００３１】
量子化変換部１０は、減算部８によって出力された補償残差画像Ｉ６を所定の第２の変換規則を用いて係数の集合に分解する変換処理を行う。この所定の変換規則としては、例えばＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）を用いることができる。ＤＣＴが用いられる場合には、補償残差画像Ｉ６はＤＣＴ係数の集合に変換される。量子化変換部１０は、上記の係数に量子化操作を施して量子化変換係数Ｉ７を生成する。量子化変換部１０は、生成した量子化変換係数Ｉ７を符号化部１２及び逆量子化変換部１４に出力する。
【００３２】
符号化部１２は、動き補償予測部２によって出力された動き情報Ｉ２を符号化してなる符号化データを生成する。また、符号化部１２は残差補償部６よって出力された残差補償情報Ｉ５を符号化してなる符号化データを生成する。さらに、符号化部１２は量子化変換部１０よって出力された量子化変換係数Ｉ７を符号化してなる符号化データを生成する。符号化部１２はこれら符号化データを含む圧縮データＩ１６を生成する。この符号化処理には、例えば、ハフマン符号化や算術符号化といったエントロピー符号化処理を用いることができる。
【００３３】
逆量子化変換部１４は、量子化変換部１０によって生成された量子化変換係数Ｉ７を逆量子化することによって逆量子化変換係数を生成する。逆量子化変換部１４は、生成した逆量子化変換係数に量子化変換部１０によって用いられる上記の変換処理の逆変換処理を行うことによって、復号補償残差画像Ｉ８を生成する。逆量子化変換部１４は、生成した復号補償残差画像Ｉ８を加算部１６に出力する。
【００３４】
加算部１６は、残差補償部６によって出力された残差補償画像Ｉ４と加算部１６によって出力された復号補償残差画像Ｉ８を加算することによって、復号予測残差画像Ｉ９を生成する。加算部１６は、生成した復号予測残差画像Ｉ９を復号画像生成部１８に出力する。
【００３５】
復号画像生成部１８は、動き補償予測部２によって出力された予測画像Ｉ１と加算部１６によって出力された復号予測残差画像Ｉ９を加算することによって、復号画像Ｉ１０を生成する。復号画像生成部１８は、復号画像Ｉ１０を参照画像記憶部２０に出力する。参照画像記憶部２０は、復号画像生成部１８によって出力された復号画像Ｉ１０を参照画像Ｉ１１として記憶し、次フレームに対する動き補償予測部２による処理のために、この参照画像Ｉ１１を提供する。なお、復号画像生成部１８は、復号画像Ｉ１０にデブロッキングフィルタを適用した画像を、参照画像記憶部２０に出力しても良い。
【００３６】
以下、残差補償部６について詳細に説明する。図２は、残差補償部６の構成を示す図である。残差補償部６は、変換部（変換手段）６ａと、基底記憶部（基底記憶手段）６ｂと、量子化部（量子化手段）６ｃと、逆量子化部（逆量子化手段）６ｄと、逆変換部（逆変換手段）６ｅとを有している。
【００３７】
変換部６ａは、予測残差画像Ｉ３に所定の第１の変換規則を用いた変換処理を施す。所定の第１の変換規則としては、Ｍａｔｃｈｉｎｇ Ｐｕｒｓｕｉｔｓ法（以下、「ＭＰ法」という）を用いることができる。ＭＰ法は、予測残差画像Ｉ３を初期の残差成分とし、下式（１）に従い残差成分を基底セットを用いて分解する処理を反復するものである。
【数１】
【００３８】
ＭＰ法によれば、基底セットのうちから残差成分との内積値を最大とする基底が選択され、選択された基底とこの基底に乗じる為の係数である最大の内積値とに残差成分が分解される。
【００３９】
ここで、動き補償予測の予測残差である予測残差画像は偏った分布を持つ画像信号であることが知られている。ＭＰ法では、予め基底として予測残差画像に出現しやすいパターンを二次元基底として記憶しておくことによって、記憶された二次元基底の中からより残差成分が小さくなるような基底を用いて画像を順次分解することが可能となる。したがって、ＤＣＴなどといった直交変換に比べて少ない数の基底を用いて効果的に予測残差画像を表すことができる。
【００４０】
本実施形態では、基底記憶部６ｂが基底セットを記憶している。変換部６ａは、基底記憶部６ｂによって提供される基底セットを用い、残差成分との内積値を最大とする基底を特定するための基底情報Ｉ１２を求め、基底情報Ｉ１２を逆変換部６ｅに出力する。また、基底情報Ｉ１２は、残差補償情報Ｉ５の一部として符号化部１２に出力される。変換部６ａは、上記の内積値を補償係数Ｉ１３として求め、補償係数Ｉ１３を量子化部６ｃに出力する。
【００４１】
量子化部６ｃは、変換部６ａによって出力された補償係数Ｉ１３に量子化操作を施すことによって、量子化補償係数Ｉ１４を生成する。量子化部６ｃは、量子化補償係数Ｉ１４を逆量子化部６ｄに出力すると共に、量子化補償係数Ｉ１４を残差補償情報Ｉ５の一部として符号化部１２に出力する。
【００４２】
逆量子化部６ｄは、量子化補償係数Ｉ１４を逆量子化し、逆量子化補償係数Ｉ１５を生成する。逆量子化部６ｄは、逆量子化補償係数Ｉ１５を逆変換部６ｅに出力する。逆変換部６ｅは、逆量子化補償係数Ｉ１５、基底情報Ｉ１２、及び基底記憶部６ｂに記憶されている基底を用い、変換部６ａによって行われる上述の変換処理の逆変換処理を実行することによって、残差補償画像Ｉ４を生成する。逆変換部６ｅは、残差補償画像Ｉ４を減算部８及び加算部１６に出力する。
【００４３】
上述したように、符号化部１２は、動き補償予測部２によって出力された動き情報Ｉ２を符号化してなる符号化データ、量子化変換部１０によって出力された量子化変換係数Ｉ７を符号化してなる符号化データ、及び、残差補償部６よって出力された残差補償情報Ｉ５を符号化してなる符号化データを生成する。符号化部１２は、これら符号化データを含む圧縮データＩ１６を生成する。この符号化処理には、例えば、ハフマン符号化や算術符号化といったエントロピー符号化処理を用いることができる。符号化部１２は、動き情報Ｉ２および量子化変換係数Ｉ７に関しては、例えばＭＰＥＧ−４符号化方式などといった従来の動画像符号化方式に採用されているエントロピー符号化と同様の方法によって符号化を行うことができる。
【００４４】
残差補償情報Ｉ５のエントロピー符号化について説明する。上述したように、残差補償情報Ｉ５は基底情報Ｉ１２および量子化補償係数Ｉ１４を含んでいる。基底情報Ｉ１２は基底セットの中から１つの基底を特定するための情報であるので、例えば２ｃ個の基底が基底記憶部６ｂに記憶されている場合、ｃビットの固定長符号によって基底情報Ｉ１２を符号化することができる。また、量子化補償係数Ｉ１４は基底に乗じるスカラ値を量子化したものであり、例えばレンジを１〜２ｄの範囲とすると、ｄビットの固定長符号によって量子化補償係数Ｉ１４を符号化することができる。
【００４５】
次に、動画像符号化装置１の動作について説明する。併せて、本発明の第１実施形態にかかる動画像符号化方法について説明する。図３は第１実施形態にかかる動画像符号化方法のフローチャートである。また、図４は、第１実施形態の動画像符号化方法における残差補償に関する処理のフローチャートである。
【００４６】
図３に示すように、第１実施形態にかかる動画像符号化方法においては、まず、動き補償予測部２によって動き補償予測が行われる（ステップＳ０１）。動き補償予測においては、符号化対象画像Ｉ０が所定のサイズのブロックに分割される。そして、各々のブロックについて動き補償予測部２によって参照画像に対する動きベクトルが求められ、符号化対象画像Ｉ０に関する予測画像Ｉ１が生成される。参照画像としては、参照画像記憶部２０に記憶された画像が用いられる。また、動き補償予測部２によって、動きベクトルといった情報を含む上述の動き情報Ｉ２が符号化部１２に出力される。
【００４７】
次に、動き補償予測部２によって出力された予測画像Ｉ１と符号化対象画像Ｉ０との差演算が、動き残差生成部４によって実行されることによって予測残差画像Ｉ３が生成される（ステップＳ０２）。
【００４８】
次に、残差補償部６によって残差補償が行われる（ステップＳ０３）。残差補償においては、図４に示すように、変換部６ａによって基底記憶部６ｂに記憶されている基底を用いて予測残差画像Ｉ３が分解される。そして、変換部６ａによって、予測残差画像Ｉ３の分解に用いられた基底を特定するための基底情報Ｉ１２と基底に乗ずる補償係数Ｉ１３が出力される（ステップＳ０４）。
【００４９】
次に、量子化部６ｃによって補償係数Ｉ１３が量子化され、量子化補償係数Ｉ１４とされる（ステップＳ０５）。基底情報Ｉ１２および量子化補償係数Ｉ１４は残差補償情報Ｉ５として符号化部１２に出力される。
【００５０】
次に、逆量子化部６ｄによって量子化補償係数Ｉ１４が、逆量子化され、逆量子化補償係数Ｉ１５とされる（ステップＳ０６）。そして、逆変換部６ｅによって、逆量子化補償係数Ｉ１５、基底情報Ｉ１２、及び基底記憶部６ｂに記憶されている基底が用いられ変換部６ａによる変換処理の逆操作である逆変換処理が行われることによって、残差補償画像Ｉ４が生成される。（ステップＳ０７）。
【００５１】
図３を参照すると、次に、残差補償部６によって出力された残差補償画像Ｉ４と動き残差生成部４よって出力された予測残差画像Ｉ３との差演算が減算部８によって実行されることによって、補償残差画像Ｉ６が生成される（ステップＳ０８）。
【００５２】
次に、量子化変換部１０によって、補償残差画像Ｉ６が上述したように係数の集合に分解された後、その集合に含まれる係数に量子化操作が施されることによって量子化変換係数Ｉ７が出力される（ステップＳ０９）。
【００５３】
次に、逆量子化変換部１４によって量子化変換係数Ｉ７に逆量子化操作が施されることによって、逆量子化変換係数が生成される。そして、逆量子化変換係数に、量子化変換部１０によって実行された変換処理の逆変換処理が施され、復号補償残差画像Ｉ８が生成される（ステップＳ１０）。
【００５４】
次に、復号補償残差画像Ｉ８と残差補償画像Ｉ４が、加算部１６によって加算され、復号予測残差画像Ｉ９が生成される（ステップＳ１１）。さらに、復号画像生成部１８によって復号予測残差画像Ｉ９と予測画像Ｉ１が加算されることによって、復号画像Ｉ１０が生成される（ステップＳ１２）。復号画像Ｉ１０は、上述したように参照画像記憶部２０によって参照画像Ｉ１１として記憶され（ステップＳ１３）、動き補償予測部２によって符号化対象画像の予測画像を生成する処理に用いられる。そして、動き情報Ｉ２と残差補償情報Ｉ５と、量子化変換係数Ｉ７とが符号化部１２によって符号化されることによって、圧縮データＩ１６が生成される（ステップＳ１４）。
【００５５】
次に、コンピュータを動画像符号化装置１として機能させる動画像符号化プログラム３０について説明する。図５は、動画像符号化プログラム３０の構成を示す図である。図５に示すように動画像符号化プログラム３０は、処理を統括するメインモジュール３１と、動き補償予測モジュール３２と、動き残差生成モジュール３４と、残差補償モジュール３６と、減算モジュール３８と、量子化変換モジュール４０と、符号化モジュール４２と、逆量子化変換モジュール４４と、加算モジュール４６と、復号画像生成モジュール４８と、参照画像記憶モジュール５０とを備える。残差補償モジュール３６は、変換サブモジュール３６ａと、基底記憶サブモジュール３６ｂと、量子化サブモジュール３６ｃと、逆量子化サブモジュール３６ｄと、逆変換サブモジュール３６ｅとを備えている。
【００５６】
動き補償予測モジュール３２、動き残差生成モジュール３４、残差補償モジュール３６、減算モジュール３８、量子化変換モジュール４０、符号化モジュール４２、逆量子化変換モジュール４４、加算モジュール４６、復号画像生成モジュール４８、参照画像記憶モジュール５０、変換サブモジュール３６ａ、基底記憶サブモジュール３６ｂ、量子化サブモジュール３６ｃ、逆量子化サブモジュール３６ｄ、逆変換サブモジュール３６ｅがコンピュータに実現させる機能は、動き補償予測部２、動き残差生成部４、残差補償部６、減算部８、量子化変換部１０、符号化部１２、逆量子化変換部１４、加算部１６、復号画像生成部１８、参照画像記憶部２０、変換部６ａ、基底記憶部６ｂ、量子化部６ｃ、逆量子化部６ｄ、逆変換部６ｅとそれぞれ同様である。
【００５７】
以下、第１実施形態にかかる動画像符号化装置１の作用及び効果について説明する。動画像符号化装置１では、符号化対象画像に対して動き補償予測を施して生成される予測画像と上記符号化対象画像との差分である予測残差画像に対してＭＰ法を適用することによって、少ない基底数で効率よく予測残差画像に出現しやすい信号パターンを表すことができる。例えば、エッジ部分の画像のようにＤＣＴやウェーブレット変換のような直交変換ではすべての周波数帯域に係数が出現するため、効率的に符号化を行うことができない。しかし、二次元基底にエッジ形状のものを予め記憶することによって、少ない数の基底を用いて予測残差画像を表現することが可能となるので、より効率的な符号化が実現される。
【００５８】
また、残差補償画像と予測残差画像との差分である補償残差画像は、予測残差画像において出現しやすいパターンを取り除かれた画像であるため、ＤＣＴを用いて効率よく表すことができる。このように、本発明の第１実施形態にかかる動画像符号化装置１においては、予測残差画像と残差補償画像をそれぞれに適した方法で分解することができる。その結果、符号化対象画像をより効率よく符号化することができる。
【００５９】
なお、本実施形態における変換部６ａは、所定の第１の変換規則としてＭＰ法に従うように構成されていたが、ＭＰ法に限らず、特定のパターンをより効果的に分解できる変換規則に従う限り、本発明の思想による効果が得られる。例えば、所定の第１の変換規則には、ＭＰ法の他にベクトル量子化法（以下ＶＱ法とよぶ）を適用することができる。
【００６０】
ＶＱ法は、予測残差画像を初期の残差成分とし、下式（２）を用いて残差成分を基底セットを用いて分解する処理を反復するものである。
【数２】
【００６１】
次に、本発明の第２実施形態にかかる動画像符号化装置６０について説明する。動画像符号化装置６０は、参照復号予測残差画像Ｉ１７を記憶するための復号予測残差画像記憶部（復号予測残差画像記憶手段）６８を備え、残差補償における変換で用いられる基底として復号予測残差画像記憶部６８に記憶された参照復号予測残差画像Ｉ１７の部分画像を用いることを特徴とする。以下、動画像符号化装置６０について詳細に説明する。
【００６２】
動画像符号化装置６０の機能的な構成について説明する。図６は、動画像符号化装置６０の機能的な構成を示す図である。動画像符号化装置６０は、機能的には、動き補償予測部２と、動き残差生成部４と、残差補償部（残差補償手段）６２と、減算部８と、量子化変換部１０と、符号化部（符号化手段）６４と、逆量子化変換部１４と、加算部（加算手段）６６と、復号画像生成部１８と、参照画像記憶部２０と、復号予測残差画像記憶部（復号予測残差画像記憶手段）６８とを備える。以下、第１実施形態の動画像符号化装置１と異なる要素について説明する。
【００６３】
復号予測残差画像記憶部６８は、加算部６６によって出力された復号予測残差画像Ｉ９を参照復号予測残差画像Ｉ１７として記憶し、記憶した参照復号予測残差画像Ｉ１７を残差補償部６２に提供する。
【００６４】
残差補償部６２は、動き残差生成部４によって出力された予測残差画像Ｉ３に対する残差補償を行い残差補償画像Ｉ４を生成する。また、残差補償部６２は、残差補償を再現するために必要な情報を残差補償情報Ｉ５として符号化部６４に出力する。
【００６５】
以下、残差補償部６２について詳細に説明する。図７は、残差補償部６２の構成を示す図である。残差補償部６２は、変換部（変換手段）６２ａと、量子化部（量子化手段）６２ｂと、逆量子化部（逆量子化手段）６２ｃと、逆変換部（逆変換手段）６２ｄとを有している。
【００６６】
変換部６２ａは、第１実施形態の変換部６ａと同様に、予測残差画像Ｉ３に所定の第１の変換規則を用いた変換処理を施す。変換部６２ａは、この所定の第１の変換規則として、ＭＰ法やＶＱ法を適用することができる。第１実施形態の変換部６ａは、ＭＰ法やＶＱ法に用いる基底として基底記憶部６ｂに記憶されている基底を用いていたが、変換部６２ａは、参照復号予測残差画像Ｉ１７の部分画像を基底として用いる。
【００６７】
図８は、変換部６２ａによる変換処理を説明するための図である。図８に示すように、変換部６２ａは、予測残差画像Ｉ３における注目領域Ｒ１の画像の変換処理に、参照復号予測残差画像Ｉ１７の対応する領域Ｒ２の部分画像とその近傍の領域Ｒ３における部分画像を基底として用いる。変換部６２ａは、これらの部分画像のうち、注目領域Ｒ１の画像に対する残差エネルギーを最小とする部分画像を基底として選択することによって、注目領域Ｒ１の画像を基底に分解する。変換部６２ａは、分解に用いた基底（部分画像）を特定するための情報を基底情報Ｉ１２として、逆変換部６２ｄに出力する。また、変換部６２ａは、基底情報Ｉ１２を、残差補償情報Ｉ５の一部として符号化部６４に出力する。また、変換部６２ａは、基底に乗じる係数を補償係数Ｉ１３として、量子化部６２ｂに出力する。
【００６８】
量子化部６２ｂは、変換部６２ａによって出力された補償係数Ｉ１３に量子化操作を施すことによって、量子化補償係数Ｉ１４を生成する。量子化部６２ｂは、量子化補償係数Ｉ１４を逆量子化部６２ｃに出力すると共に、量子化補償係数Ｉ１４を残差補償情報Ｉ５の一部として符号化部６４に出力する。
【００６９】
逆量子化部６２ｃは、量子化補償係数Ｉ１４を逆量子化し、逆量子化補償係数Ｉ１５を生成する。逆量子化部６２ｃは、逆量子化補償係数Ｉ１５を逆変換部６２ｄに出力する。逆変換部６２ｄは、逆量子化補償係数Ｉ１５、基底情報Ｉ１２、及び参照復号予測残差画像Ｉ１７を用い、変換部６２ａによって行われる上述の変換処理の逆変換処理を実行することによって、残差補償画像Ｉ４を生成する。逆変換部６２ｄは、残差補償画像Ｉ４を減算部８及び加算部６６に出力する。
【００７０】
符号化部６４は、動き補償予測部２によって出力された動き情報Ｉ２と、量子化変換部１０によって出力された量子化変換係数Ｉ７と、残差補償部６２によって出力された残差補償情報Ｉ５をそれぞれ圧縮してなる符号化データを生成し、これら符号化データを含む圧縮データを出力する。なお、符号化部６４による圧縮処理は、第１実施形態の符号化部１２と同様の処理である。
【００７１】
以下、動画像符号化装置６０の動作を説明し、併せて本発明の第２実施形態にかかる動画像符号化方法について説明する。図９は、第２実施形態にかかる動画像符号化方法のフローチャートである。図１０は、第２実施形態の動画像符号化方法における残差補償に関する処理のフローチャートである。
【００７２】
図９に示すように、第２実施形態にかかる動画像符号化方法においては、まず、動き補償予測部２によって動き補償予測が行われる（ステップＳ２１）。ステップＳ２１における処理は、第１実施形態のステップＳ０１の処理と同様である。
【００７３】
次に、動き補償予測部２によって出力された予測画像Ｉ１と符号化対象画像Ｉ０との差演算が、動き残差生成部４によって実行されることによって予測残差画像Ｉ３が生成される（ステップＳ２２）。
【００７４】
次に、残差補償部６２によって残差補償が行われる（ステップＳ２３）。残差補償においては、図１０に示すように、変換部６２ａによって予測残差画像Ｉ３が分解される。ここで、変換部６２ａは、上述したように、復号予測残差画像記憶部６８によって提供される参照復号予測残差画像Ｉ１７の部分画像を基底として用い予測残差画像Ｉ３の分解を行う。そして、変換部６２ａによって、予測残差画像Ｉ３の分解に用いられた基底（部分画像）を特定するための基底情報Ｉ１２と基底に乗ずる補償係数Ｉ１３が出力される（ステップＳ２４）。
【００７５】
次に、量子化部６２ｂによって補償係数Ｉ１３が量子化され、量子化補償係数Ｉ１４とされる（ステップＳ２５）。基底情報Ｉ１２および量子化補償係数Ｉ１４は残差補償情報Ｉ５として符号化部６４に出力される。
【００７６】
次に、逆量子化部６２ｃによって量子化補償係数Ｉ１４が、逆量子化され、逆量子化補償係数Ｉ１５とされる（ステップＳ２６）。そして、逆変換部６２ｄによって、かかる逆量子化補償係数Ｉ１５、基底情報Ｉ１２、及び参照復号予測残差画像Ｉ１７が用いられ、変換部６２ａによる変換処理の逆操作である逆変換処理が行われることによって、残差補償画像Ｉ４が生成される。（ステップＳ２７）。
【００７７】
図９を参照すると、次に、残差補償部６によって出力された残差補償画像Ｉ４と動き残差生成部４よって出力された予測残差画像Ｉ３との差演算が減算部８によって実行されることによって、補償残差画像Ｉ６が生成される（ステップＳ２８）。
【００７８】
次に、量子化変換部１０によって、補償残差画像Ｉ６が上述したように係数の集合に分解された後、その集合に含まれる係数に量子化操作が施されることによって量子化変換係数Ｉ７が出力される（ステップＳ２９）。
【００７９】
次に、逆量子化変換部１４によって量子化変換係数Ｉ７に逆量子化操作が施されることによって、逆量子化変換係数が生成される。そして、逆量子化変換係数に、量子化変換部１０によって実行された変換処理の逆変換処理が施され、復号補償残差画像Ｉ８が生成される（ステップＳ３０）。
【００８０】
次に、復号補償残差画像Ｉ８と残差補償画像Ｉ４が、加算部６６によって加算され、復号予測残差画像Ｉ９が生成される（ステップＳ３１）。復号予測残差画像Ｉ９は、復号予測残差画像記憶部６８によって参照復号予測残差画像Ｉ１７として記憶され、残差補償部６２による処理に提供される（ステップＳ３２）。
【００８１】
次に、復号画像生成部１８によって復号予測残差画像Ｉ９と予測画像Ｉ１が加算されることによって、復号画像Ｉ１０が生成される（ステップＳ３３）。復号画像Ｉ１０は、上述したように参照画像記憶部２０によって参照画像Ｉ１１として記憶され（ステップＳ３４）、動き補償予測部２によって符号化対象画像の予測画像を生成する処理に用いられる。そして、動き情報Ｉ２と残差補償情報Ｉ５と、量子化変換係数Ｉ７とが符号化部６４によって符号化されることによって、圧縮データＩ１６が生成される（ステップＳ３５）。
【００８２】
次に、コンピュータを動画像符号化装置６０として機能させる動画像符号化プログラム７０について説明する。図１１は、動画像符号化プログラム７０の構成を示す図である。図１１に示すように動画像符号化プログラム７０は、処理を統括するメインモジュール３１と、動き補償予測モジュール３２と、動き残差生成モジュール３４と、残差補償モジュール７２と、減算モジュール３８と、量子化変換モジュール４０と、符号化モジュール７４と、逆量子化変換モジュール４４と、加算モジュール７６と、復号予測残差画像記憶モジュール７８と、復号画像生成モジュール４８と、参照画像記憶モジュール５０とを備える。残差補償モジュール７２は、変換サブモジュール７２ａと、量子化サブモジュール７２ｂと、逆量子化サブモジュール７２ｃと、逆変換サブモジュール７２ｄとを備えている。
【００８３】
動き補償予測モジュール３２、動き残差生成モジュール３４、残差補償モジュール７２、減算モジュール３８、量子化変換モジュール４０、符号化モジュール７４、逆量子化変換モジュール４４、加算モジュール７６、復号予測残差画像記憶モジュール７８、復号画像生成モジュール４８、参照画像記憶モジュール５０、変換サブモジュール７２ａ、量子化サブモジュール７２ｂ、逆量子化サブモジュール７２ｃ、逆変換サブモジュール７２ｄがコンピュータに実現させる機能は、動き補償予測部２、動き残差生成部４、残差補償部６２、減算部８、量子化変換部１０、符号化部６４、逆量子化変換部１４、加算部６６、復号予測残差画像記憶部６８、復号画像生成部１８、参照画像記憶部２０、変換部６２ａ、量子化部６２ｂ、逆量子化部６２ｃ、逆変換部６２ｄとそれぞれ同様である。
【００８４】
以上のように、残差補償における変換処理に用いる基底として、復号予測残差画像記憶部６８に記憶された参照復号予測残差画像（復号予測残差画像）の部分画像を用いることによって、予測残差画像の類似性を利用した更に効果的な残差補償を行うことができるので、効率の良い符号化を実現することができる。
【００８５】
次に、本発明の第３実施形態にかかる動画像符号化装置８０について説明する。動画像符号化装置８０は、基底セットを記憶するための基底記憶部（基底記憶手段）８２ｂと、参照復号予測残差画像Ｉ１７を記憶するための復号予測残差画像記憶部（復号予測残差画像記憶手段）６８とを備え、残差補償における変換で用いられる基底として基底記憶部８２ｂに記憶された基底セット、又は、復号予測残差画像記憶部６８に記憶された参照復号予測残差画像Ｉ１７の部分画像を用いることを特徴とする。
【００８６】
動画像符号化装置８０の機能的な構成について説明する。図１２は、動画像符号化装置８０の機能的な構成を示す図である。動画像符号化装置８０は、機能的には、動き補償予測部２と、動き残差生成部４と、残差補償部（残差補償手段）８２と、減算部８と、量子化変換部１０と、符号化部（符号化手段）８４と、逆量子化変換部１４と、加算部６６と、復号画像生成部１８と、参照画像記憶部２０と、復号予測残差画像記憶部６８とを備える。以下、第１実施形態の動画像符号化装置１、又は、第２実施形態の動画像符号化装置６０と異なる要素について説明する。
【００８７】
残差補償部８２は、予測残差画像Ｉ３に対する残差補償を行い残差補償画像Ｉ４を生成する。残差補償部８２は、生成した残差補償画像Ｉ４を減算部８及び加算部６６に出力する。また、残差補償部８２は、残差補償を再現するために必要な情報を残差補償情報Ｉ５として符号化部８４に出力する。
【００８８】
以下、残差補償部８２について詳細に説明する。図１３は、残差補償部８２の構成を示す図である。図１３に示すように、残差補償部８２は、変換部（変換手段）８２ａと、基底記憶部（基底記憶手段）８２ｂと、量子化部（量子化手段）８２ｃと、逆量子化部（逆量子化手段）８２ｄと、逆変換部（逆変換手段）８２ｅとを有している。
【００８９】
変換部８２ａは、予測残差画像Ｉ３に所定の第１の変換規則を用いた変換処理を施す。所定の第１の変換規則としては、第１実施形態と同様にＭＰ法、或いはＶＱ法を用いることができる。
【００９０】
本実施形態では、基底記憶部８２ｂが複数の二次元基底を含む基底セットを記憶している。変換部８２ａは、第１実施形態と同様に基底記憶部８２ｂによって提供される基底セットを用いて予測残差画像Ｉ３を分解することができ、また、第２実施形態と同様に復号予測残差画像記憶部６８から提供される参照復号予測残差画像Ｉ１７中の部分画像を用いて予測残差画像Ｉ３を分解することもできる。
【００９１】
変換部８２ａは、基底記憶部８２ｂに記憶されている基底セットまたは復号予測残差画像記憶部６８から提供される参照復号予測残差画像Ｉ１７中の部分画像のうち、エネルギー減少量が最大のものを基底として選択し、予測残差画像Ｉ３の分解を行う。変換部８２ａは、この分解に用いられた基底を特定するための情報を基底情報Ｉ１２として逆変換部６２ｄに出力する。また、変換部８２ａは、基底情報Ｉ１２を、残差補償情報Ｉ５の一部として符号化部８４に出力する。また、変換部６２ａは、基底に乗じる係数を補償係数Ｉ１３として、量子化部８２ｃに出力する。
【００９２】
量子化部８２ｃは、変換部８２ａによって出力された補償係数Ｉ１３に量子化操作を施すことによって、量子化補償係数Ｉ１４を生成する。量子化部８２ｃは、量子化補償係数Ｉ１４を逆量子化部８２ｄに出力すると共に、量子化補償係数Ｉ１４を残差補償情報Ｉ５の一部として符号化部８４に出力する。
【００９３】
逆量子化部８２ｄは、量子化補償係数Ｉ１４を逆量子化し、逆量子化補償係数Ｉ１５を生成する。逆量子化部８２ｄは、逆量子化補償係数Ｉ１５を逆変換部８２ｅに出力する。逆変換部８２ｅは、逆量子化補償係数Ｉ１５、基底情報Ｉ１２、基底記憶部８２ｂに記憶された基底セット、及び参照復号予測残差画像Ｉ１７を用い、変換部８２ａによって行われる上述の変換処理の逆変換処理を実行することによって、残差補償画像Ｉ４を生成する。逆変換部８２ｅは、残差補償画像Ｉ４を減算部８及び加算部６６に出力する。
【００９４】
符号化部６４は、動き補償予測部２によって出力された動き情報Ｉ２と、量子化変換部１０によって出力された量子化変換係数Ｉ７と、残差補償部６２によって出力された残差補償情報Ｉ５をそれぞれ圧縮してなる符号化データを生成し、これら符号化データを含む圧縮データを出力する。なお、符号化部８４による圧縮処理は、第１実施形態の符号化部１２と同様の処理である。
【００９５】
以下、動画像符号化装置８０の動作を説明し、併せて本発明の第３実施形態にかかる動画像符号化方法について説明する。図１４は、第３実施形態にかかる動画像符号化方法のフローチャートである。図１５は、第３実施形態の動画像符号化方法における残差補償に関する処理のフローチャートである。
【００９６】
図１４に示すように、第３実施形態にかかる動画像符号化方法においては、まず、動き補償予測部２によって動き補償予測が行われる（ステップＳ４１）。ステップＳ４１における処理は、第１実施形態のステップＳ０１の処理と同様である。
【００９７】
次に、動き補償予測部２によって出力された予測画像Ｉ１と符号化対象画像Ｉ０との差演算が、動き残差生成部４によって実行されることによって予測残差画像Ｉ３が生成される（ステップＳ４２）。
【００９８】
次に、残差補償部８２によって残差補償が行われる（ステップＳ４３）。残差補償においては、図１５に示すように、変換部８２ａによって予測残差画像Ｉ３が分解される。ここで、変換部８２ａは、上述したように、基底記憶部８２ｂに記憶された記憶セット及び復号予測残差画像記憶部６８によって提供される参照復号予測残差画像Ｉ１７の部分画像を基底として用い予測残差画像Ｉ３の分解を行う。そして、変換部８２ａによって、予測残差画像Ｉ３の分解に用いられた基底を特定するための基底情報Ｉ１２と基底に乗ずる補償係数Ｉ１３が出力される（ステップＳ４４）。
【００９９】
次に、量子化部８２ｃによって補償係数Ｉ１３が量子化され、量子化補償係数Ｉ１４とされる（ステップＳ４５）。基底情報Ｉ１２および量子化補償係数Ｉ１４は残差補償情報Ｉ５として符号化部６４に出力される。
【０１００】
次に、逆量子化部８２ｄによって量子化補償係数Ｉ１４が、逆量子化され、逆量子化補償係数Ｉ１５とされる（ステップＳ４６）。そして、逆変換部８２ｅによって、かかる逆量子化補償係数Ｉ１５、基底情報Ｉ１２、基底記憶部８２ｂに記憶された基底セット、及び参照復号予測残差画像Ｉ１７が用いられ、変換部６２ａによる変換処理の逆操作である逆変換処理が行われることによって、残差補償画像Ｉ４が生成される。（ステップＳ４７）。
【０１０１】
図１４を参照すると、次に、残差補償部８２によって出力された残差補償画像Ｉ４と動き残差生成部４よって出力された予測残差画像Ｉ３との差演算が減算部８によって実行されることによって、補償残差画像Ｉ６が生成される（ステップＳ４８）。
【０１０２】
次に、量子化変換部１０によって、補償残差画像Ｉ６が上述したように係数の集合に分解された後、その集合に含まれる係数に量子化操作が施されることによって量子化変換係数Ｉ７が出力される（ステップＳ４９）。
【０１０３】
次に、逆量子化変換部１４によって量子化変換係数Ｉ７に逆量子化操作が施されることによって、逆量子化変換係数が生成される。そして、逆量子化変換係数に、量子化変換部１０によって実行された変換処理の逆変換処理が施され、復号補償残差画像Ｉ８が生成される（ステップＳ５０）。
【０１０４】
次に、復号補償残差画像Ｉ８と残差補償画像Ｉ４が、加算部６６によって加算され、復号予測残差画像Ｉ９が生成される（ステップＳ５１）。復号予測残差画像Ｉ９は、復号予測残差画像記憶部６８によって参照復号予測残差画像Ｉ１７として記憶され、残差補償部８２による処理に提供される（ステップＳ５２）。
【０１０５】
次に、復号画像生成部１８によって復号予測残差画像Ｉ９と予測画像Ｉ１が加算されることによって、復号画像Ｉ１０が生成される（ステップＳ５３）。復号画像Ｉ１０は、上述したように参照画像記憶部２０によって参照画像Ｉ１１として記憶され（ステップＳ５４）、動き補償予測部２によって符号化対象画像の予測画像を生成する処理に用いられる。そして、動き情報Ｉ２と残差補償情報Ｉ５と、量子化変換係数Ｉ７とが符号化部８４によって符号化されることによって、圧縮データＩ１６が生成される（ステップＳ５５）。
【０１０６】
次に、コンピュータを動画像符号化装置８０として機能させる動画像符号化プログラム９０について説明する。図１６は、動画像符号化プログラム９０の構成を示す図である。図１６に示すように動画像符号化プログラム９０は、処理を統括するメインモジュール３１と、動き補償予測モジュール３２と、動き残差生成モジュール３４と、残差補償モジュール９２と、減算モジュール３８と、量子化変換モジュール４０と、符号化モジュール９４と、逆量子化変換モジュール４４と、加算モジュール７６と、復号予測残差画像記憶モジュール７８と、復号画像生成モジュール４８と、参照画像記憶モジュール５０とを備える。残差補償モジュール９２は、変換サブモジュール９２ａと、基底記憶サブモジュール９２ｂと、量子化サブモジュール９２ｃと、逆量子化サブモジュール９２ｄと、逆変換サブモジュール９２ｅとを備えている。
【０１０７】
動き補償予測モジュール３２、動き残差生成モジュール３４、残差補償モジュール９２、減算モジュール３８、量子化変換モジュール４０、符号化モジュール９４、逆量子化変換モジュール４４、加算モジュール７６、復号予測残差画像記憶モジュール７８、復号画像生成モジュール４８、参照画像記憶モジュール５０、変換サブモジュール９２ａ、基底記憶サブモジュール９２ｂ、量子化サブモジュール９２ｃ、逆量子化サブモジュール９２ｄ、逆変換サブモジュール９２ｅがコンピュータに実現させる機能は、動き補償予測部２、動き残差生成部４、残差補償部８２、減算部８、量子化変換部１０、符号化部８４、逆量子化変換部１４、加算部６６、復号予測残差画像記憶部６８、復号画像生成部１８、参照画像記憶部２０、変換部８２ａ、基底記憶部８２ｂ、量子化部８２ｃ、逆量子化部８２ｄ、逆変換部８２ｅとそれぞれ同様である。
【０１０８】
以上のように、動画像符号化装置８０によれば、残差補償における変換で用いられる基底として復号予測残差画像記憶部６８に記憶された参照復号予測残差画像Ｉ１７の部分画像と基底記憶部８２ｂに記憶された基底セットとが併用される。したがって、動画像符号化装置８０は、予測残差画像の類似性を利用して効果的に予測残差画像Ｉ３の残差補償を行うことができ、また、フレーム間に急激な変化が生じている場合には基底記憶部８２ｂに記憶された基底セットを用いることができるので、効率のよい符号化を実現することができる。
【０１０９】
次に、本発明の第４実施形態にかかる動画像復号装置１００について説明する。動画像復号装置１００は、第１実施形態の動画像符号化装置１によって生成された圧縮データを復号して動画像を生成する装置である。動画像復号装置１００は、物理的には、ＣＰＵ（中央演算装置）、メモリといった記憶装置、ハードディスクといった記憶装置等を備えるコンピュータである。ここでの「コンピュータ」とは、パーソナルコンピュータ等の通常のコンピュータに加えて、移動通信端末といった情報携帯端末も含むものであり、本発明の思想は情報処理可能な機器に広く適用される。
【０１１０】
以下、動画像復号装置１００の機能的な構成について説明する。図１７は、動画像復号装置１００の機能的な構成を示す図である。動画像復号装置１００は、機能的には、復号部（復号手段）１０２と、逆量子化変換部（逆量子化変換手段）１０４と、残差復号部（残差復号手段）１０６と、加算部（加算手段）１０８と、動き補償予測部（動き補償予測手段）１１０と、復号画像生成部（復号画像生成手段）１１２と、参照画像記憶部（参照画像記憶手段）１１４と、を備える。
【０１１１】
復号部１０２は、動画像符号化装置１によって生成された圧縮データＩ１６を復号する。復号部１０２は、圧縮データＩ１６を復号することによって得られる量子化変換係数Ｉ７を逆量子化変換部１０４に出力する。また、復号部１０２は、圧縮データＩ１６を復号することによって得られる残差補償情報Ｉ５を残差復号部１０６に出力する。また、復号部１０２は、圧縮データＩ１６を復号することによって得られる動き情報Ｉ２を動き補償予測部１１０に出力する。
【０１１２】
逆量子化変換部１０４は、上記の量子化変換係数に逆量子化操作を施してなる逆量子化変換係数を生成する。逆量子化変換部１０４は、上述した所定の第２の逆変換規則を用い、逆量子化変換係数を逆変換することによって復号補償残差画像Ｉ８を生成する。この所定の第２の逆変換規則は、第１実施形態の動画像符号化装置１によって用いられる所定の第２の変換規則の逆変換操作である。
【０１１３】
残差復号部１０６は、復号部１０２によって出力される残差補償情報Ｉ５を用いて残差復号を行うことによって残差補償画像Ｉ４を生成する。残差復号部１０６による処理の詳細については後述する。
【０１１４】
加算部１０８は、逆量子化変換部１０４によって生成された復号補償残差画像Ｉ８と残差復号部１０６によって生成された残差補償画像Ｉ４を加算して復号予測残差画像Ｉ９を生成する。
【０１１５】
動き補償予測部１１０は、復号部１０２によって出力された動き情報Ｉ２を用いて、参照画像記憶部１１４に記憶された参照画像Ｉ１１に対する動き補償予測を行い、復号画像Ｉ１０の予測画像Ｉ１を生成する。
【０１１６】
復号画像生成部１１２は、加算部１０８によって生成された復号予測残差画像Ｉ９と動き補償予測部１１０によって生成された予測画像Ｉ１を加算して復号画像Ｉ１０を生成する。復号画像生成部１１２は、復号画像Ｉ１０を参照画像記憶部１１４へ出力し、復号画像Ｉ１０を参照画像記憶部１１４に記憶させる。参照画像記憶部１１４は、記憶した復号画像Ｉ１０を、動き補償予測のために動き補償予測部１１０に参照画像Ｉ１１として提供する。
【０１１７】
次に、残差復号部１０６の詳細について説明する。残差復号部１０６は、残差補償情報Ｉ５に含まれる量子化補償係数Ｉ１４を逆量子化してなる逆量子化補償係数Ｉ１５と、残差補償情報Ｉ５に含まれる基底情報Ｉ１２を用いて所定の第１の逆変換規則を用いて逆変換を行い残差補償画像Ｉ４を生成する。この所定の第１の逆変換規則は、第１実施形態の動画像符号化装置１によって用いられる所定の第１の変換規則の逆変換操作である。
【０１１８】
図１８は、残差復号部１０６の構成を示す図である。残差復号部１０６は、逆量子化部（逆量子化手段）１０６ａと、逆変換部（逆変換手段）１０６ｂと、基底記憶部（基底記憶手段）１０６ｃとを備えている。
【０１１９】
逆量子化部１０６ａは、量子化補償係数Ｉ１４を逆量子化し、逆量子化補償係数Ｉ１５を生成する。逆変換部１０６ｂは、基底記憶部１０６ｃに記憶されている基底セットのうちから基底情報Ｉ１２によって特定される基底を抽出する。逆変換部１０６ｂは、抽出した基底と逆量子化部１０６ａによって生成された逆量子化補償係数Ｉ１５を用いて、変換部６ａによる変換処理の逆操作である逆変換処理を行い、残差補償画像Ｉ４を生成する。なお、基底記憶部１０６ｃには、基底記憶部６ｂに記憶されている基底と同様の基底を含む基底セットを記憶させておくことができる。
【０１２０】
以下、動画像復号装置１００の動作について説明し、併せて第４実施形態にかかる動画像復号方法について説明する。図１９は、第４実施形態の動画像復号方法のフローチャートである。また、図２０は、第４実施形態の動画像復号方法の残差復号に関する処理を示すフローチャートである。
【０１２１】
図１９に示すように、第４実施形態の動画像復号方法においては、まず、動画像符号化装置１によって生成された圧縮データＩ１６から、復号部１０２によって量子化変換係数Ｉ７と残差補償情報Ｉ５と動き情報Ｉ２が復号される（ステップＳ６１）。
【０１２２】
次に、逆量子化変換部１０４が、量子化変換係数Ｉ７に逆量子化操作を施すことによって逆量子化変換係数を生成する。逆量子化変換部１０４は、生成した逆量子化変換係数に、所定の第２の逆変換規則による逆変換を施すことによって、復号補償残差画像Ｉ８を復元する（ステップＳ６２）。
【０１２３】
次に、残差復号部１０６が、復号部１０２によって復号された残差補償情報Ｉ５を用いて、残差復号を行い、残差補償画像Ｉ４を生成する（ステップＳ６３）。図２０に示すように残差復号部１０６では、逆量子化部１０６ａが量子化補償係数Ｉ１４を逆量子化することによって逆量子化補償係数Ｉ１５を生成する（ステップＳ６４）。
【０１２４】
次に、逆変換部１０６ｂが、逆量子化補償係数Ｉ１５、残差補償情報Ｉ５に含まれる基底情報Ｉ１２、及び基底記憶部１０６ｃに記憶され基底情報Ｉ１２によって特定される基底を用いて、変換部６ａによる変換処理の逆操作である逆変換処理を行い、残差補償画像Ｉ４を生成する（ステップＳ６５）。
【０１２５】
図１９を参照すると、次に、加算部１０８が復号補償残差画像Ｉ８と残差補償画像Ｉ４とを加算することによって復号予測残差画像Ｉ９を生成する（ステップＳ６６）。
【０１２６】
次に、動き補償予測部１１０が、復号部１０２によって出力された動き情報Ｉ２を用いて、参照画像記憶部１１４に記憶される参照画像Ｉ１１に対する動き補償予測を行うことによって復号画像Ｉ１０の予測画像Ｉ１を生成する（ステップＳ６７）。
【０１２７】
次に、復号画像生成部１１２が、予測画像Ｉ１と復号予測残差画像Ｉ９とを加算することによって、復号画像Ｉ１０を生成する（ステップＳ６８）。復号画像生成部１１２は、復号画像Ｉ１０を参照画像記憶部１１４へ出力し、復号画像Ｉ１０を参照画像記憶部１１４に記憶させる（ステップＳ６９）。参照画像記憶部１１４は、記憶した復号画像Ｉ１０を、動き補償予測のために動き補償予測部１１０に参照画像Ｉ１１として提供する。
【０１２８】
以下、コンピュータを動画像復号装置１００として動作させる動画像復号プログラム１２０について説明する。図２１は、動画像復号プログラム１２０の構成を示す図である。動画像復号プログラム１２０は、処理を統括するメインモジュール１２１と、復号モジュール１２２と、逆量子化変換モジュール１２４と、残差復号モジュール１２６と、加算モジュール１２８と、動き補償予測モジュール１３０と、復号画像生成モジュール１３２と、参照画像記憶モジュール１３４とを備える。残差復号モジュール１２６は、逆量子化サブモジュール１２６ａと、逆変換サブモジュール１２６ｂと、基底記憶サブモジュール１２６ｃとを有している。
【０１２９】
復号モジュール１２２、逆量子化変換モジュール１２４、残差復号モジュール１２６、加算モジュール１２８、動き補償予測モジュール１３０、復号画像生成モジュール１３２、参照画像記憶モジュール１３４、逆量子化サブモジュール１２６ａ、逆変換サブモジュール１２６ｂ、基底記憶サブモジュール１２６ｃがコンピュータに実現させる機能は、復号部１０２、逆量子化変換部１０４、残差復号部１０６、加算部１０８、動き補償予測部１１０、復号画像生成部１１２、参照画像記憶部１１４、逆量子化部１０６ａ、逆変換部１０６ｂ、基底記憶部１０６ｃとそれぞれ同様である。
【０１３０】
以下、第４実施形態にかかる動画像復号装置１００の作用及び効果を説明する。動画像復号装置１００は、圧縮データＩ１６を復号することによって得られる情報に逆量子化変換処理、残差復号処理、及び動き補償予測処理を行う。すなわち、動画像復号装置１００によれば、動画像符号化装置１によって動画像から圧縮データが生成される処理の逆処理が行われるので、上記の動画像が忠実に復元される。
【０１３１】
次に、本発明の第５実施形態にかかる動画像復号装置１４０について説明する。動画像復号装置１４０は、第２実施形態の動画像符号化装置６０によって生成された圧縮データＩ１６から動画像を復元する装置である。動画像復号装置１４０では、参照復号予測残差画像Ｉ１７を記憶するための復号予測残差画像記憶部（復号予測残差画像記憶手段）１４８を備え、残差復号における逆変換で用いられる基底として復号予測残差画像記憶部１４８に記憶された参照復号予測残差画像Ｉ１７の部分画像を用いることを特徴とする。
【０１３２】
以下、動画像復号装置１４０の機能的な構成について説明する。図２２は、動画像復号装置１４０の機能的な構成を示す図である。動画像復号装置１４０は、機能的には、復号部（復号手段）１４２と、逆量子化変換部１０４と、残差復号部（残差復号部）１４４と、加算部（加算手段）１４６と、動き補償予測部（動き補償予測手段）１１０と、復号画像生成部１１２と、参照画像記憶部１１４と、復号予測残差画像記憶部（復号予測残差画像記憶手段）１４８とを備える。以下、第４実施形態の動画像復号装置１００と異なる要素について説明する。
【０１３３】
復号部１４２は、動画像符号化装置６０によって生成された圧縮データＩ１６を復号し、量子化変換係数Ｉ７と、残差補償情報Ｉ５と、動き情報Ｉ２とを出力する。この残差補償情報Ｉ５には、復号予測残差画像記憶部１４８に記憶される参照復号予測残差画像Ｉ１７の部分画像を用いて残差補償画像Ｉ４を復元するための基底情報Ｉ１２と、量子化補償係数Ｉ１４が含まれている。
【０１３４】
残差復号部１４４は、残差補償情報Ｉ５を用いて残差復号を行い残差補償画像Ｉ４を生成する。以下、残差復号部１４４について詳細に説明する。図２３は、残差復号部１４４の構成を示す図である。図２３に示すように、残差復号部１４４は、逆量子化部（逆量子化手段）１４４ａと、逆変換部（逆変換手段）１４４ｂとを有する。
【０１３５】
逆量子化部１４４ａは、残差補償情報Ｉ５に含まれている量子化補償係数Ｉ１４に逆量子化操作を施すことによって、逆量子化補償係数Ｉ１５を生成する。
【０１３６】
逆変換部１４４ｂは、復号予測残差画像記憶部１４８に記憶された参照復号予測残差画像Ｉ１７のうち、残差補償情報Ｉ５に含まれている基底情報Ｉ１２から部分画像（基底）を特定する。逆変換部１４４ｂは、特定した部分画像と、逆量子化部１４４ａによって生成された逆量子化補償係数Ｉ１５とを用いて変換部６２ａによる変換処理の逆操作である逆変換処理を行い、残差補償画像Ｉ４を生成する。
【０１３７】
図２２を参照すると、加算部１４６は、復号部１４２によって復号された量子化変換係数Ｉ７が更に逆量子化変換部１０４によって逆量子化及び逆変換されてなる復号補償残差画像Ｉ８と残差復号部１４４によって生成された残差補償画像Ｉ４とを加算することによって、復号予測残差画像Ｉ９を生成する。加算部１４６は、復号予測残差画像Ｉ９を復号画像生成部１１２に出力すると共に、復号予測残差画像Ｉ９を復号予測残差画像記憶部１４８に参照復号予測残差画像Ｉ１７として記憶させる。復号予測残差画像記憶部１４８は、記憶した参照復号予測残差画像Ｉ１７を残差復号のために残差復号部１４４に提供する。
【０１３８】
次に、動画像復号装置１４０の動作について説明し、併せて第５実施形態にかかる動画像復号方法について説明する。図２４は、第５実施形態の動画像復号方法のフローチャートである。また、図２５は、第５実施形態の動画像復号方法の残差復号に関する処理を示すフローチャートである。
【０１３９】
図２４に示すように、第５実施形態の動画像復号方法においては、まず、動画像符号化装置６０によって生成された圧縮データＩ１６から、復号部１４２によって量子化変換係数Ｉ７と残差補償情報Ｉ５と動き情報Ｉ２が復号される（ステップＳ７１）。
【０１４０】
次に、逆量子化変換部１０４が、量子化変換係数Ｉ７に逆量子化操作を施すことによって逆量子化変換係数を生成する。逆量子化変換部１０４は、生成した逆量子化変換係数に、所定の第２の逆変換規則による逆変換を施すことによって、復号補償残差画像Ｉ８を復元する（ステップＳ７２）。
【０１４１】
次に、残差復号部１４４が、復号部１４２によって復号された残差補償情報Ｉ５を用いて、残差復号を行い、残差補償画像Ｉ４を生成する（ステップＳ７３）。図２５に示すように残差復号部１４４では、逆量子化部１４４ａが量子化補償係数Ｉ１４を逆量子化することによって逆量子化補償係数Ｉ１５を生成する（ステップＳ７４）。
【０１４２】
次に、逆変換部１４４ｂが、逆量子化補償係数Ｉ１５、残差補償情報Ｉ５に含まれる基底情報Ｉ１２、及び復号予測残差画像記憶部１４８によって提供される参照復号予測残差画像Ｉ１７を用いて、変換部６２ａによる変換処理の逆操作である逆変換処理を行い、残差補償画像Ｉ４を生成する（ステップＳ７５）。
【０１４３】
図２４を参照すると、次に、加算部１４６が復号補償残差画像Ｉ８と残差補償画像Ｉ４とを加算することによって復号予測残差画像Ｉ９を生成する（ステップＳ７６）。
【０１４４】
次に、復号予測残差画像記憶部１４８が、加算部１４６によって生成された復号予測残差画像Ｉ９を参照復号予測残差画像Ｉ１７として記憶する（ステップＳ７７）。復号予測残差画像記憶部１４８は、記憶した参照復号予測残差画像Ｉ１７を残差復号のために残差復号部１４４に提供する。
【０１４５】
次に、動き補償予測部１１０が、復号部１０２によって出力された動き情報Ｉ２を用いて、参照画像記憶部１１４に記憶された参照画像Ｉ１１に対する動き補償予測を行うことによって復号画像Ｉ１０の予測画像Ｉ１を生成する（ステップＳ７８）。
【０１４６】
次に、復号画像生成部１１２が、予測画像Ｉ１と復号予測残差画像Ｉ９とを加算することによって、復号画像Ｉ１０を生成する（ステップＳ７９）。復号画像生成部１１２は、復号画像Ｉ１０を参照画像記憶部１１４へ出力し、復号画像Ｉ１０を参照画像記憶部１１４に記憶させる（ステップＳ８０）。参照画像記憶部１１４は、記憶した復号画像Ｉ１０を、動き補償予測のために動き補償予測部１１０に参照画像Ｉ１１として提供する。
【０１４７】
以下、コンピュータを動画像復号装置１４０として動作させる動画像復号プログラム１５０について説明する。図２６は、動画像復号プログラム１５０の構成を示す図である。動画像復号プログラム１５０は、処理を統括するメインモジュール１５１と、復号モジュール１５２と、逆量子化変換モジュール１２４と、残差復号モジュール１５４と、加算モジュール１５６と、復号予測残差画像記憶モジュール１５８と、動き補償予測モジュール１３０と、復号画像生成モジュール１３２と、参照画像記憶モジュール１３４とを備える。残差復号モジュール１５４は、逆量子化サブモジュール１５４ａと、逆変換サブモジュール１５４ｂとを有している。
【０１４８】
復号モジュール１５２、逆量子化変換モジュール１２４、残差復号モジュール１５４、加算モジュール１５６、復号予測残差画像記憶モジュール１５８、動き補償予測モジュール１３０、復号画像生成モジュール１３２、参照画像記憶モジュール１３４、逆量子化サブモジュール１５４ａ、逆変換サブモジュール１５４ｂがコンピュータに実現させる機能は、復号部１４２、逆量子化変換部１０４、残差復号部１４４、加算部１４６、復号予測残差画像記憶部１４８、動き補償予測部１１０、復号画像生成部１１２、参照画像記憶部１１４、逆量子化部１４４ａ、逆変換部１４４ｂとそれぞれ同様である。
【０１４９】
以上のように、動画像復号装置１４０は、残差復号における逆変換で用いられる基底として復号予測残差画像記憶部１４８に記憶された参照復号予測残差画像Ｉ１７の部分画像を用いるよう構成されているので、動画像符号化装置６０が動画像から圧縮データを生成する処理の逆処理を忠実に行うことができる。したがって、動画像復号装置１４０は、動画像符号化装置６０によって生成された圧縮データから上記の動画像を復元することができる。
【０１５０】
本発明の第６実施形態にかかる動画像復号装置１７０について説明する。動画像復号装置１７０は、第３実施形態の動画像符号化装置８０によって生成される圧縮データＩ１６から動画像を復元する装置である。動画像復号装置１７０では、基底セットを記憶するための基底記憶部（基底記憶手段）１７４ｃと、参照復号予測残差画像Ｉ１７を記憶するための復号予測残差画像記憶部（復号予測残差画像記憶手段）１４８とを備え、残差補償における変換で用いられる基底として基底記憶部１７４ｃに記憶された基底セット、又は、復号予測残差画像記憶部１４８に記憶された参照復号予測残差画像Ｉ１７の部分画像を用いることを特徴とする。
【０１５１】
以下、動画像復号装置１７０の機能的な構成について説明する。図２７は、動画像復号装置１７０の機能的な構成を示す図である。動画像復号装置１７０は、機能的には、復号部（復号手段）１７２と、逆量子化変換部（逆量子化変換手段）１０４と、残差復号部（残差復号手段）１７４と、加算部（加算手段）１４６と、動き補償予測部（動き補償予測手段）１１０と、復号画像生成部（復号画像生成手段）１１２と、参照画像記憶部（参照画像記憶手段）１１４と、復号予測残差画像記憶部（復号予測残差画像記憶手段）１４８とを備える。以下、第４実施形態の動画像復号装置１００又は第５実施形態の動画像復号装置１４０と異なる要素について説明する。
【０１５２】
復号部１７２は、動画像符号化装置８０によって生成された圧縮データＩ１６を復号し、量子化変換係数Ｉ７と、残差補償情報Ｉ５と、動き情報Ｉ２とを出力する。この残差補償情報Ｉ５には、基底記憶部１７４ｃに記憶された基底セットを用いて残差補償画像Ｉ４を復元するための基底情報Ｉ１２、又は、復号予測残差画像記憶部１４８に記憶される参照復号予測残差画像Ｉ１７の部分画像を用いて残差補償画像Ｉ４を復元するための基底情報Ｉ１２と、量子化補償係数Ｉ１４が含まれている。
【０１５３】
残差復号部１７４は、残差補償情報Ｉ５を用いて残差復号を行い残差補償画像Ｉ４を生成する。以下、残差復号部１７４について詳細に説明する。図２８は、残差復号部１７４の構成を示す図である。図２８に示すように、残差復号部１７４は、逆量子化部（逆量子化手段）１７４ａと、逆変換部（逆変換手段）１７４ｂと、基底記憶部（基底記憶手段）１７４ｃとを有する。
【０１５４】
逆量子化部１７４ａは、残差補償情報Ｉ５に含まれている量子化補償係数Ｉ１４に逆量子化操作を施すことによって、逆量子化補償係数Ｉ１５を生成する。
【０１５５】
逆変換部１７４ｂは、基底記憶部１７４ｃに記憶された基底セットのうち、残差補償情報Ｉ５に含まれている基底情報Ｉ１２から基底を特定する。また、逆変換部１７４ｂは、復号予測残差画像記憶部１４８に記憶された参照復号予測残差画像Ｉ１７のうち、残差補償情報Ｉ５に含まれている基底情報Ｉ１２から部分画像を基底として特定する。逆変換部１７４ｂは、特定した基底と、逆量子化部１４４ａによって生成された逆量子化補償係数Ｉ１５とを用いて変換部８２ａによる変換処理の逆操作である逆変換処理を行い、残差補償画像Ｉ４を生成する。
【０１５６】
以下、動画像復号装置１７０の動作について説明し、併せて第６実施形態にかかる動画像復号方法について説明する。図２９は、第６実施形態の動画像復号方法のフローチャートである。また、図３０は、第６実施形態の動画像復号方法の残差復号に関する処理を示すフローチャートである。
【０１５７】
図２９に示すように、第６実施形態の動画像復号方法においては、まず、動画像符号化装置８０によって生成された圧縮データＩ１６から、復号部１７２によって量子化変換係数Ｉ７と残差補償情報Ｉ５と動き情報Ｉ２が復号される（ステップＳ９１）。
【０１５８】
次に、逆量子化変換部１０４が、量子化変換係数Ｉ７に逆量子化操作を施すことによって逆量子化変換係数を生成する。逆量子化変換部１０４は、生成した逆量子化変換係数に、所定の第２の逆変換規則による逆変換を施すことによって、復号補償残差画像Ｉ８を復元する（ステップＳ９２）。
【０１５９】
次に、残差復号部１７４が、復号部１７２によって復号された残差補償情報Ｉ５を用いて、残差復号を行い、残差補償画像Ｉ４を生成する（ステップＳ７３）。図３０に示すように残差復号部１７４では、逆量子化部１７４ａが量子化補償係数Ｉ１４を逆量子化することによって逆量子化補償係数Ｉ１５を生成する（ステップＳ９４）。
【０１６０】
次に、逆変換部１７４ｂが、逆量子化補償係数Ｉ１５、残差補償情報Ｉ５に含まれる基底情報Ｉ１２、基底記憶部１７４ｃに記憶された基底セット、及び復号予測残差画像記憶部１４８によって提供される参照復号予測残差画像Ｉ１７を用いて、変換部８２ａによる変換処理の逆操作である逆変換処理を行い、残差補償画像Ｉ４を生成する（ステップＳ９５）。
【０１６１】
図２９を参照すると、次に、加算部１４６が復号補償残差画像Ｉ８と残差補償画像Ｉ４とを加算することによって復号予測残差画像Ｉ９を生成する（ステップＳ９６）。
【０１６２】
次に、復号予測残差画像記憶部１４８が、加算部１４６によって生成された復号予測残差画像Ｉ９を参照復号予測残差画像Ｉ１７として記憶する（ステップＳ９７）。復号予測残差画像記憶部１４８は、記憶した参照復号予測残差画像Ｉ１７を残差復号のために残差復号部１７４に提供する。
【０１６３】
次に、動き補償予測部１１０が、復号部１７２によって出力された動き情報Ｉ２を用いて、参照画像記憶部１１４に記憶された参照画像Ｉ１１に対する動き補償予測を行うことによって復号画像Ｉ１０の予測画像Ｉ１を生成する（ステップＳ９８）。
【０１６４】
次に、復号画像生成部１１２が、予測画像Ｉ１と復号予測残差画像Ｉ９とを加算することによって、復号画像Ｉ１０を生成する（ステップＳ９９）。復号画像生成部１１２は、復号画像Ｉ１０を参照画像記憶部１１４へ出力し、復号画像Ｉ１０を参照画像記憶部１１４に記憶させる（ステップＳ１００）。参照画像記憶部１１４は、記憶した復号画像Ｉ１０を、動き補償予測のために動き補償予測部１１０に参照画像Ｉ１１として提供する。
【０１６５】
以下、コンピュータを動画像復号装置１７０として動作させる動画像復号プログラム１８０について説明する。図３１は、動画像復号プログラム１８０の構成を示す図である。動画像復号プログラム１８０は、処理を統括するメインモジュール１８１と、復号モジュール１８２と、逆量子化変換モジュール１２４と、残差復号モジュール１８４と、加算モジュール１５６と、復号予測残差画像記憶モジュール１５８と、動き補償予測モジュール１３０と、復号画像生成モジュール１３２と、参照画像記憶モジュール１３４とを備える。残差復号モジュール１８４は、逆量子化サブモジュール１５４ａと、逆変換サブモジュール１５４ｂ、基底記憶サブモジュール１８４ｃとを有している。
【０１６６】
復号モジュール１８２、逆量子化変換モジュール１２４、残差復号モジュール１８４、加算モジュール１５６、復号予測残差画像記憶モジュール１５８、動き補償予測モジュール１３０、復号画像生成モジュール１３２、参照画像記憶モジュール１３４、逆量子化サブモジュール１８４ａ、逆変換サブモジュール１８４ｂ、基底記憶サブモジュール１８４ｃがコンピュータに実現させる機能は、復号部１７２、逆量子化変換部１０４、残差復号部１７４、加算部１４６、復号予測残差画像記憶部１４８、動き補償予測部１１０、復号画像生成部１１２、参照画像記憶部１１４、逆量子化部１７４ａ、逆変換部１７４ｂ、基底記憶部１７４ｃとそれぞれ同様である。
【０１６７】
以上のように、動画像復号装置１７０は、残差復号における逆変換で用いられる基底として、基底記憶部１７４ｃに記憶された基底セット、及び、復号予測残差画像記憶部１４８に記憶された参照復号予測残差画像Ｉ１７の部分画像を用いるよう構成されているので、動画像符号化装置８０が動画像から圧縮データを生成する処理の逆処理を忠実に行うことができる。したがって、動画像復号装置１７０は、動画像符号化装置８０によって生成された圧縮データから上記の動画像を復元することができる。
【０１６８】
【発明の効果】
以上説明したように本発明によれば、予測残差画像と補償残差画像とをそれぞれ効率よく分解することができるので、効率の良い符号化が実現可能な動画像符号化装置、動画像符号化方法、及び動画像符号化プログラムが提供される。また、かかる動画像符号化装置によって生成された圧縮データから動画像を忠実に復元可能な動画像復号装置、動画像復号方法、及び動画像復号プログラムが提供される。
【図面の簡単な説明】
【図１】図１は、本発明の第１実施形態にかかる動画像符号化装置の機能的な構成を示す図である。
【図２】図２は、第１実施形態の残差補償部の構成を示す図である。
【図３】図３は、本発明の第１実施形態にかかる動画像符号化方法のフローチャートである。
【図４】図４は、第１実施形態の動画像符号化方法における残差補償に関する処理のフローチャートである。
【図５】図５は、本発明の第１実施形態にかかる動画像符号化プログラムの構成を示す図である。
【図６】図６は、本発明の第２実施形態にかかる動画像符号化装置の機能的な構成を示す図である。
【図７】図７は、第２実施形態の残差補償部の構成を示す図である。
【図８】図８は、第２実施形態の変換部ａによる変換処理を説明するための図である。
【図９】図９は、本発明の第２実施形態にかかる動画像符号化方法のフローチャートである。
【図１０】図１０は、第２実施形態の動画像符号化方法における残差補償に関する処理のフローチャートである。
【図１１】図１１は、本発明の第２実施形態にかかる動画像符号化プログラムの構成を示す図である。
【図１２】図１２は、本発明の第３実施形態にかかる動画像符号化装置の機能的な構成を示す図である。
【図１３】図１３は、第３実施形態の残差補償部の構成を示す図である。
【図１４】図１４は、本発明の第３実施形態にかかる動画像符号化方法のフローチャートである。
【図１５】図１５は、第３実施形態の動画像符号化方法における残差補償に関する処理のフローチャートである。
【図１６】図１６は、本発明の第３実施形態にかかる動画像符号化プログラムの構成を示す図である。
【図１７】図１７は、本発明の第４実施形態にかかる動画像復号装置の機能的な構成を示す図である。
【図１８】図１８は、第４実施形態にかかる残差復号部の構成を示す図である。
【図１９】図１９は、本発明の第４実施形態の動画像復号方法のフローチャートである。
【図２０】図２０は、第４実施形態の動画像復号方法の残差復号に関する処理を示すフローチャートである。
【図２１】図２１は、本発明の第４実施形態にかかる動画像復号プログラムの構成を示す図である。
【図２２】図２２は、本発明の第５実施形態にかかる動画像復号装置の機能的な構成を示す図である。
【図２３】図２３は、第５実施形態にかかる残差復号部の構成を示す図である。
【図２４】図２４は、本発明の第５実施形態の動画像復号方法のフローチャートである。
【図２５】図２５は、第５実施形態の動画像復号方法の残差復号に関する処理を示すフローチャートである。
【図２６】図２６は、本発明の第５実施形態にかかる動画像復号プログラムの構成を示す図である。
【図２７】図２７は、本発明の第６実施形態にかかる動画像復号装置の機能的な構成を示す図である。
【図２８】図２８は、第６実施形態にかかる残差復号部の構成を示す図である。
【図２９】図２９は、本発明の第６実施形態の動画像復号方法のフローチャートである。
【図３０】図３０は、第６実施形態の動画像復号方法の残差復号に関する処理を示すフローチャートである。
【図３１】図３１は、本発明の第６実施形態にかかる動画像復号プログラムの構成を示す図である。
【符号の説明】
１，６０，８０…動画像符号化装置、２…動き補償予測部、４…動き残差生成部、６，６２，８２…残差補償部、６ａ，６２ａ，８２ａ…変換部、６ｂ，８２ｂ…基底記憶部、６ｃ，６２ｂ，８２ｃ…量子化部、６ｄ，６２ｃ，８２ｄ…逆量子化部、６ｅ，６２ｄ，８２ｅ…逆変換部、８…減算部、１０…量子化変換部、１２，６４，８４…符号化部、１４…逆量子化変換部、１６，６６…加算部、１８…復号画像生成部、２０…参照画像記憶部、６８…復号予測残差画像記憶部、１００，１４０，１７０…動画像復号装置、１０２，１４２，１７２…復号部、１０４…逆量子化変換部、１０６，１４４，１７４…残差復号部、１０６ａ，１４４ａ，１７４ａ…逆量子化部、１０６ｂ，１４４ｂ，１７４ｂ…逆変換部、１０６ｃ，１７４ｃ…基底記憶部、１０８，１４６…加算部、１１０…動き補償予測部、１１２…復号画像生成部、１１４…参照画像記憶部、１４８…復号予測残差画像記憶部。
Claims (10)
- 参照画像に基づいて符号化対象画像の動き補償予測を行うことによって予測画像及び動き情報を生成する動き補償予測手段と、
前記符号化対象画像と前記予測画像との差演算に基づき予測残差画像を生成する残差画像生成手段と、
所定の第１の変換規則に基づいて前記予測残差画像から残差補償情報を生成すると共に、該残差補償情報に基づいて残差補償画像を生成する残差補償手段と、
前記残差補償画像と前記予測残差画像との差演算に基づき補償残差画像を生成する減算手段と、
前記補償残差画像を所定の第２の変換規則に基づいて変換してなる変換係数を生成し、該変換係数を量子化することによって量子化変換係数を生成する量子化変換手段と、
前記量子化変換係数を逆量子化することによって逆量子化変換係数を生成し、前記所定の第２の変換規則の逆変換である所定の第２の逆変換規則に基づき該逆量子化変換係数を用いて逆変換を行うことによって復号補償残差画像を生成する逆量子化変換手段と、
前記復号補償残差画像と前記残差補償画像とを加算することによって復号予測残差画像を生成する加算手段と、
前記復号予測残差画像と前記予測画像とを加算することによって復号画像を生成する復号画像生成手段と、
前記復号画像生成手段によって生成された前記復号画像を、前記動き補償予測手段による動き補償予測に提供する前記参照画像として記憶する参照画像記憶手段と、
前記動き情報と前記残差補償情報と前記量子化変換係数とを符号化してなる符号化データを含む圧縮データを生成する符号化手段と
を備え、
前記残差補償手段は、
前記所定の第１の変換規則に基づき、複数の二次元基底を用いて、該二次元基底を特定するための基底情報と、該基底情報によって特定される二次元基底に付する補償係数とに前記予測残差画像を変換し、該基底情報を前記残差補償情報に含める変換手段と、
前記補償係数を量子化することによって量子化補償係数を生成し、該量子化補償係数を前記残差補償情報に含める量子化手段と、
前記量子化補償係数を逆量子化することによって逆量子化補償係数を生成する逆量子化手段と、
前記所定の第１の変換規則の逆変換である所定の第１の逆変換規則に基づき、前記逆量子化補償係数を用いて逆変換を行うことによって前記残差補償画像を生成する逆変換手段と
を有することを特徴とする動画像符号化装置。 - 前記残差補償手段は、
前記変換手段に提供する二次元基底を記憶する基底記憶手段を更に有し、
前記変換手段は、前記基底記憶手段に記憶された二次元基底を用いて前記予測残差画像を変換し、
前記逆変換手段は、前記基底記憶手段に記憶された二次元基底を用いて前記逆変換を行う
ことを特徴とする請求項１記載の動画像符号化装置。 - 前記復号予測残差画像を参照復号予測残差画像として記憶する復号予測残差画像記憶手段を更に備え、
前記変換手段は、前記復号予測残差画像記憶手段に記憶された前記参照復号予測残差画像の部分画像を前記二次元基底として用いて前記予測残差画像を変換し、
前記逆変換手段は、前記変換手段によって用いられた前記二次元基底を用いて逆変換する
ことを特徴とする請求項１又は２記載の動画像符号化装置。 - 動き補償予測手段が、参照画像に基づいて符号化対象画像の動き補償予測を行うことによって予測画像及び動き情報を生成する動き補償予測ステップと、
残差画像生成手段が、前記符号化対象画像と前記予測画像との差演算に基づき予測残差画像を生成する残差画像生成ステップと、
残差補償手段が、所定の第１の変換規則に基づいて前記予測残差画像から残差補償情報を生成すると共に、該残差補償情報に基づいて残差補償画像を生成する残差補償ステップと、
減算手段が、前記残差補償画像と前記予測残差画像との差演算に基づき補償残差画像を生成する減算ステップと、
量子化変換手段が、前記補償残差画像を所定の第２の変換規則に基づいて変換してなる変換係数を生成し、該変換係数を量子化することによって量子化変換係数を生成する量子化変換ステップと、
逆量子化変換手段が、前記量子化変換係数を逆量子化することによって逆量子化変換係数を生成し、前記所定の第２の変換規則の逆変換である所定の第２の逆変換規則に基づき該逆量子化変換係数を用いて逆変換を行うことによって復号補償残差画像を生成する逆量子化変換ステップと、
加算手段が、前記復号補償残差画像と前記残差補償画像とを加算することによって復号予測残差画像を生成する加算ステップと、
復号画像生成手段が、前記復号予測残差画像と前記予測画像とを加算することによって復号画像を生成する復号画像生成ステップと、
参照画像記憶手段が、前記復号画像生成手段によって生成された前記復号画像を、前記動き補償予測手段による動き補償予測に提供する前記参照画像として記憶する参照画像記憶ステップと、
符号化手段が、前記動き情報と前記残差補償情報と前記量子化変換係数とを符号化してなる符号化データを含む圧縮データを生成する符号化ステップと
を備え、
前記残差補償ステップは、
変換手段が、前記所定の第１の変換規則に基づき、複数の二次元基底を用いて、該二次元基底を特定するための基底情報と、該基底情報によって特定される二次元基底に付する補償係数とに前記予測残差画像を変換し、該基底情報を前記残差補償情報に含める変換ステップと、
量子化手段が、前記補償係数を量子化することによって量子化補償係数を生成し、該量子化補償係数を前記残差補償情報に含める量子化ステップと、
逆量子化手段が、前記量子化補償係数を逆量子化することによって逆量子化補償係数を生成する逆量子化ステップと、
逆変換手段が、前記所定の第１の変換規則の逆変換である所定の第１の逆変換規則に基づき、前記逆量子化補償係数を用いて逆変換を行うことによって前記残差補償画像を生成する逆変換ステップと
含むことを特徴とする動画像符号化方法。 - コンピュータを、
参照画像に基づいて符号化対象画像の動き補償予測を行うことによって予測画像及び動き情報を生成する動き補償予測手段と、
前記符号化対象画像と前記予測画像との差演算に基づき予測残差画像を生成する残差画像生成手段と、
所定の第１の変換規則に基づいて前記予測残差画像から残差補償情報を生成すると共に、該残差補償情報に基づいて残差補償画像を生成する残差補償手段と、
前記残差補償画像と前記予測残差画像との差演算に基づき補償残差画像を生成する減算手段と、
前記補償残差画像を所定の第２の変換規則に基づいて変換してなる変換係数を生成し、該変換係数を量子化することによって量子化変換係数を生成する量子化変換手段と、
前記量子化変換係数を逆量子化することによって逆量子化変換係数を生成し、前記所定の第２の変換規則の逆変換である所定の第２の逆変換規則に基づき該逆量子化変換係数を用いて逆変換を行うことによって復号補償残差画像を生成する逆量子化変換手段と、
前記復号補償残差画像と前記残差補償画像とを加算することによって復号予測残差画像を生成する加算手段と、
前記復号予測残差画像と前記予測画像とを加算することによって復号画像を生成する復号画像生成手段と、
前記復号画像生成手段によって生成された前記復号画像を、前記動き補償予測手段による動き補償予測に提供する前記参照画像として記憶する参照画像記憶手段と、
前記動き情報と前記残差補償情報と前記量子化変換係数とを符号化してなる符号化データを含む圧縮データを生成する符号化手段と、
として機能させ、
前記残差補償手段は、
前記所定の第１の変換規則に基づき、複数の二次元基底を用いて、該二次元基底を特定するための基底情報と、該基底情報によって特定される二次元基底に付する補償係数とに前記予測残差画像を変換し、該基底情報を前記残差補償情報に含める変換手段と、
前記補償係数を量子化することによって量子化補償係数を生成し、該量子化補償係数を前記残差補償情報に含める量子化手段と、
前記量子化補償係数を逆量子化することによって逆量子化補償係数を生成する逆量子化手段と、
前記所定の第１の変換規則の逆変換である所定の第１の逆変換規則に基づき、前記逆量子化補償係数を用いて逆変換を行うことによって前記残差補償画像を生成する逆変換手段と
を有することを特徴とする動画像符号化プログラム。 - 復号画像に対する予測画像を生成するための動き情報と、前記予測画像に対する残差補償画像を復元するための量子化補償係数と基底情報とを含む残差補償情報と、前記予測画像と前記残差補償画像との差に基づく補償残差画像を復元するための量子化変換係数とが符号化されてなる符号化データを含む圧縮データを復号することによって、前記動き情報と前記残差補償情報と前記量子化変換係数とを生成する復号手段と、
前記残差補償情報を用いて所定の第１の逆変換規則に基づき逆変換を行うことによって前記残差補償画像を生成する残差復号手段と、
前記量子化変換係数を逆量子化することによって逆量子化変換係数を生成し、該逆量子化変換係数を用いて所定の第２の逆変換規則に基づく逆変換を行うことによって復号補償残差画像を生成する逆量子化変換手段と、
前記残差補償画像と前記復号補償残差画像との加算に基づき復号予測残差画像を生成する加算手段と、
参照画像及び前記動き情報を用いて動き補償予測を行うことによって前記予測画像を生成する動き補償予測手段と、
前記復号予測残差画像と前記予測画像との加算に基づき復号画像を生成する復号画像生成手段と、
前記復号画像生成手段によって生成された前記復号画像を、前記動き補償予測手段による前記動き補償予測に提供する前記参照画像として記憶する参照画像記憶手段と
を備え、
前記残差復号手段は、
前記残差補償情報に含まれている前記量子化補償係数を逆量子化することによって逆量子化補償係数を生成する逆量子化手段と、
複数の二次元基底のうち前記残差補償情報に含まれる基底情報によって特定される二次元基底と、前記逆量子化手段手段によって生成された前記逆量子化補償係数逆変換とを用い、前記所定の第１の逆変換規則に基づき逆変換を行うことによって前記残差補償画像を生成する逆変換手段と
を有することを特徴とする動画像復号装置。 - 前記残差復号手段は、
前記複数の二次元基底を記憶する基底記憶手段を更に有し、
前記逆変換手段は、前記基底記憶部に記憶された前記二次元基底を用いて前記逆変換を行う
ことを特徴とする請求項６に記載の動画像復号装置。 - 前記復号予測残差画像を参照復号予測残差画像として記憶する復号予測残差画像記憶手段を更に備え、
前記逆変換手段は、前記復号予測残差画像記憶手段に記憶された前記参照復号予測残差画像の部分画像を前記二次元基底として用い前記逆変換を行うことを特徴とする請求項６又は７に記載の動画像復号装置。 - 復号手段が、復号画像に対する予測画像を生成するための動き情報と、前記予測画像に対する残差補償画像を復元するための量子化補償係数と基底情報とを含む残差補償情報と、前記予測画像と前記残差補償画像との差に基づく補償残差画像を復元するための量子化変換係数とが符号化されてなる符号化データを含む圧縮データを復号することによって、前記動き情報と前記残差補償情報と前記量子化変換係数とを生成する復号ステップと、
残差復号手段が、前記残差補償情報を用いて所定の第１の逆変換規則に基づき逆変換を行うことによって前記残差補償画像を生成する残差復号ステップと、
逆量子化変換手が、前記量子化変換係数を逆量子化することによって逆量子化変換係数を生成し、該逆量子化変換係数を用いて所定の第２の逆変換規則に基づく逆変換を行うことによって復号補償残差画像を生成する逆量子化変換ステップと、
加算手段が、前記残差補償画像と前記復号補償残差画像との加算に基づき復号予測残差画像を生成する加算ステップと、
動き補償予測手段が、参照画像及び前記動き情報を用いて動き補償予測を行うことによって前記予測画像を生成する動き補償予測ステップと、
復号画像生成手段が、前記復号予測残差画像と前記予測画像との加算に基づき復号画像を生成する復号画像生成ステップと、
参照画像記憶手段が、前記復号画像生成手段によって生成された前記復号画像を、前記動き補償予測手段による前記動き補償予測に提供する前記参照画像として記憶する参照画像記憶ステップと
を備え、
前記残差復号ステップは、
逆量子化手段が、前記残差補償情報に含まれている前記量子化補償係数を逆量子化することによって逆量子化補償係数を生成する逆量子化ステップと、
逆変換手段が、複数の二次元基底のうち前記残差補償情報に含まれる基底情報によって特定される二次元基底と、前記逆量子化手段手段によって生成された前記逆量子化補償係数逆変換とを用い、前記所定の第１の逆変換規則に基づき逆変換を行うことによって前記残差補償画像を生成する逆変換ステップと
を含むことを特徴とする動画像復号方法。 - コンピュータを、
復号画像に対する予測画像を生成するための動き情報と、前記予測画像に対する残差補償画像を復元するための量子化補償係数と基底情報とを含む残差補償情報と、前記予測画像と前記残差補償画像との差に基づく補償残差画像を復元するための量子化変換係数とが符号化されてなる符号化データを含む圧縮データを復号することによって、前記動き情報と前記残差補償情報と前記量子化変換係数とを生成する復号手段と、
前記残差補償情報を用いて所定の第１の逆変換規則に基づき逆変換を行うことによって前記残差補償画像を生成する残差復号手段と、
前記量子化変換係数を逆量子化することによって逆量子化変換係数を生成し、該逆量子化変換係数を用いて所定の第２の逆変換規則に基づく逆変換を行うことによって復号補償残差画像を生成する逆量子化変換手段と、
前記残差補償画像と前記復号補償残差画像との加算に基づき復号予測残差画像を生成する加算手段と、
参照画像及び前記動き情報を用いて動き補償予測を行うことによって前記予測画像を生成する動き補償予測手段と、
前記復号予測残差画像と前記予測画像との加算に基づき復号画像を生成する復号画像生成手段と、
前記復号画像生成手段によって生成された前記復号画像を、前記動き補償予測手段による前記動き補償予測に提供する前記参照画像として記憶する参照画像記憶手段と、
として機能させ、
前記残差復号手段は、
前記残差補償情報に含まれている前記量子化補償係数を逆量子化することによって逆量子化補償係数を生成する逆量子化手段と、
複数の二次元基底のうち前記残差補償情報に含まれる基底情報によって特定される二次元基底と、前記逆量子化手段手段によって生成された前記逆量子化補償係数逆変換とを用い、前記所定の第１の逆変換規則に基づき逆変換を行うことによって前記残差補償画像を生成する逆変換手段と
を有することを特徴とする動画像復号プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003198606A JP4344184B2 (ja) | 2003-07-17 | 2003-07-17 | 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003198606A JP4344184B2 (ja) | 2003-07-17 | 2003-07-17 | 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2005039428A true JP2005039428A (ja) | 2005-02-10 |
| JP2005039428A5 JP2005039428A5 (ja) | 2006-06-15 |
| JP4344184B2 JP4344184B2 (ja) | 2009-10-14 |
Family
ID=34208344
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003198606A Expired - Fee Related JP4344184B2 (ja) | 2003-07-17 | 2003-07-17 | 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4344184B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006238069A (ja) * | 2005-02-25 | 2006-09-07 | Sony Corp | データ変換装置および方法、データ逆変換装置および方法、情報処理システムおよび方法、記録媒体、並びにプログラム |
| CN102484701A (zh) * | 2009-07-06 | 2012-05-30 | 汤姆逊许可证公司 | 用于空间变化残差编码的方法和设备 |
-
2003
- 2003-07-17 JP JP2003198606A patent/JP4344184B2/ja not_active Expired - Fee Related
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006238069A (ja) * | 2005-02-25 | 2006-09-07 | Sony Corp | データ変換装置および方法、データ逆変換装置および方法、情報処理システムおよび方法、記録媒体、並びにプログラム |
| JP4561401B2 (ja) * | 2005-02-25 | 2010-10-13 | ソニー株式会社 | データ変換装置および方法、データ逆変換装置および方法、情報処理システム、記録媒体、並びにプログラム |
| CN102484701A (zh) * | 2009-07-06 | 2012-05-30 | 汤姆逊许可证公司 | 用于空间变化残差编码的方法和设备 |
| JP2012532561A (ja) * | 2009-07-06 | 2012-12-13 | トムソン ライセンシング | 空間変化残差符号化を行う方法および装置 |
| US9736500B2 (en) | 2009-07-06 | 2017-08-15 | Thomson Licensing | Methods and apparatus for spatially varying residue coding |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4344184B2 (ja) | 2009-10-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6887550B2 (ja) | 画像予測復号方法 | |
| JP3997171B2 (ja) | 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム | |
| JP5686499B2 (ja) | 画像予測符号化装置、方法及びプログラム、画像予測復号装置、方法及びプログラム、並びに、符号化・復号システム及び方法 | |
| JP2007300380A (ja) | 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法及び画像予測復号プログラム | |
| KR20120092692A (ko) | 화상 예측 부호화 장치, 화상 예측 복호 장치, 화상 예측 부호화 방법, 화상 예측 복호 방법, 화상 예측 부호화 프로그램, 및 화상 예측 복호 프로그램 | |
| JP2011125038A (ja) | 適応係数スキャン順序付け | |
| JP3959039B2 (ja) | 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法、及び画像復号プログラム | |
| JP5909149B2 (ja) | 色変換装置、符号化器および復号器ならびにそれらのプログラム | |
| EP1453004A2 (en) | Image encoding apparatus and method | |
| JP4344184B2 (ja) | 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム | |
| US20140140394A1 (en) | Method and device for the transformation and method and device for the reverse transformation of images | |
| KR100601935B1 (ko) | 디지탈 동영상 처리 방법 및 장치 | |
| JP6004852B2 (ja) | ピクセルブロックを符号化及び再構成する方法と装置 | |
| JP4116517B2 (ja) | 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法、及び画像復号プログラム | |
| JP5415495B2 (ja) | 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法及び画像予測復号プログラム | |
| JP2015156704A (ja) | 動画像予測符号化装置、動画像予測符号化方法、動画像予測復号装置及び動画像予測復号方法 | |
| JP5668169B2 (ja) | 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム | |
| JP5642305B2 (ja) | 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム | |
| JP2004080682A (ja) | 動画像データ符号化装置および動画像データ復号装置ならびにそれらの方法 | |
| JP2015039246A (ja) | 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060424 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060424 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080522 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080603 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080716 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090707 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090710 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120717 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4344184 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120717 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130717 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |