JP2010063118A - 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム - Google Patents
動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム Download PDFInfo
- Publication number
- JP2010063118A JP2010063118A JP2009240782A JP2009240782A JP2010063118A JP 2010063118 A JP2010063118 A JP 2010063118A JP 2009240782 A JP2009240782 A JP 2009240782A JP 2009240782 A JP2009240782 A JP 2009240782A JP 2010063118 A JP2010063118 A JP 2010063118A
- Authority
- JP
- Japan
- Prior art keywords
- image
- generating
- predicted
- update
- decoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】 参照画像のノイズを低減することが可能な動画像符号化装置を提供する。
【解決手段】 動画像符号化装置10では、予測画像生成部16が、フレームメモリ20に格納された参照画像を用いて、対象画像に対する予測画像を生成する。差分画像生成部18は、対象画像と予測画像との差演算によって差分画像を生成する。符号化部22は、差分画像を符号化して符号化差分信号を生成する。復号部28は、符号化差分信号を復号して復号差分画像を生成する。再生画像生成部30は、復号差分画像と予測画像との加算によって再生画像を生成する。画像更新部32は、再生画像又は参照画像の一方の第1の画像と、当該再生画像又は当該参照画像の他方の第2の画像との重み付け加算によって、更新画像を生成する。更新画像は、フレームメモリ20に格納されて、異なる対象画像の符号化において参照画像として用いられる。
【選択図】 図1
【解決手段】 動画像符号化装置10では、予測画像生成部16が、フレームメモリ20に格納された参照画像を用いて、対象画像に対する予測画像を生成する。差分画像生成部18は、対象画像と予測画像との差演算によって差分画像を生成する。符号化部22は、差分画像を符号化して符号化差分信号を生成する。復号部28は、符号化差分信号を復号して復号差分画像を生成する。再生画像生成部30は、復号差分画像と予測画像との加算によって再生画像を生成する。画像更新部32は、再生画像又は参照画像の一方の第1の画像と、当該再生画像又は当該参照画像の他方の第2の画像との重み付け加算によって、更新画像を生成する。更新画像は、フレームメモリ20に格納されて、異なる対象画像の符号化において参照画像として用いられる。
【選択図】 図1
Description
本発明は、動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラムに関するものである。
動画像の伝送や蓄積を効率良く行うために、圧縮符号化技術が用いられる。圧縮符号化技術の一種として、フレーム間符号化方式が知られている。フレーム間符号化方式では、画像が所定サイズの複数のブロックに分割され、ブロック毎に符号化処理が行われる。この符号化処理では、時間方向に隣接する他の画像の再生画像が参照画像として用いられ、符号化の対象となる対象画像に関する予測画像が生成される。ここで、再生画像とは、対象画像より先に符号化された画像が、復元されたものである。この予測画像と対象画像との差分画像が符号化されることによって、動画像のデータ量が削減される(例えば、特許文献1)。
ところで、再生画像には、種々のノイズが発生する。再生画像にノイズが存在すると、参照画像としての質が低下する。結果として、予測画像と対象画像との差が大きくなるので、データ量が十分に削減されない。
そこで、本発明は、参照画像のノイズを低減することが可能な動画像符号化装置、動画像符号化方法、動画像符号化プログラムを提供することを目的としている。また、本発明は、この動画像符号化装置によって生成されたデータから動画像を復元可能な動画像復号装置、動画像復号方法、及び動画像復号プログラムを提供することを目的としている。
本発明の動画像符号化装置は、(a)動画像を構成する複数の画像から、符号化の対象となる対象画像に対する予測画像を生成する予測画像生成手段と、(b)上記対象画像と上記予測画像との差演算を実行することによって、差分画像を生成する差分画像生成手段と、(c)上記差分画像を符号化することによって、符号化差分信号を生成する符号化手段と、(d)上記符号化差分信号を復号することによって、復号差分画像を生成する復号手段と、(e)上記復号差分画像と上記予測画像との和演算を実行することによって、再生画像を生成する再生画像生成手段と、(f)予測画像を生成するために上記予測画像生成手段によって用いられる参照画像を格納するための格納手段と、(g)上記再生画像又は上記格納手段に格納された参照画像の一方である第1の画像と、該再生画像又は該参照画像の他方である第2の画像の少なくとも一部とを重み付け加算することによって、更新画像を生成する画像更新手段と、を備え、(h)上記画像更新手段は、上記更新画像を上記格納手段に格納し、(i)上記予測画像生成手段は、上記格納手段に格納された更新画像を、異なる対象画像に対する予測画像を生成するための参照画像として用いる。
また、本発明の他の側面に係る動画像符号化方法は、(a)予測画像生成手段が、動画像を構成する複数の画像から、符号化の対象となる対象画像に対する予測画像を生成する予測画像生成ステップと、(b)差分画像生成手段が、上記対象画像と上記予測画像との差演算を実行することによって、差分画像を生成する差分画像生成ステップと、(c)符号化手段が、上記差分画像を符号化することによって、符号化差分信号を生成する符号化ステップと、(d)復号手段が、上記符号化差分信号を復号することによって、復号差分画像を生成する復号ステップと、(e)再生画像生成手段が、上記復号差分画像と上記予測画像との和演算を実行することによって、再生画像を生成する再生画像生成ステップと、(f)格納手段が、予測画像を生成するために上記予測画像生成手段によって用いられる参照画像を格納するための格納ステップと、(g)画像更新手段が、上記再生画像又は上記格納手段に格納された参照画像の一方である第1の画像と、該再生画像又は該参照画像の他方である第2の画像の少なくとも一部とを重み付け加算することによって、更新画像を生成する画像更新ステップと、を含み、(h)上記画像更新ステップにおいて、上記画像更新手段が、上記更新画像を上記格納手段に格納し、(i)上記予測画像生成ステップにおいて、上記予測画像生成手段が、上記格納手段に格納された更新画像を、異なる対象画像に対する予測画像を生成するための参照画像として用いる。
また、本発明の更に他の側面に係る動画像符号化プログラムは、コンピュータを、(a)動画像を構成する複数の画像から、符号化の対象となる対象画像に対する予測画像を生成する予測画像生成手段と、(b)上記対象画像と上記予測画像との差演算を実行することによって、差分画像を生成する差分画像生成手段と、(c)上記差分画像を符号化することによって、符号化差分信号を生成する符号化手段と、(d)上記符号化差分信号を復号することによって、復号差分画像を生成する復号手段と、(e)上記復号差分画像と上記予測画像との和演算を実行することによって、再生画像を生成する再生画像生成手段と、(f)予測画像を生成するために上記予測画像生成手段によって用いられる参照画像を格納するための格納手段と、(g)上記再生画像又は上記格納手段に格納された参照画像の一方である第1の画像と、該再生画像又は該参照画像の他方である第2の画像の少なくとも一部とを重み付け加算することによって、更新画像を生成する画像更新手段と、として機能させるためのプログラムである。ここで、(h)画像更新手段は、上記更新画像を上記格納手段に格納し、(i)予測画像生成手段は、上記格納手段に格納された更新画像を、異なる対象画像に対する予測画像を生成するための参照画像として用いる。
上述した動画像の符号化に係る本発明によれば、再生画像又は格納手段に既に格納されている参照画像の一方の第1の画像に、当該再生画像又は当該参照画像の他方の第2の画像が重み付け加算されることによって、更新画像が生成される。この更新画像は、異なる対象画像の予測画像を生成するための参照画像として用いられる。したがって、加算に基づく平均化によってノイズが削減された参照画像が用いられるので、符号化による動画像のデータ量が削減され、符号化効率が向上される。更に、本発明によれば、再生画像と参照画像とが平均化された更新画像が生成されるので、再生画像又は参照画像にはない、画像のディテールを更新画像に反映させることができる。したがって、符号化による動画像のデータ量が更に削減される。
なお、再生画像に発生する種々のノイズとしては、例えば、ブロック間の境界において大きな画素値の変化が現れるブロック歪みに起因するノイズが知られている。このブロック歪によるノイズを軽減するために、再生画像におけるブロック間の境界近傍にデブロッキングフィルタを施す技術が知られている。しかしながら、デブロッキングフィルタでは、ブロック内部に生じたノイズを低減することができない。本発明によれば、加算に基づく平均化によって参照画像のノイズが軽減されるので、ブロック内部におけるノイズを低減することができる。
更に、再生画像に発生するノイズの一種である量子化ノイズ等を削減するための技術として、双方向予測が知られている。双方向予測では、処理対象ブロックについて、二つの動き量(第1の動き量及び第2の動き量)が求められる。第1の動き量は、時間方向において前方の参照画像への処理対象ブロックの動き量である。第2の動き量は、時間方向において後方の参照画像への処理対象ブロックの動き量である。双方向予測では、第1の動き量から第1の予測画像が求められ、第2の動き量から第2の予測画像が求められて、第1の予測画像と第2の予測画像とを平均化した予測画像が用いられる。しかしながら、この予測画像は、特定の処理対象ブロックに対して用いられるものであり、以降の異なる処理対象ブロックの処理において参照画像として利用することができない。したがって、双方向予測では、平均化によるノイズ低減の効果が、以降の処理に活かされない。一方、本発明によれば、平均化によってノイズが軽減された更新画像が参照画像として格納手段に格納され、後の処理において予測画像の生成に用いられる。したがって、本発明によれば、平均化によるノイズ低減の効果が、異なる対象画像の処理にも活かされる。
本発明の動画像復号装置は、(a)動画像が予測符号化されてなる符号化差分信号を復号することによって、復号差分画像を生成する復号手段と、(b)上記符号化差分信号に基づいて、復号対象の対象画像に対する予測画像を生成する予測画像生成手段と、(c)上記復号差分画像と上記予測画像を加算することによって再生画像を生成する再生画像生成手段と、(d)上記予測画像を生成するために上記予測画像生成手段によって用いられる参照画像を格納する格納手段と、(e)上記再生画像又は上記格納手段に格納されていた参照画像の一方である第1の画像と、該再生画像又は該参照画像の他方である第2の画像の少なくとも一部とを重み付け加算することによって、更新画像を生成する画像更新手段と、を備え、(f)上記画像更新手段は、上記更新画像を上記格納手段に格納し、(g)上記予測画像生成手段は、上記格納手段に格納された更新画像を、異なる対象画像に対する予測画像を生成するための参照画像として用いる。
本発明の別の側面に係る動画像復号方法は、(a)復号手段が、動画像が予測符号化されてなる符号化差分信号を復号することによって、復号差分画像を生成する復号ステップと、(b)予測画像生成手段が、上記符号化差分信号に基づいて、復号対象の対象画像に対する予測画像を生成する予測画像生成ステップと、(c)再生画像生成手段が、上記復号差分画像と上記予測画像を加算することによって再生画像を生成する再生画像生成ステップと、(d)格納手段が、上記予測画像を生成するために上記予測画像生成手段によって用いられる参照画像を格納する格納ステップと、(e)画像更新手段が、上記再生画像又は上記格納手段に格納されていた参照画像の一方である第1の画像と、該再生画像又は該参照画像の他方である第2の画像の少なくとも一部とを重み付け加算することによって、更新画像を生成する画像更新ステップと、を含み、(f)上記画像更新ステップにおいて、上記画像更新手段が、上記更新画像を上記格納手段に格納し、(g)上記予測画像生成ステップにおいて、上記予測画像生成手段が、上記格納手段に格納された更新画像を、異なる対象画像に対する予測画像を生成するための参照画像として用いる。
本発明の更に別の側面に係る動画像復号プログラムは、コンピュータを、(a)動画像が予測符号化されてなる符号化差分信号を復号することによって、復号差分画像を生成する復号手段と、(b)上記符号化差分信号に基づいて、復号対象の対象画像に対する予測画像を生成する予測画像生成手段と、(c)上記復号差分画像と上記予測画像を加算することによって再生画像を生成する再生画像生成手段と、(d)上記予測画像を生成するために上記予測画像生成手段によって用いられる参照画像を格納する格納手段と、(e)上記再生画像又は上記格納手段に格納されていた参照画像の一方である第1の画像と、該再生画像又は該参照画像の他方である第2の画像の少なくとも一部とを重み付け加算することによって、更新画像を生成する画像更新手段と、として機能させるためのプログラムである。ここで、(f)上記画像更新手段は、上記更新画像を上記格納手段に格納し、(g)上記予測画像生成手段は、上記格納手段に格納された更新画像を、異なる対象画像に対する予測画像を生成するための参照画像として用いる。
上述した動画像の復号に係る本発明によれば、上述した動画像の符号化に係る本発明に基づき生成されたデータから動画像が忠実に復元される。
上述した動画像の符号化に係る本発明(動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム)において、画像更新手段は、第1の画像として、再生画像生成手段によって生成される再生画像を用い、第2の画像として、格納手段に格納された参照画像を用い、該再生画像と該参照画像の少なくとも一部とを重み付け加算することによって生成する更新再生画像を、更新画像として格納手段に格納してもよい。
この場合、上述した動画像の復号に係る本発明(動画像復号装置、動画像復号方法、及び動画像復号プログラム)では、画像更新手段が、第1の画像として、再生画像生成手段によって生成される再生画像を用い、第2の画像として、格納手段に格納された参照画像を用い、該再生画像と該参照画像の少なくとも一部とを重み付け加算することによって生成する更新再生画像を、更新画像として格納手段に格納する。
また、上述した動画像の符号化に係る本発明(動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム)において、画像更新手段は、第1の画像として、格納手段に格納された参照画像を用い、第2の画像として、再生画像生成手段によって生成される再生画像を用い、該参照画像と該再生画像の少なくとも一部とを重み付け加算することによって生成する更新参照画像を、更新画像として格納手段に格納してもよい。
この場合、上述した動画像の復号に係る本発明(動画像復号装置、動画像復号方法、及び動画像復号プログラム)では、画像更新手段が、第1の画像として、格納手段に格納された参照画像を用い、第2の画像として、再生画像生成手段によって生成される再生画像を用い、該参照画像と該再生画像の少なくとも一部とを重み付け加算することによって生成する更新参照画像を、更新画像として前記格納手段に格納する。
また、上述した動画像の符号化に係る本発明(動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム)において、画像更新手段が、第1の画像として、再生画像生成手段によって生成される再生画像を用い、第2の画像として、格納手段に格納された参照画像を用い、該再生画像と該参照画像の少なくとも一部とを重み付け加算することによって生成する更新再生画像を、更新画像として格納手段に格納し、更に、第1の画像として、格納手段に格納された参照画像を用い、第2の画像として、再生画像生成手段によって生成される再生画像を用い、該参照画像と該再生画像の少なくとも一部とを重み付け加算することによって生成する更新参照画像を更新画像として前記格納手段に格納してもよい。この場合、予測画像生成手段は、再生画像、更新再生画像、参照画像(既に格納手段に格納されている参照画像)、及び更新参照画像のうち少なくとも一つを、異なる対象画像に対する予測画像を生成するための参照画像として用いることができる。
この場合、上述した動画像の復号に係る本発明(動画像復号装置、動画像復号方法、及び動画像復号プログラム)では、画像更新手段が、第1の画像として、再生画像生成手段によって生成される再生画像を用い、第2の画像として、格納手段に格納された参照画像を用い、該再生画像と該参照画像の少なくとも一部とを重み付け加算することによって生成する更新再生画像を、更新画像として格納手段に格納し、更に、第1の画像として、格納手段に格納された参照画像を用い、第2の画像として、再生画像生成手段によって生成される再生画像を用い、該参照画像と該再生画像の少なくとも一部とを重み付け加算することによって生成する更新参照画像を格納手段に格納する。予測画像生成手段は、再生画像、更新再生画像、参照画像、更新参照画像のうち少なくとも一つを、異なる対象画像に対する予測画像を生成するための参照画像として用いることができる。
また、上述した動画像の復号に係る本発明(動画像復号装置、動画像復号方法、及び動画像復号プログラム)において、符号化差分信号は、第1の状態、第2の状態、第3の状態、及び第4の状態の少なくとも一つを指示する更新制御信号を含み、画像更新手段は、更新制御信号によって第1の状態が指示される場合に、更新再生画像を生成し、更新制御信号によって第2の状態が指示される場合に、更新参照画像を生成し、更新制御信号によって記第3の状態が指示される場合に、更新再生画像と更新参照画像とを生成し、更新制御信号によって第4の状態が指示される場合に、更新再生画像と更新参照画像とを生成しない。
また、好適には、上述した動画像の符号化に係る本発明(動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム)において、画像更新手段は、第1の画像に対する第2の画像のずれを特定する動き量を求め、該動き量に基づいて移動させた対応の位置において第2の画像の少なくとも一部を第1の画像に重み付け加算することによって、更新画像を生成する。
この場合に、上述した動画像の復号に係る本発明(動画像復号装置、動画像復号方法、及び動画像復号プログラム)では、画像更新手段が、第1の画像に対する第2の画像のずれを示す動き量を求め、該動き量に基づいて移動させた対応の位置において第2の画像の少なくとも一部を第1の画像に重み付け加算することによって、更新画像を生成する。
上記本発明によれば、動き量に係るデータ量を増やすことなく、動き補償を加えた平均化が行われるので、よりノイズの少ない参照画像が生成される。
ところで、動画像の符号化に係る本発明(動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム)は、以下のように構成することもできる。
本発明に係る動画像符号化装置は、(a)動画像を構成する複数の画像から、符号化の対象となる対象画像に対する予測画像を生成する予測画像生成手段と、(b)前記対象画像と前記予測画像との差演算を実行することによって、差分画像を生成する差分画像生成手段と、(c)前記差分画像を符号化することによって、符号化差分信号を生成する符号化手段と、(d)前記符号化差分信号を復号することによって、復号差分画像を生成する復号手段と、(e)前記復号差分画像と前記予測画像との和演算を実行することによって、再生画像を生成する再生画像生成手段と、(f)予測画像を生成するために前記予測画像生成手段によって用いられる参照画像を格納するための格納手段と、(g)前記格納手段に格納された参照画像を第1の画像とし、前記格納手段に格納され前記第1の画像と異なる参照画像と前記再生画像と前記復号差分画像のうち少なくとも1つを第2の画像とし、前記第1の画像と前記第2画像の少なくとも一部とを重み付け加算することによって、更新画像を生成する画像更新手段とを備え、前記画像更新手段は、前記更新画像を前記格納手段に格納し、前記予測画像生成手段は、前記格納手段に格納された更新画像を、予測画像を生成するための参照画像として用いることを特徴とする。
本発明に係る動画像符号化方法は、(a)予測画像生成手段が、動画像を構成する複数の画像から、符号化の対象となる対象画像に対する予測画像を生成する予測画像生成ステップと、(b)差分画像生成手段が、前記対象画像と前記予測画像との差演算を実行することによって、差分画像を生成する差分画像生成ステップと、(c)符号化手段が、前記差分画像を符号化することによって、符号化差分信号を生成する符号化ステップと、(d)復号手段が、前記符号化差分信号を復号することによって、復号差分画像を生成する復号ステップと、(e)再生画像生成手段が、前記復号差分画像と前記予測画像との和演算を実行することによって、再生画像を生成する再生画像生成ステップと、(f)格納手段が、予測画像を生成するために前記予測画像生成手段によって用いられる参照画像を格納するための格納ステップと、(g)画像更新手段が、前記格納手段に格納された参照画像を第1の画像とし、前記格納手段に格納され前記第1の画像と異なる参照画像と前記再生画像と前記復号差分画像のうち少なくとも1つを第2の画像とし、前記第1の画像と前記第2画像の少なくとも一部とを重み付け加算することによって、更新画像を生成する画像更新ステップとを含み、前記画像更新ステップにおいて、前記画像更新手段が、前記更新画像を前記格納手段に格納し、前記予測画像生成ステップにおいて、前記予測画像生成手段が、前記格納手段に格納された更新画像を、予測画像を生成するための参照画像として用いることを特徴とする。
本発明に係る動画像符号化プログラムは、コンピュータを、(a)動画像を構成する複数の画像から、符号化の対象となる対象画像に対する予測画像を生成する予測画像生成手段と、(b)前記対象画像と前記予測画像との差演算を実行することによって、差分画像を生成する差分画像生成手段と、(c)前記差分画像を符号化することによって、符号化差分信号を生成する符号化手段と、(d)前記符号化差分信号を復号することによって、復号差分画像を生成する復号手段と、(e)前記復号差分画像と前記予測画像との和演算を実行することによって、再生画像を生成する再生画像生成手段と、(f)予測画像を生成するために前記予測画像生成手段によって用いられる参照画像を格納するための格納手段と、(g)前記格納手段に格納された参照画像を第1の画像とし、前記格納手段に格納され前記第1の画像と異なる参照画像と前記再生画像と前記復号差分画像のうち少なくとも1つを第2の画像とし、前記第1の画像と前記第2画像の少なくとも一部とを重み付け加算することによって、更新画像を生成する画像更新手段として機能させ、前記画像更新手段は、前記更新画像を前記格納手段に格納し、前記予測画像生成手段は、前記格納手段に格納された更新画像を、予測画像を生成するための参照画像として用いることを特徴とする。
また、動画像の復号に係る本発明(動画像復号装置、動画像復号方法、及び動画像復号プログラム)は、以下のように構成することもできる。
本発明に係る動画像復号装置は、(a)動画像が予測符号化されてなる符号化差分信号を復号することによって、復号差分画像を生成する復号手段と、(b)前記符号化差分信号に基づいて、復号対象の対象画像に対する予測画像を生成する予測画像生成手段と、(c)前記復号差分画像と前記予測画像を加算することによって再生画像を生成する再生画像生成手段と、(d)前記予測画像を生成するために前記予測画像生成手段によって用いられる参照画像を格納する格納手段と、(e)前記格納手段に格納された参照画像を第1の画像とし、前記格納手段に格納され前記第1の画像と異なる参照画像と前記再生画像と前記復号差分画像のうち少なくとも1つを第2の画像とし、前記第1の画像と前記第2画像の少なくとも一部とを重み付け加算することによって、更新画像を生成する画像更新手段とを備え、前記画像更新手段は、前記更新画像を前記格納手段に格納し、前記予測画像生成手段は、前記格納手段に格納された更新画像を、予測画像を生成するための参照画像として用いることを特徴とする。
本発明に係る動画像復号方法は、(a)復号手段が、動画像が予測符号化されてなる符号化差分信号を復号することによって、復号差分画像を生成する復号ステップと、(b)予測画像生成手段が、前記符号化差分信号に基づいて、復号対象の対象画像に対する予測画像を生成する予測画像生成ステップと、(c)再生画像生成手段が、前記復号差分画像と前記予測画像を加算することによって再生画像を生成する再生画像生成ステップと、(d)格納手段が、前記予測画像を生成するために前記予測画像生成手段によって用いられる参照画像を格納する格納ステップと、(e)画像更新手段が、前記格納手段に格納された参照画像を第1の画像とし、前記格納手段に格納され前記第1の画像と異なる参照画像と前記再生画像と前記復号差分画像のうち少なくとも1つを第2の画像とし、前記第1の画像と前記第2画像の少なくとも一部とを重み付け加算することによって、更新画像を生成する画像更新ステップとを含み、前記画像更新ステップにおいて、前記画像更新手段が、前記更新画像を前記格納手段に格納し、前記予測画像生成ステップにおいて、前記予測画像生成手段が、前記格納手段に格納された更新画像を、予測画像を生成するための参照画像として用いることを特徴とする。
本発明に係る動画像復号プログラムは、コンピュータを、(a)動画像が予測符号化されてなる符号化差分信号を復号することによって、復号差分画像を生成する復号手段と、(b)前記符号化差分信号に基づいて、復号対象の対象画像に対する予測画像を生成する予測画像生成手段と、(c)前記復号差分画像と前記予測画像を加算することによって再生画像を生成する再生画像生成手段と、(d)前記予測画像を生成するために前記予測画像生成手段によって用いられる参照画像を格納する格納手段と、(e)前記格納手段に格納された参照画像を第1の画像とし、前記格納手段に格納され前記第1の画像と異なる参照画像と前記再生画像と前記復号差分画像のうち少なくとも1つを第2の画像とし、前記第1の画像と前記第2画像の少なくとも一部とを重み付け加算することによって、更新画像を生成する画像更新手段として機能させ、前記画像更新手段は、前記更新画像を前記格納手段に格納し、前記予測画像生成手段は、前記格納手段に格納された更新画像を、予測画像を生成するための参照画像として用いることを特徴とする。
以上説明したように、本発明によれば、参照画像のノイズを低減することが可能な動画像符号化装置、動画像符号化方法、動画像符号化プログラムが提供される。したがって、本発明によれば、動画像のデータ量が削減され、符号化効率が高められる。また、本発明によれば、平均化によるノイズ低減の効果が、異なる対象画像の処理にも活かされる。更に、本発明によれば、再生画像及び格納手段に格納された参照画像の一方にはない画像のディテールが、異なる対象画像に対する予測画像の生成に用いられる参照画像に反映されるので、更に符号化効率が高められる。
また、本発明によれば、上記動画像の符号化に係る本発明に基づいて生成されるデータから動画像を復元することが可能な動画像復号装置、動画像復号方法、及び動画像復号プログラムが提供される。
以下、図面を参照して本発明の好適な実施形態について詳細に説明する。なお、各図面において同一又は相当の部分に対しては同一の符号を附すこととする。
図1は、本発明の実施の形態に係る動画像符号化装置の構成を示す図である。図1に示す動画像符号化装置10は、物理的には、CPU(中央処理装置)、メモリといった記憶装置、ディスプレイといった表示装置、通信装置等を備えるコンピュータであることができる。また、動画像符号化装置10は、携帯電話といった移動通信端末であってもよい。すなわち、動画像符号化装置10には、情報処理可能な装置が広く適用され得る。
図1に示すように、動画像符号化装置10は、機能的には、入力端子12、前処理部14、予測画像生成部(予測画像生成手段)16、差分画像生成部(差分画像生成手段)18、フレームメモリ(格納手段)20、符号化部(符号化手段)22、可変長符号化部24、出力端子26、復号部(復号手段)28、再生画像生成部(再生画像生成手段)30、及び、画像更新部(画像更新手段)32を備える。
入力端子12には、複数の画像からなる動画像が入力される。入力端子12は、前処理部14に、動画像を出力する。
前処理部14は、ラインL2経由で出力される動画像を受け、動画像を構成する複数の入力画像を順次に符号化の対象である対象画像として、当該対象画像に前処理を施す。前処理部14は、前処理として、ノイズを低減するためのフィルタを対象画像に施すことができる。このノイズは、例えば、カメラによる撮影時に画像に発生するものである。前処理部14は、前処理として、必要に応じ、対象画像を所定のサイズに変換することができる。更に、前処理部14は、前処理として、対象画像を所定サイズの複数のブロックに分割して、出力する。この所定のサイズとしては、16×16画素のサイズが例示される。動画像符号化装置10では、前処理部14から出力される複数のブロック各々について、以下に説明する処理が施される。
予測画像生成部16は、対象画像の予測画像を生成する。具体的に、予測画像生成部16は、前処理部14からラインL4経由で出力されるブロックを処理の対象である対象ブロックとし、この対象ブロックの画像に対する予測画像を生成する。
予測画像生成部16は、フレームメモリ20に格納されている参照画像をラインL6経由で取得する。フレームメモリ20には、対象画像より先に符号化の対象とされた入力画像に対する再生画像が、予測画像生成部16による予測画像の生成のための参照画像として格納されている。再生画像についての詳細は後述する。予測画像生成部16は、この参照画像を用い、動き補償予測によって対象ブロックの予測画像を生成する。すなわち、予測画像生成部16は、対象ブロックの参照画像に対する動き量(動きベクトル)を求める。この動きベクトルは、例えば、ブロックマッチングによって求めることができるものであり、対象ブロックから最も相関の高い参照画像内の領域へのベクトルとすることができる。予測画像生成部16は、求めた動きベクトルと、予測画像を出力する。この予測画像は、動きベクトルによって特定される参照画像内の領域における画像である。
差分画像生成部18は、対象画像と予測画像との差演算を実行することによって、差分画像を生成する。具体的に、差分画像生成部18は、ラインL8経由で前処理部14から出力される対象ブロックの画像と、ラインL10経由で予測画像生成部16から出力される当該対象ブロックの予測画像との差を求めることによって、差分画像を生成する。
符号化部22は、差分画像を符号化することによって、符号化差分信号を生成する。本実施形態では、符号化部22は、変換部34と、量子化部36とを有している。変換部34は、ラインL12経由で差分画像生成部18から出力される対象ブロックの差分画像を変換する。変換部34は、例えば、DCT(Discrete Cosine Transform)を用いて、差分画像を周波数領域の信号に変換する。量子化部36は、ラインL14経由で変換部34から出力される信号を、量子化する。量子化部36によって量子化された信号が、符号化差分信号である。
可変長符号化部24は、ラインL16経由で予測画像生成部16から出力される動きベクトル、及びラインL18経由で符号化部22から出力される符号化差分信号を可変長符号化することによって、符号化データを生成する。可変長符号化部24は、例えば、算術符号化を用いることができる。可変長符号化部24は、当該符号化データを含むビットストリームをラインL20経由で出力端子26に出力する。
復号部28は、符号化差分信号を復号することによって、復号差分画像を生成する。ここでの復号とは、符号化部22における符号化と対称の処理である。具体的に、復号部28は、逆量子化部38と、逆変換部40とを有する。
逆量子化部38は、ラインL22経由で符号化部22から出力される符号化差分信号を受ける。逆量子化部38は、量子化部36による量子化と対称の処理である逆量子化を符号化差分信号に適用する。
逆変換部40は、ラインL24経由で、逆量子化部38からの信号(逆量子化が施された信号)を受け、当該信号に逆変換を適用することによって、対象ブロックの復号差分画像を生成する。逆変換部40による逆変換は、変換部34による変換と対称の処理であり、変換部34がDCTを用いる場合には、逆変換部40はIDCT(Inverse Discrete Cosine Transform)を用いる。
再生画像生成部30は、復号差分画像と予測画像とを加算することによって、再生画像を生成する。具体的に、再生画像生成部30は、復号部28からラインL26経由で出力される復号差分画像と、予測画像生成部16からラインL28経由で出力される予測画像とを加算することによって、対象ブロックの再生画像を生成する。
画像更新部32は、ラインL30経由で再生画像生成部30から再生画像を受け、ラインL32経由でフレームメモリ20に格納されている参照画像を受ける。画像更新部32は、再生画像及び参照画像の一方を第1の画像とし、再生画像及び参照画像の他方を第2の画像とし、第1の画像と第2の画像とを重み付け加算することによって、更新画像を生成する。この更新画像は、フレームメモリ20に格納されて、異なる対象画像に対する符号化に用いられる。すなわち、更新画像は、フレームメモリ20に格納されて、対象画像より後に符号化の対象となる入力画像に対する予測画像を生成するための参照画像として予測画像生成部16によって用いられる。なお、この重み付け加算は、第1の画像、第2の画像に任意の比率の重みを適用し、加算後の画素値を所望のレベル内の値とする。
以下、図2を参照して、画像更新部32の一実施形態について説明する。図2は、画像更新部の一実施形態の構成を示す図である。動画像符号化装置10では、図2に示す画像更新部48を、画像更新部32として用いることができる。画像更新部48は、更新再生画像生成部50と、更新参照画像生成部52と、スイッチ54とを有している。
更新再生画像生成部50は、再生画像に参照画像を重み付け加算した更新再生画像を更新画像として生成する。すなわち、更新再生画像生成部50は、第1の画像として、再生画像を用い、第2の画像として参照画像を用いる。
更新再生画像生成部50は、動き検出部56と、動き補償部58と、重み付け加算部60とを有している。動き検出部56は、ラインL70経由で再生画像を、ラインL72経由で参照画像を受ける。動画像符号化装置10の場合には、ラインL70は、ラインL30に相当し、ラインL72は、ラインL32に相当する。
動き検出部56は、再生画像におけるブロックごとに、参照画像に対する動き量(動きベクトル)を求める。このブロックのサイズは、例えば、4×4画素サイズのブロックとすることができる。動き補償部58は、動き検出部56によって求められた動きベクトルによって特定される参照画像内の領域の画像を出力する。重み付け加算部60は、動き補償部58からの当該画像を上記ブロックの再生画像に任意の重み付けで加算することによって、上記ブロックの対応位置における更新再生画像を生成する。この重み付け加算は、再生画像、参照画像に対して、例えば、1:1、或いは2:1といった比率の重みを適用し、加算後の画素値を所望のレンジ内の値とする。
このようにして更新再生画像生成部50によって生成される更新再生画像は、スイッチ54及びラインL74を経由して、フレームメモリに戻され、異なる対象画像に対する参照画像として、後の符号化において利用される。なお、動画像符号化装置10の場合には、ラインL74はラインL34に相当する。
更新参照画像生成部52は、参照画像に再生画像を重み付け加算した更新参照画像を更新画像として生成する。すなわち、更新参照画像生成部52は、第1の画像として、参照画像を用い、第2の画像として再生画像を用いる。
更新参照画像生成部52は、動き検出部62と、動き補償部64と、重み付け加算部66とを有している。動き検出部62は、ラインL70経由で再生画像を、ラインL72経由で参照画像を受ける。
動き検出部62は、参照画像のブロックごとに再生画像に対する動き量(動きベクトル)を求める。このブロックのサイズも、例えば、4×4画素サイズとすることができる。なお、動き検出部62は、動き検出部56によって生成された動きベクトルを逆方向にしたベクトルを用いてもよい。
動き補償部64は、動き検出部62からの動きベクトルによって特定される再生画像内の領域の画像を出力する。重み付け加算部66は、動き補償部64からの当該画像と上記ブロックの参照画像とを任意の重み付けで加算することによって、上記ブロックの対応位置の更新参照画像を生成する。この重み付け加算は、参照画像、再生画像に対して、例えば、1:1、或いは2:1といった比率の重みを適用し、加算後の画素値を所望のレンジ内の値とする。
このようにして更新参照画像生成部52によって生成される更新参照画像は、スイッチ54及びラインL74経由で、フレームメモリに戻され、異なる対象画像に対する参照画像として、後の符号化において利用される。
なお、更新再生画像生成部50及び更新参照画像生成部52は、それぞれ対応の動き検出部56及び動き検出部62を有しない構成であってもよい。この場合には、動き補償部58及び動き補償部64は、それぞれ、予測画像生成部16によって求められる動きベクトルを用いることができる。
また、動き検出部56及び動き検出部62は、予測画像生成部16によって求められる動きベクトルをオフセットとして用いて、更に細かい動きベクトルを求めてもよい。
また、動き検出部56及び動き検出部62によって求められた動きベクトルを、可変長符号化部24によって復号側へ送信してもよく、或いは、送信しなくてもよい。後者の場合には、復号側で、動き検出部56及び動き検出部62と同様の処理を実行する。
また、フレームメモリ20には、更新再生画像及び更新参照画像に加えて、再生画像が格納され、更にフレームメモリ20に格納されている参照画像がそのまま格納されてもよい。この場合には、再生画像、更新再生画像、更新参照画像、参照画像が、異なる対象画像の符号化に参照画像として用いられる。
以下、図3及び図4を参照して、フレームメモリに格納される参照画像の時系列を説明する。図3は、順方向予測を行う場合の画像更新の概念を説明するための図である。図4は、双方向予測を行う場合の画像更新の概念を説明するための図である。図3及び図4では、参照符号INが付された領域に入力画像が示されており、参照符号Rが付された領域に再生画像が示されており、参照符号Fが付された領域にフレームメモリに格納される画像が示されている。
順方向予測の場合、逆方向の予測がないので、アルゴリズム上の遅延がないものと考えることができる。順方向予測の場合、図3に示すように、時刻t0、t1、t2、t3・・・の順に入力画像I0、P1,P2、P3・・・が入力される。時刻t0では、入力画像I0が対象画像となり、例えば、イントラフレーム符号化及び復号を経て、再生画像RI0が生成され、当該再生画像RI0がフレームメモリ20に参照画像として格納される。
時刻t1では、入力画像P1が対象画像となり、フレームメモリ20に格納された参照画像RI0を用いて、再生画像RP1が生成される。時刻t1では、参照画像RI0と、再生画像RP1と、再生画像RP1及び参照画像RI0から生成される更新参照画像RIORP1と更新再生画像RP1RI0とが、フレームメモリ20に参照画像として格納される。
時刻t2では、入力画像P2が対象画像となり、時刻t1においてフレームメモリ20に格納された参照画像RI0、RP1、RIORP1及びRP1RI0を用いて、再生画像RP2が生成される。時刻t2では、再生画像RP1と、再生画像RP2と、参照画像RP1と再生画像RP2とを用いて生成される更新参照画像RP1RP2及び更新再生画像RP2RP1が、参照画像としてフレームメモリ20に格納される。なお、時刻t2において、参照画像RI0、RIORP1、及びRIORP1をフレームメモリ20から削除しているが、これらを削除せず、時刻t3における再生画像の生成に用いてもよい。
時刻t3では、入力画像P3が対象画像となり、時刻t2においてフレームメモリ20に格納された参照画像を用いて、再生画像RP3が生成される。
双方向予測の場合には、画像の入力と再生には、アルゴリズム上の遅延が生じる。双方向予測の場合には、図4に示すように、順に入力画像I0、B1,B2、P3・・・が入力される。
時刻t0では、入力画像I0が対象画像となり、例えば、イントラフレーム符号化及び復号によって、再生画像RI0が生成される。再生画像RI0は、フレームメモリ20に参照画像として格納される。再生画像RI0が再生される時刻は、双方向予測であるので、時刻t1である。
入力画像B1と入力画像B2とを入力画像I0及びP3から符号化するので、時刻t1では、入力画像P3が対象画像となり、時刻t2において、参照画像RI0を用いて、対象画像P3の再生画像RP3が生成される。時刻t2では、再生画像RP3と参照画像RI0とを用いて、更新参照画像RIORP3と更新参照画像RP3RI0とが生成され、参照画像としてフレームメモリ20に格納される。
時刻t2では、入力画像B1及び入力画像B2が対象画像となり、それぞれ符号化される。時刻t3において、参照画像RIORP3とRP3RI0とを用いて、対象画像B1の再生画像RB1が生成され、同時に、再生画像RB1と参照画像RIORP3とを用いて、更新参照画像(RIORP3)RB1が生成され、再生画像RB1と参照画像RP3RI0とを用いて、更新参照画像(RP3RI0)RB1が生成され、それぞれ参照画像として、フレームメモリ20に格納される。参照画像(RIORP3)RB1と(RP3RI0)RB1は、対象画像B2の符号化・復号に用いられる。
以下、本実施の形態にかかる動画像符号化装置10の動作について説明する。併せて、本発明の実施の形態に係る動画像符号化方法を説明する。図5は、本発明の実施の形態に係る動画像符号化方法のフローチャートである。
図5に示すように、この動画像符号化方法では、まず、動画像を構成する複数の画像が順次、符号化の対象となる対象画像として入力される(ステップS01)。次いで、前処理部14によって、上述した前処理が行われる(ステップS02)。
次いで、予測画像生成部16によって、対象画像の予測画像が生成される(ステップS03)。この予測画像と対象画像との差演算が実行され、差分画像が生成される(ステップS04)。
次いで、符号化部22が符号化を実行することによって、差分画像から符号化差分信号が生成される(ステップS05)。次いで、可変長符号化部24によって、符号化差分信号、動きベクトルが可変長符号化されることによって、ビットストリームが生成される(ステップS06)。
次いで、復号部28が復号を実行することによって、符号化差分信号から復号差分画像が生成される(ステップS07)。復号差分画像は、再生画像生成部30によって、予測画像に加算され、その結果、再生画像が生成される(ステップS08)。そして、画像更新部32によって、更新画像が生成され(ステップS09)、当該更新画像がフレームメモリ20に格納される(ステップS10)。
以下、ステップS09の更新画像生成について詳細に説明する。図6は、更新画像生成に関するフローチャートである。更新画像生成の処理においては、再生画像生成部30から再生画像が、フレームメモリ20から参照画像が、それぞれ画像更新部32に入力される(ステップS09−1)。
そして、更新再生画像生成部50によって、参照画像を用いて再生画像が更新されることによって、更新再生画像が生成される(ステップS09−2)。また、更新参照画像生成部52によって、再生画像を用いて参照画像が更新されることによって、更新参照画像が生成される(ステップS09−3)。更新再生画像及び更新参照画像は、フレームメモリ20に、更新画像として格納される(ステップS09−4)。
以下、更新再生画像及び更新参照画像の生成について、詳細に説明する。図7は、更新画像の生成の詳細に関するフローチャートである。以下、再生画像及び参照画像の一方を第1の画像として、再生画像及び参照画像の他方を第2の画像として、更新再生画像及び更新参照画像の生成について説明する。以下の説明から、第1の画像を再生画像、第2の画像を参照画像とすれば、更新画像として更新再生画像が生成され、第1の画像を参照画像、第2の画像を再生画像とすれば、更新画像として更新参照画像が生成されることが、理解されよう。
図7に示すように、まず、第1の画像と第2の画像とが入力される(ステップS21)。次いで、変数Nが1に設定される(ステップS22)。この変数Nは、第1の画像を分割したブロックの個数である。ブロックのサイズは、a×aであり、例えば、4×4を採用することができる。
次いで、第1の画像のN番目のブロックの予測ブロックが、第2の画像から求められる(ステップS23)。次いで、第1の画像のN番目のブロックと予測ブロックとの重み付け平均を求めることによって、当該N番目のブロックの更新画像が生成される(ステップS24)。
次いで、Nが「1」インクリメントされ(ステップS25)、インクリメントされたNが、最大ブロック数を超えるか否かがテストされる(ステップS26)。このテストの結果、Noの場合には、ステップS23からの処理が繰り返され、Yesの場合には、処理が終了となる。
以下、コンピュータを動画像符号化装置10として動作させる動画像符号化プログラムについて説明する。図8は、本発明の実施の形態に係る動画像符号化プログラムの構成を、記憶媒体と共に示す図である。
図8に示すように、動画像符号化プログラム70は、記録媒体100に格納されて提供される。記録媒体100としては、フロッピーディスク、CD−ROM、DVD、あるいはROM等の記録媒体あるいは半導体メモリ等が例示される。
図9は、記録媒体に記憶されたプログラムを実行するためのコンピュータのハードウェア構成を示す図であり、図10は、記録媒体に記憶されたプログラムを実行するためのコンピュータの斜視図である。図9に示すように、コンピュータ110は、フロッピーディスクドライブ装置、CD−ROMドライブ装置、DVDドライブ装置等の読取装置112と、オペレーティングシステムを常駐させた作業用メモリ(RAM)114と、記録媒体100に記憶されたプログラムを記憶するメモリ116と、ディスプレイといった表示装置118と、入力装置であるマウス120及びキーボード122と、データ等の送受を行うための通信装置124と、プログラムの実行を制御するCPU126とを備えている。コンピュータ110は、記録媒体100が読取装置112に挿入されると、読取装置112から記録媒体100に格納された動画像符号化プログラム70にアクセス可能になり、当該動画像符号化プログラム70によって、動画像符号化装置10として動作することが可能になる。
図10に示すように、動画像符号化プログラム70は、搬送波に重畳されたコンピュータデータ信号130としてネットワークを介して提供されるものであってもよい。この場合、コンピュータ110は、通信装置124によって受信した動画像符号化プログラム70をメモリ116に格納し、当該動画像符号化プログラム70を実行することができる。
図8に示すように、動画像符号化プログラム70は、処理を統括するメインモジュール71と、前処理モジュール72と、予測画像生成モジュール74と、差分画像生成ジュール76と、格納モジュール78と、符号化モジュール80と、可変長符号化モジュール82と、復号モジュール84と、再生画像生成モジュール86と、画像更新モジュール88とを備えている。また、符号化モジュール80は、変換サブモジュール92と量子化サブモジュール94とによって構成され、復号モジュール84は、逆量子化サブモジュール96と逆変換サブモジュール98とによって構成される。
前処理モジュール72、予測画像生成モジュール74、差分画像生成ジュール76、格納モジュール78、符号化モジュール80、可変長符号化モジュール82、復号モジュール84、再生画像生成モジュール86、画像更新モジュール88、変換サブモジュール92、量子化サブモジュール94、逆量子化サブモジュール96、及び逆変換サブモジュール98がコンピュータに実現させる機能はそれぞれ、上述した前処理部14、予測画像生成部16、差分画像生成部18、フレームメモリ20、符号化部22、可変長符号化部24、復号部28、再生画像生成部30、画像更新部32、変換部34、量子化部36、逆量子化部38、及び逆変換部40のうち対応の要素と同様である。
以上、本発明の動画像符号化装置10について説明したが、画像更新部32による処理を符号化効率の向上に有効な場合にのみ実行させることも可能である。この場合には、図1に示すように、動画像符号化装置10は、更に制御部42を備えることができる。
制御部42は、動画像にシーンの変化があるか否かをテストする。動画像にシーンの変化があるか否かは、例えば、異なる入力画像間における相関の大小から決定することができる。制御部42は、シーンの変化がある場合に、更新画像を生成しない旨を指示する更新制御信号を画像更新部32にラインL36を介して出力する。一方、制御部42は、シーンの変化が少ない場合に、更新画像を生成する旨を指示する更新制御信号を画像更新部32に出力する。
更新制御信号は、第1の状態、第2の状態、第3の状態、及び第4の状態のいずれかをとることができる。画像更新部32は、更新制御信号が第1の状態の場合に、更新再生画像を生成し、更新制御信号が第2の状態の場合に、更新参照画像を生成し、更新制御信号が第3の状態の場合に、更新再生画像及び更新参照画像を生成し、第4の状態の場合には、更新再生画像及び更新参照画像のいずれをも生成しない。
制御部42は、更新制御信号を可変長符号化部24にも出力する。可変長符号化部24は、更新制御信号を動画像における各画像のヘッダ部に含めて送信する。更新制御信号は、上記の状態を表すために必要な最小のビット数の信号として、ヘッダ部に含められる。例えば、更新制御信号が第3の状態及び第4の状態をとることを許可されている場合に、更新制御信号を、第3の状態を「1」、第4の状態を「0」とする1ビットの信号とすることができる。
なお、コンピュータ110に制御部42に相当する機能を更に実現させる場合には、図8に示すように、制御部42に相当する機能をコンピュータ110に実現させる制御モジュール90を動画像符号化プログラム70に更に備えることができる。
次に、本発明の実施の形態に係る動画像復号装置について説明する。図11は、本発明の実施の形態に係る動画像復号装置の構成を示す図である。図11に示す動画像復号装置140は、動画像符号化装置10によって生成されたビットストリームから動画像を再生可能な装置である。
動画像復号装置140は、物理的には、CPU(中央処理装置)、メモリといった記憶装置、ディスプレイといった表示装置、通信装置等を備えるコンピュータであることができる。また、動画像復号装置140は、携帯電話といった移動通信端末であってもよい。すなわち、動画像復号装置140には、情報処理可能な装置が広く適用され得る。
図11に示すように、動画像復号装置140は、機能的に、入力端子142と、可変長復号部144と、復号部(復号手段)146と、予測画像生成部(予測画像生成手段)148と、フレームメモリ(格納手段)150と、再生画像生成部(再生画像生成手段)152と、出力端子154と、画像更新部(画像更新手段)156とを備える。
入力端子142には、動画像符号化装置10によって生成されたビットストリームが入力される。入力端子142は、可変長復号部144に当該ビットストリームを出力する。
可変長復号部144は、ラインL40経由で出力されるビットストリームを受け、当該ビットストリームに含まれる符号化データを可変長復号することによって、動きベクトル及び符号化差分信号を復元する。
復号部146は、動画像符号化装置10における復号部28と同様の処理を実行する。復号部146は、逆量子化部38と同様の逆量子化部160と、逆変換部40と同様の逆変換部162とを有し、ラインL42経由で符号化差分信号を受け、当該符号化差分信号から復号差分画像を生成する。
予測画像生成部148は、動画像符号化装置10の予測画像生成部16と同様の動き補償予測によって予測画像を生成する。具体的に、予測画像生成部148は、ラインL44経由で出力される動きベクトルと、ラインL46経由で出力されるフレームメモリ150に格納された参照画像とを用いて、予測画像を生成する。ここで、フレームメモリ150には、動画像を構成する画像のうち、復号の対象である対象画像よりも先に復号の対象となった画像に対して生成された再生画像に基づく画像が参照画像として格納されている。
再生画像生成部152は、ラインL48経由で復号部146から出力される復号差分画像と、ラインL50経由で予測画像生成部148から出力される予測画像とを加算することによって、再生画像を生成する。この再生画像は、出力端子154に、ラインL52経由で出力されると同時にフレームメモリ150に格納される。
画像更新部156は、動画像符号化装置10の画像更新部32と同様の構成を有する。画像更新部156は、ラインL54経由で出力される再生画像及びラインL56経由で出力される参照画像を受ける。画像更新部156は、再生画像及び参照画像の一方を第1の画像とし、再生画像及び参照画像の他方を第2の画像とし、第1の画像と第2の画像とを重み付け加算することによって、更新画像を生成する。この更新画像は、ラインL58経由でフレームメモリ150に格納され、異なる対象画像の復号において参照画像として用いられる。この重み付け加算は、第1の画像、第2の画像に任意の比率の重みを適用し、加算後の画素値を所望のレベル内の値とする。
画像更新部156によって生成された更新画像は、フレームメモリ150に格納されて、動画像を構成する画像のうち、対象画像より後に復号の対象となる画像に対する予測画像を生成するための参照画像として、予測画像生成部148によって用いられる。
動画像復号装置140にも、画像更新部156として、図2に示す画像更新部48を用いることができる。動画像復号装置140の場合に、図2に示すラインL70はラインL54に相当し、ラインL72はラインL56に相当し、ラインL74はラインL58に相当する。なお、画像更新部48の詳細は上述したので、その詳細の説明については、本明細書における画像更新部48の説明を参照されたい。
なお、動画像復号装置140は、制御部158を更に備えることができる。制御部158は、動画像符号化装置10によって生成されるビットストリームに、上述した更新制御信号が含まれる場合に、可変長復号部144からラインL60を介して当該更新制御信号を受ける。制御部158は、上述した更新制御信号がとる状態に応じて、ラインL62経由で画像更新部156における更新画像の生成を制御する。
以下、動画像復号装置140の動作について説明する。併せて、本発明の実施の形態に係る動画像復号方法について説明する。図12は、本発明の実施の形態にかかる動画像復号方法を示すフローチャートである。
図12に示すように、この動画像復号方法では、まず、入力端子142にビットストリームが入力される(ステップS31)。当該ビットストリームに含まれる符号化データが可変長復号部144によって、可変長復号されることによって、動きベクトル及び符号化差分信号が生成される(ステップS32)。
次いで、復号部146によって、符号化差分信号から復号差分画像が生成される(ステップS33)。また、予測画像生成部148によって、動きベクトル及びフレームメモリ150に格納された参照画像が用いられて、予測画像が生成される(ステップS34)。
次いで、再生画像生成部152によって、復号差分画像と予測画像が加算されることによって、再生画像が生成される(ステップS35)。
次いで、画像更新部156によって、再生画像と、フレームメモリ150に格納された参照画像とが用いられ、更新画像が生成される(ステップS36)。更新画像の生成については、図6及び図7を用いた説明と同様であるので、ここでは、その詳細の説明を省略する。
次いで、画像更新部156によって生成された更新画像が、フレームメモリ150に格納され、異なる対象画像の復号において参照画像として用いられる。
以下、本発明の実施の形態に係る動画像復号プログラムについて説明する。図13は、本発明の実施の形態に係る動画像復号プログラムの構成を、記録媒体と共に示す図である。
図13に示すように、動画像復号プログラム170は、記録媒体100に格納され提供される。記録媒体100としては、フロッピーディスク、CD−ROM、DVD、あるいはROM等の記録媒体あるいは半導体メモリ等が例示される。
動画像復号プログラム170が、図9及び図10に示すコンピュータ110の読取装置112に挿入されると、コンピュータ110は、記録媒体100に格納された動画像復号プログラム170にアクセス可能となる。当該動画像復号プログラム170によって、コンピュータ110は、動画像復号装置140として動作することが可能となる。なお、図10に示すように、動画像復号プログラム170は、搬送波に重畳されたコンピュータデータ信号130としてネットワークを介して提供されるものであってもよい。この場合、コンピュータ110は、通信装置124によって受信した動画像復号プログラム170をメモリ116に格納し、当該動画像復号プログラム170を実行することができる。
図13に示すように、動画像復号プログラム170は、処理を統括するメインモジュール171と、可変長復号モジュール172と、復号モジュール174と、予測画像生成モジュール176と、格納モジュール178と、再生画像生成モジュール180と、画像更新モジュール182とを備えている。また、復号モジュール174は、逆量子化サブモジュール186と、逆変換サブモジュール188とを有する。
可変長復号モジュール172、復号モジュール174、予測画像生成モジュール176、格納モジュール178、再生画像生成モジュール180、画像更新モジュール182、逆量子化サブモジュール186、及び逆変換サブモジュール188がコンピュータに実現させる機能はそれぞれ、上述した可変長復号部144、復号部146、予測画像生成部148、フレームメモリ150、再生画像生成部152、画像更新部156、逆量子化部160、逆変換部162のうち、対応の要素と同様である。なお、動画像復号プログラム170は、上述した制御部158に相当する機能をコンピュータ110に実現させる制御モジュール184を更に有することもできる。
以下、本実施形態にかかる動画像符号化装置10及び動画像復号装置140の作用及び効果を説明する。動画像符号化装置10では、再生画像又はフレームメモリ20に既に格納されている参照画像の一方の第1の画像に、当該再生画像又は当該参照画像の他方の第2の画像が重み付け加算されることによって、更新画像が生成される。この更新画像は、異なる対象画像の予測画像を生成するための参照画像として用いられる。したがって、加算に基づく平均化によってノイズが削減された参照画像が用いられるので、符号化による動画像のデータ量が削減され、符号化効率が向上される。更に、動画像符号化装置10では、再生画像と参照画像とが平均化された更新画像が生成されるので、再生画像又は参照画像にはない、画像のディテールを更新画像に反映させることができる。したがって、符号化による動画像のデータ量が更に削減される。
また、動画像復号装置140によれば、動画像符号化装置10によって生成されたビットストリームから動画像を忠実に復元することができる。
また、動画像符号化装置10及び動画像復号装置140では、上述したように動画像におけるシーンの変化に基づいて、動画像の符号化効率を高めるために有効な場合にのみ、更新画像を生成することができる。この場合には、上述したように、更新画像を生成するか否かに関する指示を、最小限必要なビットで表すことが可能な更新制御信号を用いることができる。
また、動画像復号装置140では、画像更新部が、第1の画像に対する第2の画像のずれを示す動き量を求めることによって、更新画像を生成するので、更新画像を生成するための動き量(動きベクトル)を動画像符号化装置10が動画像復号装置140に送信する必要がない。したがって、動画像符号化装置10が送信すべきビットストリームのデータ量が更に削減される。
また、動画像符号化装置10及び動画像復号装置140では、順方向予測の場合に、画像を並べ替えることなく、平滑化が実現されて、参照画像の雑音が低減される。
なお、本発明は、本実施の形態に開示された特定の構成に限定されるものではない。例えば、動画像符号化装置10及び動画像復号装置140では、フレームメモリに格納されており予測画像を生成するために参照される画像を参照画像としているが、予測画像の生成には用いられなくとも上述した画像更新に用いられる画像を参照画像としてもよい。この参照画像は、動画像符号化装置10及び動画像復号装置140の上述したフレームメモリに格納されてもよく、当該フレームメモリと異なるフレームメモリに格納されてもよい。また、当該参照画像は、上述した符号化差分信号に基づくデータを含むビットストリームとは異なるファイル、又はビットストリームとして伝送されてもよい。
また、動画像符号化装置10及び動画像復号装置140では、フレームメモリに格納されている参照画像と再生画像とを用いて画像更新が行われているが、フレームメモリに格納されている画像同士で画像更新が行われてもよい。すなわち、動画像符号化装置10及び動画像復号装置140では、再生画像がフレームメモリに格納される前に画像更新が行われているが、再生画像をフレームメモリに参照画像として格納した後に、当該参照画像と、当該参照画像とは異なる参照画像とを用いて画像更新処理が行われてもよい。
ところで、上記の実施形態では、動画像符号化装置10及び動画像復号装置140のフレームメモリに格納されている画像を更新するには、再生画像または該フレームメモリに格納されている別の画像を用いて行われると説明したが、復号差分画像を用いてフレームメモリに格納されている画像を更新してもよく、かかる変形例について図14から図16を用いて詳細に説明する。
図14は本発明に係る動画像符号化装置の変形を示す構成図である。基本的な構成と機能は図1と同じであるが、画像更新部32において再生画像生成部30からの再生画像とフレームメモリ20からの参照画像に加えて、復号部28からの出力である復号差分画像がラインL26b経由で入力される。画像更新部32は、復号差分画像を第1の画像とし、参照画像を第2の画像とし、第1の画像と第2の画像とを重み付け加算することによって、更新画像を生成する。この更新画像は、フレームメモリ20に格納され異なる対象画像に対する符号化に用いられる。画像の更新は、図2にて説明したように動き補償を伴うため、動き情報が必要となる。本実施の形態では、動き情報は図14の予測画像生成部16より提供される。画像更新部32については図15を用いて詳細を説明する。なお、重み付け加算では、重みが負の値をとることもあり、その場合引き算処理になる。
図15は、図14の動画像符号化装置に対する動画像復号装置の構成を示す図である。図15に示す動画像復号装置140は、図14の動画像符号化装置10によって生成されたビットストリームから動画像を再生可能な装置である。基本的な構成と機能は図11と同じであるが、画像更新部1556は、ラインL1554経由で入力される再生画像及びラインL1556経由で入力される参照画像に加えて、復号部1546からの出力である復号差分画像がラインL1560経由で入力される。画像更新部1556は、復号差分画像(ラインL1560経由)を第1の画像とし、参照画像(ラインL1556経由)を第2の画像とし、第1の画像と第2の画像とを重み付け加算することによって、更新画像を生成する。この更新画像は、フレームメモリ1550に格納され次の復号処理に用いられる。
具体的には、ラインL1560経由で入力される復号差分画像に対し、動き補償部1564にてラインL1543経由で可変長復号部1544から送られた動き情報をもとに、動き補償処理が施される。その結果はラインL1562経由で重み付け加算部1566に送られ、フレームメモリ1550から送られた参照画像と重み付け加算される。本実施の形態では、動き補償部1564の出力に負の重みを付け、参照画像と加算される。重み付け加算部1566の出力はスイッチ1568経由でフレームメモリ1550に戻される。一方、再生画像生成部1552からの再生画像もスイッチ1568経由でフレームメモリ1550に格納される。このように、フレームメモリに格納される参照画像は復号差分画像をもとに更新されることになる。
図16は、図14の動画像符号化装置に対する動画像復号装置の別の構成を示す図である。図16に示すように、動画像復号装置140は、機能的に、入力端子1642と、可変長復号部1644と、復号部(復号手段)1646と、動き補償部(予測画像生成手段)1648と、フレームメモリ(格納手段)1650と、再生画像生成部(再生画像生成手段)1652と、出力端子1654と、画像更新部(画像更新手段)1656とを備える。
入力端子1642には、図14の動画像符号化装置10によって生成されたビットストリームが入力される。入力端子1642は可変長復号部1644に当該ビットストリームを出力する。可変長復号部1644は、ラインL1640経由で出力されるビットストリームを受け、当該ビットストリームに含まれる符号化データを可変長復号することによって、動きベクトル及び符号化差分信号を復元する。
復号部1646は、逆量子化部1660と逆変換部1662とを有し、ラインL1642経由で符号化差分信号を受け、当該符号化差分信号から復号差分画像を生成する。
画像更新部1656は、ラインL1660経由で出力される復号差分画像及びラインL1656経由で出力される参照画像を受ける。画像更新部1656は、復号差分画像を第1の画像とし、参照画像を第2の画像とし、第1の画像と第2の画像とを重み付け加算することによって、更新画像を生成する。具体的には、ラインL1660経由で入力される復号差分画像に対し、動き補償部1666にてラインL1644経由で送られた動き情報をもとに、動き補償処理が施される。その結果はラインL1662経由で重み付け加算部1664に送られ、フレームメモリ1650から送られた参照画像と重み付け加算される。本実施の形態では、動き補償部1666の出力に負の重みを付け、参照画像と加算する。重み付け加算部1664の出力である更新画像は、ラインL1658経由でフレームメモリ1650に格納されると同時に、次に説明する動き補償部にて用いられる。
動き補償部1648は、ラインL1644経由で出力される動きベクトルと、ラインL1646経由で出力されるフレームメモリ1650に格納された参照画像とを用いて、予測画像を生成する。ここで、フレームメモリ1650には、動画像を構成する画像のうち、復号の対象である対象画像よりも先に生成された再生画像に基づく画像や、画像更新部1656からの更新画像が参照画像として格納されている。
再生画像生成部1652は、ラインL1648経由で復号部1646から出力される復号差分画像と、ラインL1650経由で動き補償部1648から出力される予測画像とを加算することによって再生画像を生成する。この再生画像は出力端子1654に、ラインL1652経由で出力されると同時にフレームメモリ1650に格納される。
このように復号差分画像を用いて参照画像を更新することによって、量子化による歪みが参照画像と再生画像とに一様に分散されてしまう効果があり、より効率的に符号化することができる。
なお、本実施の形態では復号差分画像を直接に画像更新部に入力したが、復号差分画像をフレームメモリに格納しておき、フレームメモリから復号差分画像を読み出し、画像更新に用いてもよい。
また、画像更新部の機能が動作する状態と動作しない状態を切り替えて符号化・復号処理を行ってもよい。例えば、図16において動き補償部1648と再生画像生成部1652が動作しないときに画像更新部1656が動作し、逆に動き補償部1648と再生画像生成部1652が動作するときに画像更新部1656は動作しないように制御してもよい。
以下、コンピュータを図15又は図16の動画像復号装置140として動作させる動画像復号プログラムについて説明する。図17は、上記の動画像復号プログラム190の構成を、記録媒体と共に示す図である。
図17に示すように、動画像復号プログラム190は、記録媒体100に格納され提供される。記録媒体100としては、フロッピーディスク、CD−ROM、DVD、あるいはROM等の記録媒体あるいは半導体メモリ等が例示される。
動画像復号プログラム190が、図9及び図10に示すコンピュータ110の読取装置112に挿入されると、コンピュータ110は、記録媒体100に格納された動画像復号プログラム190にアクセス可能となる。当該動画像復号プログラム190によって、コンピュータ110は、動画像復号装置140として動作することが可能となる。なお、図10に示すように、動画像復号プログラム190は、搬送波に重畳されたコンピュータデータ信号130としてネットワークを介して提供されるものであってもよい。この場合、コンピュータ110は、通信装置124によって受信した動画像復号プログラム190をメモリ116に格納し、当該動画像復号プログラム190を実行することができる。
図17に示すように、図15の動画像復号装置140として動作させる動画像復号プログラムと、図16の動画像復号装置140として動作させる動画像復号プログラムとで共通の構成として、動画像復号プログラム190は、処理を統括するメインモジュール191と、可変長復号モジュール192と、復号モジュール195と、予測画像生成モジュール196と、格納モジュール197と、再生画像生成モジュール198と、画像更新モジュール199とを備えている。また、復号モジュール195は、逆量子化サブモジュール193と、逆変換サブモジュール194とを有する。
図15の動画像復号装置140として動作させる動画像復号プログラムについては、可変長復号モジュール192、復号モジュール195、予測画像生成モジュール196、格納モジュール197、再生画像生成モジュール198、及び画像更新モジュール199がコンピュータに実現させる機能はそれぞれ、上述した可変長復号部1544、復号部1546、動き補償部1548、フレームメモリ1550、再生画像生成部1552、及び画像更新部1556のうち、対応の要素と同様である。
また、図16の動画像復号装置140として動作させる動画像復号プログラムについては、可変長復号モジュール192、復号モジュール195、予測画像生成モジュール196、格納モジュール197、再生画像生成モジュール198、及び画像更新モジュール199がコンピュータに実現させる機能はそれぞれ、上述した可変長復号部1644、復号部1646、動き補償部1648、フレームメモリ1650、再生画像生成部1652、及び画像更新部1656のうち、対応の要素と同様である。
なお、コンピュータを図14の動画像符号化装置10として動作させる動画像符号化プログラムの構成については、先述した図8の構成と同様である。
また、動画像符号化装置10及び動画像復号装置140では、更新画像が参照画像として用いられるが、これに限らず、当該更新画像は表示装置に出力されてもよい。
以上、好適な実施の形態において本発明の原理を図示し説明してきたが、本発明は、そのような原理から逸脱することなく配置および詳細において変更され得ることができることは、当業者によって認識される。本発明は、本実施の形態に開示された特定の構成に限定されるものではない。したがって、特許請求の範囲およびその精神の範囲から来る全ての修正および変更に権利を請求する。
10…動画像符号化装置、12…入力端子、14…前処理部、16…予測画像生成部、18…差分画像生成部、20…フレームメモリ、22…符号化部、24…可変長符号化部、26…出力端子、28…復号部、30…再生画像生成部、32…画像更新部。
Claims (21)
- 動画像を構成する複数の画像から、符号化の対象となる対象画像に対する予測画像を生成する予測画像生成手段と、
前記対象画像と前記予測画像との差演算を実行することによって、差分画像を生成する差分画像生成手段と、
前記差分画像を符号化することによって、符号化差分信号を生成する符号化手段と、
前記符号化差分信号を復号することによって、復号差分画像を生成する復号手段と、
前記復号差分画像と前記予測画像との和演算を実行することによって、再生画像を生成する再生画像生成手段と、
予測画像を生成するために前記予測画像生成手段によって用いられる参照画像を格納するための格納手段と、
前記再生画像又は前記格納手段に格納された参照画像の一方である第1の画像と、該再生画像又は該参照画像の他方である第2の画像の少なくとも一部とを重み付け加算することによって、更新画像を生成する画像更新手段と、
を備え、
前記画像更新手段は、前記更新画像を前記格納手段に格納し、
前記予測画像生成手段は、前記格納手段に格納された更新画像を、異なる対象画像に対する予測画像を生成するための参照画像として用いる、
動画像符号化装置。 - 動画像を構成する複数の画像から、符号化の対象となる対象画像に対する予測画像を生成する予測画像生成手段と、
前記対象画像と前記予測画像との差演算を実行することによって、差分画像を生成する差分画像生成手段と、
前記差分画像を符号化することによって、符号化差分信号を生成する符号化手段と、
前記符号化差分信号を復号することによって、復号差分画像を生成する復号手段と、
前記復号差分画像と前記予測画像との和演算を実行することによって、再生画像を生成する再生画像生成手段と、
予測画像を生成するために前記予測画像生成手段によって用いられる参照画像を格納するための格納手段と、
前記格納手段に格納された参照画像を第1の画像とし、前記格納手段に格納され前記第1の画像と異なる参照画像と前記再生画像と前記復号差分画像のうち少なくとも1つを第2の画像とし、前記第1の画像と前記第2画像の少なくとも一部とを重み付け加算することによって、更新画像を生成する画像更新手段と、
を備え、
前記画像更新手段は、前記更新画像を前記格納手段に格納し、
前記予測画像生成手段は、前記格納手段に格納された更新画像を、予測画像を生成するための参照画像として用いる、
動画像符号化装置。 - 前記画像更新手段は、前記第1の画像として、前記再生画像生成手段によって生成される前記再生画像を用い、前記第2の画像として、前記格納手段に格納された前記参照画像を用い、該再生画像と該参照画像の少なくとも一部とを重み付け加算することによって生成する更新再生画像を、前記更新画像として前記格納手段に格納する、請求項1に記載の動画像符号化装置。
- 前記画像更新手段は、前記第1の画像として、前記格納手段に格納された前記参照画像を用い、前記第2の画像として、前記再生画像生成手段によって生成される前記再生画像を用い、該参照画像と該再生画像の少なくとも一部とを重み付け加算することによって生成する更新参照画像を、前記更新画像として前記格納手段に格納する、請求項1に記載の動画像符号化装置。
- 前記画像更新手段は、前記第1の画像として、前記再生画像生成手段によって生成される前記再生画像を用い、前記第2の画像として、前記格納手段に格納された前記参照画像を用い、該再生画像と該参照画像の少なくとも一部とを重み付け加算することによって生成する更新再生画像を、前記更新画像として前記格納手段に格納し、更に、前記第1の画像として、前記格納手段に格納された前記参照画像を用い、前記第2の画像として、前記再生画像生成手段によって生成される前記再生画像を用い、該参照画像と該再生画像の少なくとも一部とを重み付け加算することによって生成する更新参照画像を前記更新画像として前記格納手段に格納し、
前記予測画像生成手段は、前記再生画像、前記更新再生画像、前記参照画像、及び前記更新参照画像のうち少なくとも一つを、異なる対象画像に対する予測画像を生成するための参照画像として用いる、請求項1に記載の動画像符号化装置。 - 前記画像更新手段は、前記第1の画像に対する前記第2の画像のずれを特定する動き量を求め、該動き量に基づいて移動させた対応の位置において前記第2の画像の少なくとも一部を前記第1の画像に重み付け加算することによって、前記更新画像を生成する、請求項1に記載の動画像符号化装置。
- 予測画像生成手段が、動画像を構成する複数の画像から、符号化の対象となる対象画像に対する予測画像を生成する予測画像生成ステップと、
差分画像生成手段が、前記対象画像と前記予測画像との差演算を実行することによって、差分画像を生成する差分画像生成ステップと、
符号化手段が、前記差分画像を符号化することによって、符号化差分信号を生成する符号化ステップと、
復号手段が、前記符号化差分信号を復号することによって、復号差分画像を生成する復号ステップと、
再生画像生成手段が、前記復号差分画像と前記予測画像との和演算を実行することによって、再生画像を生成する再生画像生成ステップと、
格納手段が、予測画像を生成するために前記予測画像生成手段によって用いられる参照画像を格納するための格納ステップと、
画像更新手段が、前記再生画像又は前記格納手段に格納された参照画像の一方である第1の画像と、該再生画像又は該参照画像の他方である第2の画像の少なくとも一部とを重み付け加算することによって、更新画像を生成する画像更新ステップと、
を含み、
前記画像更新ステップにおいて、前記画像更新手段が、前記更新画像を前記格納手段に格納し、
前記予測画像生成ステップにおいて、前記予測画像生成手段が、前記格納手段に格納された更新画像を、異なる対象画像に対する予測画像を生成するための参照画像として用いる、
動画像符号化方法。 - コンピュータを、
動画像を構成する複数の画像から、符号化の対象となる対象画像に対する予測画像を生成する予測画像生成手段と、
前記対象画像と前記予測画像との差演算を実行することによって、差分画像を生成する差分画像生成手段と、
前記差分画像を符号化することによって、符号化差分信号を生成する符号化手段と、
前記符号化差分信号を復号することによって、復号差分画像を生成する復号手段と、
前記復号差分画像と前記予測画像との和演算を実行することによって、再生画像を生成する再生画像生成手段と、
予測画像を生成するために前記予測画像生成手段によって用いられる参照画像を格納するための格納手段と、
前記再生画像又は前記格納手段に格納された参照画像の一方である第1の画像と、該再生画像又は該参照画像の他方である第2の画像の少なくとも一部とを重み付け加算することによって、更新画像を生成する画像更新手段として機能させ、
前記画像更新手段は、前記更新画像を前記格納手段に格納し、
前記予測画像生成手段は、前記格納手段に格納された更新画像を、異なる対象画像に対する予測画像を生成するための参照画像として用いる、
動画像符号化プログラム。 - 予測画像生成手段が、動画像を構成する複数の画像から、符号化の対象となる対象画像に対する予測画像を生成する予測画像生成ステップと、
差分画像生成手段が、前記対象画像と前記予測画像との差演算を実行することによって、差分画像を生成する差分画像生成ステップと、
符号化手段が、前記差分画像を符号化することによって、符号化差分信号を生成する符号化ステップと、
復号手段が、前記符号化差分信号を復号することによって、復号差分画像を生成する復号ステップと、
再生画像生成手段が、前記復号差分画像と前記予測画像との和演算を実行することによって、再生画像を生成する再生画像生成ステップと、
格納手段が、予測画像を生成するために前記予測画像生成手段によって用いられる参照画像を格納するための格納ステップと、
画像更新手段が、前記格納手段に格納された参照画像を第1の画像とし、前記格納手段に格納され前記第1の画像と異なる参照画像と前記再生画像と前記復号差分画像のうち少なくとも1つを第2の画像とし、前記第1の画像と前記第2画像の少なくとも一部とを重み付け加算することによって、更新画像を生成する画像更新ステップと、
を含み、
前記画像更新ステップにおいて、前記画像更新手段が、前記更新画像を前記格納手段に格納し、
前記予測画像生成ステップにおいて、前記予測画像生成手段が、前記格納手段に格納された更新画像を、予測画像を生成するための参照画像として用いる、
動画像符号化方法。 - コンピュータを、
動画像を構成する複数の画像から、符号化の対象となる対象画像に対する予測画像を生成する予測画像生成手段と、
前記対象画像と前記予測画像との差演算を実行することによって、差分画像を生成する差分画像生成手段と、
前記差分画像を符号化することによって、符号化差分信号を生成する符号化手段と、
前記符号化差分信号を復号することによって、復号差分画像を生成する復号手段と、
前記復号差分画像と前記予測画像との和演算を実行することによって、再生画像を生成する再生画像生成手段と、
予測画像を生成するために前記予測画像生成手段によって用いられる参照画像を格納するための格納手段と、
前記格納手段に格納された参照画像を第1の画像とし、前記格納手段に格納され前記第1の画像と異なる参照画像と前記再生画像と前記復号差分画像のうち少なくとも1つを第2の画像とし、前記第1の画像と前記第2画像の少なくとも一部とを重み付け加算することによって、更新画像を生成する画像更新手段として機能させ、
前記画像更新手段は、前記更新画像を前記格納手段に格納し、
前記予測画像生成手段は、前記格納手段に格納された更新画像を、予測画像を生成するための参照画像として用いる、
動画像符号化プログラム。 - 動画像が予測符号化されてなる符号化差分信号を復号することによって、復号差分画像を生成する復号手段と、
前記符号化差分信号に基づいて、復号対象の対象画像に対する予測画像を生成する予測画像生成手段と、
前記復号差分画像と前記予測画像を加算することによって再生画像を生成する再生画像生成手段と、
前記予測画像を生成するために前記予測画像生成手段によって用いられる参照画像を格納する格納手段と、
前記再生画像又は前記格納手段に格納されていた参照画像の一方である第1の画像と、該再生画像又は該参照画像の他方である第2の画像の少なくとも一部とを重み付け加算することによって、更新画像を生成する画像更新手段と、
を備え、
前記画像更新手段は、前記更新画像を前記格納手段に格納し、
前記予測画像生成手段は、前記格納手段に格納された更新画像を、異なる対象画像に対する予測画像を生成するための参照画像として用いる、
動画像復号装置。 - 動画像が予測符号化されてなる符号化差分信号を復号することによって、復号差分画像を生成する復号手段と、
前記符号化差分信号に基づいて、復号対象の対象画像に対する予測画像を生成する予測画像生成手段と、
前記復号差分画像と前記予測画像を加算することによって再生画像を生成する再生画像生成手段と、
前記予測画像を生成するために前記予測画像生成手段によって用いられる参照画像を格納する格納手段と、
前記格納手段に格納された参照画像を第1の画像とし、前記格納手段に格納され前記第1の画像と異なる参照画像と前記再生画像と前記復号差分画像のうち少なくとも1つを第2の画像とし、前記第1の画像と前記第2画像の少なくとも一部とを重み付け加算することによって、更新画像を生成する画像更新手段と、
を備え、
前記画像更新手段は、前記更新画像を前記格納手段に格納し、
前記予測画像生成手段は、前記格納手段に格納された更新画像を、予測画像を生成するための参照画像として用いる、
動画像復号装置。 - 前記画像更新手段は、前記第1の画像として、前記再生画像生成手段によって生成される前記再生画像を用い、前記第2の画像として、前記格納手段に格納された前記参照画像を用い、該再生画像と該参照画像の少なくとも一部とを重み付け加算することによって生成する更新再生画像を、前記更新画像として前記格納手段に格納する、請求項11に記載の動画像復号装置。
- 前記画像更新手段は、前記第1の画像として、前記格納手段に格納された前記参照画像を用い、前記第2の画像として、前記再生画像生成手段によって生成される前記再生画像を用い、該参照画像と該再生画像の少なくとも一部とを重み付け加算することによって生成する更新参照画像を、前記更新画像として前記格納手段に格納する、請求項11に記載の動画像復号装置。
- 前記画像更新手段は、前記第1の画像として、前記再生画像生成手段によって生成される前記再生画像を用い、前記第2の画像として、前記格納手段に格納された前記参照画像を用い、該再生画像と該参照画像の少なくとも一部とを重み付け加算することによって生成する更新再生画像を、前記更新画像として前記格納手段に格納し、更に、前記第1の画像として、前記格納手段に格納された前記参照画像を用い、前記第2の画像として、前記再生画像生成手段によって生成される前記再生画像を用い、該参照画像と該再生画像の少なくとも一部とを重み付け加算することによって生成する更新参照画像を前記格納手段に格納し、
前記予測画像生成手段は、前記再生画像、前記更新再生画像、前記参照画像、前記更新参照画像のうち少なくとも一つを、異なる対象画像に対する予測画像を生成するための参照画像として用いる、請求項11に記載の動画像復号装置。 - 前記符号化差分信号は、第1の状態、第2の状態、第3の状態、及び第4の状態の少なくとも一つを指示する更新制御信号を含んでおり、
前記画像更新手段は、前記更新制御信号によって前記第1の状態が指示される場合に、前記更新再生画像を生成し、前記更新制御信号によって前記第2の状態が指示される場合に、前記更新参照画像を生成し、前記更新制御信号によって前記第3の状態が指示される場合に、前記更新再生画像と前記更新参照画像とを生成し、前記更新制御信号によって前記第4の状態が指示される場合に、前記更新再生画像と前記更新参照画像とを生成しない、
請求項15に記載の動画像復号装置。 - 前記画像更新手段は、前記第1の画像に対する前記第2の画像のずれを示す動き量を求め、該動き量に基づいて移動させた対応の位置において前記第2の画像の少なくとも一部を前記第1の画像に重み付け加算することによって、前記更新画像を生成する、請求項11に記載の動画像復号装置。
- 復号手段が、動画像が予測符号化されてなる符号化差分信号を復号することによって、復号差分画像を生成する復号ステップと、
予測画像生成手段が、前記符号化差分信号に基づいて、復号対象の対象画像に対する予測画像を生成する予測画像生成ステップと、
再生画像生成手段が、前記復号差分画像と前記予測画像を加算することによって再生画像を生成する再生画像生成ステップと、
格納手段が、前記予測画像を生成するために前記予測画像生成手段によって用いられる参照画像を格納する格納ステップと、
画像更新手段が、前記再生画像又は前記格納手段に格納されていた参照画像の一方である第1の画像と、該再生画像又は該参照画像の他方である第2の画像の少なくとも一部とを重み付け加算することによって、更新画像を生成する画像更新ステップと、
を含み、
前記画像更新ステップにおいて、前記画像更新手段が、前記更新画像を前記格納手段に格納し、
前記予測画像生成ステップにおいて、前記予測画像生成手段が、前記格納手段に格納された更新画像を、異なる対象画像に対する予測画像を生成するための参照画像として用いる、
動画像復号方法。 - コンピュータを、
動画像が予測符号化されてなる符号化差分信号を復号することによって、復号差分画像を生成する復号手段と、
前記符号化差分信号に基づいて、復号対象の対象画像に対する予測画像を生成する予測画像生成手段と、
前記復号差分画像と前記予測画像を加算することによって再生画像を生成する再生画像生成手段と、
前記予測画像を生成するために前記予測画像生成手段によって用いられる参照画像を格納する格納手段と、
前記再生画像又は前記格納手段に格納されていた参照画像の一方である第1の画像と、該再生画像又は該参照画像の他方である第2の画像の少なくとも一部とを重み付け加算することによって、更新画像を生成する画像更新手段として機能させ、
前記画像更新手段は、前記更新画像を前記格納手段に格納し、
前記予測画像生成手段は、前記格納手段に格納された更新画像を、異なる対象画像に対する予測画像を生成するための参照画像として用いる、
動画像復号プログラム。 - 復号手段が、動画像が予測符号化されてなる符号化差分信号を復号することによって、復号差分画像を生成する復号ステップと、
予測画像生成手段が、前記符号化差分信号に基づいて、復号対象の対象画像に対する予測画像を生成する予測画像生成ステップと、
再生画像生成手段が、前記復号差分画像と前記予測画像を加算することによって再生画像を生成する再生画像生成ステップと、
格納手段が、前記予測画像を生成するために前記予測画像生成手段によって用いられる参照画像を格納する格納ステップと、
画像更新手段が、前記格納手段に格納された参照画像を第1の画像とし、前記格納手段に格納され前記第1の画像と異なる参照画像と前記再生画像と前記復号差分画像のうち少なくとも1つを第2の画像とし、前記第1の画像と前記第2画像の少なくとも一部とを重み付け加算することによって、更新画像を生成する画像更新ステップと、
を含み、
前記画像更新ステップにおいて、前記画像更新手段が、前記更新画像を前記格納手段に格納し、
前記予測画像生成ステップにおいて、前記予測画像生成手段が、前記格納手段に格納された更新画像を、予測画像を生成するための参照画像として用いる、
動画像復号方法。 - コンピュータを、
動画像が予測符号化されてなる符号化差分信号を復号することによって、復号差分画像を生成する復号手段と、
前記符号化差分信号に基づいて、復号対象の対象画像に対する予測画像を生成する予測画像生成手段と、
前記復号差分画像と前記予測画像を加算することによって再生画像を生成する再生画像生成手段と、
前記予測画像を生成するために前記予測画像生成手段によって用いられる参照画像を格納する格納手段と、
前記格納手段に格納された参照画像を第1の画像とし、前記格納手段に格納され前記第1の画像と異なる参照画像と前記再生画像と前記復号差分画像のうち少なくとも1つを第2の画像とし、前記第1の画像と前記第2画像の少なくとも一部とを重み付け加算することによって、更新画像を生成する画像更新手段として機能させ、
前記画像更新手段は、前記更新画像を前記格納手段に格納し、
前記予測画像生成手段は、前記格納手段に格納された更新画像を、予測画像を生成するための参照画像として用いる、
動画像復号プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009240782A JP2010063118A (ja) | 2004-04-16 | 2009-10-19 | 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004122100 | 2004-04-16 | ||
JP2009240782A JP2010063118A (ja) | 2004-04-16 | 2009-10-19 | 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005026926A Division JP4414904B2 (ja) | 2004-04-16 | 2005-02-02 | 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010063118A true JP2010063118A (ja) | 2010-03-18 |
Family
ID=42189355
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009240782A Withdrawn JP2010063118A (ja) | 2004-04-16 | 2009-10-19 | 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010063118A (ja) |
-
2009
- 2009-10-19 JP JP2009240782A patent/JP2010063118A/ja not_active Withdrawn
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4414904B2 (ja) | 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム | |
JP5680283B2 (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、及び動画像復号プログラム | |
JP4993676B2 (ja) | 画像符号化装置及び画像符号化方法 | |
JP2007116351A (ja) | 画像予測符号化装置、画像予測復号装置、画像予測符号化方法、画像予測復号方法、画像予測符号化プログラム、及び画像予測復号プログラム | |
WO2010131537A1 (ja) | 動画像符号化装置、方法およびプログラム、並びに、動画像復号化装置、方法およびプログラム | |
JP4227067B2 (ja) | 動画像符号化方法と装置及びプログラム | |
JP4028900B2 (ja) | 動画像符号化装置及び動画像復号化装置 | |
JP5698644B2 (ja) | 動画像予測符号化方法、動画像予測符号化装置、動画像予測符号化プログラム、動画像予測復号方法、動画像予測復号装置及び動画像予測復号プログラム | |
JP6875566B2 (ja) | 動画像予測符号化装置、動画像予測復号装置、動画像予測符号化方法、動画像予測復号方法及び動画像予測復号プログラム | |
JP2010063118A (ja) | 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム | |
JP4415186B2 (ja) | 動画像符号化装置、動画像復号化装置、コーデック装置、および、プログラム | |
JP4510696B2 (ja) | 画像処理装置及び画像処理方法 | |
KR101889101B1 (ko) | 메모리 복사를 이용하여 영상을 복원하는 방법 및 장치 | |
JP2004064126A (ja) | 画像符号化装置および画像符号化方法、コンピュータプログラム | |
JP2021197683A (ja) | 学習装置、ループフィルタ制御装置及びそれらのプログラム、並びに、復号装置 | |
JP5957558B2 (ja) | 動画像予測符号化方法、動画像予測符号化装置、動画像予測符号化プログラム、動画像予測復号方法、動画像予測復号装置及び動画像予測復号プログラム | |
JP6071618B2 (ja) | 画像処理装置及びプログラム | |
JP4590306B2 (ja) | 画像処理装置 | |
JP5349904B2 (ja) | 動画像符号化装置及び動画像符号化方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091111 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101104 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20111121 |