JP2001320715A - 動画の局所的階層符号化方法 - Google Patents
動画の局所的階層符号化方法Info
- Publication number
- JP2001320715A JP2001320715A JP2001140361A JP2001140361A JP2001320715A JP 2001320715 A JP2001320715 A JP 2001320715A JP 2001140361 A JP2001140361 A JP 2001140361A JP 2001140361 A JP2001140361 A JP 2001140361A JP 2001320715 A JP2001320715 A JP 2001320715A
- Authority
- JP
- Japan
- Prior art keywords
- image signal
- local
- resolution
- prediction
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
(57)【要約】
【課題】 動画のハイブリッドな局所的階層符号化方法
の符号化効率をさらに高めること。 【解決手段】 動き予測を、局所的高分解能段ＥＬに対
して目下の画像信号と参照画像信号の補間されたバージ
ョンに基づいて実施し、この場合参照画像信号として、
時間的に事前に求められたか伝送された画像信号を用い
る。
の符号化効率をさらに高めること。 【解決手段】 動き予測を、局所的高分解能段ＥＬに対
して目下の画像信号と参照画像信号の補間されたバージ
ョンに基づいて実施し、この場合参照画像信号として、
時間的に事前に求められたか伝送された画像信号を用い
る。
Description
【０００１】
【発明の属する技術分野】本発明は、種々異なる局所的
な解像度ないし分解能の少なくとも２つの段における、
局所的階層化可能な動画符号化方法に関する。
な解像度ないし分解能の少なくとも２つの段における、
局所的階層化可能な動画符号化方法に関する。
【０００２】
【従来の技術】階層化可能な画像符号化方法は、様々な
解像度ないし分解能で符号化された信号の復号化を可能
にする。通常は、階層化段の間で解像度（ないし分解
能）が倍加される。高い方の解像度の復号化に対して
は、低い方の解像度の全てが必要とされる（階層構
造）。これらの段は、別個のビットストリームで符号化
される。
解像度ないし分解能で符号化された信号の復号化を可能
にする。通常は、階層化段の間で解像度（ないし分解
能）が倍加される。高い方の解像度の復号化に対して
は、低い方の解像度の全てが必要とされる（階層構
造）。これらの段は、別個のビットストリームで符号化
される。
【０００３】これまでに標準化されてきた局所的階層化
の可能な方式は、ハイブリッドな符号化構造をベースに
している（例えば国際標準化機構の国際規格の最終仕様
である公知文献[1]“ISO/IEC JTC1 IS 144962-2 (MPEG-
4)；Information technology-generic coding of audio
-visual objects,0ct.1998”やITU-T の文献[2]“Video
coding for low bitrate communication（H.263. Vers
ion２）, Sep.1997”参照）。この階層化方式は、ピラ
ミッド型の構造を有しており、そこでは低い局所的解像
度ないし分解能を有する段のベースレイヤと、高い局所
的解像度ないし分解能を有する段のエンハンスレイヤに
おいて符号化が行われる。エンハンスレイヤの符号化に
対しては、エンハンスイントラプレディケーション（こ
の場合先行のフレームからの情報はなく、目下のベース
レイヤからの情報が利用される）とエンハンスインター
プレディケーション（この場合エンハンスレイヤ毎に動
きベクトルと予測誤差 が伝送される）が適用されてい
る。この場合エンハンスレイヤに対して可用の、動きベ
クトルと予測誤差 の間のレートが分割される。
の可能な方式は、ハイブリッドな符号化構造をベースに
している（例えば国際標準化機構の国際規格の最終仕様
である公知文献[1]“ISO/IEC JTC1 IS 144962-2 (MPEG-
4)；Information technology-generic coding of audio
-visual objects,0ct.1998”やITU-T の文献[2]“Video
coding for low bitrate communication（H.263. Vers
ion２）, Sep.1997”参照）。この階層化方式は、ピラ
ミッド型の構造を有しており、そこでは低い局所的解像
度ないし分解能を有する段のベースレイヤと、高い局所
的解像度ないし分解能を有する段のエンハンスレイヤに
おいて符号化が行われる。エンハンスレイヤの符号化に
対しては、エンハンスイントラプレディケーション（こ
の場合先行のフレームからの情報はなく、目下のベース
レイヤからの情報が利用される）とエンハンスインター
プレディケーション（この場合エンハンスレイヤ毎に動
きベクトルと予測誤差 が伝送される）が適用されてい
る。この場合エンハンスレイヤに対して可用の、動きベ
クトルと予測誤差 の間のレートが分割される。
【０００４】公知文献[3]“T.Naveen and J.W. Woods;
Motion comensated Multiresolution transmission of
high definition video, IEEE Trans. on Circuits and
Systems for Video Technology, Vol. 4, P29-41,Feb.
1994”には、動きベクトルの伝送なしで間に合ってい
る局所的階層化方式が紹介されている。
Motion comensated Multiresolution transmission of
high definition video, IEEE Trans. on Circuits and
Systems for Video Technology, Vol. 4, P29-41,Feb.
1994”には、動きベクトルの伝送なしで間に合ってい
る局所的階層化方式が紹介されている。
【０００５】さらに公知文献[4]“A. Nosratinia and
M.T. Orchard; Multiresolution backward video codin
g, in Proc. IEEE Int. Conf. Image Processing ICIP
′95,vol. 2, p.563-566, Oct. 1995”及び公知文献
[5]“X. Yang and K. Ramchandran, Hierarchical back
ward motion copensation for wavelet video coding o
ptimized interpolation filters, in Proc. IEEE Int.
Conf. Image ProcessingICIP ′97, vol. 1, P85-88,
Oct. 1997”には、離散ウエーブレット変換（以下では
単にＤＷＴとも称する）を用いた階層符号化方式が開示
されている。この場合は階層的動き予測が、これまでに
符号化されてきた目下のフレームと参照フレームの離散
ウエーブレット変換の分解段で実施される。これらは送
信側にも受信側にも既知であるので、この方式は、動き
ベクトルの伝送を省くことができる。
M.T. Orchard; Multiresolution backward video codin
g, in Proc. IEEE Int. Conf. Image Processing ICIP
′95,vol. 2, p.563-566, Oct. 1995”及び公知文献
[5]“X. Yang and K. Ramchandran, Hierarchical back
ward motion copensation for wavelet video coding o
ptimized interpolation filters, in Proc. IEEE Int.
Conf. Image ProcessingICIP ′97, vol. 1, P85-88,
Oct. 1997”には、離散ウエーブレット変換（以下では
単にＤＷＴとも称する）を用いた階層符号化方式が開示
されている。この場合は階層的動き予測が、これまでに
符号化されてきた目下のフレームと参照フレームの離散
ウエーブレット変換の分解段で実施される。これらは送
信側にも受信側にも既知であるので、この方式は、動き
ベクトルの伝送を省くことができる。
【０００６】単段式のＤＷＴは、１つのフレームを行方
向と列方向でそれぞれ低域通過成分（Ｌ）と高域通過成
分（Ｈ）に分解する。その結果として４つの部分帯域Ｌ
Ｌ，ＨＬ，ＬＨ，ＨＨが生じる。これらはそれぞれ１/
２の行ナンバと列ナンバを有する。これらの係数の総数
は、フレーム内の画素の数に相応する。多段式のＤＷＴ
では、この分解がそのつどの目下の分解段のＬＬ帯域に
適用される。以下の明細書ではこのＬＬ帯域を低域通過
帯域と称し、他の帯域ＨＬ，ＬＨ，ＨＨは高域通過帯域
と称する。
向と列方向でそれぞれ低域通過成分（Ｌ）と高域通過成
分（Ｈ）に分解する。その結果として４つの部分帯域Ｌ
Ｌ，ＨＬ，ＬＨ，ＨＨが生じる。これらはそれぞれ１/
２の行ナンバと列ナンバを有する。これらの係数の総数
は、フレーム内の画素の数に相応する。多段式のＤＷＴ
では、この分解がそのつどの目下の分解段のＬＬ帯域に
適用される。以下の明細書ではこのＬＬ帯域を低域通過
帯域と称し、他の帯域ＨＬ，ＬＨ，ＨＨは高域通過帯域
と称する。
【０００７】前記公知文献[４]では、目下のフレームと
参照フレームの粗い分解段の低域通過帯域に対して予測
される変位ベクトルが、同じ分解段の高域通過帯域に対
して用いられる。前記文献[５]では目下のフレームと参
照フレームの粗い分解段の２つの低域通過帯域がオーバ
ーサンプリングされ、高精度に補間される。この予測さ
れた変位ベクトル領域は、精細な分解段の低域通過帯域
に対して用いられる。この動き補償される予測（ＢＫ
Ｐ）の単段式の分解は、目下のフレームの高域通過成分
に対する予測として用いられる。これらの２つの方式に
おいては、粗い段の高域通過帯域に対して予測が提供さ
れる。
参照フレームの粗い分解段の低域通過帯域に対して予測
される変位ベクトルが、同じ分解段の高域通過帯域に対
して用いられる。前記文献[５]では目下のフレームと参
照フレームの粗い分解段の２つの低域通過帯域がオーバ
ーサンプリングされ、高精度に補間される。この予測さ
れた変位ベクトル領域は、精細な分解段の低域通過帯域
に対して用いられる。この動き補償される予測（ＢＫ
Ｐ）の単段式の分解は、目下のフレームの高域通過成分
に対する予測として用いられる。これらの２つの方式に
おいては、粗い段の高域通過帯域に対して予測が提供さ
れる。
【０００８】
【発明が解決しようとする課題】本発明の課題は、動画
のハイブリッドな局所的階層符号化方法の符号化効率を
さらに高めることである。
のハイブリッドな局所的階層符号化方法の符号化効率を
さらに高めることである。
【０００９】
【課題を解決するための手段】前記課題は本発明によ
り、動き予測を、局所的高分解能段ＥＬに対して目下の
画像信号と参照画像信号の補間されたバージョンに基づ
いて実施し、この場合参照画像信号として、時間的に事
前に求められたか伝送された画像信号が用いられるよう
にして解決される。
り、動き予測を、局所的高分解能段ＥＬに対して目下の
画像信号と参照画像信号の補間されたバージョンに基づ
いて実施し、この場合参照画像信号として、時間的に事
前に求められたか伝送された画像信号が用いられるよう
にして解決される。
【００１０】
【発明の実施の形態】この方法によって得られる利点
は、局所的高分解能ないし高解像度の段に対する変位ベ
クトルの伝送が省略できることである。局所的高分解能
の段ＥＬ（“Enhancement-Layer”）において動き補償
による予測に必要な変位ベクトルは、受信側に対するサ
ブ情報として必要となるのではなく、送信側（符号器）
と受信側（復号器）において、既に既知の情報から求め
られる。
は、局所的高分解能ないし高解像度の段に対する変位ベ
クトルの伝送が省略できることである。局所的高分解能
の段ＥＬ（“Enhancement-Layer”）において動き補償
による予測に必要な変位ベクトルは、受信側に対するサ
ブ情報として必要となるのではなく、送信側（符号器）
と受信側（復号器）において、既に既知の情報から求め
られる。
【００１１】エンハンスレイヤの符号化の際の逆向き動
き補償の適用によっては、変位ベクトルと予測誤差の間
のレートの分割が回避される。この動き予測は、目下の
フレームと参照フレームの補間バージョンに対して実施
される。なぜならこれは送信側においても受信側におい
ても既知であるので、サブ情報としての予測される変位
ベクトルの伝送は必要なく、そのため予測誤差の符号化
に対してほぼ全てのデータレートが利用できる。
き補償の適用によっては、変位ベクトルと予測誤差の間
のレートの分割が回避される。この動き予測は、目下の
フレームと参照フレームの補間バージョンに対して実施
される。なぜならこれは送信側においても受信側におい
ても既知であるので、サブ情報としての予測される変位
ベクトルの伝送は必要なく、そのため予測誤差の符号化
に対してほぼ全てのデータレートが利用できる。
【００１２】これまでに標準化された局所的階層化手法
は、時間的な対応を変位ベクトルの伝送にのみ頼ってき
た。この先行フレームからの変位ベクトルを外挿する方
法に比べて本発明による方法は、目下のフレーム内に存
在する動きとのより良好な一致が得られるという利点を
有している。同時にこの方法は、現存する標準符号器の
みならず将来的な標準符号器内にも良好に組入れること
が可能である。なぜなら離散ウエーブレット変換をベー
スにした方法に比べて、符号器構造に実質的な変更を強
いることがないからである。
は、時間的な対応を変位ベクトルの伝送にのみ頼ってき
た。この先行フレームからの変位ベクトルを外挿する方
法に比べて本発明による方法は、目下のフレーム内に存
在する動きとのより良好な一致が得られるという利点を
有している。同時にこの方法は、現存する標準符号器の
みならず将来的な標準符号器内にも良好に組入れること
が可能である。なぜなら離散ウエーブレット変換をベー
スにした方法に比べて、符号器構造に実質的な変更を強
いることがないからである。
【００１３】先にも述べた離散ウエーブレット変換をベ
ースにした構想に比べて、本発明による方法では、エン
ハンスレイヤが変位ベクトルの予測に用いられる。これ
は予測に対して任意に低域ろはフィルタリングを施すこ
とが可能である。この方法は、ブロックをベースにした
適用例に適しており、特にこの場合は、先に述べたエン
ハンスイントラ予測方法とエンハンスインター予測方法
と並行して用いられてもよい。動き補償のための予測が
下位ブロックへのブロックの分割を許容する方法では、
エンコーダの最適なブロック分割がサブ情報として任意
に伝送可能である。
ースにした構想に比べて、本発明による方法では、エン
ハンスレイヤが変位ベクトルの予測に用いられる。これ
は予測に対して任意に低域ろはフィルタリングを施すこ
とが可能である。この方法は、ブロックをベースにした
適用例に適しており、特にこの場合は、先に述べたエン
ハンスイントラ予測方法とエンハンスインター予測方法
と並行して用いられてもよい。動き補償のための予測が
下位ブロックへのブロックの分割を許容する方法では、
エンコーダの最適なブロック分割がサブ情報として任意
に伝送可能である。
【００１４】離散ウエーブレット変換をベースにした方
法は、ブロックベースの符号化構想には適していない。
なぜなら予測画像内のブロック構造は、離散ウエーブレ
ット変換のもとでは符号化すべき高域通過情報が高く付
くからである。
法は、ブロックベースの符号化構想には適していない。
なぜなら予測画像内のブロック構造は、離散ウエーブレ
ット変換のもとでは符号化すべき高域通過情報が高く付
くからである。
【００１５】
【実施例】次に本発明を図面に基づき以下の明細書で詳
細に説明する。
細に説明する。
【００１６】以下では階層化を２つの段で説明するが、
本発明による方法は、相応にそれ以上の多数の段でも適
用可能である。より高い局所的分解能を備えた段は、エ
ンハンスレイヤ（以下では単に“ＥＬ”とも記す）と称
され、より低い局所的分解能を備えた段はベースレイヤ
（以下では単に“ＢＬ”とも記す）称される。
本発明による方法は、相応にそれ以上の多数の段でも適
用可能である。より高い局所的分解能を備えた段は、エ
ンハンスレイヤ（以下では単に“ＥＬ”とも記す）と称
され、より低い局所的分解能を備えた段はベースレイヤ
（以下では単に“ＢＬ”とも記す）称される。
【００１７】本発明による方法においては、既に伝送さ
れた目下のＢＬフレームが、サンプリングレートと補間
フィルタリングの引上げによってＥＬフレームのサイズ
と分解能にもたらされる。参照基準としては、先行する
ＥＬ画像フレームが用いられる。これは符号器側と復号
器側において既存のものである。また参照フレームは任
意に低域ろはしてもよい。それにより、相応に高度補間
されるＢＬフレームよりも高い周波数成分は含まれなく
なる。高度補間されたＢＬフレームと参照フレームの間
では動き予測が実施される。使用されるフレームは、送
信器側（符号器）にも受信器（復号器）側にも既知であ
るので、この動き予測は、符号器においても復号器にお
いても実施され得る。そのため予測変位ベクトルの伝送
は必要ない。変位ベクトルは、目下の符号化すべきＥＬ
フレームの動き補償予測ＢＫＰのために用いられる。こ
の動き補償予測ＢＫＰの際の参照基準として再び、先行
のＥＬフレームが用いられる。これも任意に事前に低域
ろはしてもよい。動き補償予測ＢＫＰの際に１つのブロ
ックが様々なサイズの下位ブロックに分割可能であるよ
うな符号化方法は、符号器のもとでも下位ブロックへの
ＥＬブロックの最適な分割が任意に求められてもよい
し、サブ情報として受信器側に伝送されてもよい。
れた目下のＢＬフレームが、サンプリングレートと補間
フィルタリングの引上げによってＥＬフレームのサイズ
と分解能にもたらされる。参照基準としては、先行する
ＥＬ画像フレームが用いられる。これは符号器側と復号
器側において既存のものである。また参照フレームは任
意に低域ろはしてもよい。それにより、相応に高度補間
されるＢＬフレームよりも高い周波数成分は含まれなく
なる。高度補間されたＢＬフレームと参照フレームの間
では動き予測が実施される。使用されるフレームは、送
信器側（符号器）にも受信器（復号器）側にも既知であ
るので、この動き予測は、符号器においても復号器にお
いても実施され得る。そのため予測変位ベクトルの伝送
は必要ない。変位ベクトルは、目下の符号化すべきＥＬ
フレームの動き補償予測ＢＫＰのために用いられる。こ
の動き補償予測ＢＫＰの際の参照基準として再び、先行
のＥＬフレームが用いられる。これも任意に事前に低域
ろはしてもよい。動き補償予測ＢＫＰの際に１つのブロ
ックが様々なサイズの下位ブロックに分割可能であるよ
うな符号化方法は、符号器のもとでも下位ブロックへの
ＥＬブロックの最適な分割が任意に求められてもよい
し、サブ情報として受信器側に伝送されてもよい。
【００１８】本発明の方法は、符号化すべきＥＬフレー
ムの全てのブロックに対して任意に用いることができる
し、あるいは既に符号化方式において存在する動き補償
予測ＢＫＰモードに対して代替的に用いられてもよい。
ムの全てのブロックに対して任意に用いることができる
し、あるいは既に符号化方式において存在する動き補償
予測ＢＫＰモードに対して代替的に用いられてもよい。
【００１９】以下では本発明による方法を、画像シーケ
ンスの輝度成分の例で説明する。この場合の符号化は、
１６×１６画素のいわゆるマクロブロック（ＭＢ）に基
づいたブロック方式で行われるものとする。
ンスの輝度成分の例で説明する。この場合の符号化は、
１６×１６画素のいわゆるマクロブロック（ＭＢ）に基
づいたブロック方式で行われるものとする。
【００２０】本発明によるこの方法は、エンハンス後向
き予測“ＥＢＰ（enhanced backward prediction)”と
も称する。これまでに用いてきたインター予測は、“Ｅ
ＦＰ(enhanced forward prediction)”と称し、またイ
ントラ予測は“ＥＩＰ”と称する。エンハンスレイヤ
は、水平方向と垂直方向において係数２だけベースレイ
ヤよりも大きい。このサイズ比は、通常において用いら
れるものであって、その他のサイズ比ももちろん実現可
能である。
き予測“ＥＢＰ（enhanced backward prediction)”と
も称する。これまでに用いてきたインター予測は、“Ｅ
ＦＰ(enhanced forward prediction)”と称し、またイ
ントラ予測は“ＥＩＰ”と称する。エンハンスレイヤ
は、水平方向と垂直方向において係数２だけベースレイ
ヤよりも大きい。このサイズ比は、通常において用いら
れるものであって、その他のサイズ比ももちろん実現可
能である。
【００２１】
【外１】
【００２２】
【外２】
【００２３】本明細書では参照フレームは、符号Ｆｎ -
１で表わす。これは時間的に先行するフレームを示唆す
るものである。さらに別の時間的間隔の中のフレームや
先行するフレームの選択も予測に対する参照基準として
用いることができる。
１で表わす。これは時間的に先行するフレームを示唆す
るものである。さらに別の時間的間隔の中のフレームや
先行するフレームの選択も予測に対する参照基準として
用いることができる。
【００２４】
【外３】
【００２５】図１には、ベースレイヤ符号化とエンハン
スレイヤ符号化を示すブロック回路図が示されている。
ベースレイヤの符号化は公知のハイブリッド符号化構
想、例えば基本的に確率された規格に用いられているも
のに相応する。ここでは用いられている符号について短
い説明を行う。目下のベースレイヤフレームＦＢｎに対
スレイヤ符号化を示すブロック回路図が示されている。
ベースレイヤの符号化は公知のハイブリッド符号化構
想、例えば基本的に確率された規格に用いられているも
のに相応する。ここでは用いられている符号について短
い説明を行う。目下のベースレイヤフレームＦＢｎに対
【００２６】
【外４】
【００２７】
【外５】
【００２８】
【外６】
【００２９】ベース方式 まず図１ではスイッチＳ１〜Ｓ４が次のような位置、す
なわち Ｓ１＝open、Ｓ２＝ｂ，Ｓ３＝ａ、Ｓ４＝ａ の状態である。スイッチＳ５とＳ３は、結合されている
のでここでは変位ベクトルは伝送されない。これらのス
イッチ状態は固定であり得る。ＶＥｎの予測は、オーバ
ーサンプリングと補間フィルタＧ（ｚ）を用いたフィル
タリングによって
なわち Ｓ１＝open、Ｓ２＝ｂ，Ｓ３＝ａ、Ｓ４＝ａ の状態である。スイッチＳ５とＳ３は、結合されている
のでここでは変位ベクトルは伝送されない。これらのス
イッチ状態は固定であり得る。ＶＥｎの予測は、オーバ
ーサンプリングと補間フィルタＧ（ｚ）を用いたフィル
タリングによって
【００３０】
【外７】
【００３１】動き予測ＭＥは、目下のブロックに対する
動きを予測する。このことは密な変位ベクトルフィール
ドの形態かブロックベースで実施されてもよい。変位ベ
クトルは、補償された領域の各画素毎に唯一のベクトル
が存在する場合に密と称する。ブロックベース方式では
１つのブロック、例えば８×８の画素に対して共通の１
つのベクトルが割当てられる。この場合ベクトルの伝送
はなく、ブロックベースのケースではブロック分割に関
する情報も伝送されない。
動きを予測する。このことは密な変位ベクトルフィール
ドの形態かブロックベースで実施されてもよい。変位ベ
クトルは、補償された領域の各画素毎に唯一のベクトル
が存在する場合に密と称する。ブロックベース方式では
１つのブロック、例えば８×８の画素に対して共通の１
つのベクトルが割当てられる。この場合ベクトルの伝送
はなく、ブロックベースのケースではブロック分割に関
する情報も伝送されない。
【００３２】参照フレームのフィルタリング
【００３３】
【外８】
【００３４】単純化されたベクトル探索 これに対してはスイッチＳ１が閉じられる。それにより
Ｖ′ＢｎがエンハンスレイヤＥＬの動き予測ブロックＭ
Ｅに供給され、ベクトル予測の初期化のために用いられ
る。この予測ベクトルフィールドＶ′Ｂｎは、ＶＢｎの
係数２だけの階層かによって生じ、それに伴ってエンハ
ンスレイヤのサイズが整合化される。この探索は、探索
コストの最小化のために、縮小された探索領域内で階層
化されたベースレイヤベクトル周辺で実行される（例え
ば２ピクセル）。このことは図２に示されている。階層
化された動きベクトルＶ′Ｂｎ（i,j）の周りで、探索
が縮小さ
Ｖ′ＢｎがエンハンスレイヤＥＬの動き予測ブロックＭ
Ｅに供給され、ベクトル予測の初期化のために用いられ
る。この予測ベクトルフィールドＶ′Ｂｎは、ＶＢｎの
係数２だけの階層かによって生じ、それに伴ってエンハ
ンスレイヤのサイズが整合化される。この探索は、探索
コストの最小化のために、縮小された探索領域内で階層
化されたベースレイヤベクトル周辺で実行される（例え
ば２ピクセル）。このことは図２に示されている。階層
化された動きベクトルＶ′Ｂｎ（i,j）の周りで、探索
が縮小さ
【００３５】
【外９】
【００３６】ブロック分割の伝送
【００３７】
【外１０】
【００３８】予測モードの選択 この作動モードは、本発明による方法では既知の予測モ
ードに並行して用いられる。それに対しては符号化コス
トがＥＩＰ（S1=open，S2=ｂ，S3=ａ，S4=ｂ）とＥＦＰ
（S1=open，S2=ｂ，S3=ｂ，S4=ａ）とＥＢＰ（前述した
ようなスイッチ位置）の間で比較され、各マクロブロッ
クＭＢ毎に最も有利な方式が選択される。
ードに並行して用いられる。それに対しては符号化コス
トがＥＩＰ（S1=open，S2=ｂ，S3=ａ，S4=ｂ）とＥＦＰ
（S1=open，S2=ｂ，S3=ｂ，S4=ａ）とＥＢＰ（前述した
ようなスイッチ位置）の間で比較され、各マクロブロッ
クＭＢ毎に最も有利な方式が選択される。
【００３９】様々なブロックサイズの適用 マクロブロックの可能な分割は、ビデオ符号化規格Ｈ．
２６ＬのテストモデルＴＭＬ−３において提案された分
割に基づいている（例えば公知文献“Telecom．Standar
dization Sector of ITU, H.26L test model long term
3, in study Group 16, Question 15, Meeting J. (Os
aka, Japan), ITU, Mar. 2000”参照）。マクロブロッ
クは、図３に示されているように、下位ブロックに分解
される。それにより、１６×１６、１６×８、８×１
６、８×８、８×４、４×８、４×４ピクセルのサイズ
の下位ブロックが生じる。エンハンスレイヤにおいては
４つのマクロブロックが高度補完されたベースレイヤに
相応する。ベースレ
２６ＬのテストモデルＴＭＬ−３において提案された分
割に基づいている（例えば公知文献“Telecom．Standar
dization Sector of ITU, H.26L test model long term
3, in study Group 16, Question 15, Meeting J. (Os
aka, Japan), ITU, Mar. 2000”参照）。マクロブロッ
クは、図３に示されているように、下位ブロックに分解
される。それにより、１６×１６、１６×８、８×１
６、８×８、８×４、４×８、４×４ピクセルのサイズ
の下位ブロックが生じる。エンハンスレイヤにおいては
４つのマクロブロックが高度補完されたベースレイヤに
相応する。ベースレ
【００４０】
【外１１】
【００４１】図４には、対応する補完されたベースレイ
ヤブロックＭＢ′Ｂｎの分割に依存したエンハンスレイ
ヤの４つのマクロブロックＭＢＥｎ（i,j）(i,j={0,
1}）の分割が、概略的に示されており、この場合は特に
対応するベースレイヤマクロブロックにおいて図３の分
割６が選択されているケースでエンハンスレイヤマクロ
ブロックに対して可能な４つの分割が示されている。
ヤブロックＭＢ′Ｂｎの分割に依存したエンハンスレイ
ヤの４つのマクロブロックＭＢＥｎ（i,j）(i,j={0,
1}）の分割が、概略的に示されており、この場合は特に
対応するベースレイヤマクロブロックにおいて図３の分
割６が選択されているケースでエンハンスレイヤマクロ
ブロックに対して可能な４つの分割が示されている。
【００４２】エンハンスレイヤマクロブロックに対する
分割は、符号化すべき予測誤差が可及的に小さくなるよ
うに選択される。それに対しては、求められた動きベク
トル
分割は、符号化すべき予測誤差が可及的に小さくなるよ
うに選択される。それに対しては、求められた動きベク
トル
【００４３】
【外１２】
【００４４】本発明による方法は、Ｈ.２６Ｌに準拠し
た画像シーケンスの局所的階層符号化への適用に適して
いる。
た画像シーケンスの局所的階層符号化への適用に適して
いる。
【００４５】ＥＢＰで符号化されたマクロブロックに対
しては、マクロブロックヘッダにおいてシグナリングさ
れる必要があるが、その他では動きベクトルは符号化さ
れない。
しては、マクロブロックヘッダにおいてシグナリングさ
れる必要があるが、その他では動きベクトルは符号化さ
れない。
【図１】ベースレイヤの符号化とエンハンスレイヤの符
号化のための手段のブロック回路図である。
号化のための手段のブロック回路図である。
【図２】エンハンスレイヤにおける動き予測のための変
位ベクトルの探索を示した図である。
位ベクトルの探索を示した図である。
【図３】マクロブロックの可能な分割を示した図であ
る。
る。
【図４】エンハンスレイヤにおける４つのマクロブロッ
クの分割を示した図である。
クの分割を示した図である。
Ｓ１,Ｓ２,Ｓ３,Ｓ４ スイッチ ＭＥ 動き予測段 ＭＣ 動き補償段 Ｑ 量子化段 Ｇ（ｚ） 補間フィルタ ＴＲ 変換段
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C059 KK00 LC08 LC09 MA05 MA23 MA32 MC11 NN01 NN21 NN28 PP04 RC11 TA12 TA21 TC18 TD11 UA02 UA05 5J064 AA02 BA01 BB03 BB04 BC25 BD01
Claims (10)
- 【請求項１】 種々異なる局所的解像度ないし分解能の
少なくとも２つの段（ＥＬ，ＢＬ）における動画の局所
的階層符号化方法において、 動き予測を、局所的高分解能段ＥＬに対して目下の画像
信号と参照画像信号の補間されたバージョンに基づいて
実施し、この場合参照画像信号として、時間的に事前に
求められたか伝送された画像信号が用いられることを特
徴とする方法。 - 【請求項２】 局所的高分解能段に対する変位ベクトル
が符号器側と復号器側で既に既知の情報から求められ、
それによってサブ情報として復号器に伝送する必要のな
いようにした、請求項１記載の方法。 - 【請求項３】 サブ情報の非伝送によって節約された符
号化コストが実質的に予測誤差の符号化のために用いら
れる、請求項２記載の方法。 - 【請求項４】 局所的低分解能段ＢＬの既に伝送された
モカの画像信号が、サンプリングレートと補間フィルタ
リングの引上げによって局所的高分解能段ＥＬのサイズ
と分解能にもたらされ、前記高分解能段ＥＬの参照画像
信号と動き予測のために比較される、請求項１から３い
ずれか１項記載の方法。 - 【請求項５】 参照画像信号は、低域ろはフィルタリン
グを施される、請求項１から４いずれか１項記載の方
法。 - 【請求項６】 前記変位ベクトルが、目下の符号化すべ
き高分解能の画像信号の動き補償予測ＢＫＰのために用
いられる、請求項１から５いずれか１項記載の方法。 - 【請求項７】 動き補償予測のための参照基準として、
時間的に事前に求められたかあるいは伝送された画像信
号が用いられる、請求項６記載の方法。 - 【請求項８】 動き予測ＭＥがブロックベースで行われ
る、請求項１から７いずれか１項記載の方法。 - 【請求項９】 前記方法がエンハンスイントラ予測方式
及び/又はエンハンスインター予測方式と並行して適用
される、請求項１から８いずれか１項記載の方法。 - 【請求項１０】 複数の下位ブロックへのブロックの分
割の際に、最適なブロック分割情報がサブ情報として受
信器側に転送される、請求項８または９記載の方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE10022520.9 | 2000-05-10 | ||
| DE10022520A DE10022520A1 (de) | 2000-05-10 | 2000-05-10 | Verfahren zur örtlichen skalierbaren Bewegtbildcodierung |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2001320715A true JP2001320715A (ja) | 2001-11-16 |
Family
ID=7641280
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001140361A Pending JP2001320715A (ja) | 2000-05-10 | 2001-05-10 | 動画の局所的階層符号化方法 |
Country Status (3)
| Country | Link |
|---|---|
| JP (1) | JP2001320715A (ja) |
| DE (1) | DE10022520A1 (ja) |
| GB (1) | GB2363274B (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004039083A1 (ja) * | 2002-04-26 | 2004-05-06 | Ntt Docomo, Inc. | 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化プログラム及び画像復号プログラム |
| WO2006068422A1 (en) * | 2004-12-22 | 2006-06-29 | Lg Electronics Inc. | Video codec |
| JP2008517498A (ja) * | 2004-10-15 | 2008-05-22 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ | 中間レイヤ動きデータ予測を用いて符号化されたビデオシーケンスを生成するための装置および方法 |
| JP2009522972A (ja) * | 2006-01-09 | 2009-06-11 | ノキア コーポレイション | スケーラブルなビデオ符号化におけるエラー耐性を有するモード決定 |
| JP2011109691A (ja) * | 2004-10-15 | 2011-06-02 | Fraunhofer Ges Zur Foerderung Der Angewandten Forschung Ev | 中間レイヤ動きデータ予測を用いて符号化されたビデオシーケンスを生成するための装置および方法 |
| US8428116B2 (en) | 2004-10-07 | 2013-04-23 | Nec Corporation | Moving picture encoding device, method, program, and moving picture decoding device, method, and program |
| WO2014141964A1 (ja) * | 2013-03-14 | 2014-09-18 | ソニー株式会社 | 画像処理装置および方法 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8102915B2 (en) | 2003-10-28 | 2012-01-24 | Trident Microsystems (Far East) Ltd. | Motion vector fields refinement to track small fast moving objects |
| JP4891234B2 (ja) | 2004-06-23 | 2012-03-07 | エージェンシー フォー サイエンス， テクノロジー アンド リサーチ | グリッド動き推定／補償を用いたスケーラブルビデオ符号化 |
| DE102004041664A1 (de) | 2004-08-27 | 2006-03-09 | Siemens Ag | Verfahren zum Codieren und Decodieren, sowie Codier- und Decodiervorrichtung zur Videocodierung |
| JP2006333436A (ja) * | 2005-01-07 | 2006-12-07 | Ntt Docomo Inc | 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、及び、動画像復号プログラム |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07170514A (ja) * | 1993-07-13 | 1995-07-04 | At & T Corp | ビデオ信号多層符号化と復号化装置 |
| JPH07212761A (ja) * | 1994-01-17 | 1995-08-11 | Toshiba Corp | 階層符号化装置及び階層復号化装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2702917B1 (fr) * | 1993-03-16 | 1995-04-21 | Thomson Csf | Codeur-décodeur pour un codage compatible sous-bande d'images de télévision, et son application au codage de mouvement hiérarchique par des structures arborescentes . |
-
2000
- 2000-05-10 DE DE10022520A patent/DE10022520A1/de not_active Withdrawn
-
2001
- 2001-05-04 GB GB0111024A patent/GB2363274B/en not_active Expired - Fee Related
- 2001-05-10 JP JP2001140361A patent/JP2001320715A/ja active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07170514A (ja) * | 1993-07-13 | 1995-07-04 | At & T Corp | ビデオ信号多層符号化と復号化装置 |
| JPH07212761A (ja) * | 1994-01-17 | 1995-08-11 | Toshiba Corp | 階層符号化装置及び階層復号化装置 |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004039083A1 (ja) * | 2002-04-26 | 2004-05-06 | Ntt Docomo, Inc. | 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化プログラム及び画像復号プログラム |
| US8265405B2 (en) | 2002-04-26 | 2012-09-11 | Ntt Docomo, Inc. | Image encoding apparatus, image decoding apparatus, image encoding method, image decoding method, image encoding program, and image decoding program |
| US7970223B2 (en) * | 2002-04-26 | 2011-06-28 | Ntt Docomo, Inc. | Image encoding apparatus, image decoding apparatus, image encoding method, image decoding method, image encoding program, and image decoding program |
| US7596279B2 (en) | 2002-04-26 | 2009-09-29 | Ntt Docomo, Inc. | Image encoding device, image decoding device, image encoding method, image decoding method, image encoding program, and image decoding program |
| US7903891B2 (en) | 2002-04-26 | 2011-03-08 | Ntt Docomo, Inc. | Image encoding apparatus, image decoding apparatus, image encoding method, image decoding method, image encoding program, and image decoding program |
| US8428116B2 (en) | 2004-10-07 | 2013-04-23 | Nec Corporation | Moving picture encoding device, method, program, and moving picture decoding device, method, and program |
| JP2011109691A (ja) * | 2004-10-15 | 2011-06-02 | Fraunhofer Ges Zur Foerderung Der Angewandten Forschung Ev | 中間レイヤ動きデータ予測を用いて符号化されたビデオシーケンスを生成するための装置および方法 |
| JP2008517498A (ja) * | 2004-10-15 | 2008-05-22 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ | 中間レイヤ動きデータ予測を用いて符号化されたビデオシーケンスを生成するための装置および方法 |
| US8867619B2 (en) | 2004-10-15 | 2014-10-21 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for generating a coded video sequence by using an intermediate layer motion data prediction |
| US8873623B2 (en) | 2004-10-15 | 2014-10-28 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for generating a coded video sequence and for decoding a coded video sequence by using an intermediate layer residual value prediction |
| US8873622B2 (en) | 2004-10-15 | 2014-10-28 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for generating a coded video sequence by using an intermediate layer motion data prediction |
| US8873624B2 (en) | 2004-10-15 | 2014-10-28 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for generating a coded video sequence and for decoding a coded video sequence by using an intermediate layer residual value prediction |
| WO2006068422A1 (en) * | 2004-12-22 | 2006-06-29 | Lg Electronics Inc. | Video codec |
| JP2009522972A (ja) * | 2006-01-09 | 2009-06-11 | ノキア コーポレイション | スケーラブルなビデオ符号化におけるエラー耐性を有するモード決定 |
| WO2014141964A1 (ja) * | 2013-03-14 | 2014-09-18 | ソニー株式会社 | 画像処理装置および方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| GB2363274A (en) | 2001-12-12 |
| GB0111024D0 (en) | 2001-06-27 |
| DE10022520A1 (de) | 2001-11-15 |
| GB2363274B (en) | 2002-07-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chen et al. | Bidirectional MC-EZBC with lifting implementation | |
| Martucci et al. | A zerotree wavelet video coder | |
| KR100600419B1 (ko) | 움직임 보상된 예측 영상 부호화 및 복호화 | |
| CA2703775C (en) | Method and apparatus for selecting a coding mode | |
| US7310371B2 (en) | Method and/or apparatus for reducing the complexity of H.264 B-frame encoding using selective reconstruction | |
| KR101183304B1 (ko) | Ｓｄｍｃｔｆ 인코딩된 비디오의 3ｄ 부-대역 디코딩에서의 공간 확장성 | |
| US8867619B2 (en) | Apparatus and method for generating a coded video sequence by using an intermediate layer motion data prediction | |
| US20050276323A1 (en) | Real-time video coding/decoding | |
| US20100150229A1 (en) | Method of Encoding and Decoding Video Images With Spatial Scalability | |
| KR20060092824A (ko) | 내장된 기본 계층 코덱에 의한 인코딩 및 디코딩 방법 | |
| WO2003019939A1 (en) | System and method for video error concealment | |
| AU2002326713A1 (en) | System and method for video error concealment | |
| US20070086515A1 (en) | Spatial and snr scalable video coding | |
| US7864839B2 (en) | Method and system for rate control in a video encoder | |
| Andreopoulos et al. | Complete-to-overcomplete discrete wavelet transforms for scalable video coding with MCTF | |
| Hsiang et al. | Invertible three-dimensional analysis/synthesis system for video coding with half-pixel-accurate motion compensation | |
| JP2001320715A (ja) | 動画の局所的階層符号化方法 | |
| Xiong et al. | Barbell lifting wavelet transform for highly scalable video coding | |
| CN1878304B (zh) | 编码和解码图像序列的方法和设备 | |
| Ye et al. | Fully scalable 3D overcomplete wavelet video coding using adaptive motion-compensated temporal filtering | |
| JP5122288B2 (ja) | 中間レイヤ残余値予測を用いて符号化されたビデオシーケンスを生成および符号化されたビデオシーケンスを復号化するための装置および方法 | |
| AU2004310917A1 (en) | Method and apparatus for scalable video encoding and decoding | |
| Wien | Variable Block Size Transforms for Hybrid Video Coding | |
| Ghanbari | Layered coding | |
| Gastaldi et al. | Compression of videos captured via bayer patterned color filter arrays |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080509 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101203 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20101228 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110428 |