JP2004523994A - 一連のフレームを符号化する方法 - Google Patents
一連のフレームを符号化する方法 Download PDFInfo
- Publication number
- JP2004523994A JP2004523994A JP2002582623A JP2002582623A JP2004523994A JP 2004523994 A JP2004523994 A JP 2004523994A JP 2002582623 A JP2002582623 A JP 2002582623A JP 2002582623 A JP2002582623 A JP 2002582623A JP 2004523994 A JP2004523994 A JP 2004523994A
- Authority
- JP
- Japan
- Prior art keywords
- temporal
- frames
- pixels
- decomposition
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
- H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/553—Motion estimation dealing with occlusions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/583—Motion compensation with overlapping blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本発明は、三次元（３Ｄ）体積と考えられるフレームに対して適用されるフィルタリング段階を含む３Ｄサブバンド分解により一連のフレームを符号化する方法に関する。分解は、現れた領域に対応する二重連結された画素を生じさせる動き推定及び補償の後にフレームの連続する群に適用される。最小化規準は、参照フレームの二重連結された画素の時間的なフィルタリングのために、詳細なサブバンドの最小エネルギーを生じさせる画素を現在フレームから選択するために与えられる。３Ｄ分解の時間的な部分は、リフティングスキームの予測段階において参照フレーム中の隣接するウィンドウからの画素の平均を用いる重なり合った動き補償を含む、リフティングスキームに基づく時間的フィルタリングを含む時間的ウェーブレット変換であり得る。
Description
【０００１】
本発明は、一連のフレームを三次元（３Ｄ）体積として考えたものに対応する３Ｄ空間・時間データに適用される空間及び時間フィルタリング段階を含む３Ｄサブバンド分解により一連のフレームを符号化する方法であって、分解は、連続的なフレームの各群のフレームに対して、時間分解の各レベルにおいて低周波数時間サブバンド中でブロックベースの動き推定及び補償操作を行った後に限り連続的なフレームの群に適用され、この補償操作により、フィルタリングされた画素のうちに、現在のフレームの中で動き中に現れるようになる参照フレームの領域に対応する二重連結された画素が生ずる方法に関する。
【０００２】
近年のマルチメディア用途の拡大と、異種のネットワークを介して圧縮されたビットストリームを伝える必要性により、スケーラビリティはビデオ符号化器のための非常に重要な特徴と考えられるようになってきた。三次元（３Ｄ）ウェーブレット分解は、自然な空間解像度とフレームレートのスケーラビリティを与える。例えば、B. J. Kim及びW.A. Pearlmanによる"An embedded wavelet video coder using three-dimensional set partitioning in hierarchical trees (SPIHT)", Proceedings of Data Compression Conference, Snowbird, USA, March 25-27, 1997, pp. 251-260に記載されている３Ｄ ＳＰＩＨＴアルゴリズム等の埋込符号化アルゴリズムは、階層木中の係数の深さ方向（in-depth）走査及びビット平面符号化を用いることによって、所望のＳＮＲスケーラビリティを生じさせる。一連のフレームに適用される大局的な符号化／復号化スキームは、大きい変位（より正確には、動き補償されたフレームに対して各解像度レベルにおいてＨａａｒフィルタが適用される）を考慮に入れるために、連続するフレーム間の動きの方向に時間的な多解像度解析を含んでもよく、この時間的な解析に続いて、得られた時間的サブバンドの空間的な多解像度解析が行われる。符号化方法は、変更された３Ｄ ＳＰＩＨＴアルゴリズムでありその後に文脈（contextual）算術符号化器が続く。このようにして、スケーラビリティは、質だけでなく、時間的な解像度及び空間的な解像度に関しても達成される。
【０００３】
しかしながら、幾つかの研究ではスケーラブルな符号化アルゴリズム及び空間的なウェーブレット変換の考えられうる改善について取り組みがなされてきたが、３Ｄ分解で使用される時間的なウェーブレット変換の特殊性を利用することについてはあまり努力がされてきていない。時間的なウェーブレット変換は本質的には、動き推定段階により非線形である。例えば"Factoring wavelet transforms into lifting steps", by I. Daubechies and W. Sweldens, Journal of Fourier Analysis applications, vol. 4, no 3, 1998, pp. 247-269に記載されているいわゆるリフティングスキームは、ウエーブレット変換を構築するための柔軟な枠組みを与える（単一次元信号を処理するため及び画像符号化又は特徴抽出のための適切な分解を与えるための関心については既に分かっている）。このスキームの利点は、複雑性（"in-place"演算）と更なる機能の両方に関するものであり、即ち各線形ウェーブレット分解がこの形にされうるだけでなく、予測・更新段階においても非線形演算子の導入を可能とする。
【０００４】
時間的な多解像度解析に関する重要な点は、時間的なフィルタ長の選択であり、即ち、長いフィルタは連続するフレーム間に存在する時間的な相関をよりよく利用する。しかしながら、J. R. Ohmによる"Three-dimensional subband coding with motion compensation", IEEE Transactions on Image Processing, vol. 3, no. 5, 1994, pp. 559-571では、この長いフィルタは動きにぼけを生じさせ、復号化器側でバッファメモリ要件（フィルタ長に対応する）と再構成遅延を増加させ、これはリアルタイム適用では望ましくないことがあることが示されている。更に、符号化効率は、より長いフィルタで時間的解析を行うことによっては大きくは向上しない。従って、時間フィルタリングのためにはＨａａｒフィルタが望ましい。更に、時間的な分解のためにＨａａｒフィルタが使用されるとき、２での時間的ダウンサンプリングにより、動き推定及び動き補償（ＭＥ／ＭＣ）は入力シーケンスの２つのフレームごとにのみ行われる。この処理を時間的な近似サブバンドに対する幾つかの分解レベルに亘って繰り返すことにより、ＭＥ／ＭＣ操作の総数は予測スキームの場合とほぼ同じである。
【０００５】
しかしながら、動き補償された時間的フィルタリングは、二重に連結された画素及び連結されていない画素、即ち２回フィルタリングされた画素又は全くフィルタリングされていない画素の問題を生ずる。S. J. Choi 及びJ. W. Woodsによる"Motion-compensated 3D subband coding of video", IEEE Trans. on Image Processing, vol. 8, no. 2, pp. 155-164, Feb. 1999で提案されている解決策は、現在フレーム中の画素と同じ位置で高域通過係数を計算し、低域通過係数として動き補償された参照フレーム中で同じ場所に配置されている画素をとることでありうる。多数の連結された画素の場合、現在のフレームを上から下へ、左から右へ走査し、低域通過係数の計算のためにそれを指している現在フレーム中の最初の画素を考慮することが可能である。それでもなお、これは最善の方法ではないと思われる。
【０００６】
所与の解像度レベルでは、Ｈ［ｍ，ｎ］を時間的高周波数サブバンド中の画素とし、Ｌ［ｍ，ｎ］を低周波数サブバンド中の画素とし、（ｕm,n，ｖm,n）を画素（ｍ，ｎ）に関連付けられる動きベクトルの２つの成分として示すことができる。分数画素（ｐｅｌ）動き推定が可能であれば、動きベクトルの整数部は
【０００７】
（外１）
と示される。従って、Choiの方法では、連結された画素についての高域通過サブバンド及び低域通過サブバンドを計算することを可能とする式は、
【０００８】
【数１】
であり、
【０００９】
（外２）
はフィールドＸの補間値を表す。連結されていない画素について、周波数成分は以前と同様に得られ、低周波数値は参照画素の単純にスケーリングした値である。
【００１０】
【数２】
Ｈａａｒ変換のリフティングスキームの特定の場合、動き方向の時間的な低域通過フィルタリングを、
【００１１】
【数３】
と書くことができる。この式は、式（１）と共に考慮すると、時間的Ｈａａｒリフティングに用いられる非線形演算子Ｐ（予測）とＵ（更新）の形を演繹的に推論することを可能とする。Ｐは動き補償演算子（Ｃ）であり、分数画素動き推定の場合は、その後に補間（Ｉ）が続くことがわかる。その間、Ｕは、Ｐにおける動きベクトルと同じであるが逆の符号の動きベクトルを用いた動き補償演算子であり、その後に補間が続くものと認められうる。その後、これらの演算は、
【００１２】
【数４】
と表わされ、
【００１３】
（外３）
は（ｐ，ｑ）によって表わされる。
【００１４】
これらの表記を用いて、連結された画素の時間的な解析は、
【００１５】
【数５】
と書くことができ、合成部分については、連結された画素については（参照フレーム中の連結されていない画素は上記の式（３）から直接得られる）、
【００１６】
【数６】
及び、
【００１７】
【数７】
である。
【００１８】
従って、本発明の第１の目的は、現れた領域の処理を改善するために更新演算子を変更するためにかかるリフティングの公式化を用いることである。
【００１９】
このために、本発明は、本願の冒頭に記載の符号化方法であって、二重連結された画素の識別段階の後に、最小化規準に基づき、参照フレームの二重連結された画素の時間フィルタリングのために詳細サブバンドの最小エネルギーを生じさせる画素を現在のフレーム中から選択するよう与えられる決定段階が行われ、考慮されるエネルギーは高周波数時間サブバンド中の二重連結された画素の周りの平均エネルギーであり、平均エネルギーは低域通過フィルタリング操作によって計算されることを特徴とする方法に関する。
【００２０】
提案される技術的な解決策は、参照フレームＡ中の所与の位置における画素を詳細サブバンドのエネルギーを最小化することによって得られる現在フレームＢの最も近い値に関連付けることを意図する。
【００２１】
特に有利な実施例では、最小化規準は、候補連結画素に関連する動きベクトルのノルムの最小化を実行する第２のものをエネルギー規準に合わせるために与えられる。
【００２２】
この場合、動きベクトルのノルムに基づく最小化規準は、あまりに大きい動きベクトルの最適化を考慮に入れないよう、ノルムの値に適用される閾値を用いる。
【００２３】
本発明の他の目的は、ブロックベースの動き補償に関連するブロッキングアーティファクトを減少させるために更新演算子を変更するためにリフティングの公式化を用いることである。
【００２４】
このために、本発明は、３Ｄ分解の時間的な部分は、各分解レベルにおいて順次に分割段階、予測段階、及び更新段階を含むいわゆるリフティングスキームに基づく時間フィルタリングを含む時間ウェーブレット変換であり、方法は更に、時間的フィルタリングは、ブロックベースの動き推定によって生ずるブロッキングアーティファクトを減少させるために、予測段階において参照フレーム中の隣接するウィンドウからの画素の平均を用いる重ね合わされた動き補償を含むことを特徴とする、上述の符号化方法に関する。
【００２５】
連結されていない画素及び二重に連結された画素の問題は、動いている対象によって現れる領域の問題に非常によく関連する。実際、時間Ｔにおいてフレーム中の共通の部分に対応し、時間Ｔ＋ΔＴにおいて別々となる２つの対象を考える。この場合、現在フレーム中の２つの領域は、動き補償により、参照（又は先行）フレーム中の同じ領域に対応する。対象のうちの１つについて、この領域は現れた（uncovered）領域となる。この領域は、参照フレーム中では二重に連結されて見える。動き補償処理で出会う最初のブロックをこれらの二重連結された画素に関連付ける文献"Motion-compensated 3D subband coding of video"の中に記載されているアプローチに対して、リフティングスキームに基づいて同じ規準を適用することによってこの選択を最適化することが提案されている。ここで利用される主な構造的な性質は、更新段階（時間的な低周波数サブバンドの計算）のために、予測段階から入手可能な情報（高周波数サブバンド）及び低周波数帯域中の因果的情報の全てを使用することが可能であるということである。
【００２６】
第１の提案される規準に対応する基本的な考えは、２つの動く対象の詳細なサブバンドのエネルギーに関連する。第１の対象が時間Ｔにおいて前景上にあった場合、第２の対象中の現れた領域は詳細な係数のより高いエネルギーを与える。第２の規準は、動きフィールドの規則化の条件であり、即ち、参照フレーム中で同じ画素に幾つかの画素が連結されていれば、最も小さい変位のものがフィルタリングのために選択される。
【００２７】
これらの考えは、上述の非線形リフティング枠組みの中で形式化されうる。参照フレーム中の多数連結された画素の場合、これらのうちの位置（ｐ，ｑ）にあるものと、現在フレーム中の位置（ｍ1，ｎ1）及び（ｍ2，ｎ2）において動き推定アルゴリズムによって見つけられた２つの画素とを考えると、２つの対応する動きベクトル（ｕm1,n1，ｖm1,n1）及び（ｕm2,n2，ｖm2,n2）を使用すると、
【００２８】
【数８】
が得られる。これを用いると、式（５）及び（６）は、２つの画素（ｍ1，ｎ1）及び（ｍ2，ｎ2）について書くことができ、詳細なサブバンド中に２つの異なる値Ｈ［ｍ1，ｎ1］及びＨ［ｍ2，ｎ2］を生じさせる。従って、近似サブバンド中の値は、これらの２つの値のうちのいずれかを用いて計算されうる（尚、いずれの値も完全な再構成を可能とする）。実際は、Ｐ(p,q)が参照フレーム中の画素（ｐ，ｑ）に連結された現在フレーム中の全ての画素（ｍ，ｎ）の組を示すとき、
【００２９】
【数９】
であるよう、任意の演算子ｆについて完全な再構成の性質が保証されることがわかる。
【００３０】
演算子ｆの選択の１つの規準は、Ａ［ｐ，ｑ］をフレームＢ中の「最も近い」値に関連付けるよう詳細なサブバンドのエネルギーを最小化することである。これは、低域通過フィルタリングするために画素（ｍ0，ｎ0）を、
【００３１】
【数１０】
であるよう使用することを意味する。Choiのアルゴリズムでは、提案されるアルゴリズムにおいて、復号化器へ分類マップ（どの画素が連結されておりどの画素が連結されていないかを示す）を伝送する必要はない。復号化器は、符号化器の手順と対称的な手順をたどるため、高周波数係数のエネルギーに対してなされた決定から得られる同じ分類マップがあることが望ましい。
【００３２】
それでもなお、単一の画素の値に基づく決定は十分には強くない。特に、前の例では、高周波数サブバンド中の２つの値は、ＳＰＩＨＴアルゴリズムで用いられる順次量子化方法により、同じ量子化ステップでは量子化されないかもしれない。従って、これは誤った決定を生じさせうる。上述の決定は、当該の画素の周りの変位されたフレーム差（ＤＦＤ）の平均エネルギーを比較することによって更に強くされえ、即ち、
【００３３】
【数１１】
但し、Ｓ（ｐ，ｑ）は画素（ｐ，ｑ）の周りの近傍であり、ｕ（ｋ，ｌ）は近傍Ｓ（ｐ，ｑ）中の各画素に対する重み係数であり、中心点までの距離に依存する。例えば、
【００３４】
【数１２】
を選ぶことができ、但しα＞０は忘却係数（forgetting factor）である。
【００３５】
最小化規準中の第２の項は、動きベクトルのノルムであり、
【００３６】
【数１３】
である。規則化された規準は
【００３７】
【数１４】
で表わされ、λは規則化パラメータである。動きベクトルが大きすぎる場合、その値はあまり信頼性が高くないため、これを最適化の際に考慮にいれないことを選ぶことができる。これは以下の規準、
【００３８】
【数１５】
を生じさせ、但し、ｓは経験的に決定されるべき閾値である。従って、この閾値よりも大きい動きベクトルに対してペナルティが与えられる。
【００３９】
しかしながら、ブロックベースの動き推定アルゴリズムはブロッキングアーティファクトを受ける。結果として生ずる動き補償されたフレームに適用される空間的な変換がウェーブレット解析であれば、これらのアーティファクトは望ましくない大きなウェーブレット係数を生じさせ、従って符号化効率が減少される。以前の非線形リフティングの式から推論されうる改善は、ブロッキングアーティファクトを減少させるために、時間的なフィルタリングアルゴリズム内に重なり合った動き補償を導入する可能性に関連する。この操作は、予測段階において、参照フレーム中の隣接するウィンドウからの画素の平均を用いる。
【００４０】
例えば、１つの画素の重ね合わせを考える場合、ブロックの最初の（又は最後の）行に属する画素の広域通過フィルタリングは、この場合は、
【００４１】
【数１６】
となり、但し、βは定数であり、０＜β＜１である。
【００４２】
同様の処理は、各ブロックの最初の（又は最後の）列に対して、以下の式、
【００４３】
【数１７】
に従って適用される。定数βは実験的に決定される。本例では、定数β＝０．２により最善の結果が得られた。
本発明は、一連のフレームを三次元（３Ｄ）体積として考えたものに対応する３Ｄ空間・時間データに適用される空間及び時間フィルタリング段階を含む３Ｄサブバンド分解により一連のフレームを符号化する方法であって、分解は、連続的なフレームの各群のフレームに対して、時間分解の各レベルにおいて低周波数時間サブバンド中でブロックベースの動き推定及び補償操作を行った後に限り連続的なフレームの群に適用され、この補償操作により、フィルタリングされた画素のうちに、現在のフレームの中で動き中に現れるようになる参照フレームの領域に対応する二重連結された画素が生ずる方法に関する。
【０００２】
近年のマルチメディア用途の拡大と、異種のネットワークを介して圧縮されたビットストリームを伝える必要性により、スケーラビリティはビデオ符号化器のための非常に重要な特徴と考えられるようになってきた。三次元（３Ｄ）ウェーブレット分解は、自然な空間解像度とフレームレートのスケーラビリティを与える。例えば、B. J. Kim及びW.A. Pearlmanによる"An embedded wavelet video coder using three-dimensional set partitioning in hierarchical trees (SPIHT)", Proceedings of Data Compression Conference, Snowbird, USA, March 25-27, 1997, pp. 251-260に記載されている３Ｄ ＳＰＩＨＴアルゴリズム等の埋込符号化アルゴリズムは、階層木中の係数の深さ方向（in-depth）走査及びビット平面符号化を用いることによって、所望のＳＮＲスケーラビリティを生じさせる。一連のフレームに適用される大局的な符号化／復号化スキームは、大きい変位（より正確には、動き補償されたフレームに対して各解像度レベルにおいてＨａａｒフィルタが適用される）を考慮に入れるために、連続するフレーム間の動きの方向に時間的な多解像度解析を含んでもよく、この時間的な解析に続いて、得られた時間的サブバンドの空間的な多解像度解析が行われる。符号化方法は、変更された３Ｄ ＳＰＩＨＴアルゴリズムでありその後に文脈（contextual）算術符号化器が続く。このようにして、スケーラビリティは、質だけでなく、時間的な解像度及び空間的な解像度に関しても達成される。
【０００３】
しかしながら、幾つかの研究ではスケーラブルな符号化アルゴリズム及び空間的なウェーブレット変換の考えられうる改善について取り組みがなされてきたが、３Ｄ分解で使用される時間的なウェーブレット変換の特殊性を利用することについてはあまり努力がされてきていない。時間的なウェーブレット変換は本質的には、動き推定段階により非線形である。例えば"Factoring wavelet transforms into lifting steps", by I. Daubechies and W. Sweldens, Journal of Fourier Analysis applications, vol. 4, no 3, 1998, pp. 247-269に記載されているいわゆるリフティングスキームは、ウエーブレット変換を構築するための柔軟な枠組みを与える（単一次元信号を処理するため及び画像符号化又は特徴抽出のための適切な分解を与えるための関心については既に分かっている）。このスキームの利点は、複雑性（"in-place"演算）と更なる機能の両方に関するものであり、即ち各線形ウェーブレット分解がこの形にされうるだけでなく、予測・更新段階においても非線形演算子の導入を可能とする。
【０００４】
時間的な多解像度解析に関する重要な点は、時間的なフィルタ長の選択であり、即ち、長いフィルタは連続するフレーム間に存在する時間的な相関をよりよく利用する。しかしながら、J. R. Ohmによる"Three-dimensional subband coding with motion compensation", IEEE Transactions on Image Processing, vol. 3, no. 5, 1994, pp. 559-571では、この長いフィルタは動きにぼけを生じさせ、復号化器側でバッファメモリ要件（フィルタ長に対応する）と再構成遅延を増加させ、これはリアルタイム適用では望ましくないことがあることが示されている。更に、符号化効率は、より長いフィルタで時間的解析を行うことによっては大きくは向上しない。従って、時間フィルタリングのためにはＨａａｒフィルタが望ましい。更に、時間的な分解のためにＨａａｒフィルタが使用されるとき、２での時間的ダウンサンプリングにより、動き推定及び動き補償（ＭＥ／ＭＣ）は入力シーケンスの２つのフレームごとにのみ行われる。この処理を時間的な近似サブバンドに対する幾つかの分解レベルに亘って繰り返すことにより、ＭＥ／ＭＣ操作の総数は予測スキームの場合とほぼ同じである。
【０００５】
しかしながら、動き補償された時間的フィルタリングは、二重に連結された画素及び連結されていない画素、即ち２回フィルタリングされた画素又は全くフィルタリングされていない画素の問題を生ずる。S. J. Choi 及びJ. W. Woodsによる"Motion-compensated 3D subband coding of video", IEEE Trans. on Image Processing, vol. 8, no. 2, pp. 155-164, Feb. 1999で提案されている解決策は、現在フレーム中の画素と同じ位置で高域通過係数を計算し、低域通過係数として動き補償された参照フレーム中で同じ場所に配置されている画素をとることでありうる。多数の連結された画素の場合、現在のフレームを上から下へ、左から右へ走査し、低域通過係数の計算のためにそれを指している現在フレーム中の最初の画素を考慮することが可能である。それでもなお、これは最善の方法ではないと思われる。
【０００６】
所与の解像度レベルでは、Ｈ［ｍ，ｎ］を時間的高周波数サブバンド中の画素とし、Ｌ［ｍ，ｎ］を低周波数サブバンド中の画素とし、（ｕm,n，ｖm,n）を画素（ｍ，ｎ）に関連付けられる動きベクトルの２つの成分として示すことができる。分数画素（ｐｅｌ）動き推定が可能であれば、動きベクトルの整数部は
【０００７】
（外１）
【０００８】
【数１】
【０００９】
（外２）
【００１０】
【数２】
【００１１】
【数３】
【００１２】
【数４】
【００１３】
（外３）
【００１４】
これらの表記を用いて、連結された画素の時間的な解析は、
【００１５】
【数５】
【００１６】
【数６】
【００１７】
【数７】
【００１８】
従って、本発明の第１の目的は、現れた領域の処理を改善するために更新演算子を変更するためにかかるリフティングの公式化を用いることである。
【００１９】
このために、本発明は、本願の冒頭に記載の符号化方法であって、二重連結された画素の識別段階の後に、最小化規準に基づき、参照フレームの二重連結された画素の時間フィルタリングのために詳細サブバンドの最小エネルギーを生じさせる画素を現在のフレーム中から選択するよう与えられる決定段階が行われ、考慮されるエネルギーは高周波数時間サブバンド中の二重連結された画素の周りの平均エネルギーであり、平均エネルギーは低域通過フィルタリング操作によって計算されることを特徴とする方法に関する。
【００２０】
提案される技術的な解決策は、参照フレームＡ中の所与の位置における画素を詳細サブバンドのエネルギーを最小化することによって得られる現在フレームＢの最も近い値に関連付けることを意図する。
【００２１】
特に有利な実施例では、最小化規準は、候補連結画素に関連する動きベクトルのノルムの最小化を実行する第２のものをエネルギー規準に合わせるために与えられる。
【００２２】
この場合、動きベクトルのノルムに基づく最小化規準は、あまりに大きい動きベクトルの最適化を考慮に入れないよう、ノルムの値に適用される閾値を用いる。
【００２３】
本発明の他の目的は、ブロックベースの動き補償に関連するブロッキングアーティファクトを減少させるために更新演算子を変更するためにリフティングの公式化を用いることである。
【００２４】
このために、本発明は、３Ｄ分解の時間的な部分は、各分解レベルにおいて順次に分割段階、予測段階、及び更新段階を含むいわゆるリフティングスキームに基づく時間フィルタリングを含む時間ウェーブレット変換であり、方法は更に、時間的フィルタリングは、ブロックベースの動き推定によって生ずるブロッキングアーティファクトを減少させるために、予測段階において参照フレーム中の隣接するウィンドウからの画素の平均を用いる重ね合わされた動き補償を含むことを特徴とする、上述の符号化方法に関する。
【００２５】
連結されていない画素及び二重に連結された画素の問題は、動いている対象によって現れる領域の問題に非常によく関連する。実際、時間Ｔにおいてフレーム中の共通の部分に対応し、時間Ｔ＋ΔＴにおいて別々となる２つの対象を考える。この場合、現在フレーム中の２つの領域は、動き補償により、参照（又は先行）フレーム中の同じ領域に対応する。対象のうちの１つについて、この領域は現れた（uncovered）領域となる。この領域は、参照フレーム中では二重に連結されて見える。動き補償処理で出会う最初のブロックをこれらの二重連結された画素に関連付ける文献"Motion-compensated 3D subband coding of video"の中に記載されているアプローチに対して、リフティングスキームに基づいて同じ規準を適用することによってこの選択を最適化することが提案されている。ここで利用される主な構造的な性質は、更新段階（時間的な低周波数サブバンドの計算）のために、予測段階から入手可能な情報（高周波数サブバンド）及び低周波数帯域中の因果的情報の全てを使用することが可能であるということである。
【００２６】
第１の提案される規準に対応する基本的な考えは、２つの動く対象の詳細なサブバンドのエネルギーに関連する。第１の対象が時間Ｔにおいて前景上にあった場合、第２の対象中の現れた領域は詳細な係数のより高いエネルギーを与える。第２の規準は、動きフィールドの規則化の条件であり、即ち、参照フレーム中で同じ画素に幾つかの画素が連結されていれば、最も小さい変位のものがフィルタリングのために選択される。
【００２７】
これらの考えは、上述の非線形リフティング枠組みの中で形式化されうる。参照フレーム中の多数連結された画素の場合、これらのうちの位置（ｐ，ｑ）にあるものと、現在フレーム中の位置（ｍ1，ｎ1）及び（ｍ2，ｎ2）において動き推定アルゴリズムによって見つけられた２つの画素とを考えると、２つの対応する動きベクトル（ｕm1,n1，ｖm1,n1）及び（ｕm2,n2，ｖm2,n2）を使用すると、
【００２８】
【数８】
【００２９】
【数９】
【００３０】
演算子ｆの選択の１つの規準は、Ａ［ｐ，ｑ］をフレームＢ中の「最も近い」値に関連付けるよう詳細なサブバンドのエネルギーを最小化することである。これは、低域通過フィルタリングするために画素（ｍ0，ｎ0）を、
【００３１】
【数１０】
【００３２】
それでもなお、単一の画素の値に基づく決定は十分には強くない。特に、前の例では、高周波数サブバンド中の２つの値は、ＳＰＩＨＴアルゴリズムで用いられる順次量子化方法により、同じ量子化ステップでは量子化されないかもしれない。従って、これは誤った決定を生じさせうる。上述の決定は、当該の画素の周りの変位されたフレーム差（ＤＦＤ）の平均エネルギーを比較することによって更に強くされえ、即ち、
【００３３】
【数１１】
【００３４】
【数１２】
【００３５】
最小化規準中の第２の項は、動きベクトルのノルムであり、
【００３６】
【数１３】
【００３７】
【数１４】
【００３８】
【数１５】
【００３９】
しかしながら、ブロックベースの動き推定アルゴリズムはブロッキングアーティファクトを受ける。結果として生ずる動き補償されたフレームに適用される空間的な変換がウェーブレット解析であれば、これらのアーティファクトは望ましくない大きなウェーブレット係数を生じさせ、従って符号化効率が減少される。以前の非線形リフティングの式から推論されうる改善は、ブロッキングアーティファクトを減少させるために、時間的なフィルタリングアルゴリズム内に重なり合った動き補償を導入する可能性に関連する。この操作は、予測段階において、参照フレーム中の隣接するウィンドウからの画素の平均を用いる。
【００４０】
例えば、１つの画素の重ね合わせを考える場合、ブロックの最初の（又は最後の）行に属する画素の広域通過フィルタリングは、この場合は、
【００４１】
【数１６】
【００４２】
同様の処理は、各ブロックの最初の（又は最後の）列に対して、以下の式、
【００４３】
【数１７】
Claims (4)
- 一連のフレームを三次元（３Ｄ）体積として考えたものに対応する３Ｄ空間・時間データに適用される空間及び時間フィルタリング段階を含む３Ｄサブバンド分解により一連のフレームを符号化する方法であって、
前記分解は、連続的なフレームの各群のフレームに対して、時間分解の各レベルにおいて低周波数時間サブバンド中でブロックベースの動き推定及び補償操作を行った後に限り連続的なフレームの群に適用され、この補償操作により、フィルタリングされた画素のうちに、現在のフレームの中で動き中に現れるようになる参照フレームの領域に対応する二重連結された画素が生じ、
前記方法は更に、
前記二重連結された画素の識別段階の後に、最小化規準に基づき、参照フレームの二重連結された画素の時間フィルタリングのために詳細サブバンドの最小エネルギーを生じさせる画素を現在のフレーム中から選択するよう与えられる決定段階が行われ、考慮されるエネルギーは高周波数時間サブバンド中の前記二重連結された画素の周りの平均エネルギーであり、前記平均エネルギーは低域通過フィルタリング操作によって計算される、方法。 - 前記最小化規準は、候補連結画素に関連する動きベクトルのノルムの最小化を実行する第２のものをエネルギー規準に合わせるために与えられることを特徴とする請求項１記載の符号化方法。
- 前記動きベクトルのノルムに基づく最小化規準は、あまりに大きい動きベクトルの最適化を考慮に入れないよう、前記ノルムの値に適用される閾値を用いる、請求項２記載の符号化方法。
- 前記３Ｄ分解の時間的な部分は、各分解レベルにおいて順次に分割段階、予測段階、及び更新段階を含むいわゆるリフティングスキームに基づく時間フィルタリングを含む時間ウェーブレット変換であり、前記方法は更に、
前記時間的フィルタリングは、前記ブロックベースの動き推定によって生ずるブロッキングアーティファクトを減少させるために、予測段階において参照フレーム中の隣接するウィンドウからの画素の平均を用いる重ね合わされた動き補償を含むことを特徴とする、請求項１記載の符号化方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP01400919 | 2001-04-10 | ||
| EP01400941 | 2001-04-12 | ||
| PCT/IB2002/001177 WO2002085026A1 (en) | 2001-04-10 | 2002-04-02 | Method of encoding a sequence of frames |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004523994A true JP2004523994A (ja) | 2004-08-05 |
Family
ID=26077231
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002582623A Withdrawn JP2004523994A (ja) | 2001-04-10 | 2002-04-02 | 一連のフレームを符号化する方法 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US6983021B2 (ja) |
| EP (1) | EP1380174A1 (ja) |
| JP (1) | JP2004523994A (ja) |
| KR (1) | KR20030014705A (ja) |
| CN (1) | CN1251509C (ja) |
| WO (1) | WO2002085026A1 (ja) |
Families Citing this family (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7133846B1 (en) * | 1995-02-13 | 2006-11-07 | Intertrust Technologies Corp. | Digital certificate support system, methods and techniques for secure electronic commerce transaction and rights management |
| AUPR222500A0 (en) | 2000-12-21 | 2001-01-25 | Unisearch Limited | Method for efficient scalable compression of video |
| JP3863775B2 (ja) * | 2001-12-25 | 2006-12-27 | 株式会社九州エレクトロニクスシステム | 画像情報圧縮方法及び画像情報圧縮装置並びに画像情報圧縮プログラム |
| AUPS291002A0 (en) * | 2002-06-12 | 2002-07-04 | Unisearch Limited | Method and apparatus for scalable compression of video |
| EP1515561B1 (en) | 2003-09-09 | 2007-11-21 | Mitsubishi Electric Information Technology Centre Europe B.V. | Method and apparatus for 3-D sub-band video coding |
| WO2005029846A1 (en) * | 2003-09-23 | 2005-03-31 | Koninklijke Philips Electronics, N.V. | Video de -noising algorithm using inband motion-compensated temporal filtering |
| EP1673941A1 (en) * | 2003-10-10 | 2006-06-28 | Koninklijke Philips Electronics N.V. | 3d video scalable video encoding method |
| WO2005081531A1 (en) * | 2004-01-20 | 2005-09-01 | Koninklijke Philips Electronics N.V. | Three-dimensional video scalable video encoding method |
| US8442108B2 (en) * | 2004-07-12 | 2013-05-14 | Microsoft Corporation | Adaptive updates in motion-compensated temporal filtering |
| US8340177B2 (en) * | 2004-07-12 | 2012-12-25 | Microsoft Corporation | Embedded base layer codec for 3D sub-band coding |
| US20080037633A1 (en) * | 2004-07-13 | 2008-02-14 | France Telecom | Method and Device for Coding a Sequence of Video Images |
| US8374238B2 (en) * | 2004-07-13 | 2013-02-12 | Microsoft Corporation | Spatial scalability in 3D sub-band decoding of SDMCTF-encoded video |
| US8483277B2 (en) | 2005-07-15 | 2013-07-09 | Utc Fire & Security Americas Corporation, Inc. | Method and apparatus for motion compensated temporal filtering using split update process |
| US8279918B2 (en) | 2005-07-15 | 2012-10-02 | Utc Fire & Security Americas Corporation, Inc. | Method and apparatus for motion compensated temporal filtering using residual signal clipping |
| US7956930B2 (en) | 2006-01-06 | 2011-06-07 | Microsoft Corporation | Resampling and picture resizing operations for multi-resolution video coding and decoding |
| CN101231850B (zh) * | 2007-01-23 | 2012-02-29 | 华为技术有限公司 | 编解码方法及装置 |
| JP5254997B2 (ja) * | 2007-01-26 | 2013-08-07 | テレフオンアクチーボラゲット エル エム エリクソン（パブル） | 発見フレーム領域についての動き推定 |
| US8038442B2 (en) | 2007-04-23 | 2011-10-18 | Nobel Biocare Services Ag | Dental implant and dental component connection |
| US8953673B2 (en) | 2008-02-29 | 2015-02-10 | Microsoft Corporation | Scalable video coding and decoding with sample bit depth and chroma high-pass residual layers |
| US8711948B2 (en) | 2008-03-21 | 2014-04-29 | Microsoft Corporation | Motion-compensated prediction of inter-layer residuals |
| CN101552919B (zh) * | 2008-04-02 | 2011-03-02 | 联咏科技股份有限公司 | 具有执行重叠滤波以及核心转换的运算方法及其装置 |
| US9445121B2 (en) | 2008-08-04 | 2016-09-13 | Dolby Laboratories Licensing Corporation | Overlapped block disparity estimation and compensation architecture |
| US9571856B2 (en) | 2008-08-25 | 2017-02-14 | Microsoft Technology Licensing, Llc | Conversion operations in scalable video encoding and decoding |
| US8213503B2 (en) | 2008-09-05 | 2012-07-03 | Microsoft Corporation | Skip modes for inter-layer residual video coding and decoding |
| CN102946539B (zh) * | 2012-11-21 | 2015-07-15 | 西安电子科技大学 | 基于压缩感知的视频图像帧间运动估计方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5301020A (en) * | 1991-11-01 | 1994-04-05 | Aware, Inc. | Method and apparatus for coding motion pictures utilizing motion compensation |
| JP2003530789A (ja) * | 2000-04-11 | 2003-10-14 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ビデオ符号化及び復号方法 |
-
2002
- 2002-04-02 KR KR1020027016836A patent/KR20030014705A/ko not_active Application Discontinuation
- 2002-04-02 WO PCT/IB2002/001177 patent/WO2002085026A1/en not_active Application Discontinuation
- 2002-04-02 CN CNB02801121XA patent/CN1251509C/zh not_active Expired - Fee Related
- 2002-04-02 EP EP02722554A patent/EP1380174A1/en not_active Withdrawn
- 2002-04-02 JP JP2002582623A patent/JP2004523994A/ja not_active Withdrawn
- 2002-04-05 US US10/117,591 patent/US6983021B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US6983021B2 (en) | 2006-01-03 |
| CN1251509C (zh) | 2006-04-12 |
| US20030026339A1 (en) | 2003-02-06 |
| EP1380174A1 (en) | 2004-01-14 |
| KR20030014705A (ko) | 2003-02-19 |
| CN1461563A (zh) | 2003-12-10 |
| WO2002085026A1 (en) | 2002-10-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2004523994A (ja) | 一連のフレームを符号化する方法 | |
| Pesquet-Popescu et al. | Three-dimensional lifting schemes for motion compensated video compression | |
| Andreopoulos et al. | In-band motion compensated temporal filtering | |
| US6954500B2 (en) | Video coding method using a block matching process | |
| KR101203338B1 (ko) | 움직임-보상형 시간적 필터링에서의 적응적 업데이트를위한 방법 | |
| RU2355126C2 (ru) | Основывающиеся на множестве слоев способ кодирования/декодирования и видеокодер/декодер, в которых используется сглаживающее предсказание | |
| KR100308627B1 (ko) | 중첩블럭이동보상및제로트리웨이브릿코딩을이용한저비트레이트비디오엔코더 | |
| Secker et al. | Motion-compensated highly scalable video compression using an adaptive 3D wavelet transform based on lifting | |
| US6519284B1 (en) | Encoding method for the compression of a video sequence | |
| JP4889248B2 (ja) | 方向予測及びリフテイング・ウェーブレットの組合せを使用して画像を符号化するシステムおよび方法 | |
| US20050232359A1 (en) | Inter-frame prediction method in video coding, video encoder, video decoding method, and video decoder | |
| US7023923B2 (en) | Motion compensated temporal filtering based on multiple reference frames for wavelet based coding | |
| EP1835749A1 (en) | Method for coding video data of a sequence of pictures | |
| JP2004502358A (ja) | ビデオ系列の圧縮のための符号化方法 | |
| US8855198B2 (en) | Moving picture encoding method, moving picture decoding method, moving picture encoding device, moving picture decoding device, and computer program | |
| Andreopoulos et al. | Complete-to-overcomplete discrete wavelet transforms for scalable video coding with MCTF | |
| CN1276664C (zh) | 视频编码方法 | |
| KR100901178B1 (ko) | 동화상의 부호화 방법 및 장치, 그리고 동화상의 복호 방법및 장치 | |
| JP2006509410A (ja) | ビデオ符号化方法及び装置 | |
| US20060012680A1 (en) | Drift-free video encoding and decoding method, and corresponding devices | |
| CN1650633A (zh) | 用于小波编码的基于多参考帧的运动补偿时间过滤 | |
| Marzougui et al. | Preliminary study of block matching algorithms for wavelet-based t+ 2D video coding | |
| Padmanabhan et al. | An Efficient Video Compression Encoder Based on Wavelet Lifting Scheme in LSK | |
| Agostini et al. | Motion-adapted weighted lifting scheme for MCWT video coders | |
| Li et al. | Level-by-Level Adaptive Disparity Compensated Prediction in Wavelet Domain for Stereo Image Coding |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050330 |
|
| A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20061020 |