JP2004514351A - ブロックマッチング処理を用いたビデオ符号化方法 - Google Patents
ブロックマッチング処理を用いたビデオ符号化方法 Download PDFInfo
- Publication number
- JP2004514351A JP2004514351A JP2002543232A JP2002543232A JP2004514351A JP 2004514351 A JP2004514351 A JP 2004514351A JP 2002543232 A JP2002543232 A JP 2002543232A JP 2002543232 A JP2002543232 A JP 2002543232A JP 2004514351 A JP2004514351 A JP 2004514351A
- Authority
- JP
- Japan
- Prior art keywords
- macroblock
- motion
- flag
- motion estimation
- macroblocks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
- H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
- H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/1883—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/567—Motion estimation based on rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
- H04N19/635—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by filter definition or implementation details
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Discrete Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本発明は、動き推定及び補償を用いた分解に時間領域を含ませることによりビデオデータに拡張される２次元サブバンド符号化技術の分野に関する。本発明は、動きベクトル情報量を合理的に低く維持し、より多くのビットを動きのない領域においてテクスチャに割り当てることを可能にする方法に関する。この方法は先ず、動き情報の詳細な記述を必要としない画像の部分を識別することを可能とする予備的解析を行い、その後にこの予備的情報に基づいた動き推定を行う。最も適切な動きベクトルの選択を考慮して、最終的動き補償動作の前に、高周波時間系フィルタ処理されたサブバンドのエネルギーに基づいた判定が行われる。
Description
【０００１】
【発明の属する技術分野】
本発明は、連続したフレームグループ（グループ・オブ・フレーム：ＧＯＦ）により構成されるビデオシーケンスの圧縮のための符号化方法であって、所定数の連続分解能レベルを導く３次元（３Ｄ）波形変換による分解ステップと、各分解レベルにて行われる動き補償動作による動き補償ステップと、符号化ステップとを有する符号化方法に関する。
【０００２】
本発明はまた、この符号化方法の実現に際してコンピュータが実行可能な処理ステップにより構成されコンピュータが読み取り可能な記憶媒体に記憶される命令のセットにも、当該符号化方法又は処理ステップの実現によって得られる符号化された信号にも関する。
【０００３】
【従来の技術】
近年、２次元サブバンド符号化技術は、そのサブバンド分解において時間領域を含ませることによりビデオデータにまで拡張されるようになっている。提案された第１の方策は、例えば、“Ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ ｓｕｂｂａｎｄ ｖｉｄｅｏ ｃｏｄｉｎｇ ｏｆ ｖｉｄｅｏ”， ｂｙ Ｃ．Ｉ． Ｐｏｄｉｌｃｈｕｋ ａｎｄ ａｌ．， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ， ｖｏｌ．４， ｐｐ．１２５−１３９， Ｆｅｂ． １９９５ に記述されているようなものがある。かかる方策は、動きの小さい場合にはその信号エネルギーが低周波数の時間的サブバンド（又は近似サブバンド）にかなり集中するという事実の効果を利用して、動き補償を行っていない。動き補償を伴わないこのような符号化手法は、計算上複雑でなく、人工的な動き（ぼかしを除く）もあまりなく、又はエラーの伝搬も制限される、といった幾つかの利点を持っている。しかしながら、変位の大きい対象物の場合においては、空間周波数は、当該時間軸に沿って分散し、高い周波数の時間サブバンド（又は詳細サブバンド）は高いエネルギーを含んでいる。さらに、低い時間サブバンドは、ぼやける可能性が非常に高く、これが時間的スケーラビリティが目標設定される場合の大きな欠点になる（単一の符号化ビットストリームから倍数フレームレートを有するビデオの生成）。
【０００４】
したがって、動き推定及び動き補償は、高効率スケーラブルビデオ符号化法の構成において主要な構成要素と考えることができる。既知の動き補償サブバンド符号化法は、ブロックを基礎とする動き推定を実施するものである。かかるブロックマッチングアルゴリズム（ｂｌｏｃｋ ｍａｔｃｈｉｎｇ ａｌｇｏｒｉｔｈｍ）すなわちＢＭＡの原理は、例えば“ＭＰＥＧ ｖｉｄｅｏ ｃｏｄｉｎｇ： ａ ｂａｓｉｃ ｔｕｔｏｒｉａｌ ｉｎｔｒｏｄｕｃｔｉｏｎ”， ｂｙ Ｓ．Ｒ．Ｅｌｙ， Ｒｅｓｅａｒｃｈ ａｎｄ Ｄｅｖｅｌｏｐｍｅｎｔ Ｒｅｐｏｒｔ， ＢＢＣ−ＲＤ−１９９６／３ に記述されている。ここでは現画像Ｉｔにおける各ブロックが参照（基準）画像Ｉｔ−１におけるサーチ領域とマッチされ、同じブロックに属する全ピクセルにおいて分散される保持された動きベクトルは、測定ウィンドウ内において絶対差の総和により測定される最も高い相関性をもたらすものと対応する。
【０００５】
他にも方法があり、例えば、可変サイズブロックを基礎とする動き推定を含み又は比較的高密度のほぼ連続した動きフィールドを発生する方法があるが、これ以外にも方法がある。動き解析の正確さは、さらに符号化されることになる低フレームレートのサブバンドを動き補償フィルタリング動作が提供するので重要である。したがって、これらサブバンドにおける動きアーティファクトは復元される低フレームレートのビデオの品質を損わせてしまうことになる。動き推定及び補償技術の主たる対照的な要件は、テクスチャ符号化のために利用可能なビット仕様又はビットバジェットを激減させないよう動き情報コスト（予測誤差及び動きパラメータ）を多少低くしたまま良好な時間的予測（真の動き）を提供することである。
【０００６】
固定サイズブロックを基礎とする動き推定が用いられる場合には、大抵、２種類の動きベクトルが発生される。例えば、１６×１６画素のマクロブロックの場合、１つ又は４つの動きベクトル（当該マクロブロック内の４つの８×８画素ブロックの各々につき１つ）を生成することができる。すなわち、図１の左の図は、４つのブロックが同じ動きベクトル（１６×１６画素のマクロブロック動きベクトル）を共有する第１の例に対応し、その右の図は、４つの８×８画素ブロックの各々がそれ自身の所有する動きベクトル（８×８画素ブロック動きベクトル）を有する第２の例に対応する。これら２つのモードの決定は、例えば基準フレームからの動き予測マクロブロックと予測すべき現フレームにおけるオリジナルのマクロブロックとの間の絶対差の合計（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ）によって与えられる歪みを見ることにより行われるのが普通である。８×８画素ブロックがより良い動きフィールドを普通に生成すると、これらは１６×１６画素マクロブロックの４倍ほどの符号化され伝送されなければならない動きベクトルを発生する。これにより、低いビットレートの応用例の場合にテクスチャに損失を与えて相当な情報コストを招来する。
【０００７】
【発明が解決しようとする課題】
よって本発明の目的は、動きベクトル情報をテクスチャ情報と比較して合理的に少量に保つ、低ビットレートビデオ符号化に適した方法を提案することである。
【０００８】
本発明の他の目的は、ビデオシーケンスを符号化することのできるコンピュータ上で実行可能な処理ステップにより構成されコンピュータ読み取り可能な記憶媒体に記憶される命令のセットを提案することである。
【０００９】
【課題を解決するための手段】
このため、本発明は、本文の序文に記載したような符号化方法に関し、さらに、当該動き補償ステップは、ブロックに小分割されるマクロブロックに分割されるフレームに適用され、連続したフレームグループの各々につき、
（Ａ）動き推定及び補償を伴うことなく現フレームグループ（ＧＯＦ）を時間的に高域フィルタ処理を行うサブステップと、
（Ｂ）その後に動き補償時間的フィルタ処理を当該フレームグループ（ＧＯＦ）に施すサブステップと、
を有し、
前記時間的フィルタ処理は、
（１）得られた高周波数時間的サブバンドの各マクロブロックにつき、その平均２乗誤差（ＭＳＥ）をサブバンド全体の値と比較し当該サブバンド全体の平均２乗誤差（ＭＳＥ）よりも大なる平均２乗誤差（ＭＳＥ）を有するマクロブロックにのみフラグを割り当てる動作と、
（２）前記フレームグループ（ＧＯＦ）の各組につき、フラグを有するマクロブロックの各ブロックに対してのブロックベース動き推定とフラグを有しないマクロブロックに対してのマクロブロックベース動き推定とを行う動作と、
（３）当該最後の動き補償サブステップに応じて、
（ａ）フラグを有するマクロブロックについては、絶対差の総和（ＳＡＤ：ｓｕｍ ｏｆ ａｂｓｏｌｕｔｅ ｄｉｆｆｅｒｅｎｃｅｓ）の最小値に基づき、マクロブロック及びブロック動きベクトルについての最終判定に応じた動きベクトル
（ｂ）フラグを有しないマクロブロックについては、当該マクロブロックベース動き推定に応じた動きベクトル
を選択する動作と、を有する、
ことを特徴としている。
【００１０】
この方法は、当該動き情報の網羅的な処理や、ましてや極めて精密な描写を必要としない画像の各部分を識別するよう、動き推定を伴うことなく得られる高周波数時間系サブバンドの暫時的解析を先んじて行うものである。そして、ブロックか又はマクロブロックかの動き推定の判定を強制するためにこの暫時的情報を考慮しつつ、動き推定及び補償が通常通り行われる。かかる判定基準は、高周波数の時間的にフィルタ処理されたサブバンドのエネルギーに基づいている。この判定により、
・比較的小さなブロックに関係した少数ブロックベース動き推定ステップを許容し又は可能にすることによる動き推定の計算負荷の軽減
・符号化すべき動きベクトルの数を減らすことによる当該テクスチャ符号化のビット仕様（ビットバジェット）の拡大
をもたらす。
【００１１】
このように提案される技術的解決手段により、真の動きフィールドを必要としない画像領域すなわち不動領域において、当該小ブロックでのより細かい動き解析を必要とする領域（例えば動く対象の境界）の処理を変えることなくテクスチャ用にたくさんのビットを割り当てることが可能になる。
【００１２】
上記他の目的のため、本発明は、連続したフレームグループに構成されるビデオシーケンスを圧縮のために受信するビデオ符号化器に用いるために、前記フレームを符号化するためにコンピュータ読取可能な記憶媒体に記憶されるよう設けられるコンピュータ実行可能な処理方法にも関するものである。当該処理方法は、所定数の連続分解能レベルを導く３次元（３Ｄ）波形変換による分解ステップと、各分解レベルにて行われる動き補償動作による動き補償ステップと、符号化ステップとを有し、当該動き補償ステップは、ブロックに小分割されるマクロブロックに分割されるフレームに適用され、連続したフレームグループの各々につき、
（Ａ）動き推定を伴うことなく現フレームグループ（ＧＯＦ）を時間的高域フィルタ処理を行うサブステップと、
（Ｂ）その後に動き補償時間的フィルタ処理を当該フレームグループ（ＧＯＦ）に施すサブステップと、
を有し、
前記時間的フィルタ処理は、
（１）得られた高周波数時間的サブバンドの各マクロブロックにつき、その平均２乗誤差（ＭＳＥ）をサブバンド全体の値と比較し当該サブバンド全体の平均２乗誤差（ＭＳＥ）よりも大なる平均２乗誤差（ＭＳＥ）を有するマクロブロックにのみフラグを割り当てる動作と、
（２）前記フレームグループ（ＧＯＦ）のフレームの各組につき、フラグを有するマクロブロックの各ブロックに対してのブロックベース動き推定とフラグを有しないマクロブロックに対してのマクロブロックベース動き推定とを行う動作と、
（３）当該最後の動き補償サブステップに応じて、
（ａ）フラグを有するマクロブロックについては、絶対差の総和（ＳＡＤ）の最小値に基づき、マクロブロック及びブロック動きベクトルについての最終判定に応じた動きベクトル
（ｂ）フラグを有しないマクロブロックについては、当該マクロブロックベース動き推定に応じた動きベクトル
を選択する動作と、を有する、ものとしている。
【００１３】
【発明の実施の形態】
以下、本発明を添付図面に基づいて例示によって説明する。
【００１４】
本発明による符号化方法において実現される技術的解決手段は、ブロック又はマクロブロック判定においてダイナミックな事前選択基準を導入することからなり、これにより、図１にそれぞれ示される２つのモードのうちの１つを、動きベクトルを選ぶために選択することが可能になる。ビデオ情報の時間的サブバンド分解による分解プロセスは、図２に示される。動き補償を伴う分解は、Ｆ１ないしＦ８に参照されるフレームグループ（グループ・オブ・フレーム：ＧＯＦ）に対して行われ、各ＧＯＦの入力ビデオは、先ず動き補償（ＭＣ）が施され、それからハ−ル波（Ｈａａｒ ｗａｖｅｌｅｔｓ）を用いて時間系フィルタ処理（ｔｅｍｐｏｒａｌｌｙ ｆｉｌｔｅｒｉｎｇ：ＴＦ）が施される（点線の矢印は高域通過型時間系フィルタリングに対応し、他のものは低域通過型時間系フィルタリングに対応する）。図２には３段階の分解が示されている（Ｌ及びＨ＝第１段階、ＬＬ及びＬＨ＝第２段階、ＬＬＬ及びＬＬＨ＝第３段階）。この場合、時間系フィルタリング動作は、動き推定及び補償を伴うことなく（すなわち、図２においてＭＣとして参照される動作は行わず）当該入力グループのフレームに対して先ず行われ、動きベクトルは、任意にゼロに設定され、この動作によって、高周波数時間系サブバンドをもたらすことになる（画像の殆どの部分は、２つの連続したオリジナルのフレームＩｔ−１，Ｉｔの間では概して静止したものでありこの結果細かな動き推定を必要としない）。そして、本提案の事前選択基準は、この高周波数の時間的にフィルタ処理されたサブバンドのエネルギーに基づいている。２乗平均誤差（ＭＳＥ）は、このようなサブバンドの１６×１６画素マクロブロック毎に計算される。そして、当該サブバンド全体のＭＳＥよりも大なるＭＳＥを有するマクロブロックについて、換言すれば強い動きの作用を持つ画像の領域を表わすマクロブロックについて、ブロック判定（本例においては８×８判定）を可能とするフラグが設定される。図３の例に示されるように、８×８判定マップは、こうして得られる（×印によって指定される）８×８画素ブロックベース動き推定フラグの全てに基づいて構成される。すなわち、かかるフラグが割り当てられるマクロブロックだけが８×８画素ブロックで推定されることになる。
【００１５】
８×８判定マップの形式のこの付加的情報により、当該入力ＧＯＦに対し、その後に改変型動き補償時間系フィルタリング処理が行われる。オリジナルフレームの各組（Ｉｔ―１，Ｉｔ）に対し、当該８×８判定マップに応じた８×８又は１６×１６画素ＢＭＡで動き推定が行われる。８×８画素ＢＭＡが適用されるマクロブロックに対しては、１６×１６画素ブロック動きベクトルと８×８画素動きベクトルとについての最終判定が同じに保たれる。これは、Ｎ×Ｎ画素（マクロ）ブロックでは
【数１】
に基づいている。ここで（ｍ，ｎ）は、当該（マクロ）ブロックの動きベクトルであり、Ｉｔ−１，Ｉｔは、それぞれ時刻ｔ−１での基準（参照）画像及び時刻ｔにおける現在画像の輝度関数である。最後に、保持される動き相当値は、最小ＳＡＤを与えるものである。
【００１６】
試験によって、８×８判定フラグは、いずれの方法でも最終判定中において８×８画素ＢＭＡにより計算されたものとなりうるマクロブロックに設定されることが示された。これらマクロブロックの最終的な数は、典型的な動き補償時間系フィルタリングによるよりも常に小さい。最終的な画像においては、動き解析及び予測に大きく依存する白及び黒領域は少ししかない。１６×１６画素ＢＭＡのみが８×８判定マップの成り行きとして処理される他のマクロブロックに対しては、役に立たない８×８画素ＢＭＡは用いられず、これにより動き推定動作の計算上の複雑さが軽減される（動き推定を伴うことなく時間フィルタ処理される高周波数時間系サブバンドの追加の計算と８×８判定マップとに対応する負荷は実に小さいものとみなすことができる）。
【００１７】
本発明によるビデオ符号化法の全体的なフローチャートは、図４に示される。ＧＯＦにより構成される入力ビデオ信号は、先ず時間解析段４０により受信される。かかる解析段（ＦＷＭＣ）は、動き計算を伴うことなく時間系フィルタ処理ステップ４１を実行するために設けられており、その後は、当該８×８判定マップが構成されるステップ（ＤＭＣ）４２が行われる。この情報に基づいて、８×８又は１６×１６画素ＢＭＡでの動き推定（ＥＳＴ）４３が行われ、そしてこの動き推定により、当該入力ビデオ信号（現ＧＯＦ）に対し動き補償を含む改変型時間系フィルタ処理ステップ（ＭＣＴＦ）４４を実行することを可能にしている。典型的な符号化法にあるように、その後、このようにして得られた当該フィルタ処理された信号に対して、解析ステップ（ＳＰＡ）４５（例えば、ＤＣＴ変換及び量子化ステップを行うステップ）が行われ、空間解析の後に符号化ステップ（ＣＯＤ）４６が続き、その処理された入力ビデオ信号及び動き推定ステップ４３によって得られた動きベクトルの符号化動作が行われる。これら符号化された信号は、その後にチャネル５０に伝送され又は記憶される。
【００１８】
かかるフローチャートの各ステップを実行するビデオ符号化器は、連続したフレームグループ（ＧＯＦ）により構成されるビデオシーケンスに対応する入力フレーム信号が、その入力信号の周波数スペクトルを階層的に複数の周波数帯域に分割するようサブバンドに周波数分割され、当該シーケンスのフレーム間における動き補償動作の後に伝送又は記憶動作を考慮した可変長符号化されるようなタイプのものとすることもできる。このような符号化器においては、それら自身ブロックに小分割されるマクロブロックに分割されるフレームに適用される動き補償ステップは、各連続したＧＯＦにつき、
（Ａ）動き推定及び補償を伴うことなく現フレームグループを時間的に高域フィルタ処理を行うサブステップと、
（Ｂ）その後に動き補償時間的フィルタ処理を当該フレームグループに施すサブステップと、
を有し、
前記時間的フィルタ処理は、
（１）得られた高周波数時間的サブバンドの各マクロブロックにつき、その平均２乗誤差をサブバンド全体の値と比較し当該サブバンド全体の平均２乗誤差よりも大なる平均２乗誤差を有するマクロブロックにのみフラグを割り当てる動作と、
（２）前記フレームグループの各組につき、フラグを有するマクロブロックの各ブロックに対してのブロックベース動き推定とフラグを有しないマクロブロックに対してのマクロブロックベース動き推定とを行う動作と、
（３）当該最後の動き補償サブステップに応じて、
（ａ）フラグを有するマクロブロックについては、絶対差の最小の総和に基づき、マクロブロック及びブロック動きベクトルについての最終判定に応じた動きベクトル
（ｂ）フラグを有しないマクロブロックについては、当該マクロブロックベース動き推定に応じた動きベクトル
を選択する動作と、を有する、
としている。
【００１９】
なお、本発明がここに説明した実施例に限定されないことは明らかである。本提案の時間的事前解析（処理）は、動き推定を考慮してＢＭＡを用いたいずれのビデオ圧縮にも適用可能である。どんなタイプの実施例についても、本発明による方法は、真の動きフィールドの必要性と符号化すべき結果として得られる動き情報のサイズとにつき良好にトレードオフすることができるのである。
【図面の簡単な説明】
【図１】同じマクロブロックの１６×１６画素についての１６×１６画素ブロック動きベクトルと８×８画素ブロック動きベクトルとの比較を示す図（それぞれこの図１の左側と右側に示される）。
【図２】本発明による符号化方法に用いられるような、動き推定及び補償を伴わない時間フィルタリングの原理を示す図（本例において得られる高周波時間サブバンド（ＬＬＨ，ＬＨ，Ｈ）がマクロブロック毎に８×８画素ブロックを基礎とする動き推定を必要とするか否かを判定するよう解析される）。
【図３】動き補償を伴わない時間フィルタリングステップの後に得られる高周波時間サブバンドの解析から推測される８×８判定マップの一例を示す図。
【図４】本発明による符号化方法の包括的フローチャート。
【発明の属する技術分野】
本発明は、連続したフレームグループ（グループ・オブ・フレーム：ＧＯＦ）により構成されるビデオシーケンスの圧縮のための符号化方法であって、所定数の連続分解能レベルを導く３次元（３Ｄ）波形変換による分解ステップと、各分解レベルにて行われる動き補償動作による動き補償ステップと、符号化ステップとを有する符号化方法に関する。
【０００２】
本発明はまた、この符号化方法の実現に際してコンピュータが実行可能な処理ステップにより構成されコンピュータが読み取り可能な記憶媒体に記憶される命令のセットにも、当該符号化方法又は処理ステップの実現によって得られる符号化された信号にも関する。
【０００３】
【従来の技術】
近年、２次元サブバンド符号化技術は、そのサブバンド分解において時間領域を含ませることによりビデオデータにまで拡張されるようになっている。提案された第１の方策は、例えば、“Ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ ｓｕｂｂａｎｄ ｖｉｄｅｏ ｃｏｄｉｎｇ ｏｆ ｖｉｄｅｏ”， ｂｙ Ｃ．Ｉ． Ｐｏｄｉｌｃｈｕｋ ａｎｄ ａｌ．， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ， ｖｏｌ．４， ｐｐ．１２５−１３９， Ｆｅｂ． １９９５ に記述されているようなものがある。かかる方策は、動きの小さい場合にはその信号エネルギーが低周波数の時間的サブバンド（又は近似サブバンド）にかなり集中するという事実の効果を利用して、動き補償を行っていない。動き補償を伴わないこのような符号化手法は、計算上複雑でなく、人工的な動き（ぼかしを除く）もあまりなく、又はエラーの伝搬も制限される、といった幾つかの利点を持っている。しかしながら、変位の大きい対象物の場合においては、空間周波数は、当該時間軸に沿って分散し、高い周波数の時間サブバンド（又は詳細サブバンド）は高いエネルギーを含んでいる。さらに、低い時間サブバンドは、ぼやける可能性が非常に高く、これが時間的スケーラビリティが目標設定される場合の大きな欠点になる（単一の符号化ビットストリームから倍数フレームレートを有するビデオの生成）。
【０００４】
したがって、動き推定及び動き補償は、高効率スケーラブルビデオ符号化法の構成において主要な構成要素と考えることができる。既知の動き補償サブバンド符号化法は、ブロックを基礎とする動き推定を実施するものである。かかるブロックマッチングアルゴリズム（ｂｌｏｃｋ ｍａｔｃｈｉｎｇ ａｌｇｏｒｉｔｈｍ）すなわちＢＭＡの原理は、例えば“ＭＰＥＧ ｖｉｄｅｏ ｃｏｄｉｎｇ： ａ ｂａｓｉｃ ｔｕｔｏｒｉａｌ ｉｎｔｒｏｄｕｃｔｉｏｎ”， ｂｙ Ｓ．Ｒ．Ｅｌｙ， Ｒｅｓｅａｒｃｈ ａｎｄ Ｄｅｖｅｌｏｐｍｅｎｔ Ｒｅｐｏｒｔ， ＢＢＣ−ＲＤ−１９９６／３ に記述されている。ここでは現画像Ｉｔにおける各ブロックが参照（基準）画像Ｉｔ−１におけるサーチ領域とマッチされ、同じブロックに属する全ピクセルにおいて分散される保持された動きベクトルは、測定ウィンドウ内において絶対差の総和により測定される最も高い相関性をもたらすものと対応する。
【０００５】
他にも方法があり、例えば、可変サイズブロックを基礎とする動き推定を含み又は比較的高密度のほぼ連続した動きフィールドを発生する方法があるが、これ以外にも方法がある。動き解析の正確さは、さらに符号化されることになる低フレームレートのサブバンドを動き補償フィルタリング動作が提供するので重要である。したがって、これらサブバンドにおける動きアーティファクトは復元される低フレームレートのビデオの品質を損わせてしまうことになる。動き推定及び補償技術の主たる対照的な要件は、テクスチャ符号化のために利用可能なビット仕様又はビットバジェットを激減させないよう動き情報コスト（予測誤差及び動きパラメータ）を多少低くしたまま良好な時間的予測（真の動き）を提供することである。
【０００６】
固定サイズブロックを基礎とする動き推定が用いられる場合には、大抵、２種類の動きベクトルが発生される。例えば、１６×１６画素のマクロブロックの場合、１つ又は４つの動きベクトル（当該マクロブロック内の４つの８×８画素ブロックの各々につき１つ）を生成することができる。すなわち、図１の左の図は、４つのブロックが同じ動きベクトル（１６×１６画素のマクロブロック動きベクトル）を共有する第１の例に対応し、その右の図は、４つの８×８画素ブロックの各々がそれ自身の所有する動きベクトル（８×８画素ブロック動きベクトル）を有する第２の例に対応する。これら２つのモードの決定は、例えば基準フレームからの動き予測マクロブロックと予測すべき現フレームにおけるオリジナルのマクロブロックとの間の絶対差の合計（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ）によって与えられる歪みを見ることにより行われるのが普通である。８×８画素ブロックがより良い動きフィールドを普通に生成すると、これらは１６×１６画素マクロブロックの４倍ほどの符号化され伝送されなければならない動きベクトルを発生する。これにより、低いビットレートの応用例の場合にテクスチャに損失を与えて相当な情報コストを招来する。
【０００７】
【発明が解決しようとする課題】
よって本発明の目的は、動きベクトル情報をテクスチャ情報と比較して合理的に少量に保つ、低ビットレートビデオ符号化に適した方法を提案することである。
【０００８】
本発明の他の目的は、ビデオシーケンスを符号化することのできるコンピュータ上で実行可能な処理ステップにより構成されコンピュータ読み取り可能な記憶媒体に記憶される命令のセットを提案することである。
【０００９】
【課題を解決するための手段】
このため、本発明は、本文の序文に記載したような符号化方法に関し、さらに、当該動き補償ステップは、ブロックに小分割されるマクロブロックに分割されるフレームに適用され、連続したフレームグループの各々につき、
（Ａ）動き推定及び補償を伴うことなく現フレームグループ（ＧＯＦ）を時間的に高域フィルタ処理を行うサブステップと、
（Ｂ）その後に動き補償時間的フィルタ処理を当該フレームグループ（ＧＯＦ）に施すサブステップと、
を有し、
前記時間的フィルタ処理は、
（１）得られた高周波数時間的サブバンドの各マクロブロックにつき、その平均２乗誤差（ＭＳＥ）をサブバンド全体の値と比較し当該サブバンド全体の平均２乗誤差（ＭＳＥ）よりも大なる平均２乗誤差（ＭＳＥ）を有するマクロブロックにのみフラグを割り当てる動作と、
（２）前記フレームグループ（ＧＯＦ）の各組につき、フラグを有するマクロブロックの各ブロックに対してのブロックベース動き推定とフラグを有しないマクロブロックに対してのマクロブロックベース動き推定とを行う動作と、
（３）当該最後の動き補償サブステップに応じて、
（ａ）フラグを有するマクロブロックについては、絶対差の総和（ＳＡＤ：ｓｕｍ ｏｆ ａｂｓｏｌｕｔｅ ｄｉｆｆｅｒｅｎｃｅｓ）の最小値に基づき、マクロブロック及びブロック動きベクトルについての最終判定に応じた動きベクトル
（ｂ）フラグを有しないマクロブロックについては、当該マクロブロックベース動き推定に応じた動きベクトル
を選択する動作と、を有する、
ことを特徴としている。
【００１０】
この方法は、当該動き情報の網羅的な処理や、ましてや極めて精密な描写を必要としない画像の各部分を識別するよう、動き推定を伴うことなく得られる高周波数時間系サブバンドの暫時的解析を先んじて行うものである。そして、ブロックか又はマクロブロックかの動き推定の判定を強制するためにこの暫時的情報を考慮しつつ、動き推定及び補償が通常通り行われる。かかる判定基準は、高周波数の時間的にフィルタ処理されたサブバンドのエネルギーに基づいている。この判定により、
・比較的小さなブロックに関係した少数ブロックベース動き推定ステップを許容し又は可能にすることによる動き推定の計算負荷の軽減
・符号化すべき動きベクトルの数を減らすことによる当該テクスチャ符号化のビット仕様（ビットバジェット）の拡大
をもたらす。
【００１１】
このように提案される技術的解決手段により、真の動きフィールドを必要としない画像領域すなわち不動領域において、当該小ブロックでのより細かい動き解析を必要とする領域（例えば動く対象の境界）の処理を変えることなくテクスチャ用にたくさんのビットを割り当てることが可能になる。
【００１２】
上記他の目的のため、本発明は、連続したフレームグループに構成されるビデオシーケンスを圧縮のために受信するビデオ符号化器に用いるために、前記フレームを符号化するためにコンピュータ読取可能な記憶媒体に記憶されるよう設けられるコンピュータ実行可能な処理方法にも関するものである。当該処理方法は、所定数の連続分解能レベルを導く３次元（３Ｄ）波形変換による分解ステップと、各分解レベルにて行われる動き補償動作による動き補償ステップと、符号化ステップとを有し、当該動き補償ステップは、ブロックに小分割されるマクロブロックに分割されるフレームに適用され、連続したフレームグループの各々につき、
（Ａ）動き推定を伴うことなく現フレームグループ（ＧＯＦ）を時間的高域フィルタ処理を行うサブステップと、
（Ｂ）その後に動き補償時間的フィルタ処理を当該フレームグループ（ＧＯＦ）に施すサブステップと、
を有し、
前記時間的フィルタ処理は、
（１）得られた高周波数時間的サブバンドの各マクロブロックにつき、その平均２乗誤差（ＭＳＥ）をサブバンド全体の値と比較し当該サブバンド全体の平均２乗誤差（ＭＳＥ）よりも大なる平均２乗誤差（ＭＳＥ）を有するマクロブロックにのみフラグを割り当てる動作と、
（２）前記フレームグループ（ＧＯＦ）のフレームの各組につき、フラグを有するマクロブロックの各ブロックに対してのブロックベース動き推定とフラグを有しないマクロブロックに対してのマクロブロックベース動き推定とを行う動作と、
（３）当該最後の動き補償サブステップに応じて、
（ａ）フラグを有するマクロブロックについては、絶対差の総和（ＳＡＤ）の最小値に基づき、マクロブロック及びブロック動きベクトルについての最終判定に応じた動きベクトル
（ｂ）フラグを有しないマクロブロックについては、当該マクロブロックベース動き推定に応じた動きベクトル
を選択する動作と、を有する、ものとしている。
【００１３】
【発明の実施の形態】
以下、本発明を添付図面に基づいて例示によって説明する。
【００１４】
本発明による符号化方法において実現される技術的解決手段は、ブロック又はマクロブロック判定においてダイナミックな事前選択基準を導入することからなり、これにより、図１にそれぞれ示される２つのモードのうちの１つを、動きベクトルを選ぶために選択することが可能になる。ビデオ情報の時間的サブバンド分解による分解プロセスは、図２に示される。動き補償を伴う分解は、Ｆ１ないしＦ８に参照されるフレームグループ（グループ・オブ・フレーム：ＧＯＦ）に対して行われ、各ＧＯＦの入力ビデオは、先ず動き補償（ＭＣ）が施され、それからハ−ル波（Ｈａａｒ ｗａｖｅｌｅｔｓ）を用いて時間系フィルタ処理（ｔｅｍｐｏｒａｌｌｙ ｆｉｌｔｅｒｉｎｇ：ＴＦ）が施される（点線の矢印は高域通過型時間系フィルタリングに対応し、他のものは低域通過型時間系フィルタリングに対応する）。図２には３段階の分解が示されている（Ｌ及びＨ＝第１段階、ＬＬ及びＬＨ＝第２段階、ＬＬＬ及びＬＬＨ＝第３段階）。この場合、時間系フィルタリング動作は、動き推定及び補償を伴うことなく（すなわち、図２においてＭＣとして参照される動作は行わず）当該入力グループのフレームに対して先ず行われ、動きベクトルは、任意にゼロに設定され、この動作によって、高周波数時間系サブバンドをもたらすことになる（画像の殆どの部分は、２つの連続したオリジナルのフレームＩｔ−１，Ｉｔの間では概して静止したものでありこの結果細かな動き推定を必要としない）。そして、本提案の事前選択基準は、この高周波数の時間的にフィルタ処理されたサブバンドのエネルギーに基づいている。２乗平均誤差（ＭＳＥ）は、このようなサブバンドの１６×１６画素マクロブロック毎に計算される。そして、当該サブバンド全体のＭＳＥよりも大なるＭＳＥを有するマクロブロックについて、換言すれば強い動きの作用を持つ画像の領域を表わすマクロブロックについて、ブロック判定（本例においては８×８判定）を可能とするフラグが設定される。図３の例に示されるように、８×８判定マップは、こうして得られる（×印によって指定される）８×８画素ブロックベース動き推定フラグの全てに基づいて構成される。すなわち、かかるフラグが割り当てられるマクロブロックだけが８×８画素ブロックで推定されることになる。
【００１５】
８×８判定マップの形式のこの付加的情報により、当該入力ＧＯＦに対し、その後に改変型動き補償時間系フィルタリング処理が行われる。オリジナルフレームの各組（Ｉｔ―１，Ｉｔ）に対し、当該８×８判定マップに応じた８×８又は１６×１６画素ＢＭＡで動き推定が行われる。８×８画素ＢＭＡが適用されるマクロブロックに対しては、１６×１６画素ブロック動きベクトルと８×８画素動きベクトルとについての最終判定が同じに保たれる。これは、Ｎ×Ｎ画素（マクロ）ブロックでは
【数１】
【００１６】
試験によって、８×８判定フラグは、いずれの方法でも最終判定中において８×８画素ＢＭＡにより計算されたものとなりうるマクロブロックに設定されることが示された。これらマクロブロックの最終的な数は、典型的な動き補償時間系フィルタリングによるよりも常に小さい。最終的な画像においては、動き解析及び予測に大きく依存する白及び黒領域は少ししかない。１６×１６画素ＢＭＡのみが８×８判定マップの成り行きとして処理される他のマクロブロックに対しては、役に立たない８×８画素ＢＭＡは用いられず、これにより動き推定動作の計算上の複雑さが軽減される（動き推定を伴うことなく時間フィルタ処理される高周波数時間系サブバンドの追加の計算と８×８判定マップとに対応する負荷は実に小さいものとみなすことができる）。
【００１７】
本発明によるビデオ符号化法の全体的なフローチャートは、図４に示される。ＧＯＦにより構成される入力ビデオ信号は、先ず時間解析段４０により受信される。かかる解析段（ＦＷＭＣ）は、動き計算を伴うことなく時間系フィルタ処理ステップ４１を実行するために設けられており、その後は、当該８×８判定マップが構成されるステップ（ＤＭＣ）４２が行われる。この情報に基づいて、８×８又は１６×１６画素ＢＭＡでの動き推定（ＥＳＴ）４３が行われ、そしてこの動き推定により、当該入力ビデオ信号（現ＧＯＦ）に対し動き補償を含む改変型時間系フィルタ処理ステップ（ＭＣＴＦ）４４を実行することを可能にしている。典型的な符号化法にあるように、その後、このようにして得られた当該フィルタ処理された信号に対して、解析ステップ（ＳＰＡ）４５（例えば、ＤＣＴ変換及び量子化ステップを行うステップ）が行われ、空間解析の後に符号化ステップ（ＣＯＤ）４６が続き、その処理された入力ビデオ信号及び動き推定ステップ４３によって得られた動きベクトルの符号化動作が行われる。これら符号化された信号は、その後にチャネル５０に伝送され又は記憶される。
【００１８】
かかるフローチャートの各ステップを実行するビデオ符号化器は、連続したフレームグループ（ＧＯＦ）により構成されるビデオシーケンスに対応する入力フレーム信号が、その入力信号の周波数スペクトルを階層的に複数の周波数帯域に分割するようサブバンドに周波数分割され、当該シーケンスのフレーム間における動き補償動作の後に伝送又は記憶動作を考慮した可変長符号化されるようなタイプのものとすることもできる。このような符号化器においては、それら自身ブロックに小分割されるマクロブロックに分割されるフレームに適用される動き補償ステップは、各連続したＧＯＦにつき、
（Ａ）動き推定及び補償を伴うことなく現フレームグループを時間的に高域フィルタ処理を行うサブステップと、
（Ｂ）その後に動き補償時間的フィルタ処理を当該フレームグループに施すサブステップと、
を有し、
前記時間的フィルタ処理は、
（１）得られた高周波数時間的サブバンドの各マクロブロックにつき、その平均２乗誤差をサブバンド全体の値と比較し当該サブバンド全体の平均２乗誤差よりも大なる平均２乗誤差を有するマクロブロックにのみフラグを割り当てる動作と、
（２）前記フレームグループの各組につき、フラグを有するマクロブロックの各ブロックに対してのブロックベース動き推定とフラグを有しないマクロブロックに対してのマクロブロックベース動き推定とを行う動作と、
（３）当該最後の動き補償サブステップに応じて、
（ａ）フラグを有するマクロブロックについては、絶対差の最小の総和に基づき、マクロブロック及びブロック動きベクトルについての最終判定に応じた動きベクトル
（ｂ）フラグを有しないマクロブロックについては、当該マクロブロックベース動き推定に応じた動きベクトル
を選択する動作と、を有する、
としている。
【００１９】
なお、本発明がここに説明した実施例に限定されないことは明らかである。本提案の時間的事前解析（処理）は、動き推定を考慮してＢＭＡを用いたいずれのビデオ圧縮にも適用可能である。どんなタイプの実施例についても、本発明による方法は、真の動きフィールドの必要性と符号化すべき結果として得られる動き情報のサイズとにつき良好にトレードオフすることができるのである。
【図面の簡単な説明】
【図１】同じマクロブロックの１６×１６画素についての１６×１６画素ブロック動きベクトルと８×８画素ブロック動きベクトルとの比較を示す図（それぞれこの図１の左側と右側に示される）。
【図２】本発明による符号化方法に用いられるような、動き推定及び補償を伴わない時間フィルタリングの原理を示す図（本例において得られる高周波時間サブバンド（ＬＬＨ，ＬＨ，Ｈ）がマクロブロック毎に８×８画素ブロックを基礎とする動き推定を必要とするか否かを判定するよう解析される）。
【図３】動き補償を伴わない時間フィルタリングステップの後に得られる高周波時間サブバンドの解析から推測される８×８判定マップの一例を示す図。
【図４】本発明による符号化方法の包括的フローチャート。
Claims (6)
- 所定数の連続分解能レベルを導く３次元波形変換による分解ステップと、各分解レベルにて行われる動き補償動作による動き補償ステップと、符号化ステップとを有し、連続したフレームグループにより構成されるビデオシーケンスの圧縮のための符号化方法であって、
当該動き補償ステップは、ブロックに小分割されるマクロブロックに分割されるフレームに適用され、連続したフレームグループの各々につき、
（Ａ）動き推定及び補償を伴うことなく現フレームグループを時間的に高域フィルタ処理を行うサブステップと、
（Ｂ）その後に動き補償時間的フィルタ処理を当該フレームグループに施すサブステップと、
を有し、
前記時間的フィルタ処理は、
（１）得られた高周波数時間的サブバンドの各マクロブロックにつき、その平均２乗誤差をサブバンド全体の値と比較し当該サブバンド全体の平均２乗誤差よりも大なる平均２乗誤差を有するマクロブロックにのみフラグを割り当てる動作と、
（２）前記フレームグループの各組につき、フラグを有するマクロブロックの各ブロックに対してのブロックベース動き推定とフラグを有しないマクロブロックに対してのマクロブロックベース動き推定とを行う動作と、
（３）当該最後の動き補償サブステップに応じて、
（ａ）フラグを有するマクロブロックについては、絶対差の最小の総和に基づき、マクロブロック及びブロック動きベクトルについての最終判定に応じた動きベクトル
（ｂ）フラグを有しないマクロブロックについては、当該マクロブロックベース動き推定に応じた動きベクトル
を選択する動作と、を有する、
符号化方法。 - 請求項１に記載の符号化方法であって、前記マクロブロックは、１６×１６画素のサイズを有し、前記ブロックは、８×８画素のサイズを有する、符号化方法。
- 連続するフレームグループに構成されるビデオシーケンスに対応する入力フレーム信号を、複数の周波数帯域に当該入力信号の周波数スペクトルを階層的に分割するようサブバンドに周波数分割し、当該シーケンスのフレーム間における動き補償動作の後に伝送又は記憶動作に応じて可変長符号化するビデオ符号化器であって、
当該動き補償ステップは、ブロックに小分割されるマクロブロックに分割されるフレームに適用され、連続したフレームグループの各々につき、
（Ａ）動き推定及び補償を伴うことなく現フレームグループを時間的高域フィルタ処理を行うサブステップと、
（Ｂ）その後に動き補償時間的フィルタ処理を当該フレームグループに施すサブステップと、
を有し、
前記時間的フィルタ処理は、
（１）得られた高周波数時間的サブバンドの各マクロブロックにつき、その平均２乗誤差をサブバンド全体の値と比較し当該サブバンド全体の平均２乗誤差よりも大なる平均２乗誤差を有するマクロブロックにのみフラグを割り当てる動作と、
（２）前記フレームグループの各組につき、フラグを有するマクロブロックの各ブロックに対してのブロックベース動き推定とフラグを有しないマクロブロックに対してのマクロブロックベース動き推定とを行う動作と、
（３）当該最後の動き補償サブステップに応じて、
（ａ）フラグを有するマクロブロックについては、絶対差の最小の総和に基づき、マクロブロック及びブロック動きベクトルについての最終判定に応じた動きベクトル
（ｂ）フラグを有しないマクロブロックについては、当該マクロブロックベース動き推定に応じた動きベクトル
を選択する動作と、
を有する、
ビデオ符号化器。 - 連続したフレームグループに構成されるビデオシーケンスをその圧縮に応じて受信するビデオ符号化器に用いるために、前記フレームを符号化するためにコンピュータ読取可能な記憶媒体に記憶されるよう設けられるコンピュータ実行可能な処理方法であって、当該処理方法は、所定数の連続分解能レベルを導く３次元波形変換による分解ステップと、各分解レベルにて行われる動き補償動作による動き補償ステップと、符号化ステップとを有し、当該動き補償ステップは、ブロックに小分割されるマクロブロックに分割されるフレームに適用され、連続したフレームグループの各々につき、
（Ａ）動き推定及び補償を伴うことなく現フレームグループを時間的高域フィルタ処理を行うサブステップと、
（Ｂ）その後に動き補償時間的フィルタ処理を当該フレームグループに施すサブステップと、
を有し、
前記時間的フィルタ処理は、
（１）得られた高周波数時間的サブバンドの各マクロブロックにつき、その平均２乗誤差をサブバンド全体の値と比較し当該サブバンド全体の平均２乗誤差よりも大なる平均２乗誤差を有するマクロブロックにのみフラグを割り当てる動作と、
（２）前記フレームグループのフレームの各組につき、フラグを有するマクロブロックの各ブロックに対してのブロックベース動き推定とフラグを有しないマクロブロックに対してのマクロブロックベース動き推定とを行う動作と、
（３）当該最後の動き補償サブステップに応じて、
（ａ）フラグを有するマクロブロックについては、絶対差の最小の総和に基づき、マクロブロック及びブロック動きベクトルについての最終判定に応じた動きベクトル
（ｂ）フラグを有しないマクロブロックについては、当該マクロブロックベース動き推定に応じた動きベクトル
を選択する動作と、を有する、
処理方法。 - 連続したフレームグループに構成されるビデオシーケンスをその圧縮に応じて受信するビデオ符号化器のためのコンピュータプログラムであって、前記符号化器へのロードがなされた場合に請求項４に記載の処理方法を実行するように当該符号器を指示する命令のセットを有する、プログラム。
- 符号化方法により、連続したフレームグループに構成されるビデオシーケンスを圧縮することにより生成される伝送可能な符号化信号であって、当該符号化方法は、所定数の連続分解能レベルを導く３次元波形変換による分解ステップと、各分解レベルにて行われる動き補償動作による動き補償ステップと、符号化ステップとを有し、当該動き補償ステップは、ブロックに小分割されるマクロブロックに分割されるフレームに適用され、連続したフレームグループの各々につき、
（Ａ）動き推定を伴うことなく現フレームグループを時間的に高域フィルタ処理を行うサブステップと、
（Ｂ）その後に動き補償時間的フィルタ処理を当該フレームグループに施すサブステップと、
を有し、
前記時間的フィルタ処理は、
（１）得られた高周波数時間的サブバンドの各マクロブロックにつき、その平均２乗誤差をサブバンド全体の値と比較し当該サブバンド全体の平均２乗誤差よりも大なる平均２乗誤差を有するマクロブロックにのみフラグを割り当てる動作と、
（２）前記フレームグループのフレームの各組につき、フラグを有するマクロブロックの各ブロックに対してのブロックベース動き推定とフラグを有しないマクロブロックに対してのマクロブロックベース動き推定とを行う動作と、
（３）当該最後の動き補償サブステップに応じて、
（ａ）フラグを有するマクロブロックについては、絶対差の最小の総和に基づき、マクロブロック及びブロック動きベクトルについての最終判定に応じた動きベクトル
（ｂ）フラグを有しないマクロブロックについては、当該マクロブロックベース動き推定に応じた動きベクトル
を選択する動作と、を有する、
符号化信号。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP00403220 | 2000-11-17 | ||
| PCT/EP2001/013160 WO2002041636A1 (en) | 2000-11-17 | 2001-11-12 | Video coding method using a block matching process |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004514351A true JP2004514351A (ja) | 2004-05-13 |
| JP2004514351A5 JP2004514351A5 (ja) | 2005-12-22 |
Family
ID=8173944
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002543232A Pending JP2004514351A (ja) | 2000-11-17 | 2001-11-12 | ブロックマッチング処理を用いたビデオ符号化方法 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US6954500B2 (ja) |
| EP (1) | EP1338148A1 (ja) |
| JP (1) | JP2004514351A (ja) |
| KR (1) | KR20020077884A (ja) |
| CN (1) | CN1201590C (ja) |
| WO (1) | WO2002041636A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014179918A (ja) * | 2013-03-15 | 2014-09-25 | Canon Inc | 動画像符号化装置、その制御方法、及び撮像装置 |
Families Citing this family (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005516494A (ja) * | 2002-01-22 | 2005-06-02 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ドリフトフリー映像符合化及び復号化方法並びに対応する装置 |
| JP3831846B2 (ja) * | 2003-06-09 | 2006-10-11 | 富士電機デバイステクノロジー株式会社 | 半導体装置の製造方法 |
| KR100574523B1 (ko) * | 2003-07-31 | 2006-04-27 | 삼성전자주식회사 | 움직임 타입 판단 장치 및 방법 |
| WO2005020587A1 (en) * | 2003-08-26 | 2005-03-03 | Samsung Electronics Co., Ltd. | Adaptive interframe wavelet video coding method, computer readable recording medium and system therefor |
| KR100596706B1 (ko) * | 2003-12-01 | 2006-07-04 | 삼성전자주식회사 | 스케일러블 비디오 코딩 및 디코딩 방법, 이를 위한 장치 |
| KR100994773B1 (ko) | 2004-03-29 | 2010-11-16 | 삼성전자주식회사 | 계층적 움직임 추정에 있어서 움직임 벡터 생성 방법 및장치 |
| CN100373952C (zh) * | 2004-06-15 | 2008-03-05 | 中兴通讯股份有限公司 | 一种基于mpeg-4的视频对象快速运动估值方法 |
| DE102004031407A1 (de) * | 2004-06-29 | 2006-01-26 | Siemens Ag | Verfahren zur Bildencodierung einer Folge von Originalbildern, sowie dazugehöriges Bilddecodierverfahren, Encodiervorrichtung und Decodiervorrichtung |
| EP1766997B1 (fr) * | 2004-07-13 | 2020-03-25 | Orange | Procédé et dispositif de codage d'une sequence d'images vidéo en coefficients de sous-bandes de fréquences de differentes resolutions spatiales |
| WO2006016028A1 (fr) * | 2004-07-13 | 2006-02-16 | France Telecom S.A. | Procede et dispositif de codage d’une sequence d’images video |
| ITMI20041971A1 (it) * | 2004-10-15 | 2005-01-15 | Uni Degli Studi Brescia | Metodo di codifica video scalabile |
| WO2006043754A1 (en) * | 2004-10-21 | 2006-04-27 | Samsung Electronics Co., Ltd. | Video coding method and apparatus supporting temporal scalability |
| WO2006080665A1 (en) * | 2004-10-21 | 2006-08-03 | Samsung Electronics Co., Ltd. | Video coding method and apparatus |
| KR100664932B1 (ko) * | 2004-10-21 | 2007-01-04 | 삼성전자주식회사 | 비디오 코딩 방법 및 장치 |
| KR100807094B1 (ko) * | 2005-01-14 | 2008-02-26 | 주식회사 휴맥스 | 조명 변화에 대한 적응적 움직임 예측/보상 장치 및 방법 |
| WO2006078141A1 (en) * | 2005-01-21 | 2006-07-27 | Lg Electronics Inc. | Method and apparatus for encoding/decoding video signal using block prediction information |
| KR100913088B1 (ko) * | 2005-01-21 | 2009-08-21 | 엘지전자 주식회사 | 베이스 레이어의 내부모드 블록의 예측정보를 이용하여영상신호를 엔코딩/디코딩하는 방법 및 장치 |
| US7706440B2 (en) * | 2005-02-08 | 2010-04-27 | Hong Kong Applied Science And Technology Research Institute Co., Ltd. | Method for reducing bit rate requirements for encoding multimedia data |
| KR100755689B1 (ko) * | 2005-02-14 | 2007-09-05 | 삼성전자주식회사 | 계층적 시간적 필터링 구조를 갖는 비디오 코딩 및 디코딩방법, 이를 위한 장치 |
| WO2006085725A1 (en) * | 2005-02-14 | 2006-08-17 | Samsung Electronics Co., Ltd. | Video coding and decoding methods with hierarchical temporal filtering structure, and apparatus for the same |
| US7830961B2 (en) * | 2005-06-21 | 2010-11-09 | Seiko Epson Corporation | Motion estimation and inter-mode prediction |
| US20070014365A1 (en) * | 2005-07-18 | 2007-01-18 | Macinnis Alexander | Method and system for motion estimation |
| US7843995B2 (en) * | 2005-12-19 | 2010-11-30 | Seiko Epson Corporation | Temporal and spatial analysis of a video macroblock |
| US8170102B2 (en) * | 2005-12-19 | 2012-05-01 | Seiko Epson Corporation | Macroblock homogeneity analysis and inter mode prediction |
| US7569807B2 (en) * | 2006-08-22 | 2009-08-04 | Koninklijke Philips Electronics N.V. | Light source with photosensor light guide |
| US8218811B2 (en) | 2007-09-28 | 2012-07-10 | Uti Limited Partnership | Method and system for video interaction based on motion swarms |
| US8443275B2 (en) * | 2008-01-15 | 2013-05-14 | Texas Instruments Incorporated | Lossy compression technique for video encoder bandwidth reduction using compression error data |
| US8619861B2 (en) * | 2008-02-26 | 2013-12-31 | Microsoft Corporation | Texture sensitive temporal filter based on motion estimation |
| CN101662679B (zh) * | 2008-08-26 | 2011-12-21 | 华为技术有限公司 | 一种滤波的方法和装置 |
| US9344735B2 (en) | 2009-12-21 | 2016-05-17 | Tmm, Inc. | Progressive shape based encoding of video content within a swarm environment |
| US9118922B2 (en) * | 2009-12-30 | 2015-08-25 | TMM Inc. | Progressive encoding of video content within a swarm environment |
| US20150023436A1 (en) * | 2013-07-22 | 2015-01-22 | Texas Instruments Incorporated | Method and apparatus for noise reduction in video systems |
| CN107564544A (zh) * | 2016-06-30 | 2018-01-09 | 展讯通信（上海）有限公司 | 语音活动侦测方法及装置 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| SE458003B (sv) * | 1986-09-23 | 1989-02-13 | Torbjoern Kronander | Metod att representera roerliga bilder |
| JP2956464B2 (ja) * | 1993-12-29 | 1999-10-04 | 日本ビクター株式会社 | 画像情報圧縮伸長装置 |
| JP3855286B2 (ja) * | 1995-10-26 | 2006-12-06 | ソニー株式会社 | 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、並びに記録媒体 |
| EP1100260A1 (en) * | 1999-11-12 | 2001-05-16 | STMicroelectronics S.r.l. | Spatio-temporal filtering method for noise reduction during pre-processing of picture sequences in video encoders |
-
2001
- 2001-11-12 EP EP01996974A patent/EP1338148A1/en not_active Withdrawn
- 2001-11-12 JP JP2002543232A patent/JP2004514351A/ja active Pending
- 2001-11-12 CN CNB018150608A patent/CN1201590C/zh not_active Expired - Fee Related
- 2001-11-12 KR KR1020027009156A patent/KR20020077884A/ko not_active Application Discontinuation
- 2001-11-12 WO PCT/EP2001/013160 patent/WO2002041636A1/en not_active Application Discontinuation
- 2001-11-15 US US10/011,211 patent/US6954500B2/en not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014179918A (ja) * | 2013-03-15 | 2014-09-25 | Canon Inc | 動画像符号化装置、その制御方法、及び撮像装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20020110194A1 (en) | 2002-08-15 |
| KR20020077884A (ko) | 2002-10-14 |
| CN1201590C (zh) | 2005-05-11 |
| EP1338148A1 (en) | 2003-08-27 |
| CN1451238A (zh) | 2003-10-22 |
| US6954500B2 (en) | 2005-10-11 |
| WO2002041636A1 (en) | 2002-05-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2004514351A (ja) | ブロックマッチング処理を用いたビデオ符号化方法 | |
| US8665960B2 (en) | Real-time video coding/decoding | |
| KR101192026B1 (ko) | 소스 픽쳐의 시퀀스를 코딩하는 방법 또는 장치 | |
| CN100364338C (zh) | 估计图像噪声的方法和设备和消除噪声的方法 | |
| US8526488B2 (en) | Video sequence encoding system and algorithms | |
| EP0734177A2 (en) | Method and apparatus for encoding/decoding a video signal | |
| JPH08307874A (ja) | 映像信号符号化装置 | |
| CN108989802B (zh) | 一种利用帧间关系的hevc视频流的质量估计方法及系统 | |
| KR100597397B1 (ko) | 고속 움직임추정 알고리즘을 갖는 동영상 코딩방법 및 장치 | |
| JPH08265765A (ja) | イメージ符号化システムとこれに用いる動き補償装置 | |
| US20060193526A1 (en) | Video encoder with low complexity noise reduction | |
| KR100870554B1 (ko) | 웨이블릿 기반의 효율적인 스케일러블 비디오 부호화를위한 움직임 보상 시간적 필터링 방법 및 그 방법을실행하기 위한 프로그램이 기록된 기록매체 | |
| Hong et al. | Motion estimation and filtered prediction for dynamic point cloud attribute compression | |
| JPWO2013001720A1 (ja) | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 | |
| KR20160105127A (ko) | 시프팅 매트릭스를 이용한 dct 기반의 부화소 단위 움직임 예측 방법 | |
| CN113055670B (zh) | 一种基于hevc/h.265的视频编码的方法及系统 | |
| Padmanabhan et al. | A proficient wavelet–based video encoder through the motion estimation algorithm | |
| KR100203682B1 (ko) | 비트 발생량 조절기능을 갖는 영상 부호화 시스템 | |
| KR100207397B1 (ko) | 영상 부호화 시스템의 움직임 예측장치 및 방법 | |
| JP2625424B2 (ja) | テレビ信号符号化装置 | |
| Zoghlami et al. | High-level implementation of Video compression chain coding based on MCTF lifting scheme | |
| Chen et al. | Improved overlapped block motion compensation using adaptive weighting matrices design for 3D wavelet-based scalable video coding | |
| Shenolikar et al. | Motion estimation on DWT based image sequence | |
| CN116980613A (zh) | 一种应用于无人值守设备视频的安全压缩方法 | |
| Zhang et al. | A novel in-loop filtering mechanism of HEVC based on 3D sub-bands and CNN processing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20040909 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041111 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041111 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060627 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20061128 |