JP2011055536A - 画像デジタル化のシーケンスにおけるモーションを表わす方法および装置 - Google Patents

画像デジタル化のシーケンスにおけるモーションを表わす方法および装置 Download PDF

Info

Publication number
JP2011055536A
JP2011055536A JP2010252975A JP2010252975A JP2011055536A JP 2011055536 A JP2011055536 A JP 2011055536A JP 2010252975 A JP2010252975 A JP 2010252975A JP 2010252975 A JP2010252975 A JP 2010252975A JP 2011055536 A JP2011055536 A JP 2011055536A
Authority
JP
Japan
Prior art keywords
motion
field
resolution
motion vector
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2010252975A
Other languages
English (en)
Inventor
Miroslaw G Bober
ミロスロフ・ジー・ボーバー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric R&D Centre Europe BV Netherlands
Original Assignee
Mitsubishi Electric R&D Centre Europe BV Netherlands
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric R&D Centre Europe BV Netherlands filed Critical Mitsubishi Electric R&D Centre Europe BV Netherlands
Publication of JP2011055536A publication Critical patent/JP2011055536A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/008—Vector quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/94—Vector quantisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

【課題】符号化のためのモーションフィールドを効率よく表現することができるモーションを表わす方法を得る。
【解決手段】この発明に係る画像デジタル化のシーケンスにおけるモーションを表わす方法は、異なる解像度の複数のモーションベクトルフィールドのバージョンを生成して符号化する。具体的には、モーションベクトルフィールドの副標本をとってフィールドの副標本バージョンを第１の粗い解像度と第２のより細かい解像度で生成し、モーションベクトルフィールドの解像度の粗いバージョンを符号化し、解像度の粗いフィールドを解像度のより細かいフィールドと比較して見逃し誤りを生成し、そしてこの見逃し誤りをより細かい解像度で符号化する。
【選択図】図１

Description

本発明はデジタル化画像のシーケンスのためのモーションベクトルフィールドを符号化する方法および装置に関する。
デジタル化動画を圧縮するために動き補償の原理を使用するのは周知である。ＭＰＥＧ-１、ＭＰＥＧ-２、Ｈ２６３などの既知の方法の多くにおいて、動き補償はピクセルの正方形または長方形のブロックを使って行われ、そしてモーションベクトルが各ブロックに割り当てられる。例えば、ピクセルのブロック、通常には基準画像の制限された領域内で、１６×１６ブロックを先行する基準画像におけるブロックと比較するのは既知である。検討中の現行ブロックに非常に類似する基準画像におけるブロックは、最小平均二乗誤差のようなアルゴリズムを用いて得られ、そして対応するモーションベクトルは現行ブロックに関連する。このように、図７に示すような現行の画像における１６×１６ブロックは、個々のモーションベクトルに関連する。モーションベクトルは、フルペルまたはサブペル (通常、ハーフペルまたはクォータペル) の精度で続けて量子化されて、通常その結果は差別的に符号化される。
上記した既知の方法で単一モーションベクトルを画像内のピクセルのブロックに割り当てると、変換モーションを表わすのに有用である。しかし、予測アルゴリズムの性能を著しく制限し得る上述のタイプのブロックに基づく動き補償の方法には、多くの欠点がある。例えば、その方法は、簡単な変換運動より複雑な回転、スケールの変化のようなモーションを含む領域に対して十分に機能しない。また、ブロックに基づく予測は、例えば雲や人によって表わされるような柔らかいモーションに対して不満足である。さらに、ブロックに基づく方法はブロックに沿ってモーション境界を課し、ブロック内のモーション境界を正確に表わすことができない可能性がある。さらに加えて、再構築された画像は、特にモーション境界がブロックを横切っている状態では、“濃淡のむらがある”アーティファクトを現す可能性がある。
そのような問題を軽減するために、いくつかの方法では、パラメータモーションモデルを備えた可変ブロックサイズ動き補償を採用している(変換モデルに加えて準アフィンモーションモデルおよびアフィンモーションモデルを含む)。これらの方法では、動き補償に使われるブロックのサイズおよびモーションモデルはどれほど多くの動く対象が１つの領域内に存在しているかに依存しており、そしてモーションフィールドの複雑さに依存している。そのような方法によって、サイズが固定されたブロックを使う方法にいくつかの改善が行われるが、その改善には限界がある。
本発明は、上記のような課題を解決するためになされたもので、画像に対して高密度モーションベクトルフィールドを導き出し、モーションベクトルフィールドでベクトル量子化を実行することによって、画像デジタル化のシーケンスにおけるモーションを表わす方法および装置を提供する。
この発明に係る画像デジタル化のシーケンスにおけるモーションを表わす方法は、画像に対する密なモーションベクトルフィールドの導き出し工程と、モーションベクトルフィールドでのベクトル量子化工程とを備える。
また、モーションベクトルフィールドのモーションベクトルが８×８ピクセルブロックより小さいサイズのピクセルブロックに対して導き出される。
また、モーションベクトルフィールドのモーションベクトルが各ピクセルに対して導き出される。
また、ベクトル量子化が、モーションベクトルの成分に対して個々に行われる。
また、ベクトル量子化後に、可変長符号化が行われる。
また、画像中でモーション不連続が起きる場所が識別される。
また、モーションベクトルフィールドを処理して、ベクトル量子化前にモーションベクトルのエントロピーを減らす。
また、モーション不連続が、エントロピーを減らす工程で使用される。
また、エントロピーを減らす工程が隣接するモーションベクトルの平均をとることによって行われる。
また、モーション不連続によって区分されたモーションベクトルが平均化において使用されない。
また、異なる解像度の複数のモーションベクトルフィールドのバージョンを生成して符号化する。
また、モーションベクトルフィールドの副標本をとってフィールドの副標本バージョンを第１の粗い解像度と第２のより細かい解像度で生成し、解像度の粗いモーションベクトルフィールドを符号化し、解像度の粗いフィールドを解像度のより細かいフィールドと比較して見逃し誤りを生成し、そしてこの見逃し誤りをより細かい解像度で符号化する。
また、この発明に係る画像デジタル化のシーケンスにおける画像に関するデータを処理する方法は、画像に対するモーションベクトルを導き出し、所定のモーションベクトルを隣接するモーションベクトルにもとづく平均化によって導き出された新しいモーションベクトルで置換することによってモーションベクトルを平滑化し、さらにモーション不連続が画像中で起きる場所を識別し、モーションベクトルがモーション不連続によって所定のモーションベクトルから区分けされる場合、それらを平均化から省略する。
また、新しいモーションベクトルが予測誤差を用いて導き出される。
また、この発明に係る画像デジタル化のシーケンスにおける画像に関するデータを処理する方法は、画像に対するモーションベクトルを導き出し、所定のモーションベクトルを隣接するモーションベクトルと予測誤差にもとづく平均化によって導き出される新しいモーションベクトルで置換することによってモーションベクトルを平滑化する。
また、モーション不連続が画像中で起きる場所を識別し、モーションベクトルが該モーション不連続によって所定のモーションベクトルから区分けされる場合、それらを平均化から省略する。
また、モーションベクトルが各ピクセルに対して導き出される。
また、平均をとるとき所定のモーションベクトルが考慮される。
また、平均をとるとき加重平均を用いる。
また、この発明に係る画像デジタル化のシーケンスにおける画像に関するデータを処理する方法は、画像に対するモーションベクトルフィールドを導き出し、モーション不連続が画像中で起きる場所を識別し、そしてモーション不連続が画像中で起きる場所を考慮して隣接するモーションベクトルを結合することによってモーションベクトルフィールドを平滑化する。
また、モーションベクトルが各ピクセルに対して導き出される。
また、この発明に係る画像を処理する方法は、モーションベクトルフィールド内のモーション境界を表わすモーション不連続を導き出し、各境界内のモーションベクトルをその境界内の他のモーションベクトルにもとづいて調整する。
また、この発明に係る画像デジタル化のシーケンスにおけるモーションを表わす方法は、異なる解像度の複数のモーションベクトルフィールドのバージョンを生成して符号化する。
また、モーションベクトルフィールドの副標本をとってフィールドの副標本バージョンを第１の粗い解像度と第２のより細かい解像度で生成し、モーションベクトルフィールドの解像度の粗いバージョンを符号化し、解像度の粗いフィールドを解像度のより細かいフィールドと比較して見逃し誤りを生成し、そしてこの見逃し誤りをより細かい解像度で符号化する。
また、解像度を増加して見逃し誤りのシーケンスを生成し符号化する。
また、異なる解像度の符号化されたモーションベクトルフィールドバージョンを、組込みビットストリームに多重化する。
また、符号化がベクトル量子化を使って行われる。
また、この発明に係るエンコーダは、上述のいずれかの方法によって画像デジタル化のシーケンスに対するモーション情報を符号化する。
また、この発明に係るデコーダは、上述のいずれかの方法によって符号化された画像デジタル化のシーケンスに対するモーション情報を復号する。
また、この発明に係るエンコーダは、画像に対して密なモーションベクトルフィールドを導き出すモーションエスティメータと、モーションベクトルフィールドを符号化するベクトル量子化器を備える。
また、この発明に係る画像デジタル化のシーケンスにおけるモーションを表わす装置は、異なる解像度の複数のモーションベクトルフィールドのバージョンを生成し符号化する手段を備える。
また、モーションベクトルフィールドの副標本をとってフィールドの副標本バージョンを第１の粗い解像度と第２のより細かい解像度で生成する手段と、モーションベクトルフィールドの解像度の粗いバージョンを符号化し、解像度の粗いフィールドを解像度のより細かいフィールドと比較して見逃し誤りを生成する手段と、解像度の粗いモーションベクトルフィールドと見逃し誤りをより細かい解像度で符号化する手段とを備える。
また、解像度を増加して見逃し誤りのシーケンスを生成し符号化する手段を備える。
また、この発明に係るデコーダは、所定の解像度におけるモーションベクトルフィールドのバージョンを復元する手段を備え、上述のいずれかの装置を使って符号化される情報を復号する。
また、この発明に係る符複号器は、上述のいずれかのエンコーダと、上述のいずれかのデコーダとを備える。
この発明に係る画像デジタル化のシーケンスにおけるモーションを表わす方法は、画像に対する密なモーションベクトルフィールドの導き出し工程と、モーションベクトルフィールドでのベクトル量子化工程とを備える。そのため、符号化のためのモーションフィールドを効率よく表現することができる。そして、動き補償を用いたより良い予測の結果、そしてアーティファクトの数を減らすことができるので、視覚品質が改善された再構築画像を得ることができる。そして特に、ブロッキングアーティファクトを減らしたり、または完全に無くすことができる。また、この方法は、モーションフィールドのスケーラブル表現に向いており、伝送エラーに対するエラー強さが向上する。
本発明のエンコーダを示すブロック図である。 不連続ラベルを示す画像領域を表わす図である。 図１に示したエンコーダのコンポーネントのブロック図である。 図１に示したエンコーダからのビットストリーム出力を表わす図である。 本発明のデコーダを示すブロック図である。 本発明のハイブリットＤＣＴ／ＭＣ符復号器のブロック図である。 先行技術によるモーションベクトルフィールドを表わす図である。
本明細書では、モーションベクトルフィールドに関する濃いという語は、サイズ８×８ピクセルのピクセルブロックに対して少なくとも２つのモーションベクトルがあることを意味する。例えば、モーションベクトルは各４×４ピクセルブロックまたは各２×２ピクセルブロックに割り当てられるかもしれない。好ましくは、モーションベクトルは各ピクセルに割り当てられる。
図１は、本発明の実施の形態によるマルチ解像度モーションベクトルフィールド（ＭＭＶＦ）エンコーダのブロック図である。図１に示すようなＭＭＶＦエンコーダは、モーションベクトルフィールドおよびモジュールへの画像入力のシーケンスにおける画像のためのモーション不連続マップを生成するモーションエスティメータ（ＭＥ）モジュール２１０を有している。モーションエスティメータモジュールの出力は、エントロピーリダクションモジュール２２０の入力に接続される。エントロピーリダクションモジュール２２０は、モーション不連続マップを使用してモーションベクトルフィールドを処理して不連続点を有するエントロピー束縛モーションベクトルフィールドを生成する。エントロピーリダクションモジュール２２０の出力は、マルチ解像度ベクトル量子化モーションフィールドおよび不連続符号化モジュール２３０の入力に接続される、それはモーションベクトルフィールドのマルチ解像度ベクトル量子化（ＭＭＶＦ）表現を生成するものである。
ＭＭＶＦエンコーダの動作について、以下に詳述する。
モーションエスティメータモジュール２１０は、入力画像フレームのシーケンスで動作して、密なモーションベクトルフィールドを生成する。そして各フィールドは関連モーション不連続マップを有する。
画像フレームに対するモーションベクトルフィールドは、画像フレームと基準フレームに基づくモーション評価を使って導き出される。本実施の形態において、この評価は、基準フレームと連続する最初のフレームのオリジナルの符号化バージョンから再構築された基準フレームを使って行われる。例えば、モーション評価は最初の基準フレームと最初の連続するフレームを使って行うことができる。
このモーション評価は、既知のブロックマッチング技術の変形を使って実行される。画像フレーム中の１６×１６ピクセルのブロックは、基準フレーム中のブロックと比較される。最も類似する合致が見つかった場合に、対応するモーションベクトルが基準ピクセルに割り当てられる。本実施の形態における基準ピクセルは、４つの中央ピクセルのうちの上左側のピクセルである。他の実施の形態において、ｍ×ｎブロックのうちのどのピクセルも基準ピクセルとすることができる。しかし、それはブロックの中心近くまたは中心が好ましい。これらのステップは繰り返されて、画像中の各ピクセルに対するモーションベクトルを得るために画像フレーム中の１６×１６ブロックをオーバーラップし、その結果、画像全体に対するモーションベクトルを得る。この方法で生成されたモーションベクトルフィールドは、ブロック様構造を示すが、正確で密なモーションベクトルフィールドが、エントロピーリダクションモジュール２２０で回復生成される。ここでは、ペルリカーシブ技術や傾斜ベース法のようなピクセルに対するモーションベクトルを得る他の方法を利用できる。これは“Digital Pictures - Representation, Compression and Standards”by A. Netravali and B.G. Haskell, Plenum Publishing 1995.に記述されている。
また、モーションエスティメータモジュール２１０は、画像フレーム中のモーション不連続を映すモーション不連続マップを生成する。一般にモーション不連続はピクセル間に位置存在する。そして各ピクセルは関連する４つの不連続ラベル６１１，６１２，６１３，６１４を有し、それらは、図２に示すように、上部、下部、右側、左側の各々に対応する。各不連続ラベルは、２つの隣接するピクセルの間で共用される。すなわち例えば、ピクセル６００に対する右側不連続ラベル６１２は、右側のピクセル６００に隣り合うピクセル６０２に対する左側不連続ラベル６１２である。
画像中のモーション不連続は、論文“Robust Motion Analysis”by M. Bober and J. Kittler, CVPR, 1994, pp 947-952に記述された技術のような適当な技術を使って識別される。手短かに言えば、前のフレーム中の最も類似するマッチングに関するブロック中の見逃し誤りの広がりを評価するのに統計分析が使用されている。受理できる範囲外に見逃し誤りを有するピクセルは、ブロックの残部におけるピクセルと異なるモーション領域に属するとして処理される。そして、異なるモーション領域間の境界がモーション不連続である。
モーションエスティメータモジュール２１０によって導き出されたモーションベクトルフィールドおよびモーション不連続マップは、エントロピーリダクションモジュール２２０に入力される。エントロピーリダクションモジュール２２０は、モーションエスティメータモジュール２１０で評価されたモーションベクトルフィールドを処理し、モーション不連続ラベルを考慮して、モーション境界を保存し、そしてエントロピー束縛モーションベクトルフィールドを生成する。このプロセスはペルリカーシブ技術に基づいており、以下に詳述する。
画像中の単一ピクセルの処理は、図２を参照して単一ピクセルに対して述べられる。中央のピクセル６００とその隣、上下左右のピクセル６０１、６０２、６０３、６０４が考慮される。さらに、中央のピクセル６００に対する４つのモーション不連続ラベル６１１、６１２、６１３、６１４が考慮される。各ピクセルは、それに関連するモーションベクトルを有する。すなわち、ピクセル６００はモーションベクトルＶ６００を有する。処理後、モーションベクトルＶ６００の新しい値が中央のピクセルに対して計算される。
本実施の形態における処理は、中央のピクセル６００のモーションベクトルと能動不連続ラベルによって中央のピクセルから分離されないその隣のピクセル６０１、６０２、６０３、６０４のモーションベクトルの加重平均をとることに基づいている。より具体的には、
Figure 2011055536
Figure 2011055536
ここで、V60nx(i)とV60ny(i)はi番目の反復であるピクセル６０ｎに割り当てられるモーションベクトル成分であり、ｋはゼロ以上の定数である。
隣のピクセルの１つ以上が能動モーション境界によって中央のピクセルから区分けされない場合、それは計算から除外され、したがって分母が調整される。例えば、モーション不連続ラベル６１１がアクティブであると仮定すると、V600x(i+l)は次式で計算される。
Figure 2011055536
この例において、処理は平均に基づくが、予測誤差が考慮されても良い。
より具体的には、
Figure 2011055536
Figure 2011055536
ここで、ＰＥは、予測誤差、すなわちピクセル６００と反復ｉで計算されるモーションベクトルV600(i)を使ったディスプレイスメント後の基準フレーム中のピクセルとの間の輝度値における差であり、V600(i)＝(V600x(i),V600y(i))、▽xIと▽yIはピクセル６００に対する画像密度傾斜の成分である。本実施の形態における画像傾斜は、中央のピクセルと隣のピクセルの輝度値に基づいて計算される。具体的にいえば、▽xI＝I602−I600、そして▽yI＝I601−I600 であり、ここで、I60nはピクセル６０ｎの輝度値を表わす。画像傾斜は、隣のピクセルを使う他の方法で計算できる。例えば、▽xIと▽yIは次式により計算される。ｍは０より大きい定数である。
Figure 2011055536
Figure 2011055536
Figure 2011055536
この例において、ｍ＝１００である。また、隣のピクセルの１つが能動モーション境界によって区分けされない場合、それは計算から除外される。このように、モーション不連続ラベル６１１がアクティブであると仮定すると、次式が成立する。
Figure 2011055536
上述の処理方法の各々において、処理は画像中のすべてのピクセルに対して行われて、多数の反復やパスが行われる。ピクセルが単一パスにおいて処理される順序は、結果にそれほど影響しない。これらの例において、反復の最適数は、使用されるモーションエスティメータのタイプに依存するが、５〜１０回の反復が行われる。
上述した処理の結果、モーションベクトルフィールドの平滑されたエントロピー束縛バージョンが得られる。そしてモーション不連続が保存される。モーション不連続ラベルおよび上述の第２の処理方法における予測誤差を考慮することによって、平滑化はそれによって動き補償予測の効率が低下しない領域で行われるだけである。エントロピーリダクションモジュール２２０による出力としてモーション不連続を有するモーションベクトルフィールドの領域の表現の例を図１の２２５に示す、ここで丸印はピクセルを表わし、矢印はモーションベクトルを表わし、そしてピクセル間の線はモーション不連続を表わす。
エントロピーリダクションモジュール２２０によって生成されるモーション不連続を有するエントロピー束縛モーションベクトルフィールドは、マルチ解像度モーションベクトルフィールド量子化（ＭＭＶＦＱ）および不連続符号化モジュール２３０に入力される。
図３は、ＭＭＶＦＱおよび不連続符号化モジュールをより詳しく示す。図３を参照すると、エントロピーリダクションモジュール２２０から得られるモーションベクトルフィールドは、モーションフィールドピラミッドモジュール３１０に入力され、モジュール３１０は、降順空間解像度における最初のモーションベクトルフィールドのバージョンであるｎ＋１個のモーションフィールドのセットを生成する。ｎ＋１個のモーションフィールドは、画像解像度ｓ０〜ｓｎを有する。ここで最初の画像解像度におけるモーションフィールドは、解像度ｓｎを有し、解像度が最も粗いモーションフィールドは解像度ｓ０を有する。解像度ｓｍのモーションフィールドは、解像度ｓ（ｍ＋１）の高解像度モーションを低域フィルターにかけたり副標本をとったりすることによって得られる。このプロレスは、最初のモーションフィールドから始まってｎ回実行されて、モーションベクトルフィールドのピラミッドと呼ばれるｎ＋１個のフィールドを生成する。
本実施の形態によると、副標本ファクタｋは２であり、低域フィルタリングプロセスは２×２ブロック内のｖｘ値とｖｙ値の平均をとる。それから平均値ｖｘ−ａｖｅｒとｖｙ−ａｖｅｒを求めて、より粗い解像度におけるブロックのモーションを表わす。しかし、様々な副標本ファクタｋ（ｋ＞１）と様々な低域フィルターを使うことができる。
その後、モーションフィールドのピラミッドが処理される。解像度ｓ０におけるモーションフィールドは、コードブックｃ０を使ってベクトル量子化（ＶＱ）エンコーダ３３０ａによって符号化される。ＶＱエンコーダ３３０ａからの出力は、エントロピーを符号化するモジュール３８０ａに伝わり最も粗い解像度ｓ０におけるモーションフィールドの表現を形成し、そしてＶＱデコーダ３６０ａに伝わる。ＶＱデコーダ３６０ａはコードブックｃ０を使用してより粗いモーションフィールドを再構築する。それから粗いモーションフィールドは、モーションフィールドの解像度がファクタｋによって増大するアップサンプリングモジュール３４０ａへパスされる。差分モジュール３５０ａは、解像度ｓ１におけるモーションフィールドと解像度ｓ０のフィールドから得られるアップサンプリングされた再構築モーションフィールドの間の差異を計算する。そうして得られた解像度ｓ１における残留誤差モーションフィールドは、差分モジュール３５０ａから出力されて、コードブックｃ１を使ってＶＱエンコーダ３３０ｂによって処理される。上述のステップは、最初の解像度までのすべての解像度におけるモーションフィールドが処理されるまで、解像度を増大させて帰納的に繰り返されて、最初のモーションベクトルフィールドのｎ＋１個の成分表現が得られる。
上述のベクトル量子化は、符号化モジュール３３０ａ〜３３０ｎ中のモーションベクトルフィールドの各々で実行される。このベクトル量子化は、“Scalable image coding using Gaussian pyramid vector quantization with resolution-independent block size” by L. Cieplinski and M. Bober, Processing IEEE International conference on Acoustics, Speech and Signal Processing, 1997, vol. 4, pp 2949-2952に述べられているものに類似しており、ここでベクトル量子化は静止絵の輝度値に関連して述べられている。
ベクトル量子化が各解像度で適用されるベクトルを、次の方法のうちの１つで形成できる。
１）速度成分フィールドＶｘとＶｙにおけるノンオーバーラッピング領域からｏ(ｏ＞１）個の成分速度を別々にグループ化する。これらの領域は同一の形を有しており、速度フィールド全体を覆っている。各領域に対して、２つのｏ次元ベクトルが形成される。VQx＝(vx1,...vxi,...vxo)、VQx＝(vy1,...vyi,...vyo)、ここで、vxi とvyiはブロック内のピクセルｉのx速度成分とｙ速度成分である。
２）上述のようにしてベクトルを形成する前に、ベクトルフィールドＶに対して変形を行う。変形の目的は成分フィールドを統計的に無関係にすることであり、または符号化性能を改善するためにそれらの相関関係を弱めることである。例えば、画像内の各ピクセルロケーションでの各ベクトルｖ＝（ｖｘ，ｖｙ）は、ログポーラー表現ｖｐ＝（ｖｐｒ，ｖｐａ）に変形される。ここで、成分ｖｐａとｖｐｒは次のように定義される。
Figure 2011055536
Figure 2011055536
Figure 2011055536
Figure 2011055536
各領域に対して、２つのｏ次元ベクトルが形成される。VQr＝(vpr1,...vprj,...vpro)、VQa＝(vpa1,...vpaj,...vpao)、ここでvprjとvpajは上に略述された変形から得られる。
３）２）項に定義された成分ベクトルＶＱｘとＶＱｙはともにグループ化されて、ベクトルVQ＝(VQx,VQy)またはVQ＝(VQr,VQa)を形成する、そしてＶＱを量子化できる。もちろん、そのようにして形成されたＶＱベクトルは、次元２ｏを有する。
本実施の形態では、上述の２）項の方法が２×２ピクセルの方形ブロックとともに使われ、そのためＶＱは４次元ベクトルに対して行われる。
エントロピーコーダ３８０ａ〜３８０ｎから出力されたモーションベクトルフィールドの成分表現３７０．．．３７ｎは結合されて、例えば図４に示すように組込表現２６０となる。図４は、セパレータによって区切られたいろいろな解像度における成分表現を示す。
図５は、モーションフィールドの組込表現を復号していろいろな解像度におけるモーションフィールドと最初のモーションベクトルフィールドを再構築するデコーダ５００を示す。再構築は解像度が最も粗い表現から始まる。それはエントロピーデコーダ５１０ａによって復号されて、ＶＱデコーダ５１５ａに伝えられる、ここではコードブックｃ０を使って復号されて解像度ｓ０において再構築されたモーションフィールドを得る。それからこの解像度ｓ０において再構築されたモーションフィールドは、アップサンプリングモジュール５２５ａによってエンコーダと同じような方法でアップサンプリングされて、解像度ｓ１におけるフィールドの近似を得る。そして解像度ｓ１におけるモーションフィールドの見逃し誤りは類似の方法で再構築される。解像度ｓ１の見逃し誤りと解像度ｓ０におけるフィールドからアップサンプリングされるフィールドはともにサメーションモジュールに加えられて、解像度ｓ１において再構築されたモーションフィールドを生成する。最初の解像度のモーションフィールドが得られるまで、このプロセスは、より細かい解像度ごとに繰り返される。しかし必要な場合には、このプロセスを最初の解像度前のどの解像度においても止めることができる。
図６は、本発明の実施の形態によるビデオ画像データを符号化したり復号したりするハイブリットＤＣＴ／ＭＣ符複号器を示す。
図６において、コーダ側は、入力画像データで離散的余弦変形を行うＤＣＴモジュール７１０を備える。ＤＣＴモジュール７１０は、ＤＣＴモジュールから出力されるＤＣＴ係数において適合量子化を行う適合できる量子化器７２０に接続される。量子化器７２０は、レートコントローラ７３０によって制御される。量子化器７２０の出力は、可変長コーダ７４０と逆量子化器７５０に接続される。逆量子化器７５０の出力は、最初のフレームのバージョンを再構築する逆ＤＣＴモジュール７６０に接続される。逆ＤＣＴモジュール７６０の出力は、複数のフレームストア７７０に接続される。フレームストア７７０の出力は、モーションベクトルフィールドを導き出したり符号化するマルチ解像度モーションベクトルフィールド（ＭＭＶＦ）エンコーダ７８０に接続される。ＭＭＶＦコーダ７８０は、既知の方法で動き補償を行うアドバンスト動き補償モジュール７９０に接続される。また、ＭＭＶＦコーダ７８０は符号化モーションベクトルフィールドを表わす出力データを可変長コーダ７４０に出力し、可変長コーダ７４０の出力は、バッファ８００に接続される。バッファ８００はレートコントローラ７３０を調整するのに使用されて、格納データが伝送したり記録媒体に記録するために出力される。
対応する成分は、バッファ８１０、可変長デコーダ８２０、逆量子化器８３０、逆ＤＣＴモジュール８４０、アドバンスト動き補償モジュール８５０、フレームストア８６０、およびＭＭＶＦデコーダ８7０を備えるデコーダ内に与えられる。
コーダとデコーダは、実質的に既知の方法で動作して、ＭＭＶＦコーダ７８０とデコーダ８7０を使ってのモーションベクトルフィールドの符号化と復号を除いて、ビデオ画像データを符号化する。ＭＭＶＦコーダ７８０とデコーダ８7０は実質的に上述のように動作する。しかし上述のように、可変長コーダ７４０とデコーダ８２０は、エントロピーコーダ３８０ａ〜３８０ｎとデコーダ５１５ａ〜５１５ｎの代わりにエントロピー符号化および復号を行う。ｎ個のエントロピーコーダ３８０ａ〜３８０ｎの代わりに単一の可変長コーダ９４０を使用することができ、異なる解像度における画像データに対して異なる参照用テーブルを採用する、そしてデコーダ８２０についても同じである。
上述の符号化の効率(ピクセル毎のビットの平均数に基づく)は、既知の方法と同じ程度かそれ以上にすることができる。モーションベクトルの各ピクセルへの割り当てによってモーション情報量が増加するが、これは続くプロセス、すなわちエントロピーリダクションとベクトル量子化において減少する。もちろん、ピクセル毎のビットの平均数は符号化されるデータの特質に依存する。
上述の本発明の実施の形態において、モーション不連続マップが導き出されて続くプロセスで使われる、しかしモーション不連続を考慮するのは本質ではない。上述の実施の形態のように、各ピクセルに対してモーションベクトルを導き出す代わりに、本発明は、モーションベクトルを、例えば２×２または４×４ピクセルブロックのようなピクセルのグループに割り当てることができる方法にも適用できる。しかし、重要な特長は、得られるモーションベクトルフィールドが密であることである。
本発明は、次の条件の1つ以上を満足する画像のシーケンスを取り扱う応用において特に有用である。
i）チャンネル帯域幅が限定される。
ii）データ破損のリスクが大きい、または
iii）モーションデータの解像度が小さいバージョンを得ることに利益が有る。
本発明によって導き出されて表わされるモーション情報をデータベースに蓄積し検索閲覧に供することができる。例えば、特殊なタイプの動きのシーケンスを探す場合に、先ずそのデータベース(本発明によって得られるモーションベクトルを蓄積)から粗いモーション情報を得ることができて、それから最初の解像度における選択シーケンスを検索する。
本発明の結果、符号化のためのモーションフィールドを効率よく表現することができる。そして、動き補償を用いたより良い予測の結果、そしてアーティファクトの数を減らすことができるので、視覚品質が改善された再構築画像を得ることができる。そして特に、ブロッキングアーティファクトを減らしたり、または完全に無くすことができる。また、この方法は、モーションフィールドのスケーラブル表現に向いており、伝送エラーに対するエラー強さが向上する。
また、本発明は、いろいろな解像度で複数のモーションベクトルフィールドのバージョンを発生し符号化することによって、デジタル化画像のシーケンスにおけるモーションを表わす方法および装置を提供する。
本発明の結果、モーションフィールドのスケーラブル表現および組込みビットストリームを生成できる。こうして、ビットストリームの一部を復号することによって、モーションベクトルフィールドの粗いバージョンを容易に再構築することができる。これはいくつかの利点を有する。例えば、ビットストリームの一部が伝送中に破損した場合に、モーションフィールドの解像度の小さいバージョンを回復し、動き補償に使用することができる。一方、いくつかの用途ではフィールドの粗いバージョンを必要とする、したがってフルバージョンを再構築してそれの副標本をとって粗いバージョンを得るよりもむしろ切り詰められたビットストリームから直接粗い画像を再構築することによって、処理パワーとメモリーに対する要求を軽減できる。このような方法は、例えば、ビデオ移動電話において有用である。
また、本発明は、モーションベクトルフィールドを予備処理して予測誤差をあまり減らさずにエントロピーを減らす方法および装置を提供する。これは、できる限り、モーション予測の品質およびモーション不連続の保存に与える効果を制限する他の制約とともに、隣接したモーションベクトルの平均をとることによって行うことができる。
また、本発明は、モーション不連続が画像中のどこで起きるかを識別し、モーション不連続が画像中のどこで起きるかを考慮して隣接するモーションベクトルを結合することによってモーションベクトルフィールドを平滑化するデジタル化画像のシーケンスにおける画像に関するデータを処理する方法および装置を提供する。
この結果、モーションベクトルフィールドのより正確な反射を得ることができる。
２１０ モーションエスティメータモジュール、２２０ エントロピーリダクションモジュール、２３０ マルチ解像度ベクトル量子化モーションフィールドおよび不連続符号化モジュール。

Claims (9)

  1. 異なる解像度の複数のモーションベクトルフィールドのバージョンを生成して符号化する
    ことを特徴とする画像デジタル化のシーケンスにおけるモーションを表わす方法。
  2. 上記モーションベクトルフィールドの副標本をとってフィールドの副標本バージョンを第１の粗い解像度と第２のより細かい解像度で生成し、モーションベクトルフィールドの解像度の粗いバージョンを符号化し、解像度の粗いフィールドを解像度のより細かいフィールドと比較して見逃し誤りを生成し、そしてこの見逃し誤りをより細かい解像度で符号化する
    ことを特徴とする請求項１に記載の画像デジタル化のシーケンスにおけるモーションを表わす方法。
  3. 解像度を増加して見逃し誤りのシーケンスを生成し符号化する
    ことを特徴とする請求項２に記載の画像デジタル化のシーケンスにおけるモーションを表わす方法。
  4. 異なる解像度の符号化されたモーションベクトルフィールドバージョンを、組込みビットストリームに多重化する
    ことを特徴とする請求項１乃至３のいずれかに記載の画像デジタル化のシーケンスにおけるモーションを表わす方法。
  5. 上記符号化がベクトル量子化を使って行われる
    ことを特徴とする請求項１乃至３のいずれかに記載の画像デジタル化のシーケンスにおけるモーションを表わす方法。
  6. 異なる解像度の複数のモーションベクトルフィールドのバージョンを生成し符号化する手段を備える
    ことを特徴とする画像デジタル化のシーケンスにおけるモーションを表わす装置。
  7. 上記モーションベクトルフィールドの副標本をとってフィールドの副標本バージョンを第１の粗い解像度と第２のより細かい解像度で生成する手段と、モーションベクトルフィールドの解像度の粗いバージョンを符号化し、解像度の粗いフィールドを解像度のより細かいフィールドと比較して見逃し誤りを生成する手段と、解像度の粗いモーションベクトルフィールドと見逃し誤りをより細かい解像度で符号化する手段とを備える
    ことを特徴とする請求項６に記載の画像デジタル化のシーケンスにおけるモーションを表わす装置。
  8. 解像度を増加して見逃し誤りのシーケンスを生成し符号化する手段を備える
    ことを特徴とする請求項７に記載の画像デジタル化のシーケンスにおけるモーションを表わす装置。
  9. 所定の解像度におけるモーションベクトルフィールドのバージョンを復元する手段を備え、請求項６乃至８のいずれかに記載の装置を使って符号化される情報を復号する
    ことを特徴とするデコーダ。
JP2010252975A 1999-03-16 2010-11-11 画像デジタル化のシーケンスにおけるモーションを表わす方法および装置 Withdrawn JP2011055536A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
GB9906034A GB2348064A (en) 1999-03-16 1999-03-16 Motion vector field encoding

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2000070459A Division JP2000295628A (ja) 1999-03-16 2000-03-14 画像デジタル化のシーケンスにおけるモーションを表わす方法、画像に関するデータを処理する方法、画像を処理する方法、エンコーダ、デコーダ、モーションを表わす装置および符複号器

Publications (1)

Publication Number Publication Date
JP2011055536A true JP2011055536A (ja) 2011-03-17

Family

ID=10849720

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2000070459A Pending JP2000295628A (ja) 1999-03-16 2000-03-14 画像デジタル化のシーケンスにおけるモーションを表わす方法、画像に関するデータを処理する方法、画像を処理する方法、エンコーダ、デコーダ、モーションを表わす装置および符複号器
JP2010252975A Withdrawn JP2011055536A (ja) 1999-03-16 2010-11-11 画像デジタル化のシーケンスにおけるモーションを表わす方法および装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2000070459A Pending JP2000295628A (ja) 1999-03-16 2000-03-14 画像デジタル化のシーケンスにおけるモーションを表わす方法、画像に関するデータを処理する方法、画像を処理する方法、エンコーダ、デコーダ、モーションを表わす装置および符複号器

Country Status (8)

Country Link
US (2) US6944227B1 (ja)
EP (3) EP1169867B1 (ja)
JP (2) JP2000295628A (ja)
CN (3) CN1201591C (ja)
AU (1) AU3304900A (ja)
DE (2) DE60022018T2 (ja)
GB (1) GB2348064A (ja)
WO (1) WO2000056076A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100359115B1 (ko) * 2000-05-24 2002-11-04 삼성전자 주식회사 영상 코딩 방법
US7295614B1 (en) * 2000-09-08 2007-11-13 Cisco Technology, Inc. Methods and apparatus for encoding a video signal
US6851608B1 (en) * 2002-03-07 2005-02-08 Commerciant, L.P. System and method for uncontrolled velocity scanning
DE602005008233D1 (de) * 2004-05-14 2008-08-28 Nxp Bv Einrichtung zur erzeugung aufeinanderfolgender einzelbilder aus verschachtelten codierten einzelbildern
US8798148B2 (en) * 2007-06-15 2014-08-05 Physical Optics Corporation Apparatus and method employing pre-ATR-based real-time compression and video frame segmentation
WO2009032255A2 (en) * 2007-09-04 2009-03-12 The Regents Of The University Of California Hierarchical motion vector processing method, software and devices
US20090158309A1 (en) * 2007-12-12 2009-06-18 Hankyu Moon Method and system for media audience measurement and spatial extrapolation based on site, display, crowd, and viewership characterization
US8213723B2 (en) * 2008-12-29 2012-07-03 Yahoo! Inc. Method and system for determining near duplicate images
US8520736B2 (en) * 2009-04-14 2013-08-27 Fastvdo, Llc Real-time superresolution and video transmission
CN106101717B (zh) * 2010-01-12 2019-07-26 Lg电子株式会社 视频信号的处理方法和设备
EP2490448A1 (de) * 2011-02-18 2012-08-22 Siemens Aktiengesellschaft Kodierverfahren und Bildkodiervorrichtung zur Kompression einer Bildsequenz
FR2972588A1 (fr) * 2011-03-07 2012-09-14 France Telecom Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants
US9088793B2 (en) * 2011-03-09 2015-07-21 Vixs Systems, Inc. Multi-format video decoder with filter vector processing and methods for use therewith
FR2977111A1 (fr) 2011-06-24 2012-12-28 France Telecom Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants
US8913664B2 (en) * 2011-09-16 2014-12-16 Sony Computer Entertainment Inc. Three-dimensional motion mapping for cloud gaming
WO2013076888A1 (ja) * 2011-11-21 2013-05-30 パナソニック株式会社 画像処理装置および画像処理方法
US9990004B2 (en) * 2013-04-02 2018-06-05 Samsung Dispaly Co., Ltd. Optical detection of bending motions of a flexible display
AU2015406855A1 (en) 2015-08-24 2018-03-15 Huawei Technologies Co., Ltd. Motion vector field coding and decoding method, coding apparatus, and decoding apparatus
US10970855B1 (en) 2020-03-05 2021-04-06 International Business Machines Corporation Memory-efficient video tracking in real-time using direction vectors

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4661853A (en) * 1985-11-01 1987-04-28 Rca Corporation Interfield image motion detector for video signals
US4849810A (en) * 1987-06-02 1989-07-18 Picturetel Corporation Hierarchial encoding method and apparatus for efficiently communicating image sequences
US5150209A (en) * 1990-05-11 1992-09-22 Picturetel Corporation Hierarchical entropy coded lattice threshold quantization encoding method and apparatus for image and video compression
DE69029999T2 (de) 1990-07-20 1997-08-14 Philips Electronics Nv Vorrichtung zur Verarbeitung von Bewegungsvektoren
JP2950633B2 (ja) * 1991-03-27 1999-09-20 沖電気工業株式会社 動きベクトル検出装置
SE469866B (sv) * 1991-04-12 1993-09-27 Dv Sweden Ab Metod för estimering av rörelseinnehåll i videosignaler
EP0631444B1 (en) * 1992-03-03 1998-12-23 Kabushiki Kaisha Toshiba Time-varying image encoder
DE69422876T2 (de) 1993-10-11 2000-06-15 Thomson Multimedia Sa Verfahren und Gerät zur Korrektur von Bewegungsvektoren
US5471252A (en) * 1993-11-03 1995-11-28 Matsushita Electric Industrial Corporation Of America Method and apparatus for estimating motion vector fields by rejecting local outliers
US5539469A (en) 1994-12-30 1996-07-23 Daewoo Electronics Co., Ltd. Apparatus for determining motion vectors through the use of an adaptive median filtering technique
US5600646A (en) * 1995-01-27 1997-02-04 Videoserver, Inc. Video teleconferencing system with digital transcoding
US5574663A (en) * 1995-07-24 1996-11-12 Motorola, Inc. Method and apparatus for regenerating a dense motion vector field
US5825929A (en) * 1995-10-05 1998-10-20 Microsoft Corporation Transformation block optimization method
DE69633129T2 (de) * 1995-10-25 2005-08-04 Sarnoff Corp. Waveletbaum-bildcoder mit überlappenden bildblöcken
DE19541457C1 (de) * 1995-11-07 1997-07-03 Siemens Ag Verfahren zur Codierung eines Videodatenstroms einer aus Bildblöcken bestehenden Videosequenz
US5692063A (en) * 1996-01-19 1997-11-25 Microsoft Corporation Method and system for unrestricted motion estimation for video
US5748247A (en) * 1996-04-08 1998-05-05 Tektronix, Inc. Refinement of block motion vectors to achieve a dense motion field
JPH10248065A (ja) * 1997-03-04 1998-09-14 Nippon Hoso Kyokai <Nhk> 動きベクトル検出装置
EP0864999A3 (de) * 1997-03-13 1999-09-08 Philips Patentverwaltung GmbH Bildverarbeitungs-Verfahren für die medizinische Diagnostik
WO1999007156A1 (en) * 1997-07-28 1999-02-11 Idt International Digital Technologies Deutschland Gmbh Method and apparatus for multiresolution object-oriented motion estimation
US6625216B1 (en) * 1999-01-27 2003-09-23 Matsushita Electic Industrial Co., Ltd. Motion estimation using orthogonal transform-domain block matching
EP1050850A1 (en) * 1999-05-03 2000-11-08 THOMSON multimedia Process for estimating a dominant motion between two frames

Also Published As

Publication number Publication date
DE60022018T2 (de) 2006-06-29
EP1555833A3 (en) 2008-02-27
CN1882087A (zh) 2006-12-20
AU3304900A (en) 2000-10-04
US7724826B2 (en) 2010-05-25
WO2000056076A1 (en) 2000-09-21
EP1555833B1 (en) 2010-06-09
CN1201591C (zh) 2005-05-11
JP2000295628A (ja) 2000-10-20
GB9906034D0 (en) 1999-05-12
US6944227B1 (en) 2005-09-13
EP1169867A1 (en) 2002-01-09
EP1536650A3 (en) 2008-02-27
DE60022018D1 (de) 2005-09-22
GB2348064A (en) 2000-09-20
CN1343424A (zh) 2002-04-03
EP1169867B1 (en) 2005-08-17
EP1536650A2 (en) 2005-06-01
CN1717050A (zh) 2006-01-04
EP1555833A2 (en) 2005-07-20
DE60044541D1 (de) 2010-07-22
US20050207500A1 (en) 2005-09-22

Similar Documents

Publication Publication Date Title
JP2011055536A (ja) 画像デジタル化のシーケンスにおけるモーションを表わす方法および装置
Strobach Tree-structured scene adaptive coder
Uz et al. Interpolative multiresolution coding of advanced television with compatible subchannels
US8625678B2 (en) Method for scalable video coding on a plurality of space resolution levels
US6476805B1 (en) Techniques for spatial displacement estimation and multi-resolution operations on light fields
Valsesia et al. High-throughput onboard hyperspectral image compression with ground-based CNN reconstruction
JP2002507339A (ja) 非線形ピラミッドを用いた階層的な運動推定実行方法及び装置
US5881183A (en) Method and device for encoding object contour by using centroid
KR100411348B1 (ko) 에지 검출 방법과 장치
Clarke Image and video compression: a survey
Ayyoubzadeh et al. Lossless compression of mosaic images with convolutional neural network prediction
US5974187A (en) Baseline-based contour coding and decoding method and apparatus therefor
Yokoyama et al. Very low bit-rate video coding with object-based motion compensation and orthogonal transform
Anandan et al. VIDEO COMPRESSION USING ARPS AND FAST DISCRETE CURVELET TRANSFORM FOR MOBILE DEVICES
Ferguson et al. Rate versus distortion comparison of fractal video techniques
Cho et al. Object-based very low bit-rate coding using motion parameter estimation based on multiple frame prediction
Wang Fully scalable video coding using redundant-wavelet multihypothesis and motion-compensated temporal filtering
Gaubatz et al. Efficient, low complexity encoding of multiple, blurred noisy downsampled images via distributed source coding principles
Lee et al. Video coding using variable block-size segmentation by motion vectors
Padmanabhan et al. An Efficient Video Compression Encoder Based on Wavelet Lifting Scheme in LSK
Schuster et al. Review of Lossy Video Compression
Chou et al. Video coding algorithm based on image warping and nonrectangular DCT coding
Liu Ordered Kohonen vector quantization for very low rate interframe video coding
Ferguson et al. Comparison of 3D Block and Inter/Intra Frame Fractal Video Techniques
Chen et al. Low bit-rate video coding using image triangulation and warping

Legal Events

Date Code Title Description
A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20111212