JP2011503991A - 動き推定および補償の方法およびデバイス - Google Patents

Abstract

ビデオフレームに対する動き推定および補償の方法では、複数のピクセルのブロックＯが考慮される。ビデオフレームＦのブロックＯのｋ個のビットプレーンが、参照フレーム（Ｆ^Ｒ）のブロックＯ^Ｒと比較される。参照フレーム（Ｆ^Ｒ）内で最良のマッチングブロック（Ｏ^ＲＭ）が決定される。続いて、最良のマッチングブロック（Ｏ^ＲＭ）の重み値（Ｗ_Ｘ ^ｉｊ）がその有効なピクセルの比率に基づいて計算される。最良のマッチングブロック（Ｏ^ＲＭ）から抽出された残りのピクセル値（Ｖ_Ｘ ^ｉｊ）と、対応する重み値（Ｗ_Ｘ ^ｉｊ）が、ピクセル予測配列（１２０）に保存される。ピクセル配列は、少なくとも有効なピクセルの輝度成分の動き補償に用いられる。無効なピクセルは周囲のピクセル値から再構築される。
【選択図】 図１

Description

本発明は、一般にビデオの符号化および復号化に関し、特に動き推定および補償に関する。符号化／復号化するデジタルビデオは、一般に連続画像間の一時的な冗長性を利用する：連続画像は通常、観察されたシーンのいくつかの対象物の動作と結合された相対的に遅いカメラの動作の結果であるので、連続画像には類似する内容がある。ビデオフレーム内の複数のピクセルのブロックの動きあるいは動作を定量化する処理は、動き推定と呼ばれている。１セットの参照ピクチャから作り出される複数セットの複数のピクセル（例えばブロック）を推定した動きに応じて解釈することによって、フレーム内のピクセルを予測する処理は、動き補償と呼ばれている。

１９９４年９月のＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，Ｖｏｌ．３，Ｎｏ．５では、著者Ｍｉｃｈａｅｌ Ｔ．ＯｒｃｈａｒｄとＧａｒｙ Ｊ．Ｓｕｌｌｉｖａｎは、「Ｏｖｅｒｌａｐｐｅｄ Ｂｌｏｃｋ Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ：Ａｎ Ｅｓｔｉｍａｔｉｏｎ−Ｔｈｅｏｒｅｔｉｃ Ａｐｐｒｏａｃｈ」というタイトルの彼らの論文に、オーバーラップブロックに基づいた動き補償の理論を記載した。そこに記載されたオーバーラップブロックの動き補償（ＯＢＭＣ）は、いくつかの平滑なウィンドウによってそれぞれ重みづけされた前のフレームの複数のピクセルのオーバーラップブロックの位置を変えることによって現行のビデオフレームを予測する。さらに、ＯｒｃｈａｒｄとＳｕｌｌｉｖａｎは、動き推定の技術に基づいたオーバーラップブロックを提示し、その予測性能をさらに最適化する情報を復号側に提供している。提案された動き推定の処理は符号化側と復号側の関与を必要とするが、これは複雑な反復処理である。

本発明の目的は、オーバーラップブロックに基づいた既知の動き推定および補償の技術の欠点を克服することである。特に、本発明の目的は、フィードバックループを必要とせず、復号側のみで後処理ツールとして用いることができ、従って符号化の複雑さを軽減する動き推定および補償の方法を提供することである。さらなる本発明の目的は、ピクセルベースであり、拡張可能であり、従ってデジタルビデオ符号化における大きなＧｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ（ＧＯＰ）長に対応し、複雑さと復号品質との間の兼ね合いを任意に可能とする動き推定および補償の方法を開示することである。

本発明によれば、先行技術の欠点が解決され、上記規定された目的は、請求項１によって規定されるビデオフレームＦのピクセルの輝度成分に対する動き推定および補償の方法を通して実現される。この動き推定および補償の方法は：
Ａ．前記ピクセルを含む複数のピクセルのブロックＯに対する整数ｋ個のビットプレーンを少なくとも１つの参照フレームＦ^ＲのブロックＯ^Ｒと比較するステップと；
Ｂ．各ブロックＯと各参照フレームＦ^Ｒに対して：
Ｂ１．マッチング基準によって前記参照フレームＦ^Ｒで最良のマッチングブロックＯ^ＲＭを求めるステップと；
Ｂ２．前記最良のマッチングブロックＯ^ＲＭの有効なピクセルの比率に基づいて前記最良のマッチングブロックＯ^ＲＭの重み値Ｗ_Ｘ ^ｉｊを求めるステップと；
Ｂ３．前記最良のマッチングブロックＯ^ＲＭから前記ピクセルの残りのピクセル値Ｖ_Ｘ ^ｉｊを抽出するステップと；
Ｂ４．ピクセル予測配列に前記重み値Ｗ_Ｘ ^ｉｊと前記残りのピクセル値Ｖ_Ｘ ^ｉｊを保存するステップと；
Ｃ．次の何れかのステップと：
Ｃ１．前記ピクセルが有効なピクセルである場合に、前記ピクセル予測配列内の重み値Ｗ_Ｘ ^ｉｊと残りのピクセル値Ｖ_Ｘ ^ｉｊから前記輝度成分の少なくとも残りのビットプレーンを求めることによって動きを補償するステップか；
Ｃ２．前記ピクセルが無効なピクセルである場合に、周囲のピクセル値から前記輝度成分を再構築するステップ、を具える。

このように本発明に係る方法はピクセルベースであり、ビデオフレームのｋビットプレーンが復号されたらすぐに、残りのピクセル値または少なくとも残りの輝度データの予測値の配列を生成する。ピクセルの残りの候補値は、１以上の参照フレーム、すなわち前に復号されたフレームで見つかった最良のマッチングブロック内の対応するピクセルから抽出される。残りの各候補値について、関連した重みが求められる。関連した重みは、参照フレームの最良のマッチングブロックで対応するｋビットプレーンと現行のビデオフレームのブロックのｋビットプレーンが一致する度合の大きさである。これに本発明は、（ａ）有効なピクセル、すなわち有効性基準による最初のｋビットがブロック内で対応するピクセルの最初のｋビットと一致するか、またはそのｋビットと部分的に一致する最良のマッチングブロックのピクセルと、（ｂ）無効なピクセル、すなわち有効性基準を満たさないピクセルと、の概念を取り入れている。万一、ブロックが部分的にビデオフレームの境界の外部となるならば、最良のマッチングブロックおよび対応する重みを求めることができるように、この境界でフレームが拡張されてもよい。

ピクセルが有効なピクセルである場合、予測値とこれらの対応する重みは動き補償のステップに組み合わされて、ピクセルの残りのビットプレーンまたは少なくともこの輝度成分が求められる。いくつかの組み合わせが可能である。

無効なピクセルである場合、すなわち残りのピクセル予測値と重みの配列が空の状態のピクセルである場合、このピクセルは周囲の有効なピクセルから完全に再構築される。また、いくつかの組み合わせが可能である。この場合、ｋ個の受信したビットプレーンを再計算してもよいことに注意されたい。

本発明は、完全に復号側か、符号化および復号の双方の側で実行することができる後処理ツール、またはビデオ符号化と必ずしも関係しない別個の後処理ツールを提供する。先行技術と比べて、本発明の動き推定および補償の方法は、推定と補償の双方が復号側で行われるとき、実質的に符号化側の複雑さを軽減する。本発明に係る方法は、フィードバックループを有していない結果、反復しない。この直接的な利点は、その拡大した拡張性である。この方法はピクセルベースの動き補償も用いるが、先行技術はブロックベースの動き補償に関係している。そこから得られるさらなる利点は、より大きなＧｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ（ＧＯＰ）長を取り扱うその性能である。ＧＯＰは、依存する一連のビデオフレームであり、したがって一緒に復号する必要がある。このピクセルベースの特徴のおかげで、本発明に係る方法は阻害する人工的要因を取り込まず、エラーがＧＯＰを介して伝播しない。

請求項１によって規定される動き推定および補償の方法に加えて、本発明は請求項１９によって規定されるような対応した動き推定および補償のデバイスにも関している。このデバイスは：
そのピクセルを含む複数のピクセルのブロックＯに対する整数ｋ個のビットプレーンを少なくとも１つの参照フレームＦ^ＲのブロックＯ^Ｒと比較するための手段と；
各ブロックＯと各参照フレームＦ^Ｒに対してマッチング基準により前記参照フレーム（Ｆ^Ｒ）中の最良のマッチングブロック（Ｏ^ＲＭ）を求めるための手段と；
前記最良のマッチングブロックＯ^ＲＭの有効なピクセルの比率に基づいて前記最良のマッチングブロックＯ^ＲＭの重み値Ｗ_Ｘ ^ｉｊを求めるための手段と；
前記最良のマッチングブロックＯ^ＲＭからそのピクセルの残りのピクセル値Ｖ_Ｘ ^ｉｊを抽出するための手段と；
ピクセル予測配列に前記重み値Ｗ_Ｘ ^ｉｊと前記残りのピクセル値Ｖ_Ｘ ^ｉｊを保存するための手段と；
前記ピクセルが有効なピクセルである場合に、前記ピクセル予測配列内の重み値Ｗ_Ｘ ^ｉｊと残りのピクセル値Ｖ_Ｘ ^ｉｊから前記輝度成分の少なくとも残りのビットプレーンを求めるための動きを補償する手段と；
前記ピクセルが無効なピクセルである場合に、周囲のピクセル値から前記輝度成分を再構築するための手段と、を具える。

任意に、請求項２によって規定されるように、前記比較するステップは参照フレーム中の所定の探索範囲内のブロックに制限される。

実際には、ｉとｊがフレーム内のブロックの開始位置の行と列のインデックスをそれぞれ表すとき、位置（ｉ，ｊ）で現行フレームで得られるブロックに対する参照フレーム内の最良のマッチングブロックの探索は、例えばｓｒが探索範囲を表すとき、位置（ｉ−ｓｒ，ｊ−ｓｒ）と位置（ｉ＋ｓｒ，ｊ＋ｓｒ）間の開始位置を持つブロックに制限される。

サブピクセルの動き推定の場合には、整数あるいはサブピクセルのグリッドにブロックの起点を配置することができることにさらに注意されたい。探索範囲ｓｒは言いかえれば必ずしも整数値である必要はない；また、探索範囲は必ずしも位置（ｉ、ｊ）のまわりで対称である必要はない。

また、探索範囲は予め定めてもよいし、あるいは適応的であってもよいことに注意されたい。ブロックが非正方形状、例えば矩形、円形、または楕円形である場合、探索範囲は多値を含んでもよいし、または距離もしくは相対的な起点位置以外の測定値を表してもよい。

また任意に、請求項３によって規定されるように、前記マッチング基準は前記ビデオフレーム内のブロックと前記参照フレーム内のブロック間の整数ｋ個のビットプレーンのビット誤り数を最小化するものでもよい。

言い換えれば、参照フレーム内の最良のマッチングブロックを求めるために、前記ｋ個の最上位ビットプレーンを考慮してもよい。そしてマッチング基準は、ｋ個の最上位ビットが現行フレーム内の考慮中のブロックで対応するピクセルのｋ個の最上位ビットに一致するピクセルを殆ど有する参照フレーム内のブロックを探すものでよい。

言うまでもなく、最上位ビットプレーンのビット誤り数や、ｋより少ないまたはｋと等しい数のビットプレーンのビット誤り数などの代替的なマッチング基準が存在する。

また任意に、請求項４によって規定されるように、整数ｋ個のビットプレーンが前記ブロックと前記最良のマッチングブロックで同一である場合に、ピクセルを有効なピクセルとみなしてもよい。

したがって、前記ブロックと前記最良のマッチングブロック内で同一の最初のｋ個のビットプレーンを持ったピクセルのみによって、ピクセル予測配列に保存される残りのピクセル値および関連する重みが得られるであろう。

あるいは、請求項５によって示されるように、ブロックＯ内の最初のｋ個のビットの少なくとも１ビットが、前記最良のマッチングブロック内で対応するピクセルと同一である場合に、ピクセルを有効なピクセルとみなしてもよい。

このように有効性基準を緩めてもよく、前記最良のマッチングブロック内で対応するピクセルに単に部分的に一致するピクセルが有効であるとみなしてもよい。部分的な一致は、例えば少なくとも１ビットが同一であるか、ｚがｋより小さい整数であるとき、少なくともｚビットが同一であることを要求してもよい。例えば、ｋ＝３である場合、２または３ビットが同一であるときにピクセルが有効であるとみなされ、同一であるビットがないか、または１ビットが同一であるときに無効であるとみなされてもよい。さらに有効性基準は、どのビットが同一でなければならないかを特定してもよいし、特定しなくてもよい。例えば、少なくとも１ビットが同一でなければならない場合、少なくとも最上位ビット（ＭＳＢ）が一致することを必要とする有効性基準でもよい。

後で説明するように、無効なピクセルの再構築の代替として有効性基準を緩和してもよい。

さらに任意に、請求項６によって規定されるように、ビデオフレーム内の前記ブロックと前記少なくとも１つの参照フレーム内のブロックがブロックサイズＢの正方形状を有してもよく、Ｂはブロックマッチングの信頼度と前記推定および補償の方法の精度との間の兼ね合いとして選択されたピクセル数を表す。

実際には、例えば矩形ブロックのようにその他のブロック形状が考慮されてもよいが、正方形ブロックが最も簡単な選択であると考えられる。このような正方形ブロックのサイズＢは、マッチング基準の信頼度または忠実度を損なうのを回避するため小さすぎてはならない。ブロックサイズＢが例えば１の場合には、任意の参照フレーム内の多くのランダムな位置でマッチングブロックが検出されるだろう。一方、大きなブロックサイズは推定の精度を損なうので、ブロックサイズには上限が設けられる。

請求項７によって規定されるように、本発明に係る動き推定および補償の方法は：
Ｄ．次の何れかのステップ：
Ｄ１．前記ピクセルが有効なピクセルである場合に、前記ピクセル予測配列内の重み値と残りのピクセル値から色信号も求めることによって動きを補償するステップか；
Ｄ２．前記ピクセルが無効なピクセルである場合に、周囲のピクセル値から前記色信号を再構築するステップ、をさらに任意に具える。

実際には、既に上記で示したように、本発明に係る動き推定および補償の方法を輝度成分に適用してもよい。しかしながら、色成分は、重みと輝度成分からの予測位置に従うが、輝度成分の場合のようにサブセットである残りのビットプレーンの代わりに全てのビットプレーンに従う。

任意に、請求項８によって規定されるように、前記動き補償のステップは：
−前記残りのピクセル値をビニングするステップと；
−ビンの重み値を求めるステップと；
−最も大きいビンの重み値でビン内の残りのピクセル値の重みつき平均である前記輝度成分を少なくとも求めるステップと、を具えてもよい。

ビニングに基づく動き補償は、ある境界内にある残りのピクセル値の確率を最大化するように試みる。全範囲の残りの値が１セットの等しい大きさのビンに分割される。その後、ピクセル予測配列内の残りのピクセル値がそれぞれのビンに割り当てられる。ビンの重みは、それぞれのビンに割り当てられるピクセル予測値に関連したピクセル予測値の重みの和として計算される。最後に、残りのピクセル値は、これらの残りのピクセル値および最も大きいビンの重みを持つビンに属する対応する重みのみを考慮に入れて計算される。

たった１つのビンにビニングすると、ピクセル予測配列内の値の重みつき平均値まで下がることに注意されたい。

等しい大きさのビンの実装が上記で提案されたが、本発明は言うまでもなくこれに限定されないことにさらに注意されたい。同様に異なるサイズのビンに基づくビニングを考慮することができるであろう。

あるいは、請求項９によって規定されるように、前記動きを補償するステップは：
−前記残りのピクセル値と重心への距離に基づく関連する重み値をクラスタリングするステップを具える。

クラスタリングは、残りのピクセル予測値がこれらの重みを参照フレーム内のある位置まわりに集める傾向があるという事実に依存している。これは、実際に置換する考慮中のピクセルに一致する参照フレーム内の位置に近い仮想重心の存在を示している。この重心に一致する中心と半径ｒを持つ円内に有効なピクセルが入るようにすることによって、残りのピクセル予測値のさらなる選択を適用することができる。重心は実際に動き補償されたピクセルに近いと想定されるので、重心の近接度に応じて重みを採用することができるであろう。さらに、０≦α≦１の増倍係数αは、補完的係数１−αを掛けた近接度の重みと比べて、どのぐらい元のピクセルの重みを信頼すべきかを示すのに用いることができる。最後に、残りのピクセル値は、元のピクセルの重みと近接度の重みを組み合わせた有効なピクセルの加重和として計算することができる。

全ての参照フレームに対して重心を規定することができることに注意されたい。

代替実施例として、最も大きい合計重みを持つ参照フレーム内の再構築されたピクセルの残りの値として１つを選択して最終的なピクセルの残りの値を再構築することができることにさらに注意されたい。

請求項１０によって規定されるさらに別の代替実施例は、前記動き補償のステップは：
−残りのピクセル値と重心への距離に基づいた関連する重み値をクラスタリングするステップと；
−選択した残りのピクセル値をビニングするステップと；
−ビンの重み値を求めるステップと；
−最も大きいビンの重み値でビン内の残りのピクセル値の重みつき平均である前記輝度成分を少なくとも求めるステップと、を具える。

実際にはビニングとクラスタリングを組み合わせることができる。例えば、重心まわりのある半径内のピクセルを選択することによって１つを開始することができるであろう。続いて、残りのピクセル値および関連する重みで得られる配列がソートされ、さらに後述するように、候補の予測値の最大数を選択してもよい。残存する残りのピクセル値と重みは、ビニング法を用いて残りのピクセル値を計算するのに用いられる。

さらに任意に、請求項１１によって示されるように、所定の閾値より小さい重み値に対応する前記残りのピクセル値は、ビニングまたはクラスタリングに考慮しなくてよい。

実際には、閾値処理によって、ピクセル予測配列の内容をさらに選択してもよい。Ｔが０と１の間の値であるとき、関連する重みが所定の閾値Ｔより小さい残りのピクセル予測値は、動き補償のステップで考慮しなくてよい。

また任意に、請求項１２によって規定されるように、残りのピクセル値は対応する重み値の降順にソートされ、最初のＭ個（Ｍは整数である）の残りの値のみをビニングまたはクラスタリングに考慮してもよい。

言い換えれば、残りのピクセル予測値はこれらに関連する重みの降順にソートされてもよい。最初のＭ個の残りのピクセル予測値のみを動き補償のステップに考慮する一方、その他の全ての予測値を捨ててもよい。

請求項１３によって示されるように、再構築のステップは：
−周囲のピクセル値の中央値である前記輝度成分を求めるステップ、を具えてもよい。

したがって、無効のピクセルまたは少なくともその輝度成分は、周囲の有効なピクセルの中央値をとることによって再構築されてもよい。

いくつかのピクセルは有効な周囲のピクセルを持たないかもしれないので、再構築のステップがマルチパス技術であることに注意されたい。したがって、無効なピクセルが残っている限り、再構築が繰り返されるかもしれない。

あるいは、請求項１４によって示されるように、前記再構築のステップは：
−周囲のピクセル値の平均値である前記輝度成分を求めるステップ、を具えてもよい。

周囲の有効なピクセルの中央値をとる代わりに、周囲の有効なピクセルの平均値を用いて無効なピクセルを再構築してもよい。中央値フィルタリングと同様に、これは無効なピクセルが残っている限り、反復して繰り返されなければならないマルチパス技術である。

再構築の代替実施例として、若干のビットプレーンがこのブロックと最良のマッチングブロックで同一である場合に、ピクセルを有効なピクセルであるとみなしてもよいことにさらに注意されたい。

実際には、既に上記で示したように、無効なピクセルに対して有効性基準を緩和することができる。残りのピクセルが有効であるとするためにｋビットが同一であることを要求する代わりに、ｋ−ｑビットのみが既知であると仮定し、ｋ−ｑビットが同一である残りのピクセル予測値を選択して、再構築の代わりに動き補償を適用することができる。ｑは０とｋ間の整数値であるとみなされる。

緩和した有効性基準を持つ、まさに前記変形例では、ｂｐｐが輝度成分（または実装に依存する全ピクセル）のビット数を表すとき、動き補償のフェーズはｂｐｐ−ｋビットの代わりにｂｐｐ−ｋ＋ｑビットを再構築しなければならない。これは、復号処理の結果として既知のｑビットを補償処理から得られる不正なビットで置換しなければならないことを意味する。

言い換えれば、これは実際に補償されたピクセルの位置の不確実性を最小化するので、動き補償のステップがｋ個の既知のビットを全て用いて残りのピクセル値の重みを計算しなければならないということである。

請求項１５によって規定されるように、前記少なくとも１つのフレームは、第１番目のビデオフレームと第２番目のキーフレームを具えてもよい。

例えば、Ｗｙｎｅｒ−Ｚｙｖフレームの分散型ビデオ符号化の実装では、Ｗｙｎｅｒ−Ｚｙｖフレームに先行して続くキーフレームが１つおよび複数ある場合に、参照フレームは前に復号されたＷｙｎｅｒ−Ｚｙｖフレームを含んでもよい。

本発明で形式化される動き推定および補償を適用するステップをフレームの一部分に適用することができることに注意されたい。実際には、参照として任意のフレームを選ぶことができるように、前に復号されたフレームとの依存性はない。これはフレームレートの拡張性と呼んでもよい。

さらに任意に、請求項１６によって規定されるように、前記ビットプレーンは二次抽出されてもよい。

ビットプレーンの二次抽出により、解像度が調整されてもよい；例えば、動き推定の処理では、最上位ビットプレーン（ＭＳＢ）をフル解像度で、次のＭＳＢを半分の解像度などで用いることができる。これは複雑さを調整可能な動き推定および補償の方法を提供し、ビットプレーンが二次抽出される解像度によって複雑さを制御する。

請求項１７によって規定される本発明の動き推定および補償の方法のさらに別の任意の特徴は、前記ビットプレーンの整数値が調節可能であるということである。

復号側へ多かれ少なかれフレームのビットプレーンを送信することによって、品質が向上あるいは低下する代わりに、本発明に係る推定および補償の処理が多かれ少なかれ複雑になるかもしれない。

請求項１８によって示されるように、本発明に係る動き推定および補償の方法は例えば：
−ビデオ符号化；
−分散型ビデオ符号化；
−誤り隠ぺい；
−フレーム補間；
−誤り耐性；
−多重記述符号化；
−予測符号化、などの多くのアプリケーションを有する。

一般に本発明は、符号化側の動き推定であろうと、復号側の動き推定であろうと、動き推定を適用する任意のビデオ符号化装置で用いることができる。

第１の固有のアプリケーションは「調節可能な分散型ビデオ符号化（ＳＤＶＣ）」である。この技術は、分散型ビデオ符号化（ＤＶＣ）アプリケーションを意図して元来設計された。ＤＶＣは、動き推定の処理を復号側で適用することを要求する。本発明に係る方法は、多くの輝度成分のビットプレーン（またはこれらのビットプレーンの一部）と、いくつかの内部符号化フレームの受信に基づいて、輝度と色の成分のないビットプレーンの近似値を再構築する。本発明を用いることによって他のＤＶＣ技術を超える利点を有し、大きなＧｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ（ＧＯＰ）長をサポートし、良好な圧縮効率をサポートする。さらに、本発明を用いることによって符号化側と復号側との間のフィードバックを全く必要としない。これは、現在のＤＶＣシステムのフィードバックチャネルの使用によって生じる本質的な通信遅延を軽減する。調節可能なビデオ符号化装置によって内部符号化部分が実行されるとき、復号側または中間ノードへ複雑さを移す機会と共に完全に調節可能なビデオ符号化装置が得られる。

別のアプリケーションは「誤り隠ぺい」である。ビデオシーケンスの画像の一部が損傷した場合、本発明に係る方法を用いてこれらを隠ぺいすることができる。損傷部分は、画像中に正確な部分を持つブロックでオーバーラップしている。したがって、前フレームおよびまたは次フレームとのブロックマッチングを正確な領域で適用し、ブロックの重みを求めることができる。次に、全てのビットプレーンが未知とみなされる本発明を用いて（したがって、全ての予測値が有効である）、不正確なピクセルが再構築される。あるいは、前フレームと後続のフレームを用いるローカルフレーム補間を適用することができ、破損領域まわりの領域を選択する。

さらに本発明の別のアプリケーションは「フレーム補間」である。本発明を変更した構成を適用することによって、２つの既存フレーム間にフレームを挿入することができる。この構成では、全てのピクセルが有効であるとみなされる。予測値の配列は、ほぼ重み、始点、終点、始点値および終点値の１セットを含んでいる。始点と終点は運動ベクトルを決定するが、始点値と終点値は補間値を検出するために挿入される。続いて、運動ベクトル、補間値および重みが補間フレームの重みと値の配列に移される。本発明の一部を形成する再構築方法を用いる再構築が続く。

さらなるアプリケーションは「誤り耐性の提供」である。ビットプレーンが別々に符号化されるシステムでは、本発明の基礎となる動き推定および補償の技術は誤りに対する高い耐性力を提供する。ビットプレーンが部分的になくなった場合、上述したように隠ぺいを適用することができる。ビットプレーンが完全になくなった場合、上述したようにフレーム補間を適用することができる。フレーム内が部分的になくなった場合、隠ぺいを適用することができる。フレーム内が完全になくなった場合、復号側は元のＧＯＰサイズの２倍のＧＯＰサイズを要求する。次に、フレーム補間を用いてフレーム内を得ることができる。何れにしても、誤りがＧＯＰを介して伝播しない。最悪の場合には、いくつかのピクセルベースの色影または広域の色影が現われるかもしれない。全ての場合に、動き推定の処理に利用可能な情報が用いられ、再構築された値（ビットまたは完全なピクセル値）および対応する重みを作成する。

さらに本発明を有利に用いることができる別のアプリケーションは「多重記述符号化」である。本発明は多重記述符号化に多くの新しい機会を提示する。例えば、第１のビットプレーンの偶数のピクセル位置のビットに第１の記述を与える一方で、第１のビットプレーンの奇数のピクセル位置のビットに第２の記述を与えることができる。次に既知のビットのみを用いてブロックマッチングが適用される。既知のピクセル当たりのビット数が位置から位置へと変化するので、異なるピクセルに対して再構築方法を異ならせることができる。中心部の記述は第１のビットプレーンの情報を完全に有しており、このためブロックマッチングの正確さも再構築の品質も端部の記述よりも高いと想定される。二次抽出と記述間のビットプレーン分割に基づいた多重記述を規定する多くの代替的な方法の１つを考えることができる。

さらに別のアプリケーション領域は「予測符号化」である。復号側にも符号化側にも本発明を適用することができるので、古典的なブロックベースの動き推定の方法の代替実施例を公開する。全てのブロックに対して以下の速度ひずみ曲線を計算して比較する必要がある：（ａ）符号化された残差フレームと共に符号化された運動ベクトルが送信される動き推定を適用する予測符号化；（ｂ）符号化された（サブ）セットのビットプレーンが符号化された残差フレーム（これは古典的な動き推定を用いた残差フレームとは異なる）と共に送信される本発明に係る方法を適用する予測符号化。結果として生じる速度ひずみ曲線は、速度割り当てプロセスで２つの符号化アプローチのどちらを全てのブロックに採用する必要があるかを指し示すであろう。

図１は、本発明に係る方法の実施例の動き推定を示す図である。 図２は、本発明に係る方法の実施例のビニングに基づいた動き補償を示す図である。 図３は、本発明に係る方法の実施例の予測値のクラスタリングに基づいた動き補償を示す図である。 図４、図４ａおよび図４ｂは、本発明に係る動き推定と動き補償の方法の実施例を示す図である。

図１は、最新のＷｙｎｅｒ−ＺｙｖビデオフレームＦを復号するＷｙｎｅｒ−Ｚｙｖデコーダの動き推定を示している。最新のＷｙｎｅｒ−ＺｙｖフレームＦの第１のｋビットプレーンが一旦復号されると、輝度データに対して本発明に係る動き推定と補償の方法が用いられる。図１では、ｋが２に等しいとみなされ、輝度データを表すビットプレーンの総数が８とみなされている。したがって、動き推定と補償のプロセスの結果として、残りの６ビットプレーンの輝度データの値は、これらのビットプレーンを符号化、送信および復号する必要なく予測される。色データは重みと、残りのビットプレーンのサブセットの代わりに全てのビットプレーンの輝度成分からの予測位置と、に従うと考えられる。言い換えれば、ピクセルの色成分が８ビットプレーンによって表されると想定される場合、これらの８ビットプレーンの値は、６つの残りのビットプレーンの同一ピクセルの輝度成分を予測するのに用いられる重みと予測位置とを用いて予測されるであろう。

本発明に係る動き推定の方法は、ブロックベースである。サイズＢ×Ｂの正方形状のブロックＯは、Ｗｙｎｅｒ−ＺｙｖフレームＦからフレーム位置（ｉ，ｊ）で得られる。ここで、ｉとｊはフレームＦのピクセルの行と列のインデックスの整数値を表し、Ｂはブロックサイズの整数値である。位置（ｉ，ｊ）のブロックは、インデックスｉ＝０，ｏｃ，２＊ｏｃ，．．．，（行数−１）およびｊ＝０，ｏｃ，２＊ｏｃ，．．．，（列数−１）のＯ（ｉ，ｊ）で表わされる。ここで、ｏｃはステップサイズと名付けられた動き推定の方法に基づくブロックパラメータである。このステップサイズは、１とＢの間の任意の整数とすることができる。

図１によって示されるように、動き推定のアルゴリズムは参照フレームＦ^ＲのブロックＯに最もマッチングするように探索する。１つの参照フレームＦ^Ｒの第１のビットプレーン１０１、第２のビットプレーン１０２および残りのビットプレーン１０３が図１に描かれている。最良のマッチングブロックＯ^ＲＭまたは１１０の探索は、特定の探索範囲ＳＲ内に限定される。したがって、この方法はブロックＯ（ｉ，ｊ）を参照フレームＦ^Ｒの位置（ｉ−ＳＲ，ｊ−ＳＲ）と（ｉ＋ＳＲ，ｊ＋ＳＲ）と間に始点を有する全てのブロックＯ^Ｒと比較する。これは、復号される現在のフレームＦの注目ブロックに対する参照フレームＦ^Ｒのサンプルサーチエリアを表す点線１０４によって図１に示される。本発明に係るサブピクセル動き推定の場合には、整数グリッドまたはサブピクセルグリッド上にこれらの始点を配置することができることに注意されたい。言い換えれば、ブロックがフレームの境界から部分的に外れるとき、境界でフレームが拡張されるということである。

図１によって示される実施例では、フレームＦのブロックＯに対する参照フレームＦ^Ｒで最もマッチングしたＯ^ＲＭを求めるために、ビット誤り数がマッチング基準として用いられる。より正確には、マッチング基準はＯとＯ^Ｒ間の第１（最上位）のｋ個のビットプレーン上のビット誤りを最小化する。１つの参照フレームＦ^Ｒが図１に描かれているが、複数の参照フレームを考慮してもよい。現在のＷｙｎｅｒ−ＺｙｖフレームＦに先行して続くキーフレームが１つおよび複数ある場合、これらの参照フレームは前に復号された１以上のＷｙｎｅｒ−Ｚｙｖフレームである。

Ｏ^ＲＭまたは１１０によって表わされる参照フレームＦ^Ｒ内の最良のマッチングブロックを求めた後に、ビット誤りの観点で、図１に示されるようにピクセルの残りの候補ｐ（ｉ，ｊ）とこれらの重みが求められる。この残りとは全てのピクセルに対するｂｐｐ−ｋの紛失したビットであり、ｂｐｐはピクセルの輝度成分を表すのに用いられるビット数である。図１によって示される実施例では、ｂｐｐは８と等しく、ｂｐｐ−ｋは６と等しい。

このピクセルのｋ個の最上位ビットがブロックＯの対応するピクセルのｋ個の最上位ビットと同一である場合、最良のマッチングブロックＯ^ＲＭのピクセルが有効なピクセルとみなされる。この有効性基準は十分に機能するが、特にｋが２より大きいといったその他の有効性基準を考慮することができる。

最良のマッチングブロックＯ^ＲＭのブロック重みＷ_Ｂは、Ｏ^ＲＭのピクセル数の合計で割ったＯ^ＲＭの有効なピクセル数として規定される：

図１では、最良のマッチングブロックＯ^ＲＭの２つの最上位ビットプレーン１１１と６つの最下位ビットプレーン１１２が描かれている。察するように、最上位ビットプレーン０（ＭＳＢ）と１にビット誤りの有効性基準を用いることにより、ブロックＯ^ＲＭに６つの無効なピクセルをもたらした。図１では、これらの６つの無効なピクセルが黒くされ、ブロックＯ^ＲＭの５８個の有効なピクセルが白くされている。ブロックＯ^ＲＭの重みＷ_Ｂは５８／６４または０．９０６２５と等しい。

最良のマッチングブロックＯ^ＲＭの全ての有効なピクセルで、残りのピクセル値Ｖ_Ｘ ^ｉｊの候補および対応する重みＷ_Ｘ ^ｉｊは、以下のように関係している：

ここで、ｂ_ｌは対応するビット値（０または１）と等しい。図１の実施例では、例えば、残りのピクセル値は対応するピクセルの輝度成分の残っている６ビットの値、すなわち図１のビット２乃至７（ＬＳＢ）に対応し、重み値は式（１）に係る最良のマッチングブロックＯ^ＲＭに関連したブロックの重みに対応する。

残りのピクセル値Ｖ_Ｘ ^ｉｊおよび対応する重みＷ_Ｘ ^ｉｊは、そのピクセルｐ（ｉ，ｊ）に対する残りのピクセル値１２１の配列および重み１２２の配列に保存され、共にピクセルｐ（ｉ，ｊ）のピクセル予測配列１２０を構成する。Ｖ_Ｘ ^ｉｊとＷ_Ｘ ^ｉｊのサブインデックスＸは、残りのピクセル値／重みの配列の位置を表わすことに注意されたい。

マッチングの正確さを損なうので、動き推定の方法で用いられるブロックのブロックサイズＢが小さすぎてはならないことに注意されたい。ブロックサイズＢを１と選択する場合には、マッチングは考慮した探索範囲内の多くのランダムな位置で検出されるであろう。一方、ブロックベースの動きモデルの精度を損うので、ブロックサイズＢは大きすぎてもいけない。さらに、大きな値のＢは処理の複雑さとメモリ要件を高めるであろう。

動き推定のプロセスが復号される現在のフレームＦの異なるブロックについて実行された後、各ピクセルについて残りの値と重みの配列が既知となる。いくつかのピクセルは、要素を含まない予測配列を有してもよいことに注意されたい。これは、動き推定のプロセスで最良のマッチングブロックのマッチングピクセルが何れも有効でなかったときの場合である。これら特別のピクセルに対して、いくつかの後処理、周囲のピクセル値からの輝度成分の再構築が必要であろう。その他の全てのピクセルについて、動き補償の異なるプロセス、例えば予測値のビニング、クラスタリング、最小数の予測値の候補の閾値処理、選択、またはこれらの組み合わせに基づいて、配列に保存された値と重みから輝度成分の残りの値を予測することができる。これら全ての動き補償のプロセスは、残りのピクセル値の不確実性を最小化しようとする。

図２は、ビニングに基づいた本発明に係る動き補償の実施例を示している。ビニングに基づいた動き補償は、残りの値の確実性を最大化しようとし、ある境界内にする。残りの値の範囲は、一般にピクセル値の表現と残りのビット数ｂｐｐ−ｋによって限定される。ピクセルの輝度成分が符号なし８ビット表示でｋ＝２の場合には、これらの残りの値の範囲の下限と上限は０と６３である。この範囲は、１セットの等しい大きさのビンＢ０，Ｂ１，Ｂ２，Ｂ３，Ｂ４，Ｂ５，Ｂ６およびＢ７にそれぞれ分割され、図２では符号２００，２０１，２０２，２０３，２０４，２０５，２０６および２０７で表わされる。ｂｐｐ＝８とｋ＝２の実施例では、ビンＢ０．．．Ｂ７は［０，８），［８，１６），［１６，２４），［２４，３２），［３２，４０），［４０，４８），［４８，５６）および［５６，６４）の値間隔にそれぞれ一致する。続いて、残りのピクセル値がビンの間隔内になるように残りのピクセル配列１２０内の全ての値１２１と重み１２２がビンに割り当てられる。これは図２の破線の矢印によって示される。各ビンについて、ビンの残りの値Ｖ_Ｂ ^ｉｊが保持され、ビンの重みＷ_Ｂ ^ｉｊが保持される。図２のビンＢ０．．．Ｂ７について、これらのビンの残りの値がそれぞれＶ_Ｂ０ ^ｉｊ，Ｖ_Ｂ１ ^ｉｊ，Ｖ_Ｂ２ ^ｉｊ，Ｖ_Ｂ３ ^ｉｊ，Ｖ_Ｂ４ ^ｉｊ，Ｖ_Ｂ５ ^ｉｊ，Ｖ_Ｂ６ ^ｉｊ，Ｖ_Ｂ７ ^ｉｊと表わされ、ビンの重みはそれぞれＷ_Ｂ０ ^ｉｊ，Ｗ_Ｂ１ ^ｉｊ，Ｗ_Ｂ２ ^ｉｊ，Ｗ_Ｂ３ ^ｉｊ，Ｗ_Ｂ４ ^ｉｊ，Ｗ_Ｂ５ ^ｉｊ，Ｗ_Ｂ６ ^ｉｊ，Ｗ_Ｂ７ ^ｉｊと表わされる。予測配列１２０から残りのピクセル値がビンに割り当てられるとき、そのビンのビンの残りの値Ｖ_Ｂｓ ^ｉｊはＶ_Ｘ ^ｉｊ＊Ｗ_Ｘ ^ｉｊで増加し、そのビンのビンの重み値Ｗ_Ｂｓ ^ｉｊはＷ_Ｘ ^ｉｊで増加する。その結果、配列１２０の全ての残りの予測値を割り当てて、重み付き平均した後、ビンの残りの値とビンの重み値が次により得られる：

ここで、ｓはビンのインデックスを表す。

最後に、残りのピクセル値は、最も大きいビンの重みＷ_Ｂｓ ^ｉｊを持つビンのビンの残りの値Ｖ_Ｂｓ ^ｉｊとして選ばれる。図２の実施例では、これはビンＢ２または２０２のビンの残りの値である。

複数のビンが同じ最大の重み値を有するレアケースでは、ビンの値とビンの重みを用いてそれらの値を再び重みつき平均する。たった１つのビンにビニングすると、残りのピクセル予測配列１２０全体の重みつき平均まで下がることにさらに注意されたい。

図３は、予測値のクラスタリングに基づいた本発明に係る動き補償を示している。実際には、残りのピクセル予測値は、参照フレームＦ^Ｒのある位置まわりにそれらの重みを集中させる傾向がある。これは仮想重心（ｋ_Ｃ，ｌ_Ｃ）の存在を示している。仮想重心は動画中の考慮中のピクセルの実際の移動に対応する参照フレームＦ^Ｒの位置に近いことが当業者によって認識されるであろう。重心を異なる方法で規定することができ、そこから以下のような２つの算定方式を選択することができる：

ピクセル座標である（ｋ_Ｘ，ｌ_Ｘ）から残りの値Ｖ_Ｘ ^ｉｊが読み出される。重心への距離に基づいて残りの候補にさらなる重みを割り当てることができ、これは残りのピクセル値の候補の重みつけられた位置によって規定される。次に、中心が重心と一致する半径Ｒの円内にある有効なピクセルを考慮することによって、残りのピクセル予測値の選択を適用することができる。この円内にあるピクセルの値と重みは、この特許出願の全体にわたって添え字ＸＣで表わされる。重心が実際の動きを補償されたピクセルに近いと仮定すると、重心への近接度に応じて重みを採用すべきである。さらに、０≦α≦１の増倍係数αは（１−α）と掛け算される近接度の重みと比べて元のピクセルの重みを信頼することができる範囲を示している。

最後に、残りのピクセル値は元のピクセルの重みと近接度の重みを組み合わせた有効なピクセルの加重和として計算することができる：

重みの合計Ｗは：

残りのピクセル予測配列１２０の重みと重心への距離に基づいた重みとに基づいて、残りのピクセルの動き補償を重みつき平均することができる。増倍係数αが予測配列１２０の重みに対する信用レベルを規定する一方、（１−α）は重心への距離に基づいた重みに対する信用レベルを規定する。

重心は全ての参照フレームＦ^Ｒに対して実際に規定することができ、（ｋ_Ｃ ^Ｒ，ｌ_Ｃ ^Ｒ）と表わすことができる。次に、Ｆ^Ｒの再構築されたピクセルの残りの値は重みの合計Ｗ^Ｒと共にＶ_ｉｊ ^{ＲＥＣ，Ｒ}によって表わされる。そして、最終的なピクセルの残りの値の再構築は以下のように計算される：

代替実施例として、最も大きい重みの合計Ｗ^Ｒを持つ参照フレームの再構築されたピクセルの残りの値として最終的なピクセルの残りの値Ｖ_ｉｊ ^ＲＥＣを再構築することができる。

位置（ｋ_Ｃ ^Ｒ，ｌ_Ｃ ^Ｒ）で補間によって得られる値として、参照フレームＦ^Ｒの残りのピクセル値Ｖ_ｉｊ ^{ＲＥＣ，Ｒ}を再構築することができることにさらに注意されたい。

閾値処理は、値と重みの各配列の要素にさらなる選択を適用することを意味している。重み閾値Ｔが規定される。Ｔより低い重みを持つ値／重みのペアは捨てられる。これは、配列に保存された重みに利用可能であるが、予測値のクラスタリングが適用されるときに重心への距離に基づく付加的な重みにも利用可能である。０＜Ｔ＜１の閾値Ｔより小さい重みを持つ残りのピクセル予測値は無効であるとみなされる。最終的な残りのピクセル値を得るために、閾値処理の後にビニングまたはクラスタリングを続けてもよい。

予測配列から得られる、または重心への距離に基づいたクラスタリングから得られる値／重みのペアは、重み値の降順あるいは昇順によってソートされてもよい。次に、残りの値の候補の最大値Ｍが最も大きい重みを持つ残りの値の候補Ｍとして選択される。最終的な残りのピクセル値を得るために、この付加的な選択の後にビニングまたはクラスタリングが再び続く。

予測値のビニング、クラスタリング、予測値の候補の最大数の閾値処理および選択をさらに組み合わせることができ、最終的な残りの値を求めるのに用いられる残りの値／重みのペアの候補を二次選択をする。例えば、重心まわりのある半径Ｒ内のピクセルを選択することによって１つを行うことができる。続いて、残りのピクセル値／重みのペアの最終的な配列をソートして、予測値の候補の最大数を選択してもよい。最後に、ビニング方法を用いて残りのピクセル値を計算するために、残存する残りのピクセル値／重みのペアを用いる。

図１、図２および図３によって示されるオーバーラップしたブロックの動き推定と補償の方法は、残りのピクセル予測値１２１と重み１２２の配列１２０を構成する。しかしながら、Ｗｙｎｅｒ−Ｚｙｖ画像中のいくつかのピクセルについて、有効な残りのピクセル予測値が参照フレームに保持されていないことがありえる。これらのピクセルは、アルゴリズムの付加的なステップで周囲の有効なピクセルから再構築しなければならない。

中央値フィルタリングが適用されるとき、無効のピクセルは周囲の有効なピクセルの中央値をとることによって再構築される。いくつかのピクセルは有効な周囲のピクセルを持たないので、これは無効なピクセルが無くなる間繰り返されるマルチパス技術である。

中央値フィルタリングの代わりとして、無効なピクセルは周囲の有効なピクセルの平均値として再構築されてもよい。これも無効なピクセルが無くなるまで反復して実行されるマルチパス技術である。

残りの有効な候補が見つからないピクセルに対する中央値フィルタリングまたは平均値フィルタリングの代替として、マッチング基準を緩和することによって残りの候補を得ることができる。言い換えれば、隣接値を用いて無効なピクセルを後で再構築する代わりに、無効なピクセルに対する有効性基準を緩和することができる。残りのピクセル値を有効であるとするのにｋビットが正しいと要求する代わりに、この方法はｋ−ｑビットのみが既知であり、残りのピクセル予測値を選択して最初のｋ−ｑビットが正しいことを要求することができる。ここで、ｑは０とｋの間の整数値を表す。最終的なピクセル値の行き過ぎ（すなわち元の値と比べて１つまたは２つの係数について誤って再構築された値を得ること）を防ぐために、たとえ補償後に間違ったビットと既知のｑビットを置換しなければならないとしても、この場合の動き補償の過程はｂｐｐ−ｋビットではなくｂｐｐ−ｋ＋ｑビットを再構築しなければならない。しかしながら、動き推定は、実際に補償されたピクセルの位置の不確実性を最小化するので、残りのピクセル予測値の重みを計算するために全ての既知のｋビットを用いなければならない。付加的な重みと、さらに予測配列から得られるものと、重心までの距離に基づくクラスタリングから得られるものを割り当てることができる。この重みによって全ての残りの値の候補を有効とみなすことができる。そして、次の関数として残りのピクセル予測値の重みを規定することができる：
−既知のビットの誤り数；
−ブロックマッチングの精度；
−仮想重心への近接度；および／または、
−誤りが発生する位置（例えば、最上位ビットまたはＭＳＢの誤りはピクセルの第４ビットの誤り以上にペナルティを科すべきである）。前に説明したように最初の３つの重みを導入することができる。また、最終的な重み係数は全ての既知のビットが正しくないピクセルを有効化するが、ビット誤りの位置の重要性を考慮に入れる。この重みは無効なピクセルの重みに参照され、それは以下のように規定される：

ここで、ｍは整数であり、ビットが同じである場合δ＝１であり、ビットが異なる場合δ＝０である。次に、残りのピクセル値の再構築は全ての重みを組み合わせた関数に基づくことができる。α−係数、β−係数および１−α−βは、異なる重みに対する信用レベルを規定する。そして、最終的な残りのピクセル値の算出は次のように規定される：

および：

最後に、図４、図４ａおよび図４ｂは、ｋビットプレーンが既知であると仮定した現行フレームＦまたは符号４０１に適用した本発明に係る方法を実施例によって示している。符号４０２によって示すように、これらの図で推定すべきピクセルがマークされている。符号４０３によって示すように、現行フレームＦのピクセルをオーバーラップするブロックＯがマークされている。

図４ａでは、ブロックサイズＢが３と仮定されている。その結果、推定すべきピクセル４０２をオーバーラップする９つの異なるブロックＯが現行フレームＦに存在する。これらの９つの異なるブロックＯは、４１１，４１２，４１３，４１４，４１５，４１６，４１７，４１８および４１９という符号のフレームＦのコピーに描かれている。水平／垂直の探索範囲ＳＲは、［−１，＋１］と仮定されている。各ブロックＯと各参照フレームについて、その参照フレーム内の最良のマッチングブロックを求めるために８１個のピクセルを比較しなければならない。結果として、９個のブロックに対して７２９個のピクセルを比較なければならない。

図４ｂでは、ブロックサイズは２と仮定されている。これにより、推定すべきピクセル４０２とオーバーラップする現行フレームＦに４つの異なるブロックＯが得られる。これら４つのブロックＯは、図４ｂの符号４２１，４２２，４２３および４２４によって表わされるフレームＦのコピーで示されている。水平／垂直の探索範囲ＳＲはまた、［−１，＋１］と仮定されている。各ブロックＯと各参照フレームについて、その参照フレーム内の最良のマッチングブロックを求めるために、ここでは３６個のピクセルを比較しなければならない。結果として、４個のブロックに対して１４４個のピクセルを比較なければならない。

一般に、本発明に係る方法を実行するのに必要とされる比較数はＢ^４・｜ＳＲ｜^２に等しい。

特定の実施例を参照することによって本発明を示したが、本発明が前述の例示的な実施例の詳細に限定されないことは当業者に明らかであり、本発明はその趣旨と範囲から逸脱せずに様々な変形と変更によって具体化されてもよい。したがって、本実施例は、前述の記載よりむしろ添付されたクレームにより示される例示的かつ限定的でない本発明の範囲のように全ての点を考慮すべきであり、したがって、そのクレームの意義および均等の範囲内でなされる全ての変形はそこに包含すべきと解される。言い換えれば、基本的な根本原理の趣旨および範囲内にある全ての変更、変形または均等物をカバーするように取り扱われ、その不可欠な特質が本特許出願で主張される。用語「含んでいる」または「含む」は他の要素やステップを排除せず、用語「１の」または「１つの」は複数を排除せず、コンピュータシステム、プロセッサまたは別の集積ユニットなどの単一要素はクレームで列挙されるいくつかの手段の機能を実行することが本特許出願の閲覧者によって更に理解されるだろう。クレームの任意の引用符号は関係するそれぞれのクレームを限定するものと解されない。用語「第１」、「第２」、「第３」、「ａ」、「ｂ」、「ｃ」などが明細書またはクレームで用いられるとき、類似する要素またはステップ間を識別するのに用いられ、連続する順序や時系列を必ずしも記載するものではない。そのように用いられる用語は適切な状況下で置換可能であり、本発明の実施例は上記に記載され、または示されたものと異なるその他の順序または方向の本発明に係る動作を可能とすることを理解すべきである。

Claims (19)

1. ビデオフレームＦのピクセルの少なくとも輝度成分に対する動き推定および補償の方法において、
   Ａ．前記ピクセルを含む複数のピクセルのブロックＯに対する整数ｋ個のビットプレーンを少なくとも１つの参照フレーム（Ｆ^Ｒ）のブロックＯ^Ｒと比較するステップと；
   Ｂ．各ブロックＯと各参照フレーム（Ｆ^Ｒ）に対して：
   Ｂ１．マッチング基準によって前記参照フレーム（Ｆ^Ｒ）内の最良のマッチングブロック（Ｏ^ＲＭ，１１０）を求めるステップと；
   Ｂ２．前記最良のマッチングブロック（Ｏ^ＲＭ）の有効なピクセルの比率に基づいて前記最良のマッチングブロック（Ｏ^ＲＭ）に対する重み値（Ｗ_Ｘ ^ｉｊ）を求めるステップと；
   Ｂ３．前記最良のマッチングブロック（Ｏ^ＲＭ）から前記ピクセルの残りのピクセル値（Ｖ_Ｘ ^ｉｊ）を抽出するステップと；
   Ｂ４．ピクセル予測配列（１２０）に前記重み値（Ｗ_Ｘ ^ｉｊ）と前記残りのピクセル値（Ｖ_Ｘ ^ｉｊ）を保存するステップと；
   Ｃ．次の何れかのステップと：
   Ｃ１．前記ピクセルが有効なピクセルである場合に、前記ピクセル予測配列（１２０）内の重み値（１２２）と残りのピクセル値（１２１）から前記輝度成分の少なくとも残りのビットプレーンを求めることによって動きを補償するステップか；
   Ｃ２．前記ピクセルが無効なピクセルである場合に、周囲のピクセル値から前記輝度成分を再構築するステップ、を具えることを特徴とする方法。
2. 請求項１に記載の動き推定および補償の方法であって、
   前記比較するステップは、前記参照フレーム（Ｆ^Ｒ）の所定の探索範囲（ＳＲ）内のブロックに制限されることを特徴とする方法。
3. 請求項１に記載の動き推定および補償の方法であって、
   前記マッチング基準は、前記ビデオフレームＦ内の前記ブロックＯと前記参照フレーム（Ｆ^Ｒ）内のブロック間の前記整数ｋ個のビットプレーンのビット誤り数を最小化するものであることを特徴とする方法。
4. 請求項１に記載の動き推定および補償の方法であって、
   前記重み値（Ｗ_Ｘ ^ｉｊ）を求めるために、前記ブロックＯの整数ｋ個のビットが前記最良のマッチングブロック（Ｏ^ＲＭ）で対応するピクセルと同一である場合に、ピクセルを有効なピクセルとみなすことを特徴とする方法。
5. 請求項１に記載の動き推定および補償の方法であって、
   前記重み値（Ｗ_Ｘ ^ｉｊ）を求めるために、前記ブロックＯの整数ｋ個のビットのうち少なくとも１ビットが前記最良のマッチングブロック（Ｏ^ＲＭ）で対応するピクセルと同一である場合に、ピクセルを有効なピクセルとみなすことを特徴とする方法。
6. 請求項１に記載の動き推定および補償の方法であって、
   前記ブロックＯと前記少なくとも１つの参照フレーム（Ｆ^Ｒ）のブロック（Ｏ^ＲＭ）がブロックサイズＢの正方形状を有しており、Ｂはマッチングの信頼度と前記推定および補償の方法の精度との間の兼ね合いとして選択されたピクセル数の整数値を表すことを特徴とする方法。
7. 請求項１に記載の動き推定および補償の方法であって、
   Ｄ．次の何れかのステップ：
   Ｄ１．前記ピクセルが有効なピクセルである場合に、前記ピクセル予測配列（１２０）内の重み値（１２２）と残りのピクセル値（１２１）から前記輝度成分を求めることによって動きを補償するステップか；
   Ｄ２．前記ピクセルが無効なピクセルである場合に、周囲のピクセル値から色成分を再構築するステップ、をさらに具えることを特徴とする方法。
8. 請求項１に記載の動き推定および補償の方法であって、
   前記動きを補償するステップは、
   −前記残りのピクセル値（１２１）をビニングするステップと；
   −ビンの重み値（Ｗ_Ｂ０ ^ｉｊ、Ｗ_Ｂ１ ^ｉｊ、Ｗ_Ｂ２ ^ｉｊ、Ｗ_Ｂ３ ^ｉｊ、Ｗ_Ｂ４ ^ｉｊ、Ｗ_Ｂ５ ^ｉｊ、Ｗ_Ｂ６ ^ｉｊ、Ｗ_Ｂ７ ^ｉｊ）を求めるステップと；
   −最も大きいビンの重み値でビン内の残りのピクセル値の重みつき平均である前記輝度成分を少なくとも求めるステップと、を具えることを特徴とする方法。
9. 請求項１に記載の動き推定および補償の方法であって、
   前記動きを補償するステップは、
   −前記残りのピクセル値（１２１）と重心への距離に基づいた関連する重み値（１２２）をクラスタリングするステップを具えることを特徴とする方法。
10. 請求項１に記載の動き推定および補償の方法であって、
    前記動きを補償するステップは、
    −前記残りのピクセル値（１２１）と重心への距離に基づいた関連する重み値（１２２）をクラスタリングするステップと；
    −選択した前記残りのピクセル値をビニングするステップと；
    −ビンの重み値を求めるステップと；
    −最も大きいビンの重み値でビン内の残りのピクセル値の重みつき平均である前記輝度成分を少なくとも求めるステップと、を具えることを特徴とする方法。
11. 請求項８または請求項９または請求項１０に記載の動き推定および補償の方法であって、
    所定の閾値より小さい重み値に対応する残りのピクセル値は、前記ビニングまたは前記クラスタリングに考慮されないことを特徴とする方法。
12. 請求項８または請求項９または請求項１０に記載の動き推定および補償の方法であって、
    残りのピクセル値は、対応する重み値の降順にソートされ、最初のＭ個（Ｍは整数である）の残りの値のみを前記ビニングまたは前記クラスタリングに考慮することを特徴とする方法。
13. 請求項１に記載の動き推定および補償の方法であって、
    前記再構築するステップは、
    −周囲のピクセル値の中央値である前記輝度成分を求めるステップを具えることを特徴とする方法。
14. 請求項１に記載の動き推定および補償の方法であって、
    前記再構築するステップは、
    −周囲のピクセル値の平均値である前記輝度成分を求めるステップを具えることを特徴とする方法。
15. 請求項１に記載の動き推定および補償の方法であって、
    前記少なくとも１つのフレームは、第１番目のビデオフレームと第２番目のキーフレームを具えることを特徴とする方法。
16. 請求項１に記載の動き推定および補償の方法であって、
    前記ビットプレーンは、二次抽出されることを特徴とする方法。
17. 請求項１に記載の動き推定および補償の方法であって、
    前記ビットプレーンの整数値は、調節可能であることを特徴とする方法。
18. 請求項１に記載の動き推定および補償の方法であって、
    前記方法は：
    −ビデオ符号化；
    −分散型ビデオ符号化；
    −誤り隠ぺい；
    −フレーム補間；
    −誤り耐性；
    −多重記述符号化；
    −予測符号化、の１以上に用いられることを特徴とする方法。
19. ビデオフレームＦのピクセルの少なくとも輝度成分に対する動き推定および補償のデバイスにおいて、
    前記動き推定および補償のデバイスは：
    前記ピクセルを含む複数のピクセルのブロックＯに対する整数ｋ個の受信したビットプレーンを少なくとも１つの参照フレーム（Ｆ^Ｒ）のブロックＯ^Ｒと比較するための手段と；
    各ブロックＯと各参照フレーム（Ｆ^Ｒ）に対して、マッチング基準により前記参照フレーム（Ｆ^Ｒ）内の最良のマッチングブロック（Ｏ^ＲＭ）を求めるための手段と；
    前記最良のマッチングブロック（Ｏ^ＲＭ）の有効なピクセルの比率に基づいて前記最良のマッチングブロック（Ｏ^ＲＭ）に対する重み値（Ｗ_Ｘ ^ｉｊ）を求めるための手段と；
    前記最良のマッチングブロック（Ｏ^ＲＭ）から前記ピクセルの残りのピクセル値（Ｖ_Ｘ ^ｉｊ）を抽出するための手段と；
    ピクセル予測配列（１２０）に前記重み値（Ｗ_Ｘ ^ｉｊ）と前記残りのピクセル値（Ｖ_Ｘ ^ｉｊ）を保存するための手段と；
    前記ピクセルが有効なピクセルである場合に、前記ピクセル予測配列（１２０）の重み値（１２１）と残りのピクセル値（１２２）から前記輝度成分の少なくとも残りのビットプレーンを求めるための動き補償手段と；
    前記ピクセルが無効なピクセルである場合に、周囲のピクセル値から前記輝度成分を再構築するための手段と、を具えることを特徴とするデバイス。
    

Images