JP2004096752A - 動きベクトルを近似する方法、該方法を実行するコンピュータプログラム、該プログラムを記憶するデータ記憶媒体、該方法を実行するように適合した装置、及び該装置を備える受信機 - Google Patents

Abstract

【課題】失われたまたは損傷を受けた動きベクトルを近似して、損傷した画像ブロックを前フレームの動き補償されたブロックで置換する。
【解決手段】動きベクトルを近似する方法は、同じフレーム内の近接するブロック、ならびに１つまたは複数の先行フレーム内および／または後続フレーム内の対応するブロックおよびその近接するブロックの動きベクトルから第１のベクトルの組を導出することと、同じフレーム内の近接するブロック、ならびに１つまたは複数の先行フレーム内および／または後続フレーム内の対応するブロックおよびその近接するブロックの動きベクトルのうちの１つまたは複数の動きベクトルから候補ベクトルの組を導出することと、上記第１のベクトルの組を分析することと、上記候補ベクトルの１つを、上記分析に基づいて選択することとを含む。
【選択図】図６

Description

　本発明は、画像データを処理する方法および装置に関する。特に、本発明は、画像データを処理して、例えば、送信または記録もしくは格納の結果として、発生するエラーを補償する方法に関する。また、本発明は、特に、動きベクトルのエラーに関係する。

　画像データ、特にビデオのビットストリームは、エラーの影響を非常に受けやすい。例えば、符号化されたビデオのビットストリームに１つのビットエラーがあるだけで、その結果、表示される画像の質に深刻な劣化が生じることがある。エラー訂正方式は、既知であり、広く使用されているが、それらの方式は、必ずしも功を奏するとは限らない。エラー、例えば送信中に発生するビットエラーが、エラー訂正方式によって十分に訂正できない場合には、エラーによって引き起こされた画像の破損を隠蔽するために、エラーの検出および隠蔽を使用することが知られている。

　既知のタイプのエラー隠蔽アルゴリズムは、一般に、空間隠蔽および時間隠蔽の２つのクラスに分類される。空間隠蔽では、欠損したデータが、近接する空間情報を用いて再構成されるのに対し、時間隠蔽では、欠損したデータが、前のフレーム内のデータを用いて再構成される。

　ビデオ信号に時間相関を利用することにより時間隠蔽を実行する１つの既知の方法は、米国特許第５９１０８２７号に開示されるように、損傷を受けたマクロブロック（ＭＢ）を、前のフレーム内の空間的に対応するＭＢによって置換することである。この方法は、コピーアルゴリズムと呼ばれる。この方法は、実施するのが容易であるが、動きが存在する領域では、隠蔽の質が悪化する可能性がある。損傷を受けたＭＢを、前のフレームからの動き補償されたブロックと置換することにより、大幅な改善を得ることができる。図１は、この技法を示している。しかしながら、これを成功させるには、動きベクトルが必要とされ、動きベクトルは、マクロブロックデータが破損している場合には、利用できないことがある。

　図２は、中央のＭＢを、その８つの近接するブロックと共に示している。動きベクトルが失われると、その動きベクトルは、近接するＭＢの動きベクトルから推定することができる。その理由は、ある画像内の近接するＭＢは、類似の動きをすることが多いので、通常、図２に示すような中央のＭＢに近接するＭＢの動きベクトルは、中央のＭＢとある程度相関しているからである。図３は、類似した方向を向いている、近接するＭＢの動きベクトルを示している。米国特許第５７２４３６９号および米国特許第５７３７０２２号は、損傷を受けた動きベクトルが、近接するブロックからの動きベクトルによって置換される方法に関する。米国特許第５９１２７０７号に開示されているように、近接するブロックの動きベクトルの平均（average）（すなわち、平均値（mean）または中央値（median））から、中央のＭＢの動きベクトルの推定値を導出することは既知である。図４に示すように、あるＭＢが損傷を受けると、その水平方向に隣接したＭＢも損傷を受ける確率が高い。したがって、それらの動きベクトルは、平均化を行う計算からは除外されることがある。

　一般的に言って、中央値（median）が、平均値（mean）よりも好まれるが、中央値は、大量の処理能力を必要とする。このような計算上高価なアプローチは、携帯電話のような所定の用途では、特に望ましくないことがある。

　本発明の目的は、最良の従来技術の技法と同様の結果を与えるが、少ない処理能力を用いて損傷を受けた動きベクトルを隠蔽する方法を提供することである。

　包括的に、本発明は、画像ブロックについて、失われたまたは損傷を受けた動きベクトルを近似する方法であって、同じフレーム内の近接するブロック、ならびに１つまたは複数の先行フレーム内および／または後続フレーム内の対応するブロックおよびその近接するブロックの動きベクトルから第１のベクトルの組を導出することと、同じフレーム内の近接するブロック、ならびに１つまたは複数の先行フレーム内および／または後続フレーム内の対応するブロックおよびその近接するブロックの動きベクトルのうちの１つまたは複数の動きベクトルから候補ベクトルの組を導出することと、上記第１のベクトルの組を分析することと、上記候補ベクトルの１つを、上記分析に基づいて選択することとを含む方法を提供する。

　換言すると、上記候補ベクトルが、対象となる画像ブロックに空間的および／または時間的に近接するブロックについての動きベクトルから抽出され、その候補ベクトルの１つが選択される。この選択は、対象となる画像ブロックに空間的および／または時間的に近接するブロックについての動きベクトルの分析に基づいて行われ、以下に議論するように、多くの方法で実行することができる。選択されたベクトルは、上述したように、上記候補ベクトルから抽出されるので、対象となる画像ブロックの真の動きベクトルと多少の相関を有する確率が高い。この選択は、通例、処理を比較的簡単にできるように、比較に基づいて行われる。以下に議論するように、上記選択が、時間的および／または空間的に近接するベクトルの分析を伴うので、その結果は、従来技術の技法、例えば、水平方向に隣接するブロックの動きベクトルまたは先行フレーム内の対応するブロックの動きベクトルを常に使用する等の技法よりも正確である。

　第１の好ましい態様によると、本発明は、画像ブロックについての動きベクトルを近似する方法であって、推定される動きベクトルを導出することと、候補ベクトルを、上記推定される動きベクトルと比較することと、上記推定されるベクトルに対する類似度に基づいて、上記候補ベクトルの１つを選択することとを含む方法を提供する。

　上記候補ベクトルは、例えば、上記同じフレーム内の上記画像ブロックに近接する画像ブロックのいくつかまたはすべてについての動きベクトル、上記先行フレーム内および／または上記後続フレーム内の対応する画像ブロックの動きベクトル、ならびにその近接するブロックの動きベクトルを含むことができる。同様に、上記推定される動きベクトルは、例えば、上記同じフレーム内の上記画像ブロックに近接する画像ブロックのいくつかまたはすべてについての動きベクトル、上記先行フレーム内および／または上記後続フレーム内の対応する画像ブロックの動きベクトル、ならびにその近接するブロックの動きベクトルから選択することもできるし、または導出することもできる。上記推定される動きベクトルを導出するために使用されるベクトルの組は、候補ベクトルとして使用される上記ベクトルの組と同じであってもよい。上記推定されるベクトルを導出するために使用されるベクトルの組は、例えば、上記先行フレーム内の対応するブロックの動きベクトルといった、１つの構成要素のみを有することができるが、上記候補ベクトルの組は、少なくとも２つの構成要素を有する。

　類似度に基づく動きベクトルの上記選択は、サイズおよび／または方向による類似度に基づくことができるが、距離に基づくことが好ましい。上記推定されるベクトルから最小の距離の候補ベクトルが、選択されることが好ましい。

　上記推定されるベクトルは、例えば、ベクトルの組の平均値、例えば、上記候補ベクトルのいくつかまたはすべての平均値であってもよい。上記候補ベクトルは、上記推定されるベクトルを導出するために使用されるベクトルの組のサブセットであってもよい。平均値は、加重平均値であってもよく、加重平均値とすることにより、正確さを向上させることができる。

　第２の好ましい態様によると、本発明は、画像ブロックについて、失われたまたは損傷を受けた動きベクトルを置換する方法であって、同じフレーム内の近接する画像ブロックの動きベクトルを、上記先行フレーム内または上記後続フレーム内の対応する動きベクトルと比較するか、または相関させることと、上記比較または相関の結果に従って、上記失われたベクトルの置換ベクトルを求めることとを含む方法を提供する。フレーム間に高い相関が存在する場合には、一般に、上記先行フレーム内の対応するブロックの動きベクトルが選択される。換言すると、上記候補の組は、上記先行フレーム内の対応するブロックの動きベクトルからなる。

　例えば、異なるフレーム内のブロック間に高い相関が存在する場合には、失われた、または損傷を受けた動きベクトルは、時間的に近接するフレーム内の空間的に対応する動きベクトルの動きベクトルによって確実に置換することができる確率が高い。

　置換用の動きベクトルを選択するための候補の組は、フレーム間の相関の度合いに従って変化し得る。例えば、相関が中程度である場合には、上記候補の組は、同じフレーム内の近接するブロックからの動きベクトルおよび先行フレーム内の対応するブロックの動きベクトルからなる。相関が低い場合には、先行フレームからの動きベクトルは除外され、上記候補の組は、同じフレーム内の近接するフレームに基づくものとなる。

　本発明の結果として、損傷を受けた動きベクトルの比較的正確な指標を、比較的低い処理コストで導出することができる。これは、特に、携帯電話のように、処理コストを削減することが有用な用途に有益である。

　本発明の実施の形態を、添付図面を参照して説明する。

　実施の形態１．
　本発明の実施の形態について、携帯テレビ電話との関連で説明する。この実施の形態では、第１の携帯電話のビデオカメラによって取り込まれた画像データが、第２の携帯電話に送信され、表示される。

　図５は、携帯テレビ電話１の関連部分を概略的に示している。電話１は、データを送受信するトランシーバ２、受信データを復号する復号器４、および受信画像を表示するディスプレイ６を含む。また、この電話は、ユーザの画像を取り込むカメラ８および取り込んだ画像を符号化する符号器１０も含む。

　復号器４は、適切な符号化技法に従って受信データを復号するデータ復号器１２、復号されたデータのエラーを検出するエラー検出器１４、損傷を受けた動きベクトルを推定する動きベクトル推定器１６、および動きベクトル推定器の出力に従ってエラーを隠蔽するエラー隠蔽器１８を含む。

　以下に、本発明の実施の形態１によって、ディスプレイ６に受信画像データを表示するために、受信画像データを復号する方法を説明する。

　第１の携帯電話のカメラ８によって取り込まれた画像データは、送信のため、適切な既知の技法を用いて符号化される。この技法は、例えばＭＰＥＧ−４技法のように、フレーム、マクロブロックおよび動き補償を使用する。その後、符号化されたデータは送信される。

　画像データは、第２の携帯電話によって受信され、データ復号器１２によって復号される。従来技術のように、送信データに発生するエラーが、エラー検出器１４によって検出され、可能な場合には、エラー訂正方式を用いて訂正される。動きベクトルのエラーを訂正できない場合には、図６のフローチャートを参照して以下に説明するように、推定方法が、動きベクトル推定器１６において適用される。

　エラーが、マクロブロックＭＢにおいて、対応する動きベクトルに発生したと仮定する。同じフレーム内の６つの近接するＭＢの動きベクトル（ＭＶ）が、取り出される（ステップ１００）。図７および図８に示すように、近接するＭＢ、すなわちＭＢ₁からＭＢ₆は、対応するＭＶ、Ｖ₁からＶ₆、を有し、これらのＭＶ、Ｖ₁からＶ₆、は、候補ＭＶの組を形成する。図７では、ＭＢに水平方向に隣接するＭＢも、損傷を受けているとの仮定により、それらのＭＢは除外されている。

　しかしながら、水平方向に隣接する動きベクトルが、損傷を受けていない場合には、それら動きベクトルを推定に含めることができる。

　次のステップ（ステップ１１０）では、候補ＭＶの平均（平均値）が計算され、損傷を受けたＭＶについての推定されたＭＶとして使用される。候補ベクトルＶ₁からＶ₆の平均は、図８に示すようなＶ₀である。ステップ１２０では、候補ＭＶの組における各ＭＶが、推定されたＭＶ（平均Ｖ₀）と比較され、Ｖ₀に最も近い候補ＭＶが選択される。

　本実施の形態では、近接するＭＶの平均（Ｖ₀）に最も近いベクトル（Ｖ_nearest）は、以下の式を用いて定義される。

　候補ベクトルＶ₁からＶ₆について、平均値ベクトルＶ₀に最も近いベクトルはＶ₃である。

　次に、損傷を受けたＭＢが、選択された動きベクトルＶ₃に対応する前のフレーム内のＭＢと置換される。最終的に、置換ＭＢを含む全画像が、ディスプレイ６に表示される。

　上述した実施の形態は、計算としては、ベクトルの中央値の方法よりもシンプルである。これを示すために、ｎ個のベクトルＶ₁，Ｖ₂，Ｖ₃，・・・，Ｖ_nの場合について考える。ベクトルの中央値（Ｖ_med）は、次のように計算される。

　本実施の形態によると、近接するＭＶの平均（Ｖ₀）に最も近いベクトル（Ｖ_nearest）は、次のように計算される。

　６つの近接するベクトルＭＶによると、中央値のベクトルの技法は、３０回の乗算および７５回の加算を要する。本実施の形態によると、１４回の乗算および２８回の加算しか必要としない。乗算は、加算よりもコストがずっと高いので、提案する技法は、ベクトルの中央値よりも少なくとも２倍の速度を有する。これは、処理能力が制限されている場合には、大きな利点である。たとえ、受信機の処理能力が、ベクトルの中央値の要件に対処できる場合であっても、計算量を２分の１に削減することにより、ユーザは、処理速度の遅い（したがって安価な）プロセッサを使用することができるか、または同じプロセッサを遅い速度で動作させることができる。したがって、消費電力を控えることができる。

　実施の形態２．
　次に、本発明の実施の形態２について説明する。

　実施の形態２は、実施の形態１と類似している。しかしながら、実施の形態２では、加重平均値が用いられる。

　図９および図１０に示すように、重みが、近接する各ＭＢのＭＶに割り当てられる。加重平均は、以下の式を用いて、ステップ１１０で計算される。

　次に、この加重平均に最も近い近接する動きベクトルが、実施の形態１におけるように、欠損した動きベクトルを表すために選択される。

　本実施の形態では、重み付けは、損傷を受けたブロックに対する、ＭＢのフレーム内の位置に従って実行される。

　通常、エラーを有するブロック（ＭＢ）のすぐ上のブロック（ＭＢ₂）およびすぐ下のブロック（ＭＢ₅）からの動きベクトルは、残りのブロックよりも、破損したブロック（ＭＢ）に近い。したがって、これらのＭＢの動きベクトルに対してバイアスをかけることは、時に好ましい。図１０に示すように、これら２つのブロック（ＭＢ₂、ＭＢ₅）には、回りのそれ以外のブロック（ＭＢ₁、ＭＢ₃、ＭＢ₄、ＭＢ₆）よりも大きな重みが与えられる。その結果、推定される欠損した動きベクトルは、ＭＢ₂および／またはＭＢ₅の動きベクトルの方向に、より多く向くことが予想される。

　実施の形態３．
　次に、実施の形態３について説明する。

　実施の形態３は、実施の形態２と類似しているが、前のフレームからの情報を用いて、異なる重み付けを使用する。より具体的には、この重み付けは、損傷を受けたＭＢに対応する前のフレーム内のＭＢ（ＭＢ’）の動きベクトルＶ_prevに関する情報を用いる（図１１参照）。

　より具体的には、前のフレーム内のブロックの動きベクトルＶ_prevからの、候補ベクトル（現フレーム内の６つの近接するブロック）Ｖ₁〜Ｖ₆のそれぞれの距離が計算される。そして、ブロックＭＢ₁からＭＢ₆および対応するＭＶ、Ｖ₁からＶ₆、が、Ｖ_iとＶ_prevとの距離に従って重み付けされる（図１２および図１３参照）。図１３に示すように、Ｖ_prevからの距離による候補ベクトルの順序は、Ｖ₂、Ｖ₃、Ｖ₄、Ｖ₅、Ｖ₆、そしてＶ₁であり、動きベクトルは、それに従って重み付けされる。

　上記式（３）は、Ｖ_prevへの距離に従って異なる重み付けを有するそれぞれのベクトルを用いて、新たな加重平均値を計算するために使用される。次に、この加重平均に最も近い近接する動きベクトルが、欠損ＭＶを表すために選択される。

　さらに、前のフレームのブロック（ＭＢ’）の動きベクトルも、例えば、より大きな重み（例えばｗ＝７）で加重平均に含めることができる。換言すると、Ｖ_prevを、候補ベクトルの組に含めることができる。

　この方法は、前のフレームにおける既知の動きベクトルに対する、近接する動きベクトルの類似度が与えられるので、より正確な重み付けが与えられるという利点を有する。通常の重み付けと比較すると、計算量は削減されないが、重み付けの正確さは増大する。

　このアプローチの効率は、連続するフレームの動きベクトル間の相関に依存する。低いフレームレートにおいて、この相関が低い場合には、等しい重みを用いた方法を上回る優位な性能は期待されない。高いフレームレート（例えば１２．５ｆｐｓ以上）では、この実施の形態３の加重平均値が使用され、それより低いフレームレートに対しては、実施の形態１または実施の形態２の平均値が使用される。

　実施の形態４．
　実施の形態４によると、ＭＶの候補の組が、実施の形態１におけるように、近接するブロックのＭＶ（Ｖ₁からＶ₆）から導出される。しかしながら、実施の形態４は、前のフレーム内の、空間的に位置が特定されたブロック（図１１参照）からの動きベクトルを、推定されたＭＶとして使用する。前のフレーム内のブロックの動きベクトルに最も近い現フレーム内の動きベクトル、すなわち、候補の組の中で最も近いベクトルが、欠損したＭＶについての最良の候補として使用される（図１４参照）。これは、前のフレーム内の動きベクトルから中央値を抽出することに似ている。この方法は、これまでに述べた既知の方法と比較すると、平均値を抽出する必要がないという利点を有する。したがって、計算量は、さらに削減される。

　図１４を参照すると、現フレーム内の動きベクトルＶ₄が、前のフレーム内の動きベクトルＶ_prevに最も近いベクトルである。したがって、ベクトルＶ₄が、損傷を受けたブロック（ＭＢ）のベクトルの置換として使用される。

　上述した実施の形態のそれぞれでは、最も近いＭＶのみが選択される。しかしながら、これは、推定されるベクトルに近い可能性のある他のＭＶを排除することになりかねない。上記実施の形態のそれぞれの変形では、失われたＭＶの置換のために、推定されるベクトルに近い他のベクトルも選択することができる。３つ以上のベクトルが、推定されるベクトルに近いという状況が存在し得る。図１５に示すように、ベクトルＶ₁、Ｖ₂、Ｖ₃、およびＶ₄は、ベクトルＶ₀に近い。したがって、これら４つのベクトルのいずれも、欠損したベクトルの置換のために選択することができる。

　推定されるベクトルに近い複数のベクトルを比較することは、処理のオーバヘッドを招く。計算時間が増加するのを回避するために、推定されるベクトルに１番近いベクトルおよび２番目に近いベクトルのみが、欠損したベクトルの可能性のある候補として考慮される。

　例えば図１６では、ベクトルＶ₃およびベクトルＶ₅が、推定されるベクトルＶ₀に近い。その結果、ベクトルＶ₃またはベクトルＶ₅を、欠損したベクトルと置換するために選択することができる。

　さらに別の変形では、動きの境界が、特定され、考慮される。

　例えば図１７に示すような動きの境界のシナリオについて、動きの境界に近いベクトルが対象とされる。図１７では、動きの境界に近いベクトルは、Ｖ₆およびＶ₂である。これら２つのベクトルは、推定されるベクトルＶ₀に非常に近いので、これら２つのベクトルのいずれか一方を、欠損したベクトルの置換として選択することができる。

　実施の形態５．
　次に、本発明の実施の形態５について説明する。

　現フレーム内の近接するブロックが、それらの前のフレーム内の空間的に対応するブロックと同じタイプの動きを有するかどうかを判断するために、動きの分析測定を用いて、６つの相関測定値が生成される。その基準が満たされると、失われたＭＶは、前のフレーム内の空間的に対応するブロックのＭＶによって置換される。

　この分析に利用される動きベクトルは、図１８に示すように、現フレーム内の周囲のベクトルおよび前のフレーム内の空間的に対応するＭＶである。

　ベクトルの相関測定値は、２つのベクトル間で計算され、例えば、以下の式のように、２つのベクトルの角度の差を計算することにより計算される。

　ブロックのそれぞれの対（図１８に示すように、ＭＢ₁、ＭＢ_p1；ＭＢ₂、ＭＢ_p2；など）が、検査された後、全体の相関測定値が、次のようにして生成される。

　ｒが、連続するフレーム間の近接する動きの相関について高い相関度を示す閾値ＴＨ＿ｈｉｇｈ（例えばＴＨ＿ｈｉｇｈ＝０．８）より大きい場合には、欠損したＭＶの置換は、前のフレーム内の、空間的に位置が特定されたブロックの動きベクトルを用いることにより達成される。

　ＴＨ＿ｍｅｄｉｕｍ＜相関値＜＝ＴＨ＿ｈｉｇｈの場合には、上述した実施の形態のうちの１つにおけるように、前のフレームからの動きベクトルと共に、空間的に隣接する動きベクトルも、置換ＭＶの選択に使用される。

　相関値＜＝ＴＨ＿ｍｅｄｉｕｍの場合には、空間的に隣接する動きベクトルのみが、置換ベクトルを導出および選択するために使用される。

　高いフレームレートでは、連続するフレームの動きの相関は高くなってくる。したがって、前のフレームからの情報は、現フレーム内の最良の動きベクトルを選択することを援助できる。

　換言すると、上記実施の形態は、空間的に隣接する動きベクトルが、エラー隠蔽用のよりよい候補を形成するのか、あるいは、前のフレームからの対応する動きベクトル（または複数の動きベクトル）が、エラー隠蔽用のよりよい候補を形成するのかを自動的に判断する。現フレーム内および前のフレーム内または複数の前のフレーム内の対応する動きベクトル間の相関が、選択プロセスをガイドする。

　本発明の用途の例は、テレビ電話、テレビ会議、ディジタルテレビ、ディジタル高品位テレビ、携帯マルチメディア、放送、ビジュアルデータベース、対話型ゲームを含む。本発明が使用可能な動画を含む他の用途は、移動ロボット工学、衛星画像、Ｘ線撮影のような生物医学技法、および監視を含む。本発明は、例えば移動の用途において、高品質な視覚結果を維持しつつ、処理を少なく抑えることが望ましい用途に特に有益である。

　本発明による技法は、従来技術の中央値のアプローチに類似したさまざまな画像フォーマットおよびさまざまなタイプの画像シーケンス、すなわち異なるタイプの動きの活動に対して、例えば、ピークの信号対雑音比によって、結果を生成することを示すことができる。しかし、本発明による技法は、水平方向に近接するＭＶ、前のフレーム内の対応するＭＶ、またはゼロベクトルといった既知のＭＶを単純に選択するような他の従来技術の技法よりも計算コストをかなり低くし、かつ優れている。本発明の実施の形態は、推定される別のＭＶに対するその類似度に基づくＭＶの選択を含む。この類似度は、説明したように距離に基づくものとすることができるし、かつ／あるいは、サイズおよび／または方向といった他の因子に基づくものとすることもできる。上記実施の形態は、前のフレームから抽出されたＭＶを参照する。同様にして、ＭＶは、後続のフレームからのものを使用することができ、また、さらに時間の間隔をおいた別のフレームからのものを使用することもでき、中央値よりも少ない計算で足りる。ベクトルの中央値の計算は、３０回の乗算＋７５回の加算を要するのに対し、実施の形態２は、１４回の乗算＋３０回の加算を要し、実施の形態１は、１４回の乗算＋２８回の加算を要し、この計算は、中央値に必要とされる計算数の半分である。

　前のフレームからのコピーまたは上からのコピーをゼロに設定するといった簡単な損失隠蔽技法は、特に、小さな画像解像度、例えばＱＣＩＦについては、近接する動きベクトル間にほとんど相関がないことを念頭に置くと、良好な結果を生み出さない。

隣接するフレーム内のマクロブロックの説明図である。 中央のブロックの空間的に近接するブロックの説明図である。 動きベクトルのグラフである。 近接するブロックの説明図である。 携帯電話の概略ブロック図である。 フローチャートである。 近接するブロックを示す図である。 動きベクトルを示す動きベクトルのグラフである。 近接するブロックの重み付けを示す図である。 ブロックの重み付けを示す図９に対応する図である。 ２つの連続するフレーム内の対応するマクロブロックを示す図である。 ブロックの重み付けを示す図１１に対応する図である。 距離に従った動きベクトルの重み付けを示す図である。 動きベクトルの図である。 動きベクトルの別の図である。 動きベクトルの別の図である。 動きベクトルの別の図である。 ２つの連続するフレーム内の対応するマクロブロックの図である。

Claims (20)

1. 　画像ブロックについての動きベクトルを近似する方法であって、
   　同じフレーム内の近接するブロック、ならびに１つまたは複数の先行フレーム内および／または後続フレーム内の対応するブロックおよびその近接するブロックの動きベクトルから第１のベクトルの組を導出することと、
   　同じフレーム内の近接するブロック、ならびに１つまたは複数の先行フレーム内および／または後続フレーム内の対応するブロックおよびその近接するブロックの動きベクトルのうちの１つまたは複数の動きベクトルから候補ベクトルの組を導出することと、
   　前記第１のベクトルの組を分析することと、
   　前記候補ベクトルの１つを、前記分析に基づいて選択することと
   　を含む方法。
2. 　候補ベクトルを、前記第１のベクトルの組から選択あるいは導出される、１つのベクトルまたは複数のベクトルと比較することを含む、請求項１に記載の方法。
3. 　前記第１のベクトルの組と前記候補ベクトルの組とは同じである、請求項１または請求項２に記載の方法。
4. 　推定される動きベクトルを前記第１のベクトルの組から導出することと、
   　前記候補ベクトルを、前記推定される動きベクトルと比較することと、
   　前記推定されるベクトルに対する類似度に基づいて、前記候補ベクトルの１つを選択することと
   　を含む請求項１ないし３のいずれか１項に記載の方法。
5. 　前記推定されるベクトルに対する類似度は、距離および／またはサイズおよび／または方向によって定義される、請求項４に記載の方法。
6. 　前記推定されるベクトルに最も近いベクトルまたは２番目に近いベクトルが選択される、請求項４または請求項５に記載の方法。
7. 　前記推定される動きベクトルは、前記第１の組の要素の２つ以上またはすべての平均値である、請求項４ないし６のいずれか１項に記載の方法。
8. 　前記平均値は加重平均値である、請求項７に記載の方法。
9. 　近接するブロックの動きベクトルは、前記先行フレーム内もしくは前記後続フレーム内で、前記画像ブロックに対するそれらの位置、および／または前記画像ブロックに対応するブロックの動きベクトルに対するそれらの類似度、に従って重み付けされる、請求項８に記載の方法。
10. 　前記選択は動きの境界を考慮に入れる、請求項１ないし９のいずれか１項に記載の方法。
11. 　前記分析は、同じフレーム内で近接する画像ブロックの動きベクトルを、前記先行フレーム内または前記後続フレーム内の対応する動きベクトルと比較することと、
    　前記比較の結果に従って動きベクトルの近似を求めることと
    　を含む、請求項１ないし１０のいずれか１項に記載の方法。
12. 　前記比較が、前記先行フレーム内または前記後続フレーム内で近接する動きベクトル間で高い相関を示す場合には、前記先行フレーム内または前記後続フレーム内で対応するブロックの動きベクトルを用いて、動きベクトルを近似することを含む、請求項１１に記載の方法。
13. 　前記比較が、フレーム間で低い相関を示す場合には、前記同じフレーム内で近接するブロックについての動きベクトルを用いて、動きベクトルを近似することを含む、請求項１１または請求項１２に記載の方法。
14. 　前記同じフレーム内の近接するブロックからの動きベクトル、ならびに前記先行フレーム内または前記後続フレーム内の動きベクトルを用いて、動きベクトルを近似することを含む、請求項１１ないし１３のいずれか１項に記載の方法。
15. 　請求項１ないし１４のいずれか１項に記載の方法を実行するコンピュータプログラム。
16. 　請求項１５に記載のコンピュータプログラムを記憶するデータ記憶媒体。
17. 　請求項１ないし１５のいずれか１項に記載の方法を実行するように適合した装置。
18. 　データ復号手段と、
    　エラー検出手段と、
    　動きベクトル推定器と、
    　エラー隠蔽手段と
    を含む請求項１７に記載の装置。
19. 　請求項１７または請求項１８に記載の装置を備える、通信システム用または格納データを検索するシステム用の受信機。
20. 　携帯テレビ電話である請求項１９に記載の受信機。

Images