JP2005522762A - 動き推定ユニット及び動きベクトル推定方法 - Google Patents

Abstract

一連の画像のうちの画像の画素グループついての動きベクトルを推定する動き推定ユニットであって、画素グループについて一組の動きベクトル候補を生成する生成手段と、一組の動きベクトル候補の各動きベクトル候補についての適合誤差を計算する適合手段と、適合誤差に基づいて、画素グループについての動きベクトルとして動きベクトル候補のうちの第１の動きベクトル候補を選択する選択手段と、画素グループを、画素サブグループに分割しなければならないか否かを試験する試験手段を有し、画素サブグループについて、各更なる動きベクトルが、画素グループについて動きベクトルを推定するのと同様に推定されなければならず、試験は、一連の画像の特定の動きベクトルに関する尺度に基づいている。

Description

発明の詳細な説明

本発明は、一連の画像のうちの画像の画素グループについての動きベクトルを推定する動き推定ユニットに係る。

本発明は更に、
−処理される一連の画像を表す信号を受信する受信手段と、
−一連の画像のうちの画像の画素グループについての動きベクトルを推定する動き推定ユニットと、
−動き推定ユニットによって制御され、一連の画像を処理する動き補償された画像処理ユニットと、を有する画像処理装置に係る。

本発明は更に、一連の画像のうちの画像の画素グループについての動きベクトルを推定する方法に係る。

２Ｄ動き推定は、２つの連続画像

及び

が与えられたときに、

であるようベクトル場

を見つけ出す問題を解決する。ただし、

は画像における２Ｄ位置であり、ｎは、画像数である。

２Ｄ動き推定は、以下の問題を有する。
−解の存在：いわゆる非カバー領域に位置付けられる画像の一部については対応を確立することができない。このことは、「オクルージョン問題（occlusion problem）」として知られている。
−解の一意性：動きは、空間画像勾配に直交してのみ決定可能である。このことは、開口問題（aperture problem）」として知られている。
−解の連続性：動き推定は、画像中のノイズの存在に非常に敏感である。

動き推定の不良設定の性質によって、２Ｄ動きベクトル場の構造についての仮定が必要とされる。一般的なアプローチは、動きベクトルが、１つの画素ブロックに対し一定である、即ち、ブロックにおける一定動きのモデルと仮定することである。このアプローチは、かなり上出来で、例えば、ＭＰＥＧ符号化及びスキャンレートアップコンバージョンに用いられる。一般的に、ブロックの寸法が所与のアプリケーションについて一定であり、例えば、ＭＰＥＧ−２について、ブロックサイズは１６×１６であり、スキャンレートアップコンバージョンについては８×８である。このことは、以下の制約をもたらす。

ただし、

は、位置

における画素ブロックであり、即ち、

であり、β_ｉは、ブロック寸法である。

所定のブロックサイズの選択は、空間精度を取るかロバスト性を取るかの問題となる。大きいブロックサイズについては、動き推定は、ノイズにあまり敏感ではなく、また、「開口」はより大きく、従って、「開口問題」は低減される。従って、大きいブロックサイズは、３つの問題のうち２つの問題の影響は低減する。しかし、大きいブロックサイズは、空間精度を低減してしまう。即ち、１つの動きベクトルが、そのブロックの全ての画素に対し割当てられてしまう。空間精度とロバスト性の間で折り合いをつけるために、可変ブロックサイズを用いることが提案されている。冒頭段落に記載したような種類の動き推定ユニットの実施例は、米国特許第５，４７７，２７２号から公知である。この特許には、トップダウン動き推定方法、即ち、最大ブロックから開始する方法が記載される。動きベクトルは、最初に、最高レイヤについて計算され、これは、次のレイヤのための初期推定値となり、以下同様に続けられる。動きベクトルは、可能な限り最小のブロックサイズを含む全てのブロックについて計算される。従って、この方法は、計算の面で比較的高価である。

本発明は、画像の可変サイズの画素グループについての動きベクトル場を供給し、比較的低い計算リソース使用を有する冒頭段落に記載したような種類の動き推定ユニットを提供することを目的とする。

本発明のこの目的は、一連の画像のうちの画像の画素グループついての動きベクトルを推定する動き推定ユニットにおいて達成され、この動き推定ユニットは、画素グループについて一組の動きベクトル候補を生成する生成手段と、一組の動きベクトル候補の各動きベクトル候補についての適合誤差を計算する適合手段と、適合誤差に基づいて、画素グループについての動きベクトルとして動きベクトル候補のうちの第１の動きベクトル候補を選択する選択手段と、画素グループを、画素サブグループに分割しなければならないか否かを試験する試験手段を有し、画素サブグループについて、各更なる動きベクトルが、画素グループについて動きベクトルを推定するのと同様に推定されなければならず、試験は、一連の画像の特定の動きベクトルに関する尺度に基づいている。

この動き推定ユニットは、例えば、３２×３２画素の比較的大きい画素グループについて最初は動きベクトルを推定するよう設計される。そのグループについての動きベクトルが推定された後、その動きベクトルが、画素グループ全体を代表するか否かが確認される。代表しない場合は、その画素グループは、サブグループに分割される。分割後、そのサブグループについても、生成手段、適合手段、及び選択手段を適用することによって、動きベクトルが推定される。試験結果が肯定的な結果である場合は、即ち、特定の動きベクトルが適切である場合は、その画素グループは、分割されず、推定された動きベクトルがその画素グループの画素に割当てられる。この場合、更なる動き推定段階は必要とされず、従って、追加の計算リソース使用を必要としない。

本発明による動き推定ユニットの１つの実施例では、特定の動きベクトルは、動きベクトル候補の第１の動きベクトル候補である。試験に用いられる尺度は、最良に適合する動きベクトルとして選択された動きベクトル候補に関連することが好適である。

本発明による動き推定ユニットの１つの実施例では、画素グループは、画素ブロックに対応し、画素サブグループは、各画素サブブロックに対応する。画素グループは、画像の任意の形状部分を形成し得るが、画素グループは、画素ブロックに対応することが好適である。これは、動き推定ユニットの設計に有利である。

本発明による動き推定ユニットの１つの実施例では、試験手段は、画素サブブロックの第１の画素サブブロックを更なる画素サブブロックに分割しなければならないか否かを試験するよう設計され、更なる画素サブブロックについて、各別の動きベクトルが、画素ブロックについて推定される動きベクトルと同様に推定されなければならない。画像をブロックに分割すること、また、ブロックをサブブロックに分割すること等は、再帰的に繰り返される。様々なブロック及びサブブロックについて動きベクトルが計算される。

本発明による動き推定ユニットの１つの実施例では、適合手段は、画素ブロックの画素値と、一連の画像の別の画像の更なる画素ブロックの各更なる画素値との間の絶対差の合計に対応する、動きベクトルの適合誤差を計算するよう構成される。この適合誤差は、比較的ロバスト性があり、比較的少ない計算リソース使用で計算されることが可能である。候補動きベクトル

の有効性を、適合誤差εを計算することによって評価することは一般的である。一般的な基準は、ＳＡＤ、即ち

である。この適合誤差εは、ブロック

について最良に適合する動きベクトルを得るために、

を変えながら最小にされる。即ち、

式４から分かるように、適合誤差計算は、動きベクトルに亘ってシフトされた画素値の多数の差の計算を必要とする。ブロック寸法が、両方の方向において２倍にされると、画素値の差の数は、４倍で増加する。しかし、ブロックの数は、４倍で減少する。従って、１画像あたりの計算の数は、同じままである。任意選択的に、サブサンプリングが、適合誤差の計算に適用され、即ち、１つのブロックの画素の一部のみが適用される。

本発明による動き推定ユニットの１つの実施例では、特定の動きベクトルに関する尺度は、動きベクトルと、画素ブロックの付近における隣接画素ブロックについて推定される隣接動きベクトルとの差に基づいている。この実施例では、分割は、ベクトル場不整合性ＶＩに基づいている。このことは、動きベクトルが、所定の閾値より局所的に異なる場合には、それらの動きベクトルは捕捉されたシーンにおける同じオブジェクトに属さない、即ち、一連の画像によって表されると考えられる。その場合、そのブロックは、オブジェクトのエッジを見つけるために分割されるべきである。一方で、ブロックは、隣接画素ブロックが同じ、又は略異ならない動きベクトルを有する場合には、更に分割される必要はない。その場合、そのブロックは、同じオブジェクトに対応すると見なされる。

本発明による動き推定ユニットの１つの実施例では、特定の動きベクトルに関する尺度は、適合誤差の計算の第１の中間結果と、適合誤差の計算の第２の中間結果との差に基づいており、第１の中間結果は、画素ブロックの第１の部分に対応し、第２の中間結果は、画素ブロックの第２の部分に対応する。これらの中間結果は、サブブロックの適合誤差としても使用される。従って、コンピュータリソース使用は最小限にされる。

本発明による動き推定ユニットの１つの実施例では、試験手段は、画素ブロックの寸法に基づいて、画素ブロックを画素サブグループに分割しなければならないか否かを試験するよう設計される。ブロックが分割されるべきか否かを試験する別の基準は、ブロックの寸法である。この追加の基準は、リソース使用における柔軟性を可能にする。比較的大きい計算リソース使用が可能である場合は、分割は、細粒ブロックまで続けられ得、比較的小さい計算リソース使用が可能である場合は、分割は、粗粒ブロックまで続けられ得る。尚、他の基準、即ち、尺度の閾値を適応することによって、ブロックの粒度も制御することが可能である。

本発明による動き推定ユニットの１つの実施例では、一組の画素サブブロックを、結合画素ブロックにまとめ、また、一組のサブブロックのうちのサブブロックに対応する更なる動きベクトルのうちの第１の動きベクトルを選択することによって、結合画素ブロックに新しい動きベクトルを割当てる結合ユニットを有する。隣接ブロックは、互いに等しい動きベクトルを有するか、又は、それらの動きベクトル間の差が所定閾値以下である場合にまとめられる。この結合の利点は、動きベクトルの数が少なくなるので、動きベクトルの格納のためのメモリ削減が達成される点である。

本発明による動き推定ユニットの１つの実施例では、試験手段を制御するオクルージョン検出器を有する。オクルージョン検出器を適用する利点は、オブジェクトの境界が、オクルージョン検出器によって計算されたオクルージョンマップから抽出することが可能な点である。ブロックの分割は、オブジェクトの境界の付近では関連があり、オブジェクトの中ではそれほど関連がない。従って、試験手段を制御するためにオクルージョン検出器を適用することは有利であり、というのは、計算リソース使用が削減されるからである。任意選択的に、１つの画像に対して決定されたオクルージョンマップは、一連の画像のうちの次の画像に用いられる。

本発明による動き推定ユニットの１つの実施例は、正規化された適合誤差を計算するよう構成される。正規化された適合誤差を適用する利点は、動き推定のロバスト性にある。更に、適合誤差は、画素ブロックが分割されなければならないか否かの試験のための基準である。正規化によって、画像のコンテンツに対しあまり敏感でなくなるようになる。

本発明は更に、画像の可変サイズの画素グループについての動きベクトル場を供給し、比較的低い計算リソース使用を有する冒頭段落に記載したような種類の画像処理装置を提供することを目的とする。

本発明のこの目的は、処理されるべき一連の画像を表す信号を受信する受信手段と、一連の画像のうちの画像の画素グループについての動きベクトルを推定する動き推定ユニットと、動き推定ユニットにより制御され、一連の画像を処理する動き補償された画像処理ユニットを有し、動き推定ユニットは、画素グループについて一組の動きベクトル候補を生成する生成手段と、一組の動きベクトル候補の各動きベクトル候補についての適合誤差を計算する適合手段と、適合誤差に基づいて、画素グループについての動きベクトルとして動きベクトル候補のうちの第１の動きベクトル候補を選択する選択手段と、画素グループを、画素サブグループに分割しなければならないか否かを試験する手段を有し、各画素サブグループについて、各更なる動きベクトルが、画素グループについて動きベクトルを推定するのと同様に推定されなければならず、試験は、一連の画像の特定の動きベクトルに関する尺度に基づいている、画像処理装置において達成される。

この画像処理装置は、例えば、処理された画像を表示する表示装置といった追加の構成要素を有し得る。動き補償された画像処理ユニットは、１つ以上の以下に示す種類の画像処理をサポートし得る。

−ビデオ圧縮、即ち、例えば、ＭＰＥＧ規格による符号化又は復号化。

−デインタレーシング：インタレーシングは、奇数又は偶数番号が付けられた画像線を交互に伝送するための一般的なビデオブロードキャスト方法である。デインタレーシングは、完全な垂直解像度を復元すること、即ち、奇数及び偶数線を各画像に対し同時に利用可能にすることを試みる。

−アップコンバージョン：一連のオリジナル入力画像から、大きい一連の出力画像が計算される。出力画像は、２つのオリジナル画像の間に時間的に位置付けられる。

−時間的ノイズ削減。このことは空間処理も関連する場合があり、結果として、空間−時間ノイズ削減がもたらされる。

本発明は更に、画像の可変サイズの画素グループについての動きベクトル場を供給し、比較的低い計算リソース使用を必要とする冒頭段落に記載したような種類の方法を提供することを目的とする。

本発明のこの目的は、一連の画像のうちの画像の画素グループについての動きベクトルを推定する方法において達成され、この方法は、画素グループについて一組の動きベクトル候補を生成する段階と、一組の動きベクトル候補の各動きベクトル候補についての適合誤差を計算する段階と、適合誤差に基づいて、画素グループについての動きベクトルとして動きベクトル候補のうちの第１の動きベクトル候補を選択する段階と、画素グループを、画素サブグループに分割しなければならないか否かを試験する段階を有し、画素サブグループについて、各更なる動きベクトルが、画素グループについて動きベクトルを推定するのと同様に推定されなければならず、試験は、一連の画像の特定の動きベクトルに関する尺度に基づいている。

動き推定ユニットの変更及びその変形は、記載した方法及び画像処理装置の変更及び変形に対応する。

本発明による動き推定ユニット、方法、及び、画像処理装置の上述の及び他の面は、添付図面を参照しながら、以下に記載する実施例から明らかになり、且つ、以下に記載する実施例に関して説明する。

対応する参照番号は、全ての図面において同一の意味を有する。

図１は、本発明の方法により計算される動きベクトル場１００の画素のブロック１０２−１１８を概略的に示す。この方法では、画像は、ブロック１１０に対応する寸法を有する多数の比較的大きいブロックに分割される。これらの比較的大きいブロックについて、動きベクトルが推定される。それに加えて、これらの動きベクトルが、相対運動（apparent motion）を記述するのに十分に良好であるか否かが試験される。特定のブロックについて、十分ではない場合、その特定のブロックは、ブロック１０２−１０８、及び１１２に対応する寸法を有する４つのサブブロックに分割される。図１では、このブロック１０２−１０８、及び１１２に対応する寸法を有する大部分のブロックに対して、推定された動きベクトルは適切であるとみなされたことが分かる。尚、４つ以外のサブブロック数にも分割することも可能である。サブブロックは更に分割されることも可能であり、例えば、サブブロック１１２は、例えば、１１４といったサブブロックに分割され、サブブロック１１４は更に、例えば、１１６及び１１８といったサブブロックに分割されることが可能である。

図２Ａは、動き推定ユニット２００の１つの実施例を概略的に示し、この動き推定ユニット２００は、画素ブロックをサブブロックに分割する分割手段２０２を有する。最初に、画像は、例えば、３２×３２画素の寸法を有する多数の比較的大きいブロックに分割される。

動き推定ユニット２００は更に、特定の画素ブロックに対し、一組の動きベクトル候補を生成する生成手段２０４を有する。この生成のために、他の画素ブロックについて推定された動きベクトルが使用される。いわゆる時間的及び／又は空間的動きベクトル候補及びランダム動きベクトル候補が使用される。この原理は、例えば、G. de Haan外による「True-Motion Estimation with 3-D Recursive Search Block Matching」（IEEE Transactions on circuits and systems for video technology、第３版、第５号、１９９３年１０月、３６８−３７９頁）に記載される。

動き推定ユニット２００は更に、一組の動きベクトル候補の各動きベクトル候補についての適合誤差を計算する適合手段２０８と、適合誤差を比較することによって、その特定の画素ブロックの動きベクトルとして動きベクトル候補のうちの第１の動きベクトル候補を選択する選択手段２０６を有する。最小適合誤差を有する候補動きベクトルが選択される。

動き推定ユニット２００は更に、その特定の画素ブロックを、画素サブブロックに分割しなければならないか否かを試験する試験手段２１０を有する。その各画素サブブロックについて、更なる動きベクトルが、上述の特定の画素ブロックについて推定された動きベクトルと同様に推定されなければならない。試験は、選択された動きベクトルに関する尺度に基づいている。試験手段２１０は、分割手段２０２を制御するよう設計される。

動き推定ユニット２００の入力コネクタ２１２に、一連の画像が供給される。動き推定ユニット２００は、その出力コネクタ２１４において動きベクトルを供給する。制御インタフェース２１６を介して、分割に関するパラメータ、即ち、分割基準が供給されることが可能である。これらのパラメータには、ブロックの最小寸法と、選択された動きベクトルの品質に関する尺度に対する閾値が含まれる。このような尺度の２つの例を以下に説明する。これらは、「Ｑｕａｄ−ＳＡＤの分散」、即ち、

と、「ベクトル場不整合性」、即ち、ＶＩと称する。尺度の組合せが好適である。これは、例えば、１つのブロックを４つの小さいブロックに分割するための１つの可能な基準は、

であることを意味する。

言葉で言い表すと、「ベクトル場不整合性」は、第１の所定の閾値Ｔ_ｓより高く、「Ｑｕａｄ−ＳＡＤの分散」は、第２の所定の閾値Ｔ_ｖより高い。

「ベクトル場不整合性」は、隣接動きベクトル間の差分量に関連する。「ベクトル場不整合性」の一例は、式７によって特定する。この場合、特定の動きベクトルが、４つの隣接動きベクトルと比較される。より多くの又は少ない隣接動きベクトルを用いて、「ベクトル場不整合性」を計算する別のアプローチも可能であることは明らかであろう。

ここでは、

と

は、最高レベルにおけるブロック寸法であり、局所ベクトル平均は、以下の式８によって決められる。

「Ｑｕａｄ−ＳＡＤの分散」は、式１０によって特定される。しかし、最初に、Ｑｕａｄ−ＳＡＤが、式９において特定される。いわゆるＱｕａｄ−ＳＡＤ、即ち、

は、４つのＳＡＤ値の組合せに対応する。又は、言い換えると、位置

におけるブロックは、４つのブロックに分割され、そのブロックの各四半分について、ＳＡＤが計算され、即ち、

である。ここでは、位置

におけるブロックは、位置

を有するその四半分、即ち、４つの同じサイズを有するブロックに分割される。Ｑｕａｄ−ＳＡＤは、如何なる追加の計算費用なくＳＡＤ値から導出することができる。次に、「Ｑｕａｄ−ＳＡＤの分散」を、例えば、

によって計算することができる。

式（６）に特定するような基準の背後にある基本的な考えは、最低レベル、即ち、小さいブロックサイズは、ベクトル場のエッジの付近でのみ必要とされるということである。ベクトル場におけるエッジを含む領域は、閾値Ｔ_ｓ以上のＶＩ値によって特徴付けられる。エッジの存在は、ブロックの一部に対する高いＳＡＤ値、及び、他の部分に対する低い値によって特徴付けられる。結果として、Ｑｕａｄ−ＳＡＤにおいてＳＡＤ値の大きいばらつきが生じる。

図２Ｂは、結合ユニット２１８を有する動き推定ユニット２０１の１つの実施例を概略的に示す。この動き推定ユニットの実施例は、隣接動きベクトルを比較するよう設計される。これらの動きベクトルが等しい、又は、隣接動きベクトル間の差が所定の閾値以下である場合、対応する画素ブロックは、結合画素ブロックにまとめられる。結合は、動きベクトル場が推定された後に行うことが可能であるが、或いは、結合は、動きベクトル場の作成と同時に行われ得る。

図２Ｃは、正規化ユニット２２０を有する動き推定ユニット２０３の１つの実施例を概略的に示す。適合誤差の正規化のためのアプローチは、出願番号０１２０２６４１．５（代理人整理番号ＰＨＮＬ０１０４７８）を有する欧州特許出願に記載される。その特許出願には、分散ＶＡＲパラメータが、画像の画素ブロックの画素値と、画像の他の画素ブロックの画素値との間の絶対差の合計によって計算されることが記載される。ＶＡＲをＳＡＤと比較することにより、期待ベクトル誤差ＶＥが決定される。このＶＥは、動きベクトルの品質のための尺度、推定動きベクトルの実際の動きベクトルとの間の差のための尺度である。上述の特許出願では、ＳＡＤ値とＶＡＲ値が与えられて期待ベクトル誤差ＶＥのためのモデルが導出される。即ち、

しかし、このモデルは、ブロックに対し適切な動きベクトルが１つしかない場合、即ち、ブロックの分割が必要とされない場合にのみ有効である。従って、式１１は、期待ＳＡＤ値を予測するために適用することができる。動き推定が収束されると、ベクトル誤差ＶＥは、低い、例えば、１／２画素であることが期待される。ＳＡＤ値が期待ＳＡＤ値よりも高い場合、ブロックは分割される。従って、分割基準は、以下の通りとなる。

ただし、

は、例えば、

によって与えられ、

と

は、それぞれ、ｘ方向及びｙ方向における単一ベクトル（unity vector）である。従って、式１２におけるＳＡＤ値の閾値は、可能にされたベクトル誤差となる。

図２Ｄは、オクルージョン（occlusion）検出器２２２を有する動き推定ユニット２０５の１つの実施例を示す。オクルージョン検出器２２２は、試験手段２１０にオクルージョンマップを供給する。オクルージョンマップには、画像のどの範囲が、カバー領域か又は非カバー領域に対応するかが画成される。動きベクトル場に基づいてオクルージョンマップを計算する１つのアプローチは、「Problem area location in an image signal」なる名称で、ＷＯ００１１８６３の番号で発行された特許出願中に記載される。この特許出願には、オクルージョンマップは、１つの動きベクトル場の隣接動きベクトルを比較することによって決定されると記載される。隣接動きベクトルが略等しい場合、即ち、隣接動きベクトル間の絶対差が、所定閾値以下である場合、その動きベクトルが対応する画素グループは、非カバー領域内に位置付けられているとみなされる。しかし、動きベクトルのうちの１つが、隣接動きベクトルより実質的に大きい場合、その画素グループは、カバー領域又は非カバー領域のどちらにも位置付けられると見なされる。隣接動きベクトルの方向が、２タイプの領域のうちのどちらであるかを決定する。このオクルージョン検出の方法の利点は、そのロバスト性にある。オクルージョン検出器を適用することの１つの利点は、オブジェクトの境界をオクルージョンマップから抽出することができる点である。ブロックをサブブロックに分割することは、カバー領域において関連性があり、オブジェクトの正確な境界を見つけなければならない。非カバー領域に位置付けられるブロックの場合、不確定性によってブロックをサブブロックに分割することはあまり有用ではない。

図２Ａ乃至２Ｄに関連して説明した動き推定ユニット２００、２０１、２０３、２０５は、それぞれ、以下の２つのモードのうちいずれかで動き推定を行うよう設計される。

−マルチパス。これは、以下の通りに行われる。即ち、最初に、画像は、ブロックに分割され、各ブロックに対し動きベクトルが決定される。次のパスにおいて、様々なブロックが再び処理される。これは、この様々なブロックは、任意選択的にサブブロックに分割され、そのサブブロックに対し動きベクトルが推定されることを意味する。その後に、もう一回同様のパスが行われる場合もある。

−シングルパス。これは、以下の通りに行われる。即ち、１つのブロックが、そのブロックについてのブロック階層、即ち、ブロックサイズにおける適切なレベルが到達されるまで、再帰的に分割される。次に、隣接ブロックが同様に処理される。このシングルパス方法の方が好適であり、というのは、最高の動きベクトルが、ブロック階層における最低レベルで見つけられ、これらの動きベクトルが、次のブロックのための候補動きベクトルとして供給されると見なされるからである。つまり、シングルパスモードでは、潜在的により良い動きベクトルが供給される。

図３は、画像処理装置３００の構成要素を概略的に示す。画像処理装置３００は、特定の処理が行われた後の表示されるべき画像を表す信号を受信する受信手段３０２を有する。この信号は、アンテナ又はケーブルを介して受信されるブロードキャスト信号であり得るが、ＶＣＲ（ビデオカセットレコーダ）又はデジタルバーサタイルディスク（ＤＶＤ）といった記憶装置からの信号でもあり得る。信号は、入力コネクタ３１０に供給される。

画像処理装置３００は更に、図２Ａ乃至２Ｄのいずれかに関連して説明した動き推定ユニット３０４と、動き補償された画像処理ユニット３０６と、処理された画像を表示する表示装置３０８を有する。この表示装置３０８は、任意選択的である。

動き補償された画像処理ユニット３０６は、その入力として、画像と動きベクトルを必要とする。

尚、上述した実施例は、本発明を制限するものではなく、むしろ説明するに過ぎず、当業者は、特許請求の範囲から逸脱することなく代替の実施例を設計することができるであろう。特許請求の範囲において、括弧の中に置かれた参照符号は、請求項を制限するものと解釈すべきではない。「有する」という用語は、請求項に列挙されない構成要素又は段階の存在を排除するものではない。単数形で示される構成要素は、そのような構成要素が複数存在することを排除するものではない。本発明は、幾つかの別個の構成要素を有するハードウェア、また、好適にプログラムされたコンピュータによって実施されることが可能である。幾つかの手段を列挙するユニットの請求項において、これらの手段のうち幾つかが同一のハードウェアアイテムによって具現化されることが可能である。

本発明の方法により推定される動きベクトル場の画素ブロックを示す概略図である。 動き推定ユニットの実施例を示す概略図である。 結合ユニットを有する動き推定ユニットの実施例を示す概略図である。 正規化ユニットを有する動き推定ユニットの実施例を示す概略図である。 オクルージョン検出器を有する動き推定ユニットの実施例を示す概略図である。 画像処理装置の実施例を示す概略図である。

Claims (17)

1. 一連の画像のうちの画像の画素グループついての動きベクトルを推定する動き推定ユニットであって、
   前記画素グループについて一組の動きベクトル候補を生成する生成手段と、
   前記一組の動きベクトル候補の各動きベクトル候補についての適合誤差を計算する適合手段と、
   前記適合誤差に基づいて、前記画素グループについての前記動きベクトルとして前記動きベクトル候補のうちの第１の動きベクトル候補を選択する選択手段と、
   前記画素グループを、画素サブグループに分割しなければならないか否かを試験する試験手段と、
   を有し、
   前記画素サブグループについて、各更なる動きベクトルが、前記画素グループについて前記動きベクトルを推定するのと同様に推定されなければならず、
   前記試験は、前記一連の画像の特定の動きベクトルに関する尺度に基づいている、ユニット。
2. 前記特定の動きベクトルは、前記動きベクトル候補の前記第１の動きベクトル候補であることを特徴とする請求項１記載の動き推定ユニット。
3. 前記画素グループは、画素ブロックに対応し、
   前記画素サブグループは、各画素サブブロックに対応することを特徴とする請求項１記載の動き推定ユニット。
4. 前記試験手段は、前記画素サブブロックの第１の画素サブブロックを更なる画素サブブロックに分割しなければならないか否かを試験するよう設計され、
   前記更なる画素サブブロックについて、各別の動きベクトルが、前記画素ブロックについて推定される前記動きベクトルと同様に推定されなければならないことを特徴とする請求項３記載の動き推定ユニット。
5. 前記適合手段は、前記画素ブロックの画素値と、前記一連の画像の別の画像の更なる画素ブロックの各更なる画素値との間の絶対差の合計に対応する、前記動きベクトルの前記適合誤差を計算するよう構成されることを特徴とする請求項３記載の動き推定ユニット。
6. 前記特定の動きベクトルに関する前記尺度は、前記動きベクトルと、前記画素ブロックの付近における隣接画素ブロックについて推定される隣接動きベクトルとの差に基づいていることを特徴とする請求項３記載の動き推定ユニット。
7. 前記特定の動きベクトルに関する前記尺度は、前記適合誤差の計算の第１の中間結果と、前記適合誤差の計算の第２の中間結果との差に基づいており、
   前記第１の中間結果は、前記画素ブロックの第１の部分に対応し、
   前記第２の中間結果は、前記画素ブロックの第２の部分に対応することを特徴とする請求項３記載の動き推定ユニット。
8. 前記試験手段は、前記画素ブロックの寸法に基づいて、前記画素ブロックを前記画素サブグループに分割しなければならないか否かを試験するよう設計されることを特徴とする請求項３記載の動き推定ユニット。
9. 一組の画素サブブロックを、結合画素ブロックにまとめ、また、前記一組のサブブロックのうちの前記サブブロックに対応する前記更なる動きベクトルのうちの第１の動きベクトルを選択することによって、前記結合画素ブロックに新しい動きベクトルを割当てる結合ユニットを有することを特徴とする請求項３記載の動き推定ユニット。
10. 前記試験手段を制御するオクルージョン検出器を有することを特徴とする請求項３記載の動き推定ユニット。
11. 正規化された適合誤差を計算するよう構成されることを特徴とする請求項３記載の動き推定ユニット。
12. 処理されるべき一連の画像を表す信号を受信する受信手段と、
    前記一連の画像のうちの画像の画素グループについての動きベクトルを推定する動き推定ユニットと、
    前記動き推定ユニットにより制御され、前記一連の画像を処理する動き補償された画像処理ユニットと、
    を有し、
    前記動き推定ユニットは、
    前記画素グループについて一組の動きベクトル候補を生成する生成手段と、
    前記一組の動きベクトル候補の各動きベクトル候補についての適合誤差を計算する適合手段と、
    前記適合誤差に基づいて、前記画素グループについての前記動きベクトルとして前記動きベクトル候補のうちの第１の動きベクトル候補を選択する選択手段と、
    前記画素グループを、画素サブグループに分割しなければならないか否かを試験する手段と、
    を有し、
    前記各画素サブグループについて、各更なる動きベクトルが、前記画素グループについて前記動きベクトルを推定するのと同様に推定されなければならず、
    前記試験は、前記一連の画像の特定の動きベクトルに関する尺度に基づいている、画像処理装置。
13. 前記動き補償された画像処理ユニットは、ビデオ圧縮を行うよう設計されることを特徴とする請求項１２記載の画像処理装置。
14. 前記動き補償された画像処理ユニットは、前記一連の画像におけるノイズを削減するよう設計されることを特徴とする請求項１２記載の画像処理装置。
15. 前記動き補償された画像処理ユニットは、前記一連の画像をデインタレースするよう設計されることを特徴とする請求項１２記載の画像処理装置。
16. 前記動き補償された画像処理ユニットは、アップコンバージョンを行うよう設計されることを特徴とする請求項１２記載の画像処理装置。
17. 一連の画像のうちの画像の画素グループについての動きベクトルを推定する方法であって、
    前記画素グループについて一組の動きベクトル候補を生成する段階と、
    前記一組の動きベクトル候補の各動きベクトル候補についての適合誤差を計算する段階と、
    前記適合誤差に基づいて、前記画素グループについての前記動きベクトルとして前記動きベクトル候補のうちの第１の動きベクトル候補を選択する段階と、
    前記画素グループを、画素サブグループに分割しなければならないか否かを試験する段階と、
    を有し、
    前記画素サブグループについて、各更なる動きベクトルが、前記画素グループについて前記動きベクトルを推定するのと同様に推定されなければならず、
    前記試験は、前記一連の画像の特定の動きベクトルに関する尺度に基づいている、方法。

Images