JP2012520025A - ビデオデータの動きベクトルを処理するためのシステムおよび方法 - Google Patents

Abstract

ビデオデータの動きベクトルを処理するシステムおよび方法が開示される。実施例にしたがって、ビデオデータのビデオフレーム中のイントラブロックが識別される。識別されたイントラブロックの近隣にあるインターブロックの少なくとも第１のセットと第２のセットが識別される。ここにおいて、インターブロックのセットの中の各インターブロックは、それに関連付けられる動きベクトルを有している。インターブロックの第１のセットと第２のセットを比較し、それによって、第１のセットと第２のセットの各々に関連付けられる誤差を決定する。誤差が最小であるセットのインターブロックの動きベクトルに関連付けられる動きベクトルが決定される。こうして決定された動きベクトルが、前記識別されたイントラブロックに関連付けられる。
【選択図】図１

Description

本件開示は、一般にビデオデータの動きベクトルの処理に関係している。

技術進歩により、コンピューティングデバイスやビデオ処理デバイスは、ますます小さく、かつ、ますます強力になってきた。例えば、小型・軽量でそれゆえ可搬であるポータブルワイヤレス電話、携帯情報端末(PDA)、およびページングデバイスのようなワイヤレスのコンピューティングデバイスを含む様々なポータブルパーソナルコンピューティングデバイスが現在存在している。これらのポータブルまたはワイヤレスのコンピューティングデバイスの多くは、そのようなデバイスがデジタルスチルカメラ、デジタルビデオカメラ、デジタルレコーダおよびオーディオファイルプレーヤの機能を提供することを可能にするハードウェアまたはソフトウェアの構成要素も含んでいる。また、そのようなワイヤレス電話は、インターネットにアクセスするために使用されることができるウェブブラウザアプリケーション等のソフトウェアアプリケーションの実行可能命令を処理することもできる。そのようなものとして、上記のワイヤレス電話やその他のデバイスは、かなりのコンピューティング能力および画像処理能力を備えることができる。

セル電話、PDA、ビデオプレーヤおよびその他のデバイスのような多くのデバイスは、インターネットにアクセスし、またビデオの処理および表示をしたりすることができるから、当該デバイスで処理・表示されるべきデータをインターネットまたは別のネットワークから受信することができる。MPEG （Moving Pictures Expert Group）標準やその他のビデオ処理標準にしたがって、ビデオ送信デバイスによって送信されるビデオデータは、ビデオデータのフレームの連続物として編成される。動画像のビデオデータのビデオ処理は、１単位時間あたり１つの送信チャネルによって送信されることができるビデオフレームの数を増加させることと、与えられた容量の記憶媒体に格納されることができるフレームの数を増加させることとを目的とする。これらの増加を効率よく達成するために、ビデオ符号化装置は、ビデオ受信機における動画像の実質的復元を可能にするために送信および格納されなければならない情報量を最小化することを目的とする。いくつかの符号化装置において、各ビデオフレームは、１６×１６のピクセルマクロブロックまたはその他のブロックサイズに分割されることができる。このデータの実質的圧縮は、各マクロブロックの４つの ８×８ピクセルサブブロックに対してDC変換（Discrete Cosine Transform）を適用することによって達成することができる。その他のブロックサイズおよびその他の変換も利用可能である。結果の被変換画像は、量子化され、符号化され、シリアルに送信される。

動き処理は、ビデオデータ中の動きを評価し推定することによってビデオ受信機における動画像の実質的復元を可能にするために必要とされるデータの量をさらに減少させる。動きにより、フレームのブロックにおいて表わされるデータは、以前に符号化されたフレーム内のデータのブロックとぴったり一致させられることができる。例えば、動くオブジェクトが１つのビデオストリームの中の複数の隣接フレームにおいて識別されることがしばしばある。この動くオブジェクトは、形状としては同じままで、しかし、動きによりオブジェクトの位置のみが変わるということがある。動くオブジェクトの動きは、当該オブジェクトを表わすデータの位置を変えることによって、少なくとも部分的には再生可能であるから、受信機でビデオを再生するために送信されるデータの量を低減することが可能である。

動き推定部は、動きによって生じる異なるフレームにおけるデータの間の類似度を利用することによって、連続するフレーム間において最もぴったり一致するブロックを見つけることを目的とする。動きベクトルとは、ブロックの動きの被検出方向と、ブロックの動きの被検出量に等しい大きさとを有するベクトルである。差分モード、すなわち「インターフレーム」モードで動作するとき、ビデオ符号化装置は、現在のフレームについてのデータと、隣接フレームの復元の元となるブロックに関連付けられる動きベクトルとを送信する。こうして、ビデオ受信機において完全なフレームを実質的に復元するためにインターフレームモードで送信されなければならないデータがより少なくされる。非差分モード、すなわち「イントラフレーム」モードで動作するとき、ビデオ符号化装置は、動きベクトル無しで現在のブロックを送信する。

インターフレームモードでは、ビデオ受信機は、ビデオデータストリーム中の受信された各動きベクトルを使用することによって、フレームのブロックの動きを「予測する」。このようにして、ビデオ受信機は、現在のフレームと動きベクトルとに基づいて、隣接フレームについてのフレームデータを復元する。動きベクトルデータは、フレームとフレームの間にフレームを内挿したり、差分のフレームデータからフレームを外挿したりするために、使用されることができる。このようにして、データは、相対的に低いフレームレートで送信され、受信機において、高フレームレートにアップコンバージョンされることができる。受信機におけるフレームの正確な復元は、受信ビデオデータストリーム中の動きベクトルの正確度または信頼度に部分的に依存する。

本件明細書記載の実施例にしたがって、ビデオデータを処理する方法、装置およびコンピュータ可読媒体が開示される。例えば、実施例は、セル電話やその他のビデオ上映デバイスを含むことができる。特に、ビデオ受信機によって受信されたビデオデータ中の動きベクトルは、ビデオデータを復元し、当該データのフレームレートを増加させるために処理される。いくつかの実施例において、受信されたインターブロックの動きベクトルは、イントラブロックについての動きベクトルを導出するのに使用される。

特定の実施例において、ビデオデータを処理する方法が開示される。本方法は、ビデオデータのビデオフレーム中のイントラブロックを識別することを含んでいる。本方法は、前記イントラブロックの近隣にあるインターブロックの第１のセットと第２のセットを識別することも含んでいる。インターブロックのセット中の各インターブロックは、動きベクトルに関連付けられる。本方法は、インターブロックの第１のセットと第２のセットのデータを比較し、そのことによって、いずれのセットが当該セットに関連付けられる最小の誤差を有するかを決定することを含んでいる。いくつかの実施例において、同じセットの中にある動きベクトルの間の二乗誤差が決定される。本方法は、最小の誤差を有するセットの中のインターブロックの動きベクトルに関連付けられる動きベクトルを決定することをさらに含んでいる。ここにおいて、前記決定された動きベクトルは、イントラブロックに関連付けられるべきものである。

別の特定の実施例において、動きベクトルを導出し、それをイントラブロックに割り当てるための装置が開示される。本装置は、当該装置によって受信されたビデオデータのビデオフレームのイントラブロックを識別するためのイントラブロック識別部を含んでいる。本装置は、イントラブロックの近隣にあるインターブロックの少なくとも１つのセットを識別するためのインターブロックセット識別部をさらに含んでいる。インターブロックの１セットの中の各インターブロックは、受信ビデオデータ中のそれぞれの動きベクトルに関連付けられている。誤差計算部は、各セットについて、セット中のインターブロックのデータまたは動きベクトルに関連付けられる誤差を決定する。インターブロックセット選択部は、誤差が最小のセットを選択する。本装置はまた、選択されたセットのインターブロックの動きベクトルのメジアンを決定するためのメジアンベクトル計算部を含んでいる。ここにおいて、前記メジアン動きベクトルは、前記識別されたイントラブロックに関連付けられることになっている。

別の特定の実施例において、コンピュータ可読の有形媒体は、コンピュータに、イントラブロックを識別することと、当該イントラブロックに割り当てるべき動きベクトルを近隣ブロックから導出することとをさせるコンピュータコードを含んでいる。本媒体は、ビデオデータの受信ストリームのイントラブロックを識別することをコンピュータにさせるコンピュータコードを含んでいる。本媒体は、イントラブロックの近隣にあるインターブロックの少なくとも１つのセットを識別することをコンピュータにさせるコンピュータコードをさらに含んでいる。本媒体は、各セットについて誤差を決定するために各セットのインターブロックのデータに関連付けられる誤差を決定することをコンピュータにさせるコンピュータコードをさらに含んでいる。本媒体は、最小の誤差を有する識別されたセットを選択すること、またはただ１つのセットが識別されたとき当該ただ１つのセットを選択することをコンピュータにさせるコンピュータコードをさらに含んでいる。本媒体はまた、選択されたセットの中のインターブロックの動きベクトルからメジアン動きベクトルを決定することをコンピュータにさせるコンピュータコードも含んでいる。ここにおいて、当該メジアン動きベクトルは、イントラブロックに関連付けられることになっている。

別の特定の実施例において、装置は、イントラブロックの近隣にあるインターブロックの少なくとも１つのセットを決定するための手段を含んでいる。本装置は、前記少なくとも１つのセットのインターブロックに関連付けられる誤差を決定するための手段をさらに含んでいる。本装置は、セットに関連付けられる誤差に基づいてセットを選択するための手段も含んでいる。本装置は、選択されたセットの中のインターブロックの動きベクトルのメジアンベクトルを決定するための手段も含んでいる。ここにおいて、メジアン動きベクトルは、イントラブロックに関連付けられることになっている。

こうして、本発明の１つの実施態様は、ビデオデータのフレームレートを復元し増強するための動きベクトルの処理を従来のシステムに比べて改善する。

本件開示のその他の実施態様、利点および特徴は、以下のセクション、すなわち、図面の簡単な説明、発明の詳細な説明および特許請求の範囲を含む本願全体の検討の後に明白になるであろう。

図１は、ビデオデータの源およびビデオデータの受信機の実施例のブロック図であり、イントラブロックの近隣にあるインターブロックの複数の可能性のあるセットを示している。 図２は、図１のビデオデータ源およびビデオ受信機のさらに詳細なブロック図である。 図３は、フレームレート・アップコンバージョン・ユニットの実施例のブロック図である。 図４は、処理のためにさらに小さなブロックに再分割されたマクロブロックのブロック図である。 図５は、動きベクトル前処理および割り当ての方法の実施例の流れ図である。 図６は、静的フレーム取扱部の実施例のブロック図である。 図７は、静的フレームを取扱う方法の実施例の流れ図である。 図８は、パニング分析部の実施例のブロック図である。 図９は、パニング分析方法の実施例の流れ図である。 図１０は、動きベクトル処理部の実施例のブロック図である。 図１１は、中心ブロックに隣接するブロックのブロック図である。 図１２は、動きベクトルの空間的連続性を評価する方法の実施例の流れ図である。 図１３は、動きベクトルの時間的連続性を評価する方法の実施例の流れ図である。 図１４は、処理された動きベクトルを使用することと、動き推定エンジンを使用して動きベクトルを計算することとの間の選択をする方法の実施例の流れ図である。 図１５は、境界検出部および訂正部の実施例のブロック図である。 図１６は、フレームまたはマクロブロックの境界に隣接するブロックの実施例のブロック図である。 図１７は、境界動きベクトルの検出および訂正の方法の実施例の流れ図である。 図１８は、動き適応性のある後処理部の実施例のブロック図である。 図１９は、列レベルの後処理の方法の実施例の流れ図である。 図２０は、境界強度値を割り当てる方法の実施例である。

発明の詳細な説明

ここに記載されている説明は、圧縮されたビデオデータの動きベクトルを処理するためのシステムおよび方法についての説明である。例示的実施例において、イントラブロックとは、関連付けられる動きベクトルを受信されたビデオデータストリームの中に有していないビデオデータブロックである。本件明細書記載の方法はまた、復号部において推定される動きベクトルを使用することによって利用されることもできる。復号部において推定される動きベクトルについて本件明細書記載の方法を適用するとき、イントラブロックは、関連付けられる歪みメトリックが閾値以上であるブロックとして決定される。ある実施例において、イントラブロックは、イントラブロックに隣接するインターブロックの動きベクトルから導出される動きベクトルを割り当てられる。さらに詳細には、イントラブロック動きベクトルは、近隣インターブロックのデータに関連付けられる最小の誤差を有する近隣インターブロックの動きベクトルから導出される。さらに、動きベクトルの処理は、ビデオフレームのビデオコンテンツが静的である場合にフレームレートのアップコンバージョンを無効化することを含んでいる。動きベクトルの処理は、ビデオコンテンツ中にパニングが存在するかどうかを決定することと、もしそうなら、双方向動き補償予測の実行などパニング適合性のある処理の実行をすることとを含むことができる。動きベクトルの処理は、動きベクトルの空間的および時間的連続性の測定値を決定することを含むことができる。動きベクトルの処理のこれらの実施態様およびその他の実施態様が本件明細書において説明される。

図１は、ビデオデータの源およびビデオデータの受信機の実施例のブロック図である。図１は、イントラブロックの近隣にあるインターブロックのセットを識別すること、およびインターブロックのセットから動きベクトルを導出することについての詳細を示している。導出された動きベクトルは、動画の処理をさらに効率的にすることを目的として、イントラブロックに関連付けられる。図１において、ビデオデータ源１００からビデオデータが受信される。ビデオデータ源１００は、テレビ局またはウェブサイトもしくはその他のビデオデータ源であってもよい。ビデオ受信機１０２は、ビデオデータ源１００からデータを受信し、ビデオデータを処理し、処理されたビデオデータをビデオ表示部１１４にて表示する。受信されたビデオデータの処理の一部は、動きベクトル前処理部および割り当てモジュール１０３によって行なわれる。

動きベクトル前処理部および割り当てモジュール１０３は、動きベクトルを導出し、イントラブロックに割り当てるように構成されている。イントラブロックは、関連付けられる動きベクトルを受信ビデオデータ中に有していないブロックであってもよい。動きベクトルが復号部において推定される別のシナリオにおいて、イントラブロックは、動き推定歪みメトリックが閾値以上であるブロックであってもよい。動きベクトル前処理部および割り当てモジュール１０３は、受信ビデオデータ中のイントラブロックを識別するイントラブロック識別部１０４を含んでいる。近隣インターブロックセット識別部１０６は、イントラブロックの近隣にあるインターブロックの１つまたは複数のセットを識別する。インターブロックは、差異のあるデータを持っており、またそれに関連付けられる動きベクトルを持っている。特に、図１は、１つまたは複数のイントラブロックの近隣にあるインターブロックの３つの異なるパターンA、BおよびCを示している。代表的なイントラブロック１２０はIと表示されており、代表的なインターブロック１２２はPと表示されている。パターンAはコーナーパターンであり、パターンBはサイドパターンであり、パターンCは隣接ペアのパターンである。いくつかの実施例において、各ブロックは、４×４のピクセルグループを表わしている。各パターンは、イントラブロックの近隣にある網掛けのインターブロックの２つのセットを示している。パターンは、データ中のイントラブロックの構成に基づいて選ばれる。その他のパターンのインターブロックが検出されるかもしれない。

セットデータ評価部１０８は、各々の識別されたセットに関連付けられる誤差を決定するために、インターブロックの各々の識別されたセットのデータを評価する。例示的実施例にしたがって、各セットに関連付けられる誤差は、セットのインターブロックの動きベクトルの平均二乗誤差であってもよい。その他の誤差測定も利用可能である。例えば、インターブロックのあるパターンは、フレーム中のオブジェクトの動きの故にフレームとフレームの間のデータの極小の変換を表すデータを含んでいるかもしれない。インターブロックセット選択部は、次に、最小の誤差を有するインターブロックのセットを選択する。識別されたセットが１つしかない場合、選択部１１０は、そのただ１つのセットを選択する。セットがいったん選択されると、メジアン動きベクトル計算部１１２は、選択されたセットのインターブロックの動きベクトルのメジアンベクトルを計算する。メジアン動きベクトルは、インターブロックの動きベクトルの上位半分と、インターブロックの動きベクトルの下位半分の中間に位置するベクトルである。このメジアン動きベクトルがイントラブロックに割り当てられる。いくつかの実施例においては、選択されたセットの動きベクトルの中央値（mean value）の動きベクトルがイントラブロックに割り当てられる。その他の手段が利用可能である。

図１に関して機能的に説明されているように、特定の実施例において、ビデオ受信機１０２は、イントラブロック識別部を含んでいる装置であり、この識別部は、当該装置によって受信ビデオデータのビデオフレームのイントラブロックを識別するためのものである。ここにおいて、受信ビデオデータ中に、前記識別されたイントラブロックに関連付けられる動きベクトルは無い。本装置はまた、前記識別されたイントラブロックの近隣にある８つのブロックの中から、そのイントラブロックの近隣にあるインターブロックの少なくとも１つのセットを識別するための近隣セット識別部も含んでいる。誤差計算部は、近隣インターブロックの各セットに関連付けられる誤差を決定する。セット選択部は、最小の誤差を有するセットを選択するか、または１つのセットしか識別されないとき当該ただ１つのセットを選択する。メジアンベクトル計算部は、選択されたパターンの動きベクトルの中のメジアン動きベクトルを決定する。割り当てモジュールは、メジアン動きベクトルを、識別されたイントラブロックに関連付ける。最小の誤差を有するインターブロックセットの動きベクトルの中のメジアン動きベクトルを選択することによって、イントラブロックの動き予測が実質的に改善される。

図２は、ビデオデータ源１００およびビデオ受信機１０２の特定の実施例についての詳細な図面である。ビデオデータ源１００は、ビデオデータを符号化するためのビデオ符号化部２０２を含んでいる。ビデオ符号化部２０２は、ビデオデータの空間的および時間的冗長度を利用することによって、圧縮・符号化されたビデオデータを生成する。その生成は、低フレームレートにて行われ、その生成されるビデオデータは、低フレームレートのビデオデータ２０４に帰着する。低フレームレートのビデオデータ２０４は、インターブロックに関連付けられる動きベクトルを含んでいる。ビデオ受信機１０２は、低フレームレートのデータを受信する受信機インターフェース２０８を含んでいる。いくつかの実施例において、受信機インターフェース２０８は、RF(無線周波数)通信によってビデオデータを受信するためのワイヤレス送受信機である。こうして、ビデオ受信機１０２は、ビデオデータ源１００から、低フレームレートのビデオデータ２０４を受信することができる。１つの実施例において、フレームレート・アップコンバージョン・ユニット２１０は、受信機インターフェース２０８から、低フレームレートのビデオデータ２０４を受信し、および内挿フレームを生成して表示のためにビデオデータのフレームレートを増加させる。いくつかの実施例において、ビデオデータは、有線接続によって受信される。

いくつかの実施例において、フレームレート・アップコンバージョン・ユニット２１０は、動きベクトル前処理部および割り当てモジュール１０３を含んでいる。その他の実施例において、フレームレート・アップコンバージョン・ユニット２１０は、図３に関して説明されているエントロピー復号部３０４を含んでいる。また、動きベクトル前処理部および割り当てモジュール１０３は、フレームレート・アップコンバージョン・ユニットの前にある。動きベクトル前処理部および割り当てモジュール１０３は、イントラブロックの近隣にあるインターブロックの複数の動きベクトルのメジアンのような１つの動きベクトルを決定し、およびその決定されたメジアン動きベクトルをイントラブロックに割り当てる。動き推定エンジン２１２は、処理された動きベクトルが動き検出に不向きであるとみなされるとき、フレームのための動きベクトルを生成するために隣接フレームを分析するために利用される。動き適応性のある後処理部２１６は、フレームレート・アップコンバージョン・ユニット２１０からフレームを受信し、および、以下で説明されるように、ビデオデータ中のオブジェクトの動きに関連付けられるビデオデータ中の雑音物(アーティファクツ)を低減または除去する。

動き適応性のある後処理部２１６からのビデオデータのフレームは、フレームバッファ２１８に格納される。そのフレームは、高フレームレートのビデオ２２０におけるバッファの出力において提供される。高フレームレートのビデオ２２０のフレームレートは、フレームレート・アップコンバージョンにより、低フレームレートのビデオデータ２０４のフレームレートより高くなっている。高フレームレートのビデオ２２０は、ビデオ表示部１１４によって表示される。いくつかの実施例において、ビデオ受信機１０２は、本件明細書記載のようなビデオ処理機能を行なうビデオ受信機１０２内のプロセッサによって実行されるプロセッサ命令を格納するメモリ２２４を含んでいる。例えば、フレームレート・アップコンバージョン・ユニット２１０、動き推定エンジン２１２、および動き適応性のある後処理部２１６は、本件明細書記載の機能を行う命令を実行するプロセッサとして実装されることができる。代替的に、または追加的に、フレームレート・アップコンバージョン・ユニット２１０、動き推定エンジン２１２、および／または動き適応性のある後処理部２１６は、特定回路、またはフィールドプログラマブル・ゲートアレイ(FPGA)のようなハードウェアコンポーネントを含むこともできる。

図３は、フレームレート・アップコンバージョン・ユニット２１０、動き推定エンジン２１２、および動き適応性のある後処理部２１６の実施例を示している。１つの実施例において、フレームレート・アップコンバージョン・ユニット２１０は、受信機インターフェース２０８から低フレームレートのビデオデータを受信する。いくつかの実施例において、受信機インターフェース２０８は、ワイヤレスの送受信機である。別の実施例において、ビデオデータは、有線を通じて受信される。エントロピー復号部３０４は、ビデオデータを受信し、当該データのエントロピー復号を行う。動きベクトル前処理部および割り当てモジュール１０３は、復号されたビデオデータを受信し、上述したように、近隣インターブロック中の動きベクトルの値に基づいて、データのイントラブロックに動きベクトルを割り当てる。いくつかの実施例において、フレームレート・アップコンバージョン・ユニット２１０は、４×４のピクセルブロックに対応するデータのようなデータブロックにデータを分割する。

静的フレーム取扱部３０８は、あるフレームが隣接フレームに関して静的であるかどうか検出する。一般に、あるフレームと隣接フレームとの間に動きが実質的にない場合、そのフレームは静的であるという。フレームが静的であるとみなされる場合、その静的フレームについて、フレームレートをアップコンバージョンするプロセスは生じない。というのは、その静的フレームがリプレイされ得るからである。フレームレートのアップコンバージョンが生じる必要がないときは、内挿フレームデータを表示部に送る際の消費電力はもちろんのこと、フレームレート・アップコンバージョン中の消費電力も節約することができる。静的でないビデオデータについては、パニング分析部３１０が、データ中にパニングがあるかどうかを決定し、もしあれば、動き補償予測部３１０を備えた動き推定エンジン２１２に動き補償予測を行わせる。別の実施例において、パニング分析は、動きベクトル処理部ユニット３１２が、よりよい動きベクトルを生成するのを支援することができる。パニングがいつ存在するかを決定することについては、図８および９に関して以下でさらに説明される。

動きベクトル処理部３１２は、フレームレート・アップコンバージョン・ユニット２１０によって処理される動きベクトルの空間的・時間的連続性を評価し、また処理された動きベクトルを使用するべきか、または動き推定エンジン２１２によって動き推定を行なうべきかの決定も行う。境界検出部および訂正部３１４は、フレームの境界上のブロックの動きベクトルを検出し、検出された動きベクトルを境界上にない隣接ブロックの動きベクトルと置換する。フレームレート・アップコンバージョン・ユニット２１０の出力は、動き適応性のある後処理部２１６と連結されており、ビデオのコンテンツが表示されるとき不要な雑音物が表示されるのを排除または軽減する。

図４は、処理のためにさらに小さなブロックに再分割されたマクロブロック４００の実施例の一例である。受信データストリームの中において、ビデオデータの各フレームは、マクロブロック４００のような１６×１６のピクセルマクロブロックに分割されることができる。本件明細書記載のいくつかの実施例において、各マクロブロックは、代表的ブロック４０２のような４×４ピクセルブロックにさらに再分割される。より小さなブロックへの再分割は、より小さなオブジェクトの動きの検出を可能にする。

図５は、動きベクトル前処理および割り当ての方法の実施例の流れ図である。特定の実施例において、本方法は、図１-３の動きベクトル前処理部および割り当てモジュール１０３によって行なわれることができる。５０２において、イントラブロックが識別される。５０４において、近隣インターブロックセットが識別される。５０６において、近隣インターブロックの識別されたセットの各々について、セット中の近隣インターブロックのデータの平均二乗誤差が各セットについて計算される。５０８において、最小の誤差を有するセットが選択される。５１０において、選択されたセットのブロックの動きベクトルのメジアンが計算される。５１２において、メジアンベクトルをイントラブロックに関連付けることによって、メジアンベクトルがイントラブロックに割り当てられる。

図６は、図３に説明されている静的フレーム取扱部３０８の実施例のブロック図である。静的フレーム取扱部は、２つの構成要素を含んでいる。１つは、静的フレーム分類部６０４であり、もう１つは、フレームレート・アップコンバージョン無効化部 ６０６である。静的フレーム取扱部３０８の静的フレーム分類部６０４は、決定された動き量が閾値より小さい場合のように、受信フレームの系列においてフレーム間に動きが実質的に無い場合、フレームを静的と分類する。静的フレームが検出されると、フレームレート・アップコンバージョン無効化部 ６０６は、静的フレームに対するフレームレート・アップコンバージョンのプロセスを無効化し、静的フレームがコピーされることができる。その他の実施例において、静的フレーム取扱部の後にフレーム内挿決定ブロックを置くこともできる。フレーム内挿決定ブロックは、動きおよび品質の分析を通じてフレームレート・アップコンバージョンを行なうべきかどうか決定する。

図７は、静的フレームを取扱う方法の実施例の流れ図である。例示的実施例において、本方法は、静的フレーム取扱部３０８によって行なわれることができる。７０２において、あるフレームが静的であるかどうか決定するために、系列的フレームが比較される。こうして、７０４において、フレームを比較することによって、フレームの系列中のフレームが別のフレームに対して静的であると決定することができる。静的フレームが検出された場合、７０６において、前記系列的フレームについてフレームレート・アップコンバージョンが無効化される。そうでない場合、７０８において、本件プロセスは、パニング分析を継続する。このことについて以下で検討する。

図７に関して機能的に説明されているように、いくつかの実施例は、ビデオデータのビデオフレームがいつ静的であるかを決定する静的フレーム取扱部を含んでおり、またビデオフレームが検出されるときフレームレート・アップコンバージョンのプロセスを選択的に中止することを含んでいる。別の実施例にしたがって、本方法は、ビデオデータのフレームのコンテンツが静的であるかどうか決定することを含んでいる。コンテンツが静的であるとわかった場合、フレームレート・アップコンバージョンを無効化することができる。

図８は、図３のパニング分析部３１０の実施例のブロック図である。パニング分析部３１０は、最大値、平均値および分散のような、フレームの動きベクトルの統計を集めるための統計収集部８０４を含んでいる。統計収集部８０４が集める統計は、ビデオデータによってパニングが示されるかどうか決定するために使用される。例えば、平均値のようなパニングメトリックが所定のレベルを超え、かつ、動きベクトルのx成分とy成分の分散が閾値より小さい場合、パニングが決定されることができる。メジアンベクトル計算部８０６は、パニングベクトルを生成するためにフレームの動きベクトルのメジアンを決定する。閾値比較部８０８は、パニングベクトルが閾値を超えるかどうか決定する。さらに、動きベクトル比較部８１０は、動きベクトルに対応するブロックがパニングされているかどうか決定するために、フレーム中の動きベクトルの各々をパニングベクトルと比較する。パニングが検出された場合、動き補償予測部３２０は、一方向動き補償予測を行うのではなく、双方向動き補償予測またはその他のパニング適応性のある予測を行うことができる。双方向動き補償予測は、結果として時間的フレーム予測の精度を改善することができる。

こうして、ある実施例は、ビデオデータがパニング動きをいつ示すかを決定するパニング分析部と、パニングが決定された場合双方向の動き補償予測を行う双方向動き補償予測部とを含むことができる。

図９は、パニング分析方法の実施例の流れ図である。例示的実施例において、本方法は、パニング分析部３１０によって実現されることができる。９０２において、フレームの動きベクトルの統計が決定される。これらの統計は、フレームの動きベクトルの最大値および平均値を含むことができる。パニングベクトルを生成するために９０４においてフレーム中の動きベクトルのメジアンが計算される。フレーム中の各動きベクトルは、９０６において、パニングされているブロックの数を決定するためにパニングベクトルと比較される。こうして、９０８において、動きベクトルとパニングベクトルの間の差が所定の閾値と比較される。この差がフレーム間のパニングを識別するために選択された所定の閾値より小さい場合、９１０において、動きベクトルに対応するブロックがパニングブロックのグループに割り当てられる。そうでない場合、本プロセスは、９１２において、パニングベクトルが閾値を超えるかどうか決定するために次に進んでいく。パニングベクトルが閾値を超える場合、９１４において、パニングフラグがセットされる。パニングベクトルが閾値を越えない場合、９１０において、パニングフラグは０のままである。

図９に示されているように、ある実施例は、ビデオデータのフレームがパニング動きを示すかどうか決定することと、パニング動きが示されるときビデオデータの後続のフレーム中のブロックの双方向動き補償予測を行なうこととを含む方法であることができる。

図１０は、動きベクトル処理部３１２の実施例のブロック図である。動きベクトル処理部３１２は、空間的連続性モジュール１００４、時間的連続性モジュール１００６および動き推定決定モジュール１００８を含んでいる。空間的連続性モジュール１００４は、中心ブロックの動きベクトルを隣接ブロックの動きベクトルと比較することによって動きベクトルの連続性を評価する。時間的連続性モジュール１００６は、１つのフレーム中のブロックの動きベクトルの連続性を別のフレーム中の対応するブロックの動きベクトルに対して評価する。動き推定決定モジュール１００８は、ブロックのための動きベクトルを決定するために動き推定を行うべきか、または動きベクトル前処理および割り当てモジュール１０３によって決定された処理された動きベクトルを使用するべきか決定する。

図１１は、ブロック間の空間的連続性を決定する実施例を説明するために使用されるフレーム内のブロックの実例である。ブロックのセット１１５０において、複数のブロックが中心ブロックC １１００に隣接する位置にある。図１１において、中心ブロックC １１００は、トップブロックT １１０２、ボトムブロックB １１０４、および２つのサイドブロックL １１０６およびR １１０８に隣接している。空間的連続性は、後で図１２に関して説明されるように、これらの隣接ブロックT １１０２、B １１０４、L１１０６およびR １１０８を使用して評価される。隣接ブロックの動きベクトルの間の差が小さく、かつ、反対に隣接ブロックの動きベクトルの平均値と中心ブロックの動きベクトルの間の差が大きい場合、中心ブロックの処理された動きベクトルは使用されなくてよく、その代わりに、隣接する動きベクトルの平均が使用されてもよい。

図１２は、動きベクトルの空間的連続性を評価する方法の実施例の流れ図である。例示的実施例において、本方法は、図３の動きベクトル処理部３１２によって行なわれることができる。図１１の中心ブロックC１１００のような空間的連続性に関する分析がまだ行われていない中心ブロックがフレーム中に残っているということが１２０４において決定された場合、１つの隣接ブロックの動きベクトルと、前記中心ブロックを挟んで反対側にある隣接ブロックの動きベクトルとの間の差が１２０６において決定される。例えば、図１１の中のブロックL １１０６とR １１０８の動きベクトルの間の差が決定される。その差が１２０８において第１の閾値と比較される。その差が第１の閾値を超える場合、次の中心ブロックが１２０４において評価される。中心ブロックが残っていない場合、プロセスは１２１４において終了する。前記の差が第１の閾値を越えない場合、第２の閾値が超えられるかどうか１２１０において決定するために、中心ブロックの動きベクトルが隣接ブロックの動きベクトルの平均値と比較される。例えば、ブロックC １１００の動きベクトルは、ブロックL １１０６およびR １１０８の動きベクトルの平均値と比較される（例えば、平均値からの引き算がされる）。第２の閾値が超えられない場合、次の中心ブロックが１２０４において評価される。第２の閾値が超えられる場合、隣接ブロックの動きベクトルの平均が１２１２において中心ブロックに割り当てられる。例えば、図１１の例において、ブロックC １１１０の動きベクトルは、ブロックL １１０６およびR １１０８の動きベクトルの平均となるように割り当てられることができる。

図１２に関して機能的に説明されているように、いくつかの実施例は、中心ブロックに隣接する２つのブロックの動きベクトルの間の第１の差を第１の閾値と比較することを含んでいる。第１の差が第１の閾値より小さいとき、中心ブロックの動きベクトルと、隣接ブロックの動きベクトルの平均動きベクトルとの間の第２の差が第２の閾値を超えるかどうかが決定される。第２の差が第２の閾値を超えるとき、隣接ブロックの動きベクトルの平均である中心ブロックに動きベクトルが割り当てられる。

図１３は、動きベクトルの時間的連続性を評価する方法の実施例の流れ図である。例示的実施例において、本方法は、図３の動きベクトル処理部３１２によって行なわれることができる。現在のブロックの処理された動きベクトルが隣接又は近傍フレーム中の対応ブロックの動きベクトルと類似しているかどうか決定するために、１３０４において比較が行われる。２つの動きベクトルの間の差を閾値と比較することによって類似性が決定される。２つの動きベクトルが類似している場合、プロセスは１３０８において継続する。比較されている２つの動きベクトルが類似していない場合、すなわち、２つの動きベクトルの差が閾値を超える場合、１３０６において、現在のブロックの動きベクトルは、現在のブロックに対応するビデオ受信機１０６によって受信されたビデオデータ・ビットストリーム中のまだ処理されていない受信動きベクトルに等しくされる。

現在のブロックのコード化ブロックパターン(CBP)は、１３０８において閾値と比較される。CBPが閾値より小さい場合、現在のブロックの処理された動きベクトルは、１３１０において、現在のブロックに対応するビデオデータ・ビットストリーム中のまだ処理されていない受信動きベクトルにセットされる。１３１２に進んで、現在のブロックの動きベクトルと、隣接フレーム中の対応するブロックの動きベクトルとの間の加重差が計算される。この加重差スキームはまた、基準となる同位置ブロックおよびその近隣ブロックからの動きクトルの加重平均によって得られる動きベクトルと、現在のブロックの動きベクトルとの間の差を取ることも必要とする可能性がある。１３１４に継続し、加重差が第２の閾値と比較される。加重差が第２の閾値より大きくない場合、プロセスは１３１８において終了する。そうでない場合、現在のブロックの動きベクトルは、ウィンドウの中心ブロックとして現在のブロックを含んでいるブロックのウィンドウの中のブロックの動きベクトルのメジアン値であるメジアン動きベクトルと等しくされる。いくつかの実施例において、ウィンドウは、３×３のブロックアレイを含んでいる。

図１４は、処理された動きベクトルを使用することと、動き推定エンジン２１２を使用して動きベクトルを計算することとの間の選択をする方法の実施例の流れ図である。例示的実施例において、本方法は、図３の動きベクトル処理部３１２によって行なわれることができる。１４０４において、フレーム中の動きベクトルの分散が決定される。その他の実施例において、分散以外の統計メトリックが利用されることもできる。動きベクトルの分散は１４０６において閾値と比較される。分散が閾値より大きい場合、フレームのための動きベクトルを決定するために、１４０８において動き推定エンジン２１２が使用される。そうでない場合、すなわち、分散が閾値より大きくない場合、１４１０においてフレームの処理された動きベクトルが使用される。いつ動き推定エンジンを始動させるべきかを決定するために、その他のメトリクスが使用されてもよい。これらのメトリクスは、ビットストリーム中のイントラブロックの数、イントラブロックのクラスタ、および動きベクトル長や動きベクトルヒストグラムのようなその他の動きベクトル統計を含んでいる。

図１５は、境界検出部および訂正部３１４の特定の実施例のブロック図である。境界検出部および訂正部３１４は、コーナーブロックの動きベクトルを検出・訂正するためのコーナー動きベクトル訂正部１５０４、およびサイドブロックの動きベクトルを検出・訂正するためのサイド動きベクトル訂正部１５０６を含んでいる。図１６に関して後に検討されるように、境界検出部および訂正部３１４は、フレームまたはマクロブロックの境界上のブロックの誤った動きベクトルを訂正する。典型的には、誤った動きベクトルは、オブジェクト/ピクセルがフレームから去るまたはフレームに入ることによりフレームの境界で生じるものであり、基準フレーム中にこれらのオブジェクトに対応するものを見つけることは難しい。

図１６は、フレームまたはマクロブロックの境界に隣接するブロックの実例であって、境界検出部および訂正部３１４のオペレーションを例示するためのものである。例えば、ブロックA １６０１はコーナーブロックであり、ブロックE １６０２はサイドブロックである。ブロックA １６０１の近隣ブロックは、ブロックB １６０３、C １６０５およびD １６０７である。ブロックE １６０２の近隣ブロックのうち境界上にないものは、ブロックF １６０６、G １６０４およびH １６０８である。

図１７は、境界動きベクトルの検出および訂正の方法の実施例の流れ図である。例示的実施例において、本方法は、図３の境界検出部および訂正部３１４によって行なわれることができる。ブロックがコーナーブロックであるかどうかは１７０４において決定される。ブロックがコーナーブロックである場合、コーナーブロックおよび隣接ブロックの動きベクトルの間の差の絶対値が１７０６において計算される。例えば、図１６を参照して、本方法は、ブロックA １６０１の動きベクトルと、ブロックB １６０３、C １６０５およびD １６０７の動きベクトルの間の差の絶対値を計算する。計算された絶対値の平均値が１７０８において計算される。平均値が１７１０において閾値と比較される。平均値が閾値を超える場合、１７１２においてコーナーブロックの動きベクトルが近隣ブロックの動きベクトルと等しくされる。ここにおいて、平均値以外の値/メトリクスが同様に使用可能である。特に、コーナーブロックA １６０１の動きベクトルは、近隣ブロックD １６０７の動きベクトルと等しくされることができる。平均値が閾値を超えない場合、プロセスは１７１４において進行する。

１７１４において、プロセスは、サイドブロックが検出されるかどうかの決定を継続する。サイドブロックが検出されない場合、１７０４において、プロセスは次のブロックについて継続する。サイドブロックが検出された場合、サイドブロックおよび隣接ブロックの動きベクトルの間の差の絶対値が１７１６において計算される。図１６を参照して、本方法は、ブロックE １６０２の動きベクトルと、ブロックF １６０６、G １６０４およびH １６０８の動きベクトルの間の差の絶対値を計算することができる。計算された絶対値の平均値が１７１８において計算される。平均値は１７２０において閾値と比較される。平均値が閾値を超える場合、サイドブロックの動きベクトルは、１７２２において近隣ブロックの動きベクトルと等しくされる。例えば、サイドブロックE １６０２の動きベクトルは、近隣ブロックF １６０６の動きベクトルと等しくされることができる。プロセスは、１７０４において、次のブロックについて継続する。

図１８は、図２に関して説明された動き適応性のある後処理部２１６の実施例のブロック図である。動き適応性のある後処理部２１６は、ブロック毎にイメージを処理することの結果としての誤ったピクセル値であるブロッキングアーティファクツ（雑音物）を低減する。さらに詳細には、動き適応性のある後処理部２１６は、ブロックに適用されるフィルタリングの強度を決定する各ブロックについての境界強度を決定する。動き適応性のある後処理部２１６は、フレーム中のブロックの一列を一度に選択する列選択部１８０４を含んでいる。動きベクトル比較部１８０６は、列の中の各ブロックの動きベクトルを閾値と比較する。動きベクトル計数部１８０８は、列の中の動きベクトルのうち閾値を超えるものの数を計数する。計数比較部１８１０は、前記閾値を超える動きベクトルの総数を第２の閾値と比較する。計数値が第２の閾値を超える場合、境界強度決定部１８１２は、選択された列の中の各ブロックについての境界強度を決定する。こうして、装置の実施例は、ブロックに関連付けられる境界強度を評価するための動き適応性のある後処理部２１６を含むことができる。

図１９は、列レベルの後処理の方法の実施例の流れ図である。例示的実施例において、本方法は、図３の動き適応性のある後処理部２１６によって行われることができる。列の中のブロックの動きベクトルのうち第１の閾値を超えるものの数が１９０４において決定される。第１の閾値を超える動きベクトルの数は、１９０６において第２の閾値と比較される。第１の閾値を超える動きベクトルの数が第２の閾値を越えない場合、列レベルの後処理は、１９０８においてオフにされる。そうでない場合、列レベルの後処理は、１９１０においてオンにされる。１９１２において、まだ残っている列があるかの決定が行われる。残っているものがある場合、次の列が１９０４において処理される。

図２０は、境界強度値を割り当てる方法の実施例である。例示的実施例において、本方法は、図３の動き適応性のある後処理部２１６によって行われる。２００４において、特定の列について列レベルの後処理がオンにされるかどうかの決定が行われる。その列について列レベルの処理がオフにされると、２００８において、別の列があるかどうかの決定が行われる。別の列がある場合、プロセスは２００４において継続する。そうでない場合、プロセスは２０１０において終了する。２００４において継続し、列レベルの後処理がオンにされる場合、プロセスは２００６に前進し、２００６において、ブロックのための動きベクトルが閾値を超えるかどうかにしたがって、列の中のブロックに関する境界強度が決定される。２００８に前進し、処理されなければならない別の列があるかどうかの決定が行われる。もしあれば、プロセスは２００４において継続する。もしなければ、プロセスは２０１０において終了する。処理能力が十分にあるアプリケーションの場合にあっては、列レベルの決定は廃棄してもよく、内挿されるべきフレームの各ブロックおよび各列について、動き適応性のある境界強度を計算することもできる。

当業者であれば、本件明細書において開示されている実施例に関連して説明された様々な例示的な論理ブロック、構成、モジュール、回路、およびアルゴリズムステップが、電子的ハードウェア、コンピュータソフトウェアまたは両者の組み合わせとして実装可能であるということをさらに認識するであろう。ハードウェアとソフトウェアのこの置換可能性を明確に例示するため、様々な例示的なコンポーネント、ブロック、構成、モジュール、回路およびステップが上記においてそれらの機能性の観点から一般的に説明されてきたところである。そのような機能性がハードウェアとして実装されるか、またはソフトウェアとして実装されるかは、特定のアプリケーションおよびシステム全体に課される設計上の制約に依存する。当業者は、各々の特定のアプリケーションについて異なるやり方で本件明細書に開示されている機能性を実装することができるであろう。しかし、そのような実装が本件開示の範囲からの逸脱を引き起こすものと解釈されることがあってはならない。

本件明細書において開示されている実施例に関連して説明された方法またはアルゴリズムのステップは、ハードウェアにおいて直接に、またはプロセッサによって実行されるソフトウェアモジュールにおいて、または両者の組み合わせにおいて具体化されることが可能である。ソフトウェアモジュールは、ランダムアクセスメモリ(RAM)、フラッシュメモリ、読み取り専用メモリ(ROM)、プログラマブルROM(PROM)、消去可能PROM(EPROM)、電子的EPROM(EEPROM)、レジスタ、ハードディスク、リムーバブルディスク、コンパクトディスクROM(CD-ROM)または当該技術分野におけるその他の任意の形式の公知の記憶媒体の中に存在することができる。典型的記憶媒体は、プロセッサが記憶媒体から情報を読み取るまたは記憶媒体に情報を書き込むことができるように、プロセッサと結合される。その代わりに、記憶媒体がプロセッサと一体化されていてもよい。その場合、プロセッサおよび記憶媒体がASICの中に常駐し、そのASICがユーザ端末中に常駐することができる。代替的に、プロセッサおよび記憶媒体は、コンピューティングデバイスまたはユーザ端末中の離散的コンポーネントとして常駐することもできる。

いくつかの実施例にしたがって、開示された方法の１つまたは複数のうちの一部は、イントラブロックを識別することと、イントラブロックに割り当てるべき動きベクトルを近隣ブロックから導出することとを、汎用目的プロセッサまたはデジタル信号プロセッサ（DSP）のような、コンピュータにさせるためのコンピュータコードを含んでいるコンピュータ可読の有形媒体として実装されることができる。前記媒体は、コンピュータにビデオデータの受信ストリームの中のイントラブロックを識別することをコンピュータにさせるコンピュータコードを含んでいる。ここにおいて、前記イントラブロックは、ビデオデータの受信ストリームの中においてそれに関連付けられる動きベクトルを有していない。前記媒体は、イントラブロックの近隣にあるインターブロックの少なくとも１つのセットを決定することをコンピュータにさせるコンピュータコードをさらに含んでいる。前記コンピュータコードはまた、前記少なくとも１つのセットの中で動きブロックのベクトルに関連付けられる誤差を決定することもコンピュータにさせる。前記媒体は、前記少なくとも１つのセット中の最小の誤差を有するセットを選択すること、またはただ一つのセットが識別されるときそのセットを選択することをコンピュータにさせるコンピュータコードをさらに含んでいる。コンピュータコードはまた、選択されたセット中のインターブロックの動きベクトルからメジアン動きベクトルを決定することもコンピュータにさせる。前記媒体はまた、メジアン動きベクトルをイントラブロックに関連付けることをコンピュータにさせるコンピュータコードも含んでいる。

いくつかの実施例において、前記媒体は、ビデオデータ中のパニング動きを検出すること、およびパニング動きが検出されたとき双方向動き補償予測を行うことをコンピュータにさせるコンピュータコードをさらに含んでいる。いくつかの実施例において、コンピュータコードは、ビデオデータのフレームのコンテンツが静的であるかどうか決定すること、およびフレームのコンテンツが静的であるとわかったときフレームレート・アップコンバージョンを無効化することをコンピュータにさせる。さらに、いくつかの実施例において、コンピュータコードは、ブロックの動きベクトルを隣接ブロックの動きベクトルと比較することによってビデオデータのブロックの空間的連続性を評価することをコンピュータにさせる。また、いくつかの実施例において、コンピュータコードは、処理された動きベクトルに関連付けられる時間的連続性を評価するために、ブロックの処理された動きベクトルと、以前のフレーム中の対応するブロックの動きベクトルとの間の差を決定することをコンピュータにさせる。

こうして、本件明細書記載の方法のうちの一部または全部は、マイクロプロセッサまたはマイクロコントローラを含み得るコンピュータによって行なわれることができる。代替的または追加的に、本方法のうちの一部または全部は、特定用途集積回路またはプログラマブル論理アレイによって行なわれることができる。

開示された実施例の上記説明は、あらゆる当業者が本件開示の実施例を製作また使用することができるように提供されている。これらの実施例の様々な修正は、当業者にとって容易に明白であろう。また、本件明細書において定義された原理は、本件開示の範囲から逸脱することなくその他の実施例に対しても適用可能である。こうして、本件発明は、本件明細書に示された実施例に限られると意図されているのではなく、以下の請求項によって定義されているように本件発明の原理および新規な特徴と矛盾しない最大限広い範囲が与えられるべきである。

開示された実施例の上記説明は、あらゆる当業者が本件開示の実施例を製作また使用することができるように提供されている。これらの実施例の様々な修正は、当業者にとって容易に明白であろう。また、本件明細書において定義された原理は、本件開示の範囲から逸脱することなくその他の実施例に対しても適用可能である。こうして、本件発明は、本件明細書に示された実施例に限られると意図されているのではなく、以下の請求項によって定義されているように本件発明の原理および新規な特徴と矛盾しない最大限広い範囲が与えられるべきである。

以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
ビデオ受信機の中で受信ビデオデータを処理する方法であって、
前記ビデオデータのビデオフレーム中のイントラブロックを識別することと、
前記イントラブロックの近隣にあるインターブロックの第１のセットを識別し、および前記イントラブロックに隣接するインターブロックの第２のセットを識別することと、ここにおいて、前記第１および第２のセットの中の前記インターブロックの各々は、それに関連付けられる動きベクトルを持っている、
インターブロックの前記第１のセットとインターブロックの前記第２のセットのうちのいずれがそれに関連付けられる最小の誤差を有するかを決定するために、インターブロックの前記第１のセットおよびインターブロックの前記第２のセットのデータを評価することと、および
前記最小の誤差を有すると決定されたインターブロックの前記セットの前記動きベクトルに関連付けられる１つの動きベクトルを決定することと、ここにおいて、前記決定された動きベクトルは、前記イントラブロックに関連付けられることになっている、
を具備する方法。
［Ｃ２］
インターブロックの前記セットのうちの少なくとも１つは、前記イントラブロックの近隣にあるインターブロックのコーナーパターンを具備する、Ｃ１の方法。
［Ｃ３］
インターブロックの前記セットのうちの少なくとも１つは、前記イントラブロックの近隣にあるインターブロックのサイドパターンを具備する、Ｃ１の方法。
［Ｃ４］
インターブロックの前記第１および第２のセットの中の各インターブロックは、４×４のピクセルグループを表している、Ｃ１の方法。
［Ｃ５］
Ｃ１の方法であって、
前記ビデオデータの前記ビデオフレームのコンテンツが静的であるかどうか決定することと、および
前記フレームの前記コンテンツが静的であると決定することに応答して、フレームレート・アップコンバージョンを無効化することと
をさらに具備する方法。
［Ｃ６］
Ｃ１の方法であって、
前記ビデオフレームがパニング動きを示すかどうか決定することと、および
パニング動きが示されると決定することに応答して、後続のビデオフレーム中のブロックのパニング適応性のある予測を行なうことと
をさらに具備する方法。
［Ｃ７］
前記ビデオフレームに関連付けられる動きベクトルの統計に基づいてパニング動きが識別される、Ｃ６の方法。
［Ｃ８］
前記ビデオフレームに関連付けられる動きベクトルのメジアン値に基づいてパニング量が決定される、Ｃ６の方法。
［Ｃ９］
前記パニング動きを示すブロックの数を決定するために前記ビデオフレーム中の複数のブロックの各々についてパニングベクトルと動きベクトルとの間の差を計算することをさらに具備する、Ｃ６の方法。
［Ｃ１０］
前記ビデオフレームが前記パニング動きを示すと決定することに応答して、パニング動きを使用して前記ビデオフレームについての動きベクトルを導出することをさらに具備する、Ｃ６の方法。
［Ｃ１１］
Ｃ１の方法であって、
中心ブロックに隣接する２つのブロックの動きベクトルの間の第１の差を第１の閾値と比較することと、
前記第１の差が前記第１の閾値より小さいことに応答して、前記中心ブロックの動きベクトルと、前記２つのブロックの動きベクトルの平均動きベクトルとの間の第２の差が第２の閾値を超えるかどうか決定することと、および
前記第２の差が前記第２の閾値を超えることに応答して、前記２つのブロックの前記動きベクトルの平均である前記中心ブロックに動きベクトルを割り当てることと
をさらに具備する方法。
［Ｃ１２］
Ｃ１の方法であって、
前記ビデオフレームの第１のブロックの処理された動きベクトルと、前記ビデオデータの以前のフレームの対応するブロックの動きベクトルとの間の加重差を計算することと、
前記加重差を閾値と比較することと、および
前記加重差が前記閾値を超えることに応答して、前記処理された動きベクトルを、前記処理された動きベクトルに対応する前記第１のブロックを含んでいる３ブロック×３ブロックのアレイ内の近隣ブロックの動きベクトルのメジアン値である置換動きベクトルと置換することと
をさらに具備する方法。
［Ｃ１３］
動きベクトルを予測するために受信ビデオビットストリーム中に提供されている動きベクトルを使用することと、動きベクトルを決定する前記ビデオ受信機における動き補償予測を使用することとを、前記ビデオビットストリームの被測定パラメータと閾値との比較に基づいて選択することをさらに具備するＣ１の方法。
［Ｃ１４］
Ｃ１の方法であって、
前記ビデオフレームの境界に隣接するブロックを検出することと、
前記境界に隣接する前記ブロックの動きベクトルと、前記境界に隣接する前記ブロックの近隣にあるブロックの動きベクトルとの間の差の絶対値の平均値を決定することと、
前記平均値を閾値と比較することと、および
前記平均値が前記閾値を超えることに応答して、前記境界に隣接する前記ブロックの前記動きベクトルを、前記境界に隣接する前記ブロックの近隣にあるブロックックの動きベクトルに等しくすることと
をさらに具備する方法。
［Ｃ１５］
列の中の各ブロックについての境界強度を決定することをさらに具備するＣ１の方法。
［Ｃ１６］
Ｃ１の方法であって、
第１のブロック列の中のブロックの動きベクトルのうち第１の閾値を超えるものの数を決定することと、
前記第１の閾値を超える動きベクトルの前記数が第２の閾値を超えるかどうか決定することと、および
前記第１の閾値を超える動きベクトルの前記数が前記第２の閾値を超えることに応答して、前記第１の列の中の各ブロックについて境界強度を決定することと
をさらに具備する方法。
［Ｃ１７］
ビデオデータのビデオフレームのイントラブロックを識別するためのイントラブロック識別部と、
前記イントラブロックの近隣にあるインターブロックの少なくとも１つのセットを識別するための近隣インターブロックセット識別部と、ここにおいて、各インターブロックは、前記受信ビデオデータ中のそれぞれの動きベクトルに関連付けられる、
インターブロックの各識別されたセットの前記インターブロックのデータに関連付けられる誤差を決定するための誤差計算部と、
２以上のセットが識別されるとき、最小の誤差を有するセットを選択するためのセット選択部と、および
インターブロックの前記選択されたセットの前記動きベクトルの中のメジアン動きベクトルを決定するためのメジアンベクトル計算部と、ここにおいて、前記メジアン動きベクトルは、前記識別されたイントラブロックに関連付けられることになっている、
を具備する装置。
［Ｃ１８］
前記ビデオデータの前記ビデオフレームが静的であるかどうか決定し、および前記ビデオフレームが静的であるとの決定に応答してフレームレート・アップコンバージョン・プロセスを選択的に中止するための静的フレーム取扱部をさらに具備するＣ１７の装置。
［Ｃ１９］
前記ビデオデータがパニング動きを示すかどうか決定するためのパニング分析部と、および
前記パニング動きが示されるとの決定に応答して、パニング適応性のある予測を行なうためのパニング適応性のある予測ユニットと
をさらに具備するＣ１７の装置。
［Ｃ２０］
前記ブロックの前記動きベクトルを隣接ブロックの動きベクトルと比較することによって前記ビデオデータのブロックの動きベクトルの空間的連続性を評価するための動きベクトル処理部をさらに具備するＣ１７の装置。
［Ｃ２１］
前記処理された動きベクトルに関連付けられる時間的連続性を評価するために、以前のフレーム中の対応するブロックの動きベクトルと、ブロックの処理された動きベクトルとの間の差を決定するための動きベクトル処理部をさらに具備するＣ１７の装置。
［Ｃ２２］
マクロブロックの境界に隣接するブロックの動きベクトルを検出し訂正するためのモジュールをさらに具備するＣ１７の装置。
［Ｃ２３］
前記ビデオフレーム中のブロックの端部での誤差の量に関連付けられるブロック強度を評価するための動き適応性のある後処理部をさらに具備するＣ１７の装置。
［Ｃ２４］
前記ビデオデータを受信するように構成されている受信機をさらに具備するＣ１７の装置。
［Ｃ２５］
前記ビデオデータによって符号化されたビデオコンテンツを表示するように構成されているビデオ表示部をさらに具備するＣ１７の装置。
［Ｃ２６］
コンピュータコードを格納するコンピュータ可読の有形媒体であって、前記コンピュータコードは、
ビデオデータの受信ストリーム中のイントラブロックを識別することをコンピュータにさせるコンピュータコードと、
前記イントラブロックの近隣にあるインターブロックの少なくとも１つのセットを識別することを前記コンピュータにさせるコンピュータコードと、
前記少なくとも１つのセット中の前記インターブロックのデータに関連付けられる誤差を決定することを前記コンピュータにさせるコンピュータコードと、
前記少なくとも１つのセットの最小の誤差を有するセットを選択することを前記コンピュータにさせるコンピュータコードと、
前記選択されたセット中の前記インターブロックの動きベクトルの中のメジアン動きベクトルを決定することを前記コンピュータにさせるコンピュータコードと、ここにおいて、前記メジアン動きベクトルは、前記イントラブロックに関連付けられることになっている、
を具備する、コンピュータ可読の有形媒体。
［Ｃ２７］
前記コンピュータによって実行されるとき、前記ビデオデータ中のパニング動きを検出することと、前記パニング動きを検出することに応答して双方向動き補償予測を行うこととを前記コンピュータにさせるコンピュータコードをさらに具備するＣ２６のコンピュータ可読の有形媒体。
［Ｃ２８］
イントラブロックの近隣にあるインターブロックの少なくとも１つのセットを識別するための手段と、
前記少なくとも１つのセットの前記インターブロックに関連付けられる誤差を決定するための手段と、
前記セットに関連付けられる前記誤差に基づいて、前記少なくとも１つのセットから１つのセットを選択するための手段と、
前記選択されたセットの前記インターブロックの動きベクトルの中のメジアン動きベクトルを決定するための手段と、および
前記メジアンベクトルを前記イントラブロックに関連付けるための手段と
を具備する装置。
［Ｃ２９］
前記インターブロックを含んでいるフレームのパニング動きを検出するための手段をさらに具備するＣ２８の装置。

Claims (29)

1. ビデオ受信機の中で受信ビデオデータを処理する方法であって、
   前記ビデオデータのビデオフレーム中のイントラブロックを識別することと、
   前記イントラブロックの近隣にあるインターブロックの第１のセットを識別し、および前記イントラブロックに隣接するインターブロックの第２のセットを識別することと、ここにおいて、前記第１および第２のセットの中の前記インターブロックの各々は、それに関連付けられる動きベクトルを持っている、
   インターブロックの前記第１のセットとインターブロックの前記第２のセットのうちのいずれがそれに関連付けられる最小の誤差を有するかを決定するために、インターブロックの前記第１のセットおよびインターブロックの前記第２のセットのデータを評価することと、および
   前記最小の誤差を有すると決定されたインターブロックの前記セットの前記動きベクトルに関連付けられる１つの動きベクトルを決定することと、ここにおいて、前記決定された動きベクトルは、前記イントラブロックに関連付けられることになっている、
   を具備する方法。
2. インターブロックの前記セットのうちの少なくとも１つは、前記イントラブロックの近隣にあるインターブロックのコーナーパターンを具備する、請求項１の方法。
3. インターブロックの前記セットのうちの少なくとも１つは、前記イントラブロックの近隣にあるインターブロックのサイドパターンを具備する、請求項１の方法。
4. インターブロックの前記第１および第２のセットの中の各インターブロックは、４×４のピクセルグループを表している、請求項１の方法。
5. 請求項１の方法であって、
   前記ビデオデータの前記ビデオフレームのコンテンツが静的であるかどうか決定することと、および
   前記フレームの前記コンテンツが静的であると決定することに応答して、フレームレート・アップコンバージョンを無効化することと
   をさらに具備する方法。
6. 請求項１の方法であって、
   前記ビデオフレームがパニング動きを示すかどうか決定することと、および
   パニング動きが示されると決定することに応答して、後続のビデオフレーム中のブロックのパニング適応性のある予測を行なうことと
   をさらに具備する方法。
7. 前記ビデオフレームに関連付けられる動きベクトルの統計に基づいてパニング動きが識別される、請求項６の方法。
8. 前記ビデオフレームに関連付けられる動きベクトルのメジアン値に基づいてパニング量が決定される、請求項６の方法。
9. 前記パニング動きを示すブロックの数を決定するために前記ビデオフレーム中の複数のブロックの各々についてパニングベクトルと動きベクトルとの間の差を計算することをさらに具備する、請求項６の方法。
10. 前記ビデオフレームが前記パニング動きを示すと決定することに応答して、パニング動きを使用して前記ビデオフレームについての動きベクトルを導出することをさらに具備する、請求項６の方法。
11. 請求項１の方法であって、
    中心ブロックに隣接する２つのブロックの動きベクトルの間の第１の差を第１の閾値と比較することと、
    前記第１の差が前記第１の閾値より小さいことに応答して、前記中心ブロックの動きベクトルと、前記２つのブロックの動きベクトルの平均動きベクトルとの間の第２の差が第２の閾値を超えるかどうか決定することと、および
    前記第２の差が前記第２の閾値を超えることに応答して、前記２つのブロックの前記動きベクトルの平均である前記中心ブロックに動きベクトルを割り当てることと
    をさらに具備する方法。
12. 請求項１の方法であって、
    前記ビデオフレームの第１のブロックの処理された動きベクトルと、前記ビデオデータの以前のフレームの対応するブロックの動きベクトルとの間の加重差を計算することと、
    前記加重差を閾値と比較することと、および
    前記加重差が前記閾値を超えることに応答して、前記処理された動きベクトルを、前記処理された動きベクトルに対応する前記第１のブロックを含んでいる３ブロック×３ブロックのアレイ内の近隣ブロックの動きベクトルのメジアン値である置換動きベクトルと置換することと
    をさらに具備する方法。
13. 動きベクトルを予測するために受信ビデオビットストリーム中に提供されている動きベクトルを使用することと、動きベクトルを決定する前記ビデオ受信機における動き補償予測を使用することとを、前記ビデオビットストリームの被測定パラメータと閾値との比較に基づいて選択することをさらに具備する請求項１の方法。
14. 請求項１の方法であって、
    前記ビデオフレームの境界に隣接するブロックを検出することと、
    前記境界に隣接する前記ブロックの動きベクトルと、前記境界に隣接する前記ブロックの近隣にあるブロックの動きベクトルとの間の差の絶対値の平均値を決定することと、
    前記平均値を閾値と比較することと、および
    前記平均値が前記閾値を超えることに応答して、前記境界に隣接する前記ブロックの前記動きベクトルを、前記境界に隣接する前記ブロックの近隣にあるブロックックの動きベクトルに等しくすることと
    をさらに具備する方法。
15. 列の中の各ブロックについての境界強度を決定することをさらに具備する請求項１の方法。
16. 請求項１の方法であって、
    第１のブロック列の中のブロックの動きベクトルのうち第１の閾値を超えるものの数を決定することと、
    前記第１の閾値を超える動きベクトルの前記数が第２の閾値を超えるかどうか決定することと、および
    前記第１の閾値を超える動きベクトルの前記数が前記第２の閾値を超えることに応答して、前記第１の列の中の各ブロックについて境界強度を決定することと
    をさらに具備する方法。
17. ビデオデータのビデオフレームのイントラブロックを識別するためのイントラブロック識別部と、
    前記イントラブロックの近隣にあるインターブロックの少なくとも１つのセットを識別するための近隣インターブロックセット識別部と、ここにおいて、各インターブロックは、前記受信ビデオデータ中のそれぞれの動きベクトルに関連付けられる、
    インターブロックの各識別されたセットの前記インターブロックのデータに関連付けられる誤差を決定するための誤差計算部と、
    ２以上のセットが識別されるとき、最小の誤差を有するセットを選択するためのセット選択部と、および
    インターブロックの前記選択されたセットの前記動きベクトルの中のメジアン動きベクトルを決定するためのメジアンベクトル計算部と、ここにおいて、前記メジアン動きベクトルは、前記識別されたイントラブロックに関連付けられることになっている、
    を具備する装置。
18. 前記ビデオデータの前記ビデオフレームが静的であるかどうか決定し、および前記ビデオフレームが静的であるとの決定に応答してフレームレート・アップコンバージョン・プロセスを選択的に中止するための静的フレーム取扱部をさらに具備する請求項１７の装置。
19. 前記ビデオデータがパニング動きを示すかどうか決定するためのパニング分析部と、および
    前記パニング動きが示されるとの決定に応答して、パニング適応性のある予測を行なうためのパニング適応性のある予測ユニットと
    をさらに具備する請求項１７の装置。
20. 前記ブロックの前記動きベクトルを隣接ブロックの動きベクトルと比較することによって前記ビデオデータのブロックの動きベクトルの空間的連続性を評価するための動きベクトル処理部をさらに具備する請求項１７の装置。
21. 前記処理された動きベクトルに関連付けられる時間的連続性を評価するために、以前のフレーム中の対応するブロックの動きベクトルと、ブロックの処理された動きベクトルとの間の差を決定するための動きベクトル処理部をさらに具備する請求項１７の装置。
22. マクロブロックの境界に隣接するブロックの動きベクトルを検出し訂正するためのモジュールをさらに具備する請求項１７の装置。
23. 前記ビデオフレーム中のブロックの端部での誤差の量に関連付けられるブロック強度を評価するための動き適応性のある後処理部をさらに具備する請求項１７の装置。
24. 前記ビデオデータを受信するように構成されている受信機をさらに具備する請求項１７の装置。
25. 前記ビデオデータによって符号化されたビデオコンテンツを表示するように構成されているビデオ表示部をさらに具備する請求項１７の装置。
26. コンピュータコードを格納するコンピュータ可読の有形媒体であって、前記コンピュータコードは、
    ビデオデータの受信ストリーム中のイントラブロックを識別することをコンピュータにさせるコンピュータコードと、
    前記イントラブロックの近隣にあるインターブロックの少なくとも１つのセットを識別することを前記コンピュータにさせるコンピュータコードと、
    前記少なくとも１つのセット中の前記インターブロックのデータに関連付けられる誤差を決定することを前記コンピュータにさせるコンピュータコードと、
    前記少なくとも１つのセットの最小の誤差を有するセットを選択することを前記コンピュータにさせるコンピュータコードと、
    前記選択されたセット中の前記インターブロックの動きベクトルの中のメジアン動きベクトルを決定することを前記コンピュータにさせるコンピュータコードと、ここにおいて、前記メジアン動きベクトルは、前記イントラブロックに関連付けられることになっている、
    を具備する、コンピュータ可読の有形媒体。
27. 前記コンピュータによって実行されるとき、前記ビデオデータ中のパニング動きを検出することと、前記パニング動きを検出することに応答して双方向動き補償予測を行うこととを前記コンピュータにさせるコンピュータコードをさらに具備する請求項２６のコンピュータ可読の有形媒体。
28. イントラブロックの近隣にあるインターブロックの少なくとも１つのセットを識別するための手段と、
    前記少なくとも１つのセットの前記インターブロックに関連付けられる誤差を決定するための手段と、
    前記セットに関連付けられる前記誤差に基づいて、前記少なくとも１つのセットから１つのセットを選択するための手段と、
    前記選択されたセットの前記インターブロックの動きベクトルの中のメジアン動きベクトルを決定するための手段と、および
    前記メジアンベクトルを前記イントラブロックに関連付けるための手段と
    を具備する装置。
29. 前記インターブロックを含んでいるフレームのパニング動きを検出するための手段をさらに具備する請求項２８の装置。

Images