JP2008521324A - カバーリング及びアンカバーリングを扱う動きベクトル場の投影 - Google Patents

Abstract

高効率のビデオ信号圧縮方法は、以下のステップを含む。（ａ）第二のビデオピクチャ１２３と第三のビデオピクチャ１２５の画素データを使用することで、第三のビデオピクチャの時間的な位置ｔ３での第一の動きベクトル場Ｍｖ１を計算するステップ。（ｂ）第二のビデオピクチャの時間的な位置ｔ２での第二の動きベクトル場Ｍｖ２を計算するステップ。第二の動きベクトル場では、フォアグランドのオブジェクトの動きに実質的に等しい振幅を有する、フォアグランドの動きベクトルの位置から構成されるフォアグランドの動き領域ｒＦＧ２は、バックグランドのオブジェクト１０３，１０３’の画素ではなく、フォアグランドのオブジェクト１０１の画素の位置と空間的に連結する。（ｃ）第二の動きベクトル場に基づいて第一の動きベクトル場のアンカバーリング領域における誤ったフォアグランドの動きベクトルｒＥＲＲを訂正するステップ。（ｄ）フォアグランドのオブジェクトによるバックグランドのオブジェクトの画素のカバーリングに対応する第一の動きベクトル場の領域ＣＯＶにおいて、将来のピクチャにおける同じ空間的な位置に投影している２つのベクトルのうちのどちらがフォアグランドの動きベクトルｖＦＧであり、バックグランドの動きベクトルｖＢＧであるかを判定するステップ。（ｅ）第一の動きベクトル場の動きベクトルを予測されるべき第四のビデオピクチャの時間的な位置に投影し、第三の動きベクトル場における同じ空間位置に投影する２つのベクトルのケースでフォアグランドの動きベクトルを割り当てることを含めて、第三の動きベクトル場を取得するステップ。（ｆ）少なくとも１つの前の画像から取り出されるべき画素の位置を決定するために第三の動きベクトル場を使用することで第四のビデオピクチャを予測するステップ。

Description

本発明は、ビデオ圧縮の方法及び装置、ビデオ伸張の方法及び装置、係る方法を実現するソフトウェア、及びデジタルテレビジョンユニット、ビデオシグナルレコーダ、並びに、ビデオ圧縮及び／又は伸張装置を有するポータブルビデオ装置に関する。

ビデオ圧縮における探求は、ピクチャの系列を忠実に（すなわち、できるだけ少ない目に見えるアーチファクトで）表現するため、これまでにない少量のビット数を有することである。MPEG-2及びAVC（Advanced Video Coding）のような現在のビデオ圧縮規格は、グループオブピクチャをエンコードするために動き予測を使用する。グループオブピクチャは、いわゆるそれ自身のコンテンツに基づいてのみエンコードされるイントラコード（Ｉ）ピクチャで始まり、ＩピクチャのオブジェクトがＰ又はＢピクチャにおいて何処にあるかに関する動き予測に基づいて再生される予測（Ｐ，Ｂ）ピクチャが続き、さらに訂正ピクチャ（いわゆる残余）が続く。動き予測は、予測されるべきピクチャの時間的な瞬間の動きベクトル場を計算／送信し、過去からのオブジェクトの画素を取り出すことで典型的に行われる。このように、予測されるべきピクチャのそれぞれの画素は、ある値が割り当てられることが保証される。予測されるべきピクチャに前のピクチャの画素を投影することも考えられるが、これは、予測されるピクチャにおいて二重の割り当てられていない画素領域の問題を導入するために好適ではない。

圧縮されたビデオストリームでは、画素データを符号化するために必要とされるビットの所定量（すなわちイントラ符号化ピクチャ及び画素残余）及び予測のために必要とされる動きベクトル場を符号化するための量が存在する。過去において、画素に必要されるビット量を低減する様々な方策（たとえば量子化の適応化）が開発されているが、動きベクトルに必要とされるビットのパーセンテージは、特に低いビットレートのアプリケーションについて全体的に大量であり、したがって幾つかの圧縮は、動きベクトルについても達成される。

従来技術の圧縮方法（たとえばＭＰＥＧ−２）の問題点は、動きベクトル場において、非常にシンプルな動きベクトルの予測を使用し、あるブロックの動きベクトルは、その左隣に比較して異なって符号化される（すなわち左ベクトルが１６画素／フレームの振幅を有し、右のベクトルは１８画素／フレームを有する場合、この右のベクトルは２という圧縮された差分の値を有し、その実際の値よりも少ないビットを必要とする）。このいわゆる「差分のパルスコード変調」は旧式であり、非常に効率的な方策ではない。

本発明の目的は、比較的効率の高いビデオ圧縮及び伸張の方法を提供することにあり、特に、動きベクトルを符号化する低減されたビット数を可能にするストラテジを有する。

上記目的は、本方法が以下のステップを有する点で実現される。（ａ）第二のビデオピクチャと第三のビデオピクチャの画素データを使用することで、第三のビデオピクチャの時間的な位置での第一の動きベクトル場（Ｍｖ１）を計算するステップ。（ｂ）第二のビデオピクチャの時間的な位置での第二の動きベクトル場（Ｍｖ２）を計算するステップ。第二の動きベクトル場では、フォアグランドのオブジェクトの動きに実質的に等しい振幅を有する、フォアグランドの動きベクトルの位置から構成されるフォアグランドの動き領域（ｒＦＧ２）は、バックグランドのオブジェクトの画素ではなく、フォアグランドのオブジェクト（１０１）の画素の位置と空間的に連結する。（ｃ）第二の動きベクトル場に基づいて第一の動きベクトル場における誤ったフォアグランドの動きベクトル（ｒＥＲＲ）を訂正するステップ。（ｄ）フォアグランドのオブジェクトによるバックグランドのオブジェクトピクセルのカバーリングに対応する第一の動きベクトル場の領域において、将来のピクチャにおける同じ空間的な位置に投影している２つのベクトルのうちのどちらがフォアグランドの動きベクトルであり、バックグランドの動きベクトルであるかを判定するステップ。（ｅ）第一の動きベクトル場の動きベクトルを予測されるべき第四のビデオピクチャの時間的な位置に投影し、第三の動きベクトル場における同じ空間位置に投影する２つのベクトルのケースでフォアグランドの動きベクトルを割り当てることを含めて、第三の動きベクトル場を取得するステップ。（ｆ）少なくとも１つの前の画像から取り出されるべき画素の位置を決定するために第三の動きベクトル場を使用することで第四のビデオピクチャを予測するステップ。

最初の５つのステップは、ピクチャ予測の動きベクトル場の予測部分を形成する。動きベクトル符号化に割り当てられるビット数を低減することを望む場合、予測される全ての情報について、データが圧縮／送信される必要がないか、又は僅かであるため、レシーバ／デコンプレッサが動きベクトルを予測するのを可能にするアルゴリズムを使用することができる。しかし、動きベクトルの予測が正確であるべきであり、さもなければ、予測されるべきピクチャの画素の予測は誤りであり、深刻なアーチファクトとなるか、又は大量の訂正データとなる。この出願では、動きベクトル場を外挿（extrapolation）することが提案される。既に伸張されたピクチャのベクトル場は、動き予測によりレシーバ／デコンプレッササイドで計算することができる。ピクチャの予測（過去からの取り出し）に必要とされるベクトル場は、少なくとも古典的な２ピクチャの動き予測器によっては、シンプルに計算することができず、これは、それ自身で予測されるべきピクチャのデコンプレッサでの存在を必要とするためである。しかし、動きベクトル場は外挿することができ、オブジェクトの動きベクトルがオブジェクト自信と共に将来に移動する可能性がある。コンプレッサは、「ミラーアルゴリズム」により、どのデコンプレッサが予測するもの（動きベクトル場及び結果的に得られる予測されたピクチャ）を予測し、圧縮の品質の使用に従って要求されるものが訂正残余を計算し、送信する場所を予測することができる。予測される動きベクトル場は、（数ビットを必要とする典型的に小さな訂正の動きベクトルを含み、本方法では、分離された閉塞［カバーリング（covering）／アンカバーリング（uncovering）］領域について大部分）送信された訂正の動きベクトル場でファインチューニングされるか、動きベクトルの訂正が送信されず、結果的に得られるピクチャの予測誤差は、より高いビット量の残余ピクチャで全体的に訂正される。

第一の動きベクトル場を得るために２つの最後に伸張されたビデオピクチャに関して（たとえばフルサーチ又はオプティックフローといった）古典的な動き予測を使用することは、得られたベクトル場が良好な品質のベクトル場の外挿について誤っているので、問題を提起する。特にアンカバーリングの領域では、動きベクトルは誤って予測される。しかし、前のピクチャからの情報を使用することで、誤った第一のベクトル場を訂正することができる。たとえば、３つの最後に伸張されたピクチャの３つのピクチャの動き予測器が考案され、この予測器は、全てのフォアグランドのオブジェクトに正確に一致するベクトルを有する（特に、たとえば“３ＤＲＳ”動き予測器を使用するとき、ベクトルの振幅は、何処でもオブジェクト［アキュレート］の真の動きの非常に近くにあり、すなわちスプリアスベクトルを生じないが、良好に整合する、一貫した、正確なベクトル場が得られる）。特に、バックグランドの画素に割り当てられるフォアグランドの動きベクトルを示さない。勿論、これは、動き予測の精度内での二次作用にまで実質的に当てはまる。たとえば動きベクトルが１６×１６画素ブロックについて計算される場合、典型的に、ベクトル場が、フォアグランドのオブジェクトと大部分が連結しているブロックにおける幾つかのバックグランドの画素にオーバフローする。

かかる正確に整合する第二の動きベクトル場を有することは、第一の動きベクトル場が良好に整合することとなるように訂正することができることを意味する。たとえば、フォアグランドの動きとバックグランドの動きとの間の境界は、第二の動きベクトル場で決定することができ、それらのロケーションは、第一の動きベクトル場に投影することができ、このベクトル場に正しく配置された境界が与えられる。

正確に整合する第一の動きベクトル場を有することで、ピクチャの系列の新たなピクチャを最終的に予測するため、２つのストラテジが可能となる（これら２つのストラテジについて、更なる変更においてのみ異なるものであって、本発明の単一性を有する）。画素の取り出しのための第三のベクトル場は、訂正された第一の動きベクトル場を外挿することで決定することができるか、又は、以下に記載されるように、画素は、将来それら自身に外挿することができ、そのケースでは、第三のベクトル場が必要とされない。

何れのケースにおいても、更なるステップが外挿を実行するために必要とされる。すなわち、はじめに、二重の割り当てにつながるカバーリング領域が存在し、正しい（フォアグランド）ベクトル又は投影すべき画素が識別される。第二に、予測されるべきピクチャ／ベクトル場において割り当てられていない領域が存在し、たとえば補間といった、ある種の更なる予測が必要とされるか、または、たとえばピクチャの残余のみで訂正される。

本方法の実施の形態では、第二の動きベクトル場の計算は、たとえば、３つのピクチャの動き予測器により、第三のビデオピクチャ、第二のビデオピクチャ及び第一のビデオピクチャに基づいて行われる。

先の実施の形態の別の実施の形態又は更なる変更では、第一の動きベクトルにおける誤ったフォアグランドの動きベクトルの訂正は、以下のステップを含む。第二の動きベクトル場（Ｍｖ２）におけるアンカバーリング領域を検出するステップ。第一の動きベクトル場（Ｍｖ１）における誤った動きベクトルの領域（ｒＥＲＲ）をこのアンカバーリング領域に基づいて導出するステップ。誤った動きベクトルの領域（ｒＥＲＲ）の画素にバックグランドの動きベクトルを割り当てるステップ。

シンプルな方法は、アンカバーリング領域が何処であるかを判定し、計算されたフォアグランドの動きベクトルの代わりにバックグランドの動きベクトルを割り当てることである。それは、大部分のビデオ系列についてこれらは正しいベクトルであるからである。

割り当てられたバックグランドベクトルは、たとえば投影のない領域の外側からのバックグランドのベクトルである。アンカバーリング領域は、（たとえばシンプルな変換又は弱い透視といった）バックグランドの動きの複雑度に比較して典型的に余りに大きくないので、アンカバーリング領域のまさに外側で正しく予測されたバックグランドの動きベクトルは、一般に、この問題の領域の内側にある動きベクトルについて良好な予測となる。なお、第三の動きベクトル場Ｍｖ３について、アンカバーリング領域が（予測を取り出すために）正しいバックグランドの動きベクトルを含むか、又は実際に任意の動きベクトルを含むかは問題ではなく、第一の動きベクトル場Ｍｖ１が近似的に正しいバックグランドの動きベクトルを有する（又は少なくともフォアグランドの動きベクトルとバックグランドの動きベクトルの間の境界が比較的正確に配置される）ことが望まれる。これは、この第一の動きベクトル場が時間的な外挿のために使用され、したがって、たとえば第三の動きベクトル場におけるアンカバー領域のサイズが、それにより決定されるからである。しかし、たとえば、僅かに余りに大きいか、又は余りに小さい、割り当てられていないＭｖ３の領域は、残余のベクトル場で後に訂正することができる。同様に、代替的な方法における僅かに不正確なバックグランドの動きベクトルによる誤ったピクチャプロジェクションは、画素の残余のピクチャで訂正することができる。

別の実施の形態では、第三の動きベクトル場における同じ空間的な位置に投影する２つのベクトルのケースで、割り当てられるフォアグランドの動きベクトルは、２つの投影するベクトルのフォアグランドのベクトルである。

フォアグランドとバックグランドのベクトルの識別を行う異なる方法が存在する。たとえば、フォアグランド及びバックグランドの一様な動きが存在する場合、全体的なフォアグランド及びバックグランドの動きベクトルが決定される（これはバックグランド及び／又はフォアグランドに関する、ズーム、透視変換等といったグローバルなモデルに一般化される場合がある）。二重の割り当てのケースで使用されるフォアグランドの動きベクトルは、グローバルなフォアグランドの動きベクトルである。しかし、（二重の割り当てのポイントの投影する）ローカルに測定された現実の動きベクトルを使用することが良好である。かかるローカルベクトルがフォアグランドであるかバックグランドであるかは、そのＳＡＤを見ること（フォアグランドのベクトルについての良好なブロックマッチ対バックグランドのベクトルについての粗悪なマッチ、勿論、再構成されたピクチャが利用可能な過去を見ることのみ）、又はグローバルのフォアグランドの動きベクトルとの差を計算すること、のような様々なストラテジで決定される。

第三の動きベクトル場の割り当てられていないアンカバーリング領域では、動きベクトルを割り当てないか（残余のピクチャで訂正される以上の予測）、又は、合理的な第一の予測をその時間的な瞬間で予測されるべきピクチャの実際の画素の値に与える有効な動きベクトルを割り当てる（前のピクチャにおけるフォアグランドのオブジェクトから取り出された、バックグランドの動きベクトルで達成されるよりも良好な予測）。

Ｍｖ３のアンカバーリング領域における有効なベクトルの割り当ての可能性は、たとえば以下に示される。予測誤差（たとえばブロックＳＡＤ）を最小にするフルサーチ（たとえばフォアグランドの動きベクトルの値の前後）から取得されるベクトル。これは、Ｍｖ３における全体のアンカバーリング領域について１つのベクトルであるか、又はアンカバーリング領域の異なるサブ領域について多数のベクトルである。誤った位置におけるバックグランドから取り出されるが、（たとえば正しい平均値、低い残余につながる）画素について良好な予測が得られるフォアグランドの動きベクトル。ヌルベクトル。

「ノーフェッチ“ｎｏ ｆｅｔｃｈ”」コードが割り当てられ、そのケースでは、別のアルゴリズムは、画素の外挿のような第一の予測を与える。

更なる予測のために良好に整合する訂正された第一のベクトル場を得る同じ考えを利用した変形となる圧縮方法は、以下のステップを含む。（ａ）第二のビデオピクチャ（１２３）と第三のビデオピクチャの画素データを使用することで、第三のビデオピクチャ（１２５）の時間的な位置（ｔ３）での第一の動きベクトル場（Ｍｖ１）を計算するステップ。（ｂ）第二のビデオピクチャ（１２３）の時間的な位置（ｔ２）での第二の動きベクトル場（Ｍｖ２）を計算するステップ。第二の動きベクトル場では、フォアグランドの動きベクトルの位置から構成されるフォアグランドの動き領域（ｒＦＧ２）は、フォアグランドのオブジェクト（１０１）の動きに実質的に等しく、バックグランドのオブジェクト（１０３、１０３’）の画素とではなく、フォアグランドのオブジェクト（１０１）の画素の位置と空間的に実質的に連結する。（ｃ）第二の動きベクトル場（Ｍｖ２）に基づいて第一の動きベクトル場（Ｍｖ１）における誤ったフォアグランドの動きベクトルを訂正するステップ。（ｄ）フォアグランドのオブジェクトによるバックグランドのオブジェクトの画素のカバーリングに対応する第一の動きベクトル場の領域（ＣＯＶ）において、将来のピクチャにおける同じ空間的な位置に投影する２つのベクトルのうちのどちらがフォアグランドの動きベクトル（ｖＦＧ）であり、どちらがバックグランドの動きベクトル（ｖＢＧ）であるかを判定するステップ。（ｅ）フォアグランドの動きベクトル（ｖＦＧ）を有する画素のみを投影する、ダブルプロジェクションのケースを含めて、第三のビデオピクチャ（１２５）の訂正された第一の動きベクトル場（Ｍｖ１）の画素の動きベクトルで、ゼロに初期化される第四のビデオピクチャ（１２７）に投影するステップ。

先の圧縮方法及び実施の形態は、伸張の間に受信サイドで生じたことのミラー（最終的な再構成における差、すなわち残余の加算）を含み、したがって多数の更なる方法及び装置は、本発明の目的に従って開示される。

ビデオ信号伸張の方法は、以下のステップを含む。（ａ）前に伸張された第二のビデオピクチャと第三のビデオピクチャの画素データを使用することで、前に伸張された第三のビデオピクチャの時間的な位置での第一の動きベクトル場を計算するステップ。（ｂ）第二のビデオピクチャの時間的な位置で第二の動きベクトル場を計算するステップ。この第二の動きベクトル場で、フォアグランドの動きベクトルの位置を構成するフォアグランドの動き領域は、フォアグランドのオブジェクトの動きに実質的に等しく、バックグランドのオブジェクトの画素とではなく、フォアグランドのオブジェクトの画素の位置と空間的に実質的に連結する。（ｃ）第二の動きベクトル場に基づいて第一の動きベクトル場における誤ったフォアグランドの動きベクトルを訂正するステップ。（ｄ）フォアグランドのオブジェクトによるバックグランドのオブジェクトの画素のカバーリングに対応する第一の動きベクトル場の領域において、将来のピクチャにおける同じ空間的な位置に投影する２つのベクトルのうち、どちらがフォアグランドの動きベクトルであり、どちらがバックグランドの動きベクトルであるかを判定するステップ。（ｅ）ダブルプロジェクションのケースにおいて、フォアグランドの動きベクトルを有する画素のみを投影することを含めて、ゼロに初期化される第四のビデオピクチャに第三のビデオピクチャの訂正された第一の動きベクトル場の画素の動きベクトルで投影するステップ。

ビデオ圧縮（伸張）装置は、以下の構成を有する。（ａ）第二のビデオピクチャ（１２３）及び第三のビデオピクチャの画素データを使用することで、第三のビデオピクチャ（１２５）の時間的な位置（ｔ３）での第一の動きベクトル場（Ｍｖ１）を計算するために構成される第一の動き予測ユニット（６０５）。（ｂ）第二のビデオピクチャ（１２３）の時間的な位置（ｔ２）での第二の動きベクトル場（Ｍｖ２）を計算するために構成される第二の動き予測ユニット（６０７）。第二の動きベクトル場では、フォアグランドの動きベクトルの位置から構成されるフォアグランドの動き領域（ｒＦＧ２）は、フォアグランドのオブジェクト（１０１）の動きに実質的に等しく、バックグランドのオブジェクト（１０３，１０３’）とではなく、フォアグランドのオブジェクト（１０１）の画素の位置と実質的に空間的に連結する。（ｃ）第二の動きベクトル場（Ｍｖ２）に基づいて第一の動きベクトル場（Ｍｖ１）における誤ったフォアグランドの動きベクトルを訂正するために構成される訂正ユニット（６０９）。（ｄ）フォアグランドのオブジェクトによるバックグランドのオブジェクトの画素のカバーリングに対応する第一の動きベクトル場の領域（ＣＯＶ）において、将来のピクチャにおける同じ空間的な位置に投影する２つのベクトルのうちのどちらがフォアグランドの動きベクトル（ｖＦＧ）であり、どちらがバックグランドの動きベクトル（ｖＢＧ）を判定するために構成されるフォアグランド／バックグランド検出器（６２１）。（ｅ）第三の動きベクトル場（Ｍｖ３）における同じ空間的な位置に投影する２つのベクトルのケースで、フォアグランドの動きベクトル（ｖＦＧ）を割り当てることを含めて、第三の動きベクトル場（Ｍｖ３）を出力として生じる、予測されるべき第四のビデオピクチャ（１２７）の時間的なロケーション（ｔ４）に第一の動きベクトル場の動きベクトルを投影するために構成される投影ユニット（６１９）。（ｆ）第一のベクトル場からのベクトルの予測が行われない場合に、第三の動きベクトル場（Ｍｖ３）の空間的な位置（ＵＮＣＯＶ）において良好に予測している動きベクトルを割り当てるために構成される補間ユニット。（ｇ）少なくとも１つの前の画像から取り出されるべき画素の位置を決定するために第三の動きベクトル場（Ｍｖ３）を使用することで、第四のビデオピクチャ（１２７）を予測するために構成されるピクチャ予測ユニット（６２５）。

ビデオ圧縮（伸張）装置は、以下の構成を有する。（ａ）第二のビデオピクチャ（１２３）及び第三のビデオピクチャの画素データを使用することで、第三のビデオピクチャ（１２５）の時間的な位置（ｔ３）での第一の動きベクトル場（Ｍｖ１）を計算するために構成される第一の動き予測ユニット（６０５）。（ｂ）第二のビデオピクチャ（１２３）の時間的な位置（ｔ２）での第二の動きベクトル場（Ｍｖ２）を計算するために構成される第二の動き予測ユニット（６０７）。第二の動きベクトル場では、フォアグランドの動きベクトルの位置から構成されるフォアグランドの動き領域（ｒＦＧ２）は、フォアグランドのオブジェクト（１０１）の動きに実質的に等しく、バックグランドのオブジェクト（１０３，１０３’）とではなく、フォアグランドのオブジェクト（１０１）の画素の位置と実質的に空間的に連結する。（ｃ）第二の動きベクトル場（Ｍｖ２）に基づいて第一の動きベクトル場（Ｍｖ１）における誤ったフォアグランドの動きベクトルを訂正するために構成される訂正ユニット（６０９）。（ｄ）フォアグランドのオブジェクトによるバックグランドのオブジェクトの画素のカバーリングに対応する第一の動きベクトル場の領域（ＣＯＶ）において、将来のピクチャにおける同じ空間的な位置に投影する２つのベクトルのうちのどちらがフォアグランドの動きベクトル（ｖＦＧ）であり、どちらがバックグランドの動きベクトル（ｖＢＧ）であるかを判定するために構成されるフォアグランド／バックグランド検出器（６２１）。（ｅ）ゼロに初期化される第四のビデオピクチャ（１２７）に第三のビデオピクチャ（１２５）の訂正された第一の動きベクトル場（Ｍｖ１）の画素の動きベクトルで投影するために構成され、ダブルプロジェクションのケースで、フォアグランドの動きベクトルを有する画素のみを投影するために構成される画素投影ユニット（６２５）。

上述された方法又は実施の形態のうちの１つにより生成される圧縮されたビデオは、動き予測されたピクチャの時間的な位置の残余の動きベクトルのみを含み、その残余は、その空間的な構造の観点で、時間的に予測される動きベクトル場を訂正するために使用可能であるとして明らかに識別可能である。

信号は、古典的な（たとえばＭＰＥＧ−２）信号としてとして非常に少ない動きベクトルを含み、残余は、典型的に閉塞領域との相関を示す。
圧縮又は伸張装置は、たとえばディスプレイをもつスタンドアロンテレビジョンレシーバ、セットトップボックス、たとえばワイヤレスＬＣＤ ＴＶ等のようなワイヤレスビデオ装置といったデジタルテレビジョンユニットの様々な実現で典型的に盛り込まれる。

圧縮又は伸張装置は、たとえば読み取り／書き込みディスクレコーダ（光ディスク、ハードディスク）、又はＰＣ、ホームビデオデータベースサーバのようなビデオシグナルレコーダに盛り込まれる場合がある。
圧縮又は伸張装置は、ポータブルＰＣ、ポータブルアシスタント又はエンターテインメント装置、モバイルフォン等のようなポータブルビデオ装置に組み込まれ、これらは、たとえばカメラを有し、その捕捉されたピクチャは、本発明に従って圧縮される。

装置及び方法は、コンシューマ−ホーム環境、及び低いキャパシティのネットワーク等にプロバイダによりトランスコードする、たとえばテレビジョンスタジオのようなプロフェッショナル環境の両者で使用される。
本発明の圧縮及び伸張の方法及び装置のこれらの態様及び他の態様は、以下に記載される実現及び実施の形態を参照して、添付図面を参照して明らかにされ、これらは、さらに一般的なコンセプトを例示する限定するものではない特定の説明としての役割を果たし、破線はコンポーネントが最適であることを示すために使用される。

図１は、連続的なビデオピクチャの時間的なグラフ１００において、たとえば、前のビデオピクチャ、すなわち第二のビデオピクチャ１２３における対応する画素の領域（すなわち、近似的な画素のグレイレベルの値の同じ幾何学的な分布）について、第三のビデオピクチャ１２５に存在する画素のそれぞれの領域（たとえば８×８ブロック）を見ることで予測／計算される第一の動きベクトル場Ｍｖ１を示す。なお、動きベクトル場が得られる限り、たとえばオプティカルフローベースの方法といった他の従来技術の動き予測技術が使用される場合がある。好ましくは、一貫した（雑音がない）ベクトル場を与えるので、いわゆる“３ＲＤＳ”ブロックベースの動き予測が使用される（たとえばＷＯ０１／８８８５２を参照）。

なお、簡単さのため、同じ時間の瞬間で有効なビデオピクチャ（すなわち、それらの画素）及び動きベクトル場は、それらの幾何学的な配置が示されるように、互いにトップで描かれている（現実の生活では、画素のグレイ値のみを示し、オブジェクトにおける特定の画素について計算された動きベクトルを示すカラーコーディングによりそれらの色を置き換えることでこれを表示することができる）。１次元のみが示されている（たとえば、ピクチャを通してｘ軸に沿って水平ライン）。たとえば、自動車形状のフォアグランドのオブジェクト１０１といったオブジェクトの形状を示すことができるため、ある種の透視が使用され、選択された水平のピクチャラインに沿ってそのセクションの周りでオブジェクトをフラットにする。動きベクトル場は、近似的に一定の速度の領域を示す、楕円の使用によりビデオピクチャに沿って位置的に示されており、たとえば第一の動きベクトル場における領域ｒＢＧはゼロであり、バックグランドの動きが発見される。更に説明を複雑にしないため、時間的にピクチャフレームに沿って連続するｘの位置１０１，１０５に移動する唯一のフォアグランドオブジェクトが存在するものとする。当業者であれば、提案される方法が更に複雑なベクトル場について機能することが容易に確認することができ、余分の情報がかなりのエラーを導入することなしに、更に複雑なベクトル場をタックルするために必要とされ、これは以下に述べられる。しかし、ビデオ圧縮システムでは、エラーは重要さを超えて（over-important）いない。これは、ベクトル場又は予測された画像の両者におけるエラーが、転送される更なるビットを犠牲にして正しい残余を追加することで訂正することができるためである。

２番目及び３番目のビデオピクチャに基づいて予測される３ＤＲＳ及び全ての他のベクトル場の問題は、それが誤っていることであり、第三のビデオピクチャ１２５からそれに向かって画素を投影すること、第四のビデオピクチャ１２７の時間的な瞬間ｔ４について有効であって、第三のビデオピクチャ１２５から画素を取り出すために使用可能な第三の動きベクトル場Ｍｖ３を作成することで、後続する第四のビデオピクチャ１２７を予測するために使用することができないことである。

かかる「前のピクチャにおける整合を見る」動き予測による問題は、アンカバーリング領域で、正しい（バックグランド）動きベクトルを予測することができない。この点については図２に概念的に示されており、第一のベクトル場の予測を説明するため、図１のビデオピクチャのサブセット２００を示している（なお、用語「第一」に関わらず、第一及び第二のベクトル場の計算の瞬間がスワップされる場合があることは、当業者にとって明らかである）。フォアグランド領域では、フォアグランドのオブジェクト１０５は閉塞されることはなく、連続するピクチャに常に存在するために問題がない。同じことが、カバーリング領域ＣＯＶにおけるバックグランドのオブジェクトについてもいえる。ハウスオブジェクト２０１は、前のピクチャにおいて発見され、したがって、フォアグランド及びカバーリング領域におけるベクトル場の領域とビデオピクチャのオブジェクトとの良好な整合が存在する。第一近似として、たとえば第一の動きベクトルｖ１といった過去からの動きを分析することで第一の動きベクトル場Ｍｖ１で得られたベクトルは、将来に向かってこの時間の瞬間ｔ３からの動きのリマインダについて有効であり（第二の動きベクトルｖ２はｖ１の逆数である）、この近似におけるエラーは、図５により以下に記載される。

なお、幾つかの動き予測器について、二次的な作用にまで実質的に良好な整合が存在する。たとえばベクトルが８×８ブロックについて計算される場合、唯一のベクトルがあるブロックに割り当てられ、フォアグランドのオブジェクトの画素を主に含むブロック内にあるバックグランドのオブジェクトの幾つかの画素は、誤りのベクトルが割り当てられる。

しかし、アンカバーリング領域ＵＮＣＯＶ２では、第二のハウスオブジェクト２０３は前のビデオピクチャにおけるその整合を発見することができず、その時間の瞬間で、第二のハウスオブジェクトはフォアグランドオブジェクト１０１によりなおカバーされており、目に見ることができないため、問題がある（領域ｒＥＲＲにおける誤った動きベクトル）。３ＤＲＳ動き予測器について、正しいバックグランドの動きベクトルの代わりに、典型的にフォアグランドの動きベクトルが割り当てられ、これは正しいバックグランドの動きベクトルがフォアグランドのオブジェクトからデータを取り出すためであり、このことは、バックグランドにおける誤った位置から取り出された画素よりも第二のハウスオブジェクト２０３に対して通常異なるものであり、フォアグランドの動きベクトルを前のピクチャに投影することで決定される。他の動き予測器は、アンカバーリング領域について任意の種類の誤った動きベクトルを生成する場合がある。

本発明を解明するために重要である、誤った動きベクトルの問題を解決する２つのストラテジが存在する。（１）動きベクトルのアップデートの残余を送出することで誤ったベクトルを訂正することができる。これは、更なるデータを送出し、圧縮ファクタを低下することになるので、本発明によりできるだけ回避されるべきことである。（２）たとえば過去及び将来の両者からのピクチャに基づいて動きを予測するといった、更に進展された動き予測ストラテジを使用することができる。これは、全てのピクチャが利用可能であるので、エンコーダで行われる。しかし、できるだけ少ない情報をデコーダに送出するとき、特にベクトル場の情報の送出するとき、デコーダは、失った情報の予測を行うことができる必要がある。エンコーダは、デコーダが予測することをエミュレートし、満足のいかない予測を訂正することができる。デコーダは、第四のビデオピクチャ１２７の情報を未だに有さず、それは、これが予測及び再構成されることとなるためであり、したがって、３つのピクチャに基づいた動き予測は不可能である。

しかし、３つのピクチャに基づいた動き予測ＣＡＮは、前の動きベクトル場、すなわち第二の動きベクトル場Ｍｖ２について行われる。

図３を参照して、ここで良好に整合する第二の動きベクトル場に到達する好適な実施の形態、すなわち３つのピクチャの動き予測が記載される（良好な整合は、実質的に全てのフォアグランドの画素がフォアグランドの動きベクトルに割り当てられることを意味するが、更に重要なことに、実質的に全てのバックグランドの画素はバックグランドの動きベクトルに割り当てられる。「実質的に」は、現実の実現では、たとえばブロックサイズによる小さな誤差が存在するために導入されるが、カバーリング／アンカバーリングの閉塞による整合の誤差の支配的な作用は、良好に整合する動きベクトル場において存在しない）。しかし、第二の動きベクトルＭｖ２が良好に整合する限り、他の方法が利用されることが強調される。これは、基本となるビデオオブジェクトに対する正確な整合は、誤った第一の動きベクトル場Ｍｖ１を訂正するために使用される。たとえば、ＷＯ０１／８８８５２の原理によれば、部分的に整合するベクトル場は、第二及び第三のビデオピクチャの時間的な位置の両者に関する２つのピクチャの動き予測から得られる。特に、（特に、フォアグランドのオブジェクトである）オブジェクトのタイプに関する高い知識が存在するとき、部分的に正しい第二の動きベクトル場Ｍｖ２（すなわち、アンカバーリング領域の周りの動きベクトル）は、第一の動きベクトル場Ｍｖ１の誤ったアンカバーリング領域を訂正するために使用される。フォアグランドのオブジェクト／動きベクトル対バックグランドのオブジェクト／動きベクトルの良好な例示的な発見は、フォアグランドオブジェクトはピクチャフレームのセンターの通常は近くにあり、境界の近くの画素は、バックグランドに属する。

図３は、第二の動きベクトル場Ｍｖ２を取得するための例示的な３つのピクチャの動き予測を記載する。見られるように、割り当てられたバックグランド及びフォアグランドベクトルの領域を示す楕円ｒＢＧ１’、ｒＦＧ２及びｒＢＧ２’は、オブジェクトのポジションと実質的に整合する。これは、たとえば以下のストラテジで実現することができる。（ａ）（過去からの）後方の（たとえばバックグランドの動きベクトルの予測候補ｖ３との）整合、及び（将来への）前方の（同じ予測される振幅であるが反対の符号ｖ５からなるベクトルとの）整合の両者を計算する。（ｂ）近似的にフォアグランドの動きベクトル（ベクトルｖ１３及びｖ１５）である、少なくとも１つの他の候補となる動きベクトルについて同様に行う。（ｃ）（たとえば、古典的な「絶対差分の合計［ＳＡＤ］」の基準によるか、従来技術に従う更に進展された整合基準によるか）過去及び将来に向かう動きについてテストされるべき少なくとも２つのベクトルについて整合誤差をチェックし、典型的に、１つの良好に整合する画素ブロック／領域（低いＳＡＤ）及び３つの高いＳＡＤである。最も低いＳＡＤは、その画素又は画素のブロックについてどちらが正しい動きであるかを判定する。更に進展されたストラテジは、４つのＳＡＤに基づいて正しいベクトルを得るために使用される。

この動き予測について、（将来又は過去に対して）バックグランドの画素領域について整合が常に存在し、良好に整合するベクトル場が発見されない。
たとえばＷＯ２００３／０６７５２３に記載されるように、たとえばピクチャ１２３の周りで２つの２ピクチャの動き予測に基づいて、良好に整合する第二の動きベクトル場を得るために、他の動き予測を使用することもできる。

図４は、良好に整合する第二の動きベクトル場Ｍｖ２が与えられる、第一の動きベクトル場Ｍｖ１をどのように訂正するかに関する例を示す。はじめに、ＷＯ２０００／０１１８６３に記載されるように、互いに離れて（発散するオブジェクト）示す動きベクトルを探すことで、好ましくは、アンカバーリングの領域は、良好に整合する第二の動きベクトルＭｖ２で検出される。次いで、良好に整合するベクトル場について、フォアグランド／バックグランドの境界（ポイントＡ）の位置は、正しい幾何学的な位置（ｘ，ｙ）で発見される。第一の動きベクトル場Ｍｖ１では、この境界は、ポイントＡのフォアグランド（すなわちポイントＢで）の動きベクトルにより表示されるポイントＡの幾何学的な位置に配置される。ベクトル場は、ポイントＡ（ポイントＣ）に隣接するＭｖ２で推定されるバックグランドベクトルで表示されるポイントＡの位置にまで誤りのある可能性がある。これは、ポイントＡとポイントＣとの間で、すなわちたとえばポイントＤで誤って推定される領域外のベクトルは、正しく推定されるバックグランドベクトルである。

領域ｒＥＲＲにおける正しいベクトルを予測するため、たとえば一様なバックグランドの動きのケースといった異なる予測モデルが使用され、ポイントＤで発見されるベクトルは、ｒＥＲＲ内の全てのポイント／ブロック／セグメントに割り当てられる。透視のバックグランドの動きのケースでは、そのパラメータは、正しいバックグランドの動きの領域で予測され、次いで、このモデルは、領域ｒＥＲＲにおける最も可能性の高い動きを計算するために使用される。第一の動きベクトル場について調整的な動きの残余が符号化／送信されない（調整的な動きの残余が小さい！）としても（調整は符号化された画素値の残余により全体的に行われる）、この訂正された第一の動きベクトル場Ｍｖ１が使用され、画素値の予測について余りに多くないエラーを生じる。

説明された以外の調整的なストラテジが利用される場合があり、たとえば、アンカバーリング領域は、更に粗雑に予測され（たとえば、シンプルに、何れかのサイドに対する最も大きな可能性の高い動きベクトルの差よりも大きい多数の画素）、調整は、たとえば、グローバルな動きの知識に基づいている（たとえばバックグランドは固定している）。しかし、先の正確なバージョンの調整［動きベクトル場のリタイミングとも呼ばれる］（正確さは更に改善される）は、複雑にされた動きのシーンについて好適である（たとえば、ステーションに入るトレインについて、第一のステーショナリピラーは、トレインのバックグランドにあるが、隣接するステーショナリピラーがフォアグランドにある場合がある）。

これまで、本発明のコアとなる、（たとえばアクセラレーションによる問題を回避するため）予測されるべき画像にできるだけ近い第一の「誤った」動きベクトルＭｖ１を計算すること、良好に整合する第二の動きベクトル場Ｍｖ２を計算すること、及び、たとえばリタイミングにより、第二の動きベクトル場Ｍｖ２に基づいて良好に整合する第一の動きベクトル場Ｍｖ１を有するために第一の動きベクトル場Ｍｖ１を訂正すること、が記載された。第四のビデオピクチャ１２７の予測の更なるステップについて、（ビデオ圧縮で最も一般的である）ピクセルフェッチングストラテジ又は（幾つかの困難さの観点で普及していない）プロジェクションのいずれか、２つの異なるストラテジが使用される。これら２つのビデオ圧縮方法は、発明の単一性を有することが強調される。これは、本発明のコアとなる先の特別の技術的な特徴で実施される、前の良好に整合する動きベクトル場の知識を考慮することで最も近い導出可能な動きベクトル場を訂正する新規かつ進歩性のある単一の一般的な本発明のコンセプトを使用するためである。

図５は、第三のベクトル場Ｍｖ３の作成を示し、予測されるべき第四のビデオピクチャ１２７に向かう第三のビデオピクチャ１２５からの画素の取り出しのために後に使用される。ベクトル場を得るため、第一のベクトル場Ｍｖ１の全てのベクトルは、第三のベクトル場Ｍｖ３における新たな位置への方向に沿って投影され、たとえば以下に示される。

ここで、たとえばν₁ ^x（ｘ，ｙ）は、第一のベクトル場ν₁における位置（ｘ，ｙ）に存在するベクトルのｘ成分である。この投影を基礎とする想定は、少なくともこれら２つのビデオピクチャにわたり、線形な動き（加速がないか又は緩やかな加速）が存在する。たとえば、位置Ｅに存在するベクトルは位置Ｆにコピーされ、ｖ３ＢＧとして示される（第三の動きベクトル場／第四のビデオピクチャ自身における新たな位置への投影と区別するために幾分小さく描かれている）。投影が第三の動きベクトル場Ｍｖ３における位置と正確に一致しない場合、（たとえばそれぞれの画素、ブロック等について）割り当てられたベクトルが存在するはずであり、たとえば隣接するベクトル値間の小さなエラーのため、たとえば（従来技術から知られているように）隣接するベクトルのｘ及びｙ成分の線形補間といった、補間ステップが適用される場合がある。

第一のベクトル場Ｍｖ１の予測に関して、カバーリング及びアンカバーリング領域におけるこの投影による問題が存在する。たとえば、カバーリング領域ＣＯＶでは、２つのベクトル、すなわち正確にはフォアグランドの動きベクトルｖＦＧであり、不正確にはバックグランドの動きベクトルｖＢＧは同じ位置１１１を投影する。この状況を回避し、常に正しいフォアグランドの動きベクトルが割り当てられるのを確かめるため、それらのプロジェクションが生じずに、フォアグランドの動きベクトルのプロジェクションのみが生じるように、たとえば、所定のバックグランドの動きベクトルをマーク又は除去することができる。マークする領域（クロスｘｘｘを参照）は、第三及び第四のビデオピクチャにおけるフォアグランドとバックグランドの動き領域間の境界の（第三のビデオピクチャのフレームにおける）位置を計算することで発見される。代替的なアルゴリズムは、たとえば、第三の動きベクトル場Ｍｖ３におけるベクトルを割り当てるとき、ベクトルが既に割り当てられているかをチェックし、（たとえば、テンプレートのフォアグランド及びバックグランドの動きベクトルとの差を計算することで）第一の割り当てられたベクトルが実際のフォアグランド及びバックグランドの動きベクトルであるかを確認するといった、同じことを行うように設計される。

第二に、領域ＵＮＣＯＶが存在し、ベクトルが投影されない。同様のストラテジは、たとば、ゼロ次ホールドのバックグランドベクトルのコピー、透視型のモデリング等といった、第一の動きベクトル場Ｍｖ１のアンカバーリング領域を満たすために使用される。しかし、以下に示されるように、フェッチングプレディクションは、正しいバックグランドの動きベクトルでさえ、前の画像から正しい画素を取り出すことができないので、理論的に正しい動きベクトルを得るためにこれらの動きベクトルを改善するために多くの計算を費やす必要がなく、エラーは、ビデオピクチャの画素残余で訂正される。１つのオプションは、これらの位置でベクトルの割り当てを行わないことである（すなわち、ベクトルは、それらが初期化されるゼロの動きベクトルのように典型的に振舞う）。更に知的なアクションは、バックグランドにおける誤った位置から取り出す、フォアグランドの動きベクトルで満たすことである。これは、バックグランドの異なる部分がフォアグランドよりも互いに類似しているので低い残余につながる（たとえばバックグランドは近似的に一様である）。

所与の動きベクトル場によるフェッチングは、当業者にとって公知であり、したがって更なる図面で説明されない。予測される（及び必要な場合、更に小さな訂正の動きベクトル場で訂正される）第三のベクトル場Ｍｖ３は、第三のビデオピクチャ１２５における画素又は画素のグループを示し、画素（のグループ）は、使用された動きベクトルの第三の動きベクトル場Ｍｖ３における位置に対応する第四のビデオピクチャ１２７における位置にコピーされる。そのように予測されたビデオピクチャによる２つの問題が存在する。（ａ）画素領域の大部分は、圧縮されたビデオ系列の原画像に非常に類似しているが、誤って又は不正確に予測される動き等、明るさにおける変化のようなファクタのために小さな誤差が存在する。（ｂ）アンカバーリング領域では、バックグランドの動きベクトルは、前のピクチャにおける誤った位置からデータを誤って取り出す。

両方の状況は、典型的にその記述について少ないビットを必要とする、リマインダＲ＝Ｔ−Ｐ（Ｔは真のビデオピクチャ、及びＰは上述された予測）を含む、調整的なピクチャ（いわゆる残余）を追加することで扱われる。

予測されるべきピクチャ１２７の新たな時間的な瞬間ｔ４への動きベクトルフィールドの投影、及び過去から画素を取り出す代わりに、調整された第一の動きベクトル場Ｍｖ１は、第四のビデオピクチャ１２７に第三のビデオピクチャ１２５から画素を投影するために使用される。このケースでは、何がフォアグランドで何がバックグランドであるかに関する情報が同様に使用される。（ａ）ダブルピクセルプロジェクションのケースでは、フォアグランドピクセル（すなわち、フォアグランドの動きベクトルを有する画素）のみが投影される。（ｂ）ピクセルプロジェクティングが存在しない場合、典型的に、アンカバーリング領域の外側にあるバックグランドの画素の値に基づいてアンカバーリング領域における可能性の高い画素値の最初の予測／補間の後に符号化される（たとえば、アンカバーリング領域の外側にある最初のバックグランドの画素をシンプルにコピーすること、又はアンカバーリング領域内の可能性のある画素のパターンを予測する更に複雑なテクスチャ予測モデル。例はマルコフランダムフィールドのホールフィリングを使用することである）。

したがって、画素の予測が生じる領域では、更なるアクションが必要とされない。これは、圧縮された／送信された残余から完全に再構成されるが、デコンプレッサにより幾つかの（固定又は可変の、たとえば圧縮されたストリームメタデータにおけるインジケータにより多数の利用可能な予測方法のうちの１つとして示される）予測が使用される場合に、これがより小さな残余となるので、最良であるビットを節約する。

図６は、圧縮及び伸張の両方の機能を有する装置６００（典型的に、専用のＡＳＩＣ、又はプログラムされた汎用プロセッサ、又はビデオ圧縮用の別の現在利用されたストリーム）を概念的に示す。当業者であれば、個別のビデオコンプレッサ及びビデオデコンプレッサにおける上述された方法の特徴をどのように配置するかを理解するであろう。

装置は、メモリ６０１に典型的に記憶される、ビデオ信号Ｖｉｎを入力するために入力を有する。入力ビデオ信号は、ネットワーク６３７から典型的に取られ、このネットワークは、地上波テレビジョン送信、インターネット、インホームデータネットワーク、ポータブルアウトドアコミュニケーション等にわたる。

はじめに、圧縮機能が記述され、このケースでは、Ｖｉｎは（アナログの場合、始めにデジタル化される−図示せず）圧縮されていない信号である。第一の動き予測ユニット６０５は、メモリから２つの連続する画像を抽出し、上述された２ピクチャの動き予測を実行するために構成される。これは、原画像で行われるが、デコンプレッサが行うことができるものをミラーし（既にデコードされたピクチャに基づいて予測することができない特徴について残余のデータを送信し）本発明に係る予測されたピクチャが使用されることが好ましく、フルの圧縮スキームに従って（すなわち、ＤＣＴ変換、量子化等を通して）、更に好ましくは圧縮／伸張されたピクチャが使用される。結果的に得られる「誤りのある」第一の動きベクトル場は、動きベクトル及び動きベクトル場のための第二のメモリ６０３に書き込まれる。同様に、第二の動き予測ユニット６０７は、３つのピクチャの動き予測を実行する。任意に、第三の動き予測ユニット６０６が含まれ、圧縮サイドに存在する全ての種類のデータを考慮する高品質の動き予測を実行するために構成され（将来のビデオピクチャ、挿入されたビデオグラフィックスオブジェクトに関するデータのような人間のオペレータによる注釈）、第一の（及びフェッチストラテジが使用されるときには第三の）動きベクトル場のアップデートの動きベクトル場をメモリ６０３に保存するために構成される。訂正ユニット６０９は、上述された方法に従って第二の動きベクトル場Ｍｖ２で第一の動きベクトル場Ｍｖ１を訂正する。例示的な実施の形態では、訂正ユニット６０９は、カバーリング／アンカバーリング検出器６１４を有し、第二及び／又は第一の動きベクトル場におけるカバーリング及びアンカバーリング領域を検出するために構成される（たとえばビデオピクチャオブジェクトのマッチングから導出されるＳＡＤのような、ベクトルの値に基づくか、又はビデオピクチャ自身に基づいて上述された）。異なる時間の瞬間に異なる動きの領域の境界を投影するために構成されるリタイマ６１３、及び動きベクトルを再割り当てするために構成される訂正手段６１１は、訂正ユニット６０９に典型的に含まれる。さらに、動きベクトル場の予測ユニット６１５が含まれる。動きベクトルのうちのどちらがフォアグランドであり、どちらがバックグランドの動きベクトルであるか（少なくともカバーリングの領域において）を検出するため、フォアグランド／バックグランド検出器６２１を有する。様々なベクトルベースの又はピクセルベースのフォアグランド／バックグランドのストラテジが利用される場合がある（たとえばＷＯ０１／８９２２５参照）。動きベクトル場の予測ユニット６１５は、プロジェクションユニット６１９を更に有するか、図５で記載されたような異なる時間の瞬間にベクトルを投影することを含む。投影が行われない領域にベクトルを割り当てる補間ユニット６１７を有する。動きベクトル場の予測ユニット６１５からの出力は、第三の動きベクトル場Ｍｖ３である。

ピクチャ予測ユニット６２５は、前に予測されたピクチャ（特に、予測された第三のビデオピクチャ１２５）を入力原画像として取り込み、第一の動きベクトル場Ｍｖ１は、プロジェクション予測のためのものであり、第三の動きベクトル場Ｍｖ３は、フェッチング予測のためのものである。２つのまきに記載されたストラテジ（プロジェクション又はフェッチ）のうちの１つに従って再構成されるべき第四のビデオピクチャ１２７の予測にも当てはまる。含まれる差の計算ユニット６２３、本発明に係るピクチャの予測とオリジナルにピクチャの予測との間の差として残余のピクチャを計算し、ピクチャメモリ６０１に残余を記憶する。

最終的に、圧縮されたビデオストリームに到達するため、（規格に準拠する）圧縮ユニット６５０、ＭＰＥＧ２、ＡＶＣ等、たとえばＤＣＴ変換、ストリームフォーマッティング等のような従来技術のコンプレッサから知られる動作を実行する。圧縮された出力信号Ｖ_OUT’（動きベクトル及び画素データ）は、ネットワーク６３７等にわたり送信されるデータストレージ装置６４３に記憶される。

ここで伸張機能が記載される（コンプレッサはデコンプレッサが予測することができるものをミラーするので、その大部分は既に記載された）。入力信号Ｖ_inは、ここで圧縮され、イントラフレームＩ（それら完全なままで圧縮されるピクチャであり、すなわち他のピクチャからデータなしで再構成可能である）及び動き予測されるピクチャＰの更新データから典型的に構成される。さらに、ベクトル場のデータは、ビデオピクチャ予測を行うために送信される。本発明の圧縮／伸張方法のために送信されるデータは、標準（たとえばＭＰＥＧ２、又はＡＶＣ）圧縮のための送信されたデータとは異なり、特に、動きベクトル場のデータの大部分が本発明に係るデコンプレッサで予測されるので、それらは動きベクトルのデータがなく、したがってアップデートデータは必要とされない。入力信号をスケーラブルにすることで、標準的なコンプレッサと合理的にコンパチブルであるスキームが設計される。第一のレイヤ６３５は、画素データ及び少数ビットの動きベクトルデータ６３３を含み、第二のレイヤは、標準的なコンプレッサの「フル」の動きベクトルデータを含む。この第二のレイヤは、本発明に係るデコンプレッサにより受信される必要がない。標準的なデコンプレッサによる非圧縮されたピクチャの品質は、僅かに低くなる。

メモリ６０１は、残余のピクチャ及び既に完全に非圧縮されたピクチャの両者のデータを含む。第一の動き予測ユニット６０５は、メモリから２つの既に非圧縮されたピクチャを抽出し、上述された２ピクチャの動き予測を実行するために構成され、同じことが３ピクチャの動き予測にも当てはまる。訂正ユニット６０９、動きベクトル場の予測ユニット６１５、及びピクチャ予測ユニット６２５は、上述したのと同じ機能を正確に実行するが、デコンプレッサがコンプレッサで行う予測の代わりに、現実に受信された圧縮されたビデオデータ及びビデオピクチャ、及びそこから予測された動きベクトル場に関して実行する。ビデオ予測ユニット６２５の出力は、オリジナル系列のそれらに非常に類似しているピクチャであり、メモリ６０１に記憶される。なお、ピクチャメモリ６０１で実際に書き込まれるのがデジタルピクチャであり、すなわちピクセルイメージであるように、準用（mutatis mutandis）ユニット６５０、デコンプレッションユニット６５１は、アンパック、逆ＤＣＴ等を行うために入力で必要とされる。最後に、非圧縮されたビデオピクチャの系列は、（たとえばデジタル／アナログ変換を実行し、ＰＡＬ等のようなテレビジョン規格として符号化する）調節ユニット６５２により出力信号Ｖ_OUTに調整され、この出力信号は、たとえばディスプレイ６４１に送信される。

圧縮について典型的であるように、デコンプレッサは、この振る舞いをエミュレートするコンプレッサとして同じ事を本質的に行い、コンプレッサは、オリジナルピクチャから得られた予測を減算することで残余を決定し、デコンプレッサは、受信された非圧縮された残余を予測に追加する。なお、予測は、多数の前のピクチャを含み、たとえばベクトルはプリプリビアス（pre-previous）ピクチャから画素を取り出すために２倍にされ、これは前のピクチャから取り出された画素で平均される。

なお、更なる特定のアルゴリズムの実施の形態である、請求項２又は請求項４の３つのピクチャベースの予測、請求項３のリタイミング、請求項５のフォアグランドのベクトル判定ストラテジ、及び請求項６のバックグランドのベクトル判定ストラテジは、請求項１のステップにおける組み合わせで置き換えることができ、又は、存在する場合には代替的な請求項７（ｍｕｔ．ｍｕｔ．デコンプレッション方法）における組み合わせで置き換えることができ、基本となる圧縮（伸張）装置の対応する手段は（典型的にＩＣ又はソフトウェアイネーブルドプロセッサ）、対応する機能を実行するために更に構成される。装置（デジタルテレビジョンユニット、ビデオシグナルレコーダ、ポータブルビデオ装置）は、基本の（デ）コンプレッサを有し、実際の実現に依存して、単一又は多数のコンプレッサ又はデコンプレッサ若しくは両者のいずれかを有することができる（たとえば、圧縮されたビデオを受信及び表示可能なポータブル装置はデコンプレッサを必要とするが、ストレージが含まれる場合、（デジタル化の後に）アナログ信号を圧縮するためにコンプレッサが必要とされる場合がある）。

本明細書で開示されるアルゴリズムのコンポーネントは、（全体的又は部分的に）実際には、（たとえば特定用途向けＩＣの一部といった）ハードウェアとして、若しくは特定のデジタルシグナルプロセッサ又は汎用プロセッサ等で実行されるソフトウェアとして実現される。

コンピュータプログラムプロダクトの下で、汎用又は特定用途向けプロセッサに、コマンドをプロセッサに取得させる一連のロードステップ後に（中間的な言語、最終的なプロセッサ言語への変換のような中間的な変換ステップを含む）、本発明の特徴となる機能の何れかを実行させるコマンドのコレクションの物理的な実現が理解される。特に、コンピュータプログラムプロダクトは、たとえばディスク又はテープのようなキャリアのデータとして、メモリに存在するデータ、有線又は無線といったネットワークコネクションにわたり伝播するデータ、又は紙上のプログラムコードとして実現される。プログラムコードから離れて、プログラムの必要とされる特徴的なデータは、コンピュータプログラムプロダクトとして実現される。

本方法の機能のために必要とされるステップのうち、データ入力及び出力ステップのようなコンピュータプログラムプロダクトに記載される代わりに、プロセッサの機能に既に存在するものがある。上述された実施の形態は、本発明を限定するよりはむしろ例示するものである。請求項で結合されるとして本発明のエレメントの結合から離れて、他のエレメントの組み合わせが可能である。エレメントの任意の組み合わせは、単一の専用エレメントで実現することができる。

単語「有する“comprising”」は、請求項に列挙されていないエレメント又は態様の存在を排除するものではない。

本発明に係る第四のピクチャの予測のために使用可能な第一の動きベクトル場の訂正を概念的に示す図である。 第一の動きベクトル場の２つのピクチャの動き予測のステップを概念的に示す図である。 第二の動きベクトル場を得るために３つのピクチャの動き予測のステップを概念的に示す図である。 本発明に係る第一の動きベクトル場の訂正を概念的に示す図である。 本発明の第三の動きベクトル場を得るために訂正された第一の動きベクトル場の投影を概念的に示す図である。 本発明に係るビデオ圧縮／伸張装置を概念的に示す図である。

Claims (21)

1. ビデオ信号の圧縮方法であって、
   （ａ）第二のビデオピクチャと第三のビデオピクチャの画素データを使用することで、第三のビデオピクチャの時間的な位置での第一の動きベクトル場を計算するステップと、
   （ｂ）第二のビデオピクチャの時間的な位置での第二の動きベクトル場を計算するステップと、前記第二の動きベクトル場で、フォアグランドのオブジェクトの動きに実質的に等しい大きさを有する、フォアグランドの動きベクトルの位置から構成されるフォアグランドの動き領域は、バックグランドのオブジェクトの画素ではなく、フォアグランドのオブジェクトの画素の位置と空間的に連結され、
   （ｃ）第二の動きベクトル場に基づいて第一の動きベクトル場のアンカバーリング領域における誤ったフォアグランドの動きベクトルを訂正するステップと、
   （ｄ）フォアグランドのオブジェクトによるバックグランドのオブジェクトの画素のカバーリングに対応する第一の動きベクトル場の領域で、将来のピクチャにおける同じ空間的な位置に投影している２つのベクトルのうちのどちらがフォアグランドの動きベクトルであり、どちらがバックグランドの動きベクトルであるかを判定するステップと、
   （ｅ）第一の動きベクトル場の動きベクトルを予測されるべき第四のビデオピクチャの時間的な位置に投影し、第三の動きベクトル場における同じ空間位置に投影する２つのベクトルのケースでフォアグランドの動きベクトルを割り当てることを含めて、第三の動きベクトル場を取得するステップと、
   （ｆ）少なくとも１つの前の画像から取り出される画素の位置を決定するため、第三の動きベクトル場を使用することで第四のビデオピクチャを予測するステップと、
   を含むビデオ信号圧縮方法。
2. 前記第二の動きベクトル場を計算するステップは、前記第三のビデオピクチャ、前記第二のビデオピクチャ及び前記第一のビデオピクチャに基づいて行われる、
   請求項１記載のビデオ信号圧縮方法。
3. 前記第一の動きベクトル場における前記誤ったフォアグランドの動きベクトルを訂正するステップは、
   前記第二の動きベクトル場におけるアンカバーリング領域を検出するステップと、
   前記第一の動きベクトル場における誤った動きベクトルの領域を、このアンカバーリング領域に基づいて導出するステップと、
   誤った動きベクトルの領域の画素にバックグランドの動きベクトルを割り当てるステップと、
   を含む請求項１又は２記載のビデオ信号圧縮方法。
4. 前記第二の動きベクトル場を計算するステップは、３つのピクチャの動き予測で行われる、
   請求項２記載のビデオ信号圧縮方法。
5. 前記第三の動きベクトル場における同じ空間的な位置に投影する２つのベクトルのケースで、割り当てられる前記フォアグランドの動きベクトルは、２つの投影するベクトルのうちのフォアグランドのベクトルである、
   請求項１記載のビデオ信号圧縮方法。
6. 前記第一のベクトル場からのベクトルの投影が行われない空間的な位置で割り当てられるベクトルは、バックグランドのベクトルに比較して前記第四のピクチャの画素の良好な予測を与えるベクトルである、
   請求項１記載のビデオ信号圧縮方法。
7. ビデオ信号の圧縮方法であって、
   （ａ）第二のビデオピクチャと第三のビデオピクチャの画素データを使用することで、第三のビデオピクチャの時間的な位置での第一の動きベクトル場を計算するステップと、
   （ｂ）第二のビデオピクチャの時間的な位置での第二の動きベクトル場を計算するステップと、前記第二の動きベクトル場で、フォアグランドの動きベクトルの位置から構成されるフォアグランドの動き領域は、フォアグランドのオブジェクトの動きに実質的に等しく、バックグランドのオブジェクトの画素とではなく、フォアグランドのオブジェクトの画素の位置と空間的に実質的に連結され、
   （ｃ）第二の動きベクトル場に基づいて第一の動きベクトル場のアンカバーリング領域における誤ったフォアグランドの動きベクトルを訂正するステップと、
   （ｄ）フォアグランドのオブジェクトによるバックグランドのオブジェクトの画素のカバーリングに対応する第一の動きベクトル場の領域において、将来のピクチャにおける同じ空間的な位置に投影する２つのベクトルのうちのどちらがフォアグランドの動きベクトルであり、どちらがバックグランドの動きベクトルであるかを判定するステップと、
   （ｅ）フォアグランドの動きベクトルを有する画素のみを投影する、ダブルプロジェクションのケースを含めて、第三のビデオピクチャの訂正された第一の動きベクトル場の画素の動きベクトルで、ゼロに初期化される第四のビデオピクチャに投影するステップと、
   を含むビデオ信号圧縮方法。
8. ビデオ信号の伸張方法であって、
   （ａ）前に伸張された第二のビデオピクチャと第三のビデオピクチャの画素データを使用することで、前に伸張された第三のビデオピクチャの時間的な位置での第一の動きベクトル場を計算するステップと、
   （ｂ）第二のビデオピクチャの時間的な位置で第二の動きベクトル場を計算するステップと、前記第二の動きベクトル場で、フォアグランドの動きベクトルの位置を構成するフォアグランドの動き領域は、フォアグランドのオブジェクトの動きに実質的に等しく、バックグランドのオブジェクトの画素とではなく、フォアグランドのオブジェクトの画素の位置と空間的に実質的に連結され、
   （ｃ）第二の動きベクトル場に基づいて第一の動きベクトル場のアンカバーリング領域における誤ったフォアグランドの動きベクトルを訂正するステップと、
   （ｄ）フォアグランドのオブジェクトによるバックグランドのオブジェクトの画素のカバーリングに対応する第一の動きベクトル場の領域で、将来のピクチャにおける同じ空間的な位置に投影する２つのベクトルのうち、どちらがフォアグランドの動きベクトルであり、どちらがバックグランドの動きベクトルであるかを判定するステップと、
   （ｅ）第一の動きベクトル場の動きベクトルを予測されるべき第四のビデオピクチャの時間的な位置に投影し、第三の動きベクトル場における同じ空間位置に投影する２つのベクトルのケースでフォアグランドの動きベクトルを割り当てることを含めて、第三の動きベクトル場を取得するステップと、
   （ｆ）少なくとも１つの前の画像から取り出される画素の位置を決定するため、第三の動きベクトル場を使用することで第四のビデオピクチャを予測するステップと、
   を含むビデオ信号の伸張方法。
9. ビデオ信号の伸張方法であって、
   （ａ）前に伸張された第二のビデオピクチャと第三のビデオピクチャの画素データを使用することで、前に伸張された第三のビデオピクチャの時間的な位置での第一の動きベクトル場を計算するステップと、
   （ｂ）第二のビデオピクチャの時間的な位置で第二の動きベクトル場を計算するステップと、前記第二の動きベクトル場で、フォアグランドの動きベクトルの位置を構成するフォアグランドの動き領域は、フォアグランドのオブジェクトの動きに実質的に等しく、バックグランドのオブジェクトの画素とではなく、フォアグランドのオブジェクトの画素の位置と空間的に実質的に連結され、
   （ｃ）第二の動きベクトル場に基づいて第一の動きベクトル場のアンカバーリング領域における誤ったフォアグランドの動きベクトルを訂正するステップと、
   （ｄ）フォアグランドのオブジェクトによるバックグランドのオブジェクトの画素のカバーリングに対応する第一の動きベクトル場の領域で、将来のピクチャにおける同じ空間的な位置に投影する２つのベクトルのうち、どちらがフォアグランドの動きベクトルであり、どちらがバックグランドの動きベクトルであるかを判定するステップと、
   （ｅ）ダブルプロジェクションのケースにおいて、フォアグランドの動きベクトルを有する画素のみを投影することを含めて、ゼロに初期化される第四のビデオピクチャに第三のビデオピクチャの訂正された第一の動きベクトル場の画素の動きベクトルで投影するステップと、
   を含むビデオ信号の伸張方法。
10. ビデオ圧縮装置であって、
    （ａ）第二のビデオピクチャ及び第三のビデオピクチャの画素データを使用することで、第三のビデオピクチャの時間的な位置での第一の動きベクトル場を計算するために構成される第一の動き予測ユニットと、
    （ｂ）第二のビデオピクチャの時間的な位置での第二の動きベクトル場を計算するために構成される第二の動き予測ユニットと、前記第二の動きベクトル場で、フォアグランドの動きベクトルの位置から構成されるフォアグランドの動き領域は、フォアグランドのオブジェクトの動きに実質的に等しく、バックグランドのオブジェクトとではなく、フォアグランドのオブジェクトの画素の位置と実質的に空間的に連結され、
    （ｃ）第二の動きベクトル場に基づいて第一の動きベクトル場における誤りのあるフォアグランドの動きベクトルを訂正するために構成される訂正ユニットと、
    （ｄ）フォアグランドのオブジェクトによるバックグランドのオブジェクトの画素のカバーリングに対応する第一の動きベクトル場の領域で、将来のピクチャにおける同じ空間的な位置に投影する２つのベクトルのうちのどちらがフォアグランドの動きベクトルであり、どちらがバックグランドの動きベクトルであるかを判定するために構成されるフォアグランド／バックグランド検出器と、
    （ｅ）第三の動きベクトル場における同じ空間的な位置に投影する２つのベクトルのケースで、フォアグランドの動きベクトルを割り当てることを含めて、第三の動きベクトル場を出力として生じる、予測されるべき第四のビデオピクチャの時間的な位置に第一の動きベクトル場の動きベクトルを投影するために構成される投影ユニットと、
    （ｆ）第一のベクトル場からのベクトルの投影が行われない場合に、第三の動きベクトル場の空間的な位置において動きベクトルを割り当て、その位置での真の画素の良好な予測を得るために構成される補間ユニットと、
    （ｇ）少なくとも１つの前の画像から取り出される画素の位置を決定するために第三の動きベクトル場を使用することで、第四のビデオピクチャを予測するために構成されるピクチャ予測ユニットと、
    を有するビデオ圧縮装置。
11. ビデオ圧縮装置であって、
    （ａ）第二のビデオピクチャ及び第三のビデオピクチャの画素データを使用することで、第三のビデオピクチャの時間的な位置での第一の動きベクトル場を計算するために構成される第一の動き予測ユニットと、
    （ｂ）第二のビデオピクチャの時間的な位置での第二の動きベクトル場を計算するために構成される第二の動き予測ユニットと、前記第二の動きベクトル場で、フォアグランドの動きベクトルの位置から構成されるフォアグランドの動き領域は、フォアグランドのオブジェクトの動きに実質的に等しく、バックグランドのオブジェクトとではなく、フォアグランドのオブジェクトの画素の位置と実質的に空間的に連結され、
    （ｃ）第二の動きベクトル場に基づいて第一の動きベクトル場における誤りがあるフォアグランドの動きベクトルを訂正するために構成される訂正ユニットと、
    （ｄ）フォアグランドのオブジェクトによるバックグランドのオブジェクトの画素のカバーリングに対応する第一の動きベクトル場の領域で、将来のピクチャにおける同じ空間的な位置に投影する２つのベクトルのうちのどちらがフォアグランドの動きベクトルであり、どちらがバックグランドの動きベクトルであるかを判定するために構成されるフォアグランド／バックグランド検出器と、
    （ｅ）ゼロに初期化される第四のビデオピクチャに第三のビデオピクチャの訂正された第一の動きベクトル場の画素の動きベクトルで投影するために構成され、ダブルプロジェクションのケースで、フォアグランドの動きベクトルを有する画素のみを投影するために構成される画素投影ユニットと、
    を有するビデオ伸張装置。
12. ビデオ伸張装置であって、
    （ａ）前に伸張された第二のビデオピクチャ及び第三のビデオピクチャの画素データを使用することで、前に伸長された第三のビデオピクチャの時間的な位置での第一の動きベクトル場を計算するために構成される第一の動き予測ユニットと、
    （ｂ）第二のビデオピクチャの時間的な位置での第二の動きベクトル場を計算するために構成される第二の動き予測ユニットと、前記第二の動きベクトル場で、フォアグランドの動きベクトルの位置から構成されるフォアグランドの動き領域は、フォアグランドのオブジェクトの動きに実質的に等しく、バックグランドのオブジェクトの画素とではなく、フォアグランドのオブジェクトの画素の位置と実質的に空間的に連結され、
    （ｃ）第二の動きベクトル場に基づいて第一の動きベクトル場における誤りのあるフォアグランドの動きベクトルを訂正するために構成される訂正ユニットと、
    （ｄ）フォアグランドのオブジェクトによるバックグランドのオブジェクトの画素のカバーリングに対応する第一の動きベクトル場の領域で、将来のピクチャにおける同じ空間的な位置に投影する２つのベクトルのうちのどちらがフォアグランドの動きベクトルであり、どちらがバックグランドの動きベクトルであるかを判定するために構成されるフォアグランド／バックグランド検出器と、
    （ｅ）第三の動きベクトル場における同じ空間的な位置に投影する２つのベクトルのケースで、フォアグランドの動きベクトルを割り当てることを含めて、第三の動きベクトル場を出力として生じる、予測されるべき第四のビデオピクチャの時間的な位置に第一の動きベクトル場の動きベクトルを投影するために構成される投影ユニットと、
    （ｆ）第一のベクトル場からのベクトルの投影が行われない場合に、第三の動きベクトル場の空間的な位置において動きベクトルを割り当て、その位置での真の画素の良好な予測を得るために構成される補間ユニットと、
    （ｇ）少なくとも１つの前の画像から取り出される画素の位置を決定するために第三の動きベクトル場を使用することで、第四のビデオピクチャを予測するために構成されるピクチャ予測ユニットと、
    を有するビデオ伸張装置。
13. ビデオ伸張装置であって、
    （ａ）前に伸張された第二のビデオピクチャと第三のビデオピクチャの画素データを使用することで、前に伸張された第三のビデオピクチャの時間的な位置での第一の動きベクトル場を計算する第一の動き予測ユニットと、
    （ｂ）第二のビデオピクチャの時間的な位置で第二の動きベクトル場を計算するために構成される第二の動き予測ユニットと、前記第二の動きベクトル場で、フォアグランドの動きベクトルの位置を構成するフォアグランドの動き領域は、フォアグランドのオブジェクトの動きに実質的に等しく、バックグランドのオブジェクトの画素とではなく、フォアグランドのオブジェクトの画素の位置と空間的に実質的に連結され、
    （ｃ）第二の動きベクトル場に基づいて第一の動きベクトル場における誤りのあるフォアグランドの動きベクトルを訂正する訂正ユニットと、
    （ｄ）フォアグランドのオブジェクトによるバックグランドのオブジェクトの画素のカバーリングに対応する第一の動きベクトル場の領域で、将来のピクチャにおける同じ空間的な位置に投影する２つのベクトルのうち、どちらがフォアグランドの動きベクトルであり、どちらがバックグランドの動きベクトルであるかを判定するフォアグランド／バックグランド検出器と、
    （ｅ）ゼロに初期化される第四のビデオピクチャに第三のビデオピクチャの訂正された第一の動きベクトル場の画素の動きベクトルで投影するために構成され、ダブルプロジェクションのケースで、フォアグランドの動きベクトルを有する画素のみを投影するために構成されるピクチャ予測ユニットと、
    を含むビデオ伸張装置。
14. 動き予測されたピクチャの時間的な位置について残余の動きベクトルを含み、前記残余は、その空間的な構造の観点で、時間的に予測された動きベクトル場を補正するために使用可能であるとして明らかに識別可能である、
    請求項１又は請求項７記載の方法により生成される圧縮されたビデオ信号。
15. プロセッサが請求項１記載の方法を実行するのを可能にする、請求項１のステップ（ａ）〜（ｆ）のそれぞれに対応するプロセッサ読み取り可能な手段を含むコンピュータプログラム。
16. プロセッサが請求項７記載の方法を実行するのを可能にする、請求項７のステップ（ａ）〜（ｅ）のそれぞれに対応するプロセッサ読み取り可能な手段を含むコンピュータプログラム。
17. プロセッサが請求項８記載の方法を実行するのを可能にする、請求項８のステップ（ａ）〜（ｆ）のそれぞれに対応するプロセッサ読み取り可能な手段を含むコンピュータプログラム。
18. プロセッサが請求項９記載の方法を実行するのを可能にする、請求項９のステップ（ａ）〜（ｅ）のそれぞれに対応するプロセッサ読み取り可能な手段を含むコンピュータプログラム。
19. 請求項１２又は１３記載のビデオ伸張装置を有するデジタルテレビジョンユニット。
20. 請求項１０又は１１記載のビデオ圧縮装置を有するビデオ信号レコーダ。
21. 請求項１２又は１３記載のビデオ伸張装置、及び／又は、請求項１０又は１１記載のビデオ圧縮装置を有するポータブルビデオ装置。
    
    

Images