JP2010521118A - 圧縮したビデオ源からのマルチフレーム動画の推定 - Google Patents

Abstract

動きベクトルは、ＭＰＥＧ−２に準拠するビデオデータストリームのようなビデオデータストリームに適用される多くのビデオ信号処理にとって重要である。多数の動きベクトルが利用できる場合は、この技術を改善することが可能となる。エンコードされたビデオデータストリーム中に存在する元の動きベクトルから多数の付加的な動きベクトルを導き出すのにいることができる２つの技法を開示する。動きベクトルの反転技術により、元の動きベクトルで表されたのとは反対方向の動きを表現する新しい動きベクトルが導き出される。ベクトルのトレース技術により元の動きベクトルの組み合わせから新しい動きベクトルが導き出される。

Description

本発明は一般的にはビデオ信号処理に関し、さらに詳細にはビデオ信号中のビデオのフレームのシーケンス又は画像のシーケンスにより表される映像の動きに関する情報を導き出す信号処理に関する。

種々のビデオ信号処理アプリケーションは、ビデオ信号中の画像のシーケンス又はフレームのシーケンスにより表される映像の動きを検出する能力に依存する。これらのアプリケーションについて２つの例として、データ圧縮とノイズリダクションとがある。

データ圧縮の形式によっては、インターフレームエンコードされたビデオデータ、又は他のフレーム中の各部分の相対的な期間中のデータの１つのフレームの少なくとも一部を表現するデータにより効率よくビデオデータの１つのフレームを表現することができるようにすることは、２つの画像又は２つのフレーム間での動きを検出する能力に依存する。動きの検出に用いるビデオデータ圧縮の一例はＭＰＥＧ−２圧縮であり、これは、国際標準ＩＳＯ／ＩＥＣ、１３８１８−２、表題「Ｇｅｎｅｒｉｃ Ｃｏｄｉｎｇ ｏｆ Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅｓ ａｎｄ Ａｓｓｏｃｉａｔｅｄ Ａｕｄｉｏ Ｉｎｆｏｒｍａｔｉｏｎ： Ｖｉｄｅｏ」及びＡＴＳＣ委員会（ＡＴＳＣ）ドキュメントＡ／５４、表題「Ｇｕｉｄｅ ｔｏ ｔｈｅ Ｕｓｅ ｏｆ ｔｈｅ ＡＴＳＣ Ｄｉｇｉｔａｌ Ｔｅｌｅｖｉｓｉｏｎ 」に記載されている。ＭＰＥＧ−２技術では、独立にエンコードされたビデオデータ又はフレーム内部でエンコードされたそれぞれのＩフレームを生成するためにビデオデータの他のフレームを参照しないで、空間的コーディング技術によりビデオデータのいくつかのフレームを圧縮する。他のフレームは、動作検出又は動作予測に用いる時間的コーディング技術により圧縮される。前方予測は、インターフレームエンコードされたビデオデータの、Ｐフレーム又は予測されるフレームを生成するために用いられ、前方後方予測は、フレーム間でエンコードされたビデオデータの、Ｂフレーム又は双方向フレームを生成するために用いられる。ＭＰＥＧ−２に適合するアプリケーションでは、１５フレーム毎に１つのフレームのような固定的なスケジュールに従ってフレーム内部でエンコーディングするためにフレームを選択するか、又は適応的なスケジュールに従ってフレームを選択する。適応的なスケジュールでは、必要に応じて、隣り合うフレーム間で内容の動き又は差異を検出することに関する尺度に基づくことができる。

いくつかのノイズリダクション技術は、動作が生じる映像部分、あるいは、動作が生じない部分を特定する能力に依存する。あるノイズリダクションのためのシステムでは、フレームのシーケンス中のそれぞれのフレーム中において対応する画像要素又は「ピクセル」に対して時間的ローパスフィルターの適用を制御するために動作検出を用いる。このノイズリダクションの形式では、動きが検出されなかった映像の領域にのみローパスフィルターを適用することで動いている対象物の外観がぼけないようにしている。このローパスフィルターの１つの実施の形態では、フレームのシーケンス内での対応するピクセルの移動平均を計算し、現フレーム中の各ピクセルをこの平均値で置き換える。

ＭＰＥＧ−２圧縮では、ビデオデータの２つのフレーム間の動きを表現するインターレームエンコーディングのために、動きベクトルを用いる。ＭＰＥＧ−２の動きベクトルは、２つの異なる画像又はフレーム間での画像領域の垂直変位及び水平変位を表現する。

ここで説明する圧縮アプリケーション及びノイズリダクションアプリケーションの性能は、所定のフレームのシーケンスに対して、一般に動きベクトルの数が増えるにしたがって向上する
フレーム間での差異を検出することにより動きベクトルを導き出すためにいくつかの方法が開発されている。よく知られた１つの方法では、ビデオデータの「現在の」フレーム中のビデオデータと、ビデオデータの「参照」フレーム中のビデオデータとを比較するブロックマッチングと呼ばれる手法を用いる。現在のフレーム中のデータは、例えば１６×１６ピクセル又は８×８ピクセルのブロックような、ブロックの配列に分割され、この現在のフレーム中のそれぞれのブロックの内容は参照フレーム中の検索領域内のピルセルの配列と比較される。現在のフレーム中のブロックと参照フレーム中の領域とが一致すると、そのブロックで表される映像の部分の動きは生じていたものと見なされる。

検索領域はしばしば、所定の高さと幅を有し、それぞれのブロックに対応する位置に中心を置くような位置を有する参照フレームの方形領域である。この検索領域の高さと幅は固定にしてもよく適応的に変化するようにしてもよい。検索領域が広いと、動きの速度が速いことを意味するより大きな変位を検出することができる。一方、検索領域が広いと、ブロックマッチングを判断するために必要な計算資源を増大させる。

例示することによりブロックマッチングに必要となる計算資源の大きさを示すことができる。この例では、ビデオデータの各フレームは、１０８０×１９２０ピクセルの配列で表すことができ、各フレームは、８×８ピクセルのブロックに分割される。その結果、各フレームは、３２，４００＝１３５×２４０ブロックの配列に分割される。検索領域は、一致させるべきそれぞれのブロックの位置に集中し、６４ピクセルの高さと４８ピクセルの幅となる。１つの実施の形態において、ブロック中の各ピクセルは、検索領域のすべての８×８ピクセルのサブブロックと比較される。この例では、映像の端部から離れたブロックの検索領域は、２２４０＝５６×４８のサブ領域を有する。従って、１つのブロックの動きをチェックするために、１４３Ｋピルセル以上の比較が必要となる。検索領域はその映像の端部で囲まれているので、映像の端部又は端部近傍では、ブロックに対する比較量は少なくなる。とはいうものの、ほぼ４．５×１０９ピクセルの比較が各フレームについて必要である。フレームが、１秒間に６０フレームの速さのデータを表すビデオデータストリームの一部であるとすると、隣り合うフレームのピクセルを比較するためだけに、毎秒２６７×１０９ピクセルの比較を行わなくてはならない。

互いに隣り合うことなく大きな時間間隔を持つフレームのペアを含む大量のフレームに対してブロックマッチングを行う場合は、それに応じて大量の比較が必要となる。システム中に実装する場合は、コストを下げるために高い処理能力を持つパイプライン構造の処理ハードウェアを組み入れるがこのような低コストなものとしても多くのアプリケーションでは高価なものとなる。ブロックマッチングの計算資源を減らすためにいくつかの最適化技法が提案されているが、これらの技法はパイプライン構造を持つプロセッサ中の処理フローを分断する条件付ロジックを必要とするので、これらの技法は期待するほど効果的ではなかった。

画像のシーケンス又はフレームのシーケンスとして構成されたビデオデータの大量の動きベクトルを取得する効率的な方法を提供することが本発明の１つの目的である。

この文脈において、及び、本明細書を通じて、「動きベクトル」とは、他のフレーム中の各部分に関連する表現中のデータの１フレームの少なくとも一部を表すインターフレームエンコーディングにより用いることのできる、すべてのデータ構造を意味し、一般にビデオデータの２つのフレーム間の動きを表現する。この用語は、上述のＭＰＥＧ−２標準中に記載されている厳密な構成に限定されるものではない。例えば「動きベクトル」の語には、ＩＳＯ／ＩＥＣ１４４９６標準の第１０章に記載され、さらに、ＭＰＥＧ−４アドバンスドビデオコーディング（ＡＶＣ）又はＩＴＵ−Ｔ Ｈ．２６４標準として知られている、可変ブロックサイズの動き補償データ構造が含まれる。ＭＰＥＧ−２標準は本明細書に役に立つ例を提供している。ＭＰＥＧ−２標準中に定義された動きベクトルは、１つの映像の供給領域、２番目の映像の目標領域、及び供給領域から目標領域までの垂直変位と水平変位を定めている。付加的な情報を動きベクトルに含めても関連付けてもよい。例えば、ＭＰＥＧ−２標準は、動きベクトルと関連付けることのできる、供給領域中の部分的な映像と目標領域中の部分的な映像との間の差異又は予測誤差を含むデータ構成について記載している。

本発明の特徴によれば、１以上の信号を受け取りビデオ情報のフレームのシーケンスに変換する。このビデオ情報にはフレーム内部でエンコードされたビデオデータと映像のシーケンスを表すインターフレームエンコードされたビデオデータとが含まれ、新しくインターフレームエンコードされたビデオデータを導き出すために１以上のフレーム中のインターフレームエンコードされたビデオデータを分析し、映像のシーケンスの少なくとも一部を表現する修正されたビデオ情報を生成するためにビデオ情報の少なくともいくつかに処理を施す。この処理は新しくインターフレームエンコードされたデータに応答して動作するようになっている。本発明のこの特徴は以下に詳細に記載する。

本発明のさまざまな特徴とその好ましい実施の形態は、以下の説明と添付図を参照することによりよく理解できるであろう。以下の説明と図面の内容は例示のためのものであり、本発明の技術範囲を限定するためのものと解釈すべきでない。

本発明の種々の特徴を組み込んだ典型的なシステムの概略ブロック図である。 ＭＰＥＧ−２に準拠するエンコードされたビデオデータストリーム中の画像のシーケンス又はビデオデータのフレームを示す概略図である。 ２つのビデオデータのフレームの概略図である。 元の動きベクトルと新しい動きベクトルと３つのビデオデータのフレームを示す概略図である。 元の動きベクトルと新しい動きベクトルと３つのビデオデータのフレームを示す概略図である。 元の動きベクトルと新しい動きベクトルとフレームを示す概略図である。 元の動きベクトルとＧＯＰ中のフレームを示す概略図である。 ベクトル反転法を用いて元の動きベクトルから導き出すことのできた新しい動きベクトルを示す概略図である。 元の動きベクトルとＧＯＰ中のフレームのために導き出した新しい動きベクトルを示す概略図である。 本発明の種々の特徴を実施するために用いることのできる装置の概略ブロック図である。

Ａ．序論
図１は、エンコードされたビデオデータストリーム中にすでに存在する「元の」動きベクトルから「新しい」動きベクトルを導き出す本発明の特徴を組み込んだ典型的なシステム１０の概略ブロック図である。動きベクトルプロセッサ（ＭＶＰ）２は、信号経路１から、エンコードされたビデオデータストリーム中に搬送されたビデオ情報を受け取り、データストリーム中に存在する元の動きベクトルを分析して、ストリーム中になかった新しい動きベクトルを導き出し、新しい動きベクトルを経路３に沿って送りだす。必要に応じて元の動きベクトルも経路３に沿って送りだす。ビデオ信号プロセッサ（ＶＳＰ）４は、経路１から、エンコードされたビデオデータストリームを受け取り、経路３から、新しい動きベクトルを受け取り、経路１又は経路３の一方から元の動きベクトルを受け取り、エンコードされたビデオデータストリーム中に搬送されたビデオ情報の少なくとも一部に信号処理を適用し、処理された信号を生成してその信号を経路５に沿って送りだす。ＶＳＰ４は新しい動きベクトルに応答して信号処理を行うようになっている。ＶＳＰ４は新しい動きベクトルのみならず元の動きベクトルに応答して信号処理を行うことが好ましい。基本的に、必要に応じてどんな形式の信号処理を適用してもよい。信号処理の例としてノイズリダクション、映像解像度の強化、及びデータ圧縮が挙げられる。特定の処理が本質的であるというわけではない。

この処理の基本として既存の動きベクトルを用いることにより、本発明は新しい動きベクトルを効率よく導き出すことができる。この処理は十分効率がよいので、周知の方法を用いて取得するよりはるかに多くの動きベクトルを導き出すことができる。

本発明はＭＰＥＧ−２に準拠するストリーム中の動きベクトルを処理することができ、例えば、画像のグループ（ＧＯＰ）として知られているビデオフレームのシーケンス中のフレームのすべてのペアについての動きベクトルを導き出すことができる。動きベクトルは、Ｉフレームとなることができ、互いに隣り合わないペアのフレームとなることができる。動きベクトルは、異なるＧＯＰ中のフレームについても導き出すことができる。

本発明の実施形態は、多大な利点が得られるようなビデオフレームに多くの処理を適用するので、自己最適化となる傾向がある。動きベクトルを付加することが大きな利点をもたらさないような状況において、少ない計算資源が使われる。これは、元の動きベクトルが多ければ多いほどフレームに対して多くの処理が必要となり、多くの動きが検出されるフレームのペアに多くの元の動きベクトルが存在し、多くの動きが生じるフレームに対して大きな利点を一般に達成することができるからである。

Ｂ．動きベクトルの反転
図２は、ＭＰＥＧ−２に準拠するエンコードされたビデオデータストリーム中の画像のシーケンス又はビデオデータのフレームの示す概略図である。この特定のシーケンスには２つのＩフレーム３３及び３９と５つのＰフレーム３４〜３８とが含まれる。各Ｐフレーム中のエンコードされたデータにはそのフレーム中のピクセルのブロックに１以上の動きベクトルを含ませることができ、これは、対応するその直前のフレーム内のピクセルの配列に基づくもの又はそれらの配列から予測されるものである。例えば、Ｐフレーム３４は、Ｉフレーム３３とＰフレーム３４との間での動きにおけるブロックを表現する１以上の動きベクトルを含有することができる。Ｐフレーム３５は、Ｐフレーム３４とＰフレーム３５との間での動きにおけるブロックを表現する１以上の動きベクトルを含有することができる。

このエンコードされたビデオデータストリーム中に存在するすべての動きベクトルは、Ｉフレーム又はＰフレームに隣接するＰフレームからの動きを表すものに限られる。この特定のフレームのシーケンスは、いずれかのフレームから先行するフレームへの動き、或いは、隣り合ってはいない２つのフレーム間での動きを表現する動きベクトルを有しない。

本発明の特徴に組み込まれたシステム及び方法では、先の段落で記載したような、既存のエンコードされたデータストリーム中には存在しない動きベクトルを導き出すことができる。これは、ここで動きベクトルの反転及び動きベクトルのトレースと称される２つの技法を用いて行うことができる。

図３は、フレームのシーケンス内にあるビデオデータの２つのフレームの概略図である。この例において、フレームＡはＭＰＥＧ−２標準に準拠するデータストリーム中のＩフレームであり、フレームＢはＭＰＥＧ−２標準に準拠するデータストリーム中のＰフレームである。図示したとおり、フレームＢには、フレームＡ中の供給領域４１から目標領域４２までに生じる動きを表す元の動きベクトルが含まれる。この動きベクトルはｍｖ（Ａ，Ｂ）で表され、動きの大きさと方向、及び動いた映像の領域を表す。例えばＭＰＥＧ−２標準に準拠するデータストリームにおいて、動きの大きさと方向は、水平方向の変位と垂直方向の変位を表す数値で表現され、動きの領域は、フレームＢの格子中に置かれるピクセルの複数のブロックの１つである、フレームＢ中の目標領域で特定される。上述のとおり、動きベクトルを構成するこの特定のデータは本発明にとって必須要件ではない。

フレームＢは、フレームＡからフレームＢまでの多くの領域で生じる動きを表す１以上の動きベクトルを持つことができる。これらの動きベクトルのすべてを集合的にここでは、ＭＶ（Ａ，Ｂ）で表す。

データストリーム中のフレームが、ｍｖ（Ｂ，Ａ）で表されるような、フレームＢからフレームＡまでの動きを表す動きベクトルを持つことはないが、本発明では、フレームＡの領域からフレームＢの領域までの関係を定義する動きベクトルｍｖ（Ａ，Ｂ）が存在するとき、フレームＢの領域からフレームＡの領域までにおける補完的な又は逆の関係が存在することを利用して、逆方向の動きベクトルを導き出すことができる。フレームＢからフレームＡへの動きは、フレームＡからフレームＢへの動きの逆であり、それは以下のように表すことができる。

ｍｖ（Ｂ，Ａ）＝Ｒｅｖｅｒｓｅ［ｍｖ（Ａ，Ｂ）］ （１）
１つのフレームに対するすべての動きベクトルの集合は、以下のように表すことができる。

ＭＶ（Ｂ，Ａ）＝Ｒｅｖｅｒｓｅ［ＭＶ（Ａ，Ｂ）］ （２）
表記、Ｒｅｖｅｒｓｅ[ ]は、それぞれの動きベクトルから、同じ大きさで逆方向の動きベクトルを導き出す関数又は演算を表すために用いられる。各動きベクトルの動きの領域は、必要に応じて特定することができる。この特別な例として、新しい動きベクトルで表される動きの領域は、フレームＡの目標領域となる。これは、フレームＡ中の映像の左上コーナーに対する領域の左上コーナーの相対的な水平方向及び垂直方向へのピクセルの補正値で表される。必要に応じて、部分的なピクセルの補正値を定義することもできる。特定の表現が本発明に必須にとって必須要件となるわけではない。

Ｃ．動きベクトルのトレース
付加的な動きベクトルは、複数のフレームを横切る動きをトレースすることにより導き出すことができる。この技法はお互いに隣り合ってはいないフレームの動きベクトルを導き出すことを可能とする。図４Ａは、フレームのシーケンス内のビデオデータの３つのフレームの概略図である。本図に示した例は、図３に示した例にフレームＣを加えたものである。フレームＣはＰフレームである。図示したように、フレームＣには、フレームＢ中の供給領域４３からフレームＣ中の目標領域４４に向かって生じる動きを表現する元の動きベクトルが含まれる。この動きベクトルはｍｖ（Ｂ，Ｃ）で表される。動きベクトルｍｖ（Ｂ，Ｃ）のフレームＢ中の供給領域が動きベクトルｍｖ（Ａ，Ｂ）の目標領域と重複する場合は、新しい動きベクトルｍｖ（Ａ，Ｃ）は、フレームＡからフレームＣへの動きを表すものとして導き出すことができる。この新しい動きベクトルは、図４Ｂに概略的に示され、以下の表現で表される。

１つのペアとなったフレームのすべての動きベクトルの集合のベクトルのトレースは以下のように表される。

フレームＡにおける新しい動きベクトルｍｖ（Ａ，Ｃ）のための供給領域４０は、対応する動きベクトルｍｖ（Ａ，Ｂ）のための供給領域４１の一部分となることがある。同様に、新しい動きベクトルｍｖ（Ａ，Ｃ）のための目標領域４５は、対応する動きベクトルｍｖ（Ｂ，Ｃ）のための目標領域４４の一部分となることがある。これらの２つの供給領域４０及び４１の重複の程度と２つの目標領域４４及び４５の重複の程度とは、動きベクトルｍｖ（Ａ，Ｂ）の目標領域４２と動きベクトルｍｖ（Ｂ，Ｃ）の目標領域４３との重複の程度により制御することができる。動きベクトルｍｖ（Ａ，Ｂ）の目標領域４２が動きベクトルｍｖ（Ｂ，Ｃ）の目標領域４３と同一であるならば、動きベクトルｍｖ（Ａ，Ｂ）のための供給領域４１は、動きベクトルｍｖ（Ａ，Ｃ）のための供給領域４０と同一となり、動きベクトルｍｖ（Ａ，Ｃ）のための目標領域４５は、動きベクトルｍｖ（Ｂ，Ｃ）のための目標領域４４と同一となる。

ベクトルのトレース技法を組み込むことのできるひとつの方法は、最終目標フレーム、この例ではフレームＣを特定し、そのフレームについてすべての動きベクトルｍｖ（Ｂ，Ｃ）を逆方向に働かせることである。これは、フレームＢにおける各動きベクトルｍｖ（Ｂ，Ｃ）のための供給領域を特定することにより行われる。そして、フレームＢの各動きベクトルｍｖ（Ａ，Ｂ）を分析して動きベクトルｍｖ（Ｂ，Ｃ）のための供給領域のどこかと重複する目標領域があるかどうかを判断する。動きベクトルｍｖ（Ａ，Ｂ）に重複が見つかれば、そのベクトルを逆方向に供給フレームまでトレースする。この処理は、求める供給フレームにおいて、供給領域と目標領域との間に動きベクトルの重複が見つからなくなるまで続けられる。

上述の重複領域を探す処理は、基本的に従来の、ベクトルＭＶ（Ｂ，Ｃ）をベクトルの供給領域に従って順序付けるデータ構造に置くための、ツリーベース又はリストベースの検索アルゴリズムを用いて実行することができる。多くのアプリケーション中効果的に使うことのできる１つのデータ構造は、四分木として知られている、特定の２次元ツリー構造である。このデータ構造の形式は、ＭＶ（Ｂ，Ｃ）目標領域との重複の検索を効果的に行う。

必要に応じて、ベクトルのトレースにより導き出された新しい動きベクトルの、供給領域と目標領域に隣接するビデオデータの部分は、この供給領域と目標領域とを拡げるべきか狭めるべきかを決めるために、分析される。多くの例では、ベクトルのトレースによりおのずから、新しい動きベクトルの適切な供給領域と目標領域とを取得することができるが、他の例では、ベクトルのトレースにより取得した供給領域と目標領域は最適なものではない場合がある。

例えば、フレームのシーケンス中にある元の動きベクトルが左から右に動いている人を表すと仮定する。すべての中間フレームは人の頭と胴体の動きベクトルを有するであろうが、いくつかの中間フレームは胴体の後ろに隠れたときの人の左手の動きベクトルを有することができない。この動きベクトルのシーケンスに沿ったベクトルのトレースでは、頭と胴体の新しい動きベクトルを導き出すことができるが、たとえ、ベクトルのトレースの期間中において、シーケンスの最初と最後のフレームに左腕が見えていても、この腕の新しい動きベクトルを導き出すことはできない。頭と胴体の動きベクトルの供給領域と目標領域に近接する映像の領域にブロックマッチングを行うことにより、その領域に左腕について拡張的なあるいは付加的な動きベクトルを追加することは可能である。この処理は、ブロックマッチングで検索する領域を、新しい動きベクトルの供給領域と目標領域に直接隣接する領域に限定することができるので、効率的に行うことができる。

ベクトルのトレースは、フレームのシーケンスにおけるすべてのフレーム間で新しい動きベクトルを導き出すために動きベクトルの反転と組み合わせることができる。これは、図５に概略的に示されており、各動きベクトルは、目標フレームを向く矢印により示されている。例えば、Ｐフレーム３６からＰフレーム３５へ、Ｐフレーム３５からＰフレーム３４へ、そしてＰフレーム３４からＩフレーム３３への動きを表す動きベクトルを導き出すために、動きベクトルの反転を用いることができる。Ｐフレーム３６からＩフレーム３３への動きを表す動きベクトルを導き出すために、ベクトルのトレースをこれらの３つの新しい動きベクトルに適用することができる。この例については以下のように表される。

ここで、ｍｖ（ｘ，ｙ）は、フレームｘからフレームｙへの動きベクトルを表し、
ｘ，ｙは、図５で示したフレームの参照番号を表す。

Ｄ．ＧＯＰトラバース
ＭＥＰＧ−２標準に適合するシステムでは、画像グループ（ＧＯＰ）と称される独立のセグメントにフレームを配列することができる。一般的なアプローチでは、ビデオデータを１５のフレームのグループに分割する。各ＧＯＰは、１つのＩフレームのすぐ前に先行する２つのＢフレームで始まる。これらの３つのフレームに、Ｐフレームがすぐ後に続く２つのＢフレームをそれぞれが有する４つのシーケンスが続く。このＧＯＰの構成については、図６〜８に、Ｂフレーム５１で始まりＰフレーム５８で終わるフレームのシーケンスとして概略的に示されている。先のＧＯＰは、Ｐフレーム５０で終わっており、次のＧＯＰは、Ｂフレーム５９で始まっている。他の図と同様にこの図に示したフレームは、データストリーム内で生じた順序ではなく、表示の順序に従って配列してある。ＭＰＥＧ−２に準拠するデータストリームは、ＩフレームとＰフレームからＢフレームを復元するのが容易になるような順序に並べ替えられるが、この実施の形態の詳細を理解することは、本発明の本質を理解するために必要ではない。

そのフレームの少なくともいくつかが他のＧＯＰにおけるフレームを参照する元の動きベクトルを含有するという意味で、ＧＯＰが「オープン」であれば、本発明は、ＧＯＰの境界を横切る新しい動きベクトルを導き出すことができる。オープンなＧＯＰの例を図６〜８に示す。図６を参照して、各矢印は元の動きベクトルを表す。各矢印の頭部はそれぞれ目標フレームに向かっている。例えば、いくつかの動きベクトルがＩフレーム５３からＢフレーム５４，５５まで及びＰフレーム５６までの動きを表している。他のいくつかの元の動きベクトルがＰフレーム５６からＢフレーム５４，５５までの動きを表している。表記のＧＯＰが開いているので、ＧＯＰの境界を横切りＰフレーム５０と２つのＢフレーム５１，５２からの動きを表すＰフレーム５０中の２つの動きベクトルが可能となっている。ベクトルの反転とベクトルのトレースの技術をＢフレーム中の双方向動きベクトルに適用することにより、本発明は、ＧＯＰの境界を横切る新しい動きベクトルを導き出すために用いることができる。これが図７及び図８に示されている。

図７は、ベクトルの反転技術を用いて元の動きベクトルから導き出すことのできた新しい動きベクトルを示す概略図である。例えば、Ｂフレーム５１，５２の各々からＰフレーム５０への動きを表す新しい動きベクトルを導き出すことができる。Ｐフレーム５８に向いているこの２つの動きベクトルと２つの新しい動きベクトルは、ＧＯＰの境界を横切る、導き出された新しい動きベクトルの例である。

図８は、図６及び図７に示した元の動きベクトルと新しい動きベクトルにベクトルのトレースの技術を適用することにより導き出すことのできた付加的な動きベクトルをほんのわずかだけ示した概略図である。各矢印は双方向になっている。非常に多くの数の新しい動きベクトルを導き出すことができたのは明らかである。本図に示した、Ｉフレーム５３から出てゆきまたＩフレーム５３に向かうベクトルとＢフレーム５９から出てゆきまたＢフレーム５９に向かうベクトルは、ＧＯＰの境界を横切る、新しく導き出された動きベクトルの例である。

Ｅ．実施
本発明のさまざまな特徴を組み込んだ装置は、コンピュータ又は汎用コンピュータに見られる構成要素と同様な構成要素と結合したディジタル信号プロセッサ（ＤＳＰ）回路のような専用化した構成要素を含む他の装置により実行されるソフトウェアを含むさまざまな方法で実施することができる。図４は、本発明の特徴を実施するために用いることのできる装置７０の概略ブロック図である。プロセッサ７２は計算手段を提供する。ＲＡＭ７３は処理のためのプロセッサ７２により用いられるランダムアクセスメモリ（ＲＡＭ）のシステムである。ＲＯＭ７４は、装置を動作させるのに必要なプログラムを保存するための、及び、おそらく本発明のさまざまな特徴を実行することのできるリードオンリーメモリ（ＲＯＭ）のような固定記憶の形態を示す。Ｉ／Ｏ制御７５は、通信チャンネル７６，７７を用いて信号を受信し送信するインターフェース回路を示す。図示の実施の形態では、すべての主要なシステム構成要素は、２以上の物理的または論理的バスを表すバス７１に接続されているが、バス構成は本発明を実施するためにからなずしも必要ではない。

汎用コンピュータシステムにより実施される実施の形態では、キーボードやマウスやディスプレイのような装置とのインターフェースのための構成要素、及び、磁気テープ又はディスク或いは光学的記憶媒体のような記憶媒体を有する記憶装置７８を制御するための構成要素を付加的に含めることができる。この記憶媒体はオペレーティングシステムに対する指令プログラム、ユーティリティープログラム、及びアプリケーションプログラムを記憶するために使うことができ、また、本発明のさまざまな特徴を実行するプログラムを含有することができる。

本発明のさまざまな特徴を実行するために必要な機能は、個別の論理要素、集積回路、１以上のＡＳＩＣｓ及び／又はプログラム制御されるプロセッサを含む広くさまざまな方法に用いられる構成要素により実行される。これらの構成要素を用いる方法は本発明にとって重要ではない。

本発明を実施するソフトウェアは、超音波から赤外周波数を含む範囲のスペクトルでのベースバンド通信経路又は変調通信経路のような機械的に読み取り可能なさまざまな媒体、又は、磁気テープ、磁気カード、磁気ディスク、光学カード又は光学ディスク、及び紙を含む媒体上の検出可能なマーキングを含んで、原則としてあらゆる記憶技術を用いて情報を伝達する記憶媒体により伝達することができる。

Claims (21)

1. 画像のシーケンスを表現するエンコードされたビデオデータストリーム中に搬送されるビデオ情報のフレームのシーケンスを受け取るステップであって、該エンコードされたビデオデータストリームには、異なるビデオ情報のフレームの画像の領域からの変位の大きさと方向を表現する１以上の元の動きベクトルが含まれることを特徴とするステップと、
   ビデオ情報の第１のフレームの映像中の第１の領域からビデオ情報の第２のフレームの映像中の第２の領域までの変位の大きさと方向を表す第１の元の動きベクトルを特定するステップと、
   前記第１の元の動きベクトルから前記ビデオデータストリーム中に存在しない新しい動きベクトルを導き出すステップであって、該新しい動きベクトルは、ビデオ情報のフレームのシーケンス中の２つのフレームの映像中の供給領域から目標領域までの変位の大きさと方向を表すことを特徴とするステップと、
   映像のシーケンスの少なくとも一部の修正された形式を表現する処理された信号を生成するために前記ビデオ情報の少なくとも一部に信号処理を施すステップであって、該信号処理は、前記新しい動きベクトルに応答して動作するようになっていることを特徴とするステップと、
   を具備するビデオ映像の動きベクトルを導き出す方法。
2. 動きベクトルの反転により新しい動きベクトルを導き出すステップを具備し、前記供給領域は、前記第２の領域の少なくとも一部と重複し、前記目標領域は前記第１の領域の少なくとも一部と重複することを特徴とする請求項１に記載の方法。
3. ビデオ情報の第２のフレームの映像中の第３の領域からビデオ情報の第３のフレームの映像中の第４の領域までの変位の大きさと方向を表す第２の元の動きベクトルを特定するステップであって、前記第３の領域は前記第２の領域の少なくとも一部と重複することを特徴とするステップと、
   前記第１の元の動きベクトルと前記第２の元の動きベクトルとの組み合わせにベクトルのトレースを行うことにより、新しい動きベクトルを導き出すステップであって、前記供給領域は前記第１の領域の少なくとも一部と重複し、前記目標領域は前記第４の領域の少なくとも一部と重複することを特徴とするステップと、
   を具備することを特徴とする請求項１に記載の方法。
4. 動きベクトルで表現することのできる前記供給領域と前記目標領域とに隣接するビデオ情報を特定するステップと、
   前記特定したビデオ情報を含ませるために前記供給領域と前記目標領域の大きさを調整するステップと、
   を具備することを特徴とする請求項１乃至請求項３のいずれか１項に記載の方法。
5. 前記ビデオデータストリームは、フレーム内部でエンコードされたデータとしてビデオ情報のフレームのいくつかを搬送し、元の動きベクトルを具備するインターフレームエンコードされたデータとしてビデオ情報のフレームのいくつかを搬送し、前記目標領域はフレーム内部でエンコードされたデータとして搬送された映像内にあることを特徴とする請求項１乃至請求項４のいずれか１項に記載の方法。
6. ビデオフレームのシーケンスは、フレームのグループに配列され、各グループはフレーム内部でエンコードされたデータとしてビデオ情報を搬送する１つのフレームを有し、複数のフレームがインターフレームエンコードされたデータとしてビデオ情報を搬送し、
   前記供給領域と前記目標領域は、異なるグループのフレーム中の２つのビデオフレームの映像中に存在することを特徴とする請求項１乃至請求項５に記載の方法。
7. 前記信号処理は、映像のノイズ低減、映像の分解能の増強、及びビデオデータの圧縮のどの１つでもよいことを特徴とする請求項１乃至請求項６のいずれか１項に記載の方法。
8. 画像のシーケンスを表現するエンコードされたビデオデータのストリーム中に搬送されるビデオ情報のフレームのシーケンスを受け取る手段であって、該エンコードされたビデオデータのストリームには、異なるビデオ情報のフレームの画像の領域からの変位の大きさと方向を表現する１以上の元の動きベクトルが含まれることを特徴とする手段と、
   ビデオ情報の第１のフレームの映像中の第１の領域からビデオ情報の第２のフレームの映像中の第２の領域までの変位の大きさと方向を表す第１の元の動きベクトルを特定する手段と、
   前記第１の元の動きベクトルから前記ビデオデータストリーム中に存在しない新しい動きベクトルを導き出す手段であって、該新しい動きベクトルは、ビデオ情報のフレームのシーケンス中の２つのフレームの映像中の供給領域から目標領域までの変位の大きさと方向を表すことを特徴とする手段と、
   映像のシーケンスの少なくとも一部の修正された形式を表現する処理された信号を生成するために前記ビデオ情報の少なくとも一部に信号処理を施す手段であって、該信号処理は、前記新しい動きベクトルに応答して動作するようになっていることを特徴とする手段と、
   を具備するビデオ映像の動きベクトルを導き出す装置。
9. 動きベクトルの反転により新しい動きベクトルを導き出す手段を具備し、前記供給領域は、前記第２の領域の少なくとも一部と重複し、前記目標領域は前記第１の領域の少なくとも一部と重複することを特徴とする請求項８に記載の装置。
10. ビデオ情報の第２のフレームの映像中の第３の領域からビデオ情報の第３のフレームの映像中の第４の領域までの変位の大きさと方向を表す第２の元の動きベクトルを特定する手段であって、前記第３の領域は前記第２の領域の少なくとも一部と重複することを特徴とする手段と、
    前記第１の元の動きベクトルと前記第２の元の動きベクトルとの組み合わせにベクトルのトレースを行うことにより、新しい動きベクトルを導き出す手段であって、前記供給領域は前記第１の領域の少なくとも一部と重複し、前記目標領域は前記第４の領域の少なくとも一部と重複することを特徴とする手段と、
    を具備することを特徴とする請求項８に記載の装置。
11. 動きベクトルで表現することのできる前記供給領域と前記目標領域とに隣接するビデオ情報を特定する手段と、
    前記特定したビデオ情報を含ませるために前記供給領域と前記目標領域の大きさを調整する手段と、
    を具備することを特徴とする請求項８乃至請求項１０のいずれか１項に記載の装置。
12. 前記ビデオデータストリームは、フレーム内部でエンコードされたデータとしてビデオ情報のフレームのいくつかを搬送し、元の動きベクトルを具備するインターフレームエンコードされたデータとしてビデオ情報のフレームのいくつかを搬送し、前記目標領域はフレーム内部でエンコードされたデータとして搬送された映像内にあることを特徴とする請求項８乃至請求項１１のいずれか１項に記載の装置。
13. ビデオフレームのシーケンスは、フレームのグループに配列され、各グループはフレーム内部でエンコードされたデータとしてビデオ情報を搬送する１つのフレームを有し、複数のフレームがインターフレームエンコードされたデータとしてビデオ情報を搬送し、
    前記供給領域と前記目標領域は、異なるグループのフレーム中の２つのビデオフレームの映像中に存在することを特徴とする請求項８乃至請求項１２のいずれか１項に記載の装置。
14. 前記信号処理は、映像のノイズ低減、映像の分解能の増強、及びビデオデータの圧縮のどの１つでもよいことを特徴とする請求項８乃至請求項１３のいずれか１項に記載の装置。
15. 画像のシーケンスを表現するエンコードされたビデオデータのストリーム中に搬送されるビデオ情報のフレームのシーケンスを受け取るステップであって、該エンコードされたビデオデータのストリームには、異なるビデオ情報のフレームの画像の領域からの変位の大きさと方向を表現する１以上の元の動きベクトルが含まれることを特徴とするステップと、
    ビデオ情報の第１のフレームの映像中の第１の領域からビデオ情報の第２のフレームの映像中の第２の領域までの変位の大きさと方向を表す第１の元の動きベクトルを特定するステップと、
    前記第１の元の動きベクトルから前記ビデオデータストリーム中に存在しない新しい動きベクトルを導き出すステップであって、該新しい動きベクトルは、ビデオ情報のフレームのシーケンス中の２つのフレームの映像中の供給領域から目標領域までの変位の大きさと方向を表すことを特徴とするステップと、
    映像のシーケンスの少なくとも一部の修正された形式を表現する処理された信号を生成するために前記ビデオ情報の少なくとも一部に信号処理を施すステップであって、該信号処理は、前記新しい動きベクトルに応答して動作するようになっていることを特徴とするステップと
    を具備するビデオ映像の動きベクトルを導き出す方法を、装置に実施させるための命令プログラムを記憶する媒体。
16. 前記方法は、動きベクトルの反転により新しい動きベクトルを導き出すステップを具備し、前記供給領域は、前記第２の領域の少なくとも一部と重複し、前記目標領域は前記第１の領域の少なくとも一部と重複することを特徴とする請求項１５に記載の媒体。
17. 前記方法は、ビデオ情報の第２のフレームの映像中の第３の領域からビデオ情報の第３のフレームの映像中の第４の領域までの変位の大きさと方向を表す第２の元の動きベクトルを特定するステップであって、前記第３の領域は前記第２の領域の少なくとも一部と重複することを特徴とするステップと、
    前記第１の元の動きベクトルと前記第２の元の動きベクトルとの組み合わせにベクトルのトレースを行うことにより、新しい動きベクトルを導き出すステップであって、前記供給領域は前記第１の領域の少なくとも一部と重複し、前記目標領域は前記第４の領域の少なくとも一部と重複することを特徴とするステップと、
    を具備することを特徴とする請求項１５に記載の媒体。
18. 前記方法は、動きベクトルで表現することのできる前記供給領域と前記目標領域とに隣接するビデオ情報を特定するステップと、
    前記特定したビデオ情報を含ませるために前記供給領域と前記目標領域の大きさを調整するステップと、
    を具備することを特徴とする請求項１５乃至請求項１７のいずれか１項に記載の媒体。
19. 前記ビデオデータストリームは、フレーム内部でエンコードされたデータとしてビデオ情報のフレームのいくつかを搬送し、元の動きベクトルを具備するインターフレームエンコードされたデータとしてビデオ情報のフレームのいくつかを搬送し、前記目標領域はフレーム内部でエンコードされたデータとして搬送された映像内にあることを特徴とする請求項１５乃至請求項１８のいずれか１項に記載の媒体。
20. ビデオフレームのシーケンスは、フレームのグループに配列され、各グループはフレーム内部でエンコードされたデータとしてビデオ情報を搬送する１つのフレームを有し、複数のフレームがインターフレームエンコードされたデータとしてビデオ情報を搬送し、
    前記供給領域と前記目標領域は、異なるグループのフレーム中の２つのビデオフレームの映像中に存在することを特徴とする請求項１５乃至請求項１９のいずれか１項に記載の媒体。
21. 前記信号処理は、映像のノイズ低減、映像の分解能の増強、及びビデオデータの圧縮のどの１つでもよいことを特徴とする請求項１５乃至請求項２０のいずれか１項に記載の媒体。

Images