JP2005538630A - 改良型ビデオモーション処理 - Google Patents

Abstract

動き補償ビデオ処理において、入力ピクセルに割り当てられた動きベクトルに従って入力ピクセルを出力ピクチャ上のロケーションに投影することにより時間的に２個の入力ピクチャの中間で出力ピクチャを形成するため、入力シーケンスからの複数のピクチャを合成する方法であり、出力ピクセルを形成するため使用される入力ピクセルの混合は、各入力ピクチャから所定の出力ピクセルロケーションを指し示すベクトルの個数及び性質を考慮する。一つの入力イメージから出力ピクセルロケーションを指し示す複数のベクトルが存在する場合、この方法は、出力ピクセルを決定する際に、その入力ピクチャからの入力ピクセルにより小さい重みを割り当てるか、又は、複数のベクトルの統計的解析を行う。或いは、それぞれのベクトルが共役対を形成する入力ピクセルに増加した重みが割り当てられる。

Description

本発明は動き補償型のビデオ処理におけるピクチャ構築に関する。

多数の最新の規格変換及びその他のビデオ処理システムは、出力ピクチャの質を改良するため動き補償を利用する。このようなシステムにおける典型的な要求は、新しい出力ピクチャが原入力ピクチャから補間されることである。動き補償は動きベクトルを入力ピクチャのピクセルに割り当て、これらのベクトルが出力ピクチャを「構築」するために原ピクセルを投影するため使用される。

本発明の目的はこのようなシステムの出力ピクチャの質を改良する技術を提供することである。

したがって、本発明は、二つの入力ピクチャの間にある時間的ロケーションで出力ピクチャを形成するため入力ピクチャシーケンスの二つのピクチャを動き補償付きで合成する方法の一態様において、入力ピクセルに割り当てられた動きベクトルを使用して、入力ピクチャから出力ピクチャ上のロケーションへの入力ピクセルを投影し、各入力ピクチャから出力ピクチャ上の所定のピクセルロケーションを指し示すベクトルの個数をカウントし、所定のピクセルロケーションに出力ピクセルを生成するため使用されたこれらのベクトルによって投影されたピクセルを混合する際にこのカウントを利用する。

本発明人は、このように特定の出力ピクセルロケーションにおけるベクトル「ヒット」の個数をカウントすることが動き補償プロセスの最終的な出力の質に関係する情報を与えることを認識した。プロセスを制御するためこのカウントを使用する結果として、著しい質の向上が得られる。

好ましくは、この方法は、前記混合を制御する際にカウントの非線形関数を利用する。

本発明の一形態において、この方法は、一つの入力ピクチャからの複数のベクトルが所定のピクセルロケーションを指し示す場合に、所定のロケーションにピクセルを構築するため、その入力ピクチャからのそれらのベクトルのそれぞれのピクセルにより小さい重みを割り当てる。別の形態では、この方法は、その入力ピクチャから出力ピクセルへの寄与度としてそれらのベクトルのそれぞれのピクセルの平均を使用する。

さらに別の形態では、この方法は、複数のベクトルが所定のピクセルロケーションを指し示す場合に、ベクトルの中央値を獲得し、出力ピクセルを構築するため中央値に最も近いベクトルを使用する。

別の態様によれば、本発明は、二つの入力ピクチャの間にある時間的ロケーションで出力ピクチャを形成するため入力ピクチャシーケンスの二つのピクチャを動き補償付きで合成する方法であって、入力ピクセルに割り当てられた動きベクトルを使用して、入力ピクチャから出力ピクチャ上のロケーションへ入力ピクセルを投影し、所定のロケーションに出力ピクセルを生成するためベクトルによって出力ピクチャへ投影されたそれぞれのピクセルを混合し、ここで、一つの入力ピクチャからの複数のベクトルが前記所定のピクセルロケーションへ投影される場合、混合を制御する際に、実質的に共役対を形成するベクトルのそれぞれのピクセルに増加した重みを与える。

以下、本発明は添付図面を参照して一例として説明される。

動き補償型の規格の変換では、ピクチャ構築のプロセスは典型的に重要であり、プロセスの精度は出力イメージ又はピクチャの質に大きな影響を与える。入力ピクチャは、典型的にビデオフィールド又はフレームの形式であるが、勿論、あらゆるタイプの入力ピクチャシーケンスが説明される実施形態で利用される。動き補償型のピクチャ構築技術は技術的に知られているので、本明細書において基本原理の詳細な説明は行わないが、一般的に現れる問題についての多少の説明を以下で行う。

図１に示されるようなピクチャ構築では、二つの入力ピクチャ、本例では、二つのビデオフレーム（１００及び１０２）が、破線１０４で示された出力フレームを作成するため使用される。この出力フレームは、二つの入力フレームの時間的に間にある位置で作成されるべきであるが、必ずしも両者から等距離でなくてもかまわない。

イメージシーケンスの二つのイメージの間に生じる動きを表す情報を獲得するため、動き測定プロセス（その中でも位相相関技術が好ましい）が入力イメージに対して実行される。得られた動きベクトルは入力イメージのピクセル又はピクセルのグループに割り当てられる。

図１に示されたケースでは、ベクトル１０６及び１０８は二つの入力フレーム内の対象物に割り当てられ、ベクトル１０６は第１の入力フレーム（１００）上のピクセル（１０５）から出力フレーム位置へ向かって（時間的に）前方を指し示し、ベクトル１０８は第２のフレームのピクセル（１０７）から後方を指し示す。ベクトルは入力フレームから、現在構築中の出力フレームのピクセル（１１０）へピクセル（１０５，１０７）を投影するため使用される。二つのピクセルを混合する際に、使用すべきピクセルはどれか、又は、各ピクセルを使用する割合が決定される。

しかし、上記の例は、各フレームからの単一ベクトルが要求された点へマッピングされる簡単なケースにすぎない。その他の状況では、存在するのが単一ベクトルではなく、又は、出力ピクセル位置を指し示す多数のベクトルが存在する場合がある。

図２はそれらのケースのうちの一つを示す。ここで、ベクトル（２０３）は後続フレームからのピクセル（２０２）を出力ピクセル位置（２０４）へ投影するが、同じ先行フレーム（１００）上の異なるピクセル（２００ａ，２００ｂ）から同じ出力ピクセル位置（２０４）を指し示す２個のベクトル２０１ａ及び２０１ｂが存在する。これは、たとえば、ある対象物が現在ビデオシーケンス内で別の対象物の上へ移動することを表す。類似した状況が出力位置の両側からの多重ベクトル「ヒット」、及び、（２個以上の）任意のヒット数によって生じることは明らかである。

図３は異なる状況を示す。ここで、ベクトル（３０１）は先行フレームからのピクセル（３００）を出力ピクセル位置（３０４）へ投影するが、後続フレームからのベクトルは存在しない。

他のケースでは、どちらの側からも出力点を指し示すベクトルが存在しないことがあり、その場合、出力フレームには単に穴が存在する。

欧州特許第０，６４８，３９８号明細書に開示されたような従来技術のピクチャ構築方法はこのような状況を以下のようにして取り扱う。あるフレームからの単一のベクトル「ヒット」が出力ピクセルに存在するならば、それにより得られるそのフレームからのピクセルの投影は、値１の重み付け値が割り当てられる。２重のヒットが存在する場合、各ベクトルは値１の重みが与えられ、そのフレーム又は（出力位置の）「片側」に値２の全体的な重みが与えられる。ヒット数が増加すると、重み合計はこのようにして増加する。しかし、ベクトルヒットが存在しない場合、そのフレームの「信頼度」は零とみなされるので、ヒット数零の結果を与えたそのフレーム又はその側からの情報を利用する出力ピクセルの最終的な混合を妨げる。

本発明人は、多重ヒット及び零ヒットが生じる場所を測定するより洗練されたピクチャ構築の処理が、出力ピクチャの質においてこの従来技術よりも著しい利点をもたらすことを認識した。

実施形態では、本発明はピクチャ構築プロセスにおけるこのような「非単一ヒット」の発生を識別するシステムを提供する。後述する技術は、出力ピクチャの質が著しく向上するというこれまでは予想できなかった結果を与える新しいピクチャ構築方法にこの得られたカウントを適用する。

一実施形態において、入力フレームのどちらか一方から、１個以外の任意のヒット数があるならば、そのフレームからの入力は無視される。この場合、図２に示されたケースでは、ベクトル２０１ａ及び２０１ｂによって投影されたピクセル２００ａ及び２００ｂの両方の入力は無視されるであろう。出力ピクセル２０４のため獲得される唯一の情報は、したがって、ピクセル２０２及びベクトル２０３から後続フレーム（１０２）によって与えられる情報である。図３に示されたケースでは、後続フレームからのヒット数は零である（１に一致しない）ので、そのフレームは無視され、ピクセル３００及びベクトル３０１が出力ピクセル（３０４）のため使用される。

この方法は「より軟らかい」バージョンで実施してもよい。たとえば、多重ヒットが発生したときに、システムが、それにもかかわらず、出力ピクセルを構築する際に、違反するベクトルの始点側ピクセルのうちのある割合、たとえば、１０％を取り込んでもよい。これは、一方側にヒットがなく、もう一方側に多重ヒットがある場合に特に有用であり、別の方法では無視されていたこれらのベクトルからのピクセルの少なくとも一部が出力ピクセルのため使用される。

殆どのケースにおいて、システムは、故障を防止するためある種のフォールバックモードを利用し、或いは、どちらの側からもヒットが無い場合に「穴」が出力フレームに現れることを可能にさせる。

図４は、出力フレームが時間的に二つの入力フレームの中間に構築された本発明の一実施形態によるビデオ処理装置の概略図である。先行フレーム及び対応する動きベクトルは前方投影段４０２へ入力される。得られたフレームは次に穴埋め部４０４によって処理され、穴埋め部は、ミキサ４１０の第１の入力へ入力される前方投影されたフレームを生成するためピクチャの小さい穴を埋める。先行フレームに対する動きベクトルはまたヒット検出器４０８へ入力され、ヒット検出器は、「ヒット数」信号を生成するため、前方投影されたフレーム内の各ピクセルロケーションへ向かう先行フレームからの動きベクトルの個数をカウントする。ヒット数は、ステップ型又はデルタ型の関数になる傾向があり、したがって、鋭いエッジング効果を取り入れないようにするため、「ヒット数」から滑らかに変化する出力を生成する処理段４０６へ渡される。この信号は、次に、前方投影されたフレームのための「品質予測」としての機能を果たす。

次に、段４０６及び４１６によって実行されるプロセスの実施例が図５を参照して簡単に説明される。ヒット数を表す信号は図５ａに示される。部分５０２は２個のヒットを表し、一方、拡張部分５０４はヒット無しの状態を表す。信号の残りの部分は単一ヒットを表す。この信号は、単一ヒットを「ハイ状態」として取り、その他のすべての部分を「ロー状態」として取る信号の部分を表す図５ｂの信号に変換される。図５ｃにおいて、この信号は、部分５０６における変動のような非常に短い変動を取り除くためフィルタ処理された。最終的に、図５ｄにおいて、ステップ状エッジは滑らかに変化する品質を表す一定勾配の部分によって置換され、この一定勾配は単一ヒットを持たない領域のエッジへ向かって高くなり、このような領域の中心で最低の品質を表す。本実施例において、勾配は図５ｃにおける信号に適合させられ、信号の「コーナー」の値は維持される。

図４を再度参照すると、後続フレーム及び対応する動きベクトルが、後方投影されたフレームと、後方投影されたフレームのための「品質予測」を生成するため、要素４０２、４０４、４０６及び４０８と類似した要素４１２、４１４、４１６及び４１８によって先行フレームと同じように処理される。後方投影されたフレームはミキサ４１０の第２の入力へ入力され、一方、２個の品質予測信号が比較段４２０へ入力される。比較段４２０は、上記の方法に従って、ミキサ４１０へ入力された二つの候補フレームのための品質予測信号を比較し、混合される候補フレームの割合を制御する出力信号を生成する。

ミキサ４１０からの出力はさらなるミキサ４２２の第１の入力へ渡される。ミキサ４２２の第２の入力は、出力フレームと時間的に最も近い入力フレームを選択する段４２４によって供給される「フォールバックフレーム」である。ミキサ４２２は、比較段４２０と類似したコントローラ４２６によって制御され、コントローラ４２６は前方投影及び後方投影されたそれぞれの候補フレームのための２個の品質予測信号を受け取る。コントローラ４２６は、ミキサ４１０の出力に対する全体的な品質予測を与える２個の入力信号のうちの大きい方を選択する。この全体的な品質予測信号は、出力４２４を生成するためミキサ４２２で混合される入力信号の割合を制御するため使用される。

このようにして、先行フレームは前方投影され、後続フレームは中間的な時間的ロケーションへ後方投影され、投影は両側に生じるヒット数の測定値に応じて混合される。ヒット数に依存する個別の「品質予測」は先行フレーム及び後続フレームに対して獲得され、これらは投影混合を制御するため比較される。たとえば、単一ヒットが所定のピクセルに対して記録された場合、品質予測は高く、一方、零ヒット又は多重ヒットが記録された場合、品質予測は低い。

別の実施形態において、出力フレーム上の所定のピクセルを指し示す全ベクトルの中間値が選ばれる。このとき、中間値に最も近いベクトルが採用され、その他のベクトルが採用されないオプション、一方側で二重ヒットだけが存在する場合には、違反するベクトルは、他の２個のベクトルの方が中間値により近いので、異常値として採用されないオプション、種々のベクトルの一部分が中間値への近接度に応じて採用されるオプションの多数の選択肢が利用可能である。これらのアプローチは、複数の偽ベクトルが多数のヒットを生成する場合に有効である。

さらなる実施形態では、出力フレームの一方「側」のベクトルヒットに割り当てられた信頼度が正規化される。したがって、一方側に二重ヒットが存在するならば、混合への寄与度は二重ヒットの各ピクセルの１／４であり、もう一方側のピクセルの１／２である。

さらに別の実施形態において、多重ヒットが存在する場合、「多重ヒット側」のベクトルはもう一方側のベクトルと比較される。図２に示されたベクトル２０１ｂと２０３のように、１個のベクトルがもう一方側のベクトルのうちの一つの共役である（又は共役に近い）ならば、その他のベクトル２０１ａは採用されない。基本的に、出力ピクセルを混合するときに決定のため採用されたベクトルだけがこのような共役対であるが、その理由は、それらが現在シーケンスに沿ったベクトル場の流れに適合するからである。

上記の実施形態において、ヒットカウントは一般に整数値として記載されている。別の例では、位相相関プロセスがサブピクセル精度で実施されるならば、より洗練されたアプローチが実施可能である。ヒットカウントは、単に整数値を指し示すベクトルのカウントではなく、非整数ヒット値の領域に広がる累積になる。このような「軟らかい」ヒットカウントは、出力ピクセルを与えるため、上記のあらゆる方法において処理される。

一般的に、零ヒット又は偽ベクトルが発生するある程度のフォールバック選択肢が必要である。たとえば、両側でベクトルが格差又は不一致を生ずるならば、システムは出力の時間的位置に最も近いフレームからベクトルを採用する。ヒットカウントが両側で零であるならば、出力フレームに「穴」が現れる。このようなケースでは、「穴埋め」、すなわち、いずれかのフレームからのピクセルのコピーが実施される。その他のケースでは、システムは図４に示されるようなフォールバックピクチャを使用する。

上記の本発明のある種の実施形態の説明において、２個の入力ピクチャの出力ピクチャロケーションへの投影の実施例が使用されている。本発明の態様は、３個以上の入力ピクチャとそれらの対応したピクセル及び割り当てられたベクトルとが出力ピクチャを作成するため使用される技術に同様に適用できることに注意すべきである。ここで、特定の方式でピクセルに重みを付けるために説明された方法にかかわらず、最終的な混合で使用されるピクセルの割合は、出力ピクチャの時間的ロケーションから当該入力ピクチャまでの距離に非常に大きく依存する。

当業者によって認められるように、本発明は一例として説明されているだけであり、多種多様の代替的なアプローチが採用される。特に、説明された種々の方法は、各種の有利な組み合わせ方で組み合わせて使用される。

典型的な動き補償システムにおけるピクチャ構築の機能を説明する概要図である。 典型的な動き補償システムにおけるピクチャ構築の機能を説明する概要図である。 典型的な動き補償システムにおけるピクチャ構築の機能を説明する概要図である。 本発明の一実施形態による装置の概略図である。 典型的な信号処理動作の説明図である。

Claims (10)

1. 二つの入力ピクチャの間にある時間的ロケーションで出力ピクチャを形成するため入力ピクチャシーケンスの複数のピクチャを動き補償付きで合成する方法であって、
   入力ピクセルに割り当てられた動きベクトルを使用して、前記入力ピクチャから前記出力ピクチャ上のロケーションへ前記入力ピクセルを投影するステップと、
   前記出力ピクチャ上の所定のピクセルロケーションを指し示す各入力ピクチャからのベクトルの個数をカウントするステップと、
   前記所定のピクセルロケーションに出力ピクセルを生成するため使用された前記ベクトルによって投影されたピクセルの混合を制御する際にこのカウントを利用するステップと
   を含むことを特徴とする方法。
2. 前記混合を制御する際に前記カウントの非線形関数を利用することを特徴とする請求項１記載の方法。
3. 一つの入力ピクチャからの複数のベクトルが前記所定のピクセルロケーションを指し示す場合、前記所定のロケーションにピクセルを構築するため、前記入力ピクチャからの前記複数のベクトルのそれぞれのピクセルにより小さい重みを割り当てることを特徴とする請求項１又は２記載の方法。
4. 複数のベクトルが前記所定のピクセルロケーションを指し示す場合、前記ベクトルの中央値を獲得し、前記出力ピクセルを構築するため前記中央値に最も近いベクトルを使用することを特徴とする請求項１乃至３の何れかに記載の方法。
5. 一つの入力ピクチャからの複数のベクトルが前記所定のロケーションを指し示す場合、前記入力ピクチャから前記出力ピクセルへの寄与度として前記複数のベクトルのそれぞれのピクセルの平均を使用することを特徴とする請求項１乃至４の何れかに記載の方法。
6. 二つの入力ピクチャの間にある時間的ロケーションで出力ピクチャを形成するため入力ピクチャシーケンスの複数のピクチャを動き補償付きで合成する方法であって、
   入力ピクセルに割り当てられた動きベクトルを使用して、前記入力ピクチャから前記出力ピクチャ上のロケーションへ前記入力ピクセルを投影するステップと、
   所定のロケーションに出力ピクセルを生成するため前記ベクトルによって出力ピクチャへ投影されたそれぞれのピクセルを混合するステップとを含み、
   一つの入力ピクチャからの複数のベクトルが前記所定のピクセルロケーションへ投影される場合、混合を制御する際に、実質的に共役対を形成するベクトルのそれぞれのピクセルに増加した重みを与えることを特徴とする方法。
7. 動きベクトルが関連付けられた入力ピクチャのシーケンスから選択された時間的ロケーションで出力ピクチャを形成するビデオ処理装置であって、
   投影ピクチャを形成するため、入力ピクチャと個々に関連付けられた前記動きベクトルを使用して、前記出力ピクチャの前記時間的ロケーションへ入力ピクチャを投影する投影手段と、
   前記入力ピクチャのそれぞれに対応した前記投影ピクチャの各ピクセルの方を指し示す前記入力ピクチャからの前記動きベクトルの個数をカウントするカウント手段と、
   混合された各ピクセルで各候補ピクチャからの相対的な割合が前記ピクセルの空間的ロケーションの方を指し示す対応した入力ピクチャからの前記動きベクトルの個数に依存するように前記投影ピクチャの前記ピクセルを様々な割合で混合するため適合した前記投影ピクチャを混合する第１のミキサと、
   を具備することを特徴とするビデオ処理装置。
8. 前記カウント手段から、入力ピクチャ毎に、各ピクセルロケーションの方を指し示す前記動きベクトルの個数を表す信号を受け取り、投影ピクチャ毎に、前記候補ピクチャの混合を制御するために前記ミキサへ渡される平滑化された品質予測信号を生成するためこの信号を処理する処理手段を含むことを特徴とする請求項７記載の装置。
9. 前記第１のミキサの出力及び前記入力ピクチャから選択された一つの入力ピクチャを入力として受け取り、候補ピクチャ毎の品質予測信号から得られた全体的な品質予測信号に従ってその入力を様々な割合で混合するため適合した第２のミキサをさらに具備することを特徴とする請求項８記載の装置。
10. 前記入力ピクチャから選択された一つの入力ピクチャが前記出力ピクチャの前記時間的ロケーションと時間的に最も近いピクチャであることを特徴とする請求項９記載の装置。

Images