JP2008532342A - 動き補償されたピクチャを生成する方法及び装置 - Google Patents

Abstract

本発明は、動き予測器を使用することなしに、２つの連続するソース画像を補間することで動き補償されたピクチャを生成する新たな方法に関する。本発明によれば、補間された画像は、ファジー方法により計算される。

Description

本発明は、２つの連続するソースピクチャから動き補償されたピクチャを補間する新たな方法及び装置に関する。

５０Ｈｚビデオ信号を１００Ｈｚビデオ信号に変換するために補間されたピクチャを生成することが知られている。これら補間されたピクチャは、ビジュアルアーチファクトを生成しないように、動き補償される。

一般に、５０Ｈｚ信号におけるソースピクチャのそれぞれの画素について、動きベクトルを計算するために動き予測器が使用される。動きベクトルは、２つの連続するソースピクチャ間の画素の動き（画素数により表現される）を表す。次いで、補間されたピクチャにおけるこの画素の位置を決定するため、ある画素の動きベクトルが使用される。

かかる動き予測器の使用は、幾つかのケースで、特に、２つの連続するソースピクチャ間でズームイン又はズームアウトが存在するときに満足されるものではない。ズームインされるピクチャ領域に幾つかのホールが現れ、ズームアウトされる領域に幾つかのコンフリクトが現れる。コンフリクトは、所与の画素について２つの異なる変位を負わせる２つの動きベクトルの存在を示す。ホールは、所与の画素について、動きベクトルの不存在を示す。

本発明は、動き予測器を使用することなしに、２つの連続するソースピクチャから動き補償されたピクチャを補間する新たな方法を提案する。

本発明は、２つのソースピクチャから動き補償されたピクチャを補間する方法に関する。本方法は、動き補償されたピクチャの座標（ｘ，ｙ）をもつそれぞれの画素の画素値を決定する以下のステップを含む。水平方向における動き値の第一のレンジにおけるそれぞれの動き値ｍｘ、及び垂直方向における動き値の第二のレンジにおけるそれぞれの動き値ｍｙについて、座標（ｘ−ｍｘ，ｙ−ｍｙ）をもつ画素の周りで、第一のソースピクチャと呼ばれる２つのソースピクチャのうちの一方における画素ブロックを定義し、座標（ｘ＋ｍｘ，ｙ＋ｍｙ）をもつ画素の周りで、第二のソースピクチャと呼ばれる他方のソースピクチャにおける画素ブロックを定義するステップ。動き値（ｍｘ，ｍｙ）のそれぞれの組について相関係数を計算するステップ。この係数は、係数この動き値（ｍｘ，ｍｙ）の組について定義された２つの画素ブロック間の相関を表す。全ての動き値（ｍｘ，ｍｙ）の組について、第一のソースピクチャにおける座標（ｘ−ｍｘ，ｙ−ｍｙ）をもつ画素及び第二のソースピクチャにおける座標（ｘ＋ｍｘ，ｙ＋ｍｙ）をもつ画素の画素値の数学的な平均値及び対応する相関係数からなる関数である値を、動き補償されたピクチャの座標（ｘ，ｙ）を持つピクチャに割り当てるステップ。

特定の実施の形態では、動き補償されたピクチャの座標（ｘ，ｙ）をもつ画素に割り当てられる値は、第一のソースピクチャにおける座標（ｘ−ｍｘ，ｙ−ｍｙ）をもつ画素及び第二のソースピクチャにおける座標（ｘ＋ｍｘ，ｙ＋ｍｙ）をもつ画素の画素値の数学的な平均値のアベレージであり、前記アベレージは、対応する相関係数により重み付けされる。

有利なことに、本発明の方法は、動き値（ｍｘ，ｍｙ）の組について相関係数を計算する以下のステップを含む。動き値（ｍｘ，ｍｙ）の考慮される組に関連する２つの画素ブロック間のブロックの差分値を計算するステップ。前記ブロックの差分値に反比例する相関係数を計算するステップ。
それぞれのソースピクチャが少なくとも２つの色成分を含む場合、ブロックの差分値は、前記色成分のビデオレベルに基づいて計算される。

また、本発明は、２つのソースピクチャから動き補償されたピクチャを補間する装置に関する。動き補償されたピクチャの座標（ｘ，ｙ）をもつそれぞれの画素の画素値を決定するため、本装置は、以下の構成を有する。第一のソースピクチャと呼ばれる、２つのソースピクチャのうちの一方を記憶するフレームメモリ。動き値ｍｘが水平方向における動き値の第一のレンジに属し、動き値ｍｙが垂直方向における動き値の第二のレンジに属する、動き値（ｍｘ，ｍｙ）のそれぞれの組について、座標（ｘ−ｍｘ，ｙ−ｍｙ）をもつ画素の周りで、第一のソースピクチャで定義される画素ブロックと、座標（ｘ＋ｍｘ，ｙ＋ｍｙ）をもつ画素の周りで、第二のソースピクチャと呼ばれる他のソースピクチャで定義される画素ブロックとの間の相関を表す相関係数を計算する第一のジェネレータ。全ての動き値（ｍｘ，ｍｙ）の組について、第一のソースピクチャにおける座標（ｘ−ｍｘ，ｙ−ｍｙ）を持つ画素と第二のソースピクチャにおける座標（ｘ＋ｍｘ，ｙ＋ｍｙ）を持つ画素の画素値の数学的な平均値を計算する第二のジェネレータ。第一のジェネレータにより計算される相関係数と第二のジェネレータにより計算される対応する数学的な平均値の関数である値を計算するファジー補間ブロック。

特定の実施の形態では、ファジー補間ブロックは、第二のジェネレータにより計算された数学的な平均値のアベレージを計算し、それぞれの数学的な平均値は、第一のジェネレータにより計算される対応する係数により重み付けされる。

本発明の例示的な実施の形態は、添付図面で例示され、以下の説明で更に詳細に説明される。本発明によれば、本方法は、補間されたピクチャで画素毎に計算される。処理の開始で、このピクチャについて画素値が未知である。これらの値は、順次に画素毎に決定される。たとえば、第一のラインの画素は、はじめに個々に決定され、次いで、補間されたピクチャの残りについて第二のラインの画素が決定される等である。他のスキャニングが可能であるが、如何なるスキャニングであろうと、画素値が一度だけ処理される。

補間されたピクチャ（フレームｔ＋１／２）は、第一のソースピクチャと呼ばれる現在のソースピクチャ（フレームｔ）から生成され、第二のピクチャと呼ばれる次のピクチャ（フレームｔ＋１）から生成される。

動きの値を含む動きレンジは、ピクチャのそれぞれの空間的な方向について定義される。動きの値は、２つのソースピクチャと比較される補間されたピクチャの動きを定義する。たとえば、水平方向ではｍｘと呼ばれる動きの値は、レンジ［−Ｍｘ，＋Ｍｘ］に含まれ、垂直方向ではｍｙと呼ばれる動きの値は、レンジ［−Ｍｙ，＋Ｍｙ］に含まれる。これらのレンジは、２つのソースピクチャの間で最大の可能性のある動きに従って選択される（水平方向で２*Ｍｘ及び垂直方向で２*Ｍｙ）。これらのレンジは、計算の数を制限するために制限される。

補間されたピクチャにおける座標（ｘ，ｙ）をもつそれぞれの画素、並びにそれぞれの動き値ｍｘ及びｍｙについて、画素ブロックＢ（ｘ−ｍｘ，ｙ−ｍｙ，ｔ）は、座標（ｘ−ｍｘ，ｙ−ｍｙ）をもつ画素の周りにある第一のソースピクチャで定義され、画素ブロックＢ（ｘ＋ｍｘ，ｙ＋ｍｙ，ｔ＋１）は、座標（ｘ＋ｍｘ，ｙ＋ｍｙ）をもつ画素の周りにある第二のソースピクチャで定義される。これら２つのブロックＢ（ｘ−ｍｘ，ｙ−ｍｙ，ｔ）及びＢ（ｘ＋ｍｘ，ｙ＋ｍｙ，ｔ＋１）は、画素（ｘ，ｙ）に関して空間−時間的に対称なブロックである。ブロックについて異なる形式が可能であり、水平のセグメント、矩形のセグメント等とすることができる。図１の例では、ブロックは矩形である。ブロックのサイズは、水平方向で２Ｂｘであり、垂直方向で２Ｂｙである。ブロックＢ（ｘ−ｍｘ，ｙ−ｍｙ，ｔ）は、座標（ｘ＋ｂｘ−ｍｘ，ｙ＋ｂｙ−ｍｙ）をもつ第一のソースピクチャの全ての画素を含み、ここでｂｘ及びｂｙは［−Ｂｘ，＋Ｂｘ］に含まれる全ての値に対応する。同様にして、ブロックＢ（ｘ＋ｍｘ，ｙ＋ｍｙ，ｔ＋１）は、座標（ｘ＋ｂｘ＋ｍｘ，ｙ＋ｂｙ＋ｍｙ）をもつ第二のソースピクチャの全ての画素を含み、ここでｂｘ及びｂｙは、［−Ｂｘ，＋Ｂｘ］に含まれる全ての値に対応する。

次いで、補間されたピクチャにおいて座標（ｘ，ｙ）をもつそれぞれの画素について、ピクチャの境界を除いてソースピクチャの２つの空間−時間的（spatiotemporally）に対称な画素ブロック間でブロックの差分が計算される。この計算は、それぞれの動きの値ｍｘ及びｍｙについて行われる。
この計算は、それぞれの色成分Ｒｅｄ，Ｇｒｅｅｎ，Ｂｌｕｅについて行われ、結果が合計される。

動きの値ｍｘ及びｍｙについて、以下の式によりブロックの差分が定義される。

このブロックの差分について別の可能性のある値は、以下に示される。

補間されたピクチャの現在の画素について計算されるそれぞれのブロックの差分から、相関係数が計算される。この係数は、Ｃ（ｍｘ，ｍｙ）と呼ばれ、２つの対称的な画素ブロック間の相関を表す。この係数は、差分の値に反比例する。したがって、この係数は、小さな差分について大きく、大きな差分について小さい。たとえば以下に示される。

最終的に、補間されたピクチャにおける現在の画素（ｘ，ｙ）は、たとえば赤、緑及び青成分について以下の値を得る。

この動き補償は１つの外部フレームメモリを必要とするだけである。また、このフレームメモリは、（たとえばＰＤＰのケースにおけるＡＰＬ測定といった）他の目的のために使用することもできる。

図２は、上述されたような動き補償されたピクチャを補間する可能性のある回路の実現に関するブロック図である。入力Ｒ，Ｇ，Ｂビデオデータ，ＩＮ［９：０］は、フレームメモリ１０により１フレーム遅延される。入力ビデオデータ及び遅延されたビデオデータは、ブロック１１で空間−時間的な平均を計算し、ジェネレータ１２により相関係数を生成するために使用される。相関係数ジェネレータ１２は、ブロックの差分を計算する第一のパート及びこれらブロックの差分から相関係数を生成する第二のパートといった、少なくとも２つのパートに内部的に分割される。空間−時間的な平均ブロック１１及び相関係数ジェネレータ１２は、補償された動き値（２*Ｍｘ*２*Ｍｙ）と同じ値をファジーアベレージブロック１３に供給する。ファジーアベレージブロック１３は、これらの値から、１つの単一の値を生成し、すなわち、それぞれ入力画素について、唯一の出力画素値が生成される。

性能を改善するか、又は実現を簡単にするため、ジェネレータ１２の前に配置されるブロック１４により、フィルタリング、アップサンプリング又はダウンサンプリングのような前処理又は後処理を行うことができる。

補間されたピクチャにおいて画素値を定義するソースピクチャで使用される画素ブロックを例示する図である。 本発明の方法の可能性のある回路の実現のブロック図である。

Claims (6)

1. ２つのソースピクチャから動き補償されたピクチャを補間する方法であって、
   動き補償されたピクチャの座標をもつそれぞれの画素の画素値を決定するため、
   水平方向における動き値の第一のレンジにおけるそれぞれの動き値ｍｘ、及び垂直方向における動き値の第二のレンジにおけるそれぞれの動き値ｍｙについて、座標（ｘ−ｍｘ，ｙ−ｍｙ）をもつ画素の周りで、第一のソースピクチャと呼ばれる２つのソースピクチャのうちの一方における画素ブロックを定義し、座標（ｘ＋ｍｘ，ｙ＋ｍｙ）をもつ画素の周りで、第二のソースピクチャと呼ばれる他方のソースピクチャにおける画素ブロックを定義するステップと、
   動き値（ｍｘ，ｍｙ）のそれぞれの組について、この動き値の組について定義された２つの画素ブロック間の相関を表す相関係数を計算するステップと、
   動き値（ｍｘ，ｍｙ）の全ての組について、第一のソースピクチャにおける座標（ｘ−ｍｘ，ｙ−ｍｙ）をもつ画素及び第二のソースピクチャにおける座標（ｘ＋ｍｘ，ｙ＋ｍｙ）をもつ画素の画素値の数学的な平均値と、対応する相関係数との関数である値を、動き補償されたピクチャの座標（ｘ，ｙ）を持つ画素に割り当てるステップと、
   を含む方法。
2. 動き補償されたピクチャの座標（ｘ，ｙ）をもつ画素に割り当てられる値は、第一のソースピクチャにおける座標（ｘ−ｍｘ，ｙ−ｍｙ）をもつ画素及び第二のソースピクチャにおける座標（ｘ＋ｍｘ，ｙ＋ｍｙ）をもつ画素の画素値の数学的な平均値のアベレージであり、前記アベレージは、対応する相関係数により重み付けされる、
   請求項１記載の方法。
3. 動き値の組について相関係数を計算するため、
   動き値の考慮される組に関連する２つの画素ブロック間のブロックの差分値を計算するステップと、
   前記ブロックの差分値に反比例する相関係数を計算するステップと、
   を含む請求項１又は２記載の方法。
4. それぞれのソースピクチャは、少なくとも２つの色成分を含み、前記ブロックの差分値は、前記色成分のビデオレベルに基づいて計算される、
   請求項３記載の方法。
5. ２つのソースピクチャから動き補償されたピクチャを補間する装置であって、
   動き補償されたピクチャの座標をもつそれぞれの画素の画素値を決定するため、
   動き値ｍｘが水平方向における動き値の第一のレンジに属し、動き値ｍｙが垂直方向における動き値の第二のレンジに属する、動き値（ｍｘ，ｍｙ）のそれぞれの組について、座標（ｘ−ｍｘ，ｙ−ｍｙ）をもつ画素の周りで、第一のソースピクチャと呼ばれるソースピクチャで定義される画素ブロックと、座標（ｘ＋ｍｘ，ｙ＋ｍｙ）をもつ画素の周りで、第二のソースピクチャと呼ばれる別のソースピクチャで定義される画素ブロックとの間の相関を表す相関係数を計算する第一のジェネレータと、
   全ての動き値（ｍｘ，ｍｙ）の組について、第一のソースピクチャにおける座標（ｘ−ｍｘ，ｙ−ｍｙ）を持つ画素と第二のソースピクチャにおける座標（ｘ＋ｍｘ，ｙ＋ｍｙ）を持つ画素の画素値の数学的な平均値を計算する第二のジェネレータと、
   第一のジェネレータにより計算される相関係数と第二のジェネレータにより計算される対応する数学的な平均値の関数である値を計算するファジー補間ブロックと、
   を有する装置。
6. 前記ファジー補間ブロックは、第二のジェネレータにより計算された数学的な平均値のアベレージを計算し、それぞれの数学的な平均値は、第一のジェネレータにより計算される対応する係数により重み付けされる、
   請求項５記載の方法。

Images