JP2005012797A - 動き補償のための画素値選択装置および方法 - Google Patents

Abstract

【課題】 ブロック当り１つの動きベクトルを推定して動き補償を行う場合、不正確に推定された動きベクトルにより発生するブロックアーティファクトを未然に防止することができる動き補償のための画素値選択装置および方法を提供する。
【解決手段】第１および第２の格納部には、入力される少なくとも１つの候補動きベクトルに対応する第１の画素値を含む現フレーム／フィールドおよび第２の画素値を含む前フレーム／フィールドがそれぞれ格納される。第１および第２の画素値抽出部は、候補動きベクトルに対応する第１および第２の画素値をそれぞれ第１および第２の格納部から抽出する。第１および第２の補償画素算出部は、抽出された第１および第２の画素値によって適応的に所定の第１の重み付け値を付与してそれぞれ動き補償のための第１および第２の補償画素値を算出する。
【選択図】 図３

Description

本発明は、動き補償のための画素値選択装置および方法に関し、より詳しくは、フレームレートの変換時、１ブロックに対して多数の動き軌跡を適用して多数の画素値を抽出した後、抽出された画素値に重み付け値を付与して動き補償を行う動き補償のための画素値選択装置および方法に関する。

一般に、パソコンやＨＤＴＶでは、ＰＡＬまたはＮＴＳＣのような種々の放送信号規格を有するプログラムを交換するためフレームレート変換（ｆｒａｍｅ ｒａｔｅ ｃｏｎｖｅｒｓｉｏｎ）を行う。フレームレート変換とは、秒当りの出力されるフレーム数を変換させることを意味する。特に、フレームレートが増加される場合は、新しいフレームを補間する過程を行う必要がある。

なお、近年、放送技術の発達によってＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）Ｈ．２６３のような映像圧縮方式で映像データを圧縮した後、フレームレート変換を行っている。特に、ＭＰＥＧのような映像処理分野では、多くの映像信号において自己相関（Ａｕｔｏｃｏｒｒｅｌａｔｉｏｎ）が大きいため、冗長度（ｒｅｄｕｎｄａｎｃｙ）をもっている。従って、データの圧縮時に冗長性を除去することで、データ圧縮の効果を向上させることが可能となる。このとき、時間的に変化するビデオフレームを効率良く圧縮するためには、時間軸方向の冗長性を除去する必要がある。

時間軸方向の冗長性の除去は、フレームにおいて動きがないか、動きがあるとしても、似た箇所に対しては、前のフレームなどから持ってきて使用することで、転送するデータ量の大幅な減少ができるという考えに基づいている。

このため、前フレームと現フレームとの間で最も似ているブロックを探す作業を行う必要があり、これを動き推定と呼び、ブロックがどのくらい動くかの変位を示すものを動きベクトルＭＶと呼ぶ。

なお、動きを推定する方法としては、動き程度の正確性、リアルタイム処理可能性およびハードウェア具現などを考慮してブロックマッチングアルゴリズム（以下、「ＢＭＡ」という）が一般に挙げられる。

図１は、一般のＢＭＡを用いて動きを推定する方法を説明するための図である。Ｆ_ｎ−１は、前フレーム／フィールド、Ｆ_ｎは、現フレーム／フィールド、Ｆ_ｉは、前フレーム／フィールドＦ_ｎ−１および現フレーム／フィールドＦ_ｎを用いて補間されるフレームを意味する。

ＢＭＡは、前フレーム／フィールドＦ_ｎ−１と現フレーム／フィールドＦ_ｎのように連続して入力される二枚のフレームをブロック単位に比較するが、比較されるブロック内の画素が並進運動（ｔｒａｎｓｌａｔｉｏｎ）をすると仮定して、ブロック当り１つの動きベクトルＭＶを推定する。このとき、動きベクトルＭＶは、公知のＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）予測誤差値を用いて推定する。次に、動きベクトルが推定されると、推定された動きベクトルＭＶを用いて補間する現ブロックＢに対して動き補償を行う。

しかし、従来の動き推定／補償方法において、ブロック別に推定されたそれぞれの動きベクトルは、不正確に推定されることがある。かかる不正確な動きベクトルを用いて動き補償を行う場合は、補間されるフレーム／フィールドＦ_ｉにおいては、図２に示されたようなブロックアーティファクトが発生する。

図２において実線で示されたベクトルは、実際の動きベクトルであり、点線で示されたベクトルは、推定された動きベクトルである。ブロックアーティファクトは、ブロック別に動き補償を行い、これによって、ブロック間の境界において隣接するブロックとの相関性が考慮できないため発生する。また、従来のＦＲＣアルゴリズムは、ブロックアーティファクトを除去するためメディアンフィルタのような非線型フィルタを適用することもあるが、画質劣化の側面では、大きな効果が得られない。

本発明の目的は、ブロック当り１つの動きベクトルを推定して動き補償を行う場合、不正確に推定された動きベクトルにより発生するブロックアーティファクトを未然に防止または除去することができる動き補償のための画素値選択装置および方法を提供することにある。

上記の目的を達成するための本発明に係る動き補償のための画素値選択装置によれば、入力される少なくとも１つの候補動きベクトルに対応する第１の画素値を含む現フレーム／フィールドが格納される第１の格納部と、前記少なくとも１つの候補動きベクトルに対応する第２の画素値を含む前フレーム／フィールドが格納される第２の格納部と、前記少なくとも１つの候補動きベクトルに対応する前記第１および第２の画素値をそれぞれ前記第１および第２の格納部から抽出する第１および第２の画素値抽出部と、抽出された少なくとも１つの前記第１および第２の画素値によって適応的に所定の第１の重み付け値を付与してそれぞれ動き補償のための第１および第２の補償画素値を算出する補償画素算出部とを備え、算出された前記第１および第２の補償画素値は、補間される現ブロックの動き補償に使用される。

詳しくは、前記第１および第２の画素値抽出部は、前記候補動きベクトルが０であるブロックに対応する第１および第２のゼロ画素値をそれぞれ前記第１および第２の格納部から抽出し、抽出された前記第１および第２のゼロ画素値は、前記現ブロックの前記動き補償に使用される。

また、前記第１および第２の補償画素算出部は、前記第１および第２の画素値と前記第１および第２の画素値によってそれぞれ適応的に付与された前記第１の重み付け値とを乗算した後、それぞれ乗算された値を加えて前記第１および第２の補償画素値を算出する。

また、前記第１および第２の画素値別に付与された前記第１の重み付け値の和は、それぞれ１であることが好ましい。

また、前記候補動きベクトルは、前記現フレーム／フィールドに位置する前記現ブロックの動きベクトルおよび前記現ブロックに隣接する少なくとも１つの周辺ブロックの動きベクトルからなる。

また、少なくとも１つの前記候補動きベクトルは、前記現ブロックおよび前記周辺ブロックのそれぞれに対してブロックマッチングアルゴリズムを適用して算出された多数の動き予測誤差値のうちの最小値に対応する位置から推定されたベクトルである。

好ましくは、少なくとも１つの前記第１および第２の画素値によって適応的に付与される前記第１の重み付け値は、前記現ブロックおよび前記周辺ブロック別に算出された前記動き予測誤差値に逆比例する。

また、前記動き予測誤差値は、ＳＡＤ方式およびＭＡＤ（Ｍｅａｎ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）方式のいずれか一方で算出される。

また、入力されるフレーム／フィールドを所定時間遅延させ、前記所定時間遅延された前記現フレーム／フィールドを前記第１の格納部に提供する第１の遅延器と、前記第１の遅延器から入力された前記現フレーム／フィールドを所定時間遅延させ、前記所定時間遅延された前記前フレーム／フィールドを前記第２の格納部に提供する第２の遅延器とをさらに備える。

前記第１および第２の画素値抽出部は、少なくとも１つの前記候補動きベクトルによって動き軌跡を推定して少なくとも１つの前記第１および第２の画素値を抽出する。

前記第１および第２の格納部には、互いに隣接している同じ性質のフィールドが格納され、前記同じ性質のフィールドは、奇数フィールドおよび偶数フィールドのいずれか一方である。

また、前記フレーム／フィールドがフィールド単位に入力される場合、入力される前記フィールドを所定時間遅延させ、所定時間遅延された第１のフィールドを前記第１の格納部に提供する第１の遅延器と、前記第１の遅延器から入力された前記第１のフィールドを所定時間遅延させ、所定時間遅延された第２のフィールドを出力する第２の遅延器と、前記第２の遅延器から入力された前記第２のフィールドを所定時間遅延させ、所定時間遅延された第３のフィールドを前記第２の格納部に提供する第３の遅延器とをさらに備え、前記第１および第３のフィールドは、前記同じ性質のフィールドである。

さらに、上記の目的を達成するための本発明に係る動き補償のための画素値選択方法によれば、入力される少なくとも１つの候補動きベクトルに対応する少なくとも１つの第１の画素値を含む現フレーム／フィールドが格納されるステップと、前記少なくとも１つの候補動きベクトルに対応する少なくとも１つの第２の画素値を含む前フレーム／フィールドが格納されるステップと、前記少なくとも１つの候補動きベクトルに対応する前記第１および第２の画素値をそれぞれ前記格納ステップから抽出するステップと、抽出された少なくとも１つの前記第１および第２の画素値によって適応的に所定の第１の重み付け値を付与し、それぞれ動き補償のための第１および第２の補償画素値をそれぞれ算出するステップとを含み、算出された前記第１および第２の補償画素値は、補間される現ブロックの動き補償に使用される。

好ましくは、前記現フレーム／フィールド格納ステップの前に、入力されるフレーム／フィールドを所定時間遅延させた後、所定時間遅延された前記現フレーム／フィールドを出力するステップと、前記前フレーム／フィールド格納ステップの前に、前記現フレーム／フィールドを所定時間遅延させた後、所定時間遅延された前記前フレーム／フィールドを出力するステップとをさらに含む。

前記第１および第２の画素値抽出ステップは、少なくとも１つの候補動きベクトルによって動き軌跡を推定し、少なくとも１つの前記第１および第２の画素値を抽出する。

前述のように、本発明に係る補償用画素値の選択が可能な動き推定／補償装置および方法によれば、現ブロックの補間時、現ブロックの動きベクトルだけでなく、現ブロックに隣接する周辺ブロックの動きベクトルも推定することで、現ブロックの補間のための複数の補償用画素値を抽出する。従って、抽出された多数の補償用画素値によって多数の動き軌跡を考慮することで、現ブロックの動きベクトルの不正確な推定によるブロックアーティファクトを未然に防止また低減させることが可能となる。また、複数の動きベクトルにおいて考慮できる全ての動き軌跡を付加的な処理を行うことなく適用するため、ハードウェア構成の複雑度を改善することが可能となる。

図３は、本発明の好適な第１の実施例に係る画素値選択装置が設けられた動き推定／補償装置を概略的に示すブロック図である。

同図を参照するに、本発明に係る画素値選択装置が設けられた動き推定／補償装置３００は、第１の遅延器３１０、第２の遅延器３２０、動き推定部３３０、画素選択部３４０および動き補償補間部３７０を備えてなる。本発明は、多数の候補動きベクトルを推定して動きを補償するフレームレート変換またはＭＰＥＧ技法に関するものであって、動き推定／補償に関連したブロックのみを示して説明する。

第１の遅延器３１０は、入力されるフレーム／フィールドを所定時間遅延させた後、所定時間遅延された第１の遅延フレーム／フィールドを第２の遅延器３２０および第１の格納部３４１に提供する。第２の遅延器３２０は、第１の遅延器３１０から入力された第１の遅延フレーム／フィールドを所定時間遅延させた後、所定時間遅延された第２の遅延フレーム／フィールドを第２の格納部３６１に提供する。以下、第１の遅延フレーム／フィールドは、現フレーム／フィールドＦ_ｎと、第２の遅延フレーム／フィールドは、前フレーム／フィールドＦ_ｎ−１と記す。

なお、本発明に係る画素値選択装置が設けられた動き推定／補償装置３００が飛越走査で入力される映像信号のフレームレートを変換する場合、第２の遅延フレーム／フィールドは、現フィールドであり、第２の遅延フレーム／フィールドは、前フィールドである。従って、前フィールドが奇数または偶数フィールドであれば、現フィールドは、前フィールドに対応する偶数または奇数フィールドとなる。

動き推定部３３０は、ＢＭＡを用いて前フレーム／フィールドＦ_ｎ−１および現フレーム／フィールドＦ_ｎ間の動きベクトルを推定する。このため、動き推定部３３０は、動きベクトル推定部３３２および動き予測誤差算出部３３４を備える。

動きベクトル推定部３３２は、現フレーム／フィールドＦ_ｎを所定大きさの補間するブロックに分割した後、分割された各補間するブロックと前フレーム／フィールドＦ_ｎ−１をなす複数のブロック（図示省略）とを単方向にマッチングし、各補間するブロック別に多数の動き予測誤差値を算出する。

具体的に、動きベクトル推定部３３２は、所定の大きさを有するブロックに分割された現フレーム／フィールドＦ_ｎ内において、図４Ａに示された所定大きさの検索範囲Ｓを設定する。次に、動きベクトル推定部３３２は、検索範囲Ｓ内にある補間する各ブロックと前フレーム／フィールドＦ_ｎ−１をなす複数のブロック（図示省略）とを単方向または両方向にマッチングし、補間する各ブロック別に多数の動き予測誤差値を算出する。

動き予測誤差値は、ＳＡＤ、ＭＡＤなどの種々の方式で算出することができ、本発明では、ＳＡＤ値を適用する。

そして、補間する各ブロック別に多数のＳＡＤ値が算出されると、動きベクトル推定部３３２は、次の式（１）を用いて補間する各ブロックの動きベクトルを推定する。

ここで、

は、ＳＡＤ値、

は、最小ＳＡＤ値を有するブロックの動きベクトル（以下、

はベクトル量を意味する）、

は、検索範囲を意味する。即ち、動きベクトル推定部３３２は、補間する各ブロック別に算出された多数のＳＡＤ値のうち最小のＳＡＤ値を有する位置から補間する各ブロックの動きベクトルを推定する。

ここで、補間するための現ブロックＢ_０の最終動きベクトルが、図４Ｂに示されたｖ_０である場合、周辺ブロックＢ_１ないしＢ_８の最終動きベクトルは、それぞれｖ_１ないしｖ_８である。

なお、現フレーム／フィールドＦ_ｎで設定された検索範囲Ｓは、補間フレーム／フィールドＦ_ｉで補間される領域を意味し、検索範囲Ｓ内に存在するブロックの個数は、ブロックの大きさおよび／または検索範囲Ｓの大きさによって異なるように設定することができるのはいうまでもない。

また、動きベクトル推定部３３２は、検索範囲Ｓ内に存在する各ブロックＢ_０ないしＢ_８の動きベクトルｖ_０ないしｖ_８だけでなく補間する現ブロックＢ_０の動きベクトルがゼロであるゼロ動きベクトルｖ_ｚを動き予測誤差算出部３３４に提供する。これは、後述の動き補償過程において、並進運動でない複雑な動きが存在する場合、ＢＭＡで推定した動きベクトルよりは、動きを考慮しない補償の方が、正確な補償が得られるためである。

動き予測誤差算出部３３４は、動きベクトル推定部３３２から提供された動きベクトルｖ_ｚ、ｖ_０ないしｖ_８に対応するＳＡＤ値を、次の式（２）を用いて抽出する。

ここで、

は、動きベクトルｖ_０ないしｖ_８に対応するＳＡＤ値、

は、所定のブロック（Ｂ_０ないしＢ_８のいずれか１つ）に位置する所定画素の座標値で、ベクトル量であり、

は、各ブロックＢ_０ないしＢ_８の動きベクトルｖ_０ないしｖ_８、

は、前フレーム／フィールドＦ_ｎ−１と現フレーム／フィールドＦ_ｎとの時間的間隔、

は、検索範囲Ｓ内に存在する各ブロックＢ_１ないしＢ_８の個数である。これと共に、動き予測誤差算出部３３４は、補間される現ブロックＢ_０のゼロ動きベクトルｖ_ｚに対するＳＡＤ値も、式（２）を用いて抽出する。

式（２）を参照するに、動き予測誤差算出部３３４は、周辺ブロックＢ_１ないしＢ_８の動きベクトルｖ_１ないしｖ_８とゼロ動きベクトルｖ_ｚに相当するＳＡＤ値を現ブロックＢ_０に対して算出された全てのＳＡＤ値のうちから抽出する。即ち、動きベクトル推定部３３２から提供された動きベクトルｖ_ｚ、ｖ_０ないしｖ_８は、補間される現ブロックＢ_０の候補動きベクトルとして適用されるものである。

これは、現ブロックＢ_０の動きベクトルｖ_０が不正確に推定された場合、周辺ブロックＢ_１ないしＢ_８のうち推定が正しく行われたブロック（例えば、最も小さいなＳＡＤ値を有するブロック）の動きベクトルを現ブロックＢ_０の最終動きベクトルに取り替えるか、推定が正しく行われた周辺ブロックＢ_１ないしＢ_８に対応する画素に重み付け値（ｗｅｉｇｈｔ）を付与することでより正確な動き補償を行うためである。

即ち、本発明は、ブロックＢ_０ないしＢ_８間の動きがスムースであると仮定した上で、現ブロックＢ_０だけでなく周辺ブロックＢ_１ないしＢ_８の動き軌跡をも考慮して動き補償を行う。これは、現ブロックＢ_０の動きベクトルｖ_０が不正確に推定された場合に発生するブロックアーティファクトの発生を未然に防止するためである。

なお、各候補動きベクトルｖ_ｚ、ｖ_０ないしｖ_８に対応する各ＳＡＤ値が抽出されると、動き予測誤差算出部３３４は、抽出された各ＳＡＤ値を第１および第２の補償画素算出部３５３、３６３に提供する。

また、動きベクトル推定部３３２で推定された各ブロックＢ_０ないしＢ_８の動きベクトルｖ_ｚ、ｖ_０ないしｖ_８により考慮される動き軌跡または分割された全てのブロック（図示省略）に対して推定されたベクトル（図示省略）は、第１および第２の画素値抽出部３５２、３６２に提供される。

図５は、補間されるフレーム／フィールドの所定位置に対する動き軌跡を現ブロックと周辺ブロックの最終動きベクトルを用いて概略的に示す図である。

同図を参照するに、Ｆ_ｎ−１は、前フレーム／フィールド、Ｆ_ｎは、現フレーム／フィールド、Ｆ_ｉは、補間されるフレーム／フィールドであり、前フレーム／フィールドＦ_ｎ−１および現フレーム／フィールドＦ_ｎは、連続して入力される。補間されるフレームフィールドＦ_ｉの所定位置に対する仮補償画素値は、式（３）で算出されることができる。

ここで、

は、補間されるフレーム／フィールドＦ_ｉの時間的位置、

は、補間されるフレーム／フィールドＦ_ｉのｘ位置における仮補償画素値、

は、現ブロックＢ_０の最終動きベクトルｖ_０および周辺ブロックＢ_１ないしＢ_８の最終動きベクトルｖ_１ないしｖ_８である。

式（３）を参照するに、

は、考慮される動き軌跡の個数であって、多数の動き軌跡により得られるｘ位置における仮補償画素値

は、式（２）で算出された多数の最終動きベクトルｖ_０ないしｖ_８を考慮して算出される。このようにすることで、現ブロックＢ_０の最終動きベクトルｖ_０が不正確に推定された場合に発生するブロックアーティファクトの発生を未然に防止することができる。

なお、前述のような補間する現ブロックＢ_０の候補動きベクトルｖ_０ないしｖ_８は、周辺ブロックＢ_１ないしＢ_８に対する最終動きベクトルｖ_１ないしｖ_８だけでなく、動き分析の過程で検出された全域動きベクトルおよび同一位置の前フレーム／フィールド内で検出された動きベクトルを再使用することができる。また、候補動きベクトルのメディアンフィルタまたは平均フィルタを用いて得られた変更された動きベクトルを現ブロックＢ_０の候補動きベクトルとして使用することができるのはいうまでもない。

図３に戻り、画素選択部３４０は、外部から入力されるフレーム／フィールドをなす画素の画素値、動き推定部３１０から提供される多数のＳＡＤ値および候補動きベクトルを用いて少なくとも１つの補償画素を選択する。このため、本発明に係る画素選択部３４０は、第１の格納部３５１、第１の画素値抽出部３５２、第１の補償画素算出部３５３、第２の格納部３６１、第２の画素値抽出部３６２および第２の補償画素算出部３６３を備える。

第１の格納部３５１には、第１の遅延器３１０から入力される現フレーム／フィールドＦ_ｎをなす画素値が仮格納される。

第１の画素値抽出部３５２は、動きベクトル推定部３３２から入力される最終動きベクトルｖ_０ないしｖ_８のそれぞれに対応する第１の画素値ｌ_０ないしｌ_８を第１の格納部３５１に格納された現フレーム／フィールドＦ_ｎの画素値から抽出する。ここで、第１の画素値ｌ_０ないしｌ_８は、式（４）で表現される。

式（４）からわかるように、第１の画素値抽出部３５２から抽出される画素値は、それぞれｌ_０ないしｌ_８の第１の画素値を有する。また、抽出される第１の画素値の個数は、動き推定部３３０で推定された候補動きベクトルの個数に対応する。

また、第１の画素値抽出部３５２は、動きベクトル推定部３３２から入力されるゼロ動きベクトルｖ_ｚに対応する第１の画素値ｌ_ｚを第１の格納部３５１から抽出して動き補償補間部３７０に提供する。ここで、第１の画素値抽出部３５２は、‘０’を有する候補動きベクトルをゼロ動きベクトルｖ_ｚと認知して候補動きベクトルが０であるブロックに対応する補償用画素値ｌ_ｚを抽出することもある。

第１の補償画素算出部３５３は、動き予測誤差算出部３３２から入力される各ブロックＢ_０ないしＢ_８に相当するＳＡＤ値を用いて各動き軌跡における正確性を考慮した上で、式（３）で算出された各仮画素補償値に所定の重み付け値を付与する。即ち、第１の補償画素算出部３５３は、式（４）ないし式（７）を用いて重み付け値の付与された第１の補償画素値ｌ’を算出する。

ここで、重み付け

は、式（６）を満たす必要があり、各動き軌跡に対する重み付け値は、式（７）で算出される。

式（５）ないし式（７）に示されたように、第１の補償画素算出部３５３で算出される第１の補償画素値ｌ’は、次の通りである。これは、第１の格納部３５１には、現フレーム／フィールドＦ_ｎに対する画素値のみが格納されており、これにより、ｒ_ｉは、‘０’の値を有するためである。

また、各動き軌跡に対する重み付け値

は、各ブロックＢ_０ないしＢ_８の最小ＳＡＤ値に逆比例することがわかる。即ち、第１の補償画素算出部３５３は、各ブロックＢ_０ないしＢ_８の最小ＳＡＤ値を比較し、最小ＳＡＤ値が少ないほどより正確な動き推定が行われたと判断し、最小ＳＡＤ値に逆比例する重み付け値

を付与する。即ち、各動き軌跡における正確性は、ＳＡＤ値により決定される。

なお、第２の格納部３６１には、第１の遅延器３１０から入力される前フレーム／フィールドＦ_ｎ−１の画素値が仮格納される。

第２の画素値抽出部３６２は、動きベクトル推定部３３２から入力される最終動きベクトルｖ_１ないしｖ_８のそれぞれに対応する第２の画素値ｒ_０ないしｒ_８を第２の格納部３６１に格納された前フレーム／フィールドＦ_ｎ−１の画素値から抽出する。ここで、第２の画素値ｒ_０ないしｒ_８は、式（８）により算出される。

式（８）を参照するに、第２の画素値抽出部３６２から抽出される画素値は、それぞれｒ_０ないしｒ_８の第２の画素値を有する。また、第２の画素値抽出部３６２は、動きベクトル推定部３３２から入力されるゼロ動きベクトルｖ_ｚに対応する第２の画素値ｒ_ｚを第２の格納部３６１から抽出する。ここで、第２の画素値抽出部３６２は、‘０’を有する候補動きベクトルをゼロ動きベクトルｖ_２と認知し、候補動きベクトルが０であるブロックに対応する補償用画素値ｒ_ｚを抽出することもある。

第２の補償画素算出部３６３は、動き予測誤差算出部３３２から入力される各ブロックＢ_０ないしＢ_８の最小ＳＡＤ値を用いて各動き軌跡における正確性を考慮した上で、式（３）で算出された各仮補間画素値に所定の重み付け値を付与する。即ち、第２の補償画素算出部３６３は、前述の式（５）ないし式（８）を用いて重み付け値の付与された第２の補償画素値ｒ’を算出する。

式（５）ないし式（８）を参照するに、第２の補償画素算出部３６３から算出される第２の補償画素値ｒ’は、次の通りである。これは、第２の格納部３６１には、前フレーム／フィールドＦ_ｎ−１に対する画素値のみが格納されており、これによって、ｌ_ｉは、‘０’の値を有するためである。

即ち、前述のように、画素選択部３４０は、動き補償のための第１および第２の補償画素値ｌ’、ｒ’およびテンポラリーアベレージング（Ｔｅｍｐｏｒａｌ Ａｖｅｒａｇｉｎｇ）のための第１および第２の画素値ｌ_ｚ、ｒ_ｚを算出または抽出して動き補償補間部３７０に提供する。

動き補償補間部３７０は、信頼度算出部（図示省略）から入力されるソフトスイッチングバリュー（Ｓｏｆｔ Ｓｗｉｔｃｈｉｎｇ Ｖａｌｕｅ）ｋを用いて最終補間画素値ｆを算出する。最終補間画素値ｆは、次の式（９）により算出される。

式（９）において、ｋは、動き補償のための第１および第２の補償画素値ｌ’、ｒ’と動きを考慮しない第１および第２の画素値ｌ_ｚ、ｒ_ｚとを適応的に適用するためのソフトスイッチングバリューであって、第１および第２の補償画素値ｌ’、ｒ’の信頼度によって決定される。即ち、第１および第２の補償画素値ｌ’、ｒ’の信頼度が第１および第２の画素値ｌ_ｚ、ｒ_ｚのそれより高い場合は、第１および第２の補償画素値ｌ’、ｒ’がより多く適用された最終補間画素値ｆを算出するため、ｋ値は、大きくなる。これに対し、第１および第２の補償画素値ｌ’、ｒ’の信頼度が第１および第２の画素値ｌ_ｚ、ｒ_ｚのそれより低い場合は、第１および第２の画素値ｌ_ｚ、ｒ_ｚがより多く適用された最終補間画素値ｆを算出するため、ｋ値が、小さくなる。

従って、ブロック間の動きがスムースであると仮定した上で、多数の動き軌跡を考慮して算出された最終補間画素値ｆを用いることで、図６のようにブロックアーティファクト現象が低減された映像を提供することができる。図６において、実線は、推定された動きベクトルを示す。

なお、図７は、本発明の第２の実施例に係る動き推定／補償装置を概略的に示すブロック図である。本発明の第２の実施例に係る動き推定／補償装置７００は、第１の遅延器７１０、第２の遅延器７１５、第３の遅延器７２０、動き推定部７３０、画素選択部７４０および動き補償補間部７７０を備えてなる。本発明は、動きを推定して動きを補償するフレーム補間に関するものであって、フレームレート変換装置（図示省略）において動き推定／補償に関連したブロックのみを示して説明する。

図７に示された動き推定／補償装置７００は、隣接する同じ性質のフィールドを用いて動き補償を行う装置であって、図７の動き推定部７３０、画素選択部７４０および動き補償補間部７７０については、図３の動き推定部３３０、画素選択部３４０および動き補償補間部３７０と同様な動作を行うため、詳細な説明は省略する。

但し、図３の動き推定／補償装置３００は、フレーム単位またはフィールド単位に入力される映像信号のフレームレート変換に適用可能であるが、図７の動き推定／補償装置７００は、フィールド単位に入力される映像信号のフレームレート変換にのみ適用可能である。即ち、図３の動き推定／補償装置３００は、フレームとフレームとの間または奇数フィールドと偶数フィールドとの間で動き補償のための最終補間画素値ｆを算出するが、これに対し、図７の動き推定／補償装置７００は、奇数フィールドと奇数フィールドとの間または偶数フィールドと偶数フィールドとの間で最終補間画素値ｆを算出する。

具体的に、第１の遅延器７１０から出力されるフィールドが第１の奇数フィールドである場合、第２の遅延器７１５から出力されるフィールドは、第１の偶数フィールドであり、第３の遅延器７２０から出力されるフィールドは、第２の奇数フィールドである。即ち、第１の奇数フィールドは、現フィールド、第２の奇数フィールドは、前フィールドとなる。

そして、動き推定部７３０の動きベクトル推定部７３２は、同じ性質を有する第１および第２の奇数フィールドの間で動き補償のための多数の動きベクトルを推定する。動きベクトルの推定は、動き予測誤差値を算出して推定することができる。動き予測誤差算出部７３４は、算出された動き予測誤差値のうち推定された動きベクトルに対応する予測誤差値を抽出する。本発明では、動き予測誤差値としてＳＡＤ値を使用する。

画素選択部７４０は、外部から入力される第１および第２の奇数フィールドの画素値、多数の最終動きベクトルおよび多数のＳＡＤ値を用いて少なくとも１つの補償画素ｌ_ｚ、ｒ_ｚ、ｌ’、ｒ’を算出する。このため、本発明に係る画素選択部７４０は、第１の格納部７５１、第１の画素値抽出部７５２、第１の補償画素算出部７５３、第２の格納部７６１、第２の画素値抽出部７６２および第２の補償画素算出部７６３を備え、これについては、図３に関連して説明されているため、省略する。

動き補償補間部７７０は、画素選択部７３０から提供される第１および第２の補償画素値ｌ’、ｒ’および第１および第２の画素値ｌ_ｚ、ｒ_ｚを用いてソフトスイッチングバリューｋによって最終補間画素値ｆを算出する。

動き補償補間部７７０は、信頼度算出部（図示省略）から入力されるソフトスイッチングバリューｋを用いて最終補間画素値ｆを算出する。最終補間画素値ｆは、前述の式（９）により算出される。

図８は、図３によって画素値を選択して動きを補償する動き推定／補償方法を概略的に説明するためのフローチャートである。先ず、第１の遅延器３１０は、入力されるフレーム／フィールドを所定時間遅延させて現フレーム／フィールドを出力し、第２の遅延器３２０は、現フレーム／フィールドＦ_ｎを所定時間遅延させて前フレーム／フィールドＦ_ｎ−１を出力する。出力された現フレーム／フィールドＦ_ｎおよび前フレーム／フィールドＦ_ｎ−１は、それぞれ第１および第２の格納部３５１、３６１に格納される（Ｓ８１０）。

入力されるフレーム／フィールドが飛越走査方式で入力される場合、現フレーム／フィールドＦ_ｎは、奇数または偶数フィールドであり、前フレーム／フィールドＦ_ｎ−１は、偶数または奇数フィールドである。

そして、動き推定部３３０は、補間する現ブロックＢ_０および周辺ブロックＢ_１ないしＢ_８のそれぞれに対する最小ＳＡＤ値をＢＭＡを用いて算出する。また、動き推定部３３０は、最小ＳＡＤ値を有する各位置からそれぞれの最終動きベクトルｖ_０ないしｖ_８を推定し、推定された多数の最終動きベクトルに対応するＳＡＤ値を抽出する（Ｓ８２０）。このとき、推定された現ブロックＢ_０および周辺ブロックＢ_１ないしＢ_８のそれぞれに対する最終動きベクトルｖ_０ないしｖ_８は、現ブロックＢ_０の候補動きベクトルと指定される。

Ｓ８２０で推定された最終動きベクトルｖ_０ないしｖ_８のうち‘０’の値を有するゼロ動きベクトルｖ_ｚが存在する場合、画素値選択部３４０は、ゼロ動きベクトルｖ_ｚを含む多数の候補動きベクトルに対応する第１および第２の画素値（ｌ_ｚ、ｌ_ｉ、ｒ_ｚ、ｒ_ｉ、ここでｉ＝０、１、・・・、Ｍ）を抽出する（Ｓ８３０）。

Ｓ８３０が行われると、画素値選択部３４０は、抽出された第１および第２の画素値（ｌ_ｚ、ｌ_ｉ、ｒ_ｚ、ｒ_ｉ、ここでｉ＝０、１、・・・、Ｍ）に付与する所定の重み付け値を式（７）を用いて算出する（Ｓ８４０）。そして、画素値選択部３４０は、式（５）を用いて重み付け値の付与された第１および第２の補償画素値ｌ’、ｒ’を算出する（Ｓ８５０）。

Ｓ８５０が行われると、動き補償補間部３７０は、算出された第１および第２の補償画素値ｌ’、ｒ’に適応的にソフトスイッチングバリューｋを付与して最終補償画素値ｆを算出する（Ｓ８６０）。

上述の動き推定／補償装置３００、７００およびその方法によれば、動き補償を行う際、現ブロックＢ_０の最終動きベクトルｖ_０だけでなく周辺ブロックＢ_１ないしＢ_８の最終動きベクトルｖ_１ないしｖ_８を用いて補間するブロックの動きを補償する。即ち、現ブロックＢ_０および周辺ブロックＢ_１ないしＢ_８の最終動きベクトルｖ_０ないしｖ_８を用いてそれぞれの動き軌跡におけるＳＡＤ値を算出した後、算出されたＳＡＤ値を用いて重み付け値を算出する。そして、算出されたＳＡＤ値に逆比例する重み付け値を付与することで、現ブロックＢ_０の最終動きベクトルｖ_０が正確でない時に発生する、図２のようなブロックアーティファクトを未然に防止することができる。即ち、本発明に係る動き推定／補償装置３００から出力される映像は、図６のようにブロックアーティファクト現象が除去される。

以上、本発明の好適な実施例をあげて説明してきたが、本発明は、その精神または主要な特徴から逸脱することなく、他のいろいろな形で実施することができる。そのため、上述の実施例は、あらゆる点で単なる例示にすぎず、限定的に解釈してはならない。本発明の範囲は、特許請求の範囲によって示すものであって、明細書本文には、なんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。

本発明は、フレームレート変換時、１ブロックに対して多数の動き軌跡を適用して多数の画素値を抽出した後、抽出された画素値に重み付け値を付与して動き補償を行う動き補償のための画素値選択装置および方法に適用することができる。

一般のＢＭＡを用いて動きを推定する方法を説明するための図である。 従来の動き補償方法によりブロックアーティファクトが発生した映像のシミュレーションの例を示した図である。 本発明の好適な第１の実施例に係る画素値選択装置が設けられた動き推定／補償装置を概略的に示すブロック図である。 図３の動き推定部で動き推定のために設定した現ブロックおよび周辺ブロックを示す図である。 図４Ａの現ブロックおよび周辺ブロックのそれぞれに対する最終動きベクトルを示す図である。 補間されるフレーム／フィールドの所定位置に対する動き軌跡を現ブロックと周辺ブロックの最終動きベクトルを用いて概略的に示す図である。 図３の動き推定／補償装置によりブロックアーティファクトが除去された映像のシミュレーションの例を示した図である。 本発明の好適な第２の実施例に係る画素値選択装置が設けられた動き推定／補償装置を概略的に示すブロック図である。 図３によって画素値を選択して動きを補償する動き推定／補償方法を概略的に説明するためのフローチャートである。

符号の説明

３００ 動き推定／補償装置
３１０ 第１の遅延器
３２０ 第２の遅延器
３３０ 動き推定部
３４０ 画素選択部
３５１ 第１の格納部
３５２ 第１の画素値抽出部
３５３ 第１の補償画素算出部
３６１ 第２の格納部
３６２ 第２の画素値抽出部
３６３ 第２の補償画素算出部
３７０ 動き補償補間部

Claims (25)

1. 入力される少なくとも１つの候補動きベクトルに対応する第１の画素値を含む現フレーム／フィールドおよび前記少なくとも１つの候補動きベクトルに対応する第２の画素値を含む前フレーム／フィールドを格納する格納部と、
   前記少なくとも１つの候補動きベクトルに対応する前記第１および第２の画素値を前記格納部からそれぞれ抽出する画素値抽出部と、
   前記第１および第２の画素値によって所定の第１の重み付け値を適応的に付与し、動き補償のための第１および第２の補償画素値をそれぞれ算出する補償画素算出部と、を備え、
   算出された前記第１および第２の補償画素値は、補間される現ブロックの動き補償に使用されることを特徴とする動き補償のための画素値選択装置。
2. 前記画素値抽出部は、前記候補動きベクトルが０であるブロックに対応する第１および第２のゼロ画素値をそれぞれ前記格納部から抽出し、抽出された前記第１および第２のゼロ画素値は、前記現ブロックの前記動き補償に使用されることを特徴とする請求項１に記載の動き補償のための画素値選択装置。
3. 前記補償画素算出部は、前記少なくとも１つの第１および第２の画素値と前記少なくとも１つの第１および第２の画素値によってそれぞれ適応的に付与された前記第１の重み付け値とを乗算した後、それぞれ乗算された値を加えて前記第１および第２の補償画素値を算出することを特徴とする請求項１に記載の動き補償のための画素値選択装置。
4. 前記少なくとも１つの第１および第２の画素値別に付与された前記第１の重み付け値の和は、それぞれ１であることを特徴とする請求項１に記載の動き補償のための画素値選択装置。
5. 前記候補動きベクトルは、前記現フレーム／フィールドに位置する前記現ブロックの動きベクトルおよび前記現ブロックに隣接する少なくとも１つの周辺ブロックの動きベクトルからなることを特徴とする請求項１に記載の動き補償のための画素値選択装置。
6. 少なくとも１つの前記候補動きベクトルは、前記現ブロックおよび前記周辺ブロックのそれぞれに対してブロックマッチングアルゴリズムを適用して算出された多数の動き予測誤差値のうちの最小値に対応する位置から推定されたベクトルであることを特徴とする請求項５に記載の動き補償のための画素値選択装置。
7. 少なくとも１つの前記第１および第２の画素値に適応的に付与される前記第１の重み付け値は、前記現ブロックおよび前記周辺ブロック別に算出された前記動き予測誤差値に逆比例することを特徴とする請求項６に記載の動き補償のための画素値選択装置。
8. 前記動き予測誤差値は、ＳＡＤ方式およびＭＡＤ方式のいずれか一方で算出されることを特徴とする請求項６に記載の動き補償のための画素値選択装置。
9. 入力されるフレーム／フィールドを所定時間遅延させ、前記所定時間遅延された前記現フレーム／フィールドを前記格納部に提供する第１の遅延器と、
   前記第１の遅延器から入力された前記現フレーム／フィールドを所定時間遅延させ、前記所定時間遅延された前記前フレーム／フィールドを前記格納部に提供する第２の遅延器とをさらに備えることを特徴とする請求項１に記載の動き補償のための画素値選択装置。
10. 前記画素値抽出部は、少なくとも１つの前記候補動きベクトルによって動き軌跡を推定し、少なくとも１つの前記第１および第２の画素値を抽出することを特徴とする請求項１に記載の動き補償のための画素値選択装置。
11. 前記格納部に格納される前記現フレーム／フィールドおよび前記前フレーム／フィールドは、それぞれ互いに隣接している同じ性質のフィールドであることを特徴とする請求項１に記載の動き補償のための画素値選択装置。
12. 前記同じ性質のフィールドは、奇数フィールドおよび偶数フィールドのいずれか一方であることを特徴とする請求項１１に記載の動き補償のための画素値選択装置。
13. 前記フレーム／フィールドは、フィールド単位に入力されることを特徴とする請求項１１に記載の動き補償のための画素値選択装置。
14. 入力される前記フィールドを所定時間遅延させ、所定時間遅延された第１のフィールドを前記第１の格納部に提供する第１の遅延器と、
    前記第１の遅延器から入力された前記第１のフィールドを所定時間遅延させ、所定時間遅延された第２のフィールドを出力する第２の遅延器と、
    前記第２の遅延器から入力された前記第２のフィールドを所定時間遅延させ、所定時間遅延された第３のフィールドを前記第２の格納部に提供する第３の遅延器とをさらに備え、
    前記第１および第３のフィールドは、前記同じ性質のフィールドであることを特徴とする請求項１３に記載の動き補償のための画素値選択装置。
15. 入力される少なくとも１つの候補動きベクトルに対応する少なくとも１つの第１の画素値を含む現フレーム／フィールドが格納されるステップと、
    前記少なくとも１つの候補動きベクトルに対応する少なくとも１つの第２の画素値を含む前フレーム／フィールドが格納されるステップと、
    前記少なくとも１つの候補動きベクトルに対応する前記第１および第２の画素値をそれぞれ前記格納ステップから抽出するステップと、
    抽出された少なくとも１つの前記第１および第２の画素値によって適応的に所定の第１の重み付け値を付与し、それぞれ動き補償のための第１および第２の補償画素値を算出するステップとを含み、
    算出された前記第１および第２の補償画素値は、補間される現ブロックの動き補償に使用されることを特徴とする動き補償のための画素値選択方法。
16. 前記第１および第２の画素値抽出ステップは、前記候補動きベクトルが０であるブロックに対応する第１および第２のゼロ画素値をそれぞれ前記格納ステップから抽出し、抽出された前記第１および第２のゼロ画素値は、前記現ブロックの前記動き補償に使用されることを特徴とする請求項１５に記載の動き補償のための画素値選択方法。
17. 前記第１および第２の補償画素算出ステップは、前記第１および第２の画素値と前記第１および第２の画素値によってそれぞれ適応的に付与された前記第１の重み付け値とを乗算した後、それぞれ乗算された値を加えて前記第１および第２の補償画素値を算出することを特徴とする請求項１５に記載の動き補償のための画素値選択方法。
18. 前記第１および第２の画素値別に付与された前記第１の重み付け値の和は、それぞれ１であることを特徴とする請求項１５に記載の動き補償のための画素値選択方法。
19. 前記候補動きベクトルは、前記現フレーム／フィールドに位置する前記現ブロックの動きベクトルおよび前記現ブロックに隣接する少なくとも１つの周辺ブロックの動きベクトルからなることを特徴とする請求項１５に記載の動き補償のための画素値選択方法。
20. 少なくとも１つの前記候補動きベクトルは、前記現ブロックおよび前記周辺ブロックのそれぞれに対してブロックマッチングアルゴリズムを適用して算出された多数の動き予測誤差値のうちの最小値に対応する位置から推定されたベクトルであることを特徴とする請求項１９に記載の動き補償のための画素値選択方法。
21. 少なくとも１つの前記第１および第２の画素値によって適応的に付与される前記第１の重み付け値は、前記現ブロックおよび前記周辺ブロック別に算出された前記動き予測誤差値に逆比例することを特徴とする請求項２０に記載の動き補償のための画素値選択方法。
22. 前記動き予測誤差値は、ＳＡＤ方式およびＭＡＤ方式のいずれか一方で算出されることを特徴とする請求項２０に記載の動き補償のための画素値選択方法。
23. 前記現フレーム／フィールド格納ステップの前に、入力されるフレーム／フィールドを所定時間遅延させた後、所定時間遅延された前記現フレーム／フィールドを出力するステップと、
    前記前フレーム／フィールド格納ステップの前に、前記現フレーム／フィールドを所定時間遅延させた後、所定時間遅延された前記前フレーム／フィールドを出力するステップとをさらに含むことを特徴とする請求項１５に記載の動き補償のための画素値選択方法。
24. 前記第１および第２の画素値抽出ステップは、少なくとも１つの前記候補動きベクトルによって動き軌跡を推定し、少なくとも１つの前記第１および第２の画素値を抽出することを特徴とする請求項１５に記載の動き補償のための画素値選択方法。
25. 動き補償のための画素値選択方法を提供するコンピュータ読み取り可能な媒体において、
    前記動作を行う方法は、
    入力される少なくとも１つの候補動きベクトルに対応する少なくとも１つの第１の画素値を含む現フレーム／フィールドが格納されるステップと、
    前記少なくとも１つの候補動きベクトルに対応する少なくとも１つの第２の画素値を含む前フレーム／フィールドが格納されるステップと、
    前記少なくとも１つの候補動きベクトルに対応する前記第１および第２の画素値をそれぞれ前記格納ステップから抽出するステップと、
    抽出された少なくとも１つの前記第１および第２の画素値によって適応的に所定の第１の重み付け値を付与し、それぞれ動き補償のための第１および第２の補償画素値を算出するステップとを含み、
    算出された前記第１および第２の補償画素値は、補間される現ブロックの動き補償に使用されることを特徴とする動き補償のための画素値選択方法を提供するコンピュータ読み取り可能な媒体。

Images