JP2005318586A - 改良された動きベクトル選択を備える動きベクトル検出 - Google Patents

Abstract

【課題】 動き検出について改良された方法を提供すること。
【解決手段】 動きベクトルの見積もりについて予測検出は２度評価される。すなわち、２つの先のフィールドを基に予測品質を個々に比較することにより、さらに、複数の候補ベクトルから最良の動きベクトルの見積もりを選択するために、算出された双方の誤差値を単一の誤差値に結合することにより、このようにして、移動オブジェクトの真正な動きの決定は、単一の先の画像を参照するだけでは検出できない不正な見積もりを除去することにより改善される。
【選択図】 図８

Description

本発明は、動き検出の改良に関する。特に、本発明は、映像シーケンスにおける画像ブロック間の動きベクトルを検出するための方法、および、それに相当する動き検出回路に関する。

動き検出の応用範囲は、特に、最新のテレビジョン受像機のデジタル信号処理において増加している。具体的には、最新のテレビジョン受像機は、特にアップコンバージョンまたは動き補償後のアップコンバージョンの形式で、再生画像の品質を向上させるためにフレームレートの変換を行う。例えば、フィールド周波数またはフレーム周波数が５０Ｈｚの映像シーケンスに対して動き補償後アップコンバージョンを行うと、６０Ｈｚ、６６．６７Ｈｚ、７５Ｈｚまたは１００Ｈｚ等のような、より高い周波数に変換される。５０Ｈｚの入力信号周波数は主として、ＰＡＬまたはＳＥＣＡＭに基づくテレビジョン放送に用いられるが、ＮＴＳＣの映像信号の入力信号周波数は６０Ｈｚである。６０Ｈｚの入力信号周波数は、７２Ｈｚ、８０Ｈｚ、９０Ｈｚまたは１２０Ｈｚ等、より高い周波数にアップコンバートされる場合がある。

アップコンバート時には、５０Ｈｚまたは６０Ｈｚの入力ビデオシーケンスでは表されない時間位置のビデオコンテンツを反映する中間画像が生成される。この目的のためには、移動オブジェクトの動きによって生じる後続の画像間の変化を適切に反映するために、そのオブジェクトの動きを考慮する必要がある。オブジェクトの動きは、ブロック単位で算出され、動き補償は、前後の画像間に新たに生成された画像の相対的な時間位置に基づいて実行される。

動きベクトル決定のために、各画像は複数のブロックに分割される。前の画像とのオブジェクトの位置変化を検出するために、各ブロックに対して動き検出が行われる。所定の検索範囲内で前の画像内でベストマッチのブロックを検出するための時間を要する全検索アルゴリズムは、好ましくは、複数の所定の候補ベクトルを用いることによって回避される。これらの候補ベクトルの組は、所定の最も適切な動きベクトルを多数含む。

動きベクトルは、候補ベクトルの各々について計算された誤差値に基づいて候補ベクトルから選択される。この誤差は、現在のブロックと、個々の候補ベクトルに応じて選択された前の画像内の候補ブロックとの一致度を評価する。最小の誤差を有する、最も一致するベクトルが現在のブロックの動きベクトルとして選択される。現在のブロックと前のブロックとの類似度の尺度として、差分絶対和（Ｓｕｍｍｅｄ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ：ＳＡＤ）を用いても構わない。

所定の候補ベクトルの組は、現在の画像の隣接するブロックについてすでに決定された候補ベクトルとして、前の画像内において同様の位置等にあるブロックについて決定された動きベクトルを含んでいても構わない。

下記の非特許文献１には、グローバル動きベクトルを候補ベクトルとして算出することが記載されている。このグローバル動きベクトルは、画像の全てのブロックに共通した動きを反映する。

下記の特許文献１にはさらに、複数の候補ベクトルが記載されており、これら候補ベクトルは、今回の画像が有する周辺ブロックに基づいている。また、これらベクトルの長さおよび方向は、ランダムな大きさを有する最新のベクトルを加算することで修正される。今回のブロックの動きベクトルとしてのベクトル種別の選択は、各ＳＡＤに対する所定のペナルティ値を加算することで制御される。ペナルティ値が加算されると、今回のブロックの動きベクトルとして選ばれる見込みがそれぞれ減ることになる。

画像補間に加え、動き検出は、時間的な冗長さを利用するために、映像の符号化中にも用いられる。この目的のため、複数の映像符号化規格が開発されており、Ｈ．２６ｘまたはＭＰＥＧ−ｘのような符号化規格が広く用いられている。
ジェラルド・デ・ハーン（Ｇｅｒａｒｄ ｄｅ Ｈａａｎ）他 「エフィシエント トゥルー モーション エスティメータ ユージング キャンディデイト ベクトル フロム パラメトリック モーション モデル（Ａｎ Ｅｆｆｉｃｉｅｎｔ Ｔｒｕｅ−Ｍｏｔｉｏｎ Ｅｓｔｉｍａｔｏｒ Ｕｓｉｎｇ Ｃａｎｄｉｄａｔｅ Ｖｅｃｔｏｒｓ ｆｒｏｍ ａ Ｐａｒａｍｅｔｒｉｃ Ｍｏｔｉｏｎ Ｍｏｄｅｌ）」 アイトリプルイー トランザクション オン サーキッツ アンド システムズ フォー ビデオ テクノロジー（ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ）， ｖｏｌ．８， Ｎｏ．１ １９９８年２月 欧州特許出願公開ＥＰ ０５７８２９０

テレビジョン受像機の上位機種に用いられるアップコンバートのアルゴリズムは、水平方向の細い線または周期的な構造を処理する時に起こる予測誤差の影響を受ける。

動きベクトル検出において、水平方向の線での誤りは、インターレース方式のテレビジョン規格（典型的にはＰＡＬ、ＳＥＣＡＭまたはＮＴＳＣ）に従って送信されるビデオ信号に関し、インターレース方式での伝送制約により生じる。プログレッシブ方式の画像において、２つの隣り合う横方向の画素列により表現される水平方向の細い線の場合、このような線は、インターレース方式のビデオ信号では個々の線に分けられ、その結果、この２本の線のいずれか１つは最初のフィールドの一部となり、他方の線は、次のフィールドの一部となる。従って、後続のフィールドの線が、あるフィールドから上方向に繰り返し動くようになったり、次のフィールドから下方向に繰り返し動くようになったりした時、動き検出アルゴリズムははじめて、上下方向の動きベクトルを検出することになる。

他の問題点は、入力シーケンスが有する周期的構造により起こる。今回のブロック向けに動きベクトルが検出されると、互いに均等な検出誤差（つまり、ＳＡＤ値）を含みかつ複数の異なる動き検出結果を、動き検出アルゴリズムは返す。均等な検出品質により、検出アルゴリズムは、これらの動き検出結果のいずれかを選択する場合があるが、今回のブロックの正しい動きを決定できない。

例えば、６画素幅の周期的な構造を有するパターンは、フィールドにつき、７画素分のスピードで動くと仮定する。この仮定下で、正しい動き検出が実行されると、その結果得られる動きベクトルは７画素のずれを表す。しかしながら、１画素、−５画素、−１２画素または１３画素のずれを表す複数の動きベクトルもまた結果として、同じ低質な誤差値を有することになる。このような問題は、今回のブロックが移動画像オブジェクトの中に完全に入っている場合に起こる。

移動オブジェクトの正しい動きを正確に表す複数の動きベクトルを決定することができない場合、特に水平方向の線または周期的な構造を入力シーケンスについて、動き補償された画像に目に見える悪影響が生じる。

本発明は、動きベクトルの検出を改良し、さらに、動きベクトルを決定するために改良された方法および動き検出回路を提供することである。

上記目的は、独立形式の請求項により達成される。

本発明の第１の局面では、ビデオ画像のシーケンスにおいて現在の画像を構成するブロックについて動きベクトルを決定する方法が提供される。各ビデオ画像は、複数のブロックに分割される。動きベクトルの決定のために、本方法は、今回のブロックの動きベクトルについて、異なる複数の見積もりを発生する。誤差値は、動きベクトルの見積もりそれぞれについて、動きベクトルの見積もりにより参照された先の画像のブロックと、今回のブロックとに基づいて算出される。さらなる誤差値は、複数の動きベクトル見積もりのうち少なくとも１つについて、動きベクトルの見積もりにより参照された、他の先行する画像のブロックと、今回のブロックとに基づいて、算出される。今回の画像ブロックについてフィルムモードの指示を受信した場合、算出された両誤差値の一方だけが、動きベクトルを選択するために取得される。そうでない場合、単一の動きベクトルの見積もりに基づいて算出された複数の誤差値が、選択ステップ向けに単一の誤差値に結合される。また、そのような動きベクトルの見積もりは、最も小さい誤差値を有する今回のブロック向けの動きベクトルとして選ばれる。

本発明の他の局面によれば、ビデオ画像のシーケンスにおける現在の画像を構成するブロックについて動きベクトルを決定する動き検出回路が提供される。各ビデオ画像は、複数のブロックに分割される。本動き検出回路は、候補ベクトル発生器、第１および第２の誤差算出器、結合器および選択器を備える。候補ベクトル発生器は、現在のブロックの動きベクトル向けに異なる複数の見積もりを出力する。第１の誤差算出器は、該当する動きベクトルの見積もりで参照された先の画像のブロックと、今回のブロックとに基づいて、それぞれの見積もり向けに誤差値を算出する。第２の誤差算出器は、動きベクトルの見積もりで参照された、他の先行する画像のブロックと、今回のブロックとに基づいて、動きベクトルの見積もりの少なくとも１つについて、さらなる誤差値を算出する。今回の画像ブロックについてフィルムモードの指示を受信した場合、選択器は、算出された両誤差値の一方だけに基づいて、動きベクトルを選択する。そうでない場合、結合器は、単一の動きベクトルの見積もりに基づいて算出された複数の誤差値を、単一の誤差値に結合する。選択器は、そのような動きベクトルの見積もりを、最も小さい誤差値を有する今回のブロック向けの動きベクトルとして選択する。

本発明の具体的なアプローチは、複数の候補ベクトルから、動きベクトルを不正確に選択することを避けることにある。一般的に、動きベクトルの選択は、算出された誤差の最小値に基づく。本願発明は、先の画像を参照することにより算出された単一の誤差値を用いるだけではない。さらなる誤差値は、他の先の画像を参照することにより算出される。従って、動きベクトルの長さが調整される。算出された誤差値の両方について、同じ動きベクトルの見積もりを基礎とするものは、結合され、他の候補ベクトルの誤差値と比較される。このようにして、画像オブジェクトの本当の動きを適切に表さない動きベクトルには、算出された誤差値を加えることにより、実効的なペナルティが与えられる。検出処理の品質に依存して、同じ動きベクトルの見積もり向けに算出された第２の誤差値としては、間違った動きベクトル向けにより高い誤差値が導入されるので、これらベクトルは、今回のブロック向けの動きベクトルとして選ばれる見込みが無い。

不正確な動き検出処理向けの第２の誤差値は、細い線を含まない画像部分を参照することにより、誤差値が増大するように算出されるので、上記アプローチは、水平方向への線について行われる。

周期的なパターンの真正な動きは付加的な誤差値を用いることにより正確に検出される。なぜなら、誤差値を算出する場合に単一の画像だけを参照することから得られる、全ての間違った動きベクトルには、その周期的なパターンの動きにマッチしないさらなる画像を参照する場合、ペナルティが与えられるからである。以上のことから、本願発明によれば、単純な方法で、画像オブジェクトの真正な動きを検出することができる。

フィルムモードが検出された場合、少なくとも２つの連続するフィールドは、同じ画像から生じている。そのため、先行するフィールドは、現在のフィールドに対し時間的に近く、現在のフィールドまたは他の先行するフィールドと同じ動きの遷移を有している。従って、現在のフィールドに対し時間的に近くに位置する、先行するフィールドに基づく誤差値は、結合された誤差値を歪ませないであろう。このような単一の誤差値が歪むことを避けるために、現在の画像に対し時間的にさらに離れたその先行するフィールドだけが、誤差値を算出するために用いられる。

好ましくは、単一の動きベクトルの見積もり向けに算出された複数の誤差値に基づいて単一の誤差値として平均値が算出される。このようにして、先行する２画像に対する予測品質は、現在のブロック向けに適切な動きベクトルを選択した時に考慮される。

好ましい実施形態によれば、双方の誤差値は、平均値の算出前に、それぞれに異なる重みを割り当てることにより重みづけられる。このようにして、動きベクトルを選択する際、第２の誤差値の影響は調整される。

好ましくは、異なる重みが、算出された誤差値のそれぞれに用いられる。現在の画像を基準として時間的に近くの先行する画像にも基づいて算出された誤差値に大きな重みを割り当てることにより、異なる画像の種別がより適切に考慮される。

不均等な構造だけからなる複数の画像の動きは、時間的な距離が短い画像データを使って、より正確に検出され得る。それに対して、周期的構造向けの正しい動きベクトルは、２個の別々の誤差値を使って決定され得る。異なる大きなの重み（上述）により、単一の誤差値は、不均等な構造または周期的な構造を含む複数の画像向けに必要なことを同時に表すことを規定しうる。

特定の好ましい実施形態によれば、現在の画像を基準として時間的により近い先の画像に基づく誤差値に割り当てられる重みは、約４分の３であり、かつ、もう一方の誤差値に割り当てられる重みは、約４分の１である。これら特定の重みは、画像の種別が異なるという場合を同時に反映した最適な単一の誤差値で対処することを可能にする。

好ましくは、現在のブロックのブロック位置を指示するゼロ動きベクトル、現在の画像に対し隣接するブロックについて既に決定された動きベクトル、および、現在の画像に対し隣接するブロックについて既に決定されかつその長さが最新ベクトルを加算することにより可変な動きベクトル、先の画像のブロック向けに既に決定された動きベクトルの少なくとも１つが、現在のブロックの動きベクトルを選択するために候補ベクトルとして用いられる。

異なる検出方法に基づいて、現在のブロック向けの動きベクトルは、高能率かつ正確に決定され得る。

好ましくは、ビデオ画像のシーケンスは、インターレース形式のものであり、誤差値を算出するために参照された画像は、現在のフィールドに対し直前に位置する２つのフィールドである。

他の好ましい実施形態によれば、複数の誤差値は、動きベクトルの見積もり全て向けに算出される。

さらなる実施形態によれば、少なくとも、単一の動きベクトルの見積もり向けに第３の誤差値が、さらに先の画像を参照することにより算出される。このようにして、現在のブロック向けの動き検出は、正確さが改良されると共に実証され得る。

本発明の好適な実施形態は、従属請求項に記載の発明に対応する。

本発明の上記および他の目的および特徴は、以下の説明、および添付の図面と共に与えられる好適な実施形態からより明らかとなる。

本発明は、デジタル信号処理に関し、具体的には、最近のテレビジョン受像機の信号処理に関する。最新のテレビジョン受像機は、再生画像の品質向上のために、アップコンバージョンアルゴリズムを採用している。この目的のために、後の２画像から中間画像が生成されている。中間画像を生成するために、移動オブジェクトの動きは、補間画像により表される時点におけるオブジェクトを適切な位置に適合させるよう考慮されなければならない。

動き検出は、ブロック単位で実行される。この目的のために、受信画像のそれぞれは、例えば図１に図示されるように、複数のブロックに分割される。今回のブロックのそれぞれは、前の画像においてベストマッチのブロックを判定することによる動き検出に向けられる。

所定の範囲内で、時間のかかる全検索を避けるために、限られた候補ベクトルの組のみが動き検出器に与えられる。これらの候補ベクトルから、動き検出器は、所定のベクトルを選択する。所定のベクトルは、過去の画像の各ブロックから、今回のブロックを最低限の偏差で評価することができる。

図４は、所定の大きさを有する複数のブロックＢ（ｘ，ｙ）にビデオ画像が分割されることを示す。各ブロックは、幅Ｘおよび高さＹを有する。ここで、ＸおよびＹは、行方向および列方向の画素数を表す。行方向または列方向のブロックの数は、次式を用いることで算出できる。
ｘ_max＝行方向の画素数／Ｘ
ｙ_max＝列方向の画素数／Ｙ

これらブロックのそれぞれについて、動きベクトルは、相違する複数の候補ベクトルからが算出される。従来の候補ベクトルの組は例えば、下記のような動きベクトルを含む。

ここで、ｎは、現在のフィールドを示し、ｎ−１は、前のフィールドを示す。また、ｕは、最新ベクトルを示す。

上記７個の式から理解できるように、候補ベクトルは、ゼロベクトルである動きベクトル（Ｃ₁ ）、空間予測に向けられた隣接ブロックの動きベクトル（Ｃ₂ ，Ｃ₃ ）および／または時間予測に向けられた前の画像の動きベクトル（Ｃ₆ ，Ｃ₇ ）を含んでいても構わない。

空間予測は、空間予測ベクトルＣ₂ およびＣ₃ に積算される最新ベクトルを使うことで改良されうる。選択された候補ベクトルに対する移動オブジェクトの小さな変化を考慮するために、最新ベクトルは、新たな候補ベクトルＣ₄ およびＣ₅ を生成するために動きベクトルに応用される。上記において、最新ベクトルｕは、候補ベクトルＣ₂ およびＣ₃ にのみ応用されるとして説明したが、例えば候補ベクトルＣ₆ およびＣ₇ のような他の候補ベクトルに対し同様に応用されても構わない。

上述した時間予測ベクトルＣ₆ およびＣ₇ には、２ブロックのオフセットを有する候補ベクトルが利用されるとしたが、２ブロックのオフセットの代わりに、オフセットを用いなかったり、例えば１ブロックまたは３ブロックのような他のオフセットが用いられたりしても構わない。

時間予測ベクトルは現在の画像および前の画像に関し説明したが、言葉しての画像は、インターレース方式の映像シーケンスが有するフィールドに関連していたり、プログレッシブ方式の映像シーケンスが有するフレームに関連していたりしても構わない。同様に、生成される中間画像が、映像シーケンスの種類に依存してフィールドまたはフレームである場合もある。

さらに、複数の候補ベクトルは、上述したもの全てにより完成するものでも無く、さらには、全てを含まなくても良い。他の候補ベクトルの組が、今回のブロックに最もマッチングがとれた動きベクトルを判定するために用いられても構わない。

また、候補ベクトルのそれぞれに対し予測誤差は、ベストマッチの動きベクトルを判定するために算出され評価される。予測誤差として、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ）が測定される。その候補ベクトルは、最小のＳＡＤを有するブロックの動きを最も良く表すよう選ばれ考慮される。

動きベクトルの候補Ｃ₁ からＣ₇ のいくつかが他の候補ベクトルに対し優先される場合、プログラム可能なペナルティが、個々の候補向けに測定されたＳＡＤに加算されても構わない。この場合、特定の候補を選ぶことで、優先化される。好ましくは、ペナルティ値は、動きベクトルの候補Ｃ₄ およびＣ₅ 向けの最新ベクトルｕの長さに比例する。

上述した候補ベクトルに加え、グローバル動きベクトルがさらに考慮されても構わない。グローバル動きベクトルは、ビデオ画像の全ブロックに適用可能な動きを表す。このような動きベクトルは、カメラパンに適切に応用される。

図２には、空間予測ベクトルの例が示される。現在の画像ｎにおいて水平方向および垂直方向に隣接するブロックについて既に判定された動きベクトルは、現在のブロックＢ（ｘ，ｙ）の動きベクトル算出するために、空間予測ベクトルとして有用される場合がある。図２は、現在のブロックＢ（ｘ，ｙ）と、今回のフィールドｎから得られる２つの想定可能な空間予測動きベクトル示す。

さらに、図３は、先行するフィールドｎ−１から得られ、想定可能な時間予測ベクトルＢ’（ｘ＋２，ｙ）およびＢ’（ｘ，ｙ＋２）を示す。図２および図３には、特定のブロックが、時間動きベクトル予測および空間動きベクトル予測として示されている。しかしながら、当業者であれば、現在のブロック位置から他のオフセット値だけ離れている場合についても容易に想到できる。

図４には、フィールドレート変換器の構成が示されている。現在のフィールドｎおよび先のフィールドｎ−１から得られる画像データは、動き検出回路ＭＥおよび 動き補償付き補間回路ＭＣＩに与えられる。動き検出回路ＭＥは、動き補償付き補間回路ＭＣＩに与えられる現在の画像について、動きベクトルフィールドを算出する。動き補償付き補間回路ＭＣＩは、表示装置に表示すべき新たな画像データを生成する。

プログレッシブ形式の画像表現において２つの隣り合う線により表現される細い線については、インターレース形式のビデオ画像のシーケンスでは、図５に示すように分配される。細い線は、２つの隣り合う線の高さを有し、後続のフレーム同士の間では動かない。フレームがトップフィールドおよびボトムフィールドに分離される場合、単一の線は、トップフィールドおよびボトムフィールドにより交互に表示される２本の線に分離されることになる。その結果、フレームと比較して、フィールドの垂直方向への解像度が低下する。ＰＡＬ形式のフレームは、５７６線の解像度を有しているが、各フィールドは２８８線しか備えていない。従って、４８０線のＮＴＳＣフレームは、２４０線の２つのフィールドで構成される。

連続するフィールドにおいて、垂直方向の位置が変わりやすい線について、先のフィールドを参照する動き検出はいつも、個別の動きベクトルを検出する。

図６は、７画素／フィールドのスピードで動く６画素幅の周期的構造を示す。このような周期的構造の動きについて、動きベクトルを決定する場合、セレクタは、上記周期的構造に類似する複数の予測処理の１つを均等に選択する場合がある。例えば、７画素分または１画素分動くパターンは、同じ小さい誤差値になるであろう。

先のフィールドに基づいて時間予測を評価することにより、誤差値が算出されている間、周期的構造の周期（つまり、図６の例示における６画素）により相違する、正しい動きベクトルおよび他の候補の間に誤差値の差が無くなる。オブジェクトの動きを適切に反映していない動きベクトルの候補について、他の先の画像（例えば、フィールドｎ−２）に基づいて、さらなる誤差値を決定する場合、不正確な動きが検出され得る。そのため、本発明は、誤差値の算出時に、先の画像を考慮するだけでなく、他の先の画像を考慮することを提案する。図７には、その結果として得られる、異なる複数の動きの見積もりが示される。

図８には、本発明に係る動き検出回路の構成例が示される。現在の入力フィールドｎは、入力フィールドメモリ１１０に格納され、１フィールドの周期分、遅延手段１２１および１２３により二度遅延される。その後、入力フィールドは、さらなるフィールドメモリ１１３および１１６に格納される。２つの誤差値は、ＳＡＤ算出器１３０および１６０により、同じ候補ベクトルを使って並行して算出される。従って、第１の誤差値ＳＡＤ_field は、フィールドｎおよびｎ−１の画像データに基づいて、第１の誤差算出器１３０により算出される。第２の誤差値ＳＡＤ_frame は、フィールドｎおよびｎ−２の画像データを使って、第２の誤差算出器１６０により算出される。双方の誤差値は、単一の誤差値ＳＡＤ_weightedを算出するために、重み付けユニット１５０に与えられる。ここで、誤差値ＳＡＤ_weightedは、候補ベクトル発生器１４０により提供される複数の候補ベクトルＣ₁ からＣ₇ から、現在の動きベクトルを決定するために用いられる。

重み付けユニット１５０は、誤差値ＳＡＤ_field およびＳＡＤ_frame に対し重みを割り当てる。個々の誤差値ＳＡＤ_field およびＳＡＤ_frame から得られる、平均化された単一の誤差値は、双方の誤差値に概ね０．５の同じ重みを割り当てることにより算出することができる。

しかしながら、他の実施形態では、算出された誤差値の双方に異なる重みが与えられる。大きな重みは、現在の画像に対し時間的に近い先の画像に基づいて算出された誤差値ＳＡＤ_field に割り当てられる。従って、異なる画像の種類がさらに適切に考慮され得る。不規則な構造を備えている複数の画像の動きは、短い時間距離の画像に基づく誤差値を使って、より正確に決定され得るが、周期的構造について、動きベクトルは、２つの別々の誤差値を使って正確に決定される。テストが示すとおり、異なる画像の種類が必要なことを同時に反映する最適な単一の誤差値を、誤差値ＳＡＤ_field に０．７５の重みを割り当て、誤差値ＳＡＤ_frame に０．２５の重みを割り当てることで得ることができる。

誤差値の結合器１５０はさらに、算出された誤差値ＳＡＤ_field およびＳＡＤ_frame の双方に割り当てられた重みを示す重み付け処理の間考慮されたブロックモード信号またはフィールドモード信号を受信する。ブロックモード信号は、参照された画像データにおける特定の動きの遷移を示しても構わない。この手法では、双方の誤差値を結合させる時、特定の動きの遷移構造が考慮されても構わない。例えば、ブロックモード信号は、参照された画像データが、同一または異なるの動きの遷移に関連するか否か、従って重みを割り当てているか否かを示すことができる。

入力ビデオシーケンスについて検出された映画モードまたはビデオモードに従って、誤差値の結合器１５０による重み付け処理の間、映画モードが適切に考慮されている間、現在の動きの遷移が反復するように、重み付け処理は制御される。映画モードが検出されると、誤差値ＳＡＤ_frame だけが使われ、誤差値結合器１５０の出力に、誤差値ＳＡＤ_weightedとして渡される。これは、フィールドｎ−１は、フィールドｎと同じ動きの遷移を有するか、フィールドｎ−１は、フィールドｎ−２と同じ動きの遷移を有するという理由から行われる。そのため、誤差値ＳＡＤ_field は、結果であるＳＡＤを歪ませるだろう。

当業者は、ソースモード情報がフィールド単位であっても、ブロック単位であっても構わないことを容易に想到する。両方の変形例により、ビデオモードの素材および映画モードの素材について、良い検出結果が得ることができる。しかしながら、混在モードでは、ブロックベースのモード検出の方が良い検出結果をもたらすであろう。

全ての候補ベクトルについて、誤差値、好ましくは、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ）は、候補ベクトルＣ₁ からＣ₇ について２回算出される。フィールドｎおよびｎ−２間について第２の誤差値を算出する場合、動きベクトルの長さは調整される。つまり、動きベクトルの長さは、フィールドｎ−１向けに使われる動きベクトルの長さの２倍になる。

図８には示さないセレクタは、最小の誤差値ＳＡＤ_weightedを持つ動きベクトルの検出処理を選択する。

候補ベクトルＣ₁ からＣ₇ は、上述の検出アプローチと比較して異なる方法で算出されても構わない。上述の数値および検出方式は、それぞれの好ましい例を表すだけである。

さらに、別々の誤差値を単一の誤差値ＳＡＤ_weightedに結合するための重み付け機能はさらに、いわゆる「ペナルティ値」を加算するよう変形されても構わない。例えば、上述した動きベクトルの検出Ｃ₄ およびＣ₅ には、誤差値に、最新ベクトルｕの長さに比例する値を加算することによりペナルティが与えられる。

さらに、本発明は、アップコンバートアルゴリズムだけでなく、テレビジョン受像機に対する入力信号向けの標準の変換または、ビデオ圧縮を用いた動き検出に用いられても構わない。

前述では、中間画像の補間を背景に、特に、最新のテレビジョン受像機のフィールドレートまたはフレームレートの変換に向けて、本発明を説明したが、本発明に係る改良された動き検出は、ビデオデータ圧縮に相当するものに適用されても構わない。

ビデオデータ圧縮は、一般的に、多くの段階を経る（図９を参照）。個々の画像は、ブロック単位でデータ圧縮の対象となるため、複数の画素からなるブロックに分割される。このようなブロック分割は、図１に示すような分割であっても構わない。画像に含まれる空間的な冗長さは、空間領域から周波数領域に各ブロックに含まれる画素を変換するために、変換ユニットに各ブロックを処理させることで低減される。このようにして変換された係数は量子化され、量子化された変換係数は、エントロピー符号化される。

さらに、後続の画像のブロック間の時間的従属性は、後続の画像間の差分を送信するためだけに使われる。これは、動き検出／補償技術を用いることにより実現される。時間的従属性は、統計型符号化と共に時間圧縮および空間圧縮技術を組み合わせたいわゆるハイブリッド符号化技術を実行する際に用いられる。

図９には、ハイブリッド映像符号化器が例示されている。参照符号「１」で一般的に示す映像符号化器は、減算器１０をまず備える。減算器１０は、今回のビデオ画像と、動き補償されかつ先行して符号化され画像に基づく今回の画像の予測信号との差分を決定する。変換／量子化ユニット２０は、空間領域から周波数領域へと予測誤差を変換し、そうして得られた変換係数を量子化する。エントロピー符号化ユニット９０は、量子化された変換係数をエントロピー符号化する。

符号化器１は、入力ビデオシーケンスの後続画像間の差分を送信するだけの差分パルス符号変調（Ｄｉｆｆｅｒｅｎｔｉａｌ Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ：ＤＰＣＭ）を用いている。これら差分は、符号化されるべきビデオ画像と、減算されるべき予測信号とを受け取る減算器１０により決定される。

予測信号は、デコーダ側で先行して符号化された画像の復号結果に基づく。画像の復号は、映像符号化器に組み込まれる復号ユニットにより実行される。復号ユニットは、符号化ステップと反対の処理を実行する。逆量子化／逆変換ユニット３０は、量子化された係数を逆量子化し、逆量子化された係数を逆変換する。加算器３５は、復号された差分と予測信号とを積算する。

予測信号は、現在および先行のフィールドまたはフレーム間の動きを検出した結果として得られる。動き検出は、現在の入力信号および内部で復号された画像とを受信する動き検出器７０により実行される。動き検出は好ましくは、本発明に従って実行される。動き検出の結果に基づき、動き補償は、動き補償器６０により実行される。

要約すると、本発明は、動き検出のための改良された方法を提供する。そのため、動きベクトル検出の予測品質は２回評価され、すなわち、２つの先行するフィールドに基づいて個々に予測品質を比較し、さらには、複数の候補ベクトルから最高の動きベクトル検出を選択するために、算出された誤差値の双方を単一の誤差値に結合する。このようにして、画像オブジェクトの現実の動きを決定し、単一の先の画像を参照するだけでは検出不可能な不正確な検出を除去することで改良される。

本発明に係る動きベクトル検出は、より正確な動きベクトルを決定することが要求されるテレビジョン受像機または映像符号化器等に有用である。

動き検出のため、均等なサイズの複数のブロックにビデオ画像を分割する様子を示す図 空間予測ベクトルを例示する図 空間予測ベクトルおよび時間予測ベクトルを例示する図 フィールドレート変換器の構成を示す図 インターレース方式のビデオシーケンスにおける水平方向への細い線を例示する図 単一の先のフィールドを参照する、異なる候補ベクトルによる周期的構造の予測を例示する図 ２つの異なる先のフィールドを参照することにより予測品質が評価される場合における、異なる候補ベクトルによる周期的構造の予測を示す図 本発明に係る動き検出回路の構成を例示する図 動き検出を含む複合型ビデオエンコーダの構成例を示す図

符号の説明

１１０，１１３，１１６ フィールドメモリ
１２１，１２３ フィールド遅延
１３０，１６０ ＳＡＤ算出器
１４０ 候補ベクトル発生器
１５０ ＳＡＤ重み付け
１０ 減算器
２０ 変換／量子化ユニット
３０ 逆変換／逆量子化ユニット
３５ 加算器
３７ ブロック解除フィルタ
６０ 動き補償付き予測器
７０ 動き検出器
９０ エントロピー符号化ユニット

Claims (34)

1. それぞれが複数のブロックに分割されているビデオ画像のシーケンスにおける現在の画像を構成するブロックについて、動きベクトルを決定するための方法であって、前記方法は、
   現在のブロックの動きベクトルについて、異なる見積もりを発生する発生ステップと、
   動きベクトルの見積もりで参照された先の画像（以下、第１の先の画像と称す）のブロックと、現在のブロックとに基づいて、動きベクトルの見積もりそれぞれについて、第１の誤差値を算出する第１の算出ステップと、
   動きベクトルの見積もりで参照された他の先の画像（以下、第２の先の画像と称す）におけるブロックと、現在のブロックとに基づいて、少なくとも１つの動きベクトルの見積もりについて第２の誤差値を算出する第２の算出ステップと、
   単一の動きベクトルの見積もりに基づいて算出された前記第１および前記第２の誤差値を、単一の誤差値に結合する結合ステップと、
   現在のブロックについてフィルムモードの指示を受信する受信ステップと、
   前記フィルムモードが、現在のブロックがフィルムモードを指示する場合、第２の誤差値を前記単一の誤差値として出力する出力ステップと、
   動きベクトルの見積もりを、現在のブロックについて最小の誤差を有する動きベクトルとして選択する選択ステップとを備える、方法。
2. 前記第１および前記第２の誤差値は、平均値を算出することにより結合される、請求項１に記載の方法。
3. 前記第１および前記第２の誤差値は積算され、積算された前記第１および第２の誤差値の個数により割り算される、請求項１または２に記載の方法。
4. 前記第１および前記第２の誤差値は、積算前に重みづけられる、請求項１−３のいずれかに記載の方法。
5. 異なる重みが前記第１および前記第２の誤差値に割り当てられる、請求項４に記載の方法。
6. 前記第１の先の画像に関し前記第１の誤差値に割り当てられる重みは、前記第２の先の画像に関し前記第２の誤差値に割り当てられる重みよりも大きい、請求項４または５に記載の方法。
7. 前記第１の先の画像に関し前記第１の誤差値に割り当てられる重みは、約４分の３であり、かつ、前記第２の先の画像に関し前記第２の誤差値に割り当てられる重みは、約４分の１である、請求項４−６のいずれかに記載の方法。
8. 動きベクトルの見積もりは、
   現在のブロックのブロック位置を指示するもの、
   現在の画像において隣接するブロック向けに既に決定されている動きベクトルに対応するもの、
   現在の画像において隣接するブロック向けに既に決定されており、かつその長さが最新ベクトルの加算により変化する動きベクトルに対応するもの、および
   先の画像に含まれるブロック向けに既に決定されている動きベクトルに対応するもの、
   のうち、少なくとも１つに基づいている、請求項１−７のいずれかに記載の方法。
9. 前記誤差値は、動きベクトルの見積もりにより参照されたブロックと、現在のブロックとの間における画素の差分を蓄積することに基づいて算出されている、請求項１−８のいずれかに記載の方法。
10. 前記ビデオ画像のシーケンスは、インターレース形式のものである、請求項１−９のいずれかに記載の方法。
11. 前記第２の先の画像は、前記ビデオ画像のシーケンスにおいて、前記第１の先の画像に対し先行する画像である、請求項１−１０のいずれかに記載の方法。
12. 動きベクトルの見積もりの長さは、前記第２の先の画像に対する時間的距離に従って調整される、請求項８に記載の方法。
13. 単一の動きベクトルの見積もり向けに複数の誤差値が、複数の予測ベクトルの全てについて算出される、請求項１−１２のいずれかに記載の方法。
14. 前記ビデオ映像のシーケンスは、インターレース形式のものであって、前記動きベクトルの見積もりにおいて参照される第１の先の画像は、現在のフィールドに対し直前のフィールドであり、さらに、前記第２の先の画像は、前記参照される画像に対し直前のフィールドである、請求項１−１３のいずれかに記載の方法。
15. さらに先の画像を参照することにより、単一の動きベクトルの見積もり向けに、少なくとも第３の誤差値を算出する算出ステップをさらに備える、請求項１−１４のいずれかに記載の方法。
16. 請求項１−１５のいずれかに記載の動き検出方法を含む、ビデオ画像のシーケンスを符号化する方法。
17. 請求項１−１５のいずれかに記載の動き検出方法を用いた動き補償を含む、ビデオ画像のシーケンスを補間する方法。
18. それぞれが複数のブロックに分割されているビデオ画像のシーケンスにおける現在の画像を構成するブロックについて、動きベクトルを決定するための動き検出回路であって、前記動き検出回路は、
    現在のブロックの動きベクトルについて、異なる見積もりを発生する候補ベクトル発生器と、
    動きベクトルの見積もりで参照された先の画像（以下、第１の先の画像と称す）のブロックと、現在のブロックとに基づいて、動きベクトルの見積もりそれぞれについて第１の誤差値を算出する第１の誤差算出器と、
    動きベクトルの見積もりで参照された他の先の画像（以下、第２の先の画像と称す）におけるブロックと、現在のブロックとに基づいて、少なくとも１つの動きベクトルの見積もりについて第２の誤差値を算出する第２の誤差算出器と、
    単一の動きベクトルの見積もりに基づいて算出された前記第１および第２の誤差値を、単一の誤差値に結合する結合器とを備え、
    前記結合器は、現在のブロックについてフィルムモードの指示を受信し、前記フィルムモードにより、現在のブロックがフィルムモードであると指示されている場合、第２の誤差値を前記単一の誤差値として出力し、
    前記動き検出回路はさらに、動きベクトルの見積もりを、現在のブロックについて最小の誤差を有する動きベクトルとして選択する選択ステップを備える、動き検出回路。
19. 前記結合器は、前記第１および前記第２の誤差値に基づいて平均値を算出する、請求項１８に記載の動き検出回路。
20. 前記結合器は、前記第１および前記第２の誤差値を積算し、積算した前記第１および第２の誤差値の個数で、積算された合計を割り算する、請求項１８または１９に記載の動き検出回路。
21. 前記結合器は、前記第１および前記第２の誤差値を重み付けする、請求項１８−２０のいずれかに記載の動き検出回路。
22. 前記結合器は、前記第１および前記第２の誤差値に、異なる重みを割り当てる、請求項２１に記載の動き検出回路。
23. 前記結合器は、前記第１の先の画像に関する前記第１の誤差値に、前記第２の先の画像に関する前記第２の誤差値に割り当てられる重みよりも大きい重みを割り当てる、請求項２１または２２に記載の動き検出回路。
24. 前記第１の先の画像に関する前記第１の誤差値に割り当てられる重みは、約４分の３であり、かつ、前記第２の先の画像に関する前記第２の誤差値に割り当てられる重みは、約４分の１である、請求項２１−２３のいずれかに記載の動き検出回路。
25. 前記候補ベクトル発生器は、
    現在のブロックのブロック位置を指示する動きベクトルの見積もり、
    現在の画像において隣接するブロックについて既に決定されている動きベクトルに対応する動きベクトルの見積もり、
    現在の画像において隣接するブロックについて既に決定されており、かつその長さが最新ベクトルの加算により変化する動きベクトルに対応する動きベクトルの見積もり、および
    先の画像に含まれるブロック向けに既に決定されている動きベクトルに対応する動きベクトルの見積もり、
    のうち、少なくとも１つを発生する、請求項１８−２４のいずれかに記載の動き検出回路。
26. 前記誤差算出器のそれぞれは、動きベクトルの見積もりにより参照されたブロックと、現在のブロックとの間における画素の差分を蓄積することに基づいて、誤差値を算出する。請求項１８−２５のいずれかに記載の動き検出回路。
27. 前記ビデオ画像のシーケンスは、インターレース形式のものである、請求項１８−２６のいずれかに記載の動き検出回路。
28. 前記第２の先の画像は、前記ビデオ画像のシーケンスにおいて、前記第１の先の画像に対し先行する画像である、請求項１８−２７のいずれかに記載の動き検出回路。
29. 前記第２の誤差算出器は、動きベクトルの見積もりの長さを、前記第２の先の画像に対する時間的距離に従って調整する、請求項１８−２８のいずれかに記載の動き検出回路。
30. 前記ビデオ映像のシーケンスは、インターレース形式のものであって、前記動きベクトルの概算において参照される第１の先の画像は、現在のフィールドに対し直前のフィールドであり、さらに、前記第２の先の画像は、前記参照される画像に対し直前のフィールドである、請求項１８−２９のいずれかに記載の動き検出回路。
31. 前記第２の誤差算出器は、単一の動きベクトルの見積もり向けに複数の誤差値を、複数の予測ベクトルの全てについて算出する、請求項１８−３０のいずれかに記載の動き検出回路。
32. さらに先の画像を参照することにより、単一の動きベクトルの見積もり向けに、少なくとも第３の誤差値を算出する第３の誤差算出器をさらに備える、請求項１８−３１のいずれかに記載の動き検出回路。
33. 請求項１８−３２のいずれかに記載の動き検出回路を含む、ビデオ画像のシーケンスを符号化する符号化器。
34. 請求項１８−３２のいずれかに記載の動き検出回路を用いた動き補償を含む、ビデオ画像のシーケンスを補間する補間器。
    
    
    

Images