JP2003528500A - 動き推定アルゴリズム - Google Patents

動き推定アルゴリズム

Info

Publication number
JP2003528500A
JP2003528500A JP2001568619A JP2001568619A JP2003528500A JP 2003528500 A JP2003528500 A JP 2003528500A JP 2001568619 A JP2001568619 A JP 2001568619A JP 2001568619 A JP2001568619 A JP 2001568619A JP 2003528500 A JP2003528500 A JP 2003528500A
Authority
JP
Japan
Prior art keywords
motion vector
search
vector candidate
pixel
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001568619A
Other languages
English (en)
Inventor
イー ラケット，アルバート
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Philips Electronics NV filed Critical Philips Electronics NV
Publication of JP2003528500A publication Critical patent/JP2003528500A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/557—Motion estimation characterised by stopping computation or iteration based on certain criteria, e.g. error magnitude being too large or early exit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/533—Motion estimation using multistep search, e.g. 2D-log search or one-at-a-time search [OTS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

(57)【要約】 動き推定を実行する処理において、現ピクチャにおける現ブロック・オフ・ピクセルに対する最適な動きベクトルを識別する方法。本方法は、現ブロック・オフ・ピクセルのピクセル値と参照ブロック・オフ・ピクセルの対応する数のピクセル値との間の差を表す誤差値を各動きベクトル候補に対して計算することによって、現ブロック・オフ・ピクセルに対する複数の動きベクトル候補を評価する（３０）ことによって実現される。各動きベクトル候補を評価する間、好ましくは複数の地点で、誤差値がチェックされる。誤差値を計算する間、その動きベクトル候補が所定の閾値を下回ると判断されると、その動きベクトル候補に対する評価を中断する（４０、５０）。計算された誤差値が最も低かった動きベクトル候補が現ブロック・オフ・ピクセルに対する最適な動きベクトルとして選ばれる。これら動きベクトル候補は、最適な動きベクトル候補となる確率が元々高い動きベクトル候補を評価することを含む第一の段階と、個々の動きベクトル候補評価について所定の検索領域内の異なる参照ブロック・オフ・ピクセルを識別するために、参照ピクチャの所定の検索領域内で空間的検索を実行することを含む第二の段階とを含む２つの異なる段階で評価されることが好ましい。

Description

【発明の詳細な説明】
【０００１】 （発明の背景） 本発明は、概して、ディジタル・ビデオ・エンコーダにおいて特に有用な、ハ
ードウェア効率が良く、高性能な動き推定アルゴリズムに関する。本動き推定ア
ルゴリズムは、更に、フィールド・レート変換器などの他のビデオ信号処理器に
おいて用いられてもよい。
【０００２】 ディジタル・エンコードされたビデオ・データ（「ディジタル・ビデオ・デー
タ」）を所定の画質で送信するのに必要な帯域幅を小さくするためにビデオ・デ
ータをディジタル・エンコードする（「圧縮する」）多くの異なるビデオ圧縮ア
ルゴリズムが開発されてきている。複数のマルチメディア規格委員会が設立され
、オーディオ及びビデオ・データをエンコード及び圧縮する規格が提案されてい
る。Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅｓ Ｅｘｐｅｒｔ Ｇｒｏｕｐ（ＭＰＥＧ）
は、ＭＰＥＧ−１及びＭＰＥＧ−２規格などの最も幅広く知られ、受け入れられ
ている国際的規格を提案してきている。これら動画圧縮用のＭＰＥＧ規格は、デ
ィジタル多目的（若しくはビデオ）ディスク（ＤＶＤ）プレイヤや、ＤＶＤ再生
能力を持ったマルチメディアＰＣ、衛星放送ディジタル・ビデオなどの現在の多
様なビデオ再生製品において用いられている。
【０００３】 ＭＰＥＧ規格は、通常、高画質を提供するが、用途によっては過大なデータレ
ート／帯域を要求する。特に、テレビ会議は、通常、ＭＰＥＧによって得られる
コーディング解像度を必要としない用途である。なぜなら、通常、ピクチャ内容
がピクチャ毎に大幅に変化するわけではないからである。例えば、ほとんどの動
きは、会議出席者の頭及び肩が位置する菱形のピクチャ領域に限定される。すな
わち、テレビ会議に用いると、動画シーケンスにおける動きがほとんど無く、ピ
クチャ毎に大幅な重複が生じるため、結果として、所定の画質に対して可能なビ
デオ・データの圧縮度が大幅に高くなる。その上、多くのテレビ会議システムに
使用可能な帯域幅は２Ｍビット／秒未満であり、ＭＰＥＧ伝送に対してあまりに
も低過ぎる。
【０００４】 ＭＰＥＧと同様に、Ｈ．２６１エンコーディング・アルゴリズムはＤＣＴ（離
散コサイン変換）コーディングとデファレンシャル・コーディングとの組み合わ
せを用いる。但し、Ｉピクチャ及びＰピクチャのみが用いられる。Ｉピクチャは
、そのピクチャに含まれる情報だけを用いてコード化される。故に、「内部コー
ド化」若しくは「内部」ピクチャと呼ばれる。Ｐピクチャは、過去の参照（若し
くは「アンカ」）ピクチャからの情報に基づいて動き補償予測（若しくは「動き
推定」）を用いてコード化される。故に、「予測」若しくは「予想」ピクチャと
呼ばれる。Ｈ．２６１規格によれば、圧縮ディジタル・ビデオ・データ・ストリ
ームは、４つのレイヤ：ピクチャ、グループ・オブ・ブロック（ＧＯＢ）、マク
ロブロック（ＭＢ）、及びブロック、に階層的に配置される。ピクチャは最上位
レイヤである。各ピクチャはグループ・オブ・ブロック（ＧＯＢ）内へ分割され
る。１つのＧＯＢは、ＣＩＦ（共通中間形式）ピクチャの各１／１２である。各
ＧＯＢは３３マクロブロックへ分割される。各マクロブロックは１６×１６ピク
セル列から成る。
【０００５】 すなわち、ちょうどＭＰＥＧのように、Ｈ．２６１は、シーケンシャル・ピク
チャの動きによって変化する部分をコード化するのに、可能な限り、動き推定を
用いる。特に、Ｈ．２６１は、所定のＮ×Ｎピクセルの検索領域内での現マクロ
ブロックのピクセルとアンカ・ピクセルにおける対応するピクセル列との間の比
較に基づいて、「マクロブロック」のアンカ・ピクチャ内での原位置に対する現
ピクチャ内での位置を識別する「動きベクトル（ＭＶ）」を用いる。Ｈ．２６１
規格によれば、最小検索領域は、±７ピクセルであり、最大検索領域は、±１５
ピクセルである。すべてのＨ．２６１用途において最大検索領域を用いることは
圧縮信号の品質を向上させるのに必ずしも必要でないことは明らかである。この
点、Ｈ．２６１アプリケーションは、６４キロビット／秒から１，０８４キロビ
ット／秒にわたる多様なビットレートで動作することができるため、実際に採ら
れる検索領域は変わり得る。例えば、高速ビットレートにおいては、隣接ピクチ
ャ間の時間的距離がより小さくなるため、より小さい検索領域を用いて所定の画
質を実現することができる。低速ビットレートにおいては、状況は逆転し、所定
の画質を実現するためにはより大きい検索領域が必要となる。
【０００６】 特定のマクロブロックに対する動きベクトルが一旦決定されると、アンカ・ピ
クチャにおいて該動きベクトルに最も一致するマクロブロックのピクセル値が現
マクロブロックの対応するピクセルから差し引かれる。次いで、得られた差分値
が、離散コサイン変換（ＤＣＴ）アルゴリズムを用いて変換され、その得られた
係数が、（そのマクロブロックに関連及び一致する動きベクトル及び他の情報と
同様に）それぞれ量子化され、ハフマン・コーディングを用いてエンコードされ
る。動き推定処理中に、アンカ・ピクチャにおいて適当なマクロブロックの一致
が検知されなかった場合（すなわち、差分値が所定の閾基準を超えた場合）、又
は、現ピクチャがＩピクチャの場合、そのマクロブロックは「内部」マクロブロ
ックに指定され、相応のコード化が為される。
【０００７】 Ｈ．２６１規格は、用いられる動き推定アルゴリズムの実施態様を特段指定し
ない。換言すれば、Ｈ．２６１は、動き推定アルゴリズムの実施の詳細をテレビ
会議システムの製造業者に任せている。一般的に、現マクロブロックに対して最
も一致する（すなわち、差分／誤差が最小な）アンカ・ピクチャ内のピクセル列
の位置を計算するために、様々な測定若しくは方法が利用され、提案されてきた
。更に、アンカ・ピクチャにおける最も一致するマクロブロックを検索し、場所
をつきとめる様々な動き推定アルゴリズムが利用され、提案されてきた。これら
動き推定（Ｍ．Ｅ．）アルゴリズムは、通常、例えばテレビ会議システムにおけ
るビデオ・データのエンコーディングに従事するＰｈｉｌｉｐｓ Ｓｅｍｉｃｏ
ｎｄｕｃｔｏｒｓによって製造・販売されているＴｒｉＭｅｄｉａなどのプロセ
ッサ上で作動するソフトウェアによって実行される。何よりも重要な目標は、ア
ンカ・ピクチャにおける最も一致するマクロブロックの場所をできる限り素早く
特定しつつ、そのアルゴリズムを実行するプロセッサに掛かる負荷を低減させ、
且つ、誤差／間違いを許容し得るレベルに維持することである。この動き推定検
索アルゴリズムを実際に実行するハードウェア／ソフトウェアは、「検索エンジ
ン」と呼ばれる場合もある。検索エンジンに関して、何よりも重要な目標は、動
き推定アルゴリズムを実行するのに必要なリソースを低減させつつ、その性能を
最適化することである。簡潔に言えば、基本的目標は、計算労力及び計算時間を
最小化である。
【０００８】 一致についての質を評価するための基準若しくは方法の中で最も良く知られた
ものは、絶対差分合計（ＳＡＤ）及び二乗差分合計（ＳＳＤ）である。ＳＡＤ法
は、現マクロブロックにおけるＮピクセル（１６×１６マクロブロックの場合、
Ｎ＝２５６）のそれぞれと、アンカ・ピクチャにおける評価中の比較マクロブロ
ックの対応するピクセルのそれぞれとの差分の絶対値の合計を構成する。ＳＳＤ
法は、上記ピクセル差分の二乗の合計を構成する。所定の動き推定検索シーケン
ス中、最小のＳＡＤ若しくはＳＳＤ値（どちらの基準／方法が用いられても）を
もたらすアンカ・ピクチャにおけるマクロブロック候補が「最も一致する」もの
として選ばれる。このマクロブロックの水平及び垂直位置（すなわち、ｘ、ｙ位
置）の現マクロブロックに対する相対位置（すなわち、ｘ、ｙ「オフセット」）
若しくはその微分は、現マクロブロックについての「動きベクトル」として指定
される。ＳＡＤ若しくはＳＳＤ値（いずれが用いられても）が所定の閾値より大
きい場合、現マクロブロックに対する適切な一致が存在しないと判断され、内部
マクロブロックとしてコード化される。一般的に、ＳＡＤ法は、ＳＳＤ法よりも
、計算が容易且つ高速であるが、正確性の点で劣る。換言すれば、ＳＳＤ法の計
算は、ＳＡＤ法の計算よりも大きなプロセッサ能力を必要とするため、「費用関
数」の観点から、より「高価」であるとみなすことができる。
【０００９】 Ｈ．２６１領域において、検索範囲を±１５ピクセルとすると、９６１個の動
きベクトル候補を評価しなければならない。すなわち、アンカ・ピクチャの所定
の検索範囲内には、評価中の現マクロブロックと「最も一致する」可能性のある
マクロブロックサイズの異なるピクセル列が全部で９６１個存在する。評価され
る各動きベクトルは、異なる平均二乗誤差（ＭＳＥ）差分値をもたらす。最小の
ＭＳＥ値を有する動きベクトルが真に「最も一致する」。各動きベクトル評価は
非常に多くの引き算及び足し算を必要とするため、所定の検索範囲内にある９６
１個の異なる動きベクトルのそれぞれについてＭＳＥ値を計算することは、動き
推定検索エンジンにとって完全に非現実的である。この理論上の「完全検索アル
ゴリズム」は、常に真に「最も一致する」ものを生成する。しかし、実施の観点
から非現実的であるため、所定の検索エンジン内の動きベクトルのすべてのセッ
トのうちの一部のみを評価する「サブサンプリング」とも呼ばれる技術を用いる
ことを可能にするために、参照若しくはベンチマークとして用いられるのみであ
る。このサブサンプリング技術を用いる動き推定アルゴリズムは「高速検索アル
ゴリズム」とも呼ばれる。なぜなら、それらは「完全検索アルゴリズム」よりも
少ない計算量を有し、より速く実行されることが可能であるためである。
【００１０】 一般的に言えば、動き推定検索のスピードと動き推定検索の正確性（すなわち
、エンコードされたディジタル・ビデオ・データの画質）との間には固有のトレ
ードオフが存在する。更に、検索エンジンの性能は、生成するデータ群を少なく
する能力に直接的に関連する。この点、現マクロブロックと選択された参照ピク
チャにおける「最も一致する」マクロブロックとの間のＭＳＥ値を１／ｎに減ら
す動き推定アルゴリズムは、性能を約ｎ倍に向上させる。このように、何よりも
重要な目標は、必要とされる計算労力及び計算時間を最小化しつつ、性能を最適
化する動き推定アルゴリズム（検索戦略）を作り出すことである。この点、動き
推定は、費用関数の最小値を見つけるための最適化問題と数学的に同等であると
考えられる。
【００１１】 本発明の基礎を為す原理のより良い理解を促進するために、動き推定検索の理
論的枠組みを以下にレビューする。概略として、ＭＳＥ差分（Ｈ．２６１領域で
は９６１個のＭＳＥ差分）の列は、誤差に比例した高さを有する「誤差面」とし
て視覚化されてもよい。テレビ会議でのほとんどのシーンにおいて、大部分は低
空間周波数データであるため、誤差面も、通常は低空間周波数であり、最小誤差
の周辺に１つ若しくは数個のみの「谷」を有する滑らかな波形である。Ｈ．２６
１領域における誤差面のこれら特性により、動き推定のための最小誤差値検索に
おいて厳格なサブサンプリングを用いることができる。特に、任意の一動きベク
トル候補評価に関連する誤差値は、その検索空間の全領域についての情報を提供
し、２つの動きベクトル候補評価に関連する２つの誤差値はその２つの候補間の
誤差面の傾きに関する情報を提供する。チェス盤を画像化する場合などに病的な
ケースが起こり得る。このような画像においては、白い正方形とが白い正方形と
一致するすべてのケースにおいて誤差面が低下し、ビッショプ及びナイトも並べ
られている場所の真の最小誤差値を探すことに挑むことになる。このように、サ
ブサンプリングは誤った判断を導き得ると評価でき、更に、あらゆる検索戦略の
「成功」（正確性／解像度）は、他のすべての条件が等しければ、評価されるサ
ンプル数（すなわち、サンプリング密度）に相関すると評価することができる。
更に、サブサンプリングに基づく検索戦略の成功は誤差面の連続性にも少なくと
も幾分依存すると評価できる。
【００１２】 一マクロブロックから空間的に隣接するマクロブロックへのベクトル補正、及
び、一フレームにおけるマクロブロックから後続フレームにおける同じマクロブ
ロックへのベクトル補正も存在する。例えば、会議出席者の肘がフレームｎにお
いて３ピクセル北西に動いた場合、隣接マクロブロックにおけるその会議出席者
の手はフレームｎにおいて同じ種類の動きを有すると共に、両マクロブロックは
フレームｎ＋１において同様のベクトルを有することが合理的に推定され得る。
これら空間的・時間的補正は不完全ではあるが、無視するには確からし過ぎる。
しかし、これら空間的・時間的補正のみに基づく検索戦略は、動き補償／動きコ
ーディングから得られる利益の一部を提供できるに過ぎない。
【００１３】 既に提案されている動き推定アルゴリズムは、誤差面の簡易さにあまりにも依
存しているため、それを正確に解釈する確率を大幅に減らしている。例えば、特
に効率的な動き推定アルゴリズムの一カテゴリは、「ディメンション・シーケン
シャル」法で作動するものである。このカテゴリ内の動き推定アルゴリズムは詳
細において可変であるにもかかわらず、「ディメンション・シーケンシャル」法
で作動する例示的動き推定アルゴリズムについての以下の説明はこのカテゴリの
動き推定アルゴリズムの持つ上述の弱さを説明するのに役立つべきである。特に
、この例示的アルゴリズムによれば、評価の第一シリーズは、水平軸に沿った第
一最小誤差点を見つけるために、水平軸に沿って実行される。評価の第二シリー
ズは、上記識別された第一最小誤差点を通る垂線に沿って実行され、この垂線に
沿った第二最小誤差点が識別される。この検索は検索空間の水平及び垂直ディメ
ンションにおいて交互に実行されるため、「ディメンション・シーケンシャル」
処理として考えられる。次いで、候補間の間隔が減らされ、ディメンション・シ
ーケンシャル処理が繰り返され、識別された各最小誤差点における候補列を見つ
ける。最後に、時間が許せば、最後の「勝者」（すなわち、最小誤差値を有する
候補）のすぐ隣りが評価されてもよい。このディメンション・シーケンシャル方
法に必要な評価総数は最小であるが、誤差面が１以上の「谷」を含む場合、誤差
面全体における真の最小誤差を見逃す可能性が非常に高い。
【００１４】 ほとんどの動き推定アルゴリズムは、二次元で作動し、幾分解像度が高い（す
なわち、検索範囲／領域がせまい）レベルにおいても作動する。故に、マルチレ
ベル若しくは階層的と考えられる。例示的階層アルゴリズムは、４つの階層レベ
ルのそれぞれの解像度を２倍にする。各レベルにおいて、４５°間隔の８つのベ
クトルが図１に示すようにそれぞれ評価される。ベクトル・サイズが等しく確か
らしければ、それが最適解像度を表すことになる。しかし、この戦略はテレビ会
議データ群における非常にピークのとがったベクトル分散にマッチしない。この
点、動き推定の利点のほとんどは、小さいベクトルから導かれるが、上述の例示
的階層アルゴリズムは大きなベクトルを検索するのにほとんどの時間を費やして
しまう。それが検索シーケンスを修正することを提案する誤差面データを無視す
る時、その動作において全く適応性のないものとなる。途中で決定された誤差面
の形状にかかわらず、各レベルにおいて、「北西方向の」候補が最初に評価され
、「南西方向の」候補が最後に評価される。すなわち、検索シーケンスは、検索
シーケンス中に為された決定に基づかない。
【００１５】 常に評価数の低減を意味する処理負荷を低減することを望む場合、最も明白な
戦略はより粗くサンプリングすることである。この点について、１９８０年代後
半から「Ｒｅｍｂｒａｎｄｔ」というブランド名でＣｏｍｐｒｅｓｓｉｏｎ Ｌ
ａｂｓ， Ｉｎｃ．（ＣＬＩ）によって製造・販売されている５６キロビット／
秒のコーデックは、図２に示すような、各レベルにおいて、９０°間隔の４つの
ベクトルを評価し、４５°回転させた別のレベルで該パターンを評価する動き推
定アルゴリズムを採用した。オフセットは、偶数レベルにおけるＮ、Ｅ、Ｗ、及
びＳであり、奇数レベルにおけるＮＥ、ＳＥ、ＳＷ、及びＮＷであった。この動
き推定アルゴリズムは目的とされた用途に対しては非常に機能するが、テレビ会
議用途においては、この検索スキームは、サンプリングが少ないために、最適ベ
クトルをしばしば見逃す。
【００１６】 （発明の開示） 以上に基づき、現在使用可能な技術の欠点及び欠陥を克服する動き推定アルゴ
リズムへの必要性が本分野に存在する。本発明は、本分野における上記必要性を
満たすと共に、要求される計算時間及び計算労力を減らすシンプル且つ多目的性
に富んだ実行を有する。本発明は、独立クレームによって定義される。従属クレ
ームは有益な実施形態を定義する。
【００１７】 本発明の好ましい実施形態は、動き推定を実行する処理において、現ピクチャ
における現ブロック・オフ・ピクセルに対する最適な動きベクトルを識別する方
法を包含する。この方法は、現ブロック・オフ・ピクセルのピクセル値と参照ブ
ロック・オフ・ピクセルの対応する数のピクセル値との間の差を表す誤差値を各
動きベクトル候補に対して計算することによって、現ブロック・オフ・ピクセル
に対する複数の動きベクトル候補を評価することによって実現される。各動きベ
クトル候補を評価する間、好ましくは複数の地点で、誤差値がチェックされる。
誤差値を計算する間、その動きベクトル候補が所定の閾値を下回ると判断される
と、その動きベクトル候補に対する評価が中断される。計算された誤差値が最も
低かった動きベクトル候補が現ブロック・オフ・ピクセルに対する最適な動きベ
クトルとして選ばれる。
【００１８】 これら動きベクトル候補は、最適な動きベクトル候補となる確率が元々高い動
きベクトル候補のサブセットを評価することを含む第一の段階と、個々の動きベ
クトル候補評価について所定の検索領域内の異なる参照ブロック・オフ・ピクセ
ルを識別するために、参照ピクチャの所定の検索領域内で空間的検索を実行する
ことを含む第二の段階とを含む２つの異なる段階で評価されることが好ましい。
【００１９】 この動きベクトル候補のサブセットは、現ピクチャにおける現ブロック・オブ
・ピクセルの場所と同じ場所である参照ピクチャにおける参照ブロック・オブ・
ピクセルの場所に対応する第一の動きベクトル候補と、現ピクチャにおける現ブ
ロック・オブ・ピクセルの場所と同じ場所である従前のピクチャにおける参照ブ
ロック・オブ・ピクセルの場所に対応する第二の動きベクトル候補と、現ピクチ
ャにおける前のブロック・オブ・ピクセルに対して従前に決定された最適な動き
ベクトルを構成する第三の動きベクトル候補と、を含むことが好ましい。この第
一の動きベクトル候補に対する誤差値が所定の動き推定終了閾値を下回ると判断
された場合にそれ以上の評価が実行されないことが好ましい。
【００２０】 上記空間的検索は、複数の異なる検索レベルにおいて実行されることが好まし
い。現段階で好ましい実施形態において、上記空間的検索は、各検索レベルにお
いて再入力可能であり、各検索段階において、その空間的検索におけるある点に
対して識別された最良の動きベクトル候補上に該空間的検索を再センタリングす
ることによって実行されることが好ましい。ここで、上記最良の動きベクトル候
補とは、空間的検索における該点に対して見つかった最も低い誤差値より低い誤
差値を有するものである。この空間的検索の検索パターンは、該空間的検索中に
為された評価の結果に基づいて適応的に変えられることが好ましい。
【００２１】 この方法は、ソフトウェア実行ステート機器を作動するソフトウェアによって
実行される。このソフトウェアは、検索シーケンスを定義するソース・コードと
、所定のメモリ空間においてステート機器を組み立てる機能と、を有することが
好ましい。このソース・コードは、初期化の際に、一度だけ実行されることが好
ましい。上記検索シーケンスは、適応学習検索シーケンスであることが好ましい
。上記ソース・コードは、この検索シーケンスの任意の点において、上記所定の
メモリ空間からの一度の読み出しによって、次に評価される動きベクトル候補に
対する適切なｘ、ｙ位置を識別する。更に、このソース・コードは、上記検索シ
ーケンスの任意の点において、新しい最良の動きベクトル候補が識別されたこと
、又は、最も最近の２つの評価間の比較結果のいずれかを示す検査ビットの極性
に基づいて、上記メモリ空間における２つの場所のうちの一方を読み出すことに
よって、次に評価される動きベクトル候補を識別する。
【００２２】 （発明の詳細な説明） 本発明の上記及び他の目的、特徴、及び利点は、添付図面と共に読まれる以下
の詳細な説明から容易に明らかとなる。
【００２３】 以下、本発明の例示的実施形態に係る動き推定アルゴリズムについて説明する
。この動き推定アルゴリズムは、Ｐｈｉｌｉｐｓ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ
ｓによって製造・販売されているＴｒｉＭｅｄｉａプロセッサなどのプロセッサ
上で実行されることが可能なソフトウェアにおいて実行される。
【００２４】 本発明の動き推定アルゴリズムは、それぞれ後述される様々な方法で計算時間
及び計算労力を最小化させつつ、高性能を実現する。
【００２５】 本発明の第一の新規な態様によれば、好ましくは複数の点において、すべての
評価が進行中にチェックされ、現在の値が前に識別された最良値よりも大きい場
合には直ちに評価を中断することによって、計算労力及び計算時間を大幅に抑制
する。最小と考えられる誤差値を可能な限り素早く識別することが、この評価中
断スキームを用いることによって実現することが可能な計算量抑制を最大化する
ために重要であることは明らかである。
【００２６】 本発明の第二の新規な態様によれば、最適な動きベクトルの検索は、粗い検索
段階と細かい検索段階とに分割される。粗い検索段階においては、最も確からし
い動きベクトル候補（すなわち、最も低い誤差値を有する固有の確率が最も高い
候補）が評価される。これら最も確からしい動きベクトル候補のいずれかがほと
んど正確である場合、それらは小さい誤差値をもたらす。細かい検索段階におい
て、空間的検索は、複数（例えば３）の異なる検索レベルにおいて実行される。
粗い検索段階も、「空間的検索の前段階」と考えることができる。
【００２７】 特定の例示実施形態において、３つの最も確からしいベクトル候補は以下の通
りである。評価対象中、第一の最も確からしい動きベクトル候補は、（０、０）
である。すなわち、参照フレームにおける同じマクロブロックのそれである。こ
の例示的実施形態において、用いられる検索評価方法はＳＡＤである。ＳＡＤ値
が所定の閾値（本実施形態では「３８４」に設定される）を下回る場合、その動
き推定手順からは感知し得る利得が期待できず、その機能は直ちに終了する。こ
の決定の完全に利用するために、呼び出し機能が返された低誤差値をＶＣＡＰ「
コード化禁止」命令として解釈し、動き推定と同様に前方ＤＣＴもスキップすべ
きである。この方法のみで、計算時間及び計算労力における大幅な抑制ができる
。この点、Ｈ．２６１コーディングを適用した場合の全計算負荷の約６０％が動
き推定処理に帰因する。ほとんどすべてのテレビ会議用途におけるマクロブロッ
クの重要部分（例えば、マクロブロックの３３％）は簡単に「補充」され得るた
め、処理時間及び係数データがほとんど必要でない。このように、上記方法は、
動き推定の計算負荷を大幅に潜在的に削減することができる。
【００２８】 評価対象中、第二の最も確からしいベクトル候補は、前のフレームにおける同
じマクロブロックのそれである。この選択は、特定領域における動きは、しばし
ば、数フレームにわたって速度及び方向とも一定であり、一フレームにおいて経
験した動きは後続フレームにおけるそれと高い相関を有する、という事実に基づ
く。
【００２９】 （フレーム左端のマクロブロックを除く）評価対象中、第三の最も確からしい
ベクトル候補は、同じフレームにおける前のマクロブロックに対して決定された
動きベクトルである。再記するが、この選択は、動きの領域が一マクロブロック
より広い場合、グループ・オブ・マクロブロック全体が同様の動きベクトルを有
するという事実に基づく。
【００３０】 本発明の第三の新規な態様によれば、互いに６０°間隔の６つの候補が、図３
に示すように、細かい検索段階の第一の２つの検索レベルのそれぞれにおいて、
評価される。２つの「六角形の」検索パターンは、この第一の２つの検索レベル
において、続けて評価される。この第一の検索パターンは、４つの共役ペアを有
する（ｘ、ｙ）座標：（４、０）、（２、３）を有し、第二の検索パターンは、
４つの共役ペアを有する（ｘ、ｙ）座標：（２、０）、（１、２）を有する。８
つの周辺候補のすべては、第三の検索レベルにおいて評価される。比較のため、
伝統的な階層的検索が１＋８＋８＋８＋８＝３３回のＳＡＤ評価を実行するのに
対し、本発明に係る動き推定アルゴリズムによって採用される例示的検索は、最
小限の、粗い検索段階（すなわち、空間的検索の前の）を含む、３＋６＋６＋８
＝２３回のＳＡＤ評価を実行する。しかし、これら評価おほとんどは、前述の評
価中断スキームの効力によって期間中に減らされることは明らかである。
【００３１】 本発明の第四の新規な態様によれば、各検索レベルにおいて実行される検索は
、検索領域の中心上ではなく、識別された最良の候補上に集中する。このように
、誤差面の後には分析されるように「下り坂」が続き、それが導くあらゆる方向
の傾斜が続く。特に、各検索レベルにおいて実行される検索は、再入力可能であ
る。なぜなら、各検索レベルにおいて、新しい（すなわち、前に識別された最良
の誤差値よりも低い）最小誤差値を有する動きベクトル候補が識別されると常に
、その場所が別の評価群（すなわち、互いに６０°間隔の６つの候補）の中心と
なるからである。このように、評価は、最新の「最良の」動きベクトル候補が６
つの「劣った」動きベクトル候補（以下で明らかにするように、細かい検索段階
の第三のレベルにおける８つ）によって囲まれたと判断されるまで続く。テレビ
会議用途において大部分を占める小さい（例えば、ゼロ誤差値前後の）ベクトル
が、再エントリを完了させるために、わずかな追加的評価しか必要としないこと
は明らかである。大きなベクトルはより多くの評価を必要とするが、それらはま
れである。
【００３２】 このように、真の「全体的に見て」最小誤差値を有する動きベクトル候補を探
すか、或いは、「局所的」最小誤差値として知られるものを有する動きベクトル
候補を探すことになる。いずれの場合にも、動き補償利得が得られても、真の「
全体的に見て」最小誤差値を有する動きベクトル候補が見つからなかった場合、
当然、その利得は減らされる。このようにして、比較的小さい第一の検索パター
ンは、誤差面傾斜を遠くの最小値まで素早く突き詰めることができる。動き推定
アルゴリズムが、検索空間全体を几帳面に１つずつ調べるのではなく、最も小さ
い最小値を探すことにその時間を費やすべきであるのは、この領域においてであ
る。
【００３３】 この「ショートカット」は、幾分の誤差を有する傾向になるかもしれないが、
テレビ会議用途における全体として性能は、この用途におけるビデオ・データの
静的挙動により、強化される。例えば、誤差面が東方向及び西方向にいずれにお
いても低い場合、西方向の最小値は、より識別されやすい。なぜなら、単純に、
その方向から評価されるからであり、東方向において誤差面を追跡するのをより
難しくするからである。言うまでもなく、上記若しくは類似の方法によって見つ
かるかもしれない偽りの最小値であっても、小さい値を有する傾向にあり、この
ように誤差の逆の結果を緩和する。
【００３４】 本発明の第五の新規な態様によれば、各評価群について、検索領域若しくは範
囲が、例えば、所定のピクセル・オフセット（検索領域）内の動きベクトル候補
のみが評価される、或いは、最も最近識別された「最良の」動きベクトル候補か
ら±４ピクセルが評価されるなどのように、減らされる。この技術は、最適な動
きベクトルの圧倒的大部分が小さいベクトル値を有するため、各検索シーケンス
のスタートにおける６つの非常に遠い候補を評価するのはプロセッサ・リソース
を非常に浪費するものであるという観測に基づく。大きいベクトル値を有する動
きベクトルを素早く識別するのにより広い検索領域は非常に効果的であるが、こ
れら稀なケースにおけるその速度は高くつきすぎる。低減された検索領域技術は
、依然として、その場合の大部分において、最適な動きベクトルの識別をもたら
す。真の最小値がより遠くになるという稀なケースにおいては、その最小値の方
向における第一レベル候補はゼロ候補よりも小さい値を有するものと仮定する。
当然、あらゆる任意の誤差面構成が可能であり、この仮定が間違っており、本ア
ルゴリズムが遠い最小値を見つけることに失敗することを引き起こす場合もある
。この点、本発明の動き推定アルゴリズムは、成功を保証するものではないが、
その代わりに、成功の確率を最大化することを試みるものであることは明らかで
ある。本アルゴリズムのすべての態様は、確実性ではなく、統計的確率に基づく
ものであり、性能の多くは、非常に稀な大きいベクトル最小値を探す確率をわず
かに減らしつつ、非常に多くの小さいベクトル最小値を探す確率を向上させるこ
とによって、実現される。
【００３５】 本発明の第六の新規な態様によれば、検索パターンは、検索履歴に基づいて、
適応学習的に変化する。伝統的な階層的検索パターンは、一律に、左から右、上
から下、である。本発明のアルゴリズムの再入力可能な態様は、検索シーケンス
を検索履歴に基づいて変え、実益の高いものとする。簡単な場合を考えると、「
西方向の」候補が最初に評価され、次いで、「東方向の」候補が最も小さいと判
明した場合、この検索パターンは、見つかった最適ベクトル（すなわち、「東方
向の」候補）上に再センタリング化され、再スタートされる。この検索パターン
は、次いで、この発見を考慮するように、適応的に変えられることが可能である
。この点、本アルゴリズムは、次の評価群を「東方向の」候補から開始し、新し
い「西方向の」候補は再評価しないような知能を有するようにプログラムされて
いる。なぜなら、「西方向の」候補は、検索の再センタリング化の前の古い「中
心の」候補であり、故に、前の評価シーケンスにおいて既に評価されているから
である。一般的に、本発明のアルゴリズムは、反復処理を回避するために、前の
評価から得られた知識を利用し、検索効率を最大化するように検索を適応的に変
えるようにプログラムされている。（細かい検索段階の）３つの検索レベルのそ
れぞれは、６若しくは８の方向のいくつかに移動された検索中心と共に、複数回
再入力されてもよいため、ベクトル列は、それぞれが遭遇した特定の誤差面に対
して最適化された（可能な限り少ないパラメータが与えられた）文字通り何百も
の検索パターンで評価されもてよい。
【００３６】 本発明の第七の新規な態様によれば、動き推定アルゴリズムは、ソフトウェア
実行ステート機器によって実行される。検索知能は、ｓｔｓｅｑ機能によって指
摘される５１２語メモリ空間において提供される。自身のアドレスを含むメモリ
空間は、単に、ステート機器の定義である。検索パターンを定義するソース・コ
ードは、初期化において、一度実行されればよい。
【００３７】 検索シーケンスの任意の点において、次に評価されるベクトル候補に対する適
切なｘ、ｙ位置が５１２語メモリ空間からの一度の読み出しによって有効とされ
る。検索シーケンスの任意の点において、メモリ（バッファ）・アドレスの最重
要ビット（ＭＳＢ）を形成する１つの「検査」ビットの極性（「１」若しくは「
０」）によって、２つのベクトルうちの一方が読み出される。通常、「検査」ビ
ットは、新しい「最良な」候補ベクトルが見つかったことを示し、その他場合、
２つの最も最近の評価間の比較結果を示す。このように、各検査ポイントにおい
て、次に評価される２つの潜在的ベクトル候補間の２値選択が行われる。残りの
８つのアドレス・ビットは、バッファ自身によって供給される。所定のオフセッ
ト群に基づく若しくは現在の状態を比較要求として解釈する間の選択は、却下さ
れた値にオフセットを与えることによって為される。このアドレスは、次いで、
インクリメントされる。
【００３８】 動き推定検索戦略は、複雑さがどんなに幅広い範囲にわたるものであっても、
例えばＴｒｉＭｅｄｉａサイクルなどのプロセッサ・オーバヘッドにコストが掛
からないステート機器バッファにおいて実行され得る。実行時間は、良い候補が
すぐにみつかれば減らされるが、おおよそ、一評価（すなわち、一ＳＡＤ計算）
に必要な時間の評価されるベクトル候補数倍に留まる。上述の特定の検索スキー
ムは、より良い結果をたぶん伴う、容易に組み込める非限定的な複数のスキーム
のうちの１つにすぎないことは明らかである。
【００３９】 ここで図４Ａ乃至４Ｄを参照する。これらは、本発明の現段階で好ましいと考
えられる実施形態を構成する上述の動き推定アルゴリズムを示すフローチャート
図の連続部分である。図４Ａを参照する。本アルゴリズムは工程１０において開
始するとすぐに工程２０において第一検索段階へ進む。この第一検索段階におい
て、第一の最も確からしい動きベクトル（ＭＶ）候補に対するＳＡＤが工程３０
において計算される。工程４０において、このＳＡＤが好ましくは従前の最小Ｓ
ＡＤである所定の閾値未満であるか否かの判断が為される。この判断が肯定であ
れば、全体のアルゴリズムは工程５０において終わる（終了する）。上記判断が
否定であれば、アルゴリズムは第二の最も確からしい動きベクトル（ＭＶ）候補
に対するＳＡＤが計算される工程６０へ進む。次いで、本アルゴリズムは、第三
の最も確からしい動きベクトル（ＭＶ）候補に対するＳＡＤが計算される工程７
０へ進む。次いで、工程８０において、本アルゴリズムは、第二検索段階へ進む
。
【００４０】 ここで図４Ｂを参照する。本アルゴリズムは、工程９０において、第二検索段
階の第一検索レベルへ入る。次いで、工程１００において、互いに６０°間隔の
６つの動きベクトル候補がこれら各動きベクトル候補に対するＳＡＤを計算する
ことによって評価される。工程１１０において、このＳＡＤが所定の閾値未満で
あるか否かが判断される。工程１１０における判断が肯定の場合、工程１５０に
おいて、新しい最良の動きベクトル候補上に、すなわち新しい最小ＳＡＤを有す
るもの上に、検索を再センタリング化させることによって、本検索が再入力され
る。次いで、本アルゴリズムは、好ましくは適応学習的に変化する検索パターン
を用いて、上記新しい最良の動きベクトル候補を囲む上記６つの新しい最小ＳＡ
Ｄが評価される工程１６０へ進む。このＳＡＤは、評価された各新しい動きベク
トル候補について計算される。次いで、本アルゴリズムは、工程１１０へ戻る。
工程１１０における判断が肯定であれば、工程１２０において、６つすべての動
きベクトル候補が評価されたか否かが判断される。工程１２０における判断が否
定であれば、本アルゴリズムは、次の動きベクトル候補が評価される工程１３０
へ進み、その後工程１１０へ戻る。工程１２０における判断が肯定であれば、本
アルゴリズムは、工程１４０において、第二検索段階の次の（第二）検索レベル
へ進む。
【００４１】 ここで図４Ｃを参照する。本アルゴリズムは、工程１７０において、第二検索
段階の第二検索レベルに入る。次いで、工程１８０において、互いに６０°間隔
の６つの動きベクトル候補が、これら各動きベクトル候補に対するＳＡＤを計算
することによって評価される。工程１９０において、このＳＡＤが好ましくは従
前の最小ＳＡＤである所定の閾値未満であるか否かが判断される。工程１９０に
おける判断が肯定の場合、工程２３０において、新しい最良の動きベクトル候補
上に、すなわち新しい最小ＳＡＤを有するもの上に、検索を再センタリング化す
ることによって、本検索が再入力される。次いで、本アルゴリズムは、好ましく
は適応学習的に変化する検索パターンを用いて、上記新しい最良の動きベクトル
候補を囲む上記６つの新しい最小ＳＡＤが評価される工程２４０へ進む。このＳ
ＡＤは、評価された各新しい動きベクトル候補について計算される。次いで、本
アルゴリズムは、工程１９０へ戻る。工程１９０における判断が否定であれば、
工程２００において、６つすべての動きベクトル候補が評価されたか否かが判断
される。工程２００における判断が否定であれば、本アルゴリズムは、次の動き
ベクトル候補が評価される工程２１０へ進み、その後工程１９０へ戻る。工程２
００における判断が肯定であれば、本アルゴリズムは、工程２２０において、第
二検索段階の次の（第三）検索レベルへ進む。
【００４２】 ここで図４Ｄを参照する。本アルゴリズムは、工程２５０において、第二検索
段階の第三検索レベルに入る。次いで、工程２６０において、互いに４５°間隔
の８つの動きベクトル候補が、これら各動きベクトル候補に対するＳＡＤを計算
することによって評価される。工程２７０において、このＳＡＤが好ましくは従
前の最小ＳＡＤである所定の閾値未満であるか否かが判断される。工程２７０に
おける判断が肯定の場合、工程３１０において、新しい最良の動きベクトル候補
上に、すなわち新しい最小ＳＡＤを有するもの上に、検索を再センタリング化す
ることによって、本検索が再入力される。次いで、本アルゴリズムは、好ましく
は適応学習的に変化する検索パターンを用いて、上記新しい最良の動きベクトル
候補を囲む上記８つの新しい最小ＳＡＤが評価される工程３２０へ進む。次いで
、本アルゴリズムは、工程２７０へ戻る。工程２７０における判断が肯定であれ
ば、工程２８０において、８つすべての動きベクトル候補が評価されたか否かが
判断される。工程２８０における判断が否定であれば、本アルゴリズムは、次の
動きベクトル候補が評価される工程２９０へ進み、その後工程２７０へ戻る。工
程２８０における判断が肯定であれば、本アルゴリズムは、工程３００において
終わる（終了する）。
【００４３】 上述の例示的実施形態において実施されていないが、広い検索領域を包含する
第一検索段階中に例えばＳＡＤである粗い検索評価法を用い、比較的狭い検索領
域を包含する第二検索段階中に例えばＳＳＤである細かい検索評価法を用いるこ
とも可能である。このように、検索領域が広い場合にスピーディなＳＡＤ評価法
を用い、検索領域が狭められた後で、より計算集約的なＳＳＤ評価法を用いるこ
とが可能である。
【００４４】 図５は、本発明に係るビデオ信号処理装置を示す。本装置は、推定された動き
ベクトルから独立してビデオ信号を実行する動き推定器ＭＥを有する。このビデ
オ信号処理器は、例えばＭＰＥＧ若しくはＨ．２６１タイプのディジタル・ビデ
オ・エンコーダでもよい。このビデオ信号処理器ＶＳＰは、別の方法として、図
５のビデオ信号処理装置の１００ＨｚディスプレイＤ上に表示される１００Ｈｚ
テレビ信号を取得するフィールド・レート・ダブラなどのフィールド・レート変
換器でもよい。
【００４５】 以上、本発明を詳細に説明したが、ここで説明された基本的発明概念の多くの
変形及び／若しくは修正及び／若しくは別の実施形態は、当業者には明らかであ
り、それらは付属の請求項で定義される本発明の意図及び範囲内に入るものであ
ることは明らかである。
【図面の簡単な説明】
【図１】 既に提案されている第一の動き推定アルゴリズムにおいて用いられる検索パタ
ーンを示す図である。
【図２】 既に提案されている第二の動き推定アルゴリズムにおいて用いられる検索パタ
ーンを示す図である。
【図３】 本発明の動き推定アルゴリズムの現時点で好ましい実施ケーブル一アルゴリズ
ムにおいて用いられる検索パターンを示す図である。
【図４Ａ】 本発明の現段階で好ましいと考えられる実施形態を構成する上記動き推定アル
ゴリズムを示すフローチャート図の一部を示す。
【図４Ｂ】 本発明の現段階で好ましいと考えられる実施形態を構成する上記動き推定アル
ゴリズムを示すフローチャート図の一部を示す。
【図４Ｃ】 本発明の現段階で好ましいと考えられる実施形態を構成する上記動き推定アル
ゴリズムを示すフローチャート図の一部を示す。
【図４Ｄ】 本発明の現段階で好ましいと考えられる実施形態を構成する上記動き推定アル
ゴリズムを示すフローチャート図の一部を示す。
【図５】 本発明に係るビデオ信号処理装置を示す。
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C059 KK19 MA00 MA23 NN08 NN10 NN28 NN29 UA02 5C063 AB03 AC01 BA12 CA05 CA11 5J064 AA01 BB01 BB03 BC21 BC26 BD02 BD03 【要約の続き】 クチャの所定の検索領域内で空間的検索を実行すること を含む第二の段階とを含む２つの異なる段階で評価され ることが好ましい。

Claims (15)

    【特許請求の範囲】
  1. 【請求項１】 動き推定を実行する処理において、現ピクチャにおける現ブ
    ロック・オフ・ピクセルに対する最適な動きベクトルを識別する方法であって、 この現ブロック・オブ・ピクセルに対する複数の動きベクトル候補を識別する
    工程と、 現ブロック・オブ・ピクセルのピクセル値と参照ブロック・オブ・ピクセルに
    おける対応する数のピクセル値との間の差分を表す誤差値を各動きベクトル候補
    について計算することによって、現ブロック・オブ・ピクセルに対する複数の動
    きベクトル候補を評価する工程と、 計算された誤差値が最も低い動きベクトル候補を最適な動きベクトルとして選
    択する工程と、を有し、 前記評価する工程は、最適な動きベクトル候補となる確率が元々高い動きベク
    トル候補のサブセットを評価する第一段階と、個々の動きベクトル候補評価に対
    して、所定の検索領域内の異なる参照ブロック・オブ・ピクセルを識別するよう
    に、参照ピクチャの所定の検索領域内の空間的検索を実行する第二段階と、を含
    む方法。
  2. 【請求項２】 請求項１記載の方法であって、 前記空間的検索は、複数の異なる検索レベルにおいて実行されることを特徴と
    する方法。
  3. 【請求項３】 請求項１記載の方法であって、 前記空間的検索は、適応学習検索であることを特徴とする方法。
  4. 【請求項４】 請求項１記載の方法であって、 前記動きベクトル候補のサブセットは、 現ピクチャにおける現ブロック・オブ・ピクセルの場所と同じ場所である参照
    ピクチャにおける参照ブロック・オブ・ピクセルの場所に対応する第一の動きベ
    クトル候補と、 現ピクチャにおける現ブロック・オブ・ピクセルの場所と同じ場所である従前
    のピクチャにおける参照ブロック・オブ・ピクセルの場所に対応する第二の動き
    ベクトル候補と、 現ピクチャにおける前のブロック・オブ・ピクセルに対して従前に決定された
    最適な動きベクトルを構成する第三の動きベクトル候補と、を含むことを特徴と
    する方法。
  5. 【請求項５】 請求項４記載の方法であって、 前記第一の動きベクトル候補に対する誤差値が所定の動き推定終了閾値を下回
    ると判断された場合にそれ以上の評価が実行されないことを特徴とする方法。
  6. 【請求項６】 請求項１記載の方法であって、 前記空間的検索は、その空間的検索におけるある点に対して識別された最良の
    動きベクトル候補上に前記空間的検索を再センタリングすることによって実行さ
    れ、 前記最良の動きベクトル候補とは、空間的検索における該点に対して見つかっ
    た最も低い誤差値より低い誤差値を有するものである、ことを特徴とする方法。
  7. 【請求項７】 請求項１記載の方法であって、 前記空間的検索の検索パターンは、該空間的検索中に為された評価の結果に基
    づいて適応的に変えられることを特徴とする方法。
  8. 【請求項８】 請求項１記載の方法であって、 検索シーケンスを定義するソース・コードと、 所定のメモリ空間においてステート機器を組み立てる機能と、を有するソフト
    ウェアによって実行されることを特徴とする方法。
  9. 【請求項９】 請求項８記載の方法であって、 前記検索シーケンスは、適応学習検索シーケンスであることを特徴とする方法
    。
  10. 【請求項１０】 請求項８記載の方法であって、 前記ソース・コードは、前記検索シーケンスの任意の点において、前記所定の
    メモリ空間からの一度の読み出しによって、次に評価される動きベクトル候補に
    対する適切なｘ、ｙ位置を識別することを特徴とする方法。
  11. 【請求項１１】 請求項１０記載の方法であって、 前記ソース・コードは、前記検索シーケンスの任意の点において、新しい最良
    の動きベクトル候補が識別されたこと、又は、最も最近の２つの評価間の比較結
    果のいずれかを示す検査ビットの極性に基づいて、前記メモリ空間における２つ
    の場所のうちの一方を読み出すことによって、次に評価される動きベクトル候補
    を識別することを特徴とする方法。
  12. 【請求項１２】 請求項１記載の方法であって、更に、 各動きベクトル候補を評価している間に、 前記誤差値の計算中に該誤差値をチェックし、 その動きベクトル候補に対する誤差値が所定の閾値を超えたと判断されると、
    その動きベクトル候補に対する評価を中断する、ことを特徴とする方法。
  13. 【請求項１３】 動き推定を実行する処理において、現ピクチャにおける現
    ブロック・オフ・ピクセルに対する最適な動きベクトルを識別する装置であって
    、 この現ブロック・オブ・ピクセルに対する複数の動きベクトル候補を識別する
    手段と、 現ブロック・オブ・ピクセルのピクセル値と参照ブロック・オブ・ピクセルに
    おける対応する数のピクセル値との間の差分を表す誤差値を各動きベクトル候補
    について計算することによって、現ブロック・オブ・ピクセルに対する複数の動
    きベクトル候補を評価する手段と、 計算された誤差値が最も低い動きベクトル候補を最適な動きベクトルとして選
    択する手段と、を有し、 前記評価手段は、最適な動きベクトル候補となる確率が元々高い動きベクトル
    候補のサブセットを評価する第一の手段と、個々の動きベクトル候補評価に対し
    て、所定の検索領域内の異なる参照ブロック・オブ・ピクセルを識別するように
    、参照ピクチャの所定の検索領域内の空間的検索を実行する第二の手段と、を有
    する装置。
  14. 【請求項１４】 動きベクトルを推定する請求項１３記載の装置と、 該動きベクトルから独立して圧縮ビデオ信号を生成する手段と、を有するディ
    ジタル・ビデオ・エンコーダ。
  15. 【請求項１５】 動きベクトルを推定する請求項１３記載の装置と、 該動きベクトルから独立してビデオ信号を処理する手段と、を有するビデオ信
    号処理装置。
JP2001568619A 2000-03-23 2001-03-13 動き推定アルゴリズム Pending JP2003528500A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US09/533,487 2000-03-23
US09/533,487 US6567469B1 (en) 2000-03-23 2000-03-23 Motion estimation algorithm suitable for H.261 videoconferencing applications
PCT/EP2001/002818 WO2001072045A2 (en) 2000-03-23 2001-03-13 Motion estimation algorithm

Publications (1)

Publication Number Publication Date
JP2003528500A true JP2003528500A (ja) 2003-09-24

Family

ID=24126170

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001568619A Pending JP2003528500A (ja) 2000-03-23 2001-03-13 動き推定アルゴリズム

Country Status (6)

Country Link
US (1) US6567469B1 (ja)
EP (1) EP1188322A2 (ja)
JP (1) JP2003528500A (ja)
KR (1) KR100752530B1 (ja)
CN (1) CN1177483C (ja)
WO (1) WO2001072045A2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008242698A (ja) * 2007-03-27 2008-10-09 Megachips Lsi Solutions Inc 動き探索方法
JP2014220571A (ja) * 2013-05-01 2014-11-20 日本放送協会 画像処理装置、符号化装置、及び符号化プログラム

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6633611B2 (en) * 1997-04-24 2003-10-14 Mitsubishi Denki Kabushiki Kaisha Method and apparatus for region-based moving image encoding and decoding
US7072398B2 (en) * 2000-12-06 2006-07-04 Kai-Kuang Ma System and method for motion vector generation and analysis of digital video clips
US6654502B1 (en) * 2000-06-07 2003-11-25 Intel Corporation Adaptive early exit techniques in image correlation
US6907080B1 (en) 2000-06-07 2005-06-14 Intel Corporation Adaptive early exit techniques in image correlation
US6700996B1 (en) * 2000-06-07 2004-03-02 Intel Corporation Adaptive early exit techniques in image correlation
US7327787B1 (en) * 2000-11-20 2008-02-05 Intel Corporation Method and apparatus for motion estimation
US20020131500A1 (en) * 2001-02-01 2002-09-19 Gandhi Bhavan R. Method for determining a motion vector for a video signal
US6687301B2 (en) * 2001-03-19 2004-02-03 Fulvio Moschetti Method for block matching motion estimation in digital video sequences
US6934332B1 (en) 2001-04-24 2005-08-23 Vweb Corporation Motion estimation using predetermined pixel patterns and subpatterns
US6891890B1 (en) * 2001-04-24 2005-05-10 Vweb Corporation Multi-phase motion estimation system and method
US6813315B1 (en) 2001-04-24 2004-11-02 Vweb Corporation Motion estimation using multiple search windows
EP1659802B1 (en) * 2001-10-05 2008-07-23 Mitsubishi Electric Information Technology Centre Europe B.V. Method and apparatus for compensating for motion vector errors in image data
KR100450746B1 (ko) * 2001-12-15 2004-10-01 한국전자통신연구원 계층탐색 기반의 혼합형 움직임 추정 장치 및 방법
TW548990B (en) * 2001-12-31 2003-08-21 Univ Nat Chiao Tung Fast motion estimation method using N-queen pixel decimation
KR100846769B1 (ko) * 2002-02-19 2008-07-16 삼성전자주식회사 고정 연산량을 갖는 동영상 부호화 방법 및 그 장치
JP2003299040A (ja) * 2002-04-03 2003-10-17 Sony Corp 動きベクトル検出装置及び方法
US7039246B2 (en) 2002-05-03 2006-05-02 Qualcomm Incorporated Video encoding techniques
US7940844B2 (en) 2002-06-18 2011-05-10 Qualcomm Incorporated Video encoding and decoding techniques
US7239721B1 (en) * 2002-07-14 2007-07-03 Apple Inc. Adaptive motion estimation
US7742525B1 (en) * 2002-07-14 2010-06-22 Apple Inc. Adaptive motion estimation
KR100865034B1 (ko) 2002-07-18 2008-10-23 엘지전자 주식회사 모션 벡터 예측 방법
KR100490730B1 (ko) * 2002-10-22 2005-05-24 한국전자통신연구원 비디오 영상 압축 시스템에서의 적응적 패턴을 이용한움직임 예측 장치 및 방법
KR100561394B1 (ko) * 2002-12-30 2006-03-16 삼성전자주식회사 영상 부호화 시 부호화 모드 결정 및 관리 장치와 그 방법
US7720151B2 (en) * 2003-02-11 2010-05-18 Texas Instruments Incorporated Motion estimation using early decision for goodness of estimation with quick convergence feedback
US20050013496A1 (en) * 2003-07-16 2005-01-20 Bruls Wilhelmus Hendrikus Alfonsus Video decoder locally uses motion-compensated interpolation to reconstruct macro-block skipped by encoder
KR100579542B1 (ko) * 2003-07-29 2006-05-15 삼성전자주식회사 블럭 간의 상관성을 고려한 움직임 추정 장치 및 방법
US9351013B2 (en) * 2003-11-13 2016-05-24 Qualcomm Incorporated Selective and/or scalable complexity control for video codecs
JP2005167976A (ja) * 2003-11-14 2005-06-23 Victor Co Of Japan Ltd 動きベクトル検出装置及び動きベクトル検出プログラム
US7660439B1 (en) 2003-12-16 2010-02-09 Verificon Corporation Method and system for flow detection and motion analysis
JPWO2005122593A1 (ja) * 2004-06-14 2008-04-10 株式会社モノリス 動画符号化方法および動画復号方法
US8111752B2 (en) 2004-06-27 2012-02-07 Apple Inc. Encoding mode pruning during video encoding
US7792188B2 (en) 2004-06-27 2010-09-07 Apple Inc. Selecting encoding types and predictive modes for encoding video data
US20050286777A1 (en) * 2004-06-27 2005-12-29 Roger Kumar Encoding and decoding images
CA2574590C (en) * 2004-07-20 2013-02-19 Qualcomm Incorporated Method and apparatus for motion vector prediction in temporal video compression
TWI239474B (en) * 2004-07-28 2005-09-11 Novatek Microelectronics Corp Circuit for counting sum of absolute difference
US20060056511A1 (en) * 2004-08-27 2006-03-16 University Of Victoria Innovation And Development Corporation Flexible polygon motion estimating method and system
US7609765B2 (en) 2004-12-02 2009-10-27 Intel Corporation Fast multi-frame motion estimation with adaptive search strategies
DE112004002977T5 (de) * 2004-10-14 2007-09-20 Intel Corporation, Santa Clara Schnelle Multi-Frame-Bewegungsabschätzung mit adaptiven Suchstrategien
CN101754011B (zh) * 2004-10-14 2013-01-02 英特尔公司 采用自适应搜索策略的快速多帧运动估计方法
CN102685495B (zh) * 2004-10-14 2015-06-17 英特尔公司 采用自适应搜索策略的快速多帧运动估计
JP4504230B2 (ja) * 2005-03-02 2010-07-14 株式会社東芝 動画像処理装置、動画像処理方法、及び動画像処理プログラム
TWI295540B (en) * 2005-06-15 2008-04-01 Novatek Microelectronics Corp Motion estimation circuit and operating method thereof
US8588513B2 (en) * 2005-07-18 2013-11-19 Broadcom Corporation Method and system for motion compensation
US7852940B2 (en) * 2005-10-20 2010-12-14 Qualcomm Incorporated Scalable motion estimation for video encoding
US20070237233A1 (en) * 2006-04-10 2007-10-11 Anthony Mark Jones Motion compensation in digital video
US7830565B2 (en) * 2006-06-27 2010-11-09 Motorola, Inc. Image capture device with rolling band shutter
US20080056367A1 (en) * 2006-08-30 2008-03-06 Liu Wenjin Multi-step directional-line motion estimation
US9307122B2 (en) * 2006-09-27 2016-04-05 Core Wireless Licensing S.A.R.L. Method, apparatus, and computer program product for providing motion estimation for video encoding
US8488676B2 (en) * 2007-05-14 2013-07-16 Himax Technologies Limited Motion estimation method
US8817878B2 (en) * 2007-11-07 2014-08-26 Broadcom Corporation Method and system for motion estimation around a fixed reference vector using a pivot-pixel approach
US8223235B2 (en) * 2007-12-13 2012-07-17 Motorola Mobility, Inc. Digital imager with dual rolling shutters
EP2232873B1 (en) * 2007-12-19 2012-03-21 Dolby Laboratories Licensing Corporation Adaptive motion estimation
US20090207915A1 (en) * 2008-02-15 2009-08-20 Freescale Semiconductor, Inc. Scalable motion search ranges in multiple resolution motion estimation for video compression
US8831101B2 (en) * 2008-08-02 2014-09-09 Ecole De Technologie Superieure Method and system for determining a metric for comparing image blocks in motion compensated video coding
CN101686393B (zh) 2008-09-28 2012-10-17 华为技术有限公司 应用于模板匹配的快速运动搜索方法及装置
KR100930744B1 (ko) * 2009-03-04 2009-12-09 엘지전자 주식회사 모션 벡터 예측 방법
KR100920628B1 (ko) * 2009-03-04 2009-10-08 엘지전자 주식회사 모션 벡터 예측 방법
TWI384865B (zh) * 2009-03-18 2013-02-01 Mstar Semiconductor Inc 影像處理之方法及電路
JP5091994B2 (ja) * 2010-09-02 2012-12-05 株式会社東芝 動きベクトル検出装置
FI3985979T3 (fi) 2010-12-13 2024-04-23 Electronics & Telecommunications Res Inst Menetelmä vertailuyksikön määrittämiseksi
JP5869564B2 (ja) * 2011-05-24 2016-02-24 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像符号化方法、画像符号化装置、画像復号方法、画像復号装置、および、画像符号化復号装置
TWI628950B (zh) * 2011-06-27 2018-07-01 三星電子股份有限公司 影像解碼裝置
EP2731278A4 (en) * 2011-07-06 2015-04-29 Sk Planet Co Ltd SYSTEM AND METHOD FOR CONTENT TRANSMISSION ON A MULTI-DESTINATION BASE AND HIGH SPEED TRAVEL ESTIMATING APPARATUS AND METHOD
US9571833B2 (en) 2011-11-04 2017-02-14 Nokia Technologies Oy Method for coding and an apparatus
TWI472231B (zh) 2013-11-27 2015-02-01 Ind Tech Res Inst 用於移動估計的視訊前處理方法與裝置
US9838710B2 (en) * 2014-12-23 2017-12-05 Intel Corporation Motion estimation for arbitrary shapes
FR3051309A1 (fr) * 2016-05-10 2017-11-17 Bcom Procedes et dispositifs de codage et de decodage d'un flux de donnees representatif d'au moins une image
CN111372085B (zh) * 2018-12-25 2021-07-09 厦门星宸科技有限公司 影像解码装置与方法
CN116074533B (zh) * 2023-04-06 2023-08-22 湖南国科微电子股份有限公司 运动矢量预测方法、系统、电子设备及存储介质

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0535746B1 (en) * 1991-09-30 1997-01-29 Philips Electronics Uk Limited Motion vector estimation, motion picture encoding and storage
US5594813A (en) * 1992-02-19 1997-01-14 Integrated Information Technology, Inc. Programmable architecture and methods for motion estimation
KR0160618B1 (ko) * 1992-10-27 1999-01-15 윤종용 실시간 움직임 추정장치 및 그 방법
JPH07115646A (ja) * 1993-10-20 1995-05-02 Sony Corp 画像処理装置
US5594504A (en) * 1994-07-06 1997-01-14 Lucent Technologies Inc. Predictive video coding using a motion vector updating routine
KR0178231B1 (ko) * 1995-08-10 1999-05-01 배순훈 계층적인 움직임 추정 기법을 이용하는 움직임 벡터 검출 방법 및 장치
US5696836A (en) * 1995-03-17 1997-12-09 Lsi Logic Corporation Motion estimation processor architecture for full search block matching
JP3764505B2 (ja) * 1995-03-20 2006-04-12 株式会社大宇エレクトロニクス 階層的動き推定を採用した動きベクトル決定方法
US5575286A (en) 1995-03-31 1996-11-19 Siemens Medical Systems, Inc. Method and apparatus for generating large compound ultrasound image
KR100207390B1 (ko) * 1995-09-15 1999-07-15 전주범 계층적인 움직임 추정기법을 이용하는 음직임 벡터 검출방법
US5751838A (en) 1996-01-26 1998-05-12 Nec Research Institute, Inc. Correction of camera motion between two image frames
US5790207A (en) * 1996-03-14 1998-08-04 Daewoo Electronics, Co., Ltd. Motion compensation method for use in an image encoding system
US5717478A (en) * 1996-06-07 1998-02-10 Besicorp Group Inc. Photovoltaic module with liquid crystal display indicator
US5721595A (en) * 1996-06-19 1998-02-24 United Microelectronics Corporation Motion estimation block matching process and apparatus for video image processing
JPH1079947A (ja) * 1996-09-03 1998-03-24 Mitsubishi Electric Corp 動きベクトル検出装置
FR2757296B1 (fr) * 1996-12-13 2001-10-12 Sgs Thomson Microelectronics Procede et dispositif d'estimation de mouvement de portions d'images pour circuit de compression d'images mobiles
JP3631868B2 (ja) * 1996-12-20 2005-03-23 株式会社東芝 動きベクトル検出装置および方法
TW361051B (en) * 1997-01-09 1999-06-11 Matsushita Electric Ind Co Ltd Motion vector detection apparatus
CA2255900C (en) * 1997-03-14 2002-08-06 Cselt - Centro Studi E Laboratori Telecommunicazioni S.P.A. Circuit for motion estimation in digitised video sequence encoders
US6041078A (en) 1997-03-25 2000-03-21 Level One Communications, Inc. Method for simplifying bit matched motion estimation
US6418166B1 (en) * 1998-11-30 2002-07-09 Microsoft Corporation Motion estimation and block matching pattern

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008242698A (ja) * 2007-03-27 2008-10-09 Megachips Lsi Solutions Inc 動き探索方法
JP2014220571A (ja) * 2013-05-01 2014-11-20 日本放送協会 画像処理装置、符号化装置、及び符号化プログラム

Also Published As

Publication number Publication date
EP1188322A2 (en) 2002-03-20
CN1381145A (zh) 2002-11-20
CN1177483C (zh) 2004-11-24
WO2001072045A2 (en) 2001-09-27
WO2001072045A3 (en) 2002-01-03
KR100752530B1 (ko) 2007-08-29
US6567469B1 (en) 2003-05-20
KR20020025874A (ko) 2002-04-04

Similar Documents

Publication Publication Date Title
JP2003528500A (ja) 動き推定アルゴリズム
EP1147668B1 (en) Improved motion estimation and block matching pattern
JP5044568B2 (ja) 予測誘導間引き探索を使用する動き推定
JP4528441B2 (ja) ブロック整合法及び統合投射法を用いた階層的動き評価処理及び装置
JP4004653B2 (ja) 動きベクトル検出方法および装置、記録媒体
US7580456B2 (en) Prediction-based directional fractional pixel motion estimation for video coding
KR950009699B1 (ko) 움직임벡터 검출방법 및 장치
JP3538055B2 (ja) 動きベクトル検出装置
US7953153B2 (en) Motion estimation method utilizing modified rhombus pattern search for a succession of frames in digital coding system
US5717470A (en) Method and apparatus for detecting optimum motion vectors based on a hierarchical motion estimation approach
KR100994768B1 (ko) 동영상 부호화를 위한 움직임 추정 방법 및 이를 구현하기위한 프로그램이 기록된 기록 매체
US20050135481A1 (en) Motion estimation with scalable searching range
JP4669517B2 (ja) 動き推定の実現方法
US5710603A (en) Method for detecting motion vectors
US6020925A (en) Method and apparatus for encoding a video signal using pixel-by-pixel motion prediction
US20020168008A1 (en) Method and apparatus for coding moving pictures
KR100335434B1 (ko) 움직임 추정방법
JPH04248789A (ja) 撮像された画像の中の動きの推定方法
US6925125B2 (en) Enhanced aperture problem solving method using displaced center quadtree adaptive partitioning
KR100602148B1 (ko) 1/4픽셀 움직임 벡터를 이용한 동영상 압축방법
JPH10327401A (ja) 動きベクトル検出方法及びそれを用いた画像信号の符号化方法及び装置
JP2000350209A (ja) リアルタイム動映像符号化のための高速動き推定方法及びその装置
JPH10285603A (ja) 画像符号化方法
KR100462061B1 (ko) 동영상 부호화를 위한 움직임 추정 방법