JP2003536332A - イメージ相関における最小歪み計算のための適応型アーリー・イグジット技術 - Google Patents

イメージ相関における最小歪み計算のための適応型アーリー・イグジット技術

Info

Publication number
JP2003536332A
JP2003536332A JP2002503041A JP2002503041A JP2003536332A JP 2003536332 A JP2003536332 A JP 2003536332A JP 2002503041 A JP2002503041 A JP 2002503041A JP 2002503041 A JP2002503041 A JP 2002503041A JP 2003536332 A JP2003536332 A JP 2003536332A
Authority
JP
Japan
Prior art keywords
value
distortion
accumulator
image
cumulative
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002503041A
Other languages
English (en)
Other versions
JP3865240B2 (ja
Inventor
アルドリッチ,ブラッドレイ・シー
フリードマン,ホセ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Analog Devices Inc
Intel Corp
Original Assignee
Analog Devices Inc
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Analog Devices Inc, Intel Corp filed Critical Analog Devices Inc
Publication of JP2003536332A publication Critical patent/JP2003536332A/ja
Application granted granted Critical
Publication of JP3865240B2 publication Critical patent/JP3865240B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43Hardware specially adapted for motion estimation or compensation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

(57)【要約】 2つのイメージ部分に関連する値を計算するイメージ・プロセッサが提供される。その値は、前の計算で検出される。その後、これらの値は次の計算サイクルで用いられ、アーリー・イグジットを検出する。その値は、leastと呼ばれ、累積器の数によって除算され、その負数は累積器へ転送される。累積器が0に達すると、アーリー・イグジットが確立する。

Description

【発明の詳細な説明】
【0001】
【従来の技術】
イメージ圧縮技術は、ビデオ応用において送信されるべきデータの総量を減
少させることができる。これは、しばしば同一に留まっているイメージを決定す
ることによって成される。「動作推定(motion estimate)」技術は、さまざまな
ビデオ符号化法で用いられる。
【0002】 動作推定は、あるフレームNに属するソース・ブロックとサーチ領域との間の
最適な一致を見つけようとする試みである。サーチ領域は、同じフレームNにあ
っても、あるいは一時的に移動したフレームN−k中のサーチ領域にあってもよ
い。
【0003】 本技術は、演算集約的である。
【0004】
【詳細な説明】
動作推定は、絶対差分の集合(sum of absolute difference)または「SAD」
を計算することによってしばしば実行される。動作推定は、多くの異なった応用
に用いられ、ビデオ、ビデオ・カメラ、ビデオ・アクセラレータ、およびこのよ
うな他の装置を用いるセルラ電話を含むが、これらに限定されるものではない。
これらの装置は、出力としてビデオ信号を生成する。SADは、ソース・ブロッ
クとサーチ領域のサーチ・ブロックとの間における最低の歪みを認識するために
しばしば用いられる計算である。したがって、これらのブロック間の最適な一致
となる。これを表現する1つの方法は、次式である。
【0005】
【数1】
【0006】 概念的にこれが意味するものは、第1フレームまたはソース・ブロック(N)
がM×Nソース・ブロック100の要素部分に分割されることである。これらは
、第2フレーム(N−K)102と比較される。そのフレームは、k≠0の場合
に、一時的に移動され得る。各N−Kフレーム102は、M+2m1×N+2n1 の領域である。ソース・ブロック100は、図1における領域の中心に示されて
いる。一致するイメージ部分は、歪測定器を用いて各イメージ・フレームの各部
分を他のイメージ・フレームと相関をとることによって検出できる。圧縮法は、
この検出を使用して、そのデータを圧縮し、それによりそのイメージについての
より少ない情報を送り出す。
【0007】 この装置は、また汎用目的のDSPの一部であってもよい。このような装置は
、ビデオ・カムコーダ、会議電話、PCビデオ・カードおよびHDTVにおける
使用を意図している。加えて、汎用目的のDSPは、またデジタル信号処理、例
えば携帯電話で用いられる音声処理、音声認識および他の応用で使用する他の技
術と関連して使用することを意図している。
【0008】 全歪検出処理の速度を増加させることはできる。1つの方法は、各SAD装置
が1サイクルでより多くの動作を実行することのできるハードウェアを用いるこ
とである。しかしながら、これはより高価なハードウェアを必要とする。
【0009】 他の方法は、別のSAD装置を追加することにより有効なピクセルのスループ
ットを増加させることである。しかしながら、より多くのSADを必要とするの
で、これもまた費用を増加させる。
【0010】 より早いサーチ・アルゴリズムは、既存のハードウェアの使用をより効果的に
する。
【0011】 ブロックSADはソース・グループを「サーチ・グループ」と比較する。ソー
ス・グループおよびサーチ・グループはイメージ全体に亘って移動し、その結果
SADの動作はその2つのグループ間のオーバーラップを計算する。ソース・グ
ループ中の各ブロックは、各サーチ領域における複数のブロックと比較される。
【0012】 典型的なSADユニットは、2つの16×16エレメント上で動作し、これら
の要素を交互にオーバレイする。このオーバレイ処理は、16×16=256の
特異点を計算する。その後、これらは全歪みを表すために累積される。
【0013】 SADは、ある基礎的な動作を要求する。ソースXijとサーチYijとの間の相
違が形成されなければならない。絶対値|Xij−Yij|が形成される。最後に、
次の値が累積される、
【0014】
【数2】
【0015】 基本的な累積構造が図2に示される。演算論理ユニット200は、それに結合
したデータ・バス198,199からXijおよびYijを受け取り、Xij−Yij
計算する。出力201は、インバータ202によって反転される。反転された出
力およびそのオリジナル値の双方はマルチプレクサ204へ送られ、サイン・ビ
ット205に基づく値の1つを選択する。第2演算論理ユニット206はこれら
を結合し、絶対値を形成する。最終的な値は、累積レジスタ208に格納される
。図2に示されるように、これは減算、絶対値、累積を効果的に構成する。
【0016】 図2は、単一のSAD計算ユニットを示す。上記したように、複数の計算ユニ
ットがスループットを向上させるために用いられる。もし計算ユニットの数が増
加するなら、理論的にはそれはサイクル毎の画素スループットを増加させる。
【0017】 しかしながら、本発明者は、画素スループットの増加は本質的にユニット数に
線形して関連するものではないことに着目した。実際、各フレームはその近傍の
フレームとどこか相関があるものである。加えて、各イメージの異なった部分は
、しばしばそのイメージの他の部分と相関を有するものである。圧縮の効率性は
、そのイメージの特性に基礎付けられる場合がある。本応用は、圧縮の効率性に
依存して、異なったモードにある複数のSAD装置を用いることができる。
【0018】 本応用は、図3A,3Bに示される構成を利用する。同じ接続が図3A,3B
の双方に用いられるが、計算は異なった方法で区分けされる。
【0019】 図3Aは、全SADとして形成される各SAD装置300,302を示す。各
SADは、異なったブロックを受け取り、NブロックのSAD計算を提供する。
従って、ユニット301は、事実上16×16リファレンスと16×16ソース
との間の関係を、画素毎に計算する。ユニット2 302は、16×16ソース
と16×16サーチとの差分である結果を画素毎に計算する。別の変形が図3B
に示される。この変形である構成では、各単一のSAD300,302は、単一
のブロックSADの計算の一部を実行する。N計算ユニットの各々は、出力の1
/Nを提供する。この「部分SAD」動作は、8ビットの減算絶対値累積ユニッ
トの各々がそのユニットへ割り当てられた全SAD計算の1/Nを計算する。
【0020】 全部または一部を決定する全システムは、ここに述べられるように前回の結果
に基づいて用いなければならない。これにより、実行される計算数を減少させる
ことができる。
【0021】 全体または一部のいずれが用いられるかを決定する1つの方法は、一時的に近
接したイメージが相関のある属性を有していることを仮定することである。第1
サイクルは全SADモードを用いて計算することができ、第2サイクルは部分S
ADモードを用いて計算することができる。より速く動作するサイクルは勝者と
して扱われ、そのSADモードをセットする。この計算はXサイクル毎に繰り返
され、ここにXは局所的な一時的相関がもはや仮定されなくなった後のサイクル
数である。こらは、論理ユニット内で行われ、ここに示された図7のフローチャ
ートを実行する。
【0022】 スループットは、また、ここに示された「アーリー・イグジット(early exit)
」技術によって向上させることができる。
【0023】 16×16エレメントに対する完全なSAD計算は、|p1r−p1s|+|p2 r−p2s|+・・・|p256r−p256s|・・・(1)として記述され得る。
もしこれらの計算の全てが実際に実行されるならば、計算は256/Nサイクル
必要とし、ここにNはSADユニット数である。できるだけ早くその計算を停止
することが望ましい。その計算の中間結果が検証される。これらの中間結果は、
最小の歪みを見つけるために十分な情報が決定されたかどうかを決めるために用
いられる。しかしながら、試験する動作はサイクルを消費する。
【0024】 本応用は、このサイクルの消費と最小歪みの決定との間のバランスを表す。図
4は、4つのSAD装置を用いる16×16計算に対するトレードオフを描く。
図4中のライン400は、アーリー・イグジットがない場合のサイクル・カウン
トを示す。そのラインは、水平的に、アーリー・イグジットのないサイクル・カ
ウントがいつも256/4=64であることを示している。アーリー・イグジッ
ト戦略に対するサイクル・カウントは、傾斜ライン402,404,406,4
08で示される。ライン404は16画素毎に1つのテストを示し、ライン40
6は32画素(1/8)毎に1つのテストを示し、そしてライン408は64画
素(1/16)毎に1つのテストを示す。ライン402−408がライン400
より上にある場合、アーリー・イグジットでの試みは全体の歪み計算時間を実際
には増加させることに注意されたい。ライン402はサイクル消費を示し、ゼロ
のオーバーヘッドがイグジット・テストのために得られる。すなわち、テストが
行われると、そのイグジットはいつもうまくいく。ライン402は望ましい目標
である。適応型アーリー・イグジット法はこのようにするために開示される。
【0025】 ブロックIは、従来から知られたあらゆる通常の戦略を用いてまず処理され、
最小の歪みを見つける。これは実際のイメージの一部であるテスト・パターンを
用いてなされ、その歪みを求めることができる。最小歪みは、基準線(ベースラ
イン)として用いられ、ブロックI+nは、nは小さいが、同じ最小歪みを有す
ることが仮定される。
【0026】 Kexit(N)は、アーリー・イグジットが達成される前に、サーチ領域の
ために前もって処理された画素の数を表す。
【0027】 Aexit(N)は、サーチ領域のための最新のアーリー・イグジット時刻で
の、部分累積サイン・ビットの状態を示す。
【0028】 これらのブロックI+nに対し、SAD計算は、歪みがそのスレシホールドを
超える時、終了する。これは、サーチ領域について知られている以前の情報を用
いる一時的なシステムを形成する。
【0029】 通常のシステムは、しばしば共通の特性を維持するある確率であるサーチ領域
内のイメージ特性に基づく。フレーム間の時間は、1/15秒と1/30秒との
間にあり、これらの時間間隔中にある測定可能なシステム特性に関連するあるノ
イズ・フロア以上で、最小の変更が発生するのにしばしば十分早い。また、時間
を超えて、類似した一時的特性を維持するイメージ領域が存在する。
【0030】 本願にしたがって、各SADのための累積ユニットに値(−least/n)がロー
ドされ、ここに「least」は、その領域に対するブロック移動サーチで測定され
る最小歪みを表す。多くのSADは各サーチ領域のために計算される。その領域
のための第1SAD計算は、「Least」の名称が割り付けられる。将来のSAD
はこれと比較され、新しい「Least」値が確立されたかどうかをみる。累積器が
符号を変更する場合、最小歪みに到達する。さらに、これは、追加の計算なしに
、その現在のSAD構造のみを用いて示され、その結果テストのためのサイクル
を追加する。
【0031】 イメージ特性のテストは、アーリー・イグジットを確立する前にいくつの累積
器がスイッチする必要があるのかを決定するために用いられる。例えば、ソース
およびターゲット領域が全く同じ性質であるなら、そのとき全ての累積器は多か
れ少なかれ同時に符号を変えなければならない。これが発生すると、実行中のS
AD計算のうち前回の最小測定値を越えるいずれか1つの計算が、アーリー・イ
グジットが適切であることを示すために用いられる。
【0032】 しかしながら、これは全イメージの均質性を仮定する。このような仮定は、い
つも保っているものではない。多くの状況では、異なったSADユニットの複数
の累積器は、同じ速度で増加するのではない。さらに、累積器間の異なった増加
速度は、それら自身の相違性、すなわちソースおよびターゲット・ブロック間の
空間周波数特性に直接関連付けられるかもしれないし、またデータをサンプルす
る方法に関連付けられるかもしれない。これは、SADユニットに何が発生する
のかに基づき、アーリー・イグジットをどのように決定するのかを判断するより
複雑な方法を要求する。
【0033】 1つの動作は分割SAD状態と関連する可能性に基づき、ここに全てのSAD
ユニットは必ずしも同じ状態にはない。累積器間の増加率の相違は、ソースおよ
びターゲット・ブロック間における空間周波数特性の相違に関連付けられる。こ
れらの空間周波数特性は、また一時的に同種のフレーム間で相関が取られるので
、あるフレームからの情報は、また次のフレームの解析に応用される。
【0034】 これは、変数に関連してここに説明されるが、ここにA1,A2,A3,...
nは分割SAD計算と関連する事象(イベント)として定義される。
【0035】 イベントは次のように定義される。
【0036】 イベントAi=SADi≧0 ここにi≠jに対しSAD<0。
【0037】 これは、概念的にはイベントAiは、SADユニットがポジティブで残りの全
てのSADユニットがネガティブである場合に起こるとして定義されることを意
味する。これは、例えば、累積器が異なった速度で増加している場合に、起こる
であろう。これは、また結合イベントとしても特に定義され得る。すなわち: イベントBi,j=Ai∪Aj=SADi≧0 SADj≧0に対し。
【0038】 ここに、k≠i,jに対しSADk<0。
【0039】 これは、Aiが存在しかつAjが真であるが、他の全てのAkは偽である場合に
、イベントBi,jは「真」であると定義されることを意味する。イベントに関す
る動作を定義する概念は、i,j,kの可能な全ての組み合わせを含むものとし
て拡張することができる。4個のSAD装置に対して、合計16個の組み合わせ
を生み出す。より大きな数のSAD装置に対しては、別の組み合わせする数を導
き、i,j,k,mあるいは他のより多くの変数を用いることも可能である。
【0040】 このシナリオを言葉で表すと、各イベント「B]は、0より大きい特定の累積
器の合計として定義される。これらの組み合わせのそれぞれは、可能性として定
義される。4個のSADユニットに対して、合計して16個の可能な状態の累積
器がある。これらは、それらがどのように処理されるのかに従って、グループ化
されることができる。
【0041】 第1のありふれた可能性は、
【0042】
【数3】
【0043】 これは、累積器の合計が0より多く、いずれの累積器も0を越えていないとす
ると、その可能性が0であることを意味する。
【0044】 その反対は、また真である。すなわち、 P(B|A1∩A2∩A3∩A4)=1。
【0045】 これは、いずれの累積器も設定されていないとして、全ての累積器の合計の可
能性が1であることを意味する。
【0046】 これらのありふれた特性を除外すると、14のありふれない組み合わせがある
。第1のグループは4つの場合を含み、ここでは累積器の1つは設定され、かつ
残りの3つは設定されていない場合をいう。すなわち、
【0047】
【数4】
【0048】 別のグループは、2つの累積器が設定され、かつ他の2つの累積器が設定され
ていない状態を示す。これらの組み合わせは次のように書かれる。すなわち、
【0049】
【数5】
【0050】 最後に、次のグループは、3つの累積器が設定され、1つの累積器が設定され
ていない場合である。
【0051】
【数6】
【0052】 本実施例は、これらのグループの各々が、実際にはこれらの状態の各々が、イ
メージにおいて異なった状態を示すことを認める。各グループまたは各状態は、
異なる処理が施され得る。
【0053】 このシステムは、上述のように、また図5のフローチャートに関連して動作す
る。最終目標は、計算を終了し、その結果、より早く出口(イグジット)に出る
ことである。まず図5に示されるように、550で、2つのイメージ、すなわち
ソース・イメージとサーチ・イメージの特性の一致性を判断する。一致特性はい
かなるアーリー・イグジットなしに計算される。最小歪みは555で求められ、
その状態は、最小歪みが存在したときに、560で求められる。
【0054】 560の状態は、最小歪みの時間に存在したグループ形式、または14個の可
能性中の特定状態を含めることができる。
【0055】 570で、後続のイメージ部分がテストされる。この後続部分は、そのテスト
部分と相関されるいかなる部分であってもよい。一時的に相関されたイメージは
相関されるべきと仮定されるので、これはあらゆる一時的に相関された部分へ拡
張することができる。
【0056】 イメージのソースおよびサーチがテストされ、最小歪みの時間に起こった特定
のグループの判断が575で行われる。その後、580で、アーリー・イグジッ
トが達成される。
【0057】 アーリー・イグジットは、一度判断されると、多くの異なった方法で実行され
る。
【0058】 図6Aは、アーリー・イグジットまたは「EE]フラグを用いるアーリー・イ
グジットを実行するシステムを示す。N個のSADユニットが示されるが、この
実施例ではNは4である。各SADユニットは、上記議論した構造、および特定
のALU、インバータ、および累積器を含む。
【0059】 各累積器の出力は、組み合わせ論理ユニット600に結合され、それはその出
力を配列する。これは、上記したグループ判断を実行するために用いられる。組
み合わせ論理ユニットは個別論理ゲートを用いて実行され、例として、ハードウ
ェアの定義語で定義される。そのゲートは選択されたグループに基づくオプショ
ンでプログラムされる。異なったイメージおよび部分は異なったオプションに従
って処理されてもよい。
【0060】 各オプションに対し、状態の組み合わせ、例として、既に議論したグループが
コード化される。その組み合わせ論理は、全てのSADユニットの累積器をモニ
ターする。各状態はマルチプレクサへ出力される。
【0061】 これらの累積器が選択されたコード化内に入る状態に達すると、アーリー・イ
グジット・フラグが生成される。アーリー・イグジット・フラグは、ハードウェ
アが適切な「適合」を判断したことを意味する。これにより、動作は終了する。
【0062】 図6Bは、代替システムを示し、累積器の状態がハードウェア状態レジスタ6
00によって検出される。この状態レジスタは、累積器の状態によって特定の状
態へ設定される。状態レジスタはアーリー・イグジットを示す特定の状態を格納
する。その特定の状態が示されると、アーリー・イグジットが確立する。
【0063】 適合アーリー・イグジットが用いられる方法は、図7に関連して全体が示され
る。700で、ビデオ・フレームが開始する。705は、フレームMおよびフレ
ームM+1の双方をバッファすることを示す。710は、ブロック・ヒストリ・
モデルが更新を必要とするかどうかの判断を示す。これは、前回のフレーム更新
まで、例えば時間をモニターすることにより判断され得る。例えば、新しい更新
が必要となる前に、時間としてx秒が確立される。
【0064】 このモデルが更新を必要とするなら、その時そのプロセスは0xFF01を有
する累積器をロードするまで続き、715で局所変数N=1を設定する。720
で、システムはSADサーチ領域Nを獲得し、イグジット・テストが実行される
725で周期的なイグジット・テストTexit=1/16...を用いる。もし首尾
よくいくなら、イグジット前に画素である局所変数Kexit(N)およびイグ
ジット前に累積器1ないし4のサマリーであるAexit(N)が戻される。局
所変数nは、またステップ730で増加される。これは、局所パラメータを確立
し、かつ、そのプロセスを継続する。
【0065】 次のサイクルで、ブロック・ヒストリの更新は、ステップ710で再実行され
る必要はなく、その結果、制御はステップ735へ移る。このステップで、前に
格納されたKexitおよびAexitが読まれる。これは、ステップ740で
新しいカウントとして用いられ、ターゲット・ブロック・フラグを設定する。
【0066】 ステップ745で、ブロックNに対するサーチが確立され、イグジットおよび
Kexitがステップ750で更新される。Nは増加される。ステップ755で
、Nが397に等しいかどうかの判断がなされる。396かつ352x288イ
メージ中に16x16ブロックであるので、バッファ中のフレームの数として3
97が取られる。しかしながら、これは可能な限り異なったサイズに対し調整さ
れる。
【0067】 再び、大きいイメージ部の一時変数は不変更のまま残されそうである。したが
って、部分的な累積器が特定のサイン・ビットを有する場合、それらの状態は著
しい利点をもたらす。さらに、フレーム間の時間は、通常1/15ないし1/3
0秒のオーダーである。最後に、イメージ内の領域はそれらの局所的な特性を維
持し、それ故空間周波数が相関される。
【0068】 新規な実施例のみが議論されたが、他への変更も可能である。
【図面の簡単な説明】
いろいろな側面が添付の図面とともに詳細に示される。
【図1】 互いに対し比較されるソース・ブロックおよびサーチ・ブロックを示す。
【図2】 歪みを計算するための基本累積ユニットを示す。
【図3A】 複数のSADユニット中における計算の異なった分割を示す。
【図3B】 複数のSADユニット中における計算の異なった分割を示す。
【図4】 アーリー・イグジット戦略計算と実際の総計算との間のトレードオフを示す。
【図5】 アーリー・イグジット戦略のフローチャートを示す。
【図6A】 アーリー・イグジット・フラグを用いるアーリー・イグジットを示す。
【図6B】 ハードウェアの状態レジスタを用いるアーリー・イグジットを示す。
【図7】 適応型アーリー・イグジット戦略の動作フローチャートを示す。
───────────────────────────────────────────────────── フロントページの続き (81)指定国 EP(AT,BE,CH,CY, DE,DK,ES,FI,FR,GB,GR,IE,I T,LU,MC,NL,PT,SE,TR),OA(BF ,BJ,CF,CG,CI,CM,GA,GN,GW, ML,MR,NE,SN,TD,TG),AP(GH,G M,KE,LS,MW,MZ,SD,SL,SZ,TZ ,UG,ZW),EA(AM,AZ,BY,KG,KZ, MD,RU,TJ,TM),AE,AG,AL,AM, AT,AU,AZ,BA,BB,BG,BR,BY,B Z,CA,CH,CN,CO,CR,CU,CZ,DE ,DK,DM,DZ,EC,EE,ES,FI,GB, GD,GE,GH,GM,HR,HU,ID,IL,I N,IS,JP,KE,KG,KP,KR,KZ,LC ,LK,LR,LS,LT,LU,LV,MA,MD, MG,MK,MN,MW,MX,MZ,NO,NZ,P L,PT,RO,RU,SD,SE,SG,SI,SK ,SL,TJ,TM,TR,TT,TZ,UA,UG, US,UZ,VN,YU,ZA,ZW (72)発明者 アルドリッチ,ブラッドレイ・シー アメリカ合衆国 テキサス州 78735 オ ースチン サウスウエスト・パークウェイ 5604 ナンバー314 (72)発明者 フリードマン,ホセ アメリカ合衆国 マサチューセッツ州 02446 ブルックリン センター・ストリ ート70 アパートメント・5イー Fターム(参考) 5C059 NN01 NN08 NN28 PP04 SS03 SS07 SS10 SS11 SS30 UA02

Claims (41)

    【特許請求の範囲】
  1. 【請求項1】 2つの領域間における最小歪みを判断する段階と、 前記最小歪みに関連する値を累積要素へ転送する段階と、 次のイメージ歪み計算の結果を前記累積要素へ累積する段階と、 前記累積要素が予め定める値に達する場合、次の計算のイグジットのために前
    記最小歪みを確立する段階と、 から構成されることを特徴とする方法。
  2. 【請求項2】 複数の前記累積要素があり、前記転送する段階は前記値を前
    記累積要素の各々へ転送する段階を含むことを特徴とする請求項1記載の方法。
  3. 【請求項3】 前記確立する段階は、前記複数の累積要素における特定の累
    積要素が前記予め定める値に達する場合に起こることを特徴とする請求項2記載
    の方法。
  4. 【請求項4】 前記確立する段階は、前記複数の累積要素の全てが前記予め
    定める値に達する場合に起こることを特徴とする請求項2記載の方法。
  5. 【請求項5】 前記確立する段階は、単一の累積要素が前記予め定める値に
    達する場合に起こることを特徴とする請求項2記載の方法。
  6. 【請求項6】 前記最小歪みに関連する前記値は、歪みの総量であり、前記
    累積要素の数で除算されることを特徴とする請求項2記載の方法。
  7. 【請求項7】 領域の特性を判断し、前記特性から、前記確立する前に前記
    予め定める値に達することを要求するために累積要素の数を判断する段階をさら
    に有することを特徴とする請求項2記載の方法。
  8. 【請求項8】 イメージの前記特性は均質的なイメージを示し、かつ前記最
    小歪みを確立する段階は単一の累積器からの結果に基づくことを特徴とする請求
    項7記載の方法。
  9. 【請求項9】 前記確立する段階は、複数の累積器からの結果に基づいてア
    ーリー・イグジットを確立する段階からなることを特徴とする請求項7記載の方
    法。
  10. 【請求項10】 前記アーリー・イグジットはある状態を確立する累積器の
    各々の可能性を判断する段階を含み、前記確立は前記状態を確立する前記累積器
    に基づくことを特徴とする請求項9記載の方法。
  11. 【請求項11】 前記予め定める値は、ゼロであることを特徴とする請求項
    6記載の方法。
  12. 【請求項12】 2つのイメージ領域間の歪みを判断する段階と、 アーリー・イグジット体系のために特別の計算サイクルを用いることなしにア
    ーリー・イグジット体系を実行する段階と、 から構成されることを特徴とする方法。
  13. 【請求項13】 前記アーリー・イグジットは、累積要素へ値を転送する段
    階、および前記値を前記判断する段階に基づいて変更する段階によって計算され
    ることを特徴とする請求項12記載の方法。
  14. 【請求項14】 前記複数の累積要素があり、前記転送する段階は前記値を
    前記累積要素の各々へ転送する段階を含むことを特徴とする請求項14記載の方
    法。
  15. 【請求項15】 前記確立する段階は、前記複数の累積要素における特定の
    累積要素が予め定める値に達する場合に起こることを特徴とする請求項14記載
    の方法。
  16. 【請求項16】 前記確立する段階は、前記複数の累積要素の全てが前記予
    め定める値に達する場合に起こることを特徴とする請求項14記載の方法。
  17. 【請求項17】 前記値は、前の計算における最小歪みに関連していること
    を特徴とする請求項12記載の方法。
  18. 【請求項18】 領域の特性を判断し、前記特性から、前記確立する前に前
    記予め定める値に達することを要求するために累積要素の数を判断する段階をさ
    らに有することを特徴とする請求項13記載の方法。
  19. 【請求項19】 イメージの前記特性は均質的なイメージを示し、かつ前記
    最小歪みを確立する段階は単一の累積器からの結果に基づくことを特徴とする請
    求項18記載の方法。
  20. 【請求項20】 前記予め定める値は、ゼロであることを特徴とする請求項
    15記載の方法。
  21. 【請求項21】 イメージ・ブロック間の歪みを判断する方法において、 第1イメージ部と第2イメージ部との間の第1歪みを判断し、アーリー・イグ
    ジットのための計算の回数およびアーリー・イグジット時のある計算の状態を獲
    得する段階と、 次の計算において、前記回数および前記状態の双方に基づいて計算を終了する
    段階と、 から構成されることを特徴とする方法。
  22. 【請求項22】 前記歪みは、累積器へ値を転送する段階、および前記累積
    器が特定の値に達する場合アーリー・イグジットを確立する段階によって計算さ
    れることを特徴とする請求項21記載の方法。
  23. 【請求項23】 前記特定の値は、ゼロであることを特徴とする請求項22
    記載の方法。
  24. 【請求項24】 イメージ部を処理する方法であって、 第1イメージ部についてのイメージ歪み情報を獲得する段階と、 前記イメージ歪み情報に関連する値を計算要素へ転送する段階、および前記値
    が予め定める総量に達する場合前記計算要素によって実行される計算を終了する
    段階によって、第2部を処理するために前記イメージ歪み情報を用いる段階と、 から構成されることを特徴とする方法。
  25. 【請求項25】 前記イメージ歪み情報は、ブロック移動サーチ中に測定さ
    れる歪みの最小を含むことを特徴とする請求項24記載の方法。
  26. 【請求項26】 前記イメージ歪みは、絶対差分装置の集合における歪みを
    累積器で計算するために用いられることを特徴とする請求項24記載の方法。
  27. 【請求項27】 前記値は、累積器へ転送されることを特徴とする請求項2
    6記載の方法。
  28. 【請求項28】 前記値は、(−least/n)からなり、ここにleastは前のサ
    イクルで求められる値であり、nは累積器の数であることを特徴とする請求項1
    8記載の方法。
  29. 【請求項29】 前記特定の値は、ゼロであることを特徴とする請求項28
    記載の方法。
  30. 【請求項30】 前記累積器は値(−least/n)が転送され、ここにleastは
    期待されるアーリー値であるとともに、nは累積器の数であり、アーリー・イグ
    ジットは累積器が0に達する場合に確立されることを特徴とする請求項18記載
    の方法。
  31. 【請求項31】 前記値は、累積器のサイン・ビットを示すことを特徴とす
    る請求項22記載の方法。
  32. 【請求項32】 2つのイメージ間の関係に基づく特定の状態を達成する複
    数のイメージ操作装置を獲得する段階と、 前記関係に基づく結果を累積する段階と、 計算が累積する段階の状態に基づき完了されるかどうかを判断する段階と、 から構成されることを特徴とする方法。
  33. 【請求項33】 前記イメージ操作装置はビデオ・カメラの一部であること
    を特徴とする請求項33記載の方法。
  34. 【請求項34】 2つの領域間の最小歪みに関連する値を計算する、累積器
    を含む計算装置と、 前記最小歪みに関連する値を格納し、かつ前記歪みを前記累積器に転送するバ
    ッファと、 前記累積器中の値に基づく最小歪みを確立する論理装置と、 から構成されることを特徴とする装置。
  35. 【請求項35】 前記複数の計算装置があり、前記歪みは前記累積要素の各
    々へ転送されることを特徴とする請求項34記載の装置。
  36. 【請求項36】 ビデオ獲得装置と、 複数の計算装置であって、各々は前記ビデオ獲得装置によって獲得された2つ
    のビデオ部分間の最小歪みに関連する値を計算する累積要素を含む、複数の計算
    装置と、 前記最小歪みに関連する値を格納し、かつ前記歪みを前記累積器に転送するバ
    ッファと、 前記累積装置中の値に基づく最小歪みを確立する論理装置と、 から構成されることを特徴とする装置。
  37. 【請求項37】 前記論理装置は、前記累積要素のサイン・ビットをモニタ
    ーすることを特徴とする請求項36記載の装置。
  38. 【請求項38】 前記論理装置は、前記累積要素中の値をモニターすること
    を特徴とする請求項36記載の装置。
  39. 【請求項39】 前記ビデオ獲得装置は、ビデオ・カメラであることを特徴
    とする請求項36記載の装置。
  40. 【請求項40】 前記論理装置は、前記予め定める値に達する前記複数の累
    積要素における全ての値をモニターすることを特徴とする請求項38記載の装置
  41. 【請求項41】 前記累積器は値(−least/n)が転送され、ここにleastは
    期待されるアーリー値であるとともに、nは累積器の数であり、アーリー・イグ
    ジットは累積器が0に達する場合に確立されることを特徴とする請求項36記載
    の装置。
JP2002503041A 2000-06-07 2001-06-06 イメージ相関における最小歪み計算のための適応型アーリー・イグジット技術 Expired - Lifetime JP3865240B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US09/589,624 US6700996B1 (en) 2000-06-07 2000-06-07 Adaptive early exit techniques in image correlation
US09/589,624 2000-06-07
PCT/US2001/040863 WO2001095634A1 (en) 2000-06-07 2001-06-06 Adaptive early exit techniques for minimun distortion calculation in image correlation

Publications (2)

Publication Number Publication Date
JP2003536332A true JP2003536332A (ja) 2003-12-02
JP3865240B2 JP3865240B2 (ja) 2007-01-10

Family

ID=24358790

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002503041A Expired - Lifetime JP3865240B2 (ja) 2000-06-07 2001-06-06 イメージ相関における最小歪み計算のための適応型アーリー・イグジット技術

Country Status (8)

Country Link
US (2) US6700996B1 (ja)
JP (1) JP3865240B2 (ja)
KR (1) KR100551545B1 (ja)
CN (1) CN100352282C (ja)
AU (1) AU2001267035A1 (ja)
SG (1) SG154319A1 (ja)
TW (1) TW522738B (ja)
WO (1) WO2001095634A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6907080B1 (en) * 2000-06-07 2005-06-14 Intel Corporation Adaptive early exit techniques in image correlation
US6654502B1 (en) * 2000-06-07 2003-11-25 Intel Corporation Adaptive early exit techniques in image correlation
US6700996B1 (en) * 2000-06-07 2004-03-02 Intel Corporation Adaptive early exit techniques in image correlation
US7742525B1 (en) * 2002-07-14 2010-06-22 Apple Inc. Adaptive motion estimation
US6933982B2 (en) * 2002-10-07 2005-08-23 Koninklijke Philips Electronics N.V. Method and apparatus for fast robust estimation of image noise in a video processing system
US7792188B2 (en) 2004-06-27 2010-09-07 Apple Inc. Selecting encoding types and predictive modes for encoding video data
TWI295027B (en) * 2005-07-01 2008-03-21 Pixart Imaging Inc Method for adjusting operating frequency of an optical input device according to reference frame changes
US8150204B2 (en) * 2007-03-23 2012-04-03 Mitsubishi Electric Corporation Noise reducer for video signals
JP5286944B2 (ja) * 2008-05-30 2013-09-11 富士通セミコンダクター株式会社 受信装置及びパケット通信方法
US20130170565A1 (en) * 2011-12-30 2013-07-04 Faramarz Azadegan Motion Estimation Complexity Reduction

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5952359A (ja) * 1982-09-02 1984-03-26 Hitachi Medical Corp 画像間演算時の画像歪み自動補正装置
US5163101A (en) * 1985-10-07 1992-11-10 Schlumberger Technologies, Inc. Bitplane area correlator
KR870009295A (ko) * 1986-03-28 1987-10-24 엔. 라이스 머레트 멀티플렉스된 바이패스 경로를 갖고있는 비트 슬라이스 프로세서용 alu
CA1311063C (en) 1988-12-16 1992-12-01 Tokumichi Murakami Digital signal processor
JPH0683019B2 (ja) 1988-12-16 1994-10-19 三菱電機株式会社 ディジタル信号処理プロセッサ
US5682209A (en) * 1995-11-13 1997-10-28 Tektronix, Inc. Motion estimation using limited-time early exit with prequalification matrices and a predicted search center
JP3631868B2 (ja) 1996-12-20 2005-03-23 株式会社東芝 動きベクトル検出装置および方法
TW361051B (en) 1997-01-09 1999-06-11 Matsushita Electric Ind Co Ltd Motion vector detection apparatus
JPH11237216A (ja) * 1997-12-17 1999-08-31 Asahi Glass Co Ltd 光学歪の評価方法および評価装置
JP3540142B2 (ja) 1998-01-30 2004-07-07 株式会社東芝 動きベクトル検出回路および動きベクトル検出方法
JP2000069484A (ja) 1998-08-21 2000-03-03 Sony Corp 動きベクトル算出方法及び動きベクトル算出プログラムを記録した記録媒体
FR2801123B1 (fr) * 1999-11-12 2002-04-05 Bertrand Aube Procede de creation automatique de maquette numerique a partir de couples d'images stereoscopiques
US6496538B1 (en) * 1999-12-31 2002-12-17 Intel Corporation Method and apparatus for motion estimation for digital video encoding
US6567469B1 (en) * 2000-03-23 2003-05-20 Koninklijke Philips Electronics N.V. Motion estimation algorithm suitable for H.261 videoconferencing applications
US6654502B1 (en) * 2000-06-07 2003-11-25 Intel Corporation Adaptive early exit techniques in image correlation
US6907080B1 (en) * 2000-06-07 2005-06-14 Intel Corporation Adaptive early exit techniques in image correlation
US6700996B1 (en) * 2000-06-07 2004-03-02 Intel Corporation Adaptive early exit techniques in image correlation
US7023921B2 (en) * 2002-08-06 2006-04-04 Motorola, Inc. Method and apparatus for determining block match quality
US7596286B2 (en) * 2003-08-06 2009-09-29 Sony Corporation Image processing apparatus, image processing system, imaging apparatus and image processing method

Also Published As

Publication number Publication date
SG154319A1 (en) 2009-08-28
US6700996B1 (en) 2004-03-02
AU2001267035A1 (en) 2001-12-17
CN100352282C (zh) 2007-11-28
WO2001095634A1 (en) 2001-12-13
US20040156532A1 (en) 2004-08-12
KR100551545B1 (ko) 2006-02-13
CN1436425A (zh) 2003-08-13
KR20030025241A (ko) 2003-03-28
TW522738B (en) 2003-03-01
JP3865240B2 (ja) 2007-01-10
US7031498B2 (en) 2006-04-18

Similar Documents

Publication Publication Date Title
JP2003536161A (ja) イメージ相関における最小歪み計算のための適応型アーリー・イグジット技術
RU2323541C2 (ru) Способ и устройство для выполнения высококачественного быстрого поиска прогнозируемого движения
US8804844B2 (en) Adaptive early exit techniques in image correlation
JP2003536332A (ja) イメージ相関における最小歪み計算のための適応型アーリー・イグジット技術
JP2000502481A (ja) 絶対値合計ジェネレータ
Jing et al. Motion detection with adaptive background and dynamic thresholds
EP1145560A2 (en) Motion estimation
US9256789B2 (en) Estimating motion of an event captured using a digital video camera
US20100239019A1 (en) Post processing of motion vectors using sad for low bit rate video compression
JP3883250B2 (ja) 監視画像記録装置
JP2003521828A (ja) 動きベクトルの伝送コスト低減のための動き推定の方法
JPH10341440A (ja) 動画像符号化方法および装置
JPH06205403A (ja) インテグラルプロゼクションを利用した動きベクター検出方法
CN109903281B (zh) 一种基于多尺度的目标检测方法及装置
CN116029920A (zh) 图像处理方法、电子设备及存储介质
JP2001326903A (ja) 録画判定装置および方法ならびにエッジ抽出装置
Di Stefano et al. Vehicle Detection in Traffic Images.
JPH104555A (ja) 動きベクトル検出装置
Hahmoud et al. A new block-matching motion estimation algorithm based on successive elimination
KR20070079717A (ko) 고속 움직임 추정 장치 및 방법
Wu et al. Linear predicted two-pass hexagonal algorithm with parallel implementation for motion estimation
JP2000013804A (ja) 画素演算方法および画素演算装置
JPH08223576A (ja) 境界整合の動き推定装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050509

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20050725

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20050801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060516

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060809

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060906

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060928

R150 Certificate of patent or registration of utility model

Ref document number: 3865240

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091013

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091013

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101013

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111013

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121013

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131013

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term