JP2000222587A - 直交変換―ドメインブロックマッチングを用いる動き推定 - Google Patents

直交変換―ドメインブロックマッチングを用いる動き推定

Info

Publication number
JP2000222587A
JP2000222587A JP2000016921A JP2000016921A JP2000222587A JP 2000222587 A JP2000222587 A JP 2000222587A JP 2000016921 A JP2000016921 A JP 2000016921A JP 2000016921 A JP2000016921 A JP 2000016921A JP 2000222587 A JP2000222587 A JP 2000222587A
Authority
JP
Japan
Prior art keywords
block
matching
transformed
blocks
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000016921A
Other languages
English (en)
Inventor
Daniel Q Zhu
キュー． ズ ダニエル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of JP2000222587A publication Critical patent/JP2000222587A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/547—Motion estimation performed in a transform domain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G06T7/238—Analysis of motion using block-matching using non-full search, e.g. three-step search
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)
  • Television Systems (AREA)
  • Complex Calculations (AREA)

Abstract

(57)【要約】 （修正有） 【課題】１つのビデオイメージフレーム内の動作ブロッ
クを、別のビデオイメージフレーム内のマッチングブロ
ックとマッチさせる。 【解決手段】複数のアダマール変換プロセッサにより、
動作ブロックおよび他のビデオイメージフレームからの
複数のトライアルマッチングブロックを変換する。次
に、変換された動作ブロックと比較され、最小の差分を
有する変換マッチングブロックが判定され、これに対応
するマッチングブロックが、動作ブロックについてのマ
ッチングブロックとして選択される。あるアプリケーシ
ョンでは、１つのフレーム内の比較的大きな動作ブロッ
クを、他のフレーム内の対応する大きなマッチングブロ
ックにマッチさせて、両ブロックとの間の移動変位を判
定し、１つのフレーム内のより小さな動作ブロックが他
のフレーム内のブロックにマッチされる場合に、トライ
アルマッチングブロックの選択を導くために使用され
る。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、イメージブロック
適合方法に関する。本発明は、詳細には、直交変換のド
メイン内で動作する２つのイメージ間で、画素のブロッ
クをマッチングする方法に関する。
【０００２】
【従来の技術】動き推定は基礎的なタイプのデジタルビ
デオ処理である。動き推定は、多くのデジタルビデオア
プリケーションにおいて、例えば、ビデオコーディング
(videocoding)、動き補償型ビデオ規格変換(motion com
pensated video standards conversion)および機械視覚
(machine vision)において見受けられ得る。ビデオコー
ディングの文脈における動作情報は、信号エントロピー
を低減するのに有用であるので、圧縮されたビデオ信号
は帯域幅が制限されたチャネルを介して伝送され得る。
ビデオ規格変換の文脈における動作情報は、動作パス(m
otion path)に沿って信号を補間することにより、変換
器が失われたデータを回復するのを空間的および／また
は時間的に助ける。動作情報は、機械視覚アプリケーシ
ョンにおいて有用であり、ロボットがさまざまな処理ス
テップを介してワークピース(workpiece)を発見または
追尾するのを可能にする。これらの例の各々において、
動き推定は、通常、画素−ドメインブロックマッチング
（ＢＭ）技術を用い、マッチング基準(matching criter
ion)は、現在のフレーム内の動作ブロックと検索フレー
ム内のトライアルマッチングブロック(trial matching
block)との間の最小平均二乗誤差（ＭＳＥ）である。最
小ＭＳＥは、より費用効率の高いハードウェアインプリ
メンテーションのために、最小平均絶対値差分(mean ab
solution difference)（ＭＡＤ）と置き換えられ得る。
【０００３】画素−ドメインＢＭ技術は、そのアルゴリ
ズムの単純さのため、および、超大型集積（ＶＳＬＩ）
回路の用いて実行され得るので、これらのアプリケーシ
ョンにより適している。
【０００４】
【発明が解決しようとする課題】しかし、これら既存の
ＢＭ技術は画素−ドメイン比較に基づき、かつ、最良の
マッチは最小エラーインデックス（ＭＡＤ／ＭＳＥ）に
基づいて判定されるので、これら既存のＢＭ技術は最適
未満の結果を提供し得る。画素−ドメインＭＳＥ（また
は相互相関(cross-correlation)）寸法は人によって認
知されるイメージビジュアルエラーと完全に一致しない
ということが、一般的に了解されている。結果的に、動
き推定において現在用いられている誤差寸法は、さらな
る改変を要求する。換言すると、マッチングプロセスの
間、人間の視覚システムの特性を考慮する必要がある。
【０００５】
【課題を解決するための手段】本発明による、第１およ
び第２のイメージを表す画素データを処理して、第１の
イメージ内の画素値からなる動作ブロックに対応する第
２のイメージ内の画素値のマッチングブロックを識別す
る方法は、所定の直交変換動作を用いて画素値からなる
動作ブロックを変換して、変換された動作ブロックを生
成するステップと、第２のイメージから複数のトライア
ルマッチングブロックを選択するステップと、所定の直
交変換動作を用いてトライアルマッチングブロックの各
々を変換して、対応する複数の変換されたマッチングブ
ロックを生成するステップと、変換された動作ブロック
とそれぞれの複数の変換されたマッチングブロックとの
間の差分の複数の寸法を生成するステップと、差分の複
数の寸法のうちの最小寸法である差分の寸法を有する変
換されたマッチングブロックに対応するトライアルマッ
チングブロックを、マッチングブロックとして選択する
ステップとを含み、そのことにより上記目的が達成され
る。
【０００６】所定の変換動作がアダマール変換動作であ
ってもよい。
【０００７】変換された動作ブロックとそれぞれの複数
の変換されたマッチングブロックとの間の差分の複数の
寸法を生成するステップは、変換された動作ブロックと
変換されたマッチングブロックの各々との間の平均二乗
誤差（ＭＳＥ）を計算するステップを含み、マッチング
ブロックを選択するステップは、他のいずれかの変換さ
れたマッチングブロックのＭＳＥよりも小さなＭＳＥを
有する変換されたマッチングブロックに対応するマッチ
ングブロックを選択してもよい。
【０００８】変換された動作ブロックとそれぞれの複数
の変換されたマッチングブロックとの間の差分の複数の
寸法を生成するステップは、変換された動作ブロックと
変換されたマッチングブロックの各々との間の平均絶対
値差分（ＭＡＤ）を計算するステップを含み、マッチン
グブロックを選択するステップは、他のいずれかの変換
されたマッチングブロックのＭＡＤよりも小さなＭＡＤ
を有する変換されたマッチングブロックに対応するマッ
チングブロックを選択してもよい。
【０００９】動作ブロックは、画素値からなる第１の数
の行、つまりＭ行の画素値、および、画素値からなる第
２の数の行、つまりＮ行の画素値、を含み、そして、動
作ブロックを変換するステップは、動作ブロックによっ
て、Ｍ×Ｍアダマールマトリクスを乗算して、Ｍ×Ｎマ
トリクスの値を生成するステップと、Ｎ×Ｎアダマール
マトリクスによって、Ｍ×Ｎマトリクスの値を乗算し
て、Ｎ×Ｍブロックの変換されたイメージ値を生成する
ステップとを含んでもよい。
【００１０】第１および第２のイメージは、ビデオ信号
からなる第１および第２の連続するフレームであり、か
つ、第１および第２のイメージの差分はフレーム間動作
に対応し、位置に関して動作ブロックに対応する第２の
フレーム内の基準ブロックを識別するステップと、第２
のフレーム内の、基準ブロックと選択されたマッチング
ブロックとの間の移動変位を判定するステップと、移動
変位から動きベクトルを生成するステップとをさらに含
んでもよい。
【００１１】本発明による、第１および第２のイメージ
を表す画素データを処理して、第１のイメージ内の画素
値からなる動作ブロックに対応する第２のイメージ内の
画素値のマッチングブロックを識別する方法は、第１の
イメージ内のＭ×Ｎブロックの画素値を選択するステッ
プであって、Ｍ×Ｎブロックの画素値は、画素値からな
る動作ブロックを適切な下位セットとして含む、ステッ
プと、所定の直交変換動作を用いてＭ×Ｎブロックの画
素値を変換して、変換されたＭ×Ｎブロックの画素値を
生成するステップと、第２のイメージから、複数のトラ
イアルＭ×Ｎマッチングブロックを選択するステップ
と、所定の変換動作を用いて複数のトライアルＭ×Ｎマ
ッチングブロックの各々を変換して、対応する複数の変
換されたＭ×Ｎマッチングブロックを生成するステップ
と、変換されたＭ×Ｎマッチングブロックとそれぞれの
複数の変換されたＭ×Ｎマッチングブロックの各々との
間の差分の、複数の寸法を生成するステップと、差分の
生成された寸法を比較して、差分の最小寸法を識別し、
そして、いずれの変換されたＭ×Ｎマッチングブロック
が差分の最小寸法に対応するかを判定するステップと、
Ｍ×Ｎブロックと選択されたＭ×Ｎマッチングブロック
との間の移動変位を判定するステップと、所定の直交変
換動作を用いて画素値からなる動作ブロックを変換し
て、変換された動作ブロックを生成するステップと、第
２のイメージから複数のトライアルマッチングブロック
を選択するステップであって、選択されたトライアルマ
ッチングブロックは、判定された移動変位によって動作
ブロックからずらされたトライアルマッチングブロック
の周りに密集させられる、ステップと、所定の直交変換
動作を用いて、画素値からなるトライアルマッチングブ
ロックの各々を変換して、対応する複数の変換されたマ
ッチングブロックを生成するステップと、変換された動
作ブロックとそれぞれの複数の変換されたマッチングブ
ロックの各々との間の差分の複数の寸法を生成するステ
ップと、複数の差分の寸法のうちの他の差分の寸法のい
ずれよりも小さな差分の寸法を有する変換されたマッチ
ングブロックに対応するトライアルマッチングブロック
を、マッチングブロックとして選択するステップとを含
み、そのことにより上記目的が達成される。
【００１２】本発明による、第１および第２のイメージ
を表す画素データを処理して、第１のイメージ内の画素
値からなる動作ブロックに対応する第２のイメージ内の
画素値のマッチングブロックを識別する装置は、所定の
直交変換動作を用いて画素値からなる動作ブロックを変
換して、変換された動作ブロックを生成する変換プロセ
ッサと、第２のイメージから、それぞれの複数のトライ
アルマッチングブロックを選択して、そして、所定の直
交変換動作を用いて、画素値のそれぞれのトライアルマ
ッチングブロックを変換して、対応する複数の変換され
たマッチングブロックを生成する、複数のさらなる変換
プロセッサと、変換された動作ブロックとそれぞれの複
数の変換されたマッチングブロックとの間の差分の、複
数の寸法を生成し、そして、差分の寸法のうちの１つを
差分の最小寸法として識別するコンパレータであって、
差分の最小寸法を有する変換されたマッチングブロック
に対応するトライアルマッチングブロックは、画素値の
動作ブロックに対応する画素値のマッチングブロックと
して識別される、コンパレータとを含み、そのことによ
り上記目的が達成される。
【００１３】変換プロセッサおよび複数の変換プロセッ
サの各々は、アダマール変換プロセッサであってもよ
い。
【００１４】コンパレータは、変換された動作ブロック
と変換されたマッチングブロックとの間の平均二乗誤差
（ＭＳＥ）を計算する手段と、他の変換されたブロック
のＭＳＥよりも小さなＭＳＥを有する変換されたマッチ
ングブロックに対応するトライアルマッチングブロック
を、画素値のマッチングブロックとして選択する手段と
を含んでもよい。
【００１５】コンパレータは、変換された動作ブロック
と変換されたマッチングブロックとの間の平均絶対値差
分（ＭＡＤ）を計算する手段と、他の変換されたブロッ
クのＭＡＤよりも小さなＭＡＤを有する変換されたマッ
チングブロックに対応するトライアルマッチングブロッ
クを、画素値のマッチングブロックとして選択する手段
とを含んでもよい。
【００１６】第１および第２のイメージは、ビデオ信号
からなる第１および第２の連続するフレームであり、か
つ、第１および第２のイメージの差分はフレーム間動作
に対応し、位置に関して動作ブロックに対応する第２の
フレーム内の基準ブロックを識別する手段と、第２のフ
レーム内の、基準ブロックと選択されたマッチングブロ
ックとの間の移動変位を判定する手段と、移動変位から
動きベクトルを生成する手段とをさらに含んでもよい。
【００１７】コンピュータプログラムを含むキャリヤで
あって、コンピュータプログラムは、コンピュータに以
下のステップを実行させる複数の命令を含み、以下のス
テップは、第１のイメージから画素の動作ブロックを識
別するステップと、所定の直交変換動作を用いて画素値
の動作ブロックを変換して、変換された動作ブロックを
生成するステップと、第２のイメージから複数のトライ
アルマッチングブロックを選択するステップと、所定の
直交変換動作を用いて画素値のトライアルマッチングブ
ロックの各々を変換して、対応する複数の変換されたマ
ッチングブロックを生成するステップと、変換された動
作ブロックとそれぞれの複数の変換されたマッチングブ
ロックとの間の差分の、複数の寸法を生成するステップ
と、複数の差分の寸法のうちの他の差分の寸法のいずれ
よりも小さな差分の寸法を有する変換されたマッチング
ブロックに対応するトライアルマッチングブロックを、
マッチングブロックとして選択するステップとを含み、
そのことにより上記目的が達成される。
【００１８】本発明は、人間の視覚特性を考慮に入れた
動き推定技術において実施される。このスキームは、変
換−ドメインブロックマッチング技術を用いて、画素−
ドメインブロックマッチング技術を用いて達成され得る
よりも正確な動きベクトルを達成する。
【００１９】本発明のある局面によると、動き推定方法
は、動作ブロック上、および、全てのトライアルマッチ
ングブロック上で変換動作を実行する。次に、この動き
推定方法は、変換された動作ブロックを、変換されたト
ライアルマッチングブロックの各々と比較し、そして、
変換ドメイン内の動作ブロックとの最小の差分を示すト
ライアルマッチングブロックをマッチングブロックとし
て選択する。
【００２０】本発明の別の局面によると、変換動作はア
ダマール変換動作である。
【００２１】本発明の別の局面によると、上記方法は、
変換された動作ブロックと変換されたトライアルマッチ
ングブロックの各々との間の平均二乗誤差（ＭＳＥ）を
計算し、そして、最小ＭＳＥを有する変換されたトライ
アルマッチングブロックをマッチングブロックとして選
択する。
【００２２】本発明の別の局面によると、上記方法は、
変換された動作ブロックと変換されたトライアルマッチ
ングブロックの各々との間の平均絶対値差分（ＭＡＤ）
を計算し、そして、最小ＭＡＤを有する変換されたトラ
イアルマッチングブロックをマッチングブロックとして
選択する。
【００２３】本発明の更に別の局面によると、上記方法
は、動作ブロックのサイズを変えることを可能にする。
【００２４】
【発明の実施の形態】動き推定技術は、ビデオ解析、コ
ーディング、および規格変換において幅広く使用され
る。ビデオコーディングにおいて、イメージエントロピ
ーを低減するために動作情報が使用され、それにより、
イメージを伝送または格納するのに必要なビットの数を
低減する。ビデオ規格変換アプリケーションにおいて、
失われた画素の補間を助けるために、動作情報がしばし
ば用いられる。機械視覚において、イメージの、解析す
る必要のある部分を制限するために、動き推定が使用さ
れ得る。全ての場合で、コード化されたまたは変換され
たイメージは、動き推定の正確さに直接リンクされる。
たとえ現実世界であっても、カメラによって捕捉される
観察可能なデータは、イメージ強度であり、イメージ動
作ではない。オブジェクトおよび観察者の相対的な移動
による、イメージシーケンス内の強度パターンの、知覚
された一時的な移動変位は、イメージ解析における重要
な局面であり、オプティカルフローと呼ばれる。オプテ
ィカルフローは、移動するオブジェクトの空間構成およ
び構造に関する情報を提供する。したがって、特に機械
視覚および規格変換アプリケーションにおいて、イメー
ジシーケンス内のオプティカルフローを推定することに
より、真の動作をモデリングするのが望ましい。
【００２５】ブロック型の動き推定技術および動き補償
技術は、ビデオコーディングおよび規格変換のための最
もポピュラーなアプローチに含まれる。ある例示的なブ
ロック型動き推定および補償技術は、ＤＥＲＩＶＡＴＩ
ＯＮ ＡＮＤ ＵＳＥ ＯＦＭＯＴＩＯＮ ＶＥＣＴＯ
Ｒ ＩＮ Ａ ＤＩＦＦＥＲＥＮＴＩＡＬ ＰＵＬＳＥ
ＣＯＤＥ ＭＯＤＵＬＡＴＩＯＮ ＳＹＳＴＥＭとい
うタイトルの、米国特許第５，１９８，０９１号に記載
されている。ブロック型動き推定技術に関する教示につ
いて、この文献を本明細書中参考として援用する。Ｈ．
２６１およびＭＰＥＧ１−２等のデジタルビデオ圧縮の
国際規格では、ブロック型動き推定が採用されてきた。
しかし、これらの規格は、具体的な動き推定方法を特定
していない。ブロック型動き推定はまた、規格変換およ
び機械視覚のための動き補償型フィルタリング（補間）
を含む、複数の他のデジタルビデオアプリケーションに
おいて幅広く使用される。
【００２６】ブロック動作モデルは、ビデオイメージが
移動するブロックを含むと仮定している。計算の複雑さ
を低減するために、単純な２−Ｄ平行運動の動作がしば
しば仮定される。多くの他のブロック型動き推定アルゴ
リズムのうち、ブロックマッチングは、ハードウェアの
複雑さがより少ないので、実際の動き推定を実現するた
めの、最もポピュラーな方法であると考えられ得る。そ
の結果、ＶＬＳＩにおいて幅広く使用され、そして、ほ
とんど全てのＨ．２６１およびＭＰＥＧ１−２符復号器
が、動き推定のためにブロックマッチングを使用する。
これらのブロックマッチング技術の多くが、画素ドメイ
ン検索プロシージャを用いて、所定の動作ブロックにつ
いての、最良の動きベクトル推定値(estimate)を識別す
る。
【００２７】基本ブロックマッチングアルゴリズムを図
１に示す。ここで、現在のフレーム（基準フレーム）１
００内の画素ｘ（ｕ1，ｖ1）についての移動変位は、
（ｕ1，ｖ1）を中心として配置されたＮ1×Ｎ2動作ブロ
ック１０２を考慮し、そして、同じサイズの、最適マッ
チングブロック１１０のロケーションについて、次／前
のフレーム（検索フレーム）１０４を検索することによ
り、最適マッチングブロックが一旦発見されると、検索
イメージ内の同じ位置を占めるブロック１０８と相対的
に決定される。検索は通常、計算上の理由から、Ｎ1＋
２Ｍ1×Ｎ2＋２Ｍ2領域（検索ウィンドウ）１０６に制
限される。ブロックマッチングアルゴリズムは、以下の
局面の点で異なり得る。その局面とは、マッチング基準
(matching criteria)（例えば、最小交差相関、最小Ｍ
ＳＥ、最小ＭＡＤ）、検索ストラテジー（例えば、３ス
テップ高速検索）、またはブロックサイズの判定（例え
ば、階層的(hierarchical)）である。
【００２８】複数のトライアルマッチングブロックのう
ちから最適マッチングブロックを見つけるのに使用され
るマッチング基準に焦点をあてる。
【００２９】通常、マッチング基準は、最大交差相関お
よび最小ＭＳＥ等の画素ドメインエラーインデックス寸
法に基づく。ブロックマッチングにおける計算上の要件
を減らすために、最小の平均絶対値差分（ＭＡＤ）また
は最大マッチング画素カウント（ＭＰＣ）は、性能を妥
協することを犠牲にして、ＭＳＥまたはＭＡＤを置換し
得る。最小ＭＳＥ基準において、ＭＳＥは式（１）によ
り定義される。
【００３０】
【数１】
【００３１】ここで、
【００３２】
【数２】
【００３３】は、１組の候補動きベクトル（ｄ1，ｄ2）
について、Ｎ1×Ｎ2ブロックを示す。動きベクトルの推
定値を（ｄ1，ｄ2）の値とすると、式（２）に示すよう
に、ＭＳＥは最小になる。
【００３４】
【数３】
【００３５】ハードウェアにおける平方動作(square op
eration)を効率的に実現するのは困難であるので、式
（３）によって定義され得る最小ＭＡＤ基準がＭＳＥ基
準の代わりに用いられ得る。
【００３６】
【数４】
【００３７】次に移動変位推定値が式（４）により与え
られる。
【００３８】
【数５】
【００３９】２フレーム間の差分がフレーム間動作を表
す場合、移動変位は、現在のフレームと検索フレームと
の間で、例えばｘおよびｙ座標軸に沿って、動作ブロッ
クの所定の画素の移動変位を表す命令された対の値とし
て、動きベクトルへと直接変え得る。
【００４０】実世界のビデオアプリケーションにおい
て、動き推定スキームの正確度は、どのマッチング基準
が使用されるかに関わらず、観察者によって最終的に判
断される。画素ドメインエラー寸法（例えばＭＳＥ、Ｍ
ＡＤ）は、人間の目によって知覚されるようなイメージ
ビジュアルエラーと完全に矛盾しないわけではないと一
般に理解されている。結果的に、動き推定において現在
使用されているエラー寸法は、人間の視覚システムの特
性を提供するように、さらなる改変を要求する。本発明
は、画素ドメイン内でなく、変換（シーケンス／周波
数）ドメインにおいてブロックマッチングを行うことに
よりこれらの特性を考慮する。知覚されたイメージブロ
ックエラーは、より高い空間周波数成分におけるよりも
むしろ、より低い空間周波数成分において発生した場合
には、より目立つので、シーケンス／周波数ドメイン変
換の使用により、より効果的なブロックマッチングが提
供され得る。通常の画素型ブロックマッチング技術は、
画素ドメイン内のみで動作するので、マッチングの間
に、全ての画素を等しく取り扱う。
【００４１】本発明の方法は、まず動作ブロックおよび
トライアルマッチングブロックを直交ドメインに変換
し、次に、例えばＭＳＥ／ＭＡＤマッチング基準を用い
て、係数対係数の比較を行う。従来の画素ドメインブロ
ックマッチングではなく、変換ドメインブロックマッチ
ングを用いることには、複数の利点がある。 （１）より低いオーダーの変換成分は、人間の知覚と一
致するマッチングの結果に影響を及ぼしやすい。 （２）変換ドメインにおける有効ノイズ電力(effective
noise power)が低減される。 （３）イメージが平行運動的な動作(transnational mot
ion)を示すという仮定が覆された場合、動き推定エラー
は、画素ドメインブロックマッチング技術の動き推定エ
ラーよりも小さい。
【００４２】イメージブロックをシーケンス／周波数ド
メインに変更し得る、多くの変換がある。フーリエ変換
（ＦＴ）、離散コサイン変換（ＤＣＴ）、およびアダマ
ール変換（ＨＴ）は、３つの代表的な方法である。ＦＴ
は複素変換であり、ＤＣＴ動作は実数変換であるので、
ハードウェアインプリメンテーションにおける比較的高
いコストのために、それらは考慮しない。ＨＴは、その
純粋な＋１および−１変換カーネルならびに高速変換ア
ルゴリズムの存在のために、上記タスクにより適してい
る。したがって、ＨＴ処理の実現には、ＦＴまたはＤＣ
Ｔ処理を実現するよりも、より少ないハードウェア論理
で済む。アダマール変換について本発明を説明するが、
本発明は、任意の周波数／シーケンスドメイン変換、ま
たは、信号エネルギが比較的少ない数の成分に圧縮され
る他の直交変換で実施され得ることが想定されている。
さらに、本発明は、変換されたブロックの最小平均絶対
値差分（ＭＡＤ）を用いて、最適マッチングブロックを
識別するように説明されるが、最大交差相関、最小ＭＳ
Ｅ、または最大マッチング画素カウント（ＭＰＣ）等の
他のマッチング寸法が使用され得る。
【００４３】アダマールマトリクス、Ｈ＝（ｈｉｊ）、
は次元ｎ×ｎの二乗マトリクスとして規定される。ここ
で、 ｉ． 全てのエントリは、±１である。 ｉｉ． 任意の２つの別個の行は直交している。つま
り、
【００４４】
【数６】
【００４５】ｉｉｉ．アダマールマトリクスの順序は、
１、２、４、８、１６、．．．４ｍであり、ここで、ｍ
＝１、２、．．．である。
【００４６】一般性を失うことなく、変換のために通常
使用されるアダマールマトリクスのサブセット、つま
り、ランク２nのシルベスター−アダマールマトリクス
について考える。その機能的な形態は、式（５）によっ
て規定される。
【００４７】
【数７】
【００４８】ここで、
【００４９】
【数８】
【００５０】はノネカー積（Ｋｎｏｎｅｃｋｅｒ ｐｒ
ｏｄｕｃｔ）を示し、かつ、
【００５１】
【数９】
【００５２】である。したがって、
【００５３】
【数１０】
【００５４】かつ、
【００５５】
【数１１】
【００５６】である。
【００５７】２−Ｄ二乗アダマール変換は、式（６）に
よって規定される。
【００５８】
【数１２】
【００５９】ここで、ＨmおよびＨnは、それぞれＮ1×
Ｎ1（２m×２m）アダマールマトリクスおよびＮ2×Ｎ2
（２n×２n）アダマールマトリクスである。マトリクス
ｆＮ1Ｎ2は、Ｎ1×Ｎ2の次元を有するイメージデータマ
トリクスである。（注：アダマールマトリクスの第３の
特性(third property)と一致する順序で、イメージデー
タマトリクスをアダマール変換することも可能であ
る。） 従来の画素ドメインＢＭのように、アダマール変換ドメ
インＢＭは、Ｎ1×Ｎ2動作ブロックが（ｕ1，ｖ1）を中
心として配置されているとし、かつ、同じサイズの最適
マッチングブロックのロケーションについて次の（また
は前の）フレーム（検索フレーム）を検索することによ
り、現在のフレーム（基準フレーム）内の画素ｆ
（ｕ1，ｖ1）についての移動変位を判定する。検索は、
また、Ｎ1＋２Ｍ1×Ｎ2＋２Ｍ2領域に制限される。基準
フレームおよび検索フレーム内のブロックは、両方と
も、式（７）および（８）に規定されるように、個々に
アダマール変換が行われる。
【００６０】
【数１３】
【００６１】ここで、ＲはＮ1×Ｎ2のサイズを有する画
素のブロックを示す。
【００６２】式（９）に基づいて変換ドメインブロック
差分を計算するためにＭＡＤ基準が使用され得る。
【００６３】
【数１４】
【００６４】次に、移動変位推定が、式（１０）によっ
て計算され得る。
【００６５】
【数１５】
【００６６】ＢＭについてのマッチング基準は変化する
が、提案された変換ドメインＢＭ（ＴＢＭ）は、ＢＭア
ルゴリズムファミリーの他の変形例と共に使用し得る。
例えば、ＴＢＭは、階層動き推定アルゴリズムにおいて
使用され得る。このアルゴリズムでは、まず、間引かれ
た低解像度のバージョンの現在の画像および検索画像、
および、これらのイメージについて判定されたマッチを
用いて検索を行って、連続的により高い解像度の画像に
ついての検索の精度を上げることにより、マッチングブ
ロックを識別する。あるいは、粗い動きベクトルを見つ
けるために、イメージのフィルタリングおよび間引きを
行うよりも、より大きいブロックサイズの、対応するよ
り高いオーダーのアダマールマトリクスが使用され得、
粗い動きベクトルを１つ以上の精密な動きベクトルに変
換するために、ブロックサイズおよびマトリクスサイズ
が連続的に減少され得る。
【００６７】この技術は、Ｊ． Ｎ． Ｋｉｍおよび
Ｔ． Ｓ． Ｃｈｏｉの「Ａ Ｆａｓｔ Ｔｈｒｅｅ−
Ｓｔｅｐ Ｓｅａｒｃｈ Ａｌｇｏｒｉｔｈｍ Ｗｉｔ
ｈ Ｍｉｎｉｍｕｍ Ｃｈｅｃｋｉｎｇ Ｐｏｉｎｔ
Ｕｓｉｎｇ ＵｎｉｍｏｄａｌＥｒｒｏｒ Ｓｕｒｆａ
ｃｅ Ａｓｓｕｍｐｔｉｏｎ」（ＩＥＥＥ Ｔｒａｎ
ｓ． ｏｎ Ｃｏｎｓｕｍｅｒ Ｅｌｅｃｔｒｏｎｉｃ
ｓ， Ａｕｇ． １９９８， ｐｐ ６３８−６４８）
という題の文献に開示された３ステップ検索方法等の高
速検索動き推定アルゴリズムで使用され得る。高速検索
動き推定アルゴリズムに関する教示について、この文献
を本明細書中参考として援用する。これらの高速検索技
術を用いて、この技術の各ステップが実行される前に、
現在のフレームからの動作ブロックおよび検索フレーム
からの各トライアルマッチングブロックは変換され得
る。さらに、ＴＢＭ技術は、イメージの空間周波数コン
テンツに対して、より感度がよいので、回転またはズー
ム等の非平行運動を示すイメージシーケンスに適用可能
である。
【００６８】図２は、本発明による、変換ブロックマッ
チングアルゴリズムの実行に使用するのに適した回路の
ブロック図である。図２に示す回路は、現在のフレーム
２１０からの動作ブロックを、次のフレーム２１２から
のマッチングブロックへとマッピングする。ブロックマ
ッチングプロセッサ２００は、マイクロプロセッサ２２
６の制御下で現在のフレーム２１０からの動作ブロック
を選択するアダマール変換プロセッサ２１４を含む。
【００６９】ブロックマッチングプロセッサ２００はま
た、マイクロプロセッサ２２６の制御下で、次のフレー
ムメモリ２１２からトライアルマッチングブロックを選
択する、複数のアダマール変換プロセッサ２１６、２１
８、２２０、および２２２を含む。マイクロプロセッサ
２２６は、アダマール変換プロセッサ２１４〜２２２を
制御して、全検索アルゴリズムまたは高速検索アルゴリ
ズムに基づいて、現在のフレーム２１０および次のフレ
ーム２１２からブロックを選択する。ブロックマッチン
グプロセッサ２００が、階層ブロックマッチング技術を
用いるシステムにおいて使用される場合、現在のフレー
ムおよび次のフレームから取ってきた画素のブロックの
サイズは、Ｘ方向およびＹ方向のうちのいずれか一方
向、もしくは、両方向に変化し得、そして、式（７）お
よび（８）を参照して上で説明したように、対応するア
ダマール変換が、取ってきた画素のブロックに適用され
得る。
【００７０】変換プロセッサ２１４〜２２２によって提
供された画素データの変換されたブロックは、予測ブロ
ック決定プロセッサ２２４に与えられる。プロセッサ２
２４は、例えば、最小ＭＡＤ基準を、上で式（９）およ
び（１０）を参照して説明したように、さまざまな変換
された画素値のブロックに与えて、変換された動作ブロ
ックに対して最小平均二乗絶対値差分を有する変換され
た検索ブロックを選択し得る。
【００７１】予測ブロック決定プロセッサ２２４はま
た、マイクロプロセッサ２２６からブロック識別信号を
受け取るように結合される。式（１０）の基準を満たす
検索ブロックを識別すると、予測ブロック決定プロセッ
サ２２４によって、動作ブロックとこの検索ブロックと
の間の移動変位が計算され得る。この移動変位は、予測
ブロック決定プロセッサ２２４によって提供される出力
信号である動きベクトルとして表される。
【００７２】図３は、別のブロックマッチングプロセッ
サ２００’のブロック図である。このプロセッサは、前
のフレーム３１０および次のフレーム２１２の両方にお
いてマッチングブロックを検索することにより、図２に
示すブロックマッチングプロセッサ２００を延長する。
図３に示すように、例示的なブロックマッチングプロセ
ッサ２００’は、マイクロプロセッサ２２６’によって
制御されて、前のフレーム３１０からトライアルマッチ
ングブロックを取って来て、そして、これらのブロック
が予測ブロック決定プロセッサ２２４’に与えられる前
に変換する、アダマール変換プロセッサ３１２、３１
４、３１６、および３１８を含む。図３に示した回路の
残りの部分は、図２に示したものと同じであり、その説
明は省略する。ブロック決定プロセッサ２２４’は、現
在のフレーム２１０からの変換された動作ブロックと、
前のフレーム３１０または次のフレーム２１２から提供
された、変換されたブロックのいずれかとの間の最小絶
対値差分を計算する。
【００７３】図３に示す例示的な実施形態は、次のフレ
ームおよび前のフレームからのトライアルマッチングブ
ロックを並行して処理する。図４は、次のフレームおよ
び前のフレームからのトライアルマッチングブロックが
３つの連続するステップで処理される、本発明の別の実
施形態を示す。図４に示すシステムは、次のフレーム２
１２および前のフレーム３１０からのトライアルマッチ
ングブロックを受け取るように結合されたマルチプレク
サ／ブロック平均プロセッサ４１０を含む。プロセッサ
４１０はまた、マイクロプロセッサ２２６”からの制御
信号を受け取るように結合される。ブロックマッチング
プロセッサ２００”は、以下のように動作する。第１の
インターバルにおいて、現在のフレーム２１０からの動
作ブロックが、アダマール変換プロセッサ２１４に与え
られ、次に、予測ブロック決定プロセッサ２２４”に与
えられる。また、このインターバルにおいて、前のフレ
ームからのトライアルマッチングブロックは、マルチプ
レクサ／ブロック平均プロセッサ４１０を介して、アダ
マール変換プロセッサ２１６、２１８、２２０、および
２２２それぞれに与えられて、予測ブロック決定プロセ
ッサ２２４”に与えられる変換されたトライアルマッチ
ングブロックを生成する。
【００７４】この第１のインターバルの間に、予測ブロ
ック決定プロセッサ２２４”は、変換された動作ブロッ
クに対して最小平均絶対値差分を有する、前のフレーム
から変換されたマッチングブロックを選択する。
【００７５】第２のタイムインターバルの間に、変換さ
れた動作ブロックが依然予測ブロック決定プロセッサ２
２４”に与えられる一方、マイクロプロセッサ２２６”
は、マルチプレクサ／ブロック平均プロセッサ４１０を
切り換えて、次のフレーム２１２からのトライアルマッ
チングブロックを提供する。この第２のタイムインター
バルの間に、次のフレームからのマッチングブロック
は、アダマール変換プロセッサ２１６、２１８、２２
０、および２２２によって変換されて、変換されたマッ
チングブロックを生成して、これを予測ブロック決定プ
ロセッサ２２４”に与える。この第２のタイムインター
バルにおいて、予測ブロック決定プロセッサ２２４”
は、変換されたマッチングブロックの各々と変換された
動作ブロックとの間の平均絶対値差分に基づいて、次の
フレームからのマッチングブロックのうちの１つを選択
する。
【００７６】第３のタイムインターバルにおいて、予測
ブロック決定プロセッサ２２４”は、マイクロプロセッ
サ２２６”に、次のフレーム２１２および前のフレーム
３１０から選択されたマッチングブロックを知らせる。
マルチプレクサ／ブロック平均プロセッサ４１０は、次
に、次のフレームおよび前のフレームからの選択された
ブロックを平均化し、そして、平均化されたブロック
を、アダマール変換プロセッサの１つ、例えばプロセッ
サ２１６、に提供する。この変換ブロックは、予測ブロ
ック決定プロセッサ２２４”に与えられる。この予測ブ
ロック決定プロセッサ２２４”が、第３のタイムインタ
ーバルの間に、アダマール変換プロセッサ２１４によっ
て提供される変換された動作ブロックと、変換プロセッ
サ２１６によって提供される変換された平均ブロックと
の間の平均絶対値差分を計算する。
【００７７】予測ブロック決定プロセッサ２２４”は、
次に、変換され、平均化されたブロックについての平均
絶対値差分を、次のフレーム２１２および前のフレーム
３１０からの変換され、選択されたブロックについての
平均絶対値差分と比較する。最小平均絶対値差分を有す
るブロックは、ブロックマッチングプロセッサ２００”
によって与えられる動きベクトルを判定する。変換さ
れ、平均化されたブロックについての平均絶対値差分
を、次のフレームおよび前のフレームからのマッチング
ブロックの平均絶対値差分と比較する際、予測ブロック
決定プロセッサ２２４”は、次および前のフレームから
のＭＡＤ値を格納し得るか、または、変換された平均ブ
ロックを受け取るのと同時に、次および前のフレームか
らの変換されたマッチングブロックを受け取り得る。こ
の例において、変換されたマッチングブロックは、マル
チプレクサ／ブロック平均回路４１０によって、アダマ
ール変換プロセッサ２１６、２１８、２２０、および２
２２のいずれか、例えばプロセッサ２１８および２２
０、にそれぞれルーティングされる。
【００７８】図４に示す回路は、例えば、ＭＰＥＧ−２
エンコーダ等のトランスコーティングプロセッサにおい
て使用され、この回路は、順方向予測または逆方向予測
動き補償型符合化技術を用いる。
【００７９】図２、図３、および図４に示す例示的なブ
ロックマッチングプロセッサを、次のフレームおよび／
または前のフレームからの４つのトライアルマッチング
ブロックを提供して、現在のフレームからの動作ブロッ
クと比較するように示す。これらの図面は単なる例示的
なものにすぎない。例えば、全検索動き推定技術を用い
て、２５６個ものトライアルマッチングブロックが、前
のフレームおよび次のフレームから提供され得る。上で
参照した文献で説明されているような、高速検索プロセ
スのために、次のフレームおよび前のフレームの各々
は、３ステッププロセスの各ステップにおいて、８つの
動作ブロックを提供し得る。
【００８０】図５は、本発明の実施形態を含むように調
節され、例えばＭＰＥＧ−２規格に基づいて符合化され
たビデオ信号を生成し得る、従来の動き調節型ビデオエ
ンコーダ回路のブロック図である。図５に示すシステム
において、入力ビデオ信号は、動き補償プロセッサ２０
０”に結合されたフレームメモリ２１２’に与えられ
る。動き補償プロセッサは、フレームメモリにアクセス
して、次のフレームからトライアルマッチングブロック
を得る。本発明の例示的な実施形態におけるフレームメ
モリ２１２’はまた、フレーム遅延２１０’に結合され
る。フレームメモリ２１２’がビデオ情報の１つのフレ
ームを保持する間に、直前のフレームが、フレーム遅延
２１０’を介して、復号化回路に提供される。フレーム
遅延２１０’によって提供された出力信号は、動き補償
プロセッサ２００”に結合された現在のビデオフレーム
であり、図４を参照して上で説明した動作ブロックを提
供する。動き補償プロセッサ２００”はまた、フレーム
遅延３１０’に結合されて、前のイメージフレームから
トライアルマッチングブロックを受け取る。
【００８１】一般的な言葉で言うと、図５に示すエンコ
ーダは、動き補償型プロセッサ２００”によって提供さ
れた動き補償型ビデオデータから、フレーム遅延２１
０’によって提供された、現在のビデオ情報を減算する
ことにより得られた差分画素値を符号化することにより
動作する。
【００８２】本発明の例示的な実施形態において、プロ
セッサ２１０”によって提供された動き補償型ビデオデ
ータが、減算器５１０によって現在のビデオデータから
減算される。得られた差分信号は、ＤＣＴプロセッサ５
１２において、離散コサイン変換（ＤＣＴ）プロセスが
行われる。プロセッサ５１２によって提供された変換さ
れた差分信号は、量子化回路５１４に与えられる。下で
説明するように、ＤＣＴ符号化された差分信号の量子化
解像度は、バッファ制御プロセッサ５２６に応答して、
制御される。量子化プロセッサ５１４の出力信号は、動
き補償プロセッサ２００”によって提供された動きベク
トルも受け取る可変長コード化器５２２に与えられる。
可変長コード化器５２２は、エントロピーコーディング
を、量子化され、変換された差分コード値、および、動
きベクトルに与えられて、符号化された出力ビデオスト
リームを生成する。符号化されたビデオストリームは、
ビットレートが低減された、トランスポートチャネルの
出力ポートに符号化されたビデオ信号を提供する、先入
れ先出し（ＦＩＦＯ）バッファ５２４に与えられる。
【００８３】ビデオイメージ内の動きの詳細および量に
基づいて、ＦＩＦＯバッファ５２４に提供されたビデオ
データは、トランスポートチャネルによってサポートさ
れ得るよりも、より高いレートであり得る。トランスポ
ートチャネル限界に近づくと、ＦＩＦＯバッファ５２４
は、バッファ制御回路５２６に信号を送って、量子化器
５１４によって与えられた量子化解像度を減少させて、
符号化されたビデオ信号を表すのに用いられるデータの
ボリュームを減少させる。バッファ制御回路５２６のた
めに、図５に示す符号化プロセッサは、異なるレベルの
詳細および動きを有するイメージシーケンスを、均一な
ビットレートのビデオ信号に、依存的に符号化すること
ができる。
【００８４】フレーム遅延回路３１０’によって提供さ
れたビデオデータの前のフレームは、符号化されたビデ
オ信号から再生成される。本発明の例示的な実施形態に
おいて、逆量子化回路５１６は、量子化器５１４によっ
て実行される量子化動作を逆転させ、そして、逆量子化
された、変換された、差分的にコード化されたビデオ信
号を、逆離散コサイン変換プロセッサ５１８に与える。
プロセッサ５１８は、プロセッサ５１２によって実行さ
れるＤＣＴ動作を逆転して、復号化された差分ビデオ信
号を合算回路５２０に提供する。合算回路５２０は、動
き補償されたビデオデータを復号化された差分ビデオ信
号に与えることにより、現在のフレームからのデータを
再構築する。再構築されたデータは、現在のフレームデ
ータを１フレーム間隔分遅延させるフレーム遅延回路３
１０’に与えられて、前のフレームビデオデータを動き
補償プロセッサ２００”に提供する。
【００８５】図６は、本発明の例示的な実施形態に基づ
いて動きベクトルフィールドを生成するために使用され
得る、高度な並行プロセッサシステムのブロック図であ
る。このプロセッサシステムは、ＮＨ時間ＮＶプロセッ
サＰ0,0〜ＰNv-1、Nh-1を含む。したがって、プロセッ
サシステムは、イメージの各ブロック毎に１つのプロセ
ッサを有し、ここで、イメージは、ＮＨ水平ブロック×
ＮＶ垂直ブロックまたはＮＨ倍のＮＶブロックを含む。
【００８６】図６に示すように、現在のフィールドに対
応する入力サンプルＦk、前のフィールドにおける入力
サンプルＦkー1、次のフィールドにおける入力サンプル
Ｆk+1は、入力／出力（Ｉ／Ｏ）プロセッサ６１２に与
えられる。このプロセッサは、制御プロセッサ６１０の
制御下で、これらのサンプルをマルチポートメモリ６１
４に格納する。メモリ６１４は、例えば、複数のプロセ
ッサＰ0,ＰNv-1、Nh-1の各々と共存するそれぞれに異な
る部分を有する分散型メモリであり得る。コントローラ
６１０および複数のプロセッサＰ0,ＰNv-1、Nh-1は、図
２、図３、および図４を参照して上で説明した方法に基
づいて動作して、２つまたは３つのイメージフィールド
を表すサンプルから、現在のイメージについての動きベ
クトルフィールドを表すサンプルを生成する。
【００８７】Ｉ／Ｏプロセッサ６１２を、３フレームの
データを受け取るように示すが、安定状態の動作では、
データの１つの新たなフレームのみが所定の時間にプロ
セッサ６１２に与えられてもよい。前に格納されたフレ
ームのうちの２つが、フレームＦkに対応する格納され
たデータが、フレームＦk+1を表すデータとなり、か
つ、フレームＦk-1に対応する格納されたデータが、フ
レームＦkを表すデータとなるように、単に再設計され
てもよい。本発明の例示的な実施形態において、各プロ
セッサ、例えばＰ0,0は、メモリ６１４の１つのポート
を介して、フレームＦkからの画素データのそれぞれ異
なる動作ブロックを得る。プロセッサはまた、メモリポ
ートを介して、フレームＦk-1およびフレームＦk+1から
トライアルマッチングブロックを得る。
【００８８】各プロセッサＰ0,0〜ＰNv-1，Nh-1は、図
７に示すフローチャートに基づいて動作する。フローチ
ャートの第１のステップであるステップ７１０は、フレ
ームＦkから動作ブロックを取って来て、アダマール変
換を与える。ステップ７１２は、フレームＦk-1および
適宜フレームＦk+1から、トライアルマッチングブロッ
クを取って来る。さらに、ステップ７１２は、可変ＭＩ
ＮＭＡＤを大きな値に初期化する。次に、ステップ７１
４は、トライアルマッチングブロックの１つを選択し
て、そして、アダマール変換を選択されたブロックに与
える。この動作は、式（８）を参照して上で説明した。
ステップ７１４はまた、選択された、変換されたマッチ
ングブロックと変換された動作ブロックとの間の平均絶
対値差分（ＭＡＤ）を計算する。平均絶対値差分の計算
は、式（９）を参照して上で説明した。ステップ７１６
において、ステップ７１４において計算されたＭＡＤの
値は、ＭＩＮＭＡＤと比較される。ＭＡＤがＭＩＮＭＡ
Ｄよりも小さい場合、ステップ７１８が実行され、ＭＡ
Ｄの値を可変ＭＩＮＭＡＤに割り付けて、そして、ステ
ップ７１４において可変ＭＩＮＭＡＴＣＨへと処理され
たブロックのブロック識別子（ＢＬＯＣＫ ＩＤ）を記
録する。ステップ７２０において、プロセッサは、いく
つかより多くのマッチングブロックを処理する必要があ
るかどうかを判定する。必要がある場合には、制御はス
テップ７１４に戻って、次のマッチングブロックを選択
する。他のマッチングブロックが処理されない場合に
は、ステップ７２２が実行されて、式（１０）を参照し
て上で説明したように、ブロックＭＩＮＭＡＴＣＨにつ
いての動きベクトルを計算する。
【００８９】図７に示すフローチャートは、本発明のソ
フトウェアインプリメンテーションを示す。このソフト
ウェアインプリメンテーションは、ディスケット、ＣＤ
−ＲＯＭ、または変調された搬送波等のキャリヤを介し
て搬送される、コンピュータプログラムの形態であり得
る。
【００９０】図６に示すプロセッサシステムによって提
供されたこの結果が、フレームＦkの各動作ブロックに
ついての動きベクトルを含む動きベクトルフィールドで
ある。式（７）および（８）を参照して上で説明したよ
うに、アダマールマトリクス、つまり、基準ブロックお
よび検索ブロックは、水平および垂直方向の各々に、異
なる数の画素を含み得る。したがって、図６に示すプロ
セッサは、１６×１６ブロックと同様に、４×４ブロッ
ク上で動作し得る。式（６）によって規定されるアダマ
ール変換動作は、異なるオーダーの２つのアダマールマ
トリクスを用いるので、図６に示すプロセッサはまた、
１６×４ブロックまたは８×１６ブロック上で動作し得
る。
【００９１】図８Ａおよび図８Ｂは、本発明の階層動作
ブロック検索アルゴリズムへの応用を示す。図８Ａにお
いて、画素値からなる８×８ブロックを１６個含む動作
ブロック１４０は、３２×３２アダマールマトリクスを
用いて変換され、そして、前のフレーム１０４内のマッ
チングブロック１５０および１５２もまた、３２×３２
アダマール変換が行われる。平均絶対値差分は、変換さ
れたブロック１５０および１５２の各々について計算さ
れる。ブロック１５０は、前のフレーム１０４内に、ブ
ロック１４０が現在のフレーム１００内に有するのと同
じロケーションを有するので、ブロック１５０とブロッ
ク１５２との間の移動変位は、ブロック１４０について
の動きベクトルを規定する。あるいは、動きベクトル
は、３２×３２ブロックの画素値のローパスフィルタリ
ング、および、フィルタリングされた画素を間引いて、
例えば８×８ブロックの画素値を生成することにより、
３２×３２ブロックの画素値について計算され得る。３
２×３２ブロックの画素値のローパスフィルタリング
は、フィルタリングされたブロックがサブサンプルされ
て８×８ブロックの画素値を生成する場合に、エイリア
シング歪みを低減する働きをする。次に、８×８ブロッ
クの画素値は、アダマール変換を行なわれて、そして同
様のフィルタリングをされ、間引かれ、そして変換され
たトライアルマッチングブロックと比較されて、最適な
マッチを見つける。ローパスフィルタおよび間引き器
は、図示しない。
【００９２】図８Ａに示すように計算された動きベクト
ルは、ＭＰＥＧ−２規格の下で、４個のマクロブロック
をカバーする。図８Ａに開示された方法に追って識別さ
れた動きベクトル１６０を用いると、単一のマクロブロ
ックについての動きベクトルは、図８Ｂに示すように生
成され得る。図８Ｂにおいて、単一のマクロブロック１
７０が動作ブロックとして使用される場合、前のフレー
ム１０４内のマッチングブロックを配置するのに用いら
れる検索領域１０６’を制限するために、動きベクトル
１６０が使用され得る。図８Ｂに示すように、ブロック
１７２、１７４、１７６、１７８は、トライアルマッチ
ングブロックとして識別され得る。
【００９３】このアルゴリズムに基づいて、１６×１６
アダマール変換マトリクスが、動作ブロック１７０、な
らびにトライアルマッチングブロック１７２、１７４、
１７６、１７８の各々に与えられる。次に、変換された
ブロックは、式（９）および（１０）を参照して上で説
明した最小平均絶対値差分アルゴリズムを用いて比較さ
れ、検索領域１０６’内の１つのブロックを動作ブロッ
ク１７０のマッチングブロックとして選択する。上で説
明したように、画素値の１６×１６ブロックおよび１６
×１６アダマール変換を用いる代わりに、アルゴリズム
は、１６×１６ブロックのフィルタリングおよび間引き
を行って、８×８ブロックを生成し得、そして、８×８
アダマール変換を、動作ブロック、ならびに、１組の、
同様にフィルタリングおよびサブサンプリングされたト
ライアルマッチングブロックの各々に与え得る。
【００９４】図８Ａおよび図８Ｂを参照して説明したア
ルゴリズムは、２つの異なるオーダーのアダマール変換
を用いる。図８Ａにおいて、オーダー３２アダマール変
換が実行される。それに対して、図８Ｂにおいて、オー
ダー１６アダマール変換が実行される。図２〜図５を参
照して上で説明したように、アダマール変換を実行する
のに使用される処理回路は、異なるオーダーのアダマー
ル変換をその処理中に、異なる時間に使用し得る。単一
のシーケンスのイメージが複数のオーダーの変換を使用
し得ることが、さらに想定される。高いオーダーの変換
が、このシーケンスの、イメージからイメージへと著し
く変化しないイメージの大きな領域に使用され得、それ
に対して、より低いオーダーのアダマール変換がより頻
繁に変化するイメージの部分において使用され得る。例
えば、ニュース放送において、バックグラウンドは、比
較的大きなオーダーのアダマール変換を用いて符号化さ
れ得、それに対して、ニュースキャスターの顔は、比較
的低いオーダーのアダマール変換を用いて符号化され
る。
【００９５】図８Ａおよび図８Ｂを参照して上で説明し
た動き推定技術において、階層動き推定は、大きなブロ
ックから小さなブロックへと行われる。しかし、階層技
術はまた、小さなブロックから大きなブロックへと進み
得ることが想定される。図９は、例示的な動き推定方法
を示すイメージ図である。ここでは、大きなブロックに
ついての動きベクトルを推測するために、小さなブロッ
クの動きが使用される。図９において、現在のフレーム
１００の動作ブロック１１８は、サブブロック１２０、
１２２、１２４、および１２６を含む。本発明の例示的
な実施形態において、個々の動きベクトルは、サブブロ
ックの各々について判定される。これを図９の検索フレ
ーム１０４内に示し、ブロック１１８’は同じ位置のブ
ロックを表し、動作ブロック１１８としての検索イメー
ジは現在のイメージ内にある。一旦動きベクトルが判定
されると、動作ブロックのサブブロック１２０、１２
２、および１２６が、検索イメージ内のブロック１３０
のサブブロック１２０’、１２２’、および１２６’へ
とマッピングされる。それに対して、サブブロック１２
４は、検索ブロック１３２のサブブロック１２４’へと
マッピングされる。図１を参照して上で説明した従来の
ブロック動きアルゴリズムでのように、検索領域は、検
索イメージ１０４の領域１０６に制限される。動作ブロ
ックのサブブロックのうち、３つのサブブロックがマッ
チングブロック１３０へとマッピングされるのに対し
て、１つのサブブロックのみがブロック１３２へとマッ
ピングされるので、ブロック１３０は、動作ブロック１
１８についてのマッチングブロックとして選択される。
【００９６】図９に示すブロックマッチング方法におい
て、サブブロック１２０、１２２、１２４、および１２
６の各々は、まず、検索フレーム１０４の検索領域１０
６内の全てのサブブロックのように、アダマール変換が
行われる。次に、上で説明したブロックマッチングアル
ゴリズムは、検索イメージ１０４の検索領域１０６内
で、サブブロック毎に適用される。
【００９７】例示的な実施形態について本発明を説明し
たが、請求の範囲内で、上で概説したように実施され得
ることが想定されている。
【００９８】ブロックマッチングシステムは、１つのビ
デオイメージフレーム内の動作ブロックを、別のビデオ
イメージフレーム内のマッチングブロックとマッチさせ
る。このシステムは、動作ブロックおよび他のビデオイ
メージフレームからの複数のトライアルマッチングブロ
ックを変換する、複数のアダマール変換プロセッサを含
む。変換されたマッチングブロックは、次に、変換され
た動作ブロックと比較され、そして、この変換された動
作ブロックに対して最小の差分を有する変換されたマッ
チングブロックが判定される。この判定された、変換さ
れたマッチングブロックに対応するマッチングブロック
は、動作ブロックについてのマッチングブロックとして
選択される。ブロックマッチングシステムは、異なる数
の行および列を有する動作ブロックを変換し得る。ある
アプリケーションにおいて、このシステムは、１つのフ
レーム内の比較的大きな動作ブロックを、他のフレーム
内の対応する大きなマッチングブロックにマッチさせ
て、マッチングブロックと動作ブロックとの間の移動変
位を判定する。この移動変位は、１つのフレーム内のよ
り小さな動作ブロックが他のフレーム内のブロックにマ
ッチされる場合に、トライアルマッチングブロックの選
択を導くために使用される。
【００９９】
【発明の効果】本発明によるブロックマッチングシステ
ムは、１つのビデオイメージフレーム内の動作ブロック
を、別のビデオイメージフレーム内のマッチングブロッ
クとマッチさせる。動き推定において誤差寸法が、さら
に改変される。換言すると、マッチングプロセスの間、
人間の視覚システムの特性を考慮される。
【図面の簡単な説明】
【図１】従来の技術による、ブロックマッチング技術を
説明するのに有用なマルチフレームイメージ図である。
【図２】本発明による、例示的なブロックマッチングプ
ロセッサのブロック図である。
【図３】本発明による、別の例示的なブロックマッチン
グプロセッサのブロック図である。
【図４】本発明による、さらに別の例示的なブロックマ
ッチングプロセッサのブロック図である。
【図５】図４に示したブロックマッチングプロセッサ等
のブロックマッチングプロセッサを用いるビデオ信号符
号化システムのブロック図である。
【図６】本発明によるブロックマッチング技術を用いて
動きベクトルフィールドを生成する機械視覚システムの
ブロック図である。
【図７】図６に示したプロセッサのうちの１つを示すフ
ローチャートである。
【図８Ａ】本発明による、あるブロックマッチング技術
を説明するのに有用なマルチフレームイメージ図であ
る。
【図８Ｂ】本発明による、あるブロックマッチング技術
を説明するのに有用なマルチフレームイメージ図であ
る。
【図９】本発明による、別のブロックマッチング技術を
説明するのに有用なマルチフレームイメージ図である。
【符号の説明】
２００ ブロックマッチングプロセッサ ２１０ 現在のフレーム ２１２ 次のフレーム ２１４、２１６、２１８、２２０、２２２ アダマール
変換 ２２４ 予測ブロック判定 ２２６ マイクロプロセッサ

Claims (13)

    【特許請求の範囲】
  1. 【請求項１】 第１および第２のイメージを表す画素デ
    ータを処理して、第１のイメージ内の画素値からなる動
    作ブロックに対応する第２のイメージ内の画素値のマッ
    チングブロックを識別する方法であって、該方法は、 所定の直交変換動作を用いて該画素値からなる動作ブロ
    ックを変換して、変換された動作ブロックを生成するス
    テップと、 該第２のイメージから複数のトライアルマッチングブロ
    ックを選択するステップと、 所定の直交変換動作を用いて該トライアルマッチングブ
    ロックの各々を変換して、対応する複数の変換されたマ
    ッチングブロックを生成するステップと、 該変換された動作ブロックと該それぞれの複数の変換さ
    れたマッチングブロックとの間の差分の複数の寸法を生
    成するステップと、 該差分の複数の寸法のうちの最小寸法である該差分の寸
    法を有する該変換されたマッチングブロックに対応する
    該トライアルマッチングブロックを、該マッチングブロ
    ックとして選択するステップと、を含む方法。
  2. 【請求項２】 前記所定の変換動作がアダマール変換動
    作である、請求項１に記載の方法。
  3. 【請求項３】 前記変換された動作ブロックと前記それ
    ぞれの複数の変換されたマッチングブロックとの間の差
    分の複数の寸法を生成するステップは、該変換された動
    作ブロックと該変換されたマッチングブロックの各々と
    の間の平均二乗誤差（ＭＳＥ）を計算するステップを含
    み、 該マッチングブロックを選択するステップは、他のいず
    れかの変換されたマッチングブロックのＭＳＥよりも小
    さなＭＳＥを有する該変換されたマッチングブロックに
    対応する該マッチングブロックを選択する、請求項２に
    記載の方法。
  4. 【請求項４】 前記変換された動作ブロックと前記それ
    ぞれの複数の変換されたマッチングブロックとの間の差
    分の複数の寸法を生成するステップは、該変換された動
    作ブロックと該変換されたマッチングブロックの各々と
    の間の平均絶対値差分（ＭＡＤ）を計算するステップを
    含み、 該マッチングブロックを選択するステップは、他のいず
    れかの変換されたマッチングブロックのＭＡＤよりも小
    さなＭＡＤを有する該変換されたマッチングブロックに
    対応する該マッチングブロックを選択する、請求項２に
    記載の方法。
  5. 【請求項５】 前記動作ブロックは、画素値からなる第
    １の数の行、つまりＭ行の画素値、および、画素値から
    なる第２の数の行、つまりＮ行の画素値、を含み、そし
    て、 該動作ブロックを変換するステップは、 該動作ブロックによって、Ｍ×Ｍアダマールマトリクス
    を乗算して、Ｍ×Ｎマトリクスの値を生成するステップ
    と、 Ｎ×Ｎアダマールマトリクスによって、該Ｍ×Ｎマトリ
    クスの値を乗算して、Ｎ×Ｍブロックの変換されたイメ
    ージ値を生成するステップと、 を含む、請求項２に記載の方法。
  6. 【請求項６】 前記第１および第２のイメージは、ビデ
    オ信号からなる第１および第２の連続するフレームであ
    り、かつ、該第１および第２のイメージの差分はフレー
    ム間動作に対応し、 位置に関して前記動作ブロックに対応する前記第２のフ
    レーム内の基準ブロックを識別するステップと、 該第２のフレーム内の、該基準ブロックと前記選択され
    たマッチングブロックとの間の移動変位を判定するステ
    ップと、 該移動変位から動きベクトルを生成するステップと、を
    さらに含む、請求項１に記載の方法。
  7. 【請求項７】 第１および第２のイメージを表す画素デ
    ータを処理して、第１のイメージ内の画素値からなる動
    作ブロックに対応する第２のイメージ内の画素値のマッ
    チングブロックを識別する方法であって、該方法は、 該第１のイメージ内のＭ×Ｎブロックの画素値を選択す
    るステップであって、該Ｍ×Ｎブロックの画素値は、画
    素値からなる該動作ブロックを適切な下位セットとして
    含む、ステップと、 所定の直交変換動作を用いて該Ｍ×Ｎブロックの画素値
    を変換して、変換されたＭ×Ｎブロックの画素値を生成
    するステップと、 該第２のイメージから、複数のトライアルＭ×Ｎマッチ
    ングブロックを選択するステップと、 該所定の変換動作を用いて該複数のトライアルＭ×Ｎマ
    ッチングブロックの各々を変換して、対応する複数の変
    換されたＭ×Ｎマッチングブロックを生成するステップ
    と、 該変換されたＭ×Ｎマッチングブロックと該それぞれの
    複数の変換されたＭ×Ｎマッチングブロックの各々との
    間の差分の、複数の寸法を生成するステップと、 差分の該生成された寸法を比較して、差分の最小寸法を
    識別し、そして、いずれの変換されたＭ×Ｎマッチング
    ブロックが差分の該最小寸法に対応するかを判定するス
    テップと、 該Ｍ×Ｎブロックと該選択されたＭ×Ｎマッチングブロ
    ックとの間の移動変位を判定するステップと、 所定の直交変換動作を用いて画素値からなる該動作ブロ
    ックを変換して、変換された動作ブロックを生成するス
    テップと、 該第２のイメージから複数のトライアルマッチングブロ
    ックを選択するステップであって、該選択されたトライ
    アルマッチングブロックは、該判定された移動変位によ
    って該動作ブロックからずらされたトライアルマッチン
    グブロックの周りに密集させられる、ステップと、 該所定の直交変換動作を用いて、画素値からなる該トラ
    イアルマッチングブロックの各々を変換して、対応する
    複数の変換されたマッチングブロックを生成するステッ
    プと、 該変換された動作ブロックと該それぞれの複数の変換さ
    れたマッチングブロックの各々との間の差分の複数の寸
    法を生成するステップと、 該複数の差分の寸法のうちの他の差分の寸法のいずれよ
    りも小さな差分の寸法を有する該変換されたマッチング
    ブロックに対応する該トライアルマッチングブロック
    を、該マッチングブロックとして選択するステップと、
    を含む方法。
  8. 【請求項８】 第１および第２のイメージを表す画素デ
    ータを処理して、第１のイメージ内の画素値からなる動
    作ブロックに対応する第２のイメージ内の画素値のマッ
    チングブロックを識別する装置であって、該装置は、 所定の直交変換動作を用いて画素値からなる動作ブロッ
    クを変換して、変換された動作ブロックを生成する変換
    プロセッサと、 該第２のイメージから、それぞれの複数のトライアルマ
    ッチングブロックを選択して、そして、該所定の直交変
    換動作を用いて、画素値の該それぞれのトライアルマッ
    チングブロックを変換して、対応する複数の変換された
    マッチングブロックを生成する、複数のさらなる変換プ
    ロセッサと、 該変換された動作ブロックと該それぞれの複数の変換さ
    れたマッチングブロックとの間の差分の、複数の寸法を
    生成し、そして、該差分の寸法のうちの１つを差分の最
    小寸法として識別するコンパレータであって、該差分の
    最小寸法を有する該変換されたマッチングブロックに対
    応する該トライアルマッチングブロックは、画素値の該
    動作ブロックに対応する画素値の該マッチングブロック
    として識別される、コンパレータと、を含む装置。
  9. 【請求項９】 前記変換プロセッサおよび前記複数の変
    換プロセッサの各々は、アダマール変換プロセッサであ
    る、請求項８に記載の装置。
  10. 【請求項１０】 前記コンパレータは、 前記変換された動作ブロックと前記変換されたマッチン
    グブロックとの間の平均二乗誤差（ＭＳＥ）を計算する
    手段と、 他の変換されたブロックのＭＳＥよりも小さなＭＳＥを
    有する該変換されたマッチングブロックに対応するトラ
    イアルマッチングブロックを、画素値のマッチングブロ
    ックとして選択する手段と、 を含む、請求項９に記載の装置。
  11. 【請求項１１】 前記コンパレータは、 前記変換された動作ブロックと前記変換されたマッチン
    グブロックとの間の平均絶対値差分（ＭＡＤ）を計算す
    る手段と、 他の変換されたブロックのＭＡＤよりも小さなＭＡＤを
    有する該変換されたマッチングブロックに対応するトラ
    イアルマッチングブロックを、画素値のマッチングブロ
    ックとして選択する手段と、を含む、請求項９に記載の
    装置。
  12. 【請求項１２】 前記第１および第２のイメージは、ビ
    デオ信号からなる第１および第２の連続するフレームで
    あり、かつ、該第１および第２のイメージの差分はフレ
    ーム間動作に対応し、 位置に関して前記動作ブロックに対応する前記第２のフ
    レーム内の基準ブロックを識別する手段と、 該第２のフレーム内の、該基準ブロックと前記選択され
    たマッチングブロックとの間の移動変位を判定する手段
    と、 該移動変位から動きベクトルを生成する手段と、をさら
    に含む、請求項１１に記載の装置。
  13. 【請求項１３】 コンピュータプログラムを含むキャリ
    ヤであって、該コンピュータプログラムは、コンピュー
    タに以下のステップを実行させる複数の命令を含み、該
    以下のステップは、 第１のイメージから画素の動作ブロックを識別するステ
    ップと、 所定の直交変換動作を用いて画素値の該動作ブロックを
    変換して、変換された動作ブロックを生成するステップ
    と、 該第２のイメージから複数のトライアルマッチングブロ
    ックを選択するステップと、 所定の直交変換動作を用いて画素値の該トライアルマッ
    チングブロックの各々を変換して、対応する複数の変換
    されたマッチングブロックを生成するステップと、 該変換された動作ブロックと該それぞれの複数の変換さ
    れたマッチングブロックとの間の差分の、複数の寸法を
    生成するステップと、 該複数の差分の寸法のうちの他の差分の寸法のいずれよ
    りも小さな差分の寸法を有する該変換されたマッチング
    ブロックに対応する該トライアルマッチングブロック
    を、マッチングブロックとして選択するステップと、を
    含む、キャリヤ。
JP2000016921A 1999-01-27 2000-01-26 直交変換―ドメインブロックマッチングを用いる動き推定 Pending JP2000222587A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/239.089 1999-01-27
US09/239,089 US6625216B1 (en) 1999-01-27 1999-01-27 Motion estimation using orthogonal transform-domain block matching

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2004063256A Division JP3768507B2 (ja) 1999-01-27 2004-03-05 直交変換−ドメインブロックマッチングを用いる動き推定

Publications (1)

Publication Number Publication Date
JP2000222587A true JP2000222587A (ja) 2000-08-11

Family

ID=22900560

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2000016921A Pending JP2000222587A (ja) 1999-01-27 2000-01-26 直交変換―ドメインブロックマッチングを用いる動き推定
JP2004063256A Expired - Fee Related JP3768507B2 (ja) 1999-01-27 2004-03-05 直交変換−ドメインブロックマッチングを用いる動き推定

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2004063256A Expired - Fee Related JP3768507B2 (ja) 1999-01-27 2004-03-05 直交変換−ドメインブロックマッチングを用いる動き推定

Country Status (6)

Country Link
US (1) US6625216B1 (ja)
EP (1) EP1024456A3 (ja)
JP (2) JP2000222587A (ja)
KR (1) KR100378902B1 (ja)
CN (1) CN1179302C (ja)
TW (1) TWI224290B (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005354686A (ja) * 2004-06-01 2005-12-22 Mitsubishi Electric Research Laboratories Inc ビデオ内のマクロブロック毎に最適な符号化モードを選択するための方法およびシステム
WO2006070614A1 (ja) * 2004-12-28 2006-07-06 Nec Corporation 画像符号化装置、画像符号化方法及びそのプログラム
JP2007279800A (ja) * 2006-04-03 2007-10-25 Seiko Epson Corp 動きベクトル検出装置、動きベクトル検出方法、手ぶれ補正装置、手ぶれ補正方法、手ぶれ補正プログラム、及び手ぶれ補正装置を備えた動画像表示装置
JP2011525761A (ja) * 2008-06-26 2011-09-22 テレフオンアクチーボラゲット エル エム エリクソン（パブル） デジタルビデオにおける繰り返しの検出
JP2016214664A (ja) * 2015-05-22 2016-12-22 株式会社日立製作所 超音波診断装置及びプログラム
JP2018097853A (ja) * 2016-12-16 2018-06-21 富士通株式会社 画像比較装置、方法及び電子機器

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2348064A (en) * 1999-03-16 2000-09-20 Mitsubishi Electric Inf Tech Motion vector field encoding
DE10035109B4 (de) * 1999-07-20 2012-03-08 Lg Information & Communications, Ltd. Terminal und Verfahren zum Transportieren von Standbildern
GB2363020B (en) * 2000-04-07 2004-08-18 Discreet Logic Inc Processing image data
US6970577B2 (en) * 2000-12-19 2005-11-29 Lockheed Martin Corporation Fast fourier transform correlation tracking algorithm with background correction
US7170932B2 (en) * 2001-05-11 2007-01-30 Mitsubishi Electric Research Laboratories, Inc. Video transcoder with spatial resolution reduction and drift compensation
JP3997749B2 (ja) * 2001-10-22 2007-10-24 ソニー株式会社 信号処理方法及び装置、信号処理プログラム、並びに記録媒体
US6999514B2 (en) * 2001-10-26 2006-02-14 Selliah Rathnam Motion compensation with subblock scanning
US7155065B1 (en) 2002-03-27 2006-12-26 Microsoft Corporation System and method for progressively transforming and coding digital data
US7006699B2 (en) * 2002-03-27 2006-02-28 Microsoft Corporation System and method for progressively transforming and coding digital data
US8311095B2 (en) * 2002-07-17 2012-11-13 Onmobile Global Limited Method and apparatus for transcoding between hybrid video codec bitstreams
US20040057521A1 (en) * 2002-07-17 2004-03-25 Macchina Pty Ltd. Method and apparatus for transcoding between hybrid video CODEC bitstreams
KR100598093B1 (ko) * 2003-01-29 2006-07-07 삼성전자주식회사 낮은 메모리 대역폭을 갖는 동영상 압축 장치와 그 방법
US6950495B2 (en) 2003-12-01 2005-09-27 The Boeing Company Backscatter imaging using Hadamard transform masking
DE10361327A1 (de) * 2003-12-27 2005-07-21 Leica Microsystems Heidelberg Gmbh Verfahren zur Korrektur des Drifts bei einem optischen Gerät
JP4476104B2 (ja) * 2004-04-22 2010-06-09 三洋電機株式会社 符号化回路
US8068543B2 (en) * 2006-06-14 2011-11-29 Samsung Electronics Co., Ltd. Method and system for determining the reliability of estimated motion vectors
US8472527B2 (en) * 2006-09-13 2013-06-25 Texas Instruments Incorporated Hierarchical motion estimation using original frame for sub-sampled reference
WO2008112072A2 (en) * 2007-03-09 2008-09-18 Dolby Laboratories Licensing Corporation Multi-frame motion extrapolation from a compressed video source
US7924316B2 (en) 2007-03-14 2011-04-12 Aptina Imaging Corporation Image feature identification and motion compensation apparatus, systems, and methods
US7920746B2 (en) 2007-04-23 2011-04-05 Aptina Imaging Corporation Compressed domain image summation apparatus, systems, and methods
US8681873B2 (en) * 2010-02-19 2014-03-25 Skype Data compression for video
US9819358B2 (en) 2010-02-19 2017-11-14 Skype Entropy encoding based on observed frequency
US9313526B2 (en) 2010-02-19 2016-04-12 Skype Data compression for video
US9078009B2 (en) * 2010-02-19 2015-07-07 Skype Data compression for video utilizing non-translational motion information
US9609342B2 (en) 2010-02-19 2017-03-28 Skype Compression for frames of a video signal using selected candidate blocks
JP5685837B2 (ja) * 2010-06-15 2015-03-18 ソニー株式会社 ジェスチャ認識装置、ジェスチャ認識方法およびプログラム
TW201306568A (zh) 2011-07-20 2013-02-01 Novatek Microelectronics Corp 移動估測方法
CN102333220B (zh) * 2011-10-21 2013-11-06 北京大学 一种选择在变换域完成预测编码的视频编解码方法
KR20150128664A (ko) * 2013-01-09 2015-11-18 빈첸초 리구오리 픽셀의 2개의 블록을 비교하기 위한 방법 및 장치
US9398312B2 (en) * 2013-11-04 2016-07-19 Samsung Display Co., Ltd. Adaptive inter-channel transform for wavelet color image compression
US11425353B1 (en) * 2016-11-18 2022-08-23 X Development Llc Disparity interpolation refinement for stereo vision
CN107135396B (zh) * 2017-06-16 2020-08-28 北京奇艺世纪科技有限公司 一种运动估计方法和装置
US11778195B2 (en) * 2017-07-07 2023-10-03 Kakadu R & D Pty Ltd. Fast, high quality optical flow estimation from coded video
US20190188829A1 (en) * 2017-12-14 2019-06-20 Multitek Inc. Method, Apparatus, and Circuitry of Noise Reduction

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5347309A (en) * 1991-04-25 1994-09-13 Matsushita Electric Industrial Co., Ltd. Image coding method and apparatus
WO1992021210A1 (en) * 1991-05-23 1992-11-26 Nippon Hoso Kyokai Method for detecting moving vector and apparatus therefor, and system for processing image signal using the apparatus
US5198901A (en) 1991-09-23 1993-03-30 Matsushita Electric Corporation Of America Derivation and use of motion vectors in a differential pulse code modulation system
JP3230263B2 (ja) 1992-01-31 2001-11-19 ソニー株式会社 動きベクトル検出回路
US5337085A (en) 1992-04-10 1994-08-09 Comsat Corporation Coding technique for high definition television signals
JP2778412B2 (ja) * 1993-05-20 1998-07-23 国際電信電話株式会社 動き補償フレーム間コンポジットｔｖ信号直接符号化装置
JPH0799658A (ja) 1993-08-03 1995-04-11 Sony Corp 動きベクトル検出装置
US5471252A (en) 1993-11-03 1995-11-28 Matsushita Electric Industrial Corporation Of America Method and apparatus for estimating motion vector fields by rejecting local outliers
JPH07170521A (ja) * 1993-12-15 1995-07-04 Canon Inc 画像処理装置
US5694173A (en) * 1993-12-29 1997-12-02 Kabushiki Kaisha Toshiba Video data arranging method and video data encoding/decoding apparatus
JPH0844708A (ja) 1994-07-27 1996-02-16 Fujitsu Ltd 二次元離散コサイン変換演算回路
JP3655651B2 (ja) * 1994-09-02 2005-06-02 テキサス インスツルメンツ インコーポレイテツド データ処理装置
GB9422018D0 (en) 1994-10-31 1994-12-21 Vistek Electronics An improved method of estimating motion in a video signal
US5731850A (en) * 1995-06-07 1998-03-24 Maturi; Gregory V. Hybrid hierarchial/full-search MPEG encoder motion estimation
US5790686A (en) * 1995-09-19 1998-08-04 University Of Maryland At College Park DCT-based motion estimation method
US5786856A (en) 1996-03-19 1998-07-28 International Business Machines Method for adaptive quantization by multiplication of luminance pixel blocks by a modified, frequency ordered hadamard matrix
US5796434A (en) * 1996-06-07 1998-08-18 Lsi Logic Corporation System and method for performing motion estimation in the DCT domain with improved efficiency
KR100235355B1 (ko) * 1997-08-13 1999-12-15 전주범 개선된 움직임 추정 장치 및 그 추정 방법
US6249318B1 (en) * 1997-09-12 2001-06-19 8×8, Inc. Video coding/decoding arrangement and method therefor

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005354686A (ja) * 2004-06-01 2005-12-22 Mitsubishi Electric Research Laboratories Inc ビデオ内のマクロブロック毎に最適な符号化モードを選択するための方法およびシステム
WO2006070614A1 (ja) * 2004-12-28 2006-07-06 Nec Corporation 画像符号化装置、画像符号化方法及びそのプログラム
JP2007279800A (ja) * 2006-04-03 2007-10-25 Seiko Epson Corp 動きベクトル検出装置、動きベクトル検出方法、手ぶれ補正装置、手ぶれ補正方法、手ぶれ補正プログラム、及び手ぶれ補正装置を備えた動画像表示装置
JP2011525761A (ja) * 2008-06-26 2011-09-22 テレフオンアクチーボラゲット エル エム エリクソン（パブル） デジタルビデオにおける繰り返しの検出
US8724705B2 (en) 2008-06-26 2014-05-13 Telefonaktiebolaget Lm Ericsson (Publ) Detecting repetition in digital video
JP2016214664A (ja) * 2015-05-22 2016-12-22 株式会社日立製作所 超音波診断装置及びプログラム
JP2018097853A (ja) * 2016-12-16 2018-06-21 富士通株式会社 画像比較装置、方法及び電子機器
JP7006127B2 (ja) 2016-12-16 2022-01-24 富士通株式会社 画像比較装置、方法及び電子機器

Also Published As

Publication number Publication date
CN1262496A (zh) 2000-08-09
JP3768507B2 (ja) 2006-04-19
KR100378902B1 (ko) 2003-04-07
KR20000076522A (ko) 2000-12-26
JP2004229315A (ja) 2004-08-12
EP1024456A3 (en) 2001-08-29
CN1179302C (zh) 2004-12-08
EP1024456A2 (en) 2000-08-02
TWI224290B (en) 2004-11-21
US6625216B1 (en) 2003-09-23

Similar Documents

Publication Publication Date Title
JP2000222587A (ja) 直交変換―ドメインブロックマッチングを用いる動き推定
CN110809887B (zh) 用于多参考预测的运动矢量修正的方法和装置
CN108781284B (zh) 具有仿射运动补偿的视频编解码的方法及装置
US5760846A (en) Apparatus for estimating motion vectors for feature points of a video signal
KR100275694B1 (ko) 실시간 동영상 부호화를 위한 초고속 움직임 벡터 추정방법
RU2761511C2 (ru) Окно ограниченного доступа к памяти для уточнения вектора движения
JP3655651B2 (ja) データ処理装置
WO2007078800A1 (en) Motion estimation using prediction guided decimated search
US20080170616A1 (en) Method and Apparatus for Determining Search Range for Adaptive Motion Vector for Use in Video Encoder
Bachu et al. A review on motion estimation in video compression
JP3681784B2 (ja) 映像信号符号化装置
US5790207A (en) Motion compensation method for use in an image encoding system
Soongsathitanon et al. Fast search algorithms for video coding using orthogonal logarithmic search algorithm
KR100859073B1 (ko) 움직임 추정 방법
Suliman et al. Video compression using variable block size motion compensation with selective subpixel accuracy in redundant wavelet transform
KR0156958B1 (ko) 2차원 영상의 웨이브렛 변환 영역에서 가변 블럭 크기를 갖는 움직임 추정 장치
KR100635009B1 (ko) 화면 전체의 움직임을 고려한 움직임예측방법 및 그 장치
JPH07123411A (ja) 動きベクトル検出および伝送方法
JP2625424B2 (ja) テレビ信号符号化装置
KR100207397B1 (ko) 영상 부호화 시스템의 움직임 예측장치 및 방법
KR100238891B1 (ko) 개선된 움직임 추정 장치 및 그 추정 방법
KR0174444B1 (ko) 초저속 전송을 위한 움직임 보상장치
KR960012503B1 (ko) 전역 및 국부이동 적응 영상 부호화 장치 및 방법
Wang et al. Fast algorithm of arbitrary fractional-pixel accuracy motion estimation
KR20000014769A (ko) 동영상 부호화기의 움직임 추정방법

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20040106