JP2000175202A - 動きベクトル検出装置 - Google Patents
動きベクトル検出装置Info
- Publication number
- JP2000175202A JP2000175202A JP34965998A JP34965998A JP2000175202A JP 2000175202 A JP2000175202 A JP 2000175202A JP 34965998 A JP34965998 A JP 34965998A JP 34965998 A JP34965998 A JP 34965998A JP 2000175202 A JP2000175202 A JP 2000175202A
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- block
- image
- low
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Color Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】
【課題】 動きベクトル検出の演算量を削減しつつ、従
来の階層動きベクトル検出よりも精度の高い動きベクト
ル検出が行える装置を提供すること。 【解決手段】 低階層画像データにおいて、動領域検出
回路により画像が明らかに動いていると判断できる動領
域の場合にのみ、低階層での動きベクトル検出を有効に
する。それと共に、低階層での動きベクトル検出時の２
次元ブロックを、適応ブロック切り出し回路により前記
動領域に合わせて適応的に構成することにより、動領域
での低階層動きベクトルの精度を向上させる。
来の階層動きベクトル検出よりも精度の高い動きベクト
ル検出が行える装置を提供すること。 【解決手段】 低階層画像データにおいて、動領域検出
回路により画像が明らかに動いていると判断できる動領
域の場合にのみ、低階層での動きベクトル検出を有効に
する。それと共に、低階層での動きベクトル検出時の２
次元ブロックを、適応ブロック切り出し回路により前記
動領域に合わせて適応的に構成することにより、動領域
での低階層動きベクトルの精度を向上させる。
Description
【０００１】
【発明の属する技術分野】本発明は、フレーム間の予測
処理を行い画像信号を符号化する高能率符号化装置等に
好適な動きベクトル検出装置に関するものである。そし
て、この発明は、少ない演算量で精度の高い動きベクト
ルを検出する検出装置を提供するものである。
処理を行い画像信号を符号化する高能率符号化装置等に
好適な動きベクトル検出装置に関するものである。そし
て、この発明は、少ない演算量で精度の高い動きベクト
ルを検出する検出装置を提供するものである。
【０００２】
【従来の技術】近年、デジタル化された画像信号を高能
率符号化により圧縮した情報信号を用いて、衛星波、地
上波、電話回線などの伝送路により情報を配信するサー
ビスや、光ディスクや磁気媒体等のメディアに記録・再
生を行うシステムが開発・実用化されている。このよう
なシステムに用いられている動画像の高能率符号化方式
として、国際規格であるMPEG2がある。
率符号化により圧縮した情報信号を用いて、衛星波、地
上波、電話回線などの伝送路により情報を配信するサー
ビスや、光ディスクや磁気媒体等のメディアに記録・再
生を行うシステムが開発・実用化されている。このよう
なシステムに用いられている動画像の高能率符号化方式
として、国際規格であるMPEG2がある。
【０００３】MPEG2は、画像信号の隣接画素間（空間方
向）の相関および、フレームもしくはフィールド（時間
方向）の相関を利用して、画像信号の情報量を圧縮する
符号化方式である。
向）の相関および、フレームもしくはフィールド（時間
方向）の相関を利用して、画像信号の情報量を圧縮する
符号化方式である。
【０００４】まず、時間的に連続する画像フレームを、
基準フレームと予測フレームにふりわける。基準フレー
ムは定期的に挿入され、空間方向の相関のみを用いるこ
とでそのフレームの符号化データのみで画像を復元する
ことができる。予測フレームは、基準となるフレームか
らの時間方向の相関と空間方向の相関を共に用いること
により符号化するものであり、基準フレームよりも符号
化効率を高めることができる。
基準フレームと予測フレームにふりわける。基準フレー
ムは定期的に挿入され、空間方向の相関のみを用いるこ
とでそのフレームの符号化データのみで画像を復元する
ことができる。予測フレームは、基準となるフレームか
らの時間方向の相関と空間方向の相関を共に用いること
により符号化するものであり、基準フレームよりも符号
化効率を高めることができる。
【０００５】予測フレームの符号化においては、前述し
た時間方向の相関を利用するために、基準フレームとの
間での動き量（動きベクトル）が求められる。その動き
ベクトルに応じて動き補償が行われた基準フレームの画
像信号と、予測フレームとなる入力信号との間の差分信
号が符号化される。
た時間方向の相関を利用するために、基準フレームとの
間での動き量（動きベクトル）が求められる。その動き
ベクトルに応じて動き補償が行われた基準フレームの画
像信号と、予測フレームとなる入力信号との間の差分信
号が符号化される。
【０００６】動きベクトル検出の基本的な装置として、
図２に示すようなブロックマッチング法を用いた装置が
あげられる。ブロック切り出し回路にて、入力画像メモ
リより垂直方向Ｎ画素×水平方向Ｍ画素で入力ブロック
が切り出されると共に、その入力ブロックに対して候補
ベクトル（ＶＣｘ，ＶＣｙ）だけ相対位置を移動させた
Ｎ画素×Ｍ画素の参照ブロックが参照画像メモリから切
り出される。切り出されたＮ画素×Ｍ画素の入力ブロッ
クと参照ブロックとの間の誤差評価値が、ブロックマッ
チング回路にて求められる。誤差評価値は差分絶対値総
和かもしくは差分二乗総和が使われるのが一般的であ
る。
図２に示すようなブロックマッチング法を用いた装置が
あげられる。ブロック切り出し回路にて、入力画像メモ
リより垂直方向Ｎ画素×水平方向Ｍ画素で入力ブロック
が切り出されると共に、その入力ブロックに対して候補
ベクトル（ＶＣｘ，ＶＣｙ）だけ相対位置を移動させた
Ｎ画素×Ｍ画素の参照ブロックが参照画像メモリから切
り出される。切り出されたＮ画素×Ｍ画素の入力ブロッ
クと参照ブロックとの間の誤差評価値が、ブロックマッ
チング回路にて求められる。誤差評価値は差分絶対値総
和かもしくは差分二乗総和が使われるのが一般的であ
る。
【０００７】求められた誤差評価値Ｘは、最小誤差レジ
スタに蓄えられている探索過程での最小誤差評価値Ｍｉ
ｎＸと、求められた誤差評価値とが比較され、ＭｉｎＸ
＞Ｘの場合にはＸが最小誤差レジスタに蓄えられ、動き
ベクトルレジスタには、その時のベクトル値（ＶＣｘ，
ＶＣｙ）が蓄えられる。最小誤差レジスタは通常、誤差
最大値｛Ｎ×Ｍ×２＾（Ｂ＋１）｝（Ｂ：入力画像およ
び参照画像のビット精度を示す）により初期化されてい
る。
スタに蓄えられている探索過程での最小誤差評価値Ｍｉ
ｎＸと、求められた誤差評価値とが比較され、ＭｉｎＸ
＞Ｘの場合にはＸが最小誤差レジスタに蓄えられ、動き
ベクトルレジスタには、その時のベクトル値（ＶＣｘ，
ＶＣｙ）が蓄えられる。最小誤差レジスタは通常、誤差
最大値｛Ｎ×Ｍ×２＾（Ｂ＋１）｝（Ｂ：入力画像およ
び参照画像のビット精度を示す）により初期化されてい
る。
【０００８】候補ベクトルは、シーケンサ回路からのコ
ントロール信号により動きベクトルの探索範囲すべてに
渡って移動し、それぞれのベクトルに対して、上記と同
様の処理がなされ誤差評価値が求められ、最小誤差が更
新される。
ントロール信号により動きベクトルの探索範囲すべてに
渡って移動し、それぞれのベクトルに対して、上記と同
様の処理がなされ誤差評価値が求められ、最小誤差が更
新される。
【０００９】全ての探索範囲に対して、マッチング処理
が終わった後、動きベクトルレジスタに蓄えられたベク
トル値が、検出された動きベクトル値として、出力され
る。入力画像のすべてのブロックに対して上記動きベク
トルを検出することにより、入力画像全体に対する動き
ベクトル検出処理が完了する。（以降、上記方式を全探
索動きベクトル検出と呼ぶ）
が終わった後、動きベクトルレジスタに蓄えられたベク
トル値が、検出された動きベクトル値として、出力され
る。入力画像のすべてのブロックに対して上記動きベク
トルを検出することにより、入力画像全体に対する動き
ベクトル検出処理が完了する。（以降、上記方式を全探
索動きベクトル検出と呼ぶ）
【００１０】全探索動きベクトル検出を実現するために
は、莫大な演算処理を要する。例として入力画像サイズ
が７２０×４８０画素、入力ブロックが１６×１６画
素、探索範囲を水平方向±６３画素、垂直方向±３１画
素の場合を想定すると、差分絶対値を計算する処理の回
数が１フレームあたり、 （７２０／１６）×（４８０／１６）×（６３×２＋
１）×（３１×２＋１）×（１６×１６）＝４５×３０
×１２７×６３×２５６＝２７６５１４５６００ 回必要となる。
は、莫大な演算処理を要する。例として入力画像サイズ
が７２０×４８０画素、入力ブロックが１６×１６画
素、探索範囲を水平方向±６３画素、垂直方向±３１画
素の場合を想定すると、差分絶対値を計算する処理の回
数が１フレームあたり、 （７２０／１６）×（４８０／１６）×（６３×２＋
１）×（３１×２＋１）×（１６×１６）＝４５×３０
×１２７×６３×２５６＝２７６５１４５６００ 回必要となる。
【００１１】このような莫大な演算処理を低減させて動
きベクトルを検出する一手法として、階層動きベクトル
検出がある。図３を用いて、階層動きベクトル検出の概
念を説明する。
きベクトルを検出する一手法として、階層動きベクトル
検出がある。図３を用いて、階層動きベクトル検出の概
念を説明する。
【００１２】まず、入力画像メモリから入力画像、及び
参照画像メモリから参照画像がそれぞれサブサンプル回
路に入力される。サブサンプル回路では、水平方向・垂
直方向に１／ｎサブサンプルを行った画像（低階層画
像）が生成される。生成された入力サブサンプル画像
（低階層入力画像）と参照サブサンプル画像（低階層参
照画像）とは、それぞれ入力サブサンプル画像メモリと
参照サブサンプル画像メモリとに供給される。
参照画像メモリから参照画像がそれぞれサブサンプル回
路に入力される。サブサンプル回路では、水平方向・垂
直方向に１／ｎサブサンプルを行った画像（低階層画
像）が生成される。生成された入力サブサンプル画像
（低階層入力画像）と参照サブサンプル画像（低階層参
照画像）とは、それぞれ入力サブサンプル画像メモリと
参照サブサンプル画像メモリとに供給される。
【００１３】ブロック切り出し回路Ａにて、入力サブサ
ンプルブロック及び参照サブサンプルブロックが、それ
ぞれ入力サブサンプル画像メモリと参照サブサンプル画
像メモリとから切り出される。切り出された両ブロック
は、セレクタを介してブロックマッチング回路に供給さ
れ、低階層動きベクトル（Ｖｓｘ，Ｖｓｙ）が検出され
る。検出するためのブロックマッチング回路は、全探索
動きベクトル検出に用いられる回路と同等の処理を行な
う。
ンプルブロック及び参照サブサンプルブロックが、それ
ぞれ入力サブサンプル画像メモリと参照サブサンプル画
像メモリとから切り出される。切り出された両ブロック
は、セレクタを介してブロックマッチング回路に供給さ
れ、低階層動きベクトル（Ｖｓｘ，Ｖｓｙ）が検出され
る。検出するためのブロックマッチング回路は、全探索
動きベクトル検出に用いられる回路と同等の処理を行な
う。
【００１４】求められた動きベクトルは、動きベクトル
レジスタを介して低階層動きベクトルとして基準ベクト
ル設定回路に入力される。基準ベクトル設定回路では、
低階層動きベクトルの結果をｎ倍した値（ｎ×Ｖｓｘ，
ｎ×Ｖｓｙ）を基準動きベクトルとして出力する。この
基準動きベクトルから水平・垂直に微少画素移動させた
ベクトルに対して、入力画像メモリ及び参照画像メモリ
からそれぞれ原画像データである入力ブロック、参照ブ
ロックをブロック切り出し回路Ｂを用いて切り出す。切
り出された両ブロックをセレクタを介してブロックマッ
チング回路に供給し、ブロックマッチング回路で演算す
ることにより、最終的な動きベクトルを検出する。最小
誤差レジスタ及び動きベクトルレジスタは、図２に示す
装置と同様の動作を行う。
レジスタを介して低階層動きベクトルとして基準ベクト
ル設定回路に入力される。基準ベクトル設定回路では、
低階層動きベクトルの結果をｎ倍した値（ｎ×Ｖｓｘ，
ｎ×Ｖｓｙ）を基準動きベクトルとして出力する。この
基準動きベクトルから水平・垂直に微少画素移動させた
ベクトルに対して、入力画像メモリ及び参照画像メモリ
からそれぞれ原画像データである入力ブロック、参照ブ
ロックをブロック切り出し回路Ｂを用いて切り出す。切
り出された両ブロックをセレクタを介してブロックマッ
チング回路に供給し、ブロックマッチング回路で演算す
ることにより、最終的な動きベクトルを検出する。最小
誤差レジスタ及び動きベクトルレジスタは、図２に示す
装置と同様の動作を行う。
【００１５】原画像データ処理におけるブロックマッチ
ング回路も、図２に示した全探索動きベクトル検出の場
合と全く同じ回路構成でよい。よって、図３に示すよう
に、低階層画像と原画像との処理をシーケンス回路にお
いてコントロールすることにより（２つのブロック切り
出し回路Ａ，Ｂ及びセレクタを制御することにより）、
両処理のブロックマッチング回路を単一回路で構成でき
る。
ング回路も、図２に示した全探索動きベクトル検出の場
合と全く同じ回路構成でよい。よって、図３に示すよう
に、低階層画像と原画像との処理をシーケンス回路にお
いてコントロールすることにより（２つのブロック切り
出し回路Ａ，Ｂ及びセレクタを制御することにより）、
両処理のブロックマッチング回路を単一回路で構成でき
る。
【００１６】ここで、一例として、全探索動きベクトル
検出と同様の探索範囲を得るための階層動きベクトル検
出を、低階層（１／２サブサンプル）の入力ブロックを
８×８画素、探索範囲を水平方向±２８画素、垂直方向
±１４画素とし、原画像での入力ブロックを１６×１６
画素、探索範囲を水平方向±７画素、垂直方向±３画素
とする場合を想定する。このとき、差分絶対値を計算す
る処理の回数は１フレームあたり、 （３６０／８）×（２４０／８）×（２８×２＋１）×
（１４×２＋１）×（８×８）＋（７２０／１６）×
（４８０／１６）×（７×２＋１）×（３×２＋１）×
（１６×１６）＝（４５×３０×５７×２９×６４）＋
（４５×３０×１５×７×２５６）＝１４２８１９２０
０＋３６２８８０００＝１７９１０７２００回 となり、全探索動きベクトル検出時と比較して、１５分
の１程度と大幅に演算量が削減される。
検出と同様の探索範囲を得るための階層動きベクトル検
出を、低階層（１／２サブサンプル）の入力ブロックを
８×８画素、探索範囲を水平方向±２８画素、垂直方向
±１４画素とし、原画像での入力ブロックを１６×１６
画素、探索範囲を水平方向±７画素、垂直方向±３画素
とする場合を想定する。このとき、差分絶対値を計算す
る処理の回数は１フレームあたり、 （３６０／８）×（２４０／８）×（２８×２＋１）×
（１４×２＋１）×（８×８）＋（７２０／１６）×
（４８０／１６）×（７×２＋１）×（３×２＋１）×
（１６×１６）＝（４５×３０×５７×２９×６４）＋
（４５×３０×１５×７×２５６）＝１４２８１９２０
０＋３６２８８０００＝１７９１０７２００回 となり、全探索動きベクトル検出時と比較して、１５分
の１程度と大幅に演算量が削減される。
【００１７】
【発明が解決しようとする課題】上述した階層動きベク
トル検出の問題点として、最終的に得られる動きベクト
ルが、低階層で求められた動きベクトルの精度に影響さ
れることが挙げられる。これは、低階層で求められた動
きベクトルを基にその周辺を探索することによって最終
的な動きベクトルが得られるためである。
トル検出の問題点として、最終的に得られる動きベクト
ルが、低階層で求められた動きベクトルの精度に影響さ
れることが挙げられる。これは、低階層で求められた動
きベクトルを基にその周辺を探索することによって最終
的な動きベクトルが得られるためである。
【００１８】サブサンプルを行なった画像データが画像
の特徴的な部分（エッジやテクスチャ）を消し去ってい
るような場合に、正しく低階層の動きベクトルが求めら
れない。また、検出するブロック内に違う動き成分を持
つ画像が混在している場合、原画像でのマッチングによ
る動きベクトルの結果と、低階層でのマッチングによる
動きベクトルの結果は異なることになり、低階層で求め
た動きベクトルが最良の動きベクトルとはならない。
の特徴的な部分（エッジやテクスチャ）を消し去ってい
るような場合に、正しく低階層の動きベクトルが求めら
れない。また、検出するブロック内に違う動き成分を持
つ画像が混在している場合、原画像でのマッチングによ
る動きベクトルの結果と、低階層でのマッチングによる
動きベクトルの結果は異なることになり、低階層で求め
た動きベクトルが最良の動きベクトルとはならない。
【００１９】本発明は、動きベクトル検出の演算量を削
減しつつ、従来の階層動きベクトル検出よりも精度の高
い動きベクトル検出が行える装置を提供することを目的
としている。
減しつつ、従来の階層動きベクトル検出よりも精度の高
い動きベクトル検出が行える装置を提供することを目的
としている。
【００２０】
【課題を解決するための手段】そこで、上記課題を解決
するために本発明は、入力画像及び参照画像をサブサン
プルして形成した低階層入力画像及び低階層参照画像を
用いて、ブロックマッチング法により検出した低階層動
きベクトルに基づき、原画像である前記入力画像と前記
参照画像との間での動きベクトルをブロックマッチング
法により検出する動きベクトル検出装置において、前記
低階層入力画像及び前記低階層参照画像が供給され、前
記両画像を比較して前記低階層入力画像を動領域と静止
領域とに判別する静動検出回路と、前記静動検出回路か
らの判別信号に応じて、前記低階層入力画像の空間方向
に前記動領域を検索し、適応的に前記動領域を含む２次
元ブロックのアドレスを生成し、生成されたアドレスの
位置に対応した低階層入力画像ブロック及び低階層参照
画像ブロックを前記低階層入力画像及び前記低階層参照
画像から抽出する適応ブロック切り出し回路と、前記適
応ブロック切り出し回路により抽出された前記低階層入
力画像ブロック及び前記低階層参照画像ブロックを用い
て低階層動きベクトルを検出するブロックマッチング装
置と、原画像である前記入力画像と前記参照画像との間
での動きベクトル検出のために前記入力画像に対して設
定される２次元ブロックの中に、前記静動検出回路によ
り検出された前記動領域が存在する場合には、その動領
域に対応する前記低階層動きベクトルを所定倍した動き
ベクトルを基準動きベクトルとして出力すると共に、前
記動領域が存在しない場合には０ベクトルを基準動きベ
クトルとして出力する基準ベクトル判定回路とを設け、
前記基準動きベクトルの周辺を前記入力画像及び前記参
照画像を用いて探索し、前記ブロックマッチング装置に
て前記入力画像と前記参照画像との間での動きベクトル
を検出することを特徴とする動きベクトル検出装置、を
提供するものである。
するために本発明は、入力画像及び参照画像をサブサン
プルして形成した低階層入力画像及び低階層参照画像を
用いて、ブロックマッチング法により検出した低階層動
きベクトルに基づき、原画像である前記入力画像と前記
参照画像との間での動きベクトルをブロックマッチング
法により検出する動きベクトル検出装置において、前記
低階層入力画像及び前記低階層参照画像が供給され、前
記両画像を比較して前記低階層入力画像を動領域と静止
領域とに判別する静動検出回路と、前記静動検出回路か
らの判別信号に応じて、前記低階層入力画像の空間方向
に前記動領域を検索し、適応的に前記動領域を含む２次
元ブロックのアドレスを生成し、生成されたアドレスの
位置に対応した低階層入力画像ブロック及び低階層参照
画像ブロックを前記低階層入力画像及び前記低階層参照
画像から抽出する適応ブロック切り出し回路と、前記適
応ブロック切り出し回路により抽出された前記低階層入
力画像ブロック及び前記低階層参照画像ブロックを用い
て低階層動きベクトルを検出するブロックマッチング装
置と、原画像である前記入力画像と前記参照画像との間
での動きベクトル検出のために前記入力画像に対して設
定される２次元ブロックの中に、前記静動検出回路によ
り検出された前記動領域が存在する場合には、その動領
域に対応する前記低階層動きベクトルを所定倍した動き
ベクトルを基準動きベクトルとして出力すると共に、前
記動領域が存在しない場合には０ベクトルを基準動きベ
クトルとして出力する基準ベクトル判定回路とを設け、
前記基準動きベクトルの周辺を前記入力画像及び前記参
照画像を用いて探索し、前記ブロックマッチング装置に
て前記入力画像と前記参照画像との間での動きベクトル
を検出することを特徴とする動きベクトル検出装置、を
提供するものである。
【００２１】
【発明の実施の形態】本発明は、階層動きベクトル検出
において、低階層の動きベクトルを求める際に、まずサ
ブサンプルされた入力画像と参照画像との間で画像間の
差分絶対値を求める。前記差分絶対値を閾値αにより、
動領域と静止領域とに分割する。入力画像の空間方向に
動領域を検索し、適応的に動領域で構成されている2次
元ブロックを生成する。生成されたブロックの位置に対
応した入力サブサンプル画像と参照サブサンプル画像と
の間で、低階層の動きベクトルを検出する。
において、低階層の動きベクトルを求める際に、まずサ
ブサンプルされた入力画像と参照画像との間で画像間の
差分絶対値を求める。前記差分絶対値を閾値αにより、
動領域と静止領域とに分割する。入力画像の空間方向に
動領域を検索し、適応的に動領域で構成されている2次
元ブロックを生成する。生成されたブロックの位置に対
応した入力サブサンプル画像と参照サブサンプル画像と
の間で、低階層の動きベクトルを検出する。
【００２２】原画像レベルでの動きベクトル検出では、
求めるブロックの中にサブサンプルデータにおける動領
域が存在している場合には、対応する低階層動きベクト
ルを基準として動きベクトルのサーチを行ない、存在し
ない場合には、０ベクトルを基準にサーチを行う。
求めるブロックの中にサブサンプルデータにおける動領
域が存在している場合には、対応する低階層動きベクト
ルを基準として動きベクトルのサーチを行ない、存在し
ない場合には、０ベクトルを基準にサーチを行う。
【００２３】こうして、本発明の装置では、低階層デー
タにおいて、明らかに動いていると判断できる場合にの
み、低階層での動きベクトル検出を有効にすると共に、
低階層での2次元ブロックを動領域にあわせて適応的に
構成することにより、動領域での低階層動きベクトルの
精度が向上する。
タにおいて、明らかに動いていると判断できる場合にの
み、低階層での動きベクトル検出を有効にすると共に、
低階層での2次元ブロックを動領域にあわせて適応的に
構成することにより、動領域での低階層動きベクトルの
精度が向上する。
【００２４】本発明の動きベクトル検出装置の一実施例
を図１を用いて説明する。入力画像と参照画像とはそれ
ぞれサブサンプル回路により、１／ｎサブサンプルさ
れ、入力サブサンプル画像メモリ、参照サブサンプル画
像メモリに記録される。
を図１を用いて説明する。入力画像と参照画像とはそれ
ぞれサブサンプル回路により、１／ｎサブサンプルさ
れ、入力サブサンプル画像メモリ、参照サブサンプル画
像メモリに記録される。
【００２５】動領域検出回路は、入力サブサンプル画像
メモリ及び参照サブサンプル画像メモリから、入力サブ
サンプル画像（低階層入力画像）及び参照サブサンプル
画像（低階層参照画像）が供給され、空間的（水平・垂
直の位置）に同位置に存在する、入力サブサンプル画像
及び参照サブサンプル画像の各画素間の差分絶対値を求
める。そして、動領域検出回路は、求めた差分絶対値が
閾値αよりも大きい場合を動領域の画素と判定して判定
値１を、閾値αよりも小さい場合を静止領域の画素と判
定して判定値０を、それぞれ画像の空間位置に対応した
形で、静動判定メモリに記録する。
メモリ及び参照サブサンプル画像メモリから、入力サブ
サンプル画像（低階層入力画像）及び参照サブサンプル
画像（低階層参照画像）が供給され、空間的（水平・垂
直の位置）に同位置に存在する、入力サブサンプル画像
及び参照サブサンプル画像の各画素間の差分絶対値を求
める。そして、動領域検出回路は、求めた差分絶対値が
閾値αよりも大きい場合を動領域の画素と判定して判定
値１を、閾値αよりも小さい場合を静止領域の画素と判
定して判定値０を、それぞれ画像の空間位置に対応した
形で、静動判定メモリに記録する。
【００２６】適応ブロック切り出し回路では、静動判定
メモリから供給される判定値に基づいて動領域の画素
（静動判定メモリからの判定値が１である画素）をサー
チし、その画素を基準とした２次元ブロック（動領域の
画素を１画素以上含む２次元ブロック）を入力サブサン
プル画像メモリ及び参照サブサンプル画像メモリから切
り出し、その２次元ブロックのアドレスを検出する。例
えば、垂直方向のブロック切り出しを８画素固定にした
場合には、垂直方向に連続する８画素のデータを比較
し、動領域の画素が存在した場所から、水平・垂直方向
に８×８画素のブロックを切り出すことにより、動領域
が含まれるブロックを適応的に構成できる。
メモリから供給される判定値に基づいて動領域の画素
（静動判定メモリからの判定値が１である画素）をサー
チし、その画素を基準とした２次元ブロック（動領域の
画素を１画素以上含む２次元ブロック）を入力サブサン
プル画像メモリ及び参照サブサンプル画像メモリから切
り出し、その２次元ブロックのアドレスを検出する。例
えば、垂直方向のブロック切り出しを８画素固定にした
場合には、垂直方向に連続する８画素のデータを比較
し、動領域の画素が存在した場所から、水平・垂直方向
に８×８画素のブロックを切り出すことにより、動領域
が含まれるブロックを適応的に構成できる。
【００２７】適応ブロック切り出し回路は、入力サブサ
ンプルブロックとそれに対応した参照サブサンプルブロ
ックとを探索範囲に渡って切り出すと共に、切り出した
ブロックの位置情報（アドレス情報）をブロック位置レ
ジスタに記憶する。
ンプルブロックとそれに対応した参照サブサンプルブロ
ックとを探索範囲に渡って切り出すと共に、切り出した
ブロックの位置情報（アドレス情報）をブロック位置レ
ジスタに記憶する。
【００２８】ブロックマッチング回路では、適応ブロッ
ク切り出し回路からセレクタを介して供給される入力サ
ブサンプルブロックとそれに対応した参照サブサンプル
ブロックとに対して、全探索検出と同様のパターンマッ
チング処理が行われ、求められた動きベクトルは、低階
層動きベクトルとして仮動きベクトルバッファを介して
基準ベクトル判定回路に入力される。
ク切り出し回路からセレクタを介して供給される入力サ
ブサンプルブロックとそれに対応した参照サブサンプル
ブロックとに対して、全探索検出と同様のパターンマッ
チング処理が行われ、求められた動きベクトルは、低階
層動きベクトルとして仮動きベクトルバッファを介して
基準ベクトル判定回路に入力される。
【００２９】基準ベクトル判定回路では、上記した低階
層動きベクトルとブロック位置情報とが入力され、原画
像での動きベクトル検出の基準動きベクトルが計算され
る。原画像の固定的に設定された各ブロック（１６×１
６画素）に対し、低階層動きベクトルを求めたブロック
が存在していない場合には（動領域検出回路で動領域の
画素と判定された画素が存在しない場合には）、０ベク
トルを基準動きベクトルとする。ブロックが存在してい
る場合には（動領域検出回路で動領域の画素と判定され
た画素が存在している場合には）、関連する低階層動き
ベクトルをｎ倍した基準動きベクトルとその基準動きベ
クトルの個数を出力する。低階層での動きベクトルの検
出ブロックは、適応的に構成されている。そのため、ブ
ロックによっては複数の低階層動きベクトルが存在する
場合がある。その場合には、まず同一の値を持った低階
層動きベクトルを統合し、残りの全て低階層動きのベク
トルと共に基準ベクトルとし、ブロック内の基準動きベ
クトルの総数も出力する。
層動きベクトルとブロック位置情報とが入力され、原画
像での動きベクトル検出の基準動きベクトルが計算され
る。原画像の固定的に設定された各ブロック（１６×１
６画素）に対し、低階層動きベクトルを求めたブロック
が存在していない場合には（動領域検出回路で動領域の
画素と判定された画素が存在しない場合には）、０ベク
トルを基準動きベクトルとする。ブロックが存在してい
る場合には（動領域検出回路で動領域の画素と判定され
た画素が存在している場合には）、関連する低階層動き
ベクトルをｎ倍した基準動きベクトルとその基準動きベ
クトルの個数を出力する。低階層での動きベクトルの検
出ブロックは、適応的に構成されている。そのため、ブ
ロックによっては複数の低階層動きベクトルが存在する
場合がある。その場合には、まず同一の値を持った低階
層動きベクトルを統合し、残りの全て低階層動きのベク
トルと共に基準ベクトルとし、ブロック内の基準動きベ
クトルの総数も出力する。
【００３０】シーケンサ回路では、基準動きベクトルの
総数に応じて、１つの基準動きベクトルに対する探索範
囲を変化させ、演算量の増加を防ぐ。
総数に応じて、１つの基準動きベクトルに対する探索範
囲を変化させ、演算量の増加を防ぐ。
【００３１】シーケンサ回路からのコントロール信号を
基に、ブロック切り出し回路が全ての基準ベクトルの周
辺ベクトルに対する原画像データである参照ブロックを
参照画像メモリから切り出し、入力画像メモリから切り
出した原画像データである入力ブロックとの間で、ブロ
ックマッチング回路により、従来と同様にして誤差評価
値が最小となる動きベクトルを検出動きベクトルとして
出力する。（最小誤差レジスタ及び動きベクトルレジス
タは、図２に示す装置と同様の動作を行う。）
基に、ブロック切り出し回路が全ての基準ベクトルの周
辺ベクトルに対する原画像データである参照ブロックを
参照画像メモリから切り出し、入力画像メモリから切り
出した原画像データである入力ブロックとの間で、ブロ
ックマッチング回路により、従来と同様にして誤差評価
値が最小となる動きベクトルを検出動きベクトルとして
出力する。（最小誤差レジスタ及び動きベクトルレジス
タは、図２に示す装置と同様の動作を行う。）
【００３２】シーケンサ回路は、ブロック切り出し回
路、セレクタ、及び適応ブロック切り出し回路を制御し
ている。
路、セレクタ、及び適応ブロック切り出し回路を制御し
ている。
【００３３】このように、本実施例は、階層動きベクト
ル検出時の低階層データにおいて、明らかに動いている
と判断できる場合にのみ、低階層での動きベクトル検出
を有効にすると共に、低階層での２次元ブロックを動領
域に合わせて適応的に構成するため、動領域での低階層
動きベクトルの精度が向上する。また、無駄に検索して
いた低階層で検出不可能な画像のエリアに対しては、低
階層での動きベクトル検出が行われなかった分、原画像
での探索範囲を広げることにより、検出精度を向上でき
る。よって、本実施例は、動きベクトル検出の演算量を
削減しつつ、精度の高い動きベクトル検出装置が構成で
きる。
ル検出時の低階層データにおいて、明らかに動いている
と判断できる場合にのみ、低階層での動きベクトル検出
を有効にすると共に、低階層での２次元ブロックを動領
域に合わせて適応的に構成するため、動領域での低階層
動きベクトルの精度が向上する。また、無駄に検索して
いた低階層で検出不可能な画像のエリアに対しては、低
階層での動きベクトル検出が行われなかった分、原画像
での探索範囲を広げることにより、検出精度を向上でき
る。よって、本実施例は、動きベクトル検出の演算量を
削減しつつ、精度の高い動きベクトル検出装置が構成で
きる。
【００３４】なお、原画像での動きベクトル検出で変化
させる探索範囲は、低階層での動きベクトル検出に要し
た演算量を計測しておき、残り許容演算量と基準動きベ
クトルの個数により変化させることも可能であり、更に
実時間処理の可能な演算量に合わせて検出処理を最大限
に行なうことができる。
させる探索範囲は、低階層での動きベクトル検出に要し
た演算量を計測しておき、残り許容演算量と基準動きベ
クトルの個数により変化させることも可能であり、更に
実時間処理の可能な演算量に合わせて検出処理を最大限
に行なうことができる。
【００３５】また、静動判定メモリで動領域と判断され
ている画素を含むブロックであって、そのブロック領域
の中の一部分が静動判定メモリで静止領域と判断されて
いるブロックの場合には、０ベクトルをさらに基準動き
ベクトルに加えることで、より一層ベクトルの検出精度
を向上させることができる。
ている画素を含むブロックであって、そのブロック領域
の中の一部分が静動判定メモリで静止領域と判断されて
いるブロックの場合には、０ベクトルをさらに基準動き
ベクトルに加えることで、より一層ベクトルの検出精度
を向上させることができる。
【００３６】上記実施例においては、低階層での動きベ
クトル検出のブロックサイズは８×８で固定としたが、
動領域の連続する画素数が水平方向もしくは垂直方向で
８画素未満の場合に、動領域の途切れたポイントでブロ
ックを閉じ、そのブロックサイズに合わせて参照ブロッ
クから切り出すことにより、１つの動いている物体をブ
ロックとして切り出すことが可能となり、簡易的に領域
分割での動きベクトル検出を行なうことができる。
クトル検出のブロックサイズは８×８で固定としたが、
動領域の連続する画素数が水平方向もしくは垂直方向で
８画素未満の場合に、動領域の途切れたポイントでブロ
ックを閉じ、そのブロックサイズに合わせて参照ブロッ
クから切り出すことにより、１つの動いている物体をブ
ロックとして切り出すことが可能となり、簡易的に領域
分割での動きベクトル検出を行なうことができる。
【００３７】また、適応ブロック切り出し回路は、水平
方向のブロックサイズを固定とし、垂直方向に可変ブロ
ックサイズで切り出した水平基準ブロックと、垂直方向
のブロックサイズを固定とし、水平方向に可変ブロック
サイズで切り出した垂直基準ブロックの２つを生成し、
ブロックマッチング回路は、２つのブロックを基準とし
たサブサンプル画像での動きベクトルを検出し、基準ベ
クトル判定回路では該当するブロックにおいては２つの
サブサンプル動きベクトルを基準動きベクトルとして出
力するようにしてもよい。
方向のブロックサイズを固定とし、垂直方向に可変ブロ
ックサイズで切り出した水平基準ブロックと、垂直方向
のブロックサイズを固定とし、水平方向に可変ブロック
サイズで切り出した垂直基準ブロックの２つを生成し、
ブロックマッチング回路は、２つのブロックを基準とし
たサブサンプル画像での動きベクトルを検出し、基準ベ
クトル判定回路では該当するブロックにおいては２つの
サブサンプル動きベクトルを基準動きベクトルとして出
力するようにしてもよい。
【００３８】
【発明の効果】以上の通り、本発明の動きベクトル検出
装置は、動きベクトル検出の演算量を削減しつつ、従来
の階層動きベクトル検出よりも精度の高い動きベクトル
検出を行うことができる。
装置は、動きベクトル検出の演算量を削減しつつ、従来
の階層動きベクトル検出よりも精度の高い動きベクトル
検出を行うことができる。
【図１】本発明の動きベクトル検出装置の一実施例を示
す構成図である。
す構成図である。
【図２】従来の全探索動きベクトル検出装置を示す構成
図である。
図である。
【図３】従来の階層動きベクトル検出装置を示す構成図
である。
である。
Claims (1)
- 【請求項１】入力画像及び参照画像をサブサンプルして
形成した低階層入力画像及び低階層参照画像を用いて、
ブロックマッチング法により検出した低階層動きベクト
ルに基づき、原画像である前記入力画像と前記参照画像
との間での動きベクトルをブロックマッチング法により
検出する動きベクトル検出装置において、 前記低階層入力画像及び前記低階層参照画像が供給さ
れ、前記両画像を比較して前記低階層入力画像を動領域
と静止領域とに判別する静動検出回路と、 前記静動検出回路からの判別信号に応じて、前記低階層
入力画像の空間方向に前記動領域を検索し、適応的に前
記動領域を含む２次元ブロックのアドレスを生成し、生
成されたアドレスの位置に対応した低階層入力画像ブロ
ック及び低階層参照画像ブロックを前記低階層入力画像
及び前記低階層参照画像から抽出する適応ブロック切り
出し回路と、 前記適応ブロック切り出し回路により抽出された前記低
階層入力画像ブロック及び前記低階層参照画像ブロック
を用いて低階層動きベクトルを検出するブロックマッチ
ング装置と、 原画像である前記入力画像と前記参照画像との間での動
きベクトル検出のために前記入力画像に対して設定され
る２次元ブロックの中に、前記静動検出回路により検出
された前記動領域が存在する場合には、その動領域に対
応する前記低階層動きベクトルを所定倍した動きベクト
ルを基準動きベクトルとして出力すると共に、前記動領
域が存在しない場合には０ベクトルを基準動きベクトル
として出力する基準ベクトル判定回路とを設け、 前記基準動きベクトルの周辺を前記入力画像及び前記参
照画像を用いて探索し、前記ブロックマッチング装置に
て前記入力画像と前記参照画像との間での動きベクトル
を検出することを特徴とする動きベクトル検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP34965998A JP2000175202A (ja) | 1998-12-09 | 1998-12-09 | 動きベクトル検出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP34965998A JP2000175202A (ja) | 1998-12-09 | 1998-12-09 | 動きベクトル検出装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2000175202A true JP2000175202A (ja) | 2000-06-23 |
Family
ID=18405237
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP34965998A Pending JP2000175202A (ja) | 1998-12-09 | 1998-12-09 | 動きベクトル検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2000175202A (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002335530A (ja) * | 2001-05-10 | 2002-11-22 | Sony Corp | 動画像符号化装置、動画像符号化方法、動画像符号化プログラム格納媒体及び動画像符号化プログラム |
| JP2009089332A (ja) * | 2007-10-03 | 2009-04-23 | Sony Corp | 動き予測方法及び動き予測装置 |
| JP2010258767A (ja) * | 2009-04-24 | 2010-11-11 | Sony Corp | 画像処理方法及びそれを用いた画像情報符号化装置 |
| US8184703B2 (en) | 2006-11-30 | 2012-05-22 | Kabushiki Kaisha Toshiba | Interpolated frame generating method and interpolated frame generating apparatus |
| JP2015154415A (ja) * | 2014-02-18 | 2015-08-24 | 富士通株式会社 | 動画符号化装置、動画符号化方法及び動画符号化プログラム |
| CN106878756A (zh) * | 2017-03-08 | 2017-06-20 | 苏州达尔普工业控制有限公司 | 机器人运动估计和补偿算法 |
-
1998
- 1998-12-09 JP JP34965998A patent/JP2000175202A/ja active Pending
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002335530A (ja) * | 2001-05-10 | 2002-11-22 | Sony Corp | 動画像符号化装置、動画像符号化方法、動画像符号化プログラム格納媒体及び動画像符号化プログラム |
| US8184703B2 (en) | 2006-11-30 | 2012-05-22 | Kabushiki Kaisha Toshiba | Interpolated frame generating method and interpolated frame generating apparatus |
| JP2009089332A (ja) * | 2007-10-03 | 2009-04-23 | Sony Corp | 動き予測方法及び動き予測装置 |
| JP2010258767A (ja) * | 2009-04-24 | 2010-11-11 | Sony Corp | 画像処理方法及びそれを用いた画像情報符号化装置 |
| US8565312B2 (en) | 2009-04-24 | 2013-10-22 | Sony Corporation | Image processing method and image information coding apparatus using the same |
| JP2015154415A (ja) * | 2014-02-18 | 2015-08-24 | 富士通株式会社 | 動画符号化装置、動画符号化方法及び動画符号化プログラム |
| CN106878756A (zh) * | 2017-03-08 | 2017-06-20 | 苏州达尔普工业控制有限公司 | 机器人运动估计和补偿算法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5103305A (en) | Moving object detecting system | |
| KR100905880B1 (ko) | 움직임 추정 방법 및 장치와, 인코딩 방법 및 인코더 | |
| US8625673B2 (en) | Method and apparatus for determining motion between video images | |
| KR100840133B1 (ko) | Ｍｃ 업 컨버젼에서 헤일로를 감소시키는 움직임 추정기 | |
| US7933331B2 (en) | High quality, low memory bandwidth motion estimation processor | |
| US6380986B1 (en) | Motion vector search method and apparatus | |
| EP0720382B1 (en) | Variable size block matching motion estimation apparatus | |
| US5710829A (en) | System and method for focused-based image segmentation for video signals | |
| US6985527B2 (en) | Local constraints for motion matching | |
| EP0609022A2 (en) | Image encoding apparatus | |
| US5502492A (en) | Motion vector detection apparatus | |
| US20050180506A1 (en) | Unit for and method of estimating a current motion vector | |
| US6310920B1 (en) | Moving picture encoding apparatus | |
| CN100584009C (zh) | 确定图像序列中背景的运动的方法和设备 | |
| JP2000175202A (ja) | 動きベクトル検出装置 | |
| US7852939B2 (en) | Motion vector detection method and device of the same | |
| US6754278B1 (en) | Method for recovering moving picture by extending a damaged region in which an error occurs | |
| EP0592128B1 (en) | Motion vector detection and prediction | |
| JP3175914B2 (ja) | 画像符号化方法および画像符号化装置 | |
| JP2001250118A (ja) | 動画像内の移動物体検出追跡装置 | |
| JPH05236452A (ja) | 動ベクトル検出方法及び検出装置 | |
| JP3237815B2 (ja) | 動きベクトル探索方法および装置 | |
| Fan et al. | Spatiotemporal segmentation based on two-dimensional spatiotemporal entropic thresholding | |
| JP2861971B2 (ja) | 動ベクトル予測装置 | |
| JP2934156B2 (ja) | 階層型動き検出方法と装置 |