JP2001061151A - 動きベクトル検出方法及び記録媒体 - Google Patents

動きベクトル検出方法及び記録媒体

Info

Publication number
JP2001061151A
JP2001061151A JP23265699A JP23265699A JP2001061151A JP 2001061151 A JP2001061151 A JP 2001061151A JP 23265699 A JP23265699 A JP 23265699A JP 23265699 A JP23265699 A JP 23265699A JP 2001061151 A JP2001061151 A JP 2001061151A
Authority
JP
Japan
Prior art keywords
motion vector
block
pixels
pixel
search range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP23265699A
Other languages
English (en)
Other versions
JP4075238B2 (ja
Inventor
Hiroaki Dosono
博明 堂園
Hiroshi Uesugi
浩 上杉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP23265699A priority Critical patent/JP4075238B2/ja
Publication of JP2001061151A publication Critical patent/JP2001061151A/ja
Application granted granted Critical
Publication of JP4075238B2 publication Critical patent/JP4075238B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Color Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】動きベクトルの検出精度を向上させるととも
に、動きベクトルを検出するための演算量を削減する。 【解決手段】1ライン目の画素値を大小比較し、画素値
の大きいものから順に2画素選択し、5ライン目の画素
値を大小比較し、画素値の小さいものから順に2画素選
択する。このサンプリング手法にて選択された画素は、
(c)に示すように、1ライン目においては3番目の画
素(画素値:255)と4番目の画素(画素値:23
1)となり、5ライン目においては7番目の画素(画素
値:224)と8番目の画素(画素値:207)とな
る。(b)に示す従来のサンプリング手法では固定的に
各ラインの1番目と5番目の画素を選択するため、
(b)と(c)の画素ブロックのマッチング度合いが高
いと誤判断してしまうが、(c)の手法であれば、ブロ
ックの画像的特徴点を反映したサンプリングがなされて
いる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、例えば動画像符号
化における動き補償予測などに用いられる動きベクトル
を検出する方法に関するものである。
【0002】
【従来の技術】動きベクトルは、動画像のある時間にお
ける画像において、隣接する複数の画素で構成される画
素ブロックが、異なる時間の画像中のどの位置と一番似
ているかを示すベクトルである。この動きベクトルを検
出する手法として、例えば文献「ディジタル画像圧縮の
基礎」(安田浩、渡辺裕 著、日経BP出版センター、
1997)p.47記載のブロックマッチング法があ
る。
【0003】図11は、従来の動きベクトル検出方法を
説明する図である。図11(a)においては、ベクトル
検出の対象となるテンプレートブロックをTB1、探索
範囲をSB1と表している。また、探索範囲SB1の画
素を(○)、テンプレートブロックTB1の画素を
(△)で示している。図11(a)中では、探索範囲S
B1にテンプレートブロックTB1を重ねて示している
ため、テンプレートブロックTB1が重なっている部分
の探索範囲SB1の画素(○)は省略されている。ま
た、図1中では、テンプレートブロックTB1は8画素
×8ラインとなっているが、このブロックの大きさはこ
の大きさ以外であっても良い。
【0004】動きベクトルの検出は、ある時間の画像ブ
ロックが異なる時間の画像中のどこに移動したか(又
は、どこから移動したか)を探索するものである。つま
り探索範囲SB1は上記異なる時間の画素ブロックであ
り、テンプレートブロックTB1は上記ある時間の画像
中から切り出された画素ブロックである。したがって、
テンプレートブロックTB1が探索範囲SB1中のどの
部分から移動したものかを探索することで動きベクトル
を検出する。
【0005】この動きベクトルを検出する方法として、
従来、上記ブロックマッチング法による全探索法が知ら
れている。この方法では、まずある時間の画像中から切
り出されたテンプレートブロックTB1中の各画素値
と、異なる時間の画像の探索範囲SB1中から取り出し
た評価ブロックSBM1の各画素値の違いを、各画素ご
とに差分絶対値あるいは差分自乗値などで算出し、これ
らの値の総和を求め評価値とする。次に評価ブロックS
BM1を探索範囲内で左右あるいは上下に1画素移動
し、この移動後の画像ブロックSBM1の各画素値と、
テンプレートブロックTB1の各画素値との違いを、上
記と同様に算出し、評価値を求める。
【0006】このように評価ブロックSBM1を1画素
分左右・上下に移動しながら、それぞれの評価値を算出
していく。そして上記評価値が最小となる評価ブロック
SBM1から、テンプレートブロックTB1が移動して
きたと判断する。図11(a)の例では、探索範囲SB
1が16画素×16ラインで構成されており、テンプレ
ートブロックTB1が水平・垂直方向にそれぞれ9回移
動するため、評価ブロックSBM1は9×9=81組存
在する。また図11(a)中では、動きベクトルの検出
範囲を水平・垂直方向ともに±4とし、例えば図11
(a)中の評価ブロックSBM1における評価値が最小
だった場合には、動きベクトルは(3,3)となる。
【0007】上記従来の全探索法においては、全探索領
域を評価するためには、テンプレートブロックTB1と
比較する評価ブロックが81組存在し、各評価値を算出
するためには、評価ブロックに8×8=64画素あるの
で、81×64=5184回の差分絶対値あるいは差分
自乗値を算出する必要があり、演算量が多いという問題
がある。
【0008】一方、上記演算量を削減するための手法と
して、以下に示す2ステップ探索法が知られている。す
なわち、第1ステップでは、複数の画素から1つの画素
を選択するサンプリングを行って縮小画像を作成し、こ
の縮小画像上で動きベクトルを評価する。そして、次の
第2ステップでは、第1ステップで求められた初期変位
の周囲を、サンプリング前の画像上で、相対的に狭い探
索範囲で評価するものである。
【0009】図11(b)は、この第1ステップにおい
て、4画素×4ラインから1画素をサンプリングすると
きに選択される画素を示したものであり、探索範囲内の
画素のサンプリング点を(●)で示し、テンプレートブ
ロック中の画素のサンプリング点を(▲)で示してい
る。これにより、図11(b)に示す例においては、テ
ンプレートブロックTB2と比較して評価値を求めるべ
き評価ブロックは3×3=9組であり、各評価値を算出
するためには、各ブロックに2×2=4画素あるので、
9×4=36回の差分絶対値あるいは差分自乗値を算出
することとなる。さらに第2ステップとして、上記初期
変位の周りを例えば±2の範囲で探索する場合、テンプ
レートブロックTB2と比較して評価値を求めるべき評
価ブロックは5×5=25組あり、各評価値を算出する
ために8×8=64画素あるので、25×64=153
6回の差分絶対値あるいは差分自乗値を算出することと
なる。したがって、演算量の合計は36+1536=1
572回であり、上記全探索法に比較すれば演算量は大
幅に削減される。つまり、全探索法によれば演算量が多
いため、ハードウェアの回路規模が大きくなってしまう
が、この2ステップ探索法によればその問題を解決でき
るのである。
【0010】
【発明が解決しようとする課題】しかしながら、2ステ
ップ探索法によれば、次のような問題がある。すなわ
ち、演算量の削減のために、第1ステップにおいて画素
のサンプリングを行っているため、この初期変位を求め
る段階で探索点の選択を誤ると、以降の段階で検出され
る動きベクトルが上記全探索法で検出される動きベクト
ルとは異なったものとなり、符号化効率が低下してしま
う。ここで、探索点の選択を誤った具体例を図12を例
にとって説明する。
【0011】図12において枠内の値は画素値を示して
おり、4画素×4ラインから1画素をサンプリングした
場合、斜線を施した枠内の値を選択する。この場合は、
4画素×4ラインからなる領域中の「左上隅の画素」を
固定的に選択している。この図12(a)及び(b)の
表す画像は、実際は全く異なる画像であるが、サンプリ
ング点で構成される縮小画像は同じものとなっている。
したがって、このようなサンプリング点の選択方法で
は、初期変位を正確に求めることができなくなってしま
う。これは、動きベクトルを適切に求めるという観点か
ら好ましくない。
【0012】本発明はこのような事情に鑑みてなされた
ものであり、動きベクトルの検出精度を向上させるとと
もに、動きベクトルを検出するための演算量を削減する
ことができ、ハードウェアの回路規模を削減することの
できる動きベクトル検出方法を提供することを目的とし
ている。
【0013】
【課題を解決するための手段、及び発明の効果】上記目
的を達成するためになされた本発明の動きベクトル検出
方法は、ある時間の入力画像中における矩形形状のテン
プレートブロックがそれ以前の入力画像である参照画像
中の所定の探索範囲内のどのブロックから移動したかを
示す動きベクトルを、テンプレートブロックと探索範囲
内から取り出した矩形形状の評価ブロックとのマッチン
グ度合いに基づいて検出することを前提とする。そし
て、テンプレートブロック及び評価ブロックの画素中よ
りサンプリングした画素の値を用いて動きベクトルの検
出を行う。このように、テンプレートブロックと評価ブ
ロックとのブロックマッチングを、各ブロックの全ての
画素ではなく、サンプリングした画素同士で行うため、
演算量が低減される。
【0014】しかし、サンプリング手法が従来のように
固定位置にて行われると、図12を参照して説明したよ
うに、実際は全く異なる画像であっても同じ画像である
と判断してしまう場合も生じる。これは、固定的なサン
プリング手法では、テンプレートブロック及び評価ブロ
ックの特徴を反映した画素が選択されない可能性が高い
ことに起因している。
【0015】そこで、ブロックの特徴を反映した画素を
選択できるようなサンプリング点設定処理を行うように
したのである。この「ブロックの特徴を反映した画素を
選択できるようなサンプリング点設定処理」について
は、いくつかの観点に基づいているので、適宜分類して
説明する。
【0016】(1)画素値の大小比較 請求項1の動きベクトル検出方法におけるサンプリング
点設定処理では、ブロックの縦横いずれかの方向の所定
数のラインについて、当該ライン上に存在する全画素中
から、画素値の大きい順または小さい順にライン上の全
画素数よりも少ない数だけ選択してサンプリング点を設
定する。このようなサンプリングをすれば、画素値の最
大値あるいは最小値などの「画素値の大小度合い」を考
慮したサンプリングとなり、ブロックの特徴点を反映し
ていると言えるため、動きベクトルの検出精度が向上す
る。すなわち、動きベクトルの検出精度を向上させると
ともに、動きベクトルを検出するための演算量を削減す
ることができる。したがって、ハードウェアの回路規模
も削減できる。
【0017】なお、「所定数のライン」については、ブ
ロックを構成する全ラインでもよいし1ラインでもよ
い。また、画素値の大きい順または小さい順にライン上
の全画素数よりも少ない数だけ選択するのであるから、
これは最低1個でもよい。そして、ライン数が少ないほ
ど、あるいは1ライン上から選択する画素数が少ないほ
ど演算量は低減できる。しかし、逆に選択画素数が少な
いほどブロックの特徴を反映した画素が選択されなくな
る可能性も高くなるので、これらについては両者のバラ
ンスを考慮して設定することが望ましい。
【0018】上述したサンプリング点設定処理について
は、次のようなバリエーションが考えられる。例えば請
求項2に示すように、ライン数が複数である場合には、
画素値の大きい順に選択してサンプリング点を設定する
処理と、画素値の小さい順に選択してサンプリング点を
設定する処理とをラインに応じて変えて行う。
【0019】このようにすれば、ブロック中の画素値の
「大小差」も判る。つまり、画素値の大きいものあるい
は小さいものだけを選択すると、例えばブロック中にお
ける画素値の大小差が大きいものと、画素値の大小差が
小さいものとの区別が付け難くなるが、画素値の大小差
も反映させれば、それらの区別は容易に付くからであ
る。したがって、上述した「大小度合い」に加えて、よ
りブロックの特徴点がサンプリングされるようになる。
【0020】さらに、請求項3に示すように、所定数の
ライン群中における隣接ライン間で、画素値の大きい順
に選択してサンプリング点を設定する処理と、画素値の
小さい順に選択してサンプリング点を設定する処理とを
交互に変えてもよい。これは、例えばブロック内の画素
値の分布が均一であれば、画素値の大きいものを選択す
るラインと小さいものを選択するラインをどのようにと
っても問題ないが、実際には画素値の分布は偏りがある
ため、サンプリングした画素がブロック内の画素値の大
小差が適切に反映していないことが想定されることを考
慮したものである。つまり、隣接ライン間で画素値の大
きい順・小さい順での選択を交互に行えば、画素値の分
布に偏りがあった場合でも、極力画素値の大小差を反映
したサンプリングが実現できるされるため、より画像の
特徴点がサンプリングされるようになる。
【0021】(2)画素値の差分値比較 請求項4の動きベクトル検出方法におけるサンプリング
点設定処理では、テンプレートブロック及び評価ブロッ
クの、縦横いずれかの方向の所定数のラインについて、
当該ライン上に存在する全画素中から、隣り合う画素間
における画素値の差分値が大きい画素の組合せ又は小さ
い画素の組み合わせを所定数選択してサンプリング点と
して設定する。上述した請求項2の場合には、ブロック
中の画素値の「大小差」も考慮することとなる。これは
いわばマクロ的な観点からの画素値の大小差であるが、
請求項4の場合には、ミクロ的な観点からの画素値の大
小差に着目している。
【0022】例えば、ブロック中の両端に存在する画素
同士に所定の画素値の差分があっても、それらの間の画
素値の変化は判らない。グラデーション的に明暗変化し
ているだけかもしれないし、急激な明暗変化がいくつも
存在しているかもしれない。つまり、それらの間の明暗
変化については判らない。それに対し、隣り合う画素間
における画素値の差に着目すると、例えば差分値の最も
大きな画素同士の組合せが選択されると、少なくとも同
一ライン上においては、その差分値を超えるような明暗
変化は他にはないことが判る。逆に、差分値の最も小さ
な画素同士の組合せが選択されると、少なくとも同一ラ
イン上においては、その差分値を下回るような明暗変化
は他にはないことが判る。例えばその最小の差分値がそ
れなりに大きければ、該当するライン全体として明暗変
化が激しいことが判る。このように、隣接画素間の画素
差分値が大きな画素をサンプリングすれば、ブロックの
特徴点を反映した画素を得ることができる。
【0023】なお、この場合の「所定数のライン」につ
いては、請求項1と同様に全ラインでもよいし1ライン
でもよい。また、選択画素数が少ないほど演算量は低減
できるが、逆に選択画素数が少ないほどブロックの特徴
を反映した画素が選択されなくなる可能性も高くなるた
め、これらについては両者のバランスを考慮して設定す
ることが望ましい点についても同様である。
【0024】そして、この場合のサンプリング点設定処
理についても、請求項1に対する請求項2,3の関係と
同様に、次のようなバリエーションが考えられる。例え
ば請求項5に示すように、ライン数が複数である場合に
は、画素値の差分値が大きい画素の組合せを選択してサ
ンプリング点を設定する処理と、画素値の差分値が小さ
い画素の組合せを選択してサンプリング点を設定する処
理とをラインに応じて変えて行う。差分値が大きい画素
の組合せ・差分値が小さい画素の組合せを混在させるこ
とで、より画像の特徴点がサンプリングされるようにな
る。さらに、請求項6に示すように、所定数のライン群
中における隣接ライン間で、画素値の差分値が大きい画
素の組合せを選択してサンプリング点を設定する処理
と、画素値の差分値が小さい画素の組合せを選択してサ
ンプリング点を設定する処理とを交互に変えてもよい。
【0025】(3)分割+大小比較 請求項7の動きベクトル検出方法におけるサンプリング
点設定処理では、テンプレートブロック及び評価ブロッ
クの、縦横いずれかの方向の所定数のラインについて、
まず当該ライン上に存在する全画素を所定数の範囲に分
割する。その後、各分割範囲について、当該ライン上に
存在する全画素中から、画素値の大きい順または小さい
順に分割範囲のライン上における全画素数よりも少なく
数だけ選択してサンプリング点を設定する。つまり、ま
ずブロックを分割し、その各分割範囲について、上述し
た請求項1におけるサンプリング点設定処理を実行する
のである。なお、各分割範囲について、上述した請求項
2又は3のサンプリング点設定処理を実行してもよい。
【0026】このように最初にブロックを分割しておく
ことで、ブロック全体から満遍なく特徴的な画素をサン
プリングし易くなる。分割範囲が小さくなるほどサンプ
リングした画素がブロックの特徴を反映している可能性
が高くなるが、逆にサンプリング数は多くなって演算量
が増加する。したがって、この場合も、ブロックの特徴
を反映した画素を選択できるというメリットと、演算量
の低減というメリットとの両者のバランスを考慮して設
定することが望ましい。
【0027】また、所定数の範囲に分割する場合の「所
定数」については、分割された範囲内に存在する画素が
2個以上あるようにするという観点から定まる。1画素
しかない範囲から1画素をサンプリングしても無意味だ
からである。 (4)分割+差分値比較 請求項8の動きベクトル検出方法におけるサンプリング
点設定処理では、テンプレートブロック及び評価ブロッ
クの、縦横いずれかの方向の所定数のラインについて、
まず当該ライン上に存在する全画素を所定数の範囲に分
割し、その後、各分割範囲について、当該ライン上に存
在する全画素中から、隣り合う画素間における画素値の
差分値が大きい画素の組合せ又は小さい画素値の組み合
わせを所定数選択してサンプリング点として設定する。
つまり、まずブロックを分割し、その各分割範囲につい
て、上述した請求項4におけるサンプリング点設定処理
を実行するのである。なお、各分割範囲について、上述
した請求項5又は6のサンプリング点設定処理を実行し
てもよい。
【0028】この場合も、請求項7の場合と同様に、最
初にブロックを分割しておくことで、ブロック全体から
満遍なく特徴的な画素をサンプリングし易くなるという
効果が得られる。以上説明した(1)〜(4)の観点
は、「ブロックの特徴を反映した画素を選択できるよう
なサンプリング点設定処理」についてのものであった
が、サンプリング点設定処理以外の工夫も施すことが考
えられる。それらについて説明する。
【0029】(5)両画像のサンプリング点のアドレス
を比較 請求項9の動きベクトル検出方法では、テンプレートブ
ロックに対して請求項1〜8のいずれか記載のサンプリ
ング点設定処理を実行して得たサンプリング点の画素の
アドレスと、評価ブロックに対して請求項1〜8のいず
れか記載のサンプリング点設定処理を実行して得たサン
プリング点の画素のアドレスとを比較し、その一致度合
いに基づいて動きベクトルを検出する。最終的に動きベ
クトルを検出できた場合の評価ブロックの画素値とテン
プレートブロックの画素値のマッチング度合いは高いの
で、両ブロックに同じサンプリング点設定処理を施せ
ば、サンプリングされる画素の位置が同じになる可能性
が高い。したがって、両ブロックのサンプリング点のア
ドレスの一致度合いに基づけば、動きベクトルを検出す
ることができる。そして、サンプリング点設定処理の段
階でブロックの特徴点を反映しているため動きベクトル
の検出精度が向上しており、且つ演算量を低減すること
も実現している。
【0030】(6)1の画像のサンプリング点の画素値
と別の画像における同じアドレスの画素値とを比較 請求項10の動きベクトル検出方法では、テンプレート
ブロックに対して請求項1〜8のいずれか記載のサンプ
リング点設定処理を実行して得たサンプリング点の画素
の値と、評価ブロック中における、テンプレートブロッ
クについてのサンプリング点と同じアドレスの画素の値
とを比較し、その画素値の一致度合いに基づいて動きベ
クトルを検出する。上述したように、最終的に動きベク
トルを検出できた場合の評価ブロックの画素値とテンプ
レートブロックの画素値のマッチング度合いは高い。し
たがって、評価ブロック中における、テンプレートブロ
ックについてのサンプリング点と同じアドレスの画素値
と、テンプレートブロックからサンプリングした画素値
とのマッチング度合いに基づけば、やはり、動きベクト
ルを検出できる。そして、動きベクトルの検出精度の向
上及び演算量の低減という効果も得られる。
【0031】ところで、従来技術として2ステップ探索
法を挙げた。この手法を実現するための装置は、第1検
出ステップである「サンプリング比Nに応じてN画素精
度の動きベクトルを検出する」処理を行うためのN画素
精度MV検出部と、第2検出ステップである「1画素精
度の動きベクトルを検出する」処理を行うための1画素
精度MV検出部によって構成される。そして、第1検出
ステップを担うN画素精度MV検出部においては、探索
範囲が拡大するにつれて演算量が大幅に増加していくと
いう問題がある。つまり、サンプリング比Nは固定であ
るため、探索範囲が縦横にそれぞれ2倍になれば、探索
範囲内で評価すべき評価ブロックが4倍になる。
【0032】そこで、請求項11に示す動きベクトル検
出方法では、テンプレートブロック及び評価ブロック中
より所定のサンプリング比Nでサンプリングした画素同
士に基づいて探索範囲内での初期変位を求めるN画素精
度の第1検出ステップと、その第1検出ステップにて求
められた初期変位周囲の所定範囲について評価ブロック
と前記テンプレートブロックとの全画素同士のマッチン
グ度合いを求める1画素精度の第2検出ステップと、を
順次実行する2ステップ探索法を行うことを前提とし、
第1検出ステップにおけるサンプリング比Nを及び第2
検出ステップにおける初期変位周囲の所定範囲を、探索
範囲のサイズに応じて変更可能とした。具体的には、探
索範囲が広ければサンプリング比Nを大きくして第1ス
テップにおけるサンプリング画素数を少なくし、逆に探
索範囲が狭ければサンプリング比Nを小さくしてサンプ
リングする画素数を多くする。これにより、サンプリン
グ比Nが固定の場合に探索範囲が拡大するにつれて演算
量が大幅に増加していくことを防止できる。一方、第2
検出ステップにおける初期変位周囲の所定範囲について
は、探索範囲が広ければそれに応じて広くし、探索範囲
が狭ければそれに応じて狭くする。
【0033】なお、請求項1〜8にて説明した動きベク
トル検出方法は、特にこの2ステップ探索法における第
1検出ステップでの探索に用いなくても効果を発揮する
が、請求項12に示すように、第1検出ステップにおけ
るサンプリングに際して、請求項1〜8のいずれかに記
載したサンプリング点設定処理を用いてもよい。このよ
うにすれば、演算量の増加防止という効果に加えて、上
述した動きベクトルの検出精度の向上という効果も享受
できる。
【0034】また、探索範囲について着目すれば、次の
ような工夫が考えられる。つまり、従来は、参照画像中
の探索範囲として、テンプレートブロックと同じ位置を
基準に左右上下に所定画素分の範囲を設定するのが一般
的であった。これは、動きベクトルの向きが判らないの
で、全方向、つまり左右上下に同じ画素数分の範囲を設
定することで、いずれの向きであっても動きベクトルを
適切に検出できるようにするためである。
【0035】しかしながら、車両に搭載された撮像装置
から入力した画像についての動きベクトルを検出するこ
とを考えた場合、次のような問題がある。例えば車両の
前方を撮像した画像で考えると、その画像中の風景は車
速によって移動する量が異なる。特に、直線走行してい
る場合には、車両の正面側、つまり画面中心付近の風景
の移動量は小さいが、車両の横側、つまり画面の左右両
端付近の風景の移動量は非常に大きくなる。また、カー
ブ走行している場合には、車両正面の風景であってもそ
の移動量は非常に大きくなる。
【0036】したがって、比較的狭い探索範囲を固定的
に設定していると十分な対応ができなくなり、動きベク
トルの適切な検出ができない。そうかといって、あらゆ
る場合において動きベクトルを高精度に検出しようとす
ると、探索範囲を広く設定しておく必要がある。しか
し、探索範囲を広く設定しておくと、常に広い探索範囲
についての探索が必要となるため、演算量が増大してし
まう。
【0037】そこで、請求項13の動きベクトル検出方
法は、車両の走行状態に応じて探索範囲を決定するよう
にした。車両の走行状態としては、請求項14に示すよ
うに、走行速度及び操舵状態の少なくともいずれか一方
であることが考えられる。もちろん、それら両者に基づ
けば、より好ましい。
【0038】また、この探索範囲の決定に関しては、請
求項15に示すように、車両の走行速度及び操舵状態に
応じて探索範囲の「位置」を決定することが考えられ
る。例えば、車両の走行状態に応じてテンプレートブロ
ックの概略的な移動元の位置を推定し、その推定位置の
周囲に探索範囲を設定するのである。このようにすれ
ば、その探索範囲内の評価ブロックとテンプレートブロ
ックとのブロックマッチングによって、適切に動きベク
トルを検出することができるようになる。つまり、動き
ベクトルの検出精度を向上させることができる。そし
て、広い探索範囲を固定的に設定しておく必要がないの
で、演算量の増加も防止できる。
【0039】また、請求項16に示すように、車両の走
行状態に応じて探索範囲の「サイズ」を決定してもよ
い。例えば、車両の走行状態から移動ベクトルが大きい
と推定されれば探索範囲を大きくするのである。上述し
た例でいえば、車両前方を撮像した画像中の中心付近の
風景の移動量は、直線走行していれば車速にあまり影響
されず小さい。したがって、探索範囲も小さくて良い。
これに対して、画面の左右両端付近の風景の移動量は車
速に応じて大きくなるため、車速が大きいほど探索範囲
も大きくするのである。また、左右いずれかにカーブ走
行していれば、この場合には画面全体の風景の移動量が
大きい。したがって、このように探索範囲のサイズを変
えれば、その探索範囲内の評価ブロックとテンプレート
ブロックとのブロックマッチングによって、適切に動き
ベクトルを検出することができるようになる。つまり、
動きベクトルの検出精度を向上させることができる。ま
た、常に広い探索範囲を設定しておくのではなく、必要
に応じて探索範囲を広げている。したがって、固定的に
広い探索範囲を設定しておく必要がないので、演算量の
増加も防止できる。
【0040】なお、請求項17に示すように、請求項1
3〜16のいずれか記載の動きベクトル検出方法におい
て、テンプレートブロックと決定された探索範囲内から
取り出した評価ブロックとに基づいて動きベクトルを検
出するに際して、請求項1〜12のいずれかに記載した
手法を用いることもできる。このようにすれば、動きベ
クトルの検出精度の向上に加えて、動きベクトルを検出
するための演算量を削減することができ、ハードウェア
の回路規模を削減することができる。
【0041】特に、請求項16に示すように探索範囲を
広げた場合には、サンプリング点のい設定処理を工夫す
ることがより好ましいと言える。また、請求項18に示
すように、請求項1〜17のいずれか記載の動きベクト
ル検出方法を実行する機能は、例えば、デジタル回路や
コンピュータシステム側で起動するプログラムとして備
えられる。プログラムで実現する場合、例えば、フロッ
ピーディスク、光磁気ディスク、CD−ROM、ハード
ディスク等の機械読み取り可能な記録媒体に記憶し、必
要に応じてコンピュータシステムにロードして起動する
ことにより用いることができる。この他、ROMやバッ
クアップRAMを機械読み取り可能な記録媒体として前
記プログラムを記憶しておき、このROMあるいはバッ
クアップRAMをコンピュータシステムに組み込んで用
いても良い。
【0042】なお、本発明の動きベクトル検出方法によ
って検出された動きベクトルは、例えば動画像符号化に
おける動き補償予測に用いられることが考えられるが、
それに限られるわけではない。例えば動画像中の異なる
動きを持つ物体の検出や、画像中の動きのある領域と静
止領域(例えば背景)とを分割する、といった目的のた
めに用いることもできる。
【0043】
【発明の実施の形態】以下、本発明が適用された実施例
について図面を用いて説明する。なお、本発明の実施の
形態は、下記の実施例に何ら限定されることなく、本発
明の技術的範囲に属する限り、種々の形態を採り得るこ
とは言うまでもない。
【0044】[第1実施例]図1は、第1実施例の動き
ベクトル検出装置の概略構成を示すブロック図であり、
サンプリング比をNとした場合の、N画素精度の動きベ
クトル(以下、動きベクトルを「MV」と略記すること
もある。)検出部11と、1画素精度のMV検出部12
とを備える。N画素精度MV検出部11には、入力画像
データ及び参照画像データが入力される。具体的には、
入力画像中の動きベクトルの移動後のブロックであるテ
ンプレートブロックTBと、そのテンプレートブロック
TBが移動してきた参照画像中の元のブロックを含む探
索範囲SBとが入力される。
【0045】そして、このN画素精度MV検出部11で
は、テンプレートブロックTB及び探索範囲SB中から
取り出した評価ブロック(図2中ではSBMと表してい
る)の両者について後述するサンプリングを行い、その
サンプリング点の画素同士のマッチング度合いを判定す
る。具体的には、画素値の違いを各画素ごとに差分絶対
値などで算出し、これらの値の総和を求め評価値とす
る。このブロックマッチングについては、図2に示すよ
うに、入力画像中のテンプレートブロックTBの位置に
対応する参照画像中の位置の評価ブロックSBMから開
始する。そして、続いて評価ブロックSBMを探索範囲
SB内で左右あるいは上下にN画素移動し、この移動後
の画像ブロックについてやはり同様のサンプリングを行
って得たサンプリング点の各画素値と、テンプレートブ
ロックTBの各画素値との違いを、上記と同様に算出し
て評価値を求める。このように評価ブロックをN画素分
左右・上下に所定回数、すなわち最初の評価ブロックの
位置から上下左右にS画素分の範囲(これが探索範囲S
B)を移動しながら、それぞれの評価値を算出してい
く。そして上記評価値が最小となる評価ブロックを、初
期変位MVSとして決定する。
【0046】一方、図1に示すN画素精度MV検出部1
1から1画素精度MV検出部12へは、テンプレートブ
ロックTB、探索範囲SBのデータに加えて、上述の初
期変位MVSのデータが出力される。そして、1画素精
度MV検出部12では、探索範囲SB中の初期変位MV
Sの周囲を評価していく。その評価手法は、初期変位M
VSの周囲を左右あるいは上下に1画素移動し、この移
動後の評価ブロックとテンプレートブロックTBの各画
素同士のマッチング度合いを判定する。つまり、1画素
単位で評価するのである。そして上記評価値が最小とな
る評価ブロックを、動きベクトルMV1として決定す
る。なお、初期変位MVSの周囲のどの程度の範囲を1
画素精度で評価するかは、予め設定されているが、相対
的には、N画素精度MV検出部11において探索する範
囲よりは小さく設定される。
【0047】これらの説明からも判るように、本実施例
の動きベクトル検出装置は、いわゆる2ステップ探索法
を実行して動きベクトルを求めるものであり、N画素精
度MV検出部11において第1検出ステップが実行さ
れ、1画素精度MV検出部12にて第2検出ステップが
実行される。なお、1画素精度MV検出部12から外部
へは、動きベクトルMV1と、その動きベクトルMV1
を決定した際の差分絶対値和が出力される。
【0048】ここまでで説明した概略構成は、従来から
存在する2ステップ探索法を用いた動きベクトルの検出
方法と同じであるが、本第1実施例では、N画素精度M
V検出部11において実行される第1検出ステップの内
容が従来と異なっている。具体的には、テンプレートブ
ロックTB及び探索範囲SB内の評価ブロックSBMを
構成する画素サンプリング点を設定する際に工夫を施し
ているので、次に、そのサンプリング点設定処理につい
て説明する。
【0049】図3には、第1実施例のサンプリング点設
定処理の具体例を示した。ここでは、サンプリング対象
のテンプレートブロックTB及び評価ブロックを、図3
(a)に示すように縦8画素×横8画素の画素ブロック
とする。そして、この画素ブロックから4画素を選択す
る場合、縦方向に8ラインある内から2ライン選択し、
その選択した各ライン中から2画素選択する。具体的に
は、1ライン目と5ライン目から選択する。そして、各
ライン中から2画素選択する際には、まず1ライン目を
構成する8画素の画素値を大小比較し、画素値の大きい
ものから順に2画素選択する。次に、5ライン目の画素
値を大小比較し、今度は画素値の小さいものから順に2
画素選択する。
【0050】このようなサンプリング手法にて選択され
た画素は、図3(c)に示すように、1ライン目におい
ては、(上から)3番目の画素(画素値:255)と4
番目の画素(画素値:231)となり、5ライン目にお
いては、(上から)7番目の画素(画素値:224)と
8番目の画素(画素値:207)となる。
【0051】図3(b)は、比較のために、従来のサン
プリング手法にて選択された画素を示している。従来
は、固定的に各ライン(この場合は1ライン目と5ライ
ン目)の1番目と5番目の画素を選択していた。したが
って、1ライン目からは画素値207の画素が2つと、
5ライン目からは画素値が240の画素が2つ選択され
る。これは、ブロック内において位置的な偏りを無くす
という観点から設定されたものであるが、このような選
択手法であれば、図3(c)に示す画素ブロックにおい
ても、同じ画素値となる。つまり、この図3(b)と図
3(c)の画素ブロックは、1,5ライン目の1,5番
目の画素同士を比較すれば全く同じであるが、ブロック
全体の画素値を比較すれば全く異なる画像であることが
判る。したがって、従来手法では、図3(c)の画素ブ
ロックから画像的特徴を反映した画素が適切にサンプリ
ングされているとは言い難い。
【0052】これに対して、図2(c)にて示したサン
プリング手法であれば、画素値の最大値あるいは最小値
などの「画素値の大小度合い」を考慮したサンプリング
となっている。さらに、単なる「大小度合い」だけでな
く、ブロック中の画素値の「大小差」も判る。したがっ
て、ブロックの画像的特徴点を反映したサンプリングが
なされていると言える。そのため、動きベクトルの検出
精度が向上する。なぜなら、不適切な初期変位MVSを
決定してしまうと、その後、1画素精度MV検出部12
で、探索範囲SB中の初期変位MVSの周囲を評価して
いった場合に、やはり実際の移動元のブロックを検出で
きない可能性が高くなるからである。このように、その
第1検出ステップにおける初期変位MVSを適切に決定
することで、動きベクトルの検出精度をも向上させるこ
とができる。なお、基本的にはサンプリング手法を採用
しているため、演算量の低減も実現でき、ハードウェア
の回路規模も削減できる。
【0053】[第1実施例の別態様] (1)上述した具体例では、図3に例示したように8ラ
インの内から2ライン選択するようにしたが、これは全
ラインであってもよいし、1ラインであってもよい。ま
た、2ライン選択する場合に、1ライン目と5ライン目
に限定されることはなく、他のラインであってもよい。
また、ラインを構成する画素から選択する場合には、ラ
イン上の全画素数よりも少ない数だけ選択すればよい。
したがって、最低1個でもよい。そして、選択するライ
ン数が少ないほど、あるいは1ライン上から選択する画
素数が少ないほど演算量は低減できる。しかし、逆に選
択画素数が少ないほどブロックの特徴を反映した画素が
選択されなくなる可能性も高くなるので、これらについ
ては両者のバランスを考慮して設定することが望まし
い。
【0054】(2)また、上記具体例では、図3に示す
ように、画素値の大きい順に選択してサンプリング点を
設定する処理と、画素値の小さい順に選択してサンプリ
ング点を設定する処理とをラインに応じて変えて行っ
た。しかし、全ラインについて画素値の大きい順に選択
してもよいし、逆に画素値の小さい順に選択してもよ
い。サンプリング点を設定する処理とをラインに応じて
変えて行った。但し、両者を混在させた方が、画素値の
大小差も反映されるため、適切なサンプリングとなる場
合が多いと考えられる。
【0055】(3)また、画素値の大きい順に選択して
サンプリング点を設定する処理と、画素値の小さい順に
選択してサンプリング点を設定する処理とをラインに応
じて変えて行うことを前提とし、選択ライン数が3ライ
ン以上の場合には、選択ライン群中における隣接ライン
間で、画素値の大きい順に選択してサンプリング点を設
定する処理と、画素値の小さい順に選択してサンプリン
グ点を設定する処理とを交互に変えてもよい。ブロック
中における画素値の分布が偏っていることも考えられる
ので、大きい順・小さい順での選択を交互に行えば、よ
り画像の特徴点がサンプリングされるようになると考え
られるからである。
【0056】[第2実施例]本第2実施例においてもサ
ンプリング点設定処理が特徴であり、動きベクトル検出
装置として実現した場合の概略構成は図1と同様であ
る。したがって、N画素精度MV検出部11において実
行されるサンプリング点設定処理について説明する。
【0057】図4には、第2実施例のサンプリング点設
定処理の具体例を示した。上述した第1実施例の場合と
同様に、サンプリング対象のブロックを、図4(a)に
示すように縦8画素×横8画素の画素ブロックとして説
明する。そして、この画素ブロックから4画素を選択す
る場合、縦方向に8ラインある内から2ライン選択し、
その選択した各ライン中から2画素選択する。具体的に
は、1ライン目と5ライン目から選択する。
【0058】そして、各ライン中から2画素選択する
際、本第2実施例においては、まず1ライン目を構成す
る8画素について、隣り合う(この場合は上下)画素値
の差分値を算出し、差分値の大きい組み合わせの画素値
を2画素選択する。図4(c)に示すように、この具体
例の1ライン目の1番目と2番目の画素値の差分値(2
番目の画素値から1番目の画素値を減算した値)は24
であり、以下の画素値間の差分値はそれぞれ24,−2
4,−24,0,0,0である。したがって、この場合
は、1番目の画素(画素値:207)と2番目の画素
(画素値:231)が選択される。なお、2番目と3番
目の画素値の差分値も同じ24であるため、これらを選
択してもよいが、ここでは上位番目の画素を優先するこ
ととした。
【0059】次に、5ライン目を構成する8画素につい
て、隣り合う(この場合は上下)画素値の差分値を算出
し、今度は、差分値の小さい組み合わせの画素値を2画
素選択する。図4(c)に示すように、この具体例の5
ライン目の1番目と2番目の画素値の差分値は7であ
り、以下の画素値間の差分値はそれぞれ8,−8,−
7,0,−16,−17である。したがって、この場合
は、7番目の画素(画素値:224)と8番目の画素
(画素値:207)が選択される。
【0060】図4(b)は、比較のために、従来のサン
プリング手法にて選択された画素を示している。これは
図3(b)に示した具体例と同じであり、固定的に、1
ライン目及び5ライン目について1番目及び5番目の画
素を選択している。したがって、1ライン目からは画素
値207の画素が2つと、5ライン目からは画素値が2
40の画素が2つ選択される。このような選択手法であ
れば、図4(c)に示す画素ブロックにおいても、同じ
画素値となる。つまり、この図4(b)と図4(c)の
画素ブロックは、1,5ライン目の1,5番目の画素同
士を比較すれば全く同じであるが、ブロック全体の画素
値を比較すれば全く異なる画像であることが判る。した
がって、従来手法では、図4(c)の画素ブロックから
画像的特徴を反映した画素が適切にサンプリングされて
いるとは言い難い。
【0061】これに対して、図4(c)にて示したサン
プリング手法であれば、隣接画素間の画素値の「大小
差」を考慮しているため、ブロックの画像的特徴点を反
映したサンプリングがなされ、動きベクトルの検出精度
が向上する。したがって、上述した第1実施例の場合と
同様に、サンプリングによって演算量の低減を実現して
いるにもかかわらず、動きベクトルの検出精度を向上さ
せるという効果を発揮する。
【0062】なお、上述した第1実施例の場合には、ブ
ロック中の画素値の「大小差」を考慮することとなって
いたが、これはいわばマクロ的な観点からの画素値の大
小差である。これに対して本第2実施例の場合は、隣接
画素間というミクロ的な観点からの画素値の大小差に着
目したものである。
【0063】[第2実施例の別態様] (1)第1実施例の場合と同様に、図4に例示した8ラ
インの内から選択するライン数は2に限られず、全ライ
ンであってもよいし、1ラインであってもよい。また、
2ライン選択する場合に、1ライン目と5ライン目に限
定されることはなく、他のラインであってもよい。ま
た、ラインを構成する画素から選択する場合には、ライ
ン上の全画素数よりも少ない数だけ選択すればよいた
め、最低2個となる。そして、選択ライン数が少ないほ
ど、あるいは1ライン上から選択する画素数が少ないほ
ど演算量は低減できるが、逆に選択画素数が少ないほど
ブロックの特徴を反映した画素が選択されなくなる可能
性も高くなるため、両者のバランスを考慮して設定する
ことが望ましい点についても第1実施例の場合と同様で
ある。
【0064】(2)また、上記具体例では、図4に示す
ように、隣接画素値の差分値が大きい画素を選択してサ
ンプリング点を設定する処理と、隣接画素値の差分値が
小さい順に選択してサンプリング点を設定する処理とを
ラインに応じて変えて行った。しかし、全ラインについ
て隣接画素値の差分値が大きい画素を選択してもよい
し、逆に隣接画素値の差分値が小さい順に選択してもよ
い。但し、両者を混在させた方が、隣接画素値の差分値
の大小差も反映されるため、適切なサンプリングとなる
場合が多いと考えられる。
【0065】(3)また、隣接画素値の差分値が大きい
順に選択してサンプリング点を設定する処理と、隣接画
素値の差分値が小さい順に選択してサンプリング点を設
定する処理とをラインに応じて変えて行うことを前提と
し、選択ライン数が3ライン以上の場合には、選択ライ
ン群中における隣接ライン間で、隣接画素値の差分値が
大きい順に選択してサンプリング点を設定する処理と、
隣接画素値の差分値が小さい順に選択してサンプリング
点を設定する処理とを交互に変えてもよい。
【0066】[第3実施例]本第3実施例においてもサ
ンプリング点設定処理が特徴であり、動きベクトル検出
装置として実現した場合の概略構成は図1と同様であ
る。したがって、N画素精度MV検出部11において実
行されるサンプリング点設定処理について説明する。
【0067】図5には、第3実施例のサンプリング点設
定処理の具体例を示した。上述した第1実施例の場合と
同様に、サンプリング対象のブロックを、図5(a)に
示すように縦8画素×横8画素の画素ブロックとして説
明する。そして、この画素ブロックから4画素を選択す
る場合、縦方向に8ラインある内から2ライン選択し、
その選択した各ライン中から2画素選択する。具体的に
は、1ライン目と5ライン目から選択する。
【0068】そして、この第3実施例では、まず1ライ
ン目を上下2段に分割し、その1段目(上側)を構成す
る4画素の画素値を大小比較し、画素値の大きいものを
1画素選択する。次に、2段目(下側)の4画素の画素
値を大小比較し、画素値の大きいものを1画素選択す
る。一方、5ライン目も上下2段に分割するが、今度
は、その1段目を構成する4画素の画素値を大小比較し
て画素値の小さいものを1画素選択する。次に2段目の
4画素の画素値を大小比較して画素値の小さいものを1
画素選択する。
【0069】このようなサンプリング手法にて選択され
た画素は、図5(c)に示すように、1ライン目におい
ては、3番目の画素(画素値:255)と5番目の画素
(画素値:207)となり、5ライン目においては、1
番目の画素(画素値:240)と8番目の画素(画素
値:207)となる。
【0070】図5(b)は、比較のために従来のサンプ
リング手法にて選択された画素を示している。これは図
3(b)に示した具体例と同じであり、固定的に1ライ
ン目及び5ライン目について1番目及び5番目の画素を
選択している。したがって、1ライン目からは画素値2
07の画素が2つと、5ライン目からは画素値が240
の画素が2つ選択される。このような選択手法であれ
ば、図5(c)に示す画素ブロックにおいても同じ画素
値となる。つまり、この図5(b)と図5(c)の画素
ブロックは、1,5ライン目の1,5番目の画素同士を
比較すれば全く同じであるが、ブロック全体の画素値を
比較すれば全く異なる画像であることが判る。したがっ
て、従来手法では、図5(c)の画素ブロックから画像
的特徴を反映した画素が適切にサンプリングされている
とは言い難い。
【0071】これに対して、図5(c)にて示したサン
プリング手法であれば、画素値の最大値あるいは最小値
などの「画素値の大小度合い」を考慮したサンプリング
となっている。さらに、単なる「大小度合い」だけでな
く、ブロック中の画素値の「大小差」も判る。したがっ
て、ブロックの画像的特徴点を反映したサンプリングが
なされており、動きベクトルの検出精度が向上する。
【0072】なお、ラインを分割した後のサンプリング
内容は、上述した第1実施例の場合と同様であるが、本
第3実施例の場合には、最初に分割しておくことで、ブ
ロック全体から満遍なく特徴的な画素をサンプリングし
易くなる。また、本実施例では2段に分割したが3段以
上であってもよい。分割範囲が小さくなるほど(つまり
分割範囲を構成する画素数が少なくなるほど)サンプリ
ングした画素がブロックの特徴を反映している可能性が
高くなるが、逆にサンプリング数は多くなって演算量が
増加する。したがって、この場合も、ブロックの特徴を
反映した画素を選択できるというメリットと、演算量の
低減というメリットとの両者のバランスを考慮して設定
することが望ましい。
【0073】[第4実施例]第4実施例におけるサンプ
リング点設定処理は、第3実施例において分割後に行う
サンプリング内容が異なるだけである。つまり、第3実
施例においては、分割後のラインを構成する画素に対し
て第1実施例と同様のサンプリングを行ったが、第4実
施例においては、分割後のラインを構成する画素に対し
て第2実施例と同様のサンプリングを行う。具体的に
は、1ライン目を上下2段に分割し、その1段目を構成
する4画素について隣接画素値の差分値が大きい2画素
を選択してサンプリング点を設定し、次に2段目を構成
する4画素について隣接画素値の差分値が大きい2画素
を選択してサンプリング点を設定する。一方、5ライン
目の1段目を構成する4画素については、今度は隣接画
素値の差分値が小さい2画素を選択してサンプリング点
を設定し、次に2段目を構成する4画素について隣接画
素値の差分値が小さい2画素を選択する。
【0074】以上の説明からも判るように、この第4実
施例の場合には、分割したライン上からは最低限2画素
を選択しなくてはならないので、1ライン上からは最低
4画素を選択することとなる。なお、上記説明では、1
ライン目は上下段とも隣接画素値の差分値が大きい2画
素を選択し、5ライン目は上下段とも隣接画素値の差分
値が小さい2画素を選択したが、これ以外にも適宜バリ
エーションは考えられる。つまり、全て隣接画素値の差
分値が大きい2画素を選択してもよいし、逆に全て隣接
画素値の差分値が小さい2画素を選択してもよい。ま
た、1ライン目の上段は隣接画素値の差分値が大きい2
画素を選択し、下段は隣接画素値の差分値が小さい2画
素を選択するが、5ライン目は逆に、上段は隣接画素値
の差分値が小さい2画素を選択し、下段は隣接画素値の
差分値が大きい2画素を選択してもよい。
【0075】[第3,4実施例の別態様]第1,2実施
例の場合と同様に、8ラインの内から選択するライン数
は2に限られず、全ラインであってもよいし、1ライン
であってもよい。また、2ライン選択する場合に、1ラ
イン目と5ライン目に限定されることはなく、他のライ
ンであってもよい。また、分割された後のサンプリング
処理については、ライン上の全画素数よりも少ない数だ
け選択すればよい。
【0076】その他、サンプリング後の処理に関する考
慮点については、第1,2実施例の場合と同様である。 [第5実施例]図6は、第5実施例の動きベクトル検出
装置の概略構成を示すブロック図であり、可変サンプリ
ングMV検出部51と、全探索法MV検出部52と、演
算制御部54とを備える。可変サンプリングMV検出部
51には、入力画像データ及び参照画像データが入力さ
れる。具体的には、入力画像中の動きベクトルの移動後
のブロックであるテンプレートブロックTBと、そのテ
ンプレートブロックTBが移動してきた参照画像中の元
のブロックを含む探索範囲SBとが入力される。そして
可変サンプリングMV検出部51から全探索法MV検出
部52へは、テンプレートブロックTB、探索範囲SB
のデータに加えて、可変サンプリングMV検出部51に
て検出した初期変位MVSのデータが出力される。そし
て、全探索法MV検出部52では、探索範囲SB中の初
期変位MVSの周囲を評価して動きベクトルMV1を決
定し、差分絶対値和と共に外部へ出力する。
【0077】ここまでの、概略的な動作は図1に示した
第1実施例の場合と同様であるが、本第5実施例では、
演算制御部54からの指示によって、可変サンプリング
MV検出部51におけるサンプリング比Nが変更設定さ
れ、また、全探索法MV検出部52における探索範囲S
Bが変更設定される。この演算制御部54には、探索範
囲SBのサイズを示す水平(横)探索範囲及び垂直
(縦)探索範囲のデータが入力され、これらに基づいて
上述の可変サンプリングMV検出部51でのサンプリン
グ比や全探索法MV検出部52での探索範囲SBの変更
設定を指示する。
【0078】可変サンプリングMV検出部51における
サンプリング比Nは、水平・垂直探索範囲が広い場合に
は大きい値に、水平・垂直探索範囲が狭い場合には小さ
い値に設定され、全探索法MV検出部52における探索
範囲±jは、可変サンプリングMV検出部51での第1
検出ステップで求められた動きベクトルの初期変位MV
Sの周囲を探索する値として設定され、1≦j<Nであ
る。
【0079】図7には、このように水平・垂直探索範囲
に応じてサンプリング比Nを変更したり、探索範囲SB
を変更する場合の具体例を示した。図7(a),(b)
では16画素×16画素の画素ブロックを示し、それを
参照して説明する。まず、図7(a)において探索範囲
SBが水平・垂直に±8の場合には、可変サンプリング
MV検出部51におけるサンプリング比N=2とし、第
1検出ステップでは2画素×2画素から1画素選択する
(図7(a)中の●参照)。そして、このようにサンプ
リングされた画素によって構成される縮小画像を用いて
2画素精度の動きベクトルの初期変位を検出する。ま
た、全探索法MV検出部52における第2検出ステップ
の処理としては、探索範囲SBを水平・垂直それぞれに
±1とした全探索法によって1画素精度の動きベクトル
を検出する。
【0080】一方、図7(b)において探索範囲SBが
水平・垂直に±16〜32の場合には、可変サンプリン
グMV検出部51におけるサンプリング比N=4とし、
第1検出ステップでは4画素×4画素から1画素選択す
る(図7(b)中の●参照)。そして、このようにサン
プリングされた画素によって構成される縮小画像を用い
て4画素精度の動きベクトルの初期変位を検出する。ま
た、全探索法MV検出部52における第2検出ステップ
の処理としては、探索範囲SBを水平・垂直それぞれに
±2とした全探索法によって1画素精度の動きベクトル
を検出する。
【0081】このようにサンプリング比Nを変えること
によって、探索範囲SBが拡大しても演算量の増加を抑
制することができる。この方法を用いることにより、2
画素×2ラインから1画素選択した場合の差分演算を4
個のブロック(図7(a)中に点線によって示したブロ
ック)に分割して考えた場合、4画素×4画素の画素値
の差分演算あるいは自乗誤差演算となる。これは、4画
素×4画素から1画素選択する場合と同じ画素数とな
り、差分演算器あるいは自乗誤差演算器を共有できるた
め、ハードウェア化にも適している。
【0082】ここで、図7中に示した具体的な数値に関
して説明しておく。図7(a)に示すように、例えば探
索範囲が±8の場合、サンプリング比を2とし、参照画
像と入力画像を共に2画素×2画素から1画素選択した
とき、ブロックをマッチングする回数は{(8/2)×
2+1)}2 =81(回)となる。この場合、図7
(a)中に示す破線で分割すると、4画素×4画素のブ
ロックが4つ存在することとなるので、4画素×4画素
の差分演算は81×4=324回必要となる。この4画
素×4画素の差分演算を基準に考えると、324回以内
の演算であれば同一のハードウェアで処理可能である。
【0083】そこで、図7(b)に示すようにサンプリ
ング比を4とした場合を考える。このときは、16画素
×16画素の画像ブロックが4画素×4画素の画像ブロ
ックにサンプリングされる。探索範囲が±16の場合、
ブロックをマッチングする回数は{(16/4)×2+
1}2 =81回、探索範囲が±24の場合、ブロックを
マッチングする回数は{(24/4)×2+1}2 =1
69回、探索範囲が±32の場合、ブロックをマッチン
グする回数は{(32/4)×2+1}2 =289回と
なる。上述したように、324回までの演算であれば同
一のハードウェアで処理可能であるため、探索範囲を±
8〜±32まで可変とすることができるのである。
【0084】[第6実施例]上述した第1〜第5実施例
においては、サンプリング点設定処理を特徴とするもの
であったが、動きベクトルの検出精度の向上、演算量の
増加防止という目的を実現する場合には、探索範囲SB
の設定方法に着目することも有効である。本第6実施例
は、そのような観点からなされたものである。
【0085】図8は、第6実施例の動きベクトル検出装
置の概略構成を示すブロック図であり、車速センサ61
と、ステアリングセンサ62と、探索範囲決定部63
と、動きベクトル検出部64とからなる。車速センサ6
1及びステアリングセンサ62が存在することからも判
るように、本実施例の装置は車両に搭載された撮像装置
から入力した画像についての動きベクトルを検出するこ
とを前提としている。
【0086】ここで、このように車両に搭載された場合
に特有の問題点について再度確認しておく。図9(a)
に示すように、従来手法では、参照画像(前フレーム)
中の探索範囲として、入力画像(現フレーム)中のテン
プレートブロックと同じ位置を基準に左右上下に所定画
素分の範囲を設定するのが一般的であった。これは、動
きベクトルの向きが判らないので、全方向、つまり左右
上下に同じ画素数分の範囲を設定することで、いずれの
向きであっても動きベクトルを適切に検出できるように
するためである。
【0087】しかしながら、車両に搭載された撮像装置
にて車両前方を撮像した画像について動きベクトルを検
出することを考えた場合、その画像中の風景は車速によ
って移動する量が異なる。特に、直線走行している場合
には、車両の正面側、つまり画面中心付近の風景の移動
量は小さいが、車両の横側、つまり画面の左右両端付近
の風景の移動量は非常に大きくなる。また、カーブ走行
している場合には、車両正面の風景であってもその移動
量は非常に大きくなる。
【0088】したがって、比較的狭い探索範囲を固定的
に設定していると十分な対応ができなくなり、動きベク
トルの適切な検出ができない。そうかといって、あらゆ
る場合において動きベクトルを高精度に検出しようとす
ると、探索範囲を広く設定しておく必要がある。しか
し、探索範囲を広く設定しておくと、常に広い探索範囲
についての探索が必要となるため、演算量が増大してし
まう。
【0089】そこで、本第6実施例の動きベクトル検出
装置によれば、探索範囲決定部63が車速センサ61に
て検出した車速(V)と、ステアリングセンサ62にて
検出した操舵角(θ)とに基づいて探索範囲の位置を決
定する。そして、その決定された探索範囲に基づいて、
動きベクトル検出部64が動きベクトルを検出する。な
お、この動きベクトル検出部64における検出手法は、
例えば第1〜第5実施例の検出手法を用いるなどすれば
よいが、これらに限定されるものではない。
【0090】探索範囲決定部63における探索範囲の決
定の概要は、図9(b)に示すように、車両の走行速度
及び操舵状態に応じてテンプレートブロックの概略的な
移動元の位置を推定し、その推定位置の周囲に探索範囲
を設定するのである。このようにすれば、その探索範囲
内の評価ブロックSBMとテンプレートブロックとのブ
ロックマッチングによって、適切に動きベクトルを検出
することができるようになる。つまり、動きベクトルの
検出精度を向上させることができる。そして、広い探索
範囲を固定的に設定しておく必要がないので、演算量の
増加も防止できる。
【0091】次に、探索範囲決定部63において実行さ
れる探索範囲の決定にかかる処理内容を図10のフロー
チャートを参照して説明する。最初のステップS101
にて車速センサ61から車速(V)を、ステアリングセ
ンサ62から操舵角(θ)をそれぞれ取り込む。そし
て、続くS102において操舵角θ=0が否かを判断す
る。つまり、直進走行(θ=0)しているのか否かを判
断している。
【0092】そして、カーブ走行している場合には(S
102:NO)、左右いずれにカーブ走行しているかを
判断し(S103)、左カーブの場合にはS104へ移
行して、右方向へ移動させる。なお、ここでは右方向を
プラス方向として考え、その移動分ΔMVは、操舵角θ
と車速Vの関数F(θ,V)で表される。つまりΔMV
=F(θ,V)である。また、右カーブの場合にはS1
05へ移行して、左方向へ移動させる。この場合の移動
分ΔMVは、ΔMV=−F(θ,V)となる。
【0093】一方、直進走行している場合には(S10
2:YES)、S106で分割された領域に応じて次の
ように対処する。まず左側領域の場合の移動分ΔMV
は、車速Vの関数F(V)を用いて、ΔMV=−F
(θ)とする(S107)。逆に右側領域の場合の移動
分ΔMVは、ΔMV=F(θ)とする(S109)。し
かし、中心領域については移動しないものとする(S1
08)。つまりΔMV=0である。
【0094】[第6実施例の別態様]上述の実施例で
は、車速Vと操舵角θとに基づいて探索範囲の「位置」
を決定したが、探索範囲の「サイズ」を決定してもよ
い。つまり、車速V及び操舵角θに基づき、移動ベクト
ルが大きいと推定されれば探索範囲を大きくするのであ
る。例えば画像中心付近の風景の移動量は、直線走行し
ていれば車速にあまり影響されず小さい。したがって、
探索範囲も小さくて良い。これに対して、画面の左右両
端付近の風景の移動量は車速に応じて大きくなるため、
車速が大きいほど探索範囲も大きくする。このように、
常に広い探索範囲を設定しておくのではなく、必要に応
じて探索範囲を広げるようにすれば、固定的に広い探索
範囲を設定しておく必要がないので、演算量の増加も防
止でき、動きベクトルの検出精度も向上させることがで
きるのである。
【0095】以上、本発明はこのような実施例に何等限
定されるものではなく、本発明の主旨を逸脱しない範囲
において種々なる形態で実施し得る。それらのいくつか
を説明する。 (1)上述した第1〜第4実施例におけるサンプリング
点設定処理は、2ステップ探索法における第1検出ステ
ップでの処理を前提としたが、このような2ステップ探
索法を前提しなくてもよい。つまり、サンプリングした
画素同士のブロックマッチングを1ステップだけ実行す
るような使用方法も考えられる。
【0096】(2)また、上述した第1〜第4実施例に
おいては、「ブロックの特徴を反映した画素を選択でき
るようなサンプリング点設定処理」を特徴とするもので
あったが、サンプリング点設定処理以外の工夫も施すこ
とが考えられる。その例を2つ説明する。
【0097】(a)両画像のサンプリング点のアドレス
を比較 テンプレートブロックTBに対して第1〜第4実施例の
いずれか記載のサンプリング点設定処理を実行して得た
サンプリング点の画素のアドレスと、評価ブロックSB
Mに対して第1〜第4実施例のいずれか記載のサンプリ
ング点設定処理を実行して得たサンプリング点の画素の
アドレスとを比較し、その一致度合いに基づいて動きベ
クトルを検出する。最終的に動きベクトルを検出できた
場合の評価ブロックSBMの画素値とテンプレートブロ
ックの画素値のマッチング度合いは高いので、両ブロッ
クに同じサンプリング点設定処理を施せば、サンプリン
グされる画素の位置が同じになる可能性が高い。したが
って、両ブロックのサンプリング点のアドレスの一致度
合いに基づけば、動きベクトルを検出することができ
る。そして、サンプリング点設定処理の段階でブロック
の特徴点を反映しているため動きベクトルの検出精度が
向上しており、且つ演算量を低減することも実現してい
る。
【0098】(b)テンプレートブロックTBのサンプ
リング点の画素値と評価ブロックSBMにおける同じア
ドレスの画素値とを比較 テンプレートブロックTBに対して第1〜第4実施例の
いずれか記載のサンプリング点設定処理を実行して得た
サンプリング点の画素の値と、評価ブロックSBM中に
おける、テンプレートブロックTBについてのサンプリ
ング点と同じアドレスの画素の値とを比較し、その画素
値の一致度合いに基づいて動きベクトルを検出する。
(a)でも述べたように、最終的に動きベクトルを検出
できた場合の評価ブロックSBMの画素値とテンプレー
トブロックTBの画素値のマッチング度合いは高い。し
たがって、評価ブロックSBM中における、テンプレー
トブロックTBについてのサンプリング点と同じアドレ
スの画素値と、テンプレートブロックTBからサンプリ
ングした画素値とのマッチング度合いに基づけば、やは
り、動きベクトルを検出できる。そして、動きベクトル
の検出精度の向上及び演算量の低減という効果も得られ
る。
【0099】(3)上述した各実施例にて検出された動
きベクトルは、例えば動画像符号化における動き補償予
測に用いられることが考えられる。しかし、そのような
用途に限られるわけではない。例えば動画像中の異なる
動きを持つ物体の検出や、画像中の動きのある領域と静
止領域(例えば背景)とを分割する、といった目的のた
めに用いることもできる。
【図面の簡単な説明】
【図1】 第1〜第4実施例の動きベクトル検出装置を
示す概略ブロック図である。
【図2】 ブロックマッチングの概要を示す説明図であ
る。
【図3】 第1実施例のサンプリング点設定処理を示す
説明図である。
【図4】 第2実施例のサンプリング点設定処理を示す
説明図である。
【図5】 第3実施例のサンプリング点設定処理を示す
説明図である。
【図6】 第5実施例の動きベクトル検出装置を示す概
略ブロック図である。
【図7】 第5実施例の、水平・垂直探索範囲に応じて
サンプリング比Nを変更したり、探索範囲を変更する場
合の具体例を示す説明図である。
【図8】 第6実施例の動きベクトル検出装置を示す概
略ブロック図である。
【図9】 第6実施例の、車速や操舵角に応じて探索範
囲を決定する処理の概要を示す説明図である。
【図10】 第6実施例の、探索範囲決定部にて実行さ
れる探索範囲の決定処理を示すフローチャートである。
【図11】 従来の動きベクトル検出方法の説明図であ
る。
【図12】 従来の動きベクトル検出方法の問題点を示
す説明図である。
【符号の説明】
11…N画素精度MV検出部 12…1画素精度MV検出部 51…可変サンプリングMV検出部 52…全探索法MV検出部 54…演算制御部 61…車速センサ 62…ステアリングセンサ 63…探索範囲決定部 64…動きベクトル検出部
───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 5C057 AA01 AA11 EG03 EG04 EG08 EJ01 EL01 EM01 GF03 GH05 GM01 5C059 KK19 LB01 LC03 MA02 NN03 NN08 NN21 NN28 NN36 NN41 PP04 SS00 TA62 TB08 TC02 TD01 TD05 UA02 5L096 BA04 DA02 FA69 GA07 GA17 GA19 GA26 HA04 JA03 JA09 9A001 HH21 HH27 HH30

Claims (18)

    【特許請求の範囲】
  1. 【請求項1】ある時間の入力画像中における矩形形状の
    テンプレートブロックがそれ以前の入力画像である参照
    画像中の所定の探索範囲内のどのブロックから移動した
    かを示す動きベクトルを、前記テンプレートブロックと
    前記探索範囲内から取り出した矩形形状の評価ブロック
    とのマッチング度合いに基づいて検出する動きベクトル
    検出方法において、 前記テンプレートブロック及び評価ブロックの、縦横い
    ずれかの方向の所定数のラインについて、当該ライン上
    に存在する全画素中から、画素値の大きい順または小さ
    い順に前記ライン上の全画素数よりも少ない数だけ選択
    してサンプリング点を設定するサンプリング点設定処理
    を行い、 その設定されたサンプリング点の画素値を用いて動きベ
    クトルの検出を行うことを特徴とする動きベクトル検出
    方法。
  2. 【請求項2】請求項1記載の動きベクトル検出方法にお
    いて、 前記サンプリング点設定処理は、 前記ライン数が複数である場合には、前記画素値の大き
    い順に選択してサンプリング点を設定する処理と、前記
    画素値の小さい順に選択してサンプリング点を設定する
    処理とをラインに応じて変えて行うことを特徴とする動
    きベクトル検出方法。
  3. 【請求項3】請求項2記載の動きベクトル検出方法にお
    いて、 前記サンプリング点設定処理は、 前記所定数のライン群中における隣接ライン間で、前記
    画素値の大きい順に選択してサンプリング点を設定する
    処理と、前記画素値の小さい順に選択してサンプリング
    点を設定する処理とを交互に変えることを特徴とする動
    きベクトル検出方法。
  4. 【請求項4】ある時間の入力画像中における矩形形状の
    テンプレートブロックがそれ以前の入力画像である参照
    画像中の所定の探索範囲内のどのブロックから移動した
    かを示す動きベクトルを、前記テンプレートブロックと
    前記探索範囲内から取り出した矩形形状の評価ブロック
    とのマッチング度合いに基づいて検出する動きベクトル
    検出方法において、 前記テンプレートブロック及び評価ブロックの、縦横い
    ずれかの方向の所定数のラインについて、当該ライン上
    に存在する全画素中から、隣り合う画素間における画素
    値の差分値が大きい画素の組合せ又は小さい画素の組み
    合わせを所定数選択してサンプリング点として設定する
    サンプリング点設定処理を行い、 その設定されたサンプリング点の画素値を用いて前記動
    きベクトルを検出することを特徴とする動きベクトル検
    出方法。
  5. 【請求項5】請求項4記載の動きベクトル検出方法にお
    いて、 前記サンプリング点設定処理は、 前記ライン数が複数である場合には、前記画素値の差分
    値が大きい画素の組合せを選択してサンプリング点を設
    定する処理と、前記画素値の差分値が小さい画素の組合
    せを選択してサンプリング点を設定する処理とをライン
    に応じて変えて行うことを特徴とする動きベクトル検出
    方法。
  6. 【請求項6】請求項5記載の動きベクトル検出方法にお
    いて、 前記サンプリング点設定処理は、 前記所定数のライン群中における隣接ライン間で、前記
    画素値の差分値が大きい画素の組合せを選択してサンプ
    リング点を設定する処理と、前記画素値の差分値が小さ
    い画素の組合せを選択してサンプリング点を設定する処
    理とを交互に変えることを特徴とする動きベクトル検出
    方法。
  7. 【請求項7】ある時間の入力画像中における矩形形状の
    テンプレートブロックがそれ以前の入力画像である参照
    画像中の所定の探索範囲内のどのブロックから移動した
    かを示す動きベクトルを、前記テンプレートブロックと
    前記探索範囲内から取り出した矩形形状の評価ブロック
    とのマッチング度合いに基づいて検出する動きベクトル
    検出方法において、 前記テンプレートブロック及び評価ブロックの、縦横い
    ずれかの方向の所定数のラインについて、まず当該ライ
    ン上に存在する全画素を所定数の範囲に分割し、その
    後、各分割範囲について、当該ライン上に存在する全画
    素中から、画素値の大きい順または小さい順に前記分割
    範囲のライン上における全画素数よりも少なく数だけ選
    択してサンプリング点を設定するサンプリング点設定処
    理を行い、 その設定されたサンプリング点の画素値を用いて前記動
    きベクトルを検出することを特徴とする動きベクトル検
    出方法。
  8. 【請求項8】ある時間の入力画像中における矩形形状の
    テンプレートブロックがそれ以前の入力画像である参照
    画像中の所定の探索範囲内のどのブロックから移動した
    かを示す動きベクトルを、前記テンプレートブロックと
    前記探索範囲内から取り出した矩形形状の評価ブロック
    とのマッチング度合いに基づいて検出する動きベクトル
    検出方法において、 前記テンプレートブロック及び評価ブロックの、縦横い
    ずれかの方向の所定数のラインについて、まず当該ライ
    ン上に存在する全画素を所定数の範囲に分割し、その
    後、各分割範囲について、当該ライン上に存在する全画
    素中から、隣り合う画素間における画素値の差分値が大
    きい画素の組合せ又は小さい画素値の組み合わせを所定
    数選択してサンプリング点として設定するサンプリング
    点設定処理を行い、 その設定されたサンプリング点の画素値を用いて前記動
    きベクトルを検出することを特徴とする動きベクトル検
    出方法。
  9. 【請求項9】ある時間の入力画像中における矩形形状の
    テンプレートブロックがそれ以前の入力画像である参照
    画像中の所定の探索範囲内のどのブロックから移動した
    かを示す動きベクトルを、前記テンプレートブロックと
    前記探索範囲内から取り出した矩形形状の評価ブロック
    とのマッチング度合いに基づいて検出する動きベクトル
    検出方法において、 前記テンプレートブロックに対して前記請求項1〜8の
    いずれか記載のサンプリング点設定処理を実行して得た
    サンプリング点の画素のアドレスと、前記評価ブロック
    に対して前記請求項1〜8のいずれか記載のサンプリン
    グ点設定処理を実行して得たサンプリング点の画素のア
    ドレスとを比較し、その一致度合いに基づいて前記動き
    ベクトルを検出することを特徴とする動きベクトル検出
    方法。
  10. 【請求項10】ある時間の入力画像中における矩形形状
    のテンプレートブロックがそれ以前の入力画像である参
    照画像中の所定の探索範囲内のどのブロックから移動し
    たかを示す動きベクトルを、前記テンプレートブロック
    と前記探索範囲内から取り出した矩形形状の評価ブロッ
    クとのマッチング度合いに基づいて検出する動きベクト
    ル検出方法において、 前記テンプレートブロックに対して前記請求項1〜8の
    いずれか記載のサンプリング点設定処理を実行して得た
    サンプリング点の画素の値と、前記評価ブロック中にお
    ける、前記テンプレートブロックについてのサンプリン
    グ点と同じアドレスの画素の値とを比較し、その画素値
    の一致度合いに基づいて前記動きベクトルを検出するこ
    とを特徴とする動きベクトル検出方法。
  11. 【請求項11】ある時間の入力画像中における矩形形状
    のテンプレートブロックがそれ以前の入力画像である参
    照画像中の所定の探索範囲内のどのブロックから移動し
    たかを示す動きベクトルを、前記テンプレートブロック
    と前記探索範囲内から取り出した矩形形状の評価ブロッ
    クとのマッチング度合いに基づいて検出する動きベクト
    ル検出方法において、 前記テンプレートブロック及び評価ブロック中より所定
    のサンプリング比Nでサンプリングした画素同士に基づ
    いて前記探索範囲内での初期変位を求めるN画素精度の
    第1検出ステップと、その第1検出ステップにて求めら
    れた初期変位周囲の所定範囲について評価ブロックと前
    記テンプレートブロックとの全画素同士のマッチング度
    合いを求める1画素精度の第2検出ステップと、を順次
    実行する2ステップ探索法を行うことを前提とし、 前記第1検出ステップにおけるサンプリング比N及び前
    記第2検出ステップにおける初期変位周囲の所定範囲
    を、前記探索範囲のサイズに応じて変更可能であること
    を特徴とする動きベクトル検出方法。
  12. 【請求項12】請求項11記載の動きベクトル検出方法
    において、 前記第1検出ステップにおけるサンプリングに際して、
    前記請求項1〜8のいずれかに記載したサンプリング点
    設定処理を用いることを特徴とする動きベクトル検出方
    法。
  13. 【請求項13】ある時間の入力画像中における矩形形状
    のテンプレートブロックがそれ以前の入力画像である参
    照画像中の所定の探索範囲内のどのブロックから移動し
    たかを示す動きベクトルを、前記テンプレートブロック
    と前記探索範囲内から取り出した矩形形状の評価ブロッ
    クとのマッチング度合いに基づいて検出する動きベクト
    ル検出方法において、 前記入力画像は、車両に搭載された撮像装置から入力し
    た画像であり、前記車両の走行状態に応じて前記探索範
    囲を決定することを特徴とする動きベクトル検出方法。
  14. 【請求項14】請求項13記載の動きベクトル検出方法
    において、 前記車両の走行状態は、走行速度及び操舵状態の少なく
    ともいずれか一方であることを特徴とする動きベクトル
    検出方法。
  15. 【請求項15】請求項13又は14記載の動きベクトル
    検出方法において、 前記車両の走行状態に応じて前記探索範囲の位置を決定
    することを特徴とする動きベクトル検出方法。
  16. 【請求項16】請求項13又は14記載の動きベクトル
    検出方法において、 前記車両の走行速状態に応じて前記探索範囲のサイズを
    決定することを特徴とする動きベクトル検出方法。
  17. 【請求項17】請求項13〜16のいずれか記載の動き
    ベクトル検出方法において、 前記テンプレートブロックと前記決定された探索範囲内
    から取り出した評価ブロックとに基づいて動きベクトル
    を検出するに際して、前記請求項1〜12のいずれかに
    記載した手法を用いることを特徴とする動きベクトル検
    出方法。
  18. 【請求項18】請求項1〜17のいずれか記載の動きベ
    クトル検出方法が、コンピュータシステムにて実行する
    プログラムとして記録されたことを特徴とする記録媒
    体。
JP23265699A 1999-08-19 1999-08-19 動きベクトル検出方法及び記録媒体 Expired - Fee Related JP4075238B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP23265699A JP4075238B2 (ja) 1999-08-19 1999-08-19 動きベクトル検出方法及び記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP23265699A JP4075238B2 (ja) 1999-08-19 1999-08-19 動きベクトル検出方法及び記録媒体

Publications (2)

Publication Number Publication Date
JP2001061151A true JP2001061151A (ja) 2001-03-06
JP4075238B2 JP4075238B2 (ja) 2008-04-16

Family

ID=16942734

Family Applications (1)

Application Number Title Priority Date Filing Date
JP23265699A Expired - Fee Related JP4075238B2 (ja) 1999-08-19 1999-08-19 動きベクトル検出方法及び記録媒体

Country Status (1)

Country Link
JP (1) JP4075238B2 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007074774A1 (ja) * 2005-12-26 2007-07-05 Kyocera Corporation ぶれ量検出装置、ぶれ補正装置、撮像装置及びぶれ量検出方法
JP2007281831A (ja) * 2006-04-05 2007-10-25 Kyocera Corp 手ぶれ量検出装置、手ぶれ補正装置、撮像装置及び手ぶれ量検出方法
JP2007300592A (ja) * 2005-12-26 2007-11-15 Kyocera Corp 手ぶれ量検出装置、手ぶれ補正装置、撮像装置及び手ぶれ量検出方法
JP2008011119A (ja) * 2006-06-28 2008-01-17 Kyocera Corp 手ぶれ量検出装置、手ぶれ補正装置、撮像装置及び手ぶれ量検出方法
JP2008060982A (ja) * 2006-08-31 2008-03-13 Casio Comput Co Ltd 撮像装置及びプログラム
JP2008060974A (ja) * 2006-08-31 2008-03-13 Casio Comput Co Ltd 撮像装置及びプログラム
JP2011091493A (ja) * 2009-10-20 2011-05-06 Fujitsu Ltd 画像処理方法および画像処理装置
JP2013038651A (ja) * 2011-08-09 2013-02-21 Fujitsu Semiconductor Ltd 画像処理装置、画像処理方法及び撮像装置
WO2019215979A1 (ja) * 2018-05-10 2019-11-14 ソニー株式会社 画像処理装置、車載装置、画像処理方法及びプログラム
WO2019244669A1 (ja) * 2018-06-22 2019-12-26 ソニー株式会社 画像処理装置および方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8542278B2 (en) 2005-12-26 2013-09-24 Kyocera Corporation Shaking detection device, shaking correction device, imaging device, and shaking detection method
JP2007300592A (ja) * 2005-12-26 2007-11-15 Kyocera Corp 手ぶれ量検出装置、手ぶれ補正装置、撮像装置及び手ぶれ量検出方法
WO2007074774A1 (ja) * 2005-12-26 2007-07-05 Kyocera Corporation ぶれ量検出装置、ぶれ補正装置、撮像装置及びぶれ量検出方法
JP2007281831A (ja) * 2006-04-05 2007-10-25 Kyocera Corp 手ぶれ量検出装置、手ぶれ補正装置、撮像装置及び手ぶれ量検出方法
JP2008011119A (ja) * 2006-06-28 2008-01-17 Kyocera Corp 手ぶれ量検出装置、手ぶれ補正装置、撮像装置及び手ぶれ量検出方法
JP2008060974A (ja) * 2006-08-31 2008-03-13 Casio Comput Co Ltd 撮像装置及びプログラム
JP4743048B2 (ja) * 2006-08-31 2011-08-10 カシオ計算機株式会社 撮像装置及びプログラム
JP2008060982A (ja) * 2006-08-31 2008-03-13 Casio Comput Co Ltd 撮像装置及びプログラム
JP2011091493A (ja) * 2009-10-20 2011-05-06 Fujitsu Ltd 画像処理方法および画像処理装置
JP2013038651A (ja) * 2011-08-09 2013-02-21 Fujitsu Semiconductor Ltd 画像処理装置、画像処理方法及び撮像装置
WO2019215979A1 (ja) * 2018-05-10 2019-11-14 ソニー株式会社 画像処理装置、車載装置、画像処理方法及びプログラム
WO2019244669A1 (ja) * 2018-06-22 2019-12-26 ソニー株式会社 画像処理装置および方法
JPWO2019244669A1 (ja) * 2018-06-22 2021-07-08 ソニーグループ株式会社 画像処理装置および方法
US11533471B2 (en) 2018-06-22 2022-12-20 Sony Corporation Image processing apparatus and image processing method

Also Published As

Publication number Publication date
JP4075238B2 (ja) 2008-04-16

Similar Documents

Publication Publication Date Title
JP4814375B2 (ja) 検出装置、検出方法および検出用集積回路
EP1772828B1 (en) Template matching method and device, and recording medium where program therefor is recorded
US8374462B2 (en) Content-aware image and video resizing by anchor point sampling and mapping
CN101924873B (zh) 图像处理设备和图像处理方法
US8175417B2 (en) Apparatus, method, and computer-readable recording medium for pixel interpolation
US20080080749A1 (en) Image evaluation apparatus, method, and program
JP2001061151A (ja) 動きベクトル検出方法及び記録媒体
US9317904B2 (en) Image processing system and image processing method
US6671321B1 (en) Motion vector detection device and motion vector detection method
US8731246B2 (en) Motion vector detection device, apparatus for detecting motion vector and motion vector detection method
US20080069217A1 (en) Frame interpolation apparatus and frame interpolation method
JP4020093B2 (ja) 縁検出方法及び装置及びプログラム及び記憶媒体及び枠検出方法及び装置及びプログラム及び記憶媒体
US8254682B2 (en) Pattern detecting method and related image processing apparatus
JPH089379A (ja) 動きベクトル検出方法
JP5197374B2 (ja) 動き推定
JP2006215657A (ja) 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体
US20120098939A1 (en) Image processing apparatus and method, and program
WO2002056252A2 (en) Apparatus and method for boundary detection in vector sequences and edge detection in color image signals
JP5078428B2 (ja) 画像処理装置および画像処理方法
JPH1075453A (ja) 動きベクトル検出装置及び動きベクトル検出方法
JPH0646383A (ja) 動画の動き解析装置及び方法
JPS62206980A (ja) 動画像の動き推定における初期偏位方式
JPH05164569A (ja) 移動車の走行路検出装置
JPH08242454A (ja) グローバル動きパラメタ検出方法
JP2008258980A (ja) 画像情報処理装置および画像傾斜角度算出方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051012

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070719

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070821

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071010

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071106

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080121

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110208

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120208

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130208

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140208

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees