JP2008015848A - 物体領域探索方法,物体領域探索プログラムおよび物体領域探索装置 - Google Patents
物体領域探索方法,物体領域探索プログラムおよび物体領域探索装置 Download PDFInfo
- Publication number
- JP2008015848A JP2008015848A JP2006187363A JP2006187363A JP2008015848A JP 2008015848 A JP2008015848 A JP 2008015848A JP 2006187363 A JP2006187363 A JP 2006187363A JP 2006187363 A JP2006187363 A JP 2006187363A JP 2008015848 A JP2008015848 A JP 2008015848A
- Authority
- JP
- Japan
- Prior art keywords
- fourier transform
- search
- spectrum
- image
- object region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
Abstract
【課題】高精度に領域(位置)を探索でき、且つ、高速でリアルタイムな探索を可能とし得る物体領域探索方法,物体領域探索プログラムおよび物体領域探索装置を提供する。
【解決手段】周波数上にて画像を白色化することにより、位相情報のみに注目した探索が可能となり、従来の信号領域における正規化相互相関法よりも、目的とする領域(位置)に対して鋭いピーク値を得る。また、従来法では画素単位で探索信号領域を移動しながら相関を計算していたのに対し、本発明では、周波数上にて相関計算を行うため、計算量が大幅に削減され高速な探索が可能とする。
【選択図】図1
【解決手段】周波数上にて画像を白色化することにより、位相情報のみに注目した探索が可能となり、従来の信号領域における正規化相互相関法よりも、目的とする領域(位置)に対して鋭いピーク値を得る。また、従来法では画素単位で探索信号領域を移動しながら相関を計算していたのに対し、本発明では、周波数上にて相関計算を行うため、計算量が大幅に削減され高速な探索が可能とする。
【選択図】図1
Description
本発明は、探索対象画像とテンプレート画像から物体領域を探索方法と、その方法をコンピュータに実行させるプログラムと、探索装置に関するもので、特に、正規化クロスパワースペクトルを用いて、マッチング判定結果を高速に得ることができる物体領域探索方法,物体領域探索プログラムおよび物体領域探索装置に関するものである。
従来から、探索対象画像とテンプレート画像から物体領域を探索する方法として、信号領域における相互相関法や正規化相互相関法によるテンプレートマッチングが広く用いられている。相互相関法や正規化相互相関法は、全探索領域内に対してテンプレート画像と相関を求めて、最も相関の高かった領域(位置)を対象物領域と推定するものである。かかる推定方法では、探索対象画像の画素単位で探索信号領域を移動しながら相関を計算していたため、計算量が多く、リアルタイムな探索が困難であった。特に、高解像度の画像の場合は、尚更困難であった。
次に、相互相関法と正規化相互相関法について各々の特徴について説明する。まず相互相関法の場合、Wiener-Kkintchinの定理を用い、フーリエ変換を利用して高速に演算推定することが可能であるといった利点がある反面、推定精度の面で課題がある。一方、正規化相互相関法の場合は、相互相関法に比べて高精度に領域(位置)を探索できるといった利点があるものの、相互相関法に比べて計算量が多く、また、相互相関法と異なりフーリエ変換を利用して計算することができないため、探索結果の算出に時間を要するといった点が課題である。
上述の正規化相互相関法について、数式を示しながら説明する。正規化相互相関法では、全探索領域内に対してテンプレート画像と相関を求めて、最も相関の高かった領域(位置)を対象物領域と推定する過程において、画像サイズW×Hの探索対象画像I(x、y)とw×hのテンプレート画像T(i,j)に対して、下記式で示される相関係数R(x,y)を計算するのである。
この相関係数R(x,y)の最大値となるところが、マッチングした領域の先頭座標となる。相関係数R(x,y)の最大値を算出するために、探索対象画像領域を1画素単位で移動しながら相関係数Rを計算する。
この正規化相互相関法は、上述したように相互相関法に比べて高精度に領域を探索できる一方、相関係数R(x,y)の計算式に分母項があるためフーリエ変換を利用した計算の高速化が行えない。
この正規化相互相関法は、上述したように相互相関法に比べて高精度に領域を探索できる一方、相関係数R(x,y)の計算式に分母項があるためフーリエ変換を利用した計算の高速化が行えない。
また、入力画像とその比較対象となる参照画像とを対応づける対応点を探索するものとして、特に、画像間の対応付けをおこなう際に、局所解に陥ることなく安定した対応付け結果を高速に得ることができる画像の対応点探索装置、対応点探索方法およびその方法をコンピュータに実行させるプログラムが知られている(特許文献1)。
これは、類似度画像作成段階と複数の類似度画像を累積加算した結果に基づいて最適な対応点を決定する対応点決定段階とからなる。先ず、類似度画像作成段階では、参照部分画像を入力部分画像内で移動させ順次相関値を求め、この相関値を画素値として持つ類似度画像を作成する(この類似度画像は、参照部分画像上の中心点が入力部分画像上の点にどの程度類似しているかを示すことになる。)。
次に、対応点決定段階で、各類似度画像の画素値を垂直方向および水平方向に再帰的に累積加算を繰り返しながら各類似度画像を更新し、各類似度画像を形成する画素のうち最大の画素値を持つ画素の位置を求め、この位置を入力部分画像上での対応点として決定するものである。参照部分画像を入力部分画像内で移動させ順次相関値を求める過程を経るため、画像間の対応付けを高速に得ることが困難である。
これは、類似度画像作成段階と複数の類似度画像を累積加算した結果に基づいて最適な対応点を決定する対応点決定段階とからなる。先ず、類似度画像作成段階では、参照部分画像を入力部分画像内で移動させ順次相関値を求め、この相関値を画素値として持つ類似度画像を作成する(この類似度画像は、参照部分画像上の中心点が入力部分画像上の点にどの程度類似しているかを示すことになる。)。
次に、対応点決定段階で、各類似度画像の画素値を垂直方向および水平方向に再帰的に累積加算を繰り返しながら各類似度画像を更新し、各類似度画像を形成する画素のうち最大の画素値を持つ画素の位置を求め、この位置を入力部分画像上での対応点として決定するものである。参照部分画像を入力部分画像内で移動させ順次相関値を求める過程を経るため、画像間の対応付けを高速に得ることが困難である。
一方、は2つのマイクロフォン間にて到達する信号の時間差を推定する方法として、CSP(Crosspower-Spectrum Phase)法が知られている。このCSP法は、従来は音声などの音の到来方向の推定として利用されていた(非特許文献1乃至3)。
上述の問題点に対応すべく、本発明は、高精度に領域(位置)を探索でき、且つ、高速でリアルタイムな探索を可能とし得る物体領域探索方法,物体領域探索プログラムおよび物体領域探索装置を提供することを目的とする。
上述の目的を達成するため、本発明の物体領域探索方法は、探索対象画像とテンプレート画像から物体領域を探索する方法であって、
1)探索対象画像とテンプレート画像に対してフーリエ変換を用いて周波数領域へ変換するフーリエ変換工程と、
2)前記フーリエ変換工程によって得られた前記探索対象画像および前記テンプレート画像の各々の複素スペクトルからクロスパワースペクトルを算出するスペクトル算出工程と、
3)前記クロススペクトルに対して周波数毎の重みフィルターを用いてパワー成分を消去して位相成分のみに正規化する正規化工程と、
4)前記正規化工程により正規化されたものに対して逆フーリエ変換を用いて実座標領域上の相関係数を算出する逆フーリエ変換工程と、
5)前記逆フーリエ変換工程によって得られた前記相関係数が最大値となる座標を用いてパターンマッチング判定を行うマッチング判定工程とを含んだことを特徴とする。
1)探索対象画像とテンプレート画像に対してフーリエ変換を用いて周波数領域へ変換するフーリエ変換工程と、
2)前記フーリエ変換工程によって得られた前記探索対象画像および前記テンプレート画像の各々の複素スペクトルからクロスパワースペクトルを算出するスペクトル算出工程と、
3)前記クロススペクトルに対して周波数毎の重みフィルターを用いてパワー成分を消去して位相成分のみに正規化する正規化工程と、
4)前記正規化工程により正規化されたものに対して逆フーリエ変換を用いて実座標領域上の相関係数を算出する逆フーリエ変換工程と、
5)前記逆フーリエ変換工程によって得られた前記相関係数が最大値となる座標を用いてパターンマッチング判定を行うマッチング判定工程とを含んだことを特徴とする。
上記の物体領域探索方法において、クロススペクトルに対して周波数毎の重みフィルターを用いてパワー成分を消去して位相成分のみに正規化することで、周波数上にて画像を白色化することができ、位相情報のみに注目した探索が可能となるのである。
統計量としての相互相関関数が、原信号のフーリエクロススペクトル求めて、それを逆フーリエ変換することで求められるというWiener-Kkintchinの定理に比べて、本物体領域探索方法は、クロススペクトルに対して周波数毎の重みフィルターを用いてパワー成分(パワー項)を消去することで、正規化相互相関法と近似した式とし、それを逆フーリエ変換することで相関係数を求めるというものである。
統計量としての相互相関関数が、原信号のフーリエクロススペクトル求めて、それを逆フーリエ変換することで求められるというWiener-Kkintchinの定理に比べて、本物体領域探索方法は、クロススペクトルに対して周波数毎の重みフィルターを用いてパワー成分(パワー項)を消去することで、正規化相互相関法と近似した式とし、それを逆フーリエ変換することで相関係数を求めるというものである。
これにより、正規化相互相関法では、計算式の特性からフーリエ変換を適用した計算が困難で、計算量が非常に大きくなっていたのに対して、本物体領域探索方法では、クロススペクトルに対して周波数毎の重みフィルターを用いてパワー成分(パワー項)を消去することで、正規化相互相関法と近似した計算ができ、また、フーリエ変換を適用した計算も行えるので、高い探索精度で、且つ、高速な探索が可能となる。
また、本物体領域探索方法は、位相情報のみに注目した探索が可能なため、正規化相互相関法よりも目的とする領域(位置)に対して鋭いピーク値を得ることが可能となる。
また、本物体領域探索方法は、位相情報のみに注目した探索が可能なため、正規化相互相関法よりも目的とする領域(位置)に対して鋭いピーク値を得ることが可能となる。
また、本発明の物体領域探索方法は、探索対象画像とテンプレート画像から物体領域を探索する方法であって、
1)探索対象画像I(x,y)とテンプレート画像T(i,j)に対してフーリエ変換を用いて周波数領域へ変換して、複素スペクトルI(ω1,ω2)とT(ω1,ω2)を算出するフーリエ変換工程と、
2)下記数式に適用して、正規化クロスパワースペクトルΦを算出する正規化クロスパワースペクトル算出工程と、
3)前記正規化クロスパワースペクトルに対して、逆フーリエ変換を用いて実座標領域上の相関係数を算出する逆フーリエ変換工程と、
4)前記逆フーリエ変換工程によって得られた前記相関係数が最大値となる座標を用いてパターンマッチング判定を行うマッチング判定工程とを含んだことを特徴とする。
尚、下記数式中、T*はTの複素共役スペクトルである。
1)探索対象画像I(x,y)とテンプレート画像T(i,j)に対してフーリエ変換を用いて周波数領域へ変換して、複素スペクトルI(ω1,ω2)とT(ω1,ω2)を算出するフーリエ変換工程と、
2)下記数式に適用して、正規化クロスパワースペクトルΦを算出する正規化クロスパワースペクトル算出工程と、
3)前記正規化クロスパワースペクトルに対して、逆フーリエ変換を用いて実座標領域上の相関係数を算出する逆フーリエ変換工程と、
4)前記逆フーリエ変換工程によって得られた前記相関係数が最大値となる座標を用いてパターンマッチング判定を行うマッチング判定工程とを含んだことを特徴とする。
尚、下記数式中、T*はTの複素共役スペクトルである。
上記の物体領域探索方法において、正規化クロスパワースペクトルΦは、探索対象画像Iとテンプレート画像Tに対してフーリエ変換を用いて各複素スペクトルを算出し積算したクロススペクトルに対して、周波数毎の重みフィルターを用いてパワー成分(パワー項)を消去することで、正規化相互相関法と近似した計算式となっている。
このため本物体領域探索方法は、高い探索精度で探索が可能で、且つ、フーリエ変換および逆フーリエ変換プロセスによって高速な探索が可能となる。また、位相情報のみに注目した探索が可能なため、正規化相互相関法よりも目的とする領域(位置)に対して鋭いピーク値を得ることが可能となる。
このため本物体領域探索方法は、高い探索精度で探索が可能で、且つ、フーリエ変換および逆フーリエ変換プロセスによって高速な探索が可能となる。また、位相情報のみに注目した探索が可能なため、正規化相互相関法よりも目的とする領域(位置)に対して鋭いピーク値を得ることが可能となる。
ここで、探索対象画像とテンプレート画像の画像サイズが異なる場合には、同じサイズに設定する工程を前処理として行うことが必要である。例えば、探索対象画像とテンプレート画像の各々の画像サイズが異なる場合、小さい画像(通常は、テンプレート画像)のサイズにゼロパディングを行い、同じサイズにしてから、上述の本物体領域探索方法の手順を行う。
次に、本発明の物体領域探索プログラムは、探索対象画像とテンプレート画像から物体領域を探索するプログラムであって、コンピュータに、
1)探索対象画像とテンプレート画像に対してフーリエ変換を用いて周波数領域へ変換するフーリエ変換ステップと、
2)前記フーリエ変換ステップによって得られた前記探索対象画像および前記テンプレート画像の各々の複素スペクトルからクロスパワースペクトルを算出するスペクトル算出ステップと、
3)前記クロススペクトルに対して周波数毎の重みフィルターを用いてパワー成分を消去して位相成分のみに正規化する正規化ステップと、
4)前記正規化ステップにより正規化されたものに対して逆フーリエ変換を用いて実座標領域上の相関係数を算出する逆フーリエ変換ステップと、
5)前記逆フーリエ変換ステップによって得られた前記相関係数が最大値となる座標を用いてパターンマッチング判定を行うマッチング判定ステップとを実行させることを特徴とする。
1)探索対象画像とテンプレート画像に対してフーリエ変換を用いて周波数領域へ変換するフーリエ変換ステップと、
2)前記フーリエ変換ステップによって得られた前記探索対象画像および前記テンプレート画像の各々の複素スペクトルからクロスパワースペクトルを算出するスペクトル算出ステップと、
3)前記クロススペクトルに対して周波数毎の重みフィルターを用いてパワー成分を消去して位相成分のみに正規化する正規化ステップと、
4)前記正規化ステップにより正規化されたものに対して逆フーリエ変換を用いて実座標領域上の相関係数を算出する逆フーリエ変換ステップと、
5)前記逆フーリエ変換ステップによって得られた前記相関係数が最大値となる座標を用いてパターンマッチング判定を行うマッチング判定ステップとを実行させることを特徴とする。
また、本発明の物体領域探索プログラムは、探索対象画像とテンプレート画像から物体領域を探索するプログラムであって、コンピュータに、
1)探索対象画像I(x,y)とテンプレート画像T(i,j)に対してフーリエ変換を用いて周波数領域へ変換して、複素スペクトルI(ω1,ω2)とT(ω1,ω2)を算出するフーリエ変換ステップと、
2)次の数式に適用して、正規化クロスパワースペクトルΦを算出する正規化クロスパワースペクトル算出ステップと、
3)前記正規化クロスパワースペクトルに対して、逆フーリエ変換を用いて実座標領域上の相関係数を算出する逆フーリエ変換ステップと、
4)前記逆フーリエ変換ステップによって得られた前記相関係数が最大値となる座標を用いてパターンマッチング判定を行うマッチング判定ステップとを実行させることを特徴とする。
尚、下記数式中、T*はTの複素共役スペクトルである。
1)探索対象画像I(x,y)とテンプレート画像T(i,j)に対してフーリエ変換を用いて周波数領域へ変換して、複素スペクトルI(ω1,ω2)とT(ω1,ω2)を算出するフーリエ変換ステップと、
2)次の数式に適用して、正規化クロスパワースペクトルΦを算出する正規化クロスパワースペクトル算出ステップと、
3)前記正規化クロスパワースペクトルに対して、逆フーリエ変換を用いて実座標領域上の相関係数を算出する逆フーリエ変換ステップと、
4)前記逆フーリエ変換ステップによって得られた前記相関係数が最大値となる座標を用いてパターンマッチング判定を行うマッチング判定ステップとを実行させることを特徴とする。
尚、下記数式中、T*はTの複素共役スペクトルである。
これらの物体領域探索プログラムは、前述の物体領域探索方法をコンピュータに実行されるものである。
次に、本発明の物体領域探索装置は、探索対象画像とテンプレート画像から物体領域を探索する装置であって、
1)探索対象画像とテンプレート画像に対してフーリエ変換を用いて周波数領域へ変換するフーリエ変換手段と、
2)前記フーリエ変換手段によって得られた前記探索対象画像および前記テンプレート画像の各々の複素スペクトルからクロスパワースペクトルを算出するスペクトル算出手段と、
3)前記クロススペクトルに対して周波数毎の重みフィルターを用いてパワー成分を消去して位相成分のみに正規化する正規化手段と、
4)前記正規化手段により正規化されたものに対して逆フーリエ変換を用いて実座標領域上の相関係数を算出する逆フーリエ変換手段と、
5)前記逆フーリエ変換手段によって得られた前記相関係数が最大値となる座標を用いてパターンマッチング判定を行うマッチング判定手段とを備えたことを特徴とする。
1)探索対象画像とテンプレート画像に対してフーリエ変換を用いて周波数領域へ変換するフーリエ変換手段と、
2)前記フーリエ変換手段によって得られた前記探索対象画像および前記テンプレート画像の各々の複素スペクトルからクロスパワースペクトルを算出するスペクトル算出手段と、
3)前記クロススペクトルに対して周波数毎の重みフィルターを用いてパワー成分を消去して位相成分のみに正規化する正規化手段と、
4)前記正規化手段により正規化されたものに対して逆フーリエ変換を用いて実座標領域上の相関係数を算出する逆フーリエ変換手段と、
5)前記逆フーリエ変換手段によって得られた前記相関係数が最大値となる座標を用いてパターンマッチング判定を行うマッチング判定手段とを備えたことを特徴とする。
また、本発明の物体領域探索装置は、探索対象画像とテンプレート画像から物体領域を探索する装置であって、
1)探索対象画像I(x,y)とテンプレート画像T(i,j)に対してフーリエ変換を用いて周波数領域へ変換して、複素スペクトルI(ω1,ω2)とT(ω1,ω2)を算出するフーリエ変換手段と、
2)次の数式に適用して、正規化クロスパワースペクトルΦを算出する正規化クロスパワースペクトル算出手段と、
3)前記正規化クロスパワースペクトルに対して、逆フーリエ変換を用いて実座標領域上の相関係数を算出する逆フーリエ変換手段と、
4)前記逆フーリエ変換手段によって得られた前記相関係数が最大値となる座標を用いてパターンマッチング判定を行うマッチング判定手段とを備えたことを特徴とする。
尚、下記数式中、T*はTの複素共役スペクトルである。
1)探索対象画像I(x,y)とテンプレート画像T(i,j)に対してフーリエ変換を用いて周波数領域へ変換して、複素スペクトルI(ω1,ω2)とT(ω1,ω2)を算出するフーリエ変換手段と、
2)次の数式に適用して、正規化クロスパワースペクトルΦを算出する正規化クロスパワースペクトル算出手段と、
3)前記正規化クロスパワースペクトルに対して、逆フーリエ変換を用いて実座標領域上の相関係数を算出する逆フーリエ変換手段と、
4)前記逆フーリエ変換手段によって得られた前記相関係数が最大値となる座標を用いてパターンマッチング判定を行うマッチング判定手段とを備えたことを特徴とする。
尚、下記数式中、T*はTの複素共役スペクトルである。
本発明の物体領域探索装置は、上述の物体領域探索プログラムを搭載したコンピュータであり、1台のスタンドアロンのコンピュータでも、複数台のコンピュータがネットワーク上で分散して上述の物体領域探索プログラムの各ステップを行うものでもよい。
本発明の物体領域探索方法,物体領域探索プログラムおよび物体領域探索装置によれば、周波数上にて画像を白色化することにより、位相情報のみに注目した探索が可能となり、従来の信号領域における正規化相互相関法よりも、目的とする領域(位置)に対して鋭いピーク値を得ることができるといった効果がある。
また、従来法では画素単位で探索信号領域を移動しながら相関を計算していたのに対し、本発明の物体領域探索方法,物体領域探索プログラムおよび物体領域探索装置では、周波数上にて相関計算を行うため、計算量が大幅に削減され高速な探索が可能となるといった効果がある。
従って、本発明の物体領域探索方法,物体領域探索プログラムおよび物体領域探索装置によれば、高精度でリアルタイムな探索が行える。
また、従来法では画素単位で探索信号領域を移動しながら相関を計算していたのに対し、本発明の物体領域探索方法,物体領域探索プログラムおよび物体領域探索装置では、周波数上にて相関計算を行うため、計算量が大幅に削減され高速な探索が可能となるといった効果がある。
従って、本発明の物体領域探索方法,物体領域探索プログラムおよび物体領域探索装置によれば、高精度でリアルタイムな探索が行える。
さらに、本発明の物体領域探索方法,物体領域探索プログラムおよび物体領域探索装置によれば、周波数帯域の分割化により、探索物体の特性に応じた精度の高い探索への応用が期待できる。
以下、本発明の実施形態について、以下詳細に説明していく。図1は、本発明の物体領域探索方法の手順を示すフロー図を示している。
図1のフロー図に示されるように、本発明の物体領域探索方法は、フーリエ変換工程11と、スペクトル算出工程12と、正規化工程13と、逆フーリエ変換工程14と、マッチング判定工程15とからなる。
図1のフロー図に示されるように、本発明の物体領域探索方法は、フーリエ変換工程11と、スペクトル算出工程12と、正規化工程13と、逆フーリエ変換工程14と、マッチング判定工程15とからなる。
先ず前処理として、探索対象画像とテンプレート画像の画像サイズが異なる場合、小さい画像サイズにゼロパディングを行い、同じ画像サイズにする。
フーリエ変換工程11は、探索対象画像とテンプレート画像に対してフーリエ変換を用いて周波数領域へ変換する。探索対象画像I(x,y)とテンプレート画像T(i,j)に対してフーリエ変換を用いて周波数領域へ変換して、複素スペクトルI(ω1,ω2)とT(ω1,ω2)を算出する数式8および数式9を下記に示す。
フーリエ変換工程11は、探索対象画像とテンプレート画像に対してフーリエ変換を用いて周波数領域へ変換する。探索対象画像I(x,y)とテンプレート画像T(i,j)に対してフーリエ変換を用いて周波数領域へ変換して、複素スペクトルI(ω1,ω2)とT(ω1,ω2)を算出する数式8および数式9を下記に示す。
次に、スペクトル算出工程12は、フーリエ変換工程11によって得られた探索対象画像およびテンプレート画像の各々の複素スペクトルであるI(ω1,ω2)およびT(ω1,ω2)から、下記数式で示されるクロスパワースペクトルを算出する。
次に、正規化工程13は、上記のクロススペクトルCS(ω1,ω2)に対して周波数毎の重みフィルターを用いてパワー成分を消去して位相成分のみに正規化する。下記数式に周波数毎の重みフィルターを示す。
また、クロススペクトルCS(ω1,ω2)に対して周波数毎の重みフィルターを用いてパワー成分を消去して位相成分のみに正規化した正規化クロスパワースペクトルΦを、下記数式に示す。
次に、逆フーリエ変換工程14は、正規化クロスパワースペクトルΦに対して逆フーリエ変換を用いて、下記数式で示される実座標領域上の相関係数C(x、y)を算出する。尚、下記数式において、定係数は無視している。
本発明の物体領域探索方法において、一例として人の目の探索対象画像とテンプレート画像に対して、正規化クロスパワースペクトルΦに対して逆フーリエ変換を用いて算出した相関係数C(x、y)を図示したものを図2(a)に示す。また、比較用として従来の信号領域における正規化相互相関法を用いて得られた正規化相互相関関数を図示したものを図2(b)に示す。
図2から、本発明の物体領域探索方法の方が、従来の信号領域における正規化相互相関法よりも、目的とする領域(位置)に対して鋭いピーク値を得ることができているのが把握できる。これは、本発明の物体領域探索方法が、周波数上にて画像を白色化することにより、位相情報のみに注目した探索を行うためである。
図2から、本発明の物体領域探索方法の方が、従来の信号領域における正規化相互相関法よりも、目的とする領域(位置)に対して鋭いピーク値を得ることができているのが把握できる。これは、本発明の物体領域探索方法が、周波数上にて画像を白色化することにより、位相情報のみに注目した探索を行うためである。
そして、図1のフローにおいて、マッチング判定工程15は、逆フーリエ変換工程14によって得られた相関係数が最大値となる座標を用いてパターンマッチング判定を行う。マッチングした領域の先頭座標(x、y)は、下記数式で示される。
パターンマッチング判定は、相関関数の値がある閾値を超えたかどうか、全探索領域で最大値をとるかどうかで判定している。
パターンマッチング判定は、相関関数の値がある閾値を超えたかどうか、全探索領域で最大値をとるかどうかで判定している。
図3は、本発明の物体領域探索方法に関して、模式的に手順を示したものである。図3では、一例として、人の目の探索対象画像とテンプレート画像に対して、本物体領域探索方法の処理の流れを示している。図3に示されるように、本物体領域探索方法の処理の流れは、人の目の探索対象画像とテンプレート画像に対して、2つの画像をフーリエ変換し、正規化クロスパワースペクトルを求め、それを逆二次元フーリエ変換し、最大値となる座標をマッチング領域の先頭座標として用いるといったものである。
次に、本発明の物体領域探索プログラムのアルゴリズムについて説明する。図4は、本発明の物体領域探索プログラムのアルゴリズムを示したフローチャートである。本発明の物体領域探索プログラムは、フーリエ変換ステップ41と、スペクトル算出ステップ42と、正規化ステップ43と、逆フーリエ変換ステップ44と、マッチング判定ステップ45とからなる。
各ステップ(41〜45)については、前述の物体領域探索方法の各工程(11〜15)と同様であるので説明は割愛する。
各ステップ(41〜45)については、前述の物体領域探索方法の各工程(11〜15)と同様であるので説明は割愛する。
次に、本発明の物体領域探索装置について説明する。図5は、本発明の物体領域探索装置の機能ブロック図である。本発明の物体領域探索装置は、フーリエ変換手段51と、スペクトル算出手段52と、正規化手段53と、逆フーリエ変換手段54と、マッチング判定手段55と、画像入力手段56と、サイズ設定手段57と、マッチング判定結果出力手段58とからなる。
画像入力手段56は、探索対象画像とテンプレート画像を取り込むものである。
サイズ設定手段57は、探索対象画像と前記テンプレート画像の画像サイズが異なる場合に同じサイズにすべく、小さい画像サイズにゼロパディングを行うものである。
また、フーリエ変換手段51は、探索対象画像とテンプレート画像に対してフーリエ変換を用いて周波数領域へ変換するものである。
スペクトル算出手段52は、フーリエ変換手段51によって得られた探索対象画像およびテンプレート画像の各々の複素スペクトルからクロスパワースペクトルを算出するものである。
そして、正規化手段53は、クロススペクトルに対して周波数毎の重みフィルターを用いてパワー成分を消去して位相成分のみに正規化するものである。
逆フーリエ変換手段54は、正規化手段53により正規化されたものに対して逆フーリエ変換を用いて実座標領域上の相関係数を算出するものである。
マッチング判定手段55は、逆フーリエ変換手段54によって得られた相関係数が最大値となる座標を用いてパターンマッチング判定を行うものである。
そして、マッチング判定結果出力手段58は、マッチング判定の結果をモニター画面に表示したり、別の処理が使用するデータとして保存したり、他のコンピュータにネットワークを介して送信したりするものである。
サイズ設定手段57は、探索対象画像と前記テンプレート画像の画像サイズが異なる場合に同じサイズにすべく、小さい画像サイズにゼロパディングを行うものである。
また、フーリエ変換手段51は、探索対象画像とテンプレート画像に対してフーリエ変換を用いて周波数領域へ変換するものである。
スペクトル算出手段52は、フーリエ変換手段51によって得られた探索対象画像およびテンプレート画像の各々の複素スペクトルからクロスパワースペクトルを算出するものである。
そして、正規化手段53は、クロススペクトルに対して周波数毎の重みフィルターを用いてパワー成分を消去して位相成分のみに正規化するものである。
逆フーリエ変換手段54は、正規化手段53により正規化されたものに対して逆フーリエ変換を用いて実座標領域上の相関係数を算出するものである。
マッチング判定手段55は、逆フーリエ変換手段54によって得られた相関係数が最大値となる座標を用いてパターンマッチング判定を行うものである。
そして、マッチング判定結果出力手段58は、マッチング判定の結果をモニター画面に表示したり、別の処理が使用するデータとして保存したり、他のコンピュータにネットワークを介して送信したりするものである。
以上、本発明の実施の形態について説明したが、本発明は上記の実施の形態に限定されることはない。その他、本発明は、主旨を逸脱しない範囲で当業者の知識に基づき種々の改良、修正、変更を加えた態様で実施できるものである。以下、本発明の物体領域探索方法について、実施例によりそのパフォーマンスを説明する。
実施例1の物体領域探索方法は、人の目の探索を行って、正規化相互相関法よりも計算時間が大幅に短縮された実験結果を説明するものである。
先ず、室内環境にて1人の話者に対して、デジタルビデオカメラにより収録を行い、収録した映像データに対して、まずアダブースト(AdaBoost)を用いて顔の切り出しを行った。
次に目領域の探索は、切り出された領域内に対して行う。このとき、目の探索領域を右目と左目の2等分にして、右側を右目のテンプレートを使い探索を行い、左側を左目のテンプレートを使い目領域の探索を行った。評価データの総フレーム数は、3137フレームである。
次に目領域の探索は、切り出された領域内に対して行う。このとき、目の探索領域を右目と左目の2等分にして、右側を右目のテンプレートを使い探索を行い、左側を左目のテンプレートを使い目領域の探索を行った。評価データの総フレーム数は、3137フレームである。
テンプレートを作成するために、矩形領域内の平均輝度差であるHaar型特徴量を使用し、アダブースト(AdaBoost)を用いて、最初の100フレームに対して目領域を自動で抽出した。領域内から同一サイズの矩形(白領域と黒領域)を抽出し、その矩形内平均輝度差を算出し、認識対象の特徴をよくあらわす矩形を求め、組み合わせる事で更に精度良く対象物体を抽出した。Haar型特徴量の学習に使用した目領域データ数は3000枚、非目領域データは1732枚である(これらは、評価話者および収録環境は異なるものである)。このような検出器を使い、評価データに対して最初の100フレームの目領域を自動で抽出した。目の形状をHaar型特徴量として抽出することが要因となって、誤検出も多く含まれてしまうため、図6のようなHaar型特徴量で抽出された領域を3分割し、中央領域とその両側の矩形内平均輝度差が最も大きいものを正しい目領域であると考え、テンプレートとして採用した。抽出されたテンプレートを図7に示す。
図8に評価データを処理するのにかかった計算時間を示す。計算は、汎用のコンピュータ(Pentium 4, CPU 3GHz;Pentiumは登録商標である)で行った。従来の信号領域における正規化相互相関法による計算時間が約1372秒であるのに対し、本発明の物体領域探索方法では約323秒となった。計算時間は約75%程度まで短縮されていることが確認できる。なお、探索目領域の画素数は平均で約8900画素であった。
図8の計算時間の結果から、正規化相互相関法よりも本発明の物体領域探索方法の方が、高速な探索が行えることが示される。これは、正規化相互相関法が画素単位で探索信号領域を移動しながら相関を計算していたのに対し、本発明の物体領域探索方法では周波数上にて相関処理を行うため、計算量が大幅に削減されたためである。
この計算量の削減量、探索時間の短縮率は、対象探索領域の画素数が増えれば増えるほど大きくなり、本発明の物体領域探索方法が高解像度画像に対して効果的に機能することが容易に理解されよう。
図8の計算時間の結果から、正規化相互相関法よりも本発明の物体領域探索方法の方が、高速な探索が行えることが示される。これは、正規化相互相関法が画素単位で探索信号領域を移動しながら相関を計算していたのに対し、本発明の物体領域探索方法では周波数上にて相関処理を行うため、計算量が大幅に削減されたためである。
この計算量の削減量、探索時間の短縮率は、対象探索領域の画素数が増えれば増えるほど大きくなり、本発明の物体領域探索方法が高解像度画像に対して効果的に機能することが容易に理解されよう。
次に、探索結果(正解率)を図9に示す。従来の信号領域における正規化相互相関法では、左目および右目ともに100%の正解率を示している。一方、本発明の物体領域探索方法では左目98.6%、右目97.7%となっている。この要因としてテンプレートが目を開けている状態だったため、目が閉まる際に誤検出が多く存在したものであり、マルチテンプレートにするなどテンプレートの改善で探索精度が向上できると考えられる。
また、参考までに、本発明の物体領域探索方法において、クロススペクトルに対して周波数毎の重みフィルターを用いてパワー成分を消去して位相成分のみに正規化しないで、クロススペクトルで目領域探索を行った場合、その正解率は、右目 2.3 %、左目 0.26 %となった。これは、正規化を行っていないため、わずかな輝度差などの変化にも敏感に反応し、検出率が劣化してしまったのが要因として考えられる。
本発明の物体領域探索方法,物体領域探索プログラムおよび物体領域探索装置は、画像のテンプレートマッチングに利用でき、様々な物体探索に活用できるもので産業上の利用価値を有するものである。特に、高精度でリアルタイムに物体探索が行えることから、動画配信に利用できる可能性がある。
50 物体領域探索装置
Claims (9)
- 探索対象画像とテンプレート画像から物体領域を探索する方法であって、
1)探索対象画像とテンプレート画像に対してフーリエ変換を用いて周波数領域へ変換するフーリエ変換工程と、
2)前記フーリエ変換工程によって得られた前記探索対象画像および前記テンプレート画像の各々の複素スペクトルからクロスパワースペクトルを算出するスペクトル算出工程と、
3)前記クロススペクトルに対して周波数毎の重みフィルターを用いてパワー成分を消去して位相成分のみに正規化する正規化工程と、
4)前記正規化工程により正規化されたものに対して逆フーリエ変換を用いて実座標領域上の相関係数を算出する逆フーリエ変換工程と、
5)前記逆フーリエ変換工程によって得られた前記相関係数が最大値となる座標を用いてパターンマッチング判定を行うマッチング判定工程と
を含んだことを特徴とする物体領域探索方法。 - 探索対象画像とテンプレート画像から物体領域を探索する方法であって、
1)探索対象画像I(x,y)とテンプレート画像T(i,j)に対してフーリエ変換を用いて周波数領域へ変換して、複素スペクトルI(ω1,ω2)とT(ω1,ω2)を算出するフーリエ変換工程と、
2)次の数式に適用して、正規化クロスパワースペクトルΦを算出する正規化クロスパワースペクトル算出工程と、
3)前記正規化クロスパワースペクトルに対して、逆フーリエ変換を用いて実座標領域上の相関係数を算出する逆フーリエ変換工程と、
4)前記逆フーリエ変換工程によって得られた前記相関係数が最大値となる座標を用いてパターンマッチング判定を行うマッチング判定工程と
を含んだことを特徴とする物体領域探索方法。 - 前記探索対象画像と前記テンプレート画像の画像サイズが異なる場合に同じサイズに設定する工程を前処理として行うことを特徴とする請求項1又は2に記載の物体領域探索方法。
- 探索対象画像とテンプレート画像から物体領域を探索するプログラムであって、
コンピュータに、
1)探索対象画像とテンプレート画像に対してフーリエ変換を用いて周波数領域へ変換するフーリエ変換ステップと、
2)前記フーリエ変換ステップによって得られた前記探索対象画像および前記テンプレート画像の各々の複素スペクトルからクロスパワースペクトルを算出するスペクトル算出ステップと、
3)前記クロススペクトルに対して周波数毎の重みフィルターを用いてパワー成分を消去して位相成分のみに正規化する正規化ステップと、
4)前記正規化ステップにより正規化されたものに対して逆フーリエ変換を用いて実座標領域上の相関係数を算出する逆フーリエ変換ステップと、
5)前記逆フーリエ変換ステップによって得られた前記相関係数が最大値となる座標を用いてパターンマッチング判定を行うマッチング判定ステップと
を実行させるための物体領域探索プログラム。 - 探索対象画像とテンプレート画像から物体領域を探索するプログラムであって、
コンピュータに、
1)探索対象画像I(x,y)とテンプレート画像T(i,j)に対してフーリエ変換を用いて周波数領域へ変換して、複素スペクトルI(ω1,ω2)とT(ω1,ω2)を算出するフーリエ変換ステップと、
2)次の数式に適用して、正規化クロスパワースペクトルΦを算出する正規化クロスパワースペクトル算出ステップと、
3)前記正規化クロスパワースペクトルに対して、逆フーリエ変換を用いて実座標領域上の相関係数を算出する逆フーリエ変換ステップと、
4)前記逆フーリエ変換ステップによって得られた前記相関係数が最大値となる座標を用いてパターンマッチング判定を行うマッチング判定ステップと
を実行させるための物体領域探索プログラム。 - 前記探索対象画像と前記テンプレート画像の画像サイズが異なる場合に同じサイズに設定するステップを前処理としてコンピュータに実行させることを特徴とする請求項4又は5に記載の物体領域探索プログラム。
- 探索対象画像とテンプレート画像から物体領域を探索する装置であって、
1)探索対象画像とテンプレート画像に対してフーリエ変換を用いて周波数領域へ変換するフーリエ変換手段と、
2)前記フーリエ変換手段によって得られた前記探索対象画像および前記テンプレート画像の各々の複素スペクトルからクロスパワースペクトルを算出するスペクトル算出手段と、
3)前記クロススペクトルに対して周波数毎の重みフィルターを用いてパワー成分を消去して位相成分のみに正規化する正規化手段と、
4)前記正規化手段により正規化されたものに対して逆フーリエ変換を用いて実座標領域上の相関係数を算出する逆フーリエ変換手段と、
5)前記逆フーリエ変換手段によって得られた前記相関係数が最大値となる座標を用いてパターンマッチング判定を行うマッチング判定手段と
を備えたことを特徴とする物体領域探索装置。 - 探索対象画像とテンプレート画像から物体領域を探索する装置であって、
1)探索対象画像I(x,y)とテンプレート画像T(i,j)に対してフーリエ変換を用いて周波数領域へ変換して、複素スペクトルI(ω1,ω2)とT(ω1,ω2)を算出するフーリエ変換手段と、
2)次の数式に適用して、正規化クロスパワースペクトルΦを算出する正規化クロスパワースペクトル算出手段と、
3)前記正規化クロスパワースペクトルに対して、逆フーリエ変換を用いて実座標領域上の相関係数を算出する逆フーリエ変換手段と、
4)前記逆フーリエ変換手段によって得られた前記相関係数が最大値となる座標を用いてパターンマッチング判定を行うマッチング判定手段と
を備えたことを特徴とする物体領域探索装置。 - 前記探索対象画像と前記テンプレート画像の画像サイズが異なる場合に同じサイズに設定するサイズ設定手段を更に備えることを特徴とする請求項8又は9に記載の物体領域探索装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006187363A JP2008015848A (ja) | 2006-07-07 | 2006-07-07 | 物体領域探索方法,物体領域探索プログラムおよび物体領域探索装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006187363A JP2008015848A (ja) | 2006-07-07 | 2006-07-07 | 物体領域探索方法,物体領域探索プログラムおよび物体領域探索装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008015848A true JP2008015848A (ja) | 2008-01-24 |
Family
ID=39072788
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006187363A Pending JP2008015848A (ja) | 2006-07-07 | 2006-07-07 | 物体領域探索方法,物体領域探索プログラムおよび物体領域探索装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008015848A (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018170640A (ja) * | 2017-03-30 | 2018-11-01 | 日本電気株式会社 | マルチトーン信号検出装置、マルチトーン信号検出方法及びプログラム |
KR20190005516A (ko) * | 2017-07-07 | 2019-01-16 | 한국항공우주연구원 | 영상 패치 정규화 방법 및 시스템 |
WO2019123917A1 (ja) | 2017-12-22 | 2019-06-27 | 日本電気株式会社 | 画像照合装置 |
WO2019171413A1 (ja) | 2018-03-05 | 2019-09-12 | 日本電気株式会社 | 画像照合装置 |
JPWO2020230320A1 (ja) * | 2019-05-16 | 2020-11-19 | ||
JP2021120864A (ja) * | 2020-05-20 | 2021-08-19 | ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド | 障害物を検出するための方法および装置、電子機器、記憶媒体並びにコンピュータプログラム |
US11132582B2 (en) | 2017-10-05 | 2021-09-28 | Nec Corporation | Individual identification device |
WO2021192216A1 (ja) * | 2020-03-27 | 2021-09-30 | 日本電気株式会社 | 個体識別システム |
US11748442B2 (en) | 2018-04-24 | 2023-09-05 | Nec Corporation | Image matching device |
-
2006
- 2006-07-07 JP JP2006187363A patent/JP2008015848A/ja active Pending
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018170640A (ja) * | 2017-03-30 | 2018-11-01 | 日本電気株式会社 | マルチトーン信号検出装置、マルチトーン信号検出方法及びプログラム |
JP7068601B2 (ja) | 2017-03-30 | 2022-05-17 | 日本電気株式会社 | マルチトーン信号検出装置、マルチトーン信号検出方法及びプログラム |
KR20190005516A (ko) * | 2017-07-07 | 2019-01-16 | 한국항공우주연구원 | 영상 패치 정규화 방법 및 시스템 |
KR101958275B1 (ko) * | 2017-07-07 | 2019-03-14 | 한국항공우주연구원 | 영상 패치 정규화 방법 및 시스템 |
US11132582B2 (en) | 2017-10-05 | 2021-09-28 | Nec Corporation | Individual identification device |
US11227196B2 (en) | 2017-12-22 | 2022-01-18 | Nec Corporation | Image collating device |
WO2019123917A1 (ja) | 2017-12-22 | 2019-06-27 | 日本電気株式会社 | 画像照合装置 |
WO2019171413A1 (ja) | 2018-03-05 | 2019-09-12 | 日本電気株式会社 | 画像照合装置 |
US11468661B2 (en) | 2018-03-05 | 2022-10-11 | Nec Corporation | Image matching device |
US11748442B2 (en) | 2018-04-24 | 2023-09-05 | Nec Corporation | Image matching device |
JPWO2020230320A1 (ja) * | 2019-05-16 | 2020-11-19 | ||
EP3971826A4 (en) * | 2019-05-16 | 2022-05-18 | NEC Corporation | IMAGE COMPARISON DEVICE |
US20220198777A1 (en) * | 2019-05-16 | 2022-06-23 | Nec Corporation | Image matching apparatus |
WO2020230320A1 (ja) | 2019-05-16 | 2020-11-19 | 日本電気株式会社 | 画像照合装置 |
US11989925B2 (en) | 2019-05-16 | 2024-05-21 | Nec Corporation | Image matching apparatus |
JPWO2021192216A1 (ja) * | 2020-03-27 | 2021-09-30 | ||
WO2021192216A1 (ja) * | 2020-03-27 | 2021-09-30 | 日本電気株式会社 | 個体識別システム |
US20220335617A1 (en) * | 2020-03-27 | 2022-10-20 | Nec Corporation | Individual identification system |
JP7251689B2 (ja) | 2020-03-27 | 2023-04-04 | 日本電気株式会社 | 個体識別システム |
JP2021120864A (ja) * | 2020-05-20 | 2021-08-19 | ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド | 障害物を検出するための方法および装置、電子機器、記憶媒体並びにコンピュータプログラム |
US11688099B2 (en) | 2020-05-20 | 2023-06-27 | Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd. | Method and apparatus for detecting obstacle |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2008015848A (ja) | 物体領域探索方法,物体領域探索プログラムおよび物体領域探索装置 | |
US11450146B2 (en) | Gesture recognition method, apparatus, and device | |
US20160154469A1 (en) | Mid-air gesture input method and apparatus | |
US9471829B2 (en) | Method of facial landmark detection | |
CN111445905A (zh) | 混合语音识别网络训练方法、混合语音识别方法、装置及存储介质 | |
JP2003030667A (ja) | イメージ内で目を自動的に位置決めする方法 | |
US20190333243A1 (en) | Method for object size and rotation estimation based on log-polar space | |
JP4858612B2 (ja) | 物体認識システム、物体認識方法および物体認識用プログラム | |
Baranwal et al. | An efficient gesture based humanoid learning using wavelet descriptor and MFCC techniques | |
CN110688929A (zh) | 一种人体骨架关节点定位方法及装置 | |
Vishwakarma et al. | Human activity recognition using gabor wavelet transform and ridgelet transform | |
JP2008009728A (ja) | 表情認識方法及び表情認識装置 | |
JP2007257088A (ja) | ロボット装置及びそのコミュニケーション方法 | |
JP2019512821A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
CN111563490A (zh) | 一种人脸关键点跟踪方法、装置及电子设备 | |
WO2016192213A1 (zh) | 一种图像特征提取方法和装置、存储介质 | |
EP2781991B1 (en) | Signal processing device and signal processing method | |
CN113064118A (zh) | 声源定位方法和装置 | |
Singh et al. | Implementation and evaluation of DWT and MFCC based ISL gesture recognition | |
Suresh et al. | Computer-aided interpreter for hearing and speech impaired | |
KR20150120805A (ko) | 거리 영상에서 사람을 검출하는 방법 및 시스템 | |
CN111880146B (zh) | 声源定向方法和装置及存储介质 | |
JP2019049829A (ja) | 目的区間判別装置、モデル学習装置、及びプログラム | |
Samad et al. | Lower face verification centered on lips using correlation filters | |
JP5865687B2 (ja) | 画像特徴量抽出装置およびそのプログラム |