JP2013037549A - 移動体検出装置、コンピュータプログラム及び移動体検出方法 - Google Patents
移動体検出装置、コンピュータプログラム及び移動体検出方法 Download PDFInfo
- Publication number
- JP2013037549A JP2013037549A JP2011173343A JP2011173343A JP2013037549A JP 2013037549 A JP2013037549 A JP 2013037549A JP 2011173343 A JP2011173343 A JP 2011173343A JP 2011173343 A JP2011173343 A JP 2011173343A JP 2013037549 A JP2013037549 A JP 2013037549A
- Authority
- JP
- Japan
- Prior art keywords
- detection
- captured image
- moving body
- moving object
- evaluation value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Abstract
【課題】移動体を高い精度で検出することができる移動体検出装置、コンピュータプログラム及び移動体検出方法を提供する。
【解決手段】検出ブロック設定部107は、撮像画像上で複数の画素で構成される任意の大きさの検出ブロックを複数設定する。評価値算出部109は、任意の時点tの撮像画像上で、設定した各検出ブロックが移動体の候補領域であるか否かを評価する評価値を検出ブロック毎に算出する。選択部110は、算出された評価値に基づいて、候補領域であると評価された1又は複数の検出ブロックを選択する。移動体領域検出部112は、選択した検出ブロックの撮像画像上の位置及び大きさに基づいて、撮像画像上の移動体領域を検出する。
【選択図】図2
【解決手段】検出ブロック設定部107は、撮像画像上で複数の画素で構成される任意の大きさの検出ブロックを複数設定する。評価値算出部109は、任意の時点tの撮像画像上で、設定した各検出ブロックが移動体の候補領域であるか否かを評価する評価値を検出ブロック毎に算出する。選択部110は、算出された評価値に基づいて、候補領域であると評価された1又は複数の検出ブロックを選択する。移動体領域検出部112は、選択した検出ブロックの撮像画像上の位置及び大きさに基づいて、撮像画像上の移動体領域を検出する。
【選択図】図2
Description
本発明は、撮像装置で移動体を撮像して得られた撮像画像に基づいて該撮像画像上の移動体領域を検出する移動体検出装置、該移動体検出装置を実現するためのコンピュータプログラム及び移動体検出方法に関する。
交通の安全と円滑を確保するために、道路側に設置したインフラ装置と対象車両(車載装置)とが路車間通信にて情報を交換する通信システム、特に対象車両の運転者からは死角となる場所に存在する他の車両又は歩行者などの情報をインフラ装置から対象車両へ提供することができる情報提供システムの検討が進められている。
このような情報提供システムでは、インフラ装置において道路上の車両の位置及び走行状況などを精度よく検出し、検出した結果を対象車両へ提供することが望まれる。このため、インフラ装置には道路上の車両又は歩行者などの移動体を検出するセンサなどの搭載が必要である。移動体の検出範囲、製品寿命及びコスト等の性能を考慮した場合、ビデオカメラで撮像した撮像画像を利用して車両又は歩行者などの移動体を検出する方式が有力である。
撮像画像を処理して移動体を検出する方法としては、例えば、テンプレート画像による画像探索を行うテンプレートマッチング法がある。テンプレートマッチング法は、ある時刻での撮像画像上の移動体領域をテンプレートとして撮像画像から抽出し、その後の時刻での撮像画像においてテンプレートに最も類似する画像領域を探し出すことによって、移動体領域を追跡する方法である(例えば、特許文献1参照)。
しかしながら、従来のテンプレートマッチング法では、追跡対象の移動体が道路上の日陰から日向へ移動した場合に、撮像画像上で移動体を示す移動体領域の画素の輝度変化が大きくなり、テンプレートとの類似度が小さくなる結果、日陰内の路面などを誤って移動体と検出する傾向があるという問題がある。このため、移動体を高い精度で検出する技術が望まれていた。
本発明は、斯かる事情に鑑みてなされたものであり、移動体を高い精度で検出することができる移動体検出装置、該移動体検出装置を実現するためのコンピュータプログラム及び移動体検出方法を提供することを目的とする。
第1発明に係る移動体検出装置は、撮像装置で移動体を撮像して得られた撮像画像に基づいて該撮像画像上の移動体領域を検出する移動体検出装置において、前記撮像画像上で複数の画素で構成される任意の大きさの検出ブロックを複数設定する設定手段と、該設定手段で設定した各検出ブロックが移動体の候補領域であるか否かを評価する評価値を前記検出ブロック毎に算出する評価値算出手段と、該評価値算出手段で算出した評価値に基づいて候補領域であると評価された1又は複数の検出ブロックを選択する選択手段と、該選択手段で選択した検出ブロックの前記撮像画像上の位置及び大きさに基づいて、前記撮像画像上の移動体領域を検出する検出手段とを備えることを特徴とする。
第2発明に係る移動体検出装置は、第1発明において、各検出ブロックの各画素の画素値に基づいて特徴量を算出する特徴量算出手段を備え、前記評価値算出手段は、前記特徴量算出手段で算出した特徴量をサポートベクターマシン又はブースティングを用いて評価して評価値を算出するように構成してあることを特徴とする。
第3発明に係る移動体検出装置は、第1発明又は第2発明において、前記選択手段は、移動体の候補領域であると評価された検出ブロックのうち、前記撮像画像上でお互いに近傍に存在する検出ブロックを選択するように構成してあることを特徴とする。
第4発明に係る移動体検出装置は、第1発明乃至第3発明のいずれか1つにおいて、前記選択手段で選択した各検出ブロックに対して算出された評価値に応じて該検出ブロックの位置を示す座標値を重み付けする第1の重み付け手段を備え、前記検出手段は、前記第1の重み付け手段で重み付けして得られた実数値で表される位置を有する移動体領域を検出するように構成してあることを特徴とする。
第5発明に係る移動体検出装置は、第4発明において、前記選択手段で選択した各検出ブロックに対して算出された評価値に応じて該検出ブロックの大きさを重み付けする第2の重み付け手段を備え、前記検出手段は、前記第2の重み付け手段で重み付けして得られた実数値で表される大きさを有する移動体領域を検出するように構成してあることを特徴とする。
第6発明に係る移動体検出装置は、第1発明乃至第5発明のいずれか1つにおいて、前記検出手段により検出した移動体領域を、時系列的に撮像された複数の撮像画像上で追跡する追跡手段を備えることを特徴とする。
第7発明に係る移動体検出装置は、第6発明において、前記追跡手段により前記撮像画像上で追跡される追跡領域の位置が実数値であることを特徴とする。
第8発明に係る移動体検出装置は、第6発明又は第7発明において、前記追跡手段により前記撮像画像上で追跡される追跡領域の大きさが実数値であることを特徴とする。
第9発明に係るコンピュータプログラムは、コンピュータに、移動体を撮像して得られた撮像画像に基づいて該撮像画像上の移動体領域を検出させるためのコンピュータプログラムにおいて、コンピュータに、前記撮像画像上で複数の画素で構成される任意の大きさの検出ブロックを複数設定するステップと、設定した各検出ブロックが移動体の候補領域であるか否かを評価する評価値を前記検出ブロック毎に算出するステップと、算出した評価値に基づいて候補領域であると評価された1又は複数の検出ブロックを選択するステップと、選択した検出ブロックの前記撮像画像上の位置及び大きさに基づいて、前記撮像画像上の移動体領域を検出するステップとを実行させることを特徴とする。
第10発明に係る移動体検出方法は、撮像装置で移動体を撮像して得られた撮像画像に基づいて該撮像画像上の移動体領域を検出する移動体検出装置による移動体検出方法において、前記撮像画像上で複数の画素で構成される任意の大きさの検出ブロックを複数設定するステップと、設定された各検出ブロックが移動体の候補領域であるか否かを評価する評価値を前記検出ブロック毎に算出するステップと、算出された評価値に基づいて候補領域であると評価された1又は複数の検出ブロックを選択するステップと、選択された検出ブロックの前記撮像画像上の位置及び大きさに基づいて、前記撮像画像上の移動体領域を検出するステップとを含むことを特徴とする。
第1発明、第9発明及び第10発明にあっては、設定手段は、撮像画像上で複数の画素で構成される任意の大きさの検出ブロックを複数設定する。検出ブロックの設定方法は、例えば、撮像画像上で各検出ブロックが隣接するように設定してもよく、あるいは隣接する検出ブロックの一部が重複するように設定してもよい。また、検出ブロックのサイズ(大きさ)は、同一でもよく、あるいは撮像画像上での移動体の大きさが変わることを考慮して、撮像画像の上側(撮像地点が遠方にある)では検出ブロックのサイズを小さくし、撮像画像の下側(撮像地点が近くにある)では検出ブロックのサイズを大きくしてもよい。
評価値算出手段は、例えば、任意の時点tの撮像画像上で、設定した各検出ブロックが移動体の候補領域であるか否かを評価する評価値を検出ブロック毎に算出する。評価値は、移動体(例えば、車両)らしさを表す指標であり、例えば、0〜1(「1」が最も移動体らしさを表す)の中で任意の値をとることができる。評価値の算出は、予め学習した検出器を用いればよい。選択手段は、算出した評価値に基づいて候補領域であると評価された1又は複数の検出ブロックを選択する。この場合、選択手段は、算出された評価値が予め定めた閾値以上の検出ブロックを移動体らしいとして候補領域として選択し、算出された評価値が閾値より小さい検出ブロックは移動体ではないとして消去(除去)する。
検出手段は、選択した検出ブロックの撮像画像上の位置(座標位置)及び大きさに基づいて、撮像画像上の移動体領域を検出する。例えば、移動体領域の位置は、選択された検出ブロックの位置の平均値とすることができ、また移動体領域のサイズ(大きさ)は、選択された検出ブロックのサイズの平均値とすることができる。これにより、移動体領域の撮像画像上の位置(座標位置)及びサイズ(大きさ)を特定することができ、撮像画像上で移動体領域を検出することができる。
撮像画像を複数の検出ブロックに分け、複数の検出ブロックの中から評価値に基づいて移動体の候補領域だけを選択するとともに、選択した検出ブロックの位置及び大きさを平均化して移動体領域を検出することにより、移動体の候補領域ではない領域を除外するとともに、選択された検出ブロックの位置及び大きさを平均化することにより、最も確からしい移動体領域を特定することができ、移動体領域の位置及び大きさを精度良く検出することができるので、移動体を高い精度で検出することができる。
第2発明にあっては、特徴量算出手段は、例えば、任意の時点tの撮像画像上で、各検出ブロックの各画素の画素値に基づいて特徴量を算出する。特徴量は、例えば、検出ブロックのサイズを16×16の画素ブロック(一例)とした場合、検出ブロック内の各画素値を有する256次元ベクトルとして表すことができる。また、特徴量は画素値に限定されるものではなく、例えば、16×16画像内の各画素の勾配を求め、勾配方向の量子化(例えば、9方向)、度数分布などを特徴量とするHOG(Histogram of Oriented Gradients)特徴量などを用いることもできる。
評価値算出手段は、算出された特徴量をサポートベクターマシン(SVM)又はブースティング(Boosting)を用いて評価して評価値を算出する。例えば、移動体及び非移動体(移動体ではないもの)パターンのサンプル学習を通じて、移動体及び非移動体パターンに対する判定基準(境界基準)を生成するパターン認識技術を利用することができる。そして、評価値は、例えば、特徴量を256次元ベクトルとすると、移動体及び非移動体パターンそれぞれのベクトルで表される点の256次元のユークリッド空間でのユークリッド距離の大小(小さいほど評価値が大きい)で求めることができる。また、両方のベクトルのなす角θの余弦(cosθ)であるコサイン類似度を評価値として用いることもできる。いずれにしても、評価値は、移動体である確からしさを表現することができる指標であれば、どのような指標(評価値)を用いてもよい。これにより、高い精度で移動体を検出することができる。
第3発明にあっては、選択手段は、移動体の候補領域であると評価された検出ブロックのうち、撮像画像上でお互いに近傍に存在する検出ブロックを選択する。例えば、任意の時点tの撮像画像上で、評価値が閾値以上の検出ブロックが複数選択された場合、評価値が最も大きい検出ブロックを特定し、特定した検出ブロックの近傍にある検出ブロックを同じグループ(例えば、同一ラベルを付与する)として選択する。このような検出ブロックのグループを撮像画像上で選択する。これにより、移動体ではないと評価される領域を除外することができるとともに、移動体であると評価される候補領域を漏れなく抽出することができる。
第4発明にあっては、第1の重み付け手段は、選択された各検出ブロックに対して算出された評価値に応じて当該検出ブロックの位置を示す座標値を重み付けする。検出手段は、重み付けして得られた実数値で表される位置を有する移動体領域を検出する。例えば、任意の時点tの撮像画像上で、同一のグループ(同一のラベルが付与された検出ブロックのグループ)内の各検出ブロックを、Ia1、Ia2、…、IaMとし、それぞれの位置(例えば、重心位置の座標)を、(xa1、ya1)、(xa2、ya2)、…、(xaM、yaM)とし、それぞれの検出ブロックの評価値を、Ea1、Ea2、…、EaMとし、移動体領域の重み付けされた位置を(xt、yt)とすると、xt=(Ea1×xa1+Ea2×xa2+…+EaM×xaM)/Mで求めることができ、yt=(Ea1×ya1+Ea2×ya2+…+EaM×yaM)/Mで求めることができる。移動体領域の位置を、撮像画像上の画素の位置である整数値に限定されずに、隣接する画素間の実数値としても求めることができるので、画素間で生じる誤差をなくし、精度良く移動体を検出することができる。
第5発明にあっては、第2の重み付け手段は、選択された各検出ブロックに対して算出された評価値に応じて当該検出ブロックの大きさ(サイズ)を重み付けする。検出手段は、重み付けして得られた実数値で表される大きさ(サイズ)を有する移動体領域を検出する。例えば、任意の時点tの撮像画像上で、同一のグループ(同一のラベルが付与された検出ブロックのグループ)内の各検出ブロックを、Ia1、Ia2、…、IaMとし、それぞれの領域の面積を、Sa1、Sa2、…、SaMとし、それぞれの検出ブロックの評価値を、Ea1、Ea2、…、EaMとし、移動体領域の重み付けされた面積をStとすると、St=(Ea1×Sa1+Ea2×Sa2+…+EaM×SaM)/Mで求めることができる。移動体領域の大きさ(サイズ)を、撮像画像上の画素の位置である整数値に限定されずに、隣接する画素間の実数値としても求めることができるので、画素間で生じる誤差をなくし、精度良く移動体を検出することができる。
第6発明にあっては、追跡手段は、検出された移動体領域を、時系列的に撮像された複数の撮像画像上で追跡する。追跡手段は、例えば、時点tの撮像画像上で移動体領域Vtが検出された場合、当該移動体領域Vtに最も類似する領域(追跡領域)を時点t+1以降の撮像画像上で探索することによって移動体の追跡を行う。
追跡方法は、例えば、時点tの撮像画像上の移動体領域Vt内で輝度値(画素値)の差分が所定の閾値以上の任意の2つの点の組を複数抽出する。そして、時点t+1の撮像画像上で、任意の2つの点の輝度値(画素値)の大小関係が一致した2つの点の組の数が最も多い領域を追跡領域(時点tの移動体領域Vtの時点t+1での領域)として特定することができる。2つの点の輝度値(画素値)の大小関係に着目することにより、例えば、日照変化により撮像画像の明るさが変化した場合、あるいは車両などの移動体が日向から日蔭へ移動した場合に、撮像画像中の車両の輝度値が変化しても、輝度値の大小関係は変化しないため、車両の追跡を従来よりも精度よく行うことができる。
第7発明にあっては、追跡手段により撮像画像上で追跡される追跡領域の位置が実数値である。すなわち、位置が整数である場合には、撮像画像上の画素位置そのものを採用し輝度値(画素値)の算出は当該画素の輝度値(画素値)を用いる。また、位置が実数値(整数値を除く)である場合には、当該位置の周辺の画素位置及び当該画素の輝度値(画素値)を線形補間などの方法を用いて、当該位置の輝度値(画素値)を算出する。これにより、画素間よりもさらに微細な位置を算出することができ、画素間で生じる誤差の影響を低減して、移動体の検出及び追跡を従来よりも精度良く行うことができる。
第8発明にあっては、追跡手段により撮像画像上で追跡される追跡領域の大きさが実数値である。すなわち、追跡領域の大きさ(サイズ)が整数値にのみ限定している場合、時間の経過に伴って追跡領域の大きさが変化する場合(例えば、移動体が接近するので追跡領域が大きくなる)、類似度合を判定するために追跡領域を同一サイズに変換するときに、微小なサイズ変化の際の四捨五入の影響で誤差が生ずる。当該誤差は、時系列的に追跡領域を追跡するときに誤差が蓄積し、移動体の検出の精度が低下する。追跡領域の大きさ(サイズ)を実数値(整数値に限定しない)とすることにより、連続して追跡する際の誤差を低減することができ、精度良く移動体を追跡することができる。
本発明によれば、移動体領域の位置及び大きさを精度良く検出することができるので、移動体を高い精度で検出することができる。
以下、本発明をその実施の形態を示す図面に基づいて説明する。図1は本実施の形態の移動体検出装置100による移動体検出の様子を示す模式図であり、図2は本実施の形態の移動体検出装置100の構成の一例を示すブロック図である。本実施の形態では、移動体検出装置100は移動体の一例として車両を検出する場合について説明するが、移動体は車両に限定されるものではなく、歩行者、二輪車、船、飛行機又は動物等の種々の移動体でもよく、ビデオカメラ等で撮像された撮像画像中において、その位置が時間と共に変化するものであれば移動体に含めることができる。
図1に示すように、複数の道路が交差する交差点の近傍にビデオカメラ(撮像装置)200を設置してある。ビデオカメラ200は、道路を含む所定の領域(図1において一点鎖線で示す撮像領域)を撮像すべく、所定の高さ、俯角及び回転角等の撮像条件が設定された状態で設置されている。ビデオカメラ200は、連続的(時系列的)に道路上の撮像を行い、撮像して得られた撮像画像を移動体検出装置100へ出力(送信)する。
ビデオカメラ200は、交差点に流入する一の道路を撮像するように設置されており、移動体検出装置100は、ビデオカメラ200の撮像領域内に存在する車輌11を検出するとともに追跡する。移動体検出装置100は、車両11の追跡結果から、車両11の走行方向及び走行速度等の情報を生成し、生成した情報を無線通信等により他方の道路に存在する車両12、13へ送信する。これにより、見通しの悪い交差点などにおいて、車両12、13の運転者は、交差する道路に他の車両11が走行していることを認識でき、徐行又は一時停止等の安全運転を行うことができる。なお、移動体検出装置100で検出、追跡する移動体の追跡結果は、図1の例に限定されるものではなく、他の用途にも適用することができる。
図2に示すように、移動体検出装置100は、装置全体を制御する制御部101、画像入力部102、A/D変換部103、画像メモリ104、通信部105、記憶部106、検出ブロック設定部107、特徴量算出部108、評価値算出部109、選択部110、重み付け部111、移動体領域検出部112、移動体領域追跡部113などを備える。図2の例では、移動体検出装置100とビデオカメラ200とは別個の装置として示され、例えば、ビデオカメラ200の近傍に移動体検出装置100を設置することができるが、これに限定されるものではなく、移動体検出装置100とビデオカメラ200とを一体の装置として構成することできる。
ビデオカメラ200は、例えば、1フレーム当たり240×320画素の撮像画像を1秒間に30フレーム撮像することによって道路を含む移動体を撮像し、撮像して得られた撮像画像を1フレーム毎にアナログ信号として移動体検出装置100の画像入力部102へ出力する。なお、ビデオカメラ200は、撮像画像をデジタル信号として出力する構成であってもよい。また、撮像画像の解像度も一例であって、240×320画素に限定されるものではない。
図3はビデオカメラ200で撮像された撮像画像の一例を示す模式図である。図3Aに示す撮像画像は、例えば、時点tで撮像された撮像画像を示し、図3Bに示す撮像画像は、時点tより後の時点t+Δtで撮像された撮像画像を示す。図3は、時間Δtの間に移動体である車両の撮像画像上での位置及び大きさが変化する様子を模式的に示す。
画像入力部102は、ビデオカメラ200から出力された撮像画像のアナログ信号を取得し、取得したアナログ信号をA/D変換部103へ出力する。
A/D変換部103は、画像入力部102から出力されたアナログ信号を取得し、取得したアナログ信号をデジタル信号に変換し、変換したデジタル信号を画像データとして画像メモリ104へ記憶する。画像入力部102を介してビデオカメラ200から出力された撮像画像は、ビデオカメラ200のフレームレート(撮像を行う間隔)に同期して1フレーム単位の画像データとして画像メモリ104に記憶される。
画像メモリ104は、DRAM(Dynamic Random Access Memory)又はSRAM(Static Random Access Memory)等のメモリ素子により構成することができ、移動体の検出及び追跡に必要な多くの画像データを記憶することができる。
通信部105は、狭域通信機能、UHF(Ultra High Frequency)帯又はVHF(Very High Frequency)帯等の無線LAN(Local Area Network)などの中域通信機能、及び携帯電話、PHS(Personal Handyphone System)、多重FM(Frequency Modulation)放送又はインターネット通信等の広域通信機能を備える。通信部105は、ビデオカメラ200の撮像領域内及びその付近に存在する車両から所定の車両情報(例えば、車両の位置情報、車速情報、車種情報、ワイパーの動作状況、あるいはヘッドライトなどの車灯の動作状況等を示す情報)を受信する。また、通信部105は、ビデオカメラ200で撮像した撮像画像に基づいて検出、追跡された車両の情報を提供すべく、情報提供対象の車両へ情報を送信する。また、通信部105は、交通管制センターなどに設置されたサーバ装置、あるいは他の移動体検出装置との間で情報の送受信を行うことができる。
記憶部106は、SRAM(Static Random Access Memory)若しくはDRAM(Dynamic Random Access Memory)等のメモリ素子、又はハードディスクなどの磁気記憶装置等で構成することができ、通信部105にて受信されたデータ及び移動体検出装置100での処理過程で発生した種々のデータ等を記憶することができる。
検出ブロック設定部107は、撮像画像上で複数の画素で構成される任意の大きさの検出ブロックを複数設定する設定手段としての機能を有する。
図4は本実施の形態の検出ブロックの一例を示す模式図である。検出ブロックは、例えば、16×16画素で構成される画素ブロックであり、撮像画像上で、相互に隣接するように設定することができる。図4の例では、簡便のため、各検出ブロックの大きさ(サイズ)が同一であり、隣接する検出ブロックが重ならないように設定されているが、検出ブロックの設定方法は、図4の例に限定されるものではない。
すなわち、撮像画像上で各検出ブロックが重ならずに隣接するように設定してもよく、あるいは隣接する検出ブロックの一部が重複するように設定してもよい。また、検出ブロックのサイズ(大きさ)は、同一でもよく、あるいは撮像画像上での移動体の大きさが変わることを考慮して、撮像画像の上側(撮像地点が遠方にある)では検出ブロックのサイズを小さくし、撮像画像の下側(撮像地点が近くにある)では検出ブロックのサイズを大きくしてもよい。また、撮像画像のうち道路以外の領域は車輌が存在する可能性が小さいので、道路の形状、大きさに応じて、道路領域だけに検出ブロックを設定してもよい。これにより、撮像画像全体で処理する必要がなくなり、処理時間の短縮又は処理労力の軽減を図ることができる。
特徴量算出部108は、各検出ブロックの各画素の画素値に基づいて特徴量を算出する特徴量算出手段としての機能を有する。すなわち、特徴量算出部108は、例えば、任意の時点tの撮像画像上で、各検出ブロックの各画素の画素値に基づいて特徴量を算出する。
特徴量は、車両(移動体)らしさを特徴付けることができるものであり、例えば、車両の輪郭、バンパー、ヘッドライトなどを表す画像領域から抽出することができる。特徴量は、例えば、検出ブロックのサイズを16×16の画素ブロック(一例)とした場合、検出ブロック内の各画素値を有する256次元ベクトルとして表すことができる。また、特徴量は画素値に限定されるものではなく、例えば、16×16画像内の各画素の勾配を求め、勾配方向の量子化(例えば、9方向)、度数分布などを特徴量とするHOG(Histogram of Oriented Gradients)特徴量などを用いることもできる。
評価値算出部109は、設定された各検出ブロックが移動体の候補領域であるか否かを評価する評価値を当該検出ブロック毎に算出する評価値算出手段としての機能を有する。評価値算出部109は、例えば、任意の時点tの撮像画像上で、設定した各検出ブロックが車両(移動体)の候補領域であるか否かを評価する評価値を検出ブロック毎に算出する。評価値は、車両(移動体)らしさを表す指標であり、例えば、0〜1(「1」が最も移動体らしさを表す)の中で任意の値をとることができる。評価値の算出は、予め学習した検出器を用いればよい。
より具体的には、評価値算出部109は、算出された特徴量をサポートベクターマシン(SVM)又はブースティング(Boosting)を用いて評価して評価値を算出する。例えば、移動体及び非移動体(移動体ではないもの)パターンのサンプル学習を通じて、移動体及び非移動体パターンに対する判定基準(境界基準)を生成するパターン認識技術を利用することができる。そして、評価値は、例えば、特徴量を256次元ベクトルとすると、移動体及び非移動体パターンそれぞれのベクトルで表される点の256次元のユークリッド空間でのユークリッド距離の大小(小さいほど評価値が大きい)で求めることができる。また、両方のベクトルのなす角θの余弦(cosθ)であるコサイン類似度を評価値として用いることもできる。いずれにしても、評価値は、車両(移動体)である確からしさを表現することができる指標であれば、どのような指標(評価値)を用いてもよい。これにより、高い精度で移動体を検出することができる。
選択部110は、算出された評価値に基づいて、候補領域であると評価された1又は複数の検出ブロックを選択する選択手段としての機能を有する。選択部110は、算出された評価値が予め定めた閾値以上の検出ブロックを移動体らしいとして候補領域として選択し、算出された評価値が閾値より小さい検出ブロックは移動体ではないとして消去(除去)する。例えば、評価値が0〜1の範囲であり、評価値1が最も車両らしさを表し、評価値0が最も非車両らしさを表す場合、例えば、評価値が0.5以上の検出ブロックを選択し、評価値が0.5より小さい検出ブロックを除外する。
また、選択部110は、車両(移動体)の候補領域であると評価された検出ブロックのうち、撮像画像上でお互いに近傍に存在する検出ブロックを選択する。例えば、任意の時点tの撮像画像上で、評価値が閾値以上の検出ブロックが複数選択された場合、評価値が最も大きい検出ブロックを特定し、特定した検出ブロックの近傍にある検出ブロックを同じグループ(例えば、同一ラベルを付与する)として選択する。このような検出ブロックのグループを撮像画像上で選択する。この場合、撮像画像上で、例えば、2台の車両が離隔して走行しているとすると、2つのグループを選択することができる。これにより、移動体ではないと評価される領域を除外することができるとともに、移動体であると評価される候補領域を漏れなく抽出することができる。
移動体領域検出部112は、選択した検出ブロックの撮像画像上の位置及び大きさに基づいて、撮像画像上の移動体領域を検出する検出手段としての機能を有する。移動体領域検出部112は、例えば、移動体領域の位置は、選択された検出ブロックの位置の平均値とすることができ、また移動体領域のサイズ(大きさ)は、選択された検出ブロックのサイズの平均値とすることができる。これにより、移動体領域の撮像画像上の位置及びサイズ(大きさ)を特定することができ、撮像画像上で移動体領域を検出することができる。
上述のように、撮像画像を複数の検出ブロックに分け、複数の検出ブロックの中から評価値に基づいて移動体の候補領域だけを選択するとともに、選択した検出ブロックの位置及び大きさを、例えば、平均化して移動体領域を検出することにより、移動体の候補領域ではない領域を除外するとともに、選択された検出ブロックの位置及び大きさを平均化することにより、最も確からしい移動体領域を特定することができ、移動体領域の位置及び大きさを精度良く検出することができるので、移動体を高い精度で検出することができる。
お互いに近傍に存在する検出ブロックが複数存在する場合、それぞれの検出ブロックに対して算出された評価値で各検出ブロックを重み付けして移動体領域を検出することもできる。
重み付け部111は、選択した各検出ブロックに対して算出された評価値に応じて当該検出ブロックの位置を重み付けする第1の重み付け手段、及び大きさ(サイズ)重み付けする第2の重み付け手段としての機能を有する。
次に、各検出ブロックの重み付けによる移動体領域の検出方法について説明する。図5は本実施の形態の撮像画像上に設定された検出ブロックの一例を示す模式図であり、図6は本実施の形態の移動体検出装置100により選択された検出ブロックの一例を示す模式図であり、図7は本実施の形態の移動体検出装置100により検出した移動体領域の一例を示す模式図である。図5〜図7では、1台の車両が撮像された場合について説明しているが、複数台の車両が撮像画像上に存在する場合も同様である。
図5は、例えば、時点tで撮像された撮像画像上に設定した検出ブロックのうち、便宜上一部の検出ブロックだけを図示している。また、便宜上、各検出ブロックの大きさ(サイズ)が同一であり、隣接する検出ブロックが重複しないように図示しているが、実際は検出ブロックの大きさは種々の大きさで設定することができ、また検出ブロックの一部が重なり合って設定されている。
図6は、各検出ブロックの評価値Eを算出し、算出した評価値Eが所定の閾値以上の検出ブロックであって、お互いに近傍に存在するものを1つのグループとして選択したものである。例えば、図6に示すように、任意の時点tの撮像画像上で、同一のグループ(同一のラベルが付与された検出ブロックのグループ)内の各検出ブロックを、Ia1、Ia2、…、Ia6とする。なお、同一ラベルの付与は、例えば、ラベルが付与されていない検出ブロックの中で最も評価値が大きい検出ブロックにラベルを付すとともに選択する。そして、選択した検出ブロックの近傍の検出ブロックに同じラベルを付与して1つのグループとして纏めることができる。
重み付け部111は、以下のようにして、検出ブロックの位置及び大きさ(サイズ)の重み付けを行う。例えば、任意の時点tの撮像画像上で、同一のグループ(同一のラベルが付与された検出ブロックのグループ)内の各検出ブロックを、Ia1、Ia2、…、Ia6とし、それぞれの位置を示す座標値(例えば、重心位置の座標)を、(xa1、ya1)、(xa2、ya2)、…、(xa6、ya6)とし、それぞれの検出ブロックの評価値を、Ea1、Ea2、…、Ea6とし、移動体領域の重み付けされた位置を示す座標値を(xt、yt)とすると、xt=(Ea1×xa1+Ea2×xa2+…+Ea6×xa6)/6で求めることができ、yt=(Ea1×ya1+Ea2×ya2+…+Ea6×ya6)/6で求めることができる。なお、重み付け係数として用いられる評価値は、Ea1+Ea2+…+Ea6=1となるように正規化しておけばよい。移動体領域の位置を、撮像画像上の画素の位置である整数値に限定されずに、隣接する画素間の実数値としても求めることができるので、画素間で生じる誤差をなくし、精度良く移動体を検出することができる。
また、例えば、任意の時点tの撮像画像上で、同一のグループ(同一のラベルが付与された検出ブロックのグループ)内の各検出ブロックを、Ia1、Ia2、…、Ia6とし、それぞれの領域の面積を、Sa1、Sa2、…、Sa6とし、それぞれの検出ブロックの評価値を、Ea1、Ea2、…、Ea6とし、移動体領域の重み付けされた面積をStとすると、St=(Ea1×Sa1+Ea2×Sa2+…+Ea6×Sa6)/6で求めることができる。移動体領域の大きさ(サイズ)を、撮像画像上の画素の位置である整数値に限定されずに、隣接する画素間の実数値としても求めることができるので、画素間で生じる誤差をなくし、精度良く移動体を検出することができる。
図7に示すように、時点tでの撮像画像上の移動体領域Itは、位置が上述で求めた(xt、yt)であり、大きさ(サイズ)がStである。
移動体領域追跡部113は、検出した移動体領域を、時系列的に撮像された複数の撮像画像上で追跡する追跡手段としての機能を有する。移動体領域追跡部113は、例えば、時点tの撮像画像上で移動体領域Vtが検出された場合、当該移動体領域Vtに最も類似する領域(追跡領域)を時点tよりも後の時点の撮像画像上で探索することによって移動体の追跡を行う。なお、追跡方法の詳細は後述する。
次に、本実施の形態の移動体検出装置100による移動体検出方法について説明する。図8及び図9は本実施の形態の移動体検出装置100による移動体検出の処理手順を示すフローチャートである。なお、以下では、処理の主体を制御部101として説明する。
制御部101は、撮像画像上の検出ブロックを設定し(S11)、例えば、時点tでの撮像画像を取得する(S12)。制御部101は、検出ブロック毎に特徴量を算出し(S13)、算出した特徴量に基づいて、検出ブロックごとに評価値を算出する(S14)。
制御部101は、すべての検出ブロックに対して評価値の算出を完了したか否かを判定し(S15)、完了していない場合(S15でNO)、ステップS13以降の処理を続け、完了した場合(S15でYES)、評価値が所定の閾値より小さい検出ブロックを移動体ではない(非移動体である)として消去(除去)する(S16)。
制御部101は、ラベルが付与されていない検出ブロックの中から評価値が最大の検出ブロックにラベルを付して選択し(S17)、選択された検出ブロックの近傍の検出ブロックに同一のラベルを付与する(S18)。なお、近傍とは、検出ブロック同士が一部の領域で重なる場合、隣接する場合、及び若干の離隔間隔を有して近接する場合を含む。
制御部101は、すべての検出ブロック(選択された検出ブロック)にラベルを付与したか否かを判定し(S19)、すべての検出ブロックにラベルを付与していない場合(S19でNO)、ステップS17以降の処理を続け、すべての検出ブロックにラベルを付与した場合(S19でYES)、同一のラベルが付与された検出ブロックの撮像画像上の位置、大きさを評価値に基づいて重み付けする(S20)。なお、重み付けは、位置のみを重み付けしてもよく、あるいは位置及び大きさの両者を重み付けしてもよい。検出ブロックの大きさがすべて同一である場合には、大きさの重み付けは不要である。
制御部101は、重み付け平均により得られた位置、大きさの領域を移動体領域として検出する(S21)。制御部101は、他のラベル(別のグループのラベル)の有無を判定し(S22)、他のラベルがある場合(S22でYES)、ステップS20以降の処理を繰り返し、他のラベルがない場合(S22でNO)、処理を終了する。
次に、検出した移動体領域を用いて、車両(移動体)の追跡方法について説明する。本実施の形態では、移動体領域の中から「ペア特徴」という特徴量を抽出し、抽出したペア特徴に基づいて時系列的に後の撮像画像上で移動体領域に最も類似する領域を追跡領域として特定することにより、移動体を追跡する。以下、ペア特徴を用いた車両の追跡方法について説明する。
図10は本実施の形態の移動体検出装置100による追跡処理における正サンプル及び負サンプルの抽出方法の一例を示す模式図である。図10Aは、時点tで撮像された撮像画像Vt上で移動体領域Itが検出された場合を示す。移動体領域Itの検出は、上述の図8及び図9の処理に基づくものである。
図10Bは、移動体領域Itを正サンプルとして負サンプルの抽出方法の一例を例示するものである。すなわち、車両の追跡処理においては、まず、時点tの撮像画像Vt上で検出された移動体領域Itを正サンプルとして抽出するとともに、正サンプルIt の周囲から複数(例えば、F個とする)の負サンプル(周囲サンプル)Jt1、…、JtFを抽出する。なお、正サンプルIt及び負サンプルJt1、…、JtFの抽出処理は、移動体領域追跡部113により行われる。
各負サンプルJt1、…、JtFは、正サンプルItと同じサイズの画像領域であり、撮像画像上で正サンプルItから上下左右に所定画素の範囲から、複数の負サンプルJt1、…、JtFを抽出することができる。例えば、正サンプルItから上下左右に5画素分の範囲(11画素×11画素分の範囲)から、1画素ずつずらして負サンプルを抽出する場合、F=11×11−1=120個の負サンプルを正サンプルItの周囲から抽出することができる。
移動体領域Itの重心位置である位置(xt、yt)は、整数値に限定されるものではなく、整数値を除く実数値でもよい。したがって、正サンプルItの位置(重心位置)が整数値を除く実数値である場合、各負サンプルの位置も、正サンプルItの位置から1画素の整数倍だけ離隔するので、各負サンプルの位置も、整数値を除く実数値となる。
また、移動体領域Itの大きさ(サイズ)は、整数値に限定されるものではなく、整数値を除く実数値でもよい。したがって、正サンプルItと同じ大きさの各サンプルの大きさ(サイズ)も、整数値を除く実数値となる。
図11は本実施の形態の移動体検出装置100によるペア特徴の抽出方法の一例を示す説明図である。ペア特徴は、正サンプルItと各負サンプルJt1、…、JtFとを区別し得る特徴量である。
ペア特徴の抽出は、まず、正サンプルItから所定数の「2つの点のペア」(以下、「2点ペア」とも称する。)を抽出する。2つの点は、正サンプルIt内の任意の点であり、画素の位置に限定されるものではない。2点ペアは、正サンプルItからランダムに抽出した2つの点のうち、その輝度値(画素値)の差が閾値Th以上のものである。一例として、図11Aには、正サンプルItから抽出した5つの2点ペアを示しており、実線の矢印で結ばれた2つの点が2点ペアである。
図11Aにおいて、2点ペアのうち輝度値が大きい点は白抜きの四角形で示し、輝度値が小さい点は模様を付した四角形で示している。それぞれの2点ペアには、図11中矢印の始点側である第1の点(x1、y1)の輝度値I(x1、y1)と、図11中矢印の終点側である第2の点(x2、y2)の輝度値I(x2、y2)との差分が所定の閾値Th以上である2点ペアに対してラベル「1」を付し、第1の点(x1、y1)の輝度値I(x1、y1)と、第2の点(x2、y2)の輝度値I(x2、y2)との差分が閾値Th以下である2点ペアに対してラベル「−1」を付す。
正サンプルItから所定数の2点ペアを抽出した後、図11Bに示すように、同様にして、負サンプルJt1、…、JtFからそれぞれ同じ所定数の2点ペアを抽出する。負サンプルから抽出する2点ペアの位置は、正サンプルで抽出した2点ペアと対応する位置(同一の位置)である。
図12は撮像画像上の任意の点での画素値(輝度値)の算出方法の一例を示す説明図である。図12に示すように、お互いに隣接する4つの画素(p、q)、(p+1、q)、(p、q+1)、(p+1、q+1)で囲まれる領域内の任意の点(x、y)の輝度値I(x、y)は、I(x、y)=(1−α)×(1−β)×I(p、q)+α×(1−β)×I(p+1、q)+(1−α)×β×I(p、q+1)+α×β×I(p+1、q+1)で補間して求めることができる。図11に示す2点ペアの輝度値(画素値)は、図12に例示する方法で補間して算出することができる。ここで、α、βは、図12に示すように、任意の点(x、y)と各画素からの離隔距離の比率を表す係数である。なお、図12に例示する補間処理は、移動体領域追跡部113により行われる。
図13および図14は本実施の形態の移動体検出装置100による2点ペアの抽出処理の手順を示すフローチャートである。2点ペアの抽出処理は、制御部101の制御のもと、移動体領域追跡部113により行われるが、以下では処理の主体を便宜上制御部101として説明する。
制御部101は、時点tの撮像画像Vtで検出した移動体領域Itを正サンプルとして抽出し(S31)、正サンプルItから輝度値の差分が閾値Th以上の2つの点のペア(2点ペア)をランダムにN(所定数)組抽出する(S32)。
制御部101は、正サンプルItの周囲から負サンプルを1つ抽出し(S33)、図11に示すように、抽出した負サンプルから、正サンプルで抽出した2点ペアに対応する2点ペアを抽出する(S34)。
制御部101は、正サンプルから抽出した2点ペアと、負サンプルから抽出した2点ペアの大小関係に基づいて、2点ペアの個別の類似度を算出する(S35)。
2点ペアの個別の類似度の算出は以下のようにすることができる。正サンプルItから抽出した2点ペアの大小関係と、当該2点ペアに対応する負サンプルの2点ペアの大小関係が一致する場合、当該ペアの個別類似度を「1」とし、大小関係が一致しない場合、当該ペアの個別類似度を「0」とする。
制御部101は、個別の類似度の合計値を算出する(S36)。合計値とは、個別の類似度をN組分の2点ペアについて合計することである。制御部101は、すべての負サンプルについて処理が終了したか否かを判定し(S37)、終了していない場合(S37でNO)、ステップS33以降の処理を繰り返す。
すべての負サンプルについて処理が終了した場合(S37でYES)、制御部101は、類似度の合計が最小値であるか否かを判定する(S38)。ここで、個別の類似度の合計値が小さいほど正サンプルと負サンプルとを区別し易い特徴量であることを示す。
類似度の合計が最小値である場合(S38でYES)、制御部101は、ステップS32で抽出したN個の2点ペアを保持し(S39)、以前に保持した2点ペアがある場合には、当該2点ペアを破棄する。類似度の合計が最小値でない場合(S38でNO)、制御部101は、ステップS39の処理を行わずに後述のステップS40の処理を行う。
制御部101は、所定回数反復したか否かを判定し(S40)、所定回数反復していない場合(S40でNO)、ステップS32以降の処理を繰り返し、所定回数反復した場合(S40でYES)、処理を終了する。
上述の処理において、最終的にステップS39にて保持されたN個の2点ペアが、正サンプルItのペア特徴となり、後述の移動体追跡の処理で用いられる。
図15は本実施の形態の移動体検出装置100による移動体領域の移動先候補の抽出方法の一例を示す模式図である。図15に示すように、移動体領域追跡部113は、ビデオカメラ200が撮像した時点tより後の時点(例えば、時点t+1)での撮像画像Vt+1から、水平方向及び垂直方向に1画素又は数画素ずつ移動させながら、矩形状の画像領域を移動先候補として順に抽出する。
この場合、抽出する画像領域(移動先候補)の大きさ(サイズ)は、抽出位置に応じて決定することができる。図15の例では、撮像画像Vt+1の上側では小さいサイズの画像領域が抽出され、下側では大きいサイズの画像領域が抽出される。抽出する画像領域のサイズ変化は、ビデオカメラ200で撮像される撮像画像中の遠近に対応して定まるので、道路上におけるビデオカメラ200の設置位置及び撮像方向等により、ビデオカメラ200毎に適切なサイズ変化を設定することができる。
また、図15の例では、移動先候補の画像領域を抽出する範囲を、撮像画像Vt+1内における道路上のみに限定している。車両が走行する可能性が低い範囲を除外して移動先候補の抽出範囲を限定することにより、車両の追跡処理に要する計算量を低減することができる。撮像画像中における道路の範囲は、ビデオカメラ200の設置位置及び撮像方向等に応じて、予め適切に設定することができる。
また、図15の例では、撮像画像Vt+1内における全ての道路上を移動先候補の抽出範囲としているが、これに限定されるものではない。例えば、車両が撮像画像Vt+1の上側から下側へ移動する(車両がビデオカメラ200に接近する)ことが予め判明している場合には、移動先候補の抽出範囲を、時点tの撮像画像Vtで検出した移動体領域(正サンプル)Itを抽出した位置より下側に限定することができる。車両の移動方向は、例えば、ビデオカメラ200が撮像する道路の法律上定められた車両の移動方向に基づいて決定することができ、また、例えば、過去の車両追跡の結果から車両の移動方向及び移動速度等を予測して決定することもできる。
移動体領域追跡部113は、時点t+の撮像画像V+1から抽出した複数の移動先候補のうち、時点tでの撮像画像Vtで検出(抽出)した正サンプルItに最も類似する移動先候補を、前述同様のペア特徴に基づいて探索して車両の移動先を探索する。
より具体的には、移動体領域追跡部113は、正サンプルItのペア特徴として抽出された複数の2点ペアと同じ位置の2点ペアを移動先候補から抽出する。正サンプルItのペア特徴(2点ペア)と、移動先候補から抽出した2点ペアとの類似度を算出し、最も類似度が大きい移動先候補を車両(移動体領域)の最終的な移動先として決定する。
図16は本実施の形態の移動体検出装置100による移動体領域の追跡の処理手順を示すフローチャートである。移動体領域の追跡処理は、制御部101の制御のもと、移動体領域追跡部113により行われるが、以下では処理の主体を便宜上制御部101として説明する。
制御部101は、時点t+1(時点tより後の時点)の撮像画像Vt+1を取得し、取得した撮像画像Vt+1から一の移動先候補を抽出する(S51)。制御部101は、抽出した移動先候補から、正サンプルItのペア特徴として抽出した2点ペアと同数、かつ同じ位置の2点ペアを抽出する(S52)。
制御部101は、正サンプルItの2点ペアと、移動先候補の2点ペアとに基づいて、正サンプルIt及び移動先候補の類似度を算出し(S53)、算出した類似度が以前に算出した類似度と比較して最大の類似度であるか否かを判定する(S54)。
算出した類似度が最大である場合(S54でYES)、制御部101は、移動先候補に係る情報(例えば、移動先候補の位置及びサイズ等の情報)を保持し(S55)、算出した類似度が最大でない場合(S54でNO)、ステップS55の処理を行わずに後述のステップS56の処理を行う。
制御部101は、時点t+1の撮像画像Vt+1から抽出すべき全ての移動先候補について、上述のステップS51〜S55の処理を終了したか否かを判定し(S56)、全ての移動先候補について処理を終了していない場合(S56でNO)、ステップS51以降の処理を繰り返し、全ての移動先候補について処理を終了した場合(S56でYES)、処理を終了する。
本実施の形態の移動体検出装置100は、CPU、RAMなどを備えた汎用コンピュータを用いて実現することもできる。すなわち、図8、図9、図13及び図16に示すような、各処理手順を定めたコンピュータプログラムをCD、DVD、USBメモリ等のコンピュータプログラム記録媒体に記録しておき、当該コンピュータプログラムをコンピュータに備えられたRAMにロードし、コンピュータプログラムをCPUで実行することにより、コンピュータ上で移動体検出装置100を実現することができる。
本実施の形態の追跡方法は、例えば、時点tの撮像画像上の移動体領域Vt内で輝度値(画素値)の差分が所定の閾値以上の任意の2つの点(2点ペア)の組を複数抽出する。そして、時点t+1の撮像画像上で、任意の2つの点の輝度値(画素値)の大小関係が一致した2つの点の組の数が最も多い領域を追跡領域(時点tの移動体領域Vtの時点t+1での領域)として特定することができる。2つの点の輝度値(画素値)の大小関係に着目することにより、例えば、日照変化により撮像画像の明るさが変化した場合、あるいは車両などの移動体が日向から日蔭へ移動した場合に、撮像画像中の車両の輝度値が変化しても、輝度値の大小関係は変化しないため、車両の追跡を従来よりも精度よく行うことができる。
また、本実施の形態の追跡方法では、撮像画像上で追跡される追跡領域の位置が実数値である。すなわち、位置が整数である場合には、撮像画像上の画素位置そのものを採用し輝度値(画素値)の算出は当該画素の輝度値(画素値)を用いる。また、位置が実数値(整数値を除く)である場合には、当該位置の周辺の画素位置及び当該画素の輝度値(画素値)を線形補間などの方法を用いて、当該位置の輝度値(画素値)を算出する。これにより、画素間よりもさらに微細な位置を算出することができ、画素間で生じる誤差の影響を低減して、移動体の検出及び追跡を従来よりも精度良く行うことができる。
また、本実施の形態の追跡方法では、撮像画像上で追跡される追跡領域の大きさが実数値である。すなわち、追跡領域の大きさ(サイズ)が整数値にのみ限定している場合、時間の経過に伴って追跡領域の大きさが変化する場合(例えば、移動体が接近するので追跡領域が大きくなる)、類似度合を判定するために追跡領域を同一サイズに変換するときに、微小なサイズ変化の際の四捨五入の影響で誤差が生ずる。当該誤差は、時系列的に追跡領域を追跡するときに誤差が蓄積し、移動体の検出の精度が低下する。追跡領域の大きさ(サイズ)を実数値(整数値に限定しない)とすることにより、追跡領域のサイズが時間の経過とともに変化した場合でも、追跡領域のサイズを同一にするための変換が不要であり、当該変換に伴う誤差も発生しないので、連続して追跡する際の誤差を低減することができ、精度良く移動体を追跡することができる。
上述のとおり、本実施の形態では、移動体領域の位置及びサイズを整数値に限定せず実数値(整数値を除く)を用いることにより、移動体領域の検出処理及び追跡処理を1ピクセル(1画素)以下の精度で行うことができるので、誤差の影響を小さくすることができ、従来の処理に比べて高い精度で移動体の検出及び追跡を行うことができる。なお、追跡処理を繰り返し実施する場合には、移動体領域の位置及びサイズを整数値に限定せず実数値で表し、最終的な追跡結果を出力する際には、四捨五入などで位置及びサイズを整数値にすることもできる。
本実施の形態は、すでに調整済の白黒ビデオカメラ画像に対して適用することができ、また、撮像画像上の2点の輝度値(画素値)の大小関係を2点ペアの特徴として採用することにより、環境変化、照明変化などの影響を受けにくいという利点がある。
開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
100 移動体検出装置
101 制御部
102 画像入力部
103 A/D変換部
104 画像メモリ
105 通信部
106 記憶部
107 検出ブロック設定部
108 特徴量算出部
109 評価値算出部
110 選択部
111 重み付け部
112 移動体領域検出部
113 移動体領域追跡部
200 ビデオカメラ
101 制御部
102 画像入力部
103 A/D変換部
104 画像メモリ
105 通信部
106 記憶部
107 検出ブロック設定部
108 特徴量算出部
109 評価値算出部
110 選択部
111 重み付け部
112 移動体領域検出部
113 移動体領域追跡部
200 ビデオカメラ
Claims (10)
- 撮像装置で移動体を撮像して得られた撮像画像に基づいて該撮像画像上の移動体領域を検出する移動体検出装置において、
前記撮像画像上で複数の画素で構成される任意の大きさの検出ブロックを複数設定する設定手段と、
該設定手段で設定した各検出ブロックが移動体の候補領域であるか否かを評価する評価値を前記検出ブロック毎に算出する評価値算出手段と、
該評価値算出手段で算出した評価値に基づいて候補領域であると評価された1又は複数の検出ブロックを選択する選択手段と、
該選択手段で選択した検出ブロックの前記撮像画像上の位置及び大きさに基づいて、前記撮像画像上の移動体領域を検出する検出手段と
を備えることを特徴とする移動体検出装置。 - 各検出ブロックの各画素の画素値に基づいて特徴量を算出する特徴量算出手段を備え、
前記評価値算出手段は、
前記特徴量算出手段で算出した特徴量をサポートベクターマシン又はブースティングを用いて評価して評価値を算出するように構成してあることを特徴とする請求項1に記載の移動体検出装置。 - 前記選択手段は、
移動体の候補領域であると評価された検出ブロックのうち、前記撮像画像上でお互いに近傍に存在する検出ブロックを選択するように構成してあることを特徴とする請求項1又は請求項2に記載の移動体検出装置。 - 前記選択手段で選択した各検出ブロックに対して算出された評価値に応じて該検出ブロックの位置を示す座標値を重み付けする第1の重み付け手段を備え、
前記検出手段は、
前記第1の重み付け手段で重み付けして得られた実数値で表される位置を有する移動体領域を検出するように構成してあることを特徴とする請求項1乃至請求項3のいずれか1つに記載の移動体検出装置。 - 前記選択手段で選択した各検出ブロックに対して算出された評価値に応じて該検出ブロックの大きさを重み付けする第2の重み付け手段を備え、
前記検出手段は、
前記第2の重み付け手段で重み付けして得られた実数値で表される大きさを有する移動体領域を検出するように構成してあることを特徴とする請求項4に記載の移動体検出装置。 - 前記検出手段により検出した移動体領域を、時系列的に撮像された複数の撮像画像上で追跡する追跡手段を備えることを特徴とする請求項1乃至請求項5のいずれか1つに記載の移動体検出装置。
- 前記追跡手段により前記撮像画像上で追跡される追跡領域の位置が実数値であることを特徴とする請求項6に記載の移動体検出装置。
- 前記追跡手段により前記撮像画像上で追跡される追跡領域の大きさが実数値であることを特徴とする請求項6又は請求項7に記載の移動体検出装置。
- コンピュータに、移動体を撮像して得られた撮像画像に基づいて該撮像画像上の移動体領域を検出させるためのコンピュータプログラムにおいて、
コンピュータに、
前記撮像画像上で複数の画素で構成される任意の大きさの検出ブロックを複数設定するステップと、
設定した各検出ブロックが移動体の候補領域であるか否かを評価する評価値を前記検出ブロック毎に算出するステップと、
算出した評価値に基づいて候補領域であると評価された1又は複数の検出ブロックを選択するステップと、
選択した検出ブロックの前記撮像画像上の位置及び大きさに基づいて、前記撮像画像上の移動体領域を検出するステップと
を実行させることを特徴とするコンピュータプログラム。 - 撮像装置で移動体を撮像して得られた撮像画像に基づいて該撮像画像上の移動体領域を検出する移動体検出装置による移動体検出方法において、
前記撮像画像上で複数の画素で構成される任意の大きさの検出ブロックを複数設定するステップと、
設定された各検出ブロックが移動体の候補領域であるか否かを評価する評価値を前記検出ブロック毎に算出するステップと、
算出された評価値に基づいて候補領域であると評価された1又は複数の検出ブロックを選択するステップと、
選択された検出ブロックの前記撮像画像上の位置及び大きさに基づいて、前記撮像画像上の移動体領域を検出するステップと
を含むことを特徴とする移動体検出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011173343A JP2013037549A (ja) | 2011-08-08 | 2011-08-08 | 移動体検出装置、コンピュータプログラム及び移動体検出方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011173343A JP2013037549A (ja) | 2011-08-08 | 2011-08-08 | 移動体検出装置、コンピュータプログラム及び移動体検出方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013037549A true JP2013037549A (ja) | 2013-02-21 |
Family
ID=47887110
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011173343A Withdrawn JP2013037549A (ja) | 2011-08-08 | 2011-08-08 | 移動体検出装置、コンピュータプログラム及び移動体検出方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013037549A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016045837A (ja) * | 2014-08-26 | 2016-04-04 | 富士通株式会社 | 情報処理装置、画像判定方法、及びプログラム |
JP2016219879A (ja) * | 2015-05-14 | 2016-12-22 | 株式会社リコー | 画像処理装置、画像処理方法及びプログラム |
JP2019125031A (ja) * | 2018-01-12 | 2019-07-25 | 株式会社日立ソリューションズ | システム、画像認識方法、及び計算機 |
-
2011
- 2011-08-08 JP JP2011173343A patent/JP2013037549A/ja not_active Withdrawn
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016045837A (ja) * | 2014-08-26 | 2016-04-04 | 富士通株式会社 | 情報処理装置、画像判定方法、及びプログラム |
JP2016219879A (ja) * | 2015-05-14 | 2016-12-22 | 株式会社リコー | 画像処理装置、画像処理方法及びプログラム |
JP2019125031A (ja) * | 2018-01-12 | 2019-07-25 | 株式会社日立ソリューションズ | システム、画像認識方法、及び計算機 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Nieto et al. | Automatic vacant parking places management system using multicamera vehicle detection | |
Khammari et al. | Vehicle detection combining gradient analysis and AdaBoost classification | |
CN102902955B (zh) | 一种车辆行为的智能分析方法及系统 | |
Ling et al. | Identifying parking spaces & detecting occupancy using vision-based IoT devices | |
Chen et al. | Object-level motion detection from moving cameras | |
CN104239867B (zh) | 车牌定位方法及系统 | |
Azimi et al. | Eagle: Large-scale vehicle detection dataset in real-world scenarios using aerial imagery | |
JP2000048209A (ja) | 画像処理方法及び装置 | |
JP5388291B2 (ja) | 識別器生成方法、コンピュータプログラム、識別器生成装置及び所定物体検出装置 | |
CN107729843A (zh) | 基于雷达与视觉信息融合的低地板有轨电车行人识别方法 | |
CN103150547A (zh) | 车辆跟踪方法及装置 | |
JP2012123626A (ja) | 対象物検出装置及びプログラム | |
JP5344618B2 (ja) | 移動体追跡装置、追跡方法及びコンピュータプログラム | |
CN108629225B (zh) | 一种基于多幅子图与图像显著性分析的车辆检测方法 | |
KR102197930B1 (ko) | 번호판 인식 방법 및 시스템 | |
JP2013037549A (ja) | 移動体検出装置、コンピュータプログラム及び移動体検出方法 | |
JP5369921B2 (ja) | 物体検出装置及び物体検出方法 | |
JP2013122739A (ja) | 解析装置、解析プログラムおよび解析方法 | |
Shang et al. | A novel method for vehicle headlights detection using salient region segmentation and PHOG feature | |
Kumar et al. | Traffic surveillance and speed limit violation detection system | |
Liu et al. | Automatic detection of parking violation and capture of license plate | |
Moseva et al. | Development of a System for Fixing Road Markings in Real Time | |
Matsuda et al. | A Method for Detecting Street Parking Using Dashboard Camera Videos. | |
JP5447162B2 (ja) | 移動体識別装置、コンピュータプログラム及び移動体識別方法 | |
JP5447164B2 (ja) | 移動体識別装置、コンピュータプログラム及び移動体識別方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20141104 |