JP2013089129A - 移動体検出装置、コンピュータプログラム及び移動体検出方法 - Google Patents

移動体検出装置、コンピュータプログラム及び移動体検出方法 Download PDF

Info

Publication number
JP2013089129A
JP2013089129A JP2011230979A JP2011230979A JP2013089129A JP 2013089129 A JP2013089129 A JP 2013089129A JP 2011230979 A JP2011230979 A JP 2011230979A JP 2011230979 A JP2011230979 A JP 2011230979A JP 2013089129 A JP2013089129 A JP 2013089129A
Authority
JP
Japan
Prior art keywords
moving body
vehicle
captured image
feature points
projected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011230979A
Other languages
English (en)
Other versions
JP5423764B2 (ja
Inventor
Hidenori Yamamoto
英典 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Electric Industries Ltd
Original Assignee
Sumitomo Electric Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo Electric Industries Ltd filed Critical Sumitomo Electric Industries Ltd
Priority to JP2011230979A priority Critical patent/JP5423764B2/ja
Publication of JP2013089129A publication Critical patent/JP2013089129A/ja
Application granted granted Critical
Publication of JP5423764B2 publication Critical patent/JP5423764B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】高い精度で移動体を検出することができる移動体検出装置、コンピュータプログラム及び移動体検出方法を提供する。
【解決手段】特徴点抽出部103は、撮像画像の各画素の画素値に基づいて複数の特徴点を抽出する。候補点特定部104は、抽出された特徴点から車両の所定部位の候補点を1又は複数特定する。透視投影変換部105は、特定された候補点を、透視投影変換行列を用いて3次元座標空間に逆投影する。3次元モデル配置部106は、逆投影された候補点に整合させて3次元モデルを配置する。透視投影変換部105は、配置された3次元モデルを撮像画像に投影する。移動体検出部107は、撮像画像へ投影された3次元モデルにより画定される領域内に含まれる特徴点の数に基づいて、車両を検出する。
【選択図】図1

Description

本発明は、車両を含む移動体を撮像して得られた撮像画像を用いて移動体を検出する移動体検出装置、該移動体検出装置をコンピュータで実現するためのコンピュータプログラム及び移動体検出方法に関する。
道路を走行する車両あるいは横断歩道を歩行する歩行者などの移動体をビデオカメラなどの撮像装置で撮像し、移動体を検出する装置や交通流を計測する装置が検討されている。また、車両の運転者からは死角となる場所に存在する車両又は歩行者などの移動体の情報を路側インフラ装置から車両側へ提供することで未然に交通事故を抑止する路車協調型安全運転支援システムの検討が進められている。
例えば、道路の側に設置されたカメラで道路を撮影し、その映像情報に基づいて複数のサンプル点の輝度を決定し、空間微分処理を行ってエッジを強調することで、車体の色の違い、あるいは外部の明るさによる影響を受けずに車両の車頭を検出することができる交通流計測処理装置が開示されている(特許文献1参照)。
特開平5−307695号公報
しかし、特許文献1に開示されているような従来の装置にあっては、道路の側に設置されたカメラで道路上の車両の前方斜め方向から車両を撮像する。そして、撮像して得られた画像から特徴量をラベリングし、ラベル内の特徴及び時系列の特徴から車両か否かを認識する手法であり、2次元画像処理の域を出ない。また、複数のカメラを用いて3次元情報を積極的に取得する手法もあるが、単眼カメラで3次元情報を利用する手法は非常に少ない。さらに、多数の車両の特徴パターンを学習させておき、撮像された画像の特徴パターンが学習済みの特徴パターンと類似するか否かで車両を認識する方法もあるが、様々な実環境で利用可能とするには膨大な学習データを予め蓄積しておく必要があり実用性に乏しく、上述のいずれの手法を用いても実用的に車両を精度よく検出することが困難である。
本発明は、斯かる事情に鑑みてなされたものであり、高い精度で移動体を検出することができる移動体検出装置、該移動体検出装置をコンピュータで実現するためのコンピュータプログラム及び移動体検出方法を提供することを目的とする。
第1発明に係る移動体検出装置は、車両を含む移動体を撮像して得られた撮像画像を用いて移動体を検出する移動体検出装置において、前記撮像画像を構成する各画素の画素値に基づいて複数の特徴点を抽出する抽出手段と、該抽出手段で抽出した特徴点から移動体の所定部位の候補点を1又は複数特定する特定手段と、該特定手段で特定した1又は複数の候補点を、透視投影変換行列を用いて3次元座標空間に逆投影する逆投影手段と、前記3次元座標空間での移動体を表す移動体モデルの所定部位を前記逆投影手段で逆投影した1又は複数の候補点それぞれに整合させて1又は複数の移動体モデルを前記3次元座標空間に配置する配置手段と、該配置手段で配置した1又は複数の移動体モデルを、前記透視投影変換行列を用いて前記撮像画像に投影する投影手段と、該投影手段で投影した1又は複数の移動体モデルにより画定される前記撮像画像上の領域内に含まれる前記特徴点の数に基づいて、一の移動体モデルで表された移動体を検出する検出手段とを備えることを特徴とする。
第2発明に係る移動体検出装置は、第1発明において、車両の車種に応じて複数の移動体モデルを記憶する記憶手段を備え、前記配置手段は、前記投影手段で投影した候補点に整合させて、前記記憶手段に記憶した複数の移動体モデルを配置するようにしてあり、前記投影手段は、前記複数の移動体モデルそれぞれを、前記透視投影変換行列を用いて前記撮像画像に投影するようにしてあり、前記検出手段は、前記投影手段で投影した前記複数の移動体モデルそれぞれにより画定される前記撮像画像上の領域内に含まれる前記特徴点の数に基づいて、複数の移動体モデルのうちの一の移動体モデルで表された移動体の車種を検出するように構成してあることを特徴とする。
第3発明に係る移動体検出装置は、第1発明又は第2発明において、前記検出手段は、前記投影手段で投影した前記移動体モデルにより画定される前記撮像画像上の領域のうちの車両前部又は車両後部に対応する領域内に含まれる前記特徴点の数に基づいて、前記移動体モデルで表された移動体を検出するように構成してあることを特徴とする。
第4発明に係る移動体検出装置は、第1発明又は第2発明において、前記検出手段は、前記投影手段で投影した前記移動体モデルにより画定される前記撮像画像上の最大の領域内に含まれる前記特徴点の数に基づいて、前記移動体モデルで表された移動体を検出するように構成してあることを特徴とする。
第5発明に係る移動体検出装置は、第1発明乃至第4発明のいずれか1つにおいて、前記領域内の画素数に対する該領域内に含まれる前記特徴点の数の割合を算出する割合算出手段を備え、前記検出手段は、前記割合算出手段で算出した割合が所定の閾値より大きい場合、前記領域を画定した移動体モデルで表された移動体を検出するように構成してあることを特徴とする。
第6発明に係る移動体検出装置は、第1発明乃至第4発明のいずれか1つにおいて、前記領域内に含まれる前記特徴点の分布状態を特定する分布状態特定手段を備え、前記検出手段は、前記分布状態特定手段で特定した分布状態が所定の分布状態である場合、前記領域を画定した移動体モデルで表された移動体を検出するように構成してあることを特徴とする。
第7発明に係る移動体検出装置は、第1発明乃至第6発明のいずれか1つにおいて、複数の画素を有し、車種毎に予め定めた画像パターンを複数記憶する記憶手段と、前記投影手段で投影した前記移動体モデルにより画定される前記撮像画像上の領域のうちの車両前部又は車両後部に対応する領域内の各画素の画素値と、前記画像パターン内の各画素の画素値との類似度を算出する類似度算出手段を備え、前記検出手段は、前記類似度算出手段で算出した類似度が所定の条件を満たす画像パターンに対応する車種を移動体の車種として検出するように構成してあることを特徴とする。
第8発明に係るコンピュータプログラムは、コンピュータに、車両を含む移動体を撮像して得られた撮像画像を用いて移動体を検出させるためのコンピュータプログラムにおいて、コンピュータに、前記撮像画像を構成する各画素の画素値に基づいて複数の特徴点を抽出するステップと、抽出した特徴点から移動体の所定部位の候補点を1又は複数特定するステップと、特定した1又は複数の候補点を、透視投影変換行列を用いて3次元座標空間に逆投影するステップと、前記3次元座標空間での移動体を表す移動体モデルの所定部位を、逆投影した1又は複数の候補点それぞれに整合させて1又は複数の移動体モデルを前記3次元座標空間に配置するステップと、配置した1又は複数の移動体モデルを、前記透視投影変換行列を用いて前記撮像画像に投影するステップと、投影した1又は複数の移動体モデルにより画定される前記撮像画像上の領域内に含まれる前記特徴点の数に基づいて、一の移動体モデルで表された移動体を検出するステップとを実行させることを特徴とする。
第9発明に係る移動体検出方法は、車両を含む移動体を撮像して得られた撮像画像を用いて移動体を検出する移動体検出装置による移動体検出方法において、前記撮像画像を構成する各画素の画素値に基づいて複数の特徴点を抽出するステップと、抽出された特徴点から移動体の所定部位の候補点を1又は複数特定するステップと、特定された1又は複数の候補点を、透視投影変換行列を用いて3次元座標空間に逆投影するステップと、前記3次元座標空間での移動体を表す移動体モデルの所定部位を、逆投影した1又は複数の候補点それぞれに整合させて1又は複数の移動体モデルを前記3次元座標空間に配置するステップと、配置された1又は複数の移動体モデルを、前記透視投影変換行列を用いて前記撮像画像に投影するステップと、投影された1又は複数の移動体モデルにより画定される前記撮像画像上の領域内に含まれる前記特徴点の数に基づいて、一の移動体モデルで表された移動体を検出するステップとを含むことを特徴とする。
第1発明、第8発明及び第9発明にあっては、撮像画像の各画素の画素値に基づいて複数の特徴点を抽出する。例えば、画像上の注目画素とその周辺画素との画素値の差分を符号化した周辺増分符号を予め背景画像などから得られたマスク符号でマスク処理して得られた画像上の画素(マスク処理で残った画素)を特徴点とすることができる。また、周辺増分符号に代えて、撮像画像をエッジ処理して得られたエッジ画像上の画素を特徴点としてもよい。また、撮像画像上で移動体(車両)の候補となり得る画素(特徴量、特徴点など)を抽出することができるものであれば、他の手法を用いてもよい。そして、抽出した特徴点から移動体の所定部位の候補点を1又は複数特定する。所定部位とは、例えば、移動体(車両)の車頭又は車尾などである。候補点の特定は、例えば、撮像画像を水平方向(水平ライン)に走査して特徴点を1ライン毎に計数し、1ライン上の特徴点の数が所定の閾値より大きい場合に、当該ライン上の1又は複数の特徴点を候補点(複数の候補点も含む)として特定する。例えば、特徴点で構成される水平方向の線分の中央位置を候補点として特定することができる。すなわち、特徴点が、車両の車頭又は車尾の中央位置に対応する。
特定した1又は複数の候補点を、透視投影変換行列を用いて3次元座標空間に逆投影する。撮像画像の座標を(u、v)とし、その行列をMで表す。また、ワールド座標(道路空間座標、3次元空間座標、実空間座標とも称する)を(Xw、Yw、Zw)とし、その行列をWで表す。透視投影変換行列をPとすると、M=P・Wの関係を有する。ここで、透視投影変換行列Pは、(3×3)の行列であり、透視投影変換行列Pの各要素は、ビデオカメラ(撮像装置)の設置高さ、ビデオカメラの張り出し長、ビデオカメラ下から車両の検出(計測)領域の位置(距離)などを計測することにより算出することができる。例えば、撮像画像(特徴点画像)上の候補点C(u、v)は、ワールド座標の候補点C(Xw、Yw、Zw)に逆投影される。これにより、撮像画像上の車頭又は車尾(中央位置)が3次元座標空間(ワールド座標)へ逆投影される。
移動体モデルの所定部位を投影した1又は複数の候補点それぞれに整合させて、1又は複数の移動体モデルを3次元座標空間に配置する。移動体モデルは、3次元座標空間での移動体(車両)を表し、複数の座標点を含む。例えば、車両の長さ、幅及び高さに対応する寸法で構成される直方体(3次元モデル)の8つの頂点の座標点で移動体モデルを表現することができる。移動体モデルの所定部位は、車頭又は車尾(中央位置)である。また、移動体モデルは、例えば、移動体の種類(例えば、車種、大きさなど)に応じて複数用意しておき、それぞれの移動体モデルを配置することができる。これにより、2次元の撮像画像上の車頭又は車尾を一旦3次元空間に逆投影し、逆投影した車頭又は車尾に移動体モデルの車頭又は車尾を当てはめ(整合させて配置し)、車頭又は車尾を基準とした移動体の候補となる領域を3次元的アプローチで特定する。次に、配置した1又は複数の移動体モデルそれぞれの複数の座標点(例えば、直方体の8つの頂点)を、透視投影変換行列を用いて撮像画像に投影する。これにより、3次元的アプローチで特定した移動体の候補となる領域を撮像画像上で画定することができる。
投影した複数の座標点により画定される撮像画像上の領域(判定領域)内に含まれる特徴点の数に基づいて、複数の座標点を含む一の移動体モデルで表現された移動体を検出する。すなわち、配置した1又は複数の移動体モデルの中から一の移動体モデルを選択する。例えば、当該領域内に含まれる特徴点の数が多い場合(所定の閾値より大きい場合)には、当該領域内の特徴点群(特徴点の集合)を車両として検出する。なお、当該領域内に含まれる特徴点の数が少ない場合(所定の閾値より小さい場合)には、車両なしと判定する。上述のように、車両の所定部位を一旦3次元空間座標へ逆投影し、逆投影した所定部位を基準として移動体モデル(3次元モデル)を配置して、3次元情報を加味して移動体の候補となる領域を特定し、特定した領域を再度2次元の撮像画像へ投影し、投影した領域内の特徴点の数を用いて車両を検出するので、単に2次元の撮像画像で得られ特徴点から車両を検出する場合に比べて、移動体の3次元情報が考慮されるので、従来に比べて高い精度で車両を検出することができる。
第2発明にあっては、車両の車種に応じて複数の移動体モデルを記憶しておく。移動体モデルは、例えば、大型車、普通車、二輪車などのように車種に分けて予め記憶しておくことができる。投影した候補点に整合させて、複数の移動体モデルそれぞれを配置する。そして、配置した複数の移動体モデルそれぞれの複数の座標点を、透視投影変換行列を用いて撮像画像に投影する。これにより、任意の1つの候補点に対して、例えば、車種毎に移動体の候補となる複数の領域を撮像画像上で画定することができる。投影した複数の座標点により画定される撮像画像上の複数の領域内に含まれる特徴点の数に基づいて、複数の移動体モデルのうちの一の移動体モデルで表現された移動体の車種を検出する。例えば、当該領域内に含まれる特徴点の数が最も多い(最も大きい)移動体モデルに対応する車種を検出した車両の車種とする。予め車種毎に定められた複数の移動体モデルそれぞれを当てはめて(配置して)、最も特徴点が多い移動体モデルを選択することができるので、2次元の撮像画像上で得られた車両領域の長さ又は高さなどから車種を判定する従来の手法のようにノイズ又は路面模様などの影響を受けることがなく、高い精度で車種を検出することができる。
第3発明にあっては、投影した複数の座標点により画定される撮像画像上の領域のうちの車両前部又は車両後部に対応する領域内に含まれる特徴点の数に基づいて、複数の座標点を含む移動体モデルで表現された移動体を検出する。例えば、車両の長さ、幅及び高さに対応する寸法で構成される直方体(3次元モデル)の8つの頂点の座標点で移動体モデルを表現する場合、車両の幅及び高さに対応する寸法で構成される長方形又は正方形を車両前部又は車両後部に対応する領域とすることができる。一般的に車両としての特徴部分が車両前部(前面)又は車両後部(後面)に現れるので、車両前部又は車両後部に対応する領域内に含まれる特徴点の数を考慮することにより、精度良く車両を検出することができる。また、特徴が最も表れやすい車両前部又は車両後部に対応する領域を用いることにより、候補となり得るもの(必要な移動体モデル)を見つけることができ、車両を漏れなく検出することができる。
第4発明にあっては、投影した複数の座標点により画定される撮像画像上の最大の領域内に含まれる特徴点の数に基づいて、複数の座標点を含む移動体モデルで表現された移動体を検出する。例えば、車両の長さ、幅及び高さに対応する寸法で構成される直方体(3次元モデル)の8つの頂点の座標点で移動体モデルを表現する場合、8つの頂点を含む最大の領域とすることができる。車両の候補となる領域の最大の領域を用いることにより、複数の移動体モデルの中で、候補となり得ないもの(不要な移動体モデル)を排除することができ、車両でないものを誤って車両として検出することを防止することができる。
第5発明にあっては、領域内の画素数に対する当該領域内に含まれる特徴点の数の割合を算出し、算出した割合が所定の閾値より大きい場合、当該領域を画定した複数の座標点を含む移動体モデルで表現された移動体を検出する。また、移動体モデルが複数ある場合には、それぞれの移動体モデルに対応する領域内の特徴点の割合が最も大きい移動体モデルを一つ選択し、選択した移動体モデルで表現された移動体を検出することができる。3次元情報を加味して移動体の候補となり得る領域と特定するので、特定した領域内に含まれる特徴点の数の割合の大小だけで車両を容易に検出することができる。
第6発明にあっては、領域内に含まれる特徴点の分布状態を特定し、特定した分布状態が所定の分布状態である場合、前記領域を画定した複数の座標点を含む移動体モデルで表現された移動体を検出する。例えば、特徴点が領域内に一様に分布している場合には、当該領域を画定した移動体モデルで表現された移動体を検出し、特徴点の分布が一様でない場合には、移動体として検出しない。また、特徴点の分布が車両前部(前面)に偏っている場合、あるいは車両後部(後面)に偏っている場合には、移動体モデルで表された移動体を検出する。3次元情報を加味して移動体の候補となり得る領域と特定するので、特定した領域内に含まれる特徴点の分布状態だけで車両を容易に検出することができる。
第7発明にあっては、複数の画素を有し、車種毎に予め定めた画像パターンを複数記憶しておく。画像パターンは、例えば、二値化画像を用いることができ、ヘッドランプ又はテールランプなどに対応する部分は高輝度であり、その他の部分は低輝度となるような画像パターンを、大型車、普通車、二輪車などの車種毎に予め用意する。投影した複数の座標点により画定される撮像画像上の領域のうちの車両前部又は車両後部に対応する領域内の各画素の画素値と、画像パターン内の各画素の画素値との類似度を算出し、算出した類似度が所定の条件を満たす画像パターンに対応する車種を移動体の車種として検出する。所定の条件は、例えば、類似度が最も大きい場合、類似度が所定の閾値より大きい場合などである。これにより、例えば、夜間などに撮像して得られた撮像画像におけるヘッドランプ又はテールランプの位置、数などのパターンと最も類似する画像パターンを選択して、大型車、普通車、二輪車などの車種を検出することができる。
本発明によれば、移動体の3次元情報が考慮されるので、高い精度で移動体を検出することができる。
本実施の形態の移動体検出装置の構成の一例を示すブロック図である。 撮像画像の一例を示す説明図である。 撮像装置で撮像する道路の様子を示す模式図である。 撮像画像の一部を示す説明図である。 注目画素を含む周辺画素の輝度値の一例を示す説明図である。 注目画素の周辺増分符号の算出例を示す説明図である。 注目画素の周辺増分符号を模式的に表した説明図である。 マスク処理の一例を示す説明図である。 候補点の特定方法の一例を示す説明図である。 撮像画像で特定された候補点の一例を示す説明図である。 3次元モデルの配置例を示す説明図である。 3次元モデルの一例を示す説明図である。 判定領域の一例を示す説明図である。 判定領域の他の例を示す説明図である。 テンプレート画像を用いた車種判定の一例を示す説明図である。 本実施の形態の移動体検出装置の処理手順を示すフローチャートである。 本実施の形態の移動体検出装置による特徴点の分布状態に基づく移動体の検出方法の一例を示す説明図である。
以下、本発明を実施の形態を示す図面に基づいて説明する。図1は本実施の形態の移動体検出装置100の構成の一例を示すブロック図である。移動体検出装置100には、撮像装置200を接続してある。なお、撮像装置200は、複数備える構成でもよい。移動体検出装置100は、装置全体を制御する制御部101、インタフェース部102、特徴点抽出部103、候補点特定部104、透視投影変換部105、3次元モデル配置部106、移動体検出部107、画素計数部108、類似度算出部109、記憶部110などを備える。なお、移動体検出装置100は、撮像装置200と一体をなす構成であってもよい。
撮像装置200は、例えば、ビデオカメラ又はカメラであり、道路を視野として、所定の高さ、レンズの光軸方向(例えば、俯角及び回転角)などの撮像条件が設定された状態で道路付近の所要の地点に設置してある。撮像装置200は、撮像して得られた撮像データを映像信号(アナログ信号)としてインタフェース部102へ送出する。
インタフェース部102は、入力された映像信号をデジタル信号に変換し、変換したデジタル信号を撮像画像(入力画像データ)として記憶部110に記憶する。インタフェース部102を介して撮像装置200から入力された撮像画像は、撮像装置200のフレームレート(撮像時点の間隔、例えば、1秒間に30フレーム)と同期して、1フレーム単位の画像データとして記憶部110に記憶される。
図2は撮像画像の一例を示す説明図である。図2の例では、撮像装置200を道路の路肩近傍から所要の高さに設けてあり、道路を走行する車両の左前方から車両を撮像する。なお、撮像装置200の設置個所は、図2の例に限定されるものではなく、また、道路を走行する車両の右前方から車両を撮像してもよく、あるいは車両の進行方向前方から撮像することもできる。また、撮像画像の右下を原点として撮像画像の座標を座標(u、v)で表す。また、撮像画像の大きさ(サイズ)は、例えば、240×320画素であるが、撮像画像の大きさはこれに限定されるものではない。
図3は撮像装置200で撮像する道路の様子を示す模式図である。図3に示すように、道路空間(実空間、3次元空間とも称する)の座標をワールド座標(Xw、Yw、Zw)で表現する。図3の例では、道路の幅方向をX軸、道路方向をY軸、高さ方向をZ軸としている。道路平面は、X軸及びY軸で表すことができる。
次に、透視投影変換行列による画像変換について説明する。図2に示すような撮像画像の座標を(u、v)とし、その行列を式(1)のようにMで表す。
Figure 2013089129
また、図3に示すようなワールド座標を(Xw、Yw、Zw)とし、その行列を式(2)のようにWで表す。透視投影変換行列をPとすると、式(3)のようにM=P・Wの関係を有する。すなわち、ワールド座標(Xw、Yw、Zw)から透視投影変換行列Pを用いて撮像画像(u、v)を求めることができ、逆に撮像画像(u、v)からワールド座標(Xw、Yw、Zw)を求めることもできる。ここで、透視投影変換行列Pは、式(4)で示すように、(3×3)の行列であり、透視投影変換行列Pの各要素は、ビデオカメラ(撮像装置)の設置高さ、ビデオカメラの張り出し長、ビデオカメラ下から車両の検出(計測)領域の位置(距離)などを計測することにより算出することができる。
特徴点抽出部103は、撮像画像の各画素の画素値に基づいて複数の特徴点を抽出する抽出手段としての機能を有する。特徴点は、撮像画像上で車両(移動体)の候補となり得る画素(又は画素領域)であり、周辺増分符号による処理、あるいはエッジ処理等により抽出することができる。以下では、周辺増分符号による処理について説明するが、撮像画像をエッジ処理して得られたエッジ画像上の画素を特徴点としてもよい。
図4は撮像画像の一部を示す説明図であり、図5は注目画素を含む周辺画素の輝度値の一例を示す説明図であり、図6は注目画素の周辺増分符号の算出例を示す説明図であり、図7は注目画素の周辺増分符号を模式的に表した説明図である。図4は、図2に示す撮像画像の一部を取り出したものである。図中、斜線部は路面であり、白抜きの部分は路面に描かれた図柄の一部である。また、図4中の中央の画素を注目画素とする。
図5は、注目画素とその周辺画素の輝度値を示す。図5の例では、周辺画素は、注目画素に隣接する8画素(注目画素を中心とする3×3画素から注目画素を除いた画素)である。輝度値は、例えば、0から255までの数値で表すことができ、数値が大きいほど輝度が高い。図5の例では、注目画素の輝度値が140であり、その周辺画素の輝度値は、右隣接画素から反時計周りの順に、217、216、110、134、129、130、119、211である。なお、輝度値は一例であって、これに限定されるものではない。
周辺増分符号の算出は、注目画素の輝度値と、注目画素の8近傍の周辺画素の輝度値とを比較し、それぞれの周辺画素の輝度値aが、注目画素の輝度値wとの間で、w+α<aであれば、その周辺画素の位置に対応する符号成分を1(有効)とする。また、w+α≧aであれば、その周辺画素の位置に対応する符号成分を0(無効)とする。ここで、αは差分閾値であって適宜設定することができ、例えば、α=20とすることができる。
上述の算出方法に従った場合、図5の例で示す注目画素の周辺増分符号は、図6に示すようになる。すなわち、注目画素の8近傍の周辺画素を右隣接画素から反時計周りの順に、A1、A2、…A8とする。図5及び図6から、周辺画素A1の輝度値aは217であり、注目画素wの輝度値は140であるから、w+α<aの関係を満たす。従って、周辺画素A1に対応する符号成分は1(有効)となる。同様にして他の周辺画素の符号成分を求めると、注目画素の周辺増分符号(A8 A7 …A1)は、(11000001)となり、8ビットの情報を用いて符号化したものとなる。8ビットの二進符号を10進符号に変換することで、周辺増分符号は、193として表すこともできる。
図6に示すように、8近傍の周辺画素のうち、右隣の周辺画素A1と、右上及び右下の周辺画素A8の符号成分が1(有効)であるので、これを模式的に表すと、図7のようになる。すなわち、周辺増分符号を、注目画素を中心として、符号成分が有効である周辺画素の方向に放射状に伸びた線分で表すこともできる。このようにして、撮像画像上の注目画素を順番に走査することで、撮像画像上のすべての画素を符号化することができる。
上述のように、撮像画像差分符号としての周辺増分符号は、注目画素とその周辺の各周辺画素との差分(輝度値の差分)の大小に応じた有効又は無効を示す符号成分を有する。そして、差分の符号化は、周辺画素のそれぞれに対応させて、差分(a−w)が所定の差分閾値αより大きい場合には、有効(例えば、1)、差分(a−w)が差分閾値α以下の場合には、無効(例えば、0)というようにすることができる。なお、上述の例では、差分(a−w)を増分として符号化したものであるが、これに限定されるものではなく、差分(w−a)を減分として符号化することもできる。
記憶部110は、背景画像差分符号としてのマスク符号を記憶している。マスク符号は、周辺増分符号と同様の方法で生成することができる。すなわち、マスク符号は、車両が存在しないときに撮像された背景画像の任意の画素毎に、当該任意の画素とその周辺の周辺画素との画素値の差分を符号化したものである。そして、マスク符号は、周辺増分符号と同様に、任意の画素と各周辺画素との差分の大小に応じた有効又は無効を示す符号成分を有する。
特徴点抽出部103は、注目画素の周辺増分符号(撮像画像周辺差分符号)を、当該注目画素に対応する背景画像上の画素のマスク符号(背景画像周辺差分符号)でマスク処理する。例えば、画像上の注目画素とその周辺画素との画素値の差分を符号化した周辺増分符号を予め背景画像などから得られたマスク符号でマスク処理して得られた画像上の画素(マスク処理で残った画素)を特徴点とすることができる。以下、マスク処理の方法について説明する。
図8はマスク処理の一例を示す説明図である。図8Aは撮像画像の周辺増分符号の一例を示し、図8Bは背景画像(マスク符号画像)のマスク符号の一例を示し、図8Cはマスク処理後画像の周辺増分符号を示す。また、図中、各画素に記載された放射状の線分は、図7で例示した周辺増分符号を模式化したものである。図8の例では、撮像画像の注目画素の周辺増分符号の有効成分と、当該注目画素に対応する背景画像上の画素のマスク符号の有効成分とがすべて同一である場合(完全一致に相当する)、当該有効成分をすべて除去して、入力画像の各注目画素の周辺増分符号をマスク処理する。例えば、8個の符号成分を(A8、A7、…A1)とした場合に、周辺増分符号の有効成分をA4、A3、A2、A1とし、マスク符号の有効成分をA4、A3、A2としたときには、両者の有効成分がすべて一致しないので、周辺増分符号は除去されず、マスク処理を行った後のマスク処理後撮像画像周辺差分符号の有効成分は、A4、A3、A2、A1すべてが残る。これにより、撮像画像の特徴量である周辺増分符号が除去されにくくなり、マスク処理後の移動体の特徴量を残すことができ、精度良く特徴点を抽出することができる。
候補点特定部104は、特徴点抽出部103で抽出した特徴点から車両(移動体)の所定部位の候補点を1又は複数特定する候補点特定手段としての機能を有する。所定部位とは、例えば、車両の車頭又は車尾などである。
図9は候補点の特定方法の一例を示す説明図である。図9の左側の図はマスク処理後の撮像画像(特徴点を示す特徴点画像)を示し、符号×で示す点は特徴点である。なお、特徴点は模式的に例示したものであり、図9の例に限定されるものでない。また、符号Li、Lj、Lkは、特徴点の数を水平方向(水平ライン)毎に計数する際の水平ラインを示す。
候補点の特定は、例えば、撮像画像(マスク処理後画像)を水平方向(水平ライン)に走査して特徴点を1ライン毎に計数し、1ライン上の特徴点の数が所定の閾値より大きい場合に、当該ライン上の1又は複数の特徴点を候補点(複数の候補点も含む)として特定する。
例えば、図9の右側の図は、特徴点プロファイルを示し、水平ライン毎に特徴点の数を計数した結果を示す。図9に示すように、水平ラインLi、Lj、Lkの内で、水平ラインLj、Lk上で計数された特徴点の数が閾値より大きいので、水平ラインLj、Lk上の特徴点で構成される水平方向の線分の中央位置を候補点として特定する。すなわち、特徴点が、車両の車頭又は車尾の中央位置に対応する。
図10は撮像画像で特定された候補点の一例を示す説明図である。図10では、候補点として、候補点C1、C2を例示している。候補点C1は撮像画像上で座標(u1、v1)を有し、図9で例示した水平ラインLj上の複数の特徴点で構成される線分の中央位置の点である。また、候補点C2は撮像画像上で座標(u2、v2)を有し、図9で例示した水平ラインLk上の複数の特徴点で構成される線分の中央位置の点である。
透視投影変換部105は、候補点特定部104で特定した候補点を、透視投影変換行列を用いて3次元座標空間に逆投影する逆投影手段としての機能を有する。前述のように、撮像画像の座標を(u、v)とし、その行列をMで表す。また、ワールド座標(道路空間座標、3次元空間座標、実空間座標とも称する)を(Xw、Yw、Zw)とし、その行列をWで表す。透視投影変換行列をPとすると、M=P・Wの関係を有する。そして、撮像画像(特徴点画像)上の候補点C(u、v)は、ワールド座標の候補点C(Xw、Yw、Zw)に逆投影される。これにより、撮像画像上の候補点である車頭又は車尾(中央位置)が3次元座標空間(ワールド座標)へ逆投影される。
3次元モデル配置部106は、3次元座標空間での車両(移動体)を表現すべく複数の座標点を含む移動体モデルの所定部位を、透視投影変換部105で逆投影した候補点に整合させて移動体モデルを3次元座標空間に配置する配置手段としての機能を有する。
移動体モデル(3次元モデルとも称する)は、3次元座標空間での車両(移動体)を表現すべく複数の座標点を含む。例えば、車両の長さ、幅及び高さに対応する寸法で構成される直方体(3次元モデル)の8つの頂点の座標点で移動体モデルを表現することができる。また、移動体モデルの所定部位は、車頭又は車尾(中央位置)である。
また、移動体モデルは、例えば、車両の種類(例えば、車種、大きさなど)に応じて複数記憶部110に記憶しておき、それぞれの移動体モデルを同じ候補点に対して配置することができる。
図11は3次元モデルの配置例を示す説明図である。上述のように、3次元モデルを8つの頂点で構成される(囲まれる)直方体とする。図11に示すように、ワールド座標での候補点C1(Xw1、Yw1、Zw1)に3次元モデルMの車頭又は車尾が一致するように(整合させて)、3次元モデルMを配置する。同様に、ワールド座標での候補点C2(Xw2、Yw2、Zw2)に3次元モデルMの車頭又は車尾が一致するように(整合させて)、3次元モデルMを配置する。すなわち、それぞれの候補点に対して、同一の3次元モデルを配置する。なお、図11の例では、簡略化のため、1つの3次元モデルMのみを表示しているが、複数の3次元モデルがある場合には、それぞれの3次元モデルを同様にして配置する。
図12は3次元モデルの一例を示す説明図である。図12の例では、3次元モデルを車両の車種に応じて、例えば、大型車、普通車、二輪車などのように車種に分けて予め記憶しておくことができる。なお、3次元モデルの種類は、図12の例に限定されるものではなく、軽自動車、特大車、中型車、特殊車両など、さらにモデルを増やすこともできる。
上述のように、2次元の撮像画像上の車頭又は車尾を一旦3次元空間に逆投影し、逆投影した車頭又は車尾に車両の3次元モデルの車頭又は車尾を当てはめ(整合させて配置し)、車頭又は車尾を基準とした車両の候補となる領域を3次元的アプローチで特定する。
透視投影変換部105は、3次元モデル配置部106で配置した3次元モデルの複数の座標点を、透視投影変換行列を用いて撮像画像に投影する投影手段としての機能を有する。すなわち、透視投影変換部105は、ワールド座標内(3次元空間内)に配置された3次元モデルの複数の座標点(例えば、直方体の8つの頂点)を、透視投影変換行列を用いて撮像画像に投影する。これにより、3次元的アプローチで特定した車両の候補となる領域を撮像画像上で画定することができる。
移動体検出部107は、撮像画像へ投影された3次元モデルの複数の座標点(例えば、直方体の8つの頂点)により画定される領域(以下、判定領域とも称する)内に含まれる特徴点の数に基づいて、車両(移動体)を検出する検出手段としての機能を有する。
移動体検出部107は、判定領域内に含まれる特徴点の数が多い場合(所定の閾値より大きい場合)には、判定領域内の特徴点群(特徴点の集合)を車両として検出する。なお、判定領域内に含まれる特徴点の数が少ない場合(所定の閾値より小さい場合)には、車両なしと判定する。
上述のように、車両の所定部位を一旦3次元空間座標へ逆投影し、逆投影した所定部位を基準として移動体モデル(3次元モデル)を配置して、3次元情報を加味して車両の候補となる領域を特定し、特定した領域を再度2次元の撮像画像へ投影し、投影した領域(判定領域)内の特徴点の数を用いて車両を検出するので、単に2次元の撮像画像で得られた特徴点から車両を検出する場合に比べて、移動体の3次元情報が考慮されるので、従来に比べて高い精度で車両を検出することができる。
また、上述のように、大型車、普通車、二輪車などのように車種に分けて車両の3次元モデルを予め記憶しておく。投影した候補点に整合させて、複数の3次元モデルそれぞれを配置する。そして、配置した複数の3次元モデルそれぞれの複数の座標点を、透視投影変換行列を用いて撮像画像に投影する。これにより、任意の1つの候補点に対して、例えば、車種毎に移動体の候補となる複数の領域を撮像画像上で画定することができる。投影した複数の座標点により画定される撮像画像上の複数の領域(判定領域)内に含まれる特徴点の数に基づいて、複数の3次元モデルのうちの一の3次元モデルで表現された車両の車種を検出する。例えば、判定領域内に含まれる特徴点の数が最も多い(最も大きい)3次元モデルに対応する車種を、検出した車両の車種とする。予め車種毎に定められた複数の3次元モデルそれぞれを当てはめて(配置して)、最も特徴点が多い3次元モデルを選択することができるので、2次元の撮像画像上で得られた車両領域の長さ又は高さなどから車種を判定する従来の手法のようにノイズ又は路面模様などの影響を受けることがなく、高い精度で車種を検出することができる。
図13は判定領域の一例を示す説明図である。判定領域は、3次元モデルの複数の座標で画定される領域を、透視投影変換行列を用いて撮像画像へ投影した結果得られた領域である。図13の例は、3次元座標に逆投影された候補点C1(Xw1、Yw1、Zw1)に3次元モデルを配置し、透視投影変換行列を用いて3次元モデルを撮像画像へ投影した結果得られた判定領域Saを示す。
判定領域Saは、車両前部又は車両後部に対応する領域である。すなわち、判定領域Saは、車両の長さ、幅及び高さに対応する寸法で構成される直方体(3次元モデル)の8つの頂点の座標点で3次元モデルを表現する場合、車両の幅及び高さに対応する寸法で構成される長方形状又は正方形状の車両前部又は車両後部に対応する領域を、透視投影変換行列を用いて撮像画像へ投影した結果得られた領域である。
一般的に車両としての特徴部分が車両前部(前面)又は車両後部(後面)に現れるので、車両前部又は車両後部に対応する領域内に含まれる特徴点の数を考慮することにより、精度良く車両を検出することができる。また、特徴が最も表れやすい車両前部又は車両後部に対応する領域を用いることにより、候補となり得るもの(必要な移動体モデル)を見つけることができ、車両を漏れなく検出することができる。
図14は判定領域の他の例を示す説明図である。図14の例は、3次元座標に逆投影された候補点C1(Xw1、Yw1、Zw1)に3次元モデルを配置し、透視投影変換行列を用いて3次元モデルを撮像画像へ投影した結果得られた判定領域Sbを示す。
判定領域Sbは、車両全体に対応する領域である。すなわち、判定領域Sbは、車両の長さ、幅及び高さに対応する寸法で構成される直方体(3次元モデル)の8つの頂点の座標点で3次元モデルを表現する場合、8つの頂点を含む最大の領域を、透視投影変換行列を用いて撮像画像へ投影した結果得られた領域である。車両の候補となる領域の最大の領域を用いることにより、複数の移動体モデルの中で、候補となり得ないもの(不要な移動体モデル)を排除することができ、車両でないものを誤って車両として検出することを防止することができる。
画素計数部108は、判定領域内の画素数に対する当該判定領域内に含まれる特徴点の数の割合を算出する割合算出手段としての機能を有する。
移動体検出部107は、画素計数部108で算出した割合が所定の閾値より大きい場合、当該判定領域を画定した複数の座標点を含む3次元モデルで表現された車両を検出する。また、3次元モデルが複数ある場合には、それぞれの3次元モデルに対応する判定領域内の特徴点の割合が最も大きい3次元モデルを一つ選択し、選択した3次元モデルで表現された車両を検出することができる。3次元情報を加味して移動体の候補となり得る領域と特定するので、特定した領域内に含まれる特徴点の数の割合の大小だけで車両を容易に検出することができる。
撮像画像から適宜の特徴量に基づいて2次元の撮像画像上で車両候補の領域を特定して車種を決定する場合には、撮像画像上のノイズ又は路面模様などにより車両候補の領域を正確に特定することができない場合もある。しかし、上述のように、本実施の形態では、予め車両の車種に応じた3次元モデルを用意しておき、複数の3次元モデルを3次元空間内の候補点に整合させて配置し、配置した3次元モデルで画定された領域を撮像画像へ投影して得られた判定領域内の特徴点の数に基づいて、車両、車種を検出するので、正確な車両の領域、車種を検出することができる。
次に、夜間などに車種を判定する方法について説明する。図15はテンプレート画像を用いた車種判定の一例を示す説明図である。類似度算出部109は、図15に示すように、例えば、車両前部又は車両後部に対応する判定領域Saを、長方形状の画像に変換し、変換した長方形画像の各画素の画素値と、テンプレート画像の各画素の画素値との類似度を算出する。類似度を算出する際の画素値は、例えば、画素の輝度値でもよく、RGBの各値でもよく、特徴点を用いてもよい。
画像パターンは、例えば、二値化画像を用いることができ、ヘッドランプ又はテールランプなどに対応する部分は高輝度であり、その他の部分は低輝度となるような画像パターンを、大型車、普通車、二輪車などの車種毎に予め用意する。
判定領域Saに路面反射がある場合とヘッドライトがある場合とでは、判定領域Saに出現するパターンが異なる。例えば、ヘッドライトの場合では、判定領域Sa内に輝度の高い部分と暗い部分が両方存在し、上側が暗、下側が明というパターンとなる。また、ヘッドライトの場合では、判定領域Sa内の左側及び右側に輝度が高い部分があるパターンとなる。撮像画像とテンプレート画像との相関値の和が最大のものが、一定閾値を超えた場合、ヘッドライトと認識することができ、車両を検出することができる。
移動体検出部107は、類似度算出部109で算出した類似度が最も高い画像パターンに対応する車種を移動体の車種として検出する。これにより、例えば、夜間などに撮像して得られた撮像画像におけるヘッドランプ又はテールランプの位置、数などのパターンと最も類似する画像パターンを選択して、大型車、普通車、二輪車などの車種を検出することができる。
上述の実施の形態では、候補点を1つの画素の点としたが、これに限定されるものではなく、当該候補点を含む周辺の複数の画素で構成される候補領域としてもよい。また、特定する候補点の数は、適宜決めればよいが、例えば、1つの撮像画像に対して、10個程度に特定することができる。
次に、本実施の形態の移動体検出装置100の動作について説明する。図16は本実施の形態の移動体検出装置100の処理手順を示すフローチャートである。制御部101は、撮像画像を取得し(S11)、撮像画像から特徴点を抽出し(S12)、抽出した特徴点を水平ライン毎に計数することにより、車頭又は車尾の候補点を特定する(S13)。
制御部101は、2次元画像上の候補点を、透視投影変換行列を用いて道路空間座標の道路平面へ逆投影する(S14)。
制御部101は、逆投影した候補点に3次元モデルの車頭又は車尾を整合させて、3次元モデルを道路区間座標に配置する(S15)。
制御部101は、透視投影変換行列を用いて配置した3次元モデルを撮像画像座標へ投影し(S16)、投影した3次元モデルから判定領域を特定する(S17)。これにより、3次元モデルで画定される領域が、撮像画像上の判定領域として投影される。
制御部101は、判定領域内の特徴点を計数し(S18)、判定領域内の全画素に対する特徴点の数の割合が閾値より大きいか否かを判定する(S19)。割合が閾値より大きい場合(S19でYES)、制御部101は、判定領域内の特徴点群を車両として検出し(S20)、該当の3次元モデル(割合が閾値より大きい判定領域が特定された3次元モデル)から車種を特定(S21)、処理を終了する。割合が閾値より小さい場合(S19でNO)、制御部101は、処理を終了する。
移動体検出装置100は、CPU、RAMなどを備えた汎用コンピュータを用いて実現することもできる。すなわち、図16に示すような、各処理手順を定めたコンピュータプログラムをDVDなどの記録媒体に記録しておく。そして、当該記録媒体に記録したコンピュータプログラムを光ディスク装置等で読み込ませることにより、コンピュータに備えられたRAMにロードし、コンピュータプログラムをCPUで実行することにより、コンピュータ上で移動体検出装置100を実現することができる。
本実施の形態において、判定領域内の特徴点の割合が閾値よりも大きい判定領域が複数存在する場合、判定領域に対応する候補点の位置が、例えば、車線間の中央にあるか、撮像画像上の端にあるかで、取捨選択してもよい。すなわち、車線間の中央にある場合には、当該判定領域内の特徴点群を車両として検出し、撮像画像上の端にある場合には、車両として検出しないようにすることもできる。
上述の実施の形態では、判定領域内の特徴点の割合が閾値よりも大きいか否かを判定して移動体(車両)を検出する構成であったが、特徴点の数の割合を判定する構成に限定されるものではなく、例えば、判定領域内の特徴点の分布状態を特定し、特定した分布状態が所定の分布状態であるか否かを判定して移動体(車両)を検出することもできる。以下、判定領域内の特徴点の分布による移動体の検出方法について説明する。
図17は本実施の形態の移動体検出装置100による特徴点の分布状態に基づく移動体の検出方法の一例を示す説明図である。図17で例示する領域は、図14で例示した判定領域Sbである。なお、図17では、簡便化のため判定領域Sbを回転させた状態で図示している。前述のように、判定領域Sbは、車両全体に対応する領域である。すなわち、判定領域Sbは、車両の長さ、幅及び高さに対応する寸法で構成される直方体(3次元モデル)の8つの頂点の座標点で3次元モデルを表現する場合、8つの頂点を含む最大の領域を、透視投影変換行列を用いて撮像画像へ投影した結果得られた領域である。
図17Aに示すように、判定領域Sbを複数の画素ブロックΔSbに分割する。図17の例では、画素ブロックを車両の長さ、幅及び高さ方向に沿った線分で分割しているが、判定領域Sbの画素ブロックの分割方法は、図17の例に限定されるものではなく、例えば、縦横の平行な線分により格子状に分割してもよい。なお、それぞれの画素ブロックΔSbの大きさは、同一でもよく、あるいは判定領域Sb内の位置に応じて、大きさを変えてもよい。
画素計数部108は、判定領域Sb内の特徴点の分布状態を特定する分布状態特定手段としての機能を有する。すなわち、画素計数部108は、各画素ブロックΔSb内の特徴点の数を計数する。そして、画素計数部108は、画素ブロックΔSb内の特徴点の数が所定の閾値以上である場合、当該画素ブロックΔSbを特徴ブロックとして特定する。
移動体検出部107は、判定領域内の特徴点の分布状態が所定の分布状態である場合、当該判定領域を画定した複数の座標点を含む3次元モデルで表現された車両を検出する。
より具体的には、車両を前方から撮像した撮像画像を用いる場合において、図17Bに示すように、特徴ブロック(図17Bにおいて、点を付した画素ブロック)が、車頭部に偏っており、車頭部以外の領域での特徴ブロックの分布状態が少ない場合には、当該判定領域を画定した複数の座標点を含む3次元モデルで表現された車両を検出する。別言すれば、特徴ブロックの重心座標の分散が所定の分散閾値より小さく、かつ重心座標が車頭(車頭部)に近い場合には、当該判定領域を画定した3次元モデルで表現された車両を検出する。
逆に、車両を前方から撮像した撮像画像を用いる場合において、特徴ブロックの重心座標の分散が小さく、かつ重心座標が車尾側(車尾部側)に偏っている場合には、車両を検出しない。
同様に、車両を後方から撮像した撮像画像を用いる場合において、特徴ブロックが、車尾部に偏っており、車尾部以外の領域での特徴ブロックの分布状態が少ない場合には、当該判定領域を画定した複数の座標点を含む3次元モデルで表現された車両を検出する。別言すれば、特徴ブロックの重心座標の分散が小さく、かつ重心座標が車尾(車尾部)に近い場合には、当該判定領域を画定した3次元モデルで表現された車両を検出する。逆に、車両を後方から撮像した撮像画像を用いる場合において、特徴ブロックの重心座標の分散が小さく、かつ重心座標が車頭側(車頭部側)に偏っている場合には、車両を検出しない。
また、図17Cに示すように、特徴ブロック(点を付した画素ブロック)が、判定領域Sb内で一様に分布している場合、別言すれば、特徴ブロックの重心座標の分散が所定の分散閾値より大きい場合、当該判定領域を画定した3次元モデルで表現された車両を検出する。
逆に、特徴ブロック(点を付した画素ブロック)が、判定領域Sb内での分布が一様でない場合、別言すれば、特徴ブロックの重心座標の分散が所定の分散閾値より小さい場合、車両を検出しない。なお、特徴ブロックの重心座標の分散が所定の分散閾値より小さい場合であっても、上述の図17Bの例のような場合には、車両を検出することができる。
上述のように、3次元情報を加味して移動体の候補となり得る領域と特定するので、特定した領域内に含まれる特徴点の分布状態だけで車両を容易に検出することができる。また、複数の移動体モデルの中で、候補となり得ないもの(不要な移動体モデル)を排除することができ、車両でないものを誤って車両として検出することを防止することができる。
以上に開示された実施の形態及び実施例は、全ての点で例示であって制限的なものではないと考慮されるべきである。本発明の範囲は、以上の実施の形態及び実施例ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての修正や変形を含むものと意図される。
200 撮像装置
101 制御部
102 インタフェース部
103 特徴点抽出部
104 候補点特定部
105 透視投影変換部
106 3次元モデル配置部
107 移動体検出部
108 画素計数部
109 類似度算出部
110 記憶部

Claims (9)

  1. 車両を含む移動体を撮像して得られた撮像画像を用いて移動体を検出する移動体検出装置において、
    前記撮像画像を構成する各画素の画素値に基づいて複数の特徴点を抽出する抽出手段と、
    該抽出手段で抽出した特徴点から移動体の所定部位の候補点を1又は複数特定する特定手段と、
    該特定手段で特定した1又は複数の候補点を、透視投影変換行列を用いて3次元座標空間に逆投影する逆投影手段と、
    前記3次元座標空間での移動体を表す移動体モデルの所定部位を前記逆投影手段で逆投影した1又は複数の候補点それぞれに整合させて1又は複数の移動体モデルを前記3次元座標空間に配置する配置手段と、
    該配置手段で配置した1又は複数の移動体モデルを、前記透視投影変換行列を用いて前記撮像画像に投影する投影手段と、
    該投影手段で投影した1又は複数の移動体モデルにより画定される前記撮像画像上の領域内に含まれる前記特徴点の数に基づいて、一の移動体モデルで表された移動体を検出する検出手段と
    を備えることを特徴とする移動体検出装置。
  2. 車両の車種に応じて複数の移動体モデルを記憶する記憶手段を備え、
    前記配置手段は、
    前記投影手段で投影した候補点に整合させて、前記記憶手段に記憶した複数の移動体モデルを配置するようにしてあり、
    前記投影手段は、
    前記複数の移動体モデルそれぞれを、前記透視投影変換行列を用いて前記撮像画像に投影するようにしてあり、
    前記検出手段は、
    前記投影手段で投影した前記複数の移動体モデルそれぞれにより画定される前記撮像画像上の領域内に含まれる前記特徴点の数に基づいて、複数の移動体モデルのうちの一の移動体モデルで表された移動体の車種を検出するように構成してあることを特徴とする請求項1に記載の移動体検出装置。
  3. 前記検出手段は、
    前記投影手段で投影した前記移動体モデルにより画定される前記撮像画像上の領域のうちの車両前部又は車両後部に対応する領域内に含まれる前記特徴点の数に基づいて、前記移動体モデルで表された移動体を検出するように構成してあることを特徴とする請求項1又は請求項2に記載の移動体検出装置。
  4. 前記検出手段は、
    前記投影手段で投影した前記移動体モデルにより画定される前記撮像画像上の最大の領域内に含まれる前記特徴点の数に基づいて、前記移動体モデルで表された移動体を検出するように構成してあることを特徴とする請求項1又は請求項2に記載の移動体検出装置。
  5. 前記領域内の画素数に対する該領域内に含まれる前記特徴点の数の割合を算出する割合算出手段を備え、
    前記検出手段は、
    前記割合算出手段で算出した割合が所定の閾値より大きい場合、前記領域を画定した移動体モデルで表された移動体を検出するように構成してあることを特徴とする請求項1乃至請求項4のいずれか1項に記載の移動体検出装置。
  6. 前記領域内に含まれる前記特徴点の分布状態を特定する分布状態特定手段を備え、
    前記検出手段は、
    前記分布状態特定手段で特定した分布状態が所定の分布状態である場合、前記領域を画定した移動体モデルで表された移動体を検出するように構成してあることを特徴とする請求項1乃至請求項4のいずれか1項に記載の移動体検出装置。
  7. 複数の画素を有し、車種毎に予め定めた画像パターンを複数記憶する記憶手段と、
    前記投影手段で投影した前記移動体モデルにより画定される前記撮像画像上の領域のうちの車両前部又は車両後部に対応する領域内の各画素の画素値と、前記画像パターン内の各画素の画素値との類似度を算出する類似度算出手段を備え、
    前記検出手段は、
    前記類似度算出手段で算出した類似度が所定の条件を満たす画像パターンに対応する車種を移動体の車種として検出するように構成してあることを特徴とする請求項1乃至請求項6のいずれか1項に記載の移動体検出装置。
  8. コンピュータに、車両を含む移動体を撮像して得られた撮像画像を用いて移動体を検出させるためのコンピュータプログラムにおいて、
    コンピュータに、
    前記撮像画像を構成する各画素の画素値に基づいて複数の特徴点を抽出するステップと、
    抽出した特徴点から移動体の所定部位の候補点を1又は複数特定するステップと、
    特定した1又は複数の候補点を、透視投影変換行列を用いて3次元座標空間に逆投影するステップと、
    前記3次元座標空間での移動体を表す移動体モデルの所定部位を、逆投影した1又は複数の候補点それぞれに整合させて1又は複数の移動体モデルを前記3次元座標空間に配置するステップと、
    配置した1又は複数の移動体モデルを、前記透視投影変換行列を用いて前記撮像画像に投影するステップと、
    投影した1又は複数の移動体モデルにより画定される前記撮像画像上の領域内に含まれる前記特徴点の数に基づいて、一の移動体モデルで表された移動体を検出するステップと
    を実行させることを特徴とするコンピュータプログラム。
  9. 車両を含む移動体を撮像して得られた撮像画像を用いて移動体を検出する移動体検出装置による移動体検出方法において、
    前記撮像画像を構成する各画素の画素値に基づいて複数の特徴点を抽出するステップと、
    抽出された特徴点から移動体の所定部位の候補点を1又は複数特定するステップと、
    特定された1又は複数の候補点を、透視投影変換行列を用いて3次元座標空間に逆投影するステップと、
    前記3次元座標空間での移動体を表す移動体モデルの所定部位を、逆投影した1又は複数の候補点それぞれに整合させて1又は複数の移動体モデルを前記3次元座標空間に配置するステップと、
    配置された1又は複数の移動体モデルを、前記透視投影変換行列を用いて前記撮像画像に投影するステップと、
    投影された1又は複数の移動体モデルにより画定される前記撮像画像上の領域内に含まれる前記特徴点の数に基づいて、一の移動体モデルで表された移動体を検出するステップと
    を含むことを特徴とする移動体検出方法。
JP2011230979A 2011-10-20 2011-10-20 移動体検出装置、コンピュータプログラム及び移動体検出方法 Expired - Fee Related JP5423764B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011230979A JP5423764B2 (ja) 2011-10-20 2011-10-20 移動体検出装置、コンピュータプログラム及び移動体検出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011230979A JP5423764B2 (ja) 2011-10-20 2011-10-20 移動体検出装置、コンピュータプログラム及び移動体検出方法

Publications (2)

Publication Number Publication Date
JP2013089129A true JP2013089129A (ja) 2013-05-13
JP5423764B2 JP5423764B2 (ja) 2014-02-19

Family

ID=48532950

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011230979A Expired - Fee Related JP5423764B2 (ja) 2011-10-20 2011-10-20 移動体検出装置、コンピュータプログラム及び移動体検出方法

Country Status (1)

Country Link
JP (1) JP5423764B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104461437A (zh) * 2014-12-29 2015-03-25 中科创达软件股份有限公司 一种数据显示方法及装置
CN105869109A (zh) * 2016-03-28 2016-08-17 长安大学 基于不同高度逆投影面的停车和抛落物区分方法
KR20180078974A (ko) * 2016-12-30 2018-07-10 기아자동차주식회사 자세 정보 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
KR20180078980A (ko) * 2016-12-30 2018-07-10 기아자동차주식회사 자세 정보 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
CN109597871A (zh) * 2018-12-13 2019-04-09 广州市交通规划研究院 一种全球城市三维空间交通坐标体系系统及构建方法
WO2019180948A1 (ja) * 2018-03-23 2019-09-26 本田技研工業株式会社 物体認識装置、車両及び物体認識方法
CN115472005A (zh) * 2022-08-09 2022-12-13 东软睿驰汽车技术(上海)有限公司 车辆碰撞预警方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02141898A (ja) * 1988-11-22 1990-05-31 Nec Corp 交通流計測装置
JPH10269365A (ja) * 1997-03-24 1998-10-09 Omron Corp 特徴抽出方法およびその方法を用いた物体認識装置
JP2001188927A (ja) * 2000-01-04 2001-07-10 Hitachi Ltd 自動料金収受システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02141898A (ja) * 1988-11-22 1990-05-31 Nec Corp 交通流計測装置
JPH10269365A (ja) * 1997-03-24 1998-10-09 Omron Corp 特徴抽出方法およびその方法を用いた物体認識装置
JP2001188927A (ja) * 2000-01-04 2001-07-10 Hitachi Ltd 自動料金収受システム

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104461437A (zh) * 2014-12-29 2015-03-25 中科创达软件股份有限公司 一种数据显示方法及装置
CN105869109A (zh) * 2016-03-28 2016-08-17 长安大学 基于不同高度逆投影面的停车和抛落物区分方法
US10870429B2 (en) 2016-12-30 2020-12-22 Hyundai Motor Company Posture information based pedestrian detection and pedestrian collision prevention apparatus and method
KR20180078974A (ko) * 2016-12-30 2018-07-10 기아자동차주식회사 자세 정보 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
KR20180078980A (ko) * 2016-12-30 2018-07-10 기아자동차주식회사 자세 정보 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
KR101996415B1 (ko) * 2016-12-30 2019-07-04 현대자동차주식회사 자세 정보 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
KR101996417B1 (ko) * 2016-12-30 2019-07-04 현대자동차주식회사 자세 정보 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
US11167736B2 (en) 2016-12-30 2021-11-09 Hyundai Motor Company Posture information based pedestrian detection and pedestrian collision prevention apparatus and method
US10435018B2 (en) 2016-12-30 2019-10-08 Hyundai Motor Company Posture information based pedestrian detection and pedestrian collision prevention apparatus and method
JP7060676B2 (ja) 2018-03-23 2022-04-26 本田技研工業株式会社 物体認識装置、車両及び物体認識方法
JPWO2019180948A1 (ja) * 2018-03-23 2021-01-14 本田技研工業株式会社 物体認識装置、車両及び物体認識方法
WO2019180948A1 (ja) * 2018-03-23 2019-09-26 本田技研工業株式会社 物体認識装置、車両及び物体認識方法
US11935308B2 (en) 2018-03-23 2024-03-19 Honda Motor Co., Ltd. Object recognition apparatus, vehicle, and object recognition method
CN109597871A (zh) * 2018-12-13 2019-04-09 广州市交通规划研究院 一种全球城市三维空间交通坐标体系系统及构建方法
CN109597871B (zh) * 2018-12-13 2022-12-27 广州市交通规划研究院 一种全球城市三维空间交通坐标体系系统及构建方法
CN115472005A (zh) * 2022-08-09 2022-12-13 东软睿驰汽车技术(上海)有限公司 车辆碰撞预警方法、装置、设备及存储介质
CN115472005B (zh) * 2022-08-09 2023-12-19 东软睿驰汽车技术(上海)有限公司 车辆碰撞预警方法、装置、设备及存储介质

Also Published As

Publication number Publication date
JP5423764B2 (ja) 2014-02-19

Similar Documents

Publication Publication Date Title
JP5423764B2 (ja) 移動体検出装置、コンピュータプログラム及び移動体検出方法
Krajewski et al. The round dataset: A drone dataset of road user trajectories at roundabouts in germany
JP6259928B2 (ja) 車線データの処理方法、装置、記憶媒体及び機器
Soilán et al. Traffic sign detection in MLS acquired point clouds for geometric and image-based semantic inventory
JP6082042B2 (ja) 車両死角内の目標対象の検出方法及びその装置
CN106647776B (zh) 车辆变道趋势的判断方法、判断装置和计算机存储介质
CN110619279B (zh) 一种基于跟踪的路面交通标志实例分割方法
JP5223675B2 (ja) 車両検知装置,車両検知方法並びに車両検知プログラム
CN108197523B (zh) 基于图像转换及轮廓邻域差异的夜间车辆检测方法及系统
JP2013529348A (ja) 種々の交通標識を検出及び認識する照明不変且つロバストな装置及び方法
JP6226368B2 (ja) 車両監視装置、および車両監視方法
CN102314601A (zh) 使用非线性光照恒定核去除由基于车辆的相机捕获的图像中的阴影
WO2015147764A1 (en) A method for vehicle recognition, measurement of relative speed and distance with a single camera
ES2569386T3 (es) Método y sistema para procesar una imagen de vídeo
JP2007317025A (ja) 車両判別装置及びそのプログラム
JP4674179B2 (ja) 影認識方法及び影境界抽出方法
CN103150547A (zh) 车辆跟踪方法及装置
JP2020013206A (ja) 動画・カメラからの二輪車検知装置、プログラム及びシステム
JP7264428B2 (ja) 道路標識認識装置及びそのプログラム
JP2007265292A (ja) 道路標識データベース構築装置
JP2020095623A (ja) 画像処理装置および画像処理方法
JP2004086417A (ja) 横断歩道等における歩行者検出方法及び同装置
JP2010041322A (ja) 移動体識別装置、画像処理装置、コンピュータプログラム及び光軸方向特定方法
JP5447162B2 (ja) 移動体識別装置、コンピュータプログラム及び移動体識別方法
JP2021174346A (ja) 道路形状判定方法及び道路形状判定プログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130730

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130806

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131004

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20131004

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131029

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131111

R150 Certificate of patent or registration of utility model

Ref document number: 5423764

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees