JP2007156626A - 物体種別判定装置及び物体種別判定方法 - Google Patents

Abstract

【課題】斜めの線や曲線を多く含む物体の判定を可能にし、カメラで撮影された画像に現れる物体の種別を精度良く判定できるようにする。
【解決手段】カメラ１で撮影した画像を画像処理装置２に取り込み、各種の画像処理を行なってカメラ１の撮影画像に現れる物体の種別を判定する。このとき、画像処理装置２は、領域特定部１１により、カメラ１の撮影画像において物体が存在する領域である慮域を処理対象領域として特定し、エッジ成分解析部１２により、この処理対象領域内の各エッジ成分のエッジ方向やエッジ強度を求め、判定部１３により、これら処理対象領域内の各エッジ成分のエッジ方向やエッジ強度の分布といった情報を用いて、この処理対象領域に存在する物体の種別を判定する。
【選択図】図１

Description

本発明は、カメラで撮影された車両周囲の画像を処理して、当該画像に現れる物体の種別を判定する物体種別判定装置及び物体種別判定方法に関する。

近年、車両が走行する道路上及びその周囲の物体を認識し、その認識結果に応じて車両のブレーキやアクセル、ステアリング等を自動制御する運転支援システムの研究開発が盛んに進められている。このような運転支援システムでは、車両の自動制御を適切に行う上で、車両周囲に存在する物体の種別を的確に判定することが非常に重要であり、従来、このような物体の種別を判定する装置として、車両周囲の様子をカメラで撮影し、このカメラで撮影された画像を処理して、当該画像に現れる物体の種別を判定する物体種別判定装置が知られている。

例えば、特許文献１には、カメラで撮影された車両周囲の画像に対して一般的なエッジ検出処理を行って水平方向のエッジと垂直方向のエッジとを検出し、これら水平方向のエッジと垂直方向のエッジのヒストグラムを用いて、カメラで撮影された画像に現れる物体が車両であるか否かを判定する技術が開示されている。具体的には、この特許文献１にて開示される技術では、カメラで撮影された車両周囲の画像の中で物体が存在すると推定される領域を特定し、この領域内における水平方向のエッジ及び垂直方向のエッジのヒストグラムとレーザレーダによる検知点の分布を融合して融合パターンを求めるようにしている。また、車両を映した複数のサンプル画像に対応した辞書パターンを予め作成し、データベースに格納しておくようにしている。そして、実際にカメラで撮影された画像から求めた融合パターンと、データベースに格納されている辞書パターンとを照合して、その一致度から、カメラで撮影された画像に現れる物体が車両であるか否かを判定するようにしている。
特開２００３−９９７６２号公報

しかしながら、特許文献１にて開示される従来の技術では、水平方向のエッジと垂直方向のエッジのみに着目して融合パターンや辞書パターンを作成しており、斜め向きのエッジやエッジの向きのランダムさなどは考慮されていないため、車両のような箱型の物体の判定には適用できるが、斜めの線や曲線を多く含む物体の判定には適用が難しいという問題がある。

本発明は、以上のような従来の技術が有する問題点を解決すべく創案されたものであって、斜めの線や曲線を多く含む物体の判定を可能にし、カメラで撮影された画像に現れる物体の種別を精度良く判定できるようにした物体種別判定装置及び物体種別判定方法を提供することを目的としている。

本発明は、前記目的を達成するために、カメラの撮影画像内の物体が存在する領域を処理対象領域として特定して、この処理対象領域内の全ての画素毎または処理対象領域内の複数の代表画素毎に、当該画素とその周辺画素とで形成されるエッジ成分のエッジ方向とエッジ強度とを求め、これら処理対象領域内の各エッジ成分のエッジ方向とエッジ強度との少なくとも何れかの分布をもとに、処理対象領域に存在する物体の種別を判定するようにした。ここで、エッジ成分とは、処理対象領域内における画素がその周辺画素とともに形成する細かなエッジを意味し、エッジ方向とは、その細かなエッジが向いている方向（角度）を意味し、エッジ強度とは、その方向のエッジ成分が存在することの確からしさを意味する。

本発明によれば、処理対象領域内の各エッジ成分のエッジ方向やエッジ強度といった情報を用いて、この処理対象領域に存在する物体の種別を判定するようにしているので、カメラで撮影された画像に現れる物体が斜めの線や曲線を多く含む物体であっても、その物体の種別を精度良く判定することができる。

以下、本発明の具体的な実施形態について、図面を参照しながら詳細に説明する。

［第１の実施形態］
まず、本発明の第１の実施形態について説明する。本実施形態の物体種別判定装置は、車両前方に存在する物体を検出してその種別を判定するものであり、図１に示すように、カメラ１と画像処理装置２とを備えて構成される。

カメラ１は、車両に搭載されて車両前方の画像を撮影するものであり、例えば、車両前方の画像を赤外画像として撮影する赤外線カメラや、ＣＣＤやＣＭＯＳセンサなどを撮像素子として用いた輝度カメラ等が用いられる。このカメラ１は画像処理装置２に接続されており、カメラ１で撮影された車両前方の画像は、映像信号として画像処理装置２に入力される。

カメラ１は、例えば図２（ａ）及び図２（ｂ）に示すように、撮像軸が路面と平行となり、撮像面が路面と垂直となるよう、車両１００の前方に向けて車両１００に取り付けられている。ただし、車両１００に対するカメラ１の取り付けはこの例に限定されるものではなく、向きや取り付け位置を任意に設定することが可能である。なお、図２（ａ）及び図２（ｂ）では、カメラ１で画像を撮影する際の基準座標系についても模式的に図示している。この基準座標系においては、カメラ１の撮像軸をＺｗ軸とし、路面に鉛直な方向の軸をＹｗ軸とし、Ｚｗ軸及びＹｗ軸に直行する方向の軸をＸｗ軸としている。

画像処理装置２は、カメラ１で撮影されて映像信号として入力された車両前方の画像を画像メモリに格納し、この画像メモリに格納したカメラ１の撮影画像に対して各種画像処理を行って、当該画像に映し出された物体の種別を判定するものであり、例えば、各種の電気・電子素子によって構成された映像処理回路や、半導体チップによって構成されたデジタル画像処理回路などによって構成されている。なお、カメラ１の撮影画像が格納される画像メモリは、画像処理装置２内部に設けられていてもよいし、画像処理装置２とは別体に設けられていてもよい。この画像メモリには、カメラ１によって新たな画像が撮影される毎に、すでに格納している画像に代えて新たな画像が逐次更新されながら格納される。

画像処理装置２は、アナログ映像信号、或いはアナログ映像信号をデジタル処理した画像データに対して各種の演算処理を行うことにより、各種画像処理を行う機能を有しており、特に本発明に関わる機能として、図１に示すように、領域特定部１１としての機能と、エッジ成分解析部１２としての機能と、判定部１３としての機能とを有している。

領域特定部１１は、画像メモリに格納されたカメラ１の撮影画像内において、物体が存在する領域を処理対象領域として特定する処理を行うものである。また、エッジ成分解析部１２は、領域特定部１１で特定された処理対象領域内に現れる細かなエッジであるエッジ成分のエッジ方向とエッジ強度とを求める処理を行うものである。また、判定部１３は、エッジ成分解析部１２によって求められた処理対象領域内の各エッジ成分のエッジ方向とエッジ強度との少なくとも何れかの分布をもとに、処理対象領域内に含まれる物体の種別を判定するものである。なお、画像処理装置２のこれら各部で実施される処理の具体的な内容については、詳細を後述する。

図３及び図４は、本実施形態の物体種別判定装置において、カメラ１と判定対象となる物体との位置関係に応じて、カメラ１の撮影画像内で物体がどのような位置に写るかを説明する図である。図３（ａ）は、車両前方に歩行者２００が存在するシーンで、カメラ１と判定対象となる歩行者２００との位置関係を、カメラ１が搭載された車両の側面側からみた状態を示す模式図であり、図３（ｂ）は、このような位置関係でカメラ１により撮影される画像の一例である。また、図４（ａ）は、カメラ１と判定対象となる歩行者２００との位置関係を、カメラ１が搭載された車両の上方からみた状態を示す模式図であり、図４（ｂ）は、このような位置関係でカメラ１により撮影された画像の一例である。なお、カメラ１により撮像される画像内の位置を示す座標系は、画像の左上を原点として、横方向にＸ座標、縦方向にＹ座標をとるものとする。

これら図３及び図４に示すように、カメラ１の撮影画像内における歩行者２００の位置は、カメラ１と歩行者２００との位置関係により決定され、例えば図３に示すように、カメラ１の撮影画像に現れる歩行者２００の下端位置のＹ座標（ｙｂ）は、カメラ１の原点（カメラレンズ中心）の高さＨと、カメラ１の原点を地面に投影した位置から歩行者２００までの距離ｚと、カメラ１の焦点距離ｆとから決定される。また、例えば図４に示すように、カメラ１の撮影画像に現れる歩行者２００の位置のＸ座標（ｘｃ）は、カメラ１の撮像軸から歩行者２００までの距離ｘｓと、カメラ１の原点を地面に投影した位置から歩行者２００までの距離ｚと、カメラ１の焦点距離ｆとから決定される。

次に、本実施形態の物体種別判定装置において、画像処理装置２で実施される一連の処理について、図５に示すフローチャートを参照しながら説明する。

画像処理装置２は、図５に示すように、カメラ１の撮影画像が映像信号として入力されると、まず、ステップＳ１において、この画像を所定の分解能で画像メモリに格納する。そして、ステップＳ２において、領域特定部１１による処理として、画像メモリに格納されたカメラ１の撮影画像において、物体が存在する領域である処理対象領域を特定する処理を行う。

具体的には、例えば、ある物体のモデルを定義して物体検出用のテンプレートを用意し、そのテンプレートとの類似性からカメラ１の撮影画像に現れる物体を検出して、その領域を処理対象領域として特定するといった手法や、Ｈｏｕｇｈ変換などの直線を検出する技術を利用してカメラ１の撮影画像の中で直線が多く存在する領域を求め、その領域を処理対象領域として特定するといった手法、色情報を用いてカメラ１の撮影画像における色領域を求め、その領域を処理対象領域として特定するといった手法、オプティカルフローを求めて、同じ動き（フロー）が集中している部分を処理対象領域として特定するといった手法など、一般的によく利用される画像処理手法を用いてカメラ１の撮影画像における処理対象領域を特定すればよい。また、その他、例えば、特開２００４−２３５７１１号公報、或いは特開平１１−３４５３３６号公報などで提案されている手法を用いるようにしてもよい。

図６は、車両前方に歩行者２００と先行車両３００とが存在するシーンで、カメラ１により撮影された車両前方の画像を画像処理装置２で処理して、カメラ１の撮影画像における歩行者２００が存在する領域と先行車両３００が存在する領域とを、それぞれ処理対象領域として特定した様子を示す図である。この図６に示す例では、カメラ１の撮影画像において、座標（ｘｃ０，ｙｃ０）を始点とし、縦横の幅をｗｃ０，ｈｃ０とする矩形領域Ａと、座標（ｘｃ１，ｙｃ１）を始点とし、縦横の幅をｗｃ１，ｈｃ１とする矩形領域Ｂとが、それぞれ処理対象領域として特定されている。

次に、画像処理装置２は、ステップＳ３において、エッジ成分解析部１２による処理として、ステップＳ２で特定した処理対象領域内の各エッジ成分のエッジ方向とエッジ強度とを求める処理を行う。

ここで、処理対象領域内の各エッジ成分のエッジ方向及びエッジ強度は、例えば図７に示すような、３×３画素、或いは５×５画素程度のエッジ検出用フィルタを用いて、このエッジ検出用フィルタとのコンボリューションにより求めることができる。具体的には、例えば図７（ａ）及び図７（ｂ）に示すような垂直方向（Ｙ軸に沿った方向）のエッジ検出用フィルタ、図７（ｃ）及び図７（ｄ）に示すような水平方向（Ｘ軸に沿った方向）のエッジ検出用フィルタ、図７（ｅ）及び図７（ｆ）に示すような左斜め方向のエッジ検出用フィルタ、図７（ｇ）及び図７（ｈ）に示すような右斜め方向のエッジ検出用フィルタといったように、複数のエッジ方向毎に定義された複数のエッジ検出用フィルタを用い、処理対象領域内のある画素とこれに隣接する周辺画素とで形成されるエッジ成分に各エッジ検出用フィルタを適用して、いずれのエッジ検出用フィルタとの間で最も相関が高いかにより、エッジ成分のエッジ方向を求めることができ、そのエッジ検出用フィルタとの相関の度合いからエッジ成分のエッジ強度を求めることができる。なお、各エッジ検出用フィルタは、例えばソーベルフィルタのように、フィルタ内部の値の和が０になるように設定されるものとする。

ここで、垂直方向のエッジ成分を例に挙げて、このエッジ成分のエッジ方向とエッジ強度とを求める処理を、図８を用いて具体的に説明する。なお、ここでは、説明を分かりやすくするために、左右に単純な形状の黒い壁が存在する領域を処理対象領域とし、この処理対象領域内のＰ１，Ｐ２，Ｐ３の各位置にエッジ検出用フィルタを適用して、これらの各位置のエッジ成分のエッジ方向とエッジ強度とを求めるものとする。この図８に示す例において、左側の壁の奥行き方向の端部に位置するＰ１，Ｐ２のエッジ成分は、画像上の右側が白、左側が黒の垂直方向のエッジ成分である。これらのエッジ成分のエッジ方向とエッジ強度とを求める際に、例えばＰ１の位置に図７（ａ）に示すような右側が白画素で左側が黒画素の垂直方向のエッジ検出用フィルタ（２７０°のフィルタ）を適用すると、そのエッジ検出用フィルタと位置Ｐ１におけるエッジ成分との正規化相関の値は、値が似ているために高くなる。一方、例えばＰ２の位置に水平方向のエッジ検出用フィルタ（０°のフィルタ或いは１８０°のフィルタ）を適用すると、そのエッジ検出用フィルタと位置Ｐ２におけるエッジ成分との正規化相関の値は０に近くなる。また、右側の壁の奥行き方向の端部に位置するＰ３のエッジ成分は、画像上の右側が黒、左側が白の垂直方向のエッジ成分であるが、このエッジ成分のエッジ方向とエッジ強度とを求める際に、図７（ａ）に示すような右側が白画素で左側が黒画素の垂直方向のエッジ検出用フィルタ（２７０°のフィルタ）を適用すると、そのエッジ検出用フィルタと位置Ｐ３におけるエッジ成分との正規化相関の値は−１に近くなる。

以上のようなエッジ成分とエッジ検出用フィルタとの関係は、垂直方向のエッジ成分に限らず、水平方向のエッジ成分、斜め方向のエッジ成分についても、同様に当てはまるものである。すなわち、処理対象領域内の各エッジ成分のエッジ方向は、当該エッジ成分が存在する位置に各方向のエッジ検出用フィルタを適用したときに、正規化相関の値として最も高い値が得られたエッジ検出用フィルタの示す方向が、当該エッジ成分のエッジ方向として求められることになる。また、当該エッジ成分のエッジ強度については、最も高い値となった正規化相関の値を見ればよい。なお、エッジ成分が存在しない位置では、いずれの方向のエッジ検出用フィルタを適用した場合でも、エッジ検出用フィルタとの正規化相関の値は０に近くなる。つまり、いずれの方向のエッジ検出用フィルタを適用しても正規化相関の値が高くならない場合には、その位置にはエッジ成分が存在しない（または、エッジ強度が弱い）と判定すればよい。

画像処理装置２では、以上のような処理を、カメラ１の撮影画像における処理対象領域内の全ての画素毎、または処理対象領域内で予め定めた法則にしたがって決定された複数の代表画素毎に行い、これらの画素とその周辺画素とで形成される各エッジ成分のエッジ方向とエッジ強度とをそれぞれ求める。

次に、画像処理装置２は、ステップＳ４において、判定部１３による処理として、ステップＳ３で求めた処理対象領域内の各エッジ成分のエッジ方向とエッジ強度との少なくとも何れかの分布をもとに、処理対象領域内に含まれる物体の種別を判定する処理を行い、その判定結果を出力する。この判定部１３による処理は、例えば、処理対象領域内の各エッジ成分のエッジ方向毎のヒストグラムやエッジ強度毎のヒストグラムを作成し、処理対象領域内でどのような方向のエッジ成分の頻度が高いか、或いはどの程度の強度のエッジ成分の頻度が高いかを分析するといった手法で実施される。

具体的な例を挙げて説明すると、例えば図６に示したカメラ１の撮影画像における処理対象領域Ａ及び処理対象領域Ｂに対してそれぞれステップＳ３の処理を行い、処理対象領域Ａ内の各エッジ成分のエッジ方向とエッジ強度、処理対象領域Ｂ内の各エッジ成分のエッジ方向とエッジ強度をそれぞれ求めたとする。この場合、処理対象領域Ａ内の各エッジ成分のエッジ方向毎のヒストグラムを作成すると、例えば図９（ａ）のようなヒストグラムが得られることになる。また、同様に、処理対象領域Ｂ内の各エッジ成分のエッジ方向毎のヒストグラムを作成すると、例えば図９（ｂ）に示すようなヒストグラムが得られることになる。なお、各エッジ成分のエッジ方向は、図７に例示した各方向毎のエッジ検出用フィルタよりも更に細かな方向毎に定義された多数のエッジ検出用フィルタを用いて求めている。また、これら図９（ａ）及び図９（ｂ）に示すヒストグラムは、信頼性維持のために、エッジ強度が所定の閾値以上のエッジ成分を対象として作成している。

図９（ａ）に示した例から分かるように、図６に示したカメラ１の撮影画像において、先行車両３００が存在する処理対象領域Ａでは、先行車両３００が垂直方向のエッジ成分と水平方向のエッジ成分とを多く持つため、処理対象領域Ａ内の各エッジ成分のエッジ方向毎のヒストグラムを作成すると、０°，９０°，１８０°，２７０°といった水平方向及び垂直方向にヒストグラムが集中して分布し、特に０°，１８０°などの水平方向のエッジ成分が最も多く、ついで、９０°，２７０°などの垂直方向のエッジ成分が多くなるといった特徴が現れることになる。一方、図９（ｂ）に示した例から分かるように、図６に示したカメラ１の撮影画像において、歩行者２００が存在する処理対象領域Ｂでは、歩行者２００が不規則な方向のエッジ成分を多く持つため、処理対象領域Ｂ内の各エッジ成分のヒストグラムを作成すると、様々な方向で不規則にヒストグラムが分布するといった特徴が現れることになる。

このように、処理対象領域内の各エッジ成分のエッジ方向毎のヒストグラムを作成すると、当該処理対象領域内に存在する物体の種別に応じて、様々な特徴を持つ異なる分布のヒストグラムが得られることになる。したがって、このように作成したエッジ方向毎のヒストグラムの特徴を解析することによって、処理対象領域内に存在する物体の種別を判定することが可能となる。

なお、以上は、処理対象領域内の各エッジ成分のエッジ方向毎のヒストグラムを作成した場合について説明したが、処理対象領域内の各エッジ成分のエッジ強度毎のヒストグラムを作成した場合も同様に、当該処理対象領域内に存在する物体の種別に応じて、様々な特徴を持つ異なる分布のヒストグラムが得られることになる。したがって、このように作成したエッジ強度毎のヒストグラムの特徴を解析することによっても、処理対象領域内に存在する物体の種別を判定することができる。また、処理対象領域内の各エッジ成分のエッジ方向毎のヒストグラムとエッジ強度毎のヒストグラムとをそれぞれ作成し、これらエッジ方向毎のヒストグラムの特徴とエッジ強度毎のヒストグラムの特徴とをそれぞれ解析するようにすれば、処理対象領域内に存在する物体の種別をより正確に判定することができる。

ここで、処理対象領域内の各エッジ成分のエッジ方向毎のヒストグラムやエッジ強度毎のヒストグラムに基づいて、処理対象領域内に存在する物体の種別を判定する具体的な手法について、さらに詳しく説明する。

本実施形態の物体種別判定装置において、画像処理装置２では、判定部１１による処理として、上述したように、カメラ１の撮影画像の中で特定された処理対象領域における各エッジ成分のエッジ方向毎のヒストグラムやエッジ強度毎のヒストグラムに基づいて、処理対象領域内に存在する物体の種別を判定する。このとき、例えば車両と歩行者との区別であれば、エッジ方向毎のヒストグラムとして図９（ａ）に示したようなヒストグラム、或いは図９（ｂ）に示したようなヒストグラムが得られるので、得られたヒストグラムの特徴を解析し、０°，９０°，１８０°，２７０°などの水平方向、垂直方向の角度にヒストグラムが集中して分布している場合は車両、ヒストグラムの分布が不規則で、各角度においてヒストグラムが分布を持つ場合は歩行者であると判定すればよい。

また、このような物体の種別の判定は、物体それぞれの特徴を定めたり、区別する対象をその場面に応じて可変にすることで、車両や歩行者以外の他の物体の種別を判定する際にも有効に適用できる。

具体的な例を挙げて説明すると、例えば、カメラ１により車両前方の画像として図１０に示すような画像が撮影されたとする。この図１０に示すカメラ１の撮影画像では、車両前方に存在する物体として、歩行者２００と車両３００の他に、電柱４００とガードレール５００が写されている。このようなカメラ１の撮影画像に対して上述したステップＳ２の処理を行なうと、カメラ１の撮影画像における人物２００が存在する領域Ａと先行車両３００が存在する領域Ｂのほか、電柱４００が存在する領域、すなわち座標（ｘｃ２，ｙｃ２）を始点とし、縦横の幅をｗｃ２，ｈｃ２とする矩形領域Ｃと、ガードレール５００が存在する領域、すなわち座標（ｘｃ３，ｙｃ３）を始点とし、縦横の幅をｗｃ３，ｈｃ３とする矩形領域Ｄとが、それぞれ処理対象領域として特定されることになる。そして、これらの各処理対象領域を対象として上述したステップＳ３の処理をそれぞれ行って各エッジ成分のエッジ方向及びエッジ強度を求め、ステップＳ４において各エッジ方向毎のヒストグラムを作成すると、処理対象領域Ｃでは９０°，２７０°などの垂直方向の角度のみにヒストグラムが集中して分布する特徴のヒストグラムが得られ、処理対象領域Ｄでは９０°，２７０°などの垂直方向の角度と、ある特定の斜め方向（α°とα＋１８０°）の部分のみにヒストグラムが集中して分布する特徴のヒストグラムが得られることになる。したがって、このようなヒストグラムの特徴と判定対象となる物体の種類とを予め対応付けて定義しておき、処理対象領域内の各エッジ成分のヒストグラムが得られたときに、そのヒストグラムの特徴がどれに当てはまるかを確認することによって、処理対象領域内の物体の種別、例えばその物体が電柱４００であるかガードレール５００であるかを適切に判定することができる。

また、処理対象領域内の各エッジ成分のヒストグラムとして、エッジ方向毎のヒストグラムに加えてエッジ強度毎のヒストグラムを用いる場合は、電柱４００やガードレール５００のように、１種類の材質でできた人工の物体は、色も単色であることからエッジ強度もほぼ一定であることが多い。一方、歩行者２００のように衣服の部分、頭髪、皮膚、靴、被服自体の模様など、様々な色や材質からなるものは、エッジ方向だけでなくエッジ強度も不均一であり、様々な値を持つことが多い。さらに、一般的に、人工物は歩行者２００のようにそれ自体が動きや直線性を持たないものに比べてエッジ強度が高くなる傾向にある。これらのことから、エッジ強度が高く、且つエッジ強度の分布もピーク位置を持つなど、分布に特徴があるものは電柱４００やガードレール５００などの人工的な物体であり、エッジ強度が全般に低く、エッジ方向の分布が不均一で不規則なものは、歩行者２００や生き物など非人工的な物体であると判定してもよい。また、人工物と非人工物と切り分けた後のさらに細かい種類判定（例えば、電柱４００であるかガードレール５００であるかなど）は、エッジ強度とともに、エッジ方向の分布や、エッジ方向がピークを持つ細かい角度の位置など考慮することで、その種別を判別すればよい。

さらに、処理対象領域内の物体の種別を判定するに際しては、これらの各エッジ成分のエッジ方向やエッジ強度の分布だけでなく、その物体が存在する処理対象領域の位置や大きさ、縦横比なども考慮することで、より一層正確な判定が可能になる。具体的には、例えば、処理対象領域の縦横比を考慮して、処理対象領域が縦長の領域であり、且つその処理対象領域内の各エッジ成分のエッジ方向の分布が不規則である場合は歩行者２００、処理対象領域が縦長の領域ではあるが、その処理対象領域内の各エッジ成分のエッジ方向の分布が垂直方向の角度に集まっており、エッジ強度も一定である場合は電柱４００であるといったように、物体の種別を判別するようにしてもよい。

以上、具体的な例を挙げながら詳細に説明したように、本実施形態の物体種別判定装置によれば、カメラ１の撮影画像において物体が存在する領域である処理対象領域内の各エッジ成分のエッジ方向やエッジ強度といった情報を用いて、この処理対象領域に存在する物体の種別を判定するようにしているので、形状の定義が困難である物体も含めて、カメラ１で撮影された画像に現れる物体の種別を精度良く判定することができる。

特に、車両が走行する道路周辺の画像を処理する場合、歩行者や犬、猫などのような生き物（非人工物）と、電柱やガードレールのような道路に予め設置してある物体(人工物)と、走行物である先行車両（人工物）などの主な３種類の区別は非常に重要である。従来の手法では、車両の認識については、ある程度、車両の形状特徴を捉えることでその物体が車両であることの判定が可能であったが、歩行者などの生き物は、その種別を判定することが重要な対象物であるにもかかわらず、形状の特徴を数式化したりモデル化したりすることが難しく、このような物体の種別を適切に判定することは困難であった。具体的には、例えば、電柱と歩行者は、物体の形状や縦横比だけを見ると、非常に似通っている（図１０参照。）。そのため、例えば、従来一般的に行われているように、カメラの撮影画像から物体が存在する領域を検出し、その領域の縦横比と位置（例えば、位置が路面上であることなど）といった情報のみからその物体の種別を判定する手法では、電柱と歩行者を間違えやすいといった問題があった。

これに対して、本実施形態の物体種別判定装置では、判定対象となる物体が持つ特徴を、エッジ成分のエッジ方向の分布やエッジ強度の分布により捉えるようにしているので、上述したように形状のモデル化が困難な物体であっても、その物体の種別を適切に判別できるという利点がある。特に、このエッジ成分の「エッジ方向」や「エッジ強度」という情報は、全ての物体に共通して画像から検出できる特徴量である。したがって、このような情報を用いて物体の種別を判定する手法は、様々な物体の種別の判別に幅広く適用できるという利点もある。さらに、このエッジ成分のエッジ方向やエッジ強度といった情報を、従来用いていたモデルの定義やテンプレート、色情報、縦横比、物体の位置や大きさなどの情報と統合して用いるようにすることで、物体の種別判定の信頼度をさらに向上させるという効果もある。

［第２の実施形態］
次に、本発明の第２の実施形態について説明する。本実施形態の物体種別判定装置は、基本構成及び処理の概要を上述した第１の実施形態と同様とし、画像処理装置２のエッジ成分解析部１２における処理やその後の判定部１３における処理が、上述した第１の実施形態とは異なるものである。すなわち、上述した第１の実施形態では、画像処理装置２のエッジ成分解析部１２により処理対象領域内の各エッジ成分のエッジ方向とエッジ強度を求める際に、細かな方向毎に細分化された多数のエッジ検出用フィルタを用いたのに対して、本実施形態では、垂直方向のエッジ検出用フィルタ（９０°のフィルタ、２７０°のフィルタ）と水平方向のエッジ検出用フィルタ（０°のフィルタ、１８０°のフィルタ）のみを用いて、処理対象領域内の各エッジ成分のエッジ方向とエッジ強度とを求めるようにしている。なお、本実施形態におけるその他の部分は上述した第１の実施形態と同様であるので、以下では、本実施形態に特徴的な部分についてのみ説明し、第１の実施形態と同様の部分については重複した説明を省略する。

図１１は、本実施形態の物体種別判定装置において、画像処理装置２のエッジ成分解析部１２や判定部１３における処理をブロック化した概念図である。この図１１に示すように、本実施形態の物体種別判定装置では、画像処理装置２のエッジ成分解析部１２が、まず、カメラ１の撮影画像で特定された処理対象領域内の全ての画素、或いは複数の代表画素毎に、垂直方向のエッジ検出用フィルタを適用し、当該画素とその周辺画素とで形成されるエッジ成分と、垂直方向のエッジ検出用フィルタとのコンボリューション（エッジ成分を構成する画素値とフィルタとの正規化相関）を、各エッジ成分毎に算出する（図１１におけるＡ１の処理）。

また、画像処理装置２のエッジ成分解析部１２は、処理対象領域内の全ての画素、或いは複数の代表画素毎に、水平方向のエッジ検出用フィルタを適用し、当該画素とその周辺画素とで形成されるエッジ成分と、水平方向のエッジ検出用フィルタとのコンボリューションを、各エッジ成分毎に算出する（図１１におけるＡ２の処理）。

次に、画像処理装置２のエッジ成分解析部１２は、処理対象領域内の各エッジ成分について、垂直方向のエッジ検出用フィルタとの正規化相関の値と、水平方向のエッジ検出用フィルタとの正規化相関の値とから、各エッジ成分のエッジ方向を求める（図１１におけるＡ３の処理）とともに、各エッジ成分のエッジ強度を求める（図１１におけるＡ４の処理）。

まず、処理対象領域内の各エッジ成分のエッジ方向を、垂直方向のエッジ検出用フィルタとの正規化相関の値と水平方向のエッジ検出用フィルタとの正規化相関の値とから求める処理について説明する。例えば、垂直方向のエッジ成分について考えると、第１の実施形態でも説明したように、このエッジ成分に対して垂直方向のエッジ検出用フィルタを適用したときの正規化相関の値は非常に高い値となるが、このエッジ成分に対して水平方向のエッジ検出用フィルタを適用したときの正規化相関の値は０に近くなる。つまり、垂直方向のエッジ検出用フィルタとの正規化相関の値が高く、水平方向のエッジ検出用フィルタとの正規化相関の値が低いとき、その位置のエッジ成分のエッジ方向は垂直方向に近い角度であると言える。また、逆に、垂直方向のエッジ検出用フィルタとの正規化相関の値が低く、水平方向のエッジ検出用フィルタとの正規化相関の値が高いとき、その位置のエッジ成分のエッジ方向は水平方向に近い角度であると言える。このように、垂直方向のエッジ検出用フィルタとの正規化相関の値と水平方向のエッジ検出用フィルタとの正規化相関の値との関係は、対象とするエッジ成分のエッジ方向に応じて変化するので、これらの関係を細かな角度毎に定義しておけば、垂直方向のエッジ検出用フィルタと水平方向のエッジ検出用フィルタのみを用いて各エッジ成分のエッジ方向を求めることができる。

図１２は、垂直方向のエッジ検出用フィルタとの正規化相関の値と水平方向のエッジ検出用フィルタとの正規化相関の値との関係を細かな角度毎にまとめた例を示す模式図である。なお、この図１２に示す例においては、垂直方向のエッジ検出用フィルタとして右側が黒画素で左側が白画素のフィルタ（９０°のフィルタ）を用い、水平方向のエッジ検出用フィルタとして上側が白画素で下側が黒画素のフィルタ（０°のフィルタ）を用いるものとしている。また、垂直方向のエッジ検出用フィルタ（９０°のフィルタ）との正規化相関の値をＤｘ、水平方向のエッジ検出用フィルタ（０°のフィルタ）との正規化相関の値をＤｙとして示している。また、カメラ１の撮影画像上における角度については、図１２の右側のように定義するものとする。

ここで、例えば、左斜め上が白画素、右斜め下が黒画素の角度４５°のエッジ成分について考える。このエッジ成分に対して垂直方向のエッジ検出用フィルタと水平方向のエッジ検出用フィルタとを適用して、各フィルタとの正規化関数の値Ｄｘ，Ｄｙをそれぞれ計算すると、角度４５°のエッジ成分と垂直方向のエッジ検出用フィルタとで黒画素が重なり合う面積と、角度４５°のエッジ成分と水平方向のエッジ検出用フィルタとで黒画素が重なり合う面積とが同じ面積なので、Ｄｘの値とＤｙの値がほぼ同じとなる。つまり、エッジ方向がある角度θのエッジ成分については、Ｄｘ／Ｄｙ＝ｔａｎθの関係が成り立ち、エッジ方向を示す角度θは、ａｔａｎ（Ｄｘ／Ｄｙ）を計算することで求めることができる。また、この際、例えば角度４５°と角度２２５°の区別など、エッジ成分の向きだけでなく白画素と黒画素との方向性の違いは、ａｔａｎ（Ｄｘ／Ｄｙ）を計算すると同時に、Ｄｘ，Ｄｙそれぞれの正負を確認すればよい。ここで，白画素が右左（または上下）どちらにある場合を正とするかは、予め定義しておけばよい。

また、第１の実施形態でも説明したように、処理対象領域内でエッジ成分が存在しない位置に垂直方向のエッジ検出用フィルタと水平方向のエッジ検出用フィルタを適用した場合、これらの各フィルタとの正規化相関の値Ｄｘ，Ｄｙはともに極めて低い値となる。つまり、一般に｜Ｄｘ｜と｜Ｄｙ｜とがともに小さな値である場合には、その位置にエッジ成分が存在しない、もしくは、その位置で求められるエッジ成分のエッジ方向の信頼性が非常に低い場合が多い。したがって、信頼性の高い情報だけを次段の処理に活用するために、｜Ｄｘ｜＋｜Ｄｙ｜またはＤｘ^２＋Ｄｙ^２の値（これらは、後述するようにエッジ成分のエッジ強度を示す値である。）が所定の閾値以上の場合にだけ、当該エッジ成分のエッジ方向を求めるようにし、これらの値が閾値以下の部分はエッジ成分が存在しないと判定するようにしてもよい。

さらに、このような判定に用いる閾値は、画像の撮影に用いるカメラ１の種類や判定対象とする物体によって可変にすることで、信頼性をより一層高めることが可能になる。すなわち、例えばカメラ１として赤外線カメラを用いた場合、赤外線カメラにより撮影される赤外画像は、一般的に、ＣＣＤやＣＭＯＳなどを撮像素子として用いた輝度カメラの撮影画像に比べてエッジが不鮮明になる。このため、カメラ１として赤外線カメラを用いた場合にエッジ成分の判定に用いる上述した閾値を高い値に設定すると、エッジ成分が全く検出されないということも生じうる。このような不都合を回避するために、カメラ１として赤外線カメラを用いる場合には、輝度カメラを用いる場合に比べて、エッジ成分の判定に用いる上述した閾値を低い値に設定することが望ましい。なお、このような不都合を回避するためには、上述した閾値の変更以外にも、例えば、グラデーションのようななまった（なだらかに輝度が変化する）エッジ成分にも適用できるように、大きめのサイズ（例えば７×７画素やそれ以上）のエッジ検出用フィルタを用いて、正規化相関の値Ｄｘ，Ｄｙを計算する構成とすることも有効である。

また、第１の実施形態でも説明したように、一般的に人工物は直線的であることからエッジが比較的鮮明であるが、生物のようにエッジ方向が不規則な物体はエッジ強度も低い場合が多い。このため、生物を含めたあらゆる物体についてのエッジ成分のエッジ方向を確実に求められるようにするためには、エッジ成分の判定に用いる閾値を予め低い値としておく方が有利ではあるが、閾値が低い値であると、人工物体上に現れる不必要なノイズや模様など、形状自体ではなく、形状判定に悪影響を及ぼす不必要なエッジを検出してしまう虞がある。このような不都合を生じさせないために、例えば、エッジ成分の判定に用いる閾値として予め２種類もしくはそれ以上の閾値を用意しておき、その閾値毎にエッジ成分のエッジ方向を求めるようにしてもよい。

次に、処理対象領域内の各エッジ成分のエッジ強度を、垂直方向のエッジ検出用フィルタとの正規化相関の値と水平方向のエッジ検出用フィルタとの正規化相関の値とから求める処理について説明する。処理対象領域内の各エッジ成分のエッジ強度は、先にも説明したように、垂直方向のエッジ検出用フィルタとの正規化相関の値をＤｘ、水平方向のエッジ検出用フィルタとの正規化相関の値をＤｙとすると、例えば下記式（１）により算出することができる。

エッジ強度＝｜Ｄｘ｜＋｜Ｄｙ｜またはＤｘ^２＋Ｄｙ^２ ・・・（１）
本実施形態の物体種別判定装置において、画像処理装置２のエッジ成分解析部１２は、このように求めたエッジ強度の情報を、例えば、上述したように各エッジ成分のエッジ方向の情報の中から信頼性の高いエッジ方向の情報を抽出するために用いたり、エッジ成分の判定に用いる閾値を設定する際の指標として活用する。また、このように求めた各エッジ成分のエッジ強度の情報は、後段の処理である物体の種別を判定する際に、一つの情報として利用することもできる。例えば、第１の実施形態でも説明したように、処理対象領域がエッジ強度の高いエッジ成分を多く含む場合は、当該処理対象領域内の物体が人工物体である可能性が高く、処理対象領域がエッジ強度の低いエッジ成分を多く含む場合は、当該処理対象領域内の物体が非人工物である可能性が高いので、このような情報を用いることで、物体の種別をより精度良く判定することが可能となる。

次に、本実施形態の物体種別判定装置において、画像処理装置２の判定部１３が、エッジ成分解析部１２によって求められた処理対象領域内の各エッジ成分のエッジ方向の情報やエッジ強度の情報を用いて、処理対象領域に存在する物体の種別を判定する手法について説明する。

画像処理装置２の判定部１３は、上述した第１の実施形態と同様に、例えば、処理対象領域内の各エッジ成分のエッジ方向毎のヒストグラムやエッジ強度毎のヒストグラムを作成し（図１１におけるＡ５，Ａ６の処理）、処理対象領域内でどのような方向のエッジ成分の頻度が高いか、或いはどの程度の強度のエッジ成分の頻度が高いかを分析することで、処理対象領域に存在する物体の種別を判定する（図１１におけるＡ７の処理）。

具体的な例を挙げて説明すると、例えば図６に示したカメラ１の撮影画像における処理対象領域Ａ及び処理対象領域Ｂを対象として、それぞれの処理対象領域内の各エッジ成分のエッジ方向とエッジ強度とを求めたとする。そして、処理対象領域Ａ内の各エッジ成分の中からエッジ強度が第１の閾値Ｔｈ１以上のものを抽出してエッジ方向毎のヒストグラムを作成すると、例えば図１３（ａ）のようなヒストグラムが得られることになる。同様に、処理対象領域Ｂ内の各エッジ成分の中からエッジ強度が第１の閾値Ｔｈ１以上のものを抽出してエッジ方向毎のヒストグラムを作成すると、例えば図１３（ｂ）のようなヒストグラムが得られることになる。また、閾値を第１の閾値Ｔｈ１から第２の閾値Ｔｈ２に変更し（ただし、Ｔｈ２＜Ｔｈ１）、処理対象領域Ａ内の各エッジ成分の中からエッジ強度が第２の閾値Ｔｈ２以上のものを抽出してエッジ方向毎のヒストグラムを作成すると、例えば図１３（ｃ）のようなヒストグラムが得られることになる。さらに、処理対象領域Ｂ内の各エッジ成分の中からエッジ強度が第２の閾値Ｔｈ２以上のものを抽出してエッジ方向毎のヒストグラムを作成すると、例えば図１３（ｄ）のようなヒストグラムが得られることになる。

また、処理対象領域Ａ内の各エッジ成分のエッジ強度毎のヒストグラムは、例えば図１３（ｅ）のようになり、処理対象領域Ｂ内の各エッジ成分のエッジ強度毎のヒストグラムは、例えば図１３（ｆ）のようになる。なお、図１３（ｅ）及び図１３（ｆ）においては、図１３（ａ）乃至図１３（ｄ）のヒストグラムを作成する際に用いる閾値Ｔｈ１，Ｔｈ２を、エッジ強度を示す横軸上で示している。

図１３（ａ）乃至図１３（ｄ）に示したエッジ方向毎のヒストグラムから分かるように、第１の実施形態でも説明したが、車両のような人工物と歩行者のような非人工物とを判別する場合、車両が存在する処理対象領域では、各エッジ成分のエッジ方向毎のヒストグラムがある角度でピークを持つような分布となり、頻度の高い角度と低い角度が現れるといった特徴を持つ。一方、歩行者が存在する処理対象領域では、各エッジ成分のエッジ方向毎のヒストグラムが、ピークが現れる場合もあるが、車両のような人工物体と比較するとその分布が広がっており、頻度が高くなる角度の傾向も不規則となるといった特徴を持つ。

また、エッジ方向と角度との関係を考えると、例えば垂直方向のエッジ成分は角度としては９０°と２７０°になるので、これら反転の関係にある角度を同じ方向と捉えて、全てが０°〜１８０°の角度に収まるようなヒストグラムを作成する、もしくは、０°から３６０°までの角度で作成したヒストグラムを９０°毎（０°〜９０°、９０°〜１８０°、１８０°〜２７０°、２７０°〜３６０°）に切り分けて、角度毎の頻度を見ると、歩行者のような非人工物は０°〜９０°の間の様々な角度のエッジ成分が存在するのに対し、車両のような人工物体は、９０°毎に分けるとある一つの角度に頻度が集中するといった特徴を持つ。このため、例えば９０°毎の方向別に見たヒストグラムの分散を計算すると、車両が存在する領域である処理対象領域Ａ内の各エッジ成分のエッジ方向の分散は小さくなり、歩行者が存在する領域である処理対象領域Ｂ内の各エッジ成分のエッジ方向の分散は大きくなる。

このように、処理対象領域内の各エッジ成分のエッジ方向毎のヒストグラムを作成すると、当該処理対象領域内に存在する物体の種別に応じた特徴のヒストグラムが得られるので、このような処理対象領域内の各エッジ成分のエッジ方向毎のヒストグラムに基づいて、処理対象領域に存在する物体の種別、例えば、路上の場合であれば車両と歩行者のような物体の種別を判定することが可能となる。さらに、処理対象領域に存在する物体の種別をより精度良く判定するには、エッジ方向毎のヒストグラムの対象とするエッジ成分を抽出するための閾値を、上述した第１の閾値Ｔｈ１及び第２の閾値Ｔｈ２のように複数設定して、例えば、図１３（ａ）に示したヒストグラムと図１３（ｃ）に示したヒストグラムとの双方に基づいて処理対象領域Ａに存在する物体の種別を判定したり、図１３（ｂ）に示したヒストグラムと図１３（ｄ）に示したヒストグラムとの双方に基づいて処理対象領域Ｂに存在する物体の種別を判定することが望ましい。この場合には、例えばエッジの不鮮明さやカメラ１の種類などに関わらず、ロバストに幅広く精度の良い物体の種別判定を行うことが可能となる。

なお、以上は、処理対象領域内の各エッジ成分のエッジ方向毎のヒストグラムに基づいて当該処理対象領域に存在する物体の種別を判定する手法について説明したが、第１の実施形態でも説明したように、処理対象領域内の各エッジ成分のエッジ強度毎のヒストグラム（例えば図１３（ｅ）に示したヒストグラムや図１３（ｆ）に示したヒストグラム）においても、当該処理対象領域内に存在する物体の種別に応じて様々な特徴を持つことになるので、このようなエッジ強度毎のヒストグラムに基づいて処理対象領域に存在する物体の種別を判定することも可能である。また、処理対象領域内の各エッジ成分のエッジ方向毎のヒストグラムとエッジ強度毎のヒストグラムとの双方に基づいて処理対象領域に存在する物体の種別を判定するようにすれば、より精度の良い判定が可能となる。

また、エッジ方向毎のヒストグラムの対象とするエッジ成分を抽出するための閾値（例えば第１の閾値Ｔｈ１や第２の閾値Ｔｈ２）の設定は、経験的に最適と思われる値に設定すればよいが、例えば図１３（ｅ）や図１３（ｆ）で示したように、エッジ強度毎のヒストグラムを確認して、二つまたはそれ以上のビークが存在する場合に、二つもしくはそれ以上の個数存在するヒストグラムのピーク間となるエッジ強度を示す値に設定するようにしてもよい。このように閾値を設定した場合には、例えば、判定対象となる各物体の種別に応じたエッジ成分のエッジ方向毎のヒストグラムとして、角度別のヒストグラムを作成することも可能となる。

また、エッジ方向毎のヒストグラムの対象とするエッジ成分を抽出するための閾値は、例えば、歩行者などのようにエッジ強度が比較的弱い物体を判定対象としたい場合には、エッジ強度の下限の閾値だけでなく、エッジ強度の上限の閾値を設けるようにしてもよい。このように上限下限両方の閾値を設定とすることで、例えば歩行者の背景にガードレールや路面の白線のように歩行者よりエッジ強度の高い物体が存在する場合でも、このような背景となる部分のエッジ成分については、ヒストグラムの対象から除外することができる。これにより、背景を除去して、歩行者を構成するエッジ成分のみを対象としたヒストグラムを作成し、これに基づいた物体種別の判定ができるようになるため、判定の信頼性をより向上させることができる。

以上、具体的な例を挙げながら詳細に説明したように、本実施形態の物体種別判定装置によれば、画像処理装置２のエッジ成分解析部１２が、垂直方向のエッジ検出用フィルタと水平方向のエッジ検出用フィルタのみを用いて、処理対象領域内の各エッジ成分のエッジ方向とエッジ強度とを求めるようにしているので、上述した第１の実施形態の効果に加えて、処理対象領域内の各エッジ成分のエッジ方向及びエッジ強度を求める計算を、非常に簡素な構成で高速に行えるという効果が得られる。

［第３の実施形態］
次に、本発明の第３の実施形態について説明する。本実施形態の物体種別判定装置は、基本構成及び処理の概要を上述した第１の実施形態と同様とし、画像処理装置２の判定部１３における処理が、上述した第１の実施形態とは異なるものである。すなわち、本実施形態では、画像処理装置２の判定部１３が、処理対象領域内の各エッジ成分のエッジ方向毎のヒストグラムやエッジ強度毎のヒストグラムに基づいて当該処理対象領域に存在する物体の種別を判定する際に、時系列的な変化という情報も活用するようにしたものである。なお、本実施形態におけるその他の部分は上述した第１の実施形態と同様であるので、以下では、本実施形態に特徴的な部分についてのみ説明し、第１の実施形態と同様の部分については重複した説明を省略する。

本実施形態の物体種別判定装置において、カメラ１は、車両前方の画像を所定の撮像周期で連続的に撮影している。そして、画像処理装置２は、カメラ１で撮影される画像の全てのフレーム、或いは予め定められた所定のフレーム間隔で、上述したような処理対象領域の特定、エッジ成分のエッジ方向およびエッジ強度の検出、ヒストグラム化といった画像処理を行なって、当該画像に現れる物体の種別を判定するようにしている。このとき、特に本実施形態の物体種別判定装置においては、画像処理装置２の判定部１３が、前回の処理の結果または数回前までの処理結果を記憶しておいて、これらの過去の処理結果と新たな処理結果との違いから時系列的な変化を確認し、その情報を物体の種別判定に用いるようにしている。

具体的な例を挙げて説明すると、例えば、時刻ｔにおいてカメラ１により図１４（ａ）に示す画像が撮影されて、このカメラ１の撮影画像から車両３００が存在する処理対象領域Ａと歩行者２００が存在する処理対象領域Ｂとが特定され、時刻ｔ＋Δｔにいおいてカメラ１により図１４（ｂ）に示す画像が撮影されて、このカメラ１の撮影画像から車両３００が存在する処理対象領域Ａと歩行者２００が存在する処理対象領域Ｂとが特定されたとする。この場合、時刻ｔの撮影画像に対して、処理対象領域Ａ内の各エッジ成分のエッジ方向とエッジ強度、処理対象領域Ｂ内の各エッジ成分のエッジ方向とエッジ強度をそれぞれ求め、エッジ強度が所定の閾値以上のエッジ成分を対象としてエッジ方向毎のヒストグラムを作成すると、処理対象領域Ａでは図１４（ｃ）に示すようなヒストグラム、処理対象領域Ｂでは図１４（ｄ）に示すようなヒストグラムが得られる。一方、時刻ｔ＋Δｔの画像に対して、処理対象領域Ａ内の各エッジ成分のエッジ方向とエッジ強度、処理対象領域Ｂ内の各エッジ成分のエッジ方向とエッジ強度をそれぞれ求め、時刻ｔの撮影画像に対する処理のときと同じ閾値を用いて、エッジ強度がその閾値以上のエッジ成分を対象としてエッジ方向毎のヒストグラムを作成すると、処理対象領域Ａでは図１４（ｅ）に示すようなヒストグラム、処理対象領域Ｂでは図１４（ｆ）に示すようなヒストグラムが得られる。

ここで、カメラ１の撮影画像における処理対象領域Ａ，Ｂについて、同じ閾値を用いて作成したエッジ成分のエッジ方向毎のヒストグラムの時系列的な変化に着目すると、人工物であり、急激に形を変えることのない車両３００が存在する処理対象領域Ａでは、図１４（ｃ）及び図１４（ｅ）から分かるように、当該処理対象領域Ａ内の各エッジ成分のエッジ方向毎のヒストグラムの分布が非常に似た形状で観測されるのに対して、エッジの方向が様々で、且つ、それ自身が形状を変化させるような歩行者２００が存在する処理対象領域Ｂでは、図１４（ｄ）及び図１４（ｆ）から分かるように、当該処理対象領域Ｂ内の各エッジ成分のエッジ方向毎のヒストグラムの分布に明らかな変化が見られる。本実施形態の物体種別判定装置では、画像処理装置２の判定部１３が、このような時系列的な変化の情報を加味して、処理対象領域に存在する物体の種別を判定するようにしている。

さらに、以上のような歩行者２００の判定の例では、図１４（ｄ）及び図１４（ｆ）に示したヒストグラムを見ればわかるように、歩行者２００の向き（例えば横向きか前向きかなど）に応じて、垂直方向のエッジ成分が多くなったり水平方向のエッジ成分が多くなったりするという特徴がある。例えば、図１４（ｂ）に示した時刻ｔ＋Δｔ時のカメラ１の撮影画像の例では、図１４（ａ）の時刻ｔ時の例と比較して歩行者２００が横向きとなっているため、ヒストグラムの垂直方向のエッジ成分が時刻ｔより多くなっている。歩行者の場合、このようなヒストグラムの変化が歩行速度に応じて現れることが多いので、このような寺家入れいな時系列的な変化の情報を用いて、判定対象の物体が歩行者であることを再確認することができる。さらに、そのヒストグラムの時系列的な変化の情報は、歩行者が横向きであるか正面向きであるかの判定にも応用できる。

以上説明したように、本実施形態の物体種別判定装置によれば、画像処理装置２の判定部１３が、処理対象領域内の各エッジ成分のエッジ方向毎のヒストグラムやエッジ強度毎のヒストグラムに基づいて当該処理対象領域に存在する物体の種別を判定する際に、時系列的な変化という情報も活用するようにしているので、物体の種別の判定をより高い精度で正確に行うことができる。

［第４の実施形態］
次に、本発明の第４の実施形態について説明する。本実施形態の物体種別判定装置は、基本構成及び処理の概要を上述した第１の実施形態と同様とし、画像処理装置２の判定部１３における処理が、上述した第１の実施形態とは異なるものである。すなわち、本実施形態では、画像処理装置２の判定部１３が、処理対象領域内の各エッジ成分のエッジ方向毎のヒストグラムやエッジ強度毎のヒストグラムに基づいて当該処理対象領域に存在する物体の種別を判定する際に、例えばスキャニングレーザレーダのようなカメラ１以外の物体検知装置で検出された情報も活用するようにしたものである。なお、本実施形態におけるその他の部分は上述した第１の実施形態と同様であるので、以下では、本実施形態に特徴的な部分についてのみ説明し、第１の実施形態と同様の部分については重複した説明を省略する。

本実施形態の物体種別判定装置では、画像処理装置２が、例えばスキャニングレーザレーダのようなカメラ１以外の物体検知装置に接続されており、画像処理装置２にこの物体検知装置からの情報を取得する機能が設けられている。そして、画像処理装置２の判定部１３が、カメラ１の撮影画像に対する画像処理で物体の種別を判定する際に、この物体検知装置からの情報も利用するようにしている。

具体的な例を挙げて説明すると、車両前方に２名の歩行者２００ａ，２００ｂと車両３００とが存在するシーンで、カメラ１により図１５（ａ）に示すような画像が撮影され、このカメラ１の撮影画像において、座標（ｘｃ０，ｙｃ０）を始点として縦横の幅をｗｃ０，ｈｃ０とする処理対象領域Ａ（車両３００が存在する領域）と、座標（ｘｃ１，ｙｃ１）を始点として縦横の幅をｗｃ１，ｈｃ１とする処理対象領域Ｂ１（歩行者２００ａが存在する領域）と、座標（ｘｃ２，ｙｃ２）を始点として縦横の幅をｗｃ２，ｈｃ２とする処理対象領域Ｂ２（歩行者２００ｂが存在する領域）とがそれぞれ特定されたとする。このとき、スキャニングレーザレーダ２０では、例えば図１５（ｂ）に示すように、前方に存在する物体までの距離と方位の計測が行われ、スキャニングレーザレーダ２０で車両及び歩行者を検出した場合のレーザ反射強度分布は、図１５（ｃ）及び図１５（ｄ）に示すようになる。

スキャニングレーザレーダ２０による距離計測は、一般的に、所定の波長を有する波を発信し、発信波の反射波を受信するまでの時間差から物体までの距離を計測する原理を用いている。また、反射波の強度は、面積の大きい物体や反射効率の高い物体からの反射波は高く、逆に小さい物体や発信波を反射しにくい物体からの反射波は低くなる。

スキャニングレーザレーダ２０は、光波を発信しているため、車両のように外殻が鉄板でできており、且つ、光を効率よく反射するリフレクタ（反射板）が取り付けられている物体は、反射強度が高くなる。また、車両ボディと反射板では反射効率が異なるため、車両を検出した場合は、例えば図１５（ｃ）に示すように、反射板の位置において強度が高く、車両ボディ面は反射板よりも強度が低くなる。また、歩行者（衣服）場合、身体のどの部分も車のような鉄製のものに比べ反射効率が低く、面積も小さいため、一般的に車両よりも反射強度は低くなる。また、歩行者は曲面で構成されているため、中心部よりも側部の方が強度が低くなり、例えば図１５（ｄ）に示すような形状の反射強度分布が観測される。

したがって、本実施形態の物体種別判定装置においては、画像処理装置２の判定部１３が、物体の種別判定を行うにあたって、このようなスキャニングレーザレーダ２０のレーザ反射強度分布を確認することで、例えば図１５（ａ）に示したカメラ１の撮影画像において、処理対象領域Ａに存在する物体は車両３００であり、処理対象領域Ｂ１や処理対象領域Ｂ２に存在する物体は歩行者２００ａ，２００ｂであることを、より高い精度で判定することが可能となる。

また、このようにスキャニングレーザレーダ２０のレーザ反射強度分布の情報を用いる場合、そのレーザ反射強度分布の時系列的な変化を見ることも、物体の種別判定を正確に行う上では非常に有効である。例えば、上述した例のように判定対象となる物体が歩行者と車両の場合、歩行者が時間の経過に伴って向きを変えたとしても、歩行者の反射率は全体として大きく変化することはないため、スキャニングレーザレーダ２０のレーダ反射強度分布としては、あまり変化がないことになる。一方、向きによって反射率が大きく異なる車両のような物体では、時間の経過に伴ってその向きが変わると、例えば図１６（ａ）乃至図１６（ｃ）に示すように、スキャニングレーザレーダ２０のレーダ反射強度分布の形状に大きな変化が現れることになる。

したがって、本実施形態の物体種別判定装置においては、画像処理装置２の判定部１３が、カメラ１の撮影画像に現れる物体の種別判定を行うにあたって、このようなスキャニングレーザレーダ２０のレーザ反射強度分布の時系列的な変化についても確認することで、物体の種別判定をより高い制度で行うことが可能となる。

以上説明したように、本実施形態の物体種別判定装置によれば、画像処理装置２の判定部１３が、処理対象領域内の各エッジ成分のエッジ方向毎のヒストグラムやエッジ強度毎のヒストグラムに基づいて当該処理対象領域に存在する物体の種別を判定する際に、スキャニングレーザレーダ２０のようなカメラ１以外の物体検知装置からの情報も活用するようにしているので、物体の種別の判定をより高い精度で正確に行うことができる。

［第５の実施形態］
次に、本発明の第５の実施形態について説明する。本実施形態の物体種別判定装置は、基本構成及び処理の概要を上述した第１の実施形態と同様とし、画像処理装置２の領域特定部１１における処理が、上述した第１の実施形態とは異なるものである。すなわち、本実施形態では、画像処理装置２の領域特定部１１が、カメラ１の撮影画像において物体が存在する処理対象領域を特定する際に、例えばスキャニングレーザレーダのようなカメラ１以外の物体検知装置で検出された情報も活用するようにしたものである。なお、本実施形態におけるその他の部分は上述した第１の実施形態と同様であるので、以下では、本実施形態に特徴的な部分についてのみ説明し、第１の実施形態と同様の部分については重複した説明を省略する。

本実施形態の物体種別判定装置では、上述した第４の実施形態と同様に、画像処理装置２が、例えばスキャニングレーザレーダのようなカメラ１以外の物体検知装置に接続されており、画像処理装置２にこの物体検知装置からの情報を取得する機能が設けられている。そして、本実施形態の物体種別判定装置では、画像処理装置２の領域特定部１１が、カメラ１の撮影画像における処理対象領域を特定する処理を行なう際に、この物体検知装置からの情報も利用するようにしている。

具体的な例を挙げながら説明すると、例えば物体検知装置としてスキャニングレーザ２０を用いた場合、このスキャニングレーザレーダ２０で歩行者や車両を検出すると、車両や歩行者が存在する位置までの距離の計測結果として、例えば図１５（ｂ）に示したような情報が得られることになる。通常、物体はある程度の面積を有するため、図１５（ｂ）に示すように、物体を検出すると同じ距離に並んで複数個の検知点（図１５（ｂ）中において「○」印で示す）が検出される。このことから、ある距離に図１５（ｂ）のように検知点が複数個並んでいる場合に、当該位置に物体があると判断することができる。

また、スキャニングレーザレーダ２０からの入力信号に基づいて検出された物体について、カメラ１で撮像された画像上の位置を照合することで、より確実に物体が存在する処理対象領域を特定することが可能となる。この場合、例えば図１７（ａ）及び図１７（ｂ）に示すように、スキャニングレーザレーダ２０の座標系を第１の実施形態で説明したカメラ１の基準座標系に合わせ、この基準座標系に対するスキャニングレーザレーダ２０及びカメラ１の取り付け位置を予め計測した上で設定しておき、スキャニングレーザレーダ２０での検出点をカメラ１で撮像された画像内における位置に座標変換しなおすことで、計算できる。

具体的には、スキャニングレーザレーダ２０の中心軸を基準座標系のＺ軸とし、スキャン面をＸＺ平面として定義することにより、カメラ１によって撮像された画像における位置と、基準座標系の位置との関係（画像上のｘ座標位置とｙ座標位置）は、第１の実施形態で図３及び図４を用いて説明したような関係となるため、これら図３及び図４に基づいた座標変換により計算することができる。

本実施形態の物体種別判定装置では、画像処理装置２の領域特定部１１が、カメラ１で撮影された画像から物体が存在すると推定される領域を処理対象領域の候補として検出したときに、スキャニングレーザレーダ２０によって検出した物体までの距離及び方位の情報を、このカメラ１の撮影画像上における処理対象領域の候補となる領域と照合し、例えば、この領域に対応する位置にスキャニングレーザレーダ２０で物体が検出されているか否かを確認することによって、カメラ１の撮影画像における処理対象領域を正確に特定することが可能となる。

以上説明したように、本実施形態の物体種別判定装置によれば、画像処理装置２の領域特定部１１が、カメラ１の撮影画像において物体が存在する処理対象領域を特定する際に、例えばスキャニングレーザレーダ２０のようなカメラ１以外の物体検知装置で検出された情報も活用するようにしているので、カメラ１の撮影画像における処理対象領域をより正確に特定して、この処理対象領域に存在する物体の種別の判定をより高い精度で正確に行うことができる。

［第６の実施形態］
次に、本発明の第６の実施形態について説明する。本実施形態の物体種別判定装置は、基本構成及び処理の概要を上述した第１の実施形態と同様とし、画像処理装置２の判定部１３における処理が、上述した第１の実施形態とは異なるものである。すなわち、本実施形態では、画像処理装置２の判定部１３が、処理対象領域内の各エッジ成分のエッジ方向毎のヒストグラムやエッジ強度毎のヒストグラムに基づいて当該処理対象領域に存在する物体の種別を判定する際に、当該処理対象領域内の各画素の輝度情報も活用するようにしたものである。なお、本実施形態におけるその他の部分は上述した第１の実施形態と同様であるので、以下では、本実施形態に特徴的な部分についてのみ説明し、第１の実施形態と同様の部分については重複した説明を省略する。

本実施形態の物体種別判定装置では、画像処理装置２の領域特定部１１によりカメラ１の撮影画像における処理対象領域が特定され、エッジ成分解析部１２により処理対象領域内の各エッジ成分のエッジ方向やエッジ強度が求められると、判定部１３が、処理対象領域内の各エッジ成分のエッジ方向毎のヒストグラムやエッジ強度毎のヒストグラムを作成するとともに、処理対象領域内の各画素の輝度情報を確認して、処理対象領域内の各画素についての輝度毎のヒストグラムを作成する。

処理対象領域内の各画素の輝度に着目した場合、例えば、車両のように一面がボディで同じ色のものと、歩行者のように、頭部、服装部、脚部で異なる色になるものとでは、輝度毎のヒストグラムの形状は大きく異なるものとなる。また、このような処理対象領域内の各画素についての輝度毎のヒストグラムの時系列的な変化を見ると、第４の実施形態で説明した処理対象領域内の各エッジ成分のエッジ方向毎のヒストグラムの時系列的な変化と同様に、歩行者などそれ自身が動くものと車両などの人工物体とでは、前者の方が、例えば、歩行者の背後に見える背景部分が変化する、もしくは歩行者の手足などの見え方や角度も変わるために、ヒストグラム形状の変化が起こりやすいといった特徴がある。したがって、このようなヒストグラムの形状の違いを物体毎に特徴付けておけば、この輝度毎のヒストグラムの形状やその時系列的な変化から、処理対象領域に存在する物体の種別をある程度正確に予測することができる。

このような観点から、本実施形態の物体種別判定装置では、画像処理装置２の判定部１３が、処理対象領域内の各エッジ成分のエッジ方向毎のヒストグラムやエッジ強度毎のヒストグラムだけでなく、例えば、処理対象領域内の各画素についての輝度毎のヒストグラムも用いて、処理対象領域に存在する物体の種別を判定するようにしている。その結果、例えば、判定対象である歩行者が背景と似た色、似た明るさであり、処理対象領域内の各エッジ成分のエッジ強度が弱いために、エッジ成分のエッジ方向毎のヒストグラムとして物体の種別判定に有効なヒストグラムが得られないような場合であっても、画素の輝度情報に基づく物体の種別判定が可能となるため、環境に対しロバストで、且つ精度の高い判定を実現することができる。

以上説明したように、本実施形態の物体種別判定装置によれば、画像処理装置２の判定部１３が、処理対象領域内の各エッジ成分のエッジ方向毎のヒストグラムやエッジ強度毎のヒストグラムに基づいて当該処理対象領域に存在する物体の種別を判定する際に、当該処理対象領域内の各画素の輝度情報も活用するようにしているので、物体の種別の判定をより高い精度で正確に行うことができ、また、環境に対してロバストな判定を行うことができる。

［実施形態の効果］
以上、具体的な実施形態を例示しながら詳細に説明したように、本発明を適用した物体種別判定装置においては、カメラ１で撮影された画像に対する画像処理によりその画像に現れる物体の種別を判定するにあたって、画像に現れる物体が共通に持つ情報であるエッジ成分のエッジ方向やエッジ強度という情報を用いて、その物体の種別を判定する構成とした。これにより、本発明を適用した物体種別判定装置によれば、歩行者のように、形状のモデル化や定式化が難しく、従来手法でよく用いられるテンプレートマッチングなどの手法では種別の判定が難しい物体であっても、その種別判定が可能となる。

また、本発明を適用した物体種別判定装置での処理は、エッジ成分のエッジ方向やエッジ強度という単純な情報を用いた処理となっているため、物体の種別判定を簡素なハードウエア構成で高速に実行することが可能となっている。そのため、例えば車両に搭載された車載カメラを用いた周囲認識など、小型高速化が求められる装置でも実装が可能であるという利点がある。さらに、このようなエッジ成分のエッジ方向やエッジ強度の情報を用いた処理は、例えば、輝度画像のカメラや赤外線カメラといったように、画像を撮影するカメラ１の種類が変わった場合でも、処理の閾値などのパラメータをカメラ１の種類に合わせて調整することで同様に実行できるので、様々なタイプの画像処理の分野への応用が可能である。

なお、以上説明した各実施形態の物体種別判定装置は、本発明の一適用例を例示したものであり、本発明の技術的範囲は、以上の実施形態の説明で開示した内容に限定されるものではなく、これらの開示から容易に導き得る様々な代替技術も含まれることは勿論である。

本発明を適用した物体種別判定装置の概略構成を示すブロック図である。 本発明を適用した物体種別判定装置において、自車両に対するカメラの取り付け状態を説明する図であり、（ａ）はカメラの取り付け状態を自車両の側方からみた模式図、（ｂ）はカメラの取り付け状態を自車両の上方からみた模式図である。 カメラと判定対象となる物体との位置関係に応じて、カメラにより撮像された画像内で物体がどのような位置に写るかを説明する図であり、（ａ）はカメラと物体との位置関係を自車両の側面側からみた状態を示す模式図、（ｂ）はカメラにより撮像される画像の一例である。 カメラと判定対象となる物体との位置関係に応じて、カメラにより撮像された画像内で物体がどのような位置に写るかを説明する図であり、（ａ）はカメラと物体との位置関係を自車両の上面側からみた状態を示す模式図、（ｂ）はカメラにより撮像される画像の一例である。 本発明を適用した物体種別判定装置において、画像処理装置で実施される一連の処理の流れを示すフローチャートである。 カメラにより撮像された画像において物体が存在する領域を処理対象領域として特定した様子を説明する図である。 エッジ検出用フィルタを説明する図であり、（ａ）及び（ｂ）は垂直方向のエッジ検出用フィルタの一例を示す模式図、（ｃ）及び（ｄ）は水平方向のエッジ検出用フィルタの一例を示す模式図、（ｅ）及び（ｆ）は左斜め方向のエッジ検出用フィルタの一例を示す模式図、（ｇ）及び（ｈ）は右斜め方向のエッジ検出用フィルタの一例を示す模式図である。 エッジ検出用フィルタを用いてエッジ成分のエッジ方向とエッジ強度とを求める処理を説明する図である。 図６に示したカメラの撮影画像における処理対象領域内の各エッジ成分をエッジ方向毎にヒストグラム化した様子を示す図であり、（ａ）は処理対象領域Ａ内の各エッジ成分のエッジ方向毎のヒストグラム、（ｂ）は処理対象領域Ｂ内の各エッジ成分のエッジ方向毎のヒストグラムである。 カメラにより撮像された画像において物体が存在する領域を処理対象領域として特定した他の例を示す図である。 第２の実施形態の物体種別判定装置を説明するための図であり、画像処理装置のエッジ成分解析部及び判定部おける処理をブロック化した概念図である。 垂直方向のエッジ検出用フィルタとの正規化相関の値と水平方向のエッジ検出用フィルタとの正規化相関の値との関係を、エッジ成分のエッジ方向を表す細かな角度毎にまとめた例を示す模式図である。 図６に示したカメラの撮影画像における処理対象領域内の各エッジ成分について、閾値を変更しながらヒストグラムを作成する例を説明する図であり、（ａ）は第１の閾値を用いて作成した処理対象領域Ａ内の各エッジ成分のエッジ方向毎のヒストグラム、（ｂ）は第１の閾値を用いて作成した処理対象領域Ｂ内の各エッジ成分のエッジ方向毎のヒストグラム、（ｃ）は第２の閾値を用いて作成した処理対象領域Ａ内の各エッジ成分のエッジ方向毎のヒストグラム、（ｄ）は第２の閾値を用いて作成した処理対象領域Ｂ内の各エッジ成分のエッジ方向毎のヒストグラム、（ｅ）は処理対象領域Ａ内の各エッジ成分のエッジ強度毎のヒストグラム、（ｆ）は処理対象領域Ｂ内の各エッジ成分のエッジ強度毎のヒストグラムである。 第３の実施形態の物体種別判定装置を説明するための図であり、（ａ）は時刻ｔにおいてカメラにより撮像された画像の一例を示す図、（ｂ）は時刻ｔ＋Δｔにおいてカメラにより撮影された画像の一例を示す図、（ｃ）は（ａ）に示す画像における処理対象領域Ａ内の各エッジ成分のエッジ方向毎のヒストグラム、（ｄ）は（ａ）に示す画像における処理対象領域Ｂ内の各エッジ成分のエッジ方向毎のヒストグラム、（ｄ）は（ｂ）に示す画像における処理対象領域Ａ内の各エッジ成分のエッジ方向毎のヒストグラム、（ｅ）は（ｂ）に示す画像における処理対象領域Ｂ内の各エッジ成分のエッジ方向毎のヒストグラムである。 第３の実施形態の物体種別判定装置を説明するための図であり、（ａ）は２名の歩行者と１台の車両が存在する前方の様子をカメラにより撮像して、この画像における処理対象領域を特定した様子を示す図、（ｂ）は（ａ）に示す画像の撮像時にスキャニングレーザレーダによって物体を検出する様子を示す図、（ｃ）はスキャニングレーザレーダで車両を検出した場合のレーザの反射強度分布を示す図、（ｄ）はスキャニングレーザレーダで歩行者を検出した場合のレーダの反射強度分布を示す図である。 車両の向きの変化に応じてスキャニングレーザレーダのレーザ反射強度の分布が変化する様子を示す図であり、（ａ）は車両が前向きの場合のレーザ反射強度分布を示す図、（ｂ）は車両が斜め向きの場合のレーザ反射強度分布を示す図、（ｃ）は車両が横向きの場合のレーザ反射強度分布を示す図である。 カメラとスキャニングレーザレーダとで共通の基準座標系を用いる場合のカメラ及びスキャニングレーザレーダの自車両に対する取り付け状態を説明する図であり、（ａ）はカメラ及びスキャニングレーザレーダの取り付け状態を自車両の側方からみた模式図、（ｂ）はカメラ及びスキャニングレーザレーダの取り付け状態を自車両の上方からみた模式図である。

符号の説明

１ カメラ
２ 画像処理装置
１１ 領域特定部
１２ エッジ成分解析部
１３ 判定部
２０ スキャニングレーザレーダ
１００ 自車両
２００ 歩行者
３００ 先行車両（車両）

Claims (12)

1. カメラで撮影された車両周囲の画像を処理して、当該画像に現れる物体の種別を判定する物体種別判定装置において、
   前記カメラの撮影画像内の物体が存在する領域を処理対象領域として特定する領域特定手段と、
   前記領域特定手段により特定された処理対象領域内の全ての画素毎または前記処理対象領域内の複数の代表画素毎に、当該画素とその周辺画素とで形成されるエッジ成分のエッジ方向とエッジ強度とを求めるエッジ成分解析手段と、
   前記エッジ成分解析手段によって求められた前記処理対象領域内の各エッジ成分のエッジ方向とエッジ強度との少なくとも何れかの分布をもとに、前記処理対象領域に存在する物体の種別を判定する判定手段とを備えることを特徴とする物体種別判定装置。
2. 前記エッジ成分解析手段は、複数のエッジ方向毎に定義された複数のエッジ検出用フィルタを用いて、前記処理対象領域内の各エッジ成分のエッジ方向とエッジ強度とを求めることを特徴とする請求項１に記載の物体種別判定装置。
3. 前記エッジ成分解析手段は、垂直方向のエッジ検出用フィルタと水平方向のエッジ検出用フィルタとを用いて、垂直方向のエッジ検出用フィルタとの間の相関及び水平方向のエッジ検出用フィルタとの間の相関から、前記処理対象領域内の各エッジ成分のエッジ方向とエッジ強度とを求めることを特徴とする請求項２に記載の物体種別判定装置。
4. 前記判定手段は、前記処理対象領域内の各エッジ成分のエッジ方向毎のヒストグラムを作成し、このエッジ方向毎のヒストグラムに基づいて、前記処理対象領域に存在する物体の種別を判定することを特徴とする請求項１乃至３の何れかに記載の物体種別判定装置。
5. 前記判定手段は、前記処理対象領域内の各エッジ成分のうちで、エッジ強度が所定の閾値以上のエッジ成分を対象として、エッジ方向毎のヒストグラムを作成することを特徴とする請求項４に記載の物体種別判定装置。
6. 前記判定手段は、前記処理対象領域内の各エッジ成分のエッジ強度毎のヒストグラムを作成し、このエッジ強度毎のヒストグラムに基づいて、前記処理対象領域存在する物体の種別を判定することを特徴とする請求項１乃至５の何れかに記載の物体種別判定装置。
7. 前記判定手段は、前記処理対象領域内の各エッジ成分のエッジ方向とエッジ強度との少なくとも何れかの分布の時系列変化をもとに、前記処理対象領域に存在する物体の種別を判定することを特徴とする請求項１乃至６の何れかに記載の物体種別判定装置。
8. 前記カメラ以外の物体検知手段からの情報を取得する情報取得手段をさらに備え、
   前記判定手段は、前記処理対象領域内の各エッジ成分のエッジ方向とエッジ強度との少なくとも何れかの分布と、前記情報取得手段により取得された情報とをもとに、前記処理対象領域に存在する物体の種別を判定することを特徴とする請求項１乃至７の何れかに記載の物体種別判定装置。
9. 前記カメラ以外の物体検知手段からの情報を取得する情報取得手段をさらに備え、
   前記領域特定手段は、前記情報取得手段により取得された情報を用いて、前記カメラの撮影画像内の物体が存在する領域を処理対象領域として特定することを特徴とする請求項１乃至７の何れかに記載の物体種別判定装置。
10. 前記カメラ以外の物体検知手段は、車両周囲に電磁波を発信して物体にて反射された反射波を受信することで、車両周囲に存在する物体を検知するレーダ装置であることを特徴とする請求項８又は９に記載の物体種別判定装置。
11. 前記判定手段は、前記処理対象領域内の各エッジ成分のエッジ方向とエッジ強度との少なくとも何れかの分布と、前記処理対象領域内の各画素の輝度情報とをもとに、前記処理対象領域に存在する物体の種別を判定することを特徴とする請求項１乃至１０の何れかに記載の物体種別判定装置。
12. カメラで撮影された車両周囲の画像を処理して、当該画像に現れる物体の種別を判定する物体種別判定方法であって、
    前記カメラの撮影画像内の物体が存在する領域を処理対象領域として特定する第１のステップと、
    前記第１のステップで特定した処理対象領域内の全ての画素毎または前記処理対象領域内の複数の代表画素毎に、当該画素とその周辺画素とで形成されるエッジ成分のエッジ方向とエッジ強度とを求める第２のステップと、
    前記第２のステップで求めた前記処理対象領域内の各エッジ成分のエッジ方向とエッジ強度との少なくとも何れかの分布をもとに、前記処理対象領域に存在する物体の種別を判定する第３のステップとを有することを特徴とする物体種別判定方法。

Images