JP2014197378A - 物体検出装置、移動体機器制御システム及び物体検出用プログラム - Google Patents

Abstract

【課題】個々の物体を高精度で区別して検出する物体検出処理を短い処理時間で実行可能とする物体検出装置を提供する。
【解決手段】２つの撮像部により撮像して得られる基準画像と比較画像に基づいて視差画像データを生成し、その視差画像データに基づいて撮像領域内に存在する他車両等の物体を検出する物体検出装置２００において、視差画像データに基づいて、撮像画像を左右方向に複数分割して得られる各縦列領域内における視差値の頻度分布を示すＵマップ情報（縦方向視差ヒストグラム情報）を生成するＵマップ生成部２０４と、このＵマップ情報に基づき、所定の頻度閾値を超える頻度をもった視差値のうち所定の視差値近接範囲内の視差値に対応していて、かつ、画像左右方向の間隔が所定範囲内である一群の画素を、１つの物体を映し出す物体候補領域として抽出する物体候補領域検出部２０５とを有する。
【選択図】図３

Description

本発明は、複数の撮像画像に基づいて視差情報を生成し、該視差情報に基づいて撮像領域内に存在する物体を検出する物体検出装置、移動体機器制御システム及び物体検出用プログラムに関するものである。

従来、車両や鉄道、船舶、航空機などの移動体の前方を撮像手段により撮像した撮像画像に基づいて、障害物等の識別対象物を検出するための物体検出装置が知られている。このような物体検出装置は、例えば、車両の運転者（ドライバー）の運転負荷を軽減させるための、ＡＣＣ（Adaptive Cruise Control）等の運転者支援システムなどに利用されている。運転者支援システムは、障害物等に衝突することを回避したり衝突時の衝撃を軽減したりするための自動ブレーキ機能や警報機能、先行車両との車間距離を維持するための自車速度調整機能、自車が走行している車線からの逸脱防止を支援する機能などの様々な機能を実現する。これらの機能を適切に実現するためには、自車両前方の撮像画像から、自車両周囲に存在する種々の識別対象物（例えば、他車両、歩行者、車線境界線やマンホール蓋などの路面構成物、電柱、ガードレール、縁石、中央分離帯などの路側構造物など）を映し出す画像部分を精度よく認識し、自車両の走行可能領域を把握したり、衝突を回避すべき物体を精度よく検出したりすることが重要である。

特許文献１には、検出領域（撮像領域）内に存在する対象物（物体）の輝度と高さ位置からその対象物の種類を識別する環境認識装置が開示されている。この環境認識装置では、まず、予め決められた特定物ごとの輝度範囲に含まれる輝度をもった対象部位に、その特定物ごとの識別番号を付与して、特定物マップを作成する。その後、識別番号が付与された各対象部位について、当該対象部位の道路表面からの高さ位置を取得する。各対象部位の高さ位置は、２つの撮像装置それぞれから得られる２つの画像データに基づいて導出される視差情報から算出する。そして、その高さ位置が特定物テーブルにおいて識別番号により特定される特定物の高さ位置範囲内に含まれていれば、その対象部位が当該特定物であると仮決定する。

この仮決定後、任意の対象部位を基点として、その対象部位と水平距離の差分が所定範囲内にあり、かつ、その対象部位と相対距離（自車両と対象部位との距離）の差分が所定範囲内にある、同一の特定物に対応すると仮決定された（同一の識別番号が付された）対象部位をグループ化し、それを対象物とする。そして、このようにして決定された対象物の幅を算出し、この幅が特定物テーブルにおいて当該特定物の幅範囲内に含まれていれば、その対象物が当該特定物であると決定する。

撮像領域内に存在する物体の高さ、幅（水平方向長さ）、撮像手段からの距離という３つの情報は、撮像領域内に存在する個々の物体を、高い精度で、互いに区別して検出する際に、特に重要な要素となる。なぜなら、撮像手段からの距離が同程度でかつ一定の高さと一定の幅を持った面というのは、１つの物体上の面であると考えることができ、そのような面を特定するには、上述した３つの情報が必要となるからである。上記特許文献１に開示の環境認識装置でも、ある高さ位置範囲に存在する同程度の輝度をもった対象部位群を、１つの対象物として仮決定した上で、各対象部位間の水平距離が所定範囲内にあり、かつ、各対象部位の相対距離（その物体までの距離）が所定範囲内にある対象部位群を更にグループ分けしている。したがって、上記特許文献１に開示の環境認識装置でも、物体の高さ、幅、距離という３つの情報を用いて、個々の対象物を区別して検出しているものと考えられる。

しかしながら、上記特許文献１に開示の環境認識装置では、物体の高さ、幅、距離という３つの情報を得るための処理を、それぞれ個別に、かつ、順番に行う必要がある。具体的には、まず、ある高さ位置範囲に存在する同程度の輝度をもった対象部位群を１つの対象物として仮決定する処理により、対象物（物体）の高さ情報を取得する。また、その後に行う、各対象部位間の水平距離が所定範囲内にある対象部位を特定する処理において、対象物（物体）の幅情報を取得する。また、これに前後して、各対象部位の相対距離が所定範囲内にある対象部位を特定する処理において、対象物（物体）の距離情報を取得する。このように、物体の高さ、幅、距離という３つの情報を得るための処理を、それぞれ個別に、かつ、順番に行って、個々の物体を区別して検出する物体検出処理では、その処理に時間がかかるという問題が発生する。

本発明は、上記問題に鑑みなされたものであり、その目的とするところは、個々の物体を高精度で区別して検出する物体検出処理を短い処理時間で実行可能な物体検出装置、移動体機器制御システム及び物体検出用プログラムを提供することである。

上記目的を達成するために、本発明は、複数の撮像手段により撮像して得られる複数の撮像画像に基づいて視差情報を生成し、該視差情報に基づいて撮像領域内に存在する物体を検出する物体検出装置において、上記視差情報に基づいて、上記撮像画像を左右方向に複数分割して得られる各縦列領域内における視差値の頻度分布を示す縦方向視差ヒストグラム情報を生成する縦方向視差ヒストグラム情報生成手段と、上記縦方向視差ヒストグラム情報に基づき、所定の頻度閾値を超える頻度をもった視差値のうち所定の視差値近接範囲内の視差値に対応していて、かつ、画像左右方向の間隔が所定範囲内である一群の画素を、１つの物体を映し出す物体画像領域として抽出する物体画像領域抽出手段とを有することを特徴とする。

本発明においては、撮像画像を左右方向に複数分割して得られる各縦列領域内で所定の頻度閾値を超える頻度をもった視差値のうち所定の視差値近接範囲内の視差値に対応していて、かつ、画像左右方向の間隔が所定範囲内であるという条件を満たす一群の画素を抽出する。所定の頻度閾値を超える頻度をもった視差値に対応する画素とは、その縦列領域内で同じ視差値に対応している画素数が比較的多い画素を指す。また、所定の視差値近接範囲内の視差値に対応している画素の集まりは、それらの画素に映し出されている各箇所が、その視差値近接範囲に対応した距離（撮像手段からの距離）の範囲内で互いに近接している箇所であるが画素の集まり、言い換えると撮像手段からの距離が同程度である箇所を映し出している画素の集まりである。したがって、各縦列領域内で所定の頻度閾値を超える頻度をもった視差値のうち所定の視差値近接範囲内の視差値に対応している画素の集まりとは、撮像手段からの距離が同程度で、かつ、一定の高さを持った箇所を映し出している画素の集まりであると言うことができる。そして、更に、画像左右方向の間隔が所定範囲内であるという条件が加わると、そのような画素の集まりは、撮像手段からの距離が同程度でかつ一定の高さと一定の幅を持った面を映し出している画素の集まり（一群の画素）であると言うことができる。このような面は、１つの物体上の面であると考えることができるので、上記のような一群の画素を抽出することで、撮像領域内に存在する個々の物体を高い精度で区別して検出することができる。

上記のような一群の画素を、本発明では、縦方向視差ヒストグラム情報に基づいて抽出する。この縦方向視差ヒストグラム情報は、撮像画像を左右方向に複数分割して得られる各縦列領域内における視差値の頻度分布を示すものである。したがって、この縦方向視差ヒストグラム情報には、少なくとも、撮像画像上の各画素に対応して、画像左右方向位置、視差値、当該画像左右方向位置に対応する縦列領域内での当該視差値の頻度という３つの情報が含まれる。例えば、縦軸に視差値をとり、横軸に画像左右方向位置をとった二次元座標上で、所定の頻度閾値を超える頻度をもった視差値に対応するマーク（指標）を分布させることができる。このような二次元座標上の分布において、上記のような一群の画素は、横線状の分布を示すという特徴がある。この特徴を用い、縦方向視差ヒストグラム情報に基づいて、上記一群の画素を抽出することができる。そして、視差情報から縦方向視差ヒストグラム情報を生成する処理は、高速な処理が可能であることから、縦方向視差ヒストグラム情報に基づいて、上記のような一群の画素、すなわち、撮像手段からの距離が同程度でかつ一定の高さと一定の幅を持った面を映し出している一群の画素（１つの物体を映し出している画素群）を短い処理時間で抽出することが可能である。

以上より、本発明によれば、個々の物体を高精度で区別して検出する物体検出処理を短い処理時間で実行可能となるという優れた効果が得られる。

実施形態における車載機器制御システムの概略構成を示す模式図である。 同車載機器制御システムを構成する撮像ユニット及び画像解析ユニットの概略構成を示す模式図である。 実施形態の物体認識処理に関わる機能ブロック図である。 左右のカメラで撮影したときの視差を説明する図である。 視差画像の視差値分布の一例を示す説明図である。 図５に示す視差画像の縦列領域ごとの視差値頻度分布を示す縦方向視差ヒストグラム（Ｕマップ）を示す説明図である。 同物体認識処理の流れを示すフローチャートである。 基準画像（輝度画像）の一例を示す画像例である。 図８に示した輝度画像に対応する視差画像の画像例である。 図９に示した視差画像に対応するＵマップ画像の画像例である。 物体候補領域の計算処理の流れを示すフローチャートである。 図１０に示したＵマップ画像上において横線状に分布する特徴を示した説明図である。 図１０に示したＵマップ画像について平滑化処理及び閾値処理を行った後のＵマップ画像を示す説明図である。 視差画像上における物体候補領域を示す説明図である。 図１４中の白線枠で囲まれた物体候補領域を拡大した画像例である。 識別対象物の実サイズ範囲の各閾値の例を示した表である。 図８に示した輝度画像上に物体候補領域を示した説明図である。 輝度画像上の物体候補領域の特定方法を説明するための説明図である。 ４種類の特徴パターン例を示す説明図である。 識別対象物の認識処理で用いる識別器の構成を示す説明図である。

以下、本発明に係る物体検出装置を、車両システムとしての車載機器制御システムに用いる一実施形態について説明する。なお、本発明に係る物体検出装置は、車載機器制御システムに限らず、物体検出装置を利用するその他のシステムにも適用できる。

図１は、本実施形態における車載機器制御システムの概略構成を示す模式図である。
本実施形態の車載機器制御システムは、移動体としての自車両１００の進行方向前方領域を撮像領域として撮像する撮像手段としての撮像ユニット１０１が設けられている。この撮像ユニット１０１は、例えば、自車両１００のフロントガラス１０５のルームミラー（図示せず）付近に設置される。撮像ユニット１０１の撮像によって得られる撮像画像データ等の各種データは、画像処理手段としての画像解析ユニット１０２に入力される。画像解析ユニット１０２は、撮像ユニット１０１から送信されてくるデータを解析して、例えば、自車両１００の前方に存在する他車両の位置、方角、距離を算出する。他車両の検出では、視差情報に基づいて路面上の識別対象物を車両として検出する。

また、画像解析ユニット１０２の算出結果は、車両走行制御ユニット１０６にも送られる。車両走行制御ユニット１０６は、例えば、先行車両の検出結果に基づいて、その先行車両との車間距離が狭くなった場合や広くなった場合等に、自車両１００の運転者へ警告を報知したり、自車両のハンドルやブレーキを制御するなどの走行支援制御を行ったりする。また、例えば、対向車両の検出結果に基づいて、ベッドランプ１０４のビーム方向をハイビーム又はロービームに切り替えるなどの制御も行う。

図２は、撮像ユニット１０１及び画像解析ユニット１０２の概略構成を示す模式図である。
撮像ユニット１０１は、２つの撮像部１１０Ａ，１１０Ｂを備えたステレオカメラであり、２つの撮像部１１０Ａ，１１０Ｂの構成は同一のものである。各撮像部１１０Ａ，１１０Ｂは、それぞれ、撮像レンズ１１１Ａ，１１１Ｂと、撮像素子が２次元配置された画像センサ１１３Ａ，１１３Ｂを含んだセンサ基板１１４Ａ，１１４Ｂと、センサ基板１１４Ａ，１１４Ｂから出力されるアナログ電気信号（画像センサ１１３Ａ，１１３Ｂ上の各受光素子が受光した受光量）をデジタル電気信号に変換した撮像画像データを生成して出力する信号処理部１１５Ａ，１１５Ｂとから構成されている。本実施形態の撮像ユニット１０１からは、輝度画像データ、視差画像データが出力される。

また、撮像ユニット１０１は、ＦＰＧＡ（Field-Programmable Gate Array）等からなる処理ハードウェア部１２０を備えている。この処理ハードウェア部１２０は、各撮像部１１０Ａ，１１０Ｂから出力される輝度画像データから視差画像を得るために、各撮像部１１０Ａ，１１０Ｂでそれぞれ撮像した撮像画像間の対応画像部分の視差値を演算する視差演算部１２１を備えている。ここでいう視差値とは、各撮像部１１０Ａ，１１０Ｂでそれぞれ撮像した撮像画像の一方を基準画像、他方を比較画像とし、撮像領域内の同一地点に対応した基準画像上の画像部分に対する比較画像上の画像部分の位置ズレ量を、当該画像部分の視差値として算出したものである。三角測量の原理を利用することで、この視差値から当該画像部分に対応した撮像領域内の当該同一地点までの距離を算出することができる。

一方、画像解析ユニット１０２は、撮像ユニット１０１から出力される輝度画像データ及び視差画像データを記憶するメモリ１３０と、識別対象物の認識処理や視差計算制御などを行うソフトウェアを内蔵したＭＰＵ（Micro Processing Unit）１４０とを備えている。ＭＰＵ１４０は、メモリ１３０に格納された輝度画像データ及び視差画像データを用いて各種の認識処理を実行する。

画像センサ１１３Ａ，１１３Ｂは、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などを用いたイメージセンサであり、その撮像素子（受光素子）にはフォトダイオードを用いている。フォトダイオードは、撮像画素ごとに２次元的にアレイ配置されており、フォトダイオードの集光効率を上げるために、各フォトダイオードの入射側にはマイクロレンズが設けられている。この画像センサ１１３Ａ，１１３Ｂがワイヤボンディングなどの手法によりＰＷＢ（printed wiring board）に接合されてセンサ基板１１４Ａ，１１４Ｂが形成されている。

次に、本発明の特徴部分である、物体認識処理について説明する。
図３は、本実施形態の物体認識処理に関わる機能ブロック図である。
同図において、本実施形態の物体検出装置２００は、ステレオ画像入力部２０１、輝度画像入力部２０２、視差画像演算部２０３、Ｕマップ生成部２０４、物体候補領域検出部２０５、識別対象物認識部２０６、認識結果出力部２０８を含んで構成されている。これらは、図２に示した画像解析ユニット１０２や処理ハードウェア部１２０によって実現される。

ステレオ画像入力部２０１は、撮像ユニット１０１の各撮像部１１０Ａ，１１０Ｂから出力される２つの輝度画像データ（ステレオ画像）の入力を受け付けるものである。輝度画像入力部２０２は、ステレオ画像のうちの基準画像（輝度画像）の入力を受け付けるものである。入力されたステレオ画像及び輝度画像はメモリに保存される。

視差画像演算部２０３は、視差情報生成手段として機能し、ステレオ画像入力部２０１に入力されたステレオ画像を用いて基準画像上の各画素についての視差値を演算して、その視差値を画素値としてもつ視差画像を生成可能な視差画像データ（視差情報）を生成する。したがって、この視差画像データは、視差画像上の左右方向位置（基準画像上の左右方向位置と同じ）ｘと、視差画像上の上下方向位置（基準画像上の上下方向位置と同じ）ｙと、視差値ｄとを有する三次元座標情報（ｘ，ｙ，ｄ）を含むものである。図４を参照して説明すれば、被写体３０１上にあるＯ点に対する左右画像での結像位置は、結像中心からの距離がそれぞれΔ１とΔ２となる。このときの視差値ｄは、Δ＝Δ１＋Δ２と規定することができる。

Ｕマップ生成部２０４は、縦方向視差ヒストグラム情報生成手段として機能し、視差画像（撮像画像）を左右方向に複数分割して得られる各縦列領域内における視差値ｄの頻度分布を示す縦方向視差ヒストグラム情報であるＵマップ情報を生成する。本実施形態において、各縦列領域の幅は１画素分である。このＵマップ情報は、視差画像データに含まれる各画素に対応した三次元座標（ｘ，ｙ，ｄ）を、Ｘ軸に視差画像上の左右方向位置ｘと、Ｙ軸に視差値ｄと、Ｚ軸に当該画像左右方向位置ｘに対応する縦列領域内での当該視差値ｄの頻度ｆとを有する三次元座標情報（ｘ，ｄ，ｆ）に変換したものである。具体例を挙げて説明すると、図５に示すような視差値分布をもった視差画像データが入力されたとき、Ｕマップ生成部２０４は、図６に示すような縦列領域ごとの視差値頻度分布を計算して出力する。このようなＵマップ情報を用いることで、縦軸に視差値ｄをとり、横軸に画像左右方向位置ｘをとった二次元座標系に、所定の頻度閾値を超える頻度ｆをもった視差値に対応する画素を分布させた縦方向視差ヒストグラム画像（Ｕマップ）を作成することができる。

物体候補領域検出部２０５は、物体画像領域抽出手段として機能し、Ｕマップ情報に基づいて、所定の頻度閾値を超える頻度ｆをもった視差値ｄのうち所定の視差値近接範囲内の視差値ｄに対応していて、かつ、画像左右方向の間隔Δｌが所定範囲内である一群の画素を、１つの物体を映し出す物体画像領域の候補領域（物体候補領域）として抽出する処理を行う。本実施形態では、輝度画像入力部に入力された輝度画像（基準画像）の情報も利用して、物体候補領域を抽出する処理を行う。識別対象物認識部２０６は、識別対象物判断手段として機能し、物体候補領域検出部２０５が検出した物体候補領域に対して識別対象物の認識処理を行う。この認識結果は、認識結果出力部２０８から出力される。

次に、本実施形態における物体認識処理の流れについて説明する。
図７は、本実施形態における物体認識処理の流れを示すフローチャートである。
まず、ステレオ画像入力部２０１が、撮像ユニット１０１の各撮像部１１０Ａ，１１０Ｂからそれぞれ輝度画像データ（ステレオ画像）の入力を受け付ける（Ｓ１）。また、輝度画像入力部２０２は、そのステレオ画像のうちの基準画像（輝度画像）の入力を受け付ける（Ｓ２）。図８は、基準画像（輝度画像）の一例を示す画像例である。

ステレオ画像入力部２０１が入力を受け付けたステレオ画像データは、視差画像演算部２０３へ送られる。視差画像演算部２０３では、まず、入力されたステレオ画像を用いて、基準画像上の各画素についての視差値を演算して、その視差値を画素値としてもつ視差画像を生成可能な視差画像データを計算する（Ｓ３）。図８に示した画像例に対応する視差画像の画像例を図９に示す。なお、図９に示す画像例は、各画素の画素値が、視差値が大きいほど（距離が近いほど）、大きな値（高い画像輝度）をもつように表現したものである。

視差画像データの生成処理としては、例えば、次のような処理を採用することができる。まず、基準画像データのある行について、一の注目画素を中心とした複数画素（例えば５画素×５画素）からなるブロックを定義する。一方、比較画像データにおける当該注目画素と同じ行において、定義した基準画像データのブロックと同じサイズのブロックを１画素ずつ横ライン方向（画像左右方向）へずらし、基準画像データにおいて定義したブロックの画素値の特徴を示す特徴量と比較画像データにおける各ブロックの画素値の特徴を示す特徴量との相関を示す相関値を、それぞれ算出する。そして、算出した相関値に基づき、比較画像データにおける各ブロックの中で最も基準画像データのブロックと相関があった比較画像データのブロックを選定するマッチング処理を行う。その後、基準画像データのブロックの注目画素と、マッチング処理で選定された比較画像データのブロックの対応画素との位置ズレ量を視差値ｄとして算出する。このような視差値ｄを算出する処理を基準画像データの全域又は特定の一領域について行うことで、視差画像データを得ることができる。

マッチング処理に用いるブロックの特徴量としては、例えば、ブロック内の各画素の値（輝度値）を用いることができ、相関値としては、例えば、基準画像データのブロック内の各画素の値（輝度値）と、これらの画素にそれぞれ対応する比較画像データのブロック内の各画素の値（輝度値）との差分の絶対値の総和を用いることができる。この場合、当該総和が最も小さくなるブロックが最も相関があると言える。

このようにして生成された視差画像データは、Ｕマップ生成部２０４に送られ、Ｕマップ生成部２０４では、この視差画像データ（ｘ，ｙ，ｄ）をＵマップ情報（ｘ，ｄ，ｆ）に変換してＵマップ情報を計算する処理を行う（Ｓ４）。図１０に、図９に示した視差画像の画像例において、縦軸に視差値ｄをとり、横軸に画像左右方向位置ｘをとった二次元座標系に、所定の頻度閾値を超える頻度ｆをもった視差値に対応する画素を分布させた縦方向視差ヒストグラム画像（Ｕマップ）を示す。なお、図１０に示すＵマップの画像例は、各画素の画素値が、頻度が大きいほど大きな値（高い画像輝度）をもつように表現したものである。

図６に示したＵマップの説明図を用いて説明すると、例えば、図５に示した視差画像データ上で視差値ｄ＝４をもつ画素の群は、自車両１００から同じ距離の地点に存在する物体を映し出している画素である。これらの画素（同じ視差値をもつ画素）は、図６に示したＵマップ上では同じ上下方向位置に並べられるので、これらの画素のうち一定の幅をもった１つの物体を映し出している画素については、Ｕマップ上で横線状に分布するという特徴を示す。また、これらの画素のうち、一定の高さをもった１つの物体を映し出している画素については、Ｕマップ上で一定以上の頻度を示すものとなる。したがって、一定以上の頻度をもち、かつ、Ｕマップ上で横線状に分布するような一群の画素は、一定の幅と高さをもった１つの物体を映し出ている画素であると言うことができる。本実施形態では、この特徴を利用して、物体候補領域検出部２０５において、撮像領域（実空間）内における個々の物体をそれぞれ映し出している物体画像領域の候補領域（物体候補領域）を個別に検出する物体候補領域の計算を行う（Ｓ２０）。

図１１は、物体候補領域検出部２０５が実行する物体候補領域の計算処理の流れを示すフローチャートである。
以下の説明では、図８に示した画像例に映し出されている他車両を検出する場合を例に挙げて説明する。通常、他車両における背面上の各地点は、自車両１００からの距離が同じ距離であるので、この他車両背面上の各地点をそれぞれ映し出す画素に対応した視差値は同じ値となる。そのため、これらの画素は、Ｕマップ上において、図１２に示すように、横線状に分布する特徴を示すものとなる。したがって、このような特徴を示す領域（図１２中の白線枠で囲った領域）を抽出し、この領域内に対応する一群の画素を物体候補領域として抽出することで、他車両を映し出している画像領域を特定することができる。なお、物体が他車両である場合に限らず、一般に、画像上に映し出される物体の面は、自車両１００からの距離がほぼ同じ距離に存在するので、他の物体を映し出している画像領域についても、同様に特定することができる。

本実施形態の物体候補領域の計算処理では、まず、Ｕマップ情報の平滑化処理を実行する（Ｓ２１）。この平滑化処理は、所定範囲内（所定の画素数以内）に存在するＵマップ上の画素（一定以上の頻度をもった画素）間を埋めて、不連続な部分をつなげる処理である。次に、平滑化したＵマップ情報について、例えば２値化処理等の閾値処理を行う（Ｓ２２）。具体的には、Ｕマップ上において、所定の閾値以下の画素値（頻度ｆ）については０にし、所定の閾値を超える画素値（頻度ｆ）については１にする。この２値化のための閾値については、事前に実験によって好適な値を求めておくのが好ましい。あるいは、画像から推定して、閾値を設定しても良い。例えば、Ｕマップ上の画素値（頻度ｆ）の平均値ｈを計算し、これに所定の係数Ｋを掛け合わせた値（Ｋ×ｈ）を閾値として使用する。このときのＫは、事前に実験によって好適な値を求めておくのが好ましい。閾値処理後のＵマップの画像例を図１３に示す。

次に、この閾値処理したＵマップ情報について、Ｕマップの横軸方向に延びる横直線を抽出するためのハフ変換（Hough変換）を行う（Ｓ２３）。図１３には、このハフ変換によって抽出された２本の横直線Ｌ１，Ｌ２が示されている。そして、このようにして抽出された横直線Ｌ１，Ｌ２に沿って、上述した横線状の特徴を示す孤立領域を探索し、孤立領域を抽出する（Ｓ２４）。

孤立領域の抽出は、例えば、抽出された横直線Ｌ１，Ｌ２上に沿って値が０でない画素を探索し、ある対象画素から所定範囲内（所定の画素数ｎ以内）に別の画素（値が０でない画素）が存在する場合には、その対象画素と当該別の画素とを同じグループに属するようにグループ化する。このような探索は、同じグループに属するいずれの画素についても、所定範囲内（所定の画素数ｎ以内）に当該グループに属していない別の画素（値が０でない画素）が存在しなくなるまで行われ、これを横直線Ｌ１，Ｌ２上の画像左右方向一端側から他端側まで行う。そして、得られた各グループの画素数を集計し、その画素数が予め設定された閾値Ｍ以上であれば、これを１つの孤立領域として検出する。一例として、所定の画素数ｎ＝８、閾値Ｍ＝２０と設定することができる。このような処理により、横直線Ｌ１上に沿って検出された孤立領域（図１３中の白線枠で囲った領域）は、横線上の特徴を示す一群の画素を含むものである。

次に、このようにして、孤立領域が検出された場合（Ｓ２５のＹｅｓ）、Ｕマップ上での画像左右方向長さによって示される孤立領域の画像幅Δｘと、Ｕマップ上での画像上下方向長さによって示される孤立領域の視差範囲Δｄとを計算する（Ｓ２６）。なお、孤立領域が検出されなかった場合には（Ｓ２５のＮｏ）、孤立領域が無い旨の結果を識別対象物認識部２０６へ出力する（Ｓ２７）。

孤立領域の画像幅Δｘと視差範囲Δｄとが計算されたら、次に、この画像幅Δｘと視差範囲Δｄを用いて、図１４中の白線枠に囲まれているような視差画像上における物体候補領域を抽出する。具体的には、まず、視差画像上における画像幅Δｘの範囲内に存在する視差範囲Δｄ内の視差値をもった画素を視差画像データから抽出する（Ｓ２８）。その後、抽出した画素から、例えば上述したグループ化処理と同様の処理を行って、互いに近接する画素の集合を抽出する（Ｓ２９）。その後、抽出した画素の集合の外形を抽出し（Ｓ３０）、抽出した外形に囲まれる領域を物体候補領域として出力する（Ｓ３１）。

本実施形態では、抽出した画素の集合の外形として、抽出した画素の集合に外接する矩形を抽出することとしている。これにより得られる物体候補領域は、図１４中の白線枠で囲った領域となる。図１５は、図１４中の白線枠で囲まれた物体候補領域を拡大した画像例である。

以上のようにして、物体候補領域検出部２０５により物体候補領域が検出されたら、次に、図７に示すように、検出された物体候補領域内における視差画像上の画素値の平均値（視差平均値）を計算する（Ｓ５）。視差平均値は、検出された物体候補領域内に存在する画素に対応した視差値を合計し、これを当該物体候補領域内に存在する画素の数で割り算したものである。なお、この視差平均値に代えて、例えば、物体候補領域内に存在する画素に対応した視差値の中央値（メディアン）を公知のフィルタを使って求めたものを用いてもよい。または、例えば、物体候補領域内に存在する画素に対応した視差値のうち頻度が最も高い視差値（最頻値）を用いてもよい。

次に、物体候補領域に映し出されている物体の幅（横サイズ）と高さ（縦サイズ）を計算する（Ｓ６）。この処理では、まず、物体候補領域の視差平均値から、当該物体候補領域に映し出されている物体と自車両１００との距離を算出する。そして、算出した距離を用いて、物体候補領域の画像左右方向長さΔｘを物体の横サイズに換算し、また、物体候補領域の画像上下方向長さΔｙを物体の縦サイズに換算する。

詳しくは、図４に示した説明図を用いて説明すると、物体候補領域の視差平均値をｄａｖｅとしたとき、被写体３０１からステレオメラまでの距離Ｚと視差平均値ｄａｖｅとの関係は、ステレオカメラの焦点距離をＦとし、左右カメラレンズ間の距離をＤとすると、下記の式（１）によって表すことができる。また、この式（１）を距離Ｚについて解くと、下記式（２）が得られる。この式（２）より、物体候補領域に映し出されている物体までの距離Ｚを計算することができる。
ｄａｖｅ ： Ｆ ＝ Ｄ ： Ｚ ・・・（１）
Ｚ ＝ Ｄ × Ｆ ／ ｄａｖｅ ・・・（２）

物体候補領域のサイズｓとこれに対応する物体の実サイズＳとの関係は、下記の式（３）に示すとおりである。この式（３）を実サイズＳについて解くと、下記の式（４）が得られる。この式（４）より、物体の実サイズＳを計算することができる。
Ｓ ： Ｚ ＝ ｓ ： Ｆ ・・・（３）
Ｓ ＝ ｓ × Ｚ ／ Ｆ ・・・（４）

このようにして計算される物体の幅（横サイズ）と高さ（縦サイズ）のいずれかが、識別対象物の実サイズに対応した閾値範囲Ｗｍｉｎ，Ｗｍａｘ，Ｈｍｉｎ，Ｈｍａｘから外れるものであった場合には（Ｓ７のＮｏ）、誤認識であると判断として、当該物体候補領域を削除する（Ｓ８）。このとき、物体の幅（横サイズ）と高さ（縦サイズ）の両方が識別対象物の閾値範囲Ｗｍｉｎ，Ｗｍａｘ，Ｈｍｉｎ，Ｈｍａｘから外れる場合に、誤認識であると判断してもよい。実験等によって認識精度の良いほうを選択するとよい。なお、各識別対象物の閾値範囲Ｗｍｉｎ，Ｗｍａｘ，Ｈｍｉｎ，Ｈｍａｘは、それぞれの識別対象物について実際に採集した実験データ等によって決めるのが好ましい。

図１６は、事前学習で求めた識別対象物の実サイズ範囲の各閾値Ｗｍｉｎ，Ｗｍａｘ，Ｈｍｉｎ，Ｈｍａｘの例を示した表である。なお、Ｗｍｉｎは横サイズの最小値であり、Ｗｍａｘは横サイズの最大値であり、Ｈｍｉｎは縦サイズの最小値であり、Ｈｍａｘは縦サイズの最大値である。このような表のデータは、予めメモリに保持されており、識別対象物認識部２０６は、物体候補領域に映し出されている物体の幅（横サイズ）と高さ（縦サイズ）から、この表データを参照して、その物体がいずれの識別対象物であるかを分類分する（Ｓ９）。その後、必要に応じて、輝度情報等の他の識別処理の結果と総合して、その物体がいずれの識別対象物であるかを認識し（Ｓ１０）、その認識結果を出力する（Ｓ１１）。以上のようにして出力された認識結果に基づいて、輝度画像上に物体候補領域を示した画像例を図１７に示す。

本実施形態の識別対象物認識部２０６は、識別対象物の実サイズだけでなく、輝度画像データも利用して認識処理を行う。この認識処理では、機械学習方法により、事前に物体認識した画像サンプル学習データを用いて、認識用辞書を作成する。このとき、識別対象物によって別々に認識辞書を作成する必要である。ここでは、識別対象物が車両の分類に属するものとなるので、事前学習した車両を認識する辞書と車両用の認識プログラムを用いて、識別対象物の認識処理を行う。以下、輝度画像データを利用した認識処理について詳しく説明する。

はじめに、識別対象物認識部２０６は、輝度画像入力部２０２から入力される輝度画像（基準画像）から、図１８に示すように、上述したように物体候補領域の検出結果に対応する輝度画像上の物体候補領域を設定する。この物体候補領域の左上の座標（Ｘｓ,Ｙｓ）と右下の座標（Ｘｅ,Ｙｅ）とによって、当該物体候補領域の輝度画像上での位置及び大きさが定まる。次に、識別対象物認識部２０６は、輝度画像上に設定した物体候補領域について、図１９に示すような４種類の白黒ブロック内にある白領域及び黒領域の特徴量を計算する。具体的には、図１９に示すような各白黒ブロックＡ〜Ｄの白領域に対応する物体候補領域内の箇所についての画素値の合計と、黒領域に対応する物体候補領域内の箇所についての画素値の合計とを算出する。そして、白領域内の画素値合計から黒領域内の画素値合計を差し引いた値を、当該物体候補領域についてのその種類の白黒ブロックに関する特徴量ｈ（ｘ）とする。

このようにして算出される特徴量ｈ（ｘ）から、下記の数１に示す評価関数を用いて、１つの評価値ｆ（ｘ）が計算される。この評価値ｆ（ｘ）は、各白黒ブロック（ｔ＝１〜Ｔ（図１９に例示した４種類の白黒ブロックを用いる場合には、Ｔ＝４））について、それぞれ特徴量ｈ_ｔ（ｘ）を計算し、その計算結果に白黒ブロック毎に付された重み係数α_ｔを乗算して得られる各白黒ブロックの重み付け特徴量α_ｔ×ｈ_ｔ（ｘ）を合算することにより、算出することができる。ここで、特徴量ｈ_ｔ（ｘ）と重み係数α_ｔは、識別対象物の輝度画像についての学習データを集め、その学習データによって学習させて求めることができる。

このような識別対象物の認識処理で用いる識別器は、図２０に示すように、複数の階層１〜ｎ（ｎは正の整数）を含んで構成されている。各階層１〜ｎは、それぞれ、特定の識別対象物であることを特徴づける互いに異なる特徴セット（特徴量ｈ_ｔ（ｘ）及び重み係数α_ｔ）を用いた個別の評価関数を有している。そして、上記物体候補領域について、まず、階層（識別器）１の評価関数を用いて評価値ｆ（ｘ）を算出し、その値が階層１について予め設定された閾値よりも小さい場合には、当該物体候補領域には識別対象物が映し出されていないものと判断する。このような判断を各階層２〜ｎについて順次行い、最後の階層６００ｎまで評価値ｆ（ｘ）が閾値以上であると判断されれば、当該物体候補領域には、識別対象物が映し出されているものと判断する。

例えば、階層１では大まかに車らしい特徴があるか否かを判断するために、図１９に示した４種類の白黒ブロックを用いて評価値ｆ₁（ｘ）を計算し、この評価値ｆ₁（ｘ）とその閾値とを比較する。図１７の画像例に示される物体候補領域を例に挙げると、階層１において図１９に示す白黒ブロックＡを用いた評価を行う場合、当該物体候補領域に対する特徴量Ｈ_１（ｘ）はほぼゼロになる。ただし、図１９に示す白黒ブロックＢを用いた評価を行うと、当該物体候補領域に対する特徴量Ｈ_２（ｘ）は十分に大きな値をとる。その結果、これらの特徴量から算出される階層１の評価値ｆ_１（ｘ）（＝Ｈ_１（ｘ）＋Ｈ_２（ｘ）＋Ｈ_３（ｘ）＋Ｈ_４（ｘ））は、階層１の閾値以上の値を示す結果となり、次の階層２における評価へ移行する。階層２では、図１９に示した４種類の白黒ブロックよりも更に細かな白黒パターンをもったブロックが用意されており、そのブロックの個数が階層１よりも多くなるようにする。そして、階層２においても、この階層２に対応する各白黒ブロックについての特徴量Ｈ_ｔ（ｘ）を求めて評価値ｆ_２（ｘ）を算出し、この評価値ｆ_２（ｘ）が階層２の閾値以上であれば、次の階層３における評価へ移行する。このような処理を繰り返し、最後の階層ｎの評価値ｆ_ｎ（ｘ）も閾値以上であれば、当該物体候補領域が車両が映し出されている車両の候補領域であると判断する。

なお、特徴量ｈ_ｔ（ｘ）、重み係数α_ｔ、図１９に示した４種類の白黒ブロックの二辺が交差する四隅の交点のうちの左上隅の交点の座標値、その白黒ブロックの横幅と縦幅（ブロックサイズ）、白領域（又は黒領域）の二辺が交差する四隅の交点のうちの左上隅の交点の座標値、その白領域と黒領域のサイズ、各階層１〜ｎにおける評価値の閾値等は、図示しない認識辞書等のデータに記憶されている。

本実施形態では、輝度画像についてもこのような識別器を用いて物体候補領域に識別対象物が映し出されているかどうかを判断し、この判断の結果、識別対象物が映し出されているとされたら、物体候補領域には識別対象物（ここでは車両）が映し出されるという認識結果を出力する（Ｓ１１）。

以上に説明したものは一例であり、本発明は、次の態様毎に特有の効果を奏する。
（態様Ａ）
２つの撮像部１１０Ａ，１１０Ｂ等の複数の撮像手段により撮像して得られる複数の撮像画像（基準画像と比較画像）に基づいて視差情報を生成し、該視差情報に基づいて撮像領域内に存在する他車両等の物体を検出する物体検出装置２００において、上記視差情報に基づいて、上記撮像画像を左右方向に複数分割して得られる各縦列領域内における視差値の頻度分布を示すＵマップ情報等の縦方向視差ヒストグラム情報を生成するＵマップ生成部２０４等の縦方向視差ヒストグラム情報生成手段と、上記縦方向視差ヒストグラム情報に基づき、所定の頻度閾値を超える頻度ｆをもった視差値ｄのうち所定の視差値近接範囲内の視差値ｄに対応していて、かつ、画像左右方向の間隔Δｌが所定範囲内である一群の画素を、１つの物体を映し出す物体候補領域等の物体画像領域として抽出する物体候補領域検出部２０５等の物体画像領域抽出手段とを有することを特徴とする。
これによれば、個々の物体を高精度で区別して検出する物体検出処理を短い処理時間で実行可能となる。

（態様Ｂ）
上記態様Ａにおいて、上記物体画像領域抽出手段は、上記縦方向視差ヒストグラム情報から作成される視差値ｄと画像左右方向位置ｘとで定義される二次元座標系上で、上記所定の頻度閾値を超える頻度ｆをもった視差値ｄをもった画素に対してハフ変換を行って画像左右方向に延びる横直線Ｌ１等の直線を抽出し、抽出された直線を基準にして、上記所定の視差値近接範囲内の視差値ｄに対応し、かつ、画像左右方向の間隔Δｌが所定範囲内である上記一群の画素を抽出することを特徴とする。
これによれば、より短時間で、個々の物体を高精度で区別して検出する物体検出処理を実行することができる。

（態様Ｃ）
上記態様Ａ又はＢにおいて、上記物体画像領域抽出処理手段は、上記一群の画素を、上記視差情報に基づいて作成される視差画像上で、１つの物体を映し出す物体画像領域として抽出することを特徴とする。
これによれば、物体画像領域に映し出されている物体の高さを容易に把握することが可能となる。

（態様Ｄ）
上記態様Ａ〜Ｃのいずれかの態様において、上記物体画像領域抽出処理手段により抽出された物体画像領域に対応する物体が識別対象物であるか否かを判断する識別対象物認識部２０６等の識別対象物判断手段を有することを特徴とする。
これによれば、物体画像領域に映し出されている物体が識別対象物であるかどうかの判断結果を得ることができる。

（態様Ｅ）
上記態様Ｄにおいて、上記物体画像領域抽出処理手段により抽出された物体画像領域の画像幅Δｘ等の画像左右方向長さと該物体画像領域の視差平均値ｄａｖｅ等の視差値とから、該物体画像領域に対応する物体の幅（横サイズ）を特定する識別対象物認識部２０６等の物体幅特定手段を有し、上記識別対象物判断手段は、上記物体画像領域抽出処理手段により抽出された物体画像領域に対応する物体について、上記物体幅特定手段が特定した該物体の幅に基づいて識別対象物であるか否かを判断することを特徴とする。
これによれば、より精度の高い物体識別が可能となる。

（態様Ｆ）
上記態様Ｄ又はＥにおいて、上記識別対象物判断手段は、上記物体画像領域抽出処理手段により抽出された物体画像領域に対応する物体について、該物体画像領域の輝度情報に基づいて識別対象物であるか否かを判断することを特徴とする。
これによれば、より精度の高い物体識別が可能となる。

（態様Ｇ）
自車両１００等の移動体の周囲を撮像領域として撮像する２つの撮像部１１０Ａ，１１０Ｂ等の複数の撮像手段と、上記複数の撮像手段により得られた複数の撮像画像から、撮像領域内に存在する物体を検出する物体検出手段と、上記物体検出手段の検出結果に基づいて、上記移動体に搭載された所定の機器を制御するヘッドランプ制御ユニット１０３や車両走行制御ユニット１０６等の移動体機器制御手段とを備えた移動体機器制御システムにおいて、上記物体検出手段として、上記態様Ａ〜Ｆのいずれかの態様に係る物体検出装置を用いたことを特徴とする。
これによれば、短い処理時間で個々の物体を高精度で区別して検出することができ、より適切かつ迅速に制御対象機器を制御することが可能となる。

（態様Ｈ）
複数の撮像手段により撮像して得られる複数の撮像画像に基づいて視差情報を生成し、該視差情報に基づいて撮像領域内に存在する物体を検出する物体検出装置のコンピュータに実行させるための物体検出用プログラムであって、上記複数の撮像画像に基づいて視差情報を生成する視差情報生成工程と、上記視差情報に基づいて、上記撮像画像を左右方向に複数分割して得られる各縦列領域内における視差値の頻度分布を示す縦方向視差ヒストグラム情報を生成する縦方向視差ヒストグラム情報生成工程と、上記縦方向視差ヒストグラム情報に基づき、所定の頻度閾値を超える頻度をもった視差値のうち所定の視差値近接範囲内の視差値に対応していて、かつ、画像左右方向の間隔が所定範囲内である一群の画素を、１つの物体を映し出す物体画像領域として抽出する物体画像領域抽出工程とを、上記コンピュータに実行させることを特徴とする。
これによれば、個々の物体を高精度で区別して検出する物体検出処理を短い処理時間で実行可能となる。
なお、このプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録された状態で配布したり、入手したりすることができる。また、このプログラムを乗せ、所定の送信装置により送信された信号を、公衆電話回線や専用線、その他の通信網等の伝送媒体を介して配信したり、受信したりすることでも、配布、入手が可能である。この配信の際、伝送媒体中には、コンピュータプログラムの少なくとも一部が伝送されていればよい。すなわち、コンピュータプログラムを構成するすべてのデータが、一時に伝送媒体上に存在している必要はない。このプログラムを乗せた信号とは、コンピュータプログラムを含む所定の搬送波に具現化されたコンピュータデータ信号である。また、所定の送信装置からコンピュータプログラムを送信する送信方法には、プログラムを構成するデータを連続的に送信する場合も、断続的に送信する場合も含まれる。

１００ 自車両
１０１ 撮像ユニット
１０２ 画像解析ユニット
１１０Ａ，１１０Ｂ 撮像部
１２０ 処理ハードウェア部
１２１ 視差演算部
１３０ メモリ
２００ 物体検出装置
２０１ ステレオ画像入力部
２０２ 輝度画像入力部
２０３ 視差画像演算部
２０４ Ｕマップ生成部
２０５ 物体候補領域検出部
２０６ 識別対象物認識部
２０８ 認識結果出力部

特開２０１２−２２６６８９号公報

Claims (8)

1. 複数の撮像手段により撮像して得られる複数の撮像画像に基づいて視差情報を生成し、該視差情報に基づいて撮像領域内に存在する物体を検出する物体検出装置において、
   上記視差情報に基づいて、上記撮像画像を左右方向に複数分割して得られる各縦列領域内における視差値の頻度分布を示す縦方向視差ヒストグラム情報を生成する縦方向視差ヒストグラム情報生成手段と、
   上記縦方向視差ヒストグラム情報に基づき、所定の頻度閾値を超える頻度をもった視差値のうち所定の視差値近接範囲内の視差値に対応していて、かつ、画像左右方向の間隔が所定範囲内である一群の画素を、１つの物体を映し出す物体画像領域として抽出する物体画像領域抽出手段とを有することを特徴とする物体検出装置。
2. 請求項１の物体検出装置において、
   上記物体画像領域抽出手段は、上記縦方向視差ヒストグラム情報から作成される視差値と画像左右方向位置とで定義される二次元座標系上で、上記所定の頻度閾値を超える頻度をもった視差値をもった画素に対してハフ変換を行って画像左右方向に延びる直線を抽出し、抽出された直線を基準にして、上記所定の視差値近接範囲内の視差値に対応し、かつ、画像左右方向の間隔が所定範囲内である上記一群の画素を抽出することを特徴とする物体検出装置。
3. 請求項１又は２の物体検出装置において、
   上記物体画像領域抽出処理手段は、上記一群の画素を、上記視差情報に基づいて作成される視差画像上で、１つの物体を映し出す物体画像領域として抽出することを特徴とする物体検出装置。
4. 請求項１乃至３のいずれか１項に記載の物体検出装置において、
   上記物体画像領域抽出処理手段により抽出された物体画像領域に対応する物体が識別対象物であるか否かを判断する識別対象物判断手段を有することを特徴とする物体検出装置。
5. 請求項４の物体検出装置において、
   上記物体画像領域抽出処理手段により抽出された物体画像領域の画像左右方向長さと該物体画像領域の視差値とから、該物体画像領域に対応する物体の幅を特定する物体幅特定手段を有し、
   上記識別対象物判断手段は、上記物体画像領域抽出処理手段により抽出された物体画像領域に対応する物体について、上記物体幅特定手段が特定した該物体の幅に基づいて識別対象物であるか否かを判断することを特徴とする物体検出装置。
6. 請求項４又は５の物体検出装置において、
   上記識別対象物判断手段は、上記物体画像領域抽出処理手段により抽出された物体画像領域に対応する物体について、該物体画像領域の輝度情報に基づいて識別対象物であるか否かを判断することを特徴とする物体検出装置。
7. 移動体周囲を撮像領域として撮像する複数の撮像手段と、
   上記複数の撮像手段により得られた複数の撮像画像から、撮像領域内に存在する物体を検出する物体検出手段と、
   上記物体検出手段の検出結果に基づいて、上記移動体に搭載された所定の機器を制御する移動体機器制御手段とを備えた移動体機器制御システムにおいて、
   上記物体検出手段として、請求項１乃至６のいずれか１項に記載の物体検出装置を用いたことを特徴とする移動体機器制御システム。
8. 複数の撮像手段により撮像して得られる複数の撮像画像に基づいて視差情報を生成し、該視差情報に基づいて撮像領域内に存在する物体を検出する物体検出装置のコンピュータに実行させるための物体検出用プログラムであって、
   上記複数の撮像画像に基づいて視差情報を生成する視差情報生成工程と、
   上記視差情報に基づいて、上記撮像画像を左右方向に複数分割して得られる各縦列領域内における視差値の頻度分布を示す縦方向視差ヒストグラム情報を生成する縦方向視差ヒストグラム情報生成工程と、
   上記縦方向視差ヒストグラム情報に基づき、所定の頻度閾値を超える頻度をもった視差値のうち所定の視差値近接範囲内の視差値に対応していて、かつ、画像左右方向の間隔が所定範囲内である一群の画素を、１つの物体を映し出す物体画像領域として抽出する物体画像領域抽出工程とを、上記コンピュータに実行させることを特徴とする物体検出用プログラム。