JP2015143966A - 画像処理装置、立体物検出方法、立体物検出プログラム、および、移動体制御システム - Google Patents

Abstract

【課題】歩行者等を検知する必要性の高いガードレールや他車両等の立体物に着目し、その立体物近辺に存在する歩行者等の検出対象物を、効率よく検出することが可能な画像処理装置を提供する。
【解決手段】自動車等の移動体としての自車両４００に搭載される画像処理装置１を、自車両進行方向前方領域（撮像領域）の撮像画像を撮像する撮像ユニット１００で撮像した撮像画像を解析して、撮像領域内に存在する歩行者等の立体物（検出対象物）を検出し検出結果を出力する画像処理部としてのステレオ画像処理部２００を備えて構成する。ステレオ画像処理部２００は、水平視差図に基づいて、ガードレール類似物を検出し、このガードレール類似物の所定範囲を歩行者の存在を判定する検出領域βとして設定し、この検出領域βに存在する検出対象物を検出する。
【選択図】図１

Description

本発明は、複数の撮像部で撮像した複数の撮像画像から得られる視差情報から、撮像領域内に存在する歩行者（検出対象物）やガードレール等の立体物を検出する画像処理装置、この画像処理装置を用いた立体物検出方法、および、この画像処理装置で実行される立体物検出プログラム、並びに、この画像処理装置を備えた移動体制御システムに関する。

過去数年の事故状況を鑑みると、交通事故による死亡者数は減少する傾向にあり、特に、シートベルト着用率の向上や自動車安全対策の推進等により、自動車乗用中の死者数が減少している。一方、歩行中(歩行者)の死者数も減少しているものの、自動車乗用中の死者数に比べて、歩行者の死者数が上回っている。このような現状から、交通事故を防止する目的で、車載カメラで撮影した自車両周辺の画像から車両や歩行者等の検出対象物を検出して、車両の運転や走行に用いる情報を得る歩行者検出装置等の技術が既に知られている（例えば、特許文献１〜３参照）。このような装置では、歩行者を早い段階で、精度よく検出することが必要である。さらに、ガードレールや車両（他車両）等の立体物の陰に一部隠れている歩行者、または、立体物のすぐ側にいるような歩行者も見逃すことなく検出できることが重要である。このような歩行者を予め検出していると、歩行者が急に動き出して、自車両の前に出現するようなことがあっても、迅速な対応ができる。

例えば、特許文献１には、歩行者が存在する可能性が高い場所を検知する検知手段を備える障害物検出装置が開示されている。この障害物検出装置では、検出手段として広域カメラや、インフラ等の情報送受信装置を用いて、信号機や白線を検知することで、歩行者が存在する可能性が高い横断歩道を検出する。そして、検出された横断歩道に望遠カメラを向けることで、この望遠カメラで歩行者の存在確認を早期にかつ正確に行おうとしている。

しかしながら、特許文献１に開示された検知手段としての広域カメラやインフラは、信号機や白線の情報から横断歩道を検知するのみであって、歩行者の検知対象領域も横断歩道付近に限られている。これに対して、横断歩道が存在しないものの、歩行者等を検知する必要性の高い道路端（例えば、ガードレールのそば）の歩行者等は考慮されていない。歩行者に対する迅速な対応を可能とするためには、ガードレールや車両等の立体物付近の歩行者や立体物の陰に隠れた歩行者等をも効率よく検出できる技術の開発が求められている。

本発明は、上記の事情に鑑みて為されたもので、歩行者等を検知する必要性の高いガードレールや車両等の立体物に着目し、その立体物近辺に存在する歩行者等の検出対象物を、効率よく検出することが可能な画像処理装置を提供することを目的とする。

上記の目的を達成するため、本願に係る画像処理装置は、撮像領域を撮像する複数の撮像部から入力される複数の撮像画像に基づいて、検出対象物を検出する画像処理部を備え、画像処理部は、複数の撮像画像に基づいて視差画像データを生成し、視差画像データに基づいて、撮像画像上において、画像端部から消失点の方向に向かって延びる立体物を検出し、当該立体物に基づいて、検出対象物を検出する検出領域を設定することを特徴とする。

本発明によれば、歩行者等を検知する必要性の高いガードレールや車両等の立体物に着目し、その立体物近辺に存在する歩行者等の検出対象物を、効率よく検出することが可能な画像処理装置を提供することができる。

本願の一実施例に係る画像処理装置を備えた移動体制御システムを搭載した自車両を示す概略図である。 図１に示す画像処理装置を備えた移動体制御システムのハードウェア構成を示すブロック図である。 図２に示す画像処理装置におけるステレオ画像処理部の機能を説明するための機能ブロック図である。 図３に示すステレオ画像処理部の立体物検出部の機能の詳細を示す機能ブロック図である。 ステレオカメラの左右の２つのカメラで撮影したときの視差を説明するための説明図である。 補正画像データａ’とその垂直視差画像を示す概略図であり、（ａ）は、自車両に搭載された撮像部で自車両進行方向の前方領域（撮像領域）を撮像したときの補正画像データａ’を示し、（ｂ）は補正画像データａ’に対応する垂直視差図を直線近似処理した図を示す。 補正画像データａ’とその水平視差画像を示す概略図であり、（ａ）は、自車両に搭載された撮像部で自車両進行方向の前方領域（撮像領域）を撮像したときの補正画像データａ’を示し、（ｂ）は補正画像データａ’に対応する水平視差図を示す。 各場面における補正画像データａ’と、各々に対応する水平視差画像との概略図であって、（ａ）は歩行者が存在せず、ガードレール類似物のみが存在する場面を示し、（ｂ）は歩行者がガードレール類似物のそばであって自車両に対して遠くに存在する場面を示し、（ｃ）は歩行者がガードレール類似物のそばであって自車両に対して近くに存在する場面を示す。 画像処理装置で実施される画像処理の流れを示すフローチャートである。 図９の歩行者判定処理の詳細を示すフローチャートである。 実施例１の変形例１における立体物検出部の機能を説明するための機能ブロック図である。 実施例１の変形例２における立体物検出部の機能を説明するための機能ブロック図である。 本願の実施例２に係る画像処理装置におけるステレオ画像処理部の機能を説明するための機能ブロック図である。 図１３に示すステレオ画像処理部の立体物検出部の機能を説明するための機能ブロック図である。 実施例２において、ガードレール類似物の内側のみを検出領域として設定した場合の水平視差図を示す。 実施例２において、ガードレール類似物の不連続部分の外側を検出領域に加えた場合の水平視差図を示す。 本願の実施例３に係る画像処理装置における立体物検出部の機能を説明するための機能ブロック図である。 実施例３における補正画像データａ’とその水平視差画像を示す概略図であり、（ａ）は、自車両に搭載された撮像部で自車両進行方向の前方領域（撮像領域）を撮像したときの補正画像データａ’を示し、（ｂ）は補正画像データａ’に対応する水平視差図を示す。 各場面における補正画像データａ’と、各々に対応する水平視差画像との概略図であって、（ａ）は車両のみが存在し、歩行者が存在しない場面を示し、（ｂ）は歩行者が車両のそばに存在する場面を示す。 実施例３における立体物検出処理の流れを示すフローチャートである。 実施例３の変形例１における立体物検出部の機能を説明するための機能ブロック図である。 実施例３の変形例２における立体物検出部の機能を説明するための機能ブロック図である。 （ａ）,（ｂ）,（ｃ）は、それぞれ実施例３の変形例２における撮像ユニットを搭載した自車両と「車両」との位置関係に応じて設定される「車両領域（検出領域β）」を示す概略図である。

（実施例１）
以下、本願に係る画像処理装置を備えた移動体制御システムを自車両に搭載した一実施例について、図面を参照しながら説明する。なお、本願に係る移動体制御システムは、自車両等の車両に限らず、例えば、船舶、航空機あるいは産業用ロボットなどの移動体（移動装置）に適用することができる。さらに、移動体に限らず、高度道路交通システム（ＩＴＳ）等、広く物体認識を利用する機器に適用することができる。また、撮像画像に基づいて撮像領域内に存在する検出対象物の検出処理を行う画像解析装置に適用することもできる。図１は、実施例１における画像処理装置１を備える移動体制御システム５００を搭載した自車両４００の外観を示す概略図である。

この図１に示すように、実施例１の移動体制御システム５００は、撮像部としての撮像ユニット１００と、立体物検出手段としての画像処理装置１と、移動体制御手段としての車両制御ユニット３００と、を備えて構成される。撮像ユニット１００は、自動車等の移動体としての自車両４００に搭載され、その周囲、本実施例では、自車両進行方向の前方領域（撮像領域）の撮像画像を撮像する。この撮像ユニット１００は、画像処理装置１と一体に設けられていてもよいし、別体に設けられていてもよい。画像処理装置１は、撮像ユニット１００で撮像した撮像画像を解析して、撮像領域内に存在する歩行者等の立体物（検出対象物）を検出し検出結果を出力する画像処理部としてのステレオ画像処理部２００を備えている。車両制御ユニット３００は、画像処理装置１での検出結果に基づいて、自車両４００の移動を制御する。

図２は、実施例１における画像処理装置１を備えた移動体制御システム５００の主要部を示すハードウェア構成図である。この図２に示すように、撮像ユニット１００は、撮像部としての２つのカメラ１０１Ａ，１０１Ｂ（カメラａ，ｂ）を備えたステレオカメラと、各カメラ１０１Ａ，１０１Ｂで撮像された撮像画像データに対して補正処理を行う画像補正部１１０と、を備えて構成されている。ステレオカメラの２つのカメラ１０１Ａ，１０１Ｂの構成は同一のものである。撮像ユニット１００は、例えば、図１に示すように、自車両４００のフロントガラス４１０のルームミラー（図示せず）付近に設置され、走行する自車両４００の進行方向の前方領域を撮像領域とする。

カメラ１０１Ａ，１０１Ｂは、図示はしないが、主に、撮像レンズ等の光学系と、受光素子が２次元配置された画素アレイで構成された画像センサと、画像センサから出力されるアナログ電気信号（画像センサ上の各受光素子が受光した受光量）をデジタル電気信号に変換した撮像画像データを生成して出力する信号処理部とから構成されている。なお、本実施例では、カメラ１０１Ａ，１０１Ｂの光学系の光軸は水平方向（横方向又は左右方向）に平行であるとし、水平方向の光軸に対して画素のラインは左右の画像について縦方向にずれていないものとする。ただし、本願がこれに限定されることはなく、カメラ１０１Ａ，１０１Ｂの光学系の光軸は縦方向に平行であってもよい。

画像補正部１１０は、各カメラ１０１Ａ，１０１Ｂから出力される撮像画像データ（以下、「画像データａ」、「画像データｂ」と呼ぶ）を、理想ピンホールモデルで得られる画像に変換するために、各種補正処理を行う。以下、この補正処理が行われた画像を、「補正画像データａ’」、「補正画像データｂ’」と呼ぶ。また、画像補正部１１０は、図２に示すように、カメラ１０１Ａ，１０１Ｂごとに、ＦＰＧＡ（Field-Programmable Gate Array）１１１Ａ，１１１Ｂおよびメモリ（記憶部）１１２Ａ，１１２Ｂが設けられている。ＦＰＧＡ１１１Ａ，１１１Ｂは、入力されるカメラ１０１Ａ，１０１Ｂからの画像データａ，ｂに対して、倍率補正、画像中心補正、歪補正等の補正処理を実行する。メモリ１１２Ａ，１１２Ｂには、その補正処理に用いる補正パラメータ等が格納されている。ＦＰＧＡ１１１Ａ，１１１Ｂから出力される補正処理後の撮像画像データ（補正画像データａ’，ｂ’）は、ステレオ画像処理部２００に送られる。なお、ＦＰＧＡ１１１Ａ，１１１Ｂに代えて、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）等を採用してもよい。

図２のハードウェア構成図に示すように、画像処理装置１のステレオ画像処理部２００は、ＦＰＧＡ２０１、メモリ（記憶部）２０２およびＣＰＵ（Central Processing Unit）２０３を備えている。ＦＰＧＡ２０１は、メモリ２０２に記憶された補正画像データａ’，ｂ’に対して視差画像データや輝度画像データ等の画像データ、認識処理結果像を出力するための画像処理を行う。メモリ２０２は、撮像ユニット１００から出力される補正画像データａ’，ｂ’（輝度画像データ）、視差画像データ等の画像データ、認識処理結果等を記憶するとともに、画像処理装置１で実行される立体物検出プログラム等を記憶する。ＣＰＵ２０３は、メモリ２０２に記憶されたコンピュータで読み取り可能な立体物検出プログラムに従って、各種演算処理を行うとともに、画像処理装置１のステレオ画像処理部２００の各部を駆動制御する。また、ＦＰＧＡ２０１、メモリ２０２も、ＣＰＵ２０３によって制御される。

ステレオ画像処理部２００は、撮像ユニット１００から入力される補正画像データａ’，ｂ’に対して画像処理を実行する。具体的には、２つの補正画像データａ’，ｂ’から得られる視差画像データや、２つの補正画像データａ’，ｂ’のうちの一方（基準画像）の輝度画像データなどを生成する処理や、後述する歩行者等の立体物検出処理などを行う。本実施例のステレオ画像処理部２００は、視差画像データや輝度画像データ等の画像データと、歩行者等の検出結果とを出力する。しかしながら、本願がこの実施例に限定されることはなく、例えば、検出結果等が入力される車両制御ユニット３００、その他の部における処理で、このような画像データが使用されない場合には、画像データは出力せずに検出結果のみ出力してもよい。また、本実施例では、補正画像データａ’を基準画像とし、補正画像データｂ’を比較画像とする。

図３は、ステレオ画像処理部２００の機能の詳細を示す機能ブロック図である。この図３に示すように、ステレオ画像処理部２００は、主に、視差演算部２１０と、垂直視差図作成部（垂直視差データ作成部）２２０と、移動面位置検出部２３０と、水平視差図作成部（水平視差データ作成部）２４０と、立体物検出部２５０と、を備えて構成されている。

視差演算部２１０は、画像補正部１１０から出力される補正画像データａ’，ｂ’から視差画像データを生成する。この視差画像データを得るために、視差演算部２１０は、当該２つの補正画像間の対応画像部分の視差値を演算する。まず、補正画像データａ’，ｂ’の一方を基準画像データ（本実施例では補正画像データａ’）、他方を比較画像データ（本実施例では補正画像データｂ’）とする。ここでいう視差値とは、撮像領域内の同一地点に対応した基準画像データ（補正画像データａ’）上の画像部分に対する比較画像データ（補正画像データｂ’）上の画像部分の位置ズレ量を、当該画像部分の視差値として算出したものである。三角測量の原理を利用することで、この視差値から当該画像部分に対応した撮像領域内の当該同一地点までの距離を算出することができる。

三角測量の原理を用いた距離の算出手順を、図５を用いて詳細に説明する。図５は、被写体（以下、「オブジェクト」と呼ぶ）ＯＪと、ステレオカメラ（カメラ１０１Ａ，１０１Ｂ）による撮像との関係を示す模式図である。図５中、符号１０２Ａ，１０２Ｂは、カメラ１０１Ａ，１０１Ｂの撮影レンズ系の撮像面を示す。１０３Ａ，１０３Ｂは、カメラ１０１Ａ，１０１Ｂの画像センサの撮像面を示す。また、符号ＯＪ’は画像センサの撮像面１０３Ａ，１０３Ｂに結像されたオブジェクトＯＪの像を示す。この図５に示すように、オブジェクトＯＪの撮像対象点Ｏは、カメラ１０１Ａ，１０１Ｂの撮影レンズ系の撮像面１０２Ａ、１０２Ｂにより、ＣＭＯＳ等の画像センサの撮像面１０３Ａ，１０３Ｂに結像される。

この撮影レンズ系の撮像面１０２Ａ，１０２Ｂの焦点距離をｆとし、撮影レンズ系の撮像面１０２Ａ，１０２Ｂの光軸間距離（基線長）をＤとし、カメラ１０１Ａ，１０１ＢからオブジェクトＯＪまでの距離をＺとし、結像中心からのずれ量をそれぞれΔ１、Δ２とすると、視差（視差値）ｄは、下記式（１）を用いて算出することができる。なお、ずれ量Δ１、Δ２は、画像センサの撮像面１０３Ａ，１０３Ｂ上における撮像対象点Ｏの結像位置によって求まる。

ｄ＝Δ１＋Δ２ （１）

また、図５において、カメラ１０１Ａ，１０１ＢからオブジェクトＯＪまでの距離Ｚと視差ｄとの関係は、ｄ：ｆ＝Ｄ：Ｚで表される。したがって、カメラ１０１Ａ，１０１ＢからオブジェクトＯＪまでの距離Ｚは、下記式（２）を用いて算出することができる。

Ｚ＝Ｄ×（ｆ／ｄ） （２）

視差演算部２１０は、上記式（１）を用いて画素毎に視差を算出する。なお、視差演算部２１０において、上記式（２）を用いてオブジェクトＯＪの撮像対象点Ｏまでの距離まで算出してもよい。

視差演算部２１０により算出される視差画像データは、基準画像データ（補正画像データａ’）上の各画像部分について算出される視差値に応じた画素値を、それぞれの画像部分の画素値として表した視差画像を示すものである。視差演算部２１０が出力した視差画像データは、垂直視差図作成部２２０、水平視差図作成部２４０および立体物検出部２５０に送られる。また、視差演算部２１０が出力したオブジェクトＯＪの距離は、視差画像データとともに立体物検出部２５０に送られる。

垂直視差図作成部２２０は、視差演算部２１０から出力される視差画像データを用いて、横軸に視差値をとり、縦軸に画像垂直座標（画像上端を０とする。）をとった垂直視差図のデータ（垂直視差図データ）を作成する。垂直視差図は、この画像垂直座標（縦軸）と視差値（横軸）とで定義される直交座標系において、視差画像の各画素値（視差値）を分布させたものである。この垂直視差図のデータは、移動面位置検出部２３０に送られる。

図６（ａ）に基準画像データ（補正画像データａ’）の一例を、図６（ｂ）に垂直視差図の一例を示す。図６（ａ）に示す符号１０は、自車両４００に搭載された撮像ユニット１００で自車両進行方向の前方領域（撮像領域）を撮像したときの基準画像データ（ここでは、補正後の補正画像データａ’）の一例を示す。図６（ｂ）に示す符号２０は、この基準画像データに対応する垂直視差図のデータを直線近似処理した垂直視差図を示す。垂直視差図２０の横軸ｘは視差値（Disparity）であり、縦軸ｙ（Vertical Axis）は画像垂直座標である。なお、垂直視差図作成部２２０において作成される垂直視差図は、図６（ｂ）に示すものに限定されることはなく、画像垂直座標と視差値との関係（撮像画像の縦軸における視差値の分布）がわかるデータであればよい。

移動面位置検出部２３０は、垂直視差図作成部２２０が作成した垂直視差図のデータに基づいて、視差画像データ中の路面領域（移動面としての路面ＲＳを映し出す領域）を検出する処理を行う。詳しく説明すると、カメラ１０１Ａ，１０１Ｂでは、自車両前方領域を撮像するため、撮像画像上の路面領域は、図６（ａ）に示すように、画像下部において路面領域の占有率が高い。また、視差画像データ上においては、画像上方へ向かうほど路面領域の視差値が略一定の割合で小さくなり、かつ、同じ画像垂直座標内（画像中の同じ横方向ライン上）において路面領域を構成する画素はほぼ同じ視差値を持つことになる。したがって、主に視差画像データ中の画像下部において路面領域を構成する画素は、垂直視差図上では、右下がりの直線状に分布するという特徴がある。移動面位置検出部２３０は、この特徴に合致する画素を検出するため、垂直視差図上に分布した画素の中で右下がりの直線近傍に分布する画素（図６（ｂ）に示す右下がりの直線に近似される画素）を、撮像領域内における路面ＲＳを映し出す画素（路面領域を構成する画素）であると検出する。また、図６（ｂ）には、他車両Ａ，Ｂ，Ｃに対応する画素も示している。他車両等の立体物は、所定の高さを有しているが、垂直方向での視差値がほとんど変わらないため、ほぼ垂直な直線で表される。

移動面位置検出部２３０は、さらに、上記で検出した路面ＲＳの路面高さｈを出力する。この路面高さｈは、ステレオカメラからの距離（ｘ座標）に対する路面の高さ（ｙ座標）である。具体的には、図６（ｂ）の垂直視差図２０に示すように、ステレオカメラからの距離ｘ10（具体的には、例えば、距離１０ｍ）における路面高さｈは、ｈ10となる。また、距離がｘ20（具体的には、例えば、距離２０ｍ）における路面高さｈは、ｈ20となる。

水平視差図作成部２４０では、視差演算部２１０から出力される視差画像データを用いて、横軸ｘ（Horizontal axis）に画像水平座標（画像左端を「０（原点）」とする。）をとり、縦軸ｙに視差値（Disparity）をとった水平視差図のデータ（水平視差図データ）を作成する。この水平視差図のデータを作成するとき、水平視差図作成部２４０は、移動面位置検出部２３０から出力される路面高さｈを利用して、路面から「Δｈ」だけ高い路面付近（移動面付近）の水平視差図、つまり、高さ「ｈ−Δｈ（ｈ10−Δｈ，ｈ20−Δｈ，・・・）」の水平視差図を作成する。路面からの高さ「Δｈ」、「ｈ−Δｈ（ｈ10−Δｈ，ｈ20−Δｈ）」の位置は、図６（ｂ）に例示したとおりである。なお、画像左端を原点としているため、路面から「Δｈ」だけ高い位置のｙ座標は、「ｈ−Δｈ（Δｈ＞０）」となる。

また、この路面からの高さ「Δｈ」は、建物や電柱等を排除して、撮影対象となる立体物（例えば、車両、歩行者、ガードレール等）が検出できる高さに設定する。「Δｈ」の実寸法としては、約１５ｃｍ〜１００ｃｍとするのが好適である。また、路面からの高さ「Δｈ」は、１つに限定されることはなく、数種類の路面からの高さ「Δｈ１」、「Δｈ２」、・・・を設定して、他車両用の水平視差図、歩行者用の水平視差図、ガードレール用の水平視差図をそれぞれ作成してもよい。

図７（ａ），（ｂ）に、補正画像データａ’１０と、この水平視差図作成部２４０により作成された、補正画像データａ’１０に対応する水平視差図３０とを示す。この図７（ａ）,（ｂ）に示すように、路面ＲＳ上の立体物部分（図７（ｂ）の水平視差図３０の場合は、他車両Ａ，Ｂ，Ｃ、側面のガードレール等）に視差が出る。画像上の手前（近距離、画像下部）の立体物の視差は大きく、画像の奥（遠距離、画像上部）の立体物の視差は小さく出ている。なお、水平視差図作成部２４０において作成される水平視差図は、図７（ｂ）に示すものに限定されることはなく、画像水平座標と視差値との関係（撮像画像の横軸における視差値の分布）がわかるデータであればよい。

立体物検出部２５０は、水平視差図作成部２４０から出力された水平視差図のデータと、視差演算部２１０から出力された視差画像データと、画像補正部１１０から出力された補正画像データａ’とに基づいて、水平視差図のデータ中の立体物（例えば、車両、歩行者、ガードレール等）を検出する。以下、図４を用いて立体物検出部２５０について詳細に説明する。図４に示すように、立体物検出部２５０は、ガードレール検出部２５１と、ガードレール類似物領域指定部２５２と、歩行者検出部２５３と、を備えて構成されている。

ガードレール検出部２５１は、水平視差図作成部２４０から出力された図７（ｂ）の水平視差図３０のデータに対して、最小二乗法またはハフ変換（Hough変換）処理を用いて、直線近似する処理を行う。この直線近似したデータに基づいて、撮像画像上において、画像端部から消失点の方向に向かって延びる立体物、すなわち、縦軸方向で画像下部から画像上部に向かうに従い横軸方向では画像端部から画像中央に向かう特徴を有する立体物を検出する。なお、縦軸方向とは、図７（ｂ）に示すｙ軸方向であり、横軸方向とは、同図のｘ軸方向である。画像下部は、自車両４００から近い位置を表し、画像上部は、自車両４００から遠い位置を表す。画像端部は、画像の左右方向（水平方向）の端部を表す。このような特徴を有する立体物は、具体的には、路面等の移動面の一側または両側（側部）に、当該移動面に沿って設けられたガードレールや、ガードレールに類似する立体物（以下、これらを総称して「ガードレール類似物」と呼ぶ）である。路面に沿って進行方向に長尺に設けられたガードレール類似物は、三次元空間を二次元に透視変換した撮像画像上では、画像端部から消失点の方向に向かって延びる（収束する）直線（または曲線）として表れる。したがって、視差画像上では、ガードレール類似物は、所定の長さと所定の角度とを有する直線として表れる。ガードレール検出部２５１は、直線近似したデータ中の立体物の直線の傾きおよび長さが、メモリ２０２等に予め設定したガードレールについての値の範囲であれば、この直線部分の画素を「ガードレール類似物」（ガードレール類似物を構成する画素）として検出する。この「ガードレール類似物」の検出結果は、ガードレール類似物領域指定部２５２に出力される。なお、「ガードレール類似物」とは、ガードレールそのものは勿論、ガードパイプ、ガードワイヤ、柵、塀等の車両用の防護柵、防護柵以外の柵、塀、生垣、植林等を含み、路面等の移動面の一側または両側（側部）に、当該移動面に沿って設けられ、歩行者がその付近にいることで歩行者の一部が隠れたり、歩行者の像と重なったりして、歩行者と区別がつきにくい立体物をいう。

ガードレール類似物領域指定部２５２は、ガードレール検出部２５１で検出した「ガードレール類似物」が存在する領域の上下左右に＋αの領域を指定し、「ガードレール類似物領域」（ガードレール類似物領域を構成する画素）を設定する。例えば、図７（ｂ）の水平視差図３０において、一点鎖線で囲った領域がガードレール類似物領域指定部２５２により「ガードレール類似物領域」として設定された領域である。この「＋α」は、実施例１では、プログラム等に予め設定した定数としているが、後述の変形例１で説明するように、検出されたガードレールの距離と、歩行者の大きさとを見積もった変数値としてもよい。実施例１では、この歩行者の検出の際に、特に「ガードレール類似物領域」に着目し、ガードレール類似物の近辺に存在する歩行者を重点的に検出する。そのため、この「ガードレール類似物領域」を、歩行者等の検出対象物を検出する「検出領域β」とする。

歩行者検出部２５３は、ガードレール類似物領域指定部２５２で指定された「検出領域β」に対して、歩行者の存在を判定し、その判定結果（検出結果）を出力する。この歩行者の存在の判定は、水平視差図を利用して行われる。この判定手順の詳細については後述する。

車両制御ユニット３００は、画像処理装置１のステレオ画像処理部２００からの検出結果に基づいて、自車両４００の移動を制御する。この車両制御ユニット３００には、ステレオ画像処理部２００から、歩行者の検出結果が、画像データ（例えば、補正画像データａ’）とともに逐次入力される。これらの情報に基づいて、車両制御ユニット３００では、例えば、自車両４００が歩行者等の立体物（検出対象物）に衝突することを回避するための自動ブレーキ機能、ハンドル操舵機能等を実現する。また、歩行者の存在をモニタ画面に表示する、警告音やアナウンス等を発する等により、歩行者等の存在をドライバーに警告する機能を実現する。これにより、歩行者等への衝突等の回避効果を向上させることができる。

［立体物検出方法］
以下、上記画像処理装置１を用いた歩行者検出のための立体物検出処理（立体物検出方法）の流れについて、図９に示すフローチャートを参照しながら説明する。まず、撮像ユニット１００の画像補正部１１０は、各カメラ１０１Ａ，１０１Ｂからの画像データａ，ｂの入力を受け付ける（ステップＳ１）。画像補正部１１０は、この画像データａ，ｂに対して、倍率補正、画像中心補正、歪補正等の補正処理を行い（ステップＳ２）、ステレオ画像処理部２００に向けて補正画像データａ’，ｂ’を出力する。図６（ａ）に、補正画像データａ’１０の一例を示す。

ステレオ画像処理部２００では、この補正画像データａ’，ｂ’の入力を受け付ける（ステップＳ３）。ステレオ画像処理部２００で入力を受け付けた補正画像データａ’，ｂ’は、視差演算部２１０へ送られる。視差演算部２１０では、まず、入力された基準画像データとしての補正画像データａ’を用いて、その基準画像データ上の各画素についての視差値を演算して、その視差値を画素値としてもつ視差画像を生成可能な視差画像データを計算（生成）する（ステップＳ４）。視差画像は、各画素の画素値が、視差値が大きいほど（距離が近いほど）、大きな値（高い画像輝度）をもつように表現される。

視差画像のデータ生成処理としては、例えば、次のような処理を採用することができる。まず、基準画像データ（補正画像データａ’）の任意の行について、一の注目画素を中心とした複数画素（例えば５画素×５画素）からなるブロックを定義する。一方、比較画像データ（補正画像データｂ’）における当該注目画素と同じ行において、定義した基準画像データのブロックと同じサイズのブロックを１画素ずつ横ライン方向（画像左右方向）へずらす。そして、基準画像データにおいて定義したブロックの画素値の特徴を示す特徴量と比較画像データにおける各ブロックの画素値の特徴を示す特徴量との相関を示す相関値を、それぞれ算出する。次に、算出した相関値に基づき、比較画像データにおける各ブロックの中で、基準画像データのブロックと最も相関があった比較画像データのブロックを選定するマッチング処理を行う。その後、基準画像データのブロックの注目画素と、マッチング処理で選定された比較画像データのブロックの対応画素との位置ズレ量を視差値ｄとして算出する。このような視差値ｄを算出する処理を基準画像データの全域または特定の一領域について行うことで、視差画像データを得ることができる。

マッチング処理に用いるブロックの特徴量としては、例えば、ブロック内の各画素の値（輝度値）を用いることができる。相関値としては、例えば、基準画像データ（補正画像データａ’）のブロック内の各画素の値（輝度値）と、これらの画素にそれぞれ対応する比較画像データ（補正画像データｂ’）のブロック内の各画素の値（輝度値）との差分の絶対値の総和を用いることができる。この場合、当該総和が最も小さくなるブロックが最も相関があると言える。

このようにして生成された視差画像データは、垂直視差図作成部２２０、水平視差図作成部２４０および立体物検出部２５０に送られる。まず、垂直視差図作成部２２０では、この視差画像データに基づいて、上述したように、垂直視差図のデータを作成する処理を行う（ステップＳ５）。図６（ｂ）に、基準画像データ（補正画像データａ’）１０に対応する垂直視差図２０の一例を示す。この垂直視差図２０のデータは、移動面位置検出部２３０に送られる。

移動面位置検出部２３０では、垂直視差図作成部２２０が作成した垂直視差図のデータに基づいて、上述したように、視差画像データ中の路面（移動面）領域を検出して、移動面としての路面ＲＳの位置（路面高さｈ）を検出する処理を行う（ステップＳ６）。この路面高さｈは、水平視差図作成部２４０に送られる。水平視差図作成部２４０では、視差演算部２１０からの視差画像のデータおよび移動面位置検出部２３０からの路面高さｈに基づいて、上述したように路面の高さｈ−Δｈの水平視差図のデータを作成する処理を行う（ステップＳ７）。この水平視差図のデータは、立体物検出部２５０に送られる。

立体物検出部２５０では、水平視差図作成部２４０から出力された水平視差図のデータ、視差演算部２１０からの視差画像データおよび画像補正部１１０からの補正画像データａ’に基づいて、水平視差図のデータ中の立体物（例えば、車両、歩行者、ガードレール等）を検出する処理を行う（ステップＳ８）。このステップＳ８の処理を詳細に説明すると、まず、ガードレール検出部２５１が、ガードレールを検出する処理を行う（ステップＳ８１）。このガードレール検出処理では、水平視差図のデータに対して、最小二乗法またはハフ変換（Hough変換）処理を用いて直線近似を行い、この直線近似した水平視差図データに基づいて立体物を検出する。この検出された立体物の中から、「ガードレール類似物」を検出する。

この検出のため、立体物を表す直線の長さを算出する。この直線の長さを取得するには、まず、当該直線に係る立体物の視差平均値から、当該立体物と自車両４００との距離を、前述の図５および式（１）、（２）を用いて説明したように、三角測量の原理を用いて算出する。そして、算出した距離に基づいて、立体物の上下方向の長さを、実寸法に換算する。

また、立体物の視差画像上でのサイズｓとこれに対応する立体物の実サイズＳとの関係は、下記式（３）に示すとおりである。この式（３）を実サイズＳについて解くと、下記式（４）が得られる。この式（４）より、立体物の実サイズＳを計算することができる。下記式（３）、（４）中、ｆは、撮影レンズ系の撮像面１０２Ａ，１０２Ｂの焦点距離を、Ｄは撮影レンズ系の撮像面１０２Ａ，１０２Ｂの光軸間距離（基線長）を、Ｚは、立体物までの距離を示す。

Ｓ ： Ｚ ＝ ｓ ： ｆ （３）
Ｓ ＝ ｓ × Ｚ ／ ｆ （４）

上述のようにして得られた直線（立体物）の長さと、視差画像から得られる角度とを、メモリ２０２等に予め設定したガードレールについての値と比較する。これらの値が一致した場合、この直線（立体物）を「ガードレール類似物」と認識し、その検出結果をガードレール類似物領域指定部２５２に対して出力する。なお、「ガードレール類似物」が検出されなかった場合には、ステップＳ８２、Ｓ８３の処理はスキップして、ステップＳ９に進む。

ガードレール検出部２５１からの検出結果に基づいて、ガードレール類似物領域指定部２５２では、「ガードレール類似物領域」を設定（指定）する処理を行う（ステップＳ８２）。具体的には、図７（ｂ）に一点鎖線で示したように、「ガードレール類似物」が存在する領域の上下左右に＋αの領域を指定し、この領域を「ガードレール類似物領域」とする。実施例１では、ガードレール等に注目して、その近辺の歩行者等を重点的に検出することから、一点鎖線で囲った「ガードレール類似物領域」を「検出領域β」に設定する。

次に、歩行者検出部２５３が、ガードレール類似物領域指定部２５２で設定された「検出領域β」すなわち「ガードレール類似物領域」に対して、歩行者の存在を判定する歩行者判定処理を行う（ステップＳ８３）。このステップＳ８３では、以下のように、水平視差図を利用して「ガードレール類似物領域」での歩行者の存在を判定する。歩行者検出部２５３は、「ガードレール類似物領域」での歩行者の存在だけでなく、ガードレール類似物とは離れた場所に存在する歩行者、例えば、道路を横切る歩行者等の存在も判定してもよい。それには、例えば、ガードレール検出部２５１が検出した立体物のうち、ガードレール以外の立体物について、メモリ２０２等に予め設定した歩行者のサイズに一致するか否かを判定する。一致したときには、路面（移動面）上に「歩行者の存在あり」と判定し、一致しないときは、移動面上に「歩行者の存在なし」と判定する。

＜水平視差図を利用した歩行者の存在判定＞
以下、ステップＳ８３で行われる水平視差図を利用した「ガードレール類似物領域」での歩行者の存在の判定方法を、図８に示す説明図、および、図１０に示すフローチャートを用いて説明する。図８は、歩行者が存在しない場面（シーン）、歩行者が遠くに存在する場面、歩行者が近くに存在する場面といった、各場面における補正画像データａ’とこれに対応する水平視差画像の概略図である。図８（ａ）は歩行者が存在せず、ガードレール類似物のみが存在する場面の補正画像データａ’（１０ａ）と水平視差図３０ａとを示す。図８（ｂ）、（ｃ）はガードレール類似物のそばであって、ガードレール類似物と車道との間に歩行者が存在する場面を示す。図８（ｂ）は自車両４００から遠い位置に歩行者が存在する場面の補正画像データａ’（１０ｂ）と水平視差図３０ｂとを示す。図８（ｃ）は自車両４００から近い位置に歩行者が存在する場面の補正画像データａ’（１０ｃ）と水平視差図３０ｃとを示す。なお、図８（ｂ），（ｃ）では、いずれの場合も、歩行者はガードレール類似物の手前、つまり、車道側に存在している。図１０は、歩行者検出部２５３による歩行者判定処理の流れ（図９のステップＳ８３の詳細）を示すフローチャートである。

歩行者検出部２５３では、まず、水平視差図に対する最小二乗法またはハフ変換処理の結果、つまり、ガードレール類似物領域指定部２５２からの「ガードレール類似物領域」の入力を受け付ける（ステップＳ８３１）。この「ガードレール類似物領域」は、最小二乗法またはハフ変換処理後の水平視差図に基づいて、ガードレール類似物領域指定部２５２によって、「ガードレール類似物」の領域の上下左右に＋αの領域が指定された領域である（図７（ｂ）参照）。歩行者検出部２５３は、「ガードレール類似物領域」を参照して、ガードレールに対応する直線が連続した直線か否かを判定する（ステップＳ８３２）。つまり、図８（ａ）に示すように、ガードレール類似物のみが存在する場合、その水平視差図のガードレール部分は直線になっている。一方、図８（ｂ）,（ｃ）の補正画像データａ’（１０ｂ，１０ｃ）において楕円で囲ったように、ガードレール類似物のそばに歩行者が存在する場合、その水平視差図３０ｂ，３０ｃのガードレールの像が、歩行者の像によって途切れ、直線が連続でない部分が生じる。さらに、この連続でない部分から水平方向（横軸方向）に逸脱する線分、すなわち、ガードレール類似物のそばに存在する歩行者の視差が生じる。そのため、ガードレール類似物の近辺の歩行者の有無を、まずはガードレール類似物の直線が連続しているか否かで判断するものである。このステップＳ８３２の判定で、連続した直線であると判定した場合（Ｙｅｓ）、「ガードレール類似物領域での歩行者の存在なし」と判定し、その検出結果を出力して（ステップＳ８３３）、歩行者判定処理を終了する。

これに対して、ステップＳ８３２の判定で、ガードレール類似物に対応する直線において、連続でない部分が存在すると判定した場合（Ｎｏ）、この連続でない不連続部分（不連続直線）の近傍について水平視差図を参照する（ステップＳ８３４）。そして、前述したように、この不連続直線部分の距離に基づいて、そのサイズを算出し、このサイズが、メモリ２０２等に予め設定した歩行者のサイズに一致するか否かを判定する（ステップＳ８３５）。歩行者のサイズに一致したと判定した場合（Ｙｅｓ）、「ガードレール類似物領域での歩行者の存在あり」と判定し、その検出結果を出力して（ステップＳ８３６）、判定処理を終了する。一方、歩行者のサイズに一致しない場合（ステップＳ８３５の判定がＮｏ）には、「ガードレール類似物領域での歩行者の存在なし」と判定し、その検出結果を出力して（ステップＳ８３３）、歩行者判定処理を終了する。

以上のように、水平視差画像を用いた判定方法では、水平視差画像に対して最小二乗法またはハフ変換処理を用いて直線近似を行い、ガードレールに対応する直線が不連続な直線の場合、歩行者の存在を探索している。なお、本願がこの実施例に限定されることはなく、変形例として、以下のような判定方法を用いてもよい。

＜水平視差図を利用した歩行者の存在判定の変形例＞
まず、水平視差図に対して最小二乗法またはハフ変換処理を行い、その結果が連続する直線の場合、水平視差画像で直線近傍に直線から逸脱する線分があるか判定する。逸脱する線分がある場合は、この線分を歩行者と判定する。また、この逸脱する線分のサイズを算出し、メモリ２０２等に予め設定した歩行者のサイズに一致するか否かを判定した上で、歩行者の存在を判定してもよい。

前述の判定方法、つまり、不連続な直線の存在により歩行者の存在を判定する方法は、ガードレール類似物の手前（ガードレールと車道との間）に歩行者が存在する場合に有効である。その理由は、歩行者が車道側に存在すると、図８（ｂ），（ｃ）のように、歩行者の像によってガードレール類似物の直線が途切れ、不連続となるからである。また、変形例の判定方法、つまり、連続する直線から逸脱する線分の存在により歩行者の存在を判定する方法は、ガードレールの奥（歩道側）に歩行者が存在する場合に有効である。その理由は、歩行者がガードレール類似物よりも奥の歩道側に存在するため、歩行者の像によってガードレール類似物の直線が途切れることはないが、ガードレール類似物の直線から逸脱する線分（歩行者）がみられるからである。

上述のように、歩行者判定処理（ステップＳ８３）が終了すると、図９のフローチャートに戻り、歩行者検出部２５３により検出された歩行者検出結果（判定結果）が、ステレオ画像処理部２００から、画像データ（視差画像データ、補正画像データ（輝度画像データ））とともに出力データとして出力される（ステップＳ９）。ガードレール検出処理（ステップＳ８１）で「ガードレール類似物」が検出されなかった場合には、その旨が検出結果として出力される。なお、実施例１では、歩行者の検出の際に、「ガードレール類似物領域」に着目し、ガードレール類似物の近辺に存在する歩行者を重点的に検出している。そのため、歩行者検出結果（判定結果）として、「ガードレール類似物領域」すなわち「検出領域β」に存在する歩行者等の検出結果が出力される。なお、出力される検出結果が、「検出領域β」での検出結果のみに限定されることはなく、さらに、道路を横切る歩行者等、「ガードレール類似物」の内側に存在する歩行者等の検出結果を併せて出力してもよい。ステレオ画像処理部２００からの出力データは、例えば、車両制御ユニット３００等に送信される。この車両制御ユニット３００では、これらのデータに基づいて、例えば、ブザー等の警告音や音声アナウンス等によって運転者に対して歩行者の存在を喚起する。また、自動ブレーキの作動やハンドルの自動操舵等により、歩行者等を回避するようにしてもよい。

以上、実施例１の画像処理装置１を用いた立体物検出方法によれば、２つのカメラ１０１Ａ，１０１Ｂにより撮像される２つの撮像画像（画像データａ、画像データｂ）から、歩行者等の検出対象物を精度よく検出することができる。つまり、道路を横切る歩行者等、他の立体物と区別しやすい歩行者を検出することは勿論、ガードレール等の立体物の付近に存在することで、ガードレール等と像が重なって、歩行者とガードレール等との区別がつきにくい場合でも、歩行者等の検出対象物を容易に検出することができる。このように、ガードレール等の立体物の影に一部隠れている歩行者や、立体物のすぐそばに存在する歩行者等も精度よく検出することができる。以上説明したように、実施例１では、歩行者等を検知する必要性の高いガードレール等の立体物に着目し、ガードレール等の立体物を含む範囲を検出領域に設定している。そのため、この検出領域内に存在する歩行者等の検出対象物を、より効率よく検出することが可能となる。

なお、実施例１および以降の変形例では、検出対象物として歩行者の検出を行っているが、本願がこれらの実施例に限定されることはなく、自車両等の移動体の移動に影響する検出対象物であればよい。このような検出対象物として、例えば、ガードレールに沿って走行する自転車、バイク等を検出してもよいし、ガードレールのそばに停車している他車両等を検出してもよい。また、歩行者等の検出対象物を遮って、検出しにくくする立体物として、ガードレール類似物を挙げているが、本願がこれに限定されることはない。例えば、中央分離帯等を立体物として認識し、これらの立体物の付近に存在し、当該立体物と区別しにくい歩行者等の検出対象物を検出するようにしてもよい。

（実施例１の変形例１）
次に、実施例１に係る画像処理装置１の一変形例（以下、「変形例１」という。）について、図１１を用いて説明する。図１１は、変形例１の画像処理装置における、立体物検出部２５０Ａの機能構成を示す機能ブロック図である。この図１１に示すように、変形例１の画像処理装置は、立体物検出部２５０Ａ内に領域範囲テーブル２５４をさらに備えていること以外は、実施例１の画像処理装置１と同様の基本構成を有している。そのため、実施例１と同様の構成については、同一の符号を付し、詳細な説明は省略する。この領域範囲テーブル２５４は、メモリ２０２中に保持（記憶）され、ガードレール類似物領域指定部２５２によって参照される。

以下、変形例１の画像処理装置の立体物検出部２５０Ａでの処理を詳細に説明する。まず、上記実施例１では、ガードレール類似物領域指定部２５２は、「ガードレール類似物領域」の上下左右に＋αの領域を指定する際に、αとして定数を使用している。これに対して、変形例１では、メモリ２０２から読み出した領域範囲テーブル２５４から取得したα（変数値）を用いている。この領域範囲テーブル２５４には、「ガードレール類似物」の距離と、変数値αとが対応づけられて記憶されている。ガードレール類似物領域指定部２５２は、「ガードレール類似物」の距離に対応する変数値αを領域範囲テーブル２５４から取得し、ガードレール類似物領域＋αの領域を設定する。「ガードレール類似物領域」において、自車両４００からの距離が大きい（遠距離）ほど、αの値は小さくなり、自車両４００からの距離が小さい（近距離）ほど、αの値は大きくなる。つまり、自車両４００から遠い位置に存在する歩行者は、幅、高さともに小さく、水平視差図におけるサイズも小さいため、ガードレール類似物の近傍を参照すればよい。これに対して、自車両４００から近い位置に存在する歩行者はサイズが大きく、ガードレール類似物から広い範囲を参照する必要があるためである。

このように指定された「ガードレール類似物領域」を用いて、実施例１と同様に、ガードレールに対応する直線が不連続な直線か否かで、または、直線から逸脱する直線があるか否かで、歩行者の存在を検出する。以上のように、変形例１では、自車両４００からの距離に応じて、歩行者を検出する領域を拡縮しているため、より精度よく、かつ、より効率的に歩行者を検出することができる。

（実施例１の変形例２）
次に、実施例１に係る画像処理装置１の他の変形例（以下、「変形例２」という。）について、図１２を用いて説明する。図１２は、変形例２の立体物検出部２５０Ｂの機能構成を示す機能ブロック図である。この図１２に示すように、変形例２の画像処理装置は、認識辞書入力部２５５および歩行者検証部２５６を追加したこと以外は、実施例１の画像処理装置１と同様の基本構成を有している。そのため、実施例１と同様の構成については、同一の符号を付し、詳細な説明は省略する。

上記実施例１において、立体物検出部２５０の歩行者検出部２５３では、「ガードレール類似物領域」に対して歩行者の存在を判定する場合、水平視差図を用いて行っている。これに対して、変形例２では、歩行者検出部２５３で水平視差図を用いて検出した歩行者（歩行者らしさ）に対して、さらに歩行者検証部２５６で輝度画像データ（例えば、補正画像データａ’）を用いて、その検証を行う機能を有している。この検証機能により、平視差図を利用した歩行者の存在の判定結果の精度を向上させている。

認識辞書入力部２５５は、メモリ２０２中に保持（記憶）された歩行者の検証に用いる認識辞書（図示せず）を読み出し、歩行者検証部２５６に出力する。この認識辞書は、機械学習方法により、事前に認識した歩行者パターンの画像サンプル学習データを用いて作成されたものであり、歩行者の撮影画像のパターンマッチング用の様々なテンプレートデータ（人物の形状パターン）が記憶されている。このテンプレートデータは、歩行者の全体像に対応したものであってもよいし、ガードレール等の遮蔽物に一部隠れた歩行者を検出する目的で、頭部、胴部、脚部等の歩行者の一部に対応するものであってもよい。また、歩行者の向き（例えば、横向き、正面向き等）や身長（大人、子供、老人等）に対応するものであってもよいし、自転車、バイク等の二輪車、車椅子等に載る歩行者の像に対応するものであってもよい。また、これらのテンプレートを、年齢別、性別等に分類して認識辞書に記憶しておいてもよい。

以下、歩行者検証部２５６での検証処理について説明する。歩行者検証部２５６では、補正画像データａ’、歩行者検出部２５３の結果および認識辞書入力部２５５からの認識辞書を入力して、歩行者検出部２５３の検出結果の歩行者らしさを検証する。まず、歩行者検出部２５３の検出結果から、歩行者らしい立体物の存在領域がわかるので、歩行者検証部２５６は、この歩行者の存在領域に対応する領域を、補正画像データａ’上に設定する。そして、この領域と認識辞書に保持している歩行者データとを照合する。次に、補正画像データａ’上の歩行者の存在領域の距離から、歩行者と判定された立体物の寸法を求める。そして、この寸法に基づいて、この歩行者の存在領域に対して、認識辞書に記憶された歩行者データを用いてパターンマッチング（照合）を行う。この照合の結果、一致率が所定値以上の場合、立体物が歩行者（検出対象物）であると認識し、その検出結果を出力する。

以上、変形例２では、水平視差図を利用して歩行者の存在を判定した後、補正画像データａ’を利用して、この歩行者と判定された立体物の形状と、認識辞書に記憶された歩行者の様々なテンプレートデータとを照合し、検出結果を検証している。したがって、変形例２では、歩行者（検出対象物）の存在を、より精度よく検出することができる。

以上、本願の実施例１および変形例１、２について説明した。この実施例１、変形例１、２では、歩行者の検出結果として、歩行者が存在する、または存在しない、といった判定のみ出力しているが、本願がこれらに限定されることはなく、確からしさを表す信頼度を付加してもよい。また、実施例１、変形例１では、水平視差図を利用した歩行者の判定結果（検出結果）を出力し、変形例２では、その検出結果に対して、輝度画像を利用して検証した検証結果を出力し、いずれか一方の結果のみ出力している。しかし、本願がこれに限定されることはなく、水平視差図を利用した歩行者の判定結果（検出結果）、および、輝度画像を利用して検証した検証結果の双方を出力してもよい。

以下、信頼度の付加について説明する。信頼度の付加方法としては、例えば、次のような方法で行うことができる。まず、歩行者検出部２５３は、入力された「ガードレール類似物領域」の視差画像データ上で３×３画素のブロックを定義し、そのブロックを視差画像上下方向中央において左端から右端までずらしていき、各ブロック内の画素値（視差値）の分散を算出する。そして、各ブロックの分散の合計値を信頼度として用い、その合計値が規定数未満である場合には当該視差画像データの信頼度が高い（規定値以上である）と判断する。その合計値が規定数以上である場合には当該視差画像データの信頼度が低い（規定値未満である）と判断する。なお、この処理において各ブロック内に映し出される物体（歩行者）は、自車両から同一距離にある物体であることが多いので、適正な視差値が算出されていれば各ブロックの分散は小さな値をとる。しかし、適正な視差値が算出されていない場合には各ブロックの分散は大きな値をとることになる。この違いを見ることで、視差画像データの信頼度を判定し、この判定結果に基づいて、歩行者の存在の判定に信頼度を付加する。なお、信頼度の付加は、このような方法に限定されることはなく、照度自体の高低、輝度のコントラストの大小などを用いることによって、信頼度の判定を行ってもよい。

（実施例２）
次に、実施例２に係る画像処理装置について、図１３〜図１６を用いて説明する。上記実施例１およびその変形例では、ガードレール類似物に注目し、その近辺の歩行者を重点的に検出しているが、この実施例２では、ガードレール類似物の内側に注目し、その内側の歩行者を重点的に検出するものである。この実施例２の画像処理装置も、図２に示すような移動体制御システムに適用することができる。図１３は、実施例２に係る画像処理装置としてのステレオ画像処理部１２００の機能構成を示す機能ブロック図である。この図１３に示すように、実施例２のステレオ画像処理部１２００は、立体物検出部２５０を立体物検出部１２５０に代えたこと以外は、図３に示す実施例１のステレオ画像処理部１２００と同様の基本構成を有している。そのため、実施例１と同様の構成については、同一の符号を付し、詳細な説明は省略する。図１３に示すように、実施例２のステレオ画像処理部２００は、撮像ユニット１００から入力される補正画像データａ’，ｂ’に対して画像処理を行うものであり、主に、視差演算部２１０と、垂直視差図作成部２２０と、移動面位置検出部２３０と、水平視差図作成部２４０と、立体物検出部１２５０と、を備えて構成されている。

視差演算部２１０による視差画像データ生成処理、垂直視差図作成部２２０による垂直視差図作成、移動面位置検出部２３０による移動面位置検出処理、水平視差図作成部２４０による水平視差図作成処理については、図９を用いて説明した実施例１のステップＳ１〜Ｓ７と同様であるため、詳細な説明は省略する。以下では、立体物検出部１２５０の構成と、立体物検出部１２５０の各部で実行される立体物検出処理について説明する。

図１４は、実施例２の立体物検出部１２５０の機能構成を示す機能ブロック図である。この図１４に示すように、実施例２の立体物検出部１２５０は、ガードレール検出部１２５１と、ガードレール類似物連続性判定部１２５２と、検出対象物検出領域指定部１２５３と、歩行者検出部１２５４と、を備えて構成されている。

ガードレール検出部１２５１は、水平視差図作成部２４０から出力された水平視差図（例えば、図７（ｂ）に示す水平視差図）のデータに対して、最小二乗法またはハフ変換（Hough変換）処理を用いて、直線近似する処理を行う。この直線近似したデータに基づいて、立体物の直線の傾きおよび長さが、メモリ２０２等に予め設定したガードレールについての値の範囲であれば、この直線部分の画素を「ガードレール類似物」として検出する。この検出結果は、ガードレール類似物連続性判定部１２５２に出力される。

次に、ガードレール類似物連続性判定部１２５２は、ガードレール検出部１２５１で検出した「ガードレール類似物」が連続しているか否かを判定する。それには、ガードレール検出部１２５１が水平視差図を、最小二乗法やハフ変換処理などにより近似した直線の連続性から判定する。

検出対象物検出領域指定部１２５３では、ガードレール類似物連続性判定部１２５２で判定した連続性の有無を利用して、歩行者等の検出対象物を検出する検出領域を指定する。直線に連続性があると判断した場合、図１５に網掛けで示すように、横軸方向において「ガードレール類似物」で区切られた路面内（以下、「ガードレール類似物の内側」という）を「検出領域β」とする。一方、連続性がないと判断した場合、図１６に網掛けで示すように、「ガードレール類似物」の内側＋αを「検出領域β」とする。この「＋α」の範囲は、より詳細には、図１６に示した「ｄ１」および「ｄ２」分、ガードレール類似物から外側に突出した範囲である。つまり、ガードレール類似物が途切れた箇所では、ガードレール類似物の端部から、それぞれ、縦方向（より正確にはガードレール類似物と平行な方向）に「ｄ１」、横方向（より正確にはガードレール類似物と垂直な方向）に「ｄ２」だけ外側の領域までも、検出領域βに含めている。

この「ｄ１」および「ｄ２」は、メモリ等に予め設定している値である。実施例２では、「ｄ１」および「ｄ２」の値を、カメラ１０１Ａ，１０１Ｂからの距離に対応して変化するように設定しており、近距離ほど大きく、遠距離ほど小さく設定している。このように設定することで、近距離ほど、ガードレール類似物の途切れ目を注視して、重点的に歩行者の検出を行うことができる。なお、連続性の有無にかかわらず、「検出領域β」の縦軸方向の上限は、図１５、図１６上で「最遠検出領域」と表示した位置、すなわち、画像上の路面の上端（自車両４００から最も遠い位置）である。

歩行者検出部１２５４では、検出対象物検出領域指定部１２５３で指定した検出領域βにおいて、歩行者（検出対象物）の存在を判定し、その判定結果（検出結果）を出力する。実施例２でも、実施例１と同様に、この歩行者の検出の際に、「ガードレール類似物領域」に着目し、ガードレール類似物の近辺に存在する歩行者を重点的に検出するものである。この歩行者の存在の判定は、以下のように、水平視差図を利用して行われる。

水平視差図を利用した歩行者の存在の判定について、一例として、図７（ｂ）の水平視差図３０を用いて説明する。この図７（ｂ）に示すように、水平視差図３０では、路面ＲＳ上の立体物部分（この場合は、他車両Ａ，Ｂ，Ｃ、側面のガードレール等）に視差が出る。画像上の手前（近距離）の立体物の視差は大きく、画像の奥（遠距離）の立体物の視差は小さく出ている。歩行者検出部１２５４は、検出領域β内で検出された立体物の視差と自車両４００からの距離とに基づいて、前出の式（４）を用いて直線（視差）の長さ（実サイズＳ）を算出する。この長さをメモリ等に予め記憶していた歩行者のサイズと比較し、歩行者に該当する立体物を検出する。立体物検出部１２５０は、歩行者検出部１２５４で検出した「検出領域β」での歩行者の検出結果を出力するとともに、必要に応じて画像データ（視差画像データ、補正画像データ（輝度画像データ））を出力する。これらの出力データが、車両制御ユニット等で利用される。

以上説明したように、実施例２では、ガードレール類似物の内側を、歩行者等の検出対象物を検出する検出領域βとしている。また、ガードレール類似物が途切れている場合は、途切れている箇所（不連続部分）よりも外側も検出領域βに含めている。そのため、ガードレール類似物の途切れ目に存在する歩行者等の検出対象物も、早い段階で検出することができる。このように、実施例２でも、ガードレール等の立体物だけでなく、この立体物の途切れ目に着目して検出領域を設定している。これにより、歩行者等を検知する必要性の高い領域に存在する歩行者等の検出対象物、特に、立体物の途切れ目に存在する検出対象物を、効率よく検出することができる。

また、実施例２でも、上記実施例１の変形例２のように、検出した歩行者等の検出対象物を、認識辞書を用いて検証してもよく、判定結果の精度をより向上させることができる。また、ガードレール付近での歩行者等の検出の際に、実施例１のように、不連続な直線から逸脱する線分の存在により歩行者の存在を判定してもよいし、連続する直線から逸脱する線分の存在により歩行者の存在を判定してもよい。これにより、ガードレール付近の歩行者を効率的に検出することができる。さらに、実施例２でも、実施例１で述べたように、ガードレールに沿って走行する自転車、バイク等を検出対象物として検出してもよいし、ガードレールのそばに停車している他車両等を検出対象物として検出してもよい。このような検出対象物がガードレール等の立体物の近辺に存在した場合でも、効率よく検出することができる。さらに、判定結果に、確からしさを表す信頼度を付加してもよいし、検証結果として、水平視差図を利用した歩行者の判定結果（検出結果）、および、輝度画像を利用して検証した検証結果の双方または一方を出力してもよい。

（実施例３）
次に、実施例２に係る画像処理装置について、図１７〜図１９を用いて説明する。上記各実施例または変形例では、立体物としてガードレール類似物を検出し、このガードレール類似物に基づいて歩行者を検出しているが、実施例３では、立体物として自車両の前方を走行する「車両（前方車両）」を検出し、この車両近辺の歩行者を重点的に検出するものである。「車両」としては、移動面を走行または停車している自動車、バイク、自転車等の他車両、路肩等の移動面付近に停車している他車両等が挙げられる。また、道路際のビル、標識等、歩行者が隠れている可能性のある「車両類似物」等も「車両」に含まれる。この実施例３の画像処理装置も、図２に示すような移動体制御システムに適用することができる。

実施例３に係る画像処理装置としてのステレオ画像処理部は、立体物検出部２５０に代えて図１７に示す立体物検出部２２５０を備えたこと以外は、図３に示す実施例１と同様の基本構成を有している。そのため、実施例１と同様の構成については、同一の符号を付し、詳細な説明は省略する。

視差演算部２１０による視差画像データ生成処理、垂直視差図作成部２２０による垂直視差図作成、移動面位置検出部２３０による移動面位置検出処理、水平視差図作成部２４０による水平視差図作成処理については、図９を用いて説明した実施例１のステップＳ１〜Ｓ７と同様であるため、詳細な説明は省略する。以下では、立体物検出部２２５０の構成と、立体物検出部２２５０の各部で実行される立体物検出処理について説明する。

図１７のブロック図に示すように、実施例３の立体物検出部２２５０は、車両検出部２２５１と、検出対象物検出領域指定部としての車両領域指定部２２５２と、歩行者検出部２２５３と、を備えて構成されている。

実施例３の立体物検出部２２５０での歩行者の存在の判定方法を、図１８、図１９に示す説明図、および、図２０に示すフローチャートを用いて説明する。図１８（ａ）は補正画像データａ’１０を示し、図１８（ｂ）は水平視差図作成部２４０により作成された水平視差図３０を示す。図１９（ａ）は車両のそばに歩行者が存在しない場面（シーン）の補正画像データａ’（１０ａ）と水平視差図３０ａとを示す。図１９（ｂ）は車両（他車両）のそばに歩行者が存在する場面の補正画像データａ’（１０ｂ）と水平視差図３０ｂとを示す。図２０は、立体物検出部２２５０による歩行者判定処理の流れを示すフローチャートである。

車両検出部２２５１は、水平視差図作成部２４０から出力された水平視差図、例えば、図１８（ａ）の補正画像データａ’から作成された図１８（ｂ）に示す水平視差図のデータに対して、最小二乗法またはハフ変換（Hough変換）処理を用いて、直線近似する処理を行う。この直線近似したデータに基づいて、車両サイズの立体物を探索する（ステップＳ１８１）。すなわち、立体物の長さが、メモリ２０２等に予め設定した車両についての値の範囲であれば、この直線部分の画素を「車両」として検出し、その「車両位置」（例えば座標）を出力する。図１８（ｂ）では、立体物「Ａ」、「Ｂ」および「Ｃ」が「車両」として検出された。このように、「車両」が検出された場合（ステップＳ１８２の判定でＹｅｓ）は、この検出結果が、車両領域指定部２２５２に出力され、ステップＳ１８３に進む。「車両」が検出されなかった場合（ステップＳ１８２の判定でＮｏ）は、その旨が検出結果として立体物検出部２２５０から出力される。

ステップＳ１８３では、車両領域指定部２２５２が、「車両位置」情報に基づいて、車両検出部２２５１で検出された「車両」の上下左右（すなわち、「車両」の前方、後方、左側および右側）に＋αの領域を指定し、「車両領域」（車両領域を構成する画素）を設定する。例えば、図１８（ｂ）の水平視差図３０において、立体物「Ａ」、「Ｂ」および「Ｃ」近傍の一点鎖線で囲った領域が、車両領域指定部２２５２により「車両領域」として設定された領域である。この「＋α」は、実施例３では、プログラム等に予め設定した定数としているが、後述の変形例１で説明するように、検出されたガードレールの距離と、歩行者の大きさとを見積もった変数値としてもよい。実施例３では、この「車両領域」を、歩行者等の検出対象物を検出する「検出領域β」とする。なお、「車両」の前方は、必ずしも「検出領域β」に含めなくてもよく、歩行者が存在する確率の高い「車両」の後方、左側および右側を「検出領域β」とすることもでき、より高速な検出が可能となる。

次に、歩行者検出部２２５３では、車両領域指定部２２５２で設定された「検出領域β」すなわち「車両領域」に歩行者が存在するか否かを判定する（歩行者判定処理）。この判定の一例を、図１９を用いて説明するが、本願がこの例に限定されることはない。歩行者検出部２２５３は、「検出領域β」を参照して、「車両」を示す線分に「凸」部分があるか否かを検出する（ステップＳ１８４）。「凸」部分とは、具体的には、例えば、「車両」を示す線分から垂直方向（上下方向）に突出する部分や、水平方向（左右方向）に突出（逸脱）する部分等が挙げられる。このような「凸」部分は、「車両」の後方や左右に存在する歩行者である可能性が高い。さらに、「車両」を示す線分に切れ目（不連続）があるか否かを検出してもよい。このような切れ目部分も、歩行者である可能性が高い。図１９（ａ）に示すように、「車両」に対して「凸」部分が検出されない場合（Ｎｏ）は、「車両のみ存在する（歩行者の存在なし）」と判定し、その検出結果を出力して、歩行者判定処理を終了する（ステップＳ１８５）。

これに対して、図１９（ｂ）に示すように、「凸」部分が存在する場合は、次に、この「凸」部分のサイズを算出し、このサイズが、メモリ２０２等に予め設定した歩行者のサイズに一致するか否かを判定する（ステップＳ１８６）。歩行者のサイズに一致したと判定した場合（Ｙｅｓ）、「車両と歩行者の存在あり」と判定し、ステップＳ１８７で、その検出結果（判定結果）を出力して、判定処理を終了する。一方、歩行者のサイズに一致しない場合（Ｎｏ）には、「車両のみ存在する（歩行者の存在なし）」と判定し、ステップＳ１８５で、その検出結果（判定結果）を出力して、歩行者判定処理を終了する。

上述のように、歩行者判定処理が終了すると、立体物検出部２２５０から出力された歩行者検出結果（判定結果）が、ステレオ画像処理部２００から、画像データ（視差画像データ、補正画像データ（輝度画像データ））とともに出力データとして出力される。

ステレオ画像処理部２００からの出力データは、例えば、車両制御ユニット３００等に送信される。この車両制御ユニット３００では、これらのデータに基づいて、例えば、ブザー等の警告音や音声アナウンス等によって運転者に対して歩行者の存在を喚起する。また、自動ブレーキの作動やハンドルの自動操舵等により、歩行者等を回避する。

以上、実施例３では、立体物として「車両」を検出し、この「車両」近辺の歩行者を重点的に検出している。そのため、歩行者等を検知する必要性の高い「車両」の近辺に存在する歩行者等を、効率よく検出することが可能となる。

なお、本願の実施例３および後述の変形例１〜３でも、歩行者検出結果（判定結果）に、確からしさを表す信頼度を付加することができる。また、検証結果として、水平視差図を利用した歩行者の判定結果（検出結果）、輝度画像を利用して検証した検証結果の双方または一方を出力することもできる。また、検出結果として「車両領域」に存在する歩行者等の検出結果だけでなく、道路を横切る歩行者等の検出や、実施例１、２、実施例１の変形例と組み合わせて、「ガードレール類似物」の近辺や内側に存在する歩行者の検出も行うようにして、その検出結果を併せて出力することもできる。

（実施例３の変形例１）
次に、実施例３に係る画像処理装置の一変形例（以下、「変形例１」という。）について、図２１を用いて説明する。図２１は、実施例３の変形例１の立体物検出部２２５０Ａの機能構成を示す機能ブロック図である。この図２１に示すように、変形例１の立体物検出部２２５０Ａは、領域範囲テーブル２２５４をさらに備えていること以外は、実施例３の立体物検出部２２５０と同様の基本構成を有している。そのため、実施例３と同様の構成については、同一の符号を付し、詳細な説明は省略する。この領域範囲テーブル２２５４は、メモリ２０２（図２参照）中に保持（記憶）され、車両領域指定部２２５２によって参照される。

上記実施例３では、車両領域指定部２２５２は、「車両」の上下左右に＋αの領域を指定する際に、αとして定数を使用している。これに対して、変形例１では、メモリ２０２から読み出した領域範囲テーブル２５４から取得したα（変数値）を用いている。この領域範囲テーブル２２５４には、自車両４００から「車両」までの距離と、変数値αとが対応づけられて記憶されている。車両領域指定部２２５２は、「車両」の距離に対応する変数値αを領域範囲テーブル２５４から取得し、車両領域＋αの領域を設定する。自車両４００から「車両」までの距離が大きい（遠距離）ほど、歩行者の幅、高さともに小さいため、αの値は小さくなる。撮像ユニット１００を搭載した自車両４００から「車両」までの距離が小さい（近距離）ほど、歩行者の幅、高さともに大きいため、αの値は大きくなる。

このように指定された「車両領域（検出領域β）」を用いて、例えば実施例３と同様に、「車両」を示す線分に対して、「凸」部分があるか否かによって歩行者の存在を検出する。以上、変形例１では、自車両４００からの距離に応じて、歩行者を検出する領域を拡縮しているため、より精度よく、かつ、より効率的に歩行者を検出することができる。

（実施例３の変形例２）
次に、実施例３に係る画像処理装置の他の変形例（以下、「変形例２」という。）について、図２２を用いて説明する。図２２は、変形例２の立体物検出部２２５０Ｂの機能構成を示す機能ブロック図である。この図２２に示すように、変形例２の立体物検出部２２５０Ｂは、認識辞書入力部２２５５および歩行者検証部２２５６を追加したこと以外は、実施例３の立体物検出部２２５０と同様の基本構成を有している。そのため、実施例３と同様の構成については、同一の符号を付し、詳細な説明は省略する。

変形例２では、実施例３と同様にして、水平視差図を用いて歩行者検出部２２５３で歩行者を検出し、検出した歩行者（歩行者らしさ）に対して、さらに輝度画像データ（例えば、補正画像データａ’）を用いて、歩行者検証部２２５６によって、その検証を行う機能を有している。

認識辞書入力部２２５５は、実施例１の変形例２における認識辞書入力部２５５と同様に、メモリ２０２中に保持（記憶）された歩行者の検証に用いる認識辞書（図示せず）を読み出し、歩行者検証部２２５６に出力する。この認識辞書も、実施例１の変形例２で説明したように、歩行者の撮影画像のパターンマッチング用の様々なテンプレートデータ（人物の形状パターン）が記憶されている。

歩行者検出部２２５３の検出結果から、歩行者らしい立体物の存在領域がわかるので、歩行者検証部２２５６では、実施例１の変形例２における歩行者検証部２５６と同様に、補正画像データａ’を利用して、歩行者検出部２２５３で歩行者と判定された立体物の形状と、認識辞書に記憶された歩行者の様々なテンプレートデータとを照合し、検出結果を検証している。したがって、実施例３の変形例２では、歩行者（検出対象物）の存在を、より精度よく検出することができる。

（実施例３の変形例３）
次に、実施例３に係る画像処理装置の他の変形例（以下、「変形例３」という。）について説明する。変形例３では、撮像装置としての撮像ユニット１００（撮像装置搭載車両）と立体物である「車両」との位置関係によって、歩行者を探索する「車両領域（検出領域β）」を変更している。歩行者が存在する確率の高い領域を重点的に探索することで、歩行者の検出精度を向上させるためである。

以下、図２３を用いて変形例３での「車両領域（検出領域β）」の設定方法を説明する。図２３（ａ）、（ｂ）、（ｃ）は、それぞれ撮像ユニット１００と「車両」との位置関係に対応して設定される「車両領域（検出領域β）」を示す概略図である。

図２３（ａ）に示すように、「車両」が撮像ユニット１００を搭載した自車両と同じ走行車線を走行するなど、撮像ユニット１００のほぼ正面に「車両」が存在する場合は、「車両」の左右および後方（図面の下方）を「車両領域（検出領域β）」とする。この位置関係では、「車両」と重なっている歩行者や、「車両」の左右から飛び出す可能性のある歩行者に注意する必要があるためである。

これに対して、図２３（ｂ）に示すように、「車両」が自車両の右側の車線を走行するなどにより、撮像ユニット１００の右前方に「車両」が存在する場合は、「車両」の左側および後方を「車両領域（検出領域β）」とする。この位置関係では、「車両」の左側から飛び出す可能性のある歩行者や、「車両」と重なる歩行者に注意する必要があり、このような歩行者をより迅速に検出するためである。

また、図２３（ｃ）に示すように、「車両」が自車両の左側の車線を走行するなどにより、撮像ユニット１００の左前方に「車両」が存在する場合は、「車両」の右側および後方を「車両領域（検出領域β）」とする。この位置関係では、「車両」の右側から飛び出す可能性のある歩行者や、「車両」と重なる歩行者に注意する必要があり、このような歩行者をより迅速に検出するためである。

以上のように、注意すべき歩行者が存在する確率の高い領域を「車両領域（検出領域β）」とすることで、余計なものを認識してしまうなどの誤認識を低減することができる。また、限定した領域を探索するので、運転にとって危険な歩行者をより早く認識することができる。

以上、本発明の実施例および変形例を図面により詳述してきたが、上記各実施例等は本発明の例示にしか過ぎないものであり、本発明は上記各実施例等の構成にのみ限定されるものではない。本発明の要旨を逸脱しない範囲の設計の変更等があっても、本発明に含まれる。

１ 画像処理装置
２０ 垂直視差図
３０，３０ａ，３０ｂ，３０ｃ 水平視差図
１００ 撮像ユニット（撮像部）
２００，１２００ ステレオ画像処理部（画像処理部）
２１０ 視差演算部
２２０ 垂直視差図作成部（垂直視差データ作成部）
２３０ 移動面位置検出部
２４０ 水平視差図作成部（水平視差データ作成部）
２５０，２５０Ａ，２５０Ｂ，１２５０，２２５０，２２５０Ａ，２２５０Ｂ 立体物検出部
５００ 車両制御ユニット（移動体制御システム）
ＲＳ 路面（移動面） β 検出領域 Ａ，Ｂ，Ｃ 車両（他車両、立体物）

特開平０５−３４２４９７号公報 特許第３８４３５０２号 特開平０９−８６３１５号公報

Claims (18)

1. 撮像領域を撮像する複数の撮像部から入力される複数の撮像画像に基づいて、検出対象物を検出する画像処理部を備え、
   前記画像処理部は、複数の前記撮像画像に基づいて視差画像データを生成し、前記視差画像データに基づいて、前記撮像画像上において、画像端部から消失点の方向に向かって延びる立体物を検出し、当該立体物に基づいて、前記検出対象物を検出する検出領域を設定することを特徴とする画像処理装置。
2. 撮像領域を撮像する複数の撮像部から入力される複数の撮像画像に基づいて、検出対象物を検出する画像処理部を備え、
   前記画像処理部は、複数の前記撮像画像に基づいて視差画像データを生成し、前記視差画像データに基づいて、前記撮像画像上において、前記撮像部を有する移動体が移動する移動面またはその近傍に存在する所定の立体物を検出し、当該立体物に基づいて、前記検出対象物を検出する検出領域を設定することを特徴とする画像処理装置。
3. 前記画像処理部は、前記立体物を含む所定範囲を前記検出領域として設定し、当該検出領域に存在する前記検出対象物を検出することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記画像処理部は、少なくとも前記立体物で区切られた所定範囲を前記検出領域として設定し、当該検出領域に存在する前記検出対象物を検出することを特徴とする請求項１に記載の画像処理装置。
5. 前記画像処理部は、前記立体物に不連続部分が存在する場合、前記立体物で区切られた所定範囲に加えて、不連続部分を含む所定範囲を、前記検出領域として設定し、当該検出領域に存在する前記検出対象物を検出することを特徴とする請求項４に記載の画像処理装置。
6. 前記不連続部分を含む所定範囲は、前記撮像部からの距離に対応して変化し、前記撮像部からの距離が近くなるほど、より広く設定されることを特徴とする請求項５に記載の画像処理装置。
7. 前記画像処理部は、前記撮像部と前記立体物との位置関係に対応して、前記検出領域を設定し、当該検出領域に存在する前記検出対象物を検出することを特徴とする請求項１または２に記載の画像処理装置。
8. 前記画像処理部は、
   複数の撮像部から入力される複数の撮像画像に基づいて視差画像データを生成する視差演算部と、
   前記視差画像データに基づいて、前記立体物を検出し、当該立体物に基づいて設定した前記検出領域に存在する前記検出対象物を検出する立体物検出部と、を備えていることを特徴とする請求項１〜７のいずれか一項に記載の画像処理装置。
9. 前記画像処理部は、
   前記視差画像データに基づいて、画像垂直座標および視差値の関係を示す垂直視差データを作成する垂直視差データ作成部と、
   前記垂直視差データに基づいて、前記撮像部を有する移動体が移動する移動面を検出する移動面位置検出部と、
   前記視差画像データおよび前記移動面に基づいて、前記移動面付近における、画像水平座標および視差値の関係を示す水平視差データを作成する水平視差データ作成部と、をさらに備え、
   前記立体物検出部は、前記移動面付近の水平視差データに基づいて、前記立体物を検出し、当該立体物に基づいて設定した前記検出領域に存在する前記検出対象物を検出することを特徴とする請求項８に記載の画像処理装置。
10. 前記立体物が、ガードレールまたは前記移動面の側部に存在する立体物であり、
    前記立体物検出部は、前記ガードレールまたは前記移動面の側部に存在する前記立体物をガードレール類似物として検出し、前記ガードレール類似物に基づいて、前記検出領域を設定することを特徴とする請求項８または９に記載の画像処理装置。
11. 前記立体物検出部は、前記水平視差データを直線近似し、この直線近似した前記水平視差データ中の前記立体物に対応する直線を検出し、当該直線が不連続であるとき、前記視差画像データおよび前記撮像部からの距離に基づいて、この不連続直線部分に対応する立体物のサイズを算出し、当該サイズが、前記検出対象物の所定のサイズと一致した場合、前記検出対象物が存在すると判定することを特徴とする請求項８〜１０のいずれか一項に記載の画像処理装置。
12. 前記立体物検出部は、前記水平視差データを直線近似し、この直線近似した前記水平視差データ中の前記立体物に対応する直線を検出し、当該直線から水平方向に逸脱する直線が存在するとき、前記視差画像データおよび前記撮像部からの距離に基づいて、この逸脱する直線に対応する立体物のサイズを算出し、当該サイズが、前記検出対象物の所定のサイズと一致した場合、前記検出対象物が存在すると判定することを特徴とする請求項８〜１０のいずれか一項に記載の画像処理装置。
13. 前記立体物が、車両または車両類似物であり、
    前記立体物検出部は、前記水平視差データを直線近似し、この直線近似した前記水平視差データ中の前記立体物に対応する直線を検出し、当該直線に凸部分が存在するとき、前記視差画像データおよび前記撮像部からの距離に基づいて、この凸部分に対応する立体物のサイズを算出し、当該サイズが、前記検出対象物の所定のサイズと一致した場合、前記検出対象物が存在すると判定することを特徴とする請求項８または９に記載の画像処理装置。
14. 前記検出対象物の形状パターンが複数記憶された記憶部を有し、
    前記立体物検出部は、前記水平視差画像に基づいて前記検出対象物と判定された前記立体物に対応する領域を、前記撮像部が撮像した前記撮像画像上に設定し、当該撮像画像上の前記領域の画像が、前記記憶部から読み出される前記検出対象物の前記形状パターンとが、所定値以上の一致率で一致する場合は、前記立体物が前記検出対象物であることを検証することを特徴とする請求項８〜１３のいずれか一項に記載の画像処理装置。
15. 前記水平視差データ作成部は、前記検出対象物の種類に対応して、前記移動面からの高さの異なる複数の水平視差データを作成することを特徴とする請求項９または１０に記載の画像処理装置。
16. 撮像領域を撮像する複数の撮像部から入力される複数の撮像画像に基づいて、検出対象物を検出する請求項１〜１５のいずれか一項に記載の画像処理装置で行われる立体物検出方法であって、
    前記複数の撮像部によって撮像した複数の前記撮像画像に基づいて視差画像データを生成するステップと、
    前記視差画像データに基づいて、前記撮像画像上において、所定の立体物を検出するステップと
    当該立体物を基準として、前記検出対象物を検出する検出領域を設定するステップと、
    前記検出領域に存在する前記検出対象物を検出するステップと、を有することを特徴とする立体物検出方法。
17. 請求項１６に記載の立体物検出方法をコンピュータに実行させるための立体物検出プログラム。
18. 移動体の移動制御を行う移動制御手段と、
    前記移動体の周囲を撮像対象として撮像する撮像手段と、
    前記撮像手段から入力される撮像画像から、前記撮像対象内に存在する立体物を検出する立体物検出手段と、を備え、
    前記立体物検出手段として、請求項１〜１５のいずれか一項に記載の画像処理装置を用いたことを特徴とする移動体制御システム。