JP2006151300A - 車両周辺監視装置 - Google Patents

Abstract

【課題】 赤外線画像上において歩行者と人工構造物とを的確に区別して抽出する。
【解決手段】 ランレングスデータに変換された画像データから検出される２値化対象物の上端位置ＯＢＪ＿ＴＯＰと、エッジ検出位置ｊ＿ＦＬ＿ＴＯＰとの差分（｜ＯＢＪ＿ＴＯＰ−ｊ＿ＦＬ＿ＴＯＰ｜）が所定閾値ＤＩＦＦ＿Ｈ＿ＴＨよりも大きい場合には、２値化対象物が縦方向（例えば鉛直方向上方）に伸びる人工構造物であると判定する。２値化対象物の下端位置ＯＢＪ＿ＢＯＴと、エッジ検出位置ｊ＿ＦＬ＿ＢＯＴとの差分（｜ＯＢＪ＿ＢＯＴ−ｊ＿ＦＬ＿ＢＯＴ｜）が所定閾値ＤＩＦＦ＿Ｈ＿ＴＨよりも大きい場合には、２値化対象物が縦方向（例えば鉛直方向下方）に伸びる人工構造物であると判定する。
【選択図】 図１０

Description

この発明は、赤外線カメラにより撮影された画像の２値化処理により対象物抽出を行う車両周辺監視装置に関する。

従来、赤外線カメラの撮影により得られた自車両周辺の赤外線画像から、自車両との衝突の可能性がある歩行者等の対象物を抽出し、この対象物の情報を自車両の運転者に提供する表示処理装置が知られている（例えば、特許文献１参照）。
この表示処理装置では、赤外線画像を２値化処理して明部が集中している領域（２値化対象物）を探索し、２値化対象物の縦横比や充足率、更には実面積と赤外線画像上の重心位置とにより算出した距離に基づき、２値化対象物が歩行者の頭部であるか否かを判定する。そして、歩行者の頭部領域の赤外線カメラからの距離と、成人の平均身長とから、赤外線画像上の歩行者の身長を算出すると共に、歩行者の身体を包含する身体領域を設定し、頭部領域および身体領域を他の領域と区分して表示することにより、歩行者に対する運転者の視覚補助を行うようになっている。
特開平１１−３２８３６４号公報

ところで、上記従来技術の一例に係る表示処理装置においては、赤外線画像上での頭部領域や身体領域に対する形状判定に基づいて歩行者を検知していることから、歩行者の形状、特に頭部の形状と類似した大きさおよび高さ位置を有して発熱する人工構造物と、歩行者とを識別することが困難になる虞がある。
本発明は上記事情に鑑みてなされたもので、赤外線画像上において歩行者と人工構造物とを的確に区別して抽出することが可能な車両周辺監視装置を提供することを目的としている。

上記課題を解決して係る目的を達成するために、請求項１に記載の本発明の車両周辺監視装置は、赤外線撮像手段（例えば、実施の形態での赤外線カメラ２Ｒ，２Ｌ）の撮像により得られた画像に基づき自車両の外界に存在する物体を対象物として抽出する車両周辺監視装置であって、前記画像のグレースケール画像を２値化処理して得た画像データから２値化対象物を抽出する２値化対象物抽出手段（例えば、実施の形態でのステップＳ７）と、前記グレースケール画像上において水平エッジを検出する水平エッジ検出手段（例えば、実施の形態でのステップＳ３４）と、前記グレースケール画像上において、前記２値化対象物抽出手段により抽出された前記２値化対象物の上端（例えば、実施の形態での上端位置ＯＢＪ＿ＴＯＰ）または下端（例えば、実施の形態での下端位置ＯＢＪ＿ＢＯＴ）から所定範囲以内に前記水平エッジ検出手段により検出された前記水平エッジが存在するか否かを判定する水平エッジ判定手段（例えば、実施の形態でのステップＳ３４が兼ねる）と、前記水平エッジ判定手段の判定結果に基づき対象物の種別を判定する対象物種別判定手段（例えば、実施の形態でのステップＳ３４が兼ねる）とを備えることを特徴としている。

上記の車両周辺監視装置によれば、２値化対象物の上端または下端から所定範囲以内に水平エッジが検出され難い対象物の種別として人工構造物と、人工構造物以外、例えば２値化対象物の上端または下端で水平エッジが検出され易い歩行者とを的確に判別することができる。

さらに、請求項２に記載の本発明の車両周辺監視装置は、前記画像に基づき自車両の外界に存在する歩行者を認識する歩行者認識手段（例えば、実施の形態でのステップＳ３５）を備え、該歩行者認識手段は、前記対象物種別判定手段により人工構造物以外あるいは歩行者であると判定された前記対象物に対して歩行者認識処理を実行することを特徴としている。

上記の車両周辺監視装置によれば、歩行者であると判定された対象物に加えて、人工構造物以外であると判定された対象物に対して歩行者認識処理を実行することにより、歩行者の認識精度を向上させることができる。

さらに、請求項３に記載の本発明の車両周辺監視装置は、前記対象物種別判定手段により人工構造物以外あるいは歩行者であると判定された前記対象物に対して警報を出力する警報出力手段（例えば、実施の形態でのステップＳ１９）を備えることを特徴としている。

上記の車両周辺監視装置によれば、歩行者であると判定された対象物に加えて、人工構造物以外であると判定された対象物に対して警報を出力することから、人工構造物に対して不必要な警報を出力してしまうことを防止することができる。

以上説明したように、請求項１に記載の本発明の車両周辺監視装置によれば、２値化対象物の上端または下端から所定範囲以内に水平エッジが検出され難い対象物の種別として人工構造物と、人工構造物以外、例えば２値化対象物の上端または下端で水平エッジが検出され易い歩行者とを的確に判別することができる。
さらに、請求項２に記載の本発明の車両周辺監視装置によれば、歩行者の認識精度を向上させることができる。
さらに、請求項３に記載の本発明の車両周辺監視装置によれば、人工構造物に対して不必要な警報を出力してしまうことを防止することができる。

以下、本発明の一実施形態に係る車両周辺監視装置について添付図面を参照しながら説明する。
本実施の形態による車両周辺監視装置は、例えば図１に示すように、車両周辺監視装置を制御するＣＰＵ（中央演算装置）を備えた画像処理ユニット１と、遠赤外線を検出可能な２つの赤外線カメラ２Ｒ，２Ｌと、自車両のヨーレートを検出するヨーレートセンサ３と、自車両の走行速度（車速）を検出する車速センサ４と、運転者によるブレーキ操作の有無を検出するブレーキセンサ５と、スピーカ６と、表示装置７とを備えて構成され、例えば、画像処理ユニット１は２つの赤外線カメラ２Ｒ，２Ｌの撮影により得られる自車両周辺の赤外線画像と、各センサ３，４，５により検出される自車両の走行状態に係る検出信号とから、自車両の進行方向前方の歩行者や動物等の移動体を検出し、検出した移動体と自車両との接触が発生する可能性があると判断したときに、スピーカ６または表示装置７を介して警報を出力するようになっている。
なお、表示装置７は、例えば自車両の各種走行状態量を表示する計器類と一体化された表示装置やナビゲーション装置の表示装置、さらにフロントウィンドウにおいて運転者の前方視界を妨げない位置に各種情報を表示するＨＵＤ（Head Up Display）７ａ等を備えて構成されている。

また、画像処理ユニット１は、入力アナログ信号をディジタル信号に変換するＡ／Ｄ変換回路と、ディジタル化した画像信号を記憶する画像メモリと、各種演算処理を行うＣＰＵ（中央演算装置）と、ＣＰＵが演算途中のデータを記憶するために使用するＲＡＭ（Random Access Memory）と、ＣＰＵが実行するプログラムやテーブル、マップなどを記憶するＲＯＭ（Read Only Memory）と、スピーカ６の駆動信号やＨＵＤ７ａ等の表示信号などを出力する出力回路とを備えており、赤外線カメラ２Ｒ，２Ｌおよび各センサ３，４，５から出力される信号は、ディジタル信号に変換されてＣＰＵに入力されるように構成されている。

なお、例えば図２に示すように、赤外線カメラ２Ｒ，２Ｌは、自車両１０の前部に、自車両１０の車幅方向中心部に対してほぼ対象な位置に配置されており、２つの赤外線カメラ２Ｒ，２Ｌの光軸が互いに平行であって、かつ両者の路面からの高さが等しくなるように固定されている。なお、赤外線カメラ２Ｒ，２Ｌは、対象物の温度が高いほど、出力信号レベルが高くなる（つまり、輝度が増大する）特性を有している。
また、ＨＵＤ７ａは、自車両１０のフロントウインドウの運転者の前方視界を妨げない位置に表示画面が表示されるように設けられている。

本実施の形態による車両周辺監視装置は上記構成を備えており、次に、この車両周辺監視装置の動作について添付図面を参照しながら説明する。
以下に、画像処理ユニット１における歩行者等の対象物検出および警報出力の動作について説明する。
まず、図３に示すステップＳ１において、画像処理ユニット１は、赤外線カメラ２Ｒ，２Ｌの出力信号である赤外線画像を取得する。
次に、ステップＳ２においては、取得した赤外線画像をＡ／Ｄ変換する。
次に、ステップＳ３においては、中間階調情報を含むグレースケール画像を取得して、画像メモリに格納する。なお、ここでは赤外線カメラ２Ｒにより右画像が得られ、赤外線カメラ２Ｌにより左画像が得られる。また、右画像と左画像とでは、同一の対象物の表示画面上の水平位置がずれて表示されるので、このずれ（つまり、視差）により自車両１０から対象物までの距離を算出することができる。

次に、ステップＳ４においては、赤外線カメラ２Ｒにより得られた右画像を基準画像とし、この画像信号の２値化処理、すなわち所定輝度閾値ＩＴＨより明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理を行う。
なお、以下のステップＳ４〜ステップＳ９の処理は、２値化処理により得た基準画像（例えば、右画像）について実行する。
次に、ステップＳ５においては、赤外線画像に２値化処理を実行して得た画像データをランレングスデータに変換する。ランレングスデータでは、２値化処理により白となった領域を画素レベルでラインとして表示し、各ラインはｙ方向に１画素の幅を有し、ｘ方向に適宜の画素数の長さを有するように設定されている

次に、ステップＳ６においては、ランレングスデータに変換された画像データにおいて、対象物のラベリングを行う。
次に、ステップＳ７においては、対象物のラベリングに応じて対象物を抽出する。ここでは、ランレングスデータにおける各ラインのうち、同等のｘ方向座標を含むライン同士がｙ方向で隣接する場合に、隣接するラインが単一の対象物を構成しているとみなす。
次に、ステップＳ８においては、抽出した対象物の重心Ｇと、面積Ｓと、外接四角形の縦横比ＡＳＰＥＣＴとを算出する。

ここで、面積Ｓは、ラベルＡの対象物のランレングスデータを（ｘ［ｉ］、ｙ［ｉ］、ｒｕｎ［ｉ］、Ａ）（ｉ＝０，１，２，…，Ｎ−１；Ｎは任意の自然数）とすると、各ランレングスデータの長さ（ｒｕｎ［ｉ］−１）を同一対象物において積算することにより算出する。
また、ラベルＡの対象物の重心Ｇの座標（ｘｃ、ｙｃ）は、各ランレングスデータの長さ（ｒｕｎ［ｉ］−１）と、各ランレングスデータの座標ｘ［ｉ］またはｙ［ｉ］とを乗算して得た値（つまり、（ｒｕｎ［ｉ］−１）×ｘ［ｉ］または（ｒｕｎ［ｉ］−１）×ｙ［ｉ］）を同一対象物において積算して得た値を、面積Ｓで除算することにより算出する。
さらに、縦横比ＡＳＰＥＣＴは、ラベルＡの対象物の外接四角形の縦方向の長さＤｙと横方向の長さＤｘとの比Ｄｙ／Ｄｘとして算出する。
なお、ランレングスデータは画素数（座標数）（＝ｒｕｎ［ｉ］）で示されているので、実際の長さは「−１」する必要がある（＝ｒｕｎ［ｉ］−１）。また、重心Ｇの座標は、外接四角形の重心座標で代用してもよい。

次に、ステップＳ９およびステップＳ１０の処理と、ステップＳ１１〜ステップＳ１３の処理とを並行して実行する。
まず、ステップＳ９においては、対象物の時刻間追跡、すなわちサンプリング周期毎の同一対象物の認識を行う。この時刻間追跡は、アナログ量としての時刻ｔをサンプリング周期で離散化した時刻をｋとし、例えば時刻ｋで対象物Ａ、Ｂを抽出した場合、時刻（ｋ＋１）で抽出した対象物Ｃ、Ｄと対象物Ａ、Ｂとの同一性判定を行う。そして、対象物Ａ、Ｂと対象物Ｃ、Ｄとが同一であると判定された場合には、対象物Ｃ、Ｄのラベルをそれぞれ対象物Ａ、Ｂのラベルに変更する。そして、認識された各対象物の位置座標（例えば、重心等）を、時系列位置データとして適宜のメモリに格納する。

次に、ステップＳ１０においては、車速センサ４により検出された車速ＶＣＡＲおよびヨーレートセンサ３より検出されたヨーレートＹＲを取得し、ヨーレートＹＲを時間積分して、自車両１０の回頭角θｒを算出する。

一方、ステップＳ９およびステップＳ１０の処理に並行して実行されるステップＳ１１〜ステップＳ１３においては、対象物と自車両１０との距離ｚを算出する。なお、このステップＳ１１の処理は、ステップＳ９およびステップＳ１０の処理よりも長い演算時間を要することから、ステップＳ９およびステップＳ１０よりも長い周期（例えば、ステップＳ１〜ステップＳ１０の実行周期の３倍程度の周期等）で実行されるようになっている。
先ず、ステップＳ１１においては、基準画像（例えば、右画像）を２値化処理して得た画像データ上で追跡される複数の対象物のうちから１つの対象物を選択し、例えば選択した対象物を外接四角形で囲む領域全体を探索画像Ｒ１として基準画像（例えば、右画像）から抽出する。

次に、ステップＳ１２においては、基準画像（例えば、右画像）に対応する画像（例えば、左画像）中から探索画像Ｒ１に対応する画像（対応画像）Ｒ２を探索する探索領域を設定し、相関演算を実行して対応画像Ｒ２を抽出する。ここでは、例えば探索画像Ｒ１の各頂点座標に応じて、左画像中に探索領域を設定し、探索領域内で探索画像Ｒ１との相関の高さを示す輝度差分総和値Ｃ（ａ，ｂ）を算出し、この総和値Ｃ（ａ，ｂ）が最小となる領域を対応画像Ｒ２として抽出する。なお、この相関演算は、２値化処理して得た画像データではなく、グレースケール画像に対して実行する。また、同一対象物についての過去の位置データが存在する場合には、過去の位置データに基づいて探索領域を狭めることが可能である。

次に、ステップＳ１３においては、探索画像Ｒ１の重心位置と、対応画像Ｒ２の重心位置と、画素数単位での視差Δｄとを算出し、さらに、自車両１０と対象物との距離つまり赤外線カメラ２Ｒ，２Ｌのレンズと対象物との距離（対象物距離）ｚ（ｍ）を、例えば下記数式（１）に示すように、カメラ基線長、つまり赤外線カメラ２Ｒ，２Ｌの各撮像素子の中心位置間の水平距離Ｄ（ｍ）と、カメラ焦点距離、つまり赤外線カメラ２Ｒ，２Ｌの各レンズの焦点距離ｆ（ｍ）と、画素ピッチｐ（ｍ／ｐｉｘｅｌ）と、視差Δｄ（ｐｉｘｅｌ）とに基づき算出する。

そして、ステップＳ１４においては、ステップＳ１０での回頭角θｒの算出と、ステップＳ１３での距離ｚの算出との完了後に、例えば下記数式（２）に示すように、画像データ上での対象物の座標（ｘ，ｙ）および距離ｚを実空間座標（Ｘ，Ｙ，Ｚ）に変換する。
ここで、実空間座標（Ｘ，Ｙ，Ｚ）は、例えば図２に示すように、自車両１０の前部における赤外線カメラ２Ｒ，２Ｌの取り付け位置の中点の位置を原点Ｏとして設定され、画像データ上の座標は、画像データの中心を原点として水平方向をｘ方向、垂直方向をｙ方向として設定されている。また、座標（ｘｃ，ｙｃ）は、基準画像（例えば、右画像）上の座標（ｘ，ｙ）を、赤外線カメラ２Ｒの取付位置と、実空間の原点Ｏとの相対位置関係に基づいて、実空間の原点Ｏと画像データの中心とを一致させて得た仮想的な画像上の座標に変換して得た座標である。

次に、ステップＳ１５においては、自車両１０が回頭することによる画像上の位置ずれを補正するための回頭角補正を行う。この回頭角補正は、時刻ｋから時刻（ｋ＋１）までの期間中に自車両１０が、例えば左方向に回頭角θｒだけ回頭すると、赤外線カメラ２Ｒ，２Ｌによって得られる画像データ上では、画像データの範囲がΔｘだけｘ方向にずれるのことを補正する処理であり、例えば下記数式（３）に示すように、実空間座標（Ｘ，Ｙ，Ｚ）を補正して得た補正座標（Ｘｒ，Ｙｒ，Ｚｒ）を、新たに実空間座標（Ｘ，Ｙ，Ｚ）として設定する。

次に、ステップＳ１６においては、同一対象物について所定時間ΔＴのモニタ期間内に得られた回頭角補正後のＮ（例えば、Ｎ＝１０程度）個の時系列データをなす実空間位置データから、対象物と自車両１０との相対移動ベクトルに対応する近似直線ＬＭＶを算出する。
このステップＳ１６においては、最新の位置座標Ｐ（０）＝（Ｘ（０），Ｙ（０），Ｚ（０））と、（Ｎ−１）サンプル前（つまり、所定時間ΔＴ前）の位置座標Ｐ（Ｎ−１）＝（Ｘ（Ｎ−１），Ｙ（Ｎ−１），Ｚ（Ｎ−１））とを、近似直線ＬＭＶ上の位置に補正し、補正後の位置座標Ｐｖ（０）＝（Ｘｖ（０），Ｙｖ（０），Ｚｖ（０））およびＰｖ（Ｎ−１）＝（Ｘｖ（Ｎ−１），Ｙｖ（Ｎ−１），Ｚｖ（Ｎ−１））を算出する。
これにより、位置座標Ｐｖ（Ｎ−１）からＰｖ（０）に向かうベクトルとして、相対移動ベクトルが得られる。
このように所定時間ΔＴのモニタ期間内の複数（例えば、Ｎ個）の実空間位置データから対象物の自車両１０に対する相対移動軌跡を近似する近似直線を算出して相対移動ベクトルを求めることにより、位置検出誤差の影響を軽減して自車両１０と対象物との接触発生の可能性を精度良く予測することが可能となる。

次に、ステップＳ１７においては、例えば検出した対象物と自車両１０との接触発生の可能性の有無等に応じた警報判定処理において、検出した対象物が警報対象であるか否かを判定する。
この判定結果が「ＮＯ」の場合には、ステップＳ１へ戻り、上述したステップＳ１〜ステップＳ１７の処理を繰り返す。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ１８に進む。
そして、ステップＳ１８においては、例えばブレーキセンサ５の出力ＢＲに基づく自車両１０の運転者がブレーキ操作を行っているか否か等に応じた警報出力判定処理において、警報出力が必要か否かを判定する。
ステップＳ１８の判定結果が「ＮＯ」の場合、例えば自車両１０の運転者がブレーキ操作を行っている場合に発生する加速度Ｇｓ（減速方向を正とする）が所定閾値ＧＴＨよりも大きいとき場合には、運転者のブレーキ操作により接触発生が回避されると判断して、判定して、ステップＳ１へ戻り、上述したステップＳ１〜ステップＳ１８の処理を繰り返す。
一方、ステップＳ１８の判定結果が「ＹＥＳ」の場合、例えば自車両１０の運転者がブレーキ操作を行っている場合に発生する加速度Ｇｓ（減速方向を正とする）が所定閾値ＧＴＨ以下である場合、あるいは、自車両１０の運転者がブレーキ操作を行っていない場合には、 一方、ステップＳ１８の判定結果が「ＹＥＳ」の場合には、接触発生の可能性が高いと判断して、ステップＳ１９に進む。
なお、所定閾値ＧＴＨは、ブレーキ操作中の加速度Ｇｓが維持された場合に、対象物と自車両１０との間の距離が所定の距離Ｚｖ（０）以下で自車両１０が停止する状態に対応する値である。

そして、ステップＳ１９においては、例えばスピーカ６を介した音声等の聴覚的警報や、例えば表示装置７を介した表示等の視覚的警報や、例えばシートベルトに所定の張力を発生させて運転者が触覚的に知覚可能な締め付け力を作用させたり、例えばステアリングホイールに運転者が触覚的に知覚可能な振動（ステアリング振動）を発生させることによる触覚的警報を出力する。
次に、ステップＳ２０においては、表示装置７に対して、例えば赤外線カメラ２Ｒにより得られる画像データを出力し、相対的に接近する対象物を強調映像として表示する。

以下に、上述したステップＳ１７における警報判定処理について添付図面を参照しながら説明する。
この警報判定処理は、例えば図４に示すように、衝突判定処理と、接近判定領域内か否かの判定処理と、進入衝突判定処理と、人工構造物判定処理と、歩行者判定処理とにより、自車両１０と検出した対象物との接触発生の可能性を判定する処理である。なお、以下においては、例えば図５に示すように、自車両１０の進行方向（例えば、Ｚ方向）に対してほぼ直交する方向において速度Ｖｐで移動する対象物２０が存在する場合を参照して説明する。

まず、図４に示すステップＳ３１においては、衝突判定処理を行う。この衝突判定処理では、例えば図５において、対象物２０が所定時間ΔＴの間に、自車両１０の進行方向に平行な方向に沿って距離Ｚｖ（Ｎ−１）から距離Ｚｖ（０）に接近した場合に、自車両１０のＺ方向での相対速度Ｖｓを算出し、自車両１０と対象物２０とが所定地上高Ｈ以内で相対速度Ｖｓを維持して移動すると仮定した場合に、所定の余裕時間Ｔｓ以内に自車両１０と対象物２０とが接触するか否かを判定する。
この判定結果が「ＮＯ」の場合には、後述するステップＳ３７に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ３２に進む。
なお、余裕時間Ｔｓは、接触発生の可能性を、予測される接触発生時刻よりも所定時間Ｔｓだけ以前のタイミングで判定するための時間であって、例えば２〜５秒程度に設定される。また、所定地上高Ｈは、例えば自車両１０の車高の２倍程度の値に設定される。

次に、ステップＳ３２においては、検出した対象物が所定の接近判定領域内に存在するか否かを判定する。この判定処理では、例えば図６に示すように、赤外線カメラ２Ｒ，２Ｌで監視可能な領域ＡＲ０内において、自車両１０から距離（Ｖｓ×Ｔｓ）だけ前方の位置Ｚ１よりも手前の領域であって、車両横方向（つまり、Ｘ方向）において自車両１０の車幅αの両側に所定幅β（例えば、５０〜１００ｃｍ程度）を加算して得た幅（α＋２β）を有する所定地上高Ｈの領域ＡＲ１、すなわち対象物が存在し続ければ自車両１０との接触発生の可能性が極めて高い接近判定領域ＡＲ１内に対象物が存在するか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、後述するステップＳ３４に進む。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ３３に進む。

そして、ステップＳ３３においては、対象物が接近判定領域内に進入して自車両１０と接触する可能性があるか否かを判定する進入衝突判定処理を行う。この進入衝突判定処理では、例えば図６に示すように、車両横方向（つまり、Ｘ方向）において接近判定領域ＡＲ１の外側に存在する所定地上高Ｈの進入判定領域ＡＲ２、ＡＲ３内に存在する対象物が、移動して接近判定領域ＡＲ１に進入すると共に自車両１０と接触する可能性があるか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、後述するステップＳ３６に進む。
一方、この判定結果が「ＮＯ」の場合には、後述するステップＳ３７に進む。

そして、ステップＳ３４においては、対象物が人工構造物であるか否かを判定する人工構造物判定処理を行う。この人工構造物判定処理では、後述するように、例えば歩行者にはあり得ない特徴が検出された場合に対象物は人工構造物であると判定し、警報の対象から除外する。
この判定結果が「ＮＯ」の場合には、ステップＳ３５に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ３７に進む。
そして、ステップＳ３５においては、対象物が歩行者である可能性があるか否かを判定する歩行者判定処理を行う。
ステップＳ３５の判定結果が「ＹＥＳ」の場合には、ステップＳ３６に進む。
一方、ステップＳ３５の判定結果が「ＮＯ」の場合には、後述するステップＳ３７に進む。

そして、ステップＳ３６においては、上述したステップＳ３３において対象物が接近判定領域内へ進入して自車両１０と接触する可能性がある場合（ステップＳ３３のＹＥＳ）、あるいは、ステップＳ３５において人工構造物ではないと判定された対象物が歩行者であると判定された場合（ステップＳ３５のＹＥＳ）には、検出した対象物と自車両１０との接触発生の可能性があると判断して、対象物は警報の対象であると判定し、一連の処理を終了する。
一方、ステップＳ３７においては、上述したステップＳ３１において所定の余裕時間Ｔｓ以内に自車両１０と対象物とが接触する可能性がない場合（ステップＳ３１のＮＯ）、あるいは、ステップＳ３３において対象物が接近判定領域内へ進入して自車両１０と接触する可能性がない場合（ステップＳ３３のＮＯ）、あるいは、ステップＳ３４において対象物が人工構造物であると判定された場合（ステップＳ３４のＹＥＳ）、あるいはステップＳ３４において人工構造物ではないと判定された対象物がさらに歩行者ではないと判定された場合（ステップＳ３５のＮＯ）には、検出した対象物と自車両１０との接触発生の可能性がないと判断して、対象物は警報の対象ではないと判定し、一連の処理を終了する。

以下に、上述したステップＳ３４での人工構造物判定処理として、歩行者の形状、特に頭部の形状と類似した大きさおよび高さ位置を有して発熱する人工構造物を判別する処理について説明する。

この人工構造物判定処理では、例えば図７に示すように、基準画像（例えば、赤外線カメラ２Ｒにより得られた右画像）上において、２値化対象物ＯＢを含む領域であって、水平エッジの検出対象となる対象領域（マスク）ＯＡを設定する。
例えば２値化対象物ＯＢの外接四角形ＱＢの左上頂点ＱＬの座標（ｘｂ，ｙｂ）と、外接四角形の幅Ｗｂと、外接四角形の高さＨｂとに対して、マスクＯＡの幅ｄｘＰを所定値（例えば、外接四角形の幅Ｗｂ＋２×所定値Ｍ＿Ｗ；ただし、所定値Ｍ＿Ｗは１ｐｉｘｅｌ等）とし、マスクＯＡの高さｄｙＰを所定値（例えば、２×所定値Ｍ＿Ｈ；ただし、所定値Ｍ＿Ｈは、実空間の所定高さＭＡＳＫ＿Ｈ（例えば、３０ｃｍ等）を画像上に展開した値であって、所定値Ｍ＿Ｈ＝焦点距離ｆ×所定高さＭＡＳＫ＿Ｈ／対象物距離ｚ）とすれば、マスクＯＡの左上頂点ＡＬの座標（ｘＰ，ｙＰ）は、（ｘＰ＝ｘｂ−Ｍ＿Ｗ，ｙＰ＝ｙｂ−Ｍ＿Ｈ）となる。
そして、グレースケール画像上のマスクＯＡ内に対して水平エッジ検出用の適宜のエッジフィルタを作用させて得たエッジフィルタ出力値Ｋｉｄｏ＿ｂｕｆｆが所定閾値ＫＩＤＯ＿ＦＩＬ＿ＴＨ（例えば、１０階調）よりも大きいか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、水平エッジが存在すると設定する。
一方、この判定結果が「ＮＯ」の場合には、水平エッジが存在しないと設定する。

そして、例えば図８に示すように、マスクＯＡ内に設定した各水平ラインＩ（Ｉは整数であって、Ｉ＝０，…，ｄｙＰ−１）毎に、水平ラインを構成する全画素数に対する水平エッジが存在すると判定された画素数（エッジ検出画素数）の割合、つまり水平エッジの含有率ＲＡＴＥ（Ｉ）（＝１００×エッジ検出画素数×（ｄｘＰ−２×Ｍ＿Ｗ））を算出する。
そして、水平エッジの含有率ＲＡＴＥ（Ｉ）が所定閾値ＲＡＴＥ＿ＴＨ（例えば、５０％等）よりも大きい（ＲＡＴＥ（Ｉ）＞ＲＡＴＥ＿ＴＨ）水平ラインＩに含まれる水平エッジのうち、例えば図９に示すように、水平エッジの高さ位置が最大（つまり鉛直方向で最も上方の位置）となる水平エッジの高さ位置をエッジ検出位置ｊ＿ＦＬ＿ＴＯＰとして設定する。
そして、ランレングスデータに変換された画像データから検出される２値化対象物の上端位置ＯＢＪ＿ＴＯＰと、エッジ検出位置ｊ＿ＦＬ＿ＴＯＰとの差分（｜ＯＢＪ＿ＴＯＰ−ｊ＿ＦＬ＿ＴＯＰ｜）が所定閾値ＤＩＦＦ＿Ｈ＿ＴＨよりも大きいか否かを判定する。
なお、所定閾値ＤＩＦＦ＿Ｈ＿ＴＨは、例えば実空間の所定高さＨ＿ＴＨ（例えば、１０ｃｍ等）を画像上に展開した値であって、所定閾値ＤＩＦＦ＿Ｈ＿ＴＨ＝焦点距離ｆ×所定高さＨ＿ＴＨ／対象物距離ｚである。

この判定結果が「ＮＯ」の場合、つまり２値化対象物の上端位置ＯＢＪ＿ＴＯＰと、エッジ検出位置ｊ＿ＦＬ＿ＴＯＰとが略同等の位置となる場合には、例えば図１０に示すように、２値化対象物の上端位置ＯＢＪ＿ＴＯＰと略同等の位置に、輝度値の減少が相対的に急峻となる水平エッジの最大の高さ位置（エッジ検出位置ｊ＿ＦＬ＿ＴＯＰ）が検出されたと判断して、２値化対象物が縦方向（例えば鉛直方向上方）に伸びる人工構造物以外（例えば、歩行者の頭部等）であると判定して、一連の処理を終了する。
一方、この判定結果が「ＹＥＳ」の場合、つまり２値化対象物の上端位置ＯＢＪ＿ＴＯＰと、エッジ検出位置ｊ＿ＦＬ＿ＴＯＰとの差異が相対的に大きい場合には、例えば縦方向における輝度値の減少が相対的に緩やかであって、２値化対象物が縦方向（例えば鉛直方向上方）に伸びる人工構造物であると判定して、一連の処理を終了する。
すなわち、２値化対象物が縦方向（例えば鉛直方向上方）に伸びる人工構造物であって、縦方向に沿った輝度値の変化が相対的に緩やかである場合には、例えば、輝度値が最大となるピーク位置近傍のみで水平エッジが検出され、輝度値が減少傾向に変化する領域では水平エッジが検出され難くなり、２値化対象物の上端位置ＯＢＪ＿ＴＯＰと、エッジ検出位置ｊ＿ＦＬ＿ＴＯＰとの差異が相対的に大きくなる。

上述したように、本実施の形態による車両周辺監視装置によれば、２値化対象物の上端位置ＯＢＪ＿ＴＯＰから所定閾値ＤＩＦＦ＿Ｈ＿ＴＨ以内に水平エッジが検出され難い対象物の種別として縦方向（例えば鉛直方向上方）に伸びる人工構造物と、この人工構造物以外、例えば２値化対象物の上端位置ＯＢＪ＿ＴＯＰで水平エッジが検出され易い歩行者とを的確に判別することができる。

なお、上述した実施の形態においては、２値化対象物の上端位置ＯＢＪ＿ＴＯＰと、エッジ検出位置ｊ＿ＦＬ＿ＴＯＰとの差異が所定閾値ＤＩＦＦ＿Ｈ＿ＴＨよりも大きい場合には、２値化対象物が縦方向（例えば鉛直方向上方）に伸びる人工構造物であると判定したが、これに限定されず、例えば２値化対象物の下端位置ＯＢＪ＿ＢＯＴと、エッジ検出位置ｊ＿ＦＬ＿ＢＯＴとの差異が所定閾値ＤＩＦＦ＿Ｈ＿ＴＨよりも大きい場合には、２値化対象物が縦方向（例えば鉛直方向下方）に伸びる人工構造物であると判定してもよい。
すなわち、この変形例に係る人工構造物判定処理では、例えば図１１に示すように、基準画像（例えば、赤外線カメラ２Ｒにより得られた右画像）上において、少なくとも２値化対象物ＯＢの下部を含む領域であって、水平エッジの検出対象となる対象領域（マスク）ＯＡを設定する。

例えば２値化対象物ＯＢの外接四角形ＱＢの左上頂点ＱＬの座標（ｘｂ，ｙｂ）と、外接四角形の幅Ｗｂと、外接四角形の高さＨｂとに対して、マスクＯＡの幅ｄｘＰを所定値（例えば、外接四角形の幅Ｗｂ＋２×所定値Ｍ＿Ｗ；ただし、所定値Ｍ＿Ｗは１ｐｉｘｅｌ等）とし、マスクＯＡの高さｄｙＰを所定値（例えば、２×所定値Ｍ＿Ｈ；ただし、所定値Ｍ＿Ｈは、実空間の所定高さＭＡＳＫ＿Ｈ（例えば、３０ｃｍ等）を画像上に展開した値であって、所定値Ｍ＿Ｈ＝焦点距離ｆ×所定高さＭＡＳＫ＿Ｈ／対象物距離ｚ）とすれば、マスクＯＡの左上頂点ＡＬの座標（ｘＰ，ｙＰ）は、（ｘＰ＝ｘｂ−Ｍ＿Ｗ，ｙＰ＝ｙｂ＋Ｈｂ−Ｍ＿Ｈ）となる。
そして、グレースケール画像上のマスクＯＡ内に対して水平エッジ検出用の適宜のエッジフィルタを作用させて得たエッジフィルタ出力値Ｋｉｄｏ＿ｂｕｆｆが所定閾値ＫＩＤＯ＿ＦＩＬ＿ＴＨ（例えば、１０階調）よりも大きいか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、水平エッジが存在すると設定する。
一方、この判定結果が「ＮＯ」の場合には、水平エッジが存在しないと設定する。

そして、例えば図１２に示すように、マスクＯＡ内に設定した各水平ラインＩ（Ｉは整数であって、Ｉ＝０，…，ｄｙＰ−１）毎に、水平ラインを構成する全画素数に対する水平エッジが存在すると判定された画素数（エッジ検出画素数）の割合、つまり水平エッジの含有率ＲＡＴＥ（Ｉ）（＝１００×エッジ検出画素数×（ｄｘＰ−２×Ｍ＿Ｗ））を算出する。
そして、水平エッジの含有率ＲＡＴＥ（Ｉ）が所定閾値ＲＡＴＥ＿ＴＨ（例えば、５０％等）よりも大きい（ＲＡＴＥ（Ｉ）＞ＲＡＴＥ＿ＴＨ）水平ラインＩに含まれる水平エッジのうち、例えば図９に示すように、水平エッジの高さ位置が最小（つまり鉛直方向で最も下方の位置）となる水平エッジの高さ位置をエッジ検出位置ｊ＿ＦＬ＿ＢＯＴとして設定する。
そして、ランレングスデータに変換された画像データから検出される２値化対象物の下端位置ＯＢＪ＿ＢＯＴと、エッジ検出位置ｊ＿ＦＬ＿ＢＯＴとの差分（｜ＯＢＪ＿ＢＯＴ−ｊ＿ＦＬ＿ＢＯＴ｜）が所定閾値ＤＩＦＦ＿Ｈ＿ＴＨよりも大きいか否かを判定する。
なお、所定閾値ＤＩＦＦ＿Ｈ＿ＴＨは、例えば実空間の所定高さＨ＿ＴＨ（例えば、１０ｃｍ等）を画像上に展開した値であって、所定閾値ＤＩＦＦ＿Ｈ＿ＴＨ＝焦点距離ｆ×所定高さＨ＿ＴＨ／対象物距離ｚである。

この判定結果が「ＮＯ」の場合、つまり２値化対象物の下端位置ＯＢＪ＿ＢＯＴと、エッジ検出位置ｊ＿ＦＬ＿ＢＯＴとが略同等の位置となる場合には、例えば図１３に示すように、２値化対象物の下端位置ＯＢＪ＿ＢＯＴと略同等の位置に、輝度値の減少が相対的に急峻となる水平エッジの最小の高さ位置（エッジ検出位置ｊ＿ＦＬ＿ＢＯＴ）が検出されたと判断して、２値化対象物が縦方向（例えば鉛直方向下方）に伸びる人工構造物以外（例えば、歩行者の胴体等）であると判定して、一連の処理を終了する。
一方、この判定結果が「ＹＥＳ」の場合、つまり２値化対象物の下端位置ＯＢＪ＿ＢＯＴと、エッジ検出位置ｊ＿ＦＬ＿ＢＯＴとの差異が相対的に大きい場合には、例えば縦方向における輝度値の減少が相対的に緩やかであって、２値化対象物が縦方向（例えば鉛直方向下方）に伸びる人工構造物であると判定して、一連の処理を終了する。

すなわち、２値化対象物が縦方向（例えば鉛直方向下方）に伸びる人工構造物であって、縦方向に沿った輝度値の変化が相対的に緩やかである場合には、例えば、輝度値が最大となるピーク位置近傍のみで水平エッジが検出され、輝度値が減少傾向に変化する領域では水平エッジが検出され難くなり、２値化対象物の下端位置ＯＢＪ＿ＢＯＴと、エッジ検出位置ｊ＿ＦＬ＿ＢＯＴとの差異が相対的に大きくなる。
この変形例においては、２値化対象物の下端位置ＯＢＪ＿ＢＯＴから所定閾値ＤＩＦＦ＿Ｈ＿ＴＨ以内に水平エッジが検出され難い対象物の種別として縦方向（例えば鉛直方向下方）に伸びる人工構造物と、この人工構造物以外、例えば２値化対象物の下端位置ＯＢＪ＿ＢＯＴで水平エッジが検出され易い歩行者とを的確に判別することができる。

本発明の実施の形態に係る車両周辺監視装置の構成を示すブロック図である。 図１に示す車両周辺監視装置を搭載した車両を示す図である。 図１に示す車両周辺監視装置の動作を示すフローチャートである。 図３に示す警報判定処理を示すフローチャートである。 自車両と対象物との相対位置の一例を示す図である。 車両前方に設定される接近判定領等の領域区分の一例を示す図である。 ２値化対象物ＯＢを含む領域であって、水平エッジの検出対象となる対象領域（マスク）ＯＡの一例を示す図である。 図７に示すマスクＯＡ内にて検出された水平エッジの一例を示す図である。 水平エッジの高さ位置が最大（つまり鉛直方向で最も上方の位置）となるエッジ検出位置ｊ＿ＦＬ＿ＴＯＰの一例を示す図である。 エッジ検出位置ｊ＿ＦＬ＿ＴＯＰと２値化対象物の上端位置ＯＢＪ＿ＴＯＰとの一例を示す図である。 少なくとも２値化対象物ＯＢの下部を含む領域であって、水平エッジの検出対象となる対象領域（マスク）ＯＡの一例を示す図である。 図１１に示すマスクＯＡ内にて検出された水平エッジの一例を示す図である。 エッジ検出位置ｊ＿ＦＬ＿ＢＯＴと２値化対象物の下端位置ＯＢＪ＿ＢＯＴとの一例を示す図である。

符号の説明

１ 画像処理ユニット
２Ｒ，２Ｌ 赤外線カメラ（赤外線撮像手段）
３ ヨーレートセンサ
４ 車速センサ
５ ブレーキセンサ
６ スピーカ
７ 表示装置
１０ 自車両
ステップＳ７ ２値化対象物抽出手段
ステップＳ１９ 警報出力手段
ステップＳ３４ 水平エッジ検出手段、水平エッジ判定手段、対象物種別判定手段
ステップＳ３５ 歩行者認識手段

Claims (3)

1. 赤外線撮像手段の撮像により得られた画像に基づき自車両の外界に存在する物体を対象物として抽出する車両周辺監視装置であって、
   前記画像のグレースケール画像を２値化処理して得た画像データから２値化対象物を抽出する２値化対象物抽出手段と、
   前記グレースケール画像上において水平エッジを検出する水平エッジ検出手段と、
   前記グレースケール画像上において、前記２値化対象物抽出手段により抽出された前記２値化対象物の上端または下端から所定範囲以内に前記水平エッジ検出手段により検出された前記水平エッジが存在するか否かを判定する水平エッジ判定手段と、
   前記水平エッジ判定手段の判定結果に基づき対象物の種別を判定する対象物種別判定手段と
   を備えることを特徴とする車両周辺監視装置。
2. 前記画像に基づき自車両の外界に存在する歩行者を認識する歩行者認識手段を備え、
   該歩行者認識手段は、前記対象物種別判定手段により人工構造物以外あるいは歩行者であると判定された前記対象物に対して歩行者認識処理を実行することを特徴とする請求項１に記載の車両周辺監視装置。
3. 前記対象物種別判定手段により人工構造物以外あるいは歩行者であると判定された前記対象物に対して警報を出力する警報出力手段を備えることを特徴とする請求項１または請求項２に記載の車両周辺監視装置。
   
   

Images