JP2009259086A - 車両用画像処理装置、立体物判定方法及び画像処理プログラム - Google Patents

Abstract

【課題】車両前方の撮影画像に基づく立体物判定を前方物体までの距離に関係なく良好に行う。
【解決手段】立体物判定用処理領域決定部１１は、レーダ２２により検出された前方物体についての距離、横位置及び反射強度の情報に基づき、カメラ２１により撮影された撮影画像における前方物体の存在する領域を処理領域として特定する。そして、特定した処理領域の画像を撮影画像から切り出し、立体物判定部１２へ出力する。立体物判定部１２は、立体物判定用処理領域決定部１１から入力した処理領域の画像から検出されるエッジに基づき、前方物体が立体物であるか否かの判定を行う。
【選択図】図１

Description

本発明は、車両前方の撮影画像に基づき立体物を判定するための車両用画像処理装置、立体物判定方法及び画像処理プログラムに関するものである。

近年、車両の前方を撮影する車載カメラを利用して、前方に存在する障害物を検出する技術が提案されている。
例えば特許文献１には、異なる時刻の撮影画像に基づき画像内の物体が道路上の立体物か平面物かを判定する車両用画像処理装置が示されている。この車両用画像処理装置は、車載カメラから異なる時刻Ｔ０，Ｔ１の撮影画像を取得し、また、車両挙動測定装置で車速などを検出する。そして、時刻Ｔ０で得られた画像と車両の走行状態から、画像内の物体が道路上の平面物であると仮定した場合に時刻Ｔ１で得られるであろう位置を算出し、実際に時刻Ｔ１で得られた画像と比較する。この比較の結果、両者が一致すれば物体は平面物であると判定し、一致しない場合には物体は立体物であると判定する。
特開平１０−２２２６７９号公報

しかしながら、前述した特許文献１に記載の構成は、異なる時刻の撮影画像に基づく判定のため、異なる時刻間の時間差が短いと、遠方の物体の画像上の変化量が小さくなり過ぎて、正確な判定結果が得られにくくなってしまう。かといって、時間差を長くすると、近傍の物体の画像上の変化が大きくなり過ぎて、処理負荷が高くなったり正確な判定結果が得られにくくなったりするという問題がある。

本発明は、こうした問題にかんがみてなされたものであり、前方物体までの距離に関係なく良好な判定結果を得ることのできる車両用画像処理装置、立体物判定方法及び画像処理プログラムを提供することを目的としている。

上記目的を達成するためになされた本発明の請求項１に記載の車両用画像処理装置では、画像取得手段が、車両前方の撮影画像を取得し、位置情報取得手段が、車両前方に照射された送信波の反射波に基づく前方物体の位置情報を取得する。そして、領域特定手段が、撮影画像における前方物体の存在する領域を位置情報に基づき特定し、判定手段が、領域特定手段により特定された領域の画像から検出されるエッジに基づき前方物体が立体物であるか否かを判定する。

このような車両用画像処理装置によれば、撮影画像から検出されるエッジに基づく判定のため、前方物体までの距離に関係なく良好な判定結果を得ることができる。特に、本発明の車両用画像処理装置は、単に撮影画像から検出されるエッジに基づき立体物の判定を行うのではなく、撮影画像における前方物体の存在する領域を特定し、その領域の画像から検出されるエッジに基づき判定を行うようにしているため、高い判定精度を実現することができるとともに、処理負荷を低減することができる。

ここで、車両前方の撮影画像には、道路の白線などのように斜め方向のエッジが存在することが多く、その垂直エッジ成分により誤判定が生じる可能性がある。
そこで、請求項２に記載の車両用画像処理装置では、判定手段は、水平エッジ値を差し引いた垂直エッジ値に基づき前方物体が立体物であるか否かを判定する。このような車両用画像処理装置によれば、斜め方向のエッジの垂直エッジ値は水平エッジ値により相殺されるため、斜め方向のエッジの垂直エッジ成分による誤判定を生じにくくすることができる。

ところで、垂直エッジ値に基づき立体物を判定する場合、車両や電柱などのように横幅の比較的小さい物体については垂直エッジ値の最大値に基づく判定が好ましく、建物や路側物などのように横幅が比較的大きく複雑な物体については垂直エッジ値の平均値に基づく判定が好ましい。

そこで、請求項３に記載の車両用画像処理装置では、判定手段は、領域における各画素の垂直エッジ値を垂直方向の列ごとにそれぞれ合計した合計エッジ値の最大値が最大値判定用のしきい値以上であること、及び、合計エッジ値の平均値が平均値判定用のしきい値以上であること、の少なくともいずれか一方の条件が満たされた場合に、立体物であると判定する。このような車両用画像処理装置によれば、前方物体の種類に関係なく立体物を良好に検出することができる。

特に、請求項４に記載のように、位置情報取得手段が、少なくとも反射波の反射強度を取得するものであり、判定手段が、最大値判定用のしきい値及び平均値判定用のしきい値のうち少なくとも一方を、反射強度に応じて変更するようにすれば、判定精度を向上させることが可能となる。例えば、反射強度が高ければ車両の可能性が高いため、しきい値を低く変更して立体物であると判定されやすくすることができる。

一方、請求項５に記載の車両用画像処理装置では、位置情報取得手段は、請求項４と同様、少なくとも反射波の反射強度を取得するものであり、領域特定手段は、反射強度に基づき領域の大きさを変更する。このような車両用画像処理装置によれば、領域の大きさを適切な大きさに変更することで判定精度を向上させることが可能となる。例えば、反射強度が高ければ大型車（トラック）である可能性が高いため、領域を大きくすることでエッジが確実に領域に含まれるようにすることができる。また、前方物体の接近に伴い反射強度が減少する傾向にある場合には道路の情報に設置された看板等である可能性が高いため、領域を小さくすることで立体物と判定されにくくすることができる。

また、請求項６に記載の車両用画像処理装置では、領域特定手段は、前方物体までの距離に応じて領域の位置を補正する。このような車両用画像処理装置によれば、領域の位置を適切な位置に補正することで判定精度を向上させることが可能となる。例えば、前方物体が先行車両である場合、先行車両後面の下端位置は道路よりも高い位置であり、近傍に存在するほど画像上での先行車両の位置と位置情報との差が大きくなるため、領域を上方へ補正することで先行車両の後面が確実に領域に含まれるようにすることができる。なお、対向車両であっても同様である。

また、請求項７に記載の車両用画像処理装置では、領域特定手段は、前方物体が車両であるとした場合に、前方物体までの距離が、その車両の手前面位置までの距離から、その車両の手前側のタイヤの路面接触位置までの距離に補正されるように、領域の位置を上方へ補正する。このような車両用画像処理装置によれば、領域の位置を適切な位置に補正することで判定精度を向上させることが可能となる。すなわち、前方物体が車両（先行車両又は対向車両）である場合、車両の手前面（先行車両であれば車両後面、対向車両であれば車両前面）の下端位置は道路よりも高い位置であり、単純に車両の手前面までの距離に基づき領域を特定すると、車両の手前面における路面から離れた空間部分までもが領域に含まれることとなり、エッジを検出する対象となる車両本体の領域に含まれる割合が小さくなってしまう（又は全く含まれなくなってしまう）。このため、前方物体までの距離が、その車両の手前面位置までの距離から、その車両の手前側のタイヤ（先行車両であれば後輪タイヤ、対向車両であれば前輪タイヤ）の路面接触位置までの距離に補正されるように領域を上方へ補正することで、車両の手前面が確実に領域に含まれるようにすることができる。

次に、請求項８に記載の立体物判定方法は、車両前方に照射された送信波の反射波に基づく前方物体の位置情報を取得する位置情報取得ステップと、車両前方の撮影画像における前方物体の存在する領域を位置情報に基づき特定する領域特定ステップと、領域特定ステップで特定した領域の画像から検出されるエッジに基づき前方物体が立体物であるか否かを判定する判定ステップとを備える。

このような立体物判定方法によれば、請求項１に記載の車両用画像処理装置と同様の効果を得ることができる。
次に、請求項９に記載の画像処理プログラムは、車両前方に照射された送信波の反射波に基づく前方物体の位置情報を取得する位置情報取得手段と、車両前方の撮影画像における前方物体の存在する領域を位置情報に基づき特定する領域特定手段と、領域特定手段により特定された領域の画像から検出されるエッジに基づき前方物体が立体物であるか否かを判定する判定手段としてコンピュータを機能させる。

このような画像処理プログラムによれば、請求項１に記載の車両用画像処理装置としてコンピュータを機能させることができ、これにより前述した効果を得ることができる。

以下、本発明が適用された実施形態について、図面を用いて説明する。
［１．全体構成］
図１は、実施形態の車両用画像処理装置１０の構成を表すブロック図である。

この車両用画像処理装置１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力インタフェース等を備える電子制御装置であり、自車両（当該車両用画像処理装置１０が搭載された車両）に搭載されている車載カメラ（以下、単に「カメラ」という。）２１及びミリ波レーダ（以下、単に「レーダ」という。）２２からの情報に基づき、自車両前方に存在する立体物を検出する。

カメラ２１は、自車両前方を撮影するためのものであり、自車両の室内における所定位置、例えばルームミラーの裏側に設置されている。なお、カメラ２１には、公知のＣＣＤイメージセンサ、あるいはＣＭＯＳイメージセンサに加え、増幅部及びＡ／Ｄ変換部が内蔵されている。これら増幅部及びＡ／Ｄ変換部は、イメージセンサによって画像が撮影された際に、その画像の各画素の明るさを示すアナログ信号を所定のゲインで増幅し、かつ増幅したアナログ値をデジタル値に変換する。そして、カメラ２１は、このデジタル値に変換した信号（画素値）を画像信号として出力する。

レーダ２２は、周波数変調されたミリ波帯のレーダ波を図示しないアンテナから自車両前方へ照射するとともにその反射波をアンテナにて検出し、検出した反射波に基づいて、自車両前方に存在する物体に関する情報、具体的には、自車両からの距離、自車両に対する横位置及び反射波の反射強度を検出する。なお、レーダ２２は、自車両前方において水平（左右）方向に広がる所定角度範囲内に存在する物体を検出する。

車両用画像処理装置１０は、あらかじめ記憶されているプログラムに従い処理を実行することにより、図１に示す立体物判定用処理領域決定部１１及び立体物判定部１２として機能する。

立体物判定用処理領域決定部１１は、レーダ２２により検出された前方物体についての距離、横位置及び反射強度の情報に基づき、カメラ２１により撮影された撮影画像における前方物体の存在する領域を処理領域として特定する。そして、特定した処理領域の画像を撮影画像から切り出し、立体物判定部１２へ出力する。

立体物判定部１２は、立体物判定用処理領域決定部１１から入力した処理領域の画像から検出されるエッジに基づき、前方物体が立体物であるか否かの判定を行う。そして、その判定結果を他の車載装置（例えば、プリクラッシュシステムの処理を実行する制御装置）へ出力する。

［２．処理］
次に、車両用画像処理装置１０が所定時間ごと（例えば１００ｍｓごと）に実行する立体物判定処理について、図２のフローチャートを用いて説明する。

車両用画像処理装置１０は、この立体物判定処理を開始すると、まずＳ１０１で、カメラ２１により撮影された撮影画像を入力する。
続いて、Ｓ１０２では、レーダ２２により検出された前方物体についての情報（距離、横位置及び反射強度）を入力する。

続いて、Ｓ１０３では、Ｓ１０２で入力した距離及び横位置の情報に基づき、撮影画像における前方物体の位置を計算し、前方物体の存在する領域を処理領域として特定する。
ここで、処理領域の大きさは一定としてもよいが、本実施形態では、Ｓ１０２で入力した反射強度に応じて処理領域の大きさを変更する。図３は、処理領域の大きさを設定するための処理領域設定処理のフローチャートである。

車両用画像処理装置１０は、この処理領域設定処理を開始すると、まずＳ２０１で、過去１０フレーム分の反射強度の平均値を算出する。
続いて、Ｓ２０２では、Ｓ２０１で算出した平均反射強度があらかじめ設定されている第１しきい値以上であるか否かを判定する。

そして、Ｓ２０２で、平均反射強度が第１しきい値以上であると判定した場合には、Ｓ２０３へ移行し、処理領域の大きさを通常の大きさ（図４（ｂ））よりも大きく設定する（図４（ａ））。その後、本処理領域設定処理を終了する。

一方、Ｓ２０２で、平均反射強度が第１しきい値以上でないと判定した場合には、Ｓ２０４へ移行し、平均反射強度があらかじめ設定されている第２しきい値以上であるか否かを判定する。なお、第２しきい値は、第１しきい値未満の値に設定されている。

そして、Ｓ２０４で、平均反射強度が第２しきい値以上であると判定した場合には、Ｓ２０５へ移行し、処理領域の大きさを通常の大きさに設定する（図４（ｂ））。その後、本処理領域設定処理を終了する。

一方、Ｓ２０４で、平均反射強度が第２しきい値以上でないと判定した場合には、Ｓ２０６へ移行し、処理領域の大きさを通常の大きさ（図４（ｂ））よりも小さく設定する（図４（ｃ））。その後、本処理領域設定処理を終了する。

つまり、この処理領域設定処理では、図４（ａ）〜（ｃ）に示すように、平均反射強度が高いほど処理領域を大きく設定するようにしている。なお、平均反射強度ではなく、最新の反射強度のみに基づき処理領域を設定することも可能ではあるが、検出値のばらつきの影響を抑えることができるという面では平均反射強度を用いることが好ましい。

図２に戻り、Ｓ１０４では、前方物体までの距離が、あらかじめ設定されている距離判定しきい値未満であるか否かを判定する。つまり、前方物体が自車両の近傍に存在しているか否かを判定する。

そして、Ｓ１０４で、前方物体までの距離が距離判定しきい値未満であると判定した場合には、Ｓ１０５へ移行し、Ｓ１０３で特定した処理領域の撮影画像における位置を、あらかじめ設定されている補正量だけ上方へ移動させる補正処理を行った後、Ｓ１０６へ移行する。

すなわち、図５（ａ）に示すように、前方物体が車両（先行車両）の場合、レーダ２２により自車両からの距離が検出される先行車両の後面と、実際に路面に接触している後輪タイヤのタイヤ面との間には距離差がある。このため、単純に車両後面までの距離に基づき処理領域を設定すると、車両後面における路面から離れた空間部分までもが処理領域に含まれることとなり、エッジを検出する対象となる車両本体の処理領域に含まれる割合が小さくなってしまう（又は全く含まれなくなってしまう）。そして、この現象は、図５（ｂ）に示すように、先行車両までの距離が短いほど顕著となる。また、対向車両についても同様のことが言える。そこで、前方物体までの距離が短い場合には、自車両から前方物体までの距離が、車両の手前面の位置（先行車両であれば後面位置、対向車両であれば前面位置）までの距離から、車両の手前側のタイヤ（先行車両であれば後輪タイヤ、対向車両であれば前輪タイヤ）の路面接触位置までの距離に補正されるように、処理領域の位置を上方へ補正する。

一方、Ｓ１０４で、前方物体までの距離が距離判定しきい値未満でないと判定した場合には、そのままＳ１０６へ移行する。
Ｓ１０６では、処理領域の画像を撮影画像から切り出す処理を行う。

続いて、Ｓ１０７では、Ｓ１０６で切り出した処理領域の画像（切り出し画像）に基づき垂直エッジ画像及び水平エッジ画像を作成する。具体的には、図６に示すように、水平方向のエッジを検出するための３×３のＳｏｂｅｌフィルタによるフィルタ処理を切り出し画像に対して施すことにより、水平エッジの強調された水平エッジ画像を作成する。同様に、垂直方向のエッジを検出するための３×３のＳｏｂｅｌフィルタによるフィルタ処理を切り出し画像に対して施すことにより、垂直エッジの強調された垂直エッジ画像を作成する。

続いて、Ｓ１０８では、Ｓ１０７で作成した垂直エッジ画像の各画素値（垂直エッジ値）から、Ｓ１０７で作成した水平エッジ画像の対応する画素値（水平エッジ値）を差し引く処理を行う（垂直エッジ値−水平エッジ値＝処理後の垂直エッジ値）。この処理により、斜め方向のエッジの垂直エッジ値は水平エッジ値により相殺されることとなる。なお、処理後の値がマイナスになる場合（垂直エッジよりも水平エッジの方が大きい場合）には値を０とする。

続いて、Ｓ１０９では、図７に示すように、処理領域の画像において各画素の垂直エッジ値（Ｓ１０８で水平エッジ値を差し引いた後の値）を垂直方向（Ｙ方向）の列ごとに足し合わせて縦列エッジ量（合計エッジ値）を算出し、更にＳ１１０では、列ごとに算出した縦列エッジ量の最大値及び平均値を求める。

続いて、Ｓ１１１では、後述するＳ１１２及びＳ１１４の判定処理に用いる最大値しきい値及び平均値しきい値を設定する。具体的には、図８（ａ），（ｂ）に示すように、反射強度と最大値しきい値との関係を示す最大値しきい値変換マップと、反射強度と平均値しきい値との関係を示す平均値しきい値変換マップとがあらかじめ記憶されており、Ｓ１０２で入力した反射強度に対応する最大値しきい値及び平均値しきい値を、各変換マップを参照することにより設定する。

なお、図８（ａ）の最大値しきい値変換マップでは、反射強度が低い場合（この例では−６０以下の場合）には最大値しきい値が高く（この例では１０００に）設定され、反射強度が高い場合（この例では−３５以上の場合）には最大値しきい値が低く（この例では５００に）設定される。また、図８（ｂ）の平均値しきい値変換マップでは、反射強度が低い場合（この例では−６０以下の場合）には平均値しきい値が高く（この例では１４０に）設定され、反射強度が高い場合（この例では−３５以上の場合）には平均値しきい値が低く（この例では７０に）設定される。

続いて、Ｓ１１２では、Ｓ１１０で算出した縦列エッジ量の最大値が、Ｓ１１１で設定した最大値しきい値以上であるか否かを判定する。
そして、Ｓ１１２で、縦列エッジ量の最大値が最大値しきい値以上であると判定した場合には、Ｓ１１３へ移行して立体物と判定する。その後、本立体物判定処理を終了する。

一方、Ｓ１１２で、縦列エッジ量の最大値が最大値しきい値以上でないと判定した場合には、Ｓ１１４へ移行し、Ｓ１１０で算出した縦列エッジ量の平均値が、Ｓ１１１で設定した平均値しきい値以上であるか否かを判定する。

そして、Ｓ１１４で、縦列エッジ量の平均値が平均値しきい値以上であると判定した場合には、Ｓ１１３へ移行して立体物と判定する。その後、本立体物判定処理を終了する。
一方、Ｓ１１４で、縦列エッジ量の平均値が平均値しきい値以上でないと判定した場合には、Ｓ１１１５へ移行して非立体物と判定する。その後、本立体物判定処理を終了する。

［３．効果］
以上説明したように、本実施形態の車両用画像処理装置１０は、レーダ２２により検出された前方物体についての距離、横位置及び反射強度の情報に基づき、カメラ２１により撮影された撮影画像における前方物体の存在する領域を処理領域として特定する（Ｓ１０１〜Ｓ１０６）。そして、特定した処理領域の画像から検出されるエッジに基づき前方物体が立体物であるか否かを判定する（Ｓ１０７〜Ｓ１１３）。

このような車両用画像処理装置１０によれば、撮影画像から検出されるエッジに基づき立体物の判定を行うようにしているため、前方物体までの距離に関係なく良好な判定結果を得ることができる。すなわち、図９に示すように、異なる時刻（例えばｔ［ｍｓ］とｔ＋１００［ｍｓ］の撮影画像に基づき立体物の判定を行う場合には、前方物体までの距離が大きいほど撮影画像における変化量（移動量）が小さくなり、判定が困難となる。加えて、ピッチング等の車両挙動の補正など、多くの画像補正処理が必要となる。これに対し、本実施形態のように単一の撮影画像から検出されるエッジに基づき立体物の判定を行うものでは、遠方の前方物体についても比較的良好な判定結果を得ることができる。また、この判定方法によれば、自車両及び前方物体が共に停止している状態においても立体物の判定を行うことが可能となる。

特に、この車両用画像処理装置１０は、単に撮影画像から検出されるエッジに基づき立体物の判定を行うのではなく、撮影画像における前方物体の存在する領域を処理領域として特定し、その処理領域の画像から検出されるエッジに基づき判定を行うようにしているため、高い判定精度を実現することができるとともに、処理負荷を低減することができる。

また、この車両用画像処理装置１０では、水平エッジ値を差し引いた垂直エッジ値に基づき前方物体が立体物であるか否かを判定するようにしているため（Ｓ１０７，Ｓ１０８）、斜め方向のエッジの垂直エッジ値は水平エッジ値により相殺されることとなり、道路の白線などのような斜め方向のエッジの垂直エッジ成分による誤判定を生じにくくすることができる。

さらに、この車両用画像処理装置１０では、処理領域における各画素の垂直エッジ値を垂直方向の列ごとにそれぞれ合計した縦列エッジ量の最大値が最大値しきい値以上であること、及び、縦列エッジ量の平均値が平均値しきい値以上であること、の少なくともいずれか一方の条件が満たされた場合に、立体物であると判定する（Ｓ１１２〜Ｓ１１４）。このため、前方物体の種類（車両や電柱などのように横幅が比較的小さい物体や、建物や路側物などのように横幅が比較的大きく複雑な物体など）に関係なく、立体物を良好に検出することができる。

特に、この車両用画像処理装置１０では、反射強度が高いほど最大値しきい値及び平均値しきい値を低くするようにしているため（Ｓ１１１）、車両のように反射強度の比較的高い物体については立体物と判定されやすくなり、判定精度を向上させることができる。

一方、この車両用画像処理装置１０では、反射強度が高いほど処理領域を大きくするようにしているため（Ｓ２０１〜Ｓ２０６）、大型車（トラック）のように反射強度の高い物体については処理領域を大きくすることでエッジが確実に処理領域に含まれるようになり、判定精度を向上させることができる。

加えて、この車両用画像処理装置１０では、前方物体までの距離が近い場合には処理領域の位置を上方へ補正するようにしているため（Ｓ１０４，Ｓ１０５）、処理領域の位置が適切な位置となり、判定精度を向上させることができる。

［４．特許請求の範囲との対応］
なお、本実施形態の車両用画像処理装置１０では、Ｓ１０１の処理を実行する車両用画像処理装置１０が画像取得手段に相当し、Ｓ１０２の処理を実行する車両用画像処理装置１０が位置情報取得手段に相当し、Ｓ１０３〜Ｓ１０６の処理を実行する車両用画像処理装置１０が領域特定手段に相当し、Ｓ１０７〜Ｓ１１３の処理を実行する車両用画像処理装置１０が判定手段に相当する。

［５．他の形態］
以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されることなく、種々の形態を採り得ることは言うまでもない。

［５−１．処理領域設定処理］
上記実施形態の車両用画像処理装置１０では、平均反射強度が高いほど処理領域を大きく設定するようにしているが、これに限定されるものではなく、例えば反射強度の変化に応じて処理領域を設定するようにしてもよい。具体的には、車両用画像処理装置１０が、前述した図３の処理領域設定処理に代えて、図１０に示す処理領域設定処理を実行することにより実現される。

車両用画像処理装置１０は、この処理領域設定処理を開始すると、まずＳ３０１で、自車両が前方物体に近づくにつれて反射強度が減少する傾向にあるか否かを判定する。なお、この判定は、例えば、過去１０フレーム分の平均反射強度の増減に基づき行うことができる。

そして、Ｓ３０１で、反射強度が減少する傾向にあると判定した場合には、Ｓ３０２へ移行し、処理領域の大きさを通常の大きさよりも小さく設定する。その後、本処理領域設定処理を終了する。

一方、Ｓ３０１で、反射強度が減少する傾向にないと判定した場合には、Ｓ３０３へ移行し、処理領域の大きさを通常の大きさに設定する。その後、本処理領域設定処理を終了する。

つまり、この処理領域設定処理では、反射強度が減少する傾向にある場合に処理領域を小さく設定するようにしている。例えば、前方物体が道路の上方に設置された看板の場合、距離が近づくにつれて自車両に対する上方への角度が大きくなるため、反射強度が徐々に減少する。そこで、反射強度が減少する傾向にある場合には処理領域を小さくすることで、立体物と判定されにくくしている。この結果、判定精度を向上させることができる。なお、看板と判定した場合には処理領域を上方に延長する（又は移動させる）ようにしてもよい。

［５−２．しきい値設定処理］
上記実施形態の車両用画像処理装置１０では、反射強度に対応する最大値しきい値及び平均値しきい値を、最大値しきい値変換マップ及び平均値しきい値変換マップを参照することにより設定するようにしているが、これに限定されるものではなく、例えば、図１１に示す処理に従い設定するようにしてもよい。

図１１は、最大値しきい値及び平均値しきい値を設定するために車両用画像処理装置１０が実行するしきい値設定処理のフローチャートである。
車両用画像処理装置１０は、このしきい値設定処理を開始すると、まずＳ４０１で、最大値しきい値を５００に設定する。

続いて、Ｓ４０２では、平均値しきい値を７０に設定する。
続いて、Ｓ４０３では、反射強度があらかじめ設定されているしきい値（例えば−６０）以上であるか否かを判定する。

そして、Ｓ４０３で、反射強度がしきい値以上でないと判定した場合には、Ｓ４０４へ移行し、最大値しきい値及び平均値しきい値をそれぞれ２倍した後、本しきい値設定処理を終了する。

一方、Ｓ４０３で、反射強度がしきい値以上であると判定した場合には、そのまま本しきい値設定処理を終了する。
このようなしきい値設定処理を実行することにより、図８（ａ），（ｂ）に示したような変換マップを用いることなく、最大値しきい値及び平均値しきい値を設定することができる。

［５−３．処理領域の位置の補正］
上記実施形態の車両用画像処理装置１０では、前方物体までの距離が距離判定しきい値未満であると判定した場合に、処理領域の撮影画像における位置をあらかじめ設定されている補正量だけ上方へ移動させる補正処理を行うようにしているが、これに限定されるものではない。例えば、撮影画像を解析して前方物体である車両の手前側のタイヤ（先行車両であれば後輪タイヤ、対向車両であれば前輪タイヤ）の路面接触位置を検出し、処理領域の下端がタイヤの路面接触位置となるように処理領域の位置を補正するようにしてもよい。また、タイヤの路面接触位置に代えて、車両の影の位置を検出することにより同様の補正を行うことも可能である。

［５−４．レーダ］
上記実施形態の車両用画像処理装置１０では、レーダとしてミリ波レーダを例示したが、これに限定されるものではなく、例えば、レーザ光や超音波を照射するレーダを用いることも可能である。

実施形態の車両用画像処理装置の構成を表すブロック図である。 実施形態の立体物判定処理のフローチャートである。 実施形態の処理領域設定処理のフローチャートである。 平均反射強度が高いほど処理領域を大きく設定する処理の説明図である。 前方物体までの距離が短い場合に処理領域の位置を上方へ補正する処理の説明図である。 垂直エッジ画像及び水平エッジ画像を作成する処理の説明図である。 縦列エッジ量の最大値及び平均値を求める処理の説明図である。 最大値しきい値変換マップ及び平均値しきい値変換マップの説明図である。 異なる時刻の撮影画像に基づき立体物の判定を行う処理の説明図である。 変形例としての処理領域設定処理のフローチャートである。 変形例としてのしきい値設定処理のフローチャートである。

符号の説明

１０…車両用画像処理装置、１１…立体物判定用処理領域決定部、１２…立体物判定部、２１…カメラ、２２…レーダ

Claims (9)

1. 車両前方の撮影画像を取得する画像取得手段と、
   車両前方に照射された送信波の反射波に基づく前方物体の位置情報を取得する位置情報取得手段と、
   前記撮影画像における前記前方物体の存在する領域を前記位置情報に基づき特定する領域特定手段と、
   前記領域特定手段により特定された領域の画像から検出されるエッジに基づき前記前方物体が立体物であるか否かを判定する判定手段と、
   を備えることを特徴とする車両用画像処理装置。
2. 前記判定手段は、水平エッジ値を差し引いた垂直エッジ値に基づき前記前方物体が立体物であるか否かを判定すること
   を特徴とする請求項１に記載の車両用画像処理装置。
3. 前記判定手段は、前記領域における各画素の垂直エッジ値を垂直方向の列ごとにそれぞれ合計した合計エッジ値の最大値が最大値判定用のしきい値以上であること、及び、前記合計エッジ値の平均値が平均値判定用のしきい値以上であること、の少なくともいずれか一方の条件が満たされた場合に、立体物であると判定すること
   を特徴とする請求項１又は請求項２に記載の車両用画像処理装置。
4. 前記位置情報取得手段は、少なくとも前記反射波の反射強度を取得するものであり、
   前記判定手段は、前記最大値判定用のしきい値及び前記平均値判定用のしきい値のうち少なくとも一方を、前記反射強度に応じて変更すること
   を特徴とする請求項３に記載の車両用画像処理装置。
5. 前記位置情報取得手段は、少なくとも前記反射波の反射強度を取得するものであり、
   前記領域特定手段は、前記反射強度に基づき前記領域の大きさを変更すること
   を特徴とする請求項１から請求項４までのいずれか１項に記載の車両用画像処理装置。
6. 前記領域特定手段は、前記前方物体までの距離に応じて前記領域の位置を補正すること
   を特徴とする請求項１から請求項５までのいずれか１項に記載の車両用画像処理装置。
7. 前記領域特定手段は、前記前方物体が車両であるとした場合に、前記前方物体までの距離が、その車両の手前面位置までの距離から、その車両の手前側のタイヤの路面接触位置までの距離に補正されるように、前記領域の位置を上方へ補正すること
   を特徴とする請求項１から請求項５までのいずれか１項に記載の車両用画像処理装置。
8. 車両前方に照射された送信波の反射波に基づく前方物体の位置情報を取得する位置情報取得ステップと、
   車両前方の撮影画像における前記前方物体の存在する領域を前記位置情報に基づき特定する領域特定ステップと、
   前記領域特定ステップで特定した領域の画像から検出されるエッジに基づき前記前方物体が立体物であるか否かを判定する判定ステップと、
   を備えることを特徴とする立体物判定方法。
9. 車両前方に照射された送信波の反射波に基づく前方物体の位置情報を取得する位置情報取得手段と、
   車両前方の撮影画像における前記前方物体の存在する領域を前記位置情報に基づき特定する領域特定手段と、
   前記領域特定手段により特定された領域の画像から検出されるエッジに基づき前記前方物体が立体物であるか否かを判定する判定手段
   としてコンピュータを機能させることを特徴とする画像処理プログラム。