JP2006343198A - 車両用画像処理装置、運転支援装置 - Google Patents

Abstract

【課題】目標とする物体の検出結果を用いて視程を検出することができる車両用画像処理装置及び運転支援装置を提供する。
【解決手段】車両の周囲に電波を送波し、その送波した電波の反射波の検出結果に基づいて、前記車両の周囲に存在する物体を検出する物体検出手段１０と、少なくとも前記物体検出手段の検出可能範囲を撮像範囲として含み、当該撮像範囲の画像を撮像する撮像手段２０と、前記撮像手段の撮像した画像に対して画像処理を施して、前記物体を検出する画像処理手段３０と、前記物体検出手段による検出結果、及び前記画像処理手段による検出結果に基づいて、前記車両の周囲の視界状況を検出する視界状況検出手段と、を備える。
【選択図】 図１

Description

本発明は、車両用画像処理装置、運転支援装置に関するものである。

従来、例えば、特許文献１に開示されている技術によれば、レーザビームを走査する走査手段と、レーザビームの反射光を検出して受信信号に変換する光検出器を備えるレーザレーダ装置において、建造物等の基準目標に対してレーザビームを送信し、この基準目標より反射されたレーザビームの反射光に基づいて大気減衰率を算出し、この大気減衰率と目標物に走査されたレーザビームの走査角度を視程距離や雨量に変換する。
特開２００４−３７４７４号公報

上述した、従来の技術は、視程距離を求める際、建造物等の基準目標に対してレーザビームを送信し、その反射光を検出する必要がある。従って、建造物等の基準目標が周囲に存在しない場合、視程距離を求めることができない。

本発明は、上記の問題を鑑みてなされたもので、目標とする物体の検出結果を用いて視界状況を検出することができる車両用画像処理装置、及び運転支援装置を提供することを目的とする。

上記目的を達成するために、請求項１に記載の車両用画像処理装置は、
車両の周囲に電波を送波し、その送波した電波の反射波の検出結果に基づいて、車両の周囲に存在する物体を検出する物体検出手段と、
少なくとも物体検出手段の検出可能範囲を撮像範囲として含み、当該撮像範囲の画像を撮像する撮像手段と、
撮像手段の撮像した画像に対して画像処理を施して、物体を検出する画像処理手段と、
物体検出手段による検出結果、及び画像処理手段による検出結果に基づいて、車両の周囲の視界状況を検出する視界状況検出手段と、を備えることを特徴とする。

霧の発生等の悪天候によって車両の周囲が視界不良となる場合、ミリ波等の電波を利用した物体検出手段であれば、豪雨等を除いて車両の周囲に存在する物体の検出が可能である。これに対し、カメラ等の撮像手段は、悪天候の影響を受けて、車両の周囲に存在する物体を鮮明に映し出すことのできない画像（ぼやけた画像）を撮像する。そのため、ぼやけた画像に対して画像処理を施しても、物体検出手段の検出した物体と同一の物体を検出することができないことがある。

本発明は、この点に着目し、物体検出手段の検出結果と、画像処理手段の検出結果とから車両の周囲の視界状況を検出する。これにより、物体検出手段の検出結果を用いて車両の周囲の視界状況を検出することが可能となる。

請求項２に記載の車両用画像処理装置によれば、視界状況検出手段は、物体検出手段が物体を検出したときに、画像処理手段が物体を検出することができなかった場合、車両の周囲の視界不良を検出することを特徴とする。これにより、車両の周囲が視界不良であることを検出することができる。

請求項３に記載の車両用画像処理装置によれば、物体検出手段は、車両と物体との距離を検出するものであって、
視界状況検出手段は、物体検出手段による車両と前記物体との距離の検出結果と、画像処理手段による物体の検出が不能であったとする検出結果、及び物体の検出が可能であったとする検出結果の少なくとも一方の検出結果とに基づいて、車両の周囲の視程距離を推定する視程距離推定手段を備えることを特徴とする。

例えば、図２に示すように、車両の周囲に霧が発生していない場合には、物体としての先行車が鮮明に映し出された画像（霧無し画像）に対して画像処理を施すため、先行車の検出が可能である。しかしながら、車両の周囲に濃霧が発生している場合には、先行車が鮮明に映し出されない、ぼやけた画像（霧発生時の画像）に対して画像処理を施すため、先行車の検出が不能となる。

このように、霧の発生している状況において、先行車の検出が不能であったとする検出結果を示す場合、物体検出手段が同一の先行車との距離を検出していれば、実際には、先行車が存在するものの、視界不良のために、画像処理による先行車の検出が不能となったものと判断できる。従って、物体検出手段の検出結果から、車両の周囲の視程距離は、少なくとも車両と先行車との距離（レーダ出力：M[m]）以下であると推定することができる。

なお、撮像手段は、人間の視覚と同様に外界から入射する光を検出するものであるが、その光に対する検出特性（例えば、感度等）は、必ずしも人間の視覚と同じであるとは限らない。そこで、例えば、図２に示すように、画像処理による先行車の検出が不能となったときの車両と先行車との距離を人間の視覚による実際の視程距離（M’[m]以下）に変換する視程距離変換テーブルを用いて、撮像手段と人間の視覚とにおける光に対する検出特性の差異を補正するようにしてもよい。

請求項４に記載の車両用画像処理装置によれば、視程距離推定手段は、物体検出手段による車両と物体との距離の検出結果の時間遷移と、画像処理手段による物体の検出が不能であったとする検出結果、及び物体の検出が可能であったとする検出結果の少なくとも一方の検出結果の時間遷移とから、車両の周囲の視程距離を推定することを特徴とする。

図３（ａ）に、車両と物体としての先行車との距離（レーダの出力距離）の時間遷移と、画像処理による先行車の検出結果の時間遷移との対応関係を示す。同図（ａ）に示すように、レーダの出力距離がL[m]のときに画像処理による先行車の検出結果が「×：先行車の検出が不能」である場合、前述のように、車両の周囲の視程距離は、少なくともレーダの出力距離L[m]以下である。

そして、図３（ｃ）に示す視程距離変換テーブルを用いて、撮像手段と人間の視覚とにおける光に対する検出特性の差異を補正すれば、図３（ｂ）に示すように、車両の周囲の視程距離は、少なくともL'[m]以下である、すなわち、視程距離は0[m]〜L'[m]の間であると推定することができる。

ここで、図３（ａ）に示すように、レーダの出力距離の時間遷移と、画像処理による先行車の検出結果の時間遷移とに着目すれば、推定される視程距離の幅（0[m]〜L'[m]）を狭めることができる。すなわち、図３（ａ）に示すように、レーダの出力距離が次第に短くなる（L→K→M）ときに画像処理による先行車の検出結果が連続してNGである場合、その時間遷移を考慮することで、推定される視程距離の幅は、図３（ｂ）に示すように、0[m]〜L'[m]以下→0[m]〜K'[m]以下→0[m]〜M'[m]以下と狭めることができる。

さらに、レーダの出力距離がM[m]→N[m]となったときに画像処理による先行車の検出結果が「×：先行車の検出が不能」から「○：先行車の検出が可能」に遷移した場合、少なくとも0[m]〜N'[m]の距離では視界が確保されると判断できるため、それまでの画像処理による先行車の検出結果の時間遷移から、推定される視程距離の幅は、N'[m]〜M'[m]とさらに狭めることができる。

その後、図３（ａ）に示すように、レーダの出力距離がN[m]の付近のときに画像処理による先行車の検出結果が「○：先行車の検出が可能」から「×：先行車の検出が不能」に遷移した場合、視程距離は、図３（ｂ）に示すように、約N'[m]、もしくは約M'[m]であると推定される。ここで、レーダの出力距離がL[m]〜M[m]のときに画像処理による先行車の検出結果が「×：先行車の検出が不能」であったことを鑑みると、視程距離が約M'[m]であるとは考え難い。従って、視程距離は約N'[m]であると推定することができる。

さらに、図３（ａ）に示すように、レーダの出力距離がN[m]から次第に長くなりM[m]付近となったときに画像処理による先行車の検出結果が「×：先行車の検出が不能」から「○：先行車の検出が可能」に遷移した場合、それ以前に先行車の検出が可能「○」であったときに推定された視程距離N'[m]を考慮すると、視程距離は、図３（ｂ）に示すように、N'[m]〜M'[m]であると推定される。

そして、図３（ａ）に示すように、レーダの出力距離がM[m]付近のときに画像処理による先行車の検出結果が「×：先行車の検出が不能」と「○：先行車の検出が可能」と交互に遷移する（ハンチングする）場合、その距離付近が視程距離であると考えられるため、視程距離は、図３（ｂ）に示すように、約M'[m]であると推定することができる。

このように、レーダの出力距離の時間遷移と、画像処理による先行車の検出結果の時間遷移とから、車両の周囲の視程距離を推定することで、推定される視程距離の幅を狭めることができる。また、レーダの出力距離と画像処理による先行車の検出結果の時間遷移の仕方によっては、上述したように、おおよその視程距離を推定することができる。

請求項５に記載の車両用画像処理装置は、
車両の周囲に電波を送波し、その送波した電波の反射波の検出結果に基づいて、車両と車両の周囲に存在する物体との距離を検出する物体検出手段と、
少なくとも物体検出手段の検出可能範囲を撮像範囲として含み、当該撮像範囲の画像を撮像する撮像手段と、
物体検出手段が車両と前記物体との距離を検出した場合、撮像手段の撮像した画像の明るさ変化の周波数成分を演算する画像処理手段と、
物体検出手段の検出結果と、画像処理手段の演算結果とに基づいて、車両の周囲の視程距離を推定する視程距離推定手段と、を備えることを特徴とする。

上述したように、車両の周囲に霧が発生していない場合、撮像手段の撮像した画像は、物体としての先行車が鮮明に映し出される。一方、車両の周囲に霧が発生している場合、撮像手段の撮像した画像は、先行車が鮮明に映し出されない、ぼやけた画像となる。ここで、先行車が鮮明に映し出される画像（鮮明画像）とぼやけた画像とを比較すると、物体と物体とを分ける境界線の鮮鋭感（エッジの強さ）は、ぼやけた画像よりも鮮明画像の方が大きいため、双方の画像の明るさ変化の周波数成分を分析すると、ぼやけた画像よりも鮮明画像の方がより多くの高周波成分を有する。

なお、実際の視程距離が一定であっても、物体検出手段の検出する車両と先行車までの距離に応じて、ぼやけた画像のボケ具合が変わる。従って、物体検出手段の検出結果を考慮して、撮像手段の撮像した画像の明るさ変化の周波数成分の演算結果に基づいて、車両の周囲の視程距離を推定することで、視程距離を精度よく推定することができる。

請求項６に記載の車両用画像処理装置によれば、画像処理手段は、周波数成分の演算結果から画像の明るさ変化の周波数特性をさらに演算し、
周波数特性から視程距離に変換する変換テーブルを車両と前記物体との距離に対応付けて記憶する変換テーブル記憶手段を備え、
視程距離推定手段は、車両と物体との距離に対応した変換テーブルを用いて、画像の明るさ変化の周波数特性から車両の周囲の視程距離を推定することを特徴とする。

例えば、図５に示すように、車両と物体としての先行車との距離（レーダの出力距離）に応じた変換テーブルを用意しておき、レーダの出力距離に対応した変換テーブルを用いて、画像の明るさ変化の周波数特性から車両の周囲の視程距離を推定することで、車両と先行車までの距離の違いによるぼやけた画像のボケ具合の違いを考慮することなく、視程距離を推定することができる。

請求項７に記載の車両用画像処理装置によれば、変換テーブル記憶手段は、変換テーブルとして、画像に映し出される物体の明るさに対応した変換テーブルを記憶するものであって、視程距離推定手段は、物体の明るさに応じて、車両の周囲の視程距離を推定する際に用いる変換テーブルを切替えることを特徴とする。

すなわち、物体としての先行車の明るさ（例えば、グレー、白、黒等）が異なれば、上述した変換テーブルの示す特性も異なることが考えられる。従って、物体の明るさに対応した変換テーブルを用いることで、視程距離の推定精度を高めることができる。なお、ぼやけた画像であっても、例えば、その画像の平均的な明るさを求めれば、物体の明るさの違いは判断することができる。従って、その判断結果から、物体の明るさに対応した変換テーブルに切替えることができるようになる。

請求項８に記載の運転支援装置は、
請求項１〜７の何れか１項に記載の車両用画像処理装置と、
視界状況検出手段の検出した視界状況、及び視程距離推定手段の推定した視程距離の少なくとも一方を用いて、車両の運転者の運転操作を支援する運転支援手段と、を備えることを特徴とする。

これにより、例えば、霧発生状況を本車両用画像処理装置で検出して、車両のフォグランプを自動的に点灯させることができる。また、プリクラッシュシステム（PCS）においては、車両の前方の視界が不良であることを本車両用画像処理装置で検出して、プリクラッシュ時の第一警報（シートベルトの巻上げと車両の制動）の開始タイミングを通常よりも早めることができる。また、ブレーキアクチュエータを駆動してブレーキ予圧を与えることで、車両の運転者のブレーキ操作に対する制動反応時間を早めることができる。

以下、本発明の実施形態について図面を用いて説明する。

（第１の実施形態）
図１に本実施形態の車両用画像処理装置の全体構成を示す。同図に示すように、車両用画像処理装置は、レーダ１０、カメラ２０、画像処理装置３０によって構成される。レーダ１０は、自車の前部付近に搭載されるもので、例えば、ミリ波等の電波を用いたミリ波レーダ等が採用される。レーダ１０は、図示しないアンテナから自車の前方に向けてミリ波帯の電波を照射（送波）し、その反射波をアンテナにて検出し、この検出した反射波に基づいて自車前方の先行車等の物体を検出する。このレーダ１０は、自車前方の水平（左右）方向に所定角度の検出可能範囲内の物体を検出する。

そして、レーダ１０は、この検出した自車と先行車との距離（車間距離）、自車と先行車との相対速度、及び、横位置（横ずれ位置）からなる物体（先行車）情報データを生成し、画像処理装置３０へ所定時間毎（例えば、１００ミリ秒毎）に送信する。なお、横位置は、レーダ１０の検出可能範囲の中心位置と一致する自車の前部の中心位置からの左右方向の長さを示すものである。

カメラ２０は、例えば、電荷結合素子（ＣＣＤ）等のイメージセンサを内蔵した可視カメラ等であり、自車の前方を撮影することができる位置に搭載される。このように、可視カメラを採用することにより、自車の運転者が視覚によって認識する状況と略同じ状況の画像を撮影することができる。このカメラ２０は、前述のレーダ１０の検出可能範囲を含む所定角度の撮影範囲の画像を撮影する。

カメラ２０は、図示しない内蔵された制御部からの指示に応じて、シャッタースピード、フレームレート、及び、画像処理装置３０へ出力するデジタル信号のゲイン等を調整することが可能に構成されている。カメラ２０は、撮影した画像の画素毎の明るさの程度（画素値）を示す前方画像データのデジタル信号を画像の水平・垂直同期信号とともに画像処理装置３０へ出力する。

画像処理装置３０は、図１に示すように、画像入力部３１、画像切り出し部３２、画像演算処理部３３、及び視程距離変換テーブル群３４ａ〜ｃによって構成される。画像入力部３１は、カメラ２０からの前方画像データを入力し、その入力した前方画像データを順次記憶部（図示せず）に記憶する。また、記憶部から前方画像データを読み出し、画像切り出し部３２へ出力する。

画像切り出し部３２は、画像入力部３１から前方画像データを入力し、レーダ１０からの物体（先行車）情報データにおける距離と横位置に基づいて、前方画像において先行車が映し出されると想定される画像領域を特定し、その特定した領域の画像を切り出す。この画像切り出し部３２によって切り出された画像（切り出し画像）は、画像演算処理部３３に出力される。

画像演算処理部３３は、画像切り出し部３２からの切り出し画像に基づいて、カメラ２０の撮影した前方画像に映し出される先行車を検出する。この先行車の検出方法については、例えば、予め用意された標準画像を用いて、切り出し画像の中から先行車の形状を抽出することで先行車を検出するテンプレートマッチング手法や、切り出し画像の左右対称性を判定して、切り出し画像が略左右対称である場合に先行車を検出する左右対称性判定手法等、周知の方法を採用すればよい。

また、画像演算処理部３３は、レーダ１０からの物体（先行車）情報データと、前述した切り出し画像に基づく先行車の検出結果を用いて、物体情報データに対応する先行車が切り出し画像から検出可能であったか、あるいは、検出不能であったかによって、自車前方の視界状況を検出する。

例えば、霧の発生等の悪天候によって自車の周囲が視界不良となる場合、本実施形態のようにミリ波等の電波を利用したレーダ１０であれば、豪雨等を除いて自車の周囲に存在する先行車の検出が可能である。これに対し、撮像手段としてのカメラ２０は、悪天候の影響を受けて、自車の前方に存在する先行車を鮮明に映し出すことのできない画像（ぼやけた画像）を撮像する。そのため、ぼやけた画像に対して画像処理を施しても、レーダ１０の検出した先行車と同一の先行車を検出することができないことがある。

本実施形態の車両用画像処理装置は、この点に着目し、レーダ１０からの物体（先行車）情報データと前述した切り出し画像による先行車の検出結果とから自車の前方の視界状況を検出する。これにより、自車の前方の視界状況を検出することが可能となる。具体的には、物体情報データに対応する先行車が切り出し画像から検出することができなかった場合に、自車の前方の視界不良を検出する。これにより、自車の前方が視界不良であることを検出することができる。

さらに、画像演算処理部３３は、自車前方の視界不良を検出した際、自車前方の視程距離を推定する。例えば、図２に示すように、自車の周囲に霧が発生していない場合には、先行車が鮮明に映し出された画像（霧無し画像）に対して画像処理を施すため、先行車の検出が可能「○」である。しかしながら、自車の周囲に濃霧が発生している場合には、先行車が鮮明に映し出されない、ぼやけた画像（霧発生時の画像）に対して画像処理を施すため、先行車の検出が不能「×」となる。

このように、霧の発生している状況において、切り出し画像からの先行車の検出が不能「×」であったとする検出結果を示す場合、レーダ１０が同一の先行車との距離を検出していれば、実際には、先行車が存在するものの、視界不良のために、画像処理による先行車の検出が不能となったものと判断できる。従って、レーダ１０からの物体情報データから、自車前方の視程距離は、少なくとも車両と先行車との距離（レーダ出力：M[m]）以下であると推定することができる。

なお、カメラ２０は、人間の視覚と同様に外界から入射する光を検出するものであるが、その光に対する検出特性（例えば、感度等）は、必ずしも人間の視覚と同じであるとは限らない。そこで、例えば、図２に示すように、画像処理による先行車の検出が不能となったときの自車と先行車との距離を人間の視覚による実際の視程距離（M’[m]以下）に変換する視程距離変換テーブル３４ａを用いて、カメラ２０と人間の視覚とにおける光に対する検出特性の差異を補正するようにしてもよい。

画像演算処理部３３は、自車前方の視界状況の検出結果を図示しない車内ＬＡＮを介して、自車に搭載される各種アプリケーションシステムに出力する。このアプリケーションシステムとしては、例えば、霧発生状況を検出してフォグランプを自動的に点灯させるアプリケーションシステムがある。

その他のアプリケーションシステムとしては、例えば、プリクラッシュシステム(PCS)が挙げられる。PCSにおいては、自車の前方の視界が不良であることを検出して、プリクラッシュ時の第一警報（シートベルトの巻上げと制動）の開始タイミングを通常よりも早めることができる。また、ブレーキアクチュエータを駆動してブレーキ予圧を与えることで、自車の運転者のブレーキ操作による対する制動反応時間を早めるたりすることに使用することができる。このように、視界状況の検出結果を運転者の運転操作の支援に用いることができる。

次に、本実施形態の車両用画像処理装置の画像処理装置３０の動作について、図６に示すフローチャートを用いて説明する。先ず、ステップ（以下、Ｓと記す）１０では、レーダ１０からの物体情報データ、及びカメラ２０からの前方画像データを入力する。Ｓ２０では、レーダ１０からの物体情報データにおける距離と横位置に基づいて、前方画像において先行車が映し出されると想定される画像領域を特定し、その特定した領域の画像を切り出す。

Ｓ３０では、Ｓ２０において切り出した切り出し画像に基づいて、カメラ２０の撮影した前方画像に映し出される先行車を検出する画像演算処理を行う。Ｓ４０では、Ｓ３０において、物体情報データに対応する先行車が切り出し画像から検出することができなかった場合に、自車の前方の視界不良を検出するとともに、自車前方の視程距離を推定するための視程距離演算処理を行う。Ｓ５０では、視程距離演算結果を出力する。

このように、本実施形態の車両用画像処理装置は、レーダ１０からの物体情報データとカメラ２０の撮影した画像から切り出した切り出し画像による先行車の検出結果とから自車の前方の視界状況を検出する。これにより、レーダ１０の検出結果を用いて自車前方の視界状況を検出することができる。

（第２の実施形態）
第２の実施形態は、第１の実施形態によるものと共通するところが多いので、以下、共通部分についての詳しい説明は省略し、異なる部分を重点的に説明する。第１の実施形態の画像処理装置３０における画像演算処理部３３は、自車前方の視界不良を検出するとともに、自車前方の視程距離（M[m]以下）と推定するものである。

これに対し、本実施形態の画像演算処理部３３は、レーダ１０からの物体情報データにおける自車と先行車との距離の時間遷移と、切り出し画像からの先行車の検出結果（検出可能／検出不能）の時間遷移とから、自車前方の視程距離を推定する。この処理は、図６に示したＳ４０において行われるものである。

図３（ａ）に、自車と先行車との距離（レーダ１０の出力距離）の時間遷移と、画像処理による先行車の検出結果の時間遷移との対応関係を示す。同図（ａ）に示すように、レーダ１０の出力距離がL[m]のときに画像処理による先行車の検出結果が「×：先行車の検出が不能」である場合、自車の前方の視程距離は、第１の実施形態で説明したように、少なくともレーダの出力距離L[m]以下である。

そして、図３（ｃ）に示す視程距離変換テーブル３４ｂを用いて、カメラ２０と人間の視覚とにおける光に対する検出特性の差異を補正すれば、図３（ｂ）に示すように、自車の前方の視程距離は、少なくともL'[m]以下である、すなわち、視程距離は0[m]〜L'[m]の間であると推定することができる。

ここで、図３（ａ）に示すように、レーダ１０の出力距離の時間遷移と、画像処理による先行車の検出結果の時間遷移とに着目すれば、推定される視程距離の幅（0[m]〜L'[m]）を狭めることができる。すなわち、図３（ａ）に示すように、レーダ１０の出力距離が次第に短くなる（L→K→M）ときに画像処理による先行車の検出結果が連続してNG（検出不能）である場合、その時間遷移を考慮することで、推定される視程距離の幅は、図３（ｂ）に示すように、0[m]〜L'[m]以下→0[m]〜K'[m]以下→0[m]〜M'[m]以下と狭めることができる。

さらに、レーダ１０の出力距離がM[m]→N[m]となったときに画像処理による先行車の検出結果が「×：先行車の検出が不能」から「○：先行車の検出が可能」に遷移した場合、少なくとも0[m]〜N'[m]の距離では視界が確保されると判断できるため、それまでの画像処理による先行車の検出結果の時間遷移から、推定される視程距離の幅は、N'[m]〜M'[m]とさらに狭めることができる。

その後、図３（ａ）に示すように、レーダ１０の出力距離がN[m]の付近のときに画像処理による先行車の検出結果が「○：先行車の検出が可能」から「×：先行車の検出が不能」に遷移した場合、視程距離は、図３（ｂ）に示すように、約N'[m]、もしくは約M'[m]であると推定される。ここで、レーダ１０の出力距離がL[m]〜M[m]のときに画像処理による先行車の検出結果が「×：先行車の検出が不能」であったことを鑑みると、視程距離が約M'[m]であるとは考え難い。従って、視程距離は約N'[m]であると推定することができる。

さらに、図３（ａ）に示すように、レーダ１０の出力距離がN[m]から次第に長くなりM[m]付近となったときに画像処理による先行車の検出結果が「×：先行車の検出が不能」から「○：先行車の検出が可能」に遷移した場合、それ以前に先行車の検出が可能「○」であったときに推定された視程距離N'[m]を考慮すると、視程距離は、図３（ｂ）に示すように、N'[m]〜M'[m]であると推定される。

そして、図３（ａ）に示すように、レーダ１０の出力距離がM[m]付近のときに画像処理による先行車の検出結果が「×：先行車の検出が不能」と「○：先行車の検出が可能」と交互に遷移する（ハンチングする）場合、その距離付近が視程距離であると考えられるため、視程距離は、図３（ｂ）に示すように、約M'[m]であると推定することができる。

このように、レーダ１０の出力距離の時間遷移と、画像処理による先行車の検出結果の時間遷移とから、自車前方の視程距離を推定することで、推定される視程距離の幅を狭めることができる。また、レーダ１０の出力距離と画像処理による先行車の検出結果の時間遷移の仕方によっては、上述したように、おおよその視程距離を推定することができる。

（第３の実施形態）
第３の実施形態は、第１及び第２の実施形態によるものと共通するところが多いので、以下、共通部分についての詳しい説明は省略し、異なる部分を重点的に説明する。第１の実施形態における画像演算処理部３３は、自車前方の視界不良を検出するとともに、自車前方の視程距離（M[m]以下）と推定するものである。

また、第２の実施形態における画像演算処理部３３は、レーダ１０からの物体情報データにおける自車と先行車との距離の時間遷移と、切り出し画像からの先行車の検出結果（検出可能／検出不能）の時間遷移とから、自車前方の視程距離を推定するものである。

これに対し、本実施形態の画像演算処理部３３は、レーダ１０からの物体情報データにおける自車と先行車との距離と、切り出し画像の明るさ変化の周波数成分の演算結果とに基づいて、車両の前方の視程距離を推定する。この処理は、図６に示したＳ４０において行われるものである。

上述したように、自車の前方に霧が発生していない場合、カメラ２０の撮像した画像は、先行車が鮮明に映し出される。一方、自車の前方に霧が発生している場合、カメラ２０の撮像した画像は、図４に示すように、先行車が鮮明に映し出されない、ぼやけた画像となる。

ここで、先行車が鮮明に映し出される画像（鮮明画像）とぼやけた画像とを比較すると、物体と物体とを分ける境界線の鮮鋭感（エッジの強さ）は、ぼやけた画像よりも鮮明画像の方が大きいため、双方の画像の明るさ変化の周波数成分を分析すると、ぼやけた画像よりも鮮明画像の方がより多くの高周波成分を有する。

なお、実際の視程距離が一定であっても、自車と先行車までの距離に応じて、ぼやけた画像のボケ具合が変わる。従って、レーダ１０からの物体情報データにおける自車と先行車との距離とカメラ２０の撮像した画像の明るさ変化の周波数成分の演算結果とに基づいて、車両の周囲の視程距離を推定することができる。

具体的には、図４に示すように、切り出し画像に対し、DFFT（離散型高速フーリエ変換）やDCT（離散コサイン変換）等の周知の画像処理技術を用いて、切り出し画像を明るさ変化の周波数成分に分離する周波数分析演算を行う。この周波数分析の演算結果から、各周波数の係数（パワースペクトラム）を第一基底周波数（最も低い周波数）から順次加算し、予め設定されたパワー閾値を超える周波数の値をその画像の周波数特性として定量化する。なお、パワー閾値は、実験等を行って求められる最適な閾値である。

ここで、前述のように、自車と先行車までの距離に応じて、ぼやけた画像のボケ具合が変わる。従って、図５に示すように、この周波数特性と実際の視程距離との関係を示す視程距離変換テーブルを自車と先行車までの距離に対応付けて視程距離変換テーブル３４ｃとして用意しておくとよい。そして、実際にレーダ１０から出力される自車と先行車との距離に対応した視程距離変換テーブルを視程距離変換テーブル３４ｃから抽出し、その抽出した視程距離変換テーブルを用いて、画像の明るさ変化の周波数特性から自車の前方の視程距離を推定する。これにより、自車と先行車までの距離の違いによるぼやけた画像のボケ具合の違いを考慮することなく、視程距離を推定することができる。

なお、先行車の明るさ（例えば、グレー、白、黒等）が異なれば、視程距離変換テーブルの示す周波数特性も異なることが考えられる。従って、先行車の明るさに対応した視程距離変換テーブルを自車と先行車までの距離に対応付けて用意しておき、先行車の明るさに応じて、自車の前方の視程距離を推定する際に用いる視程距離変換テーブルを切替えるようにする。この切替えた視程距離変換テーブルを用いて視程距離を推定することで、視程距離の推定精度を高めることができる。

なお、切り出し画像がぼやけた画像であっても、例えば、その画像の平均的な明るさを求めれば、先行車の明るさの違いは判断することができる。従って、その判断結果から、物体の明るさに対応した変換テーブルに切替えることができるようになる。

車両用画像処理装置の全体構成を示すブロック図である。 第１の実施形態に係わる、視程距離の推定方法を説明するための図である。 （ａ）〜（ｃ）は、第２の実施形態に係わる、視程距離の推定方法を説明するための図である。 第３の実施形態に係わる、周波数分析演算を説明するための図である。 自車と先行車までの距離に対応付けられた周波数特性と実際の視程距離との関係を示す視程距離変換テーブルを示す図である。 画像処理装置３０の処理の流れを示すフローチャートである。

符号の説明

１０ レーダ
２０ カメラ
３０ 画像処理装置
３１ 画像入力部
３２ 画像切り出し部
３３ 画像演算処理部
３４ａ〜ｃ 視程距離変換テーブル群

Claims (8)

1. 車両の周囲に電波を送波し、その送波した電波の反射波の検出結果に基づいて、前記車両の周囲に存在する物体を検出する物体検出手段と、
   少なくとも前記物体検出手段の検出可能範囲を撮像範囲として含み、当該撮像範囲の画像を撮像する撮像手段と、
   前記撮像手段の撮像した画像に対して画像処理を施して、前記物体を検出する画像処理手段と、
   前記物体検出手段による検出結果、及び前記画像処理手段による検出結果に基づいて、前記車両の周囲の視界状況を検出する視界状況検出手段と、を備えることを特徴とする車両用画像処理装置。
2. 前記視界状況検出手段は、前記物体検出手段が前記物体を検出したときに、前記画像処理手段が前記物体を検出することができなかった場合、前記車両の周囲の視界不良を検出することを特徴とする請求項１記載の車両用画像処理装置。
3. 前記物体検出手段は、前記車両と前記物体との距離を検出するものであって、
   前記視界状況検出手段は、前記物体検出手段による前記車両と前記物体との距離の検出結果と、前記画像処理手段による前記物体の検出が不能であったとする検出結果、及び前記物体の検出が可能であったとする検出結果の少なくとも一方の検出結果とに基づいて、前記車両の周囲の視程距離を推定する視程距離推定手段を備えることを特徴とする請求項１又は２記載の車両用画像処理装置。
4. 前記視程距離推定手段は、前記物体検出手段による前記車両と前記物体との距離の検出結果の時間遷移と、前記画像処理手段による前記物体の検出が不能であったとする検出結果、及び前記物体の検出が可能であったとする検出結果の少なくとも一方の検出結果の時間遷移とから、前記車両の周囲の視程距離を推定することを特徴とする請求項３記載の車両用画像処理装置。
5. 車両の周囲に電波を送波し、その送波した電波の反射波の検出結果に基づいて、前記車両と前記車両の周囲に存在する物体との距離を検出する物体検出手段と、
   少なくとも前記物体検出手段の検出可能範囲を撮像範囲として含み、当該撮像範囲の画像を撮像する撮像手段と、
   前記物体検出手段が前記車両と前記物体との距離を検出した場合、前記撮像手段の撮像した画像の明るさ変化の周波数成分を演算する画像処理手段と、
   前記物体検出手段の検出結果と、前記画像処理手段の演算結果とに基づいて、前記車両の周囲の視程距離を推定する視程距離推定手段と、を備えることを特徴とする車両用画像処理装置。
6. 前記画像処理手段は、前記周波数成分の演算結果から前記画像の明るさ変化の周波数特性をさらに演算し、
   前記周波数特性から視程距離に変換する変換テーブルを前記車両と前記物体との距離に対応付けて記憶する変換テーブル記憶手段を備え、
   前記視程距離推定手段は、前記車両と前記物体との距離に対応した変換テーブルを用いて、前記画像の明るさ変化の周波数特性から前記車両の周囲の視程距離を推定することを特徴とする請求項５記載の車両用画像処理装置。
7. 前記変換テーブル記憶手段は、前記変換テーブルとして、前記画像に映し出される物体の明るさに対応した変換テーブルを記憶するものであって、
   前記視程距離推定手段は、前記物体の明るさに応じて、前記車両の周囲の視程距離を推定する際に用いる変換テーブルを切替えることを特徴とする請求項５又は６記載の車両用画像処理装置。
8. 請求項１〜７の何れか１項に記載の車両用画像処理装置と、
   前記視界状況検出手段の検出した視界状況、及び前記視程距離推定手段の推定した視程距離の少なくとも一方を用いて、前記車両の運転者の運転操作を支援する運転支援手段と、を備えることを特徴とする運転支援装置。

Images