JP2008170283A - 車載霧判定装置 - Google Patents

Abstract

【課題】誤判定を低減することができる車載霧判定装置を提供する。
【解決手段】車載カメラ１２によって撮像された画像の一部を霧判定に用いる判定画像として抽出する（Ｓ１００）。その判定画像からランプなど霧判定においてノイズ要因となる箇所をマスクする（Ｓ２００）。このマスク処理後の判定画像から、周波数解析（Ｓ４００）において用いる各入力信号に対して、マスク処理によって生じた不連続箇所の数を一次細分化度とし、さらに、全部の一次細分化度の中で、その一次細分化度が所定値よりも高いものの割合を全体細分化度とする（Ｓ３００）。また、判定画像の全体の面積に対するマスクされた画像の面積の割合をマスク割合指標として算出する（Ｓ６２０）。そして、全体細分化度が基準値ＳＴ３よりも高い場合、または、マスク割合指標が基準値ＳＴ４よりも高い場合には、信頼性のある霧判定が行えないので、霧判定を行わない。誤判定が低減できる。
【選択図】図１３

Description

本発明は、車載カメラによって撮像された画像が、霧がかかった画像であるかどうかを判定する車載霧判定装置に関する。

車載カメラの撮像画像を処理して霧判定を行う装置が知られている（たとえば特許文献１）。特許文献１における霧判定の方法は、画像のぼけ具合に基づいており、霧である場合にはぼけた画像となるので、画像のぼけ具合を推定することにより霧判定を行っている。画像のぼけ具合の推定は、まず、画像全体に対して、微分演算によって、画素の明るさを意味する画素値のエッジ強度を画素毎に算出する。そして、そのエッジ強度に基づいて、画像のぼけ具合を推定している。画像がぼけているほどエッジ強度は全体的に小さくなることから、エッジ強度に基づいて画像のぼけ具合が推定できるのである。

また、カメラによって撮像された画像をデジタル化して周波数解析し、周波数分布から霧を判定する手法も知られている（たとえば、特許文献２）。この特許文献２に記載の方法は、周波数分布から人間の視覚感度が良好な領域を抽出して、その領域の強度に基づいて霧かどうかを判定している。そのため、画像の画角や解像度が変化しても判定精度が担保される点でエッジ強度による霧判定よりも優れている。
特許３４４４１９２号公報 特開２００６−２２１４６７号公報

ところで、特許文献１のように画像のエッジ強度を解析して霧判定を行う場合であっても、また、特許文献２のように周波数解析から霧判定を行う場合であっても、解析に用いる画像から霧判定においてノイズ要因となる箇所を取り除く（すなわち、マスクする）必要がある。ノイズ要因となる箇所とは、ランプが写っている箇所や、自車から距離が近い物体が写っている箇所である。これらは霧であっても比較的鮮明に撮像されてしまうからである。

その一方で、マスク部分が多すぎると、解析に用いることができる信号が不十分となってしまうので、霧であるか霧でないかを誤判定してしまう恐れが生じてしまう。

本発明は、この事情に基づいて成されたものであり、その目的とするところは、誤判定を低減することができる車載霧判定装置を提供することにある。

その目的を達成するための請求項１記載の発明は、車両に搭載される車載カメラにより撮像された画像が、霧がかかった画像であるかどうかを判定する車載霧判定装置であって、
前記車載カメラによって撮像された画像の少なくとも一部を霧判定に用いる判定画像に決定する判定画像決定手段と、その判定画像決定手段によって決定された判定画像に対して、ノイズ要因となる箇所をマスクするマスク手段と、そのマスク手段によってマスクされた後の判定画像を周波数解析して、解析結果に基づいて霧判定を行う画像霧状態判定手段とを備えるとともに、さらに、マスクされることによる前記判定画像の細分化度を決定する細分化度決定手段を備え、
前記判定画像の細分化度が予め設定された基準値よりも高い場合には、前記画像霧状態判定手段による霧判定を中止するか、その画像霧状態判定手段における判定結果の信頼度を、細分化度が予め設定された基準値以下の場合よりも低下させることを特徴とする。

前述のように、画像の霧判定を行う場合には、ノイズ要因となる箇所をマスクする必要があるが、ノイズ要因となる箇所をマスクすると、マスクの端において画像信号に不連続点が生じてしまう。画像を周波数解析する場合において、周波数解析に用いる画像信号に不連続点が多くなると、周波数解析の信頼度は低下してしまう。そのため、マスク箇所が多すぎると、周波数解析の信頼性が低下して、誤判定をしてしまう恐れがある。しかし、請求項１では、マスクされることによる判定画像の細分化度を決定しており、この細分化度が予め設定された基準値よりも高い場合には、霧判定を中止するか、細分化度が予め設定された基準値以下の場合よりも判定結果の信頼度を低下させている。従って、誤判定が低減できる。

また、上記目的を達成するための請求項２記載の発明は、車両に搭載される車載カメラにより撮像された画像が、霧がかかった画像であるかどうかを判定する車載霧判定装置であって、
前記車載カメラによって撮像された画像の少なくとも一部を霧判定に用いる判定画像に決定する判定画像決定手段と、その判定画像決定手段によって決定された判定画像に対して、ノイズ要因となる箇所をマスクするマスク手段と、そのマスク手段によってマスクされた後の判定画像をエッジ強度解析または周波数解析して、解析結果に基づいて霧判定を行う画像霧状態判定手段とを備えるとともに、さらに、前記判定画像において前記マスク手段によってマスクされた部分とマスクされていない部分との割合を表すマスク割合指標を算出するマスク割合指標算出手段を備え、
前記マスク割合指標と予め設定された基準値との比較に基づいて、マスクされた後の判定画像の信号量が不十分であると判断できる場合には、前記画像霧状態判定手段による霧判定を中止するか、その画像霧状態判定手段における判定結果の信頼度を、信号量が十分である場合よりも低下させることを特徴とする。

前述のように、画像の霧判定を行う場合には、判定画像においてノイズ要因となる箇所をマスクする必要があるが、ノイズ要因となる箇所をマスクすると、判定画像の中で霧判定のための解析に使用することができる割合が低下してしまい、その結果、解析に用いる信号量が少なくなる。解析手法がエッジ強度解析であっても、あるいは、周波数解析であっても、解析に用いる信号量が少ないとその解析の信頼度は低下してしまう。そのため、マスク割合が多すぎると誤判定をしてしまう恐れがある。しかし、請求項２では、判定画像においてマスクされた部分とマスクされていない部分との割合を表すマスク割合指標を算出しており、このマスク割合指標と予め設定された基準値との比較に基づいてマスクされた後の判定画像の信号量が不十分であると判断できる場合には、霧判定を中止するか、信号量が十分である場合よりも判定結果の信頼度を低下させている。従って、誤判定が低減できる。

請求項３記載の発明は、請求項１記載の発明に請求項２記載の発明の特徴を組み合わせた発明である。すなわち、請求項３は、請求項１において、さらに、前記判定画像において前記マスク手段によってマスクされた部分とマスクされていない部分との割合を表すマスク割合指標を算出するマスク割合指標算出手段を備え、前記判定画像の細分化度が予め設定された基準値よりも高い場合、または、前記マスク割合指標と予め設定された基準値との比較に基づいてマスクされた後の判定画像の信号量が不十分であると判断できる場合には、前記画像霧状態判定手段による霧判定を中止するか、その画像霧状態判定手段における判定結果の信頼度を、細分化度が予め設定された基準値以下の場合または前記信号量が十分である場合よりも低下させることを特徴とする。

この請求項３によれば、細分化度が予め設定された基準値よりも高い場合にも、また、信号量が不十分であると判断できる場合にも、霧判定を中止するか、判定結果の信頼度を低下させている。従って、より誤判定を低減することができる。

請求項４は、請求項１または３において、前記周波数解析は、前記マスク手段によってマスクされた後の判定画像から一つまたは複数の入力信号を決定して、その入力信号の周波数成分を解析するものであり、前記細分化度決定手段は、一つの入力信号内において前記マスク処理によって生じた不連続箇所の数を細分化度として決定することを特徴とする。

マスク処理による不連続箇所が多いほど、周波数解析に用いる各入力信号は細分化されるので、マスク処理による不連続箇所の数を細分化度とすることができるのである。

請求項５は、上記請求項４において入力信号毎に得られる細分化度をそれぞれ一次細分化度とし、全部の一次細分化度から最終的な細分化度を決定するものである。すなわち、請求項５は、請求項１または３において、前記周波数解析は、前記マスク手段によってマスクされた後の判定画像から複数の入力信号を決定して、各入力信号の周波数成分を解析するものであり、前記細分化度決定手段は、前記各入力信号内の前記マスク処理によって生じた不連続箇所の数をそれぞれ一次細分化度とし、全部の一次細分化度の中で、その一次細分化度が所定値よりも高いものの割合を前記判定画像の細分化度に決定することを特徴とする。

また、マスク割合指標としては、請求項６や請求項７のものを用いることができる。その請求項６は、請求項２または３において、前記マスク割合指標は、前記判定画像の全体の面積に対する前記マスク手段によってマスクされた画像の面積の割合であることを特徴とする。

請求項７は、請求項２または３において、前記画像霧状態判定手段は、前記マスク手段によってマスクされた後の判定画像から複数の入力信号を決定して、各入力信号の周波数成分を解析した結果に基づいて霧判定を行うものであり、前記マスク割合指標は、各入力信号のうち、マスク手段によってマスクされた部分がある入力信号の割合であることを特徴とする。

以下、本発明の車載霧判定装置の実施の形態を、図面に基づいて説明する。図１は、本発明の車載霧判定装置として機能する画像処理ＥＣＵ１４を含む車載霧判定システム１０の構成を示すブロック図である。

車載霧判定システム１０は、車載カメラ１２、画像処理ＥＣＵ１４、ヨーレートセンサ１６、ステアリングセンサ１８、ミリ波レーダ２０、車速センサ２２、コンライトセンサ２３を備えており、それらが車内ＬＡＮ２４によって相互に接続されている。また、この車内ＬＡＮ２４には、運転支援制御ＥＣＵ２６およびライト制御ＥＣＵ２８も接続されている。

上記車載カメラ１２は、レンズとＣＣＤとを備えており、レンズによって集光された光をＣＣＤによって検出する形式であり、グレースケールの画像を撮像する。この車載カメラ１２の取り付け位置は、車両の内部、たとえば運転席近傍の天井とされており、車載カメラ１２によって、車両前方の画像が連続的に撮像され、撮像された画像のデータは、画像処理ＥＣＵ１４において処理される。

画像処理ＥＣＵ１４は、図示しない内部にＣＰＵ、ＲＯＭ、ＲＡＭ等を備えたコンピュータであり、そのＲＡＭには、車載カメラ１２によって連続的に撮像される一定時間分の画像のデータが一時的に記憶される。そして、ＣＰＵは、ＲＯＭに記憶されたプログラムに従って、そのＲＡＭに記憶された画像データに対して図２に示す処理を実行する。このＣＰＵの処理については後述する。

ヨーレートセンサ１６は車両のヨーレートを逐次検出し、ステアリングセンサ１８は、ステアリングの操舵角を逐次検出する。また、ミリ波レーダ２０は、車両前方に向けて所定周波数のミリ波を出力し、且つ、対象物からの反射波を受信する。コンライトセンサ２３は、たとえば、ダッシュボード上面に設けられ、その設置位置に照射される照度（ルクス：lx）を検出する。

運転支援制御ＥＣＵ２６は、前方車両検出手段としても機能しており、上記ミリ波レーダ２０によって受信された反射波に基づいて、前方車両（自車と同一車線において前方を走行している車両）の有無を連続的に判定し、前方車両を検出した場合にはその前方車両との間の距離、相対方位および相対速度を算出する。さらに、算出したそれらの情報に基づいて、車速制御などの運転支援制御を実行する。

ライト制御ＥＣＵ２８は、画像処理ＥＣＵ１４において霧であると判定された場合に、図示しないフォグランプの点灯・消灯の制御を実行する。

図２は、上記画像処理ＥＣＵ１４が霧判定において実行するメインルーチンを示すフローチャートである。図２に示す制御は、走行中に所定の周期で実行するものであり、この制御の実行中には、車載カメラ１２によって車両前方の画像が連続的に撮像されている。図３、図４は、車載カメラ１２によって撮像された画像例である。

図２に示すように、上記画像処理ＥＣＵ１４は、まず、判定画像抽出処理を実行する（ステップＳ１００）。この処理は、請求項の判定画像決定手段に相当する処理であり、車載カメラ１２によって撮像された画像から霧判定に用いる判定画像を抽出する。次いで、マスク手段に相当するマスク処理を実行して、判定画像からノイズ要因となる箇所をマスクする（ステップＳ２００）。

その後、ステップＳ３００において、後述する霧判定の信頼度を算出する。次いで、ステップＳ４００において、判定画像の周波数解析演算を実行する。そして、ステップＳ５００では、ステップＳ４００の周波数解析結果に基づいて霧判定を行う。上記ステップＳ１００、２００、Ｓ３００、Ｓ４００、Ｓ５００の処理は、それぞれ、図５、図６、図７、図８、図９に基づいて後に詳述する。

次に、図５に基づいて判定画像抽出処理を詳しく説明する。まず、ステップＳ１１０において、自車が走行している道路の道路形状を決定する。ここでの道路形状とは、自車から前方に延びる道路の曲がり具合（形状）を示す一本の線である。道路形状の決定は、たとえば、道路に設けられた白線を認識することによって行う。白線認識処理としては、公知の種々の手法を用いることができるが、たとえば、車載カメラ１２によって撮像された画像を二値化処理し、二値化処理後の画像から白色部分を抽出することによって白線を認識する。なお、ここにおける白線は、通常の白線認識処理と同様に、白線のみでなく黄線も含むものである。

上記白線認識処理によって自車が走行している車線の両側の白線が認識できた場合には、その２本の白線の幅方向平均線（すなわち車線の幅方向中央線）を道路形状に決定する。ただし、自車が走行している車線の左右いずれか一方の白線をそのまま道路形状としてもよいし、車線が複数ある場合には道路全体の幅方向中心線を道路形状としてもよい。

また、運転支援制御ＥＣＵ２６では前方車両との間の距離、相対方位が算出されているので、白線認識に代えて、または白線が認識できない場合において、運転支援制御ＥＣＵ２６において算出されている前方車両との間の距離および相対方位に基づいて道路形状を決定してもよい。

この場合には、まず、運転支援制御ＥＣＵ２６において算出されている前方車両との間の距離および相対方位に基づいてその前方車両の画像内における位置を決定し、次いで、ステアリングセンサ１８からの信号に基づいて操舵角を検出する。そして、道路形状を示す線の自車側の端点として予め定められている画像内の所定点（たとえば、画像内におけるボンネットの境界線の車両幅方向中心点）と画像内における前方車両の位置とを、上記操舵角を曲率半径とする円弧で連結することによって、道路形状を決定する。

また、操舵角のみから道路形状を決定してもよい。この場合には、まず、ステアリングセンサ１８からの信号に基づいて操舵角を検出する。次いで、道路形状を示す線の自車側の端点として予め定められている画像内の所定点において、接線が車両前後方向に対して平行となるような円弧を、道路形状を示す線に決定する。なお、道路形状の決定においては、操舵角に代えてヨーレートセンサ１６からヨーレートを用いてもよい。

ステップＳ１１０において道路形状を決定したら、ステップＳ１２０に進んで、自車が走行している道路上において自車から所定の遠方距離にある画像内の遠方距離点を決定する。上記所定の遠方距離は、ここでは１００ｍに設定されていることとするが、１００ｍに限定されるものではなく、ある程度の濃さの霧の時に画像がぼやける程度に遠方であればよい。

なお、車載カメラ１２は車両に固定されていることから、平坦な地面上のある地点までの実距離と、画像内においてその地点がどこに位置するかは予め決定することができる。従って、画像内において平坦な地面上で自車から１００ｍ先の地点が位置する１００ｍ線は予め決定することができる。この１００ｍ線は画像処理ＥＣＵ１４内のＲＯＭあるいは他の記憶装置に記憶されている。そして、その１００ｍ線とステップＳ１１０で決定した道路形状を示す線との交点を、自車が走行している道路上における遠方距離点（すなわち、ここでは１００ｍ先の点）に決定する。

続くステップＳ１３０では、上記ステップＳ１２０で決定した遠方距離点を基準として遠方道路領域の外枠ＯＦを決定する。図３、図４に示されている遠方道路領域の外枠ＯＦは長方形状であって、ステップＳ１３０で決定した遠方距離点が外枠ＯＦの下辺の中心となるようにして設定したものである。この外枠ＯＦの大きさは、車載カメラ１２によって撮像される画像全体の大きさに対して十分小さ大きさに設定されている。

なお、図３、図４の例にとは異なり、上記遠方距離点が遠方道路領域の中心となるように外枠ＯＦの位置を決定してもよい。また、道路形状を、走行車線の幅方向中心線としているか、道路全体の幅方向中心線としているか、走行車線の左右いずれかの白線としているかによって、遠方道路領域の外枠ＯＦに対する遠方距離点の位置を変更してもよい。たとえば、道路形状（を示す線）を走行車線の右側白線としている場合には、遠方道路領域の外枠ＯＦの下辺の右から１／４の点が遠方距離点となるように外枠ＯＦの位置を決定してもよい。

そして、続くステップＳ１４０では、ステップＳ１３０で決定した遠方道路領域の外枠ＯＦ内を判定画像として抽出する。

次に、図６に基づいてマスク処理を詳しく説明する。まず、ステップＳ２１０では、図２のステップＳ１００で抽出した判定画像内に車両部分があるか否かを判断する。この判断を行うのは、他車両は風景よりも自車に対して近距離に位置し、近距離に位置する他車両が判定画像に含まれていると霧判定が困難となることから、そのような近距離に位置する車両を判定画像から除去するためである。

従って、ステップＳ２１０では、運転支援制御ＥＣＵ２６によって前方車両の存在が検出されているかをまず判断する。そして、前方車両の存在が検出されている場合には、運転支援制御ＥＣＵ２６によって特定されている前方車両の位置および相対距離に基づいて車両が含まれると考えられる画像処理範囲を決定し、その画像処理範囲に対して、たとえば輝度変化に基づいて車両輪郭線を決定する等の公知の画像処理を実行することにより車両部分ＣＲを決定する。そして、その決定した車両部分ＣＲの一部または全部が図２のステップＳ１００で抽出した判定画像と重なっているかを判断する。図３、図４には、このようにして決定した車両部分ＣＲの一例を示してある。図３、図４の場合、いずれも、車両部分ＣＲの一部が判定画像と重なっている。

上記ステップＳ２１０が否定判断である場合には、直接、ステップＳ２３０へ進む。一方、ステップＳ２１０が肯定判断である場合にはステップＳ２２０に進む。ステップＳ２２０では、ステップＳ１００で抽出した判定画像内において車両部分ＣＲとなっている領域を除去する。

ステップＳ２２０を実行した場合、または、ステップＳ２１０が否定判断であった場合には、次に、高輝度物を判定画像から除去するために、ステップＳ２３０乃至Ｓ２８０を実行する。ここで、高輝度物とは、空の輝度と同等程度またはそれ以上の輝度を有するものであり、高輝度物は、霧であっても、比較的鮮明に撮像されることから、霧判定においてノイズ要因となるので、判定画像から除去するのである。

まず、ステップＳ２３０において、自車が走行している位置における実際の空の輝度（カンデラ／平方メートル(cd/m^２)）を推定する。実際の空の輝度を推定する方法としては、車載カメラ１２によって撮像された画像を用いる方法と、コンライトセンサ２３によって検出される照度を用いる方法とがあり、２つの方法のうち、予め定められたいずれか一方の方法を用いる。

まず、前者の方法について具体的に説明する。撮像画像内に空が撮像されている場合には、空の撮像位置は常に画像上部であることから、たとえば、車載カメラ１２によって撮像された画像の上部の所定範囲を空画像範囲として予め設定しておき、まず、その空画像範囲内の各ピクセルの画素値の平均値を算出する。そして、この平均値と、画素値と実際の輝度との間の予め設定された対応関係から、実際の空の輝度を推定する。

ここで、上記対応関係について説明する。前述のように、車載カメラ１２はグレースケールの画像を撮像していることから、上記画素値は明るさを表す値である。そのため、画素値とその画素に対応する実際の領域の輝度とは相関関係があるので、画素値と実際の輝度との間の対応関係（式またはマップ）は予め設定しておくことができるのである。なお、車載カメラ１２の露出状態（たとえばシャッタースピードおよびデジタルゲインの値）によって画素値と実際の輝度との対応関係は異なることから、上記対応関係は、露出状態別に設定されているか、露出状態をパラーメータとして持つ関係とされる。

また、上記空画像範囲内の画素値のうち、上位所定割合（たとえば３０％）の平均画素値を用いて実際の空の輝度を推定してもよい。上記空画像範囲内には、森や大きな建造物など、空以外のものであって、空よりも輝度の低いものが含まれていることがあり、その場合には、それらのものを除去した後の画素値の平均値を用いて空輝度を推定することが好ましいからである。画像処理によって、それらのものを認識して除去してもよいが、上位所定割合のみを用いて空輝度を推定することにより、簡易に、空よりも輝度の低いものを除去することができる。なお、上位所定割合は、あまり小さくすることは好ましくない。その理由は、空画像範囲にランプなど空よりも輝度の高いものが含まれていることもあり、空輝度の推定に用いる画素数が少なくなると、それら空よりも輝度の高いものの影響を大きく受けてしまうからである。

次に、コンライトセンサ２３によって検出される照度を用いる方法を説明する。一般的に、空が明るいときには日射量が多いことが多い。そこで、コンライトセンサ２３によって検出される照度を用いる場合には、照度から空輝度を推定する関係を予め設定しておき、その関係と、コンライトセンサ２３によって実際に検出される照度とから、実際の空の輝度を推定する。

続くステップＳ２４０では、画素値と実際の輝度との間の上記対応関係と、判定画像（ステップＳ２２０を実行した場合には車両部分ＣＲを除去した後の判定画像）の各画素の画素値とから、判定画像を構成する各画素について、その画素に対応する風景の実際の輝度(cd/m^２)を推定する。

続くステップＳ２５０では、ステップＳ２３０で推定した実際の空輝度に基づいて高輝度物判定値を決定する。前述のように、高輝度物とは、空の輝度と同等程度またはそれ以上の輝度を有するものである。従って、高輝度物判定値は、たとえば０．９など、１以下において１に近い予め定められた係数を空輝度に乗じた値とする。上記高輝度物には、ランプなどの発光物、および、リフレクタなど光の反射率が高い物体があり、これら高輝度物は霧判定においてノイズ要因となってしまうものである。

続くステップＳ２６０では、ステップＳ２５０で決定した高輝度物判定値と、ステップＳ２４０で推定した各画素の輝度とを比較し、高輝度物判定値よりも高い輝度の画素によって定まる領域を高輝度物領域に決定する。

続くステップＳ２７０では、上記ステップＳ２６０で決定した高輝度物領域を上下左右全方向に拡張した範囲を除去領域ＨＢＲに決定する。図３、４にこのようにして決定した除去領域ＨＢＲの一例を示してある。なお、ここでは、高輝度物領域の大きさが大きいほど、拡張率を大きく設定している。ただし、拡張率を高輝度物領域の大きさによらず、一定倍率としてもよい。続くステップＳ２８０では、ステップＳ２７０で決定した除去領域を判定画像から除去する。

このようにしてマスク処理（除去処理）を実行した後は、図２のステップＳ３００の信頼度算出処理を実行する。次に、この信頼度算出処理の内容を図７に基づいて説明する。まず、細分化度決定手段に相当するステップＳ３１０乃至Ｓ３２０を実行する。ステップＳ３１０では、マスク処理後の判定画像の一次細分化度を決定する。この一次細分化度とは、ステップＳ２００のマスク処理を実行することによって、周波数解析演算（Ｓ４００）に用いる各入力信号内に生じた不連続箇所の数ｎである。

より具体的に説明すると、本実施形態の周波数解析演算（Ｓ４００）では、判定画像内における縦または横の一ライン（すなわち水平座標が同一の画素群または垂直座標が同一の画素群）を一つの入力信号としているので、それら縦または横の一ライン毎に、不連続箇所の数ｎを一次細分化度として決定する。

図１０は、図４に示した画像において、マスク処理後の判定画像の形状を示す図である。図１０においては、マスク処理後の判定画像を実線で示している。この図１０において、横一ラインずつが入力信号である場合、図１０に示すように、上部は不連続箇所の数ｎ＝０、中央部分はｎ＝２、下部はｎ＝１である。

続くステップＳ３２０では、ステップＳ３１０で算出した全部の一次細分化度のうちで、予め設定された判定値（ここではｎ＝２）以上の値となっている一次細分化度の割合を、全体細分化度として算出する。

そして、続くステップＳ３３０では、全体細分化度と信頼度との間の予め設定された関係を用いて、上記ステップＳ３２０で算出した全体細分化度から、第１信頼度を決定する。図１１は、上記全体細分化度と信頼度との間の関係の一例を示す図である。

図１１に示すように、上記関係は、全体細分化度が所定の基準値ＳＴ１以下では、信頼度は１００％であり、その基準値ＳＴ１以上では、全体細分化度が大きくなるほど信頼度が低下する関係である。また、信頼度は、全体細分化度の比較的少ない変化量で、１００％から０％に近い値まで急激に低下している。全体細分化度と信頼度との関係が図１１のようになっているのは、本実施形態では周波数解析結果に基づいて霧判定を行うが、周波数解析は、その特性として、各入力信号の長さがある程度長くないと信頼性のある解析結果が得られず、各入力信号に不連続点が多いほど信頼性が低下するからである。

マスク割合指標算出手段に相当するステップＳ３４０では、判定画像の全体の面積（すなわちマスク処理前の面積）に対してマスク処理によって除去された面積の割合を、マスク割合指標として算出する。このようにしてマスク割合指標を算出する場合、マスク割合指標が大きな値になるほど、マスク処理によって除去された面積の割合が多いことになる。本実施形態では、このようにしてマスク割合指標を算出するものとして以下の説明を続けるが、これとは逆に、判定画像の全体の面積に対して、マスク処理によって除去された後の判定画像の面積（すなわちマスク処理されていない面積）の割合をマスク割合指標としてもよい。この場合には、マスク割合指標が大きな値になるほど、マスク処理されていない面積の割合が多いことになる。

ステップＳ３５０では、マスク割合指標と信頼度との間の予め設定された関係を用いて、上記ステップＳ３４０で算出したマスク割合指標から、第２信頼度を決定する。図１２は、上記マスク割合指標と信頼度との間の関係の一例を示す図である。

図１２に示すように、上記関係は、マスク割合指標が所定の基準値ＳＴ２以下では信頼度は１００％であり、その基準値ＳＴ２以上では、マスク割合指標が大きい値となるほど信頼度が低下する関係である。また、信頼度は、全体細分化度の比較的少ない変化量で、１００％から０％に近い値まで急激に低下している。マスク割合指標と信頼度との関係が図１２のようになっているのは、周波数解析結果に基づいて信頼性のある霧判定を行うには、周波数解析する画像の大きさ（すなわち全信号量）がある程度の大きさ以上であることが必要だからであり、マスク割合指標がＳＴ２よりも大きい場合には、信号量が不十分と判断できるからである。

ステップＳ３６０では、ステップＳ３３０で決定した第１信頼度と、ステップＳ３５０で決定した第２信頼度との積を、最終信頼度として算出する。

このようにして最終信頼度を算出したら、図２のステップＳ４００の周波数解析演算を実行し、次いで、ステップＳ５００の霧判定処理を実行する。これらステップ４００乃至Ｓ５００が画像霧状態判定手段に相当する処理である。次に、ステップＳ４００の周波数解析演算の内容を図８に基づいて説明する。

まず、ステップＳ４１０では、マスク処理後の判定画像を構成する各ライン（すなわち入力信号）の中で、予め設定された条件を満たすラインを周波数解析に使用できる使用可能ラインに決定する。上記条件は、ここでは、ステップＳ３１０で算出した一次細分化度が０または１、且つ、マスクによって除去された割合が所定割合以下という条件である。

そして、続くステップＳ４２０では、まず、ステップＳ４１０で決定した各使用可能ラインに対して高速フーリエ変換処理を行い、次いで、全部の変換結果を合算して合計パワースペクトルを求める。この合計パワースペクトルは、周波数解析した信号内に、どの周波数成分がどの程度含まれているかを示すものであり、横軸を周波数、縦軸をパワーとする二次元グラフとして表せる。

この時点での横軸の単位は、サイクル／画素（cycle per pixel ：以下、ｃｐｐとする）であり、人間の視覚とは無関係であるので、続くステップ４３０において、これを人間の視覚感度が反映される単位であるサイクル／度（cycle per degree：以下、ｃｐｄとする）に換算する。

具体的には、ｃｐｐ単位における周波数をｓとすると、ｃｐｄ単位の周波数ｔは下記式１から得られる。
（式１） ｔ＝ｓ／（判定画像１ラインの画素数×１画素当たりの画角）
式１において、１画素当たりの画角は、式２に基づいて予め設定されている。
（式２） １画素当たりの画角＝（１８０／π）×ｔａｎ^−１（ＣＣＤの水平サイズ／レンズの焦点距離）

ステップＳ４３０を実行した後は図２のステップＳ５００の霧判定処理を実行する。次に、この霧判定処理の内容を図９に基づいて説明する。まず、ステップＳ５１０では、人間の視覚感度が良好な領域である１．５ｃｐｄから１８ｃｐｄまでのパワースペクトルの合計値を算出する。なお、この合計値に代えて、１．５ｃｐｄから１８ｃｐｄまでの一部の範囲または一点（たとえば、６．０ｃｐｄ）のパワースペクトルを用いて、次のステップＳ５２０の霧判定を行ってもよい。

続くステップＳ５２０では、上記パワースペクトルと比較するために予め設定された判定基準値と、ステップＳ５１０で算出したパワースペクトルの合計値とを比較する。そして、パワースペクトルの合計値が判定基準値よりも低い場合には、霧がかかった画像であると判定し、パワースペクトルの合計値が判定基準値以上である場合には、霧がかかった画像でないと判定する。

そして、続くステップＳ５３０では、ステップＳ５２０の判定結果を、ステップＳ３６０で算出した最終信頼度とともに、最終的な霧判定を行う装置へ出力する。上記ステップＳ５２０の判定結果は、画像が霧がかかったものであるか否かを判定しているだけであり、走行中の環境が霧であるか否かを判定するものではない。最終的な霧判定を行う装置において、この画像処理ＥＣＵ１４を含む複数の霧判定装置の判定結果が統合されて、最終的な霧判定が行われる。

ただし、上記ステップＳ５２０の判定結果をそのまま用いて、走行中の環境が霧であるか否かを判定してもよい。この場合には、ステップＳ５２０の判定結果を、たとえば、前述の運転支援制御ＥＣＵ２６やライト制御ＥＣＵ２８など、走行中の環境が霧であるか否かで制御が異なる装置に直接出力する。

以上、説明した本実施形態によれば、判定画像からノイズ要因となる箇所をマスクしており（Ｓ２００）、しかも、マスクされることによる判定画像の全体細分化度を決定しており（Ｓ３２０）、この全体細分化度が予め設定された基準値ＳＴ１よりも高い場合には、細分化度がその基準値ＳＴ１よりも小さい場合の信頼度（すなわち１００％）よりも信頼度を低下させている。加えて、判定画像の全体に対してマスクされた部分の割合をマスク割合指標として算出しており（Ｓ３４０）、このマスク割合指標が予め設定された基準値ＳＴ２よりも大きい場合には、マスク割合指標が基準値以下の場合の信頼度（１００％）よりも信頼度を低下させている。そして、それら２つの信頼度の積を最終信頼度としており、その最終信頼度を霧判定結果とともに最終的な霧判定を行う装置へ出力している（Ｓ５３０）。従って、最終的な霧判定を行う装置においては、上記最終信頼度を考慮して、画像処理ＥＣＵ１４の霧判定結果を評価することが可能となる。従って、誤判定が低減できる。

次に、本発明の第２実施形態を説明する。第２実施形態は、機械的構成は第１実施形態と同様であり、制御が第１実施形態と異なるのみである。図１３は、第２実施形態の画像処理ＥＣＵ１４が霧判定において実行するメインルーチンを示すフローチャートである。図１３の処理において、図２と異なる点は、図２のステップＳ３００に代えて、ステップＳ６００乃至６３０を実行する点である。その他のステップＳ１００、Ｓ２００、Ｓ４００、Ｓ５００は図２と同じ処理であるので、説明を省略する。

ステップＳ６００では、図７のステップＳ３１０、Ｓ３２０と同様にして、一次細分化度および全体細分化度を算出する。続くステップＳ６１０では、ステップＳ６００で算出した全体細分化度が予め設定された基準値ＳＴ３よりも大きいか否かを判断する。この判断が肯定判断である場合には、霧判定を実行することなく処理を終了する。一方、否定判断である場合にはステップＳ６２０に進む。なお、上記基準値ＳＴ３は、第１実施形態の基準値ＳＴ１と同じか、それよりも小さい値に設定される。

ステップＳ６２０では、図７のステップＳ３４０と同様にしてマスク割合指標を算出する。そして、ステップＳ６３０において、ステップＳ６２０で算出したマスク割合指標が予め設定された基準値ＳＴ４よりも大きいか否かを判断する。この判断が肯定判断である場合にも、霧判定を実行することなく処理を終了する。一方、否定判断である場合にはステップＳ４００以下を実行して霧判定を行う。なお、上記基準値ＳＴ４は、第１実施形態の基準値ＳＴ２と同じか、それよりも小さい値に設定される。

この第２実施形態のように、全体細分化度およびマスク割合指標のいずれか一方が、それらに対して予め設定された基準値ＳＴ３、ＳＴ４よりも大きい場合に、霧判定を中止するようにしても、誤判定を低減することができる。

以上、本発明の実施形態を説明したが、本発明は上述の実施形態に限定されるものではなく、次の実施形態も本発明の技術的範囲に含まれ、さらに、下記以外にも要旨を逸脱しない範囲内で種々変更して実施することができる。

たとえば、前述の実施形態では、周波数解析結果に基づいて霧判定を行っていたが、周波数解析に代えて、エッジ強度解析を行い、その解析結果に基づいて霧判定を行ってもよい。エッジ強度解析とは画像のエッジ強度を求める手法であり、エッジ強度は、各画素の画素値を水平方向または垂直方向に連続的に微分処理することにより得られる。なお、エッジ強度解析においては、マスク割合は信頼度に影響を与えるが、細分化度は信頼度に影響を与ない。従って、第１実施形態において、周波数解析に代えてエッジ強度解析を用いる場合には、図７のステップＳ３１０乃至Ｓ３３０（細分化度に関する処理）は実行する必要はなく、ステップＳ３５０においてマスク割合指標から算出した信頼度をそのまま最終信頼度として決定する。また、第２実施形態において周波数解析に代えてエッジッ強度解析を用いる場合には、ステップＳ６００乃至Ｓ６１０を実行せず、ステップＳ２００の次に、ステップＳ６２０を実行する。

また、周波数解析として、高速フーリエ変換処理を行っていたが、ウェーブレット変換など、他の公知の周波数解析を用いてもよい。

また、周波数解析の各入力信号として、判定画像内における縦または横の一ラインを用いていたが、縦または横の一ラインの一部（たとえば数ピクセル）を一つの入力信号としてもよい。また、入力信号をライン状（すなわち、一次元状）に抽出するのではなく、二次元状に抽出してもよい。この場合、判定画像の一部分（たとえば、１６×１６ピクセル）を一つの入力信号としてもよいし、判定画像全体を一つの入力信号としてもよい。

また、前述の実施形態では、細分化度およびマスク割合指標を算出して、それら細分化度およびマスク割合指標に基づいて、信頼度の決定、または、霧判定の中止判定を行っていたが、いずれか一方のみに基づいて、信頼度の決定、または、霧判定の中止判定を行ってもよい。

また、前述の実施形態では、全部の一次細分化度のうちで、予め設定された判定値以上となっている細分化度の割合を全体細分化度としていたが、予め設定された判定値以上となっている細分化度の数を全体細分化度としてもよい。

また、前述の実施形態では、判定画像の全体の面積に対してマスク処理によって除去された面積の割合をマスク割合指標としていたが、判定画像の全体の面積に対してマスク処理後に残った面積の割合をマスク割合指標としてもよい。また、マスク割合指標として、周波数解析に用いる全部の入力信号のうち、マスクされた部分がある入力信号の割合（またはマスクされた部分がない入力信号の割合）を用いてもよい。マスクされた部分がある入力信号とは、入力信号を構成する画素群の中でマスクによって除去された画素がないものをいう。

また、前述の実施形態では、車載カメラ１２によって撮像された画像から、遠方道路領域を判定画像として抽出していたが、車載カメラ１２によって撮像された画像の全部を判定画像としてもよい。また、自車から中距離程度の物体が撮像されている中距離領域を判定画像として抽出してもよい。この中距離領域を判定画像として用いる場合、中距離は遠方道路領域よりもぼやけにくいことから、非常に濃い霧であるかどうかが判定できることになる。

また、判定画像として抽出する領域の形状は両方形状である必要はなく、円形等他の形状であってもよい。

また、前述の実施形態では、高輝度物領域を除去するために、実際の空の輝度(cd/m^２)を推定するとともに（Ｓ２３０）、各画素の輝度(cd/m^２)を推定し（Ｓ２４０）、それら輝度同士を比較していたが、実際の空の輝度(cd/m^２)に変えて、各画素の輝度(cd/m^２)と比較する比較対象として、コンライトセンサ２３の照度をそのまま、あるいは、予め設定された係数を乗じて用いてもよい。この場合、比較する数値の単位系が互いに異なることになるが、周知の通り、光源（本実施形態では空）の輝度が一様である場合、輝度と照度とは相互に換算が可能である。従って、各画素の輝度(cd/m^２)とコンライトセンサ２３の照度とを比較してもよいのである。

また、前述の実施形態において、実際の空の輝度(cd/m^２)を推定する方法として、車載カメラ１２によって撮像された画像を用いる方法を説明した。この方法においては、画素値と実際の輝度との間の予め設定された対応関係を用いることになる。一方、各画素の輝度(cd/m^２)も、同じ対応関係を用いて推定している。そこで、判定画像内における空の画素値と、判定画像を構成する各画素の画素値とを比較して、高輝度物領域を決定してもよい。また、車載カメラ１２のダイナミックレンジが狭く、一般的な空の輝度で最大値となってしまう場合には、空が撮像されている部分の画素値を予め最大画素値と設定してもよい。この場合、単純に、各画素の画素値が最大値であることをもって、その画素を高輝度物領域とすることになる。

本発明の車載霧判定装置として機能する画像処理ＥＣＵ１４を含む車載霧判定システム１００の構成を示すブロック図である。 画像処理ＥＣＵ１４が霧判定において実行するメインルーチンを示すフローチャートである。 車載カメラ１２によって撮像された画像例である。 車載カメラ１２によって撮像された画像例である。 図２のステップＳ１００の判定画像抽出処理を詳しく示すフローチャートである。 図２のステップＳ２００のマスク処理を詳しく示すフローチャートである。 図２のステップＳ３００の信頼度算出処理を詳しく示すフローチャートである。 図２のステップＳ４００の周波数解析演算を詳しく示すフローチャートである。 図２のステップＳ５００の霧判定処理を詳しく示すフローチャートである。 図４に示した画像において、マスク処理後の判定画像の形状を示す図である。 全体細分化度と信頼度との間の関係の一例を示す図である。 マスク割合指標と信頼度との間の関係の一例を示す図である。 第２実施形態の画像処理ＥＣＵ１４が霧判定において実行するメインルーチンを示すフローチャートである。

符号の説明

１０：車載霧判定システム、 １２：車載カメラ、 １４：画像処理ＥＣＵ（車載霧判定装置）、 １６：ヨーレートセンサ、 １８：ステアリングセンサ、 ２０：ミリ波レーダ、 ２２：車速センサ、 ２３：コンライトセンサ、 ２４：車内ＬＡＮ、 ２６：運転支援制御ＥＣＵ、 ２８：ライト制御ＥＣＵ
Ｓ１００：判定画像決定手段、 Ｓ２００：マスク手段、 Ｓ３１０〜Ｓ３２０：細分化度決定手段、 Ｓ３４０：マスク割合指標算出手段、 Ｓ４００〜５００：画像霧状態判定手段

Claims (7)

1. 車両に搭載される車載カメラにより撮像された画像が、霧がかかった画像であるかどうかを判定する車載霧判定装置であって、
   前記車載カメラによって撮像された画像の少なくとも一部を霧判定に用いる判定画像に決定する判定画像決定手段と、
   その判定画像決定手段によって決定された判定画像に対して、ノイズ要因となる箇所をマスクするマスク手段と、
   そのマスク手段によってマスクされた後の判定画像を周波数解析して、解析結果に基づいて霧判定を行う画像霧状態判定手段とを備えるとともに、
   さらに、マスクされることによる前記判定画像の細分化度を決定する細分化度決定手段を備え、
   前記判定画像の細分化度が予め設定された基準値よりも高い場合には、前記画像霧状態判定手段による霧判定を中止するか、その画像霧状態判定手段における判定結果の信頼度を、細分化度が予め設定された基準値以下の場合よりも低下させることを特徴とする車載霧判定装置。
2. 車両に搭載される車載カメラにより撮像された画像が、霧がかかった画像であるかどうかを判定する車載霧判定装置であって、
   前記車載カメラによって撮像された画像の少なくとも一部を霧判定に用いる判定画像に決定する判定画像決定手段と、
   その判定画像決定手段によって決定された判定画像に対して、ノイズ要因となる箇所をマスクするマスク手段と、
   そのマスク手段によってマスクされた後の判定画像をエッジ強度解析または周波数解析して、解析結果に基づいて霧判定を行う画像霧状態判定手段とを備えるとともに、
   さらに、前記判定画像において前記マスク手段によってマスクされた部分とマスクされていない部分との割合を表すマスク割合指標を算出するマスク割合指標算出手段を備え、
   前記マスク割合指標と予め設定された基準値との比較に基づいて、マスクされた後の判定画像の信号量が不十分であると判断できる場合には、前記画像霧状態判定手段による霧判定を中止するか、その画像霧状態判定手段における判定結果の信頼度を、信号量が十分である場合よりも低下させることを特徴とする車載霧判定装置。
3. 請求項１において、
   さらに、前記判定画像において前記マスク手段によってマスクされた部分とマスクされていない部分との割合を表すマスク割合指標を算出するマスク割合指標算出手段を備え、
   前記判定画像の細分化度が予め設定された基準値よりも高い場合、または、前記マスク割合指標と予め設定された基準値との比較に基づいてマスクされた後の判定画像の信号量が不十分であると判断できる場合には、前記画像霧状態判定手段による霧判定を中止するか、その画像霧状態判定手段における判定結果の信頼度を、細分化度が予め設定された基準値以下の場合または前記信号量が十分である場合よりも低下させることを特徴とする車載霧判定装置。
4. 請求項１または３において、
   前記周波数解析は、前記マスク手段によってマスクされた後の判定画像から一つまたは複数の入力信号を決定して、その入力信号の周波数成分を解析するものであり、
   前記細分化度決定手段は、一つの入力信号内において前記マスク処理によって生じた不連続箇所の数を細分化度として決定することを特徴とする車載霧判定装置。
5. 請求項１または３において、
   前記周波数解析は、前記マスク手段によってマスクされた後の判定画像から複数の入力信号を決定して、各入力信号の周波数成分を解析するものであり、
   前記細分化度決定手段は、前記各入力信号内の前記マスク処理によって生じた不連続箇所の数をそれぞれ一次細分化度とし、全部の一次細分化度の中で、その一次細分化度が所定値よりも高いものの割合を前記判定画像の細分化度に決定することを特徴とする車載霧判定装置。
6. 請求項２または３において、
   前記マスク割合指標は、前記判定画像の全体の面積に対する前記マスク手段によってマスクされた画像の面積の割合であることを特徴とする車載霧判定装置。
7. 請求項２または３において、
   前記画像霧状態判定手段は、前記マスク手段によってマスクされた後の判定画像から複数の入力信号を決定して、各入力信号の周波数成分を解析した結果に基づいて霧判定を行うものであり、
   前記マスク割合指標は、各入力信号のうち、マスク手段によってマスクされた部分がある入力信号の割合であることを特徴とする車載霧判定装置。

Images