JP2009025050A - 視界良否判別装置、視界良否判別方法、コンピュータプログラム - Google Patents

Abstract

【課題】エッジ抽出対象物が存在しない場合における視界良否の判別ミスを防止することができる視界良否判別装置を提供する。
【解決手段】撮像手段を備え、該撮像手段が撮像して得た画像に基づいて視界の良否を判別する視界良否判別装置に、撮像手段としての遠赤外線撮像装置１Ｒ，１Ｌ及び可視撮像装置２と、遠赤外線撮像装置１Ｒ，１Ｌが撮像して得た画像から物体を検出する物体検出手段と、該物体検出手段の検出結果に基づいて物体の数が閾値以上であるか否かを判定する物体数判定手段と、該物体数判定手段が所定数以上であると判定した場合、可視撮像装置２が撮像して得た画像であって、該物体を含む画像領域からエッジを抽出するエッジ抽出手段と、該エッジ抽出手段にて抽出されたエッジに基づいて視界の良否を判別する視界良否判別手段とを備える。
【選択図】図１

Description

本発明は、撮像手段が撮像して得た画像に基づいて視界の良否を判別する視界良否判別装置、視界良否判別方法、コンピュータを前記視界良否判別装置として機能させるコンピュータプログラムに関する。

可視撮像装置で車両前方の道路を撮像し、撮像環境を推定する撮像環境推定装置が提案されている（例えば、特許文献１）。特許文献１に係る撮像環境推定装置は、撮像された可視画像に基づいて、道路の白線の輝度エッジを算出し、輝度エッジのボケ度合いを距離毎に算出する。そして、撮像環境推定装置は、距離に対するエッジボケ度合いの分布を利用して、視界の良否及び視界不良の原因を判別する。

一方、可視撮像装置で車両前方を撮像し、霧状態であるか否かを判定する車載霧状態判定装置が提案されている。車載霧状態判定装置は、可視画像に基づいて輝度エッジを算出し、所定閾値以上の輝度エッジ強度を有する画素数を強エッジ量として算出する。そして、車載霧状態判定装置は、算出された強エッジ量と、ワイパ動作の有無によって霧状態であるか雨であるかを判断する。
特許第３４４４１９２号公報

しかしながら、特許文献１に係る撮像環境推定装置は、レーンキープアシストを想定した発明であり、白線の存在が前提となっている。従って、白線が無い、又は白線がかすれているような走行環境においては、視界の良否を誤って判別する虞があった。
また、車載霧状態判定装置においては、エッジが得られる建物、人工構造物等の物体が存在していない場合、例えば、山間部等の走行環境では十分な高エッジ量を得ることができず、視界の良否を誤って判定する虞があった。

本発明は斯かる事情に鑑みてなされたものであり、エッジ抽出対象物が存在しない場合における視界良否の判別ミスを防止することができる視界良否判別装置、視界良否判定方法、コンピュータを前記視界良否判別装置として機能させるコンピュータプログラムを提供することを目的とする。

第１発明に係る視界良否判別装置は、撮像手段が撮像して得た画像に基づいて視界の良否を判別する視界良否判別装置において、前記撮像手段が撮像して得た画像から物体を検出する物体検出手段と、該物体検出手段が物体を検出した場合、物体を含む画像領域からエッジを抽出するエッジ抽出手段と、該エッジ抽出手段にて抽出されたエッジに基づいて視界の良否を判別する視界良否判別手段とを備えることを特徴とする。

第２発明に係る視界良否判別装置は、前記物体検出手段にて検出された物体の数が閾値以上であるか否かを判定する物体数判定手段を備え、前記エッジ抽出手段は、前記物体数判定手段が閾値以上であると判定した場合、物体を含む画像領域からエッジを抽出するようにしてあることを特徴とする。

第３発明に係る視界良否判別装置は、前記撮像手段は複数の撮像装置を備え、複数の前記撮像装置が撮像して得た各画像から検出された物体の視差に基づいて、該物体及び前記撮像手段間の距離を算出する距離算出手段と、該距離算出手段が算出した距離に基づいて前記閾値を決定する手段とを備えることを特徴とする。

第４発明に係る視界良否判別装置は、前記撮像手段は、遠赤外線にて撮像する第１撮像装置、及び可視光又は近赤外線にて撮像する第２撮像装置を備え、前記物体検出手段は、前記第１撮像装置が撮像して得た第１の画像から物体を検出するようにしてあり、前記エッジ抽出手段は、前記第２撮像装置が撮像して得た第２の画像からエッジを抽出するようにしてあることを特徴とする。

第５発明に係る視界良否判別装置は、前記第１撮像手段は複数であり、複数の前記第１撮像装置が撮像して得た各画像から検出された物体の視差に基づいて、該物体及び前記撮像手段間の距離を算出する距離算出手段と、該距離算出手段が算出した距離に基づいて前記閾値を決定する手段とを備えることを特徴とする。

第６発明に係る視界良否判別装置は、前記第１撮像手段は複数であり、前記第１撮像装置及び第２撮像装置の位置関係及び姿勢を示す情報を記憶した記憶手段と、複数の前記第１撮像装置が撮像して得た複数の画像夫々における物体の位置及び前記記憶手段が記憶している情報に基づいて、前記第２の画像における物体の画像領域を算出する手段とを備え、前記エッジ抽出手段は、算出された前記画像領域からエッジを抽出するようにしてあることを特徴とする。

第７発明に係る視界良否判別方法は、撮像して得た画像に基づいて視界の良否を判別する視界良否判別方法において、撮像して得た画像から物体を検出し、物体が検出された場合、物体を含む画像領域からエッジを抽出し、抽出されたエッジに基づいて視界の良否を判別することを特徴とする。

第８発明に係るコンピュータプログラムは、コンピュータに、画像に基づいて視界の良否を判別させるコンピュータプログラムにおいて、画像から物体を検出し、物体が検出された場合、物体を含む画像領域からエッジを抽出し、抽出されたエッジに基づいて視界の良否を判別する処理を実行させることを特徴とする。

第１、第７及び第８発明にあっては、物体検出手段は、撮像手段が撮像して得た画像から物体を検出する。物体はエッジ抽出の対象であり、視界良否の判別に不可欠である。そこで、エッジ抽出手段は、画像から物体が検出された場合、物体を含む画像領域からエッジを抽出し、視界良否判別手段は抽出されたエッジに基づいて視界の良否を判別する。視界の良否の判断基準となるエッジ抽出の対象が存在しているか否かを確認した上で視界の良否を判別するため、視界の良否判断を誤る虞は無い。
なお、本発明に係る視界良否判別装置における撮像手段は必須の構成ではなく、視界良否判別装置は、撮像手段を備えた視界良否判別装置と、撮像手段を備えていない視界良否判別装置とを含む。

第２発明にあっては、物体検出手段は、撮像手段が撮像して得た画像から物体を検出し、物体数判定手段は、視界良否の判別に不可欠な物体の数が閾値以上であるか否かを判定する。物体の数が閾値以上であると判定した場合、エッジ抽出手段は、物体を含む画像領域からエッジを抽出し、視界良否判別手段は抽出されたエッジに基づいて視界の良否を判別する。視界の良否の判断基準となるエッジ抽出の対象が十分存在しているか否かを確認した上で視界の良否を判別するため、視界の良否判断を誤る虞は無い。

第３発明にあっては、視差に基づいて距離算出手段が物体と撮像手段との距離を算出する。そして、算出された距離に基づいて、視界良否の判別に必要な閾値を決定する。
従って、視界良否の判別をより正確に行うことができる。
具体的には、物体と撮像手段との距離が長い程、視界不良によるエッジのにじみが大きくなるため、視界の良否を正確に判別するためには、前記距離が長い程、多くの物体が必要になる。そこで、前記距離が長い程、閾値の値が大きく、前記距離が短い程、値が小さくなるように閾値を決定し、視界良否判別に必要十分な物体数が検出された場合、視界良否判定の判別を行うことで、正確に視界の良否を判別することができる。

第４発明にあっては、第１撮像装置が遠赤外線で撮像して得た第１の画像から物体を検出する。第１撮像装置は、視界不良によって可視光では撮像困難な物体も撮像することができる。そして、エッジ抽出手段は、第２撮像装置が可視光で撮像して得た第２の画像からエッジを抽出する。物体検出手段が物体を検出した場合、第１撮像装置に比べてより多くのエッジを抽出し易い第２撮像装置を利用してエッジを抽出することで、視界良否の判別をより正確に行うことができる。

第５発明にあっては、第２発明と同様、視差に基づいて距離算出手段が物体と撮像手段との距離を算出する。そして、算出された距離に基づいて、視界良否の判別に必要な閾値を決定する。
従って、視界良否の判別をより正確に行うことができる。

第６発明にあっては、記憶手段は、遠赤外線にて撮像する第１撮像装置と、可視光又は近赤外線にて撮像する第２撮像装置との位置関係及び姿勢を示す情報を記憶しているため、検出対象の物体と、第１撮像装置と、第２撮像装置との幾何学的な位置関係を利用し、第２撮像装置が撮像して得た第２の画像における物体の画像領域を算出することができる。つまり、第１撮像装置が撮像して得た第１の画像中で検出された物体が、第２撮像装置が撮像して得た第２の画像中のどこに映っているのかを特定することができる。
従って、視界の良否を判別するための情報をより多く含んだ物体の画像のエッジに基づいて視界の良否を正確に判別することができる。
また、第１及び第２撮像装置の位置関係に関わらず、第１の画像中で検出された物体が第２の画像中のどこに映っているのかを特定することができるため、第１及び第２撮像装置の配置が制限されることは無い。例えば、第１撮像装置を車両のフロントグリル内に配し、第２撮像装置を車内のルームミラー近傍に配しても良い。

本発明によれば、撮像手段が撮像して得た画像から物体を検出し、物体が検出された場合に該物体を含む画像領域からエッジを抽出して視界の良否を判別するように構成することにより、エッジ抽出対象物が存在しない場合における視界良否の判別ミスを防止することができる。

以下、本発明をその実施の形態を示す図面に基づいて詳述する。
図１は、本発明の実施の形態に係る視界良否判別装置の構成を示す模式図である。本発明の実施の形態に係る視界良否判別装置は、車両前部に搭載されたステレオ遠赤外線撮像装置１、可視撮像装置２、及び画像処理装置３を備えている。

ステレオ遠赤外線撮像装置１は、車両前部に搭載された２基の遠赤外線撮像装置１Ｒ，１Ｌを備えている。遠赤外線撮像装置１Ｒは、運転席側から見て車幅方向右側に配されている。遠赤外線撮像装置１Ｌは、車幅方向左側であって、路面からの高さが遠赤外線撮像装置１Ｒと等しくなる箇所に配されている。また、遠赤外線撮像装置１Ｒ，１Ｌは、光軸方向が略並行になるような姿勢で固定されている（図１５参照）。２基の遠赤外線撮像装置１Ｒ，１Ｌにて共通の撮像対象を撮像することによって、両撮像画像における撮像対象の視差を算出し、三角測量の原理により撮像対象までの距離を求めることができる。なお、遠赤外線撮像装置１Ｒ，１Ｌの設置位置、姿勢はこれに限定されない。
遠赤外線撮像装置１Ｒ，１Ｌの構成は同様であるため、以下、遠赤外線撮像装置１Ｒの構成を説明する。

図２は、遠赤外線撮像装置１Ｒの構成を示すブロック図である。遠赤外線撮像装置１Ｒは撮像部１１、信号処理部１２、一時記憶用の画像メモリ１３及び映像出力部１４を備えており、各構成部は配線１５にて接続されている。

撮像部１１は、車両前方を臨む遠赤外線透過性のレンズを備えており、該レンズの背面側には波長が７〜１４μｍの遠赤外線にて車両前方を撮像、つまりレンズにて結像した像を輝度信号に光電変換する遠赤外線撮像素子、例えばサーモパイル、焦電素子、ボロメータがマトリクス状に配されている。また、レンズの正面側には、該レンズを保護する遠赤外線透過性の保護窓、保護網等が設けられている。撮像部１１は、連続的又は断続的に撮像処理を行い、例えば１秒当たり３０枚の画像データ（画像フレーム）を生成して信号処理部１２へ出力する。

信号処理部１２は、輝度信号をデジタルの画像データにＡＤ変換する。より詳細には、画像を構成する各画素を２５６階調（１Ｂｙｔｅ）等の階調にて示されるデジタルの画像データに変換する。そして、画像処理部１２は、ＡＤ変換された画像データに対して各種補正処理を実行し、映像出力部１４に接続されたケーブル６を介して該画像データを画像処理装置３へ送信する。

なお、画像を構成する各画素は、二次元に配列されており、画像データは、平面直角座標系にて示される各画素の位置、及び階調値として示される各画素の輝度を示すデータ（輝度値）を含んでいる。

可視撮像装置２は、ルームミラー近傍に配されており、車両前方を撮像できるような姿勢で固定されている。可視撮像装置２は、図示しない撮像部、信号処理部、映像出力部等を備えている。なお、可視撮像装置２の設置位置はこれに限定されない。

撮像部は、波長が０．４〜０．８μｍの可視光を電気信号に変換するＣＣＤ（Charge Couple Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子をマトリクス状に備えている。撮像部は、車両の周囲の可視光像を電気信号として読み取り、読み取った電気信号を信号処理部へ出力する。
信号処理部は、ＬＳＩであり、撮像部から出力された電気信号をデジタル信号に変換し、画像データとして画像メモリへ記憶する。なお、画像データを画像メモリに一時記憶することは必須ではなく、映像出力部を介して直接画像処理装置３へ送信しても良い。
映像出力部は、ＬＳＩであり、ＮＴＳＣ等のアナログ映像方式、又はデジタル映像方式に対応した映像ケーブル７を介して画像処理装置３に画像データを出力する。

図３は、画像処理装置３の構成を示すブロック図である。画像処理装置３は、制御部３１、画像メモリ３２、ＲＡＭ３３、映像入力部３４、映像出力部３５、通信インタフェース部３６及び記憶装置３７を備えている。

映像入力部３４には、ケーブル６を介して遠赤外線撮像装置１Ｒ，１Ｌが接続されており、遠赤外線撮像装置１Ｒ，１Ｌから送信された画像データの入力を行う。また、映像入力部３４には、ケーブル７を介して可視撮像装置２が接続されており、可視撮像装置２から送信された画像データの入力を行う。映像入力部３４に入力された画像データは、１フレーム単位で順に画像メモリ３２に記憶される。

映像出力部３５にはケーブル８を介して表示装置４、例えばヘッドアップディスプレイが接続されている。映像出力部３５は、入力された画像データを適宜表示装置４に送信し、表示装置４に遠赤外線撮像装置１Ｒ，１Ｌ又は可視撮像装置２が撮像して得た画像を表示させる。例えば、遠赤外線撮像装置１Ｒが撮像して得た各画像を表示させる。

通信インタフェース部３６には、ＣＡＮに準拠した車載ＬＡＮケーブル９を介して警報装置５が接続されており、制御部３１の制御に応じた警報信号が通信インタフェース部３６を介して警報装置５に送信されるように構成されている。

警報装置５は、ブザー、スピーカ、表示部、フォグランプ等を備えており、視界不良であると制御部３１が判別した場合、接触又は衝突する虞がある歩行者を検出したような場合、その旨の音声、警告音等によって出力する。例えば、「霧のため速度を落としてください」、「ＤＡＮＧＥＲ」等の文字を表示するとともに警告音を発するようにすることができる。フォグランプは、制御装置が視界の良否を判別する際に、霧が生じていると判別した場合に点灯する。また、検出された歩行者の画像を表示装置４で表示させることもできる。

画像メモリ３２は、ＳＲＡＭ、フラッシュメモリ、ＳＤＲＡＭ等であり、映像入力部３４を介して遠赤外線撮像装置１Ｒ，１Ｌ及び可視撮像装置２から入力された画像データを一時記憶する。

制御部３１は、画像メモリ３２に記憶された画像データをフレーム単位で読み出し、読み出した画像データに基づいて視界の良否を判別する等の各種処理を行う。

記憶装置３７は、不揮発性のＥＥＰＲＯＭ等で構成されており、本発明の実施の形態に係るコンピュータプログラム３９を記憶している。コンピュータプログラム３９は、少なくとも画像から物体を検出し、物体の検出結果に基づいて物体の数が閾値以上であるか否かを判定し、物体数が閾値以上であると判定した場合、該物体を含む画像領域からエッジを抽出し、該エッジに基づいて視界の良否を判別する処理をコンピュータに実行させるためのプログラムを有している。また、記憶装置３７は、遠赤外線撮像装置１Ｒ，１Ｌ及び可視撮像装置２の位置及び姿勢を示す情報を記憶している。例えば、遠赤外線撮像装置１Ｒ，１Ｌ及び可視撮像装置２のレンズ中心位置、焦点距離、取付姿勢（光軸方向）等を記憶している。
更に、記憶媒体３８からコンピュータプログラム３９を読み取り、記憶装置３７に記憶させるように構成しても良い。また、外部の通信ネットワークを介してコンピュータプログラム３９を取得し、記憶装置３７に記憶させるように構成しても良い。なお、記憶媒体３８にはコンピュータプログラム３９がコンピュータ読み取り可能に記録されている。

次に本発明の画像処理装置３の動作について説明する。
図４及び図５は、視界良否判別に係る制御部３１の処理手順を示すフローチャートである。制御部３１は、遠赤外線撮像装置１Ｒ，１Ｌ及び可視撮像装置２から画像データをフレーム単位で取得し、画像メモリ３２に記憶させる（ステップＳ１１）。以下、遠赤外線撮像装置１Ｒ，１Ｌが撮像して得た画像データに係る画像を遠赤外画像、可視撮像装置２が撮像して得た画像データに係る画像を可視画像という。そして、制御部３１は、遠赤外線撮像装置１Ｒが撮像して得た遠赤外画像から物体を検出する（ステップＳ１２）。

図６は、物体検出に係る制御部３１の処理手順を示すフローチャートである。制御部３１は、一方の遠赤外線撮像装置１Ｒから取得した遠赤外画像（以下、基準画像という）に対してエッジ抽出処理を実行する（ステップＳ３１）。具体的には、制御部３１は、エッジ抽出オペレータによるフィルタ処理、閾値処理によってエッジを抽出する。

図７は、エッジ抽出処理にて得られたエッジ画像を概念的に示した説明図である。Ｘｌは遠赤外画像の水平方向を示しており、Ｙｌは遠赤外画像の垂直方向を示している。エッジ画像は、２値画像であり、エッジ画像を構成する各画素は、エッジを有する部分で１、エッジを有しない部分で０の値を有する。以下、エッジ画像において値が１の画素をエッジ点という。

図８は、エッジを抽出するためのエッジ抽出オペレータの一例を概念的に示す説明図である。図８（ａ）及び（ｂ）は、プルューウィット・オペレータの係数を示している。図８（ａ）及び（ｂ）に示したプルューウィット・オペレータはいずれも横方向の１次微分によって縦のエッジを検出する３×３マトリクスのオペレータである。特に、図８（ａ）のプルューウィット・オペレータは、水平方向左側から右側へ輝度が明るい画像領域から暗い画像領域に変化するエッジを抽出するフィルタであり、図８（ｂ）のプルューウィット・オペレータは、水平方向右側から左側へ輝度が明るい画像領域から暗い画像領域に変化するエッジを抽出するフィルタである。
また、図８（ｃ）及び（ｄ）に示したプルューウィット・オペレータはいずれも縦方向の１次微分によって横のエッジを検出する３×３マトリクスのオペレータである。
図８に示した係数は、垂直方向及び水平方向に並ぶ３×３＝９の画素の輝度値に対して乗ずる数値であり、制御部３１は、中心の一の画素（注目画素）と、その外側に隣接する８近傍の画素の輝度値に対し、夫々対応する一の係数を乗じて、その結果を加算した値の絶対値を注目画素のエッジ強度として算出する。制御部３１は、同様の演算を、画像を構成する各画素に対して実行し、画素毎にエッジ強度のデータを有するエッジ強度画像を取得する。なお、エッジを抽出するオペレータとして、プルューウィット・オペレータを例示したが、これに限定されるものではなく、他のオペレータを用いても良い。
そして、制御部３１は、エッジ強度画像に対して閾値処理を実行してエッジ画像を取得する。

次いで、隣接する複数のエッジ点からなるエッジグループを特定する（ステップＳ３２）。
図９は、エッジグループを概念的に示す説明図である。制御部３１は、例えば４連結又は８連結している複数のエッジ点からなるエッジグループＧ１，Ｇ２を特定する。破線の楕円で囲まれたエッジ点の集合がエッジグループＧ１，Ｇ２を構成している。なお、作図及び説明の便宜上、特定された複数のエッジグループの内、代表的なものを示しており、一部を省略している。

次いで、制御部３１は、各エッジグループＧ１，Ｇ２に外接する矩形領域を設定し、設定した矩形領域を所定サイズ（例えば、４×４画素）のブロックに分割する（ステップＳ３３）。なお、ブロックのサイズは一例であり、４×４画素に限定されない。

図１０は、ブロック分割されたエッジ画像を概念的に示す説明図である。エッジグループＧ１は、１×３＝３個のブロックに分割されており、エッジグループＧ２は、３×４＝１２個のブロックに分割されていることがわかる。
なお、作図及び説明の便宜上、ブロックサイズを大きく描いている。

そして、制御部３１は、エッジを含むブロックをエッジ領域として特定する（ステップＳ３４）。
図１１は、エッジ領域を概念的に示す説明図である。ハッチングを付した矩形領域はエッジを含むブロックとして特定されたエッジ領域である。空白の矩形領域はエッジを含んでいない領域である。制御部３１は、各ブロック内側のエッジ点の数を算出し、エッジ点の数が所定閾値以上の場合、エッジ有りと判定する。例えば、エッジグループＧ１のブロックの内、３個のブロックがエッジ領域として特定され、エッジグループＧ２のブロックの内、６個のブロックがエッジ領域として特定されていることがわかる。

次いで、制御部３１は、三角測量にて各エッジ領域までの距離を算出すべく、他の遠赤外線撮像装置１Ｌにて撮像された遠赤外画像において、エッジ領域に対応する対応領域を特定する（ステップＳ３５）。以下、遠赤外線撮像装置１Ｌにて撮像された遠赤外画像を参照画像という。

図１２は、エッジ領域及び対応領域を概念的に示す説明図である。図１２（ａ）は、基準画像において特定された一つのエッジ領域を示している。図１２（ｂ）は、参照画像における前記エッジ領域に対応する対応領域を示している。図１２中、Ｐｌはエッジ領域の中心点を示しており、Ｐｒは対応領域の中心点を示している。ステップＳ３５において制御部３１は、エッジ領域と同一サイズの領域（参照領域）を参照領域内、特に一点鎖線で示したエピポーラ線上の一点に設定し、参照領域と基準領域との相関値を算出する。また、制御部３１は、同様の処理をエピポーラ線上の他の各点についても実行し、相関値が最大となったエピポーラ線上の点を対応領域の位置として特定する。相関値の算出は、例えば式１に基づいて行う。

ここで、Ｎはエッジ領域及び参照領域における総画素数、ｋは零からＮ−１までの整数、Ｆ_k はエッジ領域内におけるｋ番目の画素の画素値、Ｇ_k は参照領域におけるｋ番目の画素の画素値、Ｒは相関値を表す。なお、相関値の算出方法は、これに限定されるものではなく、絶対差分総和法、正規化相互相関法等他の方法であっても良い。

次いで、制御部３１は、各エッジ領域と対応領域との視差を算出する（ステップＳ３６）。視差は、遠赤外画像におけるエッジ領域又は対応領域の座標に基づいて算出することができる。例えば、エッジ領域の中心点ＰｌのＸｌ座標と、対応領域の中心点ＰｒのＸｒ座標との差を視差として算出する。

図１３は、エッジ領域毎の視差の算出例を示す説明図である。エッジ領域を示す矩形枠の中に記載された数字は、エッジ領域と、該エッジ領域に対応する対応領域との視差を示している。例えば、車線のエッジ領域の視差は、左下側から右上に向かうに連れて「１５」、「１２」、「１１」、「６」、「５」、「３」のように小さくなる。また、円柱状の人工構造物のエッジ領域の視差は、「４」、「４」、「４」である。

次いで、制御部３１は、各エッジ領域の視差の差を第１閾値、例えば２と比較し、視差の差が第１閾値よりも小さいエッジ領域同士をグループ化することによって、新たなエッジグループを再特定し（ステップＳ３７）、物体検出に係る処理を終える。つまり再特定されたエッジグループが物体として検出される。

図１４は、再特定されたエッジグループを概念的に示す説明図である。ステップＳ３７の処理によって、例えば、視差が４である３個のエッジ領域が一つのエッジグループＧ１１として特定される。同様にして、視差が１５である１個のエッジ領域が一つのエッジグループＧ２１として特定され、視差が１１，１２である２個のエッジ領域が一つのエッジグループＧ２２として特定される。また、視差が５，６のエッジグループＧ２３、視差が３のエッジグループＧ２４が特定される。視差が「１１」、「１２」の各エッジ領域は視差の差が第１閾値より小さいためグループ化されるが、視差が「１５」又は「６」のエッジ領域は、他のエッジ領域との視差の差が第１閾値より大きいためエッジグループＧ２２から除外される。ここで、視差の差が第１閾値より小さいということは、２つの遠赤外線撮像装置１Ｒ，１Ｌで撮像された同じ撮像対象までの距離、より具体的には、２つの遠赤外線撮像装置１Ｒ，１Ｌの光軸の中間位置から撮像対象までの距離が略等しいということである。

図４に示すステップＳ１２の処理を終えた場合、制御部３１は、新たに再特定されたエッジグループの視差及び遠赤外線撮像装置１Ｒ，１Ｌの位置及び姿勢を示す情報に基づいて、物体の実空間座標（ｘ，ｙ，ｚ）を算出する（ステップＳ１３）。実空間座標系は３次元の直交座標系である。遠赤外線撮像装置１Ｒ，１Ｌ間のレンズ中心の中点を原点Ｏとし（図１６参照）、レンズ中心を通る直線をＸ軸とする。また、運転席側から見て右側を正とする。更に、原点Ｏから車両の前方へ直交する軸をＺ軸、原点から鉛直上方へ直交する軸をＹ軸とする。なお、実空間座標の算出方法は公知技術である。また、エッジグループの視差は、例えば、エッジグループを構成する各エッジ領域の視差の加算平均値である。なお、平均値に代えて最頻値、中間値などの他の統計値を算出するようにしても良い。

次いで、制御部３１は、視界の良否を判定するための十分な物体が存在するか否かを判定するための閾値を、検出された物体の距離に基づいて決定する（ステップＳ１４）。例えば、制御部３１は、検出された各物体と、遠赤外線撮像装置１Ｒ，１Ｌとの距離、具体的には検出された各物体と原点Ｏとの距離の平均値を算出し、距離の平均値が長い程、閾値の値が大きく、該平均値が短い程、閾値が小さくなるように閾値を決定する。なお、閾値は１であっても良い。
遠赤外線撮像装置１Ｒ，１Ｌから物体までの距離が離れる程、視界不良によるエッジのにじみが大きくなるため、視界の良否を正確に判別するためには、前記距離が長い程、多くの物体が必要になる。

次いで制御部３１は、検出された物体の数がステップＳ１４で決定された閾値以上であるか否かを判定する（ステップＳ１５）。物体の数が閾値以上でないと判定した場合（ステップＳ１５：ＮＯ）、制御部３１は、処理を終える。物体の数が閾値以上であると判定した場合（ステップＳ１５：ＹＥＳ）、制御部３１は、遠赤外画像における物体の位置座標及びサイズに基づいて、可視画像における該物体の位置座標及びサイズを特定する（ステップＳ１６）。

図１５は、遠赤外画像と可視画像の模式図、図１６は、可視画像における物体の位置座標及びサイズの特定方法を概念的に示す説明図である。図１５（ａ）は、遠赤外線撮像装置１Ｒにて撮像された遠赤外画像であり、図１５（ｂ）は、可視撮像装置２にて撮像された可視画像である。遠赤外線撮像装置１Ｒ，１Ｌ、及び可視撮像装置２は設置位置、姿勢、焦点距離等が異なるため、遠赤外画像における物体の位置及びサイズと、可視画像における該物体の位置及びサイズとは異なる。このため、遠赤外画像における物体の位置及びサイズのみでは、可視画像における物体を含む画像領域を特定することはできない。そこで、制御部３１は、ステップＳ１３で算出した物体Ｐの実空間座標（ｘ，ｙ，ｚ）と、可視撮像装置２のレンズ中心位置Ｏｃ、焦点距離ｆｃ、取付姿勢（光軸方向）、視野角等の情報とに基づいて、該物体の可視画像における座標位置Ｐｃを算出する。また、実空間における物体Ｐのサイズ、レンズ中心Ｏｃと物体Ｐまでの距離、焦点距離ｆｃ、画素ピッチ、画素数等に基づいて、物体サイズを算出する。具体的には、可視画像における物体が、位置座標Ｐｃを中心として上下左右に何画素の広がりを有しているかを算出する。

次いで、制御部３１は、可視画像におけるエッジ抽出処理領域を算出する（ステップＳ１７）。エッジ抽出領域は、視界良否の判定材料である物体を含む画像領域である。具体的には、エッジ抽出処理領域は、図１５（ｂ）中、破線の矩形枠で示すように物体領域を中心にして上下左右に所定幅の広がりを有する矩形の画像領域である。

そして、制御部３１は、各エッジ抽出処理領域からエッジを抽出するエッジ抽出処理を実行する（ステップＳ１８）。
具体的には、制御部３１は、エッジ抽出処理領域内の各画素に対して、エッジ強度を算出する。エッジ強度は、水平方向の１次微分の絶対値と、垂直方向の１次微分の絶対値とを加算した数値である。
そして、制御部３１は、エッジ強度が所定値以上の画素と、エッジ強度とを対応付けてＲＡＭ３３に記憶させる。以下、所定値以上のエッジ強度を有する画素をエッジ画素という。
次いで、制御部３１は、各エッジ画素に対して、水平方向及び垂直方向の微分値を成分とするベクトル、即ちエッジ勾配を算出し、算出されたエッジ勾配と該エッジ画素と対応付けてＲＡＭ３３に記憶させる。

そして、制御部３１は、エッジボケ度合いを算出する（ステップＳ１９）。
図１７は、エッジボケ度合いの算出方法を概念的に示す説明図である。図１７（ａ）は、エッジ画素からなる物体のエッジ部分及びエッジ勾配を概念的に示しており、図１７（ｂ）は一のエッジ画素におけるエッジボケ度合いＢを概念的に示している。図１７（ｂ）中、横軸は、一のエッジ画素を中心としたエッジ勾配方向の走査量を示しており、縦軸はエッジ強度を示している。

まず、制御部３１は、一のエッジ画素を選択する。
そして、制御部３１は、該エッジ画素位置でのエッジ勾配方向における所定範囲を走査し、エッジ強度が最大となるエッジ画素を特定する。以下、エッジ強度が最大となるエッジ画素をエッジ最大画素という。
次いで、制御部３１は、前記エッジ画素位置でのエッジ勾配方向において、エッジ最大画素に最も近く、エッジ最大画素のエッジ強度の略半分のエッジ強度を有する２つの画素を特定し、各画素間の距離をエッジボケ度合いＢとして算出する。つまり、エッジ強度の半値幅を算出する。
次いでまた、制御部３１は、エッジ最大画素と、エッジボケ度合いＢとを対応付けてＲＡＭ３３に記憶させる。制御部３１は、未選択のエッジ画素があるか否かを判定し、未選択のエッジ画素が無いと判定するまで、上述の処理を繰り返し実行する。

次いで、制御部３１は、物体の距離ｄに対するエッジボケ度合いＢ（ｄ）の分布を算出する（ステップＳ２０）。なお、一の物体に対して複数のエッジボケ度合いが算出されている場合、エッジボケ度合いの平均値をエッジボケ度合いＢ（ｄ）とすれば良い。また、同一距離に複数の物体が存在している場合も、エッジボケ度合いの平均値をエッジボケ度合いＢ（ｄ）として採用すれば良い。

図１８は、距離に対するエッジボケ度合い及びエッジボケ度合い比の分布を示すグラフである。図１８（ａ）は、エッジボケ度合いの分布を示すグラフである。横軸は実空間座標の原点Ｏと物体との距離ｄであり、縦軸はエッジボケ度合いＢ（ｄ）である。

次いで、制御部３１は、エッジボケ度合い比の分布を算出する（ステップＳ２１）。図１８（ｂ）は、エッジボケ度合い比の分布を示すグラフである。横軸は実空間座標の原点Ｏと物体との距離ｄであり、縦軸はエッジボケ度合い比Ｒ（ｄ）である。制御部３１は、晴天時の良好な基準視界における距離ｄとエッジボケ度合いＣ（ｄ）との関係を記憶しており、距離毎に基準視界におけるエッジボケ度合いＣ（ｄ）を、ステップＳ２１で算出されたエッジボケ度合いＢ（ｄ）で除算してエッジボケ度合い比Ｒ（ｄ）＝Ｃ（ｄ）／Ｂ（ｄ）の分布を得る。

次いで、制御部３１は、ステップＳ２１で算出されたエッジボケ度合い比分布に基づいて、視界の良否を判別し（ステップＳ２２）、処理を終える。

図１９は、視界不良時における遠赤外画像及び可視画像の模式図である。図１９（ａ）は、視界不良時における遠赤外画像の模式図であり、図１９（ｂ）は、視界不良時における可視画像の模式図である。雨、霧等が発生した場合、可視光は水滴によって散乱されるため、図１９（ｂ）に示すように可視画像は視界不良の状態になる。ところが、遠赤外線は可視光に比べて雨、霧等の影響を受けにくいため、図１９（ａ）に示すように視界良好な遠赤外画像が得られる。このため、視界不良の状態であっても、遠赤外線撮像装置１Ｒ，１Ｌにて、エッジボケ度合いを算出するための物体の数及び位置を特定することができ、物体が存在する画像領域におけるエッジボケ度合いを算出してエッジボケ度合い比分布を得ることができる。

図２０は、視界の良否とエッジボケ度合い比との関係を説明するための説明図である。視界が良好な場合、図２０（ａ）に示すように原点Ｏから物体までの距離が長くてもエッジボケ度合い比Ｒ（ｄ）は約１の値である。ところが、図２０（ｂ）に示すように視界不良の場合、原点Ｏから物体までの距離が長くなる程、エッジボケ度合い比Ｒ（ｄ）は低下する。
従って、制御部３１は距離ｄとエッジボケ度合い比Ｒ（ｄ）との関係に基づいて視界の良否を判別することができる。
また、制御部３１は、エッジボケ度合い比Ｒ（ｄ）に基づいて、霧、雨、可視撮像装置１前方のウィンドウガラスの汚損等を判別することもできる。具体的には、制御部３１は、エッジボケ度合い比Ｒ（ｄ）の平均値を算出すると共に、エッジボケ度合い比Ｒ（ｄ）の近似直線を算出して、近似直線の傾き、近似直線に対するエッジボケ度合い比Ｒ（ｄ）の分散、所定時間における傾きの変動幅を算出する。そして、制御部３１は、算出されたＲ（ｄ）の平均値、直線の傾き、分散、傾きの変動幅等の大小関係に基づいて、視界良好、降雨状態、霧状態、ウィンドウガラスの汚損状態を判別することができる。例えば、近似直線の傾きの時間変化及び分散が大きい場合、降雨状態であると判別される。また、近似直線の傾きが大きい場合、霧状態であると判別される。更に、近似直線の傾き、分散、傾きの時間変化、Ｒ（ｄ）の平均値のいずれもが小さい場合、ウィンドウガラスの汚損状態であると判別される。
なお、霧状態であると判別された場合、フォグランプを点灯させ、表示装置４に遠赤外画像を表示させるように構成しても良い。また、降雨状態であると判別された場合、図示しないワイパを駆動するように構成しても良い。更に、ウィンドウガラスの汚損状態であると判別された場合、図示しないウィンドウウォッシャーを駆動するように構成しても良い。

本実施の形態に係る画像処理方法、画像処理装置３、視界良否判別装置、及びコンピュータプログラムにあっては、視界の良否を判別するために必要な物体が存在している場合、特に物体が閾値以上ある場合に視界の良否を判別する構成であるため、エッジ抽出対象物が存在しない場合における視界良否の判別ミスを防止することができる。

また、検出された物体と原点Ｏとの距離に応じて、視界良否の判別に必要な閾値を増減させる構成であるため、視界良否の判別をより正確に行うことができる。

更に、視界不良によって可視光では撮像不能な物体を遠赤外線撮像装置１Ｒ，１Ｌにて撮像し、可視撮像装置２にて撮像された画像に基づいて視界の良否を判別する構成であるため、より確実に物体を検出し、視界不良の判別をより正確に行うことができる。

更にまた、記憶装置３７が遠赤外線撮像装置１Ｒ，１Ｌ及び可視撮像装置２の位置及び視線を示す情報を記憶しているため、遠赤外線撮像装置１Ｒ，１Ｌ及び可視撮像装置２の幾何学的な関係を利用し、遠赤外線撮像装置１Ｒ，１Ｌで検出された物体が可視撮像装置２で撮像して得た画像中のどこに存在しているかを算出することができる。従って、視界の良否を判別するための情報をより多く含んだ画像領域のエッジに基づいて視界の良否をより正確に判別することができる。

更にまた、原因は定かでは無いが、近年、遠赤外線撮像装置の性能に関わらず道路上の白線の視認性が向上している。従って、遠赤外線撮像装置１Ｒ，１Ｌにて道路上の白線を撮像するように構成することにより、白線の画像を明瞭に撮像することができ、より正確に視界の良否を判別することができる。

なお、実施の形態１にあっては、遠赤外線撮像装置と可視撮像装置と画像処理装置とが別体になるように構成してあるが、遠赤外線撮像装置又は可視撮像装置が画像処理装置を内蔵するように構成しても良い。

また、可視撮像装置を備えた視界良否判別装置を説明したが、可視撮像装置に代えて近赤外線撮像装置を備えるように構成しても良い。

更に、物体の距離とエッジボケ度合いとの関係を算出して視界の良否を判別するように構成してあるが、単純に可視画像全体からエッジを抽出し、エッジ強度の総量と閾値とを比較することによって視界の良否を判別するように構成しても良い。
このような場合、一つの可視撮像装置、近赤外線撮像装置にて視界良否判別装置を構成しても良い。

更にまた、今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

本発明の実施の形態に係る視界良否判別装置の構成を示す模式図である。 遠赤外線撮像装置の構成を示すブロック図である。 画像処理装置の構成を示すブロック図である。 視界良否判別に係る制御部の処理手順を示すフローチャートである。 視界良否判別に係る制御部の処理手順を示すフローチャートである。 物体検出に係る制御部の処理手順を示すフローチャートである。 エッジ抽出処理にて得られたエッジ画像を概念的に示した説明図である。 エッジを抽出するためのエッジ抽出オペレータの一例を概念的に示す説明図である。 エッジグループを概念的に示す説明図である。 ブロック分割されたエッジ画像を概念的に示す説明図である。 エッジ領域を概念的に示す説明図である。 エッジ領域及び対応領域を概念的に示す説明図である。 エッジ領域毎の視差の算出例を示す説明図である。 再特定されたエッジグループを概念的に示す説明図である。 遠赤外画像と可視画像の模式図である。 可視画像における物体の位置座標及びサイズの特定方法を概念的に示す説明図である。 エッジボケ度合いの算出方法を概念的に示す説明図である。 距離に対するエッジボケ度合い及びエッジボケ度合い比の分布を示すグラフである。 視界不良時における遠赤外画像及び可視画像の模式図である。 視界の良否とエッジボケ度合い比との関係を説明するための説明図である。

符号の説明

１Ｒ，１Ｌ 遠赤外線撮像装置
１Ｒ 遠赤外線撮像装置
１Ｌ 遠赤外線撮像装置
２ 可視撮像装置
３ 画像処理装置
３１ 制御部

Claims (8)

1. 撮像手段が撮像して得た画像に基づいて視界の良否を判別する視界良否判別装置において、
   前記撮像手段が撮像して得た画像から物体を検出する物体検出手段と、
   該物体検出手段が物体を検出した場合、物体を含む画像領域からエッジを抽出するエッジ抽出手段と、
   該エッジ抽出手段にて抽出されたエッジに基づいて視界の良否を判別する視界良否判別手段と
   を備えることを特徴とする視界良否判別装置。
2. 前記物体検出手段にて検出された物体の数が閾値以上であるか否かを判定する物体数判定手段を備え、
   前記エッジ抽出手段は、
   前記物体数判定手段が閾値以上であると判定した場合、物体を含む画像領域からエッジを抽出するようにしてある
   ことを特徴とする請求項１に記載の視界良否判別装置。
3. 前記撮像手段は複数の撮像装置を備え、
   複数の前記撮像装置が撮像して得た各画像から検出された物体の視差に基づいて、該物体及び前記撮像手段間の距離を算出する距離算出手段と、
   該距離算出手段が算出した距離に基づいて前記閾値を決定する手段と
   を備えることを特徴とする請求項２に記載の視界良否判別装置。
4. 前記撮像手段は、
   遠赤外線にて撮像する第１撮像装置、及び可視光又は近赤外線にて撮像する第２撮像装置を備え、
   前記物体検出手段は、
   前記第１撮像装置が撮像して得た第１の画像から物体を検出するようにしてあり、
   前記エッジ抽出手段は、
   前記第２撮像装置が撮像して得た第２の画像からエッジを抽出するようにしてある
   ことを特徴とする請求項２に記載の視界良否判別装置。
5. 前記第１撮像手段は複数であり、
   複数の前記第１撮像装置が撮像して得た各画像から検出された物体の視差に基づいて、該物体及び前記撮像手段間の距離を算出する距離算出手段と、
   該距離算出手段が算出した距離に基づいて前記閾値を決定する手段と
   を備えることを特徴とする請求項４に記載の視界良否判別装置。
6. 前記第１撮像手段は複数であり、
   前記第１撮像装置及び第２撮像装置の位置関係及び姿勢を示す情報を記憶した記憶手段と、
   複数の前記第１撮像装置が撮像して得た複数の画像夫々における物体の位置及び前記記憶手段が記憶している情報に基づいて、前記第２の画像における物体の画像領域を算出する手段と
   を備え、
   前記エッジ抽出手段は、
   算出された前記画像領域からエッジを抽出するようにしてある
   ことを特徴とする請求項４又は請求項５に記載の視界良否判別装置。
7. 撮像して得た画像に基づいて視界の良否を判別する視界良否判別方法において、
   撮像して得た画像から物体を検出し、
   物体が検出された場合、物体を含む画像領域からエッジを抽出し、
   抽出されたエッジに基づいて視界の良否を判別する
   ことを特徴とする視界良否判別方法。
8. コンピュータに、画像に基づいて視界の良否を判別させるコンピュータプログラムにおいて、
   画像から物体を検出し、
   物体が検出された場合、物体を含む画像領域からエッジを抽出し、
   抽出されたエッジに基づいて視界の良否を判別する
   処理を実行させることを特徴とするコンピュータプログラム。

Images