JP2018106239A - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents

Abstract

【課題】車両前方にオブジェクトが検出された場合において、安全性と快適性を両立する。【解決手段】領域切出部１５及び画像合成部１６は、可視光撮像装置２から入力される可視光画像内に、所定比率以上の飽和画素を含む飽和画素領域が含まれる場合、赤外線撮像装置３から入力される赤外線画像から、飽和画素領域に対応する領域画像を切り出して可視光画像と合成し、合成画像を生成する。オブジェクト検出部１７は、可視光画像または合成画像内に所定のオブジェクトが含まれるか否か探索する。アラート出力部１８は、可視光画像または合成画像内においてオブジェクトが検出された場合、アラートを出力する。アラート出力部１８は、可視光画像または合成画像内における、車両が走行する領域である走行車線領域と、オブジェクトとの位置関係に応じてアラートレベルを変える。【選択図】図２

Description

本発明は、車両前方のオブジェクトを検出するための、画像処理装置、画像処理方法、及び画像処理プログラムに関する。

近年、車載カメラが設置された車両が増えている。車載カメラにより撮影された画像は、運転記録、運転支援、自動運転などの用途に利用される。近年、可視光カメラと赤外線カメラを組み合わせて昼夜を問わず、車両前方の歩行者を検出するシステムが開発されている（例えば、特許文献１参照）。

可視光カメラで撮影された画像の一部（例えば、トンネルの出口付近の領域や、対向車のヘッドライトで照らされている領域）に白飛びが発生することがある。白飛びは、被写体の明暗が大きい場合に発生する現象であり、可視光カメラの撮像素子のダイナミックレンジを超えると発生する。

可視光カメラで撮像された画像の白飛びに対して、白飛び領域に対応する画像を、赤外線カメラで撮影された画像から切り出して、白飛び領域に重畳して合成画像を生成する手法が考えられる（例えば、特許文献１参照）。これにより、可視光画像内に白飛びが発生しても、歩行者や動物等のオブジェクトを検出することができる。

特開平１１−２６２４０１号公報

可視光画像内において歩行者等のオブジェクトが検出された場合、アラームを鳴らしたり、アラートランプを点灯させて、運転者に注意喚起することが考えられる。しかしながら、安全に歩道を歩いている歩行者が検出された場合にも、アラームが鳴る等のアラートが出力されると、運転者や同乗者にとって鬱陶しいものとなる。

本発明はこうした状況に鑑みてなされたものであり、その目的は、車両前方にオブジェクトが検出された場合において、安全性と快適性を両立する技術を提供することにある。

上記課題を解決するために、本発明のある態様の画像処理装置（１０）は、車両（１）に取り付けられ、当該車両（１）の前方を撮影する可視光撮像装置（２）および赤外線撮像装置（３）からそれぞれ入力される画像を取得する画像取得部（１１）と、前記可視光撮像装置（２）から入力される可視光画像内に、所定比率以上の飽和画素を含む飽和画素領域が含まれる場合、前記赤外線撮像装置（３）から入力される赤外線画像から、前記飽和画素領域に対応する領域画像を切り出して前記可視光画像と合成し、合成画像を生成する合成部（１５、１６）と、前記可視光画像内に前記飽和画素領域が含まれる場合、前記合成画像内に所定のオブジェクトが含まれるか否か探索し、前記可視光画像内に前記飽和画素領域が含まれない場合、前記可視光画像内に所定のオブジェクトが含まれるか否か探索するオブジェクト検出部（１７）と、前記可視光画像または前記合成画像内において前記オブジェクトが検出された場合、アラートを出力するアラート出力部（１８）と、を備える。前記アラート出力部（１８）は、前記可視光画像または前記合成画像内における、前記車両（１）が走行する領域である走行車線領域と、前記オブジェクトとの位置関係に応じてアラートレベルを変える。

本発明の別の態様は、画像処理方法である。この方法は、車両に取り付けられ、当該車両の前方を撮影する可視光撮像装置および赤外線撮像装置からそれぞれ入力される画像を取得するステップと、前記可視光撮像装置から入力される可視光画像内に、所定比率以上の飽和画素を含む飽和画素領域が含まれる場合、前記赤外線撮像装置から入力される赤外線画像から、前記飽和画素領域に対応する領域画像を切り出して前記可視光画像と合成し、合成画像を生成するステップと、前記可視光画像内に前記飽和画素領域が含まれる場合、前記合成画像内に所定のオブジェクトが含まれるか否か探索し、前記可視光画像内に前記飽和画素領域が含まれない場合、前記可視光画像内に所定のオブジェクトが含まれるか否か探索するステップと、前記可視光画像または前記合成画像内において前記オブジェクトが検出された場合、アラートを出力するステップと、を有する。前記アラートを出力するステップは、前記可視光画像または前記合成画像内における、前記車両が走行する領域である走行車線領域と、前記オブジェクトとの位置関係に応じてアラートレベルを変える。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、車両前方にオブジェクトが検出された場合において、安全性と快適性を両立することができる。

本発明の実施の形態に係る画像処理装置に出力する画像を撮影する可視光撮像装置及び赤外線撮像装置の取付位置の一例を示す図である。 本発明の実施の形態に係る画像処理装置の機能ブロックを示す図である。 本発明の実施の形態に係る画像処理装置の動作の流れを示すフローチャートである。 図４（ａ）、（ｂ）は、白飛びが発生していない可視光画像Ｖ１と、白飛びが発生している可視光画像Ｖ２を比較した図である。 図５（ａ）、（ｂ）は、赤外線画像Ｉ１と、可視光画像Ｖ２と赤外線画像Ｉ１の合成画像Ｃ１を比較した図である。 図６（ａ）、（ｂ）は、ある時刻の合成画像Ｃ２と、Δｔ経過後の合成画像Ｃ３を比較した図である。 図７（ａ）、（ｂ）は、ある時刻の合成画像Ｃ４と、Δｔ経過後の合成画像Ｃ５を比較した図である。

図１は、本発明の実施の形態に係る画像処理装置１０に出力する画像を撮影する可視光撮像装置２及び赤外線撮像装置３の取付位置の一例を示す図である。一般的に、可視光撮像装置２は車内に、赤外線撮像装置３は車外に設置される。図１に示す例では、可視光撮像装置２はフロントガラス４の内側に取り付けられ、赤外線撮像装置３はフロントグリル内に埋め込まれている。なお、可視光撮像装置２及び赤外線撮像装置３は、車両１の前方を画角に収めることができる位置に設置されればよく、その設置位置は限定されない。

図２は、本発明の実施の形態に係る画像処理装置１０の機能ブロックを示す図である。画像処理装置１０は、画像取得部１１、前処理部１２、走行車線領域特定部１３、飽和画素領域検出部１４、領域切出部１５、画像合成部１６及びオブジェクト検出部１７を備える。これらの機能ブロックは、ハードウェア資源とソフトウェア資源の協働、またはハードウェア資源のみにより実現できる。ハードウェア資源としてＣＰＵ、ＲＯＭ、ＲＡＭ、ＦＰＧＡ、その他のＬＳＩを利用できる。ソフトウェア資源としてオペレーティングシステム、アプリケーション等のプログラムを利用できる。

可視光撮像装置２は、固体撮像素子（不図示）及び信号処理回路（不図示）を含む。固体撮像素子は例えば、ＣＭＯＳイメージセンサ又はＣＣＤイメージセンサで構成され、入射光を電気的な画像信号に変換する。信号処理回路は、固体撮像素子から出力される画像信号に対して、Ａ／Ｄ変換、ノイズ除去などの信号処理を施し、画像処理装置１０に出力する。

赤外線撮像装置３は、赤外線撮像素子（不図示）及び信号処理回路（不図示）を含む。本実施の形態では、赤外線撮像素子として遠赤外線（ＦＩＲ）センサを用いる例を想定する。遠赤外線センサは、熱源となる物体や生物が発する遠赤外線を検出して、電気的な画像信号に変換する。信号処理回路は、赤外線撮像素子から出力される画像信号に対して、Ａ／Ｄ変換、ノイズ除去などの信号処理を施し、画像処理装置１０に出力する。

画像取得部１１は、可視光撮像装置２から入力される可視光画像、及び赤外線撮像装置３から入力される赤外線画像をそれぞれ取得し、前処理部１２に出力する。

前処理部１２は、可視光画像の情報量を圧縮する処理、及びノイズを除去する処理を実行する。情報量の圧縮処理として例えば、カラー（２５６色）の可視光画像を、モノクロ（２値）又はグレースケールの画像に変換する。また、可視光画像の画素を間引いて画像サイズを縮小する。例えば、６４０×４８０ピクセルの画像を３２０×２４０ピクセルの画像に縮小する。

同様に前処理部１２は、赤外線画像の情報量を圧縮する処理、及びノイズを除去する処理を実行する。また前処理部１２は、赤外線撮像装置３と可視光撮像装置２の取付位置の違い等による両者の画角の違いを補正するため、赤外線画像と可視光画像の位置合わせ処理を実行する。前処理部１２は、前処理済みの可視光画像を、飽和画素領域検出部１４及び走行車線領域特定部１３に出力し、前処理済みの赤外線画像を領域切出部１５に出力する。

飽和画素領域検出部１４は、可視光画像内に、所定比率以上の飽和画素を含む領域を飽和画素領域（白飛び領域ともいう）として検出する。飽和画素は、撮像素子の出力が最大に張り付いている画素である。飽和画素領域検出部１４は例えば、任意のサイズの矩形領域において、当該矩形領域内の全画素に占める飽和画素の比率が所定比率（８０〜９５％）以上の場合、当該矩形領域を飽和画素領域として検出する。

撮像素子にはダイナミックレンジが存在し、入射光がダイナミックレンジの最大値以上の画素は白とび画素になり、入射光がダイナミックレンジの最小値以下の画素は黒潰れ画素となる。撮像素子のダイナミックレンジは人間の目のダイナミックレンジより狭いため、人間の目では識別できる明暗を、撮像素子が識別できない場合が発生し得る。

白飛びは、撮像素子の露出時間を短くすることにより補正することができるが、車載カメラではユーザがマニュアルで露出を調整することができない。従って、カメラが被写体の明るさに応じて露出を自動調整することになるが、最適な調整とならない場合が発生する。また明暗が非常に大きい被写体の場合、撮像素子のダイナミックレンジに収まらない場合があり、その場合は白飛び又は黒潰れが必ず発生する。

飽和画素領域検出部１４は、可視光画像内に飽和画素領域が含まれる場合、その飽和画素領域の位置情報を領域切出部１５に出力し、可視光画像を画像合成部１６及びオブジェクト検出部１７に出力する。飽和画素領域検出部１４は、可視光画像内に飽和画素領域が含まれない場合、可視光画像をオブジェクト検出部１７に出力する。

走行車線領域特定部１３は、可視光画像内において、自車両が走行する車線の領域（以下、走行車線領域という）を特定する。走行車線領域の特定は、白線等の検出をもとに行う。二車線道路の場合、車道外側線と車道中央線の間の領域が走行車線領域となる。四車線道路の場合、車道外側線と車線境界線の間、又は車線境界線と車道中央線の間の領域が走行車線領域となる。

走行車線領域特定部１３は例えば、２値化された可視光画像をHough変換して、可視光画像内の直線成分を検出する。走行車線領域特定部１３は、可視光画像内で検出された複数の直線の内、可視光撮像装置２の設置位置および画角を考慮して、自車の走行車線領域を構成する２本の直線を特定する。なお、走行車線領域を構成する２本の直線上に飽和画素領域が発生している場合、走行車線領域特定部１３は当該２本の直線を外挿または内挿して、飽和画素領域によって覆われた２本の直線を仮想的に復元する。走行車線領域特定部１３は、特定した走行車線領域の位置情報をオブジェクト検出部１７に出力する。

領域切出部１５は赤外線画像から、上記飽和画素領域に対応する領域画像を切り出して画像合成部１６に出力する。画像合成部１６は可視光画像に、領域切出部１５から入力される領域画像を重畳して合成画像を生成する。画像合成部１６は生成した合成画像を前処理部１２に出力する。前処理部１２は合成画像に対して、２値化、ノイズ除去等の前処理を実行して、前処理済みの合成画像をオブジェクト検出部１７に出力する。

オブジェクト検出部１７は、可視光画像内に飽和画素領域が含まれない場合、可視光画像内に所定のオブジェクトが含まれるか否か探索する。可視光画像内に飽和画素領域が含まれる場合、合成画像内に所定のオブジェクトが含まれるか否か探索する。本実施の形態では所定のオブジェクトとして人物を想定する。

オブジェクト検出部１７には、多数の人物画像を機械学習して生成された人物の識別器が予め登録されている。オブジェクト検出部１７は、可視光画像または合成画像内の特徴量を算出する。当該特徴量として例えば、Haar-like特徴量、ＨＯＧ(Histogram of Gradients)特徴量、ＬＢＰ(Local Binary Patterns)特徴量などを使用することができる。オブジェクト検出部１７は、人物の識別器を用いて可視光画像または合成画像内を探索し、人物を検出する。

オブジェクト検出部１７は、検出した人物の特徴点を抽出し、当該特徴点のオプティカルフローを使用して人物の動きを追従する。当該特徴点として例えば、Harrisのコーナー検出アルゴリズムにより検出されるコーナーを使用することができる。オプティカルフローは、抽出された特徴点の動きを表す動きベクトルであり、例えば、勾配法、Lucas-Kanade法を用いて算出することができる。

オブジェクト検出部１７は、可視光画像または合成画像内において人物が検出された場合、人物の検出情報をアラート出力部１８に出力する。その際、当該検出情報に検出した人物と走行車線領域との位置関係情報を含める。位置関係には３パターンあり、（１）人物が走行車線領域内に含まれる、（２）人物が走行車線領域内に含まれないが、走行車線領域に近づいている、（３）人物が走行車線領域内に含まれず、走行車線領域にも近づいていない、のいずれのパターンであるかが検出情報に含まれる。第３パターンには、人物が静止している場合、人物が走行車線領域から遠ざかっている場合、人物が走行車線領域と平行に移動している場合が含まれる。

アラート出力部１８は、オブジェクト検出部１７から入力される検出情報に応じてアラート信号を生成し、ユーザインタフェース５に出力する。その際、検出情報に含まれる位置関係のパターンに応じてアラートレベルを変える。第１パターンがアラートレベルが最も高く、第２パターンが次に高く、第３パターンが最も低くなる。なお第１パターンと第２パターンのアラートレベルを等価なものとして扱ってもよい。

ユーザインタフェース５は、車両前方周辺に人物が存在することを運転者に通知するためのインタフェースである。ユーザインタフェース５は表示部５１及び音声出力部５２を含む。表示部５１は、アイコンやインジケータを表示可能なものであればよく、ＬＥＤ等のランプであってもよいし、液晶ディスプレイや有機ＥＬディスプレイ等のモニタであってもよい。音声出力部３２はスピーカを備える。

例えば、ＬＥＤランプはアラートレベル１で赤色で点灯し、アラートレベル２でオレンジ色で点灯し、アラートレベル３で緑色で点灯する。なおアラートレベル３では非点灯であってもよい。例えば、スピーカはアラートレベルが高いほど、アラート音または音声メッセージの音量が大きくなる。なおアラートレベル３では音声出力なしでもよい。また、アラートレベル１で警告表示と音声出力の併用、アラートレベル２で警告表示のみ、アラートレベル３で警告表示および音声出力なし、としてもよい。

図３は、本発明の実施の形態に係る画像処理装置１０の動作の流れを示すフローチャートである。画像取得部１１は、赤外線撮像装置３から赤外線画像を取得する（Ｓ１０）。例えば、３０Ｈｚのフレームレートで撮像されている場合、毎秒３０枚のフレーム画像を取得する。前処理部１２は、取得された赤外線画像に対して所定の前処理を実行し、可視光画像との位置合わせをするための補正を実行する（Ｓ１１）。

画像取得部１１は、可視光撮像装置２から可視光画像を取得する（Ｓ１２）。例えば、３０Ｈｚのフレームレートで撮像されている場合、毎秒３０枚のフレーム画像を取得する。前処理部１２は、取得された可視光画像に対して所定の前処理を実行する（Ｓ１３）。

飽和画素領域検出部１４は、可視光画像内に飽和画素領域が含まれるか否か探索する（Ｓ１４）。飽和画素領域が含まれる場合（Ｓ１４のＹ）、領域切出部１５は赤外線画像から、当該飽和画素領域に対応する領域画像を切り出す（Ｓ１５）。画像合成部１６は、切り出された領域画像を可視光画像に重畳して合成画像を生成する（Ｓ１６）。前処理部１２は、生成された合成画像に対して所定の前処理を実行する（Ｓ１７）。ステップＳ１４において、可視光画像内に飽和画素領域が含まれない場合（Ｓ１４のＮ）、ステップＳ１５−Ｓ１７の処理がスキップされる。

オブジェクト検出部１７は、可視光画像内に飽和画素領域が含まれない場合、可視光画像内に所定のオブジェクトが含まれるか否か探索する。可視光画像内に飽和画素領域が含まれる場合、合成画像内に所定のオブジェクトが含まれるか否か探索する（Ｓ１８）。可視光画像または合成画像内にオブジェクトが含まれる場合（Ｓ１８のＹ）、走行車線領域特定部１３は、可視光画像内において走行車線領域を特定する（Ｓ１９）。

オブジェクトが走行車線領域内で検出された場合（Ｓ２０のＹ）、アラート出力部１８はユーザインタフェース５にアラート信号を出力し、ユーザインタフェース５から運転者に向けてアラートが報知される（Ｓ２２）。オブジェクトが走行車線領域外で検出された場合であって（Ｓ２０のＮ）、オブジェクトが走行車線領域に接近中の場合（Ｓ２１のＹ）、アラート出力部１８はユーザインタフェース５にアラート信号を出力し、ユーザインタフェース５から運転者に向けてアラートが報知される（Ｓ２２）。

ステップＳ１８において、可視光画像または合成画像内にオブジェクトが含まれない場合（Ｓ１８のＮ）、ステップＳ１９−Ｓ２２の処理がスキップされる。ステップＳ２１において、オブジェクトが走行車線領域に接近中でない場合（Ｓ２１のＮ）、アラートが出力されない。

図４（ａ）、（ｂ）は、白飛びが発生していない可視光画像Ｖ１と、白飛びが発生している可視光画像Ｖ２を比較した図である。可視光画像Ｖ１、Ｖ２は、トンネルの中からトンネルの出口方向を撮影した画像である。可視光画像Ｖ１において、第１車道外側線Ｌ１、車道中央線Ｌ２、及び第２車道外側線Ｌ３の３本の直線が検出される。第１車道外側線Ｌ１と車道中央線Ｌ２の間の領域が、自車両の走行車線領域Ｒ１となる。

可視光画像Ｖ１では、トンネルの出口付近の走行車線領域Ｒ１内に人物Ｏ１が存在する。一方、可視光画像Ｖ２では、トンネルの出口付近で白飛びＷ１が発生しており、人物Ｏ１が撮像されていない。この場合、本実施の形態では、白飛びＷ１を包含する矩形領域を飽和画素領域Ｒｅ１として検出する。

図５（ａ）、（ｂ）は、赤外線画像Ｉ１と、可視光画像Ｖ２と赤外線画像Ｉ１の合成画像Ｃ１を比較した図である。赤外線画像Ｉ１では、高輝度エリアで白飛びが発生しないため、トンネルの出口付近の走行車線領域Ｒ１内に人物Ｏ１が撮像されている。そこで、赤外線画像Ｉ１の飽和画素領域Ｒｅ１を切り出して、白飛びが発生している可視光画像Ｖ２の飽和画素領域Ｒｅ１に重畳し、合成画像Ｃ１を生成する。これにより、可視光画像Ｖ２内に白飛びＷ１が発生しても人物Ｏ１を検出することができる。

図６（ａ）、（ｂ）は、ある時刻の合成画像Ｃ２と、Δｔ経過後の合成画像Ｃ３を比較した図である。合成画像Ｃ２では、人物Ｏ１が走行車線領域Ｒ１の外で検出されている。合成画像Ｃ２に対して、所定のフレーム数、時間的に後の合成画像Ｃ３でも、人物Ｏ１が走行車線領域Ｒ１の外で検出されている。合成画像Ｃ３で検出された人物Ｏ１の位置は、合成画像Ｃ２で検出された人物Ｏ１の位置より、飽和画素領域Ｒｅ１に近づいている。従って、人物Ｏ１と自車両が衝突する危険性が相対的に高く、運転者にアラートが報知される。

図７（ａ）、（ｂ）は、ある時刻の合成画像Ｃ４と、Δｔ経過後の合成画像Ｃ５を比較した図である。合成画像Ｃ４では、人物Ｏ１が走行車線領域Ｒ１の外で検出されている。合成画像Ｃ４に対して、所定のフレーム数、時間的に後の合成画像Ｃ５でも、人物Ｏ１が走行車線領域Ｒ１の外で検出されている。合成画像Ｃ５で検出された人物Ｏ１の位置は、合成画像Ｃ４で検出された人物Ｏ１の位置より、飽和画素領域Ｒｅ１から離れている。従って、人物Ｏ１と自車両が衝突する危険性が相対的に低く、運転者にアラートが報知されない。または軽度なアラートが報知される。

以上説明したように本実施の形態によれば、可視光撮像装置２で撮像された画像内からオブジェクトを検出した場合に、運転者にアラートを報知することにより、安全性を高めることができる。また可視光画像内に白飛びが発生している場合、その領域を赤外線画像から切り出して合成することにより、白飛びが発生している場合でも、画像内からオブジェクトを検出することができる。

また、オブジェクトと走行車線との位置関係をもとにアラートレベルを変えることにより、安全性と快適性を両立させることができる。例えば、検出されたオブジェクトが走行車線外に位置し、走行車線に接近していない場合、アラート音や音声メッセージを出力しないことにより、車室内の静音性を確保することができる。反対に走行車線に接近している場合、アラート音や音声メッセージを出力することにより、安全性を向上させることができる。

以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

上述の実施の形態では、オブジェクトとして歩行者を想定したが、鹿などの動物をオブジェクトに含めてもよい。この場合、各種動物の識別器をそれぞれ生成し、オブジェクト検出部１７に登録しておけばよい。またオブジェクトには、動体に限らず、落石などの静止物が含まれてもよい。

また、アラートメッセージ及び／又は検出されたオブジェクトを表すアイコンを、フロントガラス４の所定の位置に、ヘッドアップディスプレイ（ＨＵＤ）による虚像として表示させてもよい。

１ 車両、 ２ 可視光撮像装置、 ３ 赤外線撮像装置、 ４ フロントガラス、 １０ 画像処理装置、 １１ 画像取得部、 １２ 前処理部、 １３ 走行車線領域特定部、 １４ 飽和画素領域検出部、 １５ 領域切出部、 １６ 画像合成部、 １７ オブジェクト検出部、 １８ アラート出力部、 ５ ユーザインタフェース、 ５１ 表示部、 ５２ 音声出力部。

Claims (6)

1. 車両に取り付けられ、当該車両の前方を撮影する可視光撮像装置および赤外線撮像装置からそれぞれ入力される画像を取得する画像取得部と、
   前記可視光撮像装置から入力される可視光画像内に、所定比率以上の飽和画素を含む飽和画素領域が含まれる場合、前記赤外線撮像装置から入力される赤外線画像から、前記飽和画素領域に対応する領域画像を切り出して前記可視光画像と合成し、合成画像を生成する合成部と、
   前記可視光画像内に前記飽和画素領域が含まれる場合、前記合成画像内に所定のオブジェクトが含まれるか否か探索し、前記可視光画像内に前記飽和画素領域が含まれない場合、前記可視光画像内に所定のオブジェクトが含まれるか否か探索するオブジェクト検出部と、
   前記可視光画像または前記合成画像内において前記オブジェクトが検出された場合、アラートを出力するアラート出力部と、
   を備え、
   前記アラート出力部は、前記可視光画像または前記合成画像内における、前記車両が走行する領域である走行車線領域と、前記オブジェクトとの位置関係に応じてアラートレベルを変える、
   ことを特徴とする画像処理装置。
2. 前記アラート出力部は、前記可視光画像または前記合成画像内において、前記走行車線領域の中で前記オブジェクトが検出された場合、第１レベルのアラートを出力する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記アラート出力部は、前記可視光画像または前記合成画像内において、前記走行車線領域の外で前記オブジェクトが検出された場合であって、前記オブジェクトが前記走行車線領域に接近中の場合、前記第１レベルのアラートまたは前記第１レベルより低い第２レベルのアラートを出力する、
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記アラート出力部は、前記可視光画像または前記合成画像内において、前記走行車線領域の外で前記オブジェクトが検出された場合であって、前記オブジェクトが前記走行車線領域に非接近中の場合、前記第２レベルのアラート若しくは前記第２レベルより低い第３レベルのアラートを出力する、またはアラートを出力しない、
   ことを特徴とする請求項３に記載の画像処理装置。
5. 車両に取り付けられ、当該車両の前方を撮影する可視光撮像装置および赤外線撮像装置からそれぞれ入力される画像を取得するステップと、
   前記可視光撮像装置から入力される可視光画像内に、所定比率以上の飽和画素を含む飽和画素領域が含まれる場合、前記赤外線撮像装置から入力される赤外線画像から、前記飽和画素領域に対応する領域画像を切り出して前記可視光画像と合成し、合成画像を生成するステップと、
   前記可視光画像内に前記飽和画素領域が含まれる場合、前記合成画像内に所定のオブジェクトが含まれるか否か探索し、前記可視光画像内に前記飽和画素領域が含まれない場合、前記可視光画像内に所定のオブジェクトが含まれるか否か探索するステップと、
   前記可視光画像または前記合成画像内において前記オブジェクトが検出された場合、アラートを出力するステップと、
   を有し、
   前記アラートを出力するステップは、前記可視光画像または前記合成画像内における、前記車両が走行する領域である走行車線領域と、前記オブジェクトとの位置関係に応じてアラートレベルを変える、
   ことを特徴とする画像処理方法。
6. 車両に取り付けられ、当該車両の前方を撮影する可視光撮像装置および赤外線撮像装置からそれぞれ入力される画像を取得するステップと、
   前記可視光撮像装置から入力される可視光画像内に、所定比率以上の飽和画素を含む飽和画素領域が含まれる場合、前記赤外線撮像装置から入力される赤外線画像から、前記飽和画素領域に対応する領域画像を切り出して前記可視光画像と合成し、合成画像を生成するステップと、
   前記可視光画像内に前記飽和画素領域が含まれる場合、前記合成画像内に所定のオブジェクトが含まれるか否か探索し、前記可視光画像内に前記飽和画素領域が含まれない場合、前記可視光画像内に所定のオブジェクトが含まれるか否か探索するステップと、
   前記可視光画像または前記合成画像内において前記オブジェクトが検出された場合、アラートを出力するステップと、
   をコンピュータに実行させ、
   前記アラートを出力するステップは、前記可視光画像または前記合成画像内における、前記車両が走行する領域である走行車線領域と、前記オブジェクトとの位置関係に応じてアラートレベルを変える、
   ことを特徴とする画像処理プログラム。