JP2018101437A - 走行支援装置、走行支援装置による走行支援方法及びプログラム - Google Patents

Abstract

【課題】走行支援装置及び走行支援装置による走行支援方法において、可視画像の画素値に基づいて、可視画像中の可視撮像部の最低照度未満の照度を有する区分線が検出できない場合にも、赤外線画像と可視画像とを用いて区分線を推定する。
【解決手段】走行支援装置が、赤外線画像を撮像する赤外線撮像部と、赤外線画像の表す範囲に対応する範囲の可視画像を撮像する可視撮像部と、撮像された赤外線画像から車両が走行する道路の道路端線を検出する道路検出部（４１）と、撮像された可視画像から道路の区分線を検出する区分線検出部（４２）と、互いに位置合わせされた赤外線画像と可視画像に基づいて、道路端線と区分線とを表す統合画像を生成する画像生成部（４３）と、統合画像中の区分線と道路端線とに基づいて、統合画像における区分線の延長部分を推定する区分線推定部（４４）とを備える。
【選択図】図２

Description

本発明は、車両の走行を支援する走行支援装置及び走行支援装置による走行支援方法に関し、特に車両に搭載された赤外線撮像部によって撮像された赤外線画像と、車両に搭載された可視撮像部によって撮像された可視画像とに基づいて、車両の走行を支援する走行支援装置及び走行支援装置による走行支援方法に関する。

従来、道路等の走行を支援するために、車両に搭載したカメラで撮像した画像に基づいて、車両の走行を補助する情報を抽出する様々な技術が提案されている。

例えば、特許文献１及び２は、車両に可視カメラと赤外線カメラを搭載し、これらの可視カメラと赤外線カメラで対応する範囲を撮像し、可視カメラで撮像された可視画像から区分線を検出して、検出した区分線を赤外線カメラで撮像された赤外線画像に重畳して表示する技術を開示している。また、特許文献２は、可視画像から区分線を検出できなかった場合には、車速と舵角に基づいて自車両の進行方向を推定演算し、自車両の進行方向に対して車幅方向に所定幅を持つ領域を進行路と推定して赤外線画像に重畳する技術を開示している。

また、特許文献３及び４は、可視画像から検出した複数の境界線候補を結んだ直線を、道路上の区分線として検出する技術を開示している。

特許第０４５８４２７７号公報 特開２００１−１０１５９６号公報 特開２００６−１８５４０６号公報 特開２００５−３１６６０７号公報

ここで、夜間などの可視光が制限された状況では、ヘッドライトからの光が届かない場所など、可視画像の撮影範囲の一部が可視撮像部の最低照度未満の照度となってしまう場合もあり得る。このような場合には、可視画像中で最低照度未満の照度を有する区分線がほぼ一様に小さい画素値となって、可視画像の画素値の明暗に基づいて、可視画像中で最低照度未満の照度を有する区分線を検出できないという問題がある。

しかし、特許文献１乃至４に示す技術は、可視画像の画素値の明暗に基づいて、可視画像から区分線を検出する技術であるため、上記問題を解消することができない。また、特許文献２の技術によって、道路や区分線などの外部環境の情報によらず推定された進行路は、区分線や道路との関係が不明であり、進行路に基づいて区分線を推定できるとはいえない。

本発明は上記問題に鑑みてなされたものであり、可視画像の画素値に基づいて、可視画像中の可視撮像部の最低照度未満の照度を有する区分線を検出できない場合にも、赤外線撮像部によって撮像された赤外線画像と可視撮像部によって撮像された可視画像とを用いて道路の区分線を推定する走行支援装置及び係る走行支援装置による走行支援方法を提案することを目的とする。

本願発明に係る赤外線撮像装置は、車両に搭載されて車両前方の赤外線画像を撮像する赤外線撮像部と、車両に搭載されて赤外線画像の表す範囲に対応する範囲の可視画像を撮像する可視撮像部と、撮像された赤外線画像から車両が走行する道路の道路端線を検出する道路検出部と、撮像された可視画像から道路の区分線を検出する区分線検出部と、互いに位置合わせされた赤外線画像と可視画像に基づいて、道路端線と区分線とを表す統合画像を生成する画像生成部と、統合画像中の区分線と道路端線とに基づいて、統合画像における区分線の延長部分を推定する区分線推定部とを備えたことを特徴とする。

本願発明に係る赤外線撮像方法は、車両に搭載された赤外線撮像部と車両に搭載された可視撮像部とを備えた走行支援装置によって実施される走行支援方法であって、車両の車両前方の赤外線画像を撮像する赤外線撮像ステップと、赤外線画像の表す範囲に対応する範囲の可視画像を撮像する可視撮像ステップと、撮像された赤外線画像から車両が走行する道路の道路端線を検出する道路検出ステップと、撮像された可視画像から道路の区分線を検出する区分線検出ステップと、互いに位置合わせされた赤外線画像と可視画像に基づいて、道路端線と区分線とを表す統合画像を生成する画像生成ステップと、統合画像中の区分線と道路端線とに基づいて、統合画像における区分線の延長部分を推定する区分線推定ステップとを有することを特徴とする。

「車両前方」とは車両が移動する際の前方を意味する。例えば、車両前方は、車両が前進移動する際には車両が前進する向きを前向きとした場合の前方を意味し、車両が後退移動する際には車両が後退する向きを前向きとした場合の前方を意味する。

「区分線」とは、道路を区分するために、道路の走行方向に沿って路面に設けられた線を意味する。例えば、区分線は、車線境界線、車線と路側帯の境界を表す区画線、車線と歩道との境界線を含む。

本発明の走行支援装置において、区分線推定部が、道路面上において、区分線が道路端線と道路の走行方向に並走し、かつ、区分線が道路の走行方向と直交する横断方向に道路端線と一定の距離をあけて位置するという条件に従って、統合画像中の区分線の延長部分を推定することが好ましい。

「道路の走行方向と直交する横断方向」とは、道路の走行方向と横断方向が実質的に直交していることを意味する。例えば、横断方向は、道路の走行方向と実質的に直交していると見なせるものであれば、道路の走行方向と厳密に直交していないものも含む。

本発明の走行支援装置において、画像生成部は、互いに位置合わせされた赤外線画像と可視画像に基づいて、道路端線と区分線とを表す２次元画像である第１統合画像を統合画像として生成し、区分線推定部は、道路の両端をそれぞれ表す２つの道路端線が検出された場合に、車両の下向きを画像下向きとして第１統合画像を配置した状態で、第１統合画像の水平方向に延びる線上において、２つの道路端線のうち一方の道路端線上の参照点と２つの道路端線のうち他方の道路端線上の参照点とを区分線上の参照点が内分する内分比を算出し、各々の参照点から２つの道路端線の交点までの各点を通る水平方向に延びる線上において、一方の道路端線上の点と他方の道路端線上の点と区分線上の点とが内分比を維持するという条件に従って、区分線の候補点をそれぞれ算出し、算出された区分線の候補点に基づいて区分線の延長部分を推定する第１推定処理を実施することが好ましい。

本発明の走行支援装置において、画像生成部は、互いに位置合わせされた赤外線画像と可視画像に基づいて、道路端線と区分線とを表す２次元画像である第２統合画像を統合画像として生成し、区分線推定部は、車両の下向きを画像下向きとして第２統合画像を配置した状態で、第２統合画像において、道路端線の上端からの垂直方向の距離が大きくなるほど、道路端線と区分線との間の水平方向の距離が一定割合で大きくなるという条件に従って、道路端線の各点に対応する区分線の候補点をそれぞれ算出し、算出された区分線の候補点に基づいて区分線の延長部分を推定する第２推定処理を実施することが好ましい。

区分線推定部が第２推定処理を実施する場合に、区分線推定部は、車両の下向きを画像下向きとして第２統合画像を配置した状態において、道路端線の上端を検出し、道路端線の参照点から区分線までの水平方向の第１参照距離を算出し、上端から区分線の延長部分までの水平方向の第２参照距離を零と設定し、道路端線の参照点から上端までの垂直方向の距離に対する第１参照距離と第２参照距離の差の割合に基づいて一定割合を算出して第２推定処理を実施することが好ましい。

区分線推定部が第２推定処理を実施する場合に、区分線推定部は、車両の下向きを画像下向きとして第２統合画像を配置した状態において、道路端線の上端を検出し、道路端線の第１参照点から区分線までの水平方向の第１参照距離を算出し、道路端線の第２参照点から区分線までの水平方向の第２参照距離を算出し、第１参照点から第２参照点までの垂直方向の距離に対する第１参照距離と第２参照距離の差の割合に基づいて一定割合を算出して第２推定処理を実施することが好ましい。

本発明の走行支援装置において、区分線推定部が、道路の両端をそれぞれ表す２つの道路端線が検出された場合に第１推定処理を実施し、道路の一方の端を表す道路端線が検出され、道路の他方の端を表す道路端線が検出されなかった場合に、車両の下向きを画像下向きとして第１統合画像を配置した状態において、道路端線の上端からの垂直方向の距離が大きくなるほど、道路端線と区分線との間の水平方向の距離が一定割合で大きくなるという条件に従って、道路端線の各点に対応する区分線の候補点をそれぞれ算出し、算出された区分線の候補点に基づいて区分線の延長部分を推定する第２推定処理を実施することが好ましい。

上記において、「車両の下向きが画像下向きに相当する」とは、統合画像の下向きが車両の下向きと実質的に一致することを意味する。例えば、統合画像の下向きが車両の下向きと実質的に一致すると見なせるものであれば、統合画像の下向きが車両の下向きと厳密に一致しないものも含む。

上記、「道路の一方の端を表す道路端線が検出され、道路の他方の端を表す道路端線が検出されなかった場合」とは、道路の両端をそれぞれ表す道路端線のうち一方の端を表す道路端線のみが検出され、道路の他方の端を表す道路端線が検出されなかった場合を意味する。

本発明の走行支援装置において、道路検出部は、道路端線を表す複数の候補点を検出し、検出した複数の候補点に基づいて道路端線を多項式曲線として近似し、区分線検出部は、区分線の候補点に基づいて区分線を多項式曲線として近似することが好ましい。

本発明の走行支援装置において、画像生成部は、区分線と区分線の延長部分と道路端線とを表す表示画像を生成し、生成された表示画像を表示画面に表示させる表示制御部をさらに備えることが好ましい。

本発明の走行支援装置において、区分線と区分線の延長部分と道路端線に基づいて、道路のうち車両が走行する走行車線領域を設定する領域設定部と、赤外線画像から恒温の物体を検出する物体検出部と、車両の運転者のために警告を提示する警告部と、走行車線領域内の物体の存在の有無を判定し、物体が存在する場合に警告部に警告を提示させる判定部と、をさらに備えてもよい。

上記の場合に、判定部が、走行車線領域と物体との間の距離と物体の移動速度とに基づいて、物体が走行車線領域に進入する進入時間を推定し、物体と車両の間の距離と車両の移動速度とに基づいて、車両が物体の位置に到達する到達時間を推定し、進入時間が到達時間以前である場合に警告を提示させてもよい。

上記「恒温の物体」とは、道路や車両とは異なる温度を有する恒温の動物を意味する。例えば、恒温の物体は、人物、犬などの恒温の動物を含む。

本発明の走行支援装置において、区分線と区分線の延長部分と道路端線に基づいて、道路のうち車両が走行する走行車線領域を設定する領域設定部と、可視画像における走行車線領域の画素値に基づいて、可視画像の露出補正処理を行う露出補正部をさらに備えてもよい。

本発明の走行支援装置において、区分線と区分線の延長部分と道路端線に基づいて、道路のうち車両が走行する走行車線領域を設定する領域設定部と、可視画像における走行車線領域の画素値に基づいて可視撮像部の露出制御を行う露出制御部をさらに備えてもよい。

本発明の走行支援装置及び本発明の走行支援装置による走行支援方法によれば、可視画像の画素値に基づいて、可視画像中の可視撮像部の最低照度未満の照度を有する区分線を検出できない場合にも、赤外線画像から車両が走行する道路の道路端線を検出し、可視画像から道路の区分線を検出し、互いに位置合わせされた赤外線画像と可視画像に基づいて、道路端線と区分線とを表す統合画像を生成し、統合画像中の区分線と道路端線とに基づいて、統合画像における区分線の延長部分を推定するため、区分線の延長部分を好適に推定することができる。

本発明の一実施形態に係る走行支援装置を示すブロック図。 第１の実施形態におけるデジタル信号処理部と制御部の構成を示すブロック図。 第１の実施形態において生成される画像を示す図。 区分線推定部による第１推定処理を説明するための図。 区分線推定部による第２推定処理を説明するための図。 第２推定処理における、道路端線の上端からの垂直方向の距離に対する、道路端線と区分線との間の水平方向の距離の割合を示す図。 第１の実施形態の走行支援装置による処理の流れを示すフローチャート。 区分線推定部による処理の流れを示すフローチャート。 第２の実施形態において生成される画像を示す図。 第２の実施形態におけるデジタル信号処理部と制御部の構成を示すブロック図。 第２の実施形態の走行支援装置による処理の流れを示すフローチャート。 図１０における判定処理の流れを示すフローチャート。 汎用の露出パラメータに基づく露出補正処理後の可視画像と第３の実施形態により設定した露出パラメータに基づく露出補正処理後の可視画像を示す図。 第３の実施形態におけるデジタル信号処理部と制御部の構成を示すブロック図。 第３の実施形態の走行支援装置による処理の流れを示すフローチャート。 第４の実施形態におけるデジタル信号処理部と制御部の構成を示すブロック図。 第４の実施形態の走行支援装置による処理の流れを示すフローチャート。

以下、図面を参照して本発明の実施形態について説明する。図１は本発明の一実施形態による走行支援装置１００を示すブロック図を示す。

図１に示すように、走行支援装置１００は、赤外線画像を撮像する赤外線撮像部１０と、可視画像を撮像する可視撮像部２０と、制御部３０と、赤外線画像及び可視画像に対して各種の画像処理を行うデジタル信号処理部４０と、メモリ６０と、表示部７０と、補助記憶装置８０と、各部を通信可能に接続するバス９０とを備える。

赤外線撮像部１０は、車両に搭載されて車両前方の赤外線画像を撮像する機能を有する。赤外線撮像部１０は、赤外線撮像用の光学系１１と、赤外線撮像の際に露出を調節する絞り１２と、光学系１１の結像面に位置し、光学系１１を通過した赤外線を検出して赤外線画像を出力するイメージセンサである赤外線検出器１３と、赤外線検出器１３で検出された赤外線画像の各画素値に対して増幅処理を含む公知のアナログ信号処理を行うアナログ信号処理回路１４と、アナログ信号処理を施された赤外線画像の各画素値に対してＡＤ変換（Analog to Digital変換）を行うＡＤ変換回路１５とを有する。なお、この変換されたデジタルの画像信号は、１コマのフレーム画像の画像データとして後述のフレームメモリ６１に記録される。

赤外線検出器１３は、複数の赤外線検出素子を行列状配置したイメージセンサから構成される。赤外線検出器１３は、赤外線（波長０．７μｍ〜１ｍｍ）を検出可能な赤外線検出器であり、特に、遠赤外線（波長４μｍ〜１ｍｍ）を検出可能な赤外線検出器である。例えば、赤外線検出器１３の赤外線検出素子としてボロメータ型の赤外線検出素子を用いることができる。

可視撮像部２０は、車両に搭載されて赤外線画像の表す範囲に対応する範囲の可視画像を撮像する機能を有する。可視撮像部２０は、可視撮像用の光学系２１と、可視撮像の際に露出を調節する絞り２２と、光学系２１の結像面に位置し、光学系２１を通過した可視光線を検出して可視画像を出力するイメージセンサである検出器２３と、検出器２３で検出された可視画像の各画素値に対して増幅処理を含む公知のアナログ信号処理を行うアナログ信号処理回路２４と、アナログ信号処理を施された可視画像の各画素値に対してＡＤ変換（Analog to Digital変換）を行うＡＤ変換回路２５とを有する。なお、この変換されたデジタルの画像信号は、１コマのフレーム画像の画像データとして後述のフレームメモリ６２に記録される。また、可視撮像部２０と赤外線撮像部１０は、互いに近傍に配置され、ほぼ同じ範囲の外部領域をほぼ同じ撮像位置から撮像できるように構成されている。

メモリ６０は、ＲＯＭ(Read Only Memory)領域とＲＡＭ(Random Access Memory)領域を備える。メモリ６０のＲＡＭ領域は、制御部３０及びデジタル信号処理部４０が処理を実行するためのワークメモリや、各種データの一時保管先として機能する。メモリ６０のＲＯＭ領域は、制御部３０及びデジタル信号処理部４０の制御のためのプログラムや後述の露出テーブル及び露出条件テーブルなどの各種処理に必要なデータを記憶している。また、ＲＯＭ領域は、本実施形態に係る走行支援処理を規定するプログラムを記憶している。また、メモリ６０のＲＡＭ領域は、フレームメモリ６１とフレームメモリ６２を備えている。フレームメモリ６１及びフレームメモリ６２は、各画像処理の際に必要に応じて画像データを一時的に記録する。

補助記憶装置８０は、ハードディスクなど各種の記憶媒体から構成される。補助記憶装置８０は、不図示のメディアインターフェースを介して、例えば、後述のデジタル信号処理部によって画像処理された赤外線画像、可視画像、赤外線画像と可視画像を重畳した画像および各種表示画像などを記憶する。

表示部７０は、液晶型ディスプレイなど公知のディスプレイから構成される。表示部７０は、後述の表示制御部３１の制御に従って適宜対応する画像及び必要な情報を表示する。例えば、表示部７０に表示される各種の画像は、撮像により取得した画像、後述の画像生成部４３に生成される表示画像および補助記憶装置８０に記録された画像等がある。

制御部３０は、メモリ６０に記憶されたプログラムに従って、走行支援装置１００の統括的な制御を行う。制御部３０は、赤外線撮像部１０及び可視撮像部２０を適宜同期させてそれぞれの撮像制御、及び、撮像時に必要となる各種処理を行う。例えば、制御部３０は、メモリ６０に設定された絞り値やシャッタースピードなどの露出条件に基づいて、目標の絞り値に応じて絞り１２を制御し、目標のシャッタースピードに応じて赤外線検出器１３の撮像時間を制御して赤外線撮像部１０に赤外線画像の撮像を実行させる。また、制御部３０は、メモリ６０に設定された絞り値やシャッタースピードなどの露出条件に基づいて、目標の絞り値に応じて絞り２２を制御し、目標のシャッタースピードに応じて検出器２３の撮像時間を制御して可視撮像部２０に可視画像の撮像を実行させる。また、制御部３０は、デジタル信号処理部４０の制御、補助記憶装置８０へのデータの記憶や読み出しなどの制御等を実行する。

図２は、第１の実施形態におけるデジタル信号処理部４０と制御部３０の構成を示すブロック図である。本明細書の各実施形態において、制御部３０は、メモリ６０に記憶された本実施形態に係る走行支援処理を規定するプログラムを実行することにより、表示部７０の表示を制御するための表示制御部３１として機能する。

デジタル信号処理部４０は、メモリ６０に記憶された本実施形態に係る走行支援処理を規定するプログラムを実行することにより、撮像された赤外線画像から車両が走行する道路の道路端線を検出する道路検出部４１と、撮像された可視画像から道路の区分線を検出する区分線検出部４２と、互いに位置合わせされた赤外線画像と可視画像に基づいて、道路端線と区分線とを表す統合画像を生成する画像生成部４３と、統合画像中の区分線と道路端線とに基づいて、統合画像における区分線の延長部分を推定する区分線推定部４４として機能する。

道路検出部４１は、赤外線画像に基づいて、公知の手法により道路と道路の外側の領域の画素値の差に基づいて道路の輪郭上の点を、道路領域の端を表す道路端の候補点として検出する。道路検出部４１は、検出された候補点に基づいて最小自乗法によるフィッティングを行って多項式曲線を近似する。そして、近似された曲線を道路端線として検出する。なお、赤外線画像内で道路端線が一般的に取り得る曲線形状に合わせて、多項式の次数を２次又は３次に限定してもよい。また、赤外線画像内で道路端線が直線形状である場合には、最小自乗法などによるフィッティングを行って直線により道路端線を近似してもよい。

以下、道路検出部４１が道路の片側の道路端線のみを検出した場合には、片側の道路端線を第１道路端線と記載する。また、道路検出部４１が両側の道路端線（２つの道路端線）を検出した場合には、一方の道路端線を第１道路端線と記載し、他方の道路端線を第２道路端線と記載する。なお、幅の広い道路を走行する際など赤外線画像中に道路端が含まれない場合、他の車両、人物又は電柱などの障害物により道路端が遮られて赤外線画像中に道路端が含まれない場合、あるいは、道路端が赤外線画像中に含まれていても、道路と道路の外側の領域の画素値に差が無い場合などには、道路端線が検出されない場合もある。

区分線検出部４２は、可視画像に基づいて、公知の手法により区分線と区分線の外側の領域との画素値の差に基づいて区分線の輪郭上の点を、区分線上の区分線候補点として複数検出する。そして、区分線検出部４２は、検出された候補点に基づいて最小自乗法によるフィッティングを行って多項式曲線を近似する。そして、近似された曲線を区分線として検出する。なお、可視画像内で区分線が一般的に取り得る曲線形状に合わせて、多項式の次数を２次又は３次に限定してもよい。また、赤外線画像内で道路端線が直線形状である場合には、最小自乗法などによるフィッティングを行って直線により道路端線を近似してもよい。

画像生成部４３は、位置合わせした赤外線画像と可視画像に基づいて、道路端線と区分線を表す統合画像（第１統合画像、第２統合画像）を生成する。ここでは、画像生成部４３は、赤外線画像と可視画像の既知の相対位置情報に基づいて、赤外線画像の座標系を基準座標系として、可視画像の座標系を基準座標系に変換することによって赤外線画像と可視画像を位置合わせする。

なお、画像生成部４３は、任意の手法によって赤外線画像と可視画像の位置合わせを行ってよい。例えば、可視画像の座標系を基準座標系として、赤外線画像の座標系を基準座標系に変換して、基準座標系に基づいて、統合画像を生成してもよい。また、赤外線画像と可視画像の相対位置情報が既知ではない場合など、例えば、赤外線画像と可視画像の両方に含まれるランドマークの位置を互いに一致させるように、画像の回転、移動および拡大縮小などを任意に組み合わせて行って、赤外線画像と可視画像の位置合わせを行ってもよい。また、赤外線撮像部１０と可視撮像部２０が近接して設けられ、ほぼ同位置から赤外線画像と可視画像が撮像されたと見なせる場合には、赤外線画像と可視画像が位置合わせされているとして、位置合わせのための特別な処理を省略してもよい。

画像生成部４３は、基準座標系において、道路端線と区分線を表す統合画像を生成する。図３は、第１の実施形態において生成される画像を示す図である。図３に示すように、本実施形態では、画像生成部４３は、赤外線画像ＩｍｇＢと、可視画像ＩｍｇＡに基づいて、赤外線画像ＩｍｇＢ上に、可視画像ＩｍｇＡから検出した区分線ＬＡ、ＬＢ、ＬＣ、ＬＤと赤外線画像ＩｍｇＢから検出した道路端線ＬＬ、ＬＲを重畳した画像である統合画像ＩｍｇＣを生成する。なお、統合画像は、車両に搭載された撮像部から観察される２次元画像の座標系に対応する基準座標系において、少なくとも道路端線と区分線とを含むものであれば、歩行者などの物体や他の車両を示す他の情報などを含んでもよい。また、画像生成部４３は、赤外線画像と可視画像に加えて、赤外線画像又は可視画像の撮像の際の撮像方向の距離情報を取得可能な場合には、統合画像を３次元画像として生成してもよい。

また、画像生成部４３は、表示に必要な各種の表示画像を生成する。本実施形態では、図３に示すように、画像生成部４３は、赤外線画像ＩｍｇＢと、可視画像ＩｍｇＡに基づいて、赤外線画像ＩｍｇＢ上に、可視画像ＩｍｇＡから検出した区分線ＬＡ、ＬＢ、ＬＣ、ＬＤ及びそれらの延長部分ＬＡＥ、ＬＢＥ、ＬＣＥ、ＬＤＥと赤外線画像ＩｍｇＢから検出した道路端線ＬＬ、ＬＲとを重畳した画像を表示画像ＩｍｇＤとして生成する。なお、係る表示画像ＩｍｇＤは、区分線の延長部分ＬＡＥ、ＬＢＥ、ＬＣＥ、ＬＤＥを追加した点が統合画像ＩｍｇＣと異なる。表示画像は、このような位置合わせした２次元の基準座標系において、道路端線と区分線と推定された区分線の延長部分を表す画像を表示することにより、道路と区分線と推定された区分線の延長部分との相対的な位置関係を把握するための情報を提供することができる。

画像生成部４３によって生成される各画像は、適宜補助記憶装置８０に記憶される。なお、赤外線撮像部１０によって撮像される赤外線画像及び可視撮像部２０によって撮像される可視画像及び画像生成部４３によって生成される各画像は、デジタル信号処理部４０によって、走行支援処理の前又は後にその他の必要な補正処理などが適宜施されてよい。

次に、区分線推定部４４による区分線の延長部分の推定の原理を説明する。

一般に、夜間などの場合、可視画像からは、可視撮像部２０の最低照度以上の照度を有する被写体である道路や区分線や人物などの被写体は識別できるが、ヘッドライトの光が到達しないなど最低照度未満の照度を有する被写体は識別することができない。一方、赤外線画像からは、可視光の照度にかかわらず、道路から放射される赤外線に基づいて道路端線の情報が得られるが、道路との温度差の小さい道路上の区分線などの被写体は明確に検出することができない。

このため、図３に示すように、可視画像ＩｍｇＡでは、可視撮像部２０の最低照度以上の照度を有する区分線は識別できるが、可視撮像部２０の最低照度未満の照度の区分線（区分線の延長部分）は黒潰れして識別できない。さらに、赤外線画像ＩｍｇＢでは可視光の照度にかかわらず道路端線を識別できるが、区分線を識別することができない。このような場合、赤外線画像ＩｍｇＢと可視画像ＩｍｇＡとから得られる情報とを単純に組み合わせても、可視撮像部２０の最低照度未満の照度となってしまった区分線の延長部分が識別できない。

本発明は上記事情に鑑み、可視画像の画素値に基づいて、可視画像中の可視撮像部２０の最低照度未満の照度を有する区分線を検出できない場合にも、赤外線画像から車両が走行する道路の道路端線を検出し、可視画像から道路の区分線を検出し、検出した区分線と道路端線とに基づいて、区分線の延長部分を推定する。

特に、本発明では、区分線が道路の走行方向に道路端線に沿って設けられ、かつ、区分線が道路の横断方向において、道路端から所定距離離間した位置に設けられることが多いという特徴に着目した。そして、上記特徴を、道路面上において、区分線が道路端線と道路の走行方向に並走し、かつ、区分線が道路の走行方向と直交する横断方向に道路端線と一定の距離をあけて位置するという条件（第１条件）ととらえることを見出した。このため、区分線推定部４４は、第１条件に従って、統合画像中の区分線の延長部分を推定する。このことにより、赤外線画像から得た道路端線の情報と可視画像から得た区分線の情報から区分線の延長部分の位置を推定することができる。

さらに、車両に搭載される可視撮像部２０及び赤外線撮像部１０からそれぞれ撮像した可視画像と赤外線画像に基づいて、２次元画像である統合画像を生成し、２次元統合画像上で第１条件に基づく区分線推定処理が実施できることが好ましい。道路の３次元画像の情報を取得する負担を低減して、より簡易に区分線推定処理を実施できる方が好ましいからである。このため、ここでは、第１条件を、下記第１推定条件又は第２推定条件としてさらに具体化し、第１推定条件又は第２推定条件に基づいて区分線推定処理を行う。

なお、公知の方法を用いて、可視画像あるいは赤外線画像の撮像の際の撮像方向の距離情報が取得できる場合には、画像生成部４３は、距離情報に基づいて、３次元画像の統合画像を生成してもよい。この場合には、区分線推定部４４は、統合画像で、赤外線画像から検出した道路端線と可視画像から検出した区分線に基づいて、道路面上で、道路端線と区分線との一定の距離を算出し、道路端線から一定の距離に区分線の延長部が位置すると推定して、区分線の延長部分を推定すればよい。なお、車両前方の距離情報を取得する技術として、３次元形状測定器によって車両前方の距離を測定する技術、あるいは、２つ赤外線撮像部１０を備えて視差を基に赤外線画像の奥行き方向の距離情報を取得する技術が考えられる。

第１推定条件は、車両の下向き（車両の天井面側から底面側に向かう向き）を画像下向きとして統合画像を配置した状態で、統合画像の水平方向に延びる線上において、２つの道路端線のうち一方の道路端線上の参照点と２つの道路端線のうち他方の道路端線上の参照点とを区分線上の参照点が内分する内分比を算出し、各々の参照点から２つの道路端線の交点までの各点を通る水平方向に延びる線上において、一方の道路端線上の点と他方の道路端線上の点と区分線上の点とが内分比を維持するという条件である。

第２推定条件は、車両の下向きを画像下向きとして統合画像を配置した状態で、統合画像において、道路端線の上端からの垂直方向の距離が大きくなるほど、道路端線と区分線との間の水平方向の距離が一定割合で大きくなるという条件である。

赤外線画像と可視画像に基づいて、車両に搭載された撮像部から観察される２次元画像の座標系に対応する基準座標系を設定すると、係る基準座標系はいわゆるカメラ座標系となっている。このため、上記基準座標系に基づいて、少なくとも道路端線と区分線とを示すように統合画像を生成した場合には、道路と区分線が中心投影法により表される。また、車両下向きを画像下向きになるように統合画像を配置した場合には、第１条件における道路の進行方向が統合画像の縦方向に相当し、道路の横断方向は統合画像の横方向に相当すると考えられる。

このことを利用して、第１条件が満たされる場合には、車両の下向きを画像下向きとして統合画像を配置した状態で、水平方向に延びる線上において、２つの道路端線のうち一方の道路端線上の参照点と２つの道路端線のうち他方の道路端線上の参照点とを区分線上の参照点が内分する内分比は一定となると考えられ、上記第１推定条件が成立すると考えられる。また、赤外線画像から道路の進行方向に沿って滑らかに延びる道路端線が検出され、第１条件が満たされる場合には、車両の下向きを画像下向きとして配置された統合画像においては、中心投影法に従って、画像の下方から上方に向かって道路と区分線との距離が一定の割合で小さくなっていくと考えられ、上記第２推定条件が成立すると考えられる。

上記のように、車両に搭載された撮像部から観察される２次元画像の座標系に対応する基準座標系で表される統合画像を用いて、第１推定条件又は第２推定条件に基づいて区分線の延長部分を推定した場合には、道路の３次元形状の情報などを新たに取得しなくても赤外線画像の情報と可視画像の情報から、好適に区分線の延長部分を推定することができる。

図４は、第１推定条件に従って、区分線の候補点をそれぞれ算出し、算出された区分線の候補点に基づいて区分線の延長部分を推定する第１推定処理を説明するための図である。図４を用いて、第１推定処理について説明する。図４は、道路検出部４１に検出された第１道路端線ＬＬと第２道路端線ＬＲと区分線検出部４２に検出された区分線ＬＡ、ＬＢ、ＬＣが含まれる統合画像（第１統合画像）を示している。統合画像において、画像の下向き（ｙ軸正方向）は、車両の下向きとされている。

区分線推定部４４は、道路の片端を表す近似曲線である第１道路端線ＬＬと、道路の他端を表す近似曲線である第２道路端線ＬＲの交点Ｐｅを算出する。

区分線推定部４４は、直線Ｙ＝ｙｎが第１道路端線ＬＬ、第２道路端線ＬＲ、区分線ＬＡ、ＬＢ、ＬＣの全てと交わるようなｙ座標値ｙｎを選択する。そして、直線Ｙ＝ｙｎにおいて第１道路端線ＬＬ上の参照点ＰＬＬｎと、区分線ＬＡ上の参照点ＰＬＡｎと、区分線ＬＢ上の参照点ＰＬＢｎと、区分線ＬＣ上の参照点ＰＬＣｎと、第２道路端線ＬＲ上の参照点ＰＬＲｎを特定する。なお、交点Ｐｅのｙ座標をｙｅとするとｙｎ＞ｙｅである。

そして、区分線推定部４４は、第１道路端線ＬＬ上の参照点ＰＬＬｎと区分線ＬＡ上の参照点ＰＬＡｎとの間の距離ＬＬＬＡ（ｙｎ）と、区分線ＬＡ上の参照点ＰＬＡｎと区分線ＬＢ上の参照点ＰＬＢｎとの間の距離ＬＡＬＢ（ｙｎ）と、区分線ＬＢ上の参照点ＰＬＢｎと区分線ＬＣ上の参照点ＰＬＣｎとの間の距離ＬＢＬＣ（ｙｎ）と、区分線ＬＣ上の参照点ＰＬＣｎと第２道路端線ＬＲ上の参照点ＰＬＲｎとの間の距離ＬＣＬＲ（ｙｎ）と、を算出する。そして、これらの距離の比、ＬＬＬＡ（ｙｎ）：ＬＡＬＢ（ｙｎ）：ＬＢＬＣ（ｙｎ）：ＬＣＬＲ（ｙｎ）を算出する。

そして、区分線推定部４４は、ｙ＝ｙｉ（ｙｅ≦ｙｉ≦ｙｎ）上において、第１道路端線ＬＬ上の参照点ＰＬＬｉと、第２道路端線ＬＲ上の参照点ＰＬＲｉを特定する。そして、ＬＬＬＡ（ｙｎ）：ＬＡＬＢ（ｙｎ）：ＬＢＬＣ（ｙｎ）：ＬＣＬＲ（ｙｎ）＝ＬＬＬＡ（ｙｉ）：ＬＡＬＢ（ｙｉ）：ＬＢＬＣ（ｙｉ）：ＬＣＬＲ（ｙｉ）となるように、区分線ＬＡの候補点ＰＬＡｉ、区分線ＬＢ上の候補点ＰＬＢｉ、区分線ＬＣ上の候補点ＰＬＣｉを特定する。区分線推定部４４は、ｙｅ≦ｙｉ≦ｙｎの区間における各ｙ座標（ｙｉ）に対して、区分線ＬＡ上の候補点ＰＬＡｉ、区分線ＬＢ上の候補点ＰＬＢｉ、区分線ＬＣ上の候補点ＰＬＣｉをそれぞれ算出する処理を行う。

そして、区分線推定部４４は、ｙｅ≦ｙｉ≦ｙｎの区間における区分線ＬＡ上の複数の候補点ＰＬＡｉと区分線ＬＡに基づいて、最小自乗法によるフィッティングを行って多項式曲線を近似する。そして、近似された曲線を推定後区分線として推定する。なお、推定後区分線から区分線ＬＡを除いた部分が、推定された区分線ＬＡの延長部分ＬＡＥに相当する。

区分線推定部４４は、区分線ＬＢと区分線ＬＣに対しても、区分線ＬＡと同様の処理を行って推定後区分線を算出する。つまり、区分線推定部４４は、ｙｅ≦ｙｉ≦ｙｎの区間における区分線ＬＢ上の候補点ＰＬＢｉと区分線ＬＢに基づいて、最小自乗法によるフィッティングを行って多項式曲線を近似する。そして、近似された曲線を推定後区分線として算出する。区分線推定部４４は、ｙｅ≦ｙｉ≦ｙｎの区間における区分線ＬＣ上の候補点ＰＬＣｉと区分線ＬＣに基づいて、最小自乗法によるフィッティングを行って多項式曲線を近似する。そして、近似された曲線を推定後区分線として算出する。そして、図４に示すように、区分線ＬＢの延長部分ＬＢＥ、区分線ＬＣの延長部分ＬＣＥが推定される。

上記のように、第１推定条件を用いて区分線の延長部分を推定した場合には、２つの道路端線の情報を用いるため、正確に区分線の延長部分の位置を算出することができる。

図５Ａは、第２推定条件に従って、区分線の候補点をそれぞれ算出し、算出された区分線の候補点に基づいて区分線の延長部分を推定する第２推定処理を説明するための図である。図５Ｂは、車両の下向きを画像下向きとして統合画像（第２統合画像）を配置した状態で、道路端線の上端からの垂直方向の距離に対する、道路端線と区分線との間の水平方向の距離の割合を示す図である。図５Ｂでは、道路端線の上端からの垂直方向の距離を横軸とし、道路端線と区分線との間の水平方向の距離を縦軸に示す。図５Ａと図５Ｂとを用いて、第２推定処理について説明する。

まず、区分線推定部４４は、第１道路端線上の画素値の変化に基づいて、画素値の変化がしきい値以上となる点を第１道路端線の上端ＰＬＬｅとして特定する。

区分線推定部４４は、直線Ｙ＝ｙｎ１が第１道路端線ＬＬ、区分線ＬＡ、ＬＢの全てと交わるようなｙ座標値ｙｎ１を選択する。そして、直線Ｙ＝ｙｎ１において、第１道路端線ＬＬ上の参照点ＰＬＬｎ１と、区分線ＬＡ上の参照点ＰＬＡｎ１と、区分線ＬＢ上の参照点ＰＬＢｎ１とを特定する。なお、第１道路端線の上端ＰＬＬｅのｙ座標をｙｅとするとｙｎ１＞ｙｅである。

区分線推定部４４は、第１道路端線ＬＬ上の参照点ＰＬＬｎ１と区分線ＬＡ上の参照点ＰＬＡｎ１との間の第１参照距離ＬＬＬＡ（ｙｎ１）と、第１道路端線ＬＬ上の参照点ＰＬＬｎ１と区分線ＬＢ上の参照点ＰＬＢｎ１との間の第１参照距離ＬＬＬＢ（ｙｎ１）とを算出する。また、第１道路端線の上端ＰＬＬｅを通る直線Ｙ＝ｙｅ上における第１道路端線ＬＬ上の参照点ＰＬＬｅと区分線ＬＡ上の候補点との間の第２参照距離ＬＬＬＡ（ｙｅ）が零であると推定する。また、第１道路端線ＬＬ上の参照点ＰＬＬｅと区分線ＬＢ上の候補点との間の第２参照距離ＬＬＬＢ（ｙｅ）が零であると推定する。

そして、区分線推定部４４は、図５Ｂに示すように、ｙｅ≦ｙｉ≦ｙｎ１において、第１参照点ＰＬＡｎ１から第２参照点ＰＬＡｅまでの垂直方向の距離（ｙｎ１−ｙｅ）に対する第１参照距離ＬＬＬＡ（ｙｎ１）と第２参照距離ＬＬＬＡ（ｙｅ）の差の割合である一定割合αＡ＝（ＬＬＬＡ（ｙｎ１）−ＬＬＬＡ（ｙｅ））／（ｙｎ１−ｙｅ）を算出する。そして、区分線推定部４４は、各ｙ座標におけるＬＬＬＡ（ｙｉ）＝αＡ×（ｙｉ−ｙｅ）を算出する。

また、同様に、区分線推定部４４は、ｙｅ≦ｙｉ≦ｙｎ１において、第１参照点ＰＬＢｎ１から第２参照点ＰＬＢｅまでの垂直方向の距離（ｙｎ１−ｙｅ）に対する第１参照距離ＬＬＬＢ（ｙｎ１）と第２参照距離ＬＬＬＢ（ｙｅ）の差の割合である一定割合αＢ＝（ＬＬＬＢ（ｙｎ１）−ＬＬＬＢ（ｙｅ））／（ｙｎ１−ｙｅ）を算出する。そして、区分線推定部４４は、各ｙ座標におけるＬＬＬＢ（ｙｉ）＝αＢ×（ｙｉ−ｙｅ）を算出する。

そして、区分線推定部４４は、ｙｅ≦ｙｉ≦ｙｎ１の区間の各ｙ座標ｙｉにおいて、直線ｙ＝ｙｉ（ｙｅ≦ｙｉ≦ｙｎ１）上で、第１道路端線ＬＬ上の参照点ＰＬＬｉから、ｘ軸の正方向にＬＬＬＡ（ｙｉ）離れた位置に区分線ＬＡの候補点ＰＬＡｉをそれぞれ設定する。同様に、区分線推定部４４は、第１道路端線ＬＬ上の参照点ＰＬＬｉから、ｘ軸の正方向にＬＬＬＢ（ｙｉ）離れた位置に区分線ＬＢの候補点ＰＬＢｉをそれぞれ設定する。

区分線推定部４４は、ｙｅ≦ｙｉ≦ｙｎ１の区間における区分線ＬＡの候補点ＰＬＡｉと区分線ＬＡに基づいて、最小自乗法によるフィッティングを行って多項式曲線を近似する。そして、近似された曲線を推定後区分線として算出する。この結果、区分線ＬＡの延長部分ＬＡＥが推定される。また、区分線推定部４４は、ｙｅ≦ｙｉ≦ｙｎ１の区間における区分線ＬＢの候補点ＰＬＢｉと区分線ＬＢに基づいて、最小自乗法によるフィッティングを行って多項式曲線を近似する。そして、近似された曲線を推定後区分線として算出する。この結果、区分線ＬＢの延長部分ＬＢＥが推定される。

区分線推定部４４が、第２推定条件に基づいて、区分線の延長部分を推定した場合には、少なくとも道路の片側の第１道路端線が検出できていれば、第２道路端線の情報を用いなくても、第１道路端線の情報に基づいて区分線を検出することができる。

上記の例では、垂直方向の距離に対する、道路端線と区分線との間の水平方向の距離の変化の割合を算出する際に、第１道路端線の上端において、道路端線と区分線との間の水平方向の距離（第２参照距離）を零と推定している。つまり、第１道路端線の上端の参照点が区分線の延長部分の候補点に相当すると推定している。このため、可視画像から検出された区分線が短い場合でも、区分線上に１つ参照点を設定することができれば、上記変化の割合を算出することができる。

また、区分線推定部４４は、第２推定条件に基づいて、区分線の延長部分を推定する場合に、以下の方法で、垂直方向の距離に対する、道路端線と区分線との間の水平方向の距離の変化の割合を算出してもよい。

区分線推定部４４は、車両の下向きを画像下向きとして統合画像を配置した状態において、第１道路端線ＬＬの上端ＰＬＬｅを検出する。区分線推定部４４は、上記した方法と同様に、直線Ｙ＝ｙｎ１が第１道路端線ＬＬ、区分線ＬＡ、ＬＢの全てと交わるようなｙ座標値ｙｎ１を選択する。そして、直線Ｙ＝ｙｎ１において第１道路端線ＬＬ上の第１参照点ＰＬＬｎ１と、区分線ＬＡ上の第１参照点ＰＬＡｎ１と、区分線ＬＢ上の第１参照点ＰＬＢｎ１とを特定する。そして、第１道路端線ＬＬの第１参照点ＰＬＬｎ１と区分線ＬＡ上の第１参照点ＰＬＡｎ１との間の第１参照距離ＬＬＬＡ（ｙｎ１）を算出し、第１道路端線ＬＬの第１参照点ＰＬＬｎ１と区分線ＬＢ上の第１参照点ＰＬＢｎ１との間の第１参照距離ＬＬＬＢ（ｙｎ１）を算出する。

また、区分線推定部４４は、直線Ｙ＝ｙｎ２が第１道路端線ＬＬ、区分線ＬＡ、ＬＢの全てと交わるようなｙ座標値であって、ｙｎ１とは異なるｙ座標値ｙｎ２を選択する。そして、直線Ｙ＝ｙｎ２において、第１道路端線ＬＬ上の第２参照点ＰＬＬｎ２と、区分線ＬＡ上の第２参照点ＰＬＡｎ２と、区分線ＬＢ上の第２参照点ＰＬＢｎ２とを特定する。そして、区分線推定部４４は、第１道路端線ＬＬの第２参照点ＰＬＬｎ２と区分線ＬＡ上の第２参照点ＰＬＡｎ２との間の第２参照距離ＬＬＬＡ（ｙｎ２）を算出し、第１道路端線ＬＬの第２参照点ＰＬＬｎ２と区分線ＬＢ上の第２参照点ＰＬＢｎ２との間の第２参照距離ＬＬＬＢ（ｙｎ２）を算出する。なお、ここでは、ｙｎ１＞ｙｎ２である。

そして、図５Ｂに示すように、区分線推定部４４は、第１参照点ＰＬＬｎ１から第２参照点ＰＬＬｎ２との間の垂直方向の距離（ｙｎ１−ｙｎ２）に対する第１参照距離ＬＬＬＡ（ｎ１）と第２参照距離ＬＬＬＡ（ｎ２）の差の割合である一定割合αＡ＝（ＬＬＬＡ（ｙｎ１）−ＬＬＬＡ（ｙｎ２））／（ｙｎ１−ｙｎ２）を算出する。また、区分線推定部４４は、図５Ｂに示すように、第１参照点ＰＬＬｎ１から第２参照点ＰＬＬｎ２までの垂直方向の距離（ｙｎ１−ｙｎ２）に対する第１参照距離ＬＬＬＢ（ｙｎ１）と第２参照距離ＬＬＬＢ（ｙｎ２）の差の割合である一定割合αＢ＝（ＬＬＬＢ（ｙｎ１）−ＬＬＬＢ（ｙｎ２））／（ｙｎ１−ｙｎ２）を算出する。

上記のように、車両の下向きを画像下向きとして統合画像を配置した状態において、複数の水平な直線上において、道路端線ＬＬ上と区分線上に互いに対応する参照点を設け、垂直方向の距離に対する、道路端線と区分線との間の水平方向の距離の変化の割合を求める場合には、可視画像から検出された区分線の情報をそれぞれ有効に活用して、区分線の延長部分を推定することができる。

ここでは、道路端線と区分線とにそれぞれ２つの参照点を設けて、第１道路端線と区分線との間の水平方向の距離の変化の割合を求めたが、道路端線と区分線とに設ける参照点をさらに多くして、３つ以上の水平な直線上において、道路端線ＬＬ上と区分線上に互いに対応する参照点を設け、第１道路端線と区分線との間の水平方向の距離の変化の割合を求めてもよい。この場合には、より多くの参照点を用いることにより、より正確に距離の変化の割合を求めることができる。

ここでは、区分線推定部４４は、道路の両端をそれぞれ表す２つの道路端線が検出された場合に、第１推定処理を実施する。また、区分線推定部４４は、道路の一方の端を表す道路端線が検出され、道路の他方の端を表す道路端線が検出されなかった場合に、第２推定処理を実施する。この場合には、検出された道路端線の数に応じて、第１推定処理と第２推定処理を組み合わせて用いることにより、精度よく区分線の延長部分を推定することができる。

なお、これに限定されず、区分線推定部４４を、第１推定条件のみを用いて区分線の延長部分を推定するように構成してもよい。また、区分線推定部４４を、第２推定条件のみを用いて区分線の延長部分を推定するように構成してもよい。また、区分線推定部４４は、第１推定条件に従って区分線の延長部分を推定する任意の手法を用いてよく、第２推定条件に従って区分線の延長部分を推定する任意の手法を用いてよい。

図６に第１の実施形態の走行支援装置１００による処理の流れを示すフローチャートを示し、図７に区分線推定部４４による処理の流れを示すフローチャートを示す。以下、図６及び図７を用いて、第１の実施形態の走行支援装置１００による処理の流れについて詳細に説明する。

まず、赤外線撮像部１０が赤外線画像を撮像し、撮像された赤外線画像をフレームメモリ６１に記憶する（ＳＴ０１）。次に、道路検出部４１が、赤外線画像から道路端を検出する（ＳＴ０２）。

また、可視撮像部２０は、赤外線撮像部１０による撮像と同期して、可視画像を撮像し、撮像された可視画像をフレームメモリ６２に記憶する（ＳＴ０３）。次に、区分線検出部４２が、可視画像から区分線を検出する（ＳＴ０４）。

次に、区分線推定部４４は、赤外線画像から少なくとも一方の道路端線が検出され、かつ、可視画像から区分線が検出されたという判定条件が満たされたかを判定する（ＳＴ０５）。もし、判定条件を満たさない場合には（ＳＴ０５、ＮＯ）、画像生成部４３が予め設定された表示態様で表示画像を生成する（ＳＴ０８）。ここでは、表示画像として、赤外線画像と可視画像の重畳画像が生成される。そして、表示制御部３１は、生成された表示画像を表示部７０に表示させる表示制御を行う（ＳＴ０９）。また、走行支援装置１００は、終了条件を満たすか否かを判定し（ＳＴ１０）、終了条件を満たす（ＳＴ１０、ＹＥＳ）処理を終了する。また、終了条件を満たさない場合には（ＳＴ１０、ＮＯ）、ＳＴ０１からＳＴ０９までの処理を繰り返す。

一方、判定条件を満たす場合には（ＳＴ０５、ＹＥＳ）、画像生成部４３は、統合画像を生成する（ＳＴ０６）。次に、区分線推定部４４は区分線推定処理を行う（ＳＴ０７）。図７にＳＴ０７における処理の流れを表す。図７に示すように、区分線推定部４４は、道路の両端をそれぞれ表す２つの道路端線が検出された場合には（ＳＴ２１、ＹＥＳ）、統合画像に基づいて、第１推定処理を行って区分線の延長部分を推定する（ＳＴ２２）。一方、区分線推定部４４は、道路の両端をそれぞれ表す２つの道路端線が検出されていない場合には（ＳＴ２１、ＮＯ）、統合画像に基づいて、第２推定処理を行って区分線の延長部分を推定する（ＳＴ２３）。

画像生成部４３は、道路と区分線と推定された区分線の延長部分とを含む表示画像を生成する（ＳＴ０８）。ここでは、画像生成部４３は、赤外線画像と可視画像の重畳画像を生成し、重畳画像上に推定された区分線を識別表示した表示画像を生成する。そして、表示制御部３１は、生成された表示画像を表示部７０に表示させる（ＳＴ０９）。また、走行支援装置１００は、終了条件を満たすか否かを判定し（ＳＴ１０）、終了条件を満たす場合には（ＳＴ１０、ＹＥＳ）、処理を終了する。また、終了条件を満たさない場合には（ＳＴ１０、ＮＯ）、ＳＴ０１からＳＴ０９までの処理を繰り返す。

以上のように本発明の実施形態によれば、可視画像の画素値に基づいて、可視画像中の可視撮像部２０の最低照度未満の照度を有する区分線を検出できない場合にも、赤外線画像から車両が走行する道路の道路端線を検出し、可視画像から道路の区分線を検出し、互いに位置合わせされた赤外線画像と可視画像に基づいて、道路端線と区分線とを表す統合画像を生成し、統合画像中の区分線と道路端線とに基づいて、統合画像における区分線の延長部分を推定するため、区分線の延長部分を好適に推定することができる。

また、区分線検出部４２が、検出された道路端線の候補点に基づいて多項式曲線を近似し、近似された曲線を道路端線として算出している。さらに、区分線推定部４４が、検出された区分線の候補点に基づいて多項式曲線を近似し、近似された曲線を区分線の延長部分として算出している。このため、湾曲した道路であっても、多項式曲線として近似された道路端線に基づいて好適に区分線の延長部分を推定することができる。これに対し、特許文献３及び４を応用して、可視画像から検出した複数の境界線候補を結んだ直線を延長した直線を区分線として推定することが考えられる。しかし、この場合であっても、特許文献３及び４の技術では区分線が直線である場合にしか区分線を推定することができない。

以下、図８乃至１１を用いて、第２の実施形態の走行支援装置１００の処理について説明する。第２の実施形態は、推定された区分線の延長部分を利用して、走行車線領域において障害となりうる物体の存否の判定を行う応用例を示す。図８に、第２の実施形態において生成される画像を示す。図８は、赤外線撮像部１０に撮像された赤外線画像ＩｍｇＢと、可視撮像部２０に撮像された可視画像ＩｍｇＡと、赤外線画像ＩｍｇＢと可視画像ＩｍｇＡを重畳した画像である統合画像ＩｍｇＣと、詳細は後述するが本実施形態による処理によって生成表示される表示画像ＩｍｇＥを示す。

一般に、夜間などの場合、可視画像からは、可視撮像部２０の最低照度以上の照度を有する被写体である道路や区分線や人物などの被写体は識別できるが、ヘッドライトの光が到達しないなど最低照度未満の照度を有する被写体は識別することができない。一方、赤外線画像からは、照度にかかわらず、恒温の物体である人物の情報と道路端線の情報が得られる。

例えば、図８に示すように、赤外線画像ＩｍｇＢでは人物である物体Ｓ１と物体Ｓ２が識別できる。一方、可視画像ＩｍｇＡでは可視撮像部２０の最低照度以上の照度を有する物体Ｓ１は識別できるが、可視撮像部２０の最低照度未満の照度を有する物体Ｓ２は検出できない。このような場合、赤外線画像ＩｍｇＢから物体Ｓ２が存在することは把握できるが、赤外線画像ＩｍｇＢと可視画像ＩｍｇＡとの両画像を単に組み合わせても区分線の延長部分が識別できないため、物体Ｓ２が走行車線領域の境界を示す区分線の外側にいるのか内側にいるのか判別できず、物体Ｓ２が走行車線領域において障害物になる可能性があるのか否か不明である。

上記に鑑み、第２の実施形態は、赤外線画像から検出され、かつ、可視画像では検出できない物体が存在する場合であっても、推定された区分線の延長部分を用いて自車両の走行車線領域を設定し、走行車線領域において障害物になりうる物体の存否を判定し、障害物になりうる物体が存在する場合、運転者などのユーザのために警告を行う。

図９に第２の実施形態におけるデジタル信号処理部４０と制御部３０の構成を示すブロック図を示す。以下の各実施形態において、第１の実施形態と同様の構成については同じ符号を付して説明を省略する。

第２の実施形態は、図９に示すように、走行支援装置１００が、領域設定部４５と、物体検出部４６と、判定部４７とをさらに備え、表示部７０が警告部として機能し、画像生成部４３が判定の結果に応じて警告表示を付した表示画像を生成する点が第１の実施形態と異なる。以下、第１の実施形態との相違点を中心に説明し、その他の共通部分については説明を省略する。

領域設定部４５は、区分線と区分線の延長部分と道路端線に基づいて、道路のうち車両が走行する走行車線領域を設定する。領域設定部４５は、車両に対する可視撮像部２０及び赤外線撮像部１０との既知の位置関係に基づいて、車両の下向きを画像下向きとして統合画像を配置した状態で、統合画像中の区分線及び道路端線から、車両右側部に最も近い線と、車両左側部に最も近い線とを特定し、特定された２つの線の間の領域を走行車線領域として設定する。

物体検出部４６は、赤外線画像から恒温の物体を検出する。ここでは、物体検出部４６は、公知の手法により、赤外線画像から人物温度に対応する基準範囲の温度を表す画素集合を検出し、検出された画素集合のエッジを抽出する。そして、抽出されたエッジに対して、既知の人物形状を表すパターンを用いてパターン認識を行うことにより、赤外線画像から人物を検出する。ここでは、物体検出部４６は、赤外線画像から恒温の物体として、人物を検出したが、犬などの動物を合わせて検出してもよく、犬などの動物のみを検出するように構成してもよい。

表示部７０は、車両の運転者などのユーザに警告を提示する警告部の機能を兼ね備えている。具体的には、表示部７０が、警告表示を付した表示画像を表示することにより警告部として機能する。

なお、警告部を、車両の運転者等のユーザに警告可能な任意の装置によって構成してよい。例えば、警告部を、点灯又は点滅させるなどして警告を行う警告ランプを備えた構成としてもよい。また、警告部を、警告音や警告メッセージを発して警告を行うスピーカを備えた構成としてもよい。また、警告部は、スピーカや表示部７０や警告ランプなどを任意の組み合わせで備えた構成としてもよい。

判定部４７は、赤外線画像から検出した物体に基づいて、走行車線領域において障害物になりうる物体の存否を判定し、警告の要否を判定する。なお、判定部４７は、赤外線画像から物体が検出されなかった場合には、警告が不要であると判定する。

また、判定部４７は、領域設定部４５に設定された走行車線領域と物体検出部４６に検出された物体との相対的な位置情報に基づいて、走行車線領域内の物体の存在の有無を判定し、走行車線領域に物体が存在する場合には、警告が必要であると判定する。走行車線領域に物体が存在する場合には、走行車線において物体が障害物となる可能性が高く、運転者などのユーザに注意を喚起することが安全走行上好ましいためである。

判定部４７は、物体が走行車線領域の外側に位置する場合には、判定時直前の所定フレーム枚数の時系列赤外線画像である赤外線動画像に基づいて、走行車線領域に対する物体の移動方向と移動速度を算出する。物体の移動速度と移動方向は、フレームレート及びフレーム画像間の物体の位置の変位に基づいて公知の方法により算出される。判定部４７は、物体が走行車線領域に向かって移動していない場合には、警告が不要であると判定する。このことにより、物体が走行車線領域に入る可能性が低い場合には警告を提示しないようにして、過剰な警告を抑制することができる。

また、判定部４７は、物体が走行車線領域に近づく方向に移動している場合には、走行車線領域と物体との間の距離と物体の移動速度とに基づいて、物体が走行車線領域に進入する進入時間Ｔｐを推定する。また、判定部４７は、物体と車両との間の距離と車両の移動速度とに基づいて、車両が物体の位置に到達する到達時間Ｔｃを推定する。例えば、判定部４７は、物体の大きさと物体の車両との間の距離を予め対応付けた対応付け情報などに基づいて、物体の大きさに基づいて物体と車両との間の距離を推定してもよく、任意の方法で物体と車両との間の距離を算出してよい。

そして、判定部４７は、進入時間Ｔｐが到達時間Ｔｃ以前である場合にも警告が必要であると判定する。これは、車両が物体の位置に到達する時間までに物体が走行車線領域に進入する可能性がある場合（物体の走行車線領域への進入可能性がある場合）にも、運転者などのユーザに注意を喚起することが安全走行上好ましいためである。また、進入時間Ｔｐと到達時間Ｔｃを用いて、走行車線領域に進入する可能性のある物体を判定することにより、物体が走行車線領域に入る可能性が低い場合には警告を提示しないようにして、過剰な警告を抑制することができる。

なお、動画像において、物体の検出位置がフレームごとに変位するため、判定部４７は、複数の前後フレームを用いてフレーム間の平滑化を行ったフレーム画像からなる動画像を用いて、物体の移動方向や移動速度を算出してもよい。また、判定部４７は、カルマンフィルタなど公知の時系列フィルタリング法を用いることにより、物体位置の平滑化と動き予測を行って、動き予測に基づいて、物体が走行車線領域に向かって移動しているか否かを判定してよい。なお、本実施形態に限定されず、判定部４７は、進入時間Ｔｐと到達時間Ｔｃの算出を省略して、物体が走行車線領域に向かって移動している場合には物体が走行車線領域に進入する可能性があると判定してもよい。また、本実施形態に限定されず、判定部４７は、物体が走行車線領域外に存在する場合に警告が不要であると判定してもよい。

判定部４７は、警告が必要であると判定した場合には、警告部に警告を提示させる。ここでは、判定部４７は、警告表示を付した表示画像を画像生成部４３に生成させ、表示部７０（警告部）に警告表示を付した表示画像を表示させることによって警告を提示させる。

なお、判定部４７は、警告部がスピーカを備えて構成される場合には、スピーカに警告音あるいは音声メッセージを発するように、制御部３０にスピーカの制御指示を送信することにより警告を提示する。また、警告部が警告ランプを備えて構成される場合には、警告ランプに点灯指示を発するように、制御部３０に警告ランプの制御指示を送信することにより警告を提示する。

なお、本実施形態では、判定部４７は、走行車線領域に物体が存在する場合と、走行車線領域の外側に位置する物体が走行車線領域への進入可能性がある場合とのそれぞれに対して異なる態様で警告を提示させる。走行車線領域に物体が存在する場合のほうが、走行車線領域外の物体が走行車線領域に進入する可能性がある場合よりも、走行の障害となる可能性が高く、運転者などのユーザにより強く注意を促した方がよいと考えられるからである。また、走行の障害となる可能性に合わせて警告の態様を異ならせることにより、ユーザにより詳しく物体と走行車線領域との関係を把握させることができる。なお、本実施形態に限定されず、判定部４７は、警告のレベルに関わらず共通の態様で警告を提示してもよい。

判定部４７は、走行車線領域に物体が存在する場合には、第１警告レベルの警告表示を付すように画像生成部４３に指示し、走行車線領域外に存在する物体が走行車線領域に進入する可能性が高い場合には、注意のレベルが第１警告レベルよりも低い第２警告レベルの警告表示を付すように画像生成部４３に指示する。そして、画像生成部４３は、指示に応じた警告表示を付して表示画像を生成し、表示制御部３１が生成された表示画像を表示部７０に表示させることによって警告が提示される。

判定部４７は、警告部の構成に応じて任意の方法で警告の態様を異ならせてよい。例えば、判定部４７は、スピーカを用いて異なる態様で警告を提示する場合には、音声メッセージを異ならせる、警告音を異ならせる、警告メッセージなどの繰り返し回数や音量を異ならせるなどの任意の方法を採用してよい。また、判定部４７は、警告ランプを用いて異なる態様で警告を提示する場合には、点滅のパターンや回数を異ならせるなど任意の方法を採用してよい。

画像生成部４３は、警告の要否判定の結果に応じて、警告表示を付した表示画像を生成する。図８に警告表示を付した表示画像ＩｍｇＥの例を示す。表示画像ＩｍｇＥは、赤外線画像ＩｍｇＢと可視画像ＩｍｇＡとを位置合わせして重畳してなり、可視画像ＩｍｇＡから検出した区分線ＬＡ、ＬＢ、ＬＣ、ＬＤと、赤外線画像ＩｍｇＢから検出した道路端線ＬＬ、ＬＲと、赤外線画像ＩｍｇＢから検出した物体Ｓ１、Ｓ２と、他の道路領域とは異なる色を付した走行車線領域Ｒとを視認可能に含んでいる。また、表示画像ＩｍｇＥは、赤外線画像ＩｍｇＢから検出された物体Ｓ１、Ｓ２に対して、矩形の指標Ｋ１、Ｋ２を付すことにより、物体Ｓ１、Ｓ２について警告表示を行っている。

画像生成部４３は、警告表示の方法として任意の方法を採用してよい。例えば、画像生成部４３は、表示画像中に警告メッセージを付してもよく、物体の点滅や物体の着色などによる強調表示や、表示画像の一部又は全体を点滅させるなどの方法を用いて警告表示を行ってもよい。

また、画像生成部４３は、警告表示を行う場合に、警告のレベルに応じて、任意の方法により警告表示の態様を異ならせてもよい。ここでは、走行車線領域内に存在する物体には、赤色の枠形状の指標Ｋ２を付して警告表示を行い、走行車線領域の外側に位置し、走行車線領域内に進入する可能性が高い物体には、黄色の枠形状の指標Ｋ１を付して警告表示を行う。このように、警告表示を色の異なる簡易な指標を用いて段階表示することによって、ユーザに把握しやすく、警告表示によって表示画面が見づらくなることを避けることができる。警告のレベルに応じて、警告表示の態様を異ならせる用法として、例えば、警告のレベルに応じた警告メッセージを表示してもよく、物体に付した指標の点滅回数を異ならせるなど任意の方法が採用可能である。なお、画像生成部４３のその他の機能や構造は第１の実施形態と同様である。

画像生成部４３は、警告の有無にかかわらず、赤外線画像と可視画像を位置合わせした基準座標系において、走行車線領域と物体を視認可能に含む表示画像を生成することが好ましい。この場合には、表示画像において走行車線領域と物体との位置関係を明確に把握できる情報を提示することができる。ここでは、警告の必要が無い場合には、画像生成部４３は、赤外線画像と可視画像とを位置合わせして重畳してなり、可視画像から検出した区分線と、赤外線画像から検出した道路端線と、赤外線画像から検出した物体と、走行車線領域とを視認可能に含む表示画像を生成する。なお、本実施形態では、警告が必要な場合に生成される表示画像と警告が不要な場合に生成される表示画像は、警告必要と判定された物体の周りに付される指標の有無のみが異なる。

画像生成部４３は、表示画像の生成の際に、走行車線領域と物体を識別可能とする任意の手法を用いてよい。例えば、画像生成部４３は、表示画像において走行車線領域を他の領域とは異なるパターンを付して識別可能に示してもよく、走行車線領域の輪郭を太線とするなど輪郭に特徴を持たせて識別可能に示してもよい。また、画像生成部４３は、表示画像において物体を他の領域とは異なるパターンを付して識別可能に示してもよく、物体の輪郭を太線とするなど輪郭に特徴を持たせて識別可能に示してもよい。

図１０に第２の実施形態の走行支援装置１００による処理の流れを示すフローチャートを示し、図１１に図１０における警告の要否を判定する判定処理（図１０のＳＴ４０）の流れを詳細に示すフローチャートを示す。図１０、１１を用いて、第２の実施形態の処理の流れを説明する。なお、ＳＴ３１〜ＳＴ３４，ＳＴ３５（ＹＥＳの場合）、ＳＴ３６およびＳＴ３７は、図６のＳＴ０１〜ＳＴ０７と同様の処理であるため説明を省略する。ＳＴ３７の処理が終了すると、領域設定部４５は、統合画像を用いて走行車線領域を設定する（ＳＴ３８）。物体検出部４６は、赤外線画像から恒温の物体である人物を検出する（ＳＴ３９）。なお、ＳＴ３９の処理は、ＳＴ３１の処理後（赤外線画像の撮像後）であってＳＴ４０の処理に先立って行われるものであれば、任意のタイミングで実施してよい。次に、判定部４７は、警告の要否を判定する（ＳＴ４０）。

図１１を用いて、判定部４７が警告の要否を判定する処理を詳細に説明する。判定部４７は、赤外線画像から物体の存在の有無を判定し（ＳＴ５１）、赤外線画像に物体が存在しない場合には（ＳＴ５１、ＮＯ）、警告は不要であると判定する（ＳＴ５９）。

また、判定部４７は、赤外線画像に物体が存在する場合には（ＳＴ５１、ＹＥＳ）、物体が走行車線領域内に存在するか否かを判定し（ＳＴ５２）、物体が走行車線領域内に存在する場合には（ＳＴ５２、ＹＥＳ）、警告が必要であると判定する（ＳＴ５８）。

一方、判定部４７は、物体が走行車線領域に存在しない場合には（ＳＴ５２、ＮＯ）、物体が走行車線方向に移動方向と移動速度を算出する（ＳＴ５３）。判定部４７は、物体が走行車線に近づく方向に移動しているか否かを判定し（ＳＴ５４）、物体が走行車線に近づく方向に移動していない場合には（ＳＴ５４、ＮＯ）、警告は不要であると判定する（ＳＴ５９）。

また、判定部４７は、物体が走行車線に近づく方向に移動している場合には（ＳＴ５４、ＹＥＳ）、物体が走行車線領域に進入する進入時間Ｔｐを算出する（ＳＴ５５）。また、車両が物体の位置に到達する到達時間Ｔｃを算出する（ＳＴ５６）。なお、ＳＴ５５とＳＴ５６の処理は同時に行ってもよく、順番を前後して行ってもよい。そして、判定部４７は、進入時間Ｔｐが到達時間Ｔｃ以前である場合には（ＳＴ５７、ＹＥＳ）、警告が必要であると判定する（ＳＴ５８）。また、判定部４７は、進入時間Ｔｐが到達時間Ｔｃより後である場合には（ＳＴ５７、ＮＯ）、警告が不要であると判定する（ＳＴ５９）。

そして、判定部４７は、警告必要と判定する処理（ＳＴ５８）及び警告不要と判定する処理（ＳＴ５９）の後、まだ警告の要否を判定していない未判定の物体が存在する場合には（ＳＴ６０、ＹＥＳ）、未判定の物体に対して、Ｓ５１〜Ｓ５９の処理を繰り返す。警告の要否が検出された物体のそれぞれに対して判定された場合には（ＳＴ６０、ＮＯ）、警告の要否を判定する処理を終了する。

図１０に戻って続きの処理を説明する。判定部４７が少なくとも１つ以上の物体について警告必要であると判定した場合には（ＳＴ４１、ＹＥＳ）、判定部４７は画像生成部４３に警告表示を含む表示画像の生成を指示する（ＳＴ４２）。画像生成部４３は、指示に従って警告表示を付した表示画像を生成する（ＳＴ４３）。

また、判定部４７が、警告は不要であると判定した場合には（ＳＴ４１、ＮＯ）、画像生成部４３は予め設定された表示態様で表示画像を生成する（ＳＴ４４）。ここでは、表示画像として、赤外線画像と可視画像とを位置合わせして重畳してなり、可視画像から検出した区分線と、赤外線画像から検出した道路端線と、赤外線画像から検出した物体があればその物体と、他の道路領域とは異なる色を付した走行車線領域とを視認可能に含んだ画像を表示画像として生成する。また、赤外線画像から少なくとも一方の道路端線が検出され、かつ、可視画像から区分線が検出されたという判定条件が満たされたかを判定する処理（ＳＴ３５）において、判定条件を満たさない場合にも（ＳＴ３５、ＮＯ）、画像生成部４３は、予め設定された表示態様で表示画像を生成する（ＳＴ４４）。ここでは、赤外線画像と可視画像の重畳画像を表示する。

そして、表示制御部３１は、生成された表示画像を表示部７０に表示させる（ＳＴ４５）。また、走行支援装置１００は、終了条件を満たすか否かを判定し（ＳＴ４６）、終了条件を満たす場合には（ＳＴ４６、ＹＥＳ）、処理を終了する。また、終了条件を満たさない場合には（ＳＴ４６、ＮＯ）、ＳＴ３１からＳＴ４５までの処理を繰り返す。

第２の実施形態によれば、区分線と推定した区分線の延長部分を用いて自車両の走行車線領域を設定し、物体が走行車線領域に存在する場合に、運転者などのユーザに警告を提示することができる。このため、赤外線画像から検出され、かつ、可視画像では検出できない物体が存在する場合であっても、物体と走行車線領域との位置関係を判定して、走行上障害物となる可能性のある物体を容易にユーザに把握させることができる。また、過剰な警告を抑制して、車両走行上障害物になりうる物体が存在する場合にのみユーザの注意を喚起することができる。

第３の実施形態として、推定した区分線の延長部分の情報を利用して、可視画像の露出補正を行う応用例を説明する。図１２に、汎用の露出パラメータに基づく露出補正処理後の可視画像（図１２の左の画像）と、第３の実施形態によって設定した露出パラメータに基づく露出補正処理後の可視画像（図１２の右の画像）を示す。なお、図１２における左の画像と右の画像は、同じ可視画像に対して、露出パラメータを異ならせて露出補正を行った例である。

図１２における左の画像は、汎用の自動露出補正処理により、均一な重みで可視画像全体の画素値の平均値を評価値として露出パラメータを設定している。また、汎用の自動露出補正には、可視画像中央領域が適正露出となるように露出パラメータを設定する場合もある。図１２における左の画像に示すように、汎用の露出制御によれば、対向車のヘッドライトなどが可視画像に含まれる場合などに、ヘッドライトからの照射光による大きい画素値を有する画素集合の影響を受けて、観察したい走行車線領域が著しく小さい画素値になるような意図しない露出パラメータが設定されてしまう場合がある。

第３の実施形態は、上記のような可視画像内の画素値の変動によって走行車線領域の適正な露出が得られないような露出パラメータが設定されるという問題を避けるために、推定した区分線の延長部分の情報を利用して可視画像の露出補正を行う。図１３に第３の実施形態におけるデジタル信号処理部４０と制御部３０の構成を示すブロック図を示し、図１４に第３の実施形態の走行支援装置１００による処理の流れを示すフローチャートを示す。

図１３に示すように第３の実施形態は、走行支援装置１００が、区分線と区分線の延長部分と道路端線に基づいて、自車両が走行する走行車線領域を設定する領域設定部４５と、走行車線領域が適正な露出となるように露出補正を行う露出補正部４８を備え、画像生成部４３が設定された露出パラメータを用いて露出補正が行われた処理後可視画像を取得し、処理後可視画像に基づいて表示画像を生成する点で第１の実施形態と異なる。第３の実施形態における領域設定部４５は、第２の実施形態における領域設定部４５と同じ構成と機能を有するため、詳細な説明は省略する。以下、第１の実施形態との相違点を中心に説明し、その他の共通部分については説明を省略する。

露出補正部４８は、可視画像における走行車線領域の画素値に基づいて、可視画像の露出補正処理を行う。ここで、露出補正部４８は、可視画像における走行車線領域の画素値に基づいて、可視画像の画素値の評価値を算出し、評価値に応じた露出パラメータを設定して露出補正を行う。なお、評価値ごとに露出パラメータを対応づけた露出テーブルが予めメモリ６０に記憶されている。

露出補正部４８は、可視画像における走行車線領域の画素値に基づいて可視画像の画素値の評価値を算出する任意の方法を用いてよい。例えば、露出補正部４８は、走行車線領域の任意の画素の画素値を選択的に用いて評価値を算出してもよく、走行車線領域の全ての画素の画素値を用いて評価値を算出してもよい。例えば、露出補正部４８は、走行車線領域の画素値ヒストグラムを用いて、最頻値、中央値、平均値のいずれかを評価値として算出してもよい。この場合には、図１２の右図のように、走行車線領域を平均的に好適な露出とした処理後可視画像に基づいて、表示画像における走行車線領域の視認性を向上することができる。

例えば、露出補正部４８は、赤外線画像から検出した道路端線の上端の画素値を評価値として算出してもよい。また、露出補正部４８は、赤外線画像から検出した２つの道路端線の交点の画素値を評価値として算出してもよい。また、露出補正部４８は、２つの道路端線の交点又は道路端線の上端に近い画素ほど重みが重くなるように走行車線領域の画素の画素値を重みづけして、重みづけ平均値を評価値として算出してもよい。これらの場合には、走行車線領域のうち、道路の走行方向に沿って車両から最も遠い点が好適な露出とするように露出パラメータを設定して露出補正をすることができるため、走行方向に沿って走行車線領域を好適な露出設定として、可視画像の走行車線領域の視認性を向上することができる。

また、露出補正部４８は、走行車線領域を適正露出にできる範囲内であれば、走行車線領域の画素の画素値だけでなく走行車線領域外の画素の画素値を用いて評価値を算出して、評価値に基づいて露出パラメータを設定してもよい。この場合には、走行車線領域の画素値の重みを走行車線領域外の画素値の重みよりも大きく設定することが考えられる。

また、露出補正部４８は、評価値に基づいて設定した露出パラメータを用いて、可視画像内の走行車線領域についてのみ露出補正を行ってもよく、可視画像全体に対して露出補正を行ってもよい。

画像生成部４３は、設定された露出パラメータを用いて露出補正が行われた処理後可視画像を取得し、処理後可視画像に基づいて表示画像を生成する。なお、画像生成部４３は、処理後可視画像に基づいて表示画像を生成するものであれば、可視画像を用いて任意の画像処理を行って表示画像を生成してよい。例えば、画像生成部４３は、処理後可視画像を表示画像としてもよく、処理後可視画像と赤外線画像とを位置合わせした重畳画像を表示画像としてもよい。なお、画像生成部４３のその他の機能や構造は第１の実施形態と同様である。

次に、図１４を用いて、第３の実施形態の走行支援装置１００の処理の流れを説明する。なお、ＳＴ６１〜ＳＴ６４、ＳＴ６５（ＹＥＳの場合）、ＳＴ６６およびＳＴ６７は、図６のＳＴ０１〜ＳＴ０７と同様の処理であるため説明を省略する。

区分線の延長部分が推定されると、領域設定部４５は、走行車線領域を設定する（ＳＴ６８）。露出補正部４８は、走行車線領域の画素値ヒストグラムを用いて、走行車線領域の画素値の最頻値を算出する。そして、算出した最頻値を評価値として用いて、評価値に対応する可視画像の露出パラメータを設定する。そして設定した露出パラメータを用いて可視画像の露出補正を行って処理後可視画像を出力する（ＳＴ６９）。

続いて、画像生成部４３は、処理後可視画像に基づいて表示画像を生成し（ＳＴ７０）、表示制御部３１は、生成された表示画像を表示部７０に表示させる（ＳＴ７１）。なお、赤外線画像から少なくとも一方の道路端線が検出され、かつ、可視画像から区分線が検出されたという判定条件が満たされたかを判定する処理（ＳＴ６５）において、判定条件を満たさない場合には（ＳＴ６５、ＮＯ）、画像生成部４３は、予め設定された表示態様で表示画像を生成する（ＳＴ７０）。ここでは、赤外線画像と可視画像の重畳画像を表示する。また、走行支援装置１００は、終了条件を満たすか否かを判定し（ＳＴ７２）、終了条件を満たす（ＳＴ７２、ＹＥＳ）場合には処理を終了する。また、終了条件を満たさない場合には（ＳＴ７２、ＮＯ）、ＳＴ６１からＳＴ７１までの処理を繰り返す。

第３の実施形態によれば、推定された区分線の延長部分の情報を利用して走行車線領域を設定し、走行車線領域の画素値に基づいて露出パラメータを設定するため、走行車線領域が適正な露出となるように可視撮像部２０の露出補正を行うことができる。また、走行車線領域の画素値の評価値として、走行車線領域内の画素から算出した評価値、あるいは、走行車線領域内の画素の画素値の重みが大きくなるように重みづけした評価値を用いて露出パラメータを設定することにより、走行車線領域以外の画素値の変動により走行車線領域に不適正な露出補正がされることを避けることができる。この結果、図１２の右の画像に示すように、対向車のヘッドライトなどが可視画像に含まれる場合であっても、観察したい走行車線領域が適正な露出となるように露出補正を行うことができる。

第４の実施形態として、推定した区分線の延長部分の情報を利用して、可視画像の露出制御を行う応用例を示す。汎用の自動露出制御処理では、例えば、可視画像全体の画素値の平均値を評価値として用いて露出条件を設定する、あるいは、可視画像の画素値に基づいて、可視画像中央領域が適正露出となるように重み付けして評価値を算出して、算出された評価値を用いて露出条件を設定するような場合がある。このような汎用の露出制御によれば、対向車のヘッドライトなどが可視画像に含まれる場合などに、ヘッドライトからの照射光による大きい画素値を有する画素集合の影響を受けて、観察したい走行車線領域が著しく小さい画素値になるような意図しない露出条件が設定されてしまう場合がある。第４の実施形態は、このような問題に鑑み、走行車線領域に対して適正な露出条件の設定を行うことを目的とする。

第４の実施形態は、上記のような可視画像内の画素値の変動によって走行車線領域の適正な露出が得られないような露出条件が設定されるという問題を避けるために、推定した区分線の延長部分の情報を利用して可視画像の露出補正を行う。図１５に、第４の実施形態におけるデジタル信号処理部４０と制御部３０の構成を示すブロック図を示し、図１６に第４の実施形態の走行支援装置１００による処理の流れを示すフローチャートを示す。

第４の実施形態は、走行支援装置１００が、区分線と区分線の延長部分と道路端線に基づいて、自車両が走行する走行車線領域を設定する領域設定部４５と、走行車線領域が適正な露出設定となるように露出制御を行う露出制御部３２を備え、制御部３０が、露出制御によって設定された露出条件で可視画像の撮像を行う点で第１の実施形態と異なる。第４の実施形態における領域設定部４５は、第２の実施形態における領域設定部４５と同じ構成と機能を有するため、詳細な説明は省略する。以下、第１の実施形態との相違点を中心に説明し、その他の共通部分については説明を省略する。

露出制御部３２は、可視画像における走行車線領域の画素値に基づいて可視撮像部２０の露出制御を行う。そして、露出制御部３２は、可視画像における走行車線領域の画素値に基づいて可視画像の画素値の評価値を算出し、算出した評価値に対応する露出条件を設定する。なお、評価値ごとに、絞り値とシャッタースピードなどの露出条件を対応付けた露出条件テーブルが予めメモリ６０に記憶されている。

露出制御部３２は、可視画像における走行車線領域の画素値に基づいて可視画像の画素値の評価値を算出する任意の方法を用いてよい。例えば、露出制御部３２は、評価値を算出するために、走行車線領域の任意の画素の画素値を選択的に用いてもよく、走行車線領域の全ての画素の画素値を用いてもよい。例えば、露出制御部３２は、走行車線領域の画素値ヒストグラムを用いて、最頻値、中央値、平均値のいずれかを評価値として算出してもよい。この場合には、走行車線領域を平均的に好適な露出として、表示画像における走行車線領域の視認性を向上することができる。

例えば、露出制御部３２は、赤外線画像から検出した道路端線の上端の画素値を評価値として算出してもよい。また、露出補正部４８は、赤外線画像から検出した２つの道路端線の交点の画素値を評価値として算出してもよい。また、露出補正部４８は、２つの道路端線の交点又は道路端線の上端に近い画素ほど重みが重くなるように走行車線領域の画素の画素値を重みづけして、重みづけ平均値を評価値として算出してもよい。これらの場合には、走行車線領域のうち、道路の走行方向に沿って車両から最も遠い点が好適な露出とするように露出条件を設定することができるため、走行方向に沿って走行車線領域を適正な露出設定として、可視画像中の走行車線領域の視認性を向上することができる。

また、露出制御部３２は、走行車線領域を適正露出にできる範囲内であれば、走行車線領域の画素の画素値だけでなく走行車線領域外の画素の画素値を用いて評価値を算出して、評価値に基づいて露出条件を設定してもよい。この場合には、走行車線領域の画素値の重みを走行車線領域外の画素値の重みよりも大きく設定することが考えられる。

図１６を用いて、第４の実施形態の走行支援装置１００の処理の流れを説明する。なお、図１６のＳＴ８１〜ＳＴ８４、ＳＴ８５（ＹＥＳの場合）、ＳＴ８６およびＳＴ８７に示す処理は図６のＳＴ０１とＳＴ０７に示す処理とそれぞれ対応する処理であるため説明を省略する。

区分線の延長部分が推定されると、領域設定部４５は、走行車線領域を設定する（ＳＴ８８）。画像生成部４３は、予め設定された表示態様で表示画像を生成する（ＳＴ８９）。ここでは、画像生成部４３は、区分線の延長部分と区分線と道路端を視認可能に、赤外線画像と可視画像を重畳した表示画像を生成する。また、赤外線画像から少なくとも一方の道路端線が検出され、かつ、可視画像から区分線が検出されたという判定条件が満たされたかを判定する処理（ＳＴ８５）において、判定条件を満たさない場合にも（ＳＴ８５、ＮＯ）、画像生成部４３は、予め設定された表示態様で表示画像を生成する（ＳＴ８９）。ここでは、赤外線画像と可視画像の重畳画像を表示する。そして、表示制御部３１は、生成された表示画像を表示部７０に表示させる（ＳＴ９０）。

走行支援装置１００は、終了条件を満たすか否かを判定し（ＳＴ９１）、終了条件を満たす場合には（ＳＴ９１、ＹＥＳ）、処理を終了する。また、終了条件を満たさない場合には（ＳＴ９１、ＮＯ）、露出制御を行う（ＳＴ９２）。具体的には、直前に撮像された可視画像の走行車線領域の画素値ヒストグラムに基づいて、走行車線領域の画素値の最頻値を算出し、算出した最頻値を評価値として対応付けテーブルに基づいて露出条件を設定する。そして、走行支援装置１００は、ＳＴ８１からＳＴ９１までの処理を繰り返す。なお、ＳＴ８３において、制御部３０は露出制御部３２に設定された露出条件に基づいて、可視画像の撮像を行う。

第４の実施形態によれば、推定された区分線の延長部分の情報を利用して走行車線領域を設定し、走行車線領域の画素値に基づいて露出条件を設定するため、走行車線領域が適正な露出となるように可視撮像部２０の露出条件を設定することができる。また、走行車線領域の画素値の評価値として、走行車線領域内の画素から算出した評価値、あるいは、走行車線領域内の画素の画素値の重みが大きくなるように重みづけした評価値を用いて露出条件を設定することにより、走行車線領域以外の画素値の変動の影響を抑制して走行車線領域により適正な露出条件を設定することができる。結果として、第４の実施形態によって設定した露出条件に基づいて可視画像の撮像を行うことにより、可視画像における走行車線領域の視認性を高めることができる。

本明細書における各実施形態では、デジタル信号処理部４０が、道路検出部４１、区分線検出部４２、画像生成部４３、区分線推定部４４、領域設定部４５、物体検出部４６、判定部４７、露出補正部４８として機能し、制御部３０が表示制御部３１、露出制御部３２として機能した。しかし、これに限定されず、デジタル信号処理部４０及び制御部３０の一方が単独で上記各部の機能を有してもよい。また、デジタル信号処理部４０及び制御部３０が任意の分け方で、上記各部の機能を分担してもよい。また、デジタル信号処理部４０と制御部３０は、１つのチップとして実装されてもよく、それぞれ異なるチップとして実装されてよい。また、メモリ６０は、要求される機能を実現される範囲であれば、任意の態様で実装されてよい。

上記の各実施形態はあくまでも例示であり、上記のすべての説明が本発明の技術的範囲を限定的に解釈するために利用されるべきものではない。本発明の態様は、上記した個々の実施例（第１〜第４の実施形態、その他の変形例及び応用例）に限定されるものではなく、個々の実施例の各要素のいかなる組合せも本発明に含み、また、当業者が想到しうる種々の変形も含むものである。すなわち、特許請求の範囲に規定された内容及びその均等物から導き出される本発明の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更及び部分的削除が可能である。

１０ 赤外線撮像部
２０ 可視撮像部
３０ 制御部
３１ 表示制御部
３２ 露出制御部
４０ デジタル信号処理部
４１ 道路検出部
４２ 区分線検出部
４３ 画像生成部
４４ 区分線推定部
４５ 領域設定部
４６ 物体検出部
４７ 判定部
４８ 露出補正部
６０ メモリ
７０ 表示部
８０ 補助記憶装置
９０ バス

Claims (14)

1. 車両に搭載されて車両前方の赤外線画像を撮像する赤外線撮像部と、
   前記車両に搭載されて前記赤外線画像の表す範囲に対応する範囲の可視画像を撮像する可視撮像部と、
   撮像された前記赤外線画像から前記車両が走行する道路の道路端線を検出する道路検出部と、
   撮像された前記可視画像から前記道路の区分線を検出する区分線検出部と、
   互いに位置合わせされた前記赤外線画像と前記可視画像に基づいて、前記道路端線と前記区分線とを表す統合画像を生成する画像生成部と、
   前記統合画像中の前記区分線と前記道路端線とに基づいて、前記統合画像における前記区分線の延長部分を推定する区分線推定部とを備えたことを特徴とする走行支援装置。
2. 前記区分線推定部が、道路面上において、前記区分線が前記道路端線と前記道路の走行方向に並走し、かつ、前記区分線が前記道路の走行方向と直交する横断方向に前記道路端線と一定の距離をあけて位置するという条件に従って、前記統合画像中の前記区分線の延長部分を推定する請求項１記載の走行支援装置。
3. 前記画像生成部は、互いに位置合わせされた前記赤外線画像と前記可視画像に基づいて、前記道路端線と前記区分線とを表す２次元画像である第１統合画像を前記統合画像として生成し、
   前記区分線推定部は、前記道路の両端をそれぞれ表す２つの前記道路端線が検出された場合に、前記車両の下向きを画像下向きとして前記第１統合画像を配置した状態で、前記第１統合画像の水平方向に延びる線上において、前記２つの道路端線のうち一方の道路端線上の参照点と前記２つの道路端線のうち他方の道路端線上の参照点とを前記区分線上の参照点が内分する内分比を算出し、
   各々の前記参照点から前記２つの道路端線の交点までの各点を通る水平方向に延びる線上において、前記一方の道路端線上の点と前記他方の道路端線上の点と前記区分線上の点とが前記内分比を維持するという条件に従って、前記区分線の候補点をそれぞれ算出し、算出された該区分線の候補点に基づいて前記区分線の延長部分を推定する第１推定処理を実施する請求項１又は２記載の走行支援装置。
4. 前記画像生成部は、互いに位置合わせされた前記赤外線画像と前記可視画像に基づいて、前記道路端線と前記区分線とを表す２次元画像である第２統合画像を前記統合画像として生成し、
   前記区分線推定部は、前記車両の下向きを画像下向きとして前記第２統合画像を配置した状態で、前記第２統合画像において、前記道路端線の上端からの垂直方向の距離が大きくなるほど、前記道路端線と前記区分線との間の水平方向の距離が一定割合で大きくなるという条件に従って、前記道路端線の各点に対応する前記区分線の候補点をそれぞれ算出し、算出された該区分線の候補点に基づいて前記区分線の延長部分を推定する第２推定処理を実施する請求項１から３のいずれか１項記載の走行支援装置。
5. 前記区分線推定部は、前記車両の下向きを画像下向きとして前記第２統合画像を配置した状態において、前記道路端線の上端を検出し、
   前記道路端線の参照点から前記区分線までの水平方向の第１参照距離を算出し、
   前記上端から前記区分線の延長部分までの水平方向の第２参照距離を零と設定し、
   前記道路端線の参照点から前記上端までの垂直方向の距離に対する前記第１参照距離と前記第２参照距離の差の割合に基づいて前記一定割合を算出して前記第２推定処理を実施する請求項４記載の走行支援装置。
6. 前記区分線推定部は、前記車両の下向きを画像下向きとして前記第２統合画像を配置した状態において、前記道路端線の上端を検出し、
   前記道路端線の第１参照点から前記区分線までの水平方向の第１参照距離を算出し、
   前記道路端線の第２参照点から前記区分線までの水平方向の第２参照距離を算出し、
   前記第１参照点から前記第２参照点までの垂直方向の距離に対する前記第１参照距離と前記第２参照距離の差の割合に基づいて前記一定割合を算出して前記第２推定処理を実施する請求項４記載の走行支援装置。
7. 前記区分線推定部が、前記道路の両端をそれぞれ表す２つの道路端線が検出された場合に前記第１推定処理を実施し、
   前記道路の一方の端を表す道路端線が検出され、前記道路の他方の端を表す道路端線が検出されなかった場合に、前記車両の下向きを画像下向きとして前記第１統合画像を配置した状態において、前記道路端線の上端からの垂直方向の距離が大きくなるほど、前記道路端線と前記区分線との間の水平方向の距離が一定割合で大きくなるという条件に従って、前記道路端線の各点に対応する前記区分線の候補点をそれぞれ算出し、算出された該区分線の候補点に基づいて前記区分線の延長部分を推定する第２推定処理を実施する請求項３記載の走行支援装置。
8. 前記道路検出部は、前記道路端線を表す複数の候補点を検出し、検出した該複数の候補点に基づいて前記道路端線を多項式曲線として近似し、
   前記区分線検出部は、前記区分線の候補点に基づいて前記区分線を多項式曲線として近似する請求項１から７のいずれか１項記載の走行支援装置。
9. 前記画像生成部は、前記区分線と前記区分線の延長部分と前記道路端線とを表す表示画像を生成し、
   生成された前記表示画像を表示画面に表示させる表示制御部をさらに備える請求項１から８のいずれか１項記載の走行支援装置。
10. 前記区分線と前記区分線の延長部分と前記道路端線に基づいて、前記道路のうち前記車両が走行する走行車線領域を設定する領域設定部と、
    前記赤外線画像から恒温の物体を検出する物体検出部と、
    前記車両の運転者のために警告を提示する警告部と、
    前記走行車線領域内の前記物体の存在の有無を判定し、前記物体が存在する場合に前記警告部に警告を提示させる判定部と、
    をさらに備える請求項１から９のいずれか１項記載の走行支援装置。
11. 前記判定部が、前記走行車線領域と前記物体との間の距離と前記物体の移動速度に基づいて、前記物体が前記走行車線領域に進入する進入時間を推定し、前記物体と前記車両との間の距離と前記車両の移動速度とに基づいて、前記車両が前記物体の位置に到達する到達時間を推定し、前記進入時間が前記到達時間以前である場合に警告を提示させる請求項１０記載の走行支援装置。
12. 前記区分線と前記区分線の延長部分と前記道路端線に基づいて、前記道路のうち前記車両が走行する走行車線領域を設定する領域設定部と、
    前記可視画像における前記走行車線領域の画素値に基づいて、前記可視画像の露出補正処理を行う露出補正部をさらに備える請求項１から９のいずれか１項記載の走行支援装置。
13. 前記区分線と前記区分線の延長部分と前記道路端線に基づいて、前記道路のうち前記車両が走行する走行車線領域を設定する領域設定部と、
    前記可視画像における前記走行車線領域の画素値に基づいて前記可視撮像部の露出制御を行う露出制御部をさらに備える請求項１から９のいずれか１項記載の走行支援装置。
14. 車両に搭載された赤外線撮像部と前記車両に搭載された可視撮像部とを備えた走行支援装置によって実施される走行支援方法であって、
    前記車両の車両前方の赤外線画像を撮像する赤外線撮像ステップと、
    前記赤外線画像の表す範囲に対応する範囲の可視画像を撮像する可視撮像ステップと、
    撮像された前記赤外線画像から前記車両が走行する道路の道路端線を検出する道路検出ステップと、
    撮像された前記可視画像から前記道路の区分線を検出する区分線検出ステップと、
    互いに位置合わせされた前記赤外線画像と前記可視画像に基づいて、前記道路端線と前記区分線とを表す統合画像を生成する画像生成ステップと、
    前記統合画像中の前記区分線と前記道路端線とに基づいて、前記統合画像における前記区分線の延長部分を推定する区分線推定ステップとを有することを特徴とする走行支援方法。