JP2011025894A - 車両灯火認識装置及びプログラム - Google Patents

Abstract

【課題】単光源であっても、簡易な処理で車両灯火を認識する。
【解決手段】灯火候補抽出部２２で、撮像装置１２で連続して撮像されて入力された撮像画像の各々から、各画素の画素値が所定値以上となる高輝度領域を灯火候補として抽出し、灯火候補追跡部２４で、連続する撮像画像における位置及び形状に基づいて、抽出された灯火候補を追跡し、画素値取得部２６で、追跡された灯火候補の画素値を撮像画像毎に時系列で取得し、周辺情報取得部２８で、撮像画像及び道路情報から、閾値を設定するための周辺情報を取得し、閾値設定部３０で、道路情報及び周辺情報に基づいて、閾値を設定し、判定部３２で、取得された灯火候補の画素値の時間変化率が設定された閾値より大きい場合に、灯火候補が車両灯火であると判定する。
【選択図】図１

Description

本発明は、車両灯火認識装置及びプログラムに係り、特に、自車両周辺を撮像した撮像画像に基づいて、車両灯火を認識する車両灯火認識装置及びプログラムに関する。

従来、車載カメラによって撮像した画像の高輝度領域を光源領域として抽出し、高輝度領域が車両灯火であるか否かを判定することが行われている。

例えば、光源までの距離及びその光源に対応する光源領域の輝度を求め、その光源領域が、対向車両のヘッドランプ、先行車両のテールランプ、及びリフレクタの各光源種類による光源領域である確からしさを示す第１の尤度を算出し、また、自車両のヘッドランプがロービームであるかハイビームであるかに応じて、その光源領域が、対向車両のヘッドランプ、先行車両のテールランプ、及びリフレクタの各光源種類による光源領域である確からしさを示す第２の尤度を算出し、第１の尤度と第２の尤度とを各々乗算することにより算出した最終的な尤度が最も大きい光源種類を抽出された光源領域の光源種類として選択する車両検出装置が提案されている（例えば、特許文献１参照）。

また、任意の時間間隔でタイミング信号を発生させ、このタイミング信号に基づいて自車のヘッドランプを点消灯させ、タイミング信号に基づいて自車の前方を撮像するカメラで、ヘッドライト消灯時に撮像された画像から検出された高輝度部を先行車や対向車等の他車の車両灯火であると判定する画像処理システムが提案されている（例えば、特許文献２参照）。

また、高輝度を検出するための露光量で撮像された画像と、低輝度を検出するための露光量で撮像された画像とを用いることにより、ブルーミングによる影響を抑制して、他車のヘッドライトまたはテールライトを検出する画像処理システムが提案されている（例えば、特許文献３参照）。

また、車両の前方画像から、明るい部分の大きさに基づき対称性を持ったペアを抽出し、所定時間後の画像においてこのペアの対称性を追跡し、追跡できたときには、そのライトが他車の光源であると判断する夜間用車両認識装置が知られている（例えば、特許文献４参照）。

特開２００８−９４２４９号公報 特開２００７−７６４２９号公報 特開２００５−９２８５７号公報 特開平８−１６６２２１号公報

しかしながら、上記特許文献１に記載の技術では、自車両から光源までの距離と輝度との関係から光源種類を判定しているため、光源までの距離を算出する処理が必要である、という問題がある。また、上記特許文献２に記載の技術では、ヘッドライトの点消灯による輝度の影響が少ない街灯などの光源は、車両灯火と同様に検出されてしまうため、街灯などと車両灯火との識別を行うことがでない、という問題がある。また、カメラの撮影タイミングとヘッドライトの点消灯のタイミングとの同期をとる処理が必要になる、という問題がある。また、上記特許文献３に記載の技術では、あらゆる距離に存在する光源を検出するために適切な露光量を設定することは困難である、という問題がある。また、特許文献４に記載の技術では、高輝度領域の対称性を持ったペアを追跡しているため、バイクなどの単光源には適用することができない、という問題がある。

本発明は、上記の問題点を解決するためになされたもので、単光源であっても、簡易な処理で車両灯火を認識することができる車両灯火認識装置及びプログラムを提供することを目的とする。

上記目的を達成するために、第１の発明の車両灯火認識装置は、自車両の周辺を連続して撮像する撮像装置によって撮像された複数の撮像画像の各々から、画素値が所定値以上となる高輝度領域を抽出する抽出手段と、抽出された前記高輝度領域を追跡し、前記高輝度領域の画素値を時系列に取得する画素値取得手段と、前記画素値取得手段により時系列に取得された前記高輝度領域の画素値に基づいて、前記高輝度領域の画素値の時間変化率を算出し、算出した前記画素値の時間変化率が予め定めた閾値より大きい場合に、前記高輝度領域を車両灯火であると判定する判定手段と、を含んで構成されている。

また、第２の発明の車両灯火認識プログラムは、コンピュータを、自車両の周辺を連続して撮像する撮像装置によって撮像された複数の撮像画像の各々から、画素値が所定値以上となる高輝度領域を抽出する抽出手段、抽出された前記高輝度領域を追跡し、前記高輝度領域の画素値を時系列に取得する画素値取得手段、及び前記画素値取得手段により時系列に取得された前記高輝度領域の画素値に基づいて、前記高輝度領域の画素値の時間変化率を算出し、算出した前記画素値の時間変化率が予め定めた閾値より大きい場合に、前記高輝度領域を車両灯火であると判定する判定手段として機能させるためのプログラムである。

第１の発明の車両灯火認識装置、及び第２の発明の車両灯火認識プログラムによれば、抽出手段が、自車両の周辺を連続して撮像する撮像装置によって撮像された複数の撮像画像の各々から、画素値が所定値以上となる高輝度領域を抽出し、画素値取得手段が、抽出された高輝度領域を追跡し、高輝度領域の画素値を時系列に取得する。抽出された高輝度領域が車両灯火である場合には、他車両の車両運動や自車両と他車両との位置関係により、撮像装置に入射される光源からの光量の時間変化率が、街灯などの光源と比較して大きくなる。そこで、判定手段が、画素値取得手段により時系列に取得された高輝度領域の画素値に基づいて、高輝度領域の画素値の時間変化率を算出し、算出した画素値の時間変化率が予め定めた閾値より大きい場合に、高輝度領域を車両灯火であると判定する。

このように、高輝度領域のペアを抽出することも、光源までの距離を算出することもなく、高輝度領域の画素値の時間変化率を用いて車両灯火を認識するため、単光源であっても、簡易な処理で車両灯火を認識することができる。

また、第１及び第２の発明は、前記自車両が走行している道路の形状、勾配、及び曲率を含む道路情報を検出する道路情報検出手段と、前記道路情報検出手段により検出された道路情報と、前記道路情報と前記画素値の時間変化率との予め求めた関係とに基づいて、前記閾値を設定する設定手段と、を含んで構成することができる。これにより、道路情報に応じて適切な閾値が設定されるため、車両灯火の認識精度が向上する。

また、第１及び第２の発明の前記抽出手段は、前記道路情報に基づいて予測される道路領域上から前記高輝度領域を抽出し、前記画素値取得手段は、前記道路情報に基づいて、前記高輝度領域の位置の変化を予測して前記高輝度領域を追跡するようにすることができる。検出された道路情報は、高輝度領域の抽出及び追跡にも用いることができ、これにより、高輝度領域の抽出及び追跡の精度が向上する。

また、上記目的を達成するために、第３の発明の車両灯火認識装置は、自車両の周辺を連続して撮像する撮像装置によって撮像された複数の撮像画像の各々から、画素値が所定値以上となる高輝度領域を抽出する抽出手段と、抽出された前記高輝度領域を追跡し、前記高輝度領域の画素値を時系列に取得する画素値取得手段と、前記画素値取得手段により時系列に取得された前記高輝度領域の画素値を周波数分析して、前記画素値の変化の周波数が、予め定めた周波数より高い場合に、前記高輝度領域を車両灯火であると判定する判定手段と、を含んで構成することができる。

また、第４の発明の車両灯火認識プログラムは、コンピュータを、自車両の周辺を連続して撮像する撮像装置によって撮像された複数の撮像画像の各々から、画素値が所定値以上となる高輝度領域を抽出する抽出手段、抽出された前記高輝度領域を追跡し、前記高輝度領域の画素値を時系列に取得する画素値取得手段、及び前記画素値取得手段により時系列に取得された前記高輝度領域の画素値を周波数分析して、前記画素値の変化の周波数が、予め定めた周波数より高い場合に、前記高輝度領域を車両灯火であると判定する判定手段として機能させるためのプログラムである。

第３の発明の車両灯火認識装置、及び第４の発明の車両灯火認識プログラムによれば、抽出手段が、自車両の周辺を連続して撮像する撮像装置によって撮像された複数の撮像画像の各々から、画素値が所定値以上となる高輝度領域を抽出し、画素値取得手段が、抽出された高輝度領域を追跡し、高輝度領域の画素値を時系列に取得する。抽出された高輝度領域が車両灯火である場合には、車両灯火以外の光源より光量の変化の周波数が高いため、撮像画像における高輝度領域の画素値の変化が、車両灯火以外の光源の高輝度領域の画素値の変化と比較して大きくなる。そこで、判定手段が、画素値取得手段により時系列に取得された高輝度領域の画素値を周波数分析して、画素値の変化の周波数が、予め定めた周波数より高い場合に、高輝度領域を車両灯火であると判定する。

このように、高輝度領域のペアを抽出することも、光源までの距離を算出することもなく、高輝度領域の画素値の変化の周波数を用いて車両灯火を認識するため、単光源であっても、簡易な処理で車両灯火を認識することができる。

また、第３及び第４の発明は、前記自車両が走行している道路の形状、勾配、及び曲率を含む道路情報を検出する道路情報検出手段を含んで構成することができ、前記抽出手段は、前記道路情報に基づいて予測される道路領域上から前記高輝度領域を抽出し、前記画素値取得手段は、前記道路情報に基づいて、前記高輝度領域の位置の変化を予測して前記高輝度領域を追跡するようにすることができる。これにより、高輝度領域の抽出及び追跡の精度が向上する。

また、第１〜第４の発明は、前記自車両の速度、ヨーレート、ピッチ角、及び操舵角の少なくとも１つを含む車両運動を示す車両運動情報を検出する車両運動情報検出手段を含み、前記抽出手段は、前記車両運動情報に基づいて、前記高輝度領域の存在位置を予測して前記高輝度領域を抽出し、前記画素値取得手段は、前記車両運動情報に基づいて、前記高輝度領域の位置の変化を予測して、前記高輝度領域を追跡するようにすることができる。これにより、高輝度領域の抽出及び追跡の精度が向上する。

また、第１〜第４の発明の前記抽出手段は、前記画素値が所定値以上となる高輝度領域が、予め定めた車両灯火の形状以外の形状の場合には、該高輝度領域を抽出しないようにすることができる。これにより、例えば、三角形のような車両灯火である可能性が低い形状の高輝度領域は抽出されないため、以降の処理を簡略化できる。

本発明のプログラムは、記憶媒体に格納して提供することができる。

以上説明したように、本発明の車両灯火認識装置及びプログラムによれば、高輝度領域の画素値の時間変化率、または高輝度領域の画素値の変化の周波数を用いて車両灯火を認識するため、単光源であっても、簡易な処理で車両灯火を認識することができる、という効果が得られる。

第１の実施の形態に係る車両灯火認識装置の構成を示すブロック図である。 警戒標識の一例を示す図である。 光源の見かけの角度とカメラに入射される光量との関係を説明するための図である。 ヘッドライトの指向性を説明するための（Ａ）ヘッドライトのビーム形状の一例を示す図、（Ｂ）ヘッドライトの照射方向を基準とした水平角度に対する光量の変化を示す図、及び（Ｃ）ヘッドライトの照射方向を基準とした垂直角度に対する光量の変化を示す図である。 第１の実施の形態の車両灯火認識装置における車両灯火認識処理ルーチンの内容を示すフローチャートである。 水平面の見かけの角度の一例を示す図である。 垂直面の見かけの角度の一例を示す図である。 第２の実施の形態に係る車両灯火認識装置の構成を示すブロック図である。 車両灯火の光量の時間変化を示す図である。 第２の実施の形態の車両灯火認識装置における車両灯火認識処理ルーチンの内容を示すフローチャートである。

以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態では、車両に搭載され、撮像された周辺画像に基づいて車両灯火を認識する車両灯火認識装置に本発明を適用した場合を例に説明する。

図１に示すように、第１の実施の形態に係る車両灯火認識装置１０は、自車両の周辺の画像を連続して撮像するＣＣＤカメラ等からなる撮像装置１２と、自車両の運動を検出する各種センサからなる車両運動情報検出部１４と、自車両が走行している道路の道路情報を検出する道路情報検出部１６と、コンピュータ２０での処理結果を表示するための表示装置１８と、連続して撮像された撮像画像、取得された車両運動情報及び道路情報に基づいて、他車両の車両灯火を認識する処理を実行するコンピュータ２０とを備えている。

撮像装置１２は、自車両周辺の識別対象領域を含む範囲を撮像し、画像信号を生成する撮像部（図示省略）と、撮像部で生成されたアナログ信号である画像信号をデジタル信号に変換するＡ／Ｄ変換部（図示省略）と、Ａ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）とを備えている。なお、撮像装置１２は、台数や画角については特に限定されるものではなく、任意の構成としてよい。また、撮像装置１２によって出力される画像は、濃淡画像及びカラー画像の何れであってもよい。

車両運動情報検出部１４は、ジャイロセンサや車速計などの各種センサから構成され、各種センサの出力値により、自車両の速度、ヨーレート、ピッチ角、及び操舵角等の自車両の車両運動情報を検出する。

道路情報検出部１６は、カーナビゲーション装置やレーザレーダ装置などから構成され、これらの装置の出力情報により、自車両が走行している道路の凹凸などの形状、勾配、及び曲率等の道路情報を検出する。また、道路情報と併せて、他車両との車間距離も検出するようにしてもよい。

コンピュータ２０は、車両灯火認識装置１０全体の制御を司るＣＰＵ、後述する車両灯火認識プログラム等各種プログラムを記憶した記憶媒体としてのＲＯＭ、ワークエリアとしてデータを一時格納するＲＡＭ、及びこれらを接続するバスを含んで構成されている。このような構成において、各構成要素の機能を実現するためのプログラムを記憶媒体であるＲＯＭに記憶しておき、これをＣＰＵが実行することによって、各機能が実現されるようにする。

このコンピュータ２０をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１に示すように、コンピュータ２０は、撮像装置１２で連続して撮像されて入力された撮像画像の各々から、各画素の画素値が所定値以上となる高輝度領域を灯火候補として抽出する灯火候補抽出部２２と、撮像画像における位置及び形状に基づいて、抽出された灯火候補を追跡する灯火候補追跡部２４と、追跡された灯火候補の画素値を撮像画像毎に時系列で取得する画素値取得部２６と、撮像画像から、閾値を設定するための周辺情報を取得する周辺情報取得部２８と、道路情報及び周辺情報に基づいて、閾値を設定する閾値設定部３０と、取得された灯火候補の画素値の時間変化率と、設定された閾値とを比較して灯火候補が車両灯火であるか否かを判定する判定部３２と、撮像装置１２によって撮像された撮像画像に、判定部３２による判定結果を重畳させて表示装置１８に表示するよう制御する表示制御部３４とを含んだ構成で表すことができる。なお、灯火候補追跡部２４及び画素値取得部２６が、画素値取得手段の一例である。

灯火候補抽出部２２では、連続して入力される撮像画像の各々について、各画素の画素値を閾値処理し、所定値以上の画素値の画素を抽出する。そして、抽出された画素において、隣接する画素同士を一群の領域とした高輝度領域を、灯火候補として抽出する。なお、抽出された灯火候補には、四輪車の灯火や二輪車の灯火の他に、街灯、リフレクタなども含まれている。

また、灯火候補抽出部２２では、車両運動情報検出部１４で検出された車両運動情報を取り込んで、この車両運動情報に基づいて、灯火候補の存在位置を予測してから、灯火候補を抽出する。例えば、車両運動情報として取り込んだ操舵角やピッチ角に基づいて、撮像画像内において車両灯火が存在する可能性が高い領域を制限し、制限された領域内から灯火候補を抽出するようにすることができる。また、道路情報検出部１６で検出された道路情報、及び撮像画像から周辺情報取得部２８で取得される周辺情報に基づいて、灯火候補の存在位置を予測してから、灯火候補を抽出する。例えば、道路情報として取り込んだ道路の曲率や周辺情報として撮像画像から取得された白線に基づいて、撮像画像における道路領域を推定し、この道路領域上から灯火候補を抽出するようにすることができる。これにより、灯火候補の抽出精度を向上させることができる。

さらに、灯火候補抽出部２２では、抽出された高輝度領域の形状と、予め定めた車両灯火以外の形状（例えば、三角形など）とをパターンマッチングなどにより比較して、高輝度領域の形状が車両灯火以外の形状に該当する場合は、この高輝度領域は灯火候補として抽出しないようにすることもできる。これにより、灯火候補の抽出精度を向上させることができる。

灯火候補追跡部２４では、撮像画像から抽出された灯火候補の位置及び形状と、過去の撮像画像から抽出された灯火候補の位置及び形状とを比較して、各撮像画像で抽出された灯火候補を対応付けることにより、灯火候補を追跡する。

また、灯火候補追跡部２４では、車両運動情報検出部１４で検出された車両運動情報を取り込んで、この車両運動情報に基づいて、灯火候補の位置の変化を予測してから、灯火候補を追跡する。例えば、車両運動情報として取り込んだ操舵角に基づいて、撮像画像内において灯火候補がどの位置に移動したかを予測し、予測された位置の近傍に過去の撮像画像の灯火候補の形状と近似する形状の灯火候補が存在する場合には、その灯火候補を過去の灯火候補と対応付ける。また、道路情報検出部１６で検出された道路情報、及び撮像画像から周辺情報取得部２８で取得される周辺情報に基づいて、灯火候補の位置の変化を予測してから、灯火候補を追跡する。例えば、道路情報として取り込んだ道路の曲率や周辺情報として撮像画像から取得された白線に基づいて、撮像画像における道路領域を推定し、この道路領域に沿って灯火候補を追跡するようにすることができる。これにより、灯火候補の追跡精度を向上させることができる。

画素値取得部２６では、各撮像画像から抽出された灯火候補の画素値を取得する。灯火候補の画素値は、灯火候補として抽出された高輝度領域内に含まれる全画素の画素値の平均値とすることができる。なお、画素値は、平均値に限定されるものではなく、高輝度領域内に含まれる全画素の画素値の最大値、最小値、最頻値、中央値などの代表値としてもよい。

周辺情報取得部２８では、撮像装置１２から入力された撮像画像に画像処理を施して、道路の白線や他車両との車間距離を周辺情報として取得する。また、撮像画像からパターンマッチングなどにより図２に示すような警戒標識を読み取って、道路の凹凸などの形状や勾配を取得する。

閾値設定部３０では、道路情報及び周辺情報に応じて、判定部３２で車両灯火の判定に用いられる閾値を適切な値に設定する。閾値は、道路情報及び周辺情報、または道路情報及び周辺情報から推定される見かけの角度（詳細は後述）をパラメータとして、予め実験で得られた値を閾値テーブルとして記憶しておき、実際に取得された道路情報及び周辺情報、または道路情報及び周辺情報から推定される見かけの角度に基づいて、閾値テーブルを参照して決定するようにすることができる。また、閾値テーブルは、予め実験で得られた値を定めておく場合だけでなく、実際の走行時に取得された値を学習するようにしてもよい。

判定部３２では、画素値取得部２６で取得された画素値の時間変化率を算出し、閾値設定部３０で設定された閾値と比較することにより、灯火候補が車両灯火であるか否かを判定する。画素値の時間変化率は、追跡された灯火候補の画素値の所定時間（所定フレーム数）分の時系列データに基づいて、（１）式のように所定時間（所定フレーム数）内における最大値と最小値との差として求めることができる。

ｄＬ＝Ｌ_ｍａｘ−Ｌ_ｍｉｎ ・・・（１）

ただし、Ｌは画素値を表しており、ｄＬは画素値の時間変化率、Ｌ_ｍａｘは画素値の最大値、及びＬ_ｍｉｎは画素値の最小値である。

また、時間変化率ｄＬは、下記（２）式のように、フレーム間差分の平均値を用いてもよい。

ただし、ｎは撮像画像の所定時間内でのフレーム数、及びＬ（ｔ）は時刻ｔで撮像された撮像画像から抽出された灯火候補の画素値である。また、フレーム間差分の平均値ではなく、分散を用いてもよい。

このようにして算出された灯火候補の画素値の時間変化率を、閾値設定部３０により設定された閾値と比較して、算出された時間変化率の方が大きい場合には、その灯火候補を車両灯火であると判定する。

ここで、第１の実施の形態の原理について説明する。

図３に示すように、垂直面内において、撮像装置１２と光源とを結ぶ線と、光源の照射方向とのなす角がφの場合、このφを撮像装置１２からみた光源の照射方向の見かけの角度とする。この見かけの角度φが変化することにより、（３）式に示すように、撮像装置１２に入射される光量も変化する。

Ｅ_Ｃ＝ｋ_φ×Ｅ_Ｌ ・・・（３）

ただし、Ｅ_Ｃは撮像装置１２に入射される光量、Ｅ_Ｌは光源の光量、及びｋ_φは見かけの角度φによる撮像装置１２への入射光量の変化の度合いを表す係数であり、０から１までの値である。

また、水平面内においても、撮像装置１２と光源とを結ぶ線と、光源の照射方向とのなす角θを見かけの角度とすると、見かけの角度θの変化により、撮像装置１２に入射される光量も変化する。特に、車両灯火の場合には、静止している街灯などに比べて、車両運動による見かけの角度φ及びθの変動が大きい。

さらに、図４に示すように、車両灯火、特にヘッドライトは、指向性が強いため、車両運動による見かけの角度φ及びθの変動がより大きくなる。図４（Ａ）は、ヘッドライトのビーム形状の一例、同図（Ｂ）は、照射方向を基準とした水平角度に対する光量の変化、同図（Ｃ）は、照射方向を基準とした垂直角度に対する光量の変化を示したものである。このように、ヘッドライトは、指向性が強く、特に、垂直面内での指向性が絞られていることがわかる。一方、街灯などの道路環境に存在する車両灯火以外の光源は、車両灯火に比べて指向性が強くないため、見かけの角度φ及びθの変動が小さい。

このように、車両灯火と車両灯火以外の光源とでは、撮像装置１２に入射される光量の変動に大小の差がある。そこで、撮像画像における灯火候補の画素値の時間変化率を捉えることにより車両灯火を認識する。

また、見かけの角度φ及びθの変動に影響を与える要素は、自車両と他車両との位置関係、及び他車両の車両運動である。この２つの要素に影響を与えるパラメータは、凹凸などの道路形状、道路の幅、曲率、勾配等であり、これらのパラメータの大小及びパラメータ同士の関係によって、見かけの角度φ及びθの変動の大小も異なる。例えば、水平面での見かけの角度θの値が極めて小さい場合（θ≒０）における垂直面での見かけの角度φの変動Δφ１と、水平面での見かけの角度θの値が極めて大きい場合（θ≫０）における垂直面での見かけの角度φの変動Δφ２とでは、Δφ２の方が変動幅が大きくなる。

次に、第１の実施の形態に係る車両灯火認識装置１０の作用について説明する。車両灯火認識装置１０を搭載した自車両が道路上を走行しているときに、撮像装置１２によって、自車両の周辺が連続して撮像されると共に、コンピュータ２０において、図５に示す車両灯火認識処理ルーチンが繰り返し実行される。

ステップ１００で、撮像装置１２で撮像された撮像画像を取得する。また、撮像画像が撮像されたタイミングに同期して、車両運動情報検出部１４の各種センサによって検出された車両運動情報、及び道路情報検出部１６によって検出された道路情報を取得する。また、取得された撮像画像から周辺情報を取得する。

次に、ステップ１０２で、取得された撮像画像に対して、上記ステップ１００で取得された車両運動情報、道路情報、及び周辺情報に基づいて、道路領域などの車両灯火が存在する可能性の高い領域を予測し、予測された領域に対して閾値処理を行って、高輝度領域を抽出する。そして、抽出された高輝度領域の形状と、予め定めた車両灯火以外の形状とをパターンマッチング等により比較し、予め定めた車両灯火以外の形状に該当しない高輝度領域を灯火候補として抽出する。ここでは、１つの撮像画像からＭ個の灯火候補が抽出されたものとし、灯火候補の各々に１〜Ｍの番号を付することとする。

次に、ステップ１０４で、変数ｉに１をセットして、次のステップ１０６で、灯火候補の追跡を行うために、ｉ番の灯火候補の位置及び形状を、過去の灯火候補の位置及び形状と照合する。具体的には、所定の記憶領域に、所定時間（所定フレーム数）分の撮像画像の各々から抽出された灯火候補の位置、形状、及び画素値の情報を記憶しておく。そして、上記ステップ１００で取得された車両運動情報、道路情報、及び周辺情報に基づいて、過去の撮像画像での灯火候補の位置に対する現在の撮像画像での灯火候補の位置の変化を予測し、現在の撮影画像の予測された位置の近傍に、記憶された灯火候補の形状に近似する形状が存在するか否かにより照合する。なお、灯火候補内の画素値分布の類似度やオプティカルフローを用いて追跡を行ってもよい。

次に、ステップ１０８で、上記ステップ１０６における照合により、対応する過去の灯火候補が存在したか否かを判定する。存在しなかった場合には、ステップ１１０へ移行して、灯火候補の画素値を算出し、所定の記憶領域に新たな灯火候補として、位置、形状、及び画素値の情報を記憶する。

一方、対応する過去の灯火候補が存在した場合には、ステップ１１２へ移行して、灯火候補の画素値を算出し、記憶された過去分及び現在の撮像画像から取得された所定時間（所定フレーム数）分の画素値の時系列データに基づいて、上記（１）式または（２）式に従って、画素値の時間変化率ｄＬを算出する。なお、上記の原理で説明したように、ここで算出される時間変化率は、自車両と他車両との位置関係の変動、及び他車両の車両運動により、見かけの角度φ及びθが変動することによる撮像装置１２への入射光量の変化を捉えるものであるので、短い時間において大きく変動するという特徴がある。そこで、所定時間は数十〜数百ｍ秒（所定フレーム数は撮像間隔に応じて数フレーム分）とする。

次に、ステップ１１４で、上記ステップ１００で取得された道路情報及び周辺情報に基づいて、閾値Ｌ_ｔｈを設定する。具体的には、道路情報または周辺情報として道路の曲率及び道路の幅を取得し、図６に示すように、撮像画像中における灯火候補の位置、道路の曲率Ｒ、及び道路の幅Ｗから定まる自車両及び他車両の道路幅方向に対する横位置に基づいて、水平面での見かけの角度θを推定する。また、道路情報または周辺情報として道路の勾配を取得し、図７に示すように、道路の勾配χ、及び一般的な車両灯火の水平面に対する照射角度ψに基づいて、垂直面での見かけの角度φを推定する。そして、予め実験により得られた値を定めた見かけの角度φ及びθをパラメータとする閾値テーブルを参照して、見かけの角度φ及びθに応じた閾値Ｌ_ｔｈを設定する。なお、道路の曲率Ｒや道路の幅Ｗ等をパラメータとする閾値テーブルを用いて、見かけの角度φ及びθの推定を省略して、道路の曲率Ｒや道路の幅Ｗ等に応じた閾値Ｌ_ｔｈを設定するようにしてもよい。

次に、ステップ１１６で、上記ステップ１１２で算出した画素値の時間変化率ｄＬが上記ステップ１１４で設定した閾値Ｌ_ｔｈより大きいか否かを判定する。ｄＬ＞Ｌ_ｔｈの場合には、ステップ１１８へ移行して、ｉ番の灯火候補を車両灯火であると判定すると共に、過去分の灯火候補と対応付けて灯火候補の位置、形状、及び画素値を記憶する。なお、上記ステップ１０６及び１０８で、過去の処理における本ステップで、車両灯火であると判定された灯火候補と対応が取れた場合には、ステップ１１２〜１１６の処理をスキップして、そのまま車両灯火であると判定するようにしてもよい。

一方、ｄＬ≦Ｌ_ｔｈの場合には、ステップ１２０へ移行して、灯火候補の画素値を算出し、未だ車両灯火とは判定されていない灯火候補として、対応する過去分の灯火候補と対応付けて灯火候補の位置、形状、及び画素値を記憶する。

次に、ステップ１２２で、変数ｉがＭになったか否かを判定することにより、上記ステップ１０２で抽出されたＭ個の灯火候補の全てについて処理が終了したか否かを判定する。未処理の灯火候補が残っている場合には、ステップ１２４へ移行して、変数ｉを１インクリメントして、ステップ１０６へ戻り、全ての灯火候補について処理が終了するまで、ステップ１０６〜１２４の処理を繰り返す。全ての灯火候補について処理が終了した場合には、ステップ１２６へ移行する。

ステップ１２６では、所定の記憶領域に記憶された過去分の灯火候補の情報を処理する。具体的には、所定時間（所定フレーム数）以上、新たな灯火候補との照合で対応が取れなかった過去の灯火候補を、対応する光源がフレームアウトしたもの判断して、所定の記憶領域から削除する。また、所定時間（所定フレーム数）以上、画素値の時間変化率ｄＬが閾値Ｌ_ｔｈを超えない灯火候補を、車両灯火ではないと判断して、所定の記憶領域から削除する。

次に、ステップ１２８で、入力された撮像画像において、上記ステップ１１８で車両灯火と判定された灯火候補の領域がウインドウで囲まれて表示されるように表示装置１８を制御して、処理を終了する。

走行中に、以上のような車両灯火認識処理ルーチンが、撮像画像が入力される毎に繰り返し実行されることにより、連続的に車両灯火が認識される。

以上説明したように、第１の実施の形態の車両灯火認識装置によれば、灯火候補として抽出された高輝度領域を追跡して、高輝度領域の画素値を時系列に取得し、取得した時系列の画素値から算出された高輝度領域の画素値の時間変化率を用いて車両灯火を認識するため、単光源であっても、簡易な処理で車両灯火を認識することができる。

なお、第１の実施の形態では、閾値の設定の際に、道路の曲率、幅、及び勾配を用いる場合について説明したが、見かけの角度の変動に影響を与えるパラメータであれば、これに限定されない。例えば、凹凸が多く存在する道路では、ピッチ角の変動が大きくなるため、閾値も高めに設定するようにするとよい。道路の凹凸の情報は、例えば、道路情報として道路種別（高速道路や市街地）を取得し、高速道路より市街地の方が凹凸が多くなるようにパラメータを定めることができる。また、図２に示した警戒標識の場合と同様に、撮像画像から工事中の看板等が認識された場合も、道路の凹凸が多いと判断してもよい。さらに、橋や陸橋は、一定間隔で継ぎ目が設けられており、通過の際にピッチ角の変動を生じやすいため、カーナビゲーション装置により、走行している道路が橋や陸橋であることが取得された場合には、道路の凹凸が多いと判断してもよい。また、ピッチ角の変動が同じ場合でも、自車両と他車両との距離が遠いほど見かけの角度の変動が大きくなるため、車間距離が大きいほど閾値を大きく設定するようにしてもよい。

次に、第２の実施の形態について説明する。第１の実施の形態では、撮像画像から灯火候補として抽出された高輝度領域の画素値の時間変化率に基づいて、車両灯火を認識する場合について説明したが、第２の実施の形態では、高輝度領域の画素値の変化の周波数に基づいて、車両灯火を認識する点が異なる。なお、第１の実施形態の車両灯火認識装置１０と同様の構成及び処理については、同一の符号を付して説明を省略する。

図８に示すように、第２の実施の形態に係る車両灯火認識装置２１０は、撮像装置１２と、車両運動情報検出部１４と、道路情報検出部１６と、表示装置１８と、連続して撮像された撮像画像、取得された車両運動情報及び道路情報に基づいて、他車両の車両灯火を認識する処理を実行するコンピュータ２２０とを備えている。

コンピュータ２２０は、車両灯火認識装置２２０全体の制御を司るＣＰＵ、後述する車両灯火認識プログラム等各種プログラムを記憶した記憶媒体としてのＲＯＭ、ワークエリアとしてデータを一時格納するＲＡＭ、及びこれらを接続するバスを含んで構成されている。このような構成において、各構成要素の機能を実現するためのプログラムを記憶媒体であるＲＯＭに記憶しておき、これをＣＰＵが実行することによって、各機能が実現されるようにする。

このコンピュータ２２０をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図８に示すように、コンピュータ２２０は、灯火候補抽出部２２と、灯火候補追跡部２４と、画素値取得部２６と、周辺情報取得部２８と、時系列に取得された灯火候補の画素値を周波数分析して、分析により得られた画素値の変化の周波数と、予め定めた閾値周波数とを比較して灯火候補が車両灯火であるか否かを判定する判定部２３２と、表示制御部３４とを含んだ構成で表すことができる。

判定部２３２では、画素値取得部２６で取得された画素値の時系列データを、高速フーリエ変換、短時間フーリエ変換、ウェーブレット変換、ウィグナー分布等の解析手法を用いて周波数分析し、分析して得られた画素値の変化の周波数が、予め実験等により定めた閾値周波数より大きい場合に、灯火候補が車両灯火であると判定する。

ここで、第２の実施の形態の原理について説明する。

光源が車両灯火の場合には、電源が車両に搭載された発電機であることが多い。そのため、図９に示すように、エンジン駆動に起因して光量が変化する。この光量の変化の周波数は、街灯などの車両灯火以外の光源の光量の変化の周波数よりも高いのが一般的である。そこで、この光量の変化を、撮像装置１２で撮像された撮像画像から取得される画素値の変化として捉えることで、撮像画像内の高輝度領域が車両灯火か否かを判定することができる。なお、第２の実施の形態で用いられる撮像装置１２は、車両灯火の高い周波数の光量変化を認識することができるように、高いフレームレートのものを用いる。

次に、第２の実施の形態に係る車両灯火認識装置２１０の作用について説明する。車両灯火認識装置２１０を搭載した自車両が道路上を走行しているときに、撮像装置１２によって、自車両の周辺が連続して撮像されると共に、コンピュータ２２０において、図１０に示す車両灯火認識処理ルーチンが繰り返し実行される。

ステップ１００〜１０８で、第１の実施の形態と同様に、撮像画像から灯火候補を抽出し、過去に抽出された灯火候補と照合して対応の有無を判定することにより、灯火候補を追跡する。

次に、ステップ２００へ移行して、灯火候補の画素値を算出し、記憶された過去分及び現在の撮像画像から取得された所定時間（所定フレーム数）分の画素値の時系列データに対して周波数分析を行って、画素値の変化の周波数Ｆを求める。

次に、ステップ２０２で、上記ステップ２００で求めた画素値の変化の周波数Ｆが、予め定めた閾値周波数Ｆ_ｔｈより大きいか否かを判定する。Ｆ＞Ｆ_ｔｈの場合には、ステップ１１８へ移行し、Ｆ≦Ｆ_ｔｈの場合には、ステップ１２０へ移行する。

以下、第１の実施の形態と同様に処理する。走行中に、以上のような車両灯火認識処理ルーチンが、撮像画像が入力される毎に繰り返し実行されることにより、連続的に車両灯火が認識される。

以上説明したように、第２の実施の形態の車両灯火認識装置によれば、灯火候補として抽出された高輝度領域を追跡して、高輝度領域の画素値を時系列に取得し、取得した時系列の画素値に対して周波数分析を行って、分析により得られた画素値の変化の周波数を用いて車両灯火を認識するため、単光源であっても、簡易な処理で車両灯火を認識することができる。

上記実施の形態では、車両灯火の認識結果を表示装置に表示する場合について説明したが、認識結果を音声で出力するように構成してもよい。また、車両灯火の認識結果をヘッドライトの配光制御に用いるために、配光制御装置へ出力するように構成してもよい。

１０、２１０ 車両灯火認識装置
１２ 撮像装置
１４ 車両運動情報検出部
１６ 道路情報検出部
２０、２２０ コンピュータ
２２ 灯火候補抽出部
２４ 灯火候補追跡部
２６ 画素値取得部
２８ 周辺情報取得部
３０ 閾値設定部
３２、２３２ 判定部

Claims (10)

1. 自車両の周辺を連続して撮像する撮像装置によって撮像された複数の撮像画像の各々から、画素値が所定値以上となる高輝度領域を抽出する抽出手段と、
   抽出された前記高輝度領域を追跡し、前記高輝度領域の画素値を時系列に取得する画素値取得手段と、
   前記画素値取得手段により時系列に取得された前記高輝度領域の画素値に基づいて、前記高輝度領域の画素値の時間変化率を算出し、算出した前記画素値の時間変化率が予め定めた閾値より大きい場合に、前記高輝度領域を車両灯火であると判定する判定手段と、
   を含む車両灯火認識装置。
2. 前記自車両が走行している道路の形状、勾配、及び曲率を含む道路情報を検出する道路情報検出手段と、
   前記道路情報検出手段により検出された道路情報と、前記道路情報と前記画素値の時間変化率との予め求めた関係とに基づいて、前記閾値を設定する設定手段と、
   を含む請求項１記載の車両灯火認識装置。
3. 前記抽出手段は、前記道路情報に基づいて予測される道路領域上から前記高輝度領域を抽出し、
   前記画素値取得手段は、前記道路情報に基づいて、前記高輝度領域の位置の変化を予測して前記高輝度領域を追跡する
   請求項２記載の車両灯火認識装置。
4. 自車両の周辺を連続して撮像する撮像装置によって撮像された複数の撮像画像の各々から、画素値が所定値以上となる高輝度領域を抽出する抽出手段と、
   抽出された前記高輝度領域を追跡し、前記高輝度領域の画素値を時系列に取得する画素値取得手段と、
   前記画素値取得手段により時系列に取得された前記高輝度領域の画素値を周波数分析して、前記画素値の変化の周波数が、予め定めた周波数より高い場合に、前記高輝度領域を車両灯火であると判定する判定手段と、
   を含む車両灯火認識装置。
5. 前記自車両が走行している道路の形状、勾配、及び曲率を含む道路情報を検出する道路情報検出手段を含み、
   前記抽出手段は、前記道路情報に基づいて推定される道路領域上から前記高輝度領域を抽出し、
   前記画素値取得手段は、前記道路情報に基づいて、前記高輝度領域の移動位置を予測して前記高輝度領域を追跡する
   請求項４記載の車両灯火認識装置。
6. 前記自車両の速度、ヨーレート、ピッチ角、及び操舵角の少なくとも１つを含む車両運動を示す車両運動情報を検出する車両運動情報検出手段を含み、
   前記抽出手段は、前記車両運動情報に基づいて、前記高輝度領域の存在位置を予測して前記高輝度領域を抽出し、
   前記画素値取得手段は、前記車両運動情報に基づいて、前記高輝度領域の位置の変化を予測して、前記高輝度領域を追跡する請求項１〜請求項５のいずれか１項記載の車両灯火認識装置。
7. 前記抽出手段は、前記画素値が所定値以上となる高輝度領域が、予め定めた車両灯火の形状以外の形状の場合には、該高輝度領域を抽出しない請求項１〜請求項６のいずれか１項記載の車両灯火認識装置。
8. コンピュータを、
   自車両の周辺を連続して撮像する撮像装置によって撮像された複数の撮像画像の各々から、画素値が所定値以上となる高輝度領域を抽出する抽出手段、
   抽出された前記高輝度領域を追跡し、前記高輝度領域の画素値を時系列に取得する画素値取得手段、及び
   前記画素値取得手段により時系列に取得された前記高輝度領域の画素値に基づいて、前記高輝度領域の画素値の時間変化率を算出し、算出した前記画素値の時間変化率が予め定めた閾値より大きい場合に、前記高輝度領域を車両灯火であると判定する判定手段
   として機能させるための車両灯火認識プログラム。
9. コンピュータを、
   自車両の周辺を連続して撮像する撮像装置によって撮像された複数の撮像画像の各々から、画素値が所定値以上となる高輝度領域を抽出する抽出手段、
   抽出された前記高輝度領域を追跡し、前記高輝度領域の画素値を時系列に取得する画素値取得手段、及び
   前記画素値取得手段により時系列に取得された前記高輝度領域の画素値を周波数分析して、前記画素値の変化の周波数が、予め定めた周波数より高い場合に、前記高輝度領域を車両灯火であると判定する判定手段
   として機能させるための車両灯火認識プログラム。
10. コンピュータを、請求項１〜請求項７のいずれか１項記載の車両灯火認識装置を構成する各手段として機能させるための車両灯火認識プログラム。

Images