JP2005223434A - 撮像装置 - Google Patents

Abstract

【課題】入力映像の輝度特性を白線検出が最適化されるように自動的に調整することができる。
【解決手段】走行車線候補である路面上白線を画像処理を用いて検出する際に、入力映像を取得するための撮像系の特性、または撮像後画像に対する変換処理の度合を白線モデルと画面内の輝度変化部分との適合度最大の点にあわせるようにしたものである。
【選択図】 図４

Description

この発明は、道路上を走行する車両に搭載されているカメラによる撮像映像から走行車線としての路面上の白線を検出する走行車線検出装置に用いられる撮像装置に関する。

ここでは本発明に直接関連する従来技術として、車線逸脱警報システム（車載監視・警報システム）をあげる。

このシステムは、自車両前方に設置されたカメラ映像、または自車両後方に設置されたカメラからの入力映像を解析し、白線検出装置により、自車の走行中車線について左右の白線を検出する。これに続いて、警報生成部が、自車と検出された白線との距離を計算し、自車が白線に近付き過ぎた場合に、ドライバに対して警報を行うものである。

従来の白線検出装置の代表的なものとして、特許文献１、特許文献２が挙げられるが、図１にこれら白線検出処理の流れを示す。

画像入力処理では、カメラからのアナログ画像信号を一定時間間隔でデジタル化する。具体的には時刻t0、t0+δ t(=t1)、t0+2 δ t(=t2)…において画像を取り込む。ここでt0,δtは、それぞれ処理開始時刻、および画像を取り込む時間間隔とする。例えば画像入力処理において、時刻tiで取り込んだ画像I_ti(x,y)について、その後時間δtの間に図１の、前処理エッジ検出処理、白線候補点検出処理、白線候補検出処理、車線推定処理の各処理を行い、時刻ti+δ t=ti+1において再び、画像が入力されるというように、処理を繰り返す。

以下で、上述の各処理について述べる。

まず前処理では、入力画像に平滑化フィルタ等のノイズ除去等の処理を行う。

次にエッジ検出処理では、入力画像Iti(x,y)に対し、たとえば下式で示されるようなフィルタ演算を行うことにより、入力画像からエッジ画像Eti(x,y)を得る。

Eti(x,y)=-Iti(x-2,y)-2Iti(x-1,y)+2Iti(x+1,y)+Iti(x+2,y) (1)
白線候補点検出処理では、入力画像から上述のフィルタによってエッジ画像を生成し、この画像中から白線を構成する点を検出して候補点とする。たとえば図２（ａ）の入力画像に対してエッジ検出を行うと、図２（ｂ）のようなエッジ画像が得られる。図２（ｂ）の直線Ｌに沿って、エッジの値を表したものを図２（ｃ）に示すが、この図中Ａ、およびＡ′のように左から右に道路面から白線に変わる立上りエッジ点においては正の極大値を持ち、Ｂ、およびＢ′のように左から右に白線から道路面に変わる立下りエッジ点において、負の極大値を持つ。したがって、エッジ画像Eti(x;y)を水平に左から右にスキャンしたとき、正極大値、負極大値の組が検出され、それらのｘ方向距離が白線の幅として適当な場合に、その中点を白線候補点とする。

白線候補検出処理においては、白線候補点からなる線分を求め、白線の候補とする。これには例えば、以下のｈｏｕｇｈ変換などが用いられる。まず各白線候補点についてパラメータ平面への投票を行う。ここで述べるパラメータ平面の一点は、入力画像平面の一つの直線に対応する。具体的には、図３（ａ）の直線に対して、図３（ｂ）のρθパラメータ平面の、一点（ρ，θ）が決まる。

ここで原点から見つけようとする直線への垂線の長さをρ、ｘ軸となす角度をμとしている。ｘｙ平面の白線候補点P(xp;yp)についての投票は、ρθパラメータ平面上の曲線
ρ=xpcosθ+ypsinθ (2)
に沿って行う。各白線候補点について投票後、ρθパラメータ平面でのピーク検出を行った後、各ピークに対応するｘｙ平面上の直線を求め、白線候補とする。車線推定処理では検出された白線候補から自車が走行中の車線を推定する。この処理により得られる推定車線は、入力画像中の左右直線の組として表される。

まず白線候補検出処理で得られた白線候補から、左右白線候補の組を選択する。

白線候補の組が、複数ある場合には、白線候補の組について、確信度を計算し、最も確信度が大きな白線候補の組を選択する。白線候補組の確信度についての簡単な例は、白線候補上にある白線候補点の数が考えられる。

また、確信度の計算に、白線候補点を検出する際に用いたエッジ画像の極大値および極小値の強度、白線候補周囲の輝度のコントラスト等から計算してもよい。

以上で得られた白線候補の組から時刻tiの車線を推定する。簡単な方法としては、選択された白線候補をそのまま時刻tiの推定車線として用いることが考えられる。また、カルマンフィルタ等を用いて推定することも行われている。

以上、走行車線の検出を行うための従来手法の一般的流れを説明した。ここでの説明からもわかるように、手法の後段において、白線らしい候補を検出したり、白線の候補のうちから、時系列的にもっともらしいものを推定することで、検出される走行車線が外乱に対してロバストになるように考慮を行っている。

ところで、走行車線検出装置を用いる車載監視・警報システムは通常、昼夜を問わず、その動作が行えることが前提とされる。本書にて対象としている走行車線検出方式もその例外では無い。

一方、このように昼夜を想定した場合に、晴天の昼間においては入力映像の輝度が極端に明るい場合がある一方で、夜間においては輝度が低過ぎて、前者では路面も白線も同様に明るいため、後者においては白線部分が路面同様に暗いため、前述の白線候補が見付からないという問題が生じる場合がある。

これに対する対策のうち、特に後者に対する従来例として、特許文献３では、赤外光カットフィルタを有しないＣＣＤカメラからの入力画像をエッジ強調することで、この問題を解決しようとしている。

前述の特許文献１、特許文献２では、基本的に入力映像の中から白線部分に対応するエッジ特徴が抽出可能であるような入力映像の状態を仮定しているため、前述のように昼夜を問わずに画像処理による走行車線検出を行おうとした場合には、エッジ特徴が抽出されないために、その後の処理において白線の候補自体が検出されないという問題が発生しうる。

一方、特許文献３では、赤外光カットフィルタを有しないＣＣＤカメラからの入力画像をエッジ強調することで、夜間の輝度不足によって走行車線が検出し難くなる問題を解決しようとしている。この方法では主として車両のテールランプの波長に相当する光に対して、カメラ内光電変換素子への入射光量を増加させることを目的としている。

したがって、前走車や自車両のテールランプが点灯していない場合には効果が弱いという問題がある。
特開平１１−０８５９９９号公報 特開２０００−０４８１８３号公報 特開平１１−２７２８４９号公報

この発明は、入力映像による白線検出により走行車線を検出する走行車線検出装置に用いられる撮像装置において、入力映像を白線検出が最適化されるように自動的に調整することができる撮像装置を提供することを目的とする。

この発明の撮像装置は、入力映像による白線検出により走行車線を検出する走行車線検出装置に用いられるものにおいて、車両に搭載され、映像を撮像する撮像手段と、この撮像手段による撮像系の特性、または撮像後画像に対する変換処理の度合を白線モデルと画面内の輝度変化部分との適合度最大の点に調整する調整手段とを有する。
この発明の撮像装置は、入力映像による白線検出により走行車線を検出する走行車線検出装置に用いられるものにおいて、車両に搭載され、映像を撮像する撮像手段と、この撮像手段による撮像系の特性、または撮像後画像に対する変換処理の度合を画面内特定領域（白線検出用）における白線モデルと領域内の輝度変化部分との適合度最大の点に調整する調整手段とを有する。
この発明の撮像装置は、入力映像による白線検出により走行車線を検出する走行車線検出装置に用いられるものにおいて、車両に搭載され、映像を撮像する撮像手段と、この撮像手段による撮像系の特性、または撮像後画像に対する変換処理の度合を白線モデルと画面全体または画面内特定領域内の輝度変化部分との適合度最大の点に調整する調整手段と、上記適合度を評価するための画面内特定領域中に水平、または垂直のエッジ成分が一定値以上存在するか否かを判断する判断手段と、この判断手段により画面内特定領域中に水平、または垂直のエッジ成分が一定値以上存在すると判断した際に、上記調整手段による調整を禁止する禁止手段とを有する。
この発明の撮像装置は、入力映像による白線検出により走行車線を検出する走行車線検出装置に用いられるものにおいて、車両に搭載され、映像を撮像する撮像手段と、この撮像手段による撮像画面内特定領域の輝度分布特性、および車両に装備されたライトスイッチの状態とから夜間、または昼間の判定を行う判定手段と、上記撮像手段による撮像系の特性、または撮像後画像に対する変換処理の度合を、上記判定手段の判定結果に基づく入力映像の調整特性の可変範囲内で、白線モデルと画面全体または画面内特定領域内の輝度変化部分との適合度最大の点に調整する調整手段とを有する。
この発明の撮像装置は、入力映像による白線検出により走行車線を検出する走行車線検出装置に用いられるものにおいて、車両に搭載され、映像を撮像し、上記撮像手段の入力映像に対する種々の調整特性可変項目による調整機能を有する撮像手段と、この撮像手段による撮像画面内特定領域の輝度分布特性、および車両に装備されたライトスイッチの状態とから夜間、または昼間の判定を行う判定手段と、この判定手段による夜間、または昼間の判定結果と上記車両の走行情報とに応じて、調整を行う調整特性可変項目を選択する選択手段と、この選択手段により選択されている調整特性可変項目に対する上記調整機能を用いて、白線モデルと画面全体または画面内特定領域内の輝度変化部分との適合度最大の点に調整する調整手段とを有する。

この発明は、入力映像による白線検出により走行車線を検出する走行車線検出装置に用いられる撮像装置において、入力映像を白線検出が最適化されるように自動的に調整することができる撮像装置を提供できる。

以下、図面を参照してこの発明の実施形態に係わる車載監視・警報システムとしての車線逸脱警報システムを説明する。

図４は、車線逸脱警報システムの概略構成を示すブロック図である。
この車線逸脱警報システムは、映像入力手段１、画像取り込み手段２、走行情報入力手段３、夜間判定用画像特徴量算出手段４、入力映像調整特性範囲決定手段５、輝度分布算出判定手段６、画像特徴量算出手段７、適合度算出判定手段８、入力映像調整特性修正手段９、白線候補検出手段１０、走行車線位置情報提示手段１１により構成されている。

映像入力手段１は、自車の前方あるいは後方を撮像する撮像手段としてのＣＣＤカメラ（車載カメラ）により構成され、撮像画像としての画素単位のアナログ映像信号は画像取り込み手段２に出力される。映像入力手段１は、入力映像の特性を調整するための機能として、レンズの絞込みをへ変更する機能としてのカメラ絞り，上記アナログ映像信号を増幅する増幅回路の増幅率を変更する機能としてのカメラゲイン，入力映像の取り込みタイミング（受光素子における映像蓄積時間）に対応するシャッター速度を変更する機能としてのカメラシャッター速度をそれぞれ調整できるようになっている。

上記撮像手段としてのＣＣＤカメラを想定して説明したが、同様の調整機能を持つ別素子（ＣＭＯＳ等）によるカメラを用いても良い。

画像取り込み手段２は、映像入力手段１からの撮像画像としてのアナログ映像信号をディジタイズし、内部メモリ（図示しない）上にフレームごとのディジタル画像として格納する。ここに映像は、一定周期Ｔ（たとえば33msec）でサンプリングされ、サンプリングされた各画像（フレーム）が、各画素について所定のbit数（モノクロでは8bits、カラーではＲ，Ｇ，Ｂ各8bitsなど）を持つディジタル画像に変換される。
画像取り込み手段２から出力されるディジタル画像は、夜間判定用画像特徴量算出手段４、輝度分布算出判定手段６、画像特徴量算出手段７に供給される。
走行情報入力手段３は、画像取り込み手段２の各画像（フレーム）の入力と同期して、自車両からの車速、一定時間あたりのyaw角の変動値（ヨーレート）、ライト点灯中か否かの情報が入力され、内部メモリ（図示しない）に蓄積される。

走行情報入力手段３から出力される車速、ヨーレート、ライト点灯中か否かの情報が入力映像調整特性範囲決定手段５に供給される。

夜間判定用画像特徴量算出手段４は、画像取り込み手段２から供給される各画像（フレーム）の特徴量抽出領域における夜間判定用画像特徴量を算出するものである。夜間判定用画像特徴量算出手段４から出力される夜間判定用画像特徴量としての昼夜の判定結果は入力映像調整特性範囲決定手段５に供給される。

入力映像調整特性範囲決定手段５は、夜間判定用画像特徴量算出手段４から出力される昼夜の判定結果と走行情報入力手段３から出力される車速、ヨーレート、ライト点灯中か否かの情報に応じて、図５に示す入力映像調整特性のうち、１つ、または複数を選択するものである。入力映像調整特性範囲決定手段５から出力される入力映像調整特性は入力映像調整特性修正手段９に供給される。

輝度分布算出判定手段６は、画像取り込み手段２から供給される各画像（フレーム）の適合度判定用領域内におる輝度分布計測を行うものである。輝度分布算出判定手段６から出力される輝度分布の判定結果は入力映像調整特性修正手段９と画像特徴量算出手段７に供給される。

画像特徴量算出手段７は、エッジ検出と白線候補点の検出を行い、この検出に対応する画像特徴量を算出するものである。画像特徴量算出手段７から出力される画像特徴量は適合度算出判定手段８と白線候補検出手段１０に供給される。

適合度算出判定手段８は、画像特徴量算出手段７からの白線候補点が、検出に適した入力映像について検出されたものかどうかに対する適合度を算出し、これを評価し、適合しているか否かを判定するものである。この判定結果は入力映像調整特性修正手段９と白線候補検出手段１０に供給される。

入力映像調整特性修正手段９は、輝度分布算出判定手段６から出力される輝度分布の判定結果により輝度範囲の条件において不適格であった場合に、入力映像調整特性範囲決定手段５から出力される調整範囲内の入力映像調整特性に基づく入力映像調整信号を映像入力手段１に出力するものである。
入力映像調整特性修正手段９は、適合度算出判定手段８から出力される白線検出適合度の判定結果により白線検出適合度の条件において不適格であった場合に、入力映像調整特性範囲決定手段５から出力される調整範囲内の入力映像調整特性に基づく入力映像調整信号を映像入力手段１に出力するものである。
白線候補検出手段１０は、適合度算出判定手段８から出力される白線検出適合度の判定結果により白線検出適合度の条件において適格であった場合に、画像特徴量算出手段７からの白線候補点から直線を検出し、白線候補とする。これには、例えば、ハフ変換を用いる。

走行車線位置情報提示手段１１は、白線候補検出手段１０からの白線候補の位置情報にもとづいて、走行車線位置情報を提示するものである。
次に、上記のような構成において、白線検出処理を説明する。
まず、処理のポイントについて説明する。
１． 夜間／昼間、自車両走行情報に応じた映像調整範囲の決定
夜間／昼間の判定結果，および自車両の走行情報に応じて、入力映像調整特性のうち、１つ、または複数を選択する。車速，ヨーレート，検出対象へのライト照射の有無について、入力映像調整特性の可変範囲（調整不可も含む）を規定し、その範囲内でのみの調整を行うこととする。

２． 白線モデルと特徴量との適合度を最大化する入力映像特性制御
ライトスイッチがオンまたは画面周辺領域の輝度分布が一定範囲以内だった場合に、入力画像の輝度分布が昼間のそれに近づくように、入力映像調整特性（絞り、ゲイン、シャッター速度）を制御する。ここである程度まで、輝度分布が昼間のそれに近づいた後の制御は画面内のモデル近傍の特定位置範囲に存在するエッジとの適合度が最大になるように行う。

３． 制御の禁止条件
上記制御は、測定画面内に水平垂直エッジが一定値より多く存在する場合には行わない。

２で周辺領域を測定領域にする理由は、ライトの直接入射を抑制するためである。

また、１を採用する理由は、自車速度が速い、ヨーレイトが大きいという場合には、単位時間あたりの画面内輝度変化が大きい場合が想定され、上記調整特性のうち、時間遅れを伴うものを用いると計測誤差が大きく、かつ、調整後に本来の目的である白線検出の応答速度が大きくなるのを防ぐためである。

ただし夜間状態では、応答時間を犠牲にして受光素子における映像蓄積時間（シャッター速度に相当）を延ばしてでも、入力輝度特性を改善できる調整特性を選択する。

次に、上記ポイントに基づく白線検出処理を図６に示すフローチャートを参照しつつ説明する。
上記図６において、図１の一般的車線検出処理の部分処理は、本実施例の処理において、画像特徴量算出処理中のエッジ検出と白線候補点検出処理に利用され、本実施例独自の処理結果によって白線検出に適当な場合には、白線候補検出をおこなうという構成となっている。

ステップ１ 入力映像調整特性の初期化
“入力映像調整特性の初期化”において、本実施例で想定している入力映像の特性を調整するためのパラメータのうち、カメラ絞り，カメラゲイン，カメラシャッター速度とを昼間の走行時に安定して白線が検出できることを目安として設定した標準値に設定する。

ステップ２ 映像入力
“映像入力”では、映像入力手段１によってアナログ映像を入力し、さらに画像取り込み手段２においてディジタイズし、内部メモリ上にフレームごとのディジタル画像として格納する。ここに映像は、一定周期Ｔ（たとえば33msec）でサンプリングされ、サンプリングされた各画像（フレーム）が、各画素について所定のbit数（モノクロでは8bits、カラーではＲ，Ｇ，Ｂ各8bitsなど）を持つディジタル画像に変換されていると想定する。

ステップ３ 車両走行情報の入力
“走行情報入力”においては、走行情報入力手段３において、ステップ２の各映像フレームの入力と同期して、自車両からの車速、一定時間あたりのyaw角の変動値（ヨーレート）、ライト点灯中か否かの情報が入力され、内部メモリに蓄積される。

ステップ４ 夜間判定用画像特徴量算出
“夜間判定用画像特徴量算出”において、図７中の画面周囲のXLl,XLr,YLt,YLbで規定される領域内部において、夜間判定用画像特徴量を算出する。夜間判定用画像特徴量としては、種々のものが考えられるが、一例として、ここでは領域内の輝度平均値μＬ、および輝度分散値σＬとを用いて昼夜を判定する。

ifμL<T_μLかつσL<T_σL==>夜
else==>夜間でない （３）
ただし、T_μL：輝度平均しきい値
T_σL：輝度分散しきい値
ここに夜間と判定された場合には、輝度が不足するため、走行車線検出用映像中のテクスチャ変化が検出されにくい。したがって、走行車線検出に用いられる特徴量として冗長なものも抽出されにくくなるため、画面内での車線検出に要する処理時間が少なくてすむ。反面、この場合には、重要な特徴量（ここでは特にエッジ）が過小にしか抽出されず、検出もれがおこり易くなるため、入力映像中の輝度を上げる制御を行うべきで、その範囲も大きくすべきである。このように昼夜判定結果は、この制御範囲の調整のために用いる。

なお、上述の領域XLl,XLr,YLt,YLbによって昼夜判定領域を限定しているが、ここで規定される以外の場所は走行車線検出用の入力映像においては、主に走行道路面となるが、走行道路面においては前走車のテールランプ、後続車のフロントライトからの入射光が反射する場合が多いため、輝度の分布が通常の夜のものと異なり、判定が正確でなくなる可能性が高い。領域限定の理由はここにある。

ステップ５ 入力映像調整特性可変範囲決定
夜間／昼間の判定結果，および自車両の走行情報に応じて、入力映像調整特性のうち、１つ、または複数を選択する。

具体的には、車速：Ｖ，ヨーレート：Ｙとし、それぞれについての閾値をVth0,Yth0、検出対象とその周囲（路面を含む）へのライト照射の有無（＝有、無）としたとき、それぞれの車両走行情報の組み合わせについて、入力映像調整特性の可変範囲（調整不可も含む）を規定し、その範囲内でのみの調整を行う。選択ルールの一例を図５に示す。

ここでは、自車両によるライト照射の有無に応じて制御対象（入力映像調整特性項目）を選択することは行っていないが、代わりに夜間においてライトを照射していない場合には、ユーザに点灯を要求する。要求は文字、またはＩＣＯＮ画像又はメッセージ用画像の形式として、走行車線位置情報提示手段１１により表示する。

さらに、ライト点灯を促す音声を出力させても良い。

なお、上述の選択ルールでは速度、ヨーレートの閾値を１段階としたが、複数の閾値を用いてより詳細に段階を分けて、制御対象の選択ルールを記述してもよい。ただしこの場合には、段階数に応じて図５の行数（選択の場合の数）が増えることになる。

ステップ６ 適合度判定領域内輝度分布計測
次に適合度判定用領域内においての輝度分布計測を行う。ここで、適合度判定領域とは、図７中のＡ、またはＢで示される領域であるが、この領域においては自車両前方にカメラを設置した場合、または自車両後方にカメラを設置した場合においては、白線の存在する可能性の高い部分となる。まず、ここにおいて輝度分布を計測し、あらかじめ測定しておいた白線検出可能な輝度範囲に入っているかどうかを確認する（ステップ１１）。具体的には、測定する輝度分布特徴として、輝度平均値μｍ，輝度分散値σｍとを求め、範囲を満たした場合に次の“画像特徴量算出”（ステップ７）に進む。反対に範囲外であった場合には、“入力映像調整特性修正”（ステップ９）に進む。

なお輝度分布が輝度範囲内に位置するかどうかは、ここの例では以下に従う。

ifT_μm0<μm<T_μm1かつT_μm0<σm<T_σm1==>範囲内
else==>範囲外 （４）
ここに、Ｔ_μm0，Ｔ_μm1は輝度平均値の下限、上限値であり、Ｔ_σm0、Ｔ_σm1は輝度分散値の下限、上限値である。

ステップ７ 画像特徴量算出
“画像特徴量算出”では、従来同様のエッジ検出と白線候補点検出を行うが、この後、求められた白線候補点が、検出に適した入力映像について検出されたものかどうかに対する適合度を算出し、これを評価し（ステップ１２）、適合していれば“白線候補検出”を行い（ステップ１３）、適合していなければ“入力映像調整特性修正”（ステップ１２）に進む。
ステップ８ 適合度の算出
ここでの適合度とは、前述のように求められた白線候補点が、実際の白線検出に適した入力映像について検出されたものかどうかを判定するための計測量であるが、たとえば以下の特徴量Ｄ_aを用いて判定する。

if D_a<=D_tha==>適合
else==>不適合 （５）
ただし、Ｄａは下式の特徴量である。

ここにa(t-),a(t)は、それぞれ下式である。

上記において、t-は前回白線検出が行われた時刻、ｔは現在時刻を示し、ｓ(t)はステップ７において時刻ｔに求められた白線候補点総数、Ｓｎ（ｔ）はステップ７において時刻ｔに求められた白線候補点のうち前回検出されたある１つの白線候補（ｍｏｄｅｌ）上にあるものの総数であり、Ｎは前回検出された白線候補（ｍｏｄｅｌ）の総数である。

上記では、a(t-)として、前回白線検出が行われた時点において、白線モデル上の白線候補点と白線候補点総数との比率を算出して用いたが、代わりに、あらかじめ白線検出を行うことが可能な（白線検出を行うのに都合の良い）複数の状態について、この比率を求めておき、この値を用いても良い。

またＤａは前述の比率a(t)を白線候補数について平均化したもの同士についてのユークリッド（Eｕｃｌｉｄ）距離計算を行って求めていることになるが、白線候補それぞれに対して.求めた比率値のばらつきも考慮し、平均値のみでなく白線候補数についての分散値を求めＤａの代わりにマハラノビス距離を用いても良い。

以上で、制御量を修正する条件を示したが、上記制御は測定画面内に水平垂直エッジが一定値より多く存在する場合には行わないこととする。すなわちこの場合には、本処理においてＤａの条件で不適合となった場合においても適合としての結果を出力する。

ステップ９ 入力映像調整特性の修正
ここでは、白線検出を行うのに適切な入力映像を得るために、映像入力手段１に対して入力映像調整特性（絞り、ゲイン、シャッター）を設定する。この時、.前述のように２通りの場合が存在する。

・輝度範囲の条件において不適格であった場合
・白線検出適合度の条件で不適格であった場合
前者は、ステップ６の適合度判定用領域内においての輝度分布計測結果から輝度範囲の条件において不適格であった場合に相当し、後者は輝度分布条件は満たしているがステップ８で求めた白線検出適合度の条件で不適格であったことを意味し、前者に対しては微調整の効果がある。

ここでは、それぞれの場合において、ステップ５で決定した現時点での可変可能項目について、制御量を決定する。

制御量の算出は例えば以下に従う。

まず輝度範囲の条件において不適格であった場合に対する制御量算出例を示す。ステップ６の輝度範囲の特徴量として様々な輝度平均値μｍ，輝度分散値σｍとをあらかじめ求め、それらに対して、輝度の分布範囲を前述の閾値T_μm0，T_μm1で規定される範囲内に変更可能とするための絞りＩ、シャッター速度Ｒ、ゲインＧの組合せを多数のサンプルとして求めておく（後述の例では最低９サンプル必要）。ただしこれらのうちのどれかの制御量が可変可能項目に選択されていない場合も考慮し、各々の制御量を０とする場合も含める。

ここにおいて、制御量Ｉ，Ｒ，Ｇを下式でモデル化した場合の係数C_I0,C_I1,C_I2,C_R0,C_R1,C_R2,C_G0,C_G1,C_G2を最小２乗法を用いて求めておき、制御すべき時刻に計測されたμ，σを用いて制御量Ｉ，Ｒ，Ｇを算出する。

I = c_I0μ+c_I1σ+c_I2 (9)
R = c_R0μ+c_R1σ+c_R2 (10)
G = c_G0μ+c_G1σ+c_G2 (11)
具体的には、ある照明条件下（輝度平均値：μ、輝度分散値：σ）において、目標とする輝度平均値を例えば(T_μm0+T_μm1)／2とし、そこに出力を調整するために必要な制御量Ｉ，Ｒ，Ｇを調整により複数（最低９サンプル）求めておく。ここで求められた制御量と輝度平均、分散との組み合わせから最小２乗の意味で最適な係数ｃ_I0〜ｃ_G1を算出する。

このように求めた係数の使用例として、例えば、図５において、以下が観測されていた場合に対応する係数の学習を考える。

・夜間、速度V>V_th0、ヨーレートY>Y_th0、ライト有
この場合は制御量としてはgainＧのみとなるので、上式のうちｃ_G0、ｃ_G1以外は０となり、入力からの輝度平均値、輝度分散値とゲインＧとの関係を求めることになる。一般的には入力輝度平均値μが小さい場合には、ゲインをあげることによって入力輝度平均値を大きくすることができる。またゲイン増加をカメラ１内の増幅回路にて行うと、入力映像にノイズが混入し、分散が大きくなるが、現時点で入力輝度分散σが小さいのでゲイン増加の余裕があると考えられる。したがって係数ｃ_G0ｃ_G1は通常は共に負の値を持つ。例えばc_G0=-1.0、c_G1=-2.0、c_G2=400.0の場合のＧ、μ、σの関係は、図８に示すようになるため、実走行時に本図の関係に従って、入力映像輝度μ、σから制御量Ｇを算出することになる。

次に白線検出適合度の条件で不適格であった場合に対する制御量算出例を示す。

特徴量として様々な適合比率a(t-)とa(t)とをあらかじめ求め、さらにそれらに対して白線検出可能な状態へ変更可能とするための絞りＩ、シャッター速度Ｒ、ゲインＧの組合せを多数求めておく。ただしこれらのうちのどれかの制御量が可変可能項目に選択されていない場合も考慮し、各々の制御量を０とする場合も含める。

ここにおいて、制御量Ｉ，Ｒ，Ｇを下式でモデル化した場合の係数C’_I0,C’_I1,C’_I2,C’_R0,C’_R1,C’_R2,C’_G0,C’_G1,C’_G2を最小２乗法を用いて求めておき、制御すべき時刻に計測されたa(t-),a(t)を用いてＩ，Ｒ，Ｇを算出する。

I = C’_I0a(t-)+C’_I1a(t)+C’_I2 (12)
R = C’_R0a(t-)+C’_R1a(t)+C’_R2 (13)
G = C’_G0a(t-)+C’_G1a(t)+C’_G2 (14)
以上では、白線検出適合度の条件で不適格であった場合の制御量の算出について述べたが、上述の係数Ｃ’_I0〜Ｃ’_G2の算出を行う場合、
・夜間、速度Ｖ＞Ｖ_th0、ヨーレートＹ＞Ｙ_th0、ライト有
の例の場合においても、Ｃ’_G0、Ｃ’_G1の値が負値を持つといった傾向は一概にはいえないが、学習方法自体は、前述の輝度範囲の条件において不適格であった場合と同様となる。

上記したように、車載の撮像機器からの映像入力のパラメータを白線検出を行うために適当な映像を入力可能なように制御することで、昼間／夜間に適応した白線の検出を安定して行うことを可能とする。

すなわち、夜間／昼間、自車両走行情報に応じた映像調整項目の選択を行う構成になっているため、自車両の走行において応答速度、輝度等の映像特性のいずれかを重視するべきなのかを、走行に支障ないように決定し、入力映像の調整を行うことができる。

また、白線モデルと特徴量との適合度を最大化する入力映像特性制御を行う構成のため、検出を行うのに妥当な映像入力特性の微調整を行うことが可能となる。

さらに制御の禁止条件を設けているため、映像コンテンツに白線検出に重要な要素が含まれる場合には、その状態をなるべく変更しないような映像入力特性の調整が可能となる。

次に、上記実施形態による処理の効果を列記する。
１ 車両走行車線検出最適化を指標とする入力映像改善
車両走行車線検出を目的として、走行車線候補である路面上白線を画像処理を用いて検出する際に、入力映像を取得するための撮像系の特性、または撮像後画像に対する変換処理の度合を白線モデルと画面内の輝度変化部分との適合度最大の点にあわせることで、入力映像の輝度特性を白線検出が最適化されるように自動的に調整することができる。
１．１ 車両走行車線検出最適化を指標とするカメラ絞り調整
車両走行車線検出を目的として、走行車線候補である路面上白線を画像処理を用いて検出する際に、カメラ絞りを白線モデルと画面内の輝度変化部分との適合度最大の点にあわせることで、入力映像の輝度特性を白線検出が最適化されるように自動的に調整することができる。
１．２ 車両走行車線検出最適化を指標とするカメラゲイン調整
車両走行車線検出を目的として、走行車線候補である路面上白線を画像処理を用いて検出する際に、カメラゲインを白線モデルと画面内の輝度変化部分との適合度最大の点にあわせることで、入力映像の輝度特性を白線検出が最適化されるように自動的に調整することができる。
１．３ 車両走行車線検出最適化を指標とするカメラシャッター速度調整
車両走行車線検出を目的として、走行車線候補である路面上白線を画像処理を用いて検出する際に、カメラシャッター速度を白線モデルと画面内の輝度変化部分との適合度最大の点にあわせることで、入力映像の輝度特性を白線検出が最適化されるように自動的に調整することができる。
２ 車両走行車線検出最適化を指標とする入力映像改善
車両走行車線検出を目的として、走行車線候補である路面上白線を画像処理を用いて検出する際に、入力映像を取得するための撮像系の特性、または撮像後画像に対する変換処理の度合を画面内特定領域（白線検出用）における白線モデルと領域内の輝度変化部分との適合度最大の点にあわせることで、入力映像の輝度特性を白線検出が最適化されるように自動的に調整することができる。
２．１ 車両走行車線検出最適化を指標とするカメラ絞り調整
車両走行車線検出を目的として、走行車線候補である路面上白線を画像処理を用いて検出する際に、カメラ絞りを画面内特定領域（白線検出用）における白線モデルと領域内の輝度変化部分との適合度最大の点にあわせることで、入力映像の輝度特性を白線検出が最適化されるように自動的に調整することができる。
２．２ 車両走行車線検出最適化を指標とするカメラゲイン調整
車両走行車線検出を目的として、走行車線候補である路面上白線を画像処理を用いて検出する際に、カメラゲインを画面内特定領域（白線検出用）における白線モデルと領域内の輝度変化部分との適合度最大の点にあわせることで、入力映像の輝度特性を白線検出が最適化されるように自動的に調整することができる。
２．３ 車両走行車線検出最適化を指標とするカメラシャッター速度調整
車両走行車線検出を目的として、走行車線候補である路面上白線を画像処理を用いて検出する際に、カメラシャッター速度を画面内特定領域（白線検出用）における白線モデルと領域内の輝度変化部分との適合度最大の点にあわせることで、入力映像の輝度特性を白線検出が最適化されるように自動的に調整することができる。
３ 入力映像改善処理の禁止条件
車両走行車線検出を目的として、走行車線候補である路面上白線を画像処理を用いて検出する際に、入力映像を取得するための撮像系の特性、または撮像後画像に対する変換処理の度合を白線モデルと、画面全体または画面内特定領域内の輝度変化部分との適合度最大の点にあわせることで、入力映像の輝度特性を白線検出が最適化されるように自動的に調整することができ、適合度を評価するための画面内特定領域中に水平、または垂直のエッジ成分が一定値以上存在した場合には（車両や別のパターンが写っている可能性が高いため）、そのフレームでの計測結果は、映像修正用に用いない。
４ 入力映像改善用輝度分布特性検知領域
車両走行車線検出を目的として、走行車線候補である路面上白線を画像処理を用いて検出する際に、入力映像を取得するための撮像系の特性、または撮像後画像に対する変換処理の度合を白線モデルと、画面全体または画面内特定領域内の輝度変化部分との適合度最大の点にあわせることで、入力映像の輝度特性を白線検出が最適化されるように自動的に調整することを特徴とする走行車線検出方式において、走行車線検出用映像の特性修正を行うため、夜間、または昼間の判定を画面内特定領域の輝度分布特性、および車両に装備されたライトスイッチの状態とから行う。

４．１ 入力映像改善用輝度分布特性検知領域詳細
上記３において夜間、または昼間の判定を行うための画面内特定領域としては、他車両等からのライト直接入射の影響を防ぐため、上下左右の画面端から一定距離内の領域とする走行車線検出方式。

５ 入力映像調整特性可変項目の選択
車両走行車線検出を目的として、走行車線候補である路面上白線を画像処理を用いて検出する際に、入力映像を取得するための撮像系の特性、または撮像後画像に対する変換処理の度合を画面内特定領域（白線検出用）における白線モデルと領域内の輝度変化部分との適合度最大の点にあわせることで、入力映像の輝度特性を白線検出が最適化されるように自動的に調整することができ、入力映像特性を調整する場合、昼間／夜間状態の判定結果、および自車両の走行情報とに応じて、調整すべきカメラの情報（絞り、ゲイン、シャッター）のうち、１つ、または複数を選択するものである。

白線検出処理の流れを示すフローチャート。 白線画像のエッジ例を示す図。 画像平面での直線と対応するhough変換パラメータ空間上の点の説明図。 車線逸脱警報システムの概略構成を示すブロック図。 入力映像調整特性を示す図。 白線検出処理を説明するためのフローチャート。 特徴量計測領域の説明図。 輝度範囲の条件において不適格であった場合における入力映像調整特性（ゲインのみ）修正用のゲイン、輝度平均、輝度分散の関係例を示す図。

符号の説明

１…映像入力手段、２…画像取り込み手段、３…走行情報入力手段、４…夜間判定用画像特徴量算出手段、５…入力映像調整特性範囲決定手段、６…輝度分布算出判定手段、９…入力映像調整特性修正手段、７…画像特徴量算出手段、８…適合度算出判定手段、１０…白線候補検出手段、１１…走行車線位置情報提示手段。

Claims (5)

1. 入力映像による白線検出により走行車線を検出する走行車線検出装置に用いられる撮像装置において、
   車両に搭載され、映像を撮像する撮像手段と、
   この撮像手段による撮像系の特性、または撮像後画像に対する変換処理の度合を白線モデルと画面内の輝度変化部分との適合度最大の点に調整する調整手段と、
   を具備したことを特徴とする撮像装置。
2. 入力映像による白線検出により走行車線を検出する走行車線検出装置に用いられる撮像装置において、
   車両に搭載され、映像を撮像する撮像手段と、
   この撮像手段による撮像系の特性、または撮像後画像に対する変換処理の度合を画面内特定領域（白線検出用）における白線モデルと領域内の輝度変化部分との適合度最大の点に調整する調整手段と、
   を具備したことを特徴とする撮像装置。
3. 入力映像による白線検出により走行車線を検出する走行車線検出装置に用いられる撮像装置において、
   車両に搭載され、映像を撮像する撮像手段と、
   この撮像手段による撮像系の特性、または撮像後画像に対する変換処理の度合を白線モデルと画面全体または画面内特定領域内の輝度変化部分との適合度最大の点に調整する調整手段と、
   上記適合度を評価するための画面内特定領域中に水平、または垂直のエッジ成分が一定値以上存在するか否かを判断する判断手段と、
   この判断手段により画面内特定領域中に水平、または垂直のエッジ成分が一定値以上存在すると判断した際に、上記調整手段による調整を禁止する禁止手段と、
   を具備したことを特徴とする撮像装置。
4. 入力映像による白線検出により走行車線を検出する走行車線検出装置に用いられる撮像装置において、
   車両に搭載され、映像を撮像する撮像手段と、
   この撮像手段による撮像画面内特定領域の輝度分布特性、および車両に装備されたライトスイッチの状態とから夜間、または昼間の判定を行う判定手段と、
   上記撮像手段による撮像系の特性、または撮像後画像に対する変換処理の度合を、上記判定手段の判定結果に基づく入力映像の調整特性の可変範囲内で、白線モデルと画面全体または画面内特定領域内の輝度変化部分との適合度最大の点に調整する調整手段と、
   を具備したことを特徴とする撮像装置。
5. 入力映像による白線検出により走行車線を検出する走行車線検出装置に用いられる撮像装置において、
   車両に搭載され、映像を撮像し、上記撮像手段の入力映像に対する種々の調整特性可変項目による調整機能を有する撮像手段と、
   この撮像手段による撮像画面内特定領域の輝度分布特性、および車両に装備されたライトスイッチの状態とから夜間、または昼間の判定を行う判定手段と、
   この判定手段による夜間、または昼間の判定結果と上記車両の走行情報とに応じて、調整を行う調整特性可変項目を選択する選択手段と、
   この選択手段により選択されている調整特性可変項目に対する上記調整機能を用いて、白線モデルと画面全体または画面内特定領域内の輝度変化部分との適合度最大の点に調整する調整手段と、
   を具備したことを特徴とする撮像装置。

Images