JP3612970B2

JP3612970B2 - Tunnel detection apparatus and vehicle control apparatus using the same

Info

Publication number: JP3612970B2
Application number: JP34231997A
Authority: JP
Inventors: 勝規山田; 浩一黒田
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 1997-11-07
Filing date: 1997-11-07
Publication date: 2005-01-26
Anticipated expiration: 2017-11-07
Also published as: JPH11139225A

Description

【０００１】
【発明の属する技術分野】
この発明は、走行路上のトンネルを画像処理によって検出するトンネル検出装置及びそれを用いた車両制御装置に関する。
【０００２】
【従来の技術】
従来、トンネル検出装置及びそれを用いた車両制御装置としては例えば特開平４−１２７２８０号公報に開示されているものがある。ここでは一次元ラインセンサが用いられて、前方道路を観測する。一次元ラインセンサの出力から設定濃度以下の黒領域を検出し、長さについての判断を行なってトンネルを検出するようになっている。
また、特開昭６０−２４０５４５号公報では、二次元画像センサが用いられて、前方道路を観測する。道路画像を画像処理して設定濃度以下の黒領域を検出し、黒領域はトンネルの入口であるかどうかを基準パターンと比較して判断し、トンネルを検出するようになっている。
【０００３】
【発明が解決しようとする課題】
しかしながら、トンネルの幅あるいはトンネルの形状は色々であるが、走行路上に限定すれば、幅も走行路に相当する大きさとなり、形状も走行路の幅をカバーするものとなる。そこでこれらを認識するためには、上記従来のパターンに基づいた検出は、トンネルが完全な形で観測される必要がある。したがって走行路での観測では先行車の存在によって視界が遮られトンネルが完全な形で観測できない場合、トンネルが検出できなくなる問題がある。
【０００４】
また、トンネルが短く、出口以降の風景がトンネルの入口で見えた場合、黒領域の幅寸法や形状が通常のと異なり、パターンによる検出ができなくなる問題点があった。
本発明は、上記のような問題点に鑑み、完全な形のトンネル画像を必要とせず、先行車に追従しても車両からトンネルを検出できるトンネル検出装置及びそれを用いた車両制御装置を提供することを目的としている。
【０００５】
【課題を解決するための手段】
このため、請求項１記載の発明は、車両に備えられ車両の走行にしたがってトンネルを検出するトンネル検出装置であって、
車両の走行方向を撮像する撮像手段と、
走行路の続いている方向を検出する走行路検出手段と、
前記撮像手段の撮像画像から所定濃度の領域を検出する設定濃度領域検出手段と、
走行路の続いている方向を探索し所定濃度の領域を抽出し、トンネルの入口あるいは出口を示す注目領域とする注目領域抽出手段と、
該注目領域の画像位置を算出する注目領域演算手段と、
前記注目領域の画像位置変化で算出された距離変化と車両の移動量が一致し、かつ注目領域の見掛けの高さが所定値を越えた場合、前記注目領域をトンネルの入口あるいは出口と判定するトンネル検出手段とを有するものとした。
【０００６】
請求項２記載の発明は、車両に備えられ車両の走行にしたがってトンネルを検出するトンネル検出装置であって、
車両の走行方向を撮像する撮像手段と、
走行路の続いている方向を検出する走行路検出手段と、
前記撮像手段の撮像画像から低濃度の領域を検出する設定濃度領域検出手段と、走行路の続いている方向を探索し前記低濃度の領域を抽出し、トンネルの入口を示す注目領域とする注目領域抽出手段と、
該注目領域の画像位置を算出する注目領域演算手段と、
前記注目領域の画像位置変化で算出された距離変化と車両の移動量が一致し、かつ見掛けの高さが所定値を越えた場合、前記注目領域をトンネルの入口と判定するトンネル入口検出手段とを有するものとした。
【０００７】
請求項３記載の発明は、車両に備えられ車両の走行にしたがってトンネルを検出するトンネル検出装置であって、
車両の走行方向を撮像する撮像手段と、
走行路の続いている方向を検出する走行路検出手段と、
前記撮像手段の撮像画像から高濃度の領域を検出する設定濃度領域検出手段と、走行路の続いている方向を探索し前記高濃度の領域を抽出し、トンネルの出口を示す注目領域とする注目領域抽出手段と、
該注目領域の画像位置を算出する注目領域演算手段と、
前記注目領域の画像位置変化で算出された距離変化と車両の移動量が一致し、かつ注目領域の見掛けの高さが所定値を越えた場合、前記注目領域をトンネルの出口と判定するトンネル出口検出手段とを有するものとした。
【０００８】
請求項４記載の発明は、車両に備えられ車両の走行にしたがってトンネルを検出するトンネル検出装置であって、
車両の走行方向を撮像する撮像手段と、
前記撮像手段の撮像画像から所定濃度の領域を検出する設定濃度領域検出手段と、
該設定濃度領域検出手段で検出された領域の画像上での面積を算出する面積演算手段と、
前記車両の移動によって該面積演算手段の算出値が増加し、その面積の算出値が設定値以上になったことからトンネルの出口を判定するトンネル出口検出手段とを有するものとした。
【０００９】
前記走行路検出手段は、前記撮像画像を画像処理して白線を検出し、関数近似によって走行路の続いている方向を検出することができる。
【００１０】
請求項６記載の発明は、前記トンネル検出装置に、前記トンネル入口検出手段がトンネルの入口を判定した場合に、車両をトンネルでの走行に適する状態に制御するトンネル走行制御手段を接続したものとした。
【００１１】
請求項７記載の発明は、前記トンネル検出装置に、前記トンネル出口検出手段がトンネルの出口を判定した場合に、車両をトンネル走行状態から通常状態に戻す制御を行なうトンネル走行解除手段を接続したものとした。
【００１２】
【作用】
請求項１記載の発明では、撮像手段によって撮像された前方道路画像から、設定濃度領域検出手段が所定濃度の領域を検出する。トンネルは周囲環境と異なる照明条件で撮像されるので、トンネルの入口あるいは出口は画像上では異なる濃度となって現われる。したがってそれらを所定濃度として検出することによって、トンネルの存在を示す入口あるいは出口領域が検出されることになる。
【００１３】
トンネルの入口または出口は車両の走行路上に存在するから、走行路検出手段は走行路の続いている方向を検出し、注目領域抽出手段は走行路の続いている方向を探索し所定濃度領域を抽出することによって、同濃度の他の領域が排除され、トンネルの入口あるいは出口を示す注目領域のみが抽出されることになる。
【００１４】
トンネル検出手段は車両の移動量と注目領域の画像上の位置から算出された距離変化量とを照合することによって注目領域がトンネルなどの固定物であるか否かの判断ができ、注目領域がトンネルの入口あるいは出口となれば、見掛けの高さもトンネルの高さとなる。したがって、所定値による判断で抽出された注目領域をトンネルの入口あるいは出口と判断することできる。これによってトンネルが検出される。このように、トンネルの高さと距離を示すデータさえ得られれば、完全な形のトンネル画像を必要とせず、先行車に視界を遮られても走行路上からのトンネル検出ができる。
【００１５】
請求項２記載の発明では、検出領域を低濃度領域とし、トンネルの入口を注目領域として検出するから、昼間でのトンネル検出に適する。
【００１６】
請求項３記載の発明では、検出領域を高濃度領域とし、トンネルの出口を注目領域として検出するから、昼間でのトンネル検出に適している。
【００１７】
請求項４記載の発明では、撮像手段によって撮像されたトンネル画像から、設定濃度領域検出手段は所定濃度の領域を検出する。トンネル内、外の照明が異なるため、トンネルの出口画像が周囲と違った濃度で撮像されることになる。車両の走行にしたがって、トンネルの出口が次第に大きく撮像されるため、トンネル検出手段は検出された所定濃度の領域の面積の増大でトンネルの出口を検出できる。これによってトンネルが検出される。このように所定濃度の領域の検出と面積の算出のみでトンネルを検出できる。
【００１８】
走行路検出手段が、撮像画像を画像処理して白線を検出し、関数近似によって走行路の続いている方向を検出すると、トンネルの存在する場所が正確に特定でき、トンネル検出の信頼性が向上する。
【００１９】
請求項６記載の発明では、トンネルの入口を検出した場合、トンネル走行制御手段は車両をトンネルでの走行に適する状態に制御するから、トンネル内での走行に備える車両操作が自動的に行なわれ、運転負担が軽減されるとともに、安全走行が図られる。
【００２０】
請求項７記載の発明では、トンネルの出口を検出した場合、トンネル走行制御手段は車両をトンネル外での走行に適する状態に制御するから、車両をトンネル内での走行に設定された機能を自動的に解除することが可能となり、解除するための操作を省くことができ、請求項６と合わせればトンネルを意識することなく車両運転ができる。
【００２１】
【発明の実施の形態】
以下、本発明の実施の形態を実施例により説明する。
図ｌは第１の実施例の構成を示すブロック図である。撮像手段としてのカメラ１は車両に前方に向けてやや下向きに装着され、走行路を含めて車両の走行方向を撮像できるようになっている。カメラ１には画像データを記憶する画像メモリが設けられており、画像データがここで記憶され、新しい画像データの入力によってデータが更新される。
【００２２】
カメラ１には白線検出部２と低濃度領域検出部４が接続されている。
白線検出部２では、自車走行路を検出するため画像の左右にある白線を画像処理で検出し関数近似によって認識する。画像処理で検出された白線の最遠点は関数近似式で正規化され、関数近似式とともにメモリに記憶される。
【００２３】
低濃度領域検出部４では、画像データを所定のしきい値で２値化処理をして、２値化画像を作る。２値画像からしきい値以下の低濃度画素を抽出し、連続性判断により複数の領域に分類する。分類された各領域の位置データをメモリに記憶させる。トンネルは昼間では周囲環境より暗いため入口領域は低濃度で撮像され、メモリに記憶されることになる。
【００２４】
白線検出部２での検出結果と低濃度領域検出部４で抽出した領域の位置データを入力する注目領域抽出部３では、白線の最遠点位置から関数近似によって表示される白線に沿って遠方方向に低濃度領域の探索を行なう。これによって、走行路外の低濃度領域が排除され、トンネルの入口を示す注目領域が抽出されることになる。そして注目領域がトンネルの入口である否かを確かめるため、低濃度領域の最上点を探索することによって抽出する。この最上点を抽出することによって、トンネルの高さを算出でき、トンネルが先行車と重なっても高さによってトンネルを判定することができる。
【００２５】
注目領域演算部５は注目領域の位置データをもとにカメラ１の撮像条件即ちカメラの焦点距離、撮像角度、カメラの取り付け高さなどにより注目領域の見かけの高さと車両までの距離を算出する。
トンネル検出部６は車速センサ７によって得られた車両の走行速度と画像の更新周期時間で車両の移動距離を算出する。その移動距離と低濃度の領域の位置変化によって算出された距離変化が一致すれば注目領域がトンネルの入口であると判定し、見掛けの高さによる確認を経てトンネルを検出する。ここでトンネルを検出した場合、フラグを立ててトンネルが検出されたことを示す。
【００２６】
トンネル検出部６に制御部８が接続されている。制御部８はフラグが立てられたことによりトンネルでの走行に備え前照灯を点灯、エアコンの空気取り入れ状態をチェックし、外気を取り入れているのであれば、内気循環に切り替える制御を行なう。また、車両に応じて例えばエンジンブレーキの効き方、スロットルのゲイン、ワイパーの作動間隔、サンルーフの閉などの制御を行なって、車両をトンネルでの走行に適する状態に制御する。また自動露出機能のないカメラについてはトンネル内での撮像に適する露光量に調整する。
【００２７】
次に図２のフローチャートにしたがって上記構成の処理の流れを説明する。
まずステップ１０１において、カメラ１により前方道路が撮像され、撮像された画像データは画像メモリに記憶される。これによって例えば図３に示すような原画像が得られる。図３の画像には白線１１、１２が先方へ続いている走行路上にトンネル１３が映され、そしてトンネルの一部が先行車１４によって見えなくなっている。
【００２８】
ステップ１０２では、白線検出部２が画像メモリから画像データを入力し、画像処理して走行路の左右にある白線を検出し、関数近似によって認識する。そして画像処理で検出された最遠点の白線位置を関数近似式によって正規化させて、関数近似式とともにメモリに記憶される。これによって図３の原画像では図４に示すように白線が関数近似式で示される曲線２１と２２で表示される。ａ点、ｂ点は正規化された左右白線の最遠点である。白線検出の内容は後述する。
【００２９】
ステップ１０３では、低濃度領域検出部４で原画像を所定のしきい値で処理し、しきい値以下を濃度値ｌ、それ以外を濃度値Ｏの２値画像を作成する。これによって図３の画像からは図５に示すように暗いトンネル部分が低濃度領域１３が濃度値１で示される２値化画像が作られる。この画像ではトンネルの一部が先行車によって欠けている。
【００３０】
ステップ１０４において、注目領域抽出部３は図５に示すようなトンネルの入口を示す低濃度領域を抽出するため最遠点位置から左右白線の延びる方向に沿って低濃度領域を探索し、見掛けの高さを演算するための最上点位置を抽出する。図６はその処理の様子を示す。すなわちまず最遠点ａから、白線の関数近似式が示す方向に低濃度領域を探索する。
【００３１】
低濃度領域（画素濃度１）が検出された場含、その座標を起点座標とし、濃度値を２と書き直す。起点座標から、Ｘ座標を正、負の両方向に探索し、隣接した低濃度領域（画素濃度ｌ）がある場含には、その濃度値を２と書き直す。次にＹ座標を１足して、画像上方（遠方方向）に濃度値２の画素に隣接した低濃度領域（画素濃度ｌ）を探索する。上記条件を満足する画素が見つかったなら、濃度値を２に書き直す。この処理を低濃度の画素が検出できなくなるまで、繰り返す。上記条件を満足した画素が検出できなくなったらＹ座標に１を減らして、左白線（曲線２１）に繋がった低濃度領域の上限値とする。
【００３２】
次に、右白線について、上記処理と同様の操作で、最遠点ｂから右白線（曲線２２）に繋がった領域を探索し、低濃度領域を検出したら、濃度値を３と書き直す。探索中に濃度値２の画素が検出された場合、左右白線が同一の低濃度領域に繋がっているとして左白線領域上限値をその低濃度領域の最上点として記憶する。これによって図６ではｃ点が検出されることになる。
【００３３】
ステップ１０５では、注目領域演算部５において、上記白線上から抽出された低濃度領域をトンネルの入口を示す注目領域として車両までの距離Ｄと見かけの高さＨを算出する。注目領域の起点座標は領域の最下部にあり、カメラの取り付け位置、角度、及びレンズ系のパラメータから、車両までの前方距離が算出される。ここではまず予めカメラの撮像条件によって前方距離とＹ座標の換算式を求めておき、前方距離は起点座標を換算式に代入することによって算出される。
【００３４】
高さＨは単眼カメラでは直接検出できないが、トンネルの入口の特徴から起点座標位置に垂直に注目領域が立っていると仮定することができる。したがってカメラの取り付け位置、角度、及びレンズ系のパラメ一夕から、前方距離を求めるのと同様に予め変換式を求め、起点座標と最上点座標を変換式に代入することによって注目領域の見掛けの高さを算出する。
【００３５】
図７は前方距離と画像上の位置の換算式を求める説明図である。（ａ）は垂直方向、（ｂ）は水平方向に投影された撮像空間と平面画像の幾何関係のそれぞれを示している。ここではカメラは焦点距離ｆを有するレンズと焦点距離ｆに配置された撮像用ＣＣＤを有する。カメラは水平に対しθ角に下向きに撮像するように車両に取り付けられている。カメラの取り付け高さはｈとなっている。
ＣＣＤはＸ方向にＩＸ画素、Ｙ方向にＩＹ画素で構成されている。ＣＣＤの画面サイズはＸ方向ＣＨ（ｍｍ）、ｙ方向ＣＷ（ｍｍ）である。
【００３６】
まず（ａ）において、カメラの撮像方向となす角ｄθについて、式（１）が成り立つ。
ｄθ＝ａｔａｎ〔（ＣＨ／ＩＹ）・（ｄｙ／ｆ）〕（１）
但し、ｄｙは画面中心に対してＹ軸方向の画像位置である。
ｄθと前方距離Ｄの関係は式（２）で示される。
Ｄ＝ｈ／ｔａｎ（θ−ｄθ）（２）
ＣＨ、ＩＹ、ｆ、ｈ、θが既知であり、
式（１）と式（２）で画素位置と前方距離の変換式が得られる。
これによって、低濃度領域の起点のＹ座標を式（１）に代入すれば前方距離Ｄを算出できる。
【００３７】
Ｘ方向の画素位置ｄｘは前方距離の算出に参加しないが、その大きさによって所定距離先の物体の幅を算出できるため、次の実施例で面積の大きさを判断するしきいを決定するのに有用である。
要領は上記と同じで、図７の（ｂ）において、前方距離を示す方向となす角ｄφについて、式（３）が成り立つ。
ｄφ＝ａｔａｎ〔（ＣＷ／ＩＸ）・（ｄｘ／Ｆ）〕（３）
但し、Ｆは
Ｆ＝［〔（ＣＨ／ＩＹ）・ｄｙ〕^２＋ｆ^２］^１／２である。
画素位置ｄｘに相当する幅Ｅは式（４）で示される。
Ｅ＝（ｈ^２＋Ｄ^２）^１／２・ｔａｎ（ｄφ）（４）
これによって画像位置ｄｘ、ｄｙで前方距離Ｄおよび横幅が求められ、面積を算出することができる。
Ｙ軸方向の距離と見掛けの高さＨの変換式も上記同様に（ａ）から算出することができる。
【００３８】
ステップ１０６では、車速センサ７で自車両の走行速度を計測する。
ステップ１０７では、トンネル検出部６は画像の更新周期にかかる時間と車両の走行速度を用いて、その間、車両がどれだけ移動したかを推定し、推定された移動量を△Ｌとする。
【００３９】
ステップ１０８において、車両の移動量と注目領域の距離変化量を照合し、一致した場合、注目領域の見掛け高さＨを所定のしきい値と比較したうえでトンネルの検出を行なう。その内容は後で詳細に説明する。
ステップ１０９でトンネルが検出できたかどうかをチェックし、検出できなかった場合ステップ１０１に戻り、検出できた場合フラグを立ててステップ１１０へ進む。
ステップ１１０では、制御部８はフラグが立てられたことによって、トンネルでの走行に備え、例えばエアコンの空気循環経路を内気循環に切り替える制御を行なう。
【００４０】
図８はステップ１０８におけるトンネル検出の詳細を示すフローチャートである。
まず、ステップ２０１で車両の移動量ΔＬをしきい値ｔｈ１と比較して移動量の大きさを判定し、ｔｈ１より大きく移動した場含、抽出された注目領域について見掛けの高さＨ、車両までの距離Ｄの評価を行うようステップ２０２へ進む。ステップ２０２では、注目領域の見掛けの高さＨをしきい値ｔｈ２と比較して大きさについての判定を行なう。ｔｈ２より大きい場合、次の判断を行なうようにステップ２０３へ進む。
【００４１】
ステップ２０３においては、距離Ｄと前回算出された距離との差を演算し距離変化量ΔＤを求めて、車両の移動量ΔＬと比較する。値がほぼ同じ場合、ステップ２０５へ進む。
【００４２】
ステップ２０５では、上記判断の結果、画像が変わっても同じ結果が連続して３回（ｔｈ３）続いたかのチェックを行なう。同じ結果が３回となれば、ステップ２０７で注目領域がトンネルの入口であるものと判断する。
ステップ２０５のチェック条件が満たされなければステップ２０８でトンネルないと判断する。
ステップ２０６は測定の回数をカウントする処理で、ステップ２０４はカウントをクリアする処理である。
【００４３】
次に、ステップ１０２における白線検出の詳細を図９のフローチャートにしたがって説明する。
まず、ステップ３００において、カメラ１から画像データを入力する。
ステップ３０１において、画像全体に縦エッジ成分を抽出するＳＯＢＥＬ演算子をかけて、例えば図１０のような縦エッジ画像が作成される。この画像では白線の縁が表示されている。そして左から右へ濃度の変化にしたがって正エッジ、負エッジ、正エッジ、負エッジとエッジ特性が変化する。負エッジと正エッジで１本の白線が検出される。
【００４４】
ステップ３０２において、ウインドウ位置情報を取り込む。初期では例えば真直ぐな道路を想定して車線中央を直進している状態に相当するウインドウ位置をデータとしてメモリに記憶しておいてもよい。２回目からは前画面の処理結果に基づいて演算されたウインドウ位置情報でウインドウを設定する。この位置情報は図１１に示すように前回で検出された白線位置Ｗｐと近似によって認識された白線の傾きγで構成される。ウインドウＷはＷｐを中心とし幅Ｗｌの上辺と所定高さｓの台形ウインドウとする。ウインドウの両側は上辺からＹ軸に対し外側に向けてそれぞれγ＋α、γ−α角となっている。αはカメラの取り付け状態に合わせて予め設定された固定値である。ウインドウは小区間であり、異なる形状をとる白線もここで直線と見ることができる。
【００４５】
ステップ３０３での直線検出は図１２のフローチャートにより説明する。
まず、ステップ４０２では、ウインドウＷを探索しエッジ点を集計して直線を決定する。これには図１３に示すように、直線先端初期位置Ｔ（ｘｔ、ｙｔ）をウインドウ位置Ｗｐ（ｘｗｐ、ｙｗｐ）と上辺幅Ｗｌから算出する。ｙｗｐはウインドウＷの位置を示す設定値である。
先端初期位置Ｔ（ｘｔ，ｙｔ）は
ｘｔ＝ｘｗｐ＋Ｗｌ／２
ｙｔ＝ｙｗｐ
である。
【００４６】
ステップ４０３では、ウインドウ高さｓから直線後端初期位置Ｅ（ｘｅ，ｙｅ）を算出する。
ｘｅ＝ｘｔ‐ｓ・ｔａｎ（γ‐α）
ｙｅ＝ｙｔ‐ｓ
【００４７】
ステップ４０４においては、Ｔ（ｘｔ，ｙｔ）とＥ（ｘｅ，ｙｅ）を通る直線ｆを算出する。直線ｆは
ｙ‐ｙｅ＝（ｙｔ‐ｙｅ）／（ｘｔ‐ｘｅ）・（ｘ‐ｘｅ）
となる。
【００４８】
ステップ４０５において、直線ｆが通るエッジ画像上のエッジ点の個数を計測する。この時、正エッジ、負エッジの両エッジの個数を別個に計測する。先端位置ｘｔと後端位置ｘｅとともに計測された正負エッジの個数をメモリに記憶しておく。
ステップ４０６において、直線後端Ｅのｘ座標を移動し、
ｘｅ＝ｘｅ‐１とする。
ステップ４０７において、ｘｅがｘｔ‐ｓ・ｔａｎ（γ＋α）より大きいかどうかの判断によって後端がウインドウＷを走査したかの判断を行なう。ウインドウを走査していない場合、ステップ４０４に戻り、ウインドウを走査した場合には、ステップ４０８へ進む。
【００４９】
ステップ４０８では、直線先端Ｔのｘ座標ｘｔにｘｔ‐１を代入し先端位置を移動する。
ステップ４０９において、直線先端のｘｔがｘｗｐ‐Ｗｌ／２以下かどうかの判断を行ない、先端がウインドウを走査したかの判断を行なう。走査していない場合にはステップ４０４に戻り、上記処理を続ける。ウインドウを走査した場合にはステップ４１０へ進む。
【００５０】
ステップ４１０では、記憶してある先端位置と正エッジの個数の中から最大の正エッジ数の先端位置と後端位置を抽出する。
ステップ４１１において、抽出された正エッジ数をしきい値と比較し、それ以上の場合ステップ４１２へ進み、しきい値以下の場合には検出を終了してステップ３０４へ進む。
ステップ４１２では、抽出された先端位置と後端位置を直線で結び正エッジの近似線を決定する。
【００５１】
ステップ４１３では、負エッジの個数の中から最大の負エッジ数の先端位置と後端位置を抽出する。
ステップ４１４で、負エッジの個数を予め設定してあるしきい値と比較し、それ以上の場合ステップ４１５へ進み、しきい値以下の場合には検出を終了してステップ３０４へ進む。
ステップ４１５では、抽出された先端位置と後端位置を直線で結び負エッジの近似線を決定する。
【００５２】
この後図９のフローチャートに戻り、ステップ３０４で図１４に示すようにウインドウＷから正負エッジの近似線３１、３２が検出できたどうかをチェックして白線の存在を判断する。白線がある場合ステップ３０５へ進み、ない場合白線が検出できなかったとしてリターンされる。
【００５３】
ステップ３０５において、正負エッジの近似線の間を通る白線の近似線を算出する。白線は直線となるが、それを決定するパラメータとしては位置を決定するＷｐと傾きを決定するγが含まれる。Ｗｐの（ｘｗｐ，ｙｗｐ）のｘ座標ｘｗｐは（ｘｔ＋ｘｅ）／２により算出される。ｙｗｐはウインドウの設定位置である。
ステップ３０６において、Ｗｐとγをウインドウの位置情報として次の画像での白線検出のウインドウの設定位置を算出する。これによって、ウインドウが白線の位置変動にしたがって変動するので、白線の位置が移動しても、白線を漏らさず検出することができる。以上で白線検出の処理を終了する。
【００５４】
上記１つのウインドウにて直線の検出について説明したが、白線を曲線で近似する場合、１本の白線について上記のようなウインドウを複数設定し、各ウインドウの先端位置と後端位置を関数近似によって例えば図４に示すような近似曲線が得られる。
白線検出部２は走行路検出手段を構成している。
低濃度領域検出部４は設定濃度領域検出手段を構成している。
注目領域抽出部３は注目領域抽出手段を構成している。
注目領域演算部５は注目領域演算手段を構成している。
制御部８はトンネル走行制御手段を構成している。
【００５５】
本実施例は以上のように構成され、走行路を示す白線を検出し、白線の続いている方向からトンネルの入口を示す注目領域を検出する。そして車両の移動量と注目領域から車両までの距離変化が一致したかどうかと注目領域の見掛けの高さの判断を行なってトンネルを検出するようにしたから、理想的なトンネル形状でない場含にも検出できる、またカーブなどで車両の正面にトンネルが見えていなくても、道路白線から走路上のトンネルを検出できるという効果がある。
【００５６】
次に第２の実施例について説明する。
この実施例はトンネルの出口を検出対象としている。図１５は実施例の構成を示す図である。カメラ１は第１の実施例と同様に車両の走行方向を撮像するように車両の前方に取り付けられている。低濃度領域検出部４は、カメラ１の撮像画像を所定のしきい値で２値化処理して２値化画像を作る。面積算出部９は低濃度領域以外の領域の画素数を計測して面積を計算する。
【００５７】
トンネル検出部１０は、車両の走行にしたがって面積算出部９で算出された面積の変化でトンネルを検出する。車両がトンネル内を走行する場合、トンネルの出口領域を除けば低濃度で撮像される。車両がトンネルの出口に近づくほど出口が大きく観測されるから、その部分の面積変化でトンネルの出口を検出できる。制御部８は出口が検出されると、トンネル内での走行に設定された機能を解除する制御を行なう。例えばエアコンの換気循環経路を外気取り入れに切り替える。
【００５８】
次に図１６のフローチャートにしたがって上記構成の作動流れを説明する。
まずステップ５０１において、カメラ１により前方道路が撮像され、撮像された画像データが画像メモリに記憶される。これによって例えば図１８に示すような画像が記憶される。図１７の画像はトンネル内で撮像された画像で、全体が低濃度で、白線１１、１２が先方へ続いている走行路上にトンネルの出口２３だけが高濃度で映されている。出口の一部が先行車１４によって見えなくなっている。
【００５９】
ステップ５０２において、低濃度領域検出部４は画像をしきい値で処理し、しきい値以上を濃度値ｌ、それ以下を濃度値Ｏの２値画像を作成する。これによって図１７の画像からは図１８に示すようにトンネルの出口部分２３を除けば低濃度領域の２値化画像が作られる。この画像ではトンネルの一部が先行車によって欠けている。
【００６０】
ステップ５０３において、面積算出部９は低濃度領域以外の画素を計測することによって明かるい画像部分の面積Ｒを算出する。
ステップ５０４において、車速センサ７により車速を計測する。
ステップ５０５では、トンネル検出部１０は画像の更新周期にかかる時間と車両の走行速度を用いて、その間、車両がどれだけ移動したかを推定し、推定された移動量を△Ｌとする。
【００６１】
ステップ５０６のトンネル出口検出は図１９のフローチャートにしたがって説明する。
まず、ステップ６０１で車両の移動量ΔＬをしきい値ｔｈ１と比較して移動量の大きさを判定する。しきい値より大きいと、ステップ６０２へ進む。
ステップ６０２では、演算された面積Ｒと前回の面積との差ΔＲを演算し所定のしきい値と比較する。しきい値より大きい場合ステップ６０４へ進む。
【００６２】
ステップ６０４では、カウンタをチェックし上記判断の結果が連続して３回（ｔｈ５）続いたかの判断を行なう。これによって図１７の画像を撮像した時刻をｔ１とすると、時刻ｔ２、ｔ３で撮像した画像は図２０、図２２のようにトンネルの出口領域２３は段々大きくなってくることが判断される。図２１の画像は時刻ｔ２、図２３の画像は時刻ｔ３の２値画像である。面積の変化量や大きさ判断はそれらによって行なわれる。チェック条件が満たされれば、次の判断を行なうようステップ６０６へ進む。
【００６３】
ステップ６０６では、演算された面積Ｒを所定のしきい値ｔｈ６と比較して大きさのチェックを行なう。しきい値より面積が小さかった場合、ステップ６０８でトンネルなしと判断する。しきい値より大きい場合、ステップ６０７でトンネルの出口を検出する。
ｔｈ６は例えば前記式（１）、式（２）、式（３）、式（４）でトンネルの大きさに合わせて設定される。
ステップ６０５は測定の回数をカウントする処理で、ステップ６０３はカウントをクリアする処理である。
【００６４】
この後図１６のフローチャートに戻り、ステップ５０７でトンネルの出口が検出できたかをチェックし、検出できなかった場合ステップ５０１に戻り、検出できた場合にはフラグを立ててステップ５０８へ進む。
ステップ５０８では、制御部１８はフラグが立てられたことによって車両がトンネルを出るのに備え、例えばエアコンーの空気取り入れ経路を外気循環に切り替え、車両をトンネル外での走行状態に制御する。
面積算出部９は面積演算手段を構成している。
制御部１８はトンネル走行解除手段を構成している。
【００６５】
本実施例は以上のように構成され、前方走路を撮像し、低輝度領域を抽出することでトンネル出口候補を検出し、車両の移動量と検出しているトンネル出口侯補領域の面積の変化量を所定のしきい値と比較することでトンネル出口を判断するため、先行車が存在する場合や、理想的なトンネル形状でない場含にも検出できるという効果がある。
上記実施例は昼間での検出について説明したが、夜についても、画像濃度が逆転するが、上記方法は依然有効であることはいうまでもない。
【００６６】
【発明の効果】
請求項１記載の発明では、周囲環境と異なる濃度を示すトンネルの入口と出口を検出対象とし、白線の続いて方向から検出するようにしたので、同じ濃度を示す他の物体と容易区別でき、簡単な処理でトンネルを検出できるとともに、トンネルが先行車などに一部が隠されても、漏らさず検出できる。これによって車載装置として要求される性能が満たされ、トンネルの入口あるいは出口を特定してトンネルを進入あるいは出るのに備える車両操作を自動的に行なわせることが可能となる。
【００６７】
請求項２記載の発明では、検出領域を低濃度領域とし、トンネルの入口を注目領域として検出するから、昼間でのトンネル検出に適する。
【００６８】
請求項３記載の発明では、検出領域を高濃度領域とし、トンネルの出口を注目領域として検出するから、昼間でのトンネル検出に適している。
【００６９】
請求項４記載の発明では、撮像手段によって撮像されたトンネル画像から、設定濃度領域検出手段は所定濃度の領域を検出する。トンネル内、外の照明が異なるため、トンネルの出口画像が周囲と違った濃度で撮像されることになる。車両の走行にしたがって、トンネルの出口が次第に大きく撮像されるため、トンネル検出手段は検出された所定濃度の領域の面積の増大でトンネルの出口を検出できる。これによってトンネルが検出される。このように所定濃度の領域の検出と面積の算出のみでトンネルを検出でき、複雑な演算を要しない効果が得られる。
【００７０】
走行路検出手段が、撮像画像を画像処理して白線を検出し、関数近似によって走行路の続いている方向を検出すると、トンネルの存在する場所が正確に特定でき、トンネル検出の信頼性が向上する。
【００７１】
請求項６記載の発明では、トンネルの入口を検出した場合、トンネル走行制御手段は車両をトンネルでの走行に適する状態に制御するから、トンネル内での走行に備える車両操作が自動的に行なわれ、運転負担が軽減されるとともに、安全走行が図られる。
【００７２】
請求項７記載の発明では、トンネルの出口を検出した場合、トンネル走行制御手段は車両をトンネル外での走行に適する状態に制御するから、車両をトンネル内での走行に設定された機能を自動的に解除することが可能となり、解除するための操作を省くことができ、請求項６と合わせればトンネルを意識することなく車両運転ができる。
【図面の簡単な説明】
【図１】第１実施例の構成を示すブロック図である。
【図２】実施例全体の処理の流れを示すフローチャートである。
【図３】トンネルが撮像された原画像である。
【図４】白線が検出された様子を示す図である。
【図５】二値化処理された二値画像である。
【図６】低濃度領域を探索し起点と最上点を検出するための説明図である。
【図７】画像位置と前方距離の変換式を求める説明図である。
【図８】トンネルを判定するためのフローチャートである。
【図９】白線を検出するためのフローチャートである。
【図１０】縦エッジ図である。
【図１１】ウインドウ設定の説明する。
【図１２】直線を検出するためのフローチャートである。
【図１３】エッジを検出するための説明図である。
【図１４】エッジ近似線が検出された画像である。
【図１５】第２の実施例の構成を示すブロック図である。
【図１６】実施例全体の処理の流れを示す図である。
【図１７】トンネル内での撮像画像である。
【図１８】二値化した画像である。
【図１９】トンネルを判定するためのフローチャートである。
【図２０】一定時間経過後の撮像画像である。
【図２１】二値画像である。
【図２２】一定時間経過後の二値化画像である。
【図２３】二値画像である。
【符号の説明】
１カメラ
２白線検出部
３注目領域抽出部
４低濃度領域検出部
５注目領域演算部
６トンネル検出部
７車測センサ
８、１８制御部
９面積算出部
１０トンネル検出部
１１左白線
１２右白線
１３低濃度のトンネル画像
１４先行車
２１、２２近似曲線
３１正エッジ近似線
３２負エッジ近似線
ａ、ｂ最遠点
ｃ最上点
Ｄ距離
Ｅ幅
ｈカメラの取り付け高さ
θ 水平面に対しカメラの撮像角
Ｗウインドウ
ｓウインドウの高さ
Ｗｌウインドウの上辺幅
γ 直線の傾き角
Ｗｐウインドウの上辺中央点[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a tunnel detection device that detects a tunnel on a road by image processing and a vehicle control device using the same.
[0002]
[Prior art]
Conventionally, as a tunnel detection device and a vehicle control device using the same, for example, there is one disclosed in JP-A-4-127280. Here, a one-dimensional line sensor is used to observe the road ahead. A black area below the set density is detected from the output of the one-dimensional line sensor, and a tunnel is detected by judging the length.
In Japanese Patent Laid-Open No. 60-240545, a two-dimensional image sensor is used to observe a road ahead. The road image is processed to detect a black area below the set density, and it is determined whether or not the black area is the entrance of the tunnel by comparing with the reference pattern to detect the tunnel.
[0003]
[Problems to be solved by the invention]
However, although the width of the tunnel or the shape of the tunnel is various, if it is limited to the traveling road, the width will be a size corresponding to the traveling road, and the shape will also cover the width of the traveling road. Therefore, in order to recognize them, the detection based on the conventional pattern needs to observe the tunnel in a complete form. Therefore, in the observation on the road, there is a problem that the tunnel cannot be detected when the tunnel is not completely observed due to the presence of the preceding vehicle.
[0004]
In addition, when the tunnel is short and the scenery after the exit can be seen at the entrance of the tunnel, the width dimension and shape of the black region are different from usual, and there is a problem that the detection by the pattern becomes impossible.
SUMMARY OF THE INVENTION In view of the above problems, the present invention provides a tunnel detection device that can detect a tunnel from a vehicle even when following a preceding vehicle without requiring a complete tunnel image, and a vehicle control device using the same. The purpose is to do.
[0005]
[Means for Solving the Problems]
For this reason, the invention according to claim 1 is a tunnel detection device that is provided in a vehicle and detects a tunnel according to the traveling of the vehicle,
Imaging means for imaging the traveling direction of the vehicle;
Traveling path detection means for detecting the direction in which the traveling path continues;
A set density area detecting means for detecting a predetermined density area from a captured image of the imaging means;
A region of interest extracting means for searching for the direction in which the travel path continues, extracting a region of a predetermined concentration, and indicating a region of interest indicating the entrance or exit of the tunnel,
Attention area calculation means for calculating the image position of the attention area;
When the distance change calculated by the image position change of the attention area matches the amount of movement of the vehicle and the apparent height of the attention area exceeds a predetermined value, the attention area is determined as the entrance or exit of the tunnel. And a tunnel detection means.
[0006]
The invention according to claim 2 is a tunnel detection device that is provided in a vehicle and detects a tunnel according to the traveling of the vehicle,
Imaging means for imaging the traveling direction of the vehicle;
Traveling path detection means for detecting the direction in which the traveling path continues;
A set density area detecting means for detecting a low density area from a captured image of the imaging means, and a search for a direction in which a traveling path is continued to extract the low density area, and attention as an attention area indicating a tunnel entrance Region extraction means;
Attention area calculation means for calculating the image position of the attention area;
A tunnel entrance detection means for determining that the region of interest is a tunnel entrance when the distance change calculated by the image position change of the region of interest matches the amount of movement of the vehicle and the apparent height exceeds a predetermined value; It was supposed to have.
[0007]
The invention according to claim 3 is a tunnel detection device that is provided in a vehicle and detects a tunnel according to the traveling of the vehicle,
Imaging means for imaging the traveling direction of the vehicle;
Traveling path detection means for detecting the direction in which the traveling path continues;
A set density area detecting means for detecting a high density area from a captured image of the imaging means, and a search for a direction in which a traveling path is continued to extract the high density area, and attention as an attention area indicating a tunnel exit Region extraction means;
Attention area calculation means for calculating the image position of the attention area;
A tunnel exit that determines a region of interest as a tunnel exit when the distance change calculated by the image position change of the region of interest matches the amount of vehicle movement and the apparent height of the region of interest exceeds a predetermined value And detecting means.
[0008]
The invention according to claim 4 is a tunnel detection device that is provided in a vehicle and detects a tunnel according to the traveling of the vehicle,
Imaging means for imaging the traveling direction of the vehicle;
A set density area detecting means for detecting a predetermined density area from a captured image of the imaging means;
Area calculating means for calculating an area on the image of the area detected by the set density area detecting means;
Since the calculated value of the area calculating means is increased by the movement of the vehicle and the calculated value of the area becomes equal to or greater than a set value, the tunnel exit detecting means for determining the tunnel exit is provided.
[0009]
The travel path detection means can detect a white line by performing image processing on the captured image, and detect a direction in which the travel path continues by function approximation.
[0010]
According to a sixth aspect of the present invention, when the tunnel entrance detection means determines the entrance of the tunnel, the tunnel detection device is connected to a tunnel travel control means for controlling the vehicle to a state suitable for traveling in the tunnel. did.
[0011]
The invention according to claim 7 is the one in which the tunnel detection device is connected to a tunnel travel release means for controlling the vehicle to return from the tunnel travel state to the normal state when the tunnel exit detection means determines the tunnel exit. It was.
[0012]
[Action]
According to the first aspect of the present invention, the set density area detecting means detects an area having a predetermined density from the front road image taken by the imaging means. Since the tunnel is imaged under illumination conditions different from the surrounding environment, the entrance or exit of the tunnel appears at a different density on the image. Therefore, by detecting them as a predetermined concentration, an entrance or exit region indicating the presence of a tunnel is detected.
[0013]
Since the entrance or exit of the tunnel exists on the travel path of the vehicle, the travel path detection means detects the direction in which the travel path continues, and the attention area extraction means searches for the direction in which the travel path continues and searches for the predetermined concentration area. By extracting, other regions having the same concentration are excluded, and only the region of interest indicating the entrance or exit of the tunnel is extracted.
[0014]
The tunnel detection means can determine whether or not the attention area is a fixed object such as a tunnel by comparing the amount of movement of the vehicle with the distance change amount calculated from the position of the attention area on the image. If it becomes the entrance or exit of the tunnel, the apparent height is also the height of the tunnel. Therefore, the attention area extracted by the determination based on the predetermined value can be determined as the entrance or the exit of the tunnel. This detects the tunnel. Thus, as long as data indicating the height and distance of the tunnel can be obtained, a complete tunnel image is not required, and the tunnel can be detected from the road even if the preceding vehicle blocks the field of view.
[0015]
According to the second aspect of the present invention, since the detection region is a low concentration region and the entrance of the tunnel is detected as a region of interest, it is suitable for daytime tunnel detection.
[0016]
According to the third aspect of the present invention, since the detection region is a high concentration region and the exit of the tunnel is detected as a region of interest, it is suitable for daytime tunnel detection.
[0017]
According to the fourth aspect of the present invention, the set density area detecting means detects a predetermined density area from the tunnel image taken by the imaging means. Since the illumination inside and outside the tunnel is different, the exit image of the tunnel is taken at a density different from the surroundings. As the vehicle exits, the tunnel exit is gradually imaged, so that the tunnel detection means can detect the tunnel exit by increasing the area of the detected region of the predetermined concentration. This detects the tunnel. In this way, a tunnel can be detected only by detecting a region having a predetermined concentration and calculating an area.
[0018]
When the road detection means detects the white line by processing the captured image and detects the direction of the road following the function approximation, the location of the tunnel can be accurately identified, improving the reliability of tunnel detection To do.
[0019]
According to the sixth aspect of the present invention, when the tunnel entrance is detected, the tunnel travel control means controls the vehicle to a state suitable for traveling in the tunnel, so that the vehicle operation for the traveling in the tunnel is automatically performed. The driving burden is reduced and safe driving is achieved.
[0020]
According to the seventh aspect of the present invention, when the tunnel exit is detected, the tunnel travel control means controls the vehicle to a state suitable for traveling outside the tunnel. Therefore, the function set for traveling in the tunnel is automatically performed. Therefore, the operation for releasing can be omitted, and the vehicle can be operated without being aware of the tunnel if combined with claim 6.
[0021]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described by way of examples.
FIG. 1 is a block diagram showing the configuration of the first embodiment. A camera 1 as an image pickup means is attached to the vehicle slightly downwardly toward the front, and can capture the traveling direction of the vehicle including the traveling path. The camera 1 is provided with an image memory for storing image data. The image data is stored here, and the data is updated by inputting new image data.
[0022]
A white line detection unit 2 and a low density region detection unit 4 are connected to the camera 1.
The white line detection unit 2 detects white lines on the left and right of the image by image processing in order to detect the own vehicle traveling path, and recognizes it by function approximation. The farthest point of the white line detected by the image processing is normalized by the function approximation formula and stored in the memory together with the function approximation formula.
[0023]
The low density area detection unit 4 binarizes the image data with a predetermined threshold value to create a binarized image. Low density pixels below the threshold value are extracted from the binary image and classified into a plurality of regions by continuity determination. The position data of each classified area is stored in the memory. Since the tunnel is darker than the surrounding environment in the daytime, the entrance area is imaged at a low density and stored in the memory.
[0024]
In the region of interest extraction unit 3 for inputting the detection result of the white line detection unit 2 and the position data of the region extracted by the low concentration region detection unit 4, the farthest position along the white line displayed by function approximation from the farthest point position of the white line Search for low density regions in the direction. As a result, the low concentration area outside the traveling road is excluded, and the attention area indicating the entrance of the tunnel is extracted. Then, in order to ascertain whether or not the region of interest is the entrance of the tunnel, extraction is performed by searching for the highest point of the low concentration region. By extracting this highest point, the height of the tunnel can be calculated, and even if the tunnel overlaps the preceding vehicle, the tunnel can be determined by the height.
[0025]
The attention area calculation unit 5 calculates the apparent height of the attention area and the distance to the vehicle based on the imaging conditions of the camera 1, that is, the focal distance of the camera, the imaging angle, the camera mounting height, and the like based on the position data of the attention area. .
The tunnel detection unit 6 calculates the travel distance of the vehicle based on the travel speed of the vehicle obtained by the vehicle speed sensor 7 and the image update cycle time. If the movement distance matches the distance change calculated by the position change of the low-concentration area, it is determined that the attention area is the entrance of the tunnel, and the tunnel is detected through confirmation based on the apparent height. When a tunnel is detected here, a flag is set to indicate that the tunnel has been detected.
[0026]
A control unit 8 is connected to the tunnel detection unit 6. When the flag is raised, the control unit 8 turns on the headlamp in preparation for traveling in the tunnel, checks the air intake state of the air conditioner, and performs control to switch to the inside air circulation if the outside air is taken in. Further, for example, the engine brake is controlled, the throttle gain, the wiper operating interval, the sunroof closing, and the like are controlled in accordance with the vehicle to control the vehicle in a state suitable for traveling in a tunnel. For cameras without an automatic exposure function, the exposure is adjusted to be suitable for imaging in the tunnel.
[0027]
Next, the processing flow of the above configuration will be described with reference to the flowchart of FIG.
First, in step 101, the road ahead is imaged by the camera 1, and the captured image data is stored in the image memory. Thereby, for example, an original image as shown in FIG. 3 is obtained. In the image of FIG. 3, the tunnel 13 is shown on the traveling road where the white lines 11 and 12 continue to the front, and a part of the tunnel is not visible by the preceding vehicle 14.
[0028]
In step 102, the white line detection unit 2 inputs image data from the image memory, performs image processing, detects white lines on the left and right of the traveling road, and recognizes them by function approximation. Then, the position of the white line at the farthest point detected by the image processing is normalized by the function approximate expression and stored in the memory together with the function approximate expression. As a result, in the original image of FIG. 3, white lines are displayed as curves 21 and 22 indicated by function approximation formulas as shown in FIG. Points a and b are the farthest points of the normalized left and right white lines. The details of white line detection will be described later.
[0029]
In step 103, the low-density area detection unit 4 processes the original image with a predetermined threshold value, and creates a binary image with density value 1 below the threshold value and density value O otherwise. As a result, a binary image in which the dark tunnel portion is indicated by the low density region 13 and the density value 1 is created from the image of FIG. In this image, part of the tunnel is missing due to the preceding vehicle.
[0030]
In step 104, the attention area extraction unit 3 searches the low density area along the direction in which the left and right white lines extend from the farthest point position in order to extract the low density area indicating the entrance of the tunnel as shown in FIG. The top point position for calculating the height is extracted. FIG. 6 shows the state of the processing. That is, the low density region is first searched from the farthest point a in the direction indicated by the white line function approximation formula.
[0031]
Including the case where the low density area (pixel density 1) is detected, the coordinates are set as the starting point coordinates, and the density value is rewritten as 2. From the starting point coordinates, the X coordinate is searched in both positive and negative directions, and if there is an adjacent low density region (pixel density 1), the density value is rewritten as 2. Next, by adding one Y coordinate, a low density region (pixel density 1) adjacent to a pixel having a density value of 2 is searched above the image (in the far direction). If a pixel satisfying the above condition is found, the density value is rewritten to 2. This process is repeated until no low density pixel can be detected. When a pixel that satisfies the above conditions cannot be detected, 1 is reduced to the Y coordinate to obtain the upper limit value of the low density region connected to the left white line (curve 21).
[0032]
Next, with respect to the right white line, an area connected from the farthest point b to the right white line (curve 22) is searched by the same operation as the above processing. When a pixel having a density value of 2 is detected during the search, the left white line area upper limit value is stored as the top point of the low density area, assuming that the left and right white lines are connected to the same low density area. As a result, the point c is detected in FIG.
[0033]
In step 105, the attention area calculation unit 5 calculates the distance D to the vehicle and the apparent height H by using the low concentration area extracted from the white line as the attention area indicating the entrance of the tunnel. The starting point coordinates of the region of interest are at the bottom of the region, and the front distance to the vehicle is calculated from the camera mounting position, angle, and lens system parameters. Here, first, a conversion formula between the forward distance and the Y coordinate is obtained in advance according to the imaging conditions of the camera, and the forward distance is calculated by substituting the starting point coordinates into the conversion formula.
[0034]
Although the height H cannot be directly detected by a monocular camera, it can be assumed that the attention area stands perpendicular to the origin coordinate position from the characteristics of the entrance of the tunnel. Therefore, from the camera mounting position, angle, and lens system parameters, the conversion formula is obtained in advance in the same way as the front distance is calculated, and the apparent coordinate of the attention area is obtained by substituting the starting point coordinate and the top point coordinate into the conversion formula. Calculate the height.
[0035]
FIG. 7 is an explanatory diagram for obtaining a conversion formula between the forward distance and the position on the image. (A) is the vertical direction, and (b) shows the geometric relationship between the imaging space projected in the horizontal direction and the planar image. Here, the camera has a lens having a focal length f and an imaging CCD arranged at the focal length f. The camera is attached to the vehicle so as to capture an image at a θ angle downward with respect to the horizontal. The mounting height of the camera is h.
The CCD is composed of IX pixels in the X direction and IY pixels in the Y direction. The screen size of the CCD is X direction CH (mm) and y direction CW (mm).
[0036]
First, in (a), Expression (1) is established for the angle dθ made with the imaging direction of the camera.
dθ = atan [(CH / IY) · (dy / f)] (1)
However, dy is the image position in the Y-axis direction with respect to the center of the screen.
The relationship between dθ and the forward distance D is expressed by equation (2).
D = h / tan (θ−dθ) (2)
CH, IY, f, h, θ are known,
Expressions (1) and (2) give a conversion formula between the pixel position and the forward distance.
Thus, the forward distance D can be calculated by substituting the Y coordinate of the starting point of the low density region into the equation (1).
[0037]
Although the pixel position dx in the X direction does not participate in the calculation of the forward distance, since the width of the object ahead by a predetermined distance can be calculated based on the size, the threshold for determining the size of the area is determined in the next embodiment. Useful for.
The procedure is the same as above, and in FIG. 7B, Expression (3) is established for the angle dφ formed with the direction indicating the front distance.
dφ = atan [(CW / IX) · (dx / F)] (3)
Where F is
F = [[[(CH / IY) · dy] ² + F ² ] ^1/2 It is.
A width E corresponding to the pixel position dx is expressed by Expression (4).
E = (h ² + D ² ) ^1/2 Tan (dφ) (4)
As a result, the front distance D and the lateral width are obtained from the image positions dx and dy, and the area can be calculated.
Similarly, the conversion formula between the distance in the Y-axis direction and the apparent height H can be calculated from (a).
[0038]
In step 106, the vehicle speed sensor 7 measures the traveling speed of the host vehicle.
In step 107, the tunnel detection unit 6 estimates how much the vehicle has moved during that time using the time required for the image update period and the traveling speed of the vehicle, and sets the estimated movement amount to ΔL.
[0039]
In step 108, the amount of movement of the vehicle is compared with the amount of change in the distance of the area of interest, and if they match, the apparent height H of the area of interest is compared with a predetermined threshold value to detect the tunnel. The contents will be described in detail later.
In Step 109, it is checked whether or not a tunnel has been detected. If it has not been detected, the process returns to Step 101, and if it has been detected, a flag is set and the process proceeds to Step 110.
In step 110, the control unit 8 performs control for switching the air circulation path of the air conditioner to the inside air circulation, for example, in preparation for traveling in the tunnel when the flag is set.
[0040]
FIG. 8 is a flowchart showing details of tunnel detection in step 108.
First, in step 201, the amount of movement ΔL of the vehicle is compared with the threshold value th1, and the magnitude of the amount of movement is determined. The process proceeds to step 202 so that the distance D is evaluated. In step 202, the apparent height H of the attention area is compared with the threshold value th2, and the size is determined. If greater than th2, the process proceeds to step 203 so as to make the next determination.
[0041]
In step 203, the difference between the distance D and the previously calculated distance is calculated to obtain a distance change amount ΔD, which is compared with the vehicle movement amount ΔL. If the values are approximately the same, go to step 205.
[0042]
In step 205, it is checked whether the same result continues three times (th3) even if the image changes as a result of the determination. If the same result is three times, it is determined in step 207 that the region of interest is the entrance of the tunnel.
If the check condition in step 205 is not satisfied, it is determined in step 208 that there is no tunnel.
Step 206 is a process of counting the number of measurements, and step 204 is a process of clearing the count.
[0043]
Next, details of white line detection in step 102 will be described with reference to the flowchart of FIG.
First, in step 300, image data is input from the camera 1.
In step 301, a vertical edge image as shown in FIG. 10, for example, is created by applying a SOBEL operator that extracts a vertical edge component to the entire image. In this image, the edge of the white line is displayed. As the density changes from left to right, the edge characteristics change such as positive edge, negative edge, positive edge, and negative edge. One white line is detected at the negative edge and the positive edge.
[0044]
In step 302, window position information is captured. Initially, for example, assuming a straight road, a window position corresponding to a state of traveling straight in the center of the lane may be stored in the memory as data. From the second time, the window is set with the window position information calculated based on the processing result of the previous screen. As shown in FIG. 11, this position information is composed of the white line position Wp detected last time and the inclination γ of the white line recognized by approximation. The window W is a trapezoidal window with Wp as the center and an upper side of the width W1 and a predetermined height s. Both sides of the window are γ + α and γ−α angles from the upper side toward the outside with respect to the Y axis. α is a fixed value set in advance according to the mounting state of the camera. The window is a small section, and white lines having different shapes can be seen as straight lines here.
[0045]
The straight line detection in step 303 will be described with reference to the flowchart of FIG.
First, in step 402, the window W is searched and the edge points are totaled to determine a straight line. For this purpose, as shown in FIG. 13, the straight line tip initial position T (xt, yt) is calculated from the window position Wp (xwp, ywp) and the upper side width Wl. ywp is a set value indicating the position of the window W.
The tip initial position T (xt, yt) is
xt = xwp + Wl / 2
yt = ywp
It is.
[0046]
In step 403, the straight line rear end initial position E (xe, ye) is calculated from the window height s.
xe = xt-s · tan (γ-α)
ye = yt-s
[0047]
In step 404, a straight line f passing through T (xt, yt) and E (xe, ye) is calculated. The straight line f is
y-ye = (yt-ye) / (xt-xe) · (x-xe)
It becomes.
[0048]
In step 405, the number of edge points on the edge image through which the straight line f passes is measured. At this time, the number of both positive and negative edges is measured separately. The number of positive and negative edges measured together with the front end position xt and the rear end position xe is stored in the memory.
In step 406, the x coordinate of the straight line rear end E is moved,
Let xe = xe-1.
In step 407, it is determined whether the trailing edge has scanned the window W by determining whether xe is greater than xt-s · tan (γ + α). If the window has not been scanned, the process returns to step 404. If the window has been scanned, the process proceeds to step 408.
[0049]
In step 408, xt-1 is substituted for the x coordinate xt of the straight line tip T, and the tip position is moved.
In step 409, it is determined whether xt of the straight line tip is equal to or less than xwp-Wl / 2, and it is determined whether the tip has scanned the window. If not, the process returns to step 404 and the above processing is continued. If the window has been scanned, go to step 410.
[0050]
In step 410, the leading edge position and the trailing edge position having the maximum number of positive edges are extracted from the stored leading edge positions and the number of positive edges.
In step 411, the number of extracted positive edges is compared with a threshold value, and if it is more, the process proceeds to step 412. If it is less than the threshold value, the detection is terminated and the process proceeds to step 304.
In step 412, the extracted leading edge position and trailing edge position are connected by a straight line to determine an approximate line of the positive edge.
[0051]
In step 413, the leading edge position and trailing edge position of the maximum number of negative edges are extracted from the number of negative edges.
In step 414, the number of negative edges is compared with a preset threshold value. If it is greater than that, the process proceeds to step 415. If it is less than the threshold value, the detection is terminated and the process proceeds to step 304.
In step 415, the extracted leading edge position and trailing edge position are connected by a straight line to determine an approximate line of a negative edge.
[0052]
Thereafter, returning to the flowchart of FIG. 9, it is checked in step 304 whether or not the approximate lines 31 and 32 of positive and negative edges have been detected from the window W as shown in FIG. If there is a white line, the process proceeds to step 305;
[0053]
In step 305, an approximate line of a white line passing between approximate lines of positive and negative edges is calculated. The white line is a straight line, and parameters for determining the white line include Wp for determining the position and γ for determining the inclination. The x coordinate xwp of (xwp, ywp) of Wp is calculated by (xt + xe) / 2. ywp is the setting position of the window.
In step 306, the setting position of the white line detection window in the next image is calculated using Wp and γ as window position information. As a result, the window fluctuates in accordance with the position variation of the white line, so that even if the position of the white line moves, it can be detected without leaking the white line. This completes the white line detection process.
[0054]
Although the detection of the straight line has been described in the above one window, when approximating the white line with a curve, a plurality of windows as described above are set for one white line, and the front end position and the rear end position of each window are set by function approximation. For example, an approximate curve as shown in FIG. 4 is obtained.
The white line detection unit 2 constitutes a travel path detection unit.
The low concentration region detection unit 4 constitutes a set concentration region detection means.
The attention area extraction unit 3 constitutes attention area extraction means.
The attention area calculation unit 5 constitutes attention area calculation means.
The control unit 8 constitutes a tunnel travel control means.
[0055]
The present embodiment is configured as described above, and detects a white line indicating a travel path, and detects a region of interest indicating a tunnel entrance from the direction in which the white line continues. Since the tunnel is detected by judging whether the amount of movement of the vehicle and the distance change from the target area to the vehicle coincide with each other and the apparent height of the target area, It is also possible to detect the tunnel on the runway from the white road even if the tunnel is not visible in front of the vehicle due to a curve or the like.
[0056]
Next, a second embodiment will be described.
In this embodiment, the detection target is the exit of the tunnel. FIG. 15 is a diagram showing the configuration of the embodiment. The camera 1 is attached to the front of the vehicle so as to image the traveling direction of the vehicle as in the first embodiment. The low density area detection unit 4 binarizes the captured image of the camera 1 with a predetermined threshold value to create a binarized image. The area calculating unit 9 calculates the area by measuring the number of pixels in a region other than the low density region.
[0057]
The tunnel detection unit 10 detects a tunnel based on a change in the area calculated by the area calculation unit 9 as the vehicle travels. When the vehicle travels in a tunnel, images are taken at a low density except for the exit area of the tunnel. The closer the vehicle is to the exit of the tunnel, the larger the exit is observed, so the exit of the tunnel can be detected by the area change of that part. When the exit is detected, the control unit 8 performs control to release the function set for traveling in the tunnel. For example, the ventilation circulation path of the air conditioner is switched to intake of outside air.
[0058]
Next, the operation flow of the above configuration will be described with reference to the flowchart of FIG.
First, in step 501, the road ahead is imaged by the camera 1, and the captured image data is stored in the image memory. Thereby, for example, an image as shown in FIG. 18 is stored. The image in FIG. 17 is an image taken in the tunnel, and the whole is low in density, and only the tunnel exit 23 is shown in high density on the traveling road where the white lines 11 and 12 continue to the front. A part of the exit is not visible by the preceding vehicle 14.
[0059]
In step 502, the low density area detection unit 4 processes the image with a threshold value, and creates a binary image having a density value 1 above the threshold value and a density value O below the threshold value. As a result, a binarized image of the low density region is created from the image of FIG. 17 except for the tunnel exit 23 as shown in FIG. In this image, part of the tunnel is missing due to the preceding vehicle.
[0060]
In step 503, the area calculation unit 9 calculates the area R of the bright image portion by measuring pixels other than the low density region.
In step 504, the vehicle speed is measured by the vehicle speed sensor 7.
In step 505, the tunnel detection unit 10 estimates how much the vehicle has moved during that time using the time required for the image update period and the traveling speed of the vehicle, and sets the estimated movement amount as ΔL.
[0061]
The tunnel exit detection in step 506 will be described with reference to the flowchart of FIG.
First, in step 601, the amount of movement is determined by comparing the amount of movement ΔL of the vehicle with the threshold value th1. If larger than the threshold value, the process proceeds to step 602.
In step 602, a difference ΔR between the calculated area R and the previous area is calculated and compared with a predetermined threshold value. If larger than the threshold value, the process proceeds to step 604.
[0062]
In step 604, the counter is checked to determine whether the result of the determination has been continued three times (th5). Accordingly, when the time when the image of FIG. 17 is captured is t1, it is determined that the images of the images captured at times t2 and t3 are gradually enlarged as shown in FIGS. The image in FIG. 21 is a binary image at time t2, and the image in FIG. 23 is a binary image at time t3. The amount of change or size of the area is determined based on them. If the check condition is satisfied, the process proceeds to step 606 to make the next determination.
[0063]
In step 606, the size is checked by comparing the calculated area R with a predetermined threshold value th6. If the area is smaller than the threshold value, it is determined in step 608 that there is no tunnel. If it is greater than the threshold, a tunnel exit is detected in step 607.
For example, th6 is set according to the size of the tunnel in the above formula (1), formula (2), formula (3), and formula (4).
Step 605 is a process of counting the number of measurements, and step 603 is a process of clearing the count.
[0064]
Thereafter, returning to the flowchart of FIG. 16, it is checked in step 507 whether the tunnel exit has been detected. If not detected, the process returns to step 501, and if detected, a flag is set and the process proceeds to step 508.
In step 508, the control unit 18 prepares for the vehicle to exit the tunnel when the flag is set, for example, switches the air intake path of the air conditioner to the outside air circulation, and controls the vehicle to a traveling state outside the tunnel.
The area calculation unit 9 constitutes area calculation means.
The control unit 18 constitutes a tunnel travel cancellation unit.
[0065]
The present embodiment is configured as described above, images the forward running road, extracts a low-luminance area, detects a tunnel exit candidate, and changes in the amount of vehicle movement and the area of the detected tunnel exit compensation area Since the tunnel exit is determined by comparing the amount with a predetermined threshold value, there is an effect that the vehicle can be detected even when there is a preceding vehicle or when it is not in an ideal tunnel shape.
In the above embodiment, the detection in the daytime has been described. However, although the image density is reversed at night, it goes without saying that the above method is still effective.
[0066]
【The invention's effect】
In the invention of claim 1, since the entrance and exit of the tunnel showing a concentration different from that of the surrounding environment are set as detection targets and detected from the direction following the white line, it can be easily distinguished from other objects showing the same concentration, Tunnels can be detected with simple processing, and even if a part of the tunnel is hidden behind a preceding vehicle, it can be detected without leaking. As a result, the performance required for the in-vehicle device is satisfied, and it becomes possible to automatically perform a vehicle operation in preparation for entering or exiting the tunnel by specifying the entrance or exit of the tunnel.
[0067]
According to the second aspect of the present invention, since the detection region is a low concentration region and the entrance of the tunnel is detected as a region of interest, it is suitable for daytime tunnel detection.
[0068]
According to the third aspect of the present invention, since the detection region is a high concentration region and the exit of the tunnel is detected as a region of interest, it is suitable for daytime tunnel detection.
[0069]
According to the fourth aspect of the present invention, the set density area detection means detects a predetermined density area from the tunnel image taken by the imaging means. Since the illumination inside and outside the tunnel is different, the exit image of the tunnel is taken at a density different from the surroundings. As the vehicle travels, the tunnel exit is picked up gradually so that the tunnel detection means can detect the tunnel exit by increasing the area of the detected region of the predetermined concentration. This detects the tunnel. As described above, the tunnel can be detected only by detecting the area having a predetermined concentration and calculating the area, and an effect that does not require complicated calculation can be obtained.
[0070]
When the road detection means detects the white line by processing the captured image and detects the direction of the road following the function approximation, the location of the tunnel can be accurately identified, improving the reliability of tunnel detection To do.
[0071]
According to the sixth aspect of the present invention, when the tunnel entrance is detected, the tunnel travel control means controls the vehicle to a state suitable for traveling in the tunnel, so that the vehicle operation for the traveling in the tunnel is automatically performed. The driving burden is reduced and safe driving is achieved.
[0072]
According to the seventh aspect of the present invention, when the tunnel exit is detected, the tunnel travel control means controls the vehicle to a state suitable for traveling outside the tunnel, so that the function set for traveling in the tunnel is automatically performed. Can be released automatically, and the operation for releasing can be omitted. When combined with claim 6, the vehicle can be driven without being aware of the tunnel.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a first embodiment.
FIG. 2 is a flowchart showing a flow of processing of the entire embodiment.
FIG. 3 is an original image obtained by imaging a tunnel.
FIG. 4 is a diagram illustrating a state in which a white line is detected.
FIG. 5 is a binary image that has been binarized.
FIG. 6 is an explanatory diagram for searching a low density region and detecting a starting point and a top point.
FIG. 7 is an explanatory diagram for obtaining a conversion formula between an image position and a forward distance.
FIG. 8 is a flowchart for determining a tunnel.
FIG. 9 is a flowchart for detecting a white line.
FIG. 10 is a vertical edge view.
FIG. 11 illustrates window settings.
FIG. 12 is a flowchart for detecting a straight line;
FIG. 13 is an explanatory diagram for detecting an edge;
FIG. 14 is an image in which an edge approximation line is detected.
FIG. 15 is a block diagram showing a configuration of a second embodiment.
FIG. 16 is a diagram showing a flow of processing in the entire example.
FIG. 17 is a captured image in a tunnel.
FIG. 18 is a binarized image.
FIG. 19 is a flowchart for determining a tunnel.
FIG. 20 is a captured image after a certain time has elapsed.
FIG. 21 is a binary image.
FIG. 22 is a binarized image after a predetermined time has elapsed.
FIG. 23 is a binary image.
[Explanation of symbols]
1 Camera
2 White line detector
3 attention area extraction part
4 Low concentration area detector
5 Region of interest calculation section
6 Tunnel detector
7 Vehicle measurement sensor
8, 18 Control unit
9 Area calculator
10 Tunnel detector
11 Left white line
12 Right white line
13 Low density tunnel image
14 preceding car
21, 22 Approximate curve
31 Positive edge approximation line
32 Negative edge approximation line
a, b farthest point
c Top point
D distance
E width
h Camera mounting height
θ Imaging angle of the camera with respect to the horizontal plane
W window
s Window height
Wl Window top width
γ Straight line inclination angle
Wp Window upper center point

Claims

A tunnel detection device that is provided in a vehicle and detects a tunnel according to traveling of the vehicle,
Imaging means for imaging the traveling direction of the vehicle;
Traveling path detection means for detecting the direction in which the traveling path continues;
A set density area detecting means for detecting a predetermined density area from a captured image of the imaging means;
A region of interest extracting means for searching for the direction in which the travel path continues, extracting a region of a predetermined concentration, and indicating a region of interest indicating the entrance or exit of the tunnel,
Attention area calculation means for calculating the image position of the attention area;
When the distance change calculated by the image position change of the attention area matches the amount of movement of the vehicle and the apparent height of the attention area exceeds a predetermined value, the attention area is determined as the entrance or exit of the tunnel. A tunnel detection device comprising a tunnel detection means.

A tunnel detection device that is provided in a vehicle and detects a tunnel according to traveling of the vehicle,
Imaging means for imaging the traveling direction of the vehicle;
Traveling path detection means for detecting the direction in which the traveling path continues;
A set density area detecting means for detecting a low density area from a captured image of the imaging means, and a search for a direction in which a traveling path is continued to extract the low density area, and attention as an attention area indicating a tunnel entrance Region extraction means;
Attention area calculation means for calculating the image position of the attention area;
A tunnel entrance detection means for determining that the region of interest is a tunnel entrance when the distance change calculated by the image position change of the region of interest matches the amount of movement of the vehicle and the apparent height exceeds a predetermined value; A tunnel detection apparatus comprising:

A tunnel detection device that is provided in a vehicle and detects a tunnel according to traveling of the vehicle,
Imaging means for imaging the traveling direction of the vehicle;
Traveling path detection means for detecting the direction in which the traveling path continues;
A set density area detecting means for detecting a high density area from a captured image of the imaging means, and a search for a direction in which a traveling path is continued to extract the high density area, and attention as an attention area indicating a tunnel exit Region extraction means;
Attention area calculation means for calculating the image position of the attention area;
A tunnel exit that determines a region of interest as a tunnel exit when the distance change calculated by the image position change of the region of interest matches the amount of vehicle movement and the apparent height of the region of interest exceeds a predetermined value A tunnel detection apparatus comprising: a detection unit.

A tunnel detection device that is provided in a vehicle and detects a tunnel according to traveling of the vehicle,
Imaging means for imaging the traveling direction of the vehicle;
A set density area detecting means for detecting a predetermined density area from a captured image of the imaging means;
Area calculating means for calculating an area on the image of the area detected by the set density area detecting means;
Tunnel detection means comprising: tunnel exit detection means for determining the exit of the tunnel because the calculated value of the area calculating means increases due to the movement of the vehicle and the calculated value of the area is equal to or greater than a set value apparatus.

5. The tunnel according to claim 1, wherein the travel path detection unit detects a white line by performing image processing on the captured image and detects a direction in which the travel path continues by function approximation. Detection device.

The tunnel detection device is connected to a tunnel travel control means for controlling the vehicle to a state suitable for traveling in a tunnel when the tunnel entrance detection means determines the entrance of the tunnel. Vehicle control device.

The tunnel detection device is connected to a tunnel travel canceling means for controlling the vehicle to return from the tunnel travel state to the normal state when the tunnel exit detection means determines the tunnel exit. 4. The vehicle control device according to 4.

The tunnel travel control means controls the air circulation path of the air conditioner, the effect of the engine brake, the throttle gain, the wiper, the headlamp, the window, the sunroof, or the imaging means, and switches the air circulation path of the air conditioner to the internal air circulation. Control to increase braking force, decrease throttle gain, increase wiper operating interval, turn on headlamps, close windows and sunroof, or increase exposure of imaging means The vehicle control device according to claim 6.