JP2005332107A - 車両用走行区分線認識装置 - Google Patents

Abstract

【課題】車両の位置や角度に応じた補正を行なって合成画像において走行区分線を見掛け上延長させ、よって走行区分線を精度良く正確に認識できるようにした車両用走行区分線認識装置を提供する。
【解決手段】カメラなどの撮影手段で異なる時刻に撮影された複数の撮影画像を合成して撮影画像中の白線などの走行区分線の長さを延長する画像合成手段（Ｓ１００からＳ１１０）を備える車両用走行区分線認識装置において、合成される複数の撮影画像における走行区分線に対する車両の前後方向角度および走行区分線と車両との間の距離を求め、複数の撮影画像間での角度および距離のそれぞれの差を検知すると共に、検知された角度と距離の差に基づいて走行区分線に対する同一の車両の角度および距離で撮影した画像に補正した後（Ｓ１０６）、複数の画像を合成する（Ｓ１１０）。
【選択図】図８

Description

この発明は、車両用走行区分線認識装置に関する。

車両が走行する路面（走行路）には、走行区分線として白線、黄線、キャッツアイなど種々の道路標示が表示あるいは設置されているが、従来、白線などの走行区分線を認識するには、特許文献１に記載されるように、ＣＣＤカメラおよび画像処理ＥＣＵなどの撮影手段で撮影された画像に微分および二値化処理などを行ってエッジを検出し、検出されたエッジ点列（白線候補点列）についてHough（ハフ）変換を行って近似する直線成分を求めることで認識している。

また、路面に表示された白線自体が物理的にかすれたり、欠けたりした場合、あるいは夜間走行時などに撮影画像のコントラストが低下して撮影画像中の白線が不鮮明になった場合などは、白線を正確に認識することができないことから、特許文献２に記載されるように、撮影画像にウインドウを設定し、ウインドウ内の白線候補点の密度などから白線のかすれ度合を判定し、かすれていると判定されるとき、現在の白線画像から抽出された白線候補点列に一定時間前の撮影画像から抽出された白線候補点列を重ね合わせて合成し、合成した白線候補点列を近似する直線を求めて白線と認識する技術が提案されている。
特公平６−４２２６１号公報 特開２００１−２３６５０６号公報

ところで、走行区分線に対する車両の姿勢あるいは角度が現時点と過去の時点とでは異なる場合があり、そのため撮影される画像も両時点で水平方向や走行区分線に対する車両の角度方向にずれ、当然のことながらそのままの状態で画像を合成すると、走行区分線の水平方向の位置や角度がずれた状態となってしまう。

これを防止するために現在と過去の時点との車両姿勢の変化に応じた量だけ過去の時点の画像上における走行区分線の水平方向の位置や角度方向の補正を行う必要がある。その点、特許文献２記載の従来技術においては、車両のヨーレート変化量、即ち、車両の回転（旋回）運動の有無を検出し、回転運動があればその量に応じた補正を画像に加えているのみであるため、水平方向の位置の補正が行われず、よって合成画像において走行区分線が適切に延長されない不都合があった。当然ながら、画像認識により走行区分線を認識するということは走行路（自車線）を認識することであり、走行区分線の白線部分の長さが長いほど走行区分線の方向を精度良く認識できるため、走行区分線が、見掛け上、延長されるように合成することが好ましい。

従って、この発明の目的は上記した不都合を解消することにあり、車両の位置（走行区分線と車両との距離）や角度に応じた補正を行なって合成画像において走行区分線を見掛け上延長させ、よって走行区分線を精度良く正確に認識できるようにした車両用走行区分線認識装置を提供することにある。

上記の目的を解決するために、請求項１にあっては、車両の進行方向の路面を含む領域を撮影する撮影手段と、前記撮影手段によって撮影された撮影画像中の前記路面上の少なくとも破線状の走行区分線を認識可能な区分線認識手段と、前記撮影手段によって異なる時刻に撮影された複数の撮影画像を合成して前記撮影画像中の前記走行区分線の長さを延長する画像合成手段とを備える車両用走行区分線認識装置において、前記画像合成手段によって合成される複数の撮影画像における走行区分線に対する前記車両の前後方向角度および前記走行区分線と前記車両との間の距離を求め、前記複数の撮影画像間での前記角度および前記距離のそれぞれの差を検知する車両状態検知手段を備えると共に、前記画像合成手段は、前記車両状態検知手段によって検知された前記角度と距離の差に基づいて前記走行区分線に対する同一の車両の角度および距離で撮影した画像に補正した後、前記複数の画像を合成する如く構成した。

請求項２にあっては、車両の進行方向の路面を含む領域を撮影する撮影手段と、前記撮影手段によって撮影された撮影画像中の前記路面上の少なくとも破線状の走行区分線を認識可能な区分線認識手段と、前記撮影手段によって異なる時刻に撮影された複数の撮影画像を合成して前記撮影画像中の前記走行区分線の長さを延長する画像合成手段とを備える車両用走行区分線認識装置において、前記画像合成手段によって合成される複数の撮影画像における走行区分線に対する前記車両の前後方向角度および前記走行区分線と前記車両との間の距離を求め、前記複数の撮影画像間での前記角度および前記距離のそれぞれの差を検知する車両状態検知手段を備えると共に、前記画像合成手段は、前記車両状態検知手段によって検知された前記角度と距離の差に基づいて前記走行区分線に対する同一の車両の角度および距離で撮影した状態となるように、前記複数の画像間の合成位置を調整して合成する如く構成した。

請求項３に係る車両用走行区分線認識装置にあっては、前記複数の撮影画像の撮影時点の前記車両のピッチ角を検知して前記撮影画像間のピッチ角の差を検知するピッチ角変化検知手段を備え、前記画像合成手段は、前記ピッチ角検知手段によって検知されたピッチ角の差に基づき、同一のピッチ角で撮影した画像に補正した後、前記複数の画像を合成する如く構成した。

請求項４に係る車両用走行区分線認識装置にあっては、前記複数の撮影画像の撮影時点の前記車両のピッチ角を検知して前記撮影画像間のピッチ角の差を検知するピッチ角変化検知手段を備え、前記画像合成手段は、前記ピッチ角検知手段によって検知されたピッチ角の差に基づき、同一のピッチ角で撮影した状態となるように前記複数の画像の合成位置を調整して合成する如く構成した。

請求項１に係る車両用走行区分線認識装置においては、合成される複数の撮影画像における走行区分線に対する車両の前後方向角度および走行区分線と前記車両との間の距離を求め、複数の撮影画像間でのそれぞれの差を検知すると共に、検知された前記角度と距離の差に基づいて走行区分線に対する同一の車両の角度および距離で撮影した画像に補正した後、複数の画像を合成するようにしたので、合成画像において、走行区分線を見掛け上、確実に延長することができて走行区分線の認識精度を向上させることができ、よって自車の走行路を的確に認識することができる。

請求項２にあっては、合成される複数の撮影画像における走行区分線に対する車両の前後方向角度および走行区分線と前記車両との間の距離を求め、複数の撮影画像間でのそれぞれの差を検知すると共に、検知された角度と距離の差に基づいて走行区分線に対する同一の車両の角度および距離で撮影した状態となるように、複数の画像間の合成位置を調整して合成するようにした。即ち、請求項１に係る装置の場合には画像自体を移動させているのに対し、検知された角度と距離の差に基づいて走行区分線に対する同一の車両の角度および距離で撮影した状態となるように、複数の画像間の合成位置を調整して合成するようにしたので、請求項１で述べたと同じ効果を得ることができる。

請求項３に係る車両用走行区分線認識装置にあっては、複数の撮影画像の撮影時点の車両のピッチ角の差を検知して同一のピッチ角で撮影した画像に補正した後、複数の画像を合成するようにしたので、走行区分線を見掛け上、一層確実に延長することができて走行区分線の認識精度を向上させることができ、よって自車の走行路を的確に認識することができる。

請求項４に係る車両用走行区分線認識装置にあっても、複数の撮影画像の撮影時点の車両のピッチ角の差を検知して同一のピッチ角で撮影した画像に補正した後、複数の画像を合成するようにしたので、同様に、走行区分線を見掛け上、一層確実に延長することができて走行区分線の認識精度を向上させることができ、よって自車の走行路を的確に認識することができる。

尚、上記した請求項に記載した「車両の進行方向」とは前進走行時の前方のみでなく、前進走行時に後方の路面を含む領域を撮影する撮影手段を設け、前記撮影手段が撮影した撮影画像から後方の走行区分線を認識するものでも良い。このように「車両の進行方向」とは車両前後方向を示すものであることはいうまでもない。

以下、添付図面に即してこの発明に係る車両用走行区分線認識装置を実施するための最良の形態について説明する。

図１は、この発明の実施例に係る車両用走行区分線認識装置の全体構成を示す概略図である。

同図において符合１０は、車両１２の進行方向に向けて車室１２ａの内部に取り付けられたＣＣＤあるいはＣ−ＭＯＳなどの撮像素子を備えたカメラを示し、カメラ１０は車両１２の進行方向の路面を含む領域を撮影（撮像）する。カメラ１０の筐体１０ａには画像処理ＥＣＵ（Electronic Control Unit。電子制御ユニット）が収納される。画像処理ＥＣＵは、カメラ１０から出力される、車両前方の走行車線（レーン）の情報を示す撮像（画像）信号を入力して後述する画像処理を行う、ハードウエア化された画像処理ＩＣ（Integrated Circuit）を備える。カメラ１０と画像処理ＥＣＵが、前記した撮影手段に相当する。

尚、この実施例において、「走行区分線」は、車両通行帯（車線あるいはレーン）を区画する、走行路（道路）の路面にペイントによって表示された、実線状のあるいは破線状の白線あるいは黄線、さらには路面に間隔をおいて設置されたキャッツアイなどの道路標示を意味する。また、その走行区分線で区画される車両通行帯を「車線」あるいは「レーン」という。

車両１２の車室１２ａの運転席に設けられたステアリングホイール１６は、ラックアンドピニオン型のステアリングギヤを介してラック軸２０に接続され、ラック軸２０はタイロッド２２を介して駆動輪２４に連結される。ラック軸２０には電動モータ２６を含む電動パワーステアリング機構（ＥＰＳ。Electric Power Steering）３０が配置され、電動モータ２６の回転によってラック軸２０を往復動させる。

駆動輪２４と従動輪（図示せず）の付近にはそれぞれ車輪速センサ３２（２個のみ図示）が設けられ、所定角度あたりの回転、即ち、車両１２の走行速度（車速）に応じた信号を出力する。車両１２の中央部（後車軸近傍）にはヨーレートセンサ３４が配置され、車両１２の重心位置における鉛直軸（重力軸）まわりのヨーレート（回転角速度）に応じた信号を出力する。また、ステアリングホイール１６の付近には舵角センサ３６が設けられ、運転者によって操作されたステアリングホイール１６の回転量、即ち、舵角に応じた信号を出力する。

車両１２の適宜位置には、同様にマイクロコンピュータを備える制御ＥＣＵ（Electronic Control Unit）４０が設けられる。制御ＥＣＵ４０は画像処理ＥＣＵおよび前述した各センサの出力を入力し、走行車線に沿って走行するレーンキープアシスト制御あるいは走行車線からの不用意な逸脱を防止する車線逸脱防止制御などに必要な操舵力を演算し、指令値に換算して出力する。制御ＥＣＵ４０は、ＥＰＳ３０の動作を制御するＥＰＳＥＣＵ４２に接続される。ＥＰＳＥＣＵ４２も同様にマイクロコンピュータを備え、制御用ＥＣＵ４０とデータの送受を行い、制御用ＥＣＵ４０から出力された指令値に基づいて電動モータ２６を駆動する。

図２は、図１に示す制御ＥＣＵ４０の動作を入出力から示すブロック図である。

図示の如く、制御ＥＣＵ４０は、カメラ１０と前記した画像処理ＥＣＵ（符合４４で示す）からなる撮像手段の出力およびヨーレートセンサ３４などの出力を入力し、レーンキープアシスト制御などの指令値を通信によってＥＰＳＥＣＵ４２に出力し、電動モータ２６を駆動させる。また、図１では省略したが、車室１２ａの運転席近傍にはメータおよびスイッチ（ＳＷ）が配置され、制御ＥＣＵ４０の制御内容はそのメータに表示される。また、運転者による制御の指示はスイッチを介してメータに表示されると共に、制御ＥＣＵ４０に入力される。

図３は、図１および図２に示す装置の動作を示すフロー・チャートである。図示のプログラムは、画像処理ＥＣＵ４４および制御ＥＣＵ４０において所定の時間間隔、例えば３３ｍｓｅｃごとに実行される。

以下説明すると、ステップＳ１０（以下、ステップ略す）において、カメラ１０の撮像素子から撮像信号が出力される。カメラ１０の撮像素子は、縦ｎライン×横ｍ画素からなる撮影領域を備える。カメラ１０は、工場の製造ラインなどにおいて進行方向の走行路を含む所定の方向にその光軸が調整される。

次いでＳ１２においてフレーム合成、即ち、撮像素子から出力された画像信号を入力して合成する。具体的には、今回の処理周期で入力された撮像信号と、過去の処理周期で入力されて画像処理ＥＣＵ４４のメモリに記憶されている撮像信号、換言すれば、現在の画像（フレーム）と過去の画像とを合成する。尚、この実施例の特徴的な点はこのフレーム合成にあるので、後で詳述する。Ｓ１２からＳ１６までは、画像処理ＥＣＵ４４内のハードウエア化された画像処理ＩＣが実行する処理である。

次いでＳ１４において周知の微分処理およびそれに続く二値化処理を含むエッジ検出処理を行い、入力画像から図４に示すようなエッジ画像を生成し、次いでＳ１６において同じく周知のHough（ハフ）変換により、白線などの走行区分線に相当する直線成分（図５に実線で示す）を判別する。

次いで、Ｓ１８において、図６に示す如く、前記直線成分に沿う複数のエッジ点（エッジ点列。同図に黒丸で示す）を、車線候補（白線候補点列）として検出する。

次いでＳ２０において車線候補として複数の候補が存在する場合（例えば図６に示すように３本の点列ａ，ｂ，ｃが存在する場合）、自車（車両１２）と各車線候補との位置関係から、複数の車線候補の中のいずれの候補が自車（車両１２）の走行している車線を表しているか判別し、図７に示す如く、自車の走行する車線の位置を推定する。

次いでＳ２２において車両制御を実行する。即ち、推定された車線位置に基づき、前述したようなレーンキープアシスト制御や車線逸脱防止制御などの車両制御の指令値をＥＰＳＥＣＵ４２に出力し、電動モータ２６の駆動を制御する。尚、Ｓ１２からＳ１６までの処理は画像処置ＥＣＵ４４内の前述したハードウエア化された画像処理ＩＣで、Ｓ１８およびＳ２０の処理は画像処理ＥＣＵ４４で、Ｓ２２以降の処理は制御ＥＣＵ４０で実行される。

図８は、図３のＳ１２のフレーム合成（現時点の取得画像（撮像信号）と過去の時点で取得されて記憶されていた画像（撮像信号）とのフレーム合成）の処理を示すサブ・ルーチン・フロー・チャートである。

この実施例において特徴的な点は図８に示すフレーム合成の種々の処理にあるが、最初に同図を参照して概説すると、Ｓ１００において、検出された車速によって合成すべき過去フレームを選択する。

即ち、現在時刻（今回処理周期）ｔに入力された撮影画像（図９に示す）に合成すべき画像を、前回以前の処理周期ごとに入力されて画像処理ＥＣＵ４４のメモリに記憶されていた複数の撮影画像の中から選択する。具体的には、車速に応じ、図１０に示すような時刻ｔ_-nで撮影されて記憶されていた撮影画像を選択する。ここで、ｎは離散系のサンプル時刻を意味し、ｔ_-nは、ｎ回前に撮影されて入力された撮影画像、即ち、過去の異なる時点に撮影されて記憶された画像を意味する。

続いてＳ１０２において選択された過去フレームの明るさ補正を行う。即ち、現時点で入力された撮影画像とＳ１００で車速に応じて選択された過去の時点での撮影画像は、撮影時点が異なることから、撮影対象（路面）の明るさが影の影響などで異なる場合があり、一方の画像の路面部分の明るさが他方の画像の白線などの走行区分線のそれよりも明るいような状態で合成を行うと、合成画像で白線が路面に埋もれてしまう恐れがあることから、それを防止するため、現時点と過去の時点での画像の明るさを一致させるように過去の時点での撮影画像の明るさを現時点での撮影画像の明るさに合わせる処理を行う。尚、その詳細は後述する。

Ｓ１０４において合成開始位置を設定する。即ち、車両１２の姿勢が積載などの要因によって初期状態（カメラ１０の光軸調整時）と異なる場合、言い換えれば、静的なピッチング方向の姿勢変化が生じている場合などがあり得る。この姿勢変化によりカメラ１０の撮影領域が上下に変動するため、画像を合成する際にこの変動分を考慮すべく合成開始（基準）位置を学習して補正する（設定する）。この処理は、走行区分線を認識する場合には路面より上方の領域は通常不要であることから、現時点と過去の時点での地平線位置を合わせることで行う。

次いでＳ１０６において水平画素補正を行う。即ち、車線に対する車両１２の姿勢や角度が現時点と過去の時点とで異なる場合があり、そのため撮影時点によって得られる画像がその位置あるいは角度分だけずれる場合が生じ得る。その場合、当然のことながら、そのままの状態で画像を合成すると、走行区分線の水平方向の位置あるいは角度方向がずれてしまう。それを防止するため、現在と過去の時点との車両姿勢の変化に応じた量だけ、過去の時点の画像上における走行区分線の水平方向の位置や角度方向の補正を行う。尚、その詳細も後述する。

次いでＳ１０８において垂直ライン補正を行う。即ち、現時点と過去の時点における車両１２のピッチング状態が異なることが考えられるため、両時点間の動的なピッチ角変動を画像から得られる地平線位置の変化から求め、画像における垂直（上下）方向の位置を補正し、図１１に示すような補正された画像を得る。これについても後述する。尚、Ｓ１０４で補正したのはピッチングの静的なずれであるのに対し、Ｓ１０８で補正するのはその動的なずれである。

次いでＳ１１０に進み、現時点と補正された過去の時点での撮影画像を合成し、図１２に示すように、白線などの走行区分線が、図９から図１１との対比から明らかなように、両時点の各々の画像上における長さよりも、見掛け上、延長された画像を得る。これで、図８に示すフレーム合成処理を終了する。

以下、この実施例において特徴的な点を順次説明すると、最初に特徴的な点は図８のＳ１００で述べたように車速（走行速度）によって合成されるべき過去フレームを選択するようにしたことである。

以下それについて説明すると、特許文献２記載の従来技術においては、現時点の画像に合成されるべき過去の時点の画像は一定時間前の画像である。しかしながら、車速（走行速度）に応じて車両１２の移動距離が異なり、当然カメラ１０の（撮像素子の）撮影領域も同様に車両１２の進行方向に移動することから、画像上の走行区分線の位置も車両１２の進行につれて移動し、換言すれば、車速が高いほど、撮影される走行区分線の位置も大きく移動することとなる。従って、どの程度の時間間隔をおいて過去の画像を選択して現時点の画像と合成するかによって合成画像における走行区分線の延長される量および割合が異なることとなる。

ところで、走行区分線としては、白線部分（彩色部分）とその間のブランク（アスファルトなどの無彩色部分）とが周期的に繰り返される破線状のものが知られている。この走行区分線の白線部分は耐久性の面でかすれたり、部分的に欠けたりしている場合があり、また工事などの理由で臨時、応急的に白線部分が短く描かれている場合もある。

また、当然ではあるが、画像認識により走行区分線を認識するということは走行路（自車線）を認識することであり、走行区分線の白線部分の長さが長いほど走行区分線の方向を精度良く認識できる訳であるから、前記の白線部分のかすれ、欠けの有無を問わず、白線部分が、見掛け上、延長されるように合成することが好ましい。その点に鑑み、この実施例においては、車速（走行速度）によって決定される時間間隔をおいて過去に撮影された画像（過去フレーム）の中から該当する画像を選択するようにした。尚、これは、白線に限るものではなく、黄線でも同様である。

発明者達が実験的に知り得たところでは、走行区分線の白線部分とブランクの合計長さに対する白線部分の長さ（占める割合）が３０％程度以上であれば、走行区分線を精度良く認識して自車の走行路を的確に認識することが可能であった。前述したように、車速に応じて延長される白線部分の長さが変わることから、認識された走行区分線のデータを用いる冒頭に述べたレーンキープアシスト制御や車線逸脱防止制御などの車両制御の制御車速の範囲に応じて撮像周期で何フレーム前を使用すれば良いかが決定されることとなる。

具体的には、撮像周期が３３．３ｍｓｅｃであるので、例えば車速（走行速度）が６０ｋｍ／ｈ以上の場合であれば、必要な白線部分の延長量を確保するには、３フレーム前の画像を用いれば良い。やや白線部分の延長量が不足するが、２フレーム前の画像でも車速が９０ｋｍ／ｈ以上であれば良く、６０〜９０ｋｍ／ｈの車速範囲でも白線部分の延長される量は減少するが、延長される長さが１ｍ以上あり、合計長さに占める白線部分の割合も約３０％に増加するので、走行区分線を精度良く認識して自車の走行路を的確に認識することができる。

そこで、検出された車速（走行速度）に応じて決定される時間間隔に相当する周期に撮影された少なくとも１つの撮影画像を、任意（現時点）の撮影画像と合成されるべき撮影画像として選択するようにした。尚、車速がある値、例えば１０５ｋｍ／ｈ、１１０ｋｍ／ｈとでヒステリシスを持たせた形で、２フレーム前、３フレーム前と合成に使用する画像を切替えるようにしても良く、あるいは車速が６０ｋｍ／ｈ以上であれば、３フレーム前の画像を使用すれば、走行区分線の白線部分とブランクの合計長さに対する白線部分の長さが３０％以上となるので、３フレーム前の画像のみを使用するようにしても良い。

このように、この実施例においては、撮影画像の内の任意の撮影画像（具体的には現時点の画像、より具体的には現在の走行区分線認識処理周期において撮影された画像）の撮影時刻を基準としてその任意の撮影画像に対して検出された車速（走行速度）に応じて決定される時間間隔をおいて過去に撮影された少なくとも１つの撮影画像（より具体的には検出された車速（走行速度）に応じて決定される時間間隔に相当する周期に撮影された少なくとも１つの撮影画像）を、その任意の撮影画像と合成されるべき撮影画像として選択するようにしたので、車速の高低に関わらず、最適に走行区分線の白線部分の見掛け上の延長量もしくは延長割合を設定することができ、走行区分線の認識精度を向上させることができ、自車の走行路を的確に認識することができる。

また、検出される走行速度が低いほど、より長い時間間隔をおいて過去に撮影された少なくとも１つの撮影画像を選択するように構成した。即ち、車速が低くなるほど、車両１２の移動距離が短くなることから、車速が低い場合、合成後の画像において走行区分線の長さの延長量もしくは延長割合が不足しないように、より過去の時点で撮影（入力）されて記憶されていた画像を選択するようにした。他方、車速が高くなるほど、車両１２の移動距離が長くなるので、現時点に近い過去の時点に撮影（入力）されて記憶されていた画像を選択することになる。

また、走行区分線の白線部分（彩色部分）とブランク（無彩色部分）の合計長さに対する彩色部分の長さが３０％以上となるように、時間間隔をおいて過去に撮影された少なくとも１つの撮影画像を選択するようにしたので、走行区分線にかすれ、欠けが生じている場合や工事などで長さが短い場合であっても、最適に走行区分線の白線部分の見掛け上の延長量もしくは延長割合を設定することができて走行区分線の認識精度を向上させることができ、よって自車の走行路を的確に認識することができる。

また、合成の基準となる画像が現在の走行区分線認識処理周期において撮影された画像であるようにしたので、最新の情報に基づいて画像を合成することができる。また、検出された走行速度に応じて決定される前記時間間隔に相当する周期に撮影された少なくとも１つの撮影画像を選択するようにしたので、同様に最新の情報に基づいて画像を合成することができる。

この実施例において第２に特徴的な点は、図８のＳ１０２で述べたように、過去フレームの明るさ補正を行うようにしたことである。

それについて説明すると、通常、走行区分線の白線部分を精度良く認識するためには、図１３に示すように、カメラ１０による撮影領域の所定の領域（路面。図１３中の斜線部）の明るさを検知し、検知した明るさに基づいて白線部分が明瞭に検出できるようにシャッタ速度や絞りを調整すると共に、さらに必要に応じて撮像信号の出力アンプゲイン（増幅率）などの種々の撮影条件を調整している。

尚、この明細書において「明るさ」とは、明度、輝度、濃度、および検出された画像上の明るさに応じて調整されるシャッタ速度、絞りあるいは映像信号の出力アンプゲインなどの撮影条件などを全て含む意味で使用する。

通常の走行状態においては路面の明るさは建物などの影があったり、路面が濡れていたり、強い日差しが差していたり、様々な環境の変化の影響により時々刻々変化する。その明るさの違いによらず白線部分を明瞭に検出するため、先のような撮影条件の調整を行っている訳である。

ここで、撮影した時点の路面の明るさが異なる場合に現時点と過去の時点との画像を合成することを考える。同一の画像では白線部分がそれ以外の路面（アスファルト、コンクリート）よりも明るいため、合成するとき、画像上の同一点（同一箇所）において明るい方を白線部分とみなして選択することで合成を行っている。

先に述べたように、検出した明るさに基づいて撮影画像間で明るさが一定となるようにシャッタ速度などを調整しているが、実際に路面に明暗の変化が生じた場合、ハンチングの防止などの理由によりシャッタ速度、絞り、アンプゲインは一気に変更させず、徐々に変更するようにしているため、撮影画像間で明るさが一定とはならず、多少異なることとなり、一方の撮影画像の路面（アスファルト部分）よりも別の撮影画像の白線部分の方が暗くなってしまう場合が生じる。

図１４は、この実施例における画像の明るさ補正の処理を示す説明図である。尚、同図の右端にａ，ｂ，ｃを付して示す３種のグラフは、同図の左側の画像での白線部分と路面（アスファルト）の破線で示された箇所の明るさを簡略的に示した図である。同図ａの上部の注記は、パルス状の波形において突出部が白線部分で、その両側は路面であることを示す。従って、同図ａは、左側の画像Ａ，ＢにおいてＡの白線部分より、Ｂの路面の方が明るいことを示す。

図１４のＡは過去の時点で撮影されて記憶されている画像であり、Ｂは現時点で撮影取得された画像である。画像の明るさは右端のグラフａに示すように、Ａの画像の白線部分（図中点線部）よりもＢの画像の路面の方が明るくなっている。後述するように、この実施例においては、図１４のＡ’に示すように、現時点と過去の時点との車両の位置の変化に応じた画像の位置補正を行う。

この時点では画像の明るさはＡとＡ’では変化がなく、この段階で図１４に「補正無」と注記しつつ破線で示すように、両方の画像を合成すると、右端のグラフａに示す如く、画像Ａの白線部分よりも画像Ｂの路面（アスファルト）の方が明るいために画像Ｂの路面部分が選択されることとなり、図１４のＣ’の画像のように画像Ａ（Ａ’）の白線部分がなくなった画像となるという不具合が生じてしまう。

その点に鑑み、この実施例においては、撮影された撮影画像の明るさを、撮影領域の路面の所定領域（図１３の斜線部）の明るさなどから検知すると共に、複数の撮影画像の内の１つの画像を基準として複数の撮影画像において明るさが一致するように補正する。この場合、実際に明るさを検出しても良く、あるいは簡易的に検出しても良い。具体的には過去の時点と現時点とで撮影した際の撮影条件から両画像の明るさの比を求め、これを用いて両画像の明るさを一致させることで、前記の不具合を解消するようにした。尚、比に代え、明るさの差を用いて合成される撮影画像の明るさを一致させることも可能である。

図１５は、図８のＳ１０２の明るさ補正処理のサブ・ルーチン・フロー・チャートである。

以下説明すると、先ずＳ２００，Ｓ２０２において、撮影時の撮影条件であるカメラ１０のシャッタ速度Ｓ０，Ｓ１、絞り値Ｉ０，Ｉ１、画像信号の増幅率を示すアンプゲインＧ０，Ｇ１からなる撮影条件を記憶する。シャッタ速度は、検知された撮影画像の明るさ、具体的には撮影手段の撮影領域の内、路面の所定領域（図１３の斜線部）の明るさを、その部位の画素の濃度などから検知し、図１６に示す特性に従って設定（決定）してカメラ１０の撮像素子（画素）の感度を調整して行う。

尚、周知の如く、図１６に示すように絞り値を調整することによっても、取り込む光量が変化するので、画像の明るさを調整することができる。また、シャッタ速度と絞りの少なくともいずれかで調整された画像濃度は、周囲環境が暗くて依然調整が不足する場合、アンプゲインによってさらにｎ倍して明るさを調整することも可能である。その意味で、Ｓ２００，Ｓ２０２においては、シャッタ速度に加え、絞り値とアンプゲインも記憶する。

次いでＳ２０４において、記憶した各撮影条件に基づいて図示の式により現時点と過去の時点との画像の明るさの比を算出し、Ｓ２０６において算出された明るさ比を過去の時点の画像の明るさに乗じることにより、過去の時点の画像の明るさを現時点の画像の明るさに一致させる補正を行う。

より具体的には、シャッタ速度と絞り値の少なくともいずれかに基づいて複数の撮影画像の明るさの比を検知すると共に、複数の撮影画像のそれぞれの撮影時点におけるシャッタ速度と絞り値の内の少なくとも１つの比および差の少なくともいずれか、詳しくはその両方の比に基づいて明るさを補正するようにした。また、増幅率に基づいても複数の撮影画像の明るさの比を検知するようにした。

尚、明るさは、図１３の斜線部に示す路面の所定領域の明るさを、その部位の画素の濃度から検知すると共に、それによって、設定される複数の撮影画像のそれぞれの撮影時点におけるシャッタ速度と絞り値の内の少なくとも比に基づいて検知された明るさを補正する。

この結果、図８のＳ１１０の処理において、明るさを補正された過去の時点の画像と現時点の画像とが合成される。尚、Ｓ１１０の処理においては、通常、白線などの走行区分線は周囲のアスファルトなどの路面よりも明るいため、合成においては合成される複数の画像の内、複数の箇所の同一箇所（任意の箇所）を構成する画素の内、明るさにおいて明るい方、即ち、画素単位で明るい方を選択して合成する。

この処理により明るさを補正すると、図１４の右端のグラフｂに示すように、過去の時点の画像（図１４の画像Ａ”の点線部）と現時点の画像（図１４の画像Ｂの点線部）の路面の明るさが一致することとなる。この結果、両画像を合成すると、図１４のＣのように路面に白線部分が埋もれることがなく、白線部分が適切に延長された画像を得ることができる。

以上のように、この実施例は、撮影手段によって撮影された撮影画像の明るさを検知し、複数の撮影画像の内の１つの画像を基準として複数の撮影画像において明るさが一致するように補正すると共に、明るさが補正された後、複数の画像を合成するように構成したので、両画像の明るさを一致させる結果、過去の時点と現時点との一方の画像の路面に他方の画像の白線部分が埋もれてしまうことがなく、良好に白線部分を延長することが可能となる。よって、走行区分線の認識精度を向上させることができ、自車の走行路を的確に認識することができる。

また、合成の基準となる画像が現在の走行区分線認識処理周期の画像であるようにしたので、最新の情報に基づいて明るさを一致させつつ、画像を合成することができて走行区分線の認識精度を向上させることができ、よって自車の走行路を的確に認識することができる。また、路面の所定領域の明るさを検知することで、明るさの検知を共通の尺度で行うことができて走行区分線の認識精度を向上させることができる。

また、複数の撮影画像のそれぞれの撮影時点におけるシャッタ速度と絞り値の内の少なくとも１つの比および差の少なくともいずれか、さらにはアンプゲイン（増幅率）に基づいて明るさを検知あるいは補正するようにしたので、明るさの検知や補正が容易となる。複数の画像における同一位置の明るさが一致するように補正するので、一層精度良く明るさを補正することができる。

また、複数の画像の同一箇所を構成する画素の内、明るさにおいて明るい方を選択することにより、複数の撮影画像を合成するように構成したので、合成された画像から走行区分線を一層精度良く認識することができ、よって自車の走行路を一層的確に認識することができる。

この実施例において第３に特徴的な点は図８のＳ１０６およびＳ１０８で述べたように水平画素補正と垂直ライン補正を行うようにしたことである。

それについて説明すると、走行区分線に対する車両１２の姿勢（角度）や走行区分線との水平方向の距離が現時点と過去の時点とでは異なる場合があり、そのため撮影される画像も両時点で水平方向や走行区分線に対する車両１２の角度方向にずれ、当然のことながらそのままの状態で画像を合成すると、走行区分線の水平方向の位置や角度がずれた状態となってしまう。

これを防止するために現在と過去の時点との車両姿勢の変化に応じた量だけ過去の時点の画像上における走行区分線の水平方向の位置や角度方向の補正を行う必要があり、また、現時点と過去の時点における車両１２のピッチング状態が異なることも考えられるため、両時点間のピッチ角変動を画像から得られる地平線位置の変化などから求め、画像における垂直方向の位置を補正する必要もある。

その点、特許文献２記載の従来技術においては、車両のヨーレート変化量、即ち、車両の回転（旋回）運動の有無を検出し、回転運動があればその量に応じた補正を画像に加えているのみで、水平方向の位置の補正が行われず、よって合成画像において走行区分線が適切に延長されない不都合があった。また、特許文献２記載の技術にあっては、ピッチング変化に対しては考慮していない不都合もあった。

図１８はカメラ１０により撮影した、即ち露光した時刻ｔ_-2から時刻ｔ_-1を経て時刻ｔ₀に至るまでの車両１２の走行区分線（車線）に対する位置、姿勢（角度）の変化を示す説明図である。ここで露光時刻ｔ₀が現時点であり、時刻ｔ_-1が過去を、時刻ｔ_-2は時刻ｔ₀とｔ_-1で撮影された画像を合成する際の基準として使用する画像を撮影した時刻であり、時刻ｔ_-1よりさらに過去の時点の時刻である。

この実施例においては、図１８の車両１２の左右に位置する走行区分線（車線）を認識し、その中央を基準点とし、それら点の連続である点列とその間を結ぶ線分（図１８の短破線）を、例えばレーンキープ制御の場合、車両が走行すべきラインとして検出して使用する。尚、図１８の走行区分線は過去の時点の時刻ｔ_-2で撮影して得られたものであるから、点列も時刻ｔ_-2における点列である。露光時刻ｔ₀，ｔ_-1での車両位置における前記点列と車両位置との距離（走行区分線と車両１２との間の距離）をＬ₀，Ｌ₁、点列を結ぶ線分と車両１２の向きとのなす角度（走行区分線に対する車両１２の前後方向角度）をθ₀，θ₁としている。

過去の時点である露光時刻ｔ_-1に撮影して記憶された画像を現時点、即ち、露光時刻ｔ₀で撮影された画像に合成するため、露光時刻ｔ_-2で取得された走行区分線（車線）、点列及び線分を基準として前記の距離Ｌ₀，Ｌ₁、角度θ₀，θ₁を求め、Ｌ₀とＬ₁、θ₀とθ₁との差を各々求め、時刻ｔ₀とｔ_-1との間での走行区分線に対する車両１２の相対位置や角度の変化に伴う撮影画像の変化を補正した上で両時刻の画像を合成するようにした。

図１９は、図８のＳ１０６の水平画素補正処理のサブ・ルーチン・フロー・チャートである。

同図は、露光時刻ｔ₀とｔ_-1との横方向の位置の偏差（現在時刻ｔ₀に対する過去（時刻ｔ_-1）の横方向車両移動量）ΔＬ、および走行区分線もしくはその中間の基準ラインに対する角度（現在時刻ｔ₀に対する過去（時刻ｔ_-1）の角度変化量）Δθを求め、それらから画像上での水平方向の画素位置の補正量を求める処理フローである。

詳細は後述するが、Ｓ３００においてΔＬ、Δθを求め、Ｓ３０２においてそれらΔＬ、Δθから画像平面上における合成する際の画素の位置の補正量を求め、合成前のハードウエア処理として行われるカメラ座標系（Ｕ，Ｖ）と実平面の座標系（Ｘ，Ｙ）との対応付けを行う。このＳ３０２の処理については詳細を後述する。

図２０は、図８のＳ１０８の垂直ライン補正処理のサブ・ルーチン・フロー・チャートである。

先ずＳ４００において露光時刻ｔ₀とｔ_-1とのピッチ方向の変化量Δθpitを求め、Ｓ４０２においてその値に基づいて画像面上での垂直合成ライン位置の補正量を求め、合成前のハードウエア処理として行われるカメラ座標系（Ｕ，Ｖ）と実平面の座標系（Ｘ，Ｙ）との対応付けを行う。

図２１は図１９のＳ３００の処理のサブ・ルーチン・フロー・チャートであり、図２２および図２３はその説明図である。

図２１から図２３を参照して説明する。図２２において、軌跡推定の座標軸は、過去のある時刻における車両の進行方向中心軸（車両中心軸）をＸ軸として設定された座標軸である。この座標系において露光時刻ｔ_-2における車両位置を基準として露光時刻ｔ_-1での車両の位置の横方向の変化量を求めるため、時刻ｔ_-2での車両（中心）位置を原点（ｘ，ｙ）＝（０，０）、車両中心軸方向をｘ軸とする検出結果座標系ｘ，ｙを考える。

車輪速センサ３２、ヨーレートセンサ３４の出力から求めた露光時刻ｔ₀とｔ_-1との間の車両の推定軌跡を用いて露光時刻ｔ_-1の車両１２の位置、向きを時刻ｔ_-2を基準としたｘ，ｙ座標系上に変換する。このとき、検出結果座標系ｘ、ｙ上での露光時刻ｔ_-1での車両１２の位置の座標は、（ｘ，ｙ）である。図２１のＳ５００の（１）で、露光時刻ｔ_-1での車両の位置の座標（ｘ，ｙ）を求める。

また、Ｓ５００の（２）では、図２２に示すように、座標（ｘ，ｙ）の真横、座標ｘ上であって露光時刻ｔ_-2で求めた点列１，Ｐ_k，Ｐ_k+1の内、露光時刻ｔ_-1で車両が位置する点列Ｐ_k，Ｐ_k+1とを結ぶ直線上の点（ｘ，ｙ_p）と先の座標（ｘ，ｙ）との間の距離Ｌ_-1をy_p−yにより求める。

同様にＳ５００の（３）で、露光時刻ｔ_-2を基準として露光時刻ｔ₀における車両位置と点列間を結ぶ直線との間の距離Ｌ₀を求める。尚、図２２においては簡略化のため露光時刻ｔ₀での車両位置、点列Ｐ_k+2などは省略した。

そしてＳ５００の（４）で、Ｌ₀−Ｌ_-1から露光時刻ｔ₀とｔ_-1との横方向位置の偏差ΔＬを求める。当然の事ながら、両露光時刻での車両位置によってΔＬには正負が生じる。

続いて、露光時刻ｔ₀とｔ_-1との間の基準ライン、即ち点列およびそれらを結ぶ直線に対する車両の角度の変化量Δθを求める。

先ず、図２１のＳ５０２の（１）で、図２３のように露光時刻ｔ_-1、時刻ｔ₀での軌跡推定値の差から図２２で示した軌跡推定座標系における角度差を求めることができる。即ち、軌跡推定座標における露光時刻ｔ₀での軌跡推定値をθ₀、露光時刻ｔ_-1での軌跡推定値をθ_-1とすると角度差はθ₀−θ_-1で求められる。

さらに、露光時刻ｔ_-2で求められ露光時刻ｔ₀とｔ_-1の両時刻で車両が位置する点列Ｐ_i，Ｐ_i+1，Ｐ_i+2間を結ぶ直線が異なり、それらの直線が一直線でなければ、図２３のようにそれら直線のなす角度θＲを求める必要がある。当然、直線が一直線であるか、両時刻での車両位置が同一直線の範囲内であれば角度差θ_R＝０である。

図２１のＳ５０２の（２）で、露光時刻ｔ_-2で撮影して検出された点列を用い、露光時刻ｔ_-1、ｔ₀において車両が位置する直線の角度差θ_Rを求める。そしてＳ５０２の（３）で角度の変化量ΔθをΔθ＝θ₀−θ_-1−θ_Rで求める。

図２４は図１９のＳ３０２の処理を示すサブ・ルーチン・フロー・チャートであり、図２５および図２６はその説明図である。

先に図２１および図２２で求めた基準ラインに対する位置の変化量ΔＬ、角度の変化量Δθを基に、時刻ｔ_-1とｔ₀との車両の関係を簡略化して示したものが図２５である。実平面座標系での車両の進行方向における距離、即ち、Ｘと、あるＸでの横方向の距離Ｙとの関係はΔＬ、Δθから
y＝ｘ・tanΔθ＋ΔＬ
となる。

この式から図２４のＳ６００では距離Ｘ＝５ｍ、Ｘ＝３０ｍにおける実平面上での水平方向の合成時に要する補正距離Ｙ５ｍ、Ｙ３０ｍを求める。ここで５ｍ、３０ｍは一例であり、カメラの撮像領域の広さ等から適宜設定することが可能である。

次いでＳ６０２において実平面上での距離Ｘ＝５ｍ、Ｘ＝３０ｍに対応する画像面上でのライン位置Ｖ５ｍ、Ｖ３０ｍを求める。図２６に画像面の座標系を示す。実平面での距離方向のＸ軸に対応するのがＶ軸であり、鉛直方向上方を原点とし、横もしくは水平方向のＹ軸に対応するのがＵ軸となっている。このライン位置Ｖ５ｍ、Ｖ３０ｍは図８のＳ１０４で説明したピッチ方向の変動を学習した補正値を考慮した上で求められている。

次いでＳ６０４においてＳ６００で求めた補正距離Ｙ５ｍ、Ｙ３０ｍに対応する画像面上の横方向の画素位置Ｕ５ｍ、Ｕ３０ｍを求める。

次いでＳ６０６において求められた画像面上の座標（Ｕ５ｍ，Ｖ５ｍ）と（Ｕ３０ｍ，Ｖ３０ｍ）の２点を通る直線を求める。そしてこの実施例では、画像面上のＶ軸上の６点x0,x1,…,x6がこの直線上となるように、異なる時刻の画像を合成するときの合成位置設定を行う。即ち、時刻ｔ_-1とｔ₀における実平面上の基準ラインに対する位置、角度の変化を補正するべく、実平面上での時刻ｔ_-1の車両の位置および角度を示す直線（基準としてＸ軸と一致している）を図２５に示した時刻ｔ₀の位置および角度を示す直線と一致させることとなる。尚、この合成位置設定は前述のハードウエア化された画像処理ＩＣ内で処理されるので、高速処理が可能となっている。

図２７および図２８は、この実施例の位置補正の処理を加えた画像合成の画像イメージと、位置補正を加えない場合の画像合成の画像イメージを示す図である。

図２７のように走行区分線に対する車両の横方向位置、角度の補正を加えると、同図の画像Ｃのように走行区分線が延長された形となるのに対し、補正を加えない場合には図２８のように過去および現在の時点で撮影された走行区分線がずれた形で合成され、走行区分線が延長されていないことが分かる。

この実施例は、複数の撮影画像における走行区分線に対する車両１２の前後方向角度θおよび走行区分線と車両１２との間の距離Ｌを求め、複数の撮影画像間での角度および距離のそれぞれの差（Δθ，ΔＬ）を検知し、検知された角度と距離の差に基づいて走行区分線に対する同一の車両の角度および距離で撮影した画像に補正した後、複数の画像を合成するようにしたので、合成画像において、走行区分線を見掛け上、確実に延長することができる。

また、複数の撮影画像の撮影時点ｔ_-1とｔ₀の車両１２のピッチ角を検出して撮影画像間のピッチ角の差（Δθpit）を検知し、検知されたピッチ角の差に基づき、同一のピッチ角で撮影した画像に補正した後、複数の画像を合成するようにしたので、走行区分線を見掛け上、一層確実に延長することができる。

尚、上記に代え、検知された角度と距離の差に基づいて走行区分線に対する同一の車両の角度および距離で撮影した状態となるように、前記複数の画像間の合成位置を調整して合成するようにしても良い。即ち、上記のように画像自体を移動させる代わりに、合成位置（重ね合わせ位置）を調整して合成しても良い。

図２７を参照して説明すると、過去取得画像Ａと現在取得画像Ｂのいずれか一方の画像自体を前述した両時刻間での横方向位置と角度の変化分ずらして他方の画像に重ね合わせて合成すれば、前述の補正と同様の結果が得られることになる。即ち、横方向位置の補正について考えれば、図２７の画像Ａのｐ点に横方向位置の補正量だけｐ点から横方向にずれた画像Ｂのｑ点が重なるようにすれば良い。図２７では両時刻間の角度の変化はほとんどないが、角度変化がある場合には角度変化量に応じて画像を回転させた上で合成すれば良い。さらにピッチ角の差がある場合にも、図２７の上下方向に差に応じた量だけ一方の画像をずらして合成すれば良い。このようにすることで、前記の画像を補正するものと同様の効果を得ることができる。

この実施例において第４に特徴的な点は、図８のＳ１１０の合成処理において、エッジ検出処理前の原画像の段階で現時点と過去の時点の画像を合成するようにしたことである。

それについて説明すると、図２９はエッジ検出処理を行う前において、換言すれば原画像の段階で現時点と過去の時点との画像を合成した場合の画像を、図３０は特許文献２記載の従来技術のようにエッジ検出処理を行った後の、所謂、エッジ画像の状態で現時点と過去の時点との合成を行った場合の画像を示している。

図３０の従来技術の処理では、その画像Ａ，Ｂのように画像上で自車から遠方の走行区分線の長さが短い、即ち、画像上での大きさが小さいため、現時点と過去の時点の画像を別々にエッジ検出処理した場合、エッジとして認識されず、結果として図３０の画像ａ，ｂのように、エッジ画像上の遠方においては破線で囲んで示すように何もない状態となってしまう。

続いて車両姿勢変化に基づく位置補正処理を行い、図３０の画像ａ’に示す位置補正画像を得、続いて現時点と過去の時点とのエッジ画像を合成しても、図３０の画像Ｄの破線で囲んだ領域のように原画像に見られる遠方の走行区分線に対応するエッジはないものとなる。

これに対し、図２９に示すように、過去の時点の画像（図２９の画像Ａ）を車両姿勢変化に基づく位置補正（図２９の画像Ａ’）および画像の明るさ補正（図２９の画像Ａ”）を行い、エッジ検出処理を行う前の原画像の段階で現時点と過去の時点の画像を合成すると、各々の原画像上では短い遠方の走行区分線が図２９の画像Ｃのように延長されて長くなり、その後にエッジ検出処理を行っても、図２９の画像Ｄに実線で囲んだようにエッジとして検出されることとなる。

このように、この実施例においては、走行区分線の認識処理における撮影画像中の少なくとも走行区分線の形状に変化を与えない処理段階で、より具体的にはエッジ検出前に前記撮影画像を合成する如く構成したので、即ち、エッジ検出処理前の原画像の段階で現時点と過去の時点の画像を合成するようにしたので、遠方の走行区分線も的確に検出することができ、よって走行区分線を見掛け上、延長することができ、認識精度を向上させることができる。

尚、エッジ検出処理前としたが、撮影した原画像上の走行区分線の形状、外形が残っている状態であれば良く、先に述べたように、通常、エッジ検出処理は微分処理、二値化処理、エッジ検出から構成されることから、エッジ検出処理前、つまり、微分処理前でなくても二値化処理前で合成すれば本発明の効果は得られる。

尚、この発明を、エッジ検出処理、ハフ（Hough）変換による走行区分線認識を例に説明したが、この発明はそれに限られるものではなく、他の手法、例えば、図３１に示す、あるいは特開平８−２９７７２８号公報に記載されるようなパターンマッチングを用いる手法に対しても走行区分線部分が延長されることにより、より精度良くパターンマッチングが可能となり有効である。図３２にそのパターン例を示す。

即ち、走行区分線が車載のカメラにより撮影された画像における形状のパターンを図３２に示すような複数のテンプレートとして予め設定しておき、これを撮影画像に図３１の中央の図のように順に当てはめていき、画像とテンプレートとの一致度を求め、図３１の下図のように一致度の分布から最も一致度が高い点がなすラインを走行区分線とするなどの手法が知られており、このようなパターンマッチングにおいても本発明により走行区分線が延長され、走行区分線の認識精度をより向上させることができる。

また、この実施例においては、Ｓ１００の処理において、合成されるべき画像の数は２枚としたが、必要に応じてそれ以上の複数枚としても良い。さらに、この実施例においては周期的に撮影される画像の内から車速に応じて選択するようにしたが、撮影手段を２個以上設けるなどして、共通する同一の周期で撮影されていない画像の内から車速に応じて選択するようにしても良い。

また、Ｓ１０８の補正において、画像から得られる地平線の変化に代え、車両１２の適宜位置にピッチ角センサを配置してその出力から動的なずれを求めて補正しても良い。

また、カメラ１０は車両前方の路面を含む領域を撮影するように構成したが、車両１２が前進走行しているときの車両後方の路面を含む領域を撮影する撮影手段（カメラ）を設けるように構成し、その撮影手段が撮影した撮影画像から車両後方の走行区分線を認識するものでも良いことはいうまでもない。従って、この明細書で「車両の進行方向」とは、車両の前後方向を示す意味で使用する。

この実施例は上記の如く、車両１２の進行方向の路面を含む領域を撮影する撮影手段（カメラ１０、画像処理ＥＣＵ４４）と、前記撮影手段によって撮影された撮影画像中の前記路面上の少なくとも破線状の走行区分線を認識可能な区分線認識手段（画像処理ＥＣＵ４４，Ｓ１２からＳ１６）と、前記撮影手段によって異なる時刻に撮影された複数の撮影画像を合成して前記撮影画像中の前記走行区分線の長さを延長する画像合成手段（画像処理ＥＣＵ４４，Ｓ１２，Ｓ１００からＳ１１０）とを備える車両用走行区分線認識装置において、前記画像合成手段によって合成される複数の撮影画像における走行区分線に対する前記車両の前後方向角度θおよび前記走行区分線と前記車両との間の距離Ｌを求め、前記複数の撮影画像間での前記角度および前記距離のそれぞれの差Δθ，ΔＬを検知する車両状態検知手段（Ｓ１０６からＳ１０８，Ｓ３００，Ｓ３０２，Ｓ４００，Ｓ４０２）を備えると共に、前記画像合成手段は、前記車両状態検知手段によって検知された前記角度と距離の差に基づいて前記走行区分線に対する同一の車両の角度および距離で撮影した画像に補正した後、前記複数の画像を合成する（Ｓ１１０）如く構成した。

また、車両１２の進行方向の路面を含む領域を撮影する撮影手段（カメラ１０、画像処理ＥＣＵ４４）と、前記撮影手段によって撮影された撮影画像中の前記路面上の少なくとも破線状の走行区分線を認識可能な区分線認識手段（画像処理ＥＣＵ４４，Ｓ１２からＳ１６）と、前記撮影手段によって異なる時刻に撮影された複数の撮影画像を合成して前記撮影画像中の前記走行区分線の長さを延長する画像合成手段（画像処理ＥＣＵ４４，Ｓ１２，Ｓ１００からＳ１１０）とを備える車両用走行区分線認識装置において、前記画像合成手段によって合成される複数の撮影画像における走行区分線に対する前記車両の前後方向角度θおよび前記走行区分線と前記車両との間の距離Ｌを求め、前記複数の撮影画像間での前記角度および前記距離のそれぞれの差Δθ，ΔＬを検知する車両状態検知手段（Ｓ１０６からＳ１０８，Ｓ３００，Ｓ３０２，Ｓ４００，Ｓ４０２）を備えると共に、前記画像合成手段は、前記車両状態検知手段によって検知された前記角度と距離の差に基づいて前記走行区分線に対する同一の車両の角度および距離で撮影した状態となるように、前記複数の画像間の合成位置を調整して合成する（Ｓ１１０）如く構成した。

また、前記複数の撮影画像の撮影時点の前記車両のピッチ角θpitを検知して前記撮影画像間のピッチ角の差Δθpitを検知するピッチ角変化検知手段（Ｓ１０６からＳ１０８，Ｓ４００，Ｓ４０２）を備え、前記画像合成手段は、前記ピッチ角検知手段によって検知されたピッチ角の差に基づき、同一のピッチ角で撮影した画像に補正した後、前記複数の画像を合成する（Ｓ１１０）如く構成した。

また、前記複数の撮影画像の撮影時点の前記車両のピッチ角θpitを検知して前記撮影画像間のピッチ角の差Δθpitを検知するピッチ角変化検知手段（Ｓ１０６からＳ１０８，Ｓ４００，Ｓ４０２）を備え、前記画像合成手段は、前記ピッチ角検知手段によって検知されたピッチ角の差に基づき、同一のピッチ角で撮影した状態となるように前記複数の画像の合成位置を調整して合成する（Ｓ１１０）如く構成した。

この発明の実施例に係る車両用走行区分線認識装置の全体構成を示す概略図である。 図１に示す制御ＥＣＵの動作を入出力から示すブロック図である。 図１および図２に示す装置の動作を示すフロー・チャートである。 図３のエッジ検出処理で得られるエッジ画像の説明図である。 図３のHough（ハフ）変換処理により得られる白線などの走行区分線に相当する直線成分である、ガイドラインの説明図である。 図３の車線候補検出処理で得られる車線候補（白線候補点列）の説明図である。 図３の車線位置推定処理で得られる自車の走行する車線の推定位置を示す説明図である。 図３のフレーム合成処理を示すサブ・ルーチン・フロー・チャートである。 図８の過去フレーム選択処理で基準となる現在時刻（今回処理周期）ｔに入力された撮影画像を示す説明図である。 図８の過去フレーム選択処理で現在時刻（今回処理周期）ｔに入力された撮影画像に合成されるべき時刻（前回以前の処理周期）ｔ_-nに入力された撮影画像を示す説明図である。 図８の垂直ライン補正処理で補正された画像を示す説明図である。 図８の合成処理で得られる合成画像を示す説明図である。 図８の過去フレームの明るさ検知処理で検知されるべき撮影領域の所定の領域（路面）を示す説明図である。 図８の過去フレームの明るさ検知処理を示す説明図である。 図８の明るさ補正処理のサブ・ルーチン・フロー・チャートである。 図１５の処理で使用される、路面の明るさに対するシャッタ速度および絞りの特性を示す説明グラフである。 同様に、図１５の処理で使用される、シャッタ速度および絞りに対するアンプゲイン（増幅率）の特性を示す説明グラフである。 図８の水平画素補正を説明する、カメラにより撮影（露光した）時刻ｔ_-2から時刻ｔ_-1を経て時刻ｔ₀に至るまでの車両の走行区分線（車線）に対する位置、姿勢（角度）の変化を示す説明図である。 図８の水平画素補正処理のサブ・ルーチン・フロー・チャートである。 図８の垂直ライン補正処理のサブ・ルーチン・フロー・チャートである。 図１９の処理のサブ・ルーチン・フロー・チャートである。 図２１の処理を示す説明図である。 同様に、図２１の処理を示す説明図である。 図１９の処理のサブ・ルーチン・フロー・チャートである。 図２４の処理を示す説明図である。 同様に、図２４の処理を示す説明図である。 図８の位置補正の処理を加えた画像合成の画像イメージを示す説明図である。 図８の位置補正の処理を加えない場合の画像合成の画像イメージを示す説明図である。 図８の合成処理でエッジ検出処理を行う前に合成した場合の画像を示す説明図である。 従来技術で、エッジ検出処理を行った後に合成した場合の画像を示す説明図である。 エッジ検出処理、ハフ（Hough）変換に代わる、パターンマッチング手法を説明する説明図である。 図３１のパターンマッチングにおけるパターン例を示す説明図である。

符号の説明

１０ カメラ（撮影手段）
１２ 車両
３０ 電動パワーステアリング機構（ＥＰＳ）
４０ 制御ＥＣＵ
４２ ＥＰＳＥＣＵ
４４ 画像処理ＥＣＵ（撮影手段）

Claims (4)

1. 車両の進行方向の路面を含む領域を撮影する撮影手段と、前記撮影手段によって撮影された撮影画像中の前記路面上の少なくとも破線状の走行区分線を認識可能な区分線認識手段と、前記撮影手段によって異なる時刻に撮影された複数の撮影画像を合成して前記撮影画像中の前記走行区分線の長さを延長する画像合成手段とを備える車両用走行区分線認識装置において、前記画像合成手段によって合成される複数の撮影画像における走行区分線に対する前記車両の前後方向角度および前記走行区分線と前記車両との間の距離を求め、前記複数の撮影画像間での前記角度および前記距離のそれぞれの差を検知する車両状態検知手段を備えると共に、前記画像合成手段は、前記車両状態検知手段によって検知された前記角度と距離の差に基づいて前記走行区分線に対する同一の車両の角度および距離で撮影した画像に補正した後、前記複数の画像を合成することを特徴とする車両用走行区分線認識装置。
2. 車両の進行方向の路面を含む領域を撮影する撮影手段と、前記撮影手段によって撮影された撮影画像中の前記路面上の少なくとも破線状の走行区分線を認識可能な区分線認識手段と、前記撮影手段によって異なる時刻に撮影された複数の撮影画像を合成して前記撮影画像中の前記走行区分線の長さを延長する画像合成手段とを備える車両用走行区分線認識装置において、前記画像合成手段によって合成される複数の撮影画像における走行区分線に対する前記車両の前後方向角度および前記走行区分線と前記車両との間の距離を求め、前記複数の撮影画像間での前記角度および前記距離のそれぞれの差を検知する車両状態検知手段を備えると共に、前記画像合成手段は、前記車両状態検知手段によって検知された前記角度と距離の差に基づいて前記走行区分線に対する同一の車両の角度および距離で撮影した状態となるように、前記複数の画像間の合成位置を調整して合成することを特徴とする車両用走行区分線認識装置。
3. 前記複数の撮影画像の撮影時点の前記車両のピッチ角を検知して前記撮影画像間のピッチ角の差を検知するピッチ角変化検知手段を備え、前記画像合成手段は、前記ピッチ角検知手段によって検知されたピッチ角の差に基づき、同一のピッチ角で撮影した画像に補正した後、前記複数の画像を合成することを特徴とする請求項１記載の車両用走行区分線認識装置。
4. 前記複数の撮影画像の撮影時点の前記車両のピッチ角を検知して前記撮影画像間のピッチ角の差を検知するピッチ角変化検知手段を備え、前記画像合成手段は、前記ピッチ角検知手段によって検知されたピッチ角の差に基づき、同一のピッチ角で撮影した状態となるように前記複数の画像の合成位置を調整して合成することを特徴とする請求項２記載の車両用走行区分線認識装置。