JP2004070383A

JP2004070383A - 車両用走行制御装置

Info

Publication number: JP2004070383A
Application number: JP2002224400A
Authority: JP
Inventors: Shinko Ozaki; 尾崎　眞弘
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2002-08-01
Filing date: 2002-08-01
Publication date: 2004-03-04
Anticipated expiration: 2022-08-01
Also published as: JP4092974B2

Abstract

【課題】大型トラック等の影、道路の分岐、交差点等の検出が困難、あるいは不可能な走行路境界線を有る程度の信頼度で推定でき、走行制御を継続して行うことができる車両用走行制御装置を提供する。
【解決手段】第１ウィンドウ１１ａに走行路境界線が検出されず、かつ、前回の検出時に第２検出ウィンドウ１１ｂで走行路境界線が検出されなかったとき、過去の検出時に第１ウィンドウ１１ａで検出された走行路境界線と、カーナビゲーションシステム等から得られる道路情報とに基づいて、現在の第１ウィンドウ１１ａに位置すると予想される走行路境界線の候補線を推定する。
【選択図】　　　　図４

Description

【０００１】
【発明の属する技術分野】
本発明は、走行路境界線により推定した走行路に基づいて走行制御を行う車両用走行制御装置の技術分野に属する。
【０００２】
【従来の技術】
この種の車両用走行制御装置としては、走行路の推定に用いる検出位置で走行路境界線（車線）が検出されなかった場合、その検出されなかった車線が過去の検出時に実際に検出されているとき、その位置情報に基づいて現在の車線検出位置における車線の位置を推定し、推定された車線位置に基づいて走行路を推定する技術が知られている。
【０００３】
すなわち、この従来技術は、走行路の検出に用いる第１走行路境界線検出位置、およびその先方に位置する第２走行路境界線検出位置に存在する各走行路境界線の位置情報を抽出して記憶する。そして、第１の走行路検出位置において走行路境界線が検出されないとき、走行路境界線が第２走行路境界線検出位置に存在したときに記憶した前回の走行路境界線の位置情報を用いて走行路を推定するものである。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記従来技術にあっては、第１走行路境界線検出位置で走行路境界線が検出されず、かつ、過去の検出時に第２走行路境界線検出位置でも対応する走行路境界線が検出されていない場合、走行路を検出することができないため、走行制御が不可能になるという問題があった。
【０００５】
本発明は、上記問題に着目してなされたもので、その目的とするところは、大型トラック等の影、道路の分岐、交差点等の検出が困難、あるいは不可能な走行路境界線を推定でき、走行制御を継続して行うことができる車両用走行制御装置を提供することにある。
【０００６】
【課題を解決するための手段】
上記目的を達成するため、本発明では、自車前方の第１走行路境界線検出位置と、その前方の第２走行路境界線検出位置の画像データを撮像する撮像手段と、撮像された画像データに基づいて、第１走行路境界線検出位置と第２走行路境界線検出位置に存在する走行路境界線を検出する境界線検出手段と、検出された走行路境界線の特徴を記憶する境界線記憶手段と、道路情報を検出する道路情報検出手段と、検出された走行路境界線と道路情報から走行車線の状態を認識する車線認識手段と、自車の走行状態を検出する走行状態検出手段と、を備えた車両用走行制御装置において、前記境界線検出手段は、第１走行路境界線検出位置に走行路境界線が検出されず、かつ、前回の検出時に第２走行路境界線検出位置で走行路境界線が検出されなかったとき、境界線記憶手段に記憶された過去の第１走行路境界線検出位置で検出された走行路境界線の特徴と道路情報とに基づいて、現在の第１走行路境界線検出位置における走行路境界線を推定する境界線推定部を備えることを特徴とする。
【０００７】
【発明の効果】
本発明の車両用走行制御装置にあっては、境界線推定部は、現在第１走行路境界線検出位置に走行路境界線が検出されず、過去の第２走行路境界線検出位置でも走行路境界線が検出されていないとき、過去に第１走行路境界線検出位置で検出された走行路境界線と、カーナビゲーションシステム等からの道路情報（例えば、道路曲率等）に基づいて、現在の第１走行路境界線検出位置における走行路境界線推定する。
【０００８】
よって、道路上の影や隣接車線上を走行する大型車両などによるノイズ要因や、カーブにより車線認識が一次的に困難な場合であっても、走行路境界線を推定でき、走行制御を継続して行うことができる。
【０００９】
【発明の実施の形態】
以下、本発明の車両用走行制御装置を実現する実施の形態を、請求項１，２，３，４に係る発明に対応する第１実施例に基づいて説明する。
【００１０】
（第１実施例）
まず、構成を説明する。
図１は、第１実施例の構成を示すブロック図である。
【００１１】
図において、１はカメラ、２は候補線抽出手段、３は車線認識手段、４は車両状態検出手段、５は道路状態検出手段、６は走行制御手段、７は操舵補助手段、８はブザー、９は表示器である。
【００１２】
前記カメラ１は、走行中の車両前方の道路画像を、例えば、１秒間に３０フレーム撮像する。
前記候補線抽出手段２は、カメラ１により撮像された画像データから走行車線を区別する走行路境界線の候補線を抽出する。
【００１３】
前記車線認識手段３は、抽出された候補線と検出された道路状態とから、走行車線を認識する。
前記車両状態検出手段４は、走行中の自車両の車速と舵角とを検出する。
【００１４】
前記道路状態検出手段５は、カーナビゲーションシステム等を用いて、走行中の道路環境情報を検出する。
前記走行制御手段６は、認識した走行車線と、車速や舵角等の車両状態とから操舵補助の必要性を判断し、この判断に基づいて制御指令を出力する。
【００１５】
前記操舵補助手段７は、走行制御手段６から出力された制御指令に基づき、運転者の操舵を補助する制御を行う。
前記ブザー８は、図示しない車線逸脱警報装置により自車が走行路境界線から逸脱すると判断されたとき、警告音を発して運転者へ逸脱警告を行う。また、前記表示器９は、点灯により逸脱警告を行う。
【００１６】
次に、車線認識制御について説明する。
前記候補線抽出手段２は、画像処理装置を含み、カメラ１により撮像された画像データから走行車線を区別する走行路境界線としての候補線を抽出する。画像処理装置は、画像データを、例えば１フレームが５１２×４８０画素の２５６階調モノクロ濃淡画像情報として所定時間毎に連続的に記憶する。記憶された１フレーム分の画像データは、画面の横方向をＸ座標、縦方向をＹ座標として、画素毎にＧ（ｘ，ｙ）のように画素を特定する座標が割り付けられる。
【００１７】
次に、入力した画像データのエッジ点を抽出する。エッジ点の抽出処理では、入力画像Ｇ（ｘ，ｙ）に対してＸ方向の一次微分を求め、その値Ｓｘ（ｘ，ｙ）を入力画像のＧ（ｘ，ｙ）の濃度値とする。
【００１８】
続いて、閾値ＣｓとＳｘ（ｘ，ｙ）とを比較し、Ｓｘ（ｘ，ｙ）＞Ｃｓの画素をエッジ点と判断する。これにより、２値（または３値）のエッジ画像が得られる。ここで、エッジ点とは、明るさの急激に変化する点を意味する。
【００１９】
次に、図２に示すように、エッジ画像において車両に設置したカメラ１の取り付け姿勢から予測される走行路境界線の存在領域付近に検出ウィンドウ（ウィンドウ）１１を設定する。片側の走行路境界線につき、例えば、上下に２つのウィンドウを設定する。
【００２０】
続いて、ウィンドウ１１内において走行路境界線を示すと思われる直線の検出処理を実行する。この検出処理は、ウィンドウ１１内において、上底の任意のエッジ点１点と、下底の任意のエッジ点１点とを結んで形成される線分上の特徴量となるエッジ点の和（画素数に相当）を算出して記録する。この処理を、上底の各点と下底の各点とを結ぶ全線分（ｎ×ｍ本）に対して実行し、線分上のエッジ点数が最大の線分を検出走行路境界線１２とする。ウィンドウ１１内で検出された直線成分を、走行路を推定算出するための候補として考え、もう一方のウィンドウ１１内で検出された検出走行路境界線とともに候補線（または候補位置）とする。つまり、図３に示すように、各ウィンドウ１１に候補線１３が多くとも１つ検出される。この候補線１３を検出することで、候補点のみ検出する場合に比して、エッジ点の検出バラツキに対する信頼性を向上させることができる。
【００２１】
次に、車線認識手段３では、候補選抽出手段２の抽出結果に基づいて、ウィンドウ毎の候補線１３でレーンマーカを折れ線近似した形状で自車線領域を認識する。あるいは、レーンマーカを２次元のモデル式に当てはめて自車線領域を認識しても良い。
【００２２】
ここで、走行車線の少なくとも片側一方の走行路境界線を認識するためには、走行路が直線路であるならば、少なくとも２本の候補線、もしくは１本の線とその傾きが必要である。
【００２３】
便宜上、図４に示すように、撮像フレーム１４の検出ウィンドウ１１内で候補線１３が検出された状態を１、ノイズ等の外乱要因により検出されなかった状態を０として、走行車線最遠方のウィンドウ２点に注目し、最遠方のウィンドウを第２ウィンドウ１１ｂ、その手前のウィンドウを第１ウィンドウ１１ａとする。
【００２４】
従来技術では、現在において第１ウィンドウ１１ａで候補線または候補点が検出されず、かつ過去の検出時に、第２ウィンドウ１１ｂでも対応する候補選または候補点が検出されない場合には、制御不可能となっていたが、本発明では、その場合に着目する。
【００２５】
走行中に第１，第２ウィンドウ１１ａ，１１ｂの候補線または候補点が検出できない状態として、１つ過去において下記に示す▲１▼〜▲３▼の３通りが考えられる。
【００２６】
【表１】

（過去の状態▲１▼）
下表は、道路上の影や隣接車線上を走行する大型車両などによるノイズ要因やカーブなどにより、車線認識が一次的に困難となった場合を示す。
【００２７】
【表２】

この場合は、現在に対して１つ過去に遡り、すでに走行していた状態で検出されている第２ウィンドウ１１ｂの候補線状態から、現在の第１ウィンドウ１１ａの候補点１３を推定し、道路形状を検出する。
【００２８】
（過去の状態▲２▼）
下表は、▲１▼の状態に加えて分岐地点や合流地点、一般路の交差点など、周期的な道路形状で一次的に車線が認識困難となった場合を示す。
【００２９】
【表３】

この場合、１つ戻った過去（前回）の候補点検出状態（前回の第１ウィンドウの検出結果の記憶）と、車両から得られる走行道路状態、例えばカーナビゲーションシステム、ＶＩＣＳ、衛星から撮影された写真などにより道路形状ρを用いることにより、車線状態を検出できる。
【００３０】
（過去の状態▲３▼）
下表は、現在に対して１つ過去に戻った検出状態においても走行路境界線候補点が検出できなかった場合を示す。
【００３１】
【表４】

この場合には、さらに過去に戻って検出された候補点状態と走行中の前方走行路状態から道路曲率ρを用いることにより、走行路を推定する。
【００３２】
ここで、直線路検出が続いている走行車線の認識状態の信頼性を向上させるため、参照する過去ウィンドウ検出状態を過去に検出されたＡの平均値Ａａｖｒとしてこの値を参照しても良い。
【００３３】
過去において候補点１３が検出されない状態が続いている場合には、検出された道路曲率ρが走行制御装置の仕様規格、例えば車線逸脱警告では、暫定案として、（ｉ）２０［ｍ／ｓ］かつ、Ｒ５００以上、（ｉｉ）１７［ｍ／ｓ］かつ、Ｒ２５０（Ｒ１２０）以上、を満たさない場合には走行路境界線が検出不可能であり、制御不可能とする。また、他の手段によって道路曲率などの情報が検出できない場合においても、走行路境界線が検出不可能として、制御不可能とする。
【００３４】
次に、車線逸脱警報装置を備えた車両に本発明を適用した場合の逸脱警告制御例について説明する。
図６は、逸脱警告制御の流れを示すフローチャートである。
【００３５】
ステップ１０１では、図５に示す車両のヨー角φｒをヨーレイトセンサ等により検出する。
【００３６】
ステップ１０２では、車両のヨー角φｒが所定値以上であるかどうかを判断する。所定値以上の場合にはステップ１０３へ進み、所定値より小さい場合にはステップ１０１へ戻る。ここで、所定値とは、ヨー角φｒがほとんど発生しない直進に近い状態を示している。
【００３７】
ステップ１０３では、ヨー角方向に走行路境界線を検出できるかどうかを判断する。検出できない場合にはステップ１０４へ進み、検出できる場合にはステップ１０５へ進む。
【００３８】
ステップ１０４では、検出されない走行路境界線を、上述した推定方法に基づいて推定する。
【００３９】
ステップ１０５では、仮に逸脱予想時間を１秒として、下記（１），（２）式を用いて前方注視点を算出し、車線逸脱予想を行う。
Ｌｓ＝Ｖ×Ｔｔｌｃ　．．．（１）
Ｙｓ＝Ｙｃｒ＋Ｌｓφｒ　．．．（２）
なお、図５に示すように、Ｙｓ［ｍ］は前方注視点、Ｙｃｒ［ｍ］は車両横変位（カメラ）、Ｖ［ｍ／ｓ］は車速、Ｔｔｌｃは逸脱予測時間、例えば１．０［ｓｅｃ］である。
【００４０】
ステップ１０６では、車両が走行路境界線から逸脱しているかどうかを、前方到達予想位置が走行路境界線に到達したかどうかに基づいて判断する。到達している場合にはステップ１０７へ進み、到達していない場合にはステップ１０５に戻る。ここで、到達の基準は、例えば、車両に備えられた前輪の一方が、逸脱予測時間（例えば１．０［ｓｅｃ］）で到達する位置とする。
【００４１】
ステップ１０７では、ブザー８や表示器９により運転者に逸脱警告を行い、本制御を終了する。
【００４２】
すなわち、一次的に走行路境界線の検出が困難な状況においても、前方到達位置と走行路境界線を推定し、前方到達位置が走行路境界線に実際に到達する前に、逸脱警告をすることができる。さらに、ヨー角が発生しない場合には、不必要な検出を減らして走行制御装置６への負荷を軽減することができる。
【００４３】
次に、効果を説明する。
本実施例の車両用走行制御装置にあっては、下記に列記する効果を得ることができる。
【００４４】
（１）　第１検出ウィンドウ１１ａで走行路境界線が検出されず、過去においても第２検出ウィンドウ１１ｂで走行路境界線が検出されなかった場合、過去に第１検出ウィンドウ１１ａで検出された走行路境界線とカーナビゲーションシステム等からの道路情報（例えば、道路曲率等）に基づいて、現在の第１検出ウィンドウ１１ａに位置する走行路境界線を推定し、推定された走行路境界線の特徴に基づいて走行車線を推定することとしたため、道路上の影や隣接車線上を走行する大型車両などによるノイズ要因や、カーブにより車線認識が一次的に困難な場合であっても、走行路境界線を推定でき、安定した走行制御を行うことができる。
【００４５】
（２）　高解像度の撮像素子を用いた検出ウィンドウ１１を設定することにより、走行路境界線検出の信頼度を大幅に向上させることができる。すなわち、検出ウィンドウ１１内にエッジ点の抽出後、走行路境界線のベースとなる候補線を引く際に、エッジ点のばらつきを吸収するように、ウィンドウ１１の上底から下底間で、エッジ点の点数が集中する部分に線を引いて近似させるため、エッジ点のノイズによるばらつきが解消され、走行路境界線の検出精度が向上する。
【００４６】
（３）　過去に第１検出ウィンドウ１１ａと第２検出ウィンドウ１１ｂでともに走行路境界線が検出されなかった場合、さらに過去に第１検出ウィンドウ１１ａまたは第２検出ウィンドウ１１ｂで検出された走行路境界線とカーナビゲーションシステム等からの道路情報（例えば、道路曲率等）に基づいて、現在第１検出ウィンドウ１１ａに位置する走行路境界線を推定することとしたため、検出不可能な状態が継続する道路の分岐、合流等の走行路境界線も有る程度の信頼度で認識し続けることができる。
【００４７】
（４）　走行路境界線が検出されないとき、推定された走行路境界線に基づいて自車の逸脱可否判断を行うことにより、自車の逸脱可否判断を正確に行うことができ、逸脱警告制御の信頼性をより高めることができる。
【００４８】
（その他の実施例）
以上、本発明の車両用走行制御装置を第１実施例に基づき説明してきたが、本発明の具体的な構成については、各実施例に限られるものではなく、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。
【図面の簡単な説明】
【図１】第１実施例の構成を示すブロック図である。
【図２】検出ウィンドウの構成を示す図である。
【図３】候補点の検出を示す図である。
【図４】検出ウィンドウと候補点の関係を示す図である。
【図５】前方注視点の算出方法を示す説明図である。
【図６】逸脱警告制御の流れを示すフローチャートである。
【符号の説明】
１　カメラ
２　候補線抽出手段
３　車線認識手段
４　車両状態検出手段
５　道路状態検出手段
６　走行制御手段
７　操舵補助手段
８　ブザー
９　表示器
１１　検出ウィンドウ
１２　検出走行路境界線
１３　候補線
１４　撮像フレーム

Claims

自車前方の第１走行路境界線検出位置と、その前方の第２走行路境界線検出位置の画像データを撮像する撮像手段と、
撮像された画像データに基づいて、第１走行路境界線検出位置と第２走行路境界線検出位置に存在する走行路境界線を検出する境界線検出手段と、
検出された走行路境界線の特徴を記憶する境界線記憶手段と、
道路情報を検出する道路情報検出手段と、
検出された走行路境界線と道路情報から走行車線の状態を認識する車線認識手段と、
自車の走行状態を検出する走行状態検出手段と、
を備えた車両用走行制御装置において、
前記境界線検出手段は、第１走行路境界線検出位置に走行路境界線が検出されず、かつ、前回の検出時に第２走行路境界線検出位置で走行路境界線が検出されなかったとき、境界線記憶手段に記憶された過去の第１走行路境界線検出位置で検出された走行路境界線の特徴と道路情報とに基づいて、現在の第１走行路境界線検出位置における走行路境界線を推定する境界線推定部を備えることを特徴とする車両用走行制御装置。
請求項１に記載の車両用走行制御装置において、
前記撮像手段は、高解像度の撮像素子を備え、
この撮像素子を上下に２分割して検出ウィンドウを設定し、
この検出ウィンドウの下側のウィンドウに表示される位置を第１走行路境界線検出位置、上側のウィンドウに表示される位置を第２走行路境界線検出位置としたことを特徴とする車両用走行制御装置。
請求項１または請求項２に記載の車両用走行制御装置において、
前記境界線推定手段は、過去に第１走行路境界線検出位置と第２走行路境界線検出位置で走行路境界線が検出されなかったとき、境界線記憶手段に記憶されたさらに過去の第１走行路境界線検出位置で検出された走行路境界線、または第２走行路境界線検出位置で検出された走行路境界線の特徴と道路情報とに基づいて、現在の第１走行路境界線検出位置における走行路境界線を推定することを特徴とする車両用走行制御装置。
請求項１ないし請求項３のいずれか１項に記載の車両用走行制御装置において、
認識された走行車線と自車の走行状態に基づいて自車の走行を制御する走行制御手段と、
認識された走行路境界線に基づいて自車の逸脱可否判断を行う車線逸脱判断手段と、
自車が走行路境界線から逸脱すると判断されたとき、運転者に警告を行う逸脱警告手段と、を設け、
前記車線逸脱判断手段は、走行路境界線が検出されないとき、推定された走行路境界線に基づいて自車の逸脱可否判断を行うことを特徴とする車両用走行制御装置。