JP2007018451A - 道路区画線検出装置 - Google Patents

Abstract

【課題】 画像処理の量子化誤差に伴う道路区画線の誤検出を防止することにある。
【解決手段】 車載のカメラにより撮像された撮像画像を画像処理することにより、道路の道路区画線の自車両に対するヨー角及び曲率を検出させる。また、車両の走行する道路が直線道路であるか否かを判別させる。直線道路走行中における複数のカメラ撮像画像ごとの上記ヨー角及び曲率から、そのヨー角の平均値及び曲率の平均値を道路区画線検出を行ううえでのゼロ点として算出させる。そして、そのゼロ点を基準にして、検出されるヨー角及び曲率を補正させる。
【選択図】 図４

Description

本発明は、道路区画線検出装置に係り、特に、撮像手段により撮像された撮像画像から車両の走行する道路にある白線などの道路区画線を検出するうえで好適な道路区画線検出装置に関する。

従来から、車載カメラを用いて自車両前方の所定領域を撮影し、その撮像された撮像画像を画像処理することで、その撮像画像の中から道路上に描かれた車両の走行する走路を区切る白線などの道路区画線を検出・抽出する装置が知られている（例えば、特許文献１参照）。この装置においては、撮像された撮像画像から道路区画線を抽出するのに、まず撮像画像を上下方向及び左右方向について所定画素数のデータとしたうえで、その撮像画像からのエッジ抽出を行い、そして、得られた複数のエッジ点を適宜結んで直線近似することにより、白線などの道路区画線を検出することとしている。
特開２００４−３１０５２５号公報

しかし、上記の如く所定画素数の撮像画像を画像処理するうえでは、エッジ点となる画素の位置を抽出することが必要であるが、この抽出されたエッジ点となる画素位置については、その量子化に伴って正確な位置に対して誤差が発生し得る。このため、抽出されたエッジ点の画素位置をそのまま道路区画線の存在する位置に対応するものとして道路区画線の検出を行うものとすると、例えば車両が実際には直線道路を走行する状態にあっても、その検出される道路区画線が有限の曲率を有するもの或いは自車両に対して偏向したヨー角を有するものとしてカーブ路と誤認識される等の不都合が発生するおそれがある。

本発明は、上述の点に鑑みてなされたものであり、画像処理の量子化誤差に伴う道路区画線の誤検出を防止することが可能な道路区画線検出装置を提供することを目的とする。

上記の目的は、撮像手段により撮像された撮像画像から車両が走行する道路の道路区画線を検出する道路区画線検出装置であって、前記撮像画像を画像処理することにより、前記道路区画線の自車両に対するヨー角及び曲率の少なくとも何れかを検出するヨー角／曲率検出手段と、車両の走行する道路が直線道路であるか否かを判別する直線道路判別手段と、前記直線道路判別手段により車両の走行する道路が直線道路であると判別されるときに、複数の撮像画像ごとの前記ヨー角／曲率検出手段による検出結果に基づいて、該ヨー角／曲率検出手段での検出を行ううえでの特性パラメータを算出する特性パラメータ算出手段と、前記特性パラメータ算出手段により算出された前記特性パラメータに基づいて、前記ヨー角／曲率検出手段による検出結果を補正する補正手段と、を備える道路区画線検出装置により達成される。

この態様の発明において、ヨー角／曲率検出手段は、撮像手段により撮像された撮像画像の画像処理により道路区画線の自車両に対するヨー角及び曲率の少なくとも何れかを検出する。車両の走行道路が直線道路であるときに、複数の撮像画像ごとのヨー角／曲率検出手段による検出結果に基づいて、そのヨー角／曲率検出手段での検出を行ううえでの特性パラメータが算出される。そして、その算出された特性パラメータに基づいて、ヨー角／曲率検出手段による検出結果が補正される。車両の走行する道路が直線道路であれば道路区画線は直線であるので、その際に検出される道路区画線のヨー角や曲率からヨー角／曲率検出手段での検出を行ううえでの量子化誤差に起因する特性パラメータを算出できる。従って、かかる特性パラメータを用いてヨー角／曲率検出手段による検出結果を補正することとすれば、撮像画像から道路区画線を正確に検出することができる。このため、本発明の構成によれば、画像処理の量子化誤差に伴う道路区画線の誤検出を防止することができる。

この場合、上記した道路区画線検出装置において、前記ヨー角／曲率検出手段による検出結果を記録する記録手段を備え、前記特性パラメータ算出手段は、前記直線道路判別手段により車両の走行する道路が直線道路であると判別される状況において、前記ヨー角／曲率検出手段による検出が所定数以上行われた場合に、前記記録手段に記録されている該所定数の前記ヨー角／曲率検出手段による検出結果に基づいて前記特性パラメータの算出を行うこととすればよい。

また、上記した道路区画線検出装置において、前記特性パラメータ算出手段は、撮像画像ごとの前記ヨー角／曲率検出手段による検出結果の平均値を算出することとしてもよい。

更に、上記した道路区画線検出装置において、前記補正手段による補正の結果を前記道路区画線のヨー角又は曲率として出力する出力手段を備えることとしてもよい。

本発明によれば、画像処理の量子化誤差に伴う道路区画線の誤検出を防止することができる。

図１は、本発明の一実施例である車両に搭載される道路区画線検出装置１０を備えるシステムの構成図を示す。本実施例の道路区画線検出装置１０は、カメラ１２及び画像処理部１４を備えている。カメラ１２は、車体前部のバンパやグリルに或いは車室内前部のインナーリヤビューミラーのステイに配設されている。カメラ１２は、車両前方の進行方向斜め下方に向いた光軸を有し、車両前方領域を鳥瞰図的に撮影する例えばＣＣＤカメラなどである。

カメラ１２には、画像処理部１４が接続されている。カメラ１２が撮影した結果得られた撮像画像は、映像信号として画像処理部１４に供給される。画像処理部１４は、ＡＤ変換により、カメラ１２から取得した撮像画像を所定画素数のデジタル画像データに変換する。画像処理部１４には、エッジ抽出部１６が設けられている。道路は一般にアスファルトで舗装されていることが多いので、取得した撮像画像には道路が輝度（明るさ）の低い黒色で現れる一方、道路上に描かれている車両の走行する車線を区切る白線や黄線などの道路区画線は、比較的輝度の高いものとなって撮像画像に現れる。エッジ抽出部１６は、カメラ１２から供給されてデジタル変換された所定画素数の撮像画像から輝度変化の大きいエッジ点を抽出する。

画像処理部１４には、また、白線検出部１８が設けられている。白線検出部１８は、エッジ抽出部１６の抽出したエッジ点に基づいて、後に詳述する如く抽出した複数のエッジ点を適宜結ぶことにより線状のエッジ線の生成を行い、道路上の道路区画線の検出、具体的には、道路区画線の道路における形状（曲率及び自車両に対するヨー角）の検出を行う。そして、道路区画線検出装置１０は、画像処理部１４においてカメラ１２の撮像画像からエッジ線を生成して道路区画線を検出すると、その道路区画線に対する自車両の横位置を推定する。

画像処理部１４には、更に、情報を記録可能な記録部１９が設けられている。記録部１９は、白線検出部１８における検出結果を、過去所定フレーム数の撮像画像について記録することが可能となっている。

本実施例のシステムは、上記した道路区画線検出装置１０に接続する自動操舵制御装置２０を備えている。自動操舵制御装置２０は、電子制御ユニット（以下、操舵ＥＣＵと称す）２２を備えている。操舵ＥＣＵ２２には、操舵モータ２４及び車速センサ２６が接続されている。操舵モータ２４は、操舵ＥＣＵ２２から供給される指令信号に従って車両を操舵させるためのトルクを発生する。車速センサ２６は、車両の速度に応じた信号を出力する。操舵ＥＣＵ２２は、車速センサ２６の出力信号に基づいて車速を検出する。また、操舵ＥＣＵ２２には、道路区画線検出装置１０の算出した自車両の横位置情報が供給される。操舵ＥＣＵ２２は、自車両の横位置から例えば自車両が道路区画線から逸脱しそうになったときに、逸脱回避のための車速に応じた車両の自動操舵を実現すべく操舵モータ２４に対して指令信号を供給する。

次に、本実施例の道路区画線検出装置１０において行われるカメラ撮像画像の画像処理の手法について説明する。図２は、カメラ１２の撮像画像をＡＤ変換して得られるデジタル画像データの画素を表した図を示す。

本実施例において、画像処理部１４は、まず、所定時間間隔ごとに、カメラ１２から映像信号として供給される撮像画像をＡＤ変換により図２に示す如き所定画素数のデジタル画像データに変換する。そして、そのデジタルの撮像画像をエッジ抽出部１６においてエッジ抽出する。エッジ抽出部１６は、例えば、予め定められている所定輝度或いは画像内の平均輝度などをしきい値として、暗から明へ輝度変化する画素位置をエッジ点として抽出する。具体的には、全画素のうちＸ方向左隣りの画素の輝度がしきい値未満でありかつ右隣りの画素の輝度がしきい値以上となる画素をエッジ点として抽出し、或いは、全画素のうち左隣りの画素との輝度差がしきい値以上となる画素をエッジ点として抽出する。尚、逆に、明から暗へ輝度変化する画素位置をエッジ点として抽出することとしてもよく、この場合には、全画素のうちＸ方向左隣りの画素の輝度がしきい値以上でありかつ右隣りの画素の輝度がしきい値未満となる画素をエッジ点として抽出し、或いは、全画素のうち右隣りの画素との輝度差がしきい値以上となる画素をエッジ点として抽出することとなる。

画像処理部１４は、予め、カメラ１２の車体への取り付け角度（光軸角度）や取り付け位置，カメラ特性などを基に設定された、カメラ１２の撮影する撮像画像上における画面位置とその撮像画像に映ると予想される車両前方道路上の各点についての自車両に対する位置との幾何学的な相対位置関係を記憶している。尚、この相対位置関係は、車載センサを用いて検出される車高やピッチ角などの車両姿勢、或いは、道路形状を認識可能なナビゲーション装置を用いて認識される上りや下り，バンク角度などの道路形状に応じて補正・変更するのが好適である。

エッジ抽出部１６は、上記の如くカメラ撮像画像からエッジ点としての画素位置を抽出した場合、その画素位置を、画像処理部１４の記憶する上記した相対位置関係に従って、車両を原点中心（（ｘ，ｙ）＝（０，０））とした道路上での位置に幾何変換する。そして、その幾何変換して得られた各エッジ点をハフ変換して、エッジ線の抽出を行う。具体的には、直線抽出のときは、各エッジ点に対して、傾きθを０度から１８０度まで所定の角度ごとに変更しながら、それぞれのθに対応するρ＝ｘ・ｃｏｓθ＋ｙ・ｓｉｎθとなるρを求め、その（ρ，θ）がハフ空間を所定間隔ごとに区切る領域の何れに位置するかを検索する。そして、数の多い（ρ，θ）により現される直線を道路区画線の候補であるエッジ線として抽出する。また、曲線抽出のときも同様に、ハフ変換を利用して、最も近似している曲線をエッジ線として抽出する。

画像処理部１４は、カメラ１２から送られる撮像画像を取得した場合、上記の如くエッジ抽出部１６でのエッジ線抽出を行った場合、白線検出部１８においてそのエッジ線を道路上に描かれた白線などの道路区画線として認識する。そして、その道路区画線に対する自車両の横位置を算出すると共に、操舵モータ３４を利用して車両の逸脱回避制御などを実現させるべくその横位置情報を自動操舵制御装置２０に供給する。

図３は、エッジ抽出の量子化誤差に伴う不都合を説明するための図を示す。尚、図３（Ａ）にはカメラ１２の撮像画像の一例を表した図を、また、図３（Ｂ）には図３（Ａ）に示す状態を車両上方から見た際の図を、それぞれ示す。更に、以下では、撮像画像の画面横方向をＸ方向とし、画面縦方向をＹ方向とする。

ところで、本実施例の如くカメラ１２の撮像画像を画像処理することでその撮像画像から道路上に描かれた道路区画線を抽出するためには、エッジ点となる画素の位置を抽出することが必要である。しかしながら、撮像画像の画素数は予め有限値に定められたものであって、エッジ点となる画素位置は量子化されたものとなるため、抽出されるエッジ点の画素位置については正確な画面位置に対して（図３（Ａ）において矢印で示す方向へ）誤差が発生し得る。このため、抽出されたエッジ点の画素位置をそのまま道路区画線の存在する位置に対応するものであるとして道路区画線の抽出を行うものとすると、例えば図３に示す如く車両が実際には直線道路（図３において実線で示す）を走行するにもかかわらず、抽出される各エッジ点の画素位置が左又は右にずれることに起因して、その検出される道路区画線が有限の曲率を有するもの或いは自車両（具体的には、その進行方向）に対して偏向したヨー角αを有するものとしてカーブ路（図３において一点鎖線で示す）であると誤認識されるおそれがある。尚、この現象は、撮像画像の画素数が小さいほどより顕著に現れる。

一般に、車両の走行する道路が直線道路であれば、その道路上に描かれる道路区画線は直線である。従って、直線道路走行中に画像処理により検出されるカメラ撮像画像からの道路区画線の検出結果が直線を示すものでなければ、道路区画線の検出に際し量子化誤差が生じていると判断できる。この量子化誤差は、同一車両において撮像画像のフレームごとに同様に現れ、また、車両間で個体差を伴って現れる傾向にある。この点、直線道路走行中における複数のフレームごとの撮像画像の道路区画線の検出結果から、量子化誤差を数値化し、直線の道路区画線を示すゼロ点を算出することが可能である。そして、以後、この算出されたゼロ点を基準として道路区画線を検出することとすれば、検出される道路区画線を正確なものとすることができる。

図４は、上記の機能を実現すべく、本実施例の道路区画線検出装置１０において画像処理部１４が実行する制御ルーチンの一例のフローチャートを示す。図４に示すルーチンは、所定時間ごとに繰り返し起動される。図４に示すルーチンが起動されると、まずステップ１００の処理が実行される。

ステップ１００では、カメラ１２が撮影し映像信号として出力する撮像画像を入力する処理が実行される。ステップ１０２では、上記ステップ１００で入力された撮像画像をＡＤ変換して得られる所定画素数の画像データから輝度変化の大きいエッジ点の画素位置を抽出する処理が実行される。

ステップ１０４では、上記ステップ１０２で抽出された撮像画像におけるエッジ点の画素位置を車両前方道路上の位置に幾何変換し、更に、上記したハフ変換を施して複数のエッジ点を適宜結ぶことにより線状のエッジ線を抽出する処理が実行される。そして、ステップ１０６では、上記ステップ１０４で抽出されたエッジ線を道路上に描かれた道路区画線として認識し、その認識した道路区画線の形状、具体的には、その曲率及び自車両に対するヨー角を推定する処理が実行される。

ステップ１０８では、自車両が現に走行する道路が直線道路であるか否か、すなわち、自車両が直線道路に沿って平行に走行しているか否かが判別される。この判別は、上記ステップ１０６で認識される道路区画線の曲率半径が所定値（例えば２０００メートル）以上でありかつヨー角の絶対値が所定値（ほぼゼロ）以下であり、更にその道路区画線に対する自車両の横位置がほとんど変化しない状態が所定時間又は所定走行距離継続するか否かに基づいて行われる。尚、かかる判別手法に代えて、この判別は、車両の搭載するナビゲーション装置で検出される道路地図データに基づく自車両の位置の進行方向前方道路の道路形状に基づいて行われるものとしてもよく、また、自車両の走行すべき経路が予め設定されているときにはその経路の道路形状に基づいて行われるものとしてもよい。

その結果、走行道路が直線道路であると判別されない場合は、次にステップ１２０の処理が実行される。一方、走行道路が直線道路であると判別される場合は、次にステップ１１０の処理が実行される。そして、ステップ１１０では、上記ステップ１０６で推定した道路区画線の曲率及びヨー角の情報を記録部１９に履歴データとして記録する処理が実行される。

ステップ１１２では、直線道路走行中に記録部１９に検出道路区画線に関する情報を記録して画像処理部１４において検出される道路区画線の特性を学習すべきタイマーＴＭＲの時間更新を行う処理が実行される。そして、ステップ１１４では、上記ステップ１１２で更新されて得たタイマーＴＭＲが所定時間ＴＨ＿ＴＭＲに達したか否かが判別される。尚、所定時間ＴＨ＿ＴＭＲは、所定フレーム数（例えば１０フレーム）の撮像画像それぞれから道路区画線の曲率及びヨー角の情報を推定できるだけの時間である。その結果、ＴＭＲ＞ＴＨ＿ＴＭＲが成立しないと判別された場合は、次にステップ１２０の処理が実行される。一方、ＴＭＲ＞ＴＨ＿ＴＭＲが成立すると判別された場合は、次にステップ１１６の処理が実行される。

ステップ１１６では、所定時間ＴＭＲ＞ＴＨ＿ＴＭＲが経過するまでに記録部１９に履歴データとして記録された直進道路走行中での所定フレーム数の道路区画線の曲率及びヨー角の情報に基づいて、その期間中での道路区画線の曲率及びヨー角のそれぞれの平均値を算出する処理が実行される。そして、ステップ１１８では、上記ステップ１１６で算出した曲率及びヨー角の各平均値を、画像処理部１４において道路区画線を検出するうえでのゼロ点として設定する処理が実行される。この場合には、画像処理部１４において道路区画線を検出するうえでの基準となるゼロ点が補正されることとなる。本ステップ１１８の処理が実行されると、次にステップ１２０の処理が実行される。

ステップ１２０では、上記ステップ１０６で推定された道路区画線の曲率及びヨー角をそのまま、或いは、上記ステップ１１８で設定されたゼロ点を基準として道路区画線の曲率及びヨー角を補正したものを、検出した道路区画線の形状と認識・設定する処理が実行される。本ステップ１２０の処理が実行されると、以後、検出された道路区画線の形状を基にその道路区画線に対する自車両の横位置が検出されて、その情報が自動操舵制御装置２０へ向けて出力されることとなる。本ステップ１２０の処理が終了すると、今回のルーチンは終了される。

上記図４に示すルーチンによれば、車両の走行する道路が直線道路である状況において、所定フレーム数の撮像画像から推定される道路区画線の曲率の平均値及びヨー角の平均値をそれぞれ、画像処理部１４での道路区画線検出を行ううえでのゼロ点（特性パラメータ）として算出して、かかるゼロ点を補正することができる。そして、その後は、その算出されたゼロ点を基準にしてカメラ１２の撮像画像から抽出される道路区画線の曲率及びヨー角をそれぞれ補正し、その補正して得られた曲率及びヨー角を道路上に描かれた道路区画線の形状とすることができる。

上述の如く、車両の走行する道路が直線道路であれば道路区画線は直線であるので、その状況下で検出される複数フレームごとの撮像画像からそれぞれ検出される道路区画線の曲率及びヨー角に基づいて、画像処理部１４において道路区画線を検出するうえでの傾向すなわち量子化誤差を求めることが可能である。従って、上記の如く、本実施例の構成においては、直線走行中に複数フレームの撮像画像から算出される道路区画線の曲率の平均値及びヨー角の平均値をそのゼロ点にして、以後、道路区画線（具体的には、その曲率及びヨー角）を補正し検出することができるので、カメラ１２の撮像画像から量子化誤差を消去して道路区画線の形状を正確に検出することが可能となる。このように、本実施例の道路区画線検出装置１０によれば、画像処理の量子化誤差に伴う道路区画線の誤検出を防止することができる。

このため、本実施例のシステムによれば、自動操舵制御装置２０においてカメラ撮像画像から誤検出した道路区画線の情報を利用した車両の自動操舵制御の実行を回避することが可能となり、システム運用上運転者に不安感や不信感を与えるのを防止することが可能となっている。

ところで、上記の実施例においては、カメラ１２が特許請求の範囲に記載した「撮像手段」に、記録部１９が特許請求の範囲に記載した「記録手段」に、それぞれ相当していると共に、画像処理部１４が、図４に示すルーチン中ステップ１０６の処理を実行することにより特許請求の範囲に記載した「ヨー角／曲率検出手段」が、ステップ１０８の処理を実行することにより特許請求の範囲に記載した「直線道路判別手段」が、ステップ１１６の処理を実行することにより特許請求の範囲に記載した「特性パラメータ算出手段」が、ステップ１１８及び１２０の処理を実行することにより特許請求の範囲に記載した「補正手段」及び「出力手段」が、それぞれ実現されている。

尚、上記の実施例においては、カメラ１２の撮像画像から道路区画線を検出するうえで基準となる特性パラメータとして、複数フレームからの道路区画線の曲率及びヨー角のそれぞれの平均値を用いることとしているが、本発明は単なる平均値に限定されるものではなく、重み付けを施したものを用いるものであってもよい。例えば、直近のフレームからの曲率及びヨー角についての重み付けを大きくし、過去に遡るフレームほど重み付けを小さくすることとすればよい。この構成によれば、直近のフレームの曲率及びヨー角ほど道路区画線の検出に反映し易くなる。

また、上記の実施例においては、道路上に描かれる道路区画線の形状を特定するパラメータとして、その曲率及び自車両の進行方向に対するヨー角の双方を用いることとしているが、本発明はこれに限定されるものではなく、何れか一方のみを用いるものであってもよい。また、曲率に代えて、その逆数である曲率半径を用いるものであってもよい。

また、上記の実施例においては、カメラ１２の撮像画像から道路区画線を検出するうえで基準となる特性パラメータの算出を、直線道路走行中において道路区画線の特性を学習すべきタイマーＴＭＲが所定時間ＴＨ＿ＴＭＲに達した場合に行うこととしているが、単にカメラ１２から予め定められた所定フレーム数の撮像画像を取得した時点で、それら所定フレーム数の撮像画像に基づいて行うこととすればよい。

更に、上記の実施例においては、道路区画線検出装置１０において検出・推定された道路区画線を、自車両の横位置を算出する基準とし、自車両が道路区画線から逸脱しそうになったときにおける逸脱回避のための車両の自動操舵に用いることとしているが、自車両が道路区画線から逸脱しそうになったときにおける車両運転者へのスピーカ出力や表示出力を行う警報・警告制御に用いるものであってもよく、また、走行中に道路区画線に沿ってヘッドライトを点灯させるべくその点灯方向を切り替える制御に用いるものであってもよい。

本発明の一実施例である道路区画線検出装置を備えるシステムの構成図である。 カメラの撮像画像をＡＤ変換して得られるデジタル画像データの画素を表した図である。 エッジ抽出の量子化誤差に伴う不都合を説明するための図である。 本実施例の道路区画線検出装置において実行される制御ルーチンの一例のフローチャートである。

符号の説明

１０ 道路区画線検出装置
１２ カメラ
１４ 画像処理部
１６ エッジ抽出部
１８ 白線検出部
１９ 記録部

Claims (4)

1. 撮像手段により撮像された撮像画像から車両が走行する道路の道路区画線を検出する道路区画線検出装置であって、
   前記撮像画像を画像処理することにより、前記道路区画線の自車両に対するヨー角及び曲率の少なくとも何れかを検出するヨー角／曲率検出手段と、
   車両の走行する道路が直線道路であるか否かを判別する直線道路判別手段と、
   前記直線道路判別手段により車両の走行する道路が直線道路であると判別されるときに、複数の撮像画像ごとの前記ヨー角／曲率検出手段による検出結果に基づいて、該ヨー角／曲率検出手段での検出を行ううえでの特性パラメータを算出する特性パラメータ算出手段と、
   前記特性パラメータ算出手段により算出された前記特性パラメータに基づいて、前記ヨー角／曲率検出手段による検出結果を補正する補正手段と、
   を備えることを特徴とする道路区画線検出装置。
2. 前記ヨー角／曲率検出手段による検出結果を記録する記録手段を備え、
   前記特性パラメータ算出手段は、前記直線道路判別手段により車両の走行する道路が直線道路であると判別される状況において、前記ヨー角／曲率検出手段による検出が所定数以上行われた場合に、前記記録手段に記録されている該所定数の前記ヨー角／曲率検出手段による検出結果に基づいて前記特性パラメータの算出を行うことを特徴とする請求項１記載の道路区画線検出装置。
3. 前記特性パラメータ算出手段は、撮像画像ごとの前記ヨー角／曲率検出手段による検出結果の平均値を算出することを特徴とする請求項１又は２記載の道路区画線検出装置。
4. 前記補正手段による補正の結果を前記道路区画線のヨー角又は曲率として出力する出力手段を備えることを特徴とする請求項１乃至３の何れか一項記載の道路区画線検出装置。

Images