JP2012155612A - 車線検出装置 - Google Patents
車線検出装置 Download PDFInfo
- Publication number
- JP2012155612A JP2012155612A JP2011015466A JP2011015466A JP2012155612A JP 2012155612 A JP2012155612 A JP 2012155612A JP 2011015466 A JP2011015466 A JP 2011015466A JP 2011015466 A JP2011015466 A JP 2011015466A JP 2012155612 A JP2012155612 A JP 2012155612A
- Authority
- JP
- Japan
- Prior art keywords
- road surface
- color information
- lane
- vehicle
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
【課題】 複合線から適切な車線を良好に検出できる車線検出装置を提供する。
【解決手段】 カメラ30は、路面画像を光の三原色R,G,Bで撮影する。画像処理ECU32(車線検出装置)は、路面画像のデータをカメラ30から取得し(S1)、路面画像40における1列の画素の集合である検査ライン42を設定する(S3)。路面画像から抽出したカラー情報から、車両前方左側において、所定の閾値以上のコントラストを示す位置が基準線46に最も近く、かつその位置で最大のコントラストを示すカラー情報を選択する(S4)。そのカラー情報に基づき、輝度値のパラメータに変換する(S5)。同様に右側についても行う(S6,7)。S5およびS7で変換した輝度値パラメータからエッジ点を抽出し(S8)、エッジ点に基づきエッジ線の抽出を行い(S11)、エッジ線から車線位置を算出する(S12)。
【選択図】図2
【解決手段】 カメラ30は、路面画像を光の三原色R,G,Bで撮影する。画像処理ECU32(車線検出装置)は、路面画像のデータをカメラ30から取得し(S1)、路面画像40における1列の画素の集合である検査ライン42を設定する(S3)。路面画像から抽出したカラー情報から、車両前方左側において、所定の閾値以上のコントラストを示す位置が基準線46に最も近く、かつその位置で最大のコントラストを示すカラー情報を選択する(S4)。そのカラー情報に基づき、輝度値のパラメータに変換する(S5)。同様に右側についても行う(S6,7)。S5およびS7で変換した輝度値パラメータからエッジ点を抽出し(S8)、エッジ点に基づきエッジ線の抽出を行い(S11)、エッジ線から車線位置を算出する(S12)。
【選択図】図2
Description
本発明は、車両前方の路面を撮影した路面画像に基づいて車線を検出する車線検出装置に関する。
従来、車両前方の路面を撮影した路面画像を画像処理して車線を検出する車線検出装置が提案されている。ここでいう車線とは、実線や破線からなる白線や有色線等のペイント、または車両の走行方向に沿って間欠的に配置される道路鋲などによって構成される線である。
車線検出装置は、撮影した路面画像からペイントや道路鋲などを示すエッジ点を抽出し、抽出された複数のエッジ点に基づいて車線を検出する。車線検出装置によって検出された車線は、車両の進行方向や速度、操舵角などの挙動情報と組み合わせて、車両が車線を逸脱するか否かの予測に利用されたり、自動操舵角制御に用いる情報の一つとして利用されたりする。
ところで、ペイントの色や周囲の明るさによっては、路面画像において車線と道路とのコントラストの差が小さくなり、精度良くエッジ点が抽出されず、車線の認識が困難になる場合がある。
そこで、従来、撮影した路面の画像を三色のカラー信号として独立して取り込み、路面と車線とが最大のコントラストとなるカラー信号の組み合わせを得て、その組み合わせを用いて車線の認識処理を行う車載用画像処理カメラ装置が提案されている(特許文献1参照)。この装置は、例えば三色のカラー信号のうち、赤成分と緑成分から合成した黄色の画像を用いることで、黄線からなる車線の検出精度を向上させることができる。
例えばカープールレーンのように、複数の車線を組み合わせた複合線が配置され、さらに複合線に複数色の車線が混在している場合、特許文献1の技術では、最大のコントラストとなるカラー信号の組み合わせを用いても、車線ごとに検出精度の優劣が発生する場合がある。
例えば、白色線1本と黄色線4本が存在して、黄色線のコントラストが大きくなるようにカラー信号の組み合わせが選択されると、白色線の検出精度が低くなってしまう場合がある。車線の検出処理においては、最も内側(車両に近い側)に存在する車線を精度良く検出することが重要であるが、上記の状況で白色線が最も内側に存在すると、白色線が検出されず、車線検出が適切に行われない可能性がある。
本発明は、上述した問題に鑑みてなされたものであり、その目的は、複合線から適切な車線を良好に検出できる車線検出装置を提供することである。
上述した問題を解決するためになされた請求項1に記載の車線検出装置は、車両前方の路面を撮影した画像であって、複数の色成分を個別に抽出可能な路面画像を取得する。そして取得された路面画像における車両前方の左側および右側を示す2つの領域のうちの少なくともいずれか一方において、その領域から抽出された色成分の1つまたは2つ以上の組み合わせよりなる複数のカラー情報の中から、所定の条件を満たすカラー情報を選択する。上記条件とは、所定の閾値以上のコントラストを示す位置が上記2つの領域の境界に最も近く(即ち、左右の中央側に最も近く)、かつその位置において最大のコントラストを示す、という条件である。
そして、選択されたカラー情報からエッジ点を抽出し、抽出されたエッジ点に基づいて、車線を検出することを特徴とする。
エッジ点を抽出する具体的な手法は特に限定されないが、カラー情報から例えばキャニー法や微分エッジ検出法などを用いて抽出することができる。また、エッジ点から車線を検出する方法としては、例えばハフ変換を用いて線分を決定し、その線分に基づいて車線を決定することが考えられる。
エッジ点を抽出する具体的な手法は特に限定されないが、カラー情報から例えばキャニー法や微分エッジ検出法などを用いて抽出することができる。また、エッジ点から車線を検出する方法としては、例えばハフ変換を用いて線分を決定し、その線分に基づいて車線を決定することが考えられる。
上述した車線検出装置であれば、複数の車線を組み合わせた複合線が配置され、さらに複合線に複数色の車線が混在している場合であっても、複合線の中から最も内側にある車線を適切に検出することができるようになる。
なお、上述した車線の検出の処理は、路面画像における車両前方の左側の領域のみ、あるいは右側の領域のみを対象として実行してもよいが、もちろん左右両方の領域を対象としてもよい。その場合には、左右独立して最適な(所定の条件を満たす)カラー情報を選択して、適切に車線を検出することができる。
カラー情報を選択する際には、水平方向、かつ、車両の進行方向と交差する方向に対応する路面画像面上の方向に設定された検査ライン上のカラー情報に基づいて、カラー情報の選択を行うように構成してもよい。
水平方向かつ車両の進行方向と交差する方向とは、道路を通常に走行している状態においては、複合線を構成する各車線が並ぶ方向である。したがって、このように構成された車線検出装置であれば、複合線を構成する各車線に基づく輝度値変化のコントラストの比較を容易に行うことができ、精度の高いエッジ点の検出を行うことができるようになる。
また、路面画像の複数の色成分とは、赤,緑,青の三色(光の三原色)としてもよい。その場合、カラー情報は、上記三色のいずれか一色,三色のうち二色の組み合わせ,および三色の組み合わせ,の中から選択される2つ以上とし、その中から最適なカラー情報を選択するように構成してもよい。
なお、本発明の車線検出装置における上述した処理は、車両の走行中(車線検出装置の起動中)常時実行することとしても良いし、所定の条件を満たしたときにのみ実行することとしても良い。
例えば、車線検出装置は、車両の周囲の明るさが所定の閾値以下であること,夜間に相当する時刻であること,および車両のヘッドライトが点灯していること,からなる群より選択されるいずれか1つ以上を検出する手段を備え、それらのいずれかが検出されている場合には、全ての色成分を含むカラー情報のみに基づいて車線の検出を行うように構成してもよい。全ての色成分を含むカラー情報とは、撮影された路面画像そのものと言い換えることができる。
夜間においては、路面画像に映される車線が車両のヘッドライトや周囲の照明の影響を受けやすく、またそもそも車線と路面とのコントラストが高くなりやすいため、特別に色成分を抽出して輝度を判定せずとも、高い精度で車線を検出できる。よって、上記構成の車線検出装置では、そのような場合における処理負担を減らすことができる。
以下に本発明の実施形態を図面と共に説明する。
[実施例]
(1)車線逸脱警報システムの構成
車線逸脱警報システム1は、自動車等の車両に搭載されて用いられるシステムであって、図1に示すように、CANによる車内ネットワーク10と、画像センサ12と、ブザー14と、を有している。
[実施例]
(1)車線逸脱警報システムの構成
車線逸脱警報システム1は、自動車等の車両に搭載されて用いられるシステムであって、図1に示すように、CANによる車内ネットワーク10と、画像センサ12と、ブザー14と、を有している。
車内ネットワーク10は、車両の旋回方向への角速度(即ち、ヨーレート)を検出するヨーセンサ20と、車両の走行速度(車速)を検出する車速センサ22と、車両に照射する光の照度を検出する照度センサ24と、を有している。
画像センサ12は、カメラ30と、カメラ30が撮影した画像を処理し、ブザー14にブザー要求の制御信号を出力する画像処理ECU32と、からなる。なお、この画像処理ECU32が本発明における車線検出装置に相当する。
カメラ30は、車両の例えば中央前方側に装着されて、車両前方の路面を含む風景を所定の時間間隔(本実施例では1/15s)で撮影して、その撮影された路面画像のデータ(以降、当該データを路面画像という場合がある)を画像処理ECU32に出力するものである。
本実施例のカメラ30は、路面画像を光の三原色R(赤),G(緑),B(青)で撮影するように構成されており、例えば公知のCCDイメージセンサ、あるいはCMOSイメージセンサを用いることができる。
画像処理ECU32は、図示しないCPU,ROM,RAM,入出力インターフェース,およびこれらの構成を接続するバスライン等からなる周知のマイクロコンピュータを中心に構成されている。
画像処理ECU32は、ROMから読み込んだアプリケーションプログラムやRAMに格納された各種データに従って、後述する各処理などを実行する。また、後述する逸脱警報処理においては、カメラ30から路面画像を受信する毎に、RAMにそのデータを格納し、そのデータに基づいて車線の検出を実行する。
また画像処理ECU32は車内ネットワーク10と接続しており、ヨーセンサ20,車速センサ22,および照度センサ24と通信して各センサの出力値を取得する。
また画像処理ECU32はブザー14と接続しており、後述する逸脱警報処理において警報を行うべきと判断された際に、ブザー要求の制御信号を出力する。
また画像処理ECU32はブザー14と接続しており、後述する逸脱警報処理において警報を行うべきと判断された際に、ブザー要求の制御信号を出力する。
ブザー14は、画像処理ECU32より上記制御信号を受信すると、車両内部に警報音を発報させる。
(2)画像処理ECU32による処理
以下に、画像処理ECU32により実行される逸脱警報処理の処理手順を、図2に基づいて説明する。この逸脱警報処理は、車両のアクセサリスイッチがオンにされることで画像センサ12に電源が投入されると起動され、アクセサリスイッチがオフにされて電源が遮断されるまで繰り返し実行される。
(2)画像処理ECU32による処理
以下に、画像処理ECU32により実行される逸脱警報処理の処理手順を、図2に基づいて説明する。この逸脱警報処理は、車両のアクセサリスイッチがオンにされることで画像センサ12に電源が投入されると起動され、アクセサリスイッチがオフにされて電源が遮断されるまで繰り返し実行される。
この逸脱警報処理では、まず、路面画像のデータをカメラ30から取得する(S1)。
次に、照度センサ24から取得した照度信号に基づいて、夜間であるか否かを判定する(S2)。ここでは、車両の周囲が所定の明るさ以上の明るさであれば、即ち照度信号が所定の閾値以上の照度を示すものであれば、夜間ではないと判定する。夜間ではないと判定された場合は(S2:NO)、処理がS3に移行する。一方、夜間であると判定された場合は(S2:YES)、処理がS10に移行する。
次に、照度センサ24から取得した照度信号に基づいて、夜間であるか否かを判定する(S2)。ここでは、車両の周囲が所定の明るさ以上の明るさであれば、即ち照度信号が所定の閾値以上の照度を示すものであれば、夜間ではないと判定する。夜間ではないと判定された場合は(S2:NO)、処理がS3に移行する。一方、夜間であると判定された場合は(S2:YES)、処理がS10に移行する。
続くS3では、続くS4〜S8の処理を行う対象となる、路面画像40における1列の画素の集合である検査ライン42を設定する。図3(A)に、撮影された路面画像40の一例を示す。検査ライン42は、車両の進行方向(図中、矢印44の方向)と交差する方向かつ水平方向に対応する路面画像40面上の方向(路面画像40における左右方向)に設定される。
また、路面画像40には上下方向に基準線46が設定されている。この基準線46は車両が直進した場合に車両の中心が通過する位置に対応する路面画像40上の点である。この基準線46を基準として、路面画像40において車両前方の左側と右側の領域が分けられる。即ち、基準線46が、本発明における車両前方の左側および右側を示す2つの領域の境界を示す線となる。
本逸脱警報処理では、路面画像40に設定された多数の検査ライン42それぞれについて、例えば路面と車線との境界点のように画素の輝度値が大きく変化する点(コントラストの大きい点)をエッジ点として抽出し、多数の検査ライン42(つまり、路面画像40全体)から検出されたエッジ点に基づいて車線の位置を検出する。そのため、この検査ライン42は路面画像40の上下に並ぶように多数設定される。なお図3(A)においてはその検査ライン42の一部のみを示している。
それぞれの検査ライン42に対するエッジ点を抽出する処理を後述するS4〜S8にて行う。S3では、検査ライン42のいずれか1つであって、当該路面画像40において未だ設定されていない(S4〜S8の処理が行われていない)検査ライン42を選択し、エッジ点を抽出する処理対象として設定する。
次に、左側最内線の最大コントラストを示すカラー情報を判定する判定処理を行う(S4)。この判定処理の原理を説明する。
カラー情報とは、路面画像40から抽出される色成分の1つまたは2つ以上の組み合わせよりなるものであり、路面画像40から抽出された色成分R,G,Bそれぞれと、RとG,RとB,GとB、およびR,G,Bを全て組み合わせたもの(即ち、全ての色成分を含むもの)の7つのカラー情報が抽出可能である。
カラー情報とは、路面画像40から抽出される色成分の1つまたは2つ以上の組み合わせよりなるものであり、路面画像40から抽出された色成分R,G,Bそれぞれと、RとG,RとB,GとB、およびR,G,Bを全て組み合わせたもの(即ち、全ての色成分を含むもの)の7つのカラー情報が抽出可能である。
図3(A)の路面画像40には、基準線46の左側に、基準線46側から順に黄線48,白線50,52が示される。また、基準線46の右側には青線54が示される。以降、これらの線を総称して車線と記載する場合がある。
図3(B)に、全ての色成分(R,G,B)を含むカラー情報に基づく、1つの検査ライン42上における、画像のX方向(左右方向)と輝度値との関係を模式的に表すグラフを示す。図3(B)から分かるように、路面に比べて車線の部分の輝度値が高くなっている。しかしながら、黄線48や青線54に対応する部分は、白線50,52に比べると輝度値が小さく路面とのコントラストが小さい(グラフにおける輝度値の高さの差が小さい)。なお、図3(B)に示す輝度値は、R,G,B成分それぞれの輝度値の平均値である。
コントラストを大きくしてエッジ点の検出精度を高めるために、複数のカラー情報ごとに輝度値を判定し、コントラストが最大のカラー情報を選択する。図4(B)〜(D)に、R,G,Bの単色成分のカラー情報に基づく輝度値のグラフを示す。なお図4(A)は図3(A)と同じ図である。図4(B)〜(D)から分かるように、カラー情報ごとに、車線と路面との境界におけるコントラストが変化する。
ここで、図4(A)のように路面上に複数の車線がある場合には、その最も内側にある車線を検出することが望ましい。そこで、複数のカラー情報の中から、次の基準を満たすカラー情報を、基準線46の左右それぞれ別個に選択する。その基準とは、所定の閾値以上のコントラストを示す位置が基準線46に最も近く、かつその位置で最大のコントラストを示すことである。
上記所定の閾値は、車線であると判断できる最低限のコントラストに設定される。この閾値以下のコントラストが示される位置を無視することで、車線以外のものにより生じた小さなコントラストの位置に基づいて、不適切なカラー情報が選択されることを抑制できる。
図3(B)と、図4(B)〜(D)との中から、上記の基準でカラー情報を選択すると、左側の領域については図4(B)に示すR(赤)のカラー情報が選択され、右側の領域については図4(D)に示すB(青)のカラー情報が選択される。これらの輝度値を合せると図3(C)に示すようになり、最も内側の車線について図3(B)よりも高いコントラストを示すようになる。
なお、ここでは図3(B)と図4(B)〜(D)の単色成分のカラー情報のみを用いてカラー情報を選択する例を説明したが、2つの色成分を組み合わせたカラー情報も同時に用いて判定してもよい。例えば、2つの色成分を組み合わせたカラー情報の輝度値は、単色のカラー情報における輝度値の平均値とすることができる。
もちろん、抽出可能な全てのカラー情報に基づいて、条件を満たすカラー情報の選択を行う必要はなく、選択対象となるカラー情報は適宜設定することができる。例えば、上記基準を満たすと判断される蓋然性の低いカラー情報は予め生成しないように構成してもよい。
次に、判定処理の処理手順を、図5に示すフローチャートに基づいて説明する。
まず、直前のS3にて設定された検査ライン42に関して、全ての組み合わせのカラー情報を抽出する(S21)。ここでは、R,G,Bの単色と、RG,RB,GB,およびRGBの複合色と、の7つのカラー情報を抽出する。また、カラー情報のうち、基準線46を基準として左右いずれか一方のみを対象として抽出する。逸脱警報処理のS4にて本処理を行う場合には基準線46の左側の領域、S6にて本処理を行う場合には右側の領域のみが対象となる。
まず、直前のS3にて設定された検査ライン42に関して、全ての組み合わせのカラー情報を抽出する(S21)。ここでは、R,G,Bの単色と、RG,RB,GB,およびRGBの複合色と、の7つのカラー情報を抽出する。また、カラー情報のうち、基準線46を基準として左右いずれか一方のみを対象として抽出する。逸脱警報処理のS4にて本処理を行う場合には基準線46の左側の領域、S6にて本処理を行う場合には右側の領域のみが対象となる。
次に、S21にて抽出した各カラー情報について、所定の閾値以上のコントラストを示す位置を検出する(S22)。
次に、所定の閾値以上のコントラストを示す位置が、基準線46に最も近いカラー情報を選択する(S23)。ここでは、複数のカラー情報が選択される場合がある。なぜならば、同じ路面画像40に基づく複数のカラー情報それぞれは、路面画像40に写された同一の対象物の位置において輝度値が変化する可能性が高いためである。
次に、所定の閾値以上のコントラストを示す位置が、基準線46に最も近いカラー情報を選択する(S23)。ここでは、複数のカラー情報が選択される場合がある。なぜならば、同じ路面画像40に基づく複数のカラー情報それぞれは、路面画像40に写された同一の対象物の位置において輝度値が変化する可能性が高いためである。
次に、S23にて選択されたカラー情報のうち、コントラストが最大のものを選択する(S24)。なお、S23にて1つのカラー情報しか選択されていない場合には、そのカラー情報が選択される。その後、本処理を終了し、処理が逸脱警報処理のS5に移行する。
説明を図2に戻る。S24にて選択されたカラー情報に基づき、輝度値のパラメータに変換する(S5)。
次に、右側最内線の最大コントラストを示すカラー情報を判定する判定処理を行う(S6)。ここでは、S4にて実行した図5と同様の処理を、基準線46の右側の領域を対象として実行する。
次に、右側最内線の最大コントラストを示すカラー情報を判定する判定処理を行う(S6)。ここでは、S4にて実行した図5と同様の処理を、基準線46の右側の領域を対象として実行する。
次に、S5と同様に、S24にて選択されたカラー情報に基づき、輝度値のパラメータに変換する(S7)。
次に、S5およびS7で変換した輝度値パラメータを微分して、微分値が極大,極小になる点をエッジ点として抽出する(S8)。抽出したエッジ点は、S3にて設定された検査ライン42に対応付けてRAMに記憶される。
次に、S5およびS7で変換した輝度値パラメータを微分して、微分値が極大,極小になる点をエッジ点として抽出する(S8)。抽出したエッジ点は、S3にて設定された検査ライン42に対応付けてRAMに記憶される。
そして、全ての検査ライン42に対してエッジ点を抽出するまでの処理(S4〜S8)が終了したか否かを判定し(S9)、終了していなければ(S9:NO)、処理がS3に戻る。終了していれば(S9:YES)、処理がS11に移行する。
上述したS2にて夜間であると判定された場合(S2:YES)、通常のカラー情報に基づいて輝度値変換をする(S10)。ここでいう通常のカラー情報とはR,G,Bの全てを組み合わせた図3(B)のカラー情報である。このカラー情報に基づいて、全ての検査ライン42に対して輝度値変換を行い、エッジ点を抽出する。エッジ点の抽出方法はS8と同様である。その後、処理がS11に移行する。
続くS11では、エッジ線の抽出を行う(S11)。ここでは、S8にて抽出され、RAMに記憶された全てのエッジ点、即ちS1にて取得された路面画像40に基づく全てのエッジ点をハフ変換して、一番多くエッジ点を通るエッジ線を抽出する。
次に、車線位置の算出を行う(S12)。ここでは、S11にて抽出したエッジ線を含む、直近に撮影された所定数の路面画像(例えば直近の3コマ分の路面画像)から抽出したエッジ線に基づいて、車線の位置を算出する。また、算出した車線の位置に基づき車両から車線までの距離を算出する。
次に、車線の逸脱判定を行う(S13)。ここでは、まず、ヨーセンサ20から取得したヨーレートおよび車速センサ22から取得した車両速度に基づいて、車両の走行軌跡を予測する。続いて、S12にて算出した車線の位置、車両から車線までの距離、および予測した走行軌跡に基づいて、車両が車線を逸脱するまでに要する時間を算出する。
そして、算出した車線を逸脱するまでの時間が所定のしきい値(本実施例では1秒)以上であれば、逸脱しないと判定し(S13:NO)、処理がS1に戻る。一方、しきい値未満であれば、逸脱の危険ありと判定し(S13:YES)、ブザー14に対してブザー要求の制御信号を出力する(S14)。その後、処理がS1に戻る。
(3)発明の効果
本実施例の車線逸脱警報システム1であれば、複数の車線を組み合わせた複合線が配置され、さらに複合線に複数色の車線が混在している場合であっても、複合線の中から最も内側にある車線を適切に検出することができる。
本実施例の車線逸脱警報システム1であれば、複数の車線を組み合わせた複合線が配置され、さらに複合線に複数色の車線が混在している場合であっても、複合線の中から最も内側にある車線を適切に検出することができる。
また、路面画像40に映される車線が車両のヘッドライトや周囲の照明の影響を受けやすく、またそもそも車線と路面とのコントラストが高くなりやすい夜間においては、図2のS4〜S7に相当する処理を実行しないため、画像処理ECU32の処理負担を減らすことができる。
(4)対応関係
画像処理ECU32により実行されるS1の処理が、本発明の画像取得手段による処理に相当し、S4,S6の処理が選択手段による処理に相当し、S5,S7,S8の処理がエッジ抽出手段による処理に相当し、S11,S12の処理がエッジ検出手段による処理に相当し、S2の処理が夜間検出手段による処理に相当する。
(4)対応関係
画像処理ECU32により実行されるS1の処理が、本発明の画像取得手段による処理に相当し、S4,S6の処理が選択手段による処理に相当し、S5,S7,S8の処理がエッジ抽出手段による処理に相当し、S11,S12の処理がエッジ検出手段による処理に相当し、S2の処理が夜間検出手段による処理に相当する。
[変形例]
以上、本発明の実施例について説明したが、本発明は、上記実施例に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態をとり得ることはいうまでもない。
以上、本発明の実施例について説明したが、本発明は、上記実施例に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態をとり得ることはいうまでもない。
例えば、上記実施例においては、基準線46によって分けられる左右両側に関して所定の条件を満たすカラー情報を選択する構成を例示したが、左右いずれか一方の領域のみ上記選択を行う構成であってもよいし、一定の条件を満たした側の領域のみ上記選択を行うように構成されていてもよい。一定の条件とは、例えば、車線が複数存在することを判定する手段を用いて複数車線が存在すると判定されることが挙げられる。
また上記実施例においては、夜間であるか否かの判定に照度センサ24から出力される照度信号を利用する構成を例示したが、車両に搭載された時計(一例としてリアルタイムクロック)により示される時刻に応じて夜間であるか否かを判定してもよい。夜間に相当する時刻は例えば午後6時から午前6時などと設定することができるが、周囲の明るさは地域,季節などによって変化するため、それらを考慮して適宜定めることができる。
また、ヘッドライトの点灯の有無を検出し、ヘッドライトが点灯している場合に夜間であると判定してもよい。
また上記実施例においては、カメラ30がR,G,Bの三原色から構成される路面画像を撮影し、それらの色成分を組み合わせてなるカラー情報を用いる構成を例示したが、三原色RGBと等価変換できる輝度信号と色差信号の組み合わせで表現された信号形式を用いてもよい。
また上記実施例においては、カメラ30がR,G,Bの三原色から構成される路面画像を撮影し、それらの色成分を組み合わせてなるカラー情報を用いる構成を例示したが、三原色RGBと等価変換できる輝度信号と色差信号の組み合わせで表現された信号形式を用いてもよい。
また上記実施例においては、基準線46は路面画像40上の予め定められた位置に設定される構成を例示したが、基準線46は動的な線であってもよい。例えば車両の挙動に基づいてその位置を変更することが考えられる。具体的には、ヨーセンサ20が出力するヨーレートに応じて、旋回方向に向けて基準線46を曲げることが考えられる。
また上記実施例においては、車両の進行方向と交差する方向かつ水平方向に対応するように検査ライン42を設定し、その検査ライン42ごとにエッジ点を検出する方法を例示したが、そのような検査ライン42を用いる方法以外であっても、路面画像のコントラストからエッジ点を検出する場合には、本発明を適用することができる。
1…車線逸脱警報システム、10…車内ネットワーク、12…画像センサ、14…ブザー、20…ヨーセンサ、22…車速センサ、24…照度センサ、30…カメラ、32…画像処理ECU、40…路面画像、42…検査ライン、44…矢印、46…基準線、48…黄線、50,52…白線、54…青線
Claims (4)
- 車両前方の路面を撮影した画像であって、複数の色成分を個別に抽出可能な路面画像を取得する画像取得手段と、
前記画像取得手段により取得された前記路面画像における前記車両前方の左側および右側を示す2つの領域のうちの少なくともいずれか一方において、前記領域から抽出された色成分の1つまたは2つ以上の組み合わせよりなる複数のカラー情報の中から、所定の閾値以上のコントラストを示す位置が前記2つの領域の境界に最も近く、かつその位置において最大のコントラストを示す前記カラー情報を選択する選択手段と、
前記選択手段により選択された前記カラー情報からエッジ点を抽出するエッジ抽出手段と、
前記エッジ抽出手段により抽出されたエッジ点に基づいて、前記路面上の車線を検出するエッジ検出手段と、を備える
ことを特徴とする車線検出装置。 - 前記選択手段は、水平方向、かつ、前記車両の進行方向と交差する方向に対応する前記路面画像面上の方向に設定された検査ライン上の前記カラー情報に基づいて、前記カラー情報の選択を行う
ことを特徴とする請求項1に記載の車線検出装置。 - 前記複数の色成分とは、赤,緑,青の3色であり、
前記カラー情報は、前記3色のいずれか1色,前記3色のうち2色の組み合わせ,および前記3色の組み合わせ,によりなるものの2つ以上である
ことを特徴とする請求項1または請求項2に記載の車線検出装置。 - 前記車線検出装置は、前記車両の周囲の明るさが所定の閾値以下であること,夜間に相当する時刻であること,および前記車両のヘッドライトが点灯していること,からなる群より選択される少なくともいずれか1つを検出する夜間検出手段を備え、
前記選択手段は、前記夜間検出手段により前記群のいずれかが検出されている場合には、前記複数の色成分の全てを含む前記カラー情報を選択する
ことを特徴とする請求項1から請求項3のいずれか1項に記載の車線検出装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011015466A JP2012155612A (ja) | 2011-01-27 | 2011-01-27 | 車線検出装置 |
US13/357,864 US20120194677A1 (en) | 2011-01-27 | 2012-01-25 | Lane marker detection system with improved detection-performance |
DE102012201143A DE102012201143A1 (de) | 2011-01-27 | 2012-01-26 | Fahrspurmarkierungserfassungssystem mit verbesserter erfassungsleistung |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011015466A JP2012155612A (ja) | 2011-01-27 | 2011-01-27 | 車線検出装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012155612A true JP2012155612A (ja) | 2012-08-16 |
Family
ID=46511606
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011015466A Pending JP2012155612A (ja) | 2011-01-27 | 2011-01-27 | 車線検出装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20120194677A1 (ja) |
JP (1) | JP2012155612A (ja) |
DE (1) | DE102012201143A1 (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015121954A (ja) * | 2013-12-24 | 2015-07-02 | 株式会社デンソー | 輝度値算出装置及び車線検出システム |
JP2015197829A (ja) * | 2014-04-01 | 2015-11-09 | 本田技研工業株式会社 | レーンマーク認識装置 |
JP2015219774A (ja) * | 2014-05-19 | 2015-12-07 | 本田技研工業株式会社 | レーンマーク認識装置 |
US10074019B2 (en) | 2013-06-28 | 2018-09-11 | Denso Corporation | Road surface information acquisition apparatus for entrance/exit lane |
WO2019008936A1 (ja) * | 2017-07-03 | 2019-01-10 | 住友電気工業株式会社 | 画像処理装置、コンピュータプログラム、および画像処理システム |
KR20190014283A (ko) * | 2017-07-31 | 2019-02-12 | 현대엠엔소프트 주식회사 | 차선 정보 생성 장치 및 방법 |
WO2019142586A1 (ja) * | 2018-01-17 | 2019-07-25 | 日立オートモティブシステムズ株式会社 | 画像処理システム及び配光制御システム |
WO2020158262A1 (ja) * | 2019-01-30 | 2020-08-06 | 日本電気株式会社 | 劣化診断装置、劣化診断システム、劣化診断方法、記録媒体 |
JP2020160878A (ja) * | 2019-03-27 | 2020-10-01 | 日産自動車株式会社 | 運転支援方法及び運転支援装置 |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6396408B2 (en) * | 2000-03-31 | 2002-05-28 | Donnelly Corporation | Digital electrochromic circuit with a vehicle network |
KR101279712B1 (ko) * | 2011-09-09 | 2013-06-27 | 연세대학교 산학협력단 | 실시간 차선 검출 장치 및 방법과 이에 관한 기록매체 |
US9378542B2 (en) * | 2011-09-28 | 2016-06-28 | The United States Of America As Represented By The Secretary Of The Army | System and processor implemented method for improved image quality and generating an image of a target illuminated by quantum particles |
US10678259B1 (en) | 2012-09-13 | 2020-06-09 | Waymo Llc | Use of a reference image to detect a road obstacle |
US9349056B2 (en) * | 2013-02-15 | 2016-05-24 | Gordon Peckover | Method of measuring road markings |
JP6087858B2 (ja) * | 2014-03-24 | 2017-03-01 | 株式会社日本自動車部品総合研究所 | 走行区画線認識装置及び走行区画線認識プログラム |
JP6185418B2 (ja) * | 2014-03-27 | 2017-08-23 | トヨタ自動車株式会社 | 走路境界区画線検出装置 |
JP6141788B2 (ja) * | 2014-04-14 | 2017-06-07 | 本田技研工業株式会社 | レーンマーク認識装置 |
JP5908946B2 (ja) * | 2014-06-18 | 2016-04-26 | 富士重工業株式会社 | 画像処理装置 |
JP6389119B2 (ja) * | 2014-12-25 | 2018-09-12 | 株式会社デンソー | 車線境界線認識装置 |
US20170021863A1 (en) * | 2015-07-20 | 2017-01-26 | Dura Operating, Llc | System and method for verifying road position information for a motor vehicle |
JP6106229B2 (ja) * | 2015-08-10 | 2017-03-29 | 富士重工業株式会社 | 車線認識装置 |
US10572743B1 (en) * | 2017-08-28 | 2020-02-25 | Ambarella, Inc. | Real-time color classification for street vehicles |
TWI641516B (zh) * | 2018-03-06 | 2018-11-21 | 國立交通大學 | 車道線偵測方法 |
WO2019171565A1 (ja) * | 2018-03-09 | 2019-09-12 | パイオニア株式会社 | 線検出装置、線検出方法、プログラム、及び記憶媒体 |
CN111539907B (zh) * | 2019-07-25 | 2023-09-12 | 毫末智行科技有限公司 | 用于目标检测的图像处理方法及装置 |
DE102019134320A1 (de) * | 2019-12-13 | 2021-06-17 | Connaught Electronics Ltd. | Verfahren und System zum Erfassen von Fahrspurbegrenzungen |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08297023A (ja) * | 1995-04-26 | 1996-11-12 | Hitachi Ltd | 画像処理による走行路面の監視装置 |
JPH10111939A (ja) * | 1996-10-08 | 1998-04-28 | Mitsubishi Electric Corp | 車載用画像処理装置 |
JP2003032669A (ja) * | 2001-07-11 | 2003-01-31 | Hitachi Ltd | 車載用画像処理カメラ装置 |
JP2007004668A (ja) * | 2005-06-27 | 2007-01-11 | Honda Motor Co Ltd | 車両及び車線認識装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5432611B2 (ja) | 2009-06-30 | 2014-03-05 | 矢崎総業株式会社 | 電気接続箱 |
-
2011
- 2011-01-27 JP JP2011015466A patent/JP2012155612A/ja active Pending
-
2012
- 2012-01-25 US US13/357,864 patent/US20120194677A1/en not_active Abandoned
- 2012-01-26 DE DE102012201143A patent/DE102012201143A1/de not_active Withdrawn
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08297023A (ja) * | 1995-04-26 | 1996-11-12 | Hitachi Ltd | 画像処理による走行路面の監視装置 |
JPH10111939A (ja) * | 1996-10-08 | 1998-04-28 | Mitsubishi Electric Corp | 車載用画像処理装置 |
JP2003032669A (ja) * | 2001-07-11 | 2003-01-31 | Hitachi Ltd | 車載用画像処理カメラ装置 |
JP2007004668A (ja) * | 2005-06-27 | 2007-01-11 | Honda Motor Co Ltd | 車両及び車線認識装置 |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10074019B2 (en) | 2013-06-28 | 2018-09-11 | Denso Corporation | Road surface information acquisition apparatus for entrance/exit lane |
JP2015121954A (ja) * | 2013-12-24 | 2015-07-02 | 株式会社デンソー | 輝度値算出装置及び車線検出システム |
JP2015197829A (ja) * | 2014-04-01 | 2015-11-09 | 本田技研工業株式会社 | レーンマーク認識装置 |
JP2015219774A (ja) * | 2014-05-19 | 2015-12-07 | 本田技研工業株式会社 | レーンマーク認識装置 |
WO2019008936A1 (ja) * | 2017-07-03 | 2019-01-10 | 住友電気工業株式会社 | 画像処理装置、コンピュータプログラム、および画像処理システム |
KR20190014283A (ko) * | 2017-07-31 | 2019-02-12 | 현대엠엔소프트 주식회사 | 차선 정보 생성 장치 및 방법 |
KR102360468B1 (ko) | 2017-07-31 | 2022-02-09 | 현대오토에버 주식회사 | 차선 정보 생성 장치 및 방법 |
WO2019142586A1 (ja) * | 2018-01-17 | 2019-07-25 | 日立オートモティブシステムズ株式会社 | 画像処理システム及び配光制御システム |
JPWO2019142586A1 (ja) * | 2018-01-17 | 2020-12-17 | 日立オートモティブシステムズ株式会社 | 画像処理システム及び配光制御システム |
WO2020158262A1 (ja) * | 2019-01-30 | 2020-08-06 | 日本電気株式会社 | 劣化診断装置、劣化診断システム、劣化診断方法、記録媒体 |
JPWO2020158262A1 (ja) * | 2019-01-30 | 2021-09-09 | 日本電気株式会社 | 劣化診断装置、劣化診断システム、劣化診断方法、プログラム |
JP2020160878A (ja) * | 2019-03-27 | 2020-10-01 | 日産自動車株式会社 | 運転支援方法及び運転支援装置 |
Also Published As
Publication number | Publication date |
---|---|
US20120194677A1 (en) | 2012-08-02 |
DE102012201143A1 (de) | 2012-08-02 |
DE102012201143A8 (de) | 2012-10-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2012155612A (ja) | 車線検出装置 | |
JP5260696B2 (ja) | エッジ点抽出装置、車線検出装置、およびプログラム | |
JP5421072B2 (ja) | 接近物体検知システム | |
CN103322974B (zh) | 多透镜摄像机系统、安装多透镜摄像机系统的交通工具,以及由多透镜摄像机系统执行的测距方法 | |
JP5846872B2 (ja) | 画像処理装置 | |
JP5399027B2 (ja) | 自動車の運転を支援するための、立体画像を捕捉することができるシステムを有するデバイス | |
JP5966965B2 (ja) | 車線境界線逸脱抑制装置及び車線境界線逸脱抑制方法 | |
US9171215B2 (en) | Image processing device | |
US9319647B2 (en) | Image processing device | |
US9493108B2 (en) | Apparatus for detecting other vehicle lights and light control apparatus for vehicles | |
WO2012141053A1 (ja) | 画像処理装置 | |
JP6034923B1 (ja) | 車外環境認識装置 | |
US20150302257A1 (en) | On-Vehicle Control Device | |
JP2009116723A (ja) | 車線変更支援装置 | |
JP6236039B2 (ja) | 車外環境認識装置 | |
US8611650B2 (en) | Method and device for lane detection | |
WO2014002413A1 (ja) | 先行車両検知装置、先行車両検知方法、及び先行車両検知プログラム記憶媒体 | |
JP2009211715A (ja) | 車線位置検知システム | |
US11663834B2 (en) | Traffic signal recognition method and traffic signal recognition device | |
KR101850030B1 (ko) | 조도를 이용한 차선 변경 보조 방법 및 장치 | |
JP6378547B2 (ja) | 車外環境認識装置 | |
JP6161582B2 (ja) | 画像処理装置 | |
JP2022060118A (ja) | 区画線認識装置 | |
JP2005339234A (ja) | 前方車両監視装置 | |
US10926700B2 (en) | Image processing device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120524 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130124 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130129 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130702 |