JP2003228711A - レーンマーク認識方法 - Google Patents
レーンマーク認識方法Info
- Publication number
- JP2003228711A JP2003228711A JP2002173569A JP2002173569A JP2003228711A JP 2003228711 A JP2003228711 A JP 2003228711A JP 2002173569 A JP2002173569 A JP 2002173569A JP 2002173569 A JP2002173569 A JP 2002173569A JP 2003228711 A JP2003228711 A JP 2003228711A
- Authority
- JP
- Japan
- Prior art keywords
- lane mark
- edge
- angle
- recognition method
- lane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
(57)【要約】
【課題】白線もしくは道路鋲で構成されたレーンマーク
を、レーンマークの種別で区別することなく安定して認
識可能なアルゴリズムを提供する。 【解決手段】レーンマークを含む画像を入力する画像入
力工程と、この画像入力工程で入力された入力画像にお
ける輝度変化部分を抽出するエッジ抽出工程と、前記エ
ッジ抽出工程で抽出したエッジ点を用いてレーンマーク
の位置推定を行うレーンマーク位置推定工程を備えたレ
ーンマーク認識方法において、エッジ抽出工程は各エッ
ジの方向角を算出する手段を備え、レーンマーク位置推
定工程はエッジ抽出工程で抽出したエッジ点から道路の
消失点に向いている角度を持つエッジ点を抽出する手段
を備えている。 【効果】レーンマークの種別で区別することなく安定し
て認識可能であるため、アルゴリズムの切替えが不要で
あるほか、未知のレーンマーク形状にも対応可能であ
る。
を、レーンマークの種別で区別することなく安定して認
識可能なアルゴリズムを提供する。 【解決手段】レーンマークを含む画像を入力する画像入
力工程と、この画像入力工程で入力された入力画像にお
ける輝度変化部分を抽出するエッジ抽出工程と、前記エ
ッジ抽出工程で抽出したエッジ点を用いてレーンマーク
の位置推定を行うレーンマーク位置推定工程を備えたレ
ーンマーク認識方法において、エッジ抽出工程は各エッ
ジの方向角を算出する手段を備え、レーンマーク位置推
定工程はエッジ抽出工程で抽出したエッジ点から道路の
消失点に向いている角度を持つエッジ点を抽出する手段
を備えている。 【効果】レーンマークの種別で区別することなく安定し
て認識可能であるため、アルゴリズムの切替えが不要で
あるほか、未知のレーンマーク形状にも対応可能であ
る。
Description
【０００１】
【発明の属する技術分野】本発明は、カメラ等の入力手
段により得られた路面情報から画像処理によって車両走
行レーンマークを認識するレーンマーク認識方法及びそ
れを用いた装置に関する。
段により得られた路面情報から画像処理によって車両走
行レーンマークを認識するレーンマーク認識方法及びそ
れを用いた装置に関する。
【０００２】
【従来の技術】従来から、道路に敷設された白線等のレ
ーンマークを画像処理により認識し、ドライバーに対し
て走行車線を逸脱している場合の警報を行ったり、レー
ンマークの認識結果を用いて車両のステアリング制御を
行う手法が提案されている。
ーンマークを画像処理により認識し、ドライバーに対し
て走行車線を逸脱している場合の警報を行ったり、レー
ンマークの認識結果を用いて車両のステアリング制御を
行う手法が提案されている。
【０００３】画像処理により白線を認識するには、従来
の一般的な手法では、画像の輝度に対して閾値を設定
し、画像を二値化することで、輝度の高い部分を白線と
認識していた。これは、白線は周囲の道路に比べて明度
が高いため、画像上では道路領域と比較して高い輝度と
なることを利用したものである。この道路領域と白線領
域の輝度の間に閾値を設定すれば、二値化により白線領
域だけを検出することができる。
の一般的な手法では、画像の輝度に対して閾値を設定
し、画像を二値化することで、輝度の高い部分を白線と
認識していた。これは、白線は周囲の道路に比べて明度
が高いため、画像上では道路領域と比較して高い輝度と
なることを利用したものである。この道路領域と白線領
域の輝度の間に閾値を設定すれば、二値化により白線領
域だけを検出することができる。
【０００４】しかし、白線の上に影がかかっている画像
の場合、影のかかった白線領域では、そうでない領域に
比べて輝度が低くなり、影のかかった領域の検出を良好
に行うことができない、という不都合があった。また、
影のかかった白線領域を検出できる輝度値を閾値とする
と、この閾値では白線以外の部分も検出してしまう。
の場合、影のかかった白線領域では、そうでない領域に
比べて輝度が低くなり、影のかかった領域の検出を良好
に行うことができない、という不都合があった。また、
影のかかった白線領域を検出できる輝度値を閾値とする
と、この閾値では白線以外の部分も検出してしまう。
【０００５】特開平４−１５２４０６号によると、画像
全体の輝度の平均値と最大値とに基づいて、閾値を設定
する手法が開示されている。この手法により、画像の状
況によって閾値を変更することができるため、より安定
した白線認識が可能となる。
全体の輝度の平均値と最大値とに基づいて、閾値を設定
する手法が開示されている。この手法により、画像の状
況によって閾値を変更することができるため、より安定
した白線認識が可能となる。
【０００６】しかしながら、この手法では、天候や影に
より画像の状態が変化すると、白線を良好に検出できな
くなる、という不都合があった。
より画像の状態が変化すると、白線を良好に検出できな
くなる、という不都合があった。
【０００７】また、輝度による二値化ではなく、エッジ
抽出処理を行い、白線の輪郭線を検出することで白線を
認識する手法がある。このエッジ抽出処理は、画像の輝
度が変化している部分を抽出する。すなわち、この手法
では、道路上の白線は周囲の道路が暗く、白線の端部に
明るさの変化があることを利用して、この変化が生じて
いる部分を白線の端部と認識する。このエッジ抽出処理
は、明るさの変化を検出する処理であるため、天候の変
化により画像の広い領域の明るさが変化しても、白線の
端部分に輝度変化があれば白線を検出できるという利点
がある。ただし、エッジ抽出処理を行う方法は、白線の
端部分のエッジを安定して抽出できる反面、先行車両や
轍など、道路内の余分なエッジ成分まで抽出する可能性
が高い。
抽出処理を行い、白線の輪郭線を検出することで白線を
認識する手法がある。このエッジ抽出処理は、画像の輝
度が変化している部分を抽出する。すなわち、この手法
では、道路上の白線は周囲の道路が暗く、白線の端部に
明るさの変化があることを利用して、この変化が生じて
いる部分を白線の端部と認識する。このエッジ抽出処理
は、明るさの変化を検出する処理であるため、天候の変
化により画像の広い領域の明るさが変化しても、白線の
端部分に輝度変化があれば白線を検出できるという利点
がある。ただし、エッジ抽出処理を行う方法は、白線の
端部分のエッジを安定して抽出できる反面、先行車両や
轍など、道路内の余分なエッジ成分まで抽出する可能性
が高い。
【０００８】そのため、白線のエッジであるか否かを判
別する手法が重要となる。
別する手法が重要となる。
【０００９】特開平１１−１９５１２７号によると、エ
ッジ点を求めるときに得られるエッジの角度情報を利用
し、角度対となるエッジ点で囲まれた領域を白線と判定
する手法が開示されている。これは、白線の場合、白線
の左端と右端の部分とで対でエッジが抽出され、その角
度差はおよそ１８０度となることを利用したもので、角
度の対となるエッジ点がない場合、そのエッジ点は白線
のものではないとして除外できる。
ッジ点を求めるときに得られるエッジの角度情報を利用
し、角度対となるエッジ点で囲まれた領域を白線と判定
する手法が開示されている。これは、白線の場合、白線
の左端と右端の部分とで対でエッジが抽出され、その角
度差はおよそ１８０度となることを利用したもので、角
度の対となるエッジ点がない場合、そのエッジ点は白線
のものではないとして除外できる。
【００１０】
【発明が解決しようとする課題】レーンマークの中で
も、エッジ点分布が線状に連なる白線が認識対象である
場合、特開平１１−１９５１２７号のようにエッジ点の
位置角度情報から白線部分の推定が可能となる。ところ
が、上記従来例ではレーンマークとして道路鋲が敷設さ
れた路線までは考慮されていないため、道路鋲の認識ま
では不可能である。
も、エッジ点分布が線状に連なる白線が認識対象である
場合、特開平１１−１９５１２７号のようにエッジ点の
位置角度情報から白線部分の推定が可能となる。ところ
が、上記従来例ではレーンマークとして道路鋲が敷設さ
れた路線までは考慮されていないため、道路鋲の認識ま
では不可能である。
【００１１】道路鋲を認識する場合、道路鋲パターンを
テンプレートとして登録しておき、テンプレートマッチ
ングによって道路鋲の位置を検出する方法もある。とこ
ろが、一般に画像上における道路鋲の大きさは小さく、
ノイズによる影響を受けやすいことから、認識率を安定
させることが難しい。
テンプレートとして登録しておき、テンプレートマッチ
ングによって道路鋲の位置を検出する方法もある。とこ
ろが、一般に画像上における道路鋲の大きさは小さく、
ノイズによる影響を受けやすいことから、認識率を安定
させることが難しい。
【００１２】また、白線用のアルゴリズムと道路鋲用の
アルゴリズムが異なる場合、白線と道路鋲が混在した路
線のレーンマークを認識するためには、正しくレーンマ
ークの種別を判断する必要がある。このことより、個々
のアルゴリズムが優れていてもレーンマーク種別の判断
を誤ると認識できないため、総合的な認識率が低下す
る。
アルゴリズムが異なる場合、白線と道路鋲が混在した路
線のレーンマークを認識するためには、正しくレーンマ
ークの種別を判断する必要がある。このことより、個々
のアルゴリズムが優れていてもレーンマーク種別の判断
を誤ると認識できないため、総合的な認識率が低下す
る。
【００１３】本発明では、白線もしくは道路鋲で構成さ
れたレーンマークを、レーンマークの種別で区別するこ
となく安定して認識可能なアルゴリズムを提供すること
を目的とする。
れたレーンマークを、レーンマークの種別で区別するこ
となく安定して認識可能なアルゴリズムを提供すること
を目的とする。
【００１４】
【課題を解決するための手段】上記の目的を達成するた
め本発明のレーンマーク認識方法では、レーンマークを
含む画像を入力する画像入力工程と、その画像入力工程
で入力された入力画像における輝度変化部分であるエッ
ジ点を抽出し、抽出された各エッジ点の方向を表す角度
を算出するエッジ抽出工程と、エッジ抽出工程で抽出し
た前記エッジ点のうち、エッジ点の角度が所定の角度も
しくは所定の角度範囲内であるものを抽出してレーンマ
ークの位置推定を行うレーンマーク位置推定工程を備え
ている。
め本発明のレーンマーク認識方法では、レーンマークを
含む画像を入力する画像入力工程と、その画像入力工程
で入力された入力画像における輝度変化部分であるエッ
ジ点を抽出し、抽出された各エッジ点の方向を表す角度
を算出するエッジ抽出工程と、エッジ抽出工程で抽出し
た前記エッジ点のうち、エッジ点の角度が所定の角度も
しくは所定の角度範囲内であるものを抽出してレーンマ
ークの位置推定を行うレーンマーク位置推定工程を備え
ている。
【００１５】また、エッジ抽出工程は、消失点からの距
離が離れたエッジ点を抽出する工程を備えている。
離が離れたエッジ点を抽出する工程を備えている。
【００１６】また、レーンマーク位置推定工程は、消失
点からの距離が離れたエッジ点のうち、消失点に向いて
いる角度を持つエッジ点から角度別のヒストグラムを作
成し、出現頻度の高い角度をレーンマークの角度として
いる。
点からの距離が離れたエッジ点のうち、消失点に向いて
いる角度を持つエッジ点から角度別のヒストグラムを作
成し、出現頻度の高い角度をレーンマークの角度として
いる。
【００１７】また、レーンマーク位置推定工程は、レー
ンマークの角度をもつエッジ点の分布からレーンマーク
位置を直線推定している。
ンマークの角度をもつエッジ点の分布からレーンマーク
位置を直線推定している。
【００１８】
【発明の実施の形態】図１は、本発明であるレーンマー
ク認識方法の処理フローである。
ク認識方法の処理フローである。
【００１９】本発明の一つの実施形態におけるレーンマ
ーク認識方法は、レーンマークを含む画像を入力する画
像入力工程である車両前方画像取得工程（ステップＳ
１）と、この車両前方画像取得工程Ｓ１で入力された入
力画像の輝度変化部分をエッジとし、このエッジの方向
角を算出する角度情報付きエッジ抽出工程（ステップＳ
２）と、エッジ点の位置と方向角から道路の消失点に向
かっているエッジ点を選出するエッジ選出工程（ステッ
プＳ３）と、消失点に向かって並んでいるエッジ点の位
置分布を解析し、レーンマークのエッジ点と判定するレ
ーンマーク位置推定工程（ステップＳ４〜Ｓ５）と、消
失点等の情報を更新する工程（ステップＳ６）および、
認識結果を出力する結果出力工程（ステップＳ７）によ
って構成される。
ーク認識方法は、レーンマークを含む画像を入力する画
像入力工程である車両前方画像取得工程（ステップＳ
１）と、この車両前方画像取得工程Ｓ１で入力された入
力画像の輝度変化部分をエッジとし、このエッジの方向
角を算出する角度情報付きエッジ抽出工程（ステップＳ
２）と、エッジ点の位置と方向角から道路の消失点に向
かっているエッジ点を選出するエッジ選出工程（ステッ
プＳ３）と、消失点に向かって並んでいるエッジ点の位
置分布を解析し、レーンマークのエッジ点と判定するレ
ーンマーク位置推定工程（ステップＳ４〜Ｓ５）と、消
失点等の情報を更新する工程（ステップＳ６）および、
認識結果を出力する結果出力工程（ステップＳ７）によ
って構成される。
【００２０】ここで、消失点とは、自車両の左右にある
レーンマークが交差する無限遠点とする。
レーンマークが交差する無限遠点とする。
【００２１】以下、本実施例におけるレーンマーク認識
方法の応用システム全体の構成を説明した後に、本実施
例のレーンマーク認識方法における各ステップの詳細に
ついて説明する。
方法の応用システム全体の構成を説明した後に、本実施
例のレーンマーク認識方法における各ステップの詳細に
ついて説明する。
【００２２】本実施例のシステムを図１０に示す。まず
レーン認識部１０１において、車両前方に向けられたカ
メラ１０４等の入力手段から得られた車両前方画像を、
画像処理手段１０５に転送する。画像処理手段１０５は
本発明のレーンマーク認識方法によって、画像上のレー
ンマークの位置を認識し、自車両がレーンに対してどれ
だけずれているのかを算出する。ずれ量に関しては図７
で説明する。ずれ量Ｓは、自車両７１がレーンの中心に
あれば０、右側に寄っていれば正の値、左側に寄ってい
れば負の値とし、−１から１までの値をとるものとす
る。算出されたずれ量Ｓはレーンキープ制御部１０２に
転送する。レーンキープ制御部１０２は、転送されたず
れ量Ｓから、必要であれば車両をレーンの中心に戻すよ
うにステアリングアクチュエータ１０６の制御を行った
り、レーン逸脱警報１０７を鳴らしたりする。すなわ
ち、本レーンマーク認識方法では、カメラの映像を解析
して、白線あるいは道路鋲で構成されるレーンマークの
位置を検出し、レーンに対する自車両のずれ量を算出す
るものである。
レーン認識部１０１において、車両前方に向けられたカ
メラ１０４等の入力手段から得られた車両前方画像を、
画像処理手段１０５に転送する。画像処理手段１０５は
本発明のレーンマーク認識方法によって、画像上のレー
ンマークの位置を認識し、自車両がレーンに対してどれ
だけずれているのかを算出する。ずれ量に関しては図７
で説明する。ずれ量Ｓは、自車両７１がレーンの中心に
あれば０、右側に寄っていれば正の値、左側に寄ってい
れば負の値とし、−１から１までの値をとるものとす
る。算出されたずれ量Ｓはレーンキープ制御部１０２に
転送する。レーンキープ制御部１０２は、転送されたず
れ量Ｓから、必要であれば車両をレーンの中心に戻すよ
うにステアリングアクチュエータ１０６の制御を行った
り、レーン逸脱警報１０７を鳴らしたりする。すなわ
ち、本レーンマーク認識方法では、カメラの映像を解析
して、白線あるいは道路鋲で構成されるレーンマークの
位置を検出し、レーンに対する自車両のずれ量を算出す
るものである。
【００２３】以下、図１に従って本レーンマーク認識方
法の詳細な説明を行う。
法の詳細な説明を行う。
【００２４】まず、ステップＳ１では、入力手段である
カメラによって得られた車両前方の画像を取り込み、画
像処理装置内の画像メモリに格納する。画像には白線も
しくは道路鋲で構成されたレーンマークを含んでいるこ
とが絶対条件で、図２のようになる。図２（ａ）は白
線、図２（ｂ）は道路鋲の例を示している。
カメラによって得られた車両前方の画像を取り込み、画
像処理装置内の画像メモリに格納する。画像には白線も
しくは道路鋲で構成されたレーンマークを含んでいるこ
とが絶対条件で、図２のようになる。図２（ａ）は白
線、図２（ｂ）は道路鋲の例を示している。
【００２５】ステップＳ２では、画像メモリに格納され
た入力画像の輝度変化部分をエッジとして抽出し、この
エッジの角度情報を付加したデータとして算出する。こ
のデータは、各エッジ点について位置情報ｘ，ｙおよ
び、角度情報θを含んでいる。
た入力画像の輝度変化部分をエッジとして抽出し、この
エッジの角度情報を付加したデータとして算出する。こ
のデータは、各エッジ点について位置情報ｘ，ｙおよ
び、角度情報θを含んでいる。
【００２６】ここで、位置情報は画面上での値で単位は
ピクセル、角度情報θは画面上でのエッジの方向を表
し、０度から３６０度の値をとる。本実施例では、エッ
ジの方向は、輝度の高い方向に対して９０度左に傾けた
方向になるように定義する。輝度の高い方向に対して９
０度傾けているのは、エッジによる輪郭線の向きにあわ
せるためであり、傾ける方向に関しては右でも構わな
い。一般に、白線１，道路鋲２とも周囲の路面３と比較
して輝度が高くなるため、本実施例の定義によるとエッ
ジの方向は図３のようになる。
ピクセル、角度情報θは画面上でのエッジの方向を表
し、０度から３６０度の値をとる。本実施例では、エッ
ジの方向は、輝度の高い方向に対して９０度左に傾けた
方向になるように定義する。輝度の高い方向に対して９
０度傾けているのは、エッジによる輪郭線の向きにあわ
せるためであり、傾ける方向に関しては右でも構わな
い。一般に、白線１，道路鋲２とも周囲の路面３と比較
して輝度が高くなるため、本実施例の定義によるとエッ
ジの方向は図３のようになる。
【００２７】図３は白線１および道路鋲２を拡大したも
ので、図３中の白丸は得られたエッジ点４、矢印がエッ
ジ点の方向５となる。輝度の高い方向に対して９０度左
に傾けているため、エッジの方向に向かって右側の輝度
が高く、左側の輝度が低くなる。図３では道路鋲２が円
形の場合について示しているが、方形など他の形につい
ても同様である。エッジ点の抽出方法の詳細は後述す
る。実際には路面にはレーンマーク以外にも、先行車，
スリップ痕などの汚れ，模様，街路樹等の陰などエッジ
として出てくる要素が多い。これらのエッジはすべてレ
ーンマーク認識に不要なノイズとなる。そのため、ステ
ップＳ３以降でノイズの分離を行う。
ので、図３中の白丸は得られたエッジ点４、矢印がエッ
ジ点の方向５となる。輝度の高い方向に対して９０度左
に傾けているため、エッジの方向に向かって右側の輝度
が高く、左側の輝度が低くなる。図３では道路鋲２が円
形の場合について示しているが、方形など他の形につい
ても同様である。エッジ点の抽出方法の詳細は後述す
る。実際には路面にはレーンマーク以外にも、先行車，
スリップ痕などの汚れ，模様，街路樹等の陰などエッジ
として出てくる要素が多い。これらのエッジはすべてレ
ーンマーク認識に不要なノイズとなる。そのため、ステ
ップＳ３以降でノイズの分離を行う。
【００２８】ステップＳ３では、レーンマークのエッジ
点をできるだけ残しつつ、ノイズとなるエッジ点を除外
する。そのために、レーンマークが消失点に向かってい
る事を利用し、消失点に向かっているエッジ点のみを選
別する。つまり消失点に向かっていないエッジ点を除外
する。選別方法は、まずエッジ点の情報ｘ，ｙ，θか
ら、ｘ，ｙを通りθの角度を持つ直線の方程式を求め
る。その直線と消失点との距離を求めその距離があらか
じめ設定しておいた所定の閾値よりも小さければ消失点
に向かっていると判断しレーンマーク候補として残す。
所定の閾値を設けることで、抽出されるエッジ点の角度
は幅を持つことになり、ノイズによる角度ずれの影響を
軽減する効果がある。次に、もともと消失点に近いエッ
ジ点はθに関係なく除去する。消失点に近いエッジ点
は、実空間上では遠くの離れた物体のエッジ点であるこ
とから、レーンマークは、画面上の消失点近辺において
非常に小さく投影されることになる。その結果、消失点
近辺ではレーンマークのエッジ点はわずかとなり、ノイ
ズとなるレーンマーク以外のエッジ点の比率が高くな
る。
点をできるだけ残しつつ、ノイズとなるエッジ点を除外
する。そのために、レーンマークが消失点に向かってい
る事を利用し、消失点に向かっているエッジ点のみを選
別する。つまり消失点に向かっていないエッジ点を除外
する。選別方法は、まずエッジ点の情報ｘ，ｙ，θか
ら、ｘ，ｙを通りθの角度を持つ直線の方程式を求め
る。その直線と消失点との距離を求めその距離があらか
じめ設定しておいた所定の閾値よりも小さければ消失点
に向かっていると判断しレーンマーク候補として残す。
所定の閾値を設けることで、抽出されるエッジ点の角度
は幅を持つことになり、ノイズによる角度ずれの影響を
軽減する効果がある。次に、もともと消失点に近いエッ
ジ点はθに関係なく除去する。消失点に近いエッジ点
は、実空間上では遠くの離れた物体のエッジ点であるこ
とから、レーンマークは、画面上の消失点近辺において
非常に小さく投影されることになる。その結果、消失点
近辺ではレーンマークのエッジ点はわずかとなり、ノイ
ズとなるレーンマーク以外のエッジ点の比率が高くな
る。
【００２９】消失点の近傍であるかどうかを判定する手
段としては、単純に画面上での消失点とエッジ点との距
離を計算して判断する方法がある。すなわち、消失点を
中心とした半径が一定の円もしくは楕円内にあるエッジ
点をすべて除去する。また、計算コストを考慮して、ｙ
座標の差から判断する方法もある。こちらの方法は、消
失点のｙ座標とエッジ点のｙ座標の差を求め、ある一定
のしきい値以下であれば近傍と判断し除去する。道路平
面上にあるレーンマークは画面上のｙ座標位置によって
カメラからの俯角が得られるため、カメラの設置高と合
わせて実際の距離が求まる。このことがｙ座標のみを用
いる理由である。
段としては、単純に画面上での消失点とエッジ点との距
離を計算して判断する方法がある。すなわち、消失点を
中心とした半径が一定の円もしくは楕円内にあるエッジ
点をすべて除去する。また、計算コストを考慮して、ｙ
座標の差から判断する方法もある。こちらの方法は、消
失点のｙ座標とエッジ点のｙ座標の差を求め、ある一定
のしきい値以下であれば近傍と判断し除去する。道路平
面上にあるレーンマークは画面上のｙ座標位置によって
カメラからの俯角が得られるため、カメラの設置高と合
わせて実際の距離が求まる。このことがｙ座標のみを用
いる理由である。
【００３０】消失点近傍のエッジ点はあらかじめ除去す
ることで、ノイズを軽減する効果がある。以上述べたエ
ッジ点の選別によって、消失点から離れた手前側のエッ
ジ点のうち、消失点に向かっているエッジ点のみが選出
されることになる。図４は、白線１および道路鋲２にお
いて、消失点が右上にある場合のエッジ点選出結果であ
る。白線１のエッジ点４はほぼそのまま残るが、道路鋲
２のエッジ点４はほとんどのエッジ点が除外されてい
る。ただし、白線１と同様の方向成分を持つ左端と右端
のエッジ点は残るため、以降の処理で白線と同様の処理
が可能となる。この選別処理によってレーンマーク以外
のノイズとなるエッジ点のうち大部分は除去されるが、
レーンマークに平行なエッジ点は残るため、ステップＳ
４以降の解析で判定する。また、消失点の位置は一定で
はなく、自車のレーンに対する傾き等で変化することか
ら毎回計算しなければならないが、本ステップでは前フ
レームで求まった消失点位置を使用する。これは消失点
の位置が短時間で極端に変わらない性質を利用してい
る。開始時には、あらかじめカメラの設置位置からデフ
ォルトの消失点位置を決めておきその値を使用する。消
失点の求め方についてはステップＳ６で説明する。
ることで、ノイズを軽減する効果がある。以上述べたエ
ッジ点の選別によって、消失点から離れた手前側のエッ
ジ点のうち、消失点に向かっているエッジ点のみが選出
されることになる。図４は、白線１および道路鋲２にお
いて、消失点が右上にある場合のエッジ点選出結果であ
る。白線１のエッジ点４はほぼそのまま残るが、道路鋲
２のエッジ点４はほとんどのエッジ点が除外されてい
る。ただし、白線１と同様の方向成分を持つ左端と右端
のエッジ点は残るため、以降の処理で白線と同様の処理
が可能となる。この選別処理によってレーンマーク以外
のノイズとなるエッジ点のうち大部分は除去されるが、
レーンマークに平行なエッジ点は残るため、ステップＳ
４以降の解析で判定する。また、消失点の位置は一定で
はなく、自車のレーンに対する傾き等で変化することか
ら毎回計算しなければならないが、本ステップでは前フ
レームで求まった消失点位置を使用する。これは消失点
の位置が短時間で極端に変わらない性質を利用してい
る。開始時には、あらかじめカメラの設置位置からデフ
ォルトの消失点位置を決めておきその値を使用する。消
失点の求め方についてはステップＳ６で説明する。
【００３１】ステップＳ４では、ステップＳ３で抽出さ
れたエッジ点の角度情報から自車両の左右のレーンマー
クの角度を推定する。解析のために、本実施例ではエッ
ジ角度ヒストグラムを利用する。すなわち、エッジを構
成するすべての画素について、角度毎のヒストグラムを
作成する。このエッジ角度ヒストグラムでは、ある方向
のエッジ角度の画素が多いと、これがピークとして現れ
る。たとえば、画像中に１本の真っ直ぐな白線のみが存
在すると仮定した場合、ある特定のエッジ角度について
ピークが現れる。そこで、図５（ｂ）のようにヒストグ
ラムを作成してピークを形成する角度の中から、左右の
レーンマークの角度θl とθr を推定する。図５（ａ）
（ｂ）の例では、１８０度のずれは無視し、１８０度以
上の角度は１８０度引いた値でヒストグラムを作成して
いる。これは、白線１や道路鋲２は、図４（ａ）（ｂ）
のように左端と右端にほぼ１８０度違いのエッジがセッ
トで現れるため、これらを合わせ込むことでよりピーク
を出しやすくする効果がある。ただし実際にはノイズ成
分がピークを形成することも多く、これと区別するため
に、レーンの幅情報を利用して推定を行う。レーンの幅
はほぼ一定であるため、左右のレーンマークの角度θl
とθr の組み合わせを限定できる。図５(ａ)の例のよう
に車線数が多い場合は、隣のレーンマークの角度θnlや
θnrを利用することで、θl とθr を推定することも可
能である。この場合もレーン幅がほぼ一定であることを
利用している。
れたエッジ点の角度情報から自車両の左右のレーンマー
クの角度を推定する。解析のために、本実施例ではエッ
ジ角度ヒストグラムを利用する。すなわち、エッジを構
成するすべての画素について、角度毎のヒストグラムを
作成する。このエッジ角度ヒストグラムでは、ある方向
のエッジ角度の画素が多いと、これがピークとして現れ
る。たとえば、画像中に１本の真っ直ぐな白線のみが存
在すると仮定した場合、ある特定のエッジ角度について
ピークが現れる。そこで、図５（ｂ）のようにヒストグ
ラムを作成してピークを形成する角度の中から、左右の
レーンマークの角度θl とθr を推定する。図５（ａ）
（ｂ）の例では、１８０度のずれは無視し、１８０度以
上の角度は１８０度引いた値でヒストグラムを作成して
いる。これは、白線１や道路鋲２は、図４（ａ）（ｂ）
のように左端と右端にほぼ１８０度違いのエッジがセッ
トで現れるため、これらを合わせ込むことでよりピーク
を出しやすくする効果がある。ただし実際にはノイズ成
分がピークを形成することも多く、これと区別するため
に、レーンの幅情報を利用して推定を行う。レーンの幅
はほぼ一定であるため、左右のレーンマークの角度θl
とθr の組み合わせを限定できる。図５(ａ)の例のよう
に車線数が多い場合は、隣のレーンマークの角度θnlや
θnrを利用することで、θl とθr を推定することも可
能である。この場合もレーン幅がほぼ一定であることを
利用している。
【００３２】ステップＳ５では、θl とθr の角度を持
つエッジ点の分布から、左右レーンマークの直線を推定
する。ここで、カーブなどでレーンマークが曲がってい
ることも考えられるが、この曲がりによる影響はほぼ無
視することができる。これは、ステップＳ３で消失点近
辺のエッジ点をすべて除外して、自車両に近い手前のレ
ーンマークのエッジ点のみを用いることによって、カー
ブであっても部分的には直線近似が可能であるという性
質が利用可能となるためである。レーンマークの直線推
定にはハフ変換を使用する。ハフ変換とは、いくつかの
点の配置から最も多くの点を通る直線を導き出す手法で
あり、画像処理では一般的な手法のため説明は割愛す
る。以下図６を用いてレーンマークの直線推定までの説
明を行う。
つエッジ点の分布から、左右レーンマークの直線を推定
する。ここで、カーブなどでレーンマークが曲がってい
ることも考えられるが、この曲がりによる影響はほぼ無
視することができる。これは、ステップＳ３で消失点近
辺のエッジ点をすべて除外して、自車両に近い手前のレ
ーンマークのエッジ点のみを用いることによって、カー
ブであっても部分的には直線近似が可能であるという性
質が利用可能となるためである。レーンマークの直線推
定にはハフ変換を使用する。ハフ変換とは、いくつかの
点の配置から最も多くの点を通る直線を導き出す手法で
あり、画像処理では一般的な手法のため説明は割愛す
る。以下図６を用いてレーンマークの直線推定までの説
明を行う。
【００３３】図６は自車両の左側の白線の例を示してい
る。白線には左右の両端でエッジが出てくるため、左端
のエッジ点と右端のエッジ点に分けてハフ変換を行う。
ステップＳ４で求まった左の白線の角度がθl とする
と、右端のエッジ点の方向角はθl 、左端のエッジ点の
方向角は反対向きなのでθl＋１８０ と推定できる。そ
こで、θl に近い角度を持つエッジ点の分布からハフ変
換を行い、求まった直線を白線の右端の線６２とする。
同様に、θl＋１８０ に近い角度を持つエッジ点の分布
からハフ変換を行い、求まった直線を白線の左端の線６
１とする。このようにして求まった２本の直線から、中
心線６３を求め、左の白線とする。以上、白線で説明し
たがこれは道路鋲の場合でも同様である。また直線推定
に用いたハフ変換は、最小二乗近似法などでも代用でき
る。
る。白線には左右の両端でエッジが出てくるため、左端
のエッジ点と右端のエッジ点に分けてハフ変換を行う。
ステップＳ４で求まった左の白線の角度がθl とする
と、右端のエッジ点の方向角はθl 、左端のエッジ点の
方向角は反対向きなのでθl＋１８０ と推定できる。そ
こで、θl に近い角度を持つエッジ点の分布からハフ変
換を行い、求まった直線を白線の右端の線６２とする。
同様に、θl＋１８０ に近い角度を持つエッジ点の分布
からハフ変換を行い、求まった直線を白線の左端の線６
１とする。このようにして求まった２本の直線から、中
心線６３を求め、左の白線とする。以上、白線で説明し
たがこれは道路鋲の場合でも同様である。また直線推定
に用いたハフ変換は、最小二乗近似法などでも代用でき
る。
【００３４】ステップＳ６では消失点を算出する。消失
点はステップＳ５で算出された左右のレーンマークの直
線同士の交点として算出できる。一般に、消失点はカー
ブなどでレーンマークが曲がっている場合は、消失点は
曲がっている方向になる。しかし、本実施例では遠方の
エッジ点は無視しているため、手前のレーンマークを直
線近似した交点を消失点としている。このようにして得
られる消失点は、カーブによる変動が少ないことから変
動範囲を限定することができ、消失点位置の予測解析が
行いやすい。
点はステップＳ５で算出された左右のレーンマークの直
線同士の交点として算出できる。一般に、消失点はカー
ブなどでレーンマークが曲がっている場合は、消失点は
曲がっている方向になる。しかし、本実施例では遠方の
エッジ点は無視しているため、手前のレーンマークを直
線近似した交点を消失点としている。このようにして得
られる消失点は、カーブによる変動が少ないことから変
動範囲を限定することができ、消失点位置の予測解析が
行いやすい。
【００３５】ステップＳ７では、認識結果を出力する。
出力する情報はレーンに対する自車両の位置ずれ量Ｓと
する（図７）。位置ずれ量Ｓは、自車両７１がレーンの
中央を走行している場合は０（図７（ａ））、右側のレ
ーンマーク上にいる場合は１（図７（ｂ））、左側のレ
ーンマーク上にいる場合は−１（図７（ｃ））とし、−
１から１の間をとる。Ｓは、図８中の直線近似線８１の
２本の角度から式(１)で求められる。
出力する情報はレーンに対する自車両の位置ずれ量Ｓと
する（図７）。位置ずれ量Ｓは、自車両７１がレーンの
中央を走行している場合は０（図７（ａ））、右側のレ
ーンマーク上にいる場合は１（図７（ｂ））、左側のレ
ーンマーク上にいる場合は−１（図７（ｃ））とし、−
１から１の間をとる。Ｓは、図８中の直線近似線８１の
２本の角度から式(１)で求められる。
【００３６】
【数１】
【００３７】ここで、
【００３８】
【数２】
【００３９】以上述べた各ステップの工程を図示したも
のが図９である。図９を用いて、本レーンマーク認識方
法の処理を再度説明する。まず、図９（ａ）は、カメラ
から得られた画像から、ステップＳ２でエッジ点を抽出
した結果を示している。図９では、各エッジ点の方向が
分かりやすいように線分でエッジ点を示している。図９
（ｂ）は、ステップＳ３の途中段階で、前フレームで算
出された消失点１０の近辺領域９１に含まれるエッジ点
をすべて除去したものである。図９（ｃ）では、さら
に、消失点１０に向かっていないエッジ点を除去してい
る。図９（ｄ）は、ステップＳ４で、角度のヒストグラ
ムを解析し、出現頻度の高い角度でかつ、レーン幅条件
を満たしている角度のエッジのみを抽出したものであ
る。この例では、となりのレーンマークの角度となるθ
nlやθnrまで残しているが、θl とθr のみでもかまわ
ない。図９（ｅ）は、角度毎にハフ変換を行い直線近似
線８１を求めたものである。消失点１０は直線近似線８
１の交点に更新される。図９で説明したように、本レー
ン認識方式では、白線と道路鋲を特に区別することなく
認識処理を行っているため、白線と道路鋲が混在した路
線に有効である。ただし、白線であっても道路鋲であっ
てもレーンマークのエッジ点が検出できることが大前提
であるため、道路鋲でも輝度差が出るように画像を取得
し、エッジの検出閾値を十分下げることが重要である。
のが図９である。図９を用いて、本レーンマーク認識方
法の処理を再度説明する。まず、図９（ａ）は、カメラ
から得られた画像から、ステップＳ２でエッジ点を抽出
した結果を示している。図９では、各エッジ点の方向が
分かりやすいように線分でエッジ点を示している。図９
（ｂ）は、ステップＳ３の途中段階で、前フレームで算
出された消失点１０の近辺領域９１に含まれるエッジ点
をすべて除去したものである。図９（ｃ）では、さら
に、消失点１０に向かっていないエッジ点を除去してい
る。図９（ｄ）は、ステップＳ４で、角度のヒストグラ
ムを解析し、出現頻度の高い角度でかつ、レーン幅条件
を満たしている角度のエッジのみを抽出したものであ
る。この例では、となりのレーンマークの角度となるθ
nlやθnrまで残しているが、θl とθr のみでもかまわ
ない。図９（ｅ）は、角度毎にハフ変換を行い直線近似
線８１を求めたものである。消失点１０は直線近似線８
１の交点に更新される。図９で説明したように、本レー
ン認識方式では、白線と道路鋲を特に区別することなく
認識処理を行っているため、白線と道路鋲が混在した路
線に有効である。ただし、白線であっても道路鋲であっ
てもレーンマークのエッジ点が検出できることが大前提
であるため、道路鋲でも輝度差が出るように画像を取得
し、エッジの検出閾値を十分下げることが重要である。
【００４０】最後に、エッジの検出手法について説明す
る。エッジの位置のみの検出手法については様々な方法
があるが、エッジの方向成分まで含めて算出する方法と
しては、ソーベルフィルタによる方法や、二次元ゼロク
ロス法等が挙げられる。本実施例では、３×３のソーベ
ルフィルタによる方法について説明する。
る。エッジの位置のみの検出手法については様々な方法
があるが、エッジの方向成分まで含めて算出する方法と
しては、ソーベルフィルタによる方法や、二次元ゼロク
ロス法等が挙げられる。本実施例では、３×３のソーベ
ルフィルタによる方法について説明する。
【００４１】３×３のソーベルフィルタでは、ある注目
画素を中心とした上下左右の９つの画素値に対して、図
１１に示すような係数をそれぞれ乗算し、結果を合計す
ることでエッジの強度を算出する。垂直方向，水平方向
の二つの係数行列を用いてこの処理を行う。
画素を中心とした上下左右の９つの画素値に対して、図
１１に示すような係数をそれぞれ乗算し、結果を合計す
ることでエッジの強度を算出する。垂直方向，水平方向
の二つの係数行列を用いてこの処理を行う。
【００４２】垂直方向の合計値をＧx 、水平方向の合計
値をＧy とすると、注目画素の画素値Ｇは式（３）のよ
うになる。
値をＧy とすると、注目画素の画素値Ｇは式（３）のよ
うになる。
【００４３】
【数３】
【００４４】この画素値Ｇはエッジの強度を表し、大き
いほどその地点の近傍で輝度差が大きいことを示す。こ
のＧの値があらかじめ設定したエッジ抽出閾値よりも大
きければ、その部分の画素はエッジ点として抽出するこ
とになる。白線１の場合は一般に路面３との輝度差が大
きいため、エッジ抽出閾値を適当に設定しておいても問
題ない。しかし道路鋲２の場合、路面３との輝度差が小
さいことが多い。抽出漏れを防ぐため、エッジ抽出閾値
は十分に下げておくことが必要である。
いほどその地点の近傍で輝度差が大きいことを示す。こ
のＧの値があらかじめ設定したエッジ抽出閾値よりも大
きければ、その部分の画素はエッジ点として抽出するこ
とになる。白線１の場合は一般に路面３との輝度差が大
きいため、エッジ抽出閾値を適当に設定しておいても問
題ない。しかし道路鋲２の場合、路面３との輝度差が小
さいことが多い。抽出漏れを防ぐため、エッジ抽出閾値
は十分に下げておくことが必要である。
【００４５】エッジの角度θは、エッジ強度の各方向成
分Ｇx とＧy から、下記の式（４）で求まる。
分Ｇx とＧy から、下記の式（４）で求まる。
【００４６】
【数４】
【００４７】前述したように、角度θは画面上でのエッ
ジの方向を表し、０度以上３６０度未満の値をとる。エ
ッジの方向は、輝度の高い方向に対して９０度左にずら
した方向である。
ジの方向を表し、０度以上３６０度未満の値をとる。エ
ッジの方向は、輝度の高い方向に対して９０度左にずら
した方向である。
【００４８】最後に、認識率を向上させるために入力画
像に施す前処理の説明を行う。画像を入力する手段であ
るカメラは、周囲が見えやすいようにできるだけ高い位
置に設置するのが望ましい。しかし車高の低い車等で、
高い位置に設置できない場合も考えられる。この場合、
カメラの設置高が低くなるため、図１２（ａ）のように
画面上の走行レーンの左右のレーンマークのエッジ成分
１２１同士がなす角度は広がって、レーンマークのエッ
ジ成分１２１は水平に近い状態になる。このとき、隣の
レーンマークやガードレール、さらに隣のレーンを走行
する他車両等のノイズのエッジ成分１２２のエッジ点も
同時に水平に近づくため、これらノイズのエッジ成分１
２２のエッジ角度とレーンマークのエッジ成分１２１の
エッジ角度の差が出にくくなる。この状態では、本願発
明のレーンマーク認識方法によると、エッジ点の角度情
報を用いたノイズの除去が難しくなり認識率が低下する
可能性がある。
像に施す前処理の説明を行う。画像を入力する手段であ
るカメラは、周囲が見えやすいようにできるだけ高い位
置に設置するのが望ましい。しかし車高の低い車等で、
高い位置に設置できない場合も考えられる。この場合、
カメラの設置高が低くなるため、図１２（ａ）のように
画面上の走行レーンの左右のレーンマークのエッジ成分
１２１同士がなす角度は広がって、レーンマークのエッ
ジ成分１２１は水平に近い状態になる。このとき、隣の
レーンマークやガードレール、さらに隣のレーンを走行
する他車両等のノイズのエッジ成分１２２のエッジ点も
同時に水平に近づくため、これらノイズのエッジ成分１
２２のエッジ角度とレーンマークのエッジ成分１２１の
エッジ角度の差が出にくくなる。この状態では、本願発
明のレーンマーク認識方法によると、エッジ点の角度情
報を用いたノイズの除去が難しくなり認識率が低下する
可能性がある。
【００４９】そこで、このような場合に認識率を向上さ
せるための手段として、入力画像の縦横の比率を変更す
る前処理を行う。具体的には、入力画像を横方向に圧縮
するか縦方向に伸張するなどして、図１２（ｂ）のよう
に元の入力画像よりも縦横比が縦長となる画像を生成す
る。この処理はアフィン変換で実現できる。この処理に
よってレーンマークのエッジ成分１２１のエッジ角度
と、それ以外のノイズのエッジ成分１２２のエッジ角度
との差は大きくなる。
せるための手段として、入力画像の縦横の比率を変更す
る前処理を行う。具体的には、入力画像を横方向に圧縮
するか縦方向に伸張するなどして、図１２（ｂ）のよう
に元の入力画像よりも縦横比が縦長となる画像を生成す
る。この処理はアフィン変換で実現できる。この処理に
よってレーンマークのエッジ成分１２１のエッジ角度
と、それ以外のノイズのエッジ成分１２２のエッジ角度
との差は大きくなる。
【００５０】このため、エッジ点の角度情報を用いたノ
イズの除去精度が向上し、本願発明のレーンマーク認識
方法における認識率の向上に繋がる。また、前記前処理
と同様の効果を狙うため、光学系、すなわちカメラのレ
ンズやＣＣＤ等の受光部の形状を変更することによって
あらかじめ縦長の画像を得るようにしても良い。
イズの除去精度が向上し、本願発明のレーンマーク認識
方法における認識率の向上に繋がる。また、前記前処理
と同様の効果を狙うため、光学系、すなわちカメラのレ
ンズやＣＣＤ等の受光部の形状を変更することによって
あらかじめ縦長の画像を得るようにしても良い。
【００５１】
【発明の効果】本願発明のレーンマーク認識方法では、
白線だけではなく道路鋲で構成されたレーンマークであ
ってもレーンマーク位置にエッジがあれば検出可能とな
るため、レーンマークの種別で区別することなく安定し
て認識可能なアルゴリズムを提供できる。
白線だけではなく道路鋲で構成されたレーンマークであ
ってもレーンマーク位置にエッジがあれば検出可能とな
るため、レーンマークの種別で区別することなく安定し
て認識可能なアルゴリズムを提供できる。
【図１】本実施例に係わるレーンマーク認識方法の処理
フローを示した図である。
フローを示した図である。
【図２】本実施例の画像入力工程で得られたレーンマー
クを含む車両前方を示した図である。
クを含む車両前方を示した図である。
【図３】本実施例に係わるレーンマーク認識方法のレー
ンマークのエッジ点の方向を示した図である。
ンマークのエッジ点の方向を示した図である。
【図４】本実施例に係わるレーンマーク認識方法におけ
る右上に消失点があるとした場合の消失点に向かってい
るエッジ点の説明図である。
る右上に消失点があるとした場合の消失点に向かってい
るエッジ点の説明図である。
【図５】本実施例に係わるレーンマーク認識方法のエッ
ジ角度ヒストグラムを説明する図である。
ジ角度ヒストグラムを説明する図である。
【図６】本実施例に係わるレーンマーク認識方法の直線
推定を説明する図である。
推定を説明する図である。
【図７】本実施例に係わるレーンマーク認識方法におけ
る自車両のレーンに対するずれ量Ｓを説明する図であ
る。
る自車両のレーンに対するずれ量Ｓを説明する図であ
る。
【図８】本実施例に係わるレーンマーク認識方法におけ
る自車両のレーンに対するずれ量Ｓを求める方法を説明
する図である。
る自車両のレーンに対するずれ量Ｓを求める方法を説明
する図である。
【図９】本実施例に係わるレーンマーク認識方法の処理
フローの過程を示した図である。
フローの過程を示した図である。
【図１０】本実施例に係わるレーンマーク認識方法を用
いたシステム構成ブロック図である。
いたシステム構成ブロック図である。
【図１１】エッジ位置を検出する一手法である３×３ソ
ーベルフィルタ方法の係数行列を示した図である。
ーベルフィルタ方法の係数行列を示した図である。
【図１２】本実施例に係わるレーンマーク認識方法にお
ける入力画像に対する前処理を説明する図である。
ける入力画像に対する前処理を説明する図である。
１…白線、２…道路鋲、３…路面、４…エッジ点、５…
エッジ点の方向、１０…消失点、６１…白線の左端、６
２…白線の右端、６３…白線の中心線、７１…自車両、
８１…直線近似線、９１…近辺領域、１０１…レーン認
識部、１０２…レーンキープ制御部、１０３…レーンキ
ープ実行部、１０４…カメラ、１０５…画像処理手段、
１０６…ステアリングアクチュエータ、１０７…レーン
逸脱警報、１２１…レーンマークのエッジ成分、１２２
…ノイズのエッジ成分。
エッジ点の方向、１０…消失点、６１…白線の左端、６
２…白線の右端、６３…白線の中心線、７１…自車両、
８１…直線近似線、９１…近辺領域、１０１…レーン認
識部、１０２…レーンキープ制御部、１０３…レーンキ
ープ実行部、１０４…カメラ、１０５…画像処理手段、
１０６…ステアリングアクチュエータ、１０７…レーン
逸脱警報、１２１…レーンマークのエッジ成分、１２２
…ノイズのエッジ成分。
フロントページの続き
(72)発明者 武長 寛
茨城県日立市大みか町七丁目１番１号 株
式会社日立製作所日立研究所内
(72)発明者 竹崎 次郎
茨城県ひたちなか市大字高場2520番地 株
式会社日立製作所自動車機器グループ内
(72)発明者 門司 竜彦
茨城県ひたちなか市大字高場2520番地 株
式会社日立製作所自動車機器グループ内
Ｆターム(参考） 5B057 AA16 BA02 CA12 CA16 DA06
DB02 DC05 DC16 DC36
5H180 AA01 CC04 CC24 LL06 LL09
5L096 BA04 CA02 FA03 FA06 FA35
FA67
Claims (9)
- 【請求項１】レーンマークを含む画像を入力する画像入
力工程と、 前記画像入力工程で入力された入力画像における輝度変
化部分であるエッジ点を抽出し、抽出された各エッジ点
の方向を表す角度を算出するエッジ抽出工程と、 前記エッジ抽出工程で抽出した前記エッジ点のうち、前
記エッジ点の角度が所定の角度もしくは所定の角度範囲
内であるものを抽出してレーンマークの位置推定を行う
レーンマーク位置推定工程とを有するレーンマーク認識
方法。 - 【請求項２】請求項１記載のレーンマーク認識方法にお
いて、 前記レーンマーク位置推定工程において抽出するエッジ
点の所定の角度もしくは所定の角度範囲は、各エッジ点
の位置に応じて変化するレーンマーク認識方法。 - 【請求項３】請求項１または請求項２記載のレーンマー
ク認識方法において、 前記レーンマーク位置推定工程において抽出するエッジ
点の所定の角度もしくは所定の角度範囲とは、前記エッ
ジ点と道路の消失点とを結ぶ直線の角度もしくは前記直
線の角度から１８０度ずらした範囲のものであるレーン
マーク認識方法。 - 【請求項４】請求項３記載のレーンマーク認識方法にお
いて、 前記レーンマーク位置推定工程は、前記消失点から所定
の範囲内にあるエッジ点を除外するレーンマーク認識方
法。 - 【請求項５】請求項３記載のレーンマーク認識方法にお
いて、 前記レーンマーク位置推定工程は、前記消失点に向いて
いる角度を持つエッジ点から角度別のヒストグラムを作
成し、出現頻度が所定値以上の角度をもつエッジ点から
レーンマークを推定するレーンマーク認識方法。 - 【請求項６】請求項４記載のレーンマーク認識方法にお
いて、 前記レーンマーク位置推定工程は、前記消失点から所定
の範囲外にあるエッジ点のうち、前記消失点に向いてい
る角度を持つエッジ点から角度別のヒストグラムを作成
し、出現頻度が所定値以上の角度をもつエッジ点からレ
ーンマークを推定するレーンマーク認識方法。 - 【請求項７】請求項５または請求項６記載のレーンマー
ク認識方法において、 前記レーンマーク位置推定工程は、前記ヒストグラムか
ら得られた頻度の高い角度のうち、レーン幅から左右の
レーンマークの角度を限定するレーンマーク認識方法。 - 【請求項８】請求項７記載のレーンマーク認識方法にお
いて、 前記レーンマーク位置推定工程は、前記レーンマークの
角度をもつエッジ点の分布からレーンマーク位置を直線
推定するレーンマーク認識方法。 - 【請求項９】レーンマークを含む画像を入力する画像入
力工程と、 前記画像入力工程で入力された入力画像の縦横の比率を
変更する前処理工程と、 前記前処理された画像における輝度変化部分であるエッ
ジ点を抽出し、抽出された各エッジ点の方向を表す角度
を算出するエッジ抽出工程と、 前記エッジ抽出工程で抽出した前記エッジ点のうち、前
記エッジ点の角度が所定の角度もしくは所定の角度範囲
内であるものを抽出してレーンマークの位置推定を行う
レーンマーク位置推定工程とを有するレーンマーク認識
方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002173569A JP4016735B2 (ja) | 2001-11-30 | 2002-06-14 | レーンマーク認識方法 |
| US10/305,251 US7362883B2 (en) | 2001-11-30 | 2002-11-27 | Lane marker recognition method |
| EP02026837A EP1320072A3 (en) | 2001-11-30 | 2002-11-29 | Lane marker recognition method |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001365493 | 2001-11-30 | ||
| JP2001-365493 | 2001-11-30 | ||
| JP2002173569A JP4016735B2 (ja) | 2001-11-30 | 2002-06-14 | レーンマーク認識方法 |
Related Child Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007153470A Division JP2007293892A (ja) | 2001-11-30 | 2007-06-11 | レーンマーク認識方法 |
| JP2007153471A Division JP4671991B2 (ja) | 2001-11-30 | 2007-06-11 | レーンマーク認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003228711A true JP2003228711A (ja) | 2003-08-15 |
| JP4016735B2 JP4016735B2 (ja) | 2007-12-05 |
Family
ID=26624776
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002173569A Expired - Lifetime JP4016735B2 (ja) | 2001-11-30 | 2002-06-14 | レーンマーク認識方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US7362883B2 (ja) |
| EP (1) | EP1320072A3 (ja) |
| JP (1) | JP4016735B2 (ja) |
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005029440A1 (ja) * | 2003-09-24 | 2005-03-31 | Aisin Seiki Kabushiki Kaisha | 路面走行レーン検出装置 |
| WO2005029441A1 (ja) * | 2003-09-24 | 2005-03-31 | Aisin Seiki Kabushiki Kaisha | 路面走行レーン検出装置 |
| JP2005182303A (ja) * | 2003-12-17 | 2005-07-07 | Mitsubishi Electric Corp | 車線認識画像処理装置 |
| WO2006126490A1 (ja) * | 2005-05-27 | 2006-11-30 | Honda Motor Co., Ltd. | 車両、画像処理システム、画像処理方法、画像処理プログラム、画像処理システムの構成方法およびサーバ |
| JP2006350641A (ja) * | 2005-06-15 | 2006-12-28 | Toyota Motor Corp | 平行線検出方法、平行線検出装置 |
| KR100666276B1 (ko) | 2005-07-13 | 2007-01-10 | 현대자동차주식회사 | 소실점을 이용한 자동차의 차선이탈 경보방법 |
| JP2007115056A (ja) * | 2005-10-20 | 2007-05-10 | Ikegami Tsushinki Co Ltd | 速度計測装置、方法及びプログラム |
| JP2007141052A (ja) * | 2005-11-21 | 2007-06-07 | Toyota Motor Corp | 道路区画線検出装置 |
| JP2007148907A (ja) * | 2005-11-29 | 2007-06-14 | Ikegami Tsushinki Co Ltd | 速度計測装置、方法及びプログラム |
| JP2007156919A (ja) * | 2005-12-06 | 2007-06-21 | Toyota Motor Corp | 道路区画線検出装置 |
| JP2008077154A (ja) * | 2006-09-19 | 2008-04-03 | Honda Motor Co Ltd | 車両周辺監視装置 |
| WO2008056660A1 (fr) * | 2006-11-08 | 2008-05-15 | Nec Corporation | Système de détection de point de fuite, procédé de détection de point de fuite et programme de détection de point de fuite |
| WO2008084592A1 (ja) * | 2007-01-12 | 2008-07-17 | Honda Motor Co., Ltd. | 車線認識装置、車両、車線認識方法、及び車線認識プログラム |
| JP2009096274A (ja) * | 2007-10-16 | 2009-05-07 | Nissan Motor Co Ltd | 白線検出装置、駐停車支援装置および白線検出方法 |
| JP2010064513A (ja) * | 2008-09-08 | 2010-03-25 | Toyota Motor Corp | 路面区画マーク認識装置および車線逸脱防止装置 |
| JP2010092403A (ja) * | 2008-10-10 | 2010-04-22 | Hitachi Automotive Systems Ltd | 道路標示認識システム |
| JP2010140170A (ja) * | 2008-12-10 | 2010-06-24 | Toyota Motor Corp | 車線境界導出装置 |
| CN101916516A (zh) * | 2010-08-13 | 2010-12-15 | 深圳市豪恩汽车电子装备股份有限公司 | 一种车道偏移识别方法 |
| JP2011118889A (ja) * | 2009-11-04 | 2011-06-16 | Valeo Schalter & Sensoren Gmbh | ビデオ画像に基づく道路特性分析、車線検出、および車線逸脱防止方法および装置 |
| JP2012155399A (ja) * | 2011-01-24 | 2012-08-16 | Denso Corp | 境界検出装置、および境界検出プログラム |
| JP2014146326A (ja) * | 2013-01-25 | 2014-08-14 | Ricoh Co Ltd | 多車線の検出方法と検出システム |
| US8867845B2 (en) | 2009-11-25 | 2014-10-21 | Nec Corporation | Path recognition device, vehicle, path recognition method, and path recognition program |
| JP2015036984A (ja) * | 2013-08-12 | 2015-02-23 | 株式会社リコー | 道路上の線形指示標識の検出方法及び装置 |
| JP2018002335A (ja) * | 2016-06-28 | 2018-01-11 | 三菱ロジスネクスト株式会社 | フォークリフト |
Families Citing this family (53)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5877897A (en) | 1993-02-26 | 1999-03-02 | Donnelly Corporation | Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array |
| US6822563B2 (en) | 1997-09-22 | 2004-11-23 | Donnelly Corporation | Vehicle imaging system with accessory control |
| US6891563B2 (en) | 1996-05-22 | 2005-05-10 | Donnelly Corporation | Vehicular vision system |
| US7655894B2 (en) | 1996-03-25 | 2010-02-02 | Donnelly Corporation | Vehicular image sensing system |
| WO2003093857A2 (en) | 2002-05-03 | 2003-11-13 | Donnelly Corporation | Object detection system for vehicle |
| US7526103B2 (en) | 2004-04-15 | 2009-04-28 | Donnelly Corporation | Imaging system for vehicle |
| JP4089911B2 (ja) * | 2005-02-23 | 2008-05-28 | 三菱電機株式会社 | 画像入力装置 |
| JP4637618B2 (ja) * | 2005-03-18 | 2011-02-23 | 株式会社ホンダエレシス | 車線認識装置 |
| JP4616046B2 (ja) * | 2005-03-22 | 2011-01-19 | 本田技研工業株式会社 | 車両用画像処理システム、車両用画像処理方法、車両用画像処理プログラム、及び車両 |
| JP4539415B2 (ja) * | 2005-04-15 | 2010-09-08 | 株式会社デンソー | 画像処理装置 |
| JP4659631B2 (ja) * | 2005-04-26 | 2011-03-30 | 富士重工業株式会社 | 車線認識装置 |
| JP4616068B2 (ja) * | 2005-04-28 | 2011-01-19 | 本田技研工業株式会社 | 車両、画像処理システム、画像処理方法及び画像処理プログラム |
| AT502320B1 (de) * | 2005-07-04 | 2007-07-15 | Advanced Comp Vision Gmbh Acv | Verfahren zur fahrspurerkennung |
| JP4185077B2 (ja) * | 2005-07-15 | 2008-11-19 | 本田技研工業株式会社 | 車両、画像処理システム、画像処理方法、及び画像処理プログラム |
| JP4607193B2 (ja) * | 2005-12-28 | 2011-01-05 | 本田技研工業株式会社 | 車両及びレーンマーク検出装置 |
| JP4248558B2 (ja) * | 2006-03-24 | 2009-04-02 | トヨタ自動車株式会社 | 道路区画線検出装置 |
| WO2008024639A2 (en) | 2006-08-11 | 2008-02-28 | Donnelly Corporation | Automatic headlamp control system |
| KR100819047B1 (ko) * | 2006-11-27 | 2008-04-02 | 한국전자통신연구원 | 교차로 중심선 예측 장치 및 방법 |
| EP2168079B1 (en) * | 2007-01-23 | 2015-01-14 | Valeo Schalter und Sensoren GmbH | Method and system for universal lane boundary detection |
| JP4506790B2 (ja) * | 2007-07-05 | 2010-07-21 | アイシン・エィ・ダブリュ株式会社 | 道路情報生成装置、道路情報生成方法および道路情報生成プログラム |
| US8131098B2 (en) * | 2007-07-06 | 2012-03-06 | Panasonic Corporation | Image processing device, image processing method, image processing system, program, storage medium, and integrated circuit |
| JP4937030B2 (ja) * | 2007-07-24 | 2012-05-23 | ルネサスエレクトロニクス株式会社 | 車両用画像処理装置 |
| US20090037039A1 (en) * | 2007-08-01 | 2009-02-05 | General Electric Company | Method for locomotive navigation and track identification using video |
| JP4856656B2 (ja) * | 2008-01-22 | 2012-01-18 | 富士重工業株式会社 | 車両検出装置 |
| JP5014237B2 (ja) * | 2008-04-23 | 2012-08-29 | 本田技研工業株式会社 | レーンマーカ認識装置、車両、及びレーンマーカ認識用プログラム |
| US8099213B2 (en) * | 2008-07-18 | 2012-01-17 | GM Global Technology Operations LLC | Road-edge detection |
| CN101477692B (zh) * | 2009-02-13 | 2012-08-22 | 阿里巴巴集团控股有限公司 | 图像特征提取方法及装置 |
| US8284997B2 (en) | 2009-03-11 | 2012-10-09 | Honeywell International Inc. | Vision-based vehicle navigation system and method |
| US8306269B2 (en) * | 2009-03-12 | 2012-11-06 | Honda Motor Co., Ltd. | Lane recognition device |
| DE102009003697A1 (de) * | 2009-03-30 | 2010-10-07 | Conti Temic Microelectronic Gmbh | Verfahren und Vorrichtung zur Fahrspurerkennung |
| JP5363920B2 (ja) | 2009-08-31 | 2013-12-11 | 富士重工業株式会社 | 車両用白線認識装置 |
| JP5350297B2 (ja) * | 2010-03-17 | 2013-11-27 | クラリオン株式会社 | 車両姿勢角算出装置及びそれを用いた車線逸脱警報システム |
| JP5276637B2 (ja) * | 2010-09-08 | 2013-08-28 | 富士重工業株式会社 | 車線推定装置 |
| JP5830876B2 (ja) * | 2011-02-18 | 2015-12-09 | 富士通株式会社 | 距離算出プログラム、距離算出方法及び距離算出装置 |
| KR101046677B1 (ko) * | 2011-03-15 | 2011-07-06 | 동국대학교 산학협력단 | 눈 위치 추적방법 및 이를 이용한 의료용 헤드램프 |
| EP2704122B1 (en) * | 2011-04-27 | 2015-02-25 | Toyota Jidosha Kabushiki Kaisha | Periphery vehicle detection device |
| US9751529B2 (en) * | 2011-06-09 | 2017-09-05 | GM Global Technology Operations LLC | Lane sensing through lane marker identification for lane centering/keeping |
| TWI438729B (zh) * | 2011-11-16 | 2014-05-21 | Ind Tech Res Inst | 車道偏移警示方法及系統 |
| CN103164851B (zh) * | 2011-12-09 | 2016-04-20 | 株式会社理光 | 道路分割物检测方法和装置 |
| US8755967B1 (en) * | 2012-03-23 | 2014-06-17 | Google Inc. | Estimating road lane geometry using lane marker observations |
| US8750567B2 (en) * | 2012-04-09 | 2014-06-10 | GM Global Technology Operations LLC | Road structure detection and tracking |
| JP5887219B2 (ja) * | 2012-07-03 | 2016-03-16 | クラリオン株式会社 | 車線逸脱警報装置 |
| JP5878090B2 (ja) * | 2012-07-12 | 2016-03-08 | 本田技研工業株式会社 | 走行区分線検出装置 |
| US9747507B2 (en) * | 2013-12-19 | 2017-08-29 | Texas Instruments Incorporated | Ground plane detection |
| KR101962700B1 (ko) * | 2013-12-24 | 2019-03-28 | 주식회사 만도 | 디포그센서를 이용한 차선인식 시스템 및 방법 |
| JP6130325B2 (ja) * | 2014-04-24 | 2017-05-17 | 本田技研工業株式会社 | 道路環境認識装置 |
| EP3082063A1 (en) | 2015-04-17 | 2016-10-19 | Tata Consultancy Services Limited | Method and system for ground truth determination in lane departure warning |
| WO2018151008A1 (ja) * | 2017-02-14 | 2018-08-23 | 日本電気株式会社 | 画像認識システム、画像認識方法及び記録媒体 |
| US11089288B2 (en) * | 2017-09-11 | 2021-08-10 | Tusimple, Inc. | Corner point extraction system and method for image guided stereo camera optical axes alignment |
| US11158088B2 (en) | 2017-09-11 | 2021-10-26 | Tusimple, Inc. | Vanishing point computation and online alignment system and method for image guided stereo camera optical axes alignment |
| US20190185012A1 (en) | 2017-12-18 | 2019-06-20 | PlusAI Corp | Method and system for personalized motion planning in autonomous driving vehicles |
| US11130497B2 (en) | 2017-12-18 | 2021-09-28 | Plusai Limited | Method and system for ensemble vehicle control prediction in autonomous driving vehicles |
| US11273836B2 (en) * | 2017-12-18 | 2022-03-15 | Plusai, Inc. | Method and system for human-like driving lane planning in autonomous driving vehicles |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03268109A (ja) * | 1990-03-19 | 1991-11-28 | Honda Motor Co Ltd | 自動走行装置 |
| JPH0436878A (ja) * | 1990-06-01 | 1992-02-06 | Nissan Motor Co Ltd | 走行路検出装置 |
| JPH08315116A (ja) * | 1995-05-18 | 1996-11-29 | Hitachi Ltd | 画像処理装置 |
| JPH1186199A (ja) * | 1997-09-10 | 1999-03-30 | Yazaki Corp | 走行車線検出方法及びその装置 |
| JPH11195127A (ja) * | 1998-01-06 | 1999-07-21 | Suzuki Motor Corp | 白線認識方法および装置 |
| JPH11203445A (ja) * | 1998-01-12 | 1999-07-30 | Matsushita Electric Ind Co Ltd | 車両用画像処理装置 |
| JP2000074645A (ja) * | 1998-08-27 | 2000-03-14 | Yazaki Corp | 周辺監視装置及び方法 |
Family Cites Families (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4819169A (en) * | 1986-09-24 | 1989-04-04 | Nissan Motor Company, Limited | System and method for calculating movement direction and position of an unmanned vehicle |
| US5247587A (en) * | 1988-07-15 | 1993-09-21 | Honda Giken Kogyo Kabushiki Kaisha | Peak data extracting device and a rotary motion recurrence formula computing device |
| US4970653A (en) | 1989-04-06 | 1990-11-13 | General Motors Corporation | Vision method of detecting lane boundaries and obstacles |
| JPH04152406A (ja) | 1990-10-16 | 1992-05-26 | Toyota Motor Corp | ライン検出装置 |
| US5245422A (en) * | 1991-06-28 | 1993-09-14 | Zexel Corporation | System and method for automatically steering a vehicle within a lane in a road |
| JP2850608B2 (ja) | 1991-11-28 | 1999-01-27 | 日産自動車株式会社 | 車両用走行路検出装置 |
| US6002793A (en) | 1992-01-30 | 1999-12-14 | Cognex Corporation | Machine vision method and apparatus for finding an object orientation angle of a rectilinear object |
| JP2766118B2 (ja) | 1992-04-14 | 1998-06-18 | 松下電器産業株式会社 | 傾き検出方法 |
| US5987174A (en) * | 1995-04-26 | 1999-11-16 | Hitachi, Ltd. | Image processing apparatus for vehicles |
| JP3556766B2 (ja) * | 1996-05-28 | 2004-08-25 | 松下電器産業株式会社 | 道路白線検出装置 |
| JP3993259B2 (ja) * | 1996-07-31 | 2007-10-17 | アイシン精機株式会社 | 画像処理装置 |
| EP0827127B1 (en) * | 1996-08-28 | 2006-10-04 | Matsushita Electric Industrial Co., Ltd. | Local positioning apparatus, and method therefor |
| JPH10208047A (ja) * | 1997-01-23 | 1998-08-07 | Nissan Motor Co Ltd | 車載用走行環境認識装置 |
| US6577334B1 (en) * | 1998-02-18 | 2003-06-10 | Kabushikikaisha Equos Research | Vehicle control |
| JP3377753B2 (ja) | 1998-08-28 | 2003-02-17 | 吉野石膏株式会社 | エッジ角度検出装置及びエッジ角度検出方法 |
| DE19906863A1 (de) * | 1999-02-18 | 2000-10-19 | Nokia Mobile Phones Ltd | Verfahren zur Navigation eines Objekts |
| JP2000259998A (ja) * | 1999-03-12 | 2000-09-22 | Yazaki Corp | 車両用後側方監視装置 |
| JP2001101415A (ja) * | 1999-09-29 | 2001-04-13 | Fujitsu Ten Ltd | 画像認識装置および画像処理装置 |
| JP2001134769A (ja) * | 1999-11-04 | 2001-05-18 | Honda Motor Co Ltd | 対象物認識装置 |
| JP3733875B2 (ja) * | 2000-09-29 | 2006-01-11 | 日産自動車株式会社 | 道路白線認識装置 |
-
2002
- 2002-06-14 JP JP2002173569A patent/JP4016735B2/ja not_active Expired - Lifetime
- 2002-11-27 US US10/305,251 patent/US7362883B2/en not_active Expired - Lifetime
- 2002-11-29 EP EP02026837A patent/EP1320072A3/en not_active Withdrawn
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03268109A (ja) * | 1990-03-19 | 1991-11-28 | Honda Motor Co Ltd | 自動走行装置 |
| JPH0436878A (ja) * | 1990-06-01 | 1992-02-06 | Nissan Motor Co Ltd | 走行路検出装置 |
| JPH08315116A (ja) * | 1995-05-18 | 1996-11-29 | Hitachi Ltd | 画像処理装置 |
| JPH1186199A (ja) * | 1997-09-10 | 1999-03-30 | Yazaki Corp | 走行車線検出方法及びその装置 |
| JPH11195127A (ja) * | 1998-01-06 | 1999-07-21 | Suzuki Motor Corp | 白線認識方法および装置 |
| JPH11203445A (ja) * | 1998-01-12 | 1999-07-30 | Matsushita Electric Ind Co Ltd | 車両用画像処理装置 |
| JP2000074645A (ja) * | 1998-08-27 | 2000-03-14 | Yazaki Corp | 周辺監視装置及び方法 |
Cited By (39)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100424724C (zh) * | 2003-09-24 | 2008-10-08 | 爱信精机株式会社 | 路面行驶车道检测装置 |
| WO2005029441A1 (ja) * | 2003-09-24 | 2005-03-31 | Aisin Seiki Kabushiki Kaisha | 路面走行レーン検出装置 |
| US7583816B2 (en) | 2003-09-24 | 2009-09-01 | Aisin Seiki Kabushiki Kaisha | Device for detecting a road traveling lane using an edge histogram |
| WO2005029440A1 (ja) * | 2003-09-24 | 2005-03-31 | Aisin Seiki Kabushiki Kaisha | 路面走行レーン検出装置 |
| CN100452093C (zh) * | 2003-09-24 | 2009-01-14 | 爱信精机株式会社 | 路面行驶车道检测装置 |
| JP2005182303A (ja) * | 2003-12-17 | 2005-07-07 | Mitsubishi Electric Corp | 車線認識画像処理装置 |
| WO2006126490A1 (ja) * | 2005-05-27 | 2006-11-30 | Honda Motor Co., Ltd. | 車両、画像処理システム、画像処理方法、画像処理プログラム、画像処理システムの構成方法およびサーバ |
| JP2006331193A (ja) * | 2005-05-27 | 2006-12-07 | Honda Motor Co Ltd | 車両、画像処理システム、画像処理方法、及び画像処理プログラム |
| JP4603421B2 (ja) * | 2005-05-27 | 2010-12-22 | 本田技研工業株式会社 | 車両、画像処理システム、画像処理方法、及び画像処理プログラム |
| US8135175B2 (en) | 2005-05-27 | 2012-03-13 | Honda Motor Co., Ltd. | Vehicle, image processing system image processing method, image processing program, method for configuring image processing system, and server |
| JP2006350641A (ja) * | 2005-06-15 | 2006-12-28 | Toyota Motor Corp | 平行線検出方法、平行線検出装置 |
| KR100666276B1 (ko) | 2005-07-13 | 2007-01-10 | 현대자동차주식회사 | 소실점을 이용한 자동차의 차선이탈 경보방법 |
| JP4731276B2 (ja) * | 2005-10-20 | 2011-07-20 | 池上通信機株式会社 | 速度計測装置、方法及びプログラム |
| JP2007115056A (ja) * | 2005-10-20 | 2007-05-10 | Ikegami Tsushinki Co Ltd | 速度計測装置、方法及びプログラム |
| JP2007141052A (ja) * | 2005-11-21 | 2007-06-07 | Toyota Motor Corp | 道路区画線検出装置 |
| JP4584120B2 (ja) * | 2005-11-21 | 2010-11-17 | トヨタ自動車株式会社 | 道路区画線検出装置、道路区画線の検出方法、道路区画線の検出プログラム |
| JP2007148907A (ja) * | 2005-11-29 | 2007-06-14 | Ikegami Tsushinki Co Ltd | 速度計測装置、方法及びプログラム |
| JP4731295B2 (ja) * | 2005-11-29 | 2011-07-20 | 池上通信機株式会社 | 速度計測装置、方法及びプログラム |
| JP2007156919A (ja) * | 2005-12-06 | 2007-06-21 | Toyota Motor Corp | 道路区画線検出装置 |
| JP4572826B2 (ja) * | 2005-12-06 | 2010-11-04 | トヨタ自動車株式会社 | 道路区画線検出装置 |
| JP2008077154A (ja) * | 2006-09-19 | 2008-04-03 | Honda Motor Co Ltd | 車両周辺監視装置 |
| WO2008056660A1 (fr) * | 2006-11-08 | 2008-05-15 | Nec Corporation | Système de détection de point de fuite, procédé de détection de point de fuite et programme de détection de point de fuite |
| US8396299B2 (en) | 2006-11-08 | 2013-03-12 | Nec Corporation | Vanishing point detecting system, vanishing point detecting method, and vanishing point detecting program |
| JP2008123036A (ja) * | 2006-11-08 | 2008-05-29 | Nec Corp | 消失点検出システム、消失点検出方法および消失点検出用プログラム |
| JP2008168811A (ja) * | 2007-01-12 | 2008-07-24 | Honda Motor Co Ltd | 車線認識装置、車両、車線認識方法、及び車線認識プログラム |
| WO2008084592A1 (ja) * | 2007-01-12 | 2008-07-17 | Honda Motor Co., Ltd. | 車線認識装置、車両、車線認識方法、及び車線認識プログラム |
| JP2009096274A (ja) * | 2007-10-16 | 2009-05-07 | Nissan Motor Co Ltd | 白線検出装置、駐停車支援装置および白線検出方法 |
| US8265872B2 (en) | 2008-09-08 | 2012-09-11 | Toyota Jidosha Kabushiki Kaisha | Road surface division mark recognition apparatus, and lane departure prevention apparatus |
| US8392115B2 (en) | 2008-09-08 | 2013-03-05 | Toyota Jidosha Kabushiki Kaisha | Road surface division mark recognition apparatus, and lane departure prevention apparatus |
| JP2010064513A (ja) * | 2008-09-08 | 2010-03-25 | Toyota Motor Corp | 路面区画マーク認識装置および車線逸脱防止装置 |
| JP2010092403A (ja) * | 2008-10-10 | 2010-04-22 | Hitachi Automotive Systems Ltd | 道路標示認識システム |
| JP2010140170A (ja) * | 2008-12-10 | 2010-06-24 | Toyota Motor Corp | 車線境界導出装置 |
| JP2011118889A (ja) * | 2009-11-04 | 2011-06-16 | Valeo Schalter & Sensoren Gmbh | ビデオ画像に基づく道路特性分析、車線検出、および車線逸脱防止方法および装置 |
| US8867845B2 (en) | 2009-11-25 | 2014-10-21 | Nec Corporation | Path recognition device, vehicle, path recognition method, and path recognition program |
| CN101916516A (zh) * | 2010-08-13 | 2010-12-15 | 深圳市豪恩汽车电子装备股份有限公司 | 一种车道偏移识别方法 |
| JP2012155399A (ja) * | 2011-01-24 | 2012-08-16 | Denso Corp | 境界検出装置、および境界検出プログラム |
| JP2014146326A (ja) * | 2013-01-25 | 2014-08-14 | Ricoh Co Ltd | 多車線の検出方法と検出システム |
| JP2015036984A (ja) * | 2013-08-12 | 2015-02-23 | 株式会社リコー | 道路上の線形指示標識の検出方法及び装置 |
| JP2018002335A (ja) * | 2016-06-28 | 2018-01-11 | 三菱ロジスネクスト株式会社 | フォークリフト |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1320072A2 (en) | 2003-06-18 |
| US20030103650A1 (en) | 2003-06-05 |
| US7362883B2 (en) | 2008-04-22 |
| JP4016735B2 (ja) | 2007-12-05 |
| EP1320072A3 (en) | 2007-03-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4016735B2 (ja) | レーンマーク認識方法 | |
| EP0827127B1 (en) | Local positioning apparatus, and method therefor | |
| US9818301B2 (en) | Lane correction system, lane correction apparatus and method of correcting lane | |
| JP3780848B2 (ja) | 車両の走行路認識装置 | |
| JP3169483B2 (ja) | 道路環境認識装置 | |
| Jung et al. | A lane departure warning system using lateral offset with uncalibrated camera | |
| CN105488492B (zh) | 一种彩色图像预处理方法、道路识别方法及相关装置 | |
| KR101176693B1 (ko) | 거리센서를 이용한 차선인식 방법 및 그 시스템 | |
| JP2006268097A (ja) | 車載物体検出装置、および物体検出方法 | |
| JP2007179386A (ja) | 白線認識方法及び白線認識装置 | |
| JP2008242571A (ja) | 物体検出装置 | |
| KR20110001427A (ko) | 관심영역 추출에 의한 차선 고속검출 방법 | |
| JP2002228423A (ja) | タイヤ検出方法および装置 | |
| JP2009187169A (ja) | 走行レーン検出装置 | |
| JP3800785B2 (ja) | 白線認識装置 | |
| CN110809766B (zh) | 高级驾驶员辅助系统和方法 | |
| JP3589293B2 (ja) | 道路の白線検出方法 | |
| Devane et al. | Lane detection techniques using image processing | |
| Takahashi et al. | A robust lane detection using real-time voting processor | |
| JP2002150302A (ja) | 路面認識装置 | |
| JP6608664B2 (ja) | 自車位置認識装置 | |
| JP3915621B2 (ja) | レーンマーク検出装置 | |
| JP2003317106A (ja) | 走行路認識装置 | |
| JP2006155126A (ja) | 車両番号認識装置 | |
| JP4671991B2 (ja) | レーンマーク認識装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040512 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060419 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061130 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061205 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070205 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070410 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070611 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20070731 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070828 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070910 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4016735 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100928 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100928 Year of fee payment: 3 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100928 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100928 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110928 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120928 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120928 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130928 Year of fee payment: 6 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |