JP2002197470A - 車線検出装置 - Google Patents
車線検出装置Info
- Publication number
- JP2002197470A JP2002197470A JP2000397590A JP2000397590A JP2002197470A JP 2002197470 A JP2002197470 A JP 2002197470A JP 2000397590 A JP2000397590 A JP 2000397590A JP 2000397590 A JP2000397590 A JP 2000397590A JP 2002197470 A JP2002197470 A JP 2002197470A
- Authority
- JP
- Japan
- Prior art keywords
- lane
- detection window
- window
- noise
- noise detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】 （修正有）
【課題】先行車、割り込み車、合流・分岐路或いは二重
車線などの影響を受けない、車線の検出精度に優れた車
線検出装置を提供する。 【解決手段】自車両前方の走行路状況を撮像する撮像手
段１と、車線検出ウィンドを少なくとも一つ設定する車
線検出ウィンド設定手段２と、車線検出ウィンド毎に各
車線検出ウィンド内の輝度情報から車線を検出するウィ
ンド内車線検出手段３と、各車線検出ウィンドの隣接し
た位置にノイズ検出ウィンドを少なくとも一つ設定する
ノイズ検出ウィンド設定手段４と、ノイズ検出ウィンド
毎にそのウィンド内のエッジ強度を検出するエッジ強度
検出手段５と、エッジ強度により車線検出ウィンドに対
して重み付け値を変更する重み付け変更手段６と、ウィ
ンド内車線検出手段で検出された車線と重み付け変更手
段で変更された重み付け値を用いて道路形状を算出する
道路形状算出手段７と、を備える。
車線などの影響を受けない、車線の検出精度に優れた車
線検出装置を提供する。 【解決手段】自車両前方の走行路状況を撮像する撮像手
段１と、車線検出ウィンドを少なくとも一つ設定する車
線検出ウィンド設定手段２と、車線検出ウィンド毎に各
車線検出ウィンド内の輝度情報から車線を検出するウィ
ンド内車線検出手段３と、各車線検出ウィンドの隣接し
た位置にノイズ検出ウィンドを少なくとも一つ設定する
ノイズ検出ウィンド設定手段４と、ノイズ検出ウィンド
毎にそのウィンド内のエッジ強度を検出するエッジ強度
検出手段５と、エッジ強度により車線検出ウィンドに対
して重み付け値を変更する重み付け変更手段６と、ウィ
ンド内車線検出手段で検出された車線と重み付け変更手
段で変更された重み付け値を用いて道路形状を算出する
道路形状算出手段７と、を備える。
Description
【０００１】
【発明の属する技術分野】本発明は、車載カメラなどを
用いて路面に描かれた車線（白線や黄線）を検出し、そ
の形状や位置などの情報を出力する車線検出装置に関す
る。
用いて路面に描かれた車線（白線や黄線）を検出し、そ
の形状や位置などの情報を出力する車線検出装置に関す
る。
【０００２】
【従来の技術】この種の車線検出装置としては、白線検
出ウィンドのエッジ点数に基づいて割り込み車輌を検出
し、割り込み車輌が存在すると判断されたウィンドに対
しては、より大きいウィンドを用いて車輌検出を行うと
ともに、割り込み車輌が検出されたウィンドについては
重み付け値を小さくして白線検出を行うことにより、白
線検出精度の向上を高速で行うことができるものが知ら
れている（たとえば、特開平８−２４９５９７号公報参
照）。
出ウィンドのエッジ点数に基づいて割り込み車輌を検出
し、割り込み車輌が存在すると判断されたウィンドに対
しては、より大きいウィンドを用いて車輌検出を行うと
ともに、割り込み車輌が検出されたウィンドについては
重み付け値を小さくして白線検出を行うことにより、白
線検出精度の向上を高速で行うことができるものが知ら
れている（たとえば、特開平８−２４９５９７号公報参
照）。
【０００３】
【発明が解決しようとする課題】しかしながら、白線検
出ウィンドのエッジ点数に基づいて割り込み車輌を検出
しているので、車輌の模様が白線によく似た模様である
場合には割り込み車輌としてではなく白線として検出さ
れるので検出精度が低下するといった問題があった。ま
た、分岐路や二重白線を検出する場合には、本線以外の
白線を誤検出してしまうといった問題もあった。
出ウィンドのエッジ点数に基づいて割り込み車輌を検出
しているので、車輌の模様が白線によく似た模様である
場合には割り込み車輌としてではなく白線として検出さ
れるので検出精度が低下するといった問題があった。ま
た、分岐路や二重白線を検出する場合には、本線以外の
白線を誤検出してしまうといった問題もあった。
【０００４】本発明は、このような従来技術の問題点に
鑑みてなされたものであり、先行車、割り込み車、合流
・分岐路或いは二重車線などの影響を受けない、車線の
検出精度に優れた車線検出装置を提供することを目的と
する。
鑑みてなされたものであり、先行車、割り込み車、合流
・分岐路或いは二重車線などの影響を受けない、車線の
検出精度に優れた車線検出装置を提供することを目的と
する。
【０００５】
【課題を解決するための手段】（１）上記目的を達成す
るために、本発明によれば、自車両前方の走行路状況を
撮像する撮像手段と、前記撮像手段により撮像された画
像データから車線が含まれるように車線検出ウィンドを
少なくとも一つ設定する車線検出ウィンド設定手段と、
前記車線検出ウィンド設定手段により設定した車線検出
ウィンド毎に各車線検出ウィンド内の輝度情報から車線
を検出するウィンド内車線検出手段と、前記車線検出ウ
ィンド設定手段により設定された各車線検出ウィンドの
隣接した位置にノイズ検出ウィンドを少なくとも一つ設
定するノイズ検出ウィンド設定手段と、前記ノイズ検出
ウィンド設定手段により設定されたノイズ検出ウィンド
毎にそのウィンド内のエッジ強度を検出するエッジ強度
検出手段と、前記ノイズ検出ウィンドで検出されたエッ
ジ強度により車線検出ウィンドに対して重み付け値を変
更する重み付け変更手段と、前記ウィンド内車線検出手
段で検出された車線と前記重み付け変更手段で変更され
た重み付け値を用いて道路形状を算出する道路形状算出
手段と、を備えた車線検出装置が提供される（請求項１
参照）。
るために、本発明によれば、自車両前方の走行路状況を
撮像する撮像手段と、前記撮像手段により撮像された画
像データから車線が含まれるように車線検出ウィンドを
少なくとも一つ設定する車線検出ウィンド設定手段と、
前記車線検出ウィンド設定手段により設定した車線検出
ウィンド毎に各車線検出ウィンド内の輝度情報から車線
を検出するウィンド内車線検出手段と、前記車線検出ウ
ィンド設定手段により設定された各車線検出ウィンドの
隣接した位置にノイズ検出ウィンドを少なくとも一つ設
定するノイズ検出ウィンド設定手段と、前記ノイズ検出
ウィンド設定手段により設定されたノイズ検出ウィンド
毎にそのウィンド内のエッジ強度を検出するエッジ強度
検出手段と、前記ノイズ検出ウィンドで検出されたエッ
ジ強度により車線検出ウィンドに対して重み付け値を変
更する重み付け変更手段と、前記ウィンド内車線検出手
段で検出された車線と前記重み付け変更手段で変更され
た重み付け値を用いて道路形状を算出する道路形状算出
手段と、を備えた車線検出装置が提供される（請求項１
参照）。
【０００６】この車線検出装置では、車線検出ウィンド
に隣接した位置にノイズ検出ウィンドを設けたので、車
線検出時において誤検出の要因となる車線に接近して存
在する先行車、割り込み車、合流・分岐路あるいは二重
車線が、このノイズ検出ウィンドでノイズとして検出さ
れ、その結果に基づいて重み付けを変更して車線検出を
行うため、これら先行車、割り込み車、合流・分岐路又
は二重車線に影響されない車線検出を行うことができ
る。
に隣接した位置にノイズ検出ウィンドを設けたので、車
線検出時において誤検出の要因となる車線に接近して存
在する先行車、割り込み車、合流・分岐路あるいは二重
車線が、このノイズ検出ウィンドでノイズとして検出さ
れ、その結果に基づいて重み付けを変更して車線検出を
行うため、これら先行車、割り込み車、合流・分岐路又
は二重車線に影響されない車線検出を行うことができ
る。
【０００７】（２）上記発明においては特に限定されな
いが、ノイズ検出ウィンド設定手段では、ノイズ検出ウ
ィンドを各車線検出ウィンドの左、右又は左右のそれぞ
れに接して設定することがより好ましい（請求項２参
照）。
いが、ノイズ検出ウィンド設定手段では、ノイズ検出ウ
ィンドを各車線検出ウィンドの左、右又は左右のそれぞ
れに接して設定することがより好ましい（請求項２参
照）。
【０００８】この車線検出装置では、車線検出ウィンド
の左右少なくとも一方に接してノイズ検出ウィンドを設
けたので、誤検出要因となる可能性が最も高い位置にあ
るノイズを検出でき、その結果、より確実な車線検出を
行うことができる。
の左右少なくとも一方に接してノイズ検出ウィンドを設
けたので、誤検出要因となる可能性が最も高い位置にあ
るノイズを検出でき、その結果、より確実な車線検出を
行うことができる。
【０００９】（３）上記発明においては特に限定されな
いが、エッジ強度検出手段では、走行路の中央寄りにあ
るノイズ検出ウィンドに対しては横エッジの強度を検出
し、走行路の外側寄りにあるノイズ検出ウィンドに対し
ては縦エッジの強度を検出することがより好ましい（請
求項３参照）。
いが、エッジ強度検出手段では、走行路の中央寄りにあ
るノイズ検出ウィンドに対しては横エッジの強度を検出
し、走行路の外側寄りにあるノイズ検出ウィンドに対し
ては縦エッジの強度を検出することがより好ましい（請
求項３参照）。
【００１０】この車線検出装置では、走行路の中央寄り
のノイズ検出ウィンドについては横エッジ検出法を採用
したので、横エッジ成分の多い先行車の検出率が高まる
一方で、走行路の外側寄りのノイズ検出ウィンドについ
ては縦エッジ検出法を採用したので割り込み車の検出率
が高まる。
のノイズ検出ウィンドについては横エッジ検出法を採用
したので、横エッジ成分の多い先行車の検出率が高まる
一方で、走行路の外側寄りのノイズ検出ウィンドについ
ては縦エッジ検出法を採用したので割り込み車の検出率
が高まる。
【００１１】（４）上記発明においては特に限定されな
いが、重み付け変更手段では、前記ノイズ検出ウィンド
で検出されたエッジ強度が強い場合には重み付け値を小
さくすることがより好ましい（請求項４参照）。
いが、重み付け変更手段では、前記ノイズ検出ウィンド
で検出されたエッジ強度が強い場合には重み付け値を小
さくすることがより好ましい（請求項４参照）。
【００１２】この車線検出装置では、ノイズ検出ウィン
ドで検出されたエッジ強度が強い場合には、車線検出ウ
ィンドの重み付けを小さくすることでノイズが大きい車
線検出ウィンドの検出結果を出力に反映させず、逆にノ
イズ検出ウィンドで検出されたエッジ強度が弱い場合に
は、車線検出ウィンドの重み付けを大きくして車線検出
ウィンドの検出結果を直接出力する。これにより、車線
検出の信頼性をより高めることができる。
ドで検出されたエッジ強度が強い場合には、車線検出ウ
ィンドの重み付けを小さくすることでノイズが大きい車
線検出ウィンドの検出結果を出力に反映させず、逆にノ
イズ検出ウィンドで検出されたエッジ強度が弱い場合に
は、車線検出ウィンドの重み付けを大きくして車線検出
ウィンドの検出結果を直接出力する。これにより、車線
検出の信頼性をより高めることができる。
【００１３】（５）上記発明においては特に限定されな
いが、重み付け変更手段では、各ノイズ検出ウィンドに
隣接する車線検出ウィンドに対して重み付けを変更する
ことがより好ましい（請求項５参照）。
いが、重み付け変更手段では、各ノイズ検出ウィンドに
隣接する車線検出ウィンドに対して重み付けを変更する
ことがより好ましい（請求項５参照）。
【００１４】この車線検出装置では、各ノイズ検出ウィ
ンドに隣接する車線検出ウィンドに対して重み付けを変
更するので、誤検出要因となる可能性が最も高い位置に
あるノイズの影響を車線検出結果に反映でき、より確実
な車線検出を行うことができる。
ンドに隣接する車線検出ウィンドに対して重み付けを変
更するので、誤検出要因となる可能性が最も高い位置に
あるノイズの影響を車線検出結果に反映でき、より確実
な車線検出を行うことができる。
【００１５】（６）上記発明においては特に限定されな
いが、重み付け変更手段では、前記エッジ強度検出手段
により車輌近傍のノイズ検出ウィンドで所定値以上のエ
ッジ強度が検出されたとき、そのノイズ検出ウィンドよ
り前方にある車線検出ウィンドの重み付け値を小さくす
ることがより好ましい（請求項６参照）。
いが、重み付け変更手段では、前記エッジ強度検出手段
により車輌近傍のノイズ検出ウィンドで所定値以上のエ
ッジ強度が検出されたとき、そのノイズ検出ウィンドよ
り前方にある車線検出ウィンドの重み付け値を小さくす
ることがより好ましい（請求項６参照）。
【００１６】手前のノイズ検出ウィンドにてノイズが検
出されたが前方のノイズ検出ウィンドではノイズが検出
されない場合、たとえば先行車が存在する場合には、手
前のノイズ検出ウィンドでは路面と先行車とのコントラ
ストが大きく、エッジを検出することができるが、前方
のノイズ検出ウィンドでは車線が先行車でこの隠されて
しまい先行車のみが撮像されることから、先行車の模様
によっては車線と誤認識するおそれがある。
出されたが前方のノイズ検出ウィンドではノイズが検出
されない場合、たとえば先行車が存在する場合には、手
前のノイズ検出ウィンドでは路面と先行車とのコントラ
ストが大きく、エッジを検出することができるが、前方
のノイズ検出ウィンドでは車線が先行車でこの隠されて
しまい先行車のみが撮像されることから、先行車の模様
によっては車線と誤認識するおそれがある。
【００１７】しかしながら、この車線検出装置では、所
定値以上のエッジ強度が検出されたノイズ検出ウィンド
より前方にある車線検出ウィンドの重み付け値を小さく
するので、先行車を車線と誤認識する不具合を防止する
ことができる。
定値以上のエッジ強度が検出されたノイズ検出ウィンド
より前方にある車線検出ウィンドの重み付け値を小さく
するので、先行車を車線と誤認識する不具合を防止する
ことができる。
【００１８】（７）上記発明においては特に限定されな
いが、重み付け変更手段では、前記エッジ強度検出手段
により車輌近傍の走行路の中央寄りにあるノイズ検出ウ
ィンドで所定値以上のエッジ強度が検出されたとき、そ
のノイズ検出ウィンドより前方にある車線検出ウィンド
の重み付けを小さくし、走行路の外側にあるノイズ検出
ウィンドで所定値以上のエッジ強度が検出されたとき、
各ノイズ検出ウィンドに隣接する車線検出ウィンドに対
して車線検出ウィンドの重み付けを小さくすることもで
きる（請求項７参照）。
いが、重み付け変更手段では、前記エッジ強度検出手段
により車輌近傍の走行路の中央寄りにあるノイズ検出ウ
ィンドで所定値以上のエッジ強度が検出されたとき、そ
のノイズ検出ウィンドより前方にある車線検出ウィンド
の重み付けを小さくし、走行路の外側にあるノイズ検出
ウィンドで所定値以上のエッジ強度が検出されたとき、
各ノイズ検出ウィンドに隣接する車線検出ウィンドに対
して車線検出ウィンドの重み付けを小さくすることもで
きる（請求項７参照）。
【００１９】この車線検出装置では、先行車が存在する
場合には先行車より前方にある車線が隠されてしまうた
め、先行車よりも前方にある車線検出結果の重み付けを
小さくすることで、先行車の影響を排除することができ
る。さらに、割り込み車が存在する場合には、割り込み
車が存在する場所だけ車線が隠され、それ以外の車線は
ウィンド内車線検出手段により検出することができるの
で、過剰に車線検出結果の重み付けを小さくすることな
く車線を検出することができる。その結果、割り込み車
が存在しても車線検出の信頼性がより向上する。
場合には先行車より前方にある車線が隠されてしまうた
め、先行車よりも前方にある車線検出結果の重み付けを
小さくすることで、先行車の影響を排除することができ
る。さらに、割り込み車が存在する場合には、割り込み
車が存在する場所だけ車線が隠され、それ以外の車線は
ウィンド内車線検出手段により検出することができるの
で、過剰に車線検出結果の重み付けを小さくすることな
く車線を検出することができる。その結果、割り込み車
が存在しても車線検出の信頼性がより向上する。
【００２０】（８）上記発明においては特に限定されな
いが、重み付け変更手段では、ノイズ検出ウィンド毎に
同一のノイズ検出ウィンドで、所定時間以上連続して所
定値以上のエッジ強度が検出されたとき、その車線検出
ウィンドの重み付けを小さくすることもできる（請求項
８参照）。
いが、重み付け変更手段では、ノイズ検出ウィンド毎に
同一のノイズ検出ウィンドで、所定時間以上連続して所
定値以上のエッジ強度が検出されたとき、その車線検出
ウィンドの重み付けを小さくすることもできる（請求項
８参照）。
【００２１】この車線検出装置では、同一のノイズ検出
ウィンドで、所定時間以上連続して所定値以上のエッジ
強度が検出されたとき、その車線検出ウィンドの重み付
けを小さくするので、相対速度がほぼゼロである物体、
たとえば前方を走行する先行車の存在が検出でき、より
先行車に影響されない車線検出を行うことができる。
ウィンドで、所定時間以上連続して所定値以上のエッジ
強度が検出されたとき、その車線検出ウィンドの重み付
けを小さくするので、相対速度がほぼゼロである物体、
たとえば前方を走行する先行車の存在が検出でき、より
先行車に影響されない車線検出を行うことができる。
【００２２】
【発明の効果】請求項１記載の発明によれば、先行車、
割り込み車、合流・分岐路又は二重車線に影響されない
車線検出を行うことができる。
割り込み車、合流・分岐路又は二重車線に影響されない
車線検出を行うことができる。
【００２３】これに加えて請求項２記載の発明によれ
ば、誤検出要因となる可能性が最も高い位置にあるノイ
ズを検出でき、その結果、より確実な車線検出を行うこ
とができる。
ば、誤検出要因となる可能性が最も高い位置にあるノイ
ズを検出でき、その結果、より確実な車線検出を行うこ
とができる。
【００２４】また請求項３記載の発明によれば、横エッ
ジ成分の多い先行車の検出率が高まる一方で、縦エッジ
成分の多い割り込み車の検出率も高まる。
ジ成分の多い先行車の検出率が高まる一方で、縦エッジ
成分の多い割り込み車の検出率も高まる。
【００２５】請求項４記載の発明によれば、ノイズが大
きい車線検出ウィンドの検出結果を出力に反映させず、
逆にノイズが小さい車線検出ウィンドの検出結果を直接
出力するので、車線検出の信頼性をより高めることがで
きる。
きい車線検出ウィンドの検出結果を出力に反映させず、
逆にノイズが小さい車線検出ウィンドの検出結果を直接
出力するので、車線検出の信頼性をより高めることがで
きる。
【００２６】また請求項５記載の発明によれば、誤検出
要因となる可能性が最も高い位置にあるノイズの影響を
車線検出結果に反映でき、より確実な車線検出を行うこ
とができる。
要因となる可能性が最も高い位置にあるノイズの影響を
車線検出結果に反映でき、より確実な車線検出を行うこ
とができる。
【００２７】請求項６記載の発明によれば、所定値以上
のエッジ強度が検出されたノイズ検出ウィンドより前方
にある車線検出ウィンドの重み付け値を小さくするの
で、先行車を車線と誤認識する不具合を防止することが
できる。
のエッジ強度が検出されたノイズ検出ウィンドより前方
にある車線検出ウィンドの重み付け値を小さくするの
で、先行車を車線と誤認識する不具合を防止することが
できる。
【００２８】また請求項７記載の発明によれば、先行車
の影響を排除することができることに加え、割り込み車
が存在しても車線検出の信頼性がより向上する。
の影響を排除することができることに加え、割り込み車
が存在しても車線検出の信頼性がより向上する。
【００２９】請求項８記載の発明によれば、相対速度が
ほぼゼロである物体、たとえば前方を走行する先行車の
存在が検出でき、より先行車に影響されない車線検出を
行うことができる。
ほぼゼロである物体、たとえば前方を走行する先行車の
存在が検出でき、より先行車に影響されない車線検出を
行うことができる。
【００３０】
【発明の実施の形態】以下、本発明の実施形態を図面に
基づいて説明する。図１は本発明の車線検出装置の実施
形態を示すブロック図、図２は本発明に係る車線検出ウ
ィンド設定手段において実行される座標変換処理を説明
する図、図３は本発明に係る車線検出ウィンドの一例を
示す図、図４は本発明に係るウィンド内車線検出手段に
おいて実行されるエッジ検出処理（縦エッジ検出処理）
を説明する図、図５は本発明に係るウィンド内車線検出
手段において実行されるハフ変換処理を説明する図、図
６は本発明に係る車線検出ウィンドとノイズ検出ウィン
ドの設定例を示す図、図７は本発明に係るエッジ強度検
出手段において実行されるエッジ検出処理（横エッジ検
出処理）を説明する図、図８は本発明に係る撮像手段で
撮像された画像における車線検出ウィンドとノイズ検出
ウィンドを示す図（先行車が存在する場合）である。
基づいて説明する。図１は本発明の車線検出装置の実施
形態を示すブロック図、図２は本発明に係る車線検出ウ
ィンド設定手段において実行される座標変換処理を説明
する図、図３は本発明に係る車線検出ウィンドの一例を
示す図、図４は本発明に係るウィンド内車線検出手段に
おいて実行されるエッジ検出処理（縦エッジ検出処理）
を説明する図、図５は本発明に係るウィンド内車線検出
手段において実行されるハフ変換処理を説明する図、図
６は本発明に係る車線検出ウィンドとノイズ検出ウィン
ドの設定例を示す図、図７は本発明に係るエッジ強度検
出手段において実行されるエッジ検出処理（横エッジ検
出処理）を説明する図、図８は本発明に係る撮像手段で
撮像された画像における車線検出ウィンドとノイズ検出
ウィンドを示す図（先行車が存在する場合）である。
【００３１】本実施形態の車線検出装置は、図１に示す
ように、撮像手段１、車線検出ウィンド設定手段２、ウ
ィンド内車線検出手段３、道路形状算出手段７、ノイズ
検出ウィンド設定手段４、エッジ強度検出手段５および
重み付け変更手段６を有する。
ように、撮像手段１、車線検出ウィンド設定手段２、ウ
ィンド内車線検出手段３、道路形状算出手段７、ノイズ
検出ウィンド設定手段４、エッジ強度検出手段５および
重み付け変更手段６を有する。
【００３２】撮像手段１は、ＣＣＤ撮像素子などを用い
たカメラであり、車輌に搭載されて自車両前方の走行路
状況を撮像する。この撮像された画像データはウィンド
内車線検出手段２へ送出される。
たカメラであり、車輌に搭載されて自車両前方の走行路
状況を撮像する。この撮像された画像データはウィンド
内車線検出手段２へ送出される。
【００３３】車線検出ウィンド設定手段２は、撮像手段
１で撮像された画像データ内において車線検出処理を行
う小領域（以下、車線検出ウィンドという。）の位置を
決定するものである。
１で撮像された画像データ内において車線検出処理を行
う小領域（以下、車線検出ウィンドという。）の位置を
決定するものである。
【００３４】この車線検出ウィンドの位置を決定するに
あたっては以下の手法を採用することができる。すなわ
ち、図２に示すように、前方道路画像の三次元空間にお
ける車線の座標点から二次元空間座標である撮像画像の
座標点を求め、その周囲にある所定の範囲だけ広げた領
域を車線検出ウィンドとする。同図に示すように、撮像
手段１により撮像された画像の座標系をＸ１，Ｙ１と
し、撮像手段１のレンズの中心を原点Ｏとした座標系
（実際の空間座標）をＸ，Ｙ，Ｚとすると、点Ｐ（ｘ，
ｙ，ｚ）は画面上において、下記式（１）および式
（２）を用いてｘ１，ｙ１の位置に表示される。
あたっては以下の手法を採用することができる。すなわ
ち、図２に示すように、前方道路画像の三次元空間にお
ける車線の座標点から二次元空間座標である撮像画像の
座標点を求め、その周囲にある所定の範囲だけ広げた領
域を車線検出ウィンドとする。同図に示すように、撮像
手段１により撮像された画像の座標系をＸ１，Ｙ１と
し、撮像手段１のレンズの中心を原点Ｏとした座標系
（実際の空間座標）をＸ，Ｙ，Ｚとすると、点Ｐ（ｘ，
ｙ，ｚ）は画面上において、下記式（１）および式
（２）を用いてｘ１，ｙ１の位置に表示される。
【００３５】
【数１】 ｘ１＝ｘ・ｆ／ｚ …（１） ｙ１＝ｙ・ｆ／ｚ …（２） ここで路面上の車線においては同図に示すようにｙ＝Ｈ
（Ｈは撮像手段の路面からの高さ）であることから、下
記式（３）および式（４）に示すように画像上の座標か
ら点Ｐの座標を求めることができる。
（Ｈは撮像手段の路面からの高さ）であることから、下
記式（３）および式（４）に示すように画像上の座標か
ら点Ｐの座標を求めることができる。
【００３６】
【数２】 ｘ＝ｘ１・ｆ／ｚ …（３） ｚ＝ｆ・Ｈ／ｙ１ …（４） ∴ｘ＝ｘ１・ｙ１／Ｈ このようにして設定された車線検出ウィンドの例を図３
に示す。
に示す。
【００３７】ウィンド内車線検出手段３は、上述した車
線検出ウィンド設定手段２により設定された車線検出ウ
ィンド毎に各車線検出ウィンド内の輝度情報から車線を
検出するものであり、具体的には車線検出ウィンド設定
手段で設定されたウィンド内のエッジを縦エッジ検出に
より行う。図４に示す縦エッジ検出フィルタを用いた場
合の計算例を下記式（５）に示す。
線検出ウィンド設定手段２により設定された車線検出ウ
ィンド毎に各車線検出ウィンド内の輝度情報から車線を
検出するものであり、具体的には車線検出ウィンド設定
手段で設定されたウィンド内のエッジを縦エッジ検出に
より行う。図４に示す縦エッジ検出フィルタを用いた場
合の計算例を下記式（５）に示す。
【００３８】
【数３】 Ｉｄｘ（ｉ，ｊ）＝Ｉ（ｉ＋１，ｊ−１）／４ ＋Ｉ（ｉ＋１，ｊ）／２ ＋Ｉ（ｉ＋１，Ｊ＋１）／４ −Ｉ（ｉ−１，ｊ−１）／４ −Ｉ（ｉ−１，ｊ）／２ −Ｉ（ｉ−１，ｊ＋１）／４ …（５） ここで、Ｉ（ｉ，ｊ）は点（ｉ，ｊ）の輝度値、Ｉｄｘ
（ｉ，ｊ）は点（ｉ，ｊ）の縦エッジ強度を示す。した
がって、Ｉｄｘ（ｉ，ｊ）が０以外の数値となっている
点（ｉ，ｊ）においては縦エッジがあることになり縦エ
ッジ検出を行うことができる。
（ｉ，ｊ）は点（ｉ，ｊ）の縦エッジ強度を示す。した
がって、Ｉｄｘ（ｉ，ｊ）が０以外の数値となっている
点（ｉ，ｊ）においては縦エッジがあることになり縦エ
ッジ検出を行うことができる。
【００３９】次に、このようにして検出した縦エッジ画
像に対してハフ変換を行う。ハフ変換とは、ＸＹ座標の
エッジ点を極座標系ρθ座標の線分に変換する処理であ
り、全てのエッジ点を変換したあとのρθ座標における
最大値ｈmaxをとる［ρ，θ］が、ウィンド内の極座標
直線式を示す。また、最大値ｈmaxが予め設定している
しきい値ＴＨ０より大きい場合、検出した直線が道路の
車線を示していると判断する。しきい値ＴＨ０の決め方
としては、直線がＹ座標に平行な場合が直線に乗るエッ
ジ数が一番少なく、車線検出ウィンドの高さＷＨになる
ため、ＷＨの何割か、たとえば５割の値をＴＨ０とす
る。
像に対してハフ変換を行う。ハフ変換とは、ＸＹ座標の
エッジ点を極座標系ρθ座標の線分に変換する処理であ
り、全てのエッジ点を変換したあとのρθ座標における
最大値ｈmaxをとる［ρ，θ］が、ウィンド内の極座標
直線式を示す。また、最大値ｈmaxが予め設定している
しきい値ＴＨ０より大きい場合、検出した直線が道路の
車線を示していると判断する。しきい値ＴＨ０の決め方
としては、直線がＹ座標に平行な場合が直線に乗るエッ
ジ数が一番少なく、車線検出ウィンドの高さＷＨになる
ため、ＷＨの何割か、たとえば５割の値をＴＨ０とす
る。
【００４０】最大値ｈmaxがしきい値ＴＨ０より大きい
場合、ハフ変換で算出された極座標の直線式からウィン
ド内での車線位置を算出する。車線の関数をｙ＝ａｘ＋
ｂとすると、
場合、ハフ変換で算出された極座標の直線式からウィン
ド内での車線位置を算出する。車線の関数をｙ＝ａｘ＋
ｂとすると、
【００４１】
【数４】 ａ＝tan（θ−π/2）、ｂ＝ρ／sinθ …（６） となる。上記（６）式において、ｙ＝Ｙの場合のｘ座標
値をｘＳＴとし、上記（６）式でｙ＝Ｙ＋ＷＨの場合の
ｘ座標値をｘＥＤとすると、車線の位置座標１（ｘＳ
Ｔ，Ｙ）、車線の位置座標２（ｘＥＤ，Ｙ−ＷＨ）が得
られる。以上の処理を車線検出ウィンド設定手段２で設
定された車線検出ウィンド全てに対して行う。
値をｘＳＴとし、上記（６）式でｙ＝Ｙ＋ＷＨの場合の
ｘ座標値をｘＥＤとすると、車線の位置座標１（ｘＳ
Ｔ，Ｙ）、車線の位置座標２（ｘＥＤ，Ｙ−ＷＨ）が得
られる。以上の処理を車線検出ウィンド設定手段２で設
定された車線検出ウィンド全てに対して行う。
【００４２】ノイズ検出ウィンド設定手段４は、車線検
出ウィンド設定手段２により設定された各車線検出ウィ
ンドの隣接した位置、本例では左端および右端のそれぞ
れに、所定の高さと幅を有するノイズ検出ウィンドを設
定するものである。このノイズ検出ウィンドの高さは、
たとえば車線検出ウィンドの高さと同じ高さとし、幅は
１０画素程度とする。図６に本例における車線検出ウィ
ンドとノイズ検出ウィンドの設定例を示す。
出ウィンド設定手段２により設定された各車線検出ウィ
ンドの隣接した位置、本例では左端および右端のそれぞ
れに、所定の高さと幅を有するノイズ検出ウィンドを設
定するものである。このノイズ検出ウィンドの高さは、
たとえば車線検出ウィンドの高さと同じ高さとし、幅は
１０画素程度とする。図６に本例における車線検出ウィ
ンドとノイズ検出ウィンドの設定例を示す。
【００４３】エッジ強度検出手段５は、ノイズ検出ウィ
ンド設定手段４により設定されたノイズ検出ウィンド毎
にそのウィンド内のエッジ強度を検出するもので、この
エッジ強度の検出には画像の微分処理を用いることがで
きる。微分処理の例として、横エッジの強度を検出する
手法があるが、この横エッジ検出法に図７に示す横エッ
ジ検出フィルタを用いた場合の計算例を下記式（７）に
示す。
ンド設定手段４により設定されたノイズ検出ウィンド毎
にそのウィンド内のエッジ強度を検出するもので、この
エッジ強度の検出には画像の微分処理を用いることがで
きる。微分処理の例として、横エッジの強度を検出する
手法があるが、この横エッジ検出法に図７に示す横エッ
ジ検出フィルタを用いた場合の計算例を下記式（７）に
示す。
【００４４】
【数５】 Ｉｄｙ（ｉ，ｊ）＝Ｉ（ｉ−１，ｊ−１）／４ ＋Ｉ（ｉ，ｊ−１）／２ ＋Ｉ（ｉ＋１，Ｊ−１）／４ −Ｉ（ｉ−１，ｊ＋１）／４ −Ｉ（ｉ，ｊ＋１）／２ −Ｉ（ｉ＋１，ｊ＋１）／４ …（７） ここで、Ｉ（ｉ，ｊ）は点（ｉ，ｊ）の輝度値、Ｉｄｙ
（ｉ，ｊ）は点（ｉ，ｊ）の横エッジ強度を示す。した
がって、Ｉｄｙ（ｉ，ｊ）が０以外の数値となっている
点（ｉ，ｊ）においては横エッジがあることになり横エ
ッジ検出を行うことができる。
（ｉ，ｊ）は点（ｉ，ｊ）の横エッジ強度を示す。した
がって、Ｉｄｙ（ｉ，ｊ）が０以外の数値となっている
点（ｉ，ｊ）においては横エッジがあることになり横エ
ッジ検出を行うことができる。
【００４５】重み付け変更手段６は、ノイズ検出ウィン
ドで検出されたエッジ強度により車線検出ウィンドに対
して重み付け値を変更するものである。重み付けの変更
法の一例としては、エッジ強度検出手段５で検出された
ノイズ検出ウィンド内のエッジ強度が、ある所定の値以
上となったときに、そのノイズ検出ウィンドに隣接する
車線検出ウィンドの車線検出結果と、その車線検出ウィ
ンドより前方にある車線検出ウィンドの車線検出結果を
クリアするという例を挙げることができる。また他の例
として、ノイズ検出ウィンドのエッジ強度が大きい場
合、そのノイズ検出ウィンドに隣接する車線検出ウィン
ドの車線検出処理と、その車線検出ウィンドより前方に
ある車線検出ウィンドの車線検出処理とを実行しないと
いう例を挙げることができる。後者の例では、車線検出
処理をウィンド数が少なくなるので処理時間を短縮する
ことができる。
ドで検出されたエッジ強度により車線検出ウィンドに対
して重み付け値を変更するものである。重み付けの変更
法の一例としては、エッジ強度検出手段５で検出された
ノイズ検出ウィンド内のエッジ強度が、ある所定の値以
上となったときに、そのノイズ検出ウィンドに隣接する
車線検出ウィンドの車線検出結果と、その車線検出ウィ
ンドより前方にある車線検出ウィンドの車線検出結果を
クリアするという例を挙げることができる。また他の例
として、ノイズ検出ウィンドのエッジ強度が大きい場
合、そのノイズ検出ウィンドに隣接する車線検出ウィン
ドの車線検出処理と、その車線検出ウィンドより前方に
ある車線検出ウィンドの車線検出処理とを実行しないと
いう例を挙げることができる。後者の例では、車線検出
処理をウィンド数が少なくなるので処理時間を短縮する
ことができる。
【００４６】道路形状算出手段７は、ウィンド内車線検
出手段３で検出された車線と重み付け変更手段６で変更
された重み付け値を用いて道路形状を算出するもので、
算出方法の一例として次のような手法を用いることがで
きる。すなわち、ウィンド内車線検出手段３で検出され
たウィンド毎の直線から、車線を折れ線近似することに
より、撮像された車線の形状を算出し、車線検出ウィン
ド設定手段２で説明したのとは逆に三次元空間へ射影す
ることで、前方道路の形状を算出することができる。
出手段３で検出された車線と重み付け変更手段６で変更
された重み付け値を用いて道路形状を算出するもので、
算出方法の一例として次のような手法を用いることがで
きる。すなわち、ウィンド内車線検出手段３で検出され
たウィンド毎の直線から、車線を折れ線近似することに
より、撮像された車線の形状を算出し、車線検出ウィン
ド設定手段２で説明したのとは逆に三次元空間へ射影す
ることで、前方道路の形状を算出することができる。
【００４７】次に動作を説明する。図６は前方に先行車
が存在せず、走行路の左右に走行車線を区分けする車線
が描かれた道路上に本例がおかれたときの、撮像手段１
で撮像された画像と、この画像上での車線検出ウィンド
とノイズ検出ウィンドの設定例を示す図である。本例で
は、車線検出ウィンド１乃至８には、車線あるいは路面
が撮像され、ノイズ検出ウィンド９乃至２４には路面が
撮像されている。エッジ強度検出手段５は、ノイズ検出
ウィンドの撮像画面がエッジ成分の小さい領域であるた
め、各ノイズ検出ウィンドのエッジ強度が「小さい」と
いう結果を出力する。この結果を受けて、重み付け変更
手段６は、全てのノイズ検出ウィンドのエッジ強度が小
さいため、車線検出結果に何らの操作もしない。道路形
状算出手段７は、全ての車線検出ウィンドの検出結果を
用いて道路形状を算出する。
が存在せず、走行路の左右に走行車線を区分けする車線
が描かれた道路上に本例がおかれたときの、撮像手段１
で撮像された画像と、この画像上での車線検出ウィンド
とノイズ検出ウィンドの設定例を示す図である。本例で
は、車線検出ウィンド１乃至８には、車線あるいは路面
が撮像され、ノイズ検出ウィンド９乃至２４には路面が
撮像されている。エッジ強度検出手段５は、ノイズ検出
ウィンドの撮像画面がエッジ成分の小さい領域であるた
め、各ノイズ検出ウィンドのエッジ強度が「小さい」と
いう結果を出力する。この結果を受けて、重み付け変更
手段６は、全てのノイズ検出ウィンドのエッジ強度が小
さいため、車線検出結果に何らの操作もしない。道路形
状算出手段７は、全ての車線検出ウィンドの検出結果を
用いて道路形状を算出する。
【００４８】図８は、先行車が存在する場合の、撮像手
段１で撮像された画像における車線検出ウィンドとノイ
ズ検出ウィンドを示す図である。本例では車線検出ウィ
ンド１乃至６には車線のみが存在し、車線検出ウィンド
７乃至８にはウィンド内に車線と先行車がともに存在す
る。また、ノイズ検出ウィンド９乃至１７，２０，２
１，２４には車線および先行車の何れも存在せず、これ
に対してノイズ検出ウィンド１８乃至１９，２２乃至２
３には先行車が存在している。このような場合、エッジ
強度検出手段５は、ノイズ検出ウィンド１８乃至１９，
２２乃至２３のエッジ強度が「大きい」という結果を出
力する。この結果、重み付け変更手段６は、車線検出ウ
ィンド５乃至８の車線検出結果をクリアする。これによ
り道路形状算出手段７では、車線検出ウィンド５乃至８
の情報がクリアされているため車線検出ウィンド１乃至
４の検出結果のみを用いて道路形状を算出することにな
る。
段１で撮像された画像における車線検出ウィンドとノイ
ズ検出ウィンドを示す図である。本例では車線検出ウィ
ンド１乃至６には車線のみが存在し、車線検出ウィンド
７乃至８にはウィンド内に車線と先行車がともに存在す
る。また、ノイズ検出ウィンド９乃至１７，２０，２
１，２４には車線および先行車の何れも存在せず、これ
に対してノイズ検出ウィンド１８乃至１９，２２乃至２
３には先行車が存在している。このような場合、エッジ
強度検出手段５は、ノイズ検出ウィンド１８乃至１９，
２２乃至２３のエッジ強度が「大きい」という結果を出
力する。この結果、重み付け変更手段６は、車線検出ウ
ィンド５乃至８の車線検出結果をクリアする。これによ
り道路形状算出手段７では、車線検出ウィンド５乃至８
の情報がクリアされているため車線検出ウィンド１乃至
４の検出結果のみを用いて道路形状を算出することにな
る。
【００４９】このように、車線のみが存在するウィンド
の検出結果を用いて道路形状を算出するため先行車が存
在しても信頼性の高い車線検出が行える。また、本例の
車線検出装置を、車線逸脱警報装置や操舵補助装置など
に適用することで的確な警報の発生や運転操作の補助が
可能となる。
の検出結果を用いて道路形状を算出するため先行車が存
在しても信頼性の高い車線検出が行える。また、本例の
車線検出装置を、車線逸脱警報装置や操舵補助装置など
に適用することで的確な警報の発生や運転操作の補助が
可能となる。
【００５０】本発明の車線検出装置は上述した実施形態
にのみ限定されず、種々に改変することができる。たと
えば、上述した実施形態ではエッジ強度検出手段５にお
いて、全てのノイズ検出ウィンドについて横エッジ強度
を検出したが、車線検出ウィンドの左右にあるノイズ検
出ウィンドに対して、走行路の中央寄りにあるノイズ検
出ウィンドについては横エッジ検出法を用いる一方で、
走行路の外側寄りにあるノイズ検出ウィンドについては
縦エッジ検出法を用いることもできる。図６の例で言え
ば、ノイズ検出ウィンド１０，１１，１４，１５，１
８，１９，２２，２３については横エッジ検出法を用
い、ノイズ検出ウィンド９，１２，１３，１６，１７，
２０，２１，２４については縦エッジ検出法を用いる。
この縦エッジ検出法は、ウィンド内車線検出手段３で説
明したものを用いることができる。
にのみ限定されず、種々に改変することができる。たと
えば、上述した実施形態ではエッジ強度検出手段５にお
いて、全てのノイズ検出ウィンドについて横エッジ強度
を検出したが、車線検出ウィンドの左右にあるノイズ検
出ウィンドに対して、走行路の中央寄りにあるノイズ検
出ウィンドについては横エッジ検出法を用いる一方で、
走行路の外側寄りにあるノイズ検出ウィンドについては
縦エッジ検出法を用いることもできる。図６の例で言え
ば、ノイズ検出ウィンド１０，１１，１４，１５，１
８，１９，２２，２３については横エッジ検出法を用
い、ノイズ検出ウィンド９，１２，１３，１６，１７，
２０，２１，２４については縦エッジ検出法を用いる。
この縦エッジ検出法は、ウィンド内車線検出手段３で説
明したものを用いることができる。
【００５１】先行車による車線検出の影響を極力小さく
するためには、先行車が前方のどの位置にあるかを検出
し、先行車によって車線が隠されてしまうために生じる
車線検出の信頼性低下を防止するために、先行車が存在
する位置よりも前方の車線の重み付けを小さくすること
で車線検出の信頼性を高めることができる。このとき、
横エッジ検出法を用いた方が、より確実に先行車の位置
を検出することができる。また、隣接車線からの割り込
み車が存在する場合には、割り込み車と車線との横方向
の位置関係により車線が隠されてしまうため、割り込み
車の横方向の位置がより確実に検出できる縦エッジ検出
法を用いることで、割り込み車によって車線が隠されて
しまうために生じる車線検出の信頼性低下を防止するこ
とができる。
するためには、先行車が前方のどの位置にあるかを検出
し、先行車によって車線が隠されてしまうために生じる
車線検出の信頼性低下を防止するために、先行車が存在
する位置よりも前方の車線の重み付けを小さくすること
で車線検出の信頼性を高めることができる。このとき、
横エッジ検出法を用いた方が、より確実に先行車の位置
を検出することができる。また、隣接車線からの割り込
み車が存在する場合には、割り込み車と車線との横方向
の位置関係により車線が隠されてしまうため、割り込み
車の横方向の位置がより確実に検出できる縦エッジ検出
法を用いることで、割り込み車によって車線が隠されて
しまうために生じる車線検出の信頼性低下を防止するこ
とができる。
【００５２】本発明の車線検出装置はさらに改変するこ
とができる。上述した実施形態では、重み付け変更手段
６において、エッジ強度検出手段５で検出されたノイズ
検出ウィンド内のエッジ強度が、ある所定の値以上とな
ったときに、そのノイズ検出ウィンドに隣接する車線検
出ウィンドの車線検出結果と、その車線検出ウィンドよ
り前方にある車線検出ウィンドの車線検出結果をクリア
するようにしたが、これに代えて、車線検出ウィンドの
左右にあるノイズ検出ウィンドのうち走行路の中央寄り
にあるノイズ検出ウィンドでは、エッジ強度検出手段５
で検出されたノイズ検出ウィンド内のエッジ強度が、所
定時間以上連続して、所定以上のエッジ強度を検出した
ら、そのノイズ検出ウィンドに隣接する車線検出ウィン
ドの車線検出結果と、その車線検出ウィンドより前方に
ある車線検出ウィンドの車線検出結果をクリアするよう
に構成しても良い。また、走行路の外側にあるノイズ検
出ウィンドでは、ノイズ検出ウィンド内のエッジ強度が
所定値以上となったら、そのノイズ検出ウィンドに隣接
する車線検出ウィンドの車線検出結果だけをクリアす
る。
とができる。上述した実施形態では、重み付け変更手段
６において、エッジ強度検出手段５で検出されたノイズ
検出ウィンド内のエッジ強度が、ある所定の値以上とな
ったときに、そのノイズ検出ウィンドに隣接する車線検
出ウィンドの車線検出結果と、その車線検出ウィンドよ
り前方にある車線検出ウィンドの車線検出結果をクリア
するようにしたが、これに代えて、車線検出ウィンドの
左右にあるノイズ検出ウィンドのうち走行路の中央寄り
にあるノイズ検出ウィンドでは、エッジ強度検出手段５
で検出されたノイズ検出ウィンド内のエッジ強度が、所
定時間以上連続して、所定以上のエッジ強度を検出した
ら、そのノイズ検出ウィンドに隣接する車線検出ウィン
ドの車線検出結果と、その車線検出ウィンドより前方に
ある車線検出ウィンドの車線検出結果をクリアするよう
に構成しても良い。また、走行路の外側にあるノイズ検
出ウィンドでは、ノイズ検出ウィンド内のエッジ強度が
所定値以上となったら、そのノイズ検出ウィンドに隣接
する車線検出ウィンドの車線検出結果だけをクリアす
る。
【００５３】先行車が存在する場合には、先行車と自車
両との相対速度はほぼ０であるため、撮像された画像上
ではほぼ同一の位置に先行車が存在することになる。ま
た、路面に描かれた記号等については相対速度が自車速
度になるため、走行中は画面上の位置が時々刻々と変化
する。したがって、あるノイズ検出ウィンドにて所定時
間以上だけ所定値以上のエッジ強度が検出された場合に
は、相対速度がほぼ０である物体を検出していることに
なり、この判断によってより確実に先行車を検出するこ
とができる。さらに、先行車が存在する場合には、先行
車より前方にある車線は先行車によって隠されてしまう
ため、先行車より前方にある車線検出結果をクリアする
ことで先行車の影響を排除することができる。しかも、
割り込み車では、割り込み車が存在するところだけ車線
が隠され、それ以外の車線はウィンド内車線検出手段３
により検出できるので、過剰に車線検出結果をクリアす
ることなく車線を検出することができる。その結果、割
り込み車が存在しても車線検出の信頼性が向上する。
両との相対速度はほぼ０であるため、撮像された画像上
ではほぼ同一の位置に先行車が存在することになる。ま
た、路面に描かれた記号等については相対速度が自車速
度になるため、走行中は画面上の位置が時々刻々と変化
する。したがって、あるノイズ検出ウィンドにて所定時
間以上だけ所定値以上のエッジ強度が検出された場合に
は、相対速度がほぼ０である物体を検出していることに
なり、この判断によってより確実に先行車を検出するこ
とができる。さらに、先行車が存在する場合には、先行
車より前方にある車線は先行車によって隠されてしまう
ため、先行車より前方にある車線検出結果をクリアする
ことで先行車の影響を排除することができる。しかも、
割り込み車では、割り込み車が存在するところだけ車線
が隠され、それ以外の車線はウィンド内車線検出手段３
により検出できるので、過剰に車線検出結果をクリアす
ることなく車線を検出することができる。その結果、割
り込み車が存在しても車線検出の信頼性が向上する。
【００５４】なお、以上説明した実施形態は、本発明の
理解を容易にするために記載されたものであって、本発
明を限定するために記載されたものではない。したがっ
て、上記の実施形態に開示された各要素は、本発明の技
術的範囲に属する全ての設計変更や均等物をも含む趣旨
である。
理解を容易にするために記載されたものであって、本発
明を限定するために記載されたものではない。したがっ
て、上記の実施形態に開示された各要素は、本発明の技
術的範囲に属する全ての設計変更や均等物をも含む趣旨
である。
【図１】本発明の車線検出装置の実施形態を示すブロッ
ク図である。
ク図である。
【図２】本発明に係る車線検出ウィンド設定手段におい
て実行される座標変換処理を説明する図である。
て実行される座標変換処理を説明する図である。
【図３】本発明に係る車線検出ウィンドの一例を示す図
である。
である。
【図４】本発明に係るウィンド内車線検出手段において
実行されるエッジ検出処理（縦エッジ検出処理）を説明
する図である。
実行されるエッジ検出処理（縦エッジ検出処理）を説明
する図である。
【図５】本発明に係るウィンド内車線検出手段において
実行されるハフ変換処理を説明する図である。
実行されるハフ変換処理を説明する図である。
【図６】本発明に係る車線検出ウィンドとノイズ検出ウ
ィンドの設定例を示す図である。
ィンドの設定例を示す図である。
【図７】本発明に係るエッジ強度検出手段において実行
されるエッジ検出処理（横エッジ検出処理）を説明する
図である。
されるエッジ検出処理（横エッジ検出処理）を説明する
図である。
【図８】本発明に係る撮像手段で撮像された画像におけ
る車線検出ウィンドとノイズ検出ウィンドを示す図（先
行車が存在する場合）である。
る車線検出ウィンドとノイズ検出ウィンドを示す図（先
行車が存在する場合）である。
１…撮像手段 ２…車線検出ウィンド設定手段 ３…ウィンド内車線検出手段 ４…ノイズ検出ウィンド設定手段 ５…エッジ強度検出手段 ６…重み付け変更手段 ７…道路形状算出手段
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B057 AA16 BA02 CA08 CA12 CA16 CB08 CB12 CB16 CD18 CE06 DA08 DC13 DC16 5H180 AA01 CC04 CC24 LL06 LL09 5L096 EA07 EA35 FA24 FA26 FA46 GA04 GA17 GA55
Claims (8)
- 【請求項１】自車両前方の走行路状況を撮像する撮像手
段と、 前記撮像手段により撮像された画像データから車線が含
まれるように車線検出ウィンドを少なくとも一つ設定す
る車線検出ウィンド設定手段と、 前記車線検出ウィンド設定手段により設定した車線検出
ウィンド毎に各車線検出ウィンド内の輝度情報から車線
を検出するウィンド内車線検出手段と、 前記車線検出ウィンド設定手段により設定された各車線
検出ウィンドの隣接した位置にノイズ検出ウィンドを少
なくとも一つ設定するノイズ検出ウィンド設定手段と、 前記ノイズ検出ウィンド設定手段により設定されたノイ
ズ検出ウィンド毎にそのウィンド内のエッジ強度を検出
するエッジ強度検出手段と、 前記ノイズ検出ウィンドで検出されたエッジ強度により
車線検出ウィンドに対して重み付け値を変更する重み付
け変更手段と、 前記ウィンド内車線検出手段で検出された車線と前記重
み付け変更手段で変更された重み付け値を用いて道路形
状を算出する道路形状算出手段と、を備えた車線検出装
置。 - 【請求項２】前記ノイズ検出ウィンド設定手段は、ノイ
ズ検出ウィンドを各車線検出ウィンドの左、右又は左右
のそれぞれに接して設定する請求項１記載の車線検出装
置。 - 【請求項３】前記エッジ強度検出手段は、走行路の中央
寄りにあるノイズ検出ウィンドに対しては横エッジの強
度を検出し、走行路の外側寄りにあるノイズ検出ウィン
ドに対しては縦エッジの強度を検出する請求項１又は２
記載の車線検出装置。 - 【請求項４】前記重み付け変更手段は、前記ノイズ検出
ウィンドで検出されたエッジ強度が強い場合には重み付
け値を小さくする請求項１乃至３記載の車線検出装置。 - 【請求項５】前記重み付け変更手段は、各ノイズ検出ウ
ィンドに隣接する車線検出ウィンドに対して重み付けを
変更する請求項１乃至４記載の車線検出装置。 - 【請求項６】前記重み付け変更手段は、前記エッジ強度
検出手段により車輌近傍のノイズ検出ウィンドで所定値
以上のエッジ強度が検出されたとき、そのノイズ検出ウ
ィンドより前方にある車線検出ウィンドの重み付け値を
小さくする請求項１乃至５記載の車線検出装置。 - 【請求項７】前記重み付け変更手段は、前記エッジ強度
検出手段により車輌近傍の走行路の中央寄りにあるノイ
ズ検出ウィンドで所定値以上のエッジ強度が検出された
とき、そのノイズ検出ウィンドより前方にある車線検出
ウィンドの重み付けを小さくし、 走行路の外側にあるノイズ検出ウィンドで所定値以上の
エッジ強度が検出されたとき、各ノイズ検出ウィンドに
隣接する車線検出ウィンドに対して車線検出ウィンドの
重み付けを小さくする請求項１乃至６記載の車線検出装
置。 - 【請求項８】前記重み付け変更手段は、ノイズ検出ウィ
ンド毎に同一のノイズ検出ウィンドで、所定時間以上連
続して所定値以上のエッジ強度が検出されたとき、その
車線検出ウィンドの重み付けを小さくする請求項１乃至
７記載の車線検出装置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000397590A JP3630100B2 (ja) | 2000-12-27 | 2000-12-27 | 車線検出装置 |
| EP01310081A EP1221643B1 (en) | 2000-12-27 | 2001-11-30 | Apparatus and method for detecting traffic lane mark for automotive vehicle |
| DE60108351T DE60108351T2 (de) | 2000-12-27 | 2001-11-30 | Vorrichtung und Verfahren zur Erkennung von Fahrbahnmarkierungen |
| US10/022,356 US6879706B2 (en) | 2000-12-27 | 2001-12-20 | Apparatus and method for detecting traffic lane mark for automotive vehicle |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000397590A JP3630100B2 (ja) | 2000-12-27 | 2000-12-27 | 車線検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002197470A true JP2002197470A (ja) | 2002-07-12 |
| JP3630100B2 JP3630100B2 (ja) | 2005-03-16 |
Family
ID=18862702
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000397590A Expired - Fee Related JP3630100B2 (ja) | 2000-12-27 | 2000-12-27 | 車線検出装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6879706B2 (ja) |
| EP (1) | EP1221643B1 (ja) |
| JP (1) | JP3630100B2 (ja) |
| DE (1) | DE60108351T2 (ja) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005223434A (ja) * | 2004-02-03 | 2005-08-18 | Toshiba Corp | 撮像装置 |
| JP2006322892A (ja) * | 2005-05-20 | 2006-11-30 | Mitsubishi Electric Corp | ３次元位置測定装置および３次元位置測定プログラム |
| JP2008059323A (ja) * | 2006-08-31 | 2008-03-13 | Fuji Heavy Ind Ltd | 壁検出装置 |
| JP2008117073A (ja) * | 2006-11-01 | 2008-05-22 | Fuji Heavy Ind Ltd | 割り込み車両検出装置 |
| WO2008084592A1 (ja) * | 2007-01-12 | 2008-07-17 | Honda Motor Co., Ltd. | 車線認識装置、車両、車線認識方法、及び車線認識プログラム |
| JP2015153162A (ja) * | 2014-02-14 | 2015-08-24 | 株式会社日本自動車部品総合研究所 | 境界線認識装置 |
| WO2018159398A1 (ja) * | 2017-03-03 | 2018-09-07 | 日立オートモティブシステムズ株式会社 | 移動体の位置推定装置及び方法 |
| US10635911B2 (en) | 2017-01-16 | 2020-04-28 | Denso Corporation | Apparatus and method for recognizing travel lane |
Families Citing this family (41)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3729095B2 (ja) * | 2001-06-29 | 2005-12-21 | 日産自動車株式会社 | 走行路検出装置 |
| JP3780922B2 (ja) * | 2001-11-30 | 2006-05-31 | 日産自動車株式会社 | 道路白線認識装置 |
| US8718919B2 (en) * | 2002-04-23 | 2014-05-06 | Robert Bosch Gmbh | Method and apparatus for lane recognition for a vehicle |
| DE10218010A1 (de) * | 2002-04-23 | 2003-11-06 | Bosch Gmbh Robert | Verfahren und Vorrichtung zur Querführungsunterstützung bei Kraftfahrzeugen |
| JP4374211B2 (ja) * | 2002-08-27 | 2009-12-02 | クラリオン株式会社 | レーンマーカー位置検出方法及びレーンマーカー位置検出装置並びに車線逸脱警報装置 |
| DE10333670B4 (de) * | 2003-07-18 | 2019-07-04 | Iav Gmbh Ingenieurgesellschaft Auto Und Verkehr | Verfahren zum Ermitteln des Fahrbahnverlaufes aus Bilddaten |
| US7482916B2 (en) | 2004-03-15 | 2009-01-27 | Anita Au | Automatic signaling systems for vehicles |
| JP2005301603A (ja) * | 2004-04-09 | 2005-10-27 | Denso Corp | 走行車線検出装置 |
| JP4703136B2 (ja) * | 2004-06-02 | 2011-06-15 | トヨタ自動車株式会社 | 線図形化処理装置 |
| JP4756931B2 (ja) * | 2004-07-01 | 2011-08-24 | 株式会社 三英技研 | デジタルレーンマーク作成装置 |
| DE102004060402A1 (de) * | 2004-12-14 | 2006-07-13 | Adc Automotive Distance Control Systems Gmbh | Verfahren und Vorrichtung zur Ermittlung einer Fahrzeuggeschwindigkeit |
| US7639841B2 (en) * | 2004-12-20 | 2009-12-29 | Siemens Corporation | System and method for on-road detection of a vehicle using knowledge fusion |
| JP4882285B2 (ja) * | 2005-06-15 | 2012-02-22 | 株式会社デンソー | 車両用走行支援装置 |
| JP4365350B2 (ja) * | 2005-06-27 | 2009-11-18 | 本田技研工業株式会社 | 車両及び車線認識装置 |
| JP4815943B2 (ja) * | 2005-08-19 | 2011-11-16 | 株式会社デンソー | 危険箇所情報表示装置 |
| DE102005044979A1 (de) * | 2005-09-20 | 2007-03-22 | Adc Automotive Distance Control Systems Gmbh | Verfahren zur Erkennung von Fahrspurmarkierungen |
| JP4248558B2 (ja) * | 2006-03-24 | 2009-04-02 | トヨタ自動車株式会社 | 道路区画線検出装置 |
| JP4687563B2 (ja) * | 2006-05-23 | 2011-05-25 | 株式会社デンソー | 車両用レーンマーク認識装置 |
| US7876926B2 (en) * | 2006-11-03 | 2011-01-25 | Delphi Technologies, Inc. | Lane marker detection and fitting methods |
| US7881497B2 (en) * | 2007-03-08 | 2011-02-01 | Honeywell International Inc. | Vision based navigation and guidance system |
| US20090284361A1 (en) * | 2008-05-19 | 2009-11-19 | John Boddie | Driver scoring system with lane changing detection and warning system |
| JP5359516B2 (ja) * | 2008-07-29 | 2013-12-04 | 日産自動車株式会社 | 車両運転支援装置及び車両運転支援方法 |
| DE102008050456B4 (de) | 2008-10-08 | 2018-03-15 | Volkswagen Aktiengesellschaft | Verfahren und Vorrichtung zur Fahrspurerkennung |
| JP4862898B2 (ja) * | 2009-01-09 | 2012-01-25 | 株式会社デンソー | 車両用警報発生装置 |
| WO2010143291A1 (ja) * | 2009-06-11 | 2010-12-16 | トヨタ自動車株式会社 | 車両走行位置判定方法及び車両走行位置判定装置 |
| CN103177236B (zh) * | 2011-12-22 | 2016-06-01 | 株式会社理光 | 道路区域检测方法和装置、分道线检测方法和装置 |
| KR101912085B1 (ko) * | 2012-07-02 | 2018-10-26 | 현대모비스 주식회사 | 차선 검출 신뢰도 계산방법 및 이를 수행하는 계산장치 |
| JP5754470B2 (ja) * | 2012-12-20 | 2015-07-29 | 株式会社デンソー | 路面形状推定装置 |
| JP5986949B2 (ja) * | 2013-04-08 | 2016-09-06 | 株式会社日本自動車部品総合研究所 | 境界線認識装置 |
| JP6362442B2 (ja) | 2014-06-13 | 2018-07-25 | 富士通株式会社 | 車線境界線抽出装置、車線境界線抽出方法、及びプログラム |
| JP6285347B2 (ja) * | 2014-12-10 | 2018-02-28 | 株式会社Ｓｏｋｅｎ | 車線境界線認識装置 |
| EP3098753A1 (en) | 2015-05-28 | 2016-11-30 | Tata Consultancy Services Limited | Lane detection |
| JP6174644B2 (ja) * | 2015-09-01 | 2017-08-02 | 本田技研工業株式会社 | 画像処理装置 |
| FR3051275A1 (fr) | 2016-05-13 | 2017-11-17 | Inst Vedecom | Procede de traitement d’image pour la reconnaissance de marquage au sol et systeme pour la detection du marquage au sol |
| KR102628654B1 (ko) | 2016-11-07 | 2024-01-24 | 삼성전자주식회사 | 차선을 표시하는 방법 및 장치 |
| JP6741603B2 (ja) | 2017-01-16 | 2020-08-19 | 株式会社Ｓｏｋｅｎ | 推定装置 |
| CN109285352A (zh) * | 2017-07-22 | 2019-01-29 | 周尧 | 一种基于路面标记的车辆检测方法 |
| DE102018100292A1 (de) * | 2018-01-09 | 2019-07-11 | Connaught Electronics Ltd. | Erfassung einer Fahrspurmarkierung durch ein Spurhaltewarnsystem eines Fahrzeugs |
| CN109164798B (zh) * | 2018-07-24 | 2021-10-08 | 合肥哈工库讯智能科技有限公司 | 一种agv小车运输过程中的智能化交通管制调控系统 |
| US11070707B1 (en) | 2020-01-06 | 2021-07-20 | GM Global Technology Operations LLC | System and method to remove a vehicle shadow from a video feed |
| KR20210126365A (ko) * | 2020-04-10 | 2021-10-20 | 팅크웨어(주) | 차량 주행 영상 기반의 차선 검출 방법, 차선 검출 장치, 전자 기기, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6434202A (en) * | 1987-07-30 | 1989-02-03 | Kubota Ltd | Working wagon of automatic conduct type |
| JPH07111734B2 (ja) * | 1989-03-30 | 1995-11-29 | 本田技研工業株式会社 | 走行路判別方法 |
| US4970653A (en) * | 1989-04-06 | 1990-11-13 | General Motors Corporation | Vision method of detecting lane boundaries and obstacles |
| JPH05265547A (ja) * | 1992-03-23 | 1993-10-15 | Fuji Heavy Ind Ltd | 車輌用車外監視装置 |
| US5638116A (en) * | 1993-09-08 | 1997-06-10 | Sumitomo Electric Industries, Ltd. | Object recognition apparatus and method |
| JP3721594B2 (ja) | 1995-03-15 | 2005-11-30 | 日産自動車株式会社 | 道路形状推定装置 |
| DE69635569T2 (de) * | 1995-04-25 | 2006-08-10 | Matsushita Electric Industrial Co., Ltd., Kadoma | Vorrichtung zum Bestimmen der lokalen Position eines Autos auf einer Strasse |
| DE69736764T2 (de) * | 1996-08-28 | 2007-01-25 | Matsushita Electric Industrial Co., Ltd., Kadoma | Lokales Positionierungsgerät und Verfahren dafür |
| US6417784B1 (en) * | 1996-12-03 | 2002-07-09 | Inductive Signature | Automotive vehicle classification and identification by inductive signature |
| US6266442B1 (en) * | 1998-10-23 | 2001-07-24 | Facet Technology Corp. | Method and apparatus for identifying objects depicted in a videostream |
-
2000
- 2000-12-27 JP JP2000397590A patent/JP3630100B2/ja not_active Expired - Fee Related
-
2001
- 2001-11-30 DE DE60108351T patent/DE60108351T2/de not_active Expired - Lifetime
- 2001-11-30 EP EP01310081A patent/EP1221643B1/en not_active Expired - Lifetime
- 2001-12-20 US US10/022,356 patent/US6879706B2/en not_active Expired - Lifetime
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005223434A (ja) * | 2004-02-03 | 2005-08-18 | Toshiba Corp | 撮像装置 |
| JP2006322892A (ja) * | 2005-05-20 | 2006-11-30 | Mitsubishi Electric Corp | ３次元位置測定装置および３次元位置測定プログラム |
| JP2008059323A (ja) * | 2006-08-31 | 2008-03-13 | Fuji Heavy Ind Ltd | 壁検出装置 |
| JP2008117073A (ja) * | 2006-11-01 | 2008-05-22 | Fuji Heavy Ind Ltd | 割り込み車両検出装置 |
| WO2008084592A1 (ja) * | 2007-01-12 | 2008-07-17 | Honda Motor Co., Ltd. | 車線認識装置、車両、車線認識方法、及び車線認識プログラム |
| JP2008168811A (ja) * | 2007-01-12 | 2008-07-24 | Honda Motor Co Ltd | 車線認識装置、車両、車線認識方法、及び車線認識プログラム |
| JP2015153162A (ja) * | 2014-02-14 | 2015-08-24 | 株式会社日本自動車部品総合研究所 | 境界線認識装置 |
| US10635911B2 (en) | 2017-01-16 | 2020-04-28 | Denso Corporation | Apparatus and method for recognizing travel lane |
| WO2018159398A1 (ja) * | 2017-03-03 | 2018-09-07 | 日立オートモティブシステムズ株式会社 | 移動体の位置推定装置及び方法 |
| JP2018146326A (ja) * | 2017-03-03 | 2018-09-20 | 日立オートモティブシステムズ株式会社 | 移動体の位置推定装置及び方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3630100B2 (ja) | 2005-03-16 |
| EP1221643A2 (en) | 2002-07-10 |
| EP1221643A3 (en) | 2003-11-19 |
| EP1221643B1 (en) | 2005-01-12 |
| US20020080019A1 (en) | 2002-06-27 |
| DE60108351D1 (de) | 2005-02-17 |
| DE60108351T2 (de) | 2006-04-06 |
| US6879706B2 (en) | 2005-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2002197470A (ja) | 車線検出装置 | |
| JP5276637B2 (ja) | 車線推定装置 | |
| EP2422320B1 (en) | Object detection device | |
| JP3925488B2 (ja) | 車両用画像処理装置 | |
| JP3463858B2 (ja) | 周辺監視装置及び方法 | |
| US8712097B2 (en) | Approaching object detection system | |
| JP5399027B2 (ja) | 自動車の運転を支援するための、立体画像を捕捉することができるシステムを有するデバイス | |
| JP5690688B2 (ja) | 外界認識方法，装置，および車両システム | |
| JP4433887B2 (ja) | 車両用外界認識装置 | |
| CN105678787A (zh) | 一种基于双目鱼眼摄像头的载重货车行驶障碍物检测及跟踪方法 | |
| EP2928178B1 (en) | On-board control device | |
| KR101240499B1 (ko) | 실시간 차선 인식 및 차량 검출 장치 및 방법 | |
| JP2011118482A (ja) | 車載装置および認知支援システム | |
| JP2000136905A (ja) | 物体端の位置計測装置および移動体の通行判断装置 | |
| JPH06107096A (ja) | 車両用前方監視方法 | |
| JP2008117073A (ja) | 割り込み車両検出装置 | |
| JP2009252198A (ja) | 走行環境推測装置、方法及びプログラム並びに車線逸脱警報装置及び操舵アシスト装置 | |
| WO2018109999A1 (ja) | 区画線認識装置 | |
| CN114415171A (zh) | 一种基于4d毫米波雷达的汽车可行驶区域检测方法 | |
| JP3656056B2 (ja) | 割り込み車両検出装置及びその方法 | |
| JP3868915B2 (ja) | 前方監視装置及びその方法 | |
| JP6253175B2 (ja) | 車両の外部環境認識装置 | |
| JP4033106B2 (ja) | 車両用測距性能低下検出装置 | |
| JP4106163B2 (ja) | 障害物検出装置及びその方法 | |
| US20230410318A1 (en) | Vehicle and method of controlling the same |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041112 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041124 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041207 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3630100 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071224 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081224 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081224 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091224 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101224 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111224 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121224 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121224 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131224 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |