JP2000059764A - 車両の位置検出装置 - Google Patents
車両の位置検出装置Info
- Publication number
- JP2000059764A JP2000059764A JP10224385A JP22438598A JP2000059764A JP 2000059764 A JP2000059764 A JP 2000059764A JP 10224385 A JP10224385 A JP 10224385A JP 22438598 A JP22438598 A JP 22438598A JP 2000059764 A JP2000059764 A JP 2000059764A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- lane marking
- camera
- image
- detecting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 claims abstract description 15
- 238000012937 correction Methods 0.000 claims description 13
- 238000010586 diagram Methods 0.000 description 30
- 238000000034 method Methods 0.000 description 22
- 230000014509 gene expression Effects 0.000 description 11
- 238000005259 measurement Methods 0.000 description 11
- 238000003384 imaging method Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000002411 adverse Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012886 linear function Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
- B60T2201/00—Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
- B60T2201/08—Lane monitoring; Lane Keeping Systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
- B60T2201/00—Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
- B60T2201/08—Lane monitoring; Lane Keeping Systems
- B60T2201/089—Lane monitoring; Lane Keeping Systems using optical detection
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Navigation (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
区分線の汚れ等に起因する計測信頼性の低下を防止す
る。車両のロール角変動やヨー角変動を補償して、車線
区分線までの横方向距離を精度よく検出する。 【解決手段】カメラ2で撮像された画像から、車線区分
線3までの横方向距離Yが決定される。車速vとヨーレ
ートrと道路の曲率半径Rとから、自動車1の走行軌跡
S1が演算される。上記走行軌跡と横方向距離Yの履歴
S2とのマッチングを利用して、今回検出された横方向
距離Yが補正される。間隔(または幅)の既知の車線区
分線3の画像上での検出間隔と、既知の間隔との比較に
より、ロール角が演算されて、演算されたロール角に基
づいて横方向距離が補正される。画像上での車線区分線
までの最短距離が、ヨー角の変動が補償された横方向距
離として選択される。
Description
に関するものである。
領域を示す車線区分線に対する車両の位置(横位置)を
検出するために、カメラによって車両の横方向を撮像し
て、撮像された画像上での車線区分線の位置から、車線
区分線と車両との実際の横方向距離を決定することが行
われている。特開昭64−6115号公報には、車両横
方向を撮像するカメラから得られる画像に基づいて、車
両のヨー角を決定することが提案されている。
車両周囲環境を検出するセンサからの信号に基づいて、
走行路上での車両位置を決定する場合、車体やセンサの
振動によって計測誤差を生じやすいものとなる。また、
センサによって得られる検出値(センサがカメラの場合
は撮像された画像)にノイズが多く含まれて、車両の位
置決定を精度よく行えない場合も生じやすいものとなる
(計測の信頼性低下)。特に、車線区分線としての白線
は、汚れやかすれなどが発生していることが多く、局所
的な誤差を生じやすいものとなる。
変動やヨー角の変動を生じ易いものであり、このような
ロール角の変動やヨー角の変動が発生すると、路面に対
するセンサの取付位置の変動となって、車両の位置決定
に誤差を生じさせてしまうことになる。
れたもので、その第1の目的は、車体、位置検出用セン
サの振動に伴う計測誤差や、車線区分線の汚れ等に起因
する計測の信頼性低下を補償して、車両位置をより高精
度かつ高い信頼性でもって得られるようにした車両の位
置検出装置を提供することにある。
変動を補償して、車両位置をより高い精度でもって得ら
れるようにした車両の位置検出装置を提供することにあ
る。
動を補償して、車両位置をより高い精度でもって得られ
るようにした車両の位置検出装置を提供することにあ
る。
るため、本発明はその解決手法として次のようにしてあ
る。すなわち、特許請求の範囲における請求項1に記載
のように、走行路上における車両の位置に関する情報を
検出する位置検出センサと、前記位置検出センサからの
出力に基づいて、車両の位置を決定する位置決定手段
と、道路形状を検出する道路形状検出手段と、車速を検
出する車速検出手段と、車両に発生しているヨーレート
を検出するヨーレート検出手段と、前記道路形状検出手
段で検出された道路形状と前記車速検出手段で検出され
た車速と前記ヨーレート検出手段で検出されたヨーレー
トとから、車両の走行軌跡を決定する走行軌跡決定手段
と、前記走行軌跡決定手段で決定された走行軌跡に基づ
いて、前記位置決定手段で決定された車両の位置を補正
する補正手段と、を備えたものとしてある。上記解決手
法を前提とした好ましい態様は、特許請求の範囲におけ
る請求項2〜請求項7に記載のとおりである。
その解決手法として次のようにしてある。すなわち、特
許請求の範囲における請求項8に記載のように、車両の
側方にある走行領域を示す車線区分線を撮像するための
カメラと、前記カメラで撮像された車線区分線の画像に
基づいて、車線区分線と車両との実際の距離を決定する
位置決定手段と、幅または間隔が真の値として既知であ
る車線区分線の該真の値と、前記画像上での車線区分線
の幅または間隔の検出値とに基づいて、車両のロール角
を決定するロール角決定手段と、前記ロール角決定手段
により決定されたロール角に基づいて、前記位置決定手
段で決定された車両の位置を補正する補正手段と、を備
えたものとしてある。
その解決手法として次のようにしてある。すなわち、特
許請求の範囲における請求項9に記載のように、車両の
側方にある走行領域を示す車線区分線を撮像するための
カメラと、前記カメラで撮像された車線区分線を示す画
像上において車線区分線までの最短距離を検出して、該
検出された最短距離に基づいて車両と車線区分線までの
実際の距離を決定する位置決定手段と、を備えたものと
してある。
られた累積誤差を生じにくい車両位置を、局所的な誤差
を生じにくい理論的な走行軌跡で補正して、車両位置を
最終的に高精度かつ信頼性の高いものとして得ることが
できる。
ラを利用して画像として取り込むことができる。請求項
3によれば、車両と車線区分線との横方向位置関係を高
精度かつ高い信頼性でもって得ることができる。
を車両外部から得ることができる。請求項5によれば、
補正による悪影響を防止する上で好ましいものとなる。
請求項6によれば、理論的な走行軌跡が十分得られない
状態でもって補正を行うことを禁止して、補正による悪
影響を防止する上で好ましいものとなる。請求項7によ
れば、車両位置決定が正しく行われない事態の発生を、
センサにより決定された位置と理論的な走行軌跡との差
を比較することにより容易に判別して、車両位置を大き
く誤った状態で決定してしまう事態を防止する上で好ま
しいものとなる。
または間隔を利用して、ロール角の変動を加味しつつ、
車両と車線区分線との実際の横方向位置つまり実際の横
方向距離を高精度に決定することができる。請求項9に
よれば、画像上での最短距離決定という簡単な手法によ
って、ヨー角の変動を加味しつつ、車両と車線区分線と
の実際の横方向位置つまり実際の横方向距離を高精度に
決定することができる。
検出用センサとしてのカメラ(実施形態ではビデオカメ
ラ)2が設置されている。このカメラ2は、横方向でか
つ下方の路面状況を撮像するものとなっており、より具
体的には自動車1の横方向にある車線区分線(図面では
白線として記載)3を撮像するためのものとなってい
る、図1では、自動車1の左側面にのみカメラ2を設け
た場合が示されるが、右側面にも同様にカメラ2が設け
られているものである(右側方撮像用)。カメラ2で撮
像された画像(車線区分線の画像)から、自動車1と撮
像されている車線区分線3との間の横方向距離(相対距
離)Yが、後述のようにして決定される。
離決定と、決定された距離に基づいて所定の安全制御を
行うための制御系統がブロック図的に示される。この図
2において、Uはマイクロコンピュ−タを利用して構成
された制御ユニット(コントロ−ラ)であり、この制御
ユニットUは、横位置決定部4と、車線逸脱判断部5と
を有する。横位置決定部4は、基本的にカメラ2で撮像
された車線区分線の画像から、自動車1と車線区分線3
との横方向距離を決定する。また、横位置決定部4は、
後述するように、検出手段としてのセンサZ1〜Z3か
ら得られる車速とヨーレートと道路形状(道路の曲率半
径)とに基づいて、自動車1の走行軌跡を決定して、こ
の決定された走行軌跡に基づいて、カメラ2を利用して
得られた横位置を補正する。なお、道路形状を検出する
センサZ3は、車両外部から発信される道路形状情報を
受信するものとされており、道路形状情報の発信源とし
ては、ナビゲーション(人工衛星)、道路に埋め込まれ
た磁気ネイル、道路脇に設置された発信アンテナ等があ
る。
定された横位置(横方向距離Yを補正した後のy)に基
づいて、現在の走行状況からして自動車1が車線区分線
3を逸脱する可能性を判断する。そして、車線逸脱判断
部5によって、車線逸脱の可能性が高いと判断されたと
きは、ブザー等の警報器6が作動され、車線逸脱の可能
性が極めて高いときはブレーキ7が自動作動されて自動
車1が減速される。なお、上記5〜7の構成要素は、自
動車1と車線区分線3との横方向距離をどのように利用
するかの例示のために記載されているものであり、上記
横方向距離の利用の仕方はこれに限定されるものではな
い。
径)とに基づいて、自動車1の走行軌跡を理論的に求め
る場合について説明する。いま、車線区分線3に対する
直交方向での自動車1の横偏差をy(t)、ヨー角をθ
(t)、サンプリング間隔を△tとすると、横偏差y
(t)は式1に示すように、またヨー角θ(t)は式2
に示すように、ヨーレートr(t)、車速v(t)、道
路曲率半径R(t)を用いた漸化式で示される(tは時
間)。なお、横偏差の初期値y0はy(t0)であり、
ヨー角の初期値θ0はθ(t0)である。
からT2までの所定時間DTの間での横偏差の履歴S1
を計算すると、例えば図3のようになる。一方、カメラ
2の画像から計測した横偏差の履歴S2は、例えば図4
に示すようになる。なお、図3、図4でのSは、自動車
1の真の横偏差履歴である。上記履歴S1は、上記漸化
式の初期値誤差、センサ信号の累積誤差のために、真の
履歴Sとは一致しないことが多い。また、履歴S2は、
カメラ2の振動や車線区分線3の汚れ、かすれ等による
計測誤差のために、真の履歴Sと一致しないことが多
い。
をとることにより、真の横偏差履歴Sが推定される。こ
のマッチングにより、初期値誤差、累積誤差、計測誤差
(ばらつき)が除去されて、高精度かつ信頼性の高い横
偏差計測を行うことが可能となる。上記マッチングの手
法としては、例えば、履歴S1とS2との誤差を最小に
する初期値y0、θ0を最小自乗法により求め、求めら
れた初期値y0、θ0と式1、式2から計算した横偏差
を、現在の横偏差yとして決定(推定)される。このよ
うにして決定された横偏差yが、図2の車線逸脱部5で
の判断用として用いられる。
長くなると、S1に含まれる累積誤差が大きくなる。累
積誤差が大きくなり過ぎるのを防止するために、センサ
仕様から計算される累積誤差予想値とDTとの関係を例
えば図6に示すようにあらかじめ求め、累積誤差がしき
い値Aと等しくなる時間幅をDTとして用いるようにす
ることができる。なお、しきい値Aは、例えばビデオカ
メラ2による計測の誤差最大値の数分の1にする等の方
法で決定することができる。
ないためマッチングの処理は行わずに、カメラ2による
計測結果をそのまま最終的な横偏差(横方向位置)とし
て決定すればよい。また、S1とS2との誤差が大きく
なりすぎたとき、例えばS1とS2との誤差の最小値が
所定のしきい値を越えたときは、カメラ2やセンサZ1
〜Z3の異常等が考えられるので、この場合は位置決定
を中止して、システム異常を示すフェイル信号を出力す
ることができる。
を参照しつつ説明するが、このフロ−チャ−トは図2の
横位置決定部4での制御内容に相当する。なお、以下の
説明でQはステップを示す。まず、Q1において、履歴
計測時間DTが設定された後、Q2において、カメラ2
で撮像された車線区分線3の画像が入力される。次い
で、Q3において、画像上において、車線区分線に対す
る横偏差Yが検出(計測)される。
経過したか否かが判別される。このQ4の判別でYES
のときは、Q5において、センサZ1〜Z3からの信
号、つまり車速vと、ヨーレートrと、道路曲率半径R
とが読み込まれる。Q6では、車速vとヨーレートrと
道路曲率半径Rとから、式1、式2を用いて、横偏差
y′の履歴(S1)が演算される。Q7では、2つの履
歴y′とYとのマッチングにより、初期値y0、θ0が
決定される。Q8においては、マッチングの誤差が所定
のしきい値よりも大きいか否かが判別される。Q8の判
別でNOのときは、Q9において、上記初期値y0、θ
0を用いて、式1、式2により、現在の横偏差yが演算
される。この後、Q10において、横偏差yが車線逸脱
判断部5へ出力される。
おいて、カメラ2を用いて決定された横偏差Yが、その
まま最終的な横偏差yとして設定された後、Q10へ移
行する。前記Q8の判別でYESのときは、Q12にお
いて、横位置決定の処理が中断(中止)されると共に、
ランプ、ブザー等の警報器が作動される。
おいて、横位置決定部4が、特許請求の範囲における請
求項1での位置決定手段と、走行軌跡決定手段と、補正
手段とを構成する。また、図7においては、Q3が位置
決定手段となり、Q6が走行軌跡決定手段となり、Q
7、Q9が補正手段となる。
向位置を精度よく検出するための手法を示すものである
(図7のQ3での横方向距離Yそのものを高精度に決
定)。まず、図8において、車線区分線が、互いに所定
の小間隔を有する2本によって構成され、その所定間隔
Dは既知とされている(Dは真の値)。また、自動車1
(の車体)が、車線区分線3の方へθだけロールされて
いる。図8の状態において、カメラ2で撮像された2本
の車線区分線3のエッジが、図9のように示される。こ
の場合、近い方の車線区分線3に対する自動車1の実際
の横方向位置はa1であり、遠い方の車線区分線3に対
する実際の横方向位置はa2であるが、ロールによりa
1をb1として、またa2をb2として誤計測してしま
う。
カメラ2の高さ位置hは、ロール変動にかかわらず一定
とみなしてある。この図9の幾何学関係において、以下
に示す式3〜式6が成立する。2本の車線区分線3の間
隔Dが真の値として既知なので、式3、式4より、以下
に示す式5が成立する。式1、式2、式5より、θ、φ
1、φ2を数値計算などにより求めることにより、ロー
ル角θが求められる。求められたロール角θとφ1を用
いることで、真の横偏差a1は、以下の式8により求め
られる。
向片側に位置する2本の車線区分線3の間隔に限らず、
1本の車線区分線3の自動車1に近い側と遠い側とのエ
ッジ部同士の間隔でもよく、また、自動車1を挟んで自
動車1の左右に位置する2本の車線区分線3同士の間隔
でもよい。なお、前記各式2〜式8による演算(図2の
横位置決定部4での演算内容)が、特許請求の範囲にお
ける請求項8でのロール角決定手段、補正手段の内容を
示すものとなる。
向位置を精度よく検出するための手法を示すものである
(図7のQ3での横方向距離Yそのものを高精度に決
定)。まず、図11において、自動車1の車体前後方向
中心線が車線区分線3に対してθだけ傾いていると(ヨ
ー角がθ)、実際の横方向位置がYであるのに対して、
カメラ2で得られる画像に基づいて得られる横方向位置
は、Yとは異なるY′を計測してしまうことになる。カ
メラ2により得られる画像は、図12に示すようになる
が、上記実際の横方向位置Yは、画面の基準点に対して
もっとも近い距離である。図12に示すように、画像上
の基準点(カメラ2の基準位置)から画像上の車線区分
線3に対して垂線を下ろすことにより、この垂線上の距
離が最小距離Yとなる(最小距離決定の一手法)。
中心として、画像上での車線区分線3に対しての距離を
全て計測していくと(走査角度φの変更)、図14のよ
うになり、図14上での最小距離が実際の距離Yとなる
(最小距離決定の別の手法)。さらに、図12での画像
上におけるXY軸平面上における車線区分線3を1次関
数として決定して、この決定された1次関数から最小距
離Yを決定するようにすることもできる((最小距離決
定のさらに別の手法)。
生じる横方向位置の誤計測を防止あるいは抑制する手法
を示し、図2の横位置決定部4でのカメラ2で得られる
画像からの横位置決定の手法に相当する。
に対して自動車1がヨー角θだけ傾いている場合を想定
して、カメラ2により得られる画像上での車線区分線3
の傾き方向(ヨー角θ)が、例えば前述した式2を用い
て決定される。図15の部分拡大図が図16に示される
が、車線区分線3は汚れやかすれによって、画像上にお
いて部分的に欠落して示されることになる。この図16
において、欠落部分での横方向距離を計測すると、実際
の横方向距離よりも長い距離yを計測してしまうことに
なる。
び方向に濃度ヒストグラムを作成すると、欠落部分が補
償されて車線区分線3の位置する部分が大きなピーク値
を示すものが得られる。この大きなピーク値とそうでな
い部分との境界位置を示す図16の符号Pで示す位置
は、画像上の車線区分線3のうち自動車1に近い側のエ
ッジ位置を示すことになる。したがって、位置Pを通
り、ヨー角θより求めた車線区分線3の傾きを持つ線
が、正しい車線区分線3の位置となる。したがて、正し
い車線区分線3の位置と画像上の車線区分線探索ウイン
ドの中央線との交点を求めることによって、車線区分線
までの横方向距離がy′として得られることになる(欠
落部分が存在しないように車線区分線3が推定されて、
推定された車線区分線3により横方向距離が計測され
る)。
ストのときに、画像上での車線区分線3を明確に認識で
きるようにしたものである(2値化のためのしきい値の
好ましい設定手法)。まず、図17の(a)は、ノイズ
が少なくかつコントラストが十分なときに得られる画像
濃度状態であり、車線区分線3を識別するための2値化
のしきい値設定が極めて容易な場合を示す(理想的な画
像状態)。また、図17の(b)はノイズがあるときの
画像濃度状態であり、図17の(c)は低コントラスト
のときの画像濃度状態である。この図17の(b)、
(c)から明らかなように、ノイズがあるときや低コン
トラストのときは、画像上での車線区分線3を認識する
ための2値化のためのしきい値設定が極めて難しい状況
となる。
〜(c)での濃度画像から得られた微分ヒストグラムで
ある。図18は図17の(a)に対応し、図19は図1
7の(b)に対応し,図20は図17の(c)に対応す
る。なお、微分ヒストグラムは、ある濃度における微分
値の総和を求めるものであり、例えば全画素xに対して
SDを微分値の総和とすると、以下の式9により得られ
るものである。
て、しきい値Tで2つのクラスに分割する。この際、2
つのクラスの平均の分散と各クラスの分散の和との比を
最大にするようにすれば、しきい値Tが常に自動的に決
定できることになる。いま、全画素の平均をMとし、T
=kとしたときの各クラスの値を図21のようにしたと
き、各クラスの分散の和は次の式10のようになり、ク
ラス間の分散は次の式11のようになる。
を最大にするには、クラス間の分散を最大にするT=k
を求めればよいことになる。図22のフロ−チャ−ト
は、上述の手法でTを決定する手順を示すものである。
勿論、この決定されたしきい値Tでもってカメラ2から
得られた画像が2値化されて、車線区分線3が画像上に
おいて明確に識別されることになる。
路面に表示されている制限速度表示等の路面表示とを識
別して、車線区分線3までの横方向距離を精度よく計測
するための手法を示すものである。このため、基本的
に、同じ位置を撮像する2つのカメラ2が用いられる
(図1のカメラ2が2台存在する)。一方のカメラで路
面の明るさに応じて長時間露光させるが、図25に示す
ように、路面が明るいほどシャッター速度が小さくされ
る(通常のシャッター速度よりは小さくされる)。ま
た、他方のカメラでは、車速に応じた短時間露光を行う
が、図26に示すように、車速が大きいほどシャッター
速度が小さくされる。
に示すように、路面表示に影響されない車線区分線を識
別するための2値化のしきい値Tの設定が容易となる。
そして、しきい値Tでもって2値化された後の車線区分
線のエッジ位置がx0として決定される。ただし、位置
x0は、長時間露光であるためにエッジ部がぼけた状態
での車線区分線に基づいており、位置x0が正確に横方
向距離を示すものとはなり難い。一方、短時間露光で得
られた画像は、車線区分線等のエッジ部を明確に示すも
のの、図24に示すように、車線区分線と路面表示とが
明確に識別しにくいものとなる。そこで、短時間露光で
得られた画像上において、その2値化後に、長時間露光
で得られた位置x0にもっとも近い位置xを選択して、
この選択された位置xが最終的な横方向距離を示す位置
とされる。
画像を利用して、車線区分線3のかすれや汚れによる部
分的な欠落を補償して、横方向距離を精度よく計測する
ようにした例を示す。まず、図27には、長時間露光に
より得られた画像から、車線区分線3のエッジ部(ぼけ
ている)の位置がx0として決定される。図28には、
短時間露光により得られた車線区分線の画像が示される
が、かすれ等により部分的に欠落がある。そこで、短時
間露光により得られた画像上において、図28に示すよ
うに検出ラインを複数設定して、この複数の検出ライン
上において上記位置x0にもっとも近い位置xが、最終
的な横方向距離のための位置として決定される。
す。図30は、図28に対応するものであり、短時間露
光により得られた画像である。なお、長時間露光により
得られる画像は図27と同じなので、省略してある。図
29は、長時間露光画像での位置x0における濃度値が
v1として示され、濃度の最大値がv2として示され
る、そして、v1/v2が重み係数Wとして設定され
る。さらに、位置x0における濃度の傾きが、Rとて設
定される。
線区分線(のエッジ部)位置が位置x0とどの程度離れ
ているのかかが正確に推定される。すなわち、図28の
例では、x0にもっとも近い位置xが最終的に選択され
るが、図30のxtで示すように、真の車線区分線に近
い位置を最終決定することができる。本例によれば、W
とRとを基準にして探索範囲を絞ることも可能となり、
処理の高速化の上でも好ましいものとなる。
いて最終的に位置xtを選択するまでの具体的な手法を
示すフロ−チャ−トである。この図31のQ31におい
て、長時間露光画像の2値化用のしきい値Tが設定され
る。Q32において、しきい値Tを用いて2値化した後
の状態から、位置x0が決定される。Q33では、位置
x0での濃度v1が求められる。Q34では、濃度の最
大値v2とその位置x0′とが求められる。
係数Wが算出される。Q36では、位置x0での濃度の
傾きRが演算される。Q37では、WとRとが乗算され
る。画像上での各検出ラインのそれぞれについてWとR
との乗算値を得た後、Q38において、この乗算値を最
大とする検出ライン上での位置xtが最終選択される。
時間露光画像とを得るための例を示すものである。ま
ず、カメラ2としてCCDカメラが用いられる。11
は、カメラ駆動回路であり、シャッター速度切替部12
と、2つのタイミングICと、シャッター制御部15
と、画像読み出し部16とを有する。タイミングIC1
3は、画像の偶数フィールド用(または奇数フィールド
用)であり、長時間露光用のシャッター速度を設定する
(例えば1/100秒)。タイミングIC14は、画像
の奇数フィールド用(または偶数フィールド用)であ
り、短時間露光用のシャッター速度を設定する(例えば
1/300秒)。制御部15は、所定時間(例えば1/
60秒)毎に、タイミングIC13と14との設定速度
でもって交互にシャッターを切らせるように制御する。
画像読出し部16での画像読み出し(例えば1/60秒
毎)と同期してシャッター速度の切替えが行われ、これ
により、偶数フィールドには長時間露光画像が得られ、
奇数フィールドには短時間露光画像が得られる。なお、
フレーム(実施形態では1/30秒)毎の切換も可能で
あるため、時間分解能は1/2に低下するが、解像度は
低下させずに1/15秒でシャッター時間の異なる2枚
の画像を得ることが可能である。
台のカメラ2A、2Bから得られる画像の相関処理によ
って、ヨー角θを検出すると共に、その処理速度を向上
させるようにしたものである。まず、図33において、
2台のカメラ2A、2Bの間隔が符号Wで示される。前
方カメラ2Aで得られる画像が図34に、後方カメラ2
Bで得られる画像が図35に示されるが、図35の破線
が、前画像での車線区分線位置に相当する。
理により演算する。すなわち、画像全体に対して、次の
式12に示す演算を行う(i=−y・・・・y)。そし
て得られたF(i)の最小値をとるiが、シフト量とな
る(車線区分線3に対する前方カメラ位置と後方カメラ
位置との偏差に相当)。したがって、ヨー角θは、次の
式13によって得られることになる。
を拡大しつつ、車線区分線の認識の信頼性をも十分確保
するようにしたものである。すなわち、図36に示すよ
うに、一方のカメラの視野を近い位置とし(視野1)、
他方のカメラの視野を遠い位置とする(視野2で、視野
1と連続するように設定)。視野1となる一方のカメラ
のみでもって視野2の範囲まで検出しようとすると、図
37波線で示すように距離分解能が悪くなってしまう。
一方のカメラのみでは距離分解能が悪くなる視野2を他
方のカメラでもって分担することにより、全体として、
視野1と視野2との広い検出レンジについて距離分解能
を悪くすることなく撮像することが可能となる。
状況にかかわらず車線区分線を明確に識別できるように
した例を示す。本例では、2台のカメラ共に、それぞれ
偏向フィルタを通して撮像する。ただし、2つのカメラ
の間での偏向フィルタの偏向方向が互いに異なるように
設定される(一方が縦偏向用、他方が横偏向用)。この
ように設定した場合、例えば一方のカメラで得られた画
像の濃度分布おいて、図39に示すように路面反射によ
るノイズが大きいときでも、他方のカメラにより得られ
る画像の濃度分布は図38に示すようにノイズの少ない
ものとなる。ノイズの少ない方の濃度分布の画像を用い
て、車線区分線を明確に識別(認識)することが可能と
なる。
周囲環境を検出するために用いるセンサとしては、カメ
ラの他に、例えば赤外線レーダ等適宜のものを選択し得
る。また、路面に、車線区分線以外に路面表示がある場
合、この路面表示を車線区分線であると誤認識しないよ
うにするため、次のようにすることもできる。すなわ
ち、図3〜図7で説明したように、理論的な走行軌跡と
カメラにより検出された前回の横方向位置(車線区分線
位置)とから、今回の横方向位置を所定範囲に絞り込む
ことにより(予測)、この絞り込まれた範囲外にある路
面表示を確実に除外して、車線区分線を精度よく認識す
ることが可能となる。
センサ等の各種部材は、その機能の上位表現に手段の名
称を付して表現することができる。また、本発明の目的
は、明記されたものに限らず、実質的に好ましいあるい
は利点として表現されたものを提供することをも暗黙的
に含むものである。さらに、本発明は、位置検出方法と
して表現することも可能である。
す平面図。
す図。
マッチングを示す図。
めの図。
とに基づいて、最終的な横方向位置を決定するためのフ
ロ−チャ−ト。
ための説明図。
ための説明図。
向位置を決定する一例を示す図。
向位置を決定する別の例を示す説明図。
するときの説明図。
に、横方向位置を精度よく決定する一例を示す図。
を示す図。
位置を精度よく検出する例を示す図。
グラムを示す図。
グラムを示す図。
トグラムを示す図。
値を決定する場合の説明図。
ト。
示す図。
示す図。
度よく決定するために用いるフロ−チャ−ト。
光画像とを得るための構成例を示す図。
の説明図。
図。
図。
合の例を示す図。
示す図。
向フィルタを用いて撮像する例を示す図。
Claims (9)
- 【請求項1】走行路上における車両の位置に関する情報
を検出する位置検出センサと、 前記位置検出センサからの出力に基づいて、車両の位置
を決定する位置決定手段と、 道路形状を検出する道路形状検出手段と、 車速を検出する車速検出手段と、 車両に発生しているヨーレートを検出するヨーレート検
出手段と、 前記道路形状検出手段で検出された道路形状と前記車速
検出手段で検出された車速と前記ヨーレート検出手段で
検出されたヨーレートとから、車両の走行軌跡を決定す
る走行軌跡決定手段と、 前記走行軌跡決定手段で決定された走行軌跡に基づい
て、前記位置決定手段で決定された車両の位置を補正す
る補正手段と、を備えていることを特徴とする車両の位
置検出装置。 - 【請求項2】請求項1において、 前記位置検出センサが、車両の周囲環境を撮影するカメ
ラとされている、ことを特徴とする車両の位置検出装
置。 - 【請求項3】請求項2において、 前記カメラが、車両の横方向を撮像するように設定さ
れ、 前記位置決定手段が、前記カメラで撮像された走行路領
域を示す車線区分線に対する車両の横位置関係を決定す
るように設定されている、ことを特徴とする車両の位置
検出装置。 - 【請求項4】請求項2において、 前記道路形状検出手段が、車両外部から発信されている
道路形状情報を受信することにより道路形状を検出する
ものとして設定されている、ことを特徴とする車両の位
置検出装置。 - 【請求項5】請求項2において、 前記位置決定手段で検出された車両位置の履歴と前記走
行軌跡決定手段で決定された走行軌跡とのマッチングが
できない走行状態のときは、前記補正手段による補正が
禁止される、ことを特徴とする車両の位置検出装置。 - 【請求項6】請求項2または請求項5において、 車両の走行開始から所定時間経過するまでは、前記補正
手段による補正が禁止される、ことを特徴とする車両の
位置検出装置。 - 【請求項7】請求項2において、 前記位置決定手段で検出された車両位置の履歴と前記走
行軌跡決定手段で決定された走行軌跡との差が所定以上
のときは、前記位置決定手段による車両の位置決定およ
び前記補正手段による補正が中止される、ことを特徴と
する車両の位置検出装置。 - 【請求項8】車両の側方にある走行領域を示す車線区分
線を撮像するためのカメラと、 前記カメラで撮像された車線区分線の画像に基づいて、
車線区分線と車両との実際の距離を決定する位置決定手
段と、 幅または間隔が真の値として既知である車線区分線の該
真の値と、前記画像上での車線区分線の幅または間隔の
検出値とに基づいて、車両のロール角を決定するロール
角決定手段と、 前記ロール角決定手段により決定されたロール角に基づ
いて、前記位置決定手段で決定された車両の位置を補正
する補正手段と、を備えていることを特徴とする車両の
位置検出装置。 - 【請求項9】車両の側方にある走行領域を示す車線区分
線を撮像するためのカメラと、 前記カメラで撮像された車線区分線を示す画像上におい
て車線区分線までの最短距離を検出して、該検出された
最短距離に基づいて車両と車線区分線までの実際の距離
を決定する位置決定手段と、を備えていることを特徴と
する車両の位置検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP22438598A JP3941252B2 (ja) | 1998-08-07 | 1998-08-07 | 車両の位置検出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP22438598A JP3941252B2 (ja) | 1998-08-07 | 1998-08-07 | 車両の位置検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000059764A true JP2000059764A (ja) | 2000-02-25 |
JP3941252B2 JP3941252B2 (ja) | 2007-07-04 |
Family
ID=16812929
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP22438598A Expired - Fee Related JP3941252B2 (ja) | 1998-08-07 | 1998-08-07 | 車両の位置検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3941252B2 (ja) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1538019A2 (en) * | 2003-12-03 | 2005-06-08 | Nissan Motor Company, Limited | Automotive lane deviation prevention apparatus |
EP1705613A1 (en) * | 2005-03-22 | 2006-09-27 | Delphi Technologies, Inc. | Lane marker projection method for a motor vehicle vision system |
JP2007334896A (ja) * | 2006-06-16 | 2007-12-27 | Samsung Electronics Co Ltd | 位置補正機能を提供する移動装置及び位置補正方法 |
JP2009105822A (ja) * | 2007-10-25 | 2009-05-14 | Alpine Electronics Inc | 運転支援装置および運転支援方法 |
WO2010004689A1 (ja) * | 2008-07-07 | 2010-01-14 | 三菱電機株式会社 | 車両走行環境検出装置 |
JP2010271155A (ja) * | 2009-05-21 | 2010-12-02 | Clarion Co Ltd | 現在位置特定装置とその現在位置特定方法 |
JP2011095846A (ja) * | 2009-10-27 | 2011-05-12 | Fujitsu Ltd | 車両位置検出装置、車両位置検出方法、及び車両位置検出プログラム |
CN103134494A (zh) * | 2012-12-05 | 2013-06-05 | 中国科学院深圳先进技术研究院 | 室内环境中的车辆导航方法和装置 |
CN103630122A (zh) * | 2013-10-15 | 2014-03-12 | 北京航天科工世纪卫星科技有限公司 | 一种单目视觉车道线检测方法及其测距方法 |
JP2014144764A (ja) * | 2013-01-30 | 2014-08-14 | Toyota Motor Corp | 区画線信頼度判定装置および運転支援制御装置 |
CN105447892A (zh) * | 2015-11-05 | 2016-03-30 | 奇瑞汽车股份有限公司 | 车辆偏航角的确定方法及装置 |
US20170015317A1 (en) * | 2015-07-13 | 2017-01-19 | Cruise Automation, Inc. | Method for image-based vehicle localization |
JP2019100970A (ja) * | 2017-12-07 | 2019-06-24 | 株式会社豊田中央研究所 | 自己位置誤差推定装置及び自己位置誤差推定方法 |
CN110018503A (zh) * | 2018-01-10 | 2019-07-16 | 上海汽车集团股份有限公司 | 车辆的定位方法及定位系统 |
JP2019145039A (ja) * | 2018-02-23 | 2019-08-29 | Cyberdyne株式会社 | 自走式ロボットおよび自走式ロボットの制御方法 |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10124730B2 (en) | 2016-03-17 | 2018-11-13 | Ford Global Technologies, Llc | Vehicle lane boundary position |
WO2018176000A1 (en) | 2017-03-23 | 2018-09-27 | DeepScale, Inc. | Data synthesis for autonomous control systems |
US11157441B2 (en) | 2017-07-24 | 2021-10-26 | Tesla, Inc. | Computational array microprocessor system using non-consecutive data formatting |
US11409692B2 (en) | 2017-07-24 | 2022-08-09 | Tesla, Inc. | Vector computational unit |
US10671349B2 (en) | 2017-07-24 | 2020-06-02 | Tesla, Inc. | Accelerated mathematical engine |
US11893393B2 (en) | 2017-07-24 | 2024-02-06 | Tesla, Inc. | Computational array microprocessor system with hardware arbiter managing memory requests |
US11561791B2 (en) | 2018-02-01 | 2023-01-24 | Tesla, Inc. | Vector computational unit receiving data elements in parallel from a last row of a computational array |
US11215999B2 (en) | 2018-06-20 | 2022-01-04 | Tesla, Inc. | Data pipeline and deep learning system for autonomous driving |
US11361457B2 (en) | 2018-07-20 | 2022-06-14 | Tesla, Inc. | Annotation cross-labeling for autonomous control systems |
US11636333B2 (en) | 2018-07-26 | 2023-04-25 | Tesla, Inc. | Optimizing neural network structures for embedded systems |
US11562231B2 (en) | 2018-09-03 | 2023-01-24 | Tesla, Inc. | Neural networks for embedded devices |
US11205093B2 (en) | 2018-10-11 | 2021-12-21 | Tesla, Inc. | Systems and methods for training machine models with augmented data |
US11196678B2 (en) | 2018-10-25 | 2021-12-07 | Tesla, Inc. | QOS manager for system on a chip communications |
US11816585B2 (en) | 2018-12-03 | 2023-11-14 | Tesla, Inc. | Machine learning models operating at different frequencies for autonomous vehicles |
US11537811B2 (en) | 2018-12-04 | 2022-12-27 | Tesla, Inc. | Enhanced object detection for autonomous vehicles based on field view |
US11610117B2 (en) | 2018-12-27 | 2023-03-21 | Tesla, Inc. | System and method for adapting a neural network model on a hardware platform |
US10997461B2 (en) | 2019-02-01 | 2021-05-04 | Tesla, Inc. | Generating ground truth for machine learning from time series elements |
US11150664B2 (en) | 2019-02-01 | 2021-10-19 | Tesla, Inc. | Predicting three-dimensional features for autonomous driving |
US11567514B2 (en) | 2019-02-11 | 2023-01-31 | Tesla, Inc. | Autonomous and user controlled vehicle summon to a target |
US10956755B2 (en) | 2019-02-19 | 2021-03-23 | Tesla, Inc. | Estimating object properties using visual image data |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63214900A (ja) * | 1987-03-03 | 1988-09-07 | 株式会社デンソー | 車両の走行方向異常警告装置 |
JPH0793699A (ja) * | 1993-09-22 | 1995-04-07 | Isuzu Motors Ltd | 車線逸脱警報装置 |
JPH07329743A (ja) * | 1994-06-03 | 1995-12-19 | Mitsubishi Heavy Ind Ltd | 無人搬送車の逸走検知装置 |
JPH09183383A (ja) * | 1995-10-31 | 1997-07-15 | Honda Motor Co Ltd | 自動ステアリング制御装置 |
JPH09243326A (ja) * | 1996-03-05 | 1997-09-19 | Mitsubishi Motors Corp | 道路白線認識装置 |
JPH10111136A (ja) * | 1996-10-04 | 1998-04-28 | Toyota Motor Corp | 車両姿勢検出装置 |
-
1998
- 1998-08-07 JP JP22438598A patent/JP3941252B2/ja not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63214900A (ja) * | 1987-03-03 | 1988-09-07 | 株式会社デンソー | 車両の走行方向異常警告装置 |
JPH0793699A (ja) * | 1993-09-22 | 1995-04-07 | Isuzu Motors Ltd | 車線逸脱警報装置 |
JPH07329743A (ja) * | 1994-06-03 | 1995-12-19 | Mitsubishi Heavy Ind Ltd | 無人搬送車の逸走検知装置 |
JPH09183383A (ja) * | 1995-10-31 | 1997-07-15 | Honda Motor Co Ltd | 自動ステアリング制御装置 |
JPH09243326A (ja) * | 1996-03-05 | 1997-09-19 | Mitsubishi Motors Corp | 道路白線認識装置 |
JPH10111136A (ja) * | 1996-10-04 | 1998-04-28 | Toyota Motor Corp | 車両姿勢検出装置 |
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1538019A2 (en) * | 2003-12-03 | 2005-06-08 | Nissan Motor Company, Limited | Automotive lane deviation prevention apparatus |
EP1538019A3 (en) * | 2003-12-03 | 2006-08-23 | Nissan Motor Company, Limited | Automotive lane deviation prevention apparatus |
US7698032B2 (en) | 2003-12-03 | 2010-04-13 | Nissan Motor Co., Ltd. | Automotive lane deviation prevention apparatus |
EP1705613A1 (en) * | 2005-03-22 | 2006-09-27 | Delphi Technologies, Inc. | Lane marker projection method for a motor vehicle vision system |
JP2007334896A (ja) * | 2006-06-16 | 2007-12-27 | Samsung Electronics Co Ltd | 位置補正機能を提供する移動装置及び位置補正方法 |
JP4718518B2 (ja) * | 2006-06-16 | 2011-07-06 | 三星電子株式会社 | 位置補正機能を提供する移動装置 |
JP2009105822A (ja) * | 2007-10-25 | 2009-05-14 | Alpine Electronics Inc | 運転支援装置および運転支援方法 |
WO2010004689A1 (ja) * | 2008-07-07 | 2010-01-14 | 三菱電機株式会社 | 車両走行環境検出装置 |
JP2010271155A (ja) * | 2009-05-21 | 2010-12-02 | Clarion Co Ltd | 現在位置特定装置とその現在位置特定方法 |
JP2011095846A (ja) * | 2009-10-27 | 2011-05-12 | Fujitsu Ltd | 車両位置検出装置、車両位置検出方法、及び車両位置検出プログラム |
CN103134494A (zh) * | 2012-12-05 | 2013-06-05 | 中国科学院深圳先进技术研究院 | 室内环境中的车辆导航方法和装置 |
CN103134494B (zh) * | 2012-12-05 | 2015-07-29 | 中国科学院深圳先进技术研究院 | 室内环境中的车辆导航方法和装置 |
JP2014144764A (ja) * | 2013-01-30 | 2014-08-14 | Toyota Motor Corp | 区画線信頼度判定装置および運転支援制御装置 |
CN103630122A (zh) * | 2013-10-15 | 2014-03-12 | 北京航天科工世纪卫星科技有限公司 | 一种单目视觉车道线检测方法及其测距方法 |
CN103630122B (zh) * | 2013-10-15 | 2015-07-15 | 北京航天科工世纪卫星科技有限公司 | 一种单目视觉车道线检测方法及其测距方法 |
US20170015317A1 (en) * | 2015-07-13 | 2017-01-19 | Cruise Automation, Inc. | Method for image-based vehicle localization |
US9884623B2 (en) * | 2015-07-13 | 2018-02-06 | GM Global Technology Operations LLC | Method for image-based vehicle localization |
CN105447892A (zh) * | 2015-11-05 | 2016-03-30 | 奇瑞汽车股份有限公司 | 车辆偏航角的确定方法及装置 |
JP2019100970A (ja) * | 2017-12-07 | 2019-06-24 | 株式会社豊田中央研究所 | 自己位置誤差推定装置及び自己位置誤差推定方法 |
JP7139597B2 (ja) | 2017-12-07 | 2022-09-21 | 株式会社豊田中央研究所 | 自己位置誤差推定装置及び自己位置誤差推定方法 |
CN110018503A (zh) * | 2018-01-10 | 2019-07-16 | 上海汽车集团股份有限公司 | 车辆的定位方法及定位系统 |
JP2019145039A (ja) * | 2018-02-23 | 2019-08-29 | Cyberdyne株式会社 | 自走式ロボットおよび自走式ロボットの制御方法 |
Also Published As
Publication number | Publication date |
---|---|
JP3941252B2 (ja) | 2007-07-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3941252B2 (ja) | 車両の位置検出装置 | |
JP4962581B2 (ja) | 区画線検出装置 | |
EP2422320B1 (en) | Object detection device | |
US20020044048A1 (en) | Method and apparatus for detecting position of object present in a surrounding detection zone of automotive vehicle | |
JPH06281455A (ja) | 車両周辺監視装置 | |
JP2002096702A (ja) | 車間距離推定装置 | |
JP2000357233A (ja) | 物体認識装置 | |
EP1820020B1 (en) | Apparatus and method for detecting objects | |
JP3823782B2 (ja) | 先行車両認識装置 | |
JP3384278B2 (ja) | 距離計測装置 | |
JPH08285534A (ja) | 車載用画像処理装置 | |
JP2010107435A (ja) | 地物位置認識装置 | |
JP2009014645A (ja) | 車両用距離測定装置 | |
JPH05157558A (ja) | 車間距離検出装置 | |
JPH0552562A (ja) | 先行車追尾用車間距離検出装置 | |
JP2007164566A (ja) | 感応制御用車両感知システムおよび装置 | |
JP2003308599A (ja) | 走行路環境検出装置 | |
JPH07244717A (ja) | 車両用走行環境認識装置 | |
JP6818902B6 (ja) | 車両検知システム | |
JP3952604B2 (ja) | 車両の位置検出装置 | |
JP2000163691A (ja) | 交通流計測装置 | |
JP4225242B2 (ja) | 走行路認識装置 | |
JP2000057319A (ja) | 車両の位置検出装置 | |
JP2018073049A (ja) | 画像認識装置、画像認識システム、及び画像認識方法 | |
JP2635232B2 (ja) | 車間距離検出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050309 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061207 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070109 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070216 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070313 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070326 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100413 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110413 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120413 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120413 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130413 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130413 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140413 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |