JP2004045227A - 車両位置測定装置および方法 - Google Patents

車両位置測定装置および方法 Download PDF

Info

Publication number
JP2004045227A
JP2004045227A JP2002203355A JP2002203355A JP2004045227A JP 2004045227 A JP2004045227 A JP 2004045227A JP 2002203355 A JP2002203355 A JP 2002203355A JP 2002203355 A JP2002203355 A JP 2002203355A JP 2004045227 A JP2004045227 A JP 2004045227A
Authority
JP
Japan
Prior art keywords
vehicle position
road
vehicle
error
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002203355A
Other languages
English (en)
Other versions
JP3958133B2 (ja
Inventor
Koichi Sato
佐藤 幸一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alpine Electronics Inc
Original Assignee
Alpine Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alpine Electronics Inc filed Critical Alpine Electronics Inc
Priority to JP2002203355A priority Critical patent/JP3958133B2/ja
Publication of JP2004045227A publication Critical patent/JP2004045227A/ja
Application granted granted Critical
Publication of JP3958133B2 publication Critical patent/JP3958133B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Abstract

【課題】車両位置を高精度および低コストで検出することができる車両位置測定装置および方法を提供すること。
【解決手段】ナビゲーションコントローラは、車両位置計算部20と車両位置補正部22とを備える。車両位置補正部22において、道路内特定物抽出部122は、カメラ8の撮影画像に含まれる案内標識の画像を抽出し、縦方向相対位置算出部125は、この案内標識の画像に基づいて、撮影位置から案内標識までの距離を算出する。また、白線抽出部121は、撮影画像に含まれる白線画像を抽出し、横方向相対位置算出部124は、この白線画像に基づいて道路の幅方向の撮影位置を算出する。補正値決定部126は、こられの算出結果を用いて、車両位置の検出誤差を車両位置の補正値として決定する。
【選択図】    図2

Description

【0001】
【発明の属する技術分野】
本発明は、ナビゲーション装置等に用いられる車両位置測定装置および方法に関する。
【0002】
【従来の技術】
ナビゲーション装置において、車両位置の測定は重要な機能であり、この結果を用いて自車位置周辺の地図画像表示や経路計算・経路誘導等のナビゲーション動作が行われる。例えば、GPSを利用した車両位置の検出が一般には行われている。また、従来から行われているGPSを用いた車両位置の検出では精度があまりよくないため、最近では複数のGPSを利用したDGPS(高精度GPS)を用いて、車両位置の検出精度の向上を図っている。
【0003】
また、車両位置の検出精度を向上させる他の従来技術としては、特開平6−68391号公報に開示された「車両走行案内装置」が知られている。この車両走行案内装置では、道路上に描かれている横断歩道等の路面表示マークを検出することにより、地図データに含まれる横断歩道等の位置データを用いて、検出されている自車位置の修正を行っている。これにより、GPSや自律航法センサを用いた自車位置を高精度に修正することが可能になる。
【0004】
【発明が解決しようとする課題】
ところで、上述したGPSやDGPSを用いて車両位置の検出を行う従来方式では、改善された検出精度が数m程度であり、やはり検出精度が悪いという問題があった。このため、高速道路や一般道路のように2つの道路が平行している場合などでは、車両がどちらの道路を走行しているかを正確に検出することができなかったり、交差点案内のタイミングが遅れるといった不都合が生じる場合がある。しかも、GPSやDGPSでは衛星から送信される電波を受信する必要があるため、ビル街や山岳地域などの電波が受信困難な場所では、車両位置の検出精度がさらに悪化する。
【0005】
また、特開平6−68391号公報に開示された従来方式においては、地図データに路面表示マークの位置データが格納されている必要があるが、現在用いられている地図データにはこのような位置データは格納されていない。このため、この従来方式を用いて車両位置を検出するためには、地図表示等の対象となる地域全体について路面表示マークの位置データを収集して地図データを製作する作業から行う必要があり、コスト面を考慮すると実用的とはいえない。
【0006】
本発明は、このような点に鑑みて創作されたものであり、その目的は、車両位置を高精度および低コストで検出することができる車両位置測定装置および方法を提供することにある。
【0007】
【課題を解決するための手段】
上述した課題を解決するために、本発明の車両位置測定装置は、車両位置を検出する車両位置検出手段と、車両に設置されており、所定の絶対座標が特定された地点に対する相対位置が既知の道路内特定物を撮影するカメラと、カメラによって撮影された道路内特定物の画像に基づいて、この撮影を行った時点において車両位置検出手段によって検出された車両位置の誤差を算出する第1の誤差算出手段と、第1の誤差算出手段によって算出された誤差を用いて、車両位置検出手段によって検出された車両位置を補正する車両位置補正手段とを備えている。これにより、カメラによって撮影した道路内特定物の画像に基づいて誤差の算出および車両位置の補正が可能となり、車両位置を高精度で検出することができる。また、絶対座標が特定された地点に対して相対位置が決まっている道路内特定物を用いることにより、従来から用いられている地図データをそのまま用いることができ、コストの上昇を抑えることが可能になる。
【0008】
特に、上述した道路内特定物は、法令によって相対位置が定まっていることが望ましい。道路上には、「道路標識、区画線及び道路標識に関する命令」等の法令によって設置位置が定まっている道路内特定物が存在するため、これを用いることにより、この道路内特定物の座標を計算することができ、上述した誤差の算出やこの誤差を用いた車両位置の補正が可能になる。
【0009】
また、上述した道路内特定物は、交差点名称が含まれる案内標識であることが望ましい。案内標識に含まれる交差点名称に基づいて、その近傍に存在する絶対座標が特定された地点を容易に特定することができる。
また、上述した第1の誤差算出手段は、案内標識の大きさに基づいてカメラによる撮影位置から案内標識までの距離を計算することにより、誤差の算出を行うことが望ましい。あるいは、上述した第1の誤差算出手段は、案内標識の大きさに基づいてカメラによる撮影位置から案内標識までの距離を計算した結果と、案内標識に含まれる交差点において車両が走行中の道路と交差する他の道路の幅員のデータとを用いて、誤差の算出を行うことが望ましい。道路内特定物の大きさ(高さや幅)がわかっている場合に、その画像の大きさに基づいて撮影位置から道路内特定物までの距離を求めることができ、この距離を用いることにより、あるいはさらに交差道路の幅員のデータを用いることにより、撮影位置の特定が容易となり、車両位置検出手段によって検出された車両位置に含まれる誤差の算出が可能になる。
【0010】
また、上述した第1の誤差算出手段は、車両が走行中の道路に沿って車両位置の誤差を算出することが望ましい。カメラによって撮影した画像を用いることにより、道路内特定物をカメラで撮影してその位置を特定することにより、車両が走行している道路に沿った位置の補正が容易となる。
【0011】
また、上述した絶対座標が特定された地点はノードであり、地図データに含まれるノード座標が絶対座標として用いられることが望ましい。交差点の周囲には案内標識や信号機等の道路内特定物が多数設置されており、しかも、各交差点には絶対座標が地図データに格納されているノードが対応しているため、絶対座標が特定された地点としてノードを用いることにより、その近傍に存在する道路内特定物の位置を特定することが容易となる。
【0012】
また、上述したカメラによって撮影された道路上の白線の画像に基づいて、この撮影を行った時点において車両位置検出手段によって検出された車両位置の誤差を算出する第2の誤差算出手段をさらに備え、車両位置補正手段は、第1および第2の誤差算出手段によって算出された誤差を用いて、車両位置検出手段によって検出された車両位置を補正することが望ましい。特に、上述した第2の誤差算出手段は、撮影した白線の画像に基づいて、車両が走行中の道路内における幅方向の位置を計算することにより、誤差の算出を行うことが望ましい。道路上に描かれた白線を検出することにより、車両が走行している道路の車線数や、車両がどの走行レーンを走行しているかを容易に知ることができるため、道路の幅方向の位置を正確に求めることができ、これに基づく車両位置の補正が可能になる。特に、道路内特定物の画像に基づく走行道路に沿った補正と、白線の画像に基づく走行道路の幅方向の補正とを併用することにより、車両位置を正確に検出することができる。
【0013】
また、車両位置を検出する第1のステップと、車両に設置されたカメラを用いて、所定の絶対座標が特定された地点に対する相対位置が既知の道路内特定物を撮影する第2のステップと、第2のステップにおいて撮影された画像に基づいて、第1のステップにおいて検出された車両位置に含まれる第1の誤差を算出する第3のステップと、第3のステップにおいて算出された第1の誤差を用いて、第1のステップにおいて検出された車両位置を補正する第4のステップとを有している。これにより、カメラによって撮影した道路内特定物の画像に基づいて誤差の算出および車両位置の補正が可能となり、車両位置を高精度で検出することができる。また、絶対座標が特定された地点に対して相対位置が決まっている道路内特定物を用いることにより、従来から用いられている地図データをそのまま用いることができ、コストの上昇を抑えることが可能になる。
【0014】
また、上述したカメラによって撮影された画像に含まれる道路上の白線の画像に基づいて、第1のステップにおいて検出された車両位置に含まれる第2の誤差を算出する第5のステップをさらに有し、第4のステップにおける車両位置の補正を、第3および第5のステップにおいて算出された第1および第2の誤差の両方を用いて行うことが望ましい。道路内特定物の画像に基づく走行道路に沿った補正と、白線の画像に基づく走行道路の幅方向の補正とを併用することにより、車両位置を正確に検出することができる。
【0015】
【発明の実施の形態】
以下、本発明を適用した一実施形態のナビゲーション装置について、図面を参照しながら説明する。
図1は、一実施形態のナビゲーション装置の構成を示す図である。図1に示すナビゲーション装置は、ナビゲーションコントローラ1、DVD2、ディスク読取装置3、リモートコントロール(リモコン)ユニット4、車両位置検出部5、ディスプレイ装置6、オーディオ部7、カメラ8を含んで構成されている。
【0016】
ナビゲーションコントローラ1は、ナビゲーション装置の全体動作を制御するものである。このナビゲーションコントローラ1は、CPU、ROM、RAM等を用いて所定の動作プログラムを実行することによりその機能が実現される。ナビゲーションコントローラ1の詳細構成については後述する。
【0017】
DVD2は、地図表示、施設検索および経路探索などに必要な地図データが格納されている情報記録媒体である。このDVD2には、経度および緯度で適当な大きさに区切られた矩形形状の図葉を単位とした地図データが格納されている。各図葉の地図データは、図葉番号を指定することにより特定され、読み出すことが可能となる。
【0018】
ディスク読取装置3は、1枚あるいは複数枚のDVD2が装填可能であり、ナビゲーションコントローラ1の制御によっていずれかのDVD2から地図データの読み出しを行う。なお、装填されるディスクは必ずしもDVDでなくてもよく、CDでもよい。また、DVDとCDの双方を選択的に装填可能としてもよい。
【0019】
リモコンユニット4は、上下左右等の方向を指定するジョイスティックと、数字を入力するテンキーや各種の設定などを確定する「決定キー」などの各種の操作キーとを備えており、操作内容に応じた信号をナビゲーションコントローラ1に出力する。
【0020】
車両位置検出部5は、例えば、GPS受信機、方位センサ、距離センサなどを備えており、所定のタイミングで車両位置(経度、緯度)の検出を行い、検出結果を出力する。
ディスプレイ装置6は、ナビゲーションコントローラ1から出力される描画データに基づいて、自車位置周辺の地図画像や交差点案内画像などの各種画像を表示する。オーディオ部7は、ナビゲーションコントローラ1から入力される音声信号に基づいて生成した案内音声等を車室内に出力する。
【0021】
カメラ8は、車両の所定位置に設置されており、視野角に含まれる被写体を撮影する。本実施形態では、道路上に描かれた白線や交差点近傍に設置された信号機等を撮影可能とするために、車両前方にカメラ8が設置されている。
次に、ナビゲーションコントローラ1の詳細構成について説明する。図1に示すように、ナビゲーションコントローラ1は、地図バッファ10、地図読出制御部12、地図描画部14、車両位置計算部20、車両位置補正部22、経路探索処理部24、誘導経路描画部26、音声案内部28、施設検索部30、入力処理部40、表示処理部50を含んで構成されている。
【0022】
地図バッファ10は、ディスク読取装置3によってDVD2から読み出された地図データを一時的に格納する。地図読出制御部12は、車両位置計算部20により算出される車両位置に応じて、所定範囲の地図データの読み出し要求をディスク読取装置3に出力する。地図描画部14は、地図バッファ10に格納された地図データに基づいて、地図画像を表示するために必要な描画処理を行って地図画像描画データを作成する。
【0023】
車両位置計算部20は、車両位置検出部5から出力される検出データに基づいて概略的な自車位置を計算するとともに、車両位置補正部22から出力される補正値に基づいてこの概略的な自車位置を補正する。車両位置補正部22は、車両位置計算部20によって計算された概略的な車両位置とカメラ8によって撮影された画像等に基づいて、車両位置計算部20によって計算された概略的な車両位置に含まれる誤差を算出し、この誤差を補正値として車両位置計算部20に向けて出力する。
【0024】
経路探索処理部24は、出発地と目的地との間を所定の探索条件にしたがって結ぶ走行経路を誘導経路として探索する。誘導経路描画部26は、経路探索処理部24による経路探索によって得られた誘導経路を地図上に重ねて表示するための誘導経路描画データを生成する。音声案内部28は、経路探索処理部24による経路探索処理によって得られた誘導経路に沿って車両を誘導するために必要な交差点案内等の音声信号を出力する。
【0025】
施設検索部30は、利用者によって指定される検索条件を満足する施設を検索したり、検索によって得られた施設の詳細情報を抽出する。
入力処理部40は、リモコンユニット4から入力される各種の操作指示に対応する動作を行うための命令をナビゲーションコントローラ1内の各部に向けて出力する。表示処理部50は、地図描画部14によって作成される地図画像描画データや誘導経路描画部26によって作成される誘導経路描画データ等が入力されており、これらの描画データに基づいて所定範囲の地図画像等をディスプレイ装置6の画面に表示する。
【0026】
図2は、車両位置補正部22の詳細構成を示す図である。図2に示すように、車両位置補正部22は、画像取込部120、白線抽出部121、道路内特定物抽出部122、テンプレート格納部123、横方向相対位置算出部124、縦方向相対位置算出部125、補正値決定部126を含んで構成されている。
【0027】
画像取込部120は、カメラ8から出力される撮影データを所定の時間間隔で取り込む処理を行う。白線抽出部121は、画像取込部120によって取り込まれた画像データに基づいて、道路上に描かれた白線を抽出する。なお、本明細書では、道路上において、各レーン(車線)の区切りを示すために描画されている白線や黄線などの線(点線等も含む)を全て「白線」と称するものとする。
【0028】
道路内特定物抽出部122は、画像取込部120によって取り込まれた画像データと、テンプレート格納部123に格納されている特定物テンプレートとに基づいて、カメラ8によって撮影された画像中に含まれる道路内特定物を抽出する。例えば、本実施形態では、道路内特定物として、信号機や信号機に取り付けられた案内標識が抽出される。
【0029】
横方向相対位置算出部124は、白線抽出部121によって抽出された道路上の白線と、画像取込部120によって取り込まれた画像データとに基づいて、車両(撮影位置)の横方向の相対位置を算出する。ここで、横方向とは、車両が走行中の道路の幅方向、すなわち、この道路に対応したリンクに垂直な向きをいう。
【0030】
縦方向相対位置算出部125は、道路内特定物抽出部122によって抽出された道路内特定物と、画像取込部120によって取り込まれた画像データとに基づいて、車両(撮影位置)の縦方向の相対位置を算出する。ここで、縦方向とは、車両が走行中の道路に沿った向き、すなわちこの道路に対応するリンクに沿った向きをいう。
【0031】
補正値決定部126は、横方向相対位置算出部124および縦方向相対位置算出部125のそれぞれの算出結果を用いて、車両位置計算部20によって計算された車両位置の誤差を求め、この誤差を補正値として設定する処理を行う。
上述した車両位置検出部5が車両位置検出手段に、画像取込部120、道路内特定物抽出部122、縦方向相対位置算出部125、補正値決定部126が第1の誤差算出手段に、画像取込部120、白線抽出部121、横方向相対位置算出部124、補正値決定部126が第2の誤差算出手段に、車両位置計算部20が車両位置補正手段にそれぞれに対応する。
【0032】
本実施形態のナビゲーション装置はこのような構成を有しており、次に、その動作を説明する。
図3は、本実施形態のナビゲーション装置において車両位置の補正を行う動作手順を示す流れ図である。
【0033】
車両に取り付けられたカメラ8によって車両前方が撮影され、撮影によって得られた画像データが取り込まれると(ステップ100)、道路内特定物抽出部122は、撮影範囲内に道路内特定物の画像が存在するか否かを判定する(ステップ101)。例えば、本実施形態では、交差点名称が含まれる案内標識が判定対象の道路内特定物に設定されており、テンプレート格納部123に格納された案内標識のテンプレートを用いることにより、撮影画像中にこの案内標識の画像が含まれているか否かが判定される。含まれていない場合には否定判断が行われ、その後の処理に進まずにステップ100に戻ってカメラ8による撮影と画像データの取り込み動作が繰り返される。また、道路上に設置された案内標識に向かって車両が進行する場合を考えると、遠くに見えていた案内標識が車両の進行に伴って次第に大きく見えるようになるが、遠くに小さく見える案内標識では画像処理の誤差が大きくなるため、所定サイズ以上の案内標識について検出を行うものとする。
【0034】
撮影画像に所定サイズ以上の案内標識が含まれている場合にはステップ101の判定において肯定判断が行われ、次に、道路内特定物抽出部122は、撮影画像に含まれるこの案内標識の画像に基づいて、この案内標識に含まれる交差点名称を特定する(ステップ102)。案内標識の背景色や文字の所定や色等は法令によって予め決まっているため、交差点名称の特定は、従来から行われている文字認識を用いて容易に行うことができる。
【0035】
また、縦方向相対位置算出部125は、この案内標識の画像に基づいて、撮影位置から案内標識までの距離を算出する(ステップ103)。案内標識の大きさ(特に高さ)は一定であるため、撮影画像に含まれる案内標識の画像の高さに基づいて、撮影位置から案内標識までの距離も容易に算出することができる。
【0036】
次に、縦方向相対位置算出部125は、案内標識に含まれる交差点名称によって特定された交差点ノードから撮影位置までの相対的な距離を算出する(ステップ104)。
図4は、案内標識の設置状態の具体例を示す図である。図4に示す例では、車両Gが走行している道路に他の道路が交差しており、この交差点に交差点ノードNが対応している。また、車両Gが走行する道路に着目したときに、交差点に進入する位置、すなわち交差する道路に進入する位置に信号機S1が設けられており、交差点から脱出する位置、すなわち交差する道路から脱出する位置に信号機S2が設けられている。さらに、これらの信号機S1、S2の少なくとも一方には、交差点名称が含まれる看板としての案内標識Hが取り付けられているものとする。
【0037】
図5は、図4に示した交差点に差し掛かった車両Gのカメラ8で撮影した画像を示す図である。図5に示すように、カメラ8で撮影した画像には、この車両Gが走行している道路上に描かれた中央線a、車両通行帯最外側線b、境界線c等の白線画像や、信号機S1、S2およびこれらの信号機に取り付けられた案内標識Hの画像が含まれている。
【0038】
上述した案内標識Hは、法令によって高さが決まっているため、撮影画像に含まれるこの案内標識Hの画像の高さに基づいて、撮影位置から案内標識Hまでの距離を知ることができ、縦方向相対位置算出部125は、この撮影位置から案内標識Hまでの距離hを計算する。なお、2つの信号機S1、S2に両方に案内標識Hが取り付けられている場合には、いずれか一方に着目して距離hの算出が行われる。
【0039】
ところで、距離hの算出が行われた案内標識Hは、図4に示すように車両Gから見て手前の信号機S1に取り付けられている場合もあれば、車両Gから見て遠くの信号機S2に取り付けられている場合もある。このため、交差点ノードから撮影位置までの相対的な距離を算出するためには、どちらの信号機に案内標識Hが取り付けられているのかを判定する必要がある。
【0040】
例えば、本実施形態では、撮影画像中に含まれる信号機のランプの直径を測定し、その大小に応じて2つの信号機S1、S2の位置を調べ、この結果に基づいて案内標識Hの設置位置がどちらの信号機に取り付けられているかを判定している。すなわち、ランプの大きさが一定である場合には、2つの信号機S1、S2のそれぞれの距離に応じてランプの画像の大きさが異なり、各画像の大きさに基づいて信号機S1、S2までの距離を算出することができる。
【0041】
図4に示すように、2つの信号機S1、S2までの距離をh1、h2としたときに、縦方向相対位置算出部125は、車両Gから遠い信号機S2までの距離h2と案内標識Hまでの距離hを比較し、
h2≦h
であれば、信号機S2に案内標識Hが取り付けられているものと判断して、撮影位置から案内標識Hまでの距離hから、交差道路の幅の半分の距離(幅員W1/2)を差し引いた値を、交差点ノードから撮影位置までの距離として算出する。なお、交差する道路の幅員W1は、ステップ102で特定された交差点名称に基づいてこの道路に対応するリンクL2が判定され、地図バッファ10に格納された地図データから読み出される。
【0042】
また、縦方向相対位置算出部125は、
h2>h
であれば、信号機S1に案内標識Hが取り付けられているものと判断して、撮影位置から案内標識Hまでの距離hに、交差道路の幅の半分の距離(幅員W1/2)を加算した値を、交差点ノードから撮影位置までの距離として算出する。
【0043】
なお、上述した例では、撮影位置から信号機S1、S2までの距離h1、h2を算出するために信号機のランプの画像を利用したが、その他の方法でこれらの距離を求めるようにしてもよい。例えば、設定位置が固定された信号機の高さが一定の場合には、撮影画像から信号機の高さを判定し、この判定結果に基づいて各信号器までの距離算出を行うことができる。
【0044】
また、案内標識Hが交差点の手前側にあるか後側にあるかを判定する方法は、信号機S1、S2までの距離を求めて判定する方法以外の方法を用いるようにしてもよい。例えば、車両Gが交差点を直進で通過する場合に、交差点を挟んで存在する中央線aや境界線c等の配置状態に基づいて、案内標識Hと交差点の中央位置との前後の位置関係を判断するようにしてもよい。
【0045】
このようにして交差点ノードから撮影位置までの相対的な距離の算出が終了した後、あるいは上述したステップ102〜104の各処理と並行して、白線抽出部121は、図5に示した中央線aや境界線c等の白線の画像を抽出する(ステップ105)。また、横方向相対位置算出部124は、この抽出された白線の画像に基づいて、道路中央から撮影位置までの相対位置、すなわち走行中の道路の幅方向の車両までの相対位置を算出する(ステップ106)。
【0046】
例えば、横方向相対位置算出部124は、白線画像に基づいて、走行車線側のレーン数T、現在の走行レーン番号N(路肩に近い順に1、2、…)、走行レーン内の相対位置P(車両前方の中央にカメラ8が設定されているものとすると、図5に示す下辺の中央点oの右側の白線(境界線c)から左の白線(車両通行帯最外側線b)までの相対位置を百分率で表したものであり、100×w2/(w1+w2)で算出)を求めた後、道路中央から撮影位置までの距離を、以下の式を用いて算出する。
【0047】
W2(T−N)/(2T)+(W2/(2T))×(P/100)
ここで、W2は走行中の道路の幅員であり、ステップ102で特定された交差点名称に基づいてこの道路に対応するリンクL1が判定され、地図バッファ10に格納された地図データから読み出される。
【0048】
次に、補正値決定部126は、ステップ104において算出された交差点ノードから撮影位置までの距離と、ステップ106において算出された道路中央から撮影位置までの距離とに基づいて、車両位置計算部20によって計算される車両位置の補正値を決定する(ステップ107)。すなわち、これらの算出結果によって撮影位置の絶対座標が特定されるため、車両位置計算部20によって計算された撮影時点における車両位置とこの撮影位置の絶対座標との差である検出誤差が補正値として決定される。このようにして補正値が決定されると、車両位置計算部20によって、この補正値を用いた車両位置の補正が行われる(ステップ108)。
【0049】
このように、本実施形態のナビゲーション装置では、カメラ8によって撮影した案内標識の画像に基づいて走行中の道路に沿った車両位置の補正を行うとともに、白線の画像に基づいて走行中の道路に沿った道路の幅方向の補正を行うことができ、車両位置を高精度で検出することができる。
【0050】
特に、絶対座標が特定された交差点ノードを基準にして、相対位置が決まっている案内標識を用いることにより、従来から用いられている地図データをそのまま用いることができ、コストの上昇を抑えることが可能になる。
また、案内標識に含まれる交差点名称の内容を判定することにより、走行中の道路を正確に識別することができるため、非常に接近したり上下に重なっている複数本の道路が存在した場合であっても、車両が走行中の一の道路を正確に判定することができる。
【0051】
なお、本発明は上記実施形態に限定されるものではなく、本発明の要旨の範囲内において種々の変形実施が可能である。例えば、上述した実施形態では、信号機に取り付けられた案内標識を用いて車両位置の補正を行うようにしたが、法令で設置位置が定まっていてノードからの相対位置が正確に算出可能な他の道路内特定物(例えば横断歩道橋)に取り付けられている案内標識を用いるようにしてもよい。
【0052】
また、案内標識に含まれる交差点名称を用いてその近傍の交差点ノードを特定するとともに、法令で大きさが定められている案内標識以外の道路内特定物の画像に基づいて撮影位置からこの道路内特定物までの距離を算出するようにしてもよい。
【0053】
また、上述した実施形態では、車両が走行中の道路に他の道路が交差している最も単純な十字路の交差点に着目して車両位置の補正を行う場合を説明したが、十字路以外のT字路や5差路等の交差点を用いて車両位置の補正を行うようにしてもよい。この場合には、それぞれの交差点形状を考慮して、案内標識の設置位置と交差点ノードとの相対的な位置関係を判断する必要がある。
【0054】
あるいは、全ての交差点において車両位置の補正を行う必要は必ずしもないため、図4に示すような標準的な形状を有する交差点を通過する場合のみに車両位置の補正を実施するようにしてもよい。
また、上述した実施形態では、撮影位置から案内標識までの距離を求めた後、この距離に交差道路の幅の半分の距離を加算あるいは減算して撮影位置から交差点ノードまでの正確な距離を求めたが、案内標識の設置位置が交差点ノードの位置に一致するものとして車両位置の補正を行うようにしてもよい。この場合には、交差道路の幅の半分に相当する誤差が許容されることになるが、GPS等を用いた従来方式おける検出誤差に比べると小さいため、車両位置の検出精度を上げることができ、しかも、案内標識が交差点のどの位置に設置されているかを判定する処理を省略することによる処理の簡略化が可能になるという利点がある。
【0055】
また、上述した実施形態では、車両が走行中の道路に沿った距離と、この道路の幅方向の距離の両方を測定して車両位置を補正したが、車両が走行中の道路に沿った距離のみを用いるようにしてもよい。すなわち、案内標識に含まれる交差点名称に基づいて車両が走行中の道路を特定することができるため、その道路に沿った距離のみを補正するようにした場合であっても、ほぼ正確に車両位置を検出することが可能になる。
【0056】
【発明の効果】
上述したように、本発明によれば、カメラによって撮影した道路内特定物の画像に基づいて誤差の算出および車両位置の補正が可能となり、車両位置を高精度で検出することができる。また、絶対座標が特定された地点に対して相対位置が決まっている道路内特定物を用いることにより、従来から用いられている地図データをそのまま用いることができ、コストの上昇を抑えることが可能になる。
【図面の簡単な説明】
【図1】一実施形態のナビゲーション装置の構成を示す図である。
【図2】車両位置補正部の詳細構成を示す図である。
【図3】本実施形態のナビゲーション装置において車両位置の補正を行う動作手順を示す流れ図である。
【図4】案内標識の設置状態の具体例を示す図である。
【図5】図4に示した交差点に差し掛かった車両のカメラで撮影した画像を示す図である。
【符号の説明】
1 ナビゲーションコントローラ
5 車両位置検出部
8 カメラ
10 地図バッファ
12 地図読出制御部
14 地図描画部
20 車両位置計算部
22 車両位置補正部
120 画像取込部
121 白線抽出部
122 道路内特定物抽出部
124 横方向相対位置算出部
125 縦方向相対位置算出部
126 補正値決定部

Claims (11)

  1. 車両位置を検出する車両位置検出手段と、
    車両に設置されており、所定の絶対座標が特定された地点に対する相対位置が既知の道路内特定物を撮影するカメラと、
    前記カメラによって撮影された前記道路内特定物の画像に基づいて、この撮影を行った時点において前記車両位置検出手段によって検出された車両位置の誤差を算出する第1の誤差算出手段と、
    前記第1の誤差算出手段によって算出された誤差を用いて、前記車両位置検出手段によって検出された車両位置を補正する車両位置補正手段と、
    を備えることを特徴とする車両位置測定装置。
  2. 請求項1において、
    前記道路内特定物は、法令によって前記相対位置が定まっていることを特徴とする車両位置測定装置。
  3. 請求項2において、
    前記道路内特定物は、交差点名称が含まれる案内標識であることを特徴とする車両位置測定装置。
  4. 請求項3において、
    前記第1の誤差算出手段は、前記案内標識の大きさに基づいて前記カメラによる撮影位置から前記案内標識までの距離を計算することにより、前記誤差の算出を行うことを特徴とする車両位置測定装置。
  5. 請求項3において、
    前記第1の誤差算出手段は、前記案内標識の大きさに基づいて前記カメラによる撮影位置から前記案内標識までの距離を計算した結果と、前記案内標識に含まれる交差点において車両が走行中の道路と交差する他の道路の幅員のデータとを用いて、前記誤差の算出を行うことを特徴とする車両位置測定装置。
  6. 請求項1〜5のいずれかにおいて、
    前記第1の誤差算出手段は、車両が走行中の道路に沿って前記車両位置の誤差を算出することを特徴とする車両位置測定装置。
  7. 請求項6において、
    前記絶対座標が特定された地点はノードであり、
    地図データに含まれるノード座標が前記絶対座標として用いられることを特徴とする車両位置測定装置。
  8. 請求項1〜6のいずれかにおいて、
    前記カメラによって撮影された道路上の白線の画像に基づいて、この撮影を行った時点において前記車両位置検出手段によって検出された車両位置の誤差を算出する第2の誤差算出手段をさらに備え、
    前記車両位置補正手段は、前記第1および第2の誤差算出手段によって算出された誤差を用いて、前記車両位置検出手段によって検出された車両位置を補正することを特徴とする車両位置測定装置。
  9. 請求項8において、
    前記第2の誤差算出手段は、撮影した白線の画像に基づいて、車両が走行中の道路内における幅方向の位置を計算することにより、前記誤差の算出を行うことを特徴とする車両位置測定装置。
  10. 車両位置を検出する第1のステップと、
    車両に設置されたカメラを用いて、所定の絶対座標が特定された地点に対する相対位置が既知の道路内特定物を撮影する第2のステップと、
    前記第2のステップにおいて撮影された画像に基づいて、前記第1のステップにおいて検出された車両位置に含まれる第1の誤差を算出する第3のステップと、
    前記第3のステップにおいて算出された第1の誤差を用いて、前記第1のステップにおいて検出された車両位置を補正する第4のステップと、
    を有することを特徴とする車両位置測定方法。
  11. 請求項10において、
    前記カメラによって撮影された画像に含まれる道路上の白線の画像に基づいて、前記第1のステップにおいて検出された車両位置に含まれる第2の誤差を算出する第5のステップをさらに有し、
    前記第4のステップにおける車両位置の補正を、前記第3および第5のステップにおいて算出された前記第1および第2の誤差の両方を用いて行うことを特徴とする車両位置測定方法。
JP2002203355A 2002-07-12 2002-07-12 車両位置測定装置および方法 Expired - Fee Related JP3958133B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002203355A JP3958133B2 (ja) 2002-07-12 2002-07-12 車両位置測定装置および方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002203355A JP3958133B2 (ja) 2002-07-12 2002-07-12 車両位置測定装置および方法

Publications (2)

Publication Number Publication Date
JP2004045227A true JP2004045227A (ja) 2004-02-12
JP3958133B2 JP3958133B2 (ja) 2007-08-15

Family

ID=31709237

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002203355A Expired - Fee Related JP3958133B2 (ja) 2002-07-12 2002-07-12 車両位置測定装置および方法

Country Status (1)

Country Link
JP (1) JP3958133B2 (ja)

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006209511A (ja) * 2005-01-28 2006-08-10 Aisin Aw Co Ltd 画像認識装置及び画像認識方法、並びにそれを用いた位置特定装置、車両制御装置及びナビゲーション装置
JP2006287435A (ja) * 2005-03-31 2006-10-19 Pioneer Electronic Corp 情報処理装置、そのシステム、その方法、そのプログラム、および、そのプログラムを記録した記録媒体
WO2006114955A1 (ja) * 2005-04-25 2006-11-02 Geo Technical Laboratory Co., Ltd. 撮影位置解析方法
JP2007147564A (ja) * 2005-11-30 2007-06-14 Aisin Aw Co Ltd 画像認識装置及び方法、並びに自車位置認識装置及び方法
JP2007272119A (ja) * 2006-03-31 2007-10-18 Aisin Aw Co Ltd 地物情報出力装置
JP2007271568A (ja) * 2006-03-31 2007-10-18 Aisin Aw Co Ltd 自車位置認識装置及び自車位置認識方法
JP2007271515A (ja) * 2006-03-31 2007-10-18 Mitsubishi Electric Corp 車載用ナビゲーション装置
JP2007278813A (ja) * 2006-04-06 2007-10-25 Hitachi Ltd 車両位置測位装置
JP2007309670A (ja) * 2006-05-16 2007-11-29 Toyota Motor Corp 車両位置検出装置
WO2007148546A1 (ja) * 2006-06-21 2007-12-27 Toyota Jidosha Kabushiki Kaisha 測位装置
JP2008059593A (ja) * 2006-09-01 2008-03-13 Harman Becker Automotive Systems Gmbh 画像における対象物を認識する方法および画像認識デバイス
JP2008129867A (ja) * 2006-11-21 2008-06-05 Toyota Motor Corp 運転支援装置
JP2008139295A (ja) * 2006-11-08 2008-06-19 Korea Electronics Telecommun カメラを用いた車両用ナビゲーションの交差点案内装置及びその方法
JP2008197004A (ja) * 2007-02-14 2008-08-28 Aisin Aw Co Ltd ナビゲーション装置及びナビゲーション方法
JP2008275381A (ja) * 2007-04-26 2008-11-13 Mitsubishi Electric Corp 車載用ナビゲーション装置
JP2009008591A (ja) * 2007-06-29 2009-01-15 Aisin Aw Co Ltd 自車位置認識装置及び自車位置認識プログラム
JP2009031131A (ja) * 2007-07-27 2009-02-12 Pioneer Electronic Corp 交通規制情報生成装置及び交通規制情報生成プログラム
JP2009109341A (ja) * 2007-10-30 2009-05-21 Aisin Aw Co Ltd 自車位置認識装置と自車位置認識プログラム、及びこれを用いたナビゲーション装置
JP2009128356A (ja) * 2007-11-26 2009-06-11 Korea Electronics Telecommun カーナビゲーションシステムおよび方法
JP2010139478A (ja) * 2008-12-15 2010-06-24 Clarion Co Ltd ナビゲーション装置
DE112009001639T5 (de) 2008-07-07 2011-09-29 Mitsubishi Electric Corporation Fahrzeugfahrumgebungs-Erfassungsvorrichtung
JP2013072792A (ja) * 2011-09-28 2013-04-22 Aisin Aw Co Ltd 移動体位置検出システム、移動体位置検出装置、移動体位置検出方法及びコンピュータプログラム
US20130162824A1 (en) * 2011-12-22 2013-06-27 Electronics And Telecommunications Research Institute Apparatus and method for recognizing current position of vehicle using internal network of the vehicle and image sensor
JP2013145176A (ja) * 2012-01-13 2013-07-25 Toshiba Corp 道案内システム
JP2014067302A (ja) * 2012-09-26 2014-04-17 Buffalo Inc 画像処理装置及びプログラム
JP2018030495A (ja) * 2016-08-25 2018-03-01 トヨタ自動車株式会社 車両制御装置
JP2018036225A (ja) * 2016-09-02 2018-03-08 株式会社Soken 状態推定装置
WO2018212302A1 (ja) * 2017-05-19 2018-11-22 パイオニア株式会社 自己位置推定装置、制御方法、プログラム及び記憶媒体
CN109752741A (zh) * 2017-11-06 2019-05-14 丰田自动车株式会社 车辆定位设备
CN110470309A (zh) * 2018-05-09 2019-11-19 丰田自动车株式会社 本车位置推断装置
WO2020031295A1 (ja) * 2018-08-08 2020-02-13 日産自動車株式会社 自己位置推定方法及び自己位置推定装置
WO2020224305A1 (zh) * 2019-05-07 2020-11-12 北京市商汤科技开发有限公司 用于设备定位的方法、装置及设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101026778B1 (ko) 2011-01-26 2011-04-11 주식회사보다텍 차량 영상 검지 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09243389A (ja) * 1996-03-08 1997-09-19 Alpine Electron Inc 車載用ナビゲーション装置
JPH09319872A (ja) * 1996-05-28 1997-12-12 Matsushita Electric Ind Co Ltd 道路白線検出装置と曲率半径計算装置とナビゲーション装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09243389A (ja) * 1996-03-08 1997-09-19 Alpine Electron Inc 車載用ナビゲーション装置
JPH09319872A (ja) * 1996-05-28 1997-12-12 Matsushita Electric Ind Co Ltd 道路白線検出装置と曲率半径計算装置とナビゲーション装置

Cited By (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006209511A (ja) * 2005-01-28 2006-08-10 Aisin Aw Co Ltd 画像認識装置及び画像認識方法、並びにそれを用いた位置特定装置、車両制御装置及びナビゲーション装置
JP4557288B2 (ja) * 2005-01-28 2010-10-06 アイシン・エィ・ダブリュ株式会社 画像認識装置及び画像認識方法、並びにそれを用いた位置特定装置、車両制御装置及びナビゲーション装置
JP2006287435A (ja) * 2005-03-31 2006-10-19 Pioneer Electronic Corp 情報処理装置、そのシステム、その方法、そのプログラム、および、そのプログラムを記録した記録媒体
WO2006114955A1 (ja) * 2005-04-25 2006-11-02 Geo Technical Laboratory Co., Ltd. 撮影位置解析方法
KR101235815B1 (ko) 2005-04-25 2013-02-21 가부시키가이샤 지오 기쥬츠켄큐쇼 촬영 위치 해석 장치, 촬영 위치 해석 방법, 기록 매체 및 화상 데이터 취득 장치
US8280105B2 (en) 2005-04-25 2012-10-02 Geo Technical Laboratory Co., Ltd. Imaging position analyzing method
JP2007147564A (ja) * 2005-11-30 2007-06-14 Aisin Aw Co Ltd 画像認識装置及び方法、並びに自車位置認識装置及び方法
JP2007271515A (ja) * 2006-03-31 2007-10-18 Mitsubishi Electric Corp 車載用ナビゲーション装置
JP2007271568A (ja) * 2006-03-31 2007-10-18 Aisin Aw Co Ltd 自車位置認識装置及び自車位置認識方法
JP2007272119A (ja) * 2006-03-31 2007-10-18 Aisin Aw Co Ltd 地物情報出力装置
JP4702149B2 (ja) * 2006-04-06 2011-06-15 株式会社日立製作所 車両位置測位装置
JP2007278813A (ja) * 2006-04-06 2007-10-25 Hitachi Ltd 車両位置測位装置
JP2007309670A (ja) * 2006-05-16 2007-11-29 Toyota Motor Corp 車両位置検出装置
US8725412B2 (en) 2006-06-21 2014-05-13 Toyota Jidosha Kabushiki Kaisha Positioning device
WO2007148546A1 (ja) * 2006-06-21 2007-12-27 Toyota Jidosha Kabushiki Kaisha 測位装置
JP2008059593A (ja) * 2006-09-01 2008-03-13 Harman Becker Automotive Systems Gmbh 画像における対象物を認識する方法および画像認識デバイス
JP2008139295A (ja) * 2006-11-08 2008-06-19 Korea Electronics Telecommun カメラを用いた車両用ナビゲーションの交差点案内装置及びその方法
JP2008129867A (ja) * 2006-11-21 2008-06-05 Toyota Motor Corp 運転支援装置
JP4703544B2 (ja) * 2006-11-21 2011-06-15 トヨタ自動車株式会社 運転支援装置
JP2008197004A (ja) * 2007-02-14 2008-08-28 Aisin Aw Co Ltd ナビゲーション装置及びナビゲーション方法
JP2008275381A (ja) * 2007-04-26 2008-11-13 Mitsubishi Electric Corp 車載用ナビゲーション装置
JP2009008591A (ja) * 2007-06-29 2009-01-15 Aisin Aw Co Ltd 自車位置認識装置及び自車位置認識プログラム
JP2009031131A (ja) * 2007-07-27 2009-02-12 Pioneer Electronic Corp 交通規制情報生成装置及び交通規制情報生成プログラム
JP2009109341A (ja) * 2007-10-30 2009-05-21 Aisin Aw Co Ltd 自車位置認識装置と自車位置認識プログラム、及びこれを用いたナビゲーション装置
JP4700080B2 (ja) * 2007-11-26 2011-06-15 韓國電子通信研究院 カーナビゲーションシステムおよび方法
JP2009128356A (ja) * 2007-11-26 2009-06-11 Korea Electronics Telecommun カーナビゲーションシステムおよび方法
DE112009001639T5 (de) 2008-07-07 2011-09-29 Mitsubishi Electric Corporation Fahrzeugfahrumgebungs-Erfassungsvorrichtung
JP2010139478A (ja) * 2008-12-15 2010-06-24 Clarion Co Ltd ナビゲーション装置
JP2013072792A (ja) * 2011-09-28 2013-04-22 Aisin Aw Co Ltd 移動体位置検出システム、移動体位置検出装置、移動体位置検出方法及びコンピュータプログラム
US20130162824A1 (en) * 2011-12-22 2013-06-27 Electronics And Telecommunications Research Institute Apparatus and method for recognizing current position of vehicle using internal network of the vehicle and image sensor
US9208389B2 (en) * 2011-12-22 2015-12-08 Electronics And Telecommunications Research Institute Apparatus and method for recognizing current position of vehicle using internal network of the vehicle and image sensor
JP2013145176A (ja) * 2012-01-13 2013-07-25 Toshiba Corp 道案内システム
JP2014067302A (ja) * 2012-09-26 2014-04-17 Buffalo Inc 画像処理装置及びプログラム
CN107783535A (zh) * 2016-08-25 2018-03-09 丰田自动车株式会社 车辆控制装置
JP2018030495A (ja) * 2016-08-25 2018-03-01 トヨタ自動車株式会社 車両制御装置
JP2018036225A (ja) * 2016-09-02 2018-03-08 株式会社Soken 状態推定装置
WO2018212302A1 (ja) * 2017-05-19 2018-11-22 パイオニア株式会社 自己位置推定装置、制御方法、プログラム及び記憶媒体
US10890453B2 (en) 2017-11-06 2021-01-12 Toyota Jidosha Kabushiki Kaisha Vehicle localization device
KR20190051786A (ko) * 2017-11-06 2019-05-15 도요타지도샤가부시키가이샤 자차 위치 추정 장치
KR102090512B1 (ko) * 2017-11-06 2020-03-18 도요타지도샤가부시키가이샤 자차 위치 추정 장치
CN109752741A (zh) * 2017-11-06 2019-05-14 丰田自动车株式会社 车辆定位设备
CN109752741B (zh) * 2017-11-06 2023-08-08 丰田自动车株式会社 车辆定位设备
CN110470309A (zh) * 2018-05-09 2019-11-19 丰田自动车株式会社 本车位置推断装置
WO2020031295A1 (ja) * 2018-08-08 2020-02-13 日産自動車株式会社 自己位置推定方法及び自己位置推定装置
JPWO2020031295A1 (ja) * 2018-08-08 2021-08-12 日産自動車株式会社 自己位置推定方法及び自己位置推定装置
JP7031748B2 (ja) 2018-08-08 2022-03-08 日産自動車株式会社 自己位置推定方法及び自己位置推定装置
WO2020224305A1 (zh) * 2019-05-07 2020-11-12 北京市商汤科技开发有限公司 用于设备定位的方法、装置及设备

Also Published As

Publication number Publication date
JP3958133B2 (ja) 2007-08-15

Similar Documents

Publication Publication Date Title
JP3958133B2 (ja) 車両位置測定装置および方法
US8239131B2 (en) Navigation device, navigation method, and navigation program
US7948397B2 (en) Image recognition apparatuses, methods and programs
US7653482B2 (en) On-vehicle navigation apparatus and subject vehicle position correction method
JP4915739B2 (ja) 運転支援装置
JP2011122936A (ja) 車両用走行案内装置、車両用走行案内方法及びコンピュータプログラム
JP2018040693A (ja) 運転支援装置、運転支援方法
JP4953012B2 (ja) 画像認識装置と画像認識装置のためのプログラム、及びこれを用いたナビゲーション装置とナビゲーション装置のためのプログラム
JP2009180631A (ja) ナビゲーション装置、ナビゲーション方法およびプログラム
JP2000097714A (ja) カーナビゲーション装置
JP2006284281A (ja) 自車情報認識装置及び自車情報認識方法
JP2008197004A (ja) ナビゲーション装置及びナビゲーション方法
JP2003279363A (ja) 車載用ナビゲーション装置
JP2006317286A (ja) 車載ナビゲーション装置
JP4953015B2 (ja) 自車位置認識装置と自車位置認識プログラム、及びこれを用いたナビゲーション装置
JP2007071539A (ja) 車載ナビゲーション装置
JP2010139478A (ja) ナビゲーション装置
JP5538131B2 (ja) 車載用ナビゲーション装置
JP2006153565A (ja) 車載ナビゲーション装置及び自車位置補正方法
JP2009156783A (ja) 自車位置認識装置及び自車位置認識プログラム、並びにナビゲーション装置
JP2009058430A (ja) ナビゲーション装置及びナビゲーションプログラム
JP4816561B2 (ja) 情報作成装置、情報作成方法及びプログラム
JP2007085911A (ja) 車両位置判定装置、その制御方法及び制御プログラム
JP2011128049A (ja) 道路標示認識装置及び道路標示認識方法
JP2010181265A (ja) ナビゲーション装置及びナビゲーション用プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050328

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070206

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070329

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070508

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070509

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110518

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120518

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120518

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130518

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130518

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140518

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees