JP2002029350A - 駐車支援装置 - Google Patents

駐車支援装置

Info

Publication number
JP2002029350A
JP2002029350A JP2000211256A JP2000211256A JP2002029350A JP 2002029350 A JP2002029350 A JP 2002029350A JP 2000211256 A JP2000211256 A JP 2000211256A JP 2000211256 A JP2000211256 A JP 2000211256A JP 2002029350 A JP2002029350 A JP 2002029350A
Authority
JP
Japan
Prior art keywords
image
vehicle
parking lot
parking
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000211256A
Other languages
English (en)
Other versions
JP4156181B2 (ja
Inventor
Toshiyuki Ando
敏之 安藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2000211256A priority Critical patent/JP4156181B2/ja
Publication of JP2002029350A publication Critical patent/JP2002029350A/ja
Application granted granted Critical
Publication of JP4156181B2 publication Critical patent/JP4156181B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 【課題】 カメラとモニターが設置されていない駐車場
でも駐車場と車両との位置関係の映像を表示して運転者
の駐車操作を支援する。 【解決手段】 車両に搭載された撮像手段により目標駐
車場を撮像した映像と、車両に搭載された撮像手段によ
り車両進行方向を撮像した映像とに基づいて、目標駐車
場の映像31上での自車の現在位置を検出し、目標駐車
場の映像31上の自車の現在位置に自車の画像32を重
ねて合成し表示する。これにより、カメラとモニターが
設置されていない駐車場に後退で進入する場合でも、視
認が困難な自車後方の環境と自車との位置関係を運転者
に容易に把握させることができ、運転者の駐車操作を支
援することができる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は運転者の駐車操作を
支援する装置に関する。
【0002】
【従来の技術とその問題点】駐車場にカメラを設置して
駐車場へ乗り入れる車両を撮像し、乗り入れ方向前方に
設置したモニターに駐車場へ乗り入れる車両の映像を表
示し、駐車場と車両との位置関係を運転者に認識させて
駐車操作を支援する装置が知られている(例えば、特開
平06−193305号公報参照)。
【0003】しかしながら、上述した従来の駐車支援装
置では、駐車場にカメラとモニターを設置しており、こ
れらの設備のない駐車場では利用することができない。
【0004】本発明の目的は、カメラとモニターが設置
されていない駐車場でも駐車場と車両との位置関係の映
像を表示して運転者の駐車操作を支援することにある。
【0005】
【課題を解決するための手段】一実施の形態の構成を示
す図1または図2に対応づけて本発明を説明すると、 (1) 請求項1の発明は、車両に搭載されて目標駐車
場を撮像する駐車場撮像手段1,2と、車両に搭載され
て車両進行方向を撮像する進行方向撮像手段3と、目標
駐車場の映像と車両進行方向の映像とに基づいて、目標
駐車場の映像上での自車の現在位置を検出する現在位置
検出手段8と、目標駐車場の映像上の自車の現在位置に
自車の画像を重ねて合成する画像合成手段8と、合成画
像を表示する表示手段9とを備え、これにより上記目的
を達成する。 (2) 請求項2の駐車支援装置は、現在位置検出手段
8は、目標駐車場の映像と車両進行方向の映像との共通
の特徴点を検出する特徴点検出手段8と、両映像の共通
の特徴点を重ね合わせるように、車両進行方向の映像を
拡大または縮小、回転および移動する画像処理手段8
と、画像処理手段8による車両進行方向の映像の拡大量
または縮小量、回転量および移動量に基づいて、目標駐
車場の映像上での自車の現在位置を演算する現在位置演
算手段8とを有する。 (3) 請求項3の駐車支援装置は、現在位置検出手段
は、目標駐車場の映像と車両進行方向の映像とを視点変
換処理して車両を上から見た映像に変換する視点変換手
段8を有し、視点変換処理後の映像に基づいて目標駐車
場の映像上での自車の現在位置を検出する。 (4) 請求項4の駐車支援装置は、操舵角を検出する
舵角検出手段62と、現在の操舵角のままで所定距離走
行した後の目標駐車場の映像上での自車の位置を推定す
る位置推定手段8とを備え、画像合成手段8は、目標駐
車場の映像上の所定距離走行後の自車の推定位置に自車
の画像を重ねて合成する。 (5) 請求項5の駐車支援装置は、画像合成手段8
は、半透明または外枠のみの自車の画像を目標駐車場の
映像に重ねて合成する。 (6) 請求項6の駐車支援装置は、駐車範囲を区分す
る白線を両映像の共通の特徴点とする。 (7) 請求項7の駐車支援装置は、縦列駐車場の隣接
車両のバンパーの前縁線または後縁線を両映像の共通の
特徴点とする。
【0006】上述した課題を解決するための手段の項で
は、説明を分かりやすくするために一実施の形態の図を
用いたが、これにより本発明が一実施の形態に限定され
るものではない。
【0007】
【発明の効果】(1) 請求項1および請求項2の発明
によれば、車両に搭載された撮像手段により目標駐車場
を撮像した映像と、車両に搭載された撮像手段により車
両進行方向を撮像した映像とに基づいて、目標駐車場の
映像上での自車の現在位置を検出し、目標駐車場の映像
上の自車の現在位置に自車の画像を重ねて合成し表示す
るようにしたので、カメラとモニターが設置されていな
い駐車場に後退で進入する場合でも、視認が困難な自車
後方の環境と自車との位置関係を運転者に容易に把握さ
せることができ、運転者の駐車操作を支援することがで
きる。 (2) 請求項3に発明によれば、目標駐車場の映像と
車両進行方向の映像とを視点変換処理して車両を上から
見た映像に変換し、視点変換処理後の映像に基づいて目
標駐車場の映像上での自車の現在位置を検出し、目標駐
車場の映像上の自車の現在位置に自車の画像を重ねて合
成し表示するようにしたので、自車の現在位置を正確に
検出することができる上に、自車を上から見た映像によ
って駐車場環境と自車との位置関係を確認できるから一
目で運転者に位置関係を把握させることができる。 (3) 請求項4の発明によれば、現在の操舵角のまま
で所定距離走行した後の目標駐車場の映像上での自車の
位置を推定し、目標駐車場の映像上の所定距離走行後の
自車の推定位置に自車の画像を重ねて合成するようにし
たので、このまま所定距離走行した後の自車と駐車場環
境との位置関係をモニター画面上で容易に把握させるこ
とができ、車両の挙動が推測できない運転者の駐車操作
を支援することができる。 (4) 請求項5の発明によれば、半透明または外枠の
みの自車の画像を目標駐車場の映像に重ねて合成するよ
うにしたので、自車が白線上にあってもモニター画面上
では自車画像の下にある白線を視認でき、両映像を重ね
ても目標駐車場の映像の一部が見えなくなることがな
く、駐車場環境と自車との位置関係をさらに見やすくす
ることができる。 (5) 請求項6の発明によれば、駐車範囲を区分する
白線を両映像の共通の特徴点とすることによって、横並
び駐車時の目標駐車場映像上での自車位置を正確に検出
でき、白線で区分された駐車場へ正確に誘導できる。 (6) 請求項7の発明によれば、縦列駐車場の隣接車
両のバンパーの前縁線または後縁線を両映像の共通の特
徴点とすることによって、縦列駐車時の目標駐車場映像
場での自車位置を正確に検出でき、隣接車両の前縁線ま
たは後縁線に接触しないように縦列駐車場へ正確に誘導
できる。
【0008】
【発明の実施の形態】《発明の第1の実施の形態》図1
は第1の実施の形態の構成を示す。左側方カメラ1は車
両左側のルーフに取り付けられ、車両左側周辺を撮像す
る。右側方カメラ2は車両右側のルーフに取り付けら
れ、車両右側周辺を撮像する。さらに、後方カメラ3は
車両後部に取り付けられ、車両後方周辺を撮像する。イ
グニッションスイッチ4は、車両のイグニッションキー
がON位置またはSTART位置に設定されるとオンする。キ
ャンセルスイッチ5は、駐車場と車両との位置関係をモ
ニター9に表示して運転者の駐車操作を支援する機能を
強制的に終了させるためのスイッチである。
【0009】左側駐車開始スイッチ6は、車両進行方向
左側の駐車場に駐車するときに駐車支援動作を開始させ
るためのスイッチである。運転者によりこのスイッチ6
が操作されたときは、左側方カメラ1で車両左側周辺を
撮像し、撮像した映像をコントローラー8のメモリ8b
に記憶する。また、右側駐車開始スイッチ7は、車両進
行方向右側の駐車場に駐車するときに駐車支援動作を開
始させるためのスイッチである。運転者によりこのスイ
ッチ7が操作されたときは、右側方カメラ2で車両右側
周辺を撮像し、撮像した映像をコントローラー8のメモ
リ8bに記憶する。
【0010】この実施の形態では、左側駐車開始スイッ
チ6または右側駐車開始スイッチ7が操作されると駐車
支援動作を開始し、イグニッションスイッチ4がオフさ
れると駐車支援動作を終了する。なお、駐車支援動作中
にキャンセルスイッチ5が操作されると駐車支援動作を
中止し、駐車支援動作を開始する前の動作、例えばモニ
ター9に道路地図を表示するナビゲーション動作などを
再開する。
【0011】コントローラー8は、マイクロコンピュー
ター8aとメモリ8bなどの周辺部品を備え、後述する
制御プログラムを実行して駐車支援処理を行い、駐車場
と車両との位置関係を表す映像をモニター9に表示す
る。
【0012】図2は車両を進行方向左側の駐車場に横付
けした状態を上から見た図であり、(a)は車両への左
側方カメラ1の取り付け位置を示し、(b)はそのカメ
ラ1による撮像範囲を示す。左側方カメラ1を車両10
の左側ルーフ内に、車両左側周辺を見下ろす角度で取り
付けると、車両左側周辺の範囲11を撮像することがで
きる。なお、13は車止めである。
【0013】車両進行方向左側の駐車場12に駐車する
ときは、左側方カメラ1の正面に駐車目標の駐車場12
が来る位置でいったん停車し、運転者が左側駐車開始ス
イッチ6を操作する。これにより、車両左側周辺の範囲
11が撮像されて駐車支援動作が開始される。
【0014】なお、図示を省略するが、右側方カメラ2
は、左側方カメラ1と左右対称の位置に取り付けられ、
車両右側周辺を撮像する。車両進行方向右側の駐車場に
駐車するときは、右側方カメラ2の正面に駐車目標の駐
車場が来る位置でいったん停車し、運転者が右側駐車開
始スイッチ7を操作する。これにより、車両右側周辺の
映像が撮像されて駐車支援動作が開始される。
【0015】図3は後方カメラ3の取り付け位置とその
撮像範囲を示す図であり、(a)は車両10を横から見
た図を示し、(b)は車両10を上から見た図を示す。
後方カメラ3を、(a)に示すようにその映像の中に車
両10が写り込まない位置および角度で車両後方の路面
14に向けて取り付けると、(b)に示す車両後方路面
の範囲15を撮像することができる。
【0016】図4〜図6は、第1の実施の形態の駐車支
援制御プログラムを示すフローチャートである。これら
のフローチャートにより、第1の実施の形態の駐車支援
動作を説明する。コントローラー8のマイクロコンピュ
ーター8aは、左側駐車開始スイッチ6または右側駐車
開始スイッチ7が操作されると、図4に示す制御プログ
ラムの実行を開始する。
【0017】ステップ1で右側駐車開始スイッチ7の操
作を確認し、右側駐車開始スイッチ7が押されたらステ
ップ3へ進み、右側方カメラ2で車両右側周辺を撮像し
てその映像をメモリ8bに取り込む。一方、右側駐車開
始スイッチ7が操作されていないときはステップ2へ進
み、左側駐車開始スイッチ6の操作を確認する。左側駐
車開始スイッチ6が押されたらステップ4へ進み、左側
方カメラ1で車両左側周辺を撮像してその映像をメモリ
8bに取り込む。
【0018】図7は左側方カメラ1で進行方向左側の目
標駐車場を撮像した映像を示す。目標駐車場21の左右
には駐車範囲を区分する白線22,23が引かれてお
り、両隣の駐車場には他の車両24,25が駐車されて
いる。駐車場の奥には壁26に接触しないように車止め
13が設置されている。なお、右側方カメラ2で進行方
向右側にある駐車場を撮像した映像も同様であるから、
図示と説明を省略する。
【0019】車両右側または左側の目標駐車場を撮像し
た後のステップ5において、映像の視点変換(座標変
換)処理を行って目標駐車場の映像を車両を上から見た
映像に変換する。
【0020】ここで、視点変換処理について説明する。
図8に示すように、3次元空間上の任意の位置Cr(X
r,Yr,Zr)に設置した実際のカメラにより撮像した
映像Prを、任意の位置Cv(Xv,Yv,Zv)に設置し
た仮想カメラの映像Pvに変換する例を説明する。ここ
で、2台のカメラは1点で映像を取り込むピンホールカ
メラとする。また、映像Pr、Pvは少なくともカメラの
向きを示すベクトルLr、Lvと垂直であれば、位置は画
像の大きさに応じて任意の位置に設定することができ
る。画像が大きい場合はより後方に設定し、画像が小さ
い場合はより前方に設定するのが望ましい。
【0021】撮像映像Prを映像Pvに変換する手順を説
明する。まず、映像Pv上の任意の位置に点Ivを設定
し、点Ivと点Cvとを結ぶ直線がX−Z平面と交差する
点Izを求める。なお、点Ivと点Cvとを結ぶ直線がX
−Z平面と交差しない場合は、点Ivが実カメラの撮像
範囲外にあることを示すために点Ivの画素の色を所定
の色とする。
【0022】次に、点Izと点Crとを結ぶ直線がPr面
と交差する点Irを求め、点Irの画素の色を点Ivの画
素の色と同一色とする。なお、点Izと点Crとを結ぶ直
線がPr面と交差しない場合には、点Irが実カメラの撮
像範囲外にあることを示すために点Irの画素の色を所
定の色とする。映像Pr上のすべての点の画素の色を決
定するまで上述した処理を繰り返す。
【0023】図9は、図8に示す実カメラ映像と仮想カ
メラ映像との位置関係を横から見たY−Z平面と上から
見たX−Z平面に展開した図である。実カメラ位置Cr
の中心線がZ軸と交差する点Zctrは、
【数1】Zctr=Yr・tan(θr) である。ここで、θrは実カメラのX−Z平面に対する
傾き角である。実カメラの映像PrのY−Z平面による
断面を通る直線Qrxyは、実カメラの中心線(CrとZct
rを通る傾き1/tan(θr)の直線)と直交し、映像Pr
の下端の座標点(Yps,Zps)を通ることから、
【数2】 Y=−tan(θr)・Z+tan(θr)・Zps+Yps で表される。
【0024】仮想カメラの映像Pv上の点Ivと仮想カメ
ラ位置Cvとを通る直線がZ軸と交わる点Izを求め、次
にこの点Izと実カメラ位置Crとを通る直線が数式2に
示す直線Qrxyと交差する点IrのY−Z座標を求める。
X−Z平面についてもY−Z平面と同様に点IrのX−
Z座標を求める。そして、仮想カメラ映像Pv上の点Iv
の画素の色を実カメラ映像Pr上の点Ivの画素を色と同
一色とし、仮想カメラ映像Pv上のすべての点に対して
上記処理を行う。
【0025】図10は、図7に示す車両左側の目標駐車
場映像に視点変換処理を行って車両の上から見た映像に
変換した映像を示す。図10に示す視点変換後の映像に
おいて、21’、22’,23’、24’,25’、1
3’はそれぞれ、図7に示す変換前の映像の駐車場2
1、白線22,23、隣接駐車車両24,25、車止め
13である。なお、隣接駐車車両24,25のような立
体的な物体の映像を、上から見た立体的な物体の映像に
視点変換することはできないが、少なくとも障害物であ
ることを認識できる映像に変換することができる。2
8,29は変換前に映像がなかった部分である。
【0026】視点変換処理後の図4のステップ6におい
て、イグニッションスイッチ4およびキャンセルスイッ
チ5の状態を確認する。イグニッションスイッチ4がオ
フしたとき、あるいはキャンセルスイッチ4がオンした
ときは駐車支援処理を終了する。そうでなければステッ
プ8へ進み、駐車支援処理を続ける。
【0027】ステップ8では後方カメラ3から車両後方
の映像を取り込み、続くステップ9で上述した視点変換
処理によって車両後方の映像を車両を上から見た映像に
変換する。この視点変換処理は上述した手順と同様であ
り説明を省略する。ステップ10で図5に示すサブルー
チンを実行し、目標駐車場の映像と車両後方の映像とに
基づいて目標駐車場の映像上での自車の現在位置を検出
する。図5に示すサブルーチンの処理については後述す
る。
【0028】図11は、説明のために目標駐車場への進
入途中の車両10と、車両後方の撮像範囲15と、視点
変換処理後の目標駐車場の映像31とを重ねて示した図
である。なお、目標駐車場の映像上での自車位置を見や
すくするために、目標駐車場の映像31の天地を視点変
換処理後の目標駐車場の映像(図10)の天地と逆にし
て示す。
【0029】ステップ11において目標駐車場の映像上
での自車位置を検出できたかどうか確認し、確認できな
かった場合はステップ6へ戻り、上述した処理を繰り返
す。一方、自車位置が確認できた場合はステップ12へ
進み、図12に示すように目標駐車場の映像31上の自
車の現在位置に自車画像32を重ねて合成し、続くステ
ップ13で合成映像をモニター9に表示して運転者の駐
車操作を支援する。運転者はこの映像を見ながら後退す
ることにより、視認しずらい車両後方の環境と自車との
位置関係を容易に認識することができ、後退による駐車
操作が容易になる。
【0030】次に、図5のサブルーチンにより、目標駐
車場の映像上で自車位置を検出する処理を説明する。ス
テップ21において、図10に示す目標駐車場の映像か
ら2個の特徴点を検出する。ここでは、駐車範囲を区分
するための左右の2本の白線を特徴点として検出する例
を説明する。
【0031】図13は2本の白線が含まれる映像例を示
し、この図によりこれらの白線を特徴点として検出する
方法を説明する。映像上の左から右への走査40を、適
当な間隔で上から下へ順次行う。走査中に白色でない画
素から白色画素に変わる点41を検出し、次に白色画素
から白色でない画素に変わる点42を検出する。さら
に、点41から点42までの線分43の中心点44を算
出し、メモリ8bに記憶する。以上の処理を映像の上か
ら下まで繰り返す。そして、白線の中心点を通る線45
の延長線が白色でない画素と交差する点46を検出し、
2本の白線のベクトル47,48を求める。
【0032】図5のステップ22において、視点変換処
理後の車両後方映像に対しても上述した特徴点検出方法
により2本の白線があるかどうかを調べ、2本の白線が
なければ処理を終了して図4の制御プログラムへリター
ンする。車両後方映像に2本の白線が検出されたらステ
ップ24へ進み、図6に示すサブルーチンを実行して後
方カメラ3の映像、すなわち自車後方の映像を拡大また
は縮小、回転、移動させて目標駐車場映像と共通の2つ
の特徴点、すなわち2本の白線を重ね合わせる。
【0033】図6のステップ31において、目標駐車場
の映像上で特徴点間の距離、すなわち2本の白線ベクト
ル47,48の間の距離49(図13参照)を計測す
る。次に、ステップ32で後方カメラ3の自車後方映像
上で特徴点間の距離、すなわち2本の白線間の距離を計
測する。ステップ33では、自車後方の映像を拡大また
は縮小して2本の白線間の距離を、目標駐車場の映像上
での2本の白線間の距離に一致させる。
【0034】ステップ34で、図14に示すように、目
標駐車場の映像31上での2本の白線ベクトル47,4
8と、自車後方の映像51上での2本の白線ベクトルと
が平行になるように、自車後方の映像51を回転させ
る。さらにステップ35で自車後方の映像51をX軸お
よびY軸方向に移動させて、2つの映像31,51の2
つの特徴点を重ね合わせることができるか、すなわち2
つの映像31,51の2本の白線ベクトルがそれぞれ重
なるかどうかを確認する。2つの映像31,51の2本
の白線ベクトルが重ならない場合は処理を終了して図5
のサブルーチンへリターンし、重なる場合はステップ3
6へ進む。ステップ36では自車後方の映像51の拡大
量または縮小量、回転量および移動量をメモリ8bに記
憶し、処理を終了して図5のサブルーチンへリターンす
る。
【0035】なお、図15に示すように、目標駐車場の
映像31と自車後方の映像51の各特徴点を一致させる
際に、車両の移動量と操舵角を検出して初期位置52か
らの移動軌跡53と現在位置54を常に演算することに
よって、2つの映像31と51のおおよその位置関係が
把握できるので、特徴点を重ね合わせる処理を短時間で
行うことができる。
【0036】このように、この第1の実施の形態によれ
ば、目標駐車場の映像と自車の進行方向の映像、すなわ
ち自車後方の映像との共通の特徴点、すなわち白線を検
出し、目標駐車場の映像に対して自車後方の映像を縮小
または拡大、回転、移動することによって両映像の白線
を重ね合わせ、自車後方の映像の縮小量または拡大量、
回転量および移動量により目標駐車場の映像上での自車
の現在位置を検出し、目標駐車場の映像上の自車の現在
位置に自車の画像を重ねて表示するようにしたので、カ
メラとモニターが設置されていない駐車場に後退で進入
する場合でも、視認が困難な自車後方の環境と自車との
位置関係を運転者に容易に把握させることができ、運転
者の駐車操作を支援することができる。
【0037】《発明の第2の実施の形態》現在の操舵角
のままで所定距離移動後の自車位置を推定し、目標駐車
場の映像に推定自車位置の画像を重ねて表示することに
よって、車両の挙動が推測できない運転者の駐車操作を
支援するようにした第2の実施の形態を説明する。
【0038】図16は第2の実施の形態の構成を示す。
なお、図1に示す機器と同様な機器に対しては同一の符
号を付して相違点を中心に説明する。この第2の実施の
形態は、図1に示す第1の実施の形態の構成にシフトセ
ンサー61と舵角センサー62を加えたものである。シ
フトセンサー61は変速機のシフトレバー(不図示)の
パーキング位置への設定操作を検出し、舵角センサー6
2は操舵輪の舵角を検出する。
【0039】上述した第1の実施の形態では、目標駐車
場の映像と自車後方の映像との共通の特徴点を検出し、
目標駐車場の映像に対して自車後方の映像を縮小または
拡大、回転、移動することによって両映像の共通の特徴
点を重ね合わせ、自車後方の映像の縮小量または拡大
量、回転量および移動量により目標駐車場の映像上での
自車の現在位置を検出し、目標駐車場の映像上の自車の
現在位置に自車の画像を重ねて表示した。この第2の実
施の形態では、上述した第1の実施の形態の処理に加
え、図17に示す所定距離移動後の自車位置の推定と、
その推定位置への自車画像の表示処理とを実行する。
【0040】ステップ41において、シフトセンサー6
1からシフトレバー位置の情報を、舵角センサー62か
ら操舵角の情報をそれぞれ入力する。続くステップ42
でシフトレバーがパーキング位置に設定されているかど
うかを確認し、パーキング位置に設定されているときは
車両の移動はないから処理を終了する。パーキング位置
に設定されていないときはステップ43へ進み、現在の
操舵角のままで予め設定した距離だけ進んだと仮定した
場合の自車位置を推定演算する。そして、ステップ44
で目標駐車場の映像上の自車の推定位置に自車の画像を
重ねて合成し、合成した映像をモニター9に表示する。
【0041】図18は第2の実施の形態によるモニター
映像例である。上述した第1の実施の形態によって目標
駐車場の映像31上の自車の現在位置に自車の画像32
を表示した後、この第2の実施の形態によって所定距離
移動後の自車の推定位置に自車の画像63をさらに重ね
て表示する。なお、現在の自車位置から所定距離移動後
の自車の推定位置までの自車の移動軌跡を重ねて表示す
るようにしてもよい。
【0042】このように、第2の実施の形態によれば、
現在の操舵角のままで所定距離走行した後の目標駐車場
の映像上での自車の位置を推定し、目標駐車場の映像上
の自車の推定位置に自車の画像を合成して表示するよう
にしたので、このまま所定距離走行した後の自車と駐車
場環境との位置関係をモニター画面上で容易に把握する
ことができ、車両の挙動が推測できない運転者の駐車操
作を支援することができる。
【0043】なお、上述した第1および第2の実施の形
態では、目標駐車場の映像と自車後方の映像からそれぞ
れ白線を特徴点として検出し、それらを重ね合わせる例
を示したが、映像の特徴点は白線に限定されず、例えば
駐車場の車止めや隣接する駐車車両を特徴点としてもよ
い。
【0044】《発明の第3の実施の形態》縦列駐車時
に、目標縦列駐車場の映像上での自車の現在位置に自車
の画像を重ねて表示するようにした第3の実施の形態を
説明する。
【0045】この第3の実施の形態の構成は図1に示す
第1の実施の形態の構成と同様であり、図示と説明を省
略する。また、この第3の実施の形態の動作は、図4に
示す駐車支援制御プログラムのステップ10において図
19に示すサブルーチンを実行する点のみが第1の実施
の形態と相違するので、この相違点を中心に第3の実施
の形態の動作を説明する。
【0046】この第3の実施の形態では自車の左側方の
目標駐車場へ縦列駐車する場合を例に上げて説明する。
図20は、車両を進行方向左側の目標縦列駐車場に横付
けした状態を上から見た図である。縦列駐車の場合の撮
像範囲71は、上述した第1および第2の実施の形態の
横並びの駐車の場合よりも画角の広いレンズを用いて広
い範囲を撮像する必要がある。左側方カメラ1Aはズー
ムレンズを備えており、ズームレンズを広角側に設定し
て広い範囲71を撮像する。目標縦列駐車場72の前後
にはすでに他の車両73,74が駐車されている。な
お、75は壁である。
【0047】進行方向左側の縦列駐車場に駐車するとき
は、左側方カメラ1Aの正面に目標縦列駐車場72が来
る位置でいったん停車し、運転者が左側駐車開始スイッ
チ6を操作する。これにより、駐車支援動作が開始さ
れ、車両左側周辺の範囲71の映像が撮像されて上述し
た視点変換処理が行われる。これらの処理は上述した図
4のステップ2,4,5の処理に相当する。
【0048】図21は、図20に示す撮像範囲71の映
像を上述した視点変換(座標変換)処理した映像を示
す。図21に示す視点変換後の映像において、76は前
方隣接車両73の後部バンパー、77は後方隣接車両7
4の前部バンパー、75’は壁、78,79は変換前に
映像がなかった部分である。なお、上述したように、隣
接駐車車両73,74のような立体的な物体の映像を、
上から見た立体的な物体の映像に視点変換することはで
きないが、少なくとも障害物であることを認識できる映
像に変換することができる。
【0049】図22は後方カメラ3の撮像範囲を示す図
である。後方カメラ3の取り付け位置は上述した第1の
実施の形態と同様であり、自車後方の範囲15を撮像す
る。また、図23は、図22に示す撮像範囲15の映像
を視点変換処理した映像を示す。図23において、77
は後方駐車車両74の前部バンパーであり、81,82
は変換前に映像がなかった部分である。なお、自車後方
の撮像と撮像映像の視点変換処理は上述した図4のステ
ップ8,9の処理に相当する。
【0050】この第3の実施の形態では、図4に示す駐
車支援制御プログラムのステップ10において図19に
示すサブルーチンを実行し、目標縦列駐車場の映像と車
両後方の映像に基づいて目標縦列駐車場の映像上での自
車の現在位置を検出する。この実施の形態では、後方駐
車車両74の前部バンパー77の前縁線を、目標縦列駐
車場の映像と自車後方の映像との共通の特徴点とする。
【0051】図19のステップ51において、図21に
示す視点変換処理後の目標縦列駐車場の映像から、後方
駐車車両74の前部バンパー77の前縁線を検出する。
【0052】ここで、隣接駐車車両73,74のバンパ
ー76,77の前縁線および後縁線を検出する方法につ
いて説明する。まず、図21に示す視点変換処理後の目
標縦列駐車場の映像において各画素の色の頻度分布を調
べ、映像中で最も頻度の多い色を道路面の色とする。次
に、視点変換処理後の映像から縦方向エッジを抽出し、
その中から路面色またはそれに近い色のエッジを除く。
そして、映像の左右周辺部で最も長い縦方向のエッジ列
を隣接車両73,74のバンパー76,77の前縁線ま
たは後縁線であるとする。
【0053】次にステップ52で、図23に示す視点変
換処理後の自車後方映像から、上述した方法により後方
駐車車両74のバンパー77の前縁線を検出する。バン
パー77の前縁線が検出できなければ処理を終了し、検
出できたらステップ53へ進む。ステップ53では、図
24に示すように、自車後方映像83の後方車両バンパ
ー77の前縁線と、目標縦列駐車場の映像84の後方車
両バンパー77の前縁線とを重ね合わせるために、自車
後方の映像を拡大または縮小、回転、移動する。
【0054】ステップ54で、自車後方映像の後方車両
バンパー77の前縁線と、目標縦列駐車場映像の後方車
両バンパー77の前縁線とを重ね合わせることができた
かどうかを確認し、重ね合わせることができなければ処
理を終了し、重ね合わせることができたらステップ55
へ進む。ステップ55では、自車後方映像の拡大量また
は縮小量、回転量および移動量に基づいて、目標縦列駐
車場の映像84上での自車の現在位置を検出する。その
後、図4のステップ11へリターンする。
【0055】リターン後の図4のステップ11におい
て、目標縦列駐車場の映像84上での自車の現在位置を
検出できたかどうか確認し、確認できなかった場合はス
テップ6へ戻り、上述した処理を繰り返す。一方、自車
の現在位置が確認できた場合はステップ12へ進み、図
25に示すように目標縦列駐車場の映像84上の自車の
現在位置に自車画像85を重ねて合成し、続くステップ
13で合成映像をモニター9に表示して運転者の駐車操
作を支援する。運転者はこの映像を見ながら後退するこ
とによって、視認しずらい車両後方の環境と自車との位
置関係を容易に把握することができ、後退による縦列駐
車操作が容易になる。
【0056】このように、この第3の実施の形態によれ
ば、目標縦列駐車場の映像と自車後方の映像との共通の
特徴点、すなわち後方車両バンパーの前縁線を検出し、
目標縦列駐車場の映像に対して自車後方の映像を縮小ま
たは拡大、回転、移動することによって両映像の後方車
両バンパーの前縁線を重ね合わせ、自車後方の映像の縮
小量または拡大量、回転量および移動量により目標縦列
駐車場の映像上での自車の現在位置を検出し、目標縦列
駐車場の映像上の自車の現在位置に自車画像を重ねて表
示するようにしたので、縦列駐車場に後退で進入する場
合でも、視認が困難な自車後方の環境と自車との位置関
係を容易に把握させることができ、運転者の駐車操作を
支援することができる。
【0057】なお、上述した一実施の形態では、目標駐
車場の映像の自車の現在位置または推定位置に、自車の
画像を表示する例を示したが、自車画像を半透明の画像
または外枠のみの画像にすることによって、例えば自車
が白線上にあってもモニター画面上では自車画像の下に
ある白線を視認でき、2つの映像を重ねても目標駐車場
の映像の一部が見えなくなることがなく、車両後方環境
と自車との位置関係をさらに見やすくすることができ
る。
【0058】また、上述した一実施の形態では、自車の
左右側方に設置したカメラで目標駐車場を撮像するとと
もに、自車後部に設置したカメラで自車後方を撮像し、
両カメラの映像に基づいて目標駐車場の映像上での自車
の現在位置を検出する例を示したが、目標駐車場の映像
は一度撮像して画像メモリに記憶しておけばよいから、
自車後部に設置した1台のカメラで目標駐車場と自車後
方とを撮像するようにしてもよい。
【0059】上述した一実施の形態では、後退しながら
駐車場に進入する例を示したが、車両前部にカメラを設
置して前進しながら駐車場に進入する場合にも本発明を
適用することができる。例えば、大型トラックやバスな
どの運転室が高い位置にある車両では、車両のすぐ前の
道路環境が視認しにくいので、本発明を適用すると上述
した一実施の形態と同様な効果が得られる。
【0060】さらに、上述した一実施の形態では、座標
変換により車両の上から見た映像に変換した後の目標駐
車場の映像と自車後方の映像とに基づいて目標駐車場の
映像上での自車の現在位置を検出し、自車位置に自車画
像を重ねて合成し表示する例を示したが、座標変換を行
わず、カメラで撮像した目標駐車場の映像と自車後方の
映像とに基づいて目標駐車場の映像上での自車の現在位
置を検出し、自車位置に自車画像を重ねて合成し表示す
るようにしてもよい。
【図面の簡単な説明】
【図1】 第1の実施の形態の構成を示す図である。
【図2】 車両を進行方向左側の駐車場に横付けした状
態を上から見た図である。
【図3】 後方カメラの取り付け位置とその撮像範囲を
示す図である。
【図4】 第1の実施の形態の駐車支援制御プログラム
を示すフローチャートである。
【図5】 図4に続く、第1の実施の形態の駐車支援制
御プログラムを示すフローチャートである。
【図6】 図5に続く、第1の実施の形態の駐車支援制
御プログラムを示すフローチャートである。
【図7】 左側方カメラで駐車目標の進行方向左側の駐
車場を撮像した映像を示す図である。
【図8】 視点変換(座標変換)処理を説明するための
図である。
【図9】 図8に示す実カメラ映像と仮想カメラ映像と
の位置関係を横から見たY−Z平面と上から見たX−Z
平面に展開した図である。
【図10】 図7に示す車両左側駐車場の映像に視点変
換処理を行って車両の上から見た映像に変換した映像を
示す図である。
【図11】 説明のために目標駐車場への進入途中の車
両と、車両後方の撮像範囲と、目標駐車場の映像とを重
ねて示した図である。
【図12】 目標駐車場の映像に自車画像を重ねて合成
した映像例を示す図である。
【図13】 2本の白線を含む映像からこれらの白線を
特徴点として検出する方法を説明するための図である。
【図14】 目標駐車場の映像の特徴点と自車後方の映
像の特徴点とを一致させる方法を説明するための図であ
る。
【図15】 目標駐車場の映像の特徴点と自車後方の映
像の特徴点とを短時間で一致させる変形例の方法を説明
するための図である。
【図16】 第2の実施の形態の構成を示す図である。
【図17】 第2の実施の形態の所定距離移動後の自車
位置の推定と推定自車位置の表示処理を示すフローチャ
ートである。
【図18】 第2の実施の形態の表示例を示す図であ
る。
【図19】 第3の実施の形態の目標縦列駐車場の映像
上での自車位置を検出するサブルーチンを示すフローチ
ャートである。
【図20】 車両を進行方向左側の縦列駐車場に横付け
した状態を上から見た図である。
【図21】 図20に示す撮像範囲の映像を視点変換処
理した目標縦列駐車場の映像を示す図である。
【図22】 後方カメラの取り付け位置とその撮像範囲
を示す図である。
【図23】 図22に示す撮像範囲の映像を視点変換処
理した車両後方の映像を示す図である。
【図24】 目標縦列駐車場映像と自車後方映像との共
通の特徴点を一致させる方法を説明するための図であ
る。
【図25】 目標縦列駐車場の映像上の自車の現在位置
に自車の画像を重ねて合成した映像を示す図である。
【符号の説明】
1,1A 左側方カメラ 2 右側方カメラ 3 後方カメラ 4 イグニッションスイッチ 5 キャンセルスイッチ 6 左側駐車開始スイッチ 7 右側駐車開始スイッチ 8 コントローラー 8a マイクロコンピューター 8b メモリ 9 モニター 10 車両 11 撮像範囲 12 駐車場 13 車止め 14 路面 15 撮像範囲 21 目標駐車場 22,23 白線 24,25 隣接駐車車両 26 壁 31 目標駐車場の映像 32 自車の画像 47,48 白線のベクトル 49 白線間の距離 51 自車後方の映像 61 シフトセンサー 62 舵角センサー 63 自車の画像 71 撮像範囲 72 目標縦列駐車場 73,74 隣接駐車車両 75 壁 76 前方車両の後部バンパーの後縁線 77 後方車両の前部バンパーの前縁線 83 自車後方の映像 84 目標縦列駐車場の映像 85 自車の画像
フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) B60R 21/00 622 B60R 21/00 622K 626 626G 1/00 1/00 A

Claims (7)

    【特許請求の範囲】
  1. 【請求項1】車両に搭載されて目標駐車場を撮像する駐
    車場撮像手段と、 車両に搭載されて車両進行方向を撮像する進行方向撮像
    手段と、 前記目標駐車場の映像と前記車両進行方向の映像とに基
    づいて、前記目標駐車場の映像上での自車の現在位置を
    検出する現在位置検出手段と、 前記目標駐車場の映像上の前記自車の現在位置に自車の
    画像を重ねて合成する画像合成手段と、 前記合成画像を表示する表示手段とを備えることを特徴
    とする駐車支援装置。
  2. 【請求項2】請求項1に記載の駐車支援装置において、 前記現在位置検出手段は、前記目標駐車場の映像と前記
    車両進行方向の映像との共通の特徴点を検出する特徴点
    検出手段と、 前記両映像の共通の特徴点を重ね合わせるように、前記
    車両進行方向の映像を拡大または縮小、回転および移動
    する画像処理手段と、 前記画像処理手段による前記車両進行方向の映像の拡大
    量または縮小量、回転量および移動量に基づいて、前記
    目標駐車場の映像上での自車の現在位置を演算する現在
    位置演算手段とを有することを特徴とする駐車支援装
    置。
  3. 【請求項3】請求項2に記載の駐車支援装置において、 前記現在位置検出手段は、前記目標駐車場の映像と前記
    車両進行方向の映像とを視点変換処理して車両を上から
    見た映像に変換する視点変換手段を有し、 視点変換処理後の映像に基づいて前記目標駐車場の映像
    上での自車の現在位置を検出することを特徴とする駐車
    支援装置。
  4. 【請求項4】請求項1〜3のいずれかの項に記載の駐車
    支援装置において、 操舵角を検出する舵角検出手段と、 現在の操舵角のままで所定距離走行した後の前記目標駐
    車場の映像上での自車の位置を推定する位置推定手段と
    を備え、 前記画像合成手段は、前記目標駐車場の映像上の前記所
    定距離走行後の自車の推定位置に自車の画像を重ねて合
    成することを特徴とする駐車支援装置。
  5. 【請求項5】請求項1〜4のいずれかの項に記載の駐車
    支援装置において、 前記画像合成手段は、半透明または外枠のみの自車の画
    像を前記目標駐車場の映像に重ねて合成することを特徴
    とする駐車支援装置。
  6. 【請求項6】請求項1〜5のいずれかの項に記載の駐車
    支援装置において、 駐車範囲を区分する白線を前記両映像の共通の特徴点と
    することを特徴とする駐車支援装置。
  7. 【請求項7】請求項1〜5のいずれかの項に記載の駐車
    支援装置において、 縦列駐車場の隣接車両のバンパーの前縁線または後縁線
    を前記両映像の共通の特徴点とすることを特徴とする駐
    車支援装置。
JP2000211256A 2000-07-12 2000-07-12 駐車支援装置 Expired - Lifetime JP4156181B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000211256A JP4156181B2 (ja) 2000-07-12 2000-07-12 駐車支援装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000211256A JP4156181B2 (ja) 2000-07-12 2000-07-12 駐車支援装置

Publications (2)

Publication Number Publication Date
JP2002029350A true JP2002029350A (ja) 2002-01-29
JP4156181B2 JP4156181B2 (ja) 2008-09-24

Family

ID=18707391

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000211256A Expired - Lifetime JP4156181B2 (ja) 2000-07-12 2000-07-12 駐車支援装置

Country Status (1)

Country Link
JP (1) JP4156181B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004168085A (ja) * 2002-11-18 2004-06-17 Nissan Motor Co Ltd 駐車支援装置
JP2004213489A (ja) * 2003-01-07 2004-07-29 Nissan Motor Co Ltd 車両用運転支援装置
JP2012001081A (ja) * 2010-06-16 2012-01-05 Nissan Motor Co Ltd 駐車支援システム
KR200463011Y1 (ko) 2010-01-07 2012-10-16 쓰리에이치비젼주식회사 주차 가이드 라인 장치
EP2927077A4 (en) * 2012-11-27 2016-04-27 Nissan Motor DEVICE FOR SUPPRESSING VEHICLE ACCELERATION
JP2020175728A (ja) * 2019-04-16 2020-10-29 三菱重工交通機器エンジニアリング株式会社 ボーディングブリッジの制御システム
JP2020175727A (ja) * 2019-04-16 2020-10-29 三菱重工交通機器エンジニアリング株式会社 ボーディングブリッジ及びその制御装置
CN114783248A (zh) * 2022-03-01 2022-07-22 中国人民解放军空军工程大学 一种特种装备复杂作业环境下的精确停车定位方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09180100A (ja) * 1995-12-22 1997-07-11 Mitsubishi Motors Corp 駐車判定方法及び装置
JPH11151975A (ja) * 1997-11-25 1999-06-08 Nissan Motor Co Ltd 死角範囲表示装置
WO2000007373A1 (fr) * 1998-07-31 2000-02-10 Matsushita Electric Industrial Co., Ltd. Procede et appareil d'affichage d'images
JP2000229547A (ja) * 1998-10-08 2000-08-22 Matsushita Electric Ind Co Ltd 運転操作補助装置および記録媒体
WO2000064175A1 (fr) * 1999-04-16 2000-10-26 Matsushita Electric Industrial Co., Ltd. Dispositif de traitement d'images et systeme de surveillance
JP2001347909A (ja) * 2000-04-05 2001-12-18 Matsushita Electric Ind Co Ltd 運転操作補助方法および装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09180100A (ja) * 1995-12-22 1997-07-11 Mitsubishi Motors Corp 駐車判定方法及び装置
JPH11151975A (ja) * 1997-11-25 1999-06-08 Nissan Motor Co Ltd 死角範囲表示装置
WO2000007373A1 (fr) * 1998-07-31 2000-02-10 Matsushita Electric Industrial Co., Ltd. Procede et appareil d'affichage d'images
JP2000229547A (ja) * 1998-10-08 2000-08-22 Matsushita Electric Ind Co Ltd 運転操作補助装置および記録媒体
WO2000064175A1 (fr) * 1999-04-16 2000-10-26 Matsushita Electric Industrial Co., Ltd. Dispositif de traitement d'images et systeme de surveillance
JP2001347909A (ja) * 2000-04-05 2001-12-18 Matsushita Electric Ind Co Ltd 運転操作補助方法および装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004168085A (ja) * 2002-11-18 2004-06-17 Nissan Motor Co Ltd 駐車支援装置
JP2004213489A (ja) * 2003-01-07 2004-07-29 Nissan Motor Co Ltd 車両用運転支援装置
KR200463011Y1 (ko) 2010-01-07 2012-10-16 쓰리에이치비젼주식회사 주차 가이드 라인 장치
JP2012001081A (ja) * 2010-06-16 2012-01-05 Nissan Motor Co Ltd 駐車支援システム
EP2927077A4 (en) * 2012-11-27 2016-04-27 Nissan Motor DEVICE FOR SUPPRESSING VEHICLE ACCELERATION
JP2020175728A (ja) * 2019-04-16 2020-10-29 三菱重工交通機器エンジニアリング株式会社 ボーディングブリッジの制御システム
JP2020175727A (ja) * 2019-04-16 2020-10-29 三菱重工交通機器エンジニアリング株式会社 ボーディングブリッジ及びその制御装置
JP7321750B2 (ja) 2019-04-16 2023-08-07 三菱重工交通・建設エンジニアリング株式会社 ボーディングブリッジの制御システム
JP7321749B2 (ja) 2019-04-16 2023-08-07 三菱重工交通・建設エンジニアリング株式会社 ボーディングブリッジ及びその制御装置
CN114783248A (zh) * 2022-03-01 2022-07-22 中国人民解放军空军工程大学 一种特种装备复杂作业环境下的精确停车定位方法
CN114783248B (zh) * 2022-03-01 2023-09-15 中国人民解放军空军工程大学 一种特种装备复杂作业环境下的精确停车定位方法

Also Published As

Publication number Publication date
JP4156181B2 (ja) 2008-09-24

Similar Documents

Publication Publication Date Title
JP5380941B2 (ja) 駐車支援装置及び方法
JP5003946B2 (ja) 駐車支援装置
JP3427823B2 (ja) 縦列駐車時の車両後退支援装置
JP3695319B2 (ja) 車両周辺モニタ装置
EP1355285B1 (en) Image display apparatus and method for automotive vehicle
JP2002308029A (ja) 運転支援装置
WO2012043092A1 (ja) 駐車支援装置
JP5471141B2 (ja) 駐車支援装置及び駐車支援方法
JP4772409B2 (ja) 画像表示システム
JP2003063340A (ja) 運転補助装置
JP5446139B2 (ja) 駐車支援装置及び駐車支援方法
JP2004240480A (ja) 運転支援装置
JP5067169B2 (ja) 車両用駐車支援装置および画像表示方法
JP4797877B2 (ja) 車両用映像表示装置及び車両周囲映像の表示方法
JP2006268076A (ja) 運転支援システム
JP2010028432A (ja) 駐車支援装置および画像表示方法
JP2002354467A (ja) 車両周囲情報表示装置
JP5400316B2 (ja) 駐車支援装置
JP2007168560A (ja) 駐車支援装置
JP2012176656A (ja) 駐車支援装置
JP4156181B2 (ja) 駐車支援装置
JP4092479B2 (ja) 車両用運転支援装置
JP3374833B2 (ja) 駐車時の車両後退支援装置
JP3988551B2 (ja) 車両周囲監視装置
JP2002029314A (ja) 駐車支援装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20041129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050204

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20050913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051114

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20051117

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20051209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080520

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080709

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110718

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4156181

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110718

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120718

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120718

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130718

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140718

Year of fee payment: 6

EXPY Cancellation because of completion of term