JP2001122059A - 車両用駐車スペース検出装置 - Google Patents

車両用駐車スペース検出装置

Info

Publication number
JP2001122059A
JP2001122059A JP30467599A JP30467599A JP2001122059A JP 2001122059 A JP2001122059 A JP 2001122059A JP 30467599 A JP30467599 A JP 30467599A JP 30467599 A JP30467599 A JP 30467599A JP 2001122059 A JP2001122059 A JP 2001122059A
Authority
JP
Japan
Prior art keywords
vehicle
distance
change
parking space
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP30467599A
Other languages
English (en)
Other versions
JP4320873B2 (ja
Inventor
Tomoki Kubota
智氣 窪田
Hideaki Morita
英明 森田
Hidefumi Okabe
英文 岡部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Equos Research Co Ltd
Original Assignee
Equos Research Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Equos Research Co Ltd filed Critical Equos Research Co Ltd
Priority to JP30467599A priority Critical patent/JP4320873B2/ja
Publication of JP2001122059A publication Critical patent/JP2001122059A/ja
Application granted granted Critical
Publication of JP4320873B2 publication Critical patent/JP4320873B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Traffic Control Systems (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

(57)【要約】 【課題】 正確に駐車スペースを検出することが可能な
車両用駐車スペース検出装置を提供する。 【解決手段】 超音波センサ14で検出対象物までの距
離を測定する。CCDイメージセンサ12で検出対象物
の色を検出し、車両と駐車スペースの色の違いで両者を
区別する。そして測定距離が変化した車両位置Xpと、
色が変化した車両位置Xcの間のサンプリング距離を補
正する。距離変化、色変化の順で両変化を検出した場合
にはXp〜Xc間の距離を距離変化が検出される前の距
離に補正する。逆に、色変化の後に距離変化を検出した
場合にはXc〜Xp間の距離を距離変化が検出された際
(後)の距離に補正する。距離センサ14、CCDイメ
ージセンサ12用いて自車と周りの車両とのより正確な
位置関係を車中でモニタリングすることができ、駐車の
際の運転者の負担を軽減させることができる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は車両用駐車スペース
検出装置に係り、例えば、駐車注の車や壁までの距離を
超音波を使用して測定することで駐車スペースを検出す
る車両用駐車スペース検出装置に関する。
【0002】
【従来の技術】駐車場等で車両を駐車する場合、駐車ス
ペースの両側や、前後(縦列駐車の場合)にすでに他の
車両が駐車していたり、一方の側が壁や柱であったりす
ることがよくある。このような場合、駐車中の両車両間
のスペースが自車両の駐車可能なスペースか否かの判断
や、駐車可能と判断した場合の車両移動操作等について
は運転者の経験や技量に負うところが多い。このような
車両を駐車する際に、駐車可能なスペースがあるか否か
を確認する装置が提案されている(特開昭58−584
83)。この駐車スペース確認装置では、物体までの距
離をフェンダーミラーに取り付けた超音波センサの送受
信時間差から検出し、この検出距離が所定距離を超えて
いる間に車両が走行した距離を検出し、この走行距離が
駐車可能な距離を超えたかどうかを判定している。この
ように、駐車可能なスペースか否かを装置が判断してく
れるので、駐車の際運転者の負担を軽減することが可能
になる。
【0003】
【発明が解決しようとする課題】図9は、超音波センサ
による距離の測定状態を表したものである。この図に示
されるように、超音波センサから出力される超音波は一
定の広がりを持って発射され、その指向性はそれ程鋭く
ない。半値角として20°〜30°程度(ビーム角40
°〜60°)の広がりを持っている。このため、図9に
示すように段差のある物体(壁面Z1,Z2)の測定す
る場合、車両から離れた側の壁面Z2の位置で測定して
も、ビーム角内に車両により近い壁面Z1が存在すると
壁面Z1までの距離を測定してしまうことになる。つま
り、超音波センサでは段差の境目を検出できず、車両に
近い側の距離を検出してしまうため、両側に他の車両が
存在する駐車スペースを検出する場合、実際よりも狭い
範囲を検出してしまうという問題がある。
【0004】本発明はこのような従来の課題を解決する
ためになされたもので、より正確に駐車スペースを検出
することが可能な車両用駐車スペース検出装置を提供す
ることを第1の目的とする。また、本発明は検出した駐
車スペースに容易に駐車することができるように運転者
をガイドする機能を備えた車両用駐車スペース検出装置
を提供することを第2の目的とする。
【0005】
【課題を解決するための手段】請求項1に記載した発明
では、車両の側方向に超音波を発信し、その反射波を受
信することで側方に存在する検出対象物までの距離をサ
ンプリング距離として測定する超音波距離センサと、進
行方向の車両位置を検出する車両位置検出手段と、前記
車両の進行に伴い、前記超音波距離センサにより所定間
隔で測定される前記サンプリング距離を、前記車両位置
に対応させて記憶する距離記憶手段と、前記検出対象物
の色の変化を検出する色変化検出手段と、前記色変化検
出手段により色の変化が検出された場合に、色の変化が
検出された前記車両位置を使用して、前記記憶手段に格
納されたサンプリング距離を補正する距離補正手段と、
前記距離補正手段による補正後の前記サンプリング距離
に基づいて、車両の駐車スペースを検出する駐車スペー
ス検出手段と、を車両用駐車スペース検出装置に具備さ
せて前記第1の目的を達成する。請求項2に記載した発
明では、請求項1に記載した車両用駐車スペース検出装
置において、前記超音波センサで測定される前記サンプ
リング距離の変化量を算出し、この変化量が予め定めた
しきい値を越えた場合に距離変化として検出する距離変
化検出手段を備え、前記距離補正手段は、前記距離変化
検出手段で距離の変化が検出された前記車両位置と、前
記色変化検出手段で色の変化が検出された前記車両位置
間を補正する。請求項3に記載した発明では、請求項1
又は請求項2に記載した車両用駐車スペース検出装置に
おいて、画像を表示する表示装置と、前記補正手段によ
り補正され前記距離記憶手段に記憶されたサンプリング
距離に基づいて、前記検出対象物及び前記駐車スペース
検出手段で検出した駐車スペースを車両の形状と共に前
記表示装置に画像表示する表示制御手段とを具備させ
る。請求項4に記載した発明では、請求項3に記載した
車両用駐車スペース検出装置において、車両の操舵角を
検出する操舵角検出手段と、前記操舵角検出手段に基づ
いて車両の進行予想ラインを求める進行ライン算出手段
とを備え、前記表示制御手段は、前記進行ライン算出手
段で算出される進行予想ラインを、車両の移動にあわせ
てリアルタイムに変化させながら前記表示装置に表示す
る、ことにより前記第2の目的を達成する。
【0006】
【発明の実施の形態】以下、本発明の車両用駐車スペー
ス検出装置における好適な実施の形態について、図1か
ら図8を参照して詳細に説明する。 (1)実施形態の概要 本実施形態の車両用駐車スペース検出装置では、距離セ
ンサとして従来の超音波センサを使用し、車両側方の検
出対象物(車両や壁)までの距離(サンプリング距離)
を、進行しながら定期的に測定する。一方、CCDイメ
ージセンサを使用して検出対象物の色を検出し、車両と
駐車スペースの色情報の違いによって両者の区別を行
う。そして、超音波センサによるサンプリング距離の変
化量が所定のしきい値Psを越えた車両位置Xpと、色
の変化量が所定のしきい値Csを越えた車両位置Xcの
間のサンプリング距離を補正する。車両が所定距離(例
えば、50cm又は1m)進行する間に距離変化、色変
化の順で両変化が検出された場合には、Xp〜Xc間の
サンプリング距離を距離変化が検出される前のサンプリ
ング距離に補正する。逆に、色変化の後に距離変化が検
出された場合には、Xc〜Xp間のサンプリング距離を
距離変化が検出された際(後)のサンプリング距離に補
正する。補正後のサンプリング距離を含めた全サンプリ
ング距離を使用して駐車スペースを検出し、ディスプレ
イに車両形状と共に画像表示する。ディスプレイに表示
される駐車スペースは、その表示色を変えることで、駐
車可能なスペースか否かを運転者に告知する(告知手
段)ことが可能になる。このように本実施形態では、距
離センサ、CCDイメージセンサ等用いて、自車と周り
の車両とのより正確な位置関係を車中でモニタリングす
ることができ、駐車の際の運転者の負担を軽減させるこ
とができる。また、駐車可能なスペース(幅)を設定す
ることができ、運転者の技量に応じた駐車スペースを検
出することができる。さらに、駐車スペースと他車両、
自車両を表示したディスプレイに、車両の進行量と操舵
角から車両の進行予想ラインをリアルタイムに変化させ
ながら表示することで、運転者の駐車操作をガイドし、
運転者の負担を更に軽減することができる。
【0007】(2)実施形態の詳細 図1は本実施形態における車両用駐車スペース検出装置
の構成を表したものである。この図1に示すように、車
両用駐車スペース検出装置は、ECU(電子制御部)1
0を備えており、このECU10には、CCDイメージ
センサ12、超音波センサ14、ステアリングセンサ1
6、車速センサ18、ディスプレイ20、スピーカ22
が接続されている。
【0008】ECU10は、図示しないCPU、RO
M、RAM、その他の機器等を備えたコンピュータシス
テムにより構成されている。ECU10のCPUは、R
OMを含む記憶手段に記憶された各種プログラムに従っ
て、システム全体を制御すると共に、本実施形態による
障害物位置測定処理、色情報測定処理、モニタ表示処
理、駐車の際のガイド処理、その他の車両用駐車スペー
ス検出装置で必要な各種処理を行うようになっている。
ROMにはこれらの各種処理をCPUで実行するための
プログラムやデータが格納され、RAMにはCPUが各
種プログラム実行に際して各種データが読み書きされる
いわゆるワーキングエリアとして使用される。
【0009】ECU10は、記憶部100を備えてい
る。この記憶部100には、超音波センサ14で測定し
たサンプリング距離が車両位置に対応して格納される距
離記憶部101の他、変化位置記憶部102、しきい値
記憶部103、スペース幅記憶部104、その他の各エ
リアが確保されている。変化位置記憶部102には、距
離変化が検出された車両位置(Xp,Yp)及び色変化
が検出された車両位置(Xc,Yc)が格納される。し
きい値記憶部103には、距離変化量を判断するための
しきい値Psや色変化を判断するためのしきい値Cs、
及び、駐車スペースの奥行きに関する基準値1、基準値
2が格納される。基準値1は車幅に対応した基準値で縦
列駐車が可能な奥行きか否かを判断するためのものであ
り、基準値は車両全長に対応した基準値で横列駐車が可
能な奥行きかを判断するためのものである。従って基準
値1>基準値2の関係にある。スペース幅記憶部104
は、駐車可能なスペースか否かを判断するスペース幅が
格納され、縦列駐車の場合に使用される車両全長方向の
スペース幅と、横列駐車の場合に使用される車幅方向の
スペース幅とが格納される。
【0010】なお、記憶部100は同一種類の記憶媒体
である必要はなく、各部が異なる記憶媒体に格納される
ようにしてもよい。例えば、距離記憶部101及び変化
位置記憶部102をRAMに格納し、しきい値記憶部1
03をRAMに格納し、スペース幅記憶部104をIC
カードに格納するようにしてもよい。スペース記憶部1
04をICカードに格納することで、運転者は他の車両
においても自分の技量にあったスペース幅で駐車スペー
スを検出することができる。但し、他の車両でも使用で
きるようにする場合には、スペース幅=駐車スペースで
はなく、スペース幅として駐車可能スペースから車幅を
減じた値が格納される。
【0011】CCDイメージセンサ12は、車両側方の
画像を撮像するセンサで、所定のエリアを撮像するエリ
アイメージセンサが使用される。このCCDイメージセ
ンサ12は、車両の前側の両側面に2つ、後側の両側面
に2つの合計4つが、超音波センサ14と共に配置され
る。具体的には、前方2つのCCDイメージセンサ12
がフェンダーミラー、又はフェンダーミラーが無い場合
にはサイドミラーやフロント・バンパー等に配置され、
後方のCCDイメージセンサ12がリア・バンパー等に
配置されている。車両前方両側面に配置されたCCDイ
メージセンサ12は、車両が前進する場合の測定に使用
され、車両後方両側面に配置されたCCDイメージセン
サ12は車両が行進する場合の測定に使用される。CC
Dイメージセンサ12は、ECU10と共に検出対象物
の色の変化を検出する色変化検出手段として機能するよ
うになっている。なお、本実施形態におけるCCDイメ
ージセンサ12はエリアイメージセンサを使用するが、
スリット状の範囲を撮像するリニアイメージセンサを使
用し、スリットが鉛直方向になる向きで撮像するように
してもよい。また、CCDイメージセンサ12は、車両
の前後方両側面の合計4つ配置したが、前方両側面又は
後方両側面のみ2つ配置するようにしてもよい。
【0012】超音波センサ14は、電気信号を超音波に
変えて空気中に発射する超音波スピーカ(送波器)部
と、空気中を伝搬してきた超音波を受けてそれを電気信
号に変える超音波マイクロホン(受波器)部を有する超
音波トランジューサを備えており、超音波スピーカ部か
ら超音波を送信してから超音波マイクロホンで反射波を
受信するまでの時間から検査対象物までの距離を測定す
るセンサである。この超音波センサ14は、車両の前側
の両側面に2つ、後側の両側面に2つの合計4つが、そ
れぞれCCDイメージセンサ12の近傍に配置されてい
る。超音波センサ14もCCDイメージセンサ12と同
様に、車両が前進する場合には車両前方両側面の超音波
センサ14が使用され、後進する場合には車両後方両側
面の超音波センサ14が使用される。また、CCDイメ
ージセンサ12が、前方両側面又は後方両側面のみ2つ
配置する場合には、超音波センサ14も同じ方(前方又
は後方)に2つのみ配置される。
【0013】ステアリングセンサ16は、車両の操舵角
を測定するためのセンサであり、操舵角検出手段として
機能すると共に、車速センサ18と共に車両位置検出手
段として機能するようになっている。車速センサ18
は、車両の車速Vを検出する。スピーカ22は、本実施
形態による測定の開始や、駐車可能なスペースか否か
を、所定の音や音声を車両することで告知するための告
知手段として機能する。
【0014】ディスプレイ20は、表示装置として機能
し、表示制御手段として機能するECU10の制御のも
と、駐車中の車両、駐車スペース、自車両形状等を画像
表示するようになっている。ディスプレイ20として
は、CRT、液晶表示装置、プラズマディスプレイ等の
各種表示装置が使用される。このディスプレイ20の表
示を見ながら、運転者は測定した駐車車両の位置及び駐
車スペースと自車両の位置関係をモニタリングすること
ができる。また、ディスプレイ20には、ステアリング
センサ16から操舵角を測定して車両の進行予想ライン
(駐車ガイドライン)も表示され、運転者のハンドル操
作に応じて、駐車ガイドラインをリアルタイムに更新す
ることで、ドライバーの駐車をアシストすることが可能
になる。
【0015】次にこのように構成された車両用駐車スペ
ース検出装置における動作について説明する。図2、図
3は、駐車スペースを検出する場合の各測定状態を表し
たものである。図2(a)に示すように、駐車場には壁
30に対して垂直方向に2台の駐車車両A、Bがスペー
スMを空けて駐車しており、車両用駐車スペース検出装
置が搭載された車両1が白抜きの矢印方向(図面右側方
向)に進行しながら駐車スペースMを検出するものとす
る。また、超音波センサ14で検出される検出対象物ま
でのサンプリング距離をPとし、最新の測定値P0、1
つ前の測定値をP1とする。
【0016】なお、車両1の4角に配置された4つの各
センサ46a〜46dは、CCDイメージセンサ12と
超音波センサ14とで構成されているものとし、図2に
示した例では、前進しながら右側の測定を行うのでセン
サ46aが使用される。そして測定が開始した後はCC
Dイメージセンサ12は、所定間隔毎に検出対象物まで
の距離測定を行い、CCDイメージセンサ12は連続的
に画像を撮像しECU10で色の変化が検出される。
【0017】図2(a)に示す状態では、車両1が駐車
車両Aの十分手前では、超音波センサ14のビーム角内
(ビーム範囲内)に駐車車両Aが存在しないため、測定
されるサンプリング距離がP1、P0はともに壁30ま
での距離が測定される。この場合にはサンプリング距離
P1とP0の変化量(P1−P0)はゼロであり、距離
変化は検出されないため測定した壁30までのサンプリ
ング距離P1,P0がその測定位置と共に距離記憶部1
01に格納される。
【0018】車両1が白抜矢印方向に前進し、図2
(b)に示すように駐車車両Aのわずかに手前まで接近
し、超音波センサ14のビーム内に駐車車両Aが存在す
る位置までくると、センサ46は壁30に対向していて
も駐車車両Aまでの距離が測定され、この距離P0がサ
ンプリング距離としてその測定位置(Xp,Yp)と共
に距離記憶部101に格納される。一方、この位置にお
いて1つ前のサンプリング距離P1に対する変化量(P
1−P0)が、しきい値記憶部103に格納された距離
のしきい値Psより大きいので、距離変化があったもの
として検出され、このときの車両位置(Xp,Yp)が
距離変化検出位置として変化位置記憶部102に格納さ
れる。この車両位置において指向性が狭いCCDイメー
ジセンサ12では壁30の色を検出しているため色の変
化量は検出されない。
【0019】そして更に車両1が前進し、図2(c)に
示すようにセンサ46aが駐車車両Aの端部に来ると、
超音波センサ14は駐車車両Aまでの距離を測定し距離
変化は無いが、CCDイメージセンサ12での検出色が
壁30の色から駐車車両Aの色に変化するため色の変化
が検出され、その測定位置(Xc,Yc)が変化位置記
憶部102に格納される。そして、変化位置記憶部10
2に格納された、距離変化検出位置(Xc,Yc)から
色変化検出位置(Xc,Yc)までの間に距離記憶部1
01に格納されたサンプリング距離(駐車車両Aまでの
距離が格納されている)を、距離変化を検出した際に変
化量算出に使用した両距離P1、P0のうちの距離が長
い側の距離P1(=Pp)に変更する。すなわち、所定
距離内で距離変化検出、色変化検出の順番に変化を検出
したので、距離変化を検出する直前の(1つ前の)サン
プリング距離Pp(壁30までの距離)に変更する。こ
れにより車両1の進行方向にみて色変化検出位置(X
c,Yc)までのサンプリング距離、すなわち、壁30
と駐車車両Aとの境界部まで(図2(c)のΔXで示す
範囲)のサンプリング距離が、正しく壁30までの距離
に修正されて距離記憶部101に格納される。
【0020】以下同様に車両1の進行と共に、サンプリ
ング距離の測定と距離記憶部101への格納、距離変化
及び色変化の検出を継続する。そして、図3(d)に示
すように、車両1のセンサ46a位置が駐車車両Aと壁
面30の境界部を通過するとCCDイメージセンサ12
により色変化が検出され、その色変化検出位置(Xc,
Yc)が変化位置記憶部102に格納される。その後車
両が少し進行して図3(e)に示す状態になると、超音
波14のビーム範囲(ビーム角)から駐車車両Aがはず
れるため、壁30までの距離が測定される。そして、距
離変化が検出され、距離変化検出位置(Xp,Yp)が
変化位置記憶部102に格納される。そして、変化位置
記憶部102に格納された色変化検出位置(Xc,Y
c)から距離変化検出位置(Xp,Yp)までの間に、
距離記憶部101に格納されたサンプリング距離(駐車
車両Aまでの距離が格納されている)を、距離変化を検
出した際に変化量算出に使用した両距離P1、P0のう
ちの距離が長い側の距離P0に変更する。すなわち、所
定距離内で色変化検出、距離変化検出の順番に変化を検
出したので、距離変化を検出した際のサンプリング距離
P0(壁30までの距離)に変更するする。これにより
車両1の進行方向にみて色変化検出位置(Xc,Yc)
から距離変化検出位置(Xp,Yp)までのサンプリン
グ距離、すなわち、壁30と駐車車両Aとの境界部から
距離変化検出位置まで(図3(e)のΔXで示す範囲)
のサンプリング距離が、正しく壁30までの距離に修正
されて距離記憶部101に格納される。
【0021】図4は、図2、図3に示す駐車スペースM
の検出を継続した場合の、検出距離状態とディスプレイ
20の表示画像の関係を表したものである。この図4
(a)において、壁30方向に引いた太実線は、図2、
図3と同様に、超音波センサ14による測定位置と、検
出対象物までの距離を表している。図2、3でも説明し
たように、駐車車両A、Bの両側において壁30までの
距離を測定していない。このため、超音波センサ14だ
けを使用した従来の駐車スペース検出では、図4(b)
に点線で示した範囲を駐車車両A、Bの範囲と誤検出
し、その結果実際の駐車スペースMの範囲がMb(Mb
<M)に誤検出されて、ディスプレイ20に表示されて
しまう。図4(b)の例では、検出した駐車スペースM
bが車両1の車幅よりも狭いために、実際には駐車可能
であっても駐車不可能なスペースであるとして検出され
てしまう。
【0022】これに対して、本実施形態の車両用駐車ス
ペース検出装置によれば、更にCCDイメージセンサ1
2を使用して、距離変化検出位置と色変化検出位置との
間が、距離変化を検出した際に変化量算出に使用した両
距離P1、P0のうちの距離が長い側の距離に補正され
る。その結果、図4(c)に示されるように、駐車車両
A、Bの領域が点線の範囲から一点鎖線の範囲に正しく
補正され、その結果駐車車両Ab、Bbの範囲、及び駐
車スペースMbも正しくディスプレイ20に表示される
ことになる。
【0023】次に、図5、図6に示した障害物位置測定
処理及び色情報測定処理によって、車両から検出対象物
までのサンプリング距離の測定とその補正を行う動作に
ついて詳細に説明する。図5に示すように、ECU10
は、車速センサ18及びステアリングセンサ16により
車速Vとステアリング角αを測定し(ステップ10)、
測定開始地点を基準(原点)とする車両位置(X0,Y
0)を計算する(ステップ12)。そして、ECU10
は、車両位置(X0,Y0)において超音波センサ14
による車両1側方(図2〜図4の例では右側)に存在す
る検出対象物までの距離P0を測定する(ステップ1
4)。
【0024】次にECU10は、測定した距離P0をサ
ンプリング距離とし、その測定時車両位置(X0,Y
0)とから障害物(検出対象物の内の駐車車両や駐車場
の柱等)の形状データを作成し(ステップ16)、距離
記憶部101に格納する。そして、ECU10は、障害
物位置の変化量(測定距離の変化量)を計算する。すな
わち、1つ前に検出し距離記憶部101に格納したサン
プリング距離P1とし、今回測定したサンプリング距離
P0とした場合に、障害物位置の変化量PvをPv=P
1−P0の式から算出する(ステップ18)。
【0025】次にECU10は、算出した変化量の絶対
値|Pv|が、しきい値記憶部103に記憶された距離
変化量を判断するためのしきい値Psよりも大きいか否
かを判断し(ステップ20)、|Pv|≦Psである場
合(ステップ20;N)、距離変化は検出されていない
のでステップ34に移行する。一方、|Pv|>Psで
ある場合(ステップ20;Y)、すなわち、距離変化が
検出された場合、そのときの車両位置(X0,Y0)を
距離変化検出位置(Xp,Yp)として変化位置記憶部
102に格納する(ステップ22)。また、ECU10
は、補正用の距離Ppの値を、この距離変化を検出した
際に変化量算出に使用した両距離P1、P0のうちの距
離が長い側の距離P1とし(ステップ24)、補正フラ
グFpを1に設定する(ステップ26)。
【0026】ここで補正フラグFpは、色情報測定処理
(図6)において、色変化の検出よりも距離変化検出が
先に行われているか否かを判断するためのフラグであ
る。逆に図5の障害物位置測定処理において、距離変化
検出よりも色変化検出が先に行われているか否かを判断
するための補正フラグFcが図6の色情報測定処理にお
いて設定される。
【0027】そしてECU10は、色変化検出を判断す
るための補正フラグFcが1に設定されているか否かを
判断し、設定されていない場合(ステップ28;N)に
は、色変化よりも距離変化が先に検出(図2(b)の状
態)されているのでステップ34に移行する。一方、補
正フラグFcが1に設定されてる場合(ステップ28;
Y)、距離変化よりも色変化が先に検出されている(図
3(e)の状態)と判断できるので、ECU10は、障
害物形状データ(距離記憶部101に格納したサンプリ
ング距離)を補正する(ステップ30)。すなわち、変
化位置記憶部102に格納された色変化検出位置(X
c,Yc)から距離変化検出位置(X0,Y0)(=
(Xp,Yp))までの間に、距離記憶部101に格納
されたサンプリング距離(駐車車両Aまでの距離が格納
されている)を、P0に補正する。そしてECU10
は、両フラグFc、Fpを0にしてフラグの設定を解除
する(ステップ32)。
【0028】次にECU10は、ステップ14で測定し
たサンプリング距離P0の値を1つ前の測定値P1とし
(ステップ34)、測定が終了していなければ(ステッ
プ36;N)ステップ10に戻って以上の処理を繰り返
し、測定が終了した場合(ステップ36;Y)には、本
処理を終了する。
【0029】次に、色情報測定処理について図6のフロ
ーチャートに従って説明する。ECU10は、図5のス
テップ12で計算した車両位置(X0,Y0)におい
て、CCDイメージセンサ12による検出対象物(障害
物)の色情報C0を測定し(ステップ40)、1つ前に
検出した色情報C1に対する色の変化量Cv=C1−C
0を計算する(ステップ42)。ECU10は、算出し
た変化量の絶対値|Cv|が、しきい値記憶部103に
記憶された色変化量を判断するためのしきい値Csより
も大きいか否かを判断し(ステップ44)、|Cv|≦
Csである場合(ステップ44;N)、色変化は検出さ
れていないので、ステップ54に移行する。
【0030】一方、|Cv|>Csである場合(ステッ
プ44;Y)、すなわち、色変化が検出された場合、そ
のときの車両位置(X0,Y0)を色変化検出位置(X
c,Yc)として変化位置記憶部102に格納する(ス
テップ46)。また、ECU10は、図5の障害物位置
測定処理において、距離変化よりも色変化が先に検出さ
れているか否かを判断するための補正フラグFcを1に
設定する(ステップ48)。
【0031】そしてECU10は、補正フラグFpが1
に設定されているか否かを判断し、設定されていない場
合(ステップ50;N)には、距離変化検出の前に色変
化が検出(図3(d)の状態)されているのでステップ
56に移行する。一方、補正フラグFpが1に設定され
てる場合(ステップ50;Y)、色変化検出の前に距離
検出がされている(図(c)の状態)ので、ECU10
は、障害物形状データ(距離記憶部101に格納したサ
ンプリング距離)を補正する(ステップ52)。すなわ
ち、変化位置記憶部102に格納された距離変化検出位
置(Xp,Yp)から色変化検出位置(Xc,Yc)ま
での間に、距離記憶部101に格納されたサンプリング
距離(駐車車両Aまでの距離が格納されている)を、ス
テップ24(図5)で設定されたPpに補正する。そし
てECU10は、両フラグFc、Fpを0にしてフラグ
の設定を解除する(ステップ54)。
【0032】次にECU10は、ステップ40で測定し
た色情報C0の値を1つ前の測定値C1とし(ステップ
56)、測定が終了していなければ(ステップ58;
N)ステップ40に戻て以上の処理を繰り返し、測定が
終了した場合(ステップ58;Y)には、本処理を終了
する。
【0033】次に、車両から検出対象物までのサンプリ
ング距離の測定とその補正を行った後の測定結果から、
駐車可能なスペースか否かを判断する処理について説明
する。図7は、駐車可能スペース判断処理の動作を表し
たフローチャートである。ECU10は、まず距離記憶
部101に格納されたサンプリング距離Pを読み込む
(ステップ60)。そして、このサンプリング距離Pの
値が、しきい値記憶部103に格納した駐車スペースの
奥行きに関する車幅方向の基準値1以上であるか否かを
判断し(ステップ62)、P<基準値1であれば(ステ
ップ62;N)駐車可能な奥行きがないのでステップ6
0に戻る。
【0034】一方、P≧基準値1である場合(ステップ
62;Y)、ECU10は、測定した駐車スペース幅M
b(図4(c)参照)を算出する(ステップ64)。す
なわち、ECU10は、基準値1以上であるサンプリン
グ距離Pが連続する範囲の幅Mbを、最初のサンプリン
グ距離の測定位置(車両位置)と最後のサンプリング距
離の測定位置とかr算出する。
【0035】そして、サンプリング距離Pの値が、駐車
スペースの奥行きに関する車両全長方向の基準値2以上
であるかを判断する(ステップ66)。サンプリング距
離Pが基準値2以上である場合(ステップ66;Y)に
は横列駐車が可能な奥行きなので、ステップ64で算出
した駐車スペース幅Mbが、スペース幅記憶部104に
格納されている車幅方向のスペース幅以上であるか否か
を判断する(ステップ68)。サンプリング距離Pが基
準値2未満である場合(ステップ66;N)、縦列駐車
は可能な奥行きではあるが横列駐車まではできないの
で、駐車スペース幅Mbが車両全長方向のスペース幅以
上であるか否かを判断する(ステップ70)。
【0036】駐車スペース幅Mbが、車幅方向のスペー
ス幅以上である場合(ステップ68;Y)、及び、車両
全長方向のスペース幅以上である場合(ステップ70;
Y)、ECU10は、測定したスペースが駐車可能スペ
ースであるとして処理をする(ステップ72)。すなわ
ち、ECU10は、図4(c)に例示したように、ディ
スプレイ20に、距離記憶部101に格納したサンプリ
ング距離Pと車両位置のデータから求めた駐車車両や柱
等の障害物や壁等の外形ライン34と、車両の現在位置
対応する車両形状1bを表示すると共に、駐車可能スペ
ースMbの領域全体を緑色で塗りつぶすことで駐車可能
であることを運転者に示す(告知手段)。なお、また
は、駐車可能スペースMbに緑色で「駐車可」との文
字、又は「○」印を表示するようにしてもよい。また、
スピーカ22から音声で「駐車可能です」等の音声を出
力するようにしてもよい。
【0037】一方、駐車スペース幅Mbが、車幅方向の
スペース幅未満である場合(ステップ68;N)、及
び、車両全長方向のスペース幅未満である場合(ステッ
プ70;N)、ECU10は、測定したスペースが駐車
可能なスペースはないとして処理をする(ステップ7
4)。すなわち、ECU10は、ディスプレイ20に、
駐車車両や柱等の障害物や壁等の外形ライン34と、車
両の現在位置対応する車両形状1bを表示すると共に、
スペースMbの領域全体を赤色で塗りつぶすことで駐車
できない領域であることを運転者に示す(告知手段)。
なお、または、駐車できない領域Mbに赤色で「駐車不
可」との文字、又は「×」印を表示するようにしてもよ
い。スピーカ22から音声で「駐車はできません」等の
音声を出力するようにしてもよい。
【0038】ECU10は、距離記憶部101に格納し
た全サンプリング距離について以上の判断を行った場合
(ステップ76;Y)にはメインルーチンにリターン
し、未判断のサンプリング距離が存在する場合(ステッ
プ76;N)にはステップ60に戻って駐車可能スペー
スの判断を繰り返す。
【0039】このように、駐車スペース判断処理におい
て、ディスプレイ20に障害物等の外形ライン34と自
車形状1bを正確に表示することができるので、駐車車
両等の障害物の位置と自車位置との正確な位置関係を車
両内でモニタリングすることができる。また、駐車可能
か否かをディスプレイ20の表示から容易に判断するこ
とができる。
【0040】なお、障害物等の外形ライン34と自車形
状(自車位置)1bのディスプレイ20への表示は、こ
の駐車可能スペース判断処理において表示するのではな
く、車両から検出対象物までのサンプリング距離の測定
とその補正を行う動作(図5、図6)において表示する
ようにしてもよい。この場合、距離変化と色変化の両者
が検出されてサンプリング距離が補正されるまでの間、
ディスプレイ20に表示される駐車車両等の外形ライン
34は超音波センサ14で検出された障害物までの距離
が表示され、距離変化と色変化の両者が検出された時点
で正しい距離(図2の例では壁30までの距離)に変更
されることになる。
【0041】次に、以上の測定結果に基づいて運転者の
駐車操作をガイドするガイド機能について説明する。図
8は、ガイド機能に基づくディスプレイ20の表示状態
を表したものである。ECU10は、駐車可能スペース
判断処理において駐車可能スペースであると判断した場
合に、図4(c)に例示するように、検出した障害物等
の外形ライン34と、車両形状1bをディスプレイに表
示する。そして、駐車のために車両が移動(後進)を開
始すると車両の移動にあわせて、ECU10は、ステア
リングセンサ16から検出される操舵角と、車速センサ
18で検出される車速V等から検出される車両の進行量
とから、車両1bの位置及び角度をディスプレイ20上
でリアルタイムに変更する。そして、操舵角と車両進行
量から車両の進行予想ラインを算出し、図8に例示する
ように、車両1bの車幅にあわせた進行予想ライン40
をディスプレイ20に表示する。この進行予想ライン4
0も車両の移動にあわせてリアルタイムに変更する。
【0042】なお、進行予想ライン40は、車両1bか
ら駐車可能スペースMb方向に向けて表示する。すなわ
ち、車両が後進して駐車する場合には車両1bの後方に
表示され、前進して駐車する場合には車両1bの前方に
表示される。そして、図8に例示されるように、このま
ま進行すると駐車車両等と接触する場合には、ハンドル
の切り返し操作が行われるが、その際に駐車スペースと
反対方向に進行している間も、操舵角と移動量に応じた
進行予想ライン40を駐車可能スペース方向に表示す
る。例えば、後進して駐車する場合に、切り返しにより
先進している場合も、進行予想ライン40は車両の後方
に表示されることになる。なお、ECU10は、車両が
駐車車両等の障害物に近接したか否かを、駐車車両等の
外形ライン34と車両位置との関係から判断し、所定距
離以下になった場合にスピーカ22から警告音を出力す
ることも可能である。このように駐車スペースと他車
両、自車両との位置関係が正確にディスプレイ20に表
示されているので、車両の進行量と操舵角から車両の進
行予想ライン40をリアルタイムに変化させながら表示
することで、運転者の駐車操作をガイドすることができ
る。
【0043】
【発明の効果】本発明によれば、色変化検出手段により
色の変化が検出された場合に、色の変化が検出された車
両位置を使用して、超音波距離センサで測定されたサン
プリング距離を補正するようにしたので、より正確に駐
車スペースを検出することが可能になる。また、本発明
によれば、車両の進行予想ラインを算出し、車両の移動
にあわせてリアルタイムに変化させながら表示装置に表
示するようにしたので、検出した駐車スペースに容易に
駐車することができるように運転者をガイドできる。
【図面の簡単な説明】
【図1】本発明の一実施形態における車両用駐車スペー
ス検出装置の構成図である。
【図2】車両用駐車スペース検出装置により駐車スペー
スを検出する場合の各測定状態を表した説明図である。
【図3】車両用駐車スペース検出装置により駐車スペー
スを検出する場合の各測定状態を表した説明図である。
【図4】図2、図3に示す駐車スペースの検出を継続し
た場合の、検出距離状態とディスプレイの表示画像の関
係を表した説明図である。
【図5】車両用駐車スペース検出装置による、障害物位
置測定処理の動作を表したフローチャートである。
【図6】車両用駐車スペース検出装置による、色情報測
定処理の動作を表したフローチャートである。
【図7】車両用駐車スペース検出装置による、駐車可能
スペース判断処理の動作を表したフローチャートであ
る。
【図8】車両用駐車スペース検出装置による、ガイド機
能に基づくディスプレイの表示状態を表した説明図であ
る。
【図9】超音波センサによる距離の測定状態を表した説
明図である。
【符号の説明】
1 車両 10 ECU 100 記憶部 101 距離記憶部 102 変化位置記憶部 103 しきい値記憶部 104 スペース幅記憶部 12 CCDイメージセンサ 14 超音波センサ 16 ステアリングセンサ 18 車速センサ 20 ディスプレイ 22 スピーカ 34 外形ライン 40 進行予想ライン
───────────────────────────────────────────────────── フロントページの続き (72)発明者 岡部 英文 東京都千代田区外神田2丁目19番12号 株 式会社エクォス・リサーチ内 Fターム(参考) 5H180 AA01 CC11 KK01 KK07 LL02 LL07 LL08 5J083 AA02 AB13 AC07 AD03 AE06 AF09 AF11 AG20 CA01 EA33 EA42 EB05 EB11

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】 車両の側方向に超音波を発信し、その反
    射波を受信することで側方に存在する検出対象物までの
    距離をサンプリング距離として測定する超音波距離セン
    サと、 進行方向の車両位置を検出する車両位置検出手段と、 前記車両の進行に伴い、前記超音波距離センサにより所
    定間隔で測定される前記サンプリング距離を、前記車両
    位置に対応させて記憶する距離記憶手段と、 前記検出対象物の色の変化を検出する色変化検出手段
    と、 前記色変化検出手段により色の変化が検出された場合
    に、色の変化が検出された前記車両位置を使用して、前
    記記憶手段に格納されたサンプリング距離を補正する距
    離補正手段と、 前記距離補正手段による補正後の前記サンプリング距離
    に基づいて、車両の駐車スペースを検出する駐車スペー
    ス検出手段と、を具備することを特徴とする車両用駐車
    スペース検出装置。
  2. 【請求項2】 前記超音波センサで測定される前記サン
    プリング距離の変化量を算出し、この変化量が予め定め
    たしきい値を越えた場合に距離変化として検出する距離
    変化検出手段を備え、 前記距離補正手段は、前記距離変化検出手段で距離の変
    化が検出された前記車両位置と、前記色変化検出手段で
    色の変化が検出された前記車両位置間を補正することを
    特徴とする請求項1に記載の車両用駐車スペース検出装
    置。
  3. 【請求項3】 画像を表示する表示装置と、 前記補正手段により補正され前記距離記憶手段に記憶さ
    れたサンプリング距離に基づいて、前記検出対象物及び
    前記駐車スペース検出手段で検出した駐車スペースを車
    両の形状と共に前記表示装置に画像表示する表示制御手
    段と、 を備えたことを特徴とする請求項1又は請求項2に記載
    の車両用駐車スペース検出装置。
  4. 【請求項4】 車両の操舵角を検出する操舵角検出手段
    と、 前記操舵角検出手段に基づいて車両の進行予想ラインを
    求める進行ライン算出手段とを備え、 前記表示制御手段は、前記進行ライン算出手段で算出さ
    れる進行予想ラインを、車両の移動にあわせてリアルタ
    イムに変化させながら前記表示装置に表示することを特
    徴とする請求項3に記載の車両用駐車スペース検出装
    置。
JP30467599A 1999-10-26 1999-10-26 車両用駐車スペース検出装置 Expired - Lifetime JP4320873B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP30467599A JP4320873B2 (ja) 1999-10-26 1999-10-26 車両用駐車スペース検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP30467599A JP4320873B2 (ja) 1999-10-26 1999-10-26 車両用駐車スペース検出装置

Publications (2)

Publication Number Publication Date
JP2001122059A true JP2001122059A (ja) 2001-05-08
JP4320873B2 JP4320873B2 (ja) 2009-08-26

Family

ID=17935882

Family Applications (1)

Application Number Title Priority Date Filing Date
JP30467599A Expired - Lifetime JP4320873B2 (ja) 1999-10-26 1999-10-26 車両用駐車スペース検出装置

Country Status (1)

Country Link
JP (1) JP4320873B2 (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003034206A (ja) * 2001-07-19 2003-02-04 Nissan Motor Co Ltd 車両用駐車支援装置
JP2003270344A (ja) * 2002-03-14 2003-09-25 Nissan Motor Co Ltd 車両用駐車方向設定装置
JP2004085214A (ja) * 2002-08-22 2004-03-18 Nissan Motor Co Ltd 駐車スペース検出装置
JP2004168085A (ja) * 2002-11-18 2004-06-17 Nissan Motor Co Ltd 駐車支援装置
US6825779B2 (en) 2000-06-30 2004-11-30 Matsushita Electric Industrial Co., Ltd. Rendering device
JP2007131169A (ja) * 2005-11-10 2007-05-31 Nippon Soken Inc 駐車スペース検出装置
JP2009500225A (ja) * 2005-07-08 2009-01-08 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング パーキング装置
CN102109600A (zh) * 2009-12-24 2011-06-29 占志彪 一种基于超声波的移动物体检测方法
JP2013116698A (ja) * 2011-12-05 2013-06-13 Denso Corp 制御システム
JP2014019305A (ja) * 2012-07-18 2014-02-03 Aisin Seiki Co Ltd 駐車支援装置
KR20140146361A (ko) * 2013-06-17 2014-12-26 현대모비스 주식회사 주차 공간 자동 탐색 장치 및 방법
CN108732573A (zh) * 2018-06-20 2018-11-02 深圳市路畅智能科技有限公司 一种车位探测方法及车位探测系统
KR102233514B1 (ko) * 2020-04-20 2021-03-29 주식회사 디테크 카메라를 이용하여 주차장 내 차량을 카운팅하는 방법 및 그를 이용한 서버
CN114859357A (zh) * 2021-02-04 2022-08-05 广州汽车集团股份有限公司 一种障碍物定位检测方法和系统

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101583998B1 (ko) 2014-10-17 2016-01-19 현대자동차주식회사 주차지원장치 및 방법
US9731765B2 (en) 2015-08-12 2017-08-15 Hyundai Motor Company Parking assist apparatus and method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62278477A (ja) * 1986-05-28 1987-12-03 Mitsubishi Electric Corp 自動車の車庫入れ支援システム
JPH029997U (ja) * 1988-06-29 1990-01-23
JPH04110790A (ja) * 1990-08-31 1992-04-13 Sanyo Electric Co Ltd 移動ロボットの環境物体に対する距離測定方法
JPH09180100A (ja) * 1995-12-22 1997-07-11 Mitsubishi Motors Corp 駐車判定方法及び装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62278477A (ja) * 1986-05-28 1987-12-03 Mitsubishi Electric Corp 自動車の車庫入れ支援システム
JPH029997U (ja) * 1988-06-29 1990-01-23
JPH04110790A (ja) * 1990-08-31 1992-04-13 Sanyo Electric Co Ltd 移動ロボットの環境物体に対する距離測定方法
JPH09180100A (ja) * 1995-12-22 1997-07-11 Mitsubishi Motors Corp 駐車判定方法及び装置

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6825779B2 (en) 2000-06-30 2004-11-30 Matsushita Electric Industrial Co., Ltd. Rendering device
JP2003034206A (ja) * 2001-07-19 2003-02-04 Nissan Motor Co Ltd 車両用駐車支援装置
JP2003270344A (ja) * 2002-03-14 2003-09-25 Nissan Motor Co Ltd 車両用駐車方向設定装置
JP2004085214A (ja) * 2002-08-22 2004-03-18 Nissan Motor Co Ltd 駐車スペース検出装置
JP2004168085A (ja) * 2002-11-18 2004-06-17 Nissan Motor Co Ltd 駐車支援装置
JP4904347B2 (ja) * 2005-07-08 2012-03-28 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング パーキング装置
JP2009500225A (ja) * 2005-07-08 2009-01-08 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング パーキング装置
JP2007131169A (ja) * 2005-11-10 2007-05-31 Nippon Soken Inc 駐車スペース検出装置
CN102109600A (zh) * 2009-12-24 2011-06-29 占志彪 一种基于超声波的移动物体检测方法
JP2013116698A (ja) * 2011-12-05 2013-06-13 Denso Corp 制御システム
JP2014019305A (ja) * 2012-07-18 2014-02-03 Aisin Seiki Co Ltd 駐車支援装置
KR20140146361A (ko) * 2013-06-17 2014-12-26 현대모비스 주식회사 주차 공간 자동 탐색 장치 및 방법
KR102041956B1 (ko) * 2013-06-17 2019-11-07 현대모비스 주식회사 주차 공간 자동 탐색 장치 및 방법
CN108732573A (zh) * 2018-06-20 2018-11-02 深圳市路畅智能科技有限公司 一种车位探测方法及车位探测系统
KR102233514B1 (ko) * 2020-04-20 2021-03-29 주식회사 디테크 카메라를 이용하여 주차장 내 차량을 카운팅하는 방법 및 그를 이용한 서버
CN114859357A (zh) * 2021-02-04 2022-08-05 广州汽车集团股份有限公司 一种障碍物定位检测方法和系统

Also Published As

Publication number Publication date
JP4320873B2 (ja) 2009-08-26

Similar Documents

Publication Publication Date Title
US8319663B2 (en) Parking assist system
CN110316182B (zh) 一种自动泊车系统及方法
KR101815599B1 (ko) Tpms를 이용한 주차 지원 장치
US7379389B2 (en) Apparatus for monitoring surroundings of vehicle and sensor unit
JP2001122059A (ja) 車両用駐車スペース検出装置
US20100235053A1 (en) Parking assist device
US7030775B2 (en) Vehicle surroundings monitoring apparatus and traveling control system incorporating the apparatus
CN101616833B (zh) 停车辅助装置
US9043132B2 (en) Apparatus for estimating travel path of a vehicle
JP2008201178A (ja) 駐車支援装置
US20120327239A1 (en) Vehicle rear view monitoring device
US11052907B2 (en) Parking control device and parking control method
KR20150051735A (ko) 주차 보조 시스템 및 그 방법
KR20110024080A (ko) 주차시 장애물인식 시스템 및 그 방법
JP5644516B2 (ja) 駐車空間検出装置
JP4613871B2 (ja) 駐車支援装置
CN108621998B (zh) 用于车辆的水深检测系统和方法
JP4948338B2 (ja) 車間距離計測装置
JP4645542B2 (ja) 駐車空間検出装置
US20240004066A1 (en) Method for characterising an object in an environment of a motor vehicle
JP5012669B2 (ja) 駐車支援装置、駐車支援方法及びコンピュータプログラム
JP2014159182A (ja) 駐車空間検知装置
JP2009294094A (ja) 障害物検出装置、障害物検出方法及びコンピュータプログラム
KR101734726B1 (ko) 주차공간 탐지 방법 및 이를 실행하는 장치
JP2004085214A (ja) 駐車スペース検出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060324

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080821

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080909

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090512

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090525

R150 Certificate of patent or registration of utility model

Ref document number: 4320873

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120612

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120612

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130612

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140612

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term