JP2007128320A - 駐車支援システム - Google Patents

駐車支援システム Download PDF

Info

Publication number
JP2007128320A
JP2007128320A JP2005320998A JP2005320998A JP2007128320A JP 2007128320 A JP2007128320 A JP 2007128320A JP 2005320998 A JP2005320998 A JP 2005320998A JP 2005320998 A JP2005320998 A JP 2005320998A JP 2007128320 A JP2007128320 A JP 2007128320A
Authority
JP
Japan
Prior art keywords
obstacle
detection
detection point
vehicle
bird
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005320998A
Other languages
English (en)
Other versions
JP4682809B2 (ja
Inventor
Tetsuya Oki
哲也 沖
Koji Kato
耕司 加藤
Hirohiko Yanagawa
博彦 柳川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2005320998A priority Critical patent/JP4682809B2/ja
Priority to GB0621868A priority patent/GB2431903B/en
Priority to US11/516,508 priority patent/US7272477B2/en
Priority to DE102006051976A priority patent/DE102006051976B4/de
Publication of JP2007128320A publication Critical patent/JP2007128320A/ja
Application granted granted Critical
Publication of JP4682809B2 publication Critical patent/JP4682809B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027Parking aids, e.g. instruction means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027Parking aids, e.g. instruction means
    • B62D15/028Guided parking by providing commands to the driver, e.g. acoustically or optically
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54Audio sensitive means, e.g. ultrasound
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/06Automatic manoeuvring for parking
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】ユーザが自車両を後退させて駐車させる場合の運転を適切に支援する。
【解決手段】駐車支援システム1は、ソナー3a〜3fのいずれかにより検出された現在の検出地点と過去の検出地点とを合成鳥瞰画像に重ねて表示する場合に、現在の検出地点についてはソナーの検出エリア内での自車両の車長方向に対して略垂直な方向で自車両から最も離れた位置から当該検出エリアに沿って円弧状に延びた位置までの点群で表示し、一方、過去の検出地点についてはソナーの検出エリア内での自車両の車長方向に対して略垂直な方向で自車両から最も離れた位置の点で表示する。
【選択図】図1

Description

本発明は、ユーザが自車両を後退させて駐車させる場合の運転を支援する駐車支援システムに関する。
ユーザが自車両を後退させて駐車させる場合の運転を支援する駐車支援システムとして、自車両と障害物との位置関係を表示する構成(例えば特許文献1参照)、自車両から障害物までの距離を表示する構成(例えば特許文献2参照)及び過去の鳥瞰画像と現在の鳥瞰画像とを合成して合成鳥瞰画像を作成して表示する構成(例えば特許文献3,4参照)が供されている。
特開2002−59798号公報 特開2000−142284号公報 特開2003−030627号公報 特開2003−143597号公報
ところで、従来の駐車支援システムでは、図14及び図15に示すように、自車両が後退しているときに障害物(例えば駐車車両や建造物など)の存在がソナーにより検出されると、その障害物の存在が検出された旨を表す検出地点をソナーの検出エリア内での検出距離に応じた所定の位置(図14及び図15では自車両の車長方向に対して略45度の位置)に点で表示するように構成されていた。
しかしながら、このように検出地点をソナーの検出エリア内での検出距離に応じた所定の位置に点で表示する構成では、場合によっては、検出地点を障害物の外形線に沿って表示するのではなく、検出地点を障害物の外形線から外れた位置に表示してしまうことがあり、そうなると、自車両が安全に(障害物に衝突する危険がなく)後退することができる領域を結果的に狭めてユーザに知らせてしまい、ユーザの運転を適切に支援することができないという問題があった。
本発明は、上記した事情に鑑みてなされたものであり、その目的は、ユーザが自車両を後退させて駐車させる場合に、自車両が安全に後退することができる領域をユーザに適切に知らせることができ、運転を適切に支援することができる駐車支援システムを提供することにある。
請求項1に記載した発明によれば、鳥瞰画像作成手段は、撮影手段により撮影された撮影画像を鳥瞰変換して鳥瞰画像を作成し、合成鳥瞰画像作成手段は、鳥瞰画像作成手段により作成された過去の鳥瞰画像または自己により作成された過去の合成鳥瞰画像と鳥瞰画像作成手段により作成された現在の鳥瞰画像とを移動・回転状態検出手段により検出された自車両の移動・回転状態に基づいて合成して合成鳥瞰画像を作成する。そして、障害物検出手段は、障害物が存在しているか否かを略扇形状の検出エリアで検出し、制御手段は、障害物検出手段により検出された現在の検出地点と過去の検出地点とを合成鳥瞰画像作成手段により作成された合成鳥瞰画像に重ねて表示手段に表示させる。このとき、制御手段は、現在の検出地点については障害物検出手段の検出エリア内での任意の位置から当該検出エリアに沿って円弧状に延びた位置までの点群で表示手段に表示させ、一方、過去の検出地点については障害物検出手段の検出エリア内での任意の位置の点で表示手段に表示させる。
これにより、障害物検出手段の検出エリア内での任意の位置として自車両の車長方向に対して略垂直な(略90度の)方向で自車両から最も離れた位置(検出エリアの境界位置)を設定しておくことにより、従来のものとは異なって、検出地点を障害物の外形線から外れた位置に表示してしまうことはなく、検出地点を障害物の外形線に沿って表示することになり、自車両が安全に後退することができる領域をユーザに適切に知らせることができ、運転を適切に支援することができる。また、現在の検出地点については障害物検出手段の検出エリア内での任意の位置から当該検出エリアに沿って円弧状に延びた位置までの点群で表示することにより、余裕を持たせて表示する分、安全を適切に確保することができる。
請求項2に記載した発明によれば、制御手段は、自車両から障害物までの距離が所定距離まで接近している旨が障害物検出手段により検出されると、検出地点の表示態様を通常の表示態様から変更するように構成したので、検出地点の表示態様を通常の表示態様から変更することで、ユーザの注意を検出地点に向かせることができ、自車両から障害物までの距離が所定距離まで接近している旨をユーザに適切に知らせることができる。
請求項3に記載した発明によれば、制御手段は、自車両から障害物までの距離が所定距離まで接近している旨が障害物検出手段により検出されると、検出地点を強調表示させるように構成したので、検出地点を強調表示する(例えば検出地点に丸枠を付加して表示したり検出地点を点滅表示したりする)ことで、ユーザの注意を検出地点に向かせることができ、自車両から障害物までの距離が所定距離まで接近している旨をユーザに適切に知らせることができる。
請求項4に記載した発明によれば、制御手段は、自車両から障害物までの距離が所定距離まで接近している旨が障害物検出手段により検出されると、本来の検出地点を基準として障害物検出手段の検出方向に対して略垂直な方向に擬似的な検出地点を追加表示させるように構成したので、本来の検出地点の表示エリアが小さくて(狭くて)ユーザが本来の検出地点を視認し難い場合であっても、本来の検出地点を基準として障害物検出手段の検出方向に対して略垂直な方向に擬似的な検出地点を追加表示することで、ユーザの注意を本来の検出地点に向かせることができ、自車両から障害物までの距離が所定距離まで接近している旨をユーザに適切に知らせることができる。
請求項5に記載した発明によれば、制御手段は、自車両から障害物までの距離が所定距離まで接近している旨が障害物検出手段により検出されると、本来の検出地点を基準として自車両の後退方向に対して略垂直な方向に擬似的な検出地点を追加表示させるように構成したので、この場合も、本来の検出地点の表示エリアが小さくて(狭くて)ユーザが本来の検出地点を視認し難い場合であっても、本来の検出地点を基準として自車両の後退方向に対して略垂直な方向に擬似的な検出地点を追加表示することで、ユーザの注意を検出地点に向かせることができ、自車両から障害物までの距離が所定距離まで接近している旨をユーザに適切に知らせることができる。
請求項6に記載した発明によれば、制御手段は、自車両から一の方向に障害物の存在が一の障害物検出手段により検出されると、その時点で自車両から他の方向に障害物の存在が他の障害物検出手段により検出されていることに応じて他の検出地点を表示手段に表示させていれば、一の検出地点を表示手段に表示させると共に他の検出地点の表示態様を通常の表示態様から変更するように構成したので、一の検出地点を表示すると共に他の検出地点の表示態様を通常の表示態様から変更することで、ユーザの注意を他の検出地点から一の検出地点に向かせることができ、これよりも前に障害物が検出されている他の方向に障害物が存在している旨のみでなく、新たに障害物が検出された一の方向にも障害物が存在している旨をユーザに適切に知らせることができる。
請求項7に記載した発明によれば、制御手段は、自車両から一の方向に障害物の存在が一の障害物検出手段により検出されると、その時点で自車両から他の方向に障害物の存在が他の障害物検出手段により検出されていることに応じて他の検出地点を表示手段に表示させていれば、一の検出地点を他の検出地点とは異なる表示態様にしたがって表示手段に表示させるように構成したので、この場合も、一の検出地点を他の検出地点とは異なる表示態様にしたがって表示することで、ユーザの注意を他の検出地点から一の検出地点に向かせることができ、これよりも前に障害物が検出されている他の方向に障害物が存在している旨のみでなく、新たに障害物が検出された一の方向にも障害物が存在している旨をユーザに適切に知らせることができる。
以下、本発明の一実施形態について、図1ないし図13を参照して説明する。図1は、駐車支援システムの全体構成を機能ブロック図として示している。駐車支援システム1は、制御装置2(本発明でいう鳥瞰画像作成手段、移動・回転状態検出手段、合成鳥瞰画像作成手段、制御手段)、ソナー3a〜3f(本発明でいう障害物検出手段)、車載カメラ4(本発明でいう撮影手段)、車速センサ5、ヨーレートセンサ6、ステアリングセンサ7、現在ソナー情報(新規ソナー情報)格納部8、過去ソナー情報格納部9、表示装置10(本発明でいう表示手段)及び音声出力装置11を備えて構成されている。
制御装置2は、CPU、RAM、ROM及びI/Oバスを備えて構成され、駐車支援システム1の動作全般を制御する。ソナー3a〜3fは、図2に示すように、自車両の前方左端部、前方右端部、後方左端部、後方中央部及び後方右端部に配置されている。これらソナー3a〜3fは、放射角度を略90度として超音波を放射することで、略扇形状の検出エリアで障害物が存在しているか否かを検出する。
車載カメラ4は、自車両の後部に配置されており、自車両の後方を撮影し、その撮影した撮影画像を制御装置2へ出力する。制御装置2は、車載カメラ4から撮影画像が入力されると、その入力された撮影画像を所定の鳥瞰変換アルゴリズムに基づいて鳥瞰変換して鳥瞰画像を作成し、また、過去の鳥瞰画像または過去の合成鳥瞰画像と現在の鳥瞰画像とを合成して合成鳥瞰画像を作成する。
車速センサ5は、車速を検出し、その検出した車速を表す車速検出信号を制御装置2へ出力する。ヨーレートセンサ6は、ヨーレートを検出し、その検出したヨーレートを表すヨーレート検出信号を制御装置2へ出力する。ステアリングセンサ7は、ステアリングの旋回角度を検出し、その検出したステアリングの旋回角度を表すステアリング検出信号を
制御装置2へ出力する。制御装置2は、これら車速センサ5から入力された車速検出信号、ヨーレートセンサ6から入力されたヨーレート検出信号及びステアリングセンサ7から入力されたステアリング検出信号を解析して自車両の移動・回転状態を検出する。
現在ソナー情報格納部8は、各ソナー3a〜3fにより検出された現在の検出地点(新規の検出地点)を現在ソナー情報として格納し、過去ソナー情報格納部9は、各ソナー3a〜3fにより検出された過去の検出地点を過去ソナー情報として格納する。表示装置10は、ユーザが表示画面を見易い位置に配置され、制御装置2から表示指示信号が入力されると、その表示指示信号に基づいて表示画面を表示する。音声出力装置11は、ユーザが音声を聞き易い位置に配置され、制御装置2から音声出力指示信号が入力されると、その音声出力指示信号に基づいて音声を出力する。尚、上記した構成において、駐車支援システム1は、その機能の一部(例えば表示機能)がナビゲーションシステムの機能により代用されていても良い。
次に、上記した構成の作用について、図3ないし図13を参照して説明する。ここで、図3は、制御装置2が行う処理をフローチャートとして示している。尚、制御装置2は、車載カメラ4から例えば100ミリ秒周期で撮影画像が定期的に入力されるように構成されている。
制御装置2は、車載カメラ4から撮影画像が入力されたか否かを判定しており(ステップS1)、車載カメラ4から撮影画像が入力された旨を検出すると(ステップS1にて「YES」)、その入力された撮影画像が最初(1回目)の撮影画像であるか否かを判定する(ステップS2)。そして、制御装置2は、その入力された撮影画像が最初の撮影画像である旨を検出すると(ステップS2にて「YES」)、その入力された撮影画像を所定の鳥瞰変換アルゴリズムに基づいて鳥瞰変換して鳥瞰画像を作成し(ステップS3)、その作成した鳥瞰画像を過去の鳥瞰画像として保存し(ステップS4)、その作成した鳥瞰画像を表示装置10に表示させる(ステップS5)。
これに対して、制御装置2は、その入力された撮影画像が最初の撮影画像でない(2回目以降の撮影画像である)旨を検出すると(ステップS2にて「NO」)、その入力された撮影画像を所定の鳥瞰変換アルゴリズムに基づいて鳥瞰変換して鳥瞰画像を作成し(ステップS6)、その時点で過去の合成鳥瞰画像を保存しているか否かを判定する(ステップS7)。
ここで、制御装置2は、その時点で過去の合成鳥瞰画像を保存していない旨を検出すると(ステップS7にて「NO」)、これよりも前に保存しておいた過去の鳥瞰画像と現在の鳥瞰画像(直前に作成した鳥瞰画像)とを合成して合成鳥瞰画像を作成し(ステップS8)、その作成した合成鳥瞰画像を過去の合成鳥瞰画像として保存する(ステップS9)。また、制御装置2は、その時点で過去の合成鳥瞰画像を保存している旨を検出すると(ステップS7にて「YES」)、これよりも前に保存しておいた過去の合成鳥瞰画像と現在の鳥瞰画像(直前に作成した鳥瞰画像)とを合成して合成鳥瞰画像を作成し(ステップS10)、その作成した合成鳥瞰画像を過去の合成鳥瞰画像として保存する(ステップS9)。
次いで、制御装置2は、このようにして合成鳥瞰画像を作成した後では、ソナー3a〜3fのいずれかにより障害物の存在が検出されたか否かを判定する(ステップS11)。ここで、制御装置2は、ソナー3a〜3fのいずれかにより障害物の存在が検出された旨を検出すると(ステップS11にて「YES」)、そのソナー3a〜3fのいずれかにより検出された現在の検出地点を現在ソナー情報として現在ソナー情報格納部8に格納する(ステップS12)。
次いで、制御装置2は、これよりも前に格納していた現在ソナー情報と今回に格納した現在ソナー情報とが一致しているか否かを判定する(ステップS13)。ここで、制御装置2は、自車両が移動・回転しており、これよりも前に格納していた現在ソナー情報と今回に格納した現在ソナー情報とが一致していない旨を検出すると(ステップS13にて「NO」)、これよりも前に現在ソナー情報として現在ソナー情報格納部8に格納していた現在の検出地点を過去の検出地点とし、その過去の検出地点を過去ソナー情報として過去ソナー情報格納部9に格納する(ステップS14)。そして、制御装置2は、自車両が移動・回転したことに応じて現在の検出地点と過去の検出地点とを移動・回転させ(ステップS15)、それら移動・回転させた現在の検出地点と過去の検出地点とを合成鳥瞰画像に重ねて(描画して)表示装置10に表示させる(ステップS16)。
これに対して、制御装置2は、自車両が移動・回転しておらず、これよりも前に格納していた現在ソナー情報と今回に格納した現在ソナー情報とが一致している旨を検出すると(ステップS13にて「YES」)、これよりも前に現在ソナー情報として現在ソナー情報格納部8に格納していた現在の検出地点を過去の検出地点とすることなく、その状態を維持し、この場合は、現在の検出地点を合成鳥瞰画像に重ねて(描画して)表示装置10に表示させる(ステップS16)。
そして、制御装置2は、このようにして過去の検出地点や現在の検出地点を合成鳥瞰画像に重ねて表示装置10に表示させた後では、自車両が駐車を完了したか否かを判定し(ステップS17)、自車両が駐車を完了していない旨を検出すると(ステップS17にて「NO」)、上記したステップS1に戻って上記した一連の処理を繰返して行い、一方、自車両が駐車を完了した旨を検出すると(ステップS17にて「YES」)、上記した一連の処理を終了する。
ここで、制御装置2が現在の検出地点と過去の検出地点とを表示装置10に表示させる態様について、図4及び図5を参照して説明する。尚、図4及び図5での自車両と障害物との位置関係は、図14及び図15での自車両と障害物との位置関係と同じである。この場合、自車両の後方右端部に配置されているソナー3fにより障害物の存在が検出された場合を例にして説明すると、制御装置2は、現在の検出地点についてはソナー3fの検出エリア内での自車両の車長方向に対して略垂直な(略90度の)方向で自車両から最も離れた位置(検出エリアの境界位置、本発明でいう任意の位置)から当該検出エリアに沿って円弧状に延びた位置(本実施形態では自車両の車長方向に対して略45度の位置)までの点群で表示装置10に表示させる。
また、制御装置2は、過去の検出地点についてはソナー3fの検出エリア内での自車両の車長方向に対して略垂直な方向で自車両から最も離れた位置の点で表示装置10に表示させる。制御装置2は、現在の検出地点と過去の検出地点とを上記したような表示態様にしたがって表示させることで、自車両が駐車を完了するまでの間は、検出地点を障害物の外形線から外れた位置に表示させてしまうことはなく、検出地点を障害物の外形線に沿って表示させることになる。
ところで、制御装置2は、上記したような現在の検出地点と過去の検出地点とを合成鳥瞰画像に重ねて表示させる処理と並行して、自車両から障害物までの検出距離に応じて検出地点の表示態様を通常の表示態様から変更する処理をも行うように構成されている。これ以降、制御装置2が自車両から障害物までの検出距離に応じて検出地点の表示態様を通常の表示態様から変更する処理について、図6ないし図13を参照して説明する。ここで、図6は、制御装置2が行う処理をフローチャートとして示している。
制御装置2は、ソナー3a〜3fのいずれかにより障害物の存在が検出されたか否かを判定しており(ステップS21)、ソナー3a〜3fのいずれかにより障害物の存在が検出された旨を検出すると(ステップS21にて「YES」)、その自車両から検出地点までの距離を検出距離として判定する(ステップS22,S23)。ここで、制御装置2は、自車両から障害物までの距離が十分に長く、検出距離が第1の規定距離以上である旨を検出すると(ステップS22にて「YES」)、検出地点を表示装置10に表示させることなく、上記したステップS21に戻る。
また、制御装置2は、自車両から障害物までの距離が十分に長くなく且つ極めて短くもなく、検出距離が第1の規定距離未満で且つ当該第1の規定距離よりも短い第2の規定距離(本発明でいう所定距離)以上である旨を検出すると(ステップS23にて「YES」)、その時点で検出ソナー(障害物の存在を検出したソナー)に対応する接近フラグがオンしているか否かを判定する(ステップS24)。
ここで、制御装置2は、その時点で検出ソナーに対応する接近フラグがオンしている旨を検出すると(ステップS24にて「YES」)、その検出ソナーに対応する接近フラグをオフし(ステップS25)、その検出距離に応じた表示態様にしたがって検出地点を合成鳥瞰画像に重ねて表示装置10に表示させると共に、その検出距離に応じた警告音声を音声出力装置11から音声出力させる(ステップS26)。そして、制御装置2は、自車両が駐車を完了したか否かを判定し(ステップS27)、自車両が駐車を完了していない旨を検出すると(ステップS27にて「NO」)、上記したステップS1に戻って上記した一連の処理を繰返して行い、一方、自車両が駐車を完了した旨を検出すると(ステップS27にて「YES」)、上記した一連の処理を終了する。
具体的には、制御装置2は、図7(a)及び図8(a)に示すように、自車両の後退方向に障害物(この場合は駐車車両)が存在している旨が自車両の後方中央部に配置されているソナー3d,3eにより検出されたときに、自車両から障害物までの距離が十分に長くなく且つ極めて短くもない場合であれば(検出距離が中距離の場合であれば)、表示態様が例えば黄色の点灯となるように検出地点を合成鳥瞰画像に重ねて表示装置10に表示させると共に、その検出距離に応じた警告音声を音声出力装置11から出力させる。
これに対して、制御装置2は、自車両から障害物までの距離が極めて短く、検出距離が第2の規定距離未満である旨を検出すると(ステップS23にて「NO」)、この場合も、その時点で検出ソナーに対応する接近フラグがオンしているか否かを判定する(ステップS28)。そして、制御装置2は、その時点で検出ソナーに対応する接近フラグがオンしている旨を検出すると(ステップS28にて「YES」)、その検出距離に応じた表示態様にしたがって検出地点を合成鳥瞰画像に重ねて表示装置10に表示させると共に、その検出距離に応じた警告音声を音声出力装置11から出力させる(ステップS26)。
また、制御装置2は、その時点で検出ソナーに対応する接近フラグがオンしていない旨を検出すると(ステップS28にて「NO」)、検出ソナーに対応する接近フラグをオンし(ステップS29)、その時点で検出ソナー以外の他のソナーに対応する接近フラグがオンしているか否かを判定する(ステップS30)。そして、制御装置2は、その時点で検出ソナー以外の他のソナーに対応する接近フラグがオンしていない旨を検出すると(ステップS30にて「NO」)、その検出距離に応じた表示態様にしたがって検出地点を合成鳥瞰画像に重ねて表示装置10に表示させると共に、その検出距離に応じた警告音声を音声出力装置11から出力させる(ステップS26)。
具体的には、制御装置2は、図7(b)及び図8(b)に示すように、自車両の後退方向に障害物が存在している旨がソナー3d,3eにより検出されたときに、自車両から障害物までの距離が極めて短い場合であれば(検出距離が短距離の場合であれば)、通常は表示態様が例えば赤色の点灯となるように検出地点を合成鳥瞰画像に重ねて表示装置10に表示させると共に、その検出距離に応じた警告音声を音声出力装置11から出力させるものであるが、本実施形態では、図9(a)〜(c)に示すように、検出地点に丸枠を付加して表示させたり、検出地点を点滅表示させたり、本来の検出地点を基準として障害物の検出方向に対して略垂直な方向に擬似的な検出地点を追加表示させたりする。
また、図10及び図11に示すように、制御装置2は、自車両の後退方向から外れた方向(斜め後ろ方向)に障害物の存在が自車両の後方左端部に配置されているソナー3cにより検出されたときあっても、自車両から障害物までの距離が極めて短い場合であれば(検出距離が短距離の場合であれば)、例えば本来の検出地点を基準として障害物の検出方向に対して略垂直な方向に擬似的な検出地点を追加表示させたり、本来の検出地点を基準として自車両の後退方向に対して略垂直な方向に擬似的な検出地点を追加表示させたりする。尚、この場合、追加表示する擬似的な検出地点の数が多いと、自車両が安全に後退することができる領域を結果的に狭めてユーザに知らせてしまうことになるので、自車両が安全に後退することができる領域を結果的に狭めてしまうことがない適度の数であることが望ましい。
これに対して、制御装置2は、その時点で検出ソナー以外の他のソナーに対応する接近フラグがオンしている旨を検出すると(ステップS30にて「NO」)、新たに障害物の存在を検出した検出ソナーに対応する検出地点を表示装置10に表示させると共に、これよりも前に障害物の存在を検出している他のソナーに対応する検出地点の表示態様を通常の表示態様から変更し、その検出距離に応じた警告音声を音声出力装置11から出力させる(ステップS31)。
具体的には、制御装置2は、図12及び図13に示すように、自車両の後退方向とは反対方向(前方右側方向)に障害物の存在が自車両の前方右端部に配置されているソナー3bにより検出されると、その時点で自車両の後退方向に障害物の存在がソナー3d,3eにより検出されていれば、例えば新たに障害物の存在を検出したソナー3bに対応する検出地点に赤色の丸枠を付加して表示すると共に、これよりも前に障害物の存在を検出していたソナー3d,3eに対応する検出地点に付加している丸枠を赤色から黄色に変更する。尚、制御装置2は、例えば新たに障害物の存在を検出したソナー3bに対応する検出地点をこれよりも前に障害物の存在を検出していたソナー3d,3eに対応する検出地点とは異なる表示態様にしたがって表示装置10に表示させても良い。
以上に説明したように本実施形態によれば、駐車支援システム1において、ソナー3a〜3fのいずれかにより検出された現在の検出地点と過去の検出地点とを合成鳥瞰画像に重ねて表示する場合に、現在の検出地点についてはソナーの検出エリア内での自車両の車長方向に対して略垂直な方向で自車両から最も離れた位置から当該検出エリアに沿って円弧状に延びた位置までの点群で表示し、一方、過去の検出地点についてはソナーの検出エリア内での自車両の車長方向に対して略垂直な方向で自車両から最も離れた位置の点で表示するように構成したので、検出地点を障害物の外形線から外れた位置に表示してしまうことはなく、検出地点を障害物の外形線に沿って表示することになり、自車両が安全に後退することができる領域をユーザに適切に知らせることができ、運転を適切に支援することができる。また、現在の検出地点については障害物検出手段の検出エリア内での任意の位置から当該検出エリアに沿って円弧状に延びた位置までの点群で表示することにより、余裕を持たせて表示する分、安全を適切に確保することができる。
また、自車両から障害物までの距離が第2の規定距離まで接近している旨を検出すると、検出地点を強調表示するように構成したので、ユーザの注意を検出地点に向かせることができ、自車両から障害物までの距離が所定距離まで接近している旨をユーザに適切に知らせることができる。
また、自車両から障害物までの距離が第2の規定距離まで接近している旨を検出すると、本来の検出地点を基準として障害物の検出方向や自車両の後退方向に対して略垂直な方向に擬似的な検出地点を追加表示するように構成したので、本来の検出地点の表示エリアが小さて(狭くて)ユーザが本来の検出地点を視認し難い場合であっても、ユーザの注意を本来の検出地点に向かせることができ、自車両から障害物までの距離が所定距離まで接近している旨をユーザに適切に知らせることができる。
また、例えば自車両から前方右側方向に障害物の存在が検出された場合に、その時点で自車両から真後方向に障害物の存在が検出されていることに応じて真後方向の検出地点を表示していれば、前方右側方向の検出地点を表示すると共に真後方向の検出地点の表示態様を通常の表示態様から変更するように構成したので、ユーザの注意を真後方向の検出地点から前方右側方向の検出地点に向かせることができ、これまでの真後方向に障害物が存在している旨のみでなく、新たに右方前側方向にも障害物が存在している旨をユーザに適切に知らせることができる。
さらに、本実施形態では、いずれかのソナーにより障害物の存在が検出された場合に、その時点で他のソナーにより障害物の存在が検出されているか否かの判定を接近フラグがオンされているか否かに基づいて行うように構成したので、ソナー3a〜3fの検出精度の不安定さに起因して誤検出してしまうことを未然に回避することができる。
本発明は、上記した実施形態にのみ限定されるものではなく、以下のように変形または拡張することができる。
警告音声を音声出力装置から出力させる構成は必要に応じて設けられていれば良い。
ソナーの個数や配置態様は他の個数や他の配置態様であっても良い。
検出地点を強調表示する態様は、丸枠を付加すると同時に点滅表示させるなど他の態様であっても良い。また、検出距離に応じて例えば丸枠の径や色の濃淡を段階的に変更するなど強調の度合いを段階的に変更する態様であっても良い。
本発明の一実施形態を示す機能ブロック図 ソナーの配置態様を概略的に示す図 フローチャート(その1) 自車両と障害物との相対的な位置関係の遷移を概略的に示す図 表示画面の遷移を示す図 フローチャート(その2) 自車両と障害物との相対的な位置関係を概略的に示す図 表示画面を示す図 図8相当図 図7相当図 図8相当図 図7相当図 図8相当図 従来例を示す図4相当図 従来例を示す図5相当図
符号の説明
図面中、1は駐車支援システム、2は制御装置(鳥瞰画像作成手段、移動・回転状態検出手段、合成鳥瞰画像作成手段、制御手段)、3a〜3fはソナー(障害物検出手段)、4は車載カメラ(撮影手段)、10は表示装置(表示手段)である。

Claims (7)

  1. 自車両後方を撮影する撮影手段と、
    前記撮影手段により撮影された撮影画像を鳥瞰変換して鳥瞰画像を作成する鳥瞰画像作成手段と、
    自車両の移動・回転状態を検出する移動・回転状態検出手段と、
    前記鳥瞰画像作成手段により作成された過去の鳥瞰画像または自己により作成された過去の合成鳥瞰画像と前記鳥瞰画像作成手段により作成された現在の鳥瞰画像とを前記移動・回転状態検出手段により検出された自車両の移動・回転状態に基づいて合成して合成鳥瞰画像を作成する合成鳥瞰画像作成手段と、
    自車両の周辺に障害物が存在しているか否かを略扇形状の検出エリアで検出する障害物検出手段と、
    前記障害物検出手段により検出された現在の検出地点と過去の検出地点とを前記合成鳥瞰画像作成手段により作成された合成鳥瞰画像に重ねて表示手段に表示させる制御手段とを備えた駐車支援システムであって、
    前記制御手段は、現在の検出地点については前記障害物検出手段の検出エリア内での任意の位置から当該検出エリアに沿って円弧状に延びた位置までの点群で前記表示手段に表示させ、過去の検出地点については前記障害物検出手段の検出エリア内での任意の位置の点で前記表示手段に表示させることを特徴とする駐車支援システム。
  2. 請求項1に記載した駐車支援システムにおいて、
    前記制御手段は、自車両から障害物までの距離が所定距離まで接近している旨が前記障害物検出手段により検出された場合には、検出地点の表示態様を通常の表示態様から変更することを特徴とする駐車支援システム。
  3. 請求項2に記載した駐車支援システムにおいて、
    前記制御手段は、検出地点を強調表示させることを特徴とする駐車支援システム。
  4. 請求項2に記載した駐車支援システムにおいて、
    前記制御手段は、本来の検出地点を基準として前記障害物検出手段の検出方向に対して略垂直な方向に擬似的な検出地点を追加表示させることを特徴とする駐車支援システム。
  5. 請求項2に記載した駐車支援システムにおいて、
    前記制御手段は、本来の検出地点を基準として自車両の後退方向に対して略垂直な方向に擬似的な検出地点を追加表示させることを特徴とする駐車支援システム。
  6. 請求項1ないし5のいずれかに記載した駐車支援システムにおいて、
    前記制御手段は、自車両から一の方向に障害物の存在が一の障害物検出手段により検出された場合に、その時点で自車両から他の方向に障害物の存在が他の障害物検出手段により検出されていることに応じて他の検出地点を前記表示手段に表示させている場合には、一の検出地点を前記表示手段に表示させると共に他の検出地点の表示態様を通常の表示態様から変更することを特徴とする駐車支援システム。
  7. 請求項1ないし6のいずれかに記載した駐車支援システムにおいて、
    前記制御手段は、自車両から一の方向に障害物の存在が一の障害物検出手段により検出された場合に、その時点で自車両から他の方向に障害物の存在が他の障害物検出手段により検出されていることに応じて他の検出地点を前記表示手段に表示させている場合には、一の検出地点を他の検出地点とは異なる表示態様にしたがって前記表示手段に表示させることを特徴とする駐車支援システム。
JP2005320998A 2005-11-04 2005-11-04 駐車支援システム Expired - Fee Related JP4682809B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2005320998A JP4682809B2 (ja) 2005-11-04 2005-11-04 駐車支援システム
GB0621868A GB2431903B (en) 2005-11-04 2006-06-29 Vehicle parking assisting system and method
US11/516,508 US7272477B2 (en) 2005-11-04 2006-09-07 Vehicle parking assisting system and method
DE102006051976A DE102006051976B4 (de) 2005-11-04 2006-11-03 Fahrzeugparkassistenzverfahren

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005320998A JP4682809B2 (ja) 2005-11-04 2005-11-04 駐車支援システム

Publications (2)

Publication Number Publication Date
JP2007128320A true JP2007128320A (ja) 2007-05-24
JP4682809B2 JP4682809B2 (ja) 2011-05-11

Family

ID=37547226

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005320998A Expired - Fee Related JP4682809B2 (ja) 2005-11-04 2005-11-04 駐車支援システム

Country Status (4)

Country Link
US (1) US7272477B2 (ja)
JP (1) JP4682809B2 (ja)
DE (1) DE102006051976B4 (ja)
GB (1) GB2431903B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014071852A (ja) * 2012-10-02 2014-04-21 Mitsubishi Electric Corp 運転支援システムおよび運転支援方法

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5003946B2 (ja) * 2007-05-30 2012-08-22 アイシン精機株式会社 駐車支援装置
FR2925739B1 (fr) * 2007-12-20 2010-11-05 Airbus France Procede et dispositif de prevention des collisions au sol pour aeronefs.
JP4781394B2 (ja) 2008-05-22 2011-09-28 三菱電機株式会社 駐車支援装置
DE102009000401A1 (de) * 2009-01-26 2010-07-29 Robert Bosch Gmbh Verfahren und Vorrichtung zum Vermeiden einer Kollision zwischen einem Fahrzeug und einem Objekt
JP5195776B2 (ja) * 2010-01-25 2013-05-15 株式会社デンソー 車両周辺監視装置
DE102010034139A1 (de) * 2010-08-12 2012-02-16 Valeo Schalter Und Sensoren Gmbh Verfahren zur Unterstützung eines Parkvorgangs eines Kraftfahrzeugs, Fahrerassistenzsystem und Kraftfahrzeug
DE102010051206A1 (de) * 2010-11-12 2012-05-16 Valeo Schalter Und Sensoren Gmbh Verfahren zum Erzeugen eines Bilds einer Fahrzeugumgebung und Abbildungsvorrichtung
DE102010051204A1 (de) * 2010-11-12 2012-05-16 Valeo Schalter Und Sensoren Gmbh Verfahren zum Darstellen eines Hindernisses und Abbildungsvorrichtung
KR101360424B1 (ko) * 2011-12-09 2014-02-10 현대자동차주식회사 차량용 주차궤적 도출방법
US8768583B2 (en) 2012-03-29 2014-07-01 Harnischfeger Technologies, Inc. Collision detection and mitigation systems and methods for a shovel
CN107003389A (zh) 2014-12-05 2017-08-01 奥迪股份公司 用于车辆的驾驶员辅助系统以及辅助车辆的驾驶员的方法
EP3342644B1 (en) * 2015-08-27 2020-07-22 Jvc Kenwood Corporation Display device for vehicle and display method for vehicle
JP6642306B2 (ja) * 2016-06-29 2020-02-05 アイシン精機株式会社 周辺監視装置
DE112018002071T5 (de) * 2017-07-11 2020-01-02 Hitachi Automotive Systems, Ltd. Parkassistenzvorrichtung
CN111867893B (zh) * 2018-03-22 2022-09-09 日立安斯泰莫株式会社 驻车辅助装置
CN108622084A (zh) * 2018-05-14 2018-10-09 奇瑞汽车股份有限公司 人字型垂直辅助泊车方法及装置
CN111552289B (zh) * 2020-04-28 2021-07-06 苏州高之仙自动化科技有限公司 检测方法及虚拟雷达装置、电子设备、存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001334897A (ja) * 2000-05-25 2001-12-04 Daihatsu Motor Co Ltd 駐車支援装置及びその制御方法
JP2002120677A (ja) * 2000-10-12 2002-04-23 Daihatsu Motor Co Ltd 駐車支援装置及びその制御方法
JP2003030627A (ja) * 2001-07-16 2003-01-31 Denso Corp 車両周辺画像処理装置及び記録媒体
WO2004083889A1 (ja) * 2003-03-20 2004-09-30 Matsushita Electric Industrial Co. Ltd. 障害物検知装置
JP2005012465A (ja) * 2003-06-18 2005-01-13 Denso Corp 車両用周辺表示装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6654014B2 (en) * 1995-04-20 2003-11-25 Yoshinori Endo Bird's-eye view forming method, map display apparatus and navigation system
JP3626613B2 (ja) 1998-11-13 2005-03-09 日産車体株式会社 障害物検出表示装置
DE19947766A1 (de) * 1999-10-02 2001-05-10 Bosch Gmbh Robert Einrichtung zur Überwachung der Umgebung eines einparkenden Fahrzeugs
JP2001315603A (ja) * 2000-05-09 2001-11-13 Matsushita Electric Ind Co Ltd 運転支援装置
JP2002059798A (ja) 2000-08-22 2002-02-26 Matsushita Electric Ind Co Ltd 車両周辺監視装置
DE10114932B4 (de) * 2001-03-26 2005-09-15 Daimlerchrysler Ag Dreidimensionale Umfelderfassung
JP3838884B2 (ja) 2001-03-29 2006-10-25 株式会社デンソー 車両周辺表示装置、プログラムおよび記録媒体
JP4918200B2 (ja) * 2001-04-24 2012-04-18 パナソニック株式会社 駐車運転支援装置
JP3850271B2 (ja) 2001-11-07 2006-11-29 株式会社デンソー 車両周辺画像処理装置及び記録媒体
DE10241464A1 (de) * 2002-09-06 2004-03-18 Robert Bosch Gmbh Vorrichtung zur Umfelderfassung eines Fahrzeugs
JP2004114879A (ja) 2002-09-27 2004-04-15 Clarion Co Ltd 駐車補助装置および画像表示装置
JP2004114977A (ja) 2002-09-30 2004-04-15 Aisin Seiki Co Ltd 移動体周辺監視装置
JP4058369B2 (ja) * 2003-03-27 2008-03-05 トヨタ自動車株式会社 駐車支援装置
US7085634B2 (en) * 2003-04-11 2006-08-01 Toyota Jidosha Kabushiki Kaisha Parking assist apparatus and parking assist method for vehicle
JP2004003365A (ja) 2003-07-28 2004-01-08 Oishi International Sisukomu Kk 坑道掘進工法及び坑道掘進機
JP4466200B2 (ja) * 2004-04-19 2010-05-26 株式会社豊田自動織機 駐車支援装置
JP4321357B2 (ja) * 2004-05-27 2009-08-26 株式会社デンソー 駐車支援装置
JP4543983B2 (ja) * 2005-03-22 2010-09-15 株式会社豊田自動織機 駐車支援装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001334897A (ja) * 2000-05-25 2001-12-04 Daihatsu Motor Co Ltd 駐車支援装置及びその制御方法
JP2002120677A (ja) * 2000-10-12 2002-04-23 Daihatsu Motor Co Ltd 駐車支援装置及びその制御方法
JP2003030627A (ja) * 2001-07-16 2003-01-31 Denso Corp 車両周辺画像処理装置及び記録媒体
WO2004083889A1 (ja) * 2003-03-20 2004-09-30 Matsushita Electric Industrial Co. Ltd. 障害物検知装置
JP2005012465A (ja) * 2003-06-18 2005-01-13 Denso Corp 車両用周辺表示装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014071852A (ja) * 2012-10-02 2014-04-21 Mitsubishi Electric Corp 運転支援システムおよび運転支援方法

Also Published As

Publication number Publication date
JP4682809B2 (ja) 2011-05-11
DE102006051976A1 (de) 2007-05-10
GB2431903A (en) 2007-05-09
GB2431903B (en) 2009-09-16
DE102006051976B4 (de) 2013-09-05
US7272477B2 (en) 2007-09-18
US20070106440A1 (en) 2007-05-10
GB0621868D0 (en) 2006-12-13

Similar Documents

Publication Publication Date Title
JP4682809B2 (ja) 駐車支援システム
JP4548322B2 (ja) 駐車支援システム
JP5454934B2 (ja) 運転支援装置
JP5187369B2 (ja) 車両用の後退駐車支援装置および後退駐車支援装置用のプログラム
JP5938635B2 (ja) 運転支援装置
JP2005239048A (ja) 駐車支援システム
JP5549235B2 (ja) 運転支援装置
WO2014021332A1 (ja) 車両用警告装置及び車両用アウトサイドミラー装置
JP4665721B2 (ja) 駐車支援システム
JP2009083680A (ja) 駐車支援装置および駐車支援方法
JP2009132259A (ja) 車両周辺監視装置
KR20120103232A (ko) 장애물 충돌 방지를 위한 주차 보조 장치 및 그 방법
JP2019186853A (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法、およびプログラム
JP4769631B2 (ja) 車両運転支援装置および車両運転支援方法
JP2010205078A (ja) 駐車支援装置
JP2009012717A (ja) 走行軌跡表示装置
JP2010079454A (ja) 運転支援装置
JP2006160194A (ja) 駐車支援装置
JP2007290433A (ja) 駐車支援システム
JP6821124B2 (ja) 運転支援装置、運転支援方法およびプログラム
JP4957589B2 (ja) 障害物警告装置、障害物警告方法及びコンピュータプログラム
JP6731022B2 (ja) 駐車支援装置、車両及び駐車支援方法
JP2007088577A (ja) 車両周辺画像処理システム
JP2005212660A (ja) 駐車支援システム
JP4432736B2 (ja) 駐車支援システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100928

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101019

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110111

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110124

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140218

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4682809

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140218

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees