JP2013533168A - 自動車の駐車操作を支援する方法、運転者支援システム、および自動車 - Google Patents

自動車の駐車操作を支援する方法、運転者支援システム、および自動車 Download PDF

Info

Publication number
JP2013533168A
JP2013533168A JP2013523561A JP2013523561A JP2013533168A JP 2013533168 A JP2013533168 A JP 2013533168A JP 2013523561 A JP2013523561 A JP 2013523561A JP 2013523561 A JP2013523561 A JP 2013523561A JP 2013533168 A JP2013533168 A JP 2013533168A
Authority
JP
Japan
Prior art keywords
car
parking
image
automobile
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013523561A
Other languages
English (en)
Inventor
マテス ヨアヒム
レイアック パトリス
Original Assignee
ヴァレオ・シャルター・ウント・ゼンゾーレン・ゲーエムベーハー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヴァレオ・シャルター・ウント・ゼンゾーレン・ゲーエムベーハー filed Critical ヴァレオ・シャルター・ウント・ゼンゾーレン・ゲーエムベーハー
Publication of JP2013533168A publication Critical patent/JP2013533168A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027Parking aids, e.g. instruction means
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027Parking aids, e.g. instruction means
    • B62D15/0275Parking aids, e.g. instruction means by overlaying a vehicle path based on present steering angle over an image without processing that image
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027Parking aids, e.g. instruction means
    • B62D15/028Guided parking by providing commands to the driver, e.g. acoustically or optically
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/168Driving aids for parking, e.g. acoustic or visual feedback on parking space

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本発明は、運転者支援システム(2)により、自動車(1)の駐車操作を支援する方法に関する。この運転者支援システム(2)は、駐車スペース(21)の中に自動車(1)を駐車するか、また駐車スペース(21)から発進させることができる駐車経路を判定する。自動車(1)の周囲の(10〜13)に関する画像データは、運転者支援システム(2)の少なくとも1つの光学検出装置(5a〜5d)によって検出される。画像データは、処理されて画像(19)が生成される。この画像(19)は、自動車(1)に隣接する少なくとも1つの周囲領域(20)の斜視図を示す。画像(19)は、表示装置(3)の上に表示される。画像(19)は、算出された駐車経路上の自動車(1)の現在位置を考慮に入れて生成される。斜視図で示される視線の方向(14)、および/または視野(15)は、例えば、駐車経路上の自動車(1)の現在位置に応じて調整することができる。本発明はまた、運転者支援システム(2)、および自動車(1)にも関する。
【選択図】図3

Description

本発明は、運転者支援システムを使用して、自動車の駐車操作を支援する方法に関する。この支援は、駐車スペースの中に自動車を駐車する際に通る(衝突なしに)駐車経路、また前記駐車スペースから自動車を発進させる際に通る駐車経路を判定することにより、また、運転者支援システムの少なくとも1つの光学捕捉装置によって、自動車の周囲に関する画像データを補足することにより行われる。画像データは、処理されて、自動車に隣接する少なくとも1つの周囲領域の斜視図による画像が生成される。画像は、表示装置に表示される。本発明はまた、この方法を実行するための運転者支援システム、およびこの運転者支援システムを有する自動車にも関する。
駐車操作を実行する際に運転者を支援する駐車支援システム、または運転者支援装置は、従来公知である。この支援では、少なくとも、可能性があると認識された駐車スペースに対する、自動車の現在の相対位置を、運転者支援システムのための基礎として使用し、自動車が衝突することなく、駐車スペース内に駐車することができる駐車経路を算出する。最も単純な駐車支援システムでは、自動車が、算出された駐車経路に沿って駐車できるようにハンドル操作をするために、運転者が必要とする情報、または勧告が出力される。自動車のハンドルが操作されている間、運転者は、加速および減速だけを行い、従って、ハンドルは、自動的に、すなわち運転者とは無関係に回転するというシステムも知られている。完全な自律、または自動駐車支援システムの場合には、このシステムは、自動車の一連の運転操作に作用し、運転者は、単に自律駐車操作をイネーブルするだけでよく、いつでも駐車操作を中断することもできる。
駐車支援システムは、例えば、特許文献1に記載されている。
自動車の内部にある表示装置に自動車の周囲の画像を表示する様式も、従来技術である。最近の傾向は、複数のカメラからの画像データを一緒に処理して、自動車、および自動車の周囲を平面図で示す画像を生成している。この場合には、自動車のマップは、予め記憶され、一方、周囲のマップは、継続的に捕捉された画像データから、動的に毎回更新されて、連続的に生成される。自動車とその周囲の画像は、鳥瞰図として示される。このような手順は、例えば、特許文献2に開示されている。特許文献2の主題は、自動車の各瞬時の進行状態に基づいて、自動車とその周囲とを示す視線の方向を変更することができるということである。一つの例を挙げると、視線の方向は、車両速度に基づいて、または現在の操舵角に基づいて設定することができる。
国際特許第WO2008/055567A1号明細書 欧州特許第EP1179958A1号明細書
本発明の目的は、冒頭に記載したタイプの方法において、駐車操作を実行する際に、運転者が、運転者支援システムによって、特に信頼性が高く、操作性よく支援を受けることができる策を提供することである。
本発明は、請求項1に記載の特徴を有する方法と、請求項13に記載の特徴を有する運転者支援システムと、請求項14に記載の特徴を有する自動車とよって、上記目的を達成するものである。本発明の有利な実施形態は、従属請求項、およびその説明中に記載してある。
自動車の駐車操作を支援するための本発明の方法は、駐車スペースに自動車を駐車する際に、自動車が衝突することなく通ることができる駐車経路、または、この駐車スペースから発進することができる駐車経路を判定する運転者支援システムに関している。自動車の周囲に関する画像データは、運転者支援システムの少なくとも1つの光学捕捉装置(例えば、カメラ)によって捕捉される。画像データは、運転者支援システムによって処理され、自動車に隣接する少なくとも1つの周囲領域の斜視図(特に、自動車の上から見た平面図)を示す画像が生成される。この画像は、運転者支援システムの表示装置に表示される。本発明の基本的な考え方は、画像が、駐車経路上の自動車の現在位置を考慮して生成されることである。
従って、本発明に係る効果は、画像データから画像を生成する際に、すなわち、駐車スペースに対する自動車の現在の相対位置に基づいて画像を生成する際に、算出された駐車経路上の自動車の各瞬時位置を考慮して行われることにある。このように、運転者は、駐車操作を行う際に、特に信頼性が高くて操作性がよい支援を受けることができる。その理由は、画像は、自動車の位置に基づいて、自動車に隣接するそれぞれ異なる領域を示すことができ、これにより、駐車経路上の現在位置に応じて、運転者には種々の異なる周囲の画像が表示されるからである。従って、自動車に隣接する関連する領域を、それぞれ最もよい視点から表示することができる。
一般的に、画像の少なくとも1つのパラメータ、または少なくとも1つの特徴は、駐車スペースに対する自動車の現在位置を考慮して定めることができる。1つの例として、これは、斜視図が示されている方向から見た、視線の方向、および/または視野であってもよい。この実施形態においては、視線の方向、および/または視野は、駐車経路上の自動車の現在位置に基づいて設定されている。これは、自動車の位置に応じて、それぞれ最適な視点を設定することができるという利点を有する。従って、運転者には、視線の方向、または視野から見た周囲領域、特に、自動車自体も含めて、最適な画像、または最適な表現で示す画像が表示される。1つの例として、駐車操作の開始時(自動車が駐車経路の初期領域にある時)には、視線の方向は、駐車スペースの方向を指すことができ、これにより、駐車スペースは、自動車の上からの視野で示される。駐車操作の終了時には、これとは対照的に、自動車とその周囲は、自動車の垂直軸と一致している視線の方向から表示することができる。これにより、運転者は、自動車と自動車外部にあり駐車スペースを限定している物体との間の距離を、容易に推測することができる。
ここで、「視線の方向」とは、仮想の観察者が見る方向を意味している。
更に、または代替として、マッピングされた周囲領域の寸法を、駐車経路上の自動車の現在位置に基づいて設定することができる。この実施形態においては、周囲のマップに対してズーム係数が設定される。1つの例として、駐車操作の開始時には、画像は、駐車操作の終了時と比較して、自動車からから見て、より広い範囲に亘る周囲領域を示すことができる。この場合、駐車操作の開始時には、運転者はまた、例えば駐車スペースの中で、自動車から比較的遠い距離にある障害物も見ることができ、これにより、必要に応じて、駐車操作を中断することもできる。一方、駐車操作の終了時には、運転者は、自動車と駐車スペースを限定している障害物との間の距離を正確に把握することができる。このような方法によって、第1に、安全な駐車操作を行うことができ、第2に、操作性のよい表示を行うこともできる。
画像データは、画像が、自動車の上から見た、少なくとも自動車に隣接する周囲領域の平面図を示すように処理されることが望ましい。この実施形態においては、画像は、周囲領域と、可能であれば、少なくとも自動車の領域とを鳥瞰図で示されている。これはまさしく、運転者に対して、周囲領域を監視し、また可能であるならば、自動車と自動車の外部にある物体との間の距離を推定するために、最小の努力で可能なオプションを提供するものである。
1つの実施形態においては、駐車経路の少なくとも一部分として、画像は、周囲領域に加えて、自動車の少なくとも1つの領域を示す。特に、画像は、駐車経路の少なくとも一部分として、自動車全体と自動車の周りの周囲領域との平面図を示す。この場合には、運転者は、表示された画像の中に、周囲ばかりではなく、運転者の自動車も見ることができる。運転者は、自動車に対する障害物の各瞬時相対位置を推測することができる。
自動車のマップは、表示装置の画像の中では、固定位置にあるか、または静止した状態で表示されることが望ましい。周囲のマップは、毎回更新される画像データから生成される画像か、または連続的に調整されている画像である。自動車のマップは、運転者支援システムのメモリの中に、予め記憶されていることが望ましい。固定位置で表される自動車によって、自動車に隣接した常に同じ周囲領域か、または、自動車から常に同じ距離までにある周囲領域かを表示することができる。
駐車スペースは、通常、自動車が駐車スペースを通っている間に調査されて捕捉される。従って、運転者が表示装置上に駐車スペースを見ることができれば、特に有利であることが分かった。従って、駐車スペースを捕捉する操作を行っている間(すなわち、自動車が駐車スペースを通っている間)には、画像の中に駐車スペースが示される視線の方向から見た斜視図を生成することができる。駐車スペースが、まだ自動車の前方にある場合には、視線の方向は、自動車の進行方向の成分と、また自動車の横半軸方向の成分とを有することができる。横半軸方向は、右側通行に対しては、右側横半軸であり、左側通行に対しては、左側横半軸である。これとは対照的に、駐車スペース(進行方向に見た)が、既に自動車の背後にある場合には、視線の方向は、進行方向に反対の方向の成分、および前述の横半軸の方向の成分を有することができる。その理由は、この場合には、駐車スペースは、表示された画像の中に常にマッピングされており、これにより、運転者は、表示装置上に駐車スペースの斜視図を見ることが保証されるからである。
自動車が車道の初期領域の中にある場合には、斜視図は、視線が駐車経路の終端部の方向を指し示すか、または駐車スペースの方向を指し示すようにすることができる。この場合もまた、運転者は、表示装置上に、駐車スペースの斜視図を見ることができる。
駐車操作の間に、駐車経路の残りの距離が、所定の最小値より短くなるか、または自動車が駐車経路の所定の端部領域に到達した場合には、車両の垂直軸と一致する視線の方向から見た画像を、斜視図として、表示することができる。この場合には、運転者は、周囲領域と、また特に自動車全体とを、真上から見た平面図を表示装置の上に見ることになる。これにより、運転者は、自動車と障害物との間の距離を容易に把握することができ、特に安全に自動車を運転することができる。
自動車が駐車経路に沿って移動している間は、少なくとも駐車経路の一部に対して、視線の方向、および/または視野も、徐々に(すなわち、時間に対して連続的に)変化させることができる。視線の方向、および/または視野この変化はまた、恒常的に(すなわち、運転者が、視線の方向の急激な変化を感知しないように)行われることが望ましい。このような視線の方向または視野の変化は、特に操作性をよくするものであり、更に、運転者は、表示された画像の中で、運転者の向きを常に保持することができる。一つの例として、視線の方向、および/または視野の連続的な変化は、自動車の現在の速度に基づいて、および/または駐車経路の残りの距離(すなわち、駐車スペースの最後の位置までの残りの距離)に基づいて行うことができる。特に、視線、および/または視野の方向の連続的な変化の速度は、自動車の速度に基づいて、および/または残りの距離に基づいて設定することができる。
画像データを使用することにより、および/または距離センサ(特に、超音波センサ)からのデータを使用することにより、運転者支援システムは、自動車の外部にある少なくとも1つの物体を検出することもできる。この場合には、この物体は、少なくとも表示された画像の領域で、所定の符号を物体の上に重畳させるか、または、この記号で隠ようにすることができる。従って、自動車の周囲にある物体を、強調表示することができ、これにより、運転者は、非常に早く、それらを認識することができる。
画像データは、少なくとも1つの光学捕捉装置によって捕捉される。画像データが、具体的には、少なくとも2つ、特に少なくとも3つの光学捕捉装置によって捕捉される場合には、特に有利であることがわかった。全部で4つの光学捕捉装置を設けることも可能である。従って、全部で複数の捕捉装置を使用することができ、この場合には、1つの捕捉装置は、左側側部、および/または左側外部ミラーのところ、および/または1つの捕捉装置は、右側側部、および/または右側外部ミラーのところ、および/または1つの捕捉装置は、フロントバンパーの上、および/または1つの捕捉装置は、自動車のリアバンパーの上または後尾扉の上に設置することができる。全体として、捕捉装置は、自動車の周囲360°の画像を捕捉することができる。少なくとも1つの捕捉装置は、例えば、CMOS(相補型金属酸化膜半導体)カメラ、CCD(電荷結合素子)カメラ等のカメラであるのがよい。
少なくとも1つの光学捕捉装置は、170°〜195°の範囲の捕捉角を有している。従って、少なくとも1つの捕捉装置は、魚眼カメラであることが望ましい。このように、自動車の周囲全体を捕捉するために、3〜4個だけの捕捉装置を使用することができる。従って、この運転者支援システムは、比較的少ない数の捕捉装置を必要とするだけである。
更に、本発明は、自動車に対する運転者支援システム(すなわち、駐車操作を支援する)を提供する。この運転者支援システムは、自動車の周囲に関する画像データを補足するための少なくとも1つの光学捕捉装置を備えている。運転者支援システムはまた、制御装置を備え、制御装置は、駐車操作を行う駐車経路を判定し、画像データを処理して、自動車に隣接する少なくとも1つの周囲領域の斜視図を示す画像を生成する。画像は、運転者支援システムの表示装置に表示される。制御装置は、駐車経路上の自動車の現在位置を考慮に入れて、画像を生成するようになっている。
本発明による自動車は、本発明による運転者支援システムを備えている。本発明による方法の好適な実施形態、およびこれらの実施携帯の利点は、本発明による運転者支援システム、および本発明による自動車にも適用しうる。
本発明の更なる特徴は、特許請求の範囲、図面、および図面の説明から明らかになると思う。上記の説明の中で引用された、全ての特徴および特徴の組み合わせ、また、図面の説明の中で引用され、および/または図面だけに示されている全ての特徴、および特徴の組み合わせは、それぞれ示されている組み合わせばかりではなく、他の組み合わせでも、あるいはそれら自信の中で使用することができる。
次に本発明を、1つの好適な実施形態を示す添付図面を参照して、詳細に説明する。
本発明の一実施形態に基づく運転者支援システムを備える自動車の平面図である。 図1に示す自動車の斜視図であり、画像データから生成される画像を詳細に説明している。 画像データから生成された画像の時間経緯を示す図であり、駐車スペースについての調査中、および自動車の駐車操作の間に表示される。 画像データから生成された画像の時間経緯を示す図であり、駐車スペースについての調査中、および自動車の駐車操作の間に表示される。 画像データから生成された画像の時間経緯を示す図であり、駐車スペースについての調査中、および自動車の駐車操作の間に表示される。
図1に示すように、自動車1は乗用車である。自動車1は、運転者支援システム2を備え、この運転者支援システム2は、表示装置3、制御装置4、および4台のカメラ5a〜5dを備えている。制御装置4は、表示装置3を作動させる。カメラ5a〜5dは、捕捉した画像データを、例えば、自動車1の内部通信バスを介して、制御装置4に送信する。
1つの例として、表示装置3は、LCD表示器である。あるいは、表示装置3は、自動車1のフロントガラス6の上に画像を投影するために使用することができる画像投影器(ヘッドアップ表示器)であってもよい。
制御装置4の中に、すなわちメモリ7の中には、自動車1のマップ(より正確には、自動車1のマップを示すデータ)が格納されている。
カメラ5a〜5dは、自動車1の外表面に取り付けられている。図1に示されているカメラ5a〜5dの数および配置は、単に1つの例である。自動車1に取り付けられるカメラ5a〜5dの数および配置は、実施形態に応じて変わる場合がある。典型的な実施形態においては、第1のカメラ5aは、自動車1のフロントバンパーに配置されている。第2のカメラ5bはリアバンパーに、または後尾扉に配置されている。第3のカメラ5cは、左側面に取り付けられている。これはまた、左側外部ミラー8と一体化することもできる。第4のカメラ5dは、右側面、すなわち、右側外部ミラー9の付近に取り付けられている。第4のカメラ5dもまた、外部ミラー9と一体化することができる。
カメラ5a〜5dは、それぞれ広い捕捉角を有し、それらは、魚眼カメラとして知られているものである。1つの例として、それぞれの捕捉角は、170°〜195°の範囲にある。図1から明らかなように、第1のカメラ5aは、自動車1の前方の領域10を捕捉し、第2のカメラ5bは、自動車1の後方の領域11を捕捉する。従って、第3のカメラ5cは、自動車1の左側の領域12を捕捉し、第4のカメラ5dは、自動車1の右側の領域13を捕捉する。従って、カメラ5a〜5dは、基本的に、自動車1の周囲を取り囲むもの全て、すなわち360°の画像を捕捉することができる。
制御装置4は、カメラ5a〜5dによって捕捉された画像データを処理することができる。制御装置4は、この画像データを使用して、自動車1の上から見た自動車1の周囲(すなわち、捕捉領域10〜13)の平面図を示す画像を生成することができる。従って、制御装置4は、画像データを取得し、捕捉領域10〜13の平面図を鳥瞰図で示す画像を生成することができる。
既に説明したように、メモリ7は、自動車1のマップを記憶している。また、このマップは自動車1の鳥瞰図を示している。すなわち、このマップは、自動車1の上から見た自動車1の平面図を示している。制御装置4は、自動車1のマップと画像データによって生成された周囲のマップとを使用して、自動車1と自動車1の周囲との平面図である周囲画像(すなわち、鳥瞰図)を生成することができる。従って、単一の周囲画像は、自動車1の周囲と、自動車1自体との両方を示す鳥瞰図として作成することができる。この周囲画像は、制御装置4によって、表示装置3の上に表示することができる。この周囲画像は、連続して表示することができる。このことは、周囲画像は、連続的にまたは動的に、自動車1の周囲に対して適合させることができることを意味している。その理由は、画像データは、カメラ5a〜5dによって連続的に取得され、周囲画像は、これら連続的に取得された画像データから、動的に毎回更新されるからである。周囲画像の中で、自動車1は、静止して、または固定された位置に表示されるが、周囲のマップは、常に更新され、動的に調整することができる。
このように、制御装置4は、周囲画像を生成することができる。この周囲画像は、自動車1に隣接した周囲の領域と自動車1との平面図であり、自動車1の上から見た斜視図として示されている。この画像は、自動車1と周囲領域とを示す鳥瞰図である。図2に示すように、制御装置4はまた、仮想カメラ16の視線14の方向から見た視野15の中の平面図を示す画像を生成することができる。従って、この画像は、仮想カメラ16が生成すると考えられる画像から生成される画像である。図2に示すカメラ16は、実際には存在しない架空または仮想のカメラである。カメラ5a〜5dからの画像データだけを使用して、そこから生成された画像が、仮想カメラ16の視線14および視野15の方向から見た平面図となるように処理される。
典型的な実施形態は、特に駐車スペースの中に自動車1を駐車する際の、運転者の支援に関している。この目的のために、運転者支援システム2は、2つの距離センサ17、18(特に、超音波センサー)を備えている。第1の距離センサ17は、左側面(例えば、フロントバンパーの左端領域)に取り付けられている。また、第2の距離センサ18は、自動車1の反対側に対称に配置されている。駐車操作の支援手段は、少なくとも運転者支援システム2を備えており、この運転者支援システム2は、最初に、駐車スペースを捕捉し、次に、駐車スペースに対する自動車1の現在位置に基づいて、自動車1が衝突せずに駐車スペースに駐車することができる駐車経路を算出する。通常は、自動車1は、駐車スペースを通る間に、駐車スペースを捕捉または調査する。適切な駐車スペースが認識されると、運転者にはそれが通知されて、駐車操作を開始することができる。この運転者支援システム2は、縦向き駐車スペースに駐車する場合と、横向き駐車スペースに駐車する場合との両方の場合に対して運転者を支援することができる。
駐車スペースの調査の間、また駐車操作の間に、連続して捕捉され、毎回更新される画像データから生成された画像は、表示装置3に表示される。この画像は、駐車スペースに対する、自動車のそれぞれの瞬間相対位置を考慮することにより、または、算出された駐車経路における自動車1の現在位置を考慮することにより生成された画像である。具体的には、典型的な実施形態においては、視線14、視野15、およびマッピングされる周囲領域の寸法(すなわち、仮想カメラ16の仮想捕捉角α)は、駐車スペースに対する自動車1のそれぞれの瞬時位置、または算出された駐車経路上の自動車1の現在位置に基づいて設定される。
図3〜図5は、駐車操作の際に表示装置3に表示される画像19の典型的な時間経緯を示す。図3は、自動車1’および自動車1’の周囲領域20の斜視図を示す。自動車1’は、一連の他の自動車の間を通過している。自動車1’の右側に、距離センサ18によって調査された駐車スペース21がある。図3に示す画像19は、固定位置にいるか、または静止している自動車1’を示している。一方、周囲領域20は、連続的に捕捉されて毎回更新される画像データから、連続して生成される。従って、画像19の中の周囲領域20は、上記した一連の他の自動車を含めて、矢印22によって示されている方向に移動する。図3に示されている画像19は、自動車1’と自動車1’の背後から見た視野15の中にある周囲領域20とを示している。更に、視線14の方向は、基本的に、自動車1’の進行方向を示している。より正確には、視線14の方向は、進行方向の方向成分とともに、自動車1’の右側横半軸の方向成分を含んでいる。このようにして、自動車1’の前方に位置する駐車スペース21を描き出すことができる。
自動車1’が駐車スペース21を通る際に、この駐車スペース21を、距離センサ18を使用して調査することができる。この駐車スペース21は、駐車に適している場合には、そのことが運転者に通知される。図4に示す画像19では、駐車スペース21は、既に、自動車1’の背後にある。この駐車スペース21は、駐車するのに適しているため、視線14の方向は絶えず変更され、駐車スペース21は斜視図で表示される。画像19を使用して、運転者に対して、駐車操作が開始されなければならないか否かを問うことができる。図4に示す画像19では、自動車1’は、算出された駐車経路の初期の領域にいる。この場合には、視線の方向14は、駐車スペース21の方向を指し示している。視野15は、自動車1’の背後、または自動車1’の上方、または自動車1’の前方に向けることができる。
駐車スペース21は、図4に示す画像19では、符号23によって強調表示されている。直接に駐車スペース21を限定している他の自動車も、それぞれ符号24、25で表示されるか、または隠蔽されている。
自動車1が駐車経路の所定の端部領域に入った場合、または駐車経路の残りの距離が、所定の最小値より短くなった場合には、視線14の方向および視野15は、それらが車両垂直軸z(図2)と一致するように変更される。この視線14の方向に対する画像19は、図5に示されている。従って、図5に示す画像19は、画像平面に対して垂直方向から見た自動車1’全体と、周囲領域20の平面図を示している。従って、運転者は、この画像19を使用して、特に自動車1と自動車の外部にある障害物との間の距離を、容易に推測することができる。図5に示す画像19はまた、固定位置にいる自動車1’を示しているが、周囲領域20は、連続して捕捉されて毎回更新される画像データをからマッピングして示されている。
典型的な実施形態においては、図3に示す画像19から、図4に示す画像19を介して図5に示す画像19に至る変化は、運転者が画像19の中に急激な変化を感知しないように、連続して生成される。従って、画像の遷移は、平坦に行われる。このことは、視線14の方向と視野15とは、絶えず変化していることを意味する。駐車経路の少なくとも一部分に対して、時間に対して連続的に変化する視線14の方向、および/または視野15の画像を生成することもできる。1つの例として、この変化の速度は、自動車1のそれぞれの現在の速度に基づいて、および/または、駐車経路の残りの距離または自動車1と駐車スペース21の最終位置との間の距離に基づいて設定することができる。
1、1’ 自動車
2 運転者支援システム
3 表示装置
4 制御装置
5a〜5d カメラ
6 フロントガラス
7 メモリ
8 左側外部ミラー
9 右側外部ミラー
10 前方の領域
11 後方の領域
12 左側の領域
13 右側の領域
14 視線
15 視野
16 仮想カメラ
17、18 距離センサ
19 画像
20 周囲領域
21 駐車スペース
22 矢印
23 強調表示された駐車スペース
24、25 隠蔽された駐車スペース
α 仮想カメラの仮想捕捉角

Claims (14)

  1. 運転者支援システム(2)を使用して自動車の駐車操作を支援する方法(1)であって、
    − 自動車(1)を駐車スペース(21)の中に駐車するか、または駐車スペース(21)から発進させるための駐車経路を判定し、
    − 運転者支援システム(2)の少なくとも1つの光学捕捉装置(5a〜5d)によって、自動車(1)の周囲(10〜13)に関する画像データを捕捉し、
    − 前記画像データを処理し、自動車(1)に隣接する、少なくとも1つの周囲領域(20)の斜視図を示す画像(19)を生成させ、表示装置(3)の上に画像(19)を表示する方法において、
    前記駐車経路上の自動車(1)の現在位置を考慮に入れて、画像(19)を生成させることを特徴とする方法。
  2. 前記斜視図が示されている視線(14)の方向、および/または視野(15)は、前記駐車経路上の自動車(1)の現在位置に基づいて設定されることを特徴とする、請求項1に記載の方法。
  3. マッピングされる周囲領域(20)の大きさは、前記駐車経路上の自動車(1)の前記現在位置に基づいて設定されることを特徴とする、請求項1または2に記載の方法。
  4. 前記画像データは、自動車(1)の上方から見た画像(19)が、少なくとも自動車(1)に隣接する周囲領域(20)の平面図を示すように処理されることを特徴とする、請求項1〜3のいずれか1項に記載の方法。
  5. 前記駐車経路の少なくとも一部分に対する画像(19)は、周囲領域(20)に加えて、自動車(1’)の少なくとも1つの領域を示していることを特徴とする、請求項1〜4のいずれか1項に記載の方法。
  6. 自動車(1’)の前記マップは、表示された画像(19)の中で、固定位置に表示され、周囲領域(20)の前記マップは、毎回更新される前記画像データから生成されることを特徴とする、請求項5に記載の方法。
  7. 駐車スペース(21)の捕捉動作の間、自動車(1)が駐車スペース(21)を通っている際に、前記斜視図は、視線(14)の方向が自動車(1)の進行方向の方向成分と、特に右側の、自動車(1)の横半軸の方向成分とを有するように示されることを特徴とする、請求項1〜6のいずれか1項に記載の方法。
  8. 自動車(1)が車道の初期領域にいるときには、前記斜視図は、前記駐車経路の終端の方向を指し示す視線(14)の方向から示されることを特徴とする、請求項1〜7のいずれか1項に記載の方法。
  9. 前記駐車経路の残りの距離が、所定の最小値のより短い時には、前記斜視図は、車両垂直軸(z)と一致する視線(14)の方向から示されることを特徴とする、請求項1〜8のいずれか1項に記載の方法。
  10. 自動車(1)が前記駐車経路に沿って移動している時には、前記斜視図が示される視線(14)の方向、および/または視野(15)は、前記駐車経路の少なくとも一部に対して、特に、自動車(1)の現在の速度に基づいて、および/または前記駐車経路の残りの距離に基づいて連続的に変化されることを特徴とする、請求項1〜9のいずれか1項に記載の方法。
  11. 前記画像データは、少なくとも2つの、特に少なくとも3つの、光学捕捉装置(5a〜5d)によって捕捉されることを特徴とする、請求項1〜10のいずれか1項に記載の方法。
  12. 少なくとも1つの光学捕捉装置(5a〜5d)は、170°〜195°の範囲の捕捉角を有することを特徴とする、請求項1〜11のいずれか1項に記載の方法。
  13. 自動車(1)の駐車操作を支援する運転者支援システム(2)であって、
    − 自動車(1)の周囲(10〜13)に関する画像データを捕捉するための少なくとも1つの光学捕捉装置(5a〜5d)と、
    − 前記駐車操作に対する駐車経路を判定し、前記画像データを処理し、自動車(1)に隣接する、少なくとも1つの周囲領域(20)の斜視図を示す画像(19)を生成する制御装置(4)と、
    − 画像(19)を表示する表示装置(3)とを有する運転者支援システム(2)において、
    制御装置(4)は、前記駐車経路上の自動車(1)の現在位置を考慮に入れて、画像(19)を生成するようになっていることを特徴とする運転者支援システム(2)。
  14. 請求項13に記載の運転者支援システム(2)を有することを特徴とする自動車(1)。
JP2013523561A 2010-08-12 2011-08-01 自動車の駐車操作を支援する方法、運転者支援システム、および自動車 Pending JP2013533168A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102010034139.8 2010-08-12
DE102010034139A DE102010034139A1 (de) 2010-08-12 2010-08-12 Verfahren zur Unterstützung eines Parkvorgangs eines Kraftfahrzeugs, Fahrerassistenzsystem und Kraftfahrzeug
PCT/EP2011/063182 WO2012019932A1 (de) 2010-08-12 2011-08-01 Verfahren zur unterstützung eines parkvorgangs eines kraftfahrzeugs, fahrerassistenzsystem und kraftfahrzeug

Publications (1)

Publication Number Publication Date
JP2013533168A true JP2013533168A (ja) 2013-08-22

Family

ID=44545684

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013523561A Pending JP2013533168A (ja) 2010-08-12 2011-08-01 自動車の駐車操作を支援する方法、運転者支援システム、および自動車

Country Status (6)

Country Link
US (1) US10558221B2 (ja)
EP (1) EP2603413B1 (ja)
JP (1) JP2013533168A (ja)
CN (1) CN103108796B (ja)
DE (1) DE102010034139A1 (ja)
WO (1) WO2012019932A1 (ja)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102804762A (zh) * 2009-06-29 2012-11-28 松下电器产业株式会社 车载用影像显示装置
KR101340738B1 (ko) * 2011-11-08 2013-12-12 엘지이노텍 주식회사 주차 보조 시스템
DE102012016868A1 (de) 2012-08-25 2014-02-27 Audi Ag Verfahren und System zum Betreiben eines Fahrzeugs unter Überwachung der Fortbewegung des Fahrzeugs mit Hilfe einer Kameraeinrichtung einer mobilen Bedieneinrichtung
US10599818B2 (en) * 2012-10-02 2020-03-24 Banjo, Inc. Event-based vehicle operation and event remediation
JP6223685B2 (ja) 2013-01-30 2017-11-01 富士通テン株式会社 画像処理装置および画像処理方法
DE102013011969A1 (de) * 2013-07-18 2015-01-22 GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) Verfahren zum Betreiben eines Kraftfahrzeugs und Kraftfahrzeug
DE102014009985A1 (de) * 2014-07-04 2016-01-07 Daimler Ag Verfahren zum Betreiben eines Kraftfahrzeugs in verschiedenen Fahrmodi sowie Kraftfahrzeug
DE102014111951A1 (de) * 2014-08-21 2016-02-25 Valeo Schalter Und Sensoren Gmbh Verfahren zum Warnen eines Fahrers eines Kraftfahrzeugs vor der Anwesenheit eines Objekts in der Umgebung, Fahrerassistenzsystem und Kraftfahrzeug
DE102014113957A1 (de) * 2014-09-26 2016-03-31 Connaught Electronics Ltd. Verfahren zum Konvertieren eines Bilds, Fahrerassistenzsystem und Kraftfahrzeug
WO2016087900A1 (en) * 2014-12-05 2016-06-09 Audi Ag Driver assistance system for a vehicle as well as method for assisting a driver of a vehicle
US20160176340A1 (en) * 2014-12-17 2016-06-23 Continental Automotive Systems, Inc. Perspective shifting parking camera system
DE102015200044B4 (de) * 2015-01-06 2022-07-07 Ford Global Technologies, Llc Verfahren und Vorrichtung zur Unterstützung eines Manövriervorganges eines Kraftfahrzeugs
FR3036353B1 (fr) * 2015-05-20 2018-12-07 Valeo Comfort And Driving Assistance Procede de controle interactif du stationnement automatique d'un vehicule automobile au moyen d'un terminal mobile
DE102015112289A1 (de) * 2015-07-28 2017-02-02 Valeo Schalter Und Sensoren Gmbh Verfahren zum Identifizieren eines Objekts in einem Umgebungsbereich eines Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug
US10392009B2 (en) * 2015-08-12 2019-08-27 Hyundai Motor Company Automatic parking system and automatic parking method
US11691619B2 (en) 2015-08-12 2023-07-04 Hyundai Motor Company Automatic parking system and automatic parking method
CN105141927A (zh) * 2015-09-22 2015-12-09 浙江吉利汽车研究院有限公司 一种车载图像监控装置
WO2017068696A1 (ja) 2015-10-22 2017-04-27 日産自動車株式会社 駐車支援情報の表示方法及び駐車支援装置
CN105405249B (zh) * 2015-12-01 2017-12-29 小米科技有限责任公司 防碰撞方法、装置、测距传感器及终端
DE102015121952A1 (de) * 2015-12-16 2017-06-22 Valeo Schalter Und Sensoren Gmbh Verfahren zum Identifizieren eines Objektes in einem Umgebungsbereich eines Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug
CN106515722B (zh) * 2016-11-08 2018-09-21 西华大学 一种垂直泊车轨迹规划方法
EP3550829B1 (en) * 2017-04-03 2021-08-11 Jvc Kenwood Corporation Bird's-eye-view video generation device, bird's-eye-view video display device, bird's-eye-view video generation method, and program
DE102017218074A1 (de) * 2017-10-11 2019-04-11 Robert Bosch Gmbh Verfahren zum Darstellen einer Umgebung eines Fahrzeugs
JP2019116244A (ja) * 2017-12-27 2019-07-18 トヨタ自動車株式会社 車両
US10614320B2 (en) * 2018-04-03 2020-04-07 Honda Motor Co., Ltd. System and method for advanced highway lane detection
CN108921973A (zh) * 2018-06-11 2018-11-30 合肥越明交通电子科技有限公司 一种评判车辆运行姿态的高精度智能检测预警系统
US11066067B2 (en) * 2018-06-29 2021-07-20 Baidu Usa Llc Planning parking trajectory for self-driving vehicles
DE102018214874B3 (de) * 2018-08-31 2019-12-19 Audi Ag Verfahren und Anordnung zum Erzeugen einer mit Bildinformationen texturierten Umfeldkarte eines Fahrzeugs und Fahrzeug umfassend eine solche Anordnung
DE112020001429T5 (de) * 2019-03-27 2021-12-23 Panasonic Intellectual Property Management Co., Ltd. Elektronisches spiegelsystem, bildanzeigeverfahren und sich bewegendes fahrzeug
DE102019208788A1 (de) * 2019-06-17 2020-12-17 Volkswagen Aktiengesellschaft Kraftfahrzeug
JP2021043815A (ja) * 2019-09-12 2021-03-18 アイシン精機株式会社 画像処理装置
DE102020107108A1 (de) * 2020-03-16 2021-09-16 Kopernikus Automotive GmbH Verfahren und System zum autonomen Fahren eines Fahrzeugs
GB2595271A (en) * 2020-05-20 2021-11-24 Daimler Ag A method for an automated parking of motor vehicle, as well as an assistance system
CN111731273B (zh) * 2020-06-22 2022-08-09 重庆长安汽车股份有限公司 自动泊车限位桩工况识别方法及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002087190A (ja) * 2000-09-18 2002-03-26 Nissan Motor Co Ltd 駐車支援装置
JP2003219411A (ja) * 2002-01-17 2003-07-31 Clarion Co Ltd 車両周囲監視方法および車両周囲監視装置
JP2003267171A (ja) * 2002-03-13 2003-09-25 Nissan Motor Co Ltd 車両後方監視装置
JP2008296697A (ja) * 2007-05-30 2008-12-11 Aisin Seiki Co Ltd 駐車支援装置
JP2010047105A (ja) * 2008-08-21 2010-03-04 Honda Motor Co Ltd 運転支援装置

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1038734B1 (en) * 1998-10-08 2019-05-15 Panasonic Intellectual Property Corporation of America Driving assisting device and recording medium
CN100438623C (zh) * 1999-04-16 2008-11-26 松下电器产业株式会社 图象处理装置及监视系统
JP2002083285A (ja) * 2000-07-07 2002-03-22 Matsushita Electric Ind Co Ltd 画像合成装置および画像合成方法
JP3297040B1 (ja) * 2001-04-24 2002-07-02 松下電器産業株式会社 車載カメラの画像合成表示方法及びその装置
JP4807693B2 (ja) * 2001-09-26 2011-11-02 パイオニア株式会社 画像作成装置及びその方法、電子機器並びにコンピュータプログラム
KR100866450B1 (ko) * 2001-10-15 2008-10-31 파나소닉 주식회사 차량 주위 감시 장치 및 그 조정 방법
JP4427953B2 (ja) * 2003-01-29 2010-03-10 株式会社豊田自動織機 駐車支援装置
JP3938559B2 (ja) * 2003-08-28 2007-06-27 アイシン精機株式会社 車両後退支援装置
JP4023478B2 (ja) * 2004-08-03 2007-12-19 株式会社デンソー 駐車支援システム
JP4744823B2 (ja) * 2004-08-05 2011-08-10 株式会社東芝 周辺監視装置および俯瞰画像表示方法
JP4487188B2 (ja) * 2004-10-25 2010-06-23 ソニー株式会社 情報処理装置および方法、プログラム、並びにナビゲーション装置
EP1696669B1 (en) * 2005-02-24 2013-07-03 Aisin Seiki Kabushiki Kaisha Vehicle surrounding monitoring device
JP4815993B2 (ja) * 2005-10-19 2011-11-16 アイシン・エィ・ダブリュ株式会社 駐車支援方法及び駐車支援装置
JP4682809B2 (ja) * 2005-11-04 2011-05-11 株式会社デンソー 駐車支援システム
JP4548322B2 (ja) 2005-11-28 2010-09-22 株式会社デンソー 駐車支援システム
JP2007176244A (ja) * 2005-12-27 2007-07-12 Aisin Seiki Co Ltd 駐車支援装置
JP4818816B2 (ja) * 2006-06-05 2011-11-16 富士通株式会社 駐車支援プログラム及び駐車支援装置
JP4863791B2 (ja) * 2006-07-05 2012-01-25 アルパイン株式会社 車両周辺画像生成装置および画像切替方法
DE102006031895B4 (de) * 2006-07-07 2014-03-27 Continental Automotive Gmbh Anzeigesystem zur Visualisierung von Fahrzeugabständen
US7728879B2 (en) * 2006-08-21 2010-06-01 Sanyo Electric Co., Ltd. Image processor and visual field support device
DE102006052575A1 (de) 2006-11-08 2008-05-21 Volkswagen Ag Parklenkassistent mit verbesserter Quereinparkfunktion
US20100001881A1 (en) * 2007-01-16 2010-01-07 Pioneer Corporation Method of adjusting display device for vehicle and display device for vehicle
KR100854766B1 (ko) * 2007-04-27 2008-08-27 주식회사 만도 거리 센서를 이용한 주차 공간 검출 방법
DE102007044536A1 (de) * 2007-09-18 2009-03-19 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung zum Überwachen der Umgebung eines Kraftfahrzeugs
US8218007B2 (en) 2007-09-23 2012-07-10 Volkswagen Ag Camera system for a vehicle and method for controlling a camera system
JP5380941B2 (ja) * 2007-10-01 2014-01-08 日産自動車株式会社 駐車支援装置及び方法
JP4900232B2 (ja) * 2007-12-26 2012-03-21 日産自動車株式会社 車両用駐車支援装置および映像表示方法
DE102008060684B4 (de) * 2008-03-28 2019-05-23 Volkswagen Ag Verfahren und Vorrichtung zum automatischen Einparken eines Kraftfahrzeugs
JP4716139B2 (ja) 2008-05-14 2011-07-06 アイシン精機株式会社 周辺監視装置
DE102008046544A1 (de) * 2008-09-10 2009-05-20 Daimler Ag Verfahren und Vorrichtung zur Überwachung einer Umgebung eines Fahrzeuges

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002087190A (ja) * 2000-09-18 2002-03-26 Nissan Motor Co Ltd 駐車支援装置
JP2003219411A (ja) * 2002-01-17 2003-07-31 Clarion Co Ltd 車両周囲監視方法および車両周囲監視装置
JP2003267171A (ja) * 2002-03-13 2003-09-25 Nissan Motor Co Ltd 車両後方監視装置
JP2008296697A (ja) * 2007-05-30 2008-12-11 Aisin Seiki Co Ltd 駐車支援装置
JP2010047105A (ja) * 2008-08-21 2010-03-04 Honda Motor Co Ltd 運転支援装置

Also Published As

Publication number Publication date
US10558221B2 (en) 2020-02-11
EP2603413B1 (de) 2015-09-09
CN103108796B (zh) 2016-04-06
CN103108796A (zh) 2013-05-15
DE102010034139A1 (de) 2012-02-16
WO2012019932A1 (de) 2012-02-16
EP2603413A1 (de) 2013-06-19
US20130169792A1 (en) 2013-07-04

Similar Documents

Publication Publication Date Title
JP2013533168A (ja) 自動車の駐車操作を支援する方法、運転者支援システム、および自動車
EP3361721B1 (en) Display assistance device and display assistance method
JP6801787B2 (ja) 駐車支援方法及び駐車支援装置
US9475420B2 (en) Display apparatus
JP6252365B2 (ja) 安全確認支援システム、安全確認支援方法
EP2981077B1 (en) Periphery monitoring device and program
JP4475308B2 (ja) 表示装置
WO2017068699A1 (ja) 駐車スペースの枠線の検出方法および装置
JP6014433B2 (ja) 画像処理装置、画像処理方法、及び、画像処理システム
EP2487906A1 (en) Control device and vehicle surrounding monitoring device
JP6086368B2 (ja) 駐車支援装置
US10296008B2 (en) Vehicle and method of controlling the vehicle based on a height of cargo
EP3556611B1 (en) On-vehicle display control device, on-vehicle display system, on-vehicle display control method, and non-transitory storage medium
EP3800111A1 (en) Periphery monitoring device
JP5067169B2 (ja) 車両用駐車支援装置および画像表示方法
WO2010134240A1 (ja) 駐車支援装置、駐車支援方法及び駐車支援プログラム
WO2019193819A1 (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法、およびプログラム
JP2009205268A (ja) 障害物表示装置
JP2008213647A (ja) 駐車支援方法及び駐車支援装置
JP3988551B2 (ja) 車両周囲監視装置
JP2011003117A (ja) 後方視認支援システム
JP2008236507A (ja) 車両運転支援装置
JP2012147285A (ja) バックモニタ装置
JP6439233B2 (ja) 車両用画像表示装置及び画像処理方法
JP2012090087A (ja) 車両周辺の画像を用いた運転支援装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140218

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141216

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150313

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150415

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150515

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150901