JP2003501917A - 車両の進路を視覚化するための方法および装置 - Google Patents

車両の進路を視覚化するための方法および装置

Info

Publication number
JP2003501917A
JP2003501917A JP2001501475A JP2001501475A JP2003501917A JP 2003501917 A JP2003501917 A JP 2003501917A JP 2001501475 A JP2001501475 A JP 2001501475A JP 2001501475 A JP2001501475 A JP 2001501475A JP 2003501917 A JP2003501917 A JP 2003501917A
Authority
JP
Japan
Prior art keywords
vehicle
course
visualizing
steering angle
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001501475A
Other languages
English (en)
Other versions
JP5174304B2 (ja
Inventor
ヒュルトゲン ベルント
ペッヒミュラー ヴェルナー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of JP2003501917A publication Critical patent/JP2003501917A/ja
Application granted granted Critical
Publication of JP5174304B2 publication Critical patent/JP5174304B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/029—Steering assistants using warnings or proposing actions to the driver without influencing the steering system
    • B62D15/0295—Steering assistants using warnings or proposing actions to the driver without influencing the steering system by overlaying a vehicle path based on present steering angle over an image without processing that image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/207—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using multi-purpose displays, e.g. camera image and navigation or video on same display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/404—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components triggering from stand-by mode to operation mode
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8086—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle path indication

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

(57)【要約】 車両の進路を視覚化するための方法および装置が提案され、この場合、目下の舵角を変えないまま走行した場合に予想され得る車両の予想進路が、車両の後方の走行空間の少なくとも一部を表示するディスプレイに表示される。運転者は予想進路を介して情報報知されるので、運転者は、切られた舵角を、後方の走行空間に認識され得る障害物に適合させることができる。

Description

【発明の詳細な説明】
【０００１】 背景技術 本発明は、請求項１の上位概念部に記載の、車両の進路をビジュアル化もしく
は視覚化するための方法に関する。ドイツ連邦共和国特許第４３３６２８８号明
細書に基づき、車庫入れする自動車の後方空間もしくは前方空間を監視するため
の装置が既に公知である。この公知の装置では、特に車庫入れする自動車の後方
空間が、車両の後側の部分に配置されたカメラを用いて監視される。このカメラ
は接続線路を介して、車両運転者の覗き込み範囲に設けられたディスプレイ・コ
ントロールユニットに接続されているので、車両運転者は車両の後方空間を視認
することができる。ディスプレイ・コントロールユニットのスクリーンは複数の
区域もしくは象限に分割されている。カメラは捕捉された画角内で障害物を鮮明
に捉える。車両運転者はこの場合、ディスプレイ・コントロールユニットを見な
がら、スクリーンに表示された障害物を回避することができる。
【０００２】 発明の利点 請求項１の特徴部に記載の特徴を有する本発明による方法は、従来のものに比
べて次のような利点を有している。すなわち、車両運転者に対して、目下の舵角
を変えないまま走行した場合に、運転者により操縦された車両がどのような進路
をとるのかが表示され、この場合、目下の舵角を変えないまま走行した場合に予
想され得る車両の予想進路が後方の走行空間の画像に重ね書きされる。表示され
た進路内に障害物が存在しない場合には、運転者は、もはや操舵運動を行う必要
なしに、障害物と衝突することなく車両を後退させることができる。表示された
進路内に障害物が存在する場合には、車両の運転者は、既に車両をゆっくりと動
かしながらも、進路内にもはや障害物が位置しなくなるように予想進路がずらさ
れるまで、切られた舵角を補正することができる。ステアリングが最大に切られ
ている場合などに、全ての障害物が表示された進路の外側に位置するように運転
者が車両を操作することができない場合には、運転者には一般には障害物を直接
に迂回することは不可能となる。車両は過度に不都合な角度で、障害物の手前に
過度に接近して位置している。したがって、運転者は障害物に対する間隔を増大
させ、それから障害物を迂回するための新たな試みを開始しなければならない。
すなわち、運転者は、障害物を迂回するために舵角が補正されなければならない
かどうか、もしくは運転者自身により実施された補正が、障害物を迂回するため
に十分であるかどうかを直ちに判断することができる。この場合、運転者はもは
や車両進路に対する運転者自身の主観的な推定に基づく判断に頼らなくなる。こ
れにより、一方では、運転者が障害物に対する自車の位置を誤って推定したため
に生じる無駄な迂回の試みのために費やされる時間を節約することができる。他
方では、運転者が自車に対する障害物の位置を誤って推定したことにより場合に
よっては生ぜしめられる事故を回避することができる。
【０００３】 請求項２以下に記載の手段により、請求項１に記載の方法の有利な改良が可能
となる。車両の舵角を、車両ステアリングが切られている舵角から求めることが
特に有利である。このことは、たとえばホイールベースから舵角を求める場合に
比べて次のような利点を提供する。すなわち、特にパワーステアリングを備えた
車両においては、舵角の電子的な検出が部分的に既に行われており、したがって
既存の電子コンポーネントをそのまま使用することができる。
【０００４】 さらに、目下の舵角を変えないまま走行した場合に予想され得る車両の予想進
路の他に、可能な進路が位置し得る最大範囲をも表示することが有利である。こ
の最大範囲は左右へのステアリングの最大旋回角度、つまりステアリングを左も
しくは右へいっぱいに切った場合の角度によって制限される。車両運転者は最大
範囲の表示から、ステアリングを最大に切れば障害物を迂回できるかどうかを、
実際にステアリングを最大に切ることなしに直接に予測することができる。した
がって、車両の運転者は、舵角の適当な選択によってまだ障害物を回避すること
ができるかどうか、または障害物に対する間隔をもっと大きくとってから、より
好都合な角度で再び進入の試みを行わなければならないかどうかを直接に判断す
ることができる。
【０００５】 さらに、後方の走行空間の、カメラにより捕捉される部分と共に車両バンパの
少なくとも一部をも捕捉することが有利である。車両バンパは運転者にとっては
、表示された障害物に対して自車がどの位置に位置しているのかを知るための基
準点として役立ち、したがって運転者の方向決定（Ｏｒｉｅｎｔｉｅｒｕｎｇ）
を付加的に容易にする。
【０００６】 さらに、検出された画像の、カメラ光学系に基づき生ぜしめられる歪みを計算
ユニットによって補正することが有利である。このような歪み補正により、運転
者が、特に超広角対物レンズの場合に画像の縁範囲に生じる画像歪みによって惑
わされることが回避される。運転者が画像歪みによって惑わされる理由は、画像
歪みに基づき、運転者が場合によっては、表示された障害物に対する自車の位置
を誤って推定してしまうからである。
【０００７】 さらに、カメラの出力信号を明るさに関連して、つまり受信された光信号の強
さに関連して、非線形の特性線、特に対数の特性線を介して制御することが有利
である。このことは、カメラが広い明るさ範囲にわたって使用可能となり、ひい
ては本発明による方法が極めて暗い光特性でも、もしくは極めて明るい光特性で
も、使用され得るようになるという利点を提供する。
【０００８】 さらに、後方の走行空間の画像の表示を、自由にプログラミング可能なコンビ
インストルメントで実施することが有利である。このような自由にプログラミン
グ可能なコンビインストルメントは一般にスクリーンを有しているので、後方の
走行空間の画像の表示を必要に応じてコンビインストルメントの部分範囲におい
て行うことができる。これにより、車両に付加的なディスプレイを設けなくて済
むようになる。
【０００９】 さらに、中央の制御ユニットを有する、車両の進路を視覚化するための方法を
実施するための装置を構成することが有利である。この制御ユニットにより、デ
ィスプレイやカメラ、特に明るさ、鮮明度ならびにカメラの撮影角度をコーディ
ネートすることができる。この場合さらに、制御ユニットが入力ユニットに接続
されており、たとえば走行の意思なしに車両を停車させている場合に後方の走行
空間の視認だけが望まれる場合には、前記入力ユニットを介して、可能となる進
路の表示もしくは目下の舵角を変えないまま走行した場合に予想され得る車両の
予想進路の表示をディスエーブルする（中断する）ことが有利である。
【００１０】 実施例の説明 図１には、車両の進路を視覚化するための本発明による方法が示されいる。本
発明による方法はイネーブルステップ１０で開始する。この場合、方法の開始は
、たとえば後退ギヤを入れること（「Ｒ」シフト）によって自動的にリリースさ
れるか、または使用者の、たとえばキープッシュによる手動式の要求に応じてリ
リースされる。特に、方法シーケンスをコントロールする制御ユニットがイネー
ブルされる。
【００１１】 引き続き、画像捕捉のイネーブルステップ１１において、後方の走行空間を監
視するために働くカメラが初期設定される。方法シーケンスの終了時まで、この
カメラは車両の後方の走行空間の映像だけを捕捉する。カメラにより捕捉される
後方の走行空間の一部はカメラの光学系によって制限されている。引き続き、歪
み補正のイネーブルステップ１２において、カメラにより形成された画像が伝送
される計算ユニットで、カメラ光学系により生ぜしめられた画像歪みの、計算に
よる歪み補正が実施される。この場合、カメラ光学系のデータを考慮して、スク
リーンを観察する運転者にとって歪みによる画像の妨害が著しく減じられるよう
に、捕捉された画像の縁範囲がスクリーンの観察平面に投影される。計算による
歪み補正の較正は、カメラ前方に正方格子を保持しかつ出力された画像から画像
のための変換関数（Ｔｒａｎｓｆｏｒｍａｔｉｏｎｓｆｕｎｋｔｉｏｎ）を決定
するようにして行うことができる。これにより、この変換関数が画像に適用され
ると、正方格子はディスプレイにも現れる。計算による歪み補正のこのような較
正は既に工場側で行われてよい。この場合、変換関数は計算ユニットに記憶され
る。歪み補正のイネーブルステップ１２から当該方法の終了時まで、カメラによ
り捕捉された画像の歪み補正が連続的に実施される。本発明による方法の別の実
施例（図示しない）では、上記方法が歪み補正のイネーブルステップ１２なしで
も可能となる。その場合、一方では画像歪み補正が行われないが、しかし他方で
は計算にかかる手間を減少させることができる。なぜならば、計算による歪み補
正のための計算手間が不要となるからである。
【００１２】 操舵角度、つまり舵角の第１の質問ステップ１３では、車両において目下切ら
れている舵角が制御ユニットによって質問される。このことは、ステアリングコ
ラムの範囲または車両の操舵軸に配置されている舵角センサを介して行われると
有利である。特に電気的なデータ接続を介して、目下の舵角が制御ユニットに伝
送され、この場合、データ接続は規格化されたデータ接続、たとえばＣＡＮバス
である。引き続き行われる計算ステップ１４では、求められた舵角から、このま
ま舵角を変えずに車両が後退した場合にどのような進路が予想されるのかが計算
され、この場合、たとえば進路が計算により車両の走行平面に投影される。さら
に、車両の目下の位置から左右に最大にハンドルを切った場合に車両が走行する
ことのできる最大範囲が計算される。引き続き、表示ステップ１５において、目
下の舵角を変えないで後退したときに予想され得る予想進路も、車両が走行し得
る最大範囲も、後方の走行空間を表示するディスプレイに投影され、この場合、
運転者はこのディスプレイを覗き込むことができる。後方の走行空間の表示が、
自由にプログラミング可能なコンビインストルメント（Ｋｏｍｂｉｉｎｓｔｒｕ
ｍｅｎｔ）で行われると、自由にプログラミング可能なコンビインストルメント
のスクリーン内にこの表示を割り込ませることができる。引き続き、第１の決定
ステップ１６において、舵角の第１の質問ステップ１３で求められた舵角が、記
憶された値に比べて変化したかどうかがチェックされる。第１の決定ステップ１
６がイネーブルステップ１０の後で初めて到達された場合、メモリにはイネーブ
ルステップ１０の間に記憶された、車両の調節可能な舵角外にある舵角がファイ
ルされている。第１の決定ステップ１６で、目下調節された舵角が、記憶された
値から規定の許容誤差を超えて偏倚していることが確認されると、メモリステッ
プ１９への分岐が行われる。規定の許容誤差はこの場合、予想された進路のため
の表示精度により決定されるか、もしくは車両が走行し得る可能範囲に合わせて
決定される。メモリステップ１９では、舵角の第１の質問ステップ１３で測定さ
れた舵角が記憶される。その後に、やはり舵角の第１の質問ステップ１３への分
岐が行われる。それに対して、第１の決定ステップ１６において、舵角の第１の
質問ステップ１３で測定された舵角が規定の許容誤差範囲内にあることが確認さ
れた場合には、第２の決定ステップ１７への分岐が行われる。この第２の決定ス
テップ１７では、まだ後退ギヤが入れられているかどうか、そして原動機もしく
は機関がまだ接続されているかどうかがチェックされる。機関がまだ接続されて
いると同時に後退ギヤがまだ入れられている場合には、第２の決定ステップ１７
から舵角の第２の質問ステップ１３０への分岐が行われる。舵角の第１の質問ス
テップ１３と同様に、舵角の第２の質問ステップ１３０でも舵角は舵角センサに
よって質問される。その後に、引き続き第１の決定ステップ１６への分岐が行わ
れる。それに対して、第２の決定ステップ１７において、後退ギヤが入れられて
いないか、または機関が停止されていることが確認された場合には、当該方法は
終了ステップ１８において終了される。この終了ステップ１８では、とりわけカ
メラへの電流供給が終了され、後方の走行空間の表示が遮断される。
【００１３】 図２には、カメラ２を備えた車両１が示されている。この場合、カメラ２は車
両の後側の範囲に固定されている。車両１はさらに車両バンパ３を有している。
車両１はガレージ４の手前に位置しており、このガレージ４はガレージ入口５を
有している。そこで、車両１を、ガレージ４の壁に接触することなしにガレージ
入口５内へ入れようとする場合、このためには、後方の走行空間がカメラ２によ
って監視される。カメラ２は一般に後方の走行空間全体を監視することはできず
、特に後方の走行空間の、ガレージ４内への走行を監視するために運転者にとっ
て重要となる部分だけを捕捉する。
【００１４】 図３には、後方の走行空間の一部がカメラ２によって捕捉され、引き続き本発
明による方法によりディスプレイ６に表示されている様子が示されている。以下
において、同じ構成部分は同一の符号で示すものとする。ディスプレイ６は、た
とえば液晶ディスプレイとして形成されたスクリーン６０を有しているので、液
晶パネルを駆動するためのドライバ電子回路および電圧供給部ならびにバックラ
イトユニットはディスプレイ６の内部でスクリーン６０の範囲の外側もしくはそ
の背後に配置されている。スクリーン６０では、この場合、下側の画像縁部に、
運転者の方向ガイドのために車両バンパ３が見えている。さらに、ガレージ入口
５を備えたガレージ４も表示されている。本発明による方法によれば、そのまま
舵角を変えないで後退した場合に予想され得る車両の予想進路が、第１の予想進
路７として重ね書きされる。第１の予想進路７は真っ直ぐに延びているので、車
両のステアリングは明らかに真っ直ぐに調節されている。第１の予想進路７は、
障害物、つまりガレージ４の壁に交わることなしにガレージ入口５内へ延びてい
るので、運転者はこの場合、目下の舵角を変更することなく車両をガレージ入口
５内へ後退させることができる。
【００１５】 第１の予想進路７の重ね書きは、図３に示したように、たとえば破線によって
行われる。破線の表示は映像背景、つまり後方の走行空間の画像に適合される。
ディスプレイにおける暗さから規定可能な明るさ限界までは、重ね書きは明るい
破線によって行われる。たとえば降雪時などに、規定可能な明るさ限界が超過さ
れた場合には、破線が暗く重ね書きされる。また、表示のために実線やシンボル
から成る線、たとえば円または菱形から成る線を使用することもできる。
【００１６】 図４には、スクリーン６０内の既に図３につき説明した要素の他に、さらに最
大に可能となる進路の第１の可能な左側の制限線８ならびに別の第１の可能な右
側の制限線９が示されている。この描画から、運転者は特に、たとえば車両をガ
レージ４に並んで駐車するために、スクリーン６０における描画で見て左側でガ
レージ４の傍らを通り抜けることは不可能となることを知ることができる。なぜ
ならば、第１の可能な左側の制限線８がガレージ４に交差しているので、ステア
リングを左へ最大に切ったとしても、車両にとってはガレージ４の傍らのスペー
スへ到達する可能性は生じないからである。運転者はこの場合、まず車両とガレ
ージ４との間の間隔を増大させなければならない。これにより、運転者には、適
当な進路の選択によってガレージ４の傍らのスペースへ到達することが可能とな
る。それに対して、ガレージ入口５内への進入は問題なく可能となる。
【００１７】 図５には、やはり車両の後方の走行空間が示されている。図３および図４に比
べて、車両は明らかにガレージ４に対して別の位置に位置している。さらに、ス
テアリングが切られており、このことは第２の予想進路７０が湾曲させられて延
びていることから判る。しかし、第２の予想進路７０はやはりガレージ４に交差
することなしにガレージ入口５内へ導入されているので、運転者はこの場合にも
車両の舵角を変えることなくガレージ入口５内へ進入することができる。第２の
予想進路７０の両制限線のうちの一方がガレージ４の側壁に交差しているか、ま
たはそれどころかガレージ４の外側に延びている場合には、運転者は、第２の予
想進路７０が運転者から見てガレージ入口５の内側に延びるようになるまで車両
の舵角を補正するように促される。これによりその後に、舵角の補正なしにガレ
ージ入口５内へ車両を進入させることが可能となる。
【００１８】 図６には、図５に対して付加的に、最大到達可能な進路の第２の可能な左側の
制限線８０ならびに第２の可能な右側の制限線９０が示されている。第２の予想
進路７０が最大到達可能な進路の第２の可能な右側の制限線９０に極めて接近し
て位置しているので、運転者はこの場合、可能となる旋回余地を既にほとんど使
い果たしていることが判る。
【００１９】 図７には、第３の予想進路７１ならびに第３の可能な左側の制限線８１および
第３の可能な右側の制限線９１が示されている。第３の予想進路７１は第３の可
能な右側の制限線９１と重なっている。したがって、第３の可能な右側の制限線
９１のための点線が第３の予想進路７１の縁部と合致している。すなわち、運転
者にとっては車両をさらに右へ操舵することが不可能となる。それにもかかわら
ず、第３の予想進路７１は片側でガレージ入口５の外側に位置している。すなわ
ち、この場合には、運転者がガレージ入口５内へ向かって直接の後退を試みる必
要は全くない。なぜならば、ガレージ４内への進入が可能となることなしに最大
の旋回角度が既に達成されているからである。このような場合には、運転者はま
ず前進し、そしてより大きな間隔を確保した後で再びガレージ４内への進入を開
始しなければならない。
【００２０】 図８には、本発明による方法を実施するための装置が示されている。制御ユニ
ット２０は表示ユニット２１に接続されている。さらに、制御ユニット２０はカ
メラ２に接続されており、このカメラ２はカメラ光学系２５を有している。さら
に、制御ユニット２０は舵角センサ２４と、キー２３を備えた入力ユニット２２
と、シフトセンサ２６と、機関制御ユニット２７とに接続されている。制御ユニ
ット２０はこの場合、マイクロプロセッサと少なくとも１つの記憶ユニットとを
備えたデジタル式の計算ユニットとして形成されていると有利である。制御ユニ
ット２０は車両の前側の範囲に配置されていると有利である。制御ユニット２０
は、たとえば車両の中央コンピュータユニットに組み込まれていてよい。表示ユ
ニット２１は自由にプログラミング可能なコンビインストルメントであると有利
である。特に表示ユニット２１は、図８には図示されていないスクリーン６０を
備えたディスプレイ６を有している。しかし、表示ユニット２１は車両の前側の
範囲に配置されかつ運転者にとって覗き込み可能な付加的なディスプレイ、たと
えば車両のセンタコンソールに設けられた付加的なディスプレイであってもよい
。キー２３を備えた入力ユニット２２は同じく、運転者にとって手の届き易い範
囲、有利には車両のインストルメントパネルに配置されている。したがって、キ
ー２３によって、後方の走行空間の視認の自動的なイネーブルも、予想進路の重
ね書きもしくは進路が位置し得る最大可能な範囲の重ね書きのディスエーブルも
可能となる。舵角センサ２４にも、シフトセンサ２６にも、機関制御ユニット２
７にも、制御ユニット２０は有利にはＣＡＮバスを介してアクセスする。舵角セ
ンサ２４は、上で既に説明したように、目下の舵角を検出するために働く。シフ
トセンサ２６は、後退ギヤが入れられているかどうかの情報を提供する。機関制
御装置２７は、機関が停止されたかどうかの情報を提供する。このためには、車
両の点火装置に問い合わせることも可能である。カメラ２はカメラ光学系２５を
有しており、このカメラ光学系２５は広角レンズ系として設計されていると有利
である。広角レンズ系により、後方の走行空間のできるだけ大きな部分をカメラ
により捕捉することができる。しかし、広角レンズ系は画像歪みを生ぜしめる。
この画像歪みは引き続き制御ユニット２０における画像歪み補正によって補償さ
れ得る。
【図面の簡単な説明】
【図１】 本発明による方法のシーケンスを示すフローチャートである。
【図２】 選択された障害物、つまりガレージ入口の手前に位置する車両を示す概略図で
ある。
【図３】 ガレージ入口へ向かって真っ直ぐに走行する場合の後方の走行空間の本発明に
よる描画を示す概略図である。
【図４】 ガレージ入口と、真っ直ぐな進入時の進路の最大可能な範囲の付加的な表示と
を有する、後方の走行空間の本発明による描画を示す概略図である。
【図５】 ガレージ入口への湾曲させられた進路を有する、後方の走行空間の本発明によ
る描画を示す概略図である。
【図６】 ガレージ入口への湾曲させられた進路と、進路の最大可能な範囲の付加的な表
示とを有する、後方の走行空間の本発明による描画を示す概略図である。
【図７】 ガレージ入口への湾曲させられた進路と、進路の最大可能な範囲の付加的な表
示とを有する、後方の走行空間の本発明による描画を示す概略図であり、ただし
この場合、ガレージへの直接の進入は不可能である。
【図８】 本発明による方法を実施するための装置を示す概略図である。
【符号の説明】 １ 車両、 ２ カメラ、 ３ 車両バンパ、 ４ ガレージ、 ５ ガレー
ジ入口、 ６ ディスプレイ、 ７ 第１の予想進路、 ８ 第１の可能な左側
の制限線、 ９ 第２の可能な右側の制限線、 １０ イネーブルステップ、
１１ 画像捕捉のイネーブルステップ、 １２ 歪み補正のイネーブルステップ
、 １３ 舵角の第１の質問ステップ、 １４ 計算ステップ、 １５ 表示ス
テップ、 １６ 第１の決定ステップ、 １７ 第２の決定ステップ、 １８
終了ステップ、 １９ メモリステップ、 ２０ 制御ユニット、 ２１ 表示
ユニット、 ２２ 入力ユニット、 ２３ キー、 ２４ 舵角センサ、 ２５
カメラ光学系、 ２６ シフトセンサ、 ２７ 機関制御ユニット、 ６０
スクリーン、 ７０ 第２の予想進路、 ７１ 第３の予想進路、 ８０ 第２
の可能な左側の制限線、 ８１ 第３の可能な左側の制限線、 ９０ 第２の可
能な右側の制限線、 ９１ 第３の可能な右側の制限線、 １３０ 舵角の第２
の質問ステップ
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｂ６０Ｒ 21/00 Ｂ６０Ｒ 21/00 ６２１Ｇ ６２１Ｈ ６２１Ｊ ６２１Ｍ ６２１Ｎ ６２４ ６２４Ｃ ６２６ ６２６Ｇ ６２８ ６２８Ｄ Ｆターム(参考） 3D020 BA04 BA20 BC14 BE03 5C054 AA05 CA04 CE00 EH01 FC13 FD03 FE13 HA30

Claims (10)

    【特許請求の範囲】
  1. 【請求項１】 第１の方法ステップで車両後方の走行空間の少なくとも一部
    の画像を捕捉し、該画像をディスプレイに表示して、車両、特に自動車の進路を
    視覚化するための方法において、第２の方法ステップで、目下の舵角を変えない
    まま走行した場合に予想され得る車両の予想進路（７，７０，７１）を求め、第
    ３の方法ステップで、目下の舵角を変えないまま走行した場合に予想され得る車
    両の予想進路（７，７０，７１）を画像内に表示することを特徴とする、車両の
    進路を視覚化するための方法。
  2. 【請求項２】 目下の舵角を変えないまま走行した場合に予想され得る車両
    の予想進路（７，７０，７１）を、車両のステアリングが切られている舵角から
    求める、請求項１記載の車両の進路を視覚化するための方法。
  3. 【請求項３】 可能な進路が位置し得る最大範囲（８，９，８０，９０，８
    １，９１）を表示する、請求項１または２記載の車両の進路を視覚化するための
    方法。
  4. 【請求項４】 舵角センサ（２４）のデータをＣＡＮバスを介して検出する
    、請求項１から３までのいずれか１項記載の車両の進路を視覚化するための方法
    。
  5. 【請求項５】 後方の走行空間の一部と共に、車両バンパ（３）の少なくと
    も一部をも捕捉する、請求項１から４までのいずれか１項記載の車両の進路を視
    覚化するための方法。
  6. 【請求項６】 捕捉された画像の、カメラ光学系（２５）により生ぜしめら
    れる歪みを検出し、計算ユニットによって画像の歪み補正を行う、請求項１から
    ５までのいずれか１項記載の車両の進路を視覚化するための方法。
  7. 【請求項７】 後方の走行空間の画像をカメラ（２）によって捕捉し、該カ
    メラ（２）の出力信号を明るさに関連して出力し、明るさとの関係を、非線形の
    変換特性線、特に対数の変換特性線によって規定する、請求項１から６までのい
    ずれか１項記載の車両の進路を視覚化するための方法。
  8. 【請求項８】 後方の走行空間の画像の表示を、自由にプログラミング可能
    なコンビインストルメント（２１）で行う、請求項１から７までのいずれか１項
    記載の車両の進路を視覚化するための方法。
  9. 【請求項９】 請求項１から８までのいずれか１項記載の車両の進路を視覚
    化するための方法を実施するための装置において、車両の後方の範囲にカメラ（
    ２）が配置されており、該カメラ（２）によって車両の後方の走行空間の少なく
    とも一部が捕捉可能であり、車両（１）にディスプレイ（６，２１）が配置され
    ており、該ディスプレイ（６，２１）がカメラ（２）に接続されており、車両（
    １）に、切られた舵角を求めるための舵角センサ（２４）が設けられており、デ
    ィスプレイ（６，２１）に、目下の舵角を変えないまま走行した場合に予想され
    得る車両（１）の予想進路（７，７０，７１）が表示可能であることを特徴とす
    る、車両の進路を視覚化するための方法を実施するための装置。
  10. 【請求項１０】 当該装置が制御ユニット（２０）を有しており、該制御ユ
    ニット（２０）が、有利にはデジタル式の計算ユニットとして形成されており、
    ディスプレイが、目下の舵角を変えないまま走行した場合に予想され得る車両（
    １）の予想進路（７，７０，７１）および／または可能な進路が位置し得る最大
    範囲（８，９，８０，９０，８１，９１）のために、前記制御ユニット（２０）
    を介してディスエーブル可能である、請求項９記載の装置。
JP2001501475A 1999-06-04 2000-06-05 車両の進路を視覚化するための方法および装置 Expired - Lifetime JP5174304B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE19925584A DE19925584A1 (de) 1999-06-04 1999-06-04 Verfahren zur Fahrwegvisualisierung und Vorrichtung
DE19925584.9 1999-06-04
PCT/DE2000/001797 WO2000074976A1 (de) 1999-06-04 2000-06-05 Verfahren zur fahrwegvisualisierung und vorrichtung

Publications (2)

Publication Number Publication Date
JP2003501917A true JP2003501917A (ja) 2003-01-14
JP5174304B2 JP5174304B2 (ja) 2013-04-03

Family

ID=7910224

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001501475A Expired - Lifetime JP5174304B2 (ja) 1999-06-04 2000-06-05 車両の進路を視覚化するための方法および装置

Country Status (5)

Country Link
US (1) US6564122B1 (ja)
EP (1) EP1102688B1 (ja)
JP (1) JP5174304B2 (ja)
DE (2) DE19925584A1 (ja)
WO (1) WO2000074976A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7034639B2 (en) 2000-06-26 2006-04-25 Murata Manufacturing Co., Ltd. Longitudinally coupled resonator type surface acoustic wave filter and communication apparatus incorporating the same
JP2006298208A (ja) * 2005-04-21 2006-11-02 Aisin Aw Co Ltd 駐車支援方法及び駐車支援装置

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6326613B1 (en) 1998-01-07 2001-12-04 Donnelly Corporation Vehicle interior mirror assembly adapted for containing a rain sensor
US6124886A (en) 1997-08-25 2000-09-26 Donnelly Corporation Modular rearview mirror assembly
US6278377B1 (en) 1999-08-25 2001-08-21 Donnelly Corporation Indicator for vehicle accessory
US8288711B2 (en) 1998-01-07 2012-10-16 Donnelly Corporation Interior rearview mirror system with forwardly-viewing camera and a control
US6445287B1 (en) 2000-02-28 2002-09-03 Donnelly Corporation Tire inflation assistance monitoring system
US6420975B1 (en) 1999-08-25 2002-07-16 Donnelly Corporation Interior rearview mirror sound processing system
JP3508665B2 (ja) * 1999-12-24 2004-03-22 株式会社豊田自動織機 操舵支援装置
JP3427823B2 (ja) * 2000-02-29 2003-07-22 株式会社豊田自動織機 縦列駐車時の車両後退支援装置
US6476730B2 (en) * 2000-02-29 2002-11-05 Aisin Seiki Kabushiki Kaisha Assistant apparatus and method for a vehicle in reverse motion
AU2001243285A1 (en) 2000-03-02 2001-09-12 Donnelly Corporation Video mirror systems incorporating an accessory module
US7480149B2 (en) 2004-08-18 2009-01-20 Donnelly Corporation Accessory module for vehicle
US6396408B2 (en) 2000-03-31 2002-05-28 Donnelly Corporation Digital electrochromic circuit with a vehicle network
JP3619753B2 (ja) * 2000-07-03 2005-02-16 トヨタ自動車株式会社 移動体の後方視界表示装置
JP3700614B2 (ja) * 2001-06-22 2005-09-28 株式会社豊田自動織機 駐車支援装置
JP3664108B2 (ja) * 2001-06-25 2005-06-22 株式会社豊田自動織機 駐車支援装置
DE10142367B4 (de) * 2001-08-30 2009-04-23 Volkswagen Ag Verfahren und Vorrichtung zur Fahrzeugwegvisualisierung
WO2003065084A1 (en) 2002-01-31 2003-08-07 Donnelly Corporation Vehicle accessory module
DE10331235A1 (de) * 2003-07-10 2005-02-03 Robert Bosch Gmbh Fahrhilfsvorrichtung insbesondere zum Einparken eines Fahrzeugs
DE10334613A1 (de) * 2003-07-29 2005-02-17 Robert Bosch Gmbh Fahrhilfsvorrichtung
DE102004049872A1 (de) * 2004-10-13 2006-04-20 Robert Bosch Gmbh System für die Erfassung und Wiedergabe von Bildern
WO2006063827A1 (en) 2004-12-15 2006-06-22 Magna Donnelly Electronics Naas Limited An accessory module system for a vehicle window
WO2006136664A1 (fr) 2005-06-24 2006-12-28 Renault Trucks Procede d'assistance a la conduite, pour les manoeuvres de marche arriere avec un vehicule attele
EP1896313B1 (fr) * 2005-06-24 2015-08-12 Volvo Lastvagnar AB Procede de determination d'une consigne d'angle de braquage des roues directrices d'un vehicule
WO2006136665A1 (fr) 2005-06-24 2006-12-28 Renault Trucks Procede de commande de l'angle de braquage des roues directrices d'un vehicule
DE102005051804B4 (de) * 2005-10-27 2007-11-29 Daimlerchrysler Ag Rangierhilfe für Fahrer von Fahrzeugen bzw. Fahrzeuggespannen, welche aus gegeneinander knickbaren Fahrzeugelementen bestehen
DE102006005168A1 (de) 2006-02-06 2007-08-09 Leopold Kostal Gmbh & Co. Kg Kameraanordnung
US8570374B2 (en) 2008-11-13 2013-10-29 Magna Electronics Inc. Camera for vehicle
US8396653B2 (en) * 2010-02-12 2013-03-12 Robert Bosch Gmbh Dynamic range display for automotive rear-view and parking systems
WO2012045323A1 (en) * 2010-10-07 2012-04-12 Connaught Electronics Ltd. Method and driver assistance system for warning a driver of a motor vehicle of the presence of an obstacle in an environment of the motor vehicle
DE102011014368A1 (de) * 2011-03-17 2012-09-20 DSP-Weuffen GmbH Verfahren und Vorrichtung für ein bildgebendes Fahrerassistenzsystem
DE102011077388A1 (de) * 2011-06-10 2012-12-13 Robert Bosch Gmbh Verfahren zur passiven Fahrerassistenz in einem Fahrerassistenzsystem
US9221386B2 (en) * 2011-10-06 2015-12-29 Honda Motor Co., Ltd. Warning device for judging whether occupant is visually distracted
DE102014006888A1 (de) 2014-05-09 2015-11-12 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) Verfahren und Vorrichtung zur Fahrwegvisualisierung eines Kraftfahrzeuges
US9902267B2 (en) 2015-05-12 2018-02-27 Bendix Commercial Vehicle Systems Llc Predicted position display for vehicle
CN108007417B (zh) * 2016-10-27 2021-02-05 上海华测导航技术股份有限公司 一种农机自动驾驶控制系统角度传感器自动标定方法
CA3093577A1 (en) 2018-03-15 2019-09-19 Daniel Robert Shepard Output device for trailer backing system
DE102022133405A1 (de) 2022-12-15 2024-06-20 Valeo Schalter Und Sensoren Gmbh Verfahren zum bereitstellen eines anzeigbaren pfads

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01147983A (ja) * 1987-12-04 1989-06-09 Honda Motor Co Ltd 車両の後方視界表示装置
JPH08324294A (ja) * 1995-03-01 1996-12-10 Eaton Vorad Technol Llc インテリジェント走行制御と電子制御エンジンを統合するシステムおよび方法
JPH10271490A (ja) * 1997-03-24 1998-10-09 Yazaki Corp 車両後方監視装置
WO1999009738A1 (de) * 1997-08-20 1999-02-25 Signalbau Huber Ag Kameraaufbau zur aufnahme und verfahren zur auswertung von bildern
JPH1199879A (ja) * 1997-09-30 1999-04-13 Nissan Motor Co Ltd メータ内周囲モニタ
JP2000078566A (ja) * 1998-08-31 2000-03-14 Aisin Seiki Co Ltd 駐車補助装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5453784A (en) * 1977-10-07 1979-04-27 Komatsu Ltd Steering control system for unattended vehicle
DE4336288C1 (de) 1993-10-25 1995-03-30 Daimler Benz Ag Einrichtung zur Überwachung des Rück- bzw. Frontraumes eines einparkenden Kraftfahrzeugs
DE19539642A1 (de) * 1995-10-25 1996-11-14 Daimler Benz Ag Verfahren zur Visualisierung eines nicht unmittelbar einsehbaren Überwachungsraumes insbesondere bei einem Fahrzeug, und Vorrichtung zur Visualisierung eines nicht unmittelbar einsehbaren Überwachungsraumes
DE19843564A1 (de) * 1998-09-23 2000-03-30 Bosch Gmbh Robert Warneinrichtung für ein Kraftfahrzeug
DE19845567A1 (de) * 1998-10-02 2000-04-06 Volkswagen Ag Verfahren zur Visualisierung des Rückraumes bei einem Kraftfahrzeug
JP3485165B2 (ja) * 1999-03-30 2004-01-13 矢崎総業株式会社 車両用バックモニタ装置
EP1167120B1 (en) * 2000-06-30 2014-08-27 Panasonic Corporation Rendering device for parking aid

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01147983A (ja) * 1987-12-04 1989-06-09 Honda Motor Co Ltd 車両の後方視界表示装置
JPH08324294A (ja) * 1995-03-01 1996-12-10 Eaton Vorad Technol Llc インテリジェント走行制御と電子制御エンジンを統合するシステムおよび方法
JPH10271490A (ja) * 1997-03-24 1998-10-09 Yazaki Corp 車両後方監視装置
WO1999009738A1 (de) * 1997-08-20 1999-02-25 Signalbau Huber Ag Kameraaufbau zur aufnahme und verfahren zur auswertung von bildern
JPH1199879A (ja) * 1997-09-30 1999-04-13 Nissan Motor Co Ltd メータ内周囲モニタ
JP2000078566A (ja) * 1998-08-31 2000-03-14 Aisin Seiki Co Ltd 駐車補助装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7034639B2 (en) 2000-06-26 2006-04-25 Murata Manufacturing Co., Ltd. Longitudinally coupled resonator type surface acoustic wave filter and communication apparatus incorporating the same
JP2006298208A (ja) * 2005-04-21 2006-11-02 Aisin Aw Co Ltd 駐車支援方法及び駐車支援装置
JP4561456B2 (ja) * 2005-04-21 2010-10-13 アイシン・エィ・ダブリュ株式会社 駐車支援方法及び駐車支援装置

Also Published As

Publication number Publication date
JP5174304B2 (ja) 2013-04-03
EP1102688B1 (de) 2006-04-05
EP1102688A1 (de) 2001-05-30
US6564122B1 (en) 2003-05-13
DE19925584A1 (de) 2000-12-21
DE50012519D1 (de) 2006-05-18
WO2000074976A1 (de) 2000-12-14

Similar Documents

Publication Publication Date Title
JP2003501917A (ja) 車両の進路を視覚化するための方法および装置
JP3508665B2 (ja) 操舵支援装置
US6487481B2 (en) Parking assisting apparatus
EP1022903B1 (en) Apparatus for assisting steering of vehicle when backing
KR100891955B1 (ko) 주차 운전 지원 장치
US7482949B2 (en) Parking assist method and a parking assist apparatus
US6704653B2 (en) Vehicle backing support apparatus
EP1050866B1 (en) Parking assistance device and method
EP2402219B1 (en) Parking assistance device
US20030030724A1 (en) Park-assisting apparatus
JP2005001570A (ja) 駐車支援装置
JP4238663B2 (ja) 車載カメラのキャリブレーション方法及びキャリブレーション装置
JP4670463B2 (ja) 駐車区画監視装置
JPH10244891A (ja) 駐車補助装置
US20030080877A1 (en) Device for monitoring area around vehicle
JP2000177513A (ja) 車両における後退支援装置及び車両
JP2003244688A (ja) 車両の画像処理装置
WO2007058095A1 (ja) 車両周辺表示装置
JP4052011B2 (ja) 駐車支援装置
JP2007118876A (ja) 車両運転支援装置
JP2010006129A (ja) 車両後方情報表示装置および車両後方情報表示方法
JP3877116B2 (ja) 車両の表示装置
JP2003259356A (ja) 車両周辺監視装置
JP2001055099A (ja) 並列駐車時の操舵支援装置
JP2002204446A (ja) 車載後方確認装置と車載ナビゲーション装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070601

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090903

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090911

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20091208

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20091215

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100112

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100212

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100818

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101216

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20101227

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20101228

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120914

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120920

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121102

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121228

R150 Certificate of patent or registration of utility model

Ref document number: 5174304

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term