JP2006510543A - 自動車夜間視認システムの表示領域 - Google Patents

自動車夜間視認システムの表示領域 Download PDF

Info

Publication number
JP2006510543A
JP2006510543A JP2004562685A JP2004562685A JP2006510543A JP 2006510543 A JP2006510543 A JP 2006510543A JP 2004562685 A JP2004562685 A JP 2004562685A JP 2004562685 A JP2004562685 A JP 2004562685A JP 2006510543 A JP2006510543 A JP 2006510543A
Authority
JP
Japan
Prior art keywords
area
night vision
display area
vision system
surroundings
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004562685A
Other languages
English (en)
Other versions
JP4257535B2 (ja
Inventor
ヘルムート・エッゲルス
ゲルハルト・クルツ
ユルゲン・セーキルヒャー
トーマス・ヴォールゲムート
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Daimler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler AG filed Critical Daimler AG
Publication of JP2006510543A publication Critical patent/JP2006510543A/ja
Application granted granted Critical
Publication of JP4257535B2 publication Critical patent/JP4257535B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/30Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing vision in the non-visible spectrum, e.g. night or infrared vision
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/106Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using night vision cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8053Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for bad weather conditions or night vision

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Instrument Panels (AREA)
  • Image Processing (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

本発明は、周囲に関するデータを検出する検知領域(3)と、夜間視認システムにより検出された周囲に関するデータを評価する評価領域と、評価領域において検出された周囲に関するデータについての情報をドライバーに対し光学的表示装置により表示させる表示領域と、を含む自動車夜間視認システムによる周囲検知方法に関する。すべての従来の市販の夜間視認システムは、可能な限り遠方の物体を表示するように構成される。しかしながら、前記システムは、視界が悪い状態かあるいは暗闇において、夜間視認システムが無い場合に可能な速度よりも速い運転にドライバーを導いてしまうという大きな危険性を伴なう。したがって、周囲を検知する本発明の方法では表示領域がハイビーム領域(2)のみを含むように、その表示領域は制限される。その表示領域が制限されるので、ドライバーには、従来のハイビームを作動させた場合に必ず見ることとなるその周囲に関するデータのみが示される。

Description

本発明は、複数の領域を含む自動車夜間視認システムによる周囲検知方法に関する。
悪天候の場合あるいは暗闇におけるドライバーの視界を改善する最初のドライバー支援システムは既に市販されている。これらは、赤外線センサーを利用することにより前方の車両周囲を検出する夜間視認システムである。検出された周囲に関するデータは、データ処理ユニットの支援により処理され画像が形成されるとともに、ドライバーのために車両の光学的ディスプレイ上に表示される。この場合、ドライバーは光学的ディスプレイを見て情報を拾い出し、適切な場合、危険な交通状況を検出することができる。
非特許文献1には、赤外線カメラとヘッドアップ・ディスプレイを含む自動車夜間視認システムが示されている。この場合、ヘッドアップ・ディスプレイは、赤外線カメラにより検出され、車両前方に存在する周囲に関するデータを仮想的にフロントガラス上に投影するために利用される。この場合、このシステムは、ドライバーに対しロービームの典型的な視距離より大きい3〜5倍の視距離の実現性を提供する。この結果、時速60マイルの車両速度において、ロービームで3.5秒の最大反応時間をこの夜間視認により17.5秒の反応時間まで上げられる。
夜間運転中のドライバーの視野を支援するシステムについては、非特許文献2に示されている。この場合、近赤外線において高感度なカメラは周囲を検出するとともに、ドライバーに対して、該周囲をヘッドアップ・ディスプレイ上に表示する。ロービームで、上記システムは、車両ライトの円錐領域の前方に存在し認識が困難な道路の進路はもとよりその周囲にある人間、車両、および障害物を表示する。この目的のために、ロービームのライト円錐領域には、夜間視認システムの支援により認識可能となる領域が隣接される。評価可能な領域は、理想的には約100mに設置されており、最大約150mまでしか到達しない。上記システムは、特にハイビームでの運転が不可能な状況において長距離を視認するための支援として役立つ。ドライバーがハイビームで運転している場合に、上記システムは直視では認識が困難な物体を映し出すことにより前方に存在する情報を提供する。上記システムは、近赤外線を使用することにより、道路状況、道路上の落下物、その他、道路に関する情報を表示することができる。約180mの範囲で規定されるハイビームのライト円錐領域には、この目的のために、夜間視認システムの支援により検出可能な領域が隣接される。検出可能な領域は約200mであり、約250mで規定される。すべての従来の市販の夜間視認システムは、できるだけ離れた物体を表示できるように設計されている。しかしながら、上記システムは、視界が悪い状態かあるいは暗闇において、夜間視認システムが無い場合に可能である速さよりも速く運転するようにドライバーを導いてしまうという大きな危険性を伴っている。
IEEEコンピュータグラフィックスと応用、1999年9月/10月、6ページ:「夜間視認:赤外線、道路に入る」(IEEE Computer Graphics and Applications,September/October,1999,page 6:「Night Vision:Infrared Takes to the Road」) トヨタ自動車株式会社ウェブサイト(www.toyota.co.jp/Showroom/All toyota lineup/LandCruiserCygnus/safety/index.html)
したがって本発明の目的は、自動車夜間視認システムにより周囲を検知する方法であって、該システムの支援により、いつの間にか盲目的に走行する事態に導くことなく、前方周囲に関する情報をドライバーに表示する方法を提供することである。
本発明によれば、本目的は請求項1の特徴を有する方法により達成される。本発明の好適な改良と展開は従属項に示される。
本発明では、自動車夜間視認システムにより周囲を検出する方法が提供される。周囲に関するデータを検出するために、本システムは複数の領域を含む。これらの領域としては、夜間視認システムが非可視のIR(赤外線)波長の光放射に対して高感度であるとともに、周囲に関するデータが検出されることを特徴とする検知領域が挙げられる。上記システムは、また表示領域を含み、夜間視認システムの支援により検出された周囲に関するデータをドライバーのために光学的ディスプレイ上に表示する。本発明の一面では、この場合、上記夜間視認システムの表示領域は、せいぜい車両ハイビーム領域のライト円錐領域しか含まない。この表示領域の制約のために、上記ディスプレイは、従来のハイビームを作動させた際に見ることとなるであろう周囲に関するデータのみをドライバーに示すことになる。
本システムは、特に好適には評価領域を含み、該評価領域において夜間視認システムによって検出された周囲に関するデータは評価、特に物体認識されることになる。
さらに好適には、公差領域を上記夜間視認システムの表示領域に隣接させる。この場合、該公差領域をカバーする周囲に関するデータも同様に、光学的ディスプレイによりドライバーのために表示される。本発明の一実施態様では、この公差領域は恒久的に規定されるものとする。この場合、急激な分離線がハイビーム領域と検知領域の間には存在しないので、一方ではこの公差領域は好適である。他方では、ハイビーム領域の境界線は、カメラの角度範囲及び空間方向に対応した各画素の角度範囲のために十分な精度で確定することはできない。しかしながら、さらに車両変数あるいは周囲の変数、例えば運転速度に基づいて上記公差領域を自動的に制御することも考え得る。しかしながら、本発明の特に好ましい実施態様において、この公差領域は、周囲に関するデータの評価関数として設定される。例えば、対象物が現在の表示領域内に部分的にしか位置しない時はいつも、公差領域は常に自動的に拡大される。この場合、上記公差領域は、対象物が完全に表示領域及び公差領域によってカバーされるように拡大される。
車両の運転方向において、上記表示領域は少なくともロービーム領域の一部を含む。この場合、ドライバーは夜間視認システム無しでもこれらの対象物を見ることができるので、車両のすぐ前方の領域の対象物を表示しないことが好ましい。この場合、表示領域は必ずしも横方向である必要はない。この場合、好ましくは、夜間視認システムの開口角度は、その側面でハイビーム領域のローブを侵入しないように選択される。
夜間視認システムの評価領域は、好適には、少なくとも車両のハイビーム領域を含むように設計される。評価目的のためには、評価領域において検出された周囲に関するデータは、次に、画像処理方法及び分類方法と関連して、データ処理ユニットによって物体認識されることになる。認識された対象物が評価領域内に部分的にしか見出されない場合、評価領域は、好適に、自動的に拡大される。この目的のため、例えば、閉じた対象物の輪郭が存在するかどうかを設定することが可能である。この場合、評価領域は、対象物を完全に評価し終えるまで拡大される。また一方、特に好適には、評価領域は、夜間視認システムの全検知領域を含み、これにより遠方に位置する対象物も検出できるように設計される。また、評価の演算時間を節約するために、車両の直ぐ前方に位置する対象物を認識しないことも有利な方法として考え得る。
本発明の有利な実施態様では、表示領域における評価により検出された対象物は、その表示が強調される。この目的のためには対象物に色をつけることが望ましい。この場合、検出された対象物を予め分類し、次にこれらの分類要素(例えば歩行者、車両、等)を用いてそれらに異なる色をつけることは好適である。対象物の輪郭だけを表示し、これに応じて色をつけることも考え得る。
本発明のさらに有利な実施態様では、評価領域における評価中に検出された対象物に関連する情報を、さらに詳しい評価をするために内部車両システムに利用させることができる。この場合、情報は、例えば初期の段階で安全性に関連するシステム類を作動させたり、あるいはそれらが作動されるよう準備させる目的に役立てることができる。
本発明のさらなる特徴と利点は図を参照した以下の例示的な実施態様の説明から明らかになる。この場合、これらの図は、本発明の可能な改良態様をすべて示すものではなく、さらなる改良態様は特にこれらの組み合わせから好適に生じる。
本発明による自動車夜間視認システム(4)の表示領域を、図1に一例として示す。ここでは、表示領域(斜線で図示)はロービーム領域(1)とハイビーム領域(2)を完全に含んでいる。この場合、表示領域は運転方向においてハイビーム領域(2)と検知領域(3)との間の境界まで広がる。
図2は、自動車夜間視認システム(4)の表示領域を示し、この場合、図1に示す表示領域と比較するとハイビーム領域(2)の横方向の制限がない。カメラの開口角度は、公差領域(網掛けで図示)が側面でハイビーム領域(2)に隣接するように選択される。
図3では、夜間視認システム(4)は、図1に示す表示領域と比較すると、図3の表示領域が好ましくはロービーム領域(1)の一部のみを含むという点でその表示領域が異なるように設計される。また、ここでは、公差領域はその側面で制限され、夜間視認システム(4)の開口角度がハイビーム領域のローブに侵入しないように選択される。
図4は、表示領域のさらなる改良態様を一例として示し、図3に規定した表示領域と比較するとより大きな公差領域を有する。したがって、この表示領域は、ハイビーム領域(2)と検知領域(3)の間の境界で終了せず、検知領域(3)の運転方向にさらに広がっている。
ロービームとハイビーム領域を完全に含む夜間視認システムの表示領域を示す。 ハイビーム領域と横方向の公差領域を含む夜間視認システムの表示領域を示す。 ロービームとハイビーム領域を部分的に含む夜間視認システムの表示領域を示す。 運転方向のハイビーム領域と、付加的な公差領域とを含む夜間視認システムの表示領域を示す。

Claims (7)

  1. 自動車夜間視認システムによる周囲検知方法であって、
    複数の領域と、
    夜間視認システムが、少なくともIR(赤外線)波長領域の光放射を感知し周囲に関するデータを検出する検知領域と、
    前記検知領域で検知された周囲に関するデータからの情報を表示装置により光学的に表示させる表示領域と、
    を備える周囲検知方法であって、
    前記表示領域は、最大の場合で車両のハイビーム領域しか含まないことを特徴とする方法。
  2. 前記夜間視認システムにより検出された周囲に関するデータを評価、特に物体認識する評価領域を設けることを特徴とする請求項1に記載の方法。
  3. 公差領域が表示領域に隣接することを特徴とする請求項1あるいは2のいずれかに記載の方法。
  4. 前記表示領域は、ロービーム領域の少なくとも一部を含むことを特徴とする請求項1〜3のいずれか一項に記載の方法。
  5. 前記評価領域は少なくともハイビーム領域を含むことを特徴とする請求項1〜4のいずれか一項に記載の方法。
  6. 前記表示領域における評価により検出された対象物を光学的表示で強調させることを特徴とする請求項1〜5のいずれか一項に記載の方法。
  7. 前記評価領域における評価中に検出された対象物に関連する情報を、さらに詳しく評価するために、内部車両システムで利用できるようにしたことを特徴とする請求項1〜6のいずれか一項に記載の方法。
JP2004562685A 2002-12-20 2003-12-04 自動車夜間視認システムの表示領域 Expired - Fee Related JP4257535B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE10259882A DE10259882A1 (de) 2002-12-20 2002-12-20 Darstellungsbereich eines automobilen Nachsichtssystems
PCT/EP2003/013688 WO2004059978A1 (de) 2002-12-20 2003-12-04 Darstellungsbereich eines automobilen nachtsichtsystems

Publications (2)

Publication Number Publication Date
JP2006510543A true JP2006510543A (ja) 2006-03-30
JP4257535B2 JP4257535B2 (ja) 2009-04-22

Family

ID=32519172

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004562685A Expired - Fee Related JP4257535B2 (ja) 2002-12-20 2003-12-04 自動車夜間視認システムの表示領域

Country Status (6)

Country Link
US (1) US7408478B2 (ja)
EP (1) EP1574064B1 (ja)
JP (1) JP4257535B2 (ja)
AU (1) AU2003293762A1 (ja)
DE (2) DE10259882A1 (ja)
WO (1) WO2004059978A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010123046A (ja) * 2008-11-21 2010-06-03 Toyota Motor Corp 視認支援装置
WO2017145546A1 (ja) * 2016-02-22 2017-08-31 富士フイルム株式会社 投写型表示装置、投写表示方法、及び、投写表示プログラム
JP2019079173A (ja) * 2017-10-23 2019-05-23 パナソニックIpマネジメント株式会社 3次元侵入検知システムおよび3次元侵入検知方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007043304B3 (de) * 2007-09-11 2009-02-19 Daimler Ag Verfahren und Vorrichtung zum Betreiben eines Fahrzeuges

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5001558A (en) * 1985-06-11 1991-03-19 General Motors Corporation Night vision system with color video camera
DE4032927A1 (de) 1990-10-17 1992-04-30 Bosch Gmbh Robert Vorrichtung zur verbesserung der sichtverhaeltnisse in einem kraftfahrzeug
US6150930A (en) * 1992-08-14 2000-11-21 Texas Instruments Incorporated Video equipment and method to assist motor vehicle operators
US5414439A (en) * 1994-06-09 1995-05-09 Delco Electronics Corporation Head up display with night vision enhancement
US5781243A (en) * 1995-05-08 1998-07-14 Hughes Electronics Display optimization for night vision enhancement systems
US6535242B1 (en) * 2000-10-24 2003-03-18 Gary Steven Strumolo System and method for acquiring and displaying vehicular information
DE10059315A1 (de) * 2000-11-29 2002-06-13 Bosch Gmbh Robert Anordnung und Verfahren zum Überwachen des Umfeldes eines Fahrzeugs
DE10104734A1 (de) 2001-02-02 2002-08-29 Daimler Chrysler Ag Verfahren zur Steuerung technischer Einrichtungen auf Grundlage von Bilddaten
DE10126492B4 (de) * 2001-05-31 2004-05-19 Daimlerchrysler Ag Verfahren zur Verbesserung der Sicht in Fahrzeugen
DE10146959A1 (de) * 2001-09-24 2003-04-30 Hella Kg Hueck & Co Nachtsichtvorrichtung für Fahrzeuge

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010123046A (ja) * 2008-11-21 2010-06-03 Toyota Motor Corp 視認支援装置
WO2017145546A1 (ja) * 2016-02-22 2017-08-31 富士フイルム株式会社 投写型表示装置、投写表示方法、及び、投写表示プログラム
JPWO2017145546A1 (ja) * 2016-02-22 2018-12-20 富士フイルム株式会社 投写型表示装置、投写表示方法、及び、投写表示プログラム
US10645308B2 (en) 2016-02-22 2020-05-05 Fujifilm Corporation Projection display device, projection display method, and projection display program
JP2019079173A (ja) * 2017-10-23 2019-05-23 パナソニックIpマネジメント株式会社 3次元侵入検知システムおよび3次元侵入検知方法

Also Published As

Publication number Publication date
AU2003293762A1 (en) 2004-07-22
EP1574064B1 (de) 2007-01-24
US20060152384A1 (en) 2006-07-13
WO2004059978A1 (de) 2004-07-15
DE10259882A1 (de) 2004-07-15
US7408478B2 (en) 2008-08-05
JP4257535B2 (ja) 2009-04-22
DE50306409D1 (de) 2007-03-15
EP1574064A1 (de) 2005-09-14

Similar Documents

Publication Publication Date Title
US10909765B2 (en) Augmented reality system for vehicle blind spot prevention
US8093999B2 (en) Driver assistance system and method with object detection facility
JP4164402B2 (ja) 赤外イメージングシステムを有するビークル
EP2150437B1 (en) Rear obstruction detection
JP5742937B2 (ja) 車両用視界支援装置
US20060257024A1 (en) Method and device for visualizing the surroundings of a vehicle
US20060151223A1 (en) Device and method for improving visibility in a motor vehicle
US20150120160A1 (en) Method and device for detecting a braking situation
JP2007142624A (ja) 車両搭載撮像装置
JP4943367B2 (ja) 車両用情報表示装置
JP4415856B2 (ja) 周囲感知システムによって路上車両の前方周囲を検出するための方法
EP1912157A1 (en) Digital image processing system for automatically representing surrounding scenes to the driver of a vehicle for driving assistance, and corresponding operating method
CN110622504A (zh) 借助安装在车辆内的传感器空间分辨地探测车辆外部物体的方法和设备
US11117520B2 (en) Display control device, display control system, display control method, and program
US20090153662A1 (en) Night vision system for recording and displaying a surrounding area
JP4751894B2 (ja) 自動車の前方にある障害物を検知するシステム
JP5003473B2 (ja) 注意喚起装置
JP4257535B2 (ja) 自動車夜間視認システムの表示領域
JP4701961B2 (ja) 歩行者検知装置
KR102061210B1 (ko) 차량 측 전방 사각 영역 감시 장치 및 그 방법
US20190161010A1 (en) High visibility head up display (hud)
JP5192009B2 (ja) 車両の周辺監視装置
US20230141584A1 (en) Apparatus for displaying at least one virtual lane line based on environmental condition and method of controlling same
CN118276034A (zh) 抬头显示系统的控制方法、控制系统、车辆、电子设备
CN117022117A (zh) 一种盲区展示方法及车辆

Legal Events

Date Code Title Description
A072 Dismissal of procedure [no reply to invitation to correct request for examination]

Free format text: JAPANESE INTERMEDIATE CODE: A072

Effective date: 20060123

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060705

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20070720

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080903

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090107

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090120

R150 Certificate of patent or registration of utility model

Ref document number: 4257535

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120213

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130213

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140213

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees