JP2008230282A - 車載緊急通報装置 - Google Patents

車載緊急通報装置 Download PDF

Info

Publication number
JP2008230282A
JP2008230282A JP2007068766A JP2007068766A JP2008230282A JP 2008230282 A JP2008230282 A JP 2008230282A JP 2007068766 A JP2007068766 A JP 2007068766A JP 2007068766 A JP2007068766 A JP 2007068766A JP 2008230282 A JP2008230282 A JP 2008230282A
Authority
JP
Japan
Prior art keywords
image
imaging
camera
shutter speed
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007068766A
Other languages
English (en)
Other versions
JP5037186B2 (ja
Inventor
Takeyuki Suzuki
健之 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2007068766A priority Critical patent/JP5037186B2/ja
Priority to US12/047,899 priority patent/US8154597B2/en
Publication of JP2008230282A publication Critical patent/JP2008230282A/ja
Application granted granted Critical
Publication of JP5037186B2 publication Critical patent/JP5037186B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/016Personal emergency signalling and security systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512Passenger detection systems
    • B60R21/0153Passenger detection systems using field detection presence sensors
    • B60R21/01538Passenger detection systems using field detection presence sensors for image processing, e.g. cameras or sensor arrays
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/302Detection related to theft or to other events relevant to anti-theft systems using recording means, e.g. black box
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/305Detection related to theft or to other events relevant to anti-theft systems using a camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R2021/0027Post collision measures, e.g. notifying emergency services

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Security & Cryptography (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Alarm Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】静止画を用いて被写体の移動を把握するのに十分な情報を得ることができる車載緊急通報装置を提供する。
【解決手段】車両に事故が発生したことを検知する事故検知手段と、車両の内部を撮像するカメラと、カメラを制御するカメラコントロール部と、カメラにより得られた撮像結果を外部に送信する送信部と、を備えた車載緊急通報装置において、カメラコントロール部は、シャッター速度がそれぞれ異なる、被写体の瞬時画像を撮像する瞬時画像用シャッター速度と、被写体の軌跡を撮像する軌跡画像用シャッター速度とを交互に切り換えて撮像を行うようにカメラの制御を行うことを特徴とする。
【選択図】図2

Description

この発明は、車載緊急通報装置に関するものである。
従来、自動車などが事故を起こした場合に、これを検知して自動的に緊急連絡先に通報する車載緊急通報装置が知られている。そして、この種の車載緊急通報装置においては、緊急連絡先において車内および車外の状態を把握できるように、車両が衝撃などを受けた場合、上記事故が発生した旨の通報とともに車内カメラの映像および車外カメラの映像を緊急連絡先に送信するものが提案されている(例えば、特許文献1参照)。
特開2005−265572号公報
ところで、上述の車載緊急通報装置においては、緊急連絡先への通信手段として携帯電話などの携帯通信端末を利用するようになっているが、この携帯通信端末の回線は通信速度が十分なものではないため、ファイルサイズが大きい動画を送信するのには時間がかかり適さない。
そこで、この発明は、静止画を用いて被写体の移動を把握するのに十分な情報を得ることができる車載緊急通報装置を提供するものである。
上記の課題を解決するために、請求項1に記載した発明は、車両に事故が発生したことを検知する事故検知手段(例えば、実施の形態におけるSRSユニット7)と、車両の内部を撮像する撮像手段(例えば、実施の形態におけるカメラ4)と、前記撮像手段を制御する撮像制御手段(例えば、実施の形態におけるカメラコントロール部5)と、前記撮像手段により得られた撮像結果を外部に送信する送信手段(例えば、実施の形態における送信部9)と、を備えた車載緊急通報装置において、前記撮像制御手段は、シャッター速度がそれぞれ異なる、被写体の瞬時画像を撮像する瞬時画像用シャッター速度と、被写体の軌跡を撮像する軌跡画像用シャッター速度とを交互に切り換えて撮像を行うように前記撮像手段の制御を行うことを特徴とする。
請求項2に記載した発明は、前記撮像手段にて撮像された前記瞬時画像と前記軌跡画像とを重ね合わせる画像重ね合わせ手段(例えば、実施の形態におけるステップS06)を備え、前記送信手段は前記画像重ね合わせ手段によって重ね合わせた画像を送信することを特徴とする。
請求項1に記載した発明によれば、撮像手段により瞬時画像用シャッター速度(例えば、実施の形態における速いシャッター速度)と軌跡画像用シャッター速度(例えば、実施の形態における遅いシャッター速度)とを交互に切り換えて撮像することで、瞬時画像用シャッター速度で撮像された瞬時画像により移動する被写体の撮像時の位置が把握でき、さらに、軌跡画像用シャッター速度で撮像された軌跡画像で、瞬時画像の間の被写体の移動軌跡を把握することができるため、動画よりもファイルサイズの小さい静止画に基づいて被写体の移動状況を把握するのに十分な情報を得ることができる効果がある。
また、動画を送信する場合よりもファイルサイズを低減することができるため、例えば、撮像した画像ファイルを外部に送信する場合に、情報送信時間を短縮することができる効果がある。
請求項2に記載した発明によれば、瞬時画像と軌跡画像とを重ね合わせて一枚の画像として送信することができるので、撮像した画像を順次送信する場合よりも、送信する画像データの総量を低減し、通信回線が混雑して通信容量が低下しているような場合であっても迅速な通報を行うことができる効果がある。
次に、この発明の第1の実施の形態を図面に基づいて説明する。
図1において、符号1はこの実施の形態の緊急通報装置1を示している。この緊急通報装置1は、自動車等の車両に搭載され、事故などが発生した場合に図示しないGPS装置で検出された車両の位置情報などを外部の緊急通報センター10に通報するように構成されたものである。
この緊急通報装置1には、事故発生による車内の状況を把握するため、着座した乗員3を撮像するカメラ4がシート2の上方の天井部分に配置されている。このカメラ4で撮像された画像が車両の位置情報とともに緊急通報センター10に送信されるようになっている。カメラ4は、例えば、CCDカメラやCMOSカメラであって、カメラコントロール部5の制御信号に基づいて撮像を行うようになっている。なお、カメラ4の配置は乗員の移動が把握できる位置であれば乗員の上方に限られるものではない。また、乗員の移動量をまかなえるようにレンズは広角レンズを用いている。
カメラコントロール部5は、シート2に乗員が着座してイグニッションONが検出されると、所定の時間ごとにカメラ4によって乗員を撮像するように設定され、このカメラ4で撮像された画像がメモリ6にデータとして記憶される。より具体的には、カメラコントロール部5は、カメラ4を、速いシャッター速度と遅いシャッター速度とで交互に切り換えて撮像制御を行うように設定され、それぞれシャッター速度が異なる速いシャッター速度で撮像した瞬時画像と遅いシャッター速度で撮像した軌跡画像とが交互にメモリ6に記憶されることとなる。
ここで、速いシャッター速度で撮像される瞬時画像とは、乗員が移動しても画像上の乗員のブレがほぼ認識されない(図2の画像f1,f2参照)程度のシャッター速度(例えば、1/100〜1/300秒程度)で撮像された静止画像あり、また、遅いシャッター速度で撮像される軌跡画像とは、乗員が移動した場合に、画像上に乗員のブレによる移動軌跡が現れる(図2の画像s参照)シャッター速度(例えば、1/30〜1/60秒程度)で撮像された静止画像である。このように遅いシャッター速度の場合には、カメラ4のシャッターを開放している間の乗員の移動軌跡が画像上に現れるので、シャッターの開放時間を調整することで移動軌跡の時間を調整することができる。また、メモリ6はいわゆるリングバッファとして機能するものであり、画像データの記憶によりメモリ6の空き容量が少なくなった場合に古いデータから順に上書きして消去するようになっている。
一方、緊急通報装置1は、車両に事故が発生した場合に作動するSRSユニット7を備えている。このSRSユニット7は、衝突時の衝撃を感知するセンサ(図示せず)を備え、センサによって衝撃が感知された場合には、事故が発生したと判定して処理部8に対して事故が発生した旨の信号を出力する。
処理部8は、上記SRSユニット7の出力信号に基づいて事故が発生したと判定された場合に、事故が発生した旨の情報とともに、メモリ6に記憶されている画像のうち事故発生の直前・直後に撮像された画像を抽出して送信部9に送信する。
より具体的には、処理部8は、図2に示すように、少なくとも事故直前に速いシャッター速度で撮像され乗員がシート2に着座している画像f1(以下、瞬時画像f1という)および速いシャッター速度で撮像され事故直後に乗員が前方に移動している場合の画像f2(以下、瞬時画像f2という)と、これら瞬時画像f1,f2の撮像の間に遅いシャッター速度で撮像された画像s(以下、軌跡画像sという)とをメモリ6に記憶されている複数の画像から抽出する。そして、処理部8は、瞬時画像f1,f2と軌跡画像sとを重ね合わせて1つの画像にして、この重ね合わせた画像を送信部9に送信する。なお、図2に示す各画像は、乗員を側方から撮像した場合の一例を示している。また、図示都合上3枚の画像を重ね合わせる場合について説明したが、重ね合わせる画像の枚数は3枚に限られるものではなく、所望の時間に撮影された画像を全て重ね合わせてもよい。
ここで、瞬時画像f1,f2と軌跡画像sとを重ね合わせる方法としては様々な方法があり、例えば、瞬時画像f1,f2と軌跡画像sとのそれぞれの透過率を高くして重ね合わせたり、瞬時画像f1,f2の差分を求めて移動している乗員のみを切り出し、これを軌跡画像sに重ね合わせるようにしてもよい。
また、送信部9は、処理部8から送信されてきた瞬時画像f1,f2と軌跡画像sとを重ね合わせて一枚の画像としたものを、緊急通報センター10に送信する。ここで、送信部9は、携帯電話などの携帯通信端末を用いることができ、これら携帯通信端末によるパケット通信などで画像データが送信される。
次に、図3のフローチャートに基づいて上述した実施の形態の車載緊急通報装置1における送信画像生成処理を説明する。
まず、ステップS01において、カメラコントロール部5により、速いシャッター速度、遅いシャッター速度を交互に切り換える。ここで、シャッター速度を交互に切り換えるとは、ステップS01の処理を行う度にシャッター速度を変更することであり、例えば、初めにステップS01の処理において速いシャッター速度に設定する処理を行った場合には、次回ステップS01の処理に戻ったときには遅いシャッター速度に設定される。
次に、ステップS02ではステップS01で設定したシャッター速度でカメラ4による撮像を行う。
ステップS3においては、カメラ4にて撮像された画像をメモリ6に保存する。そして、上述したようにメモリ6に一定量書き込まれたら古い画像データから順に上書きして保存を行う。
ステップS04においては、トリガーがあるか否かを判定する。ここで、このステップS04の処理では、上述したSRSユニットから事故が発生した旨の信号が出力されこの信号を処理部8が受信したことをトリガーとしている。ステップS04の判定結果が「YES」(トリガーあり)である場合はステップS05に進み、判定結果が「NO」(トリガーなし)である場合はステップS01に戻りシャッター速度を変更して上述の処理を繰り返す。
ステップS05においては、トリガー入力後、数秒間画像を取り込みステップS06に進む。ここで、このステップS05の処理では、トリガー入力後つまり事故発生後も、上述したステップS01〜ステップS03の処理と同様に速いシャッター速度と遅いシャッター速度とを交互に切り換えて撮像を行い、この撮像された画像を所定時間(例えば、数秒程度)分だけメモリ6から抽出し続ける。
ステップS06においては、処理部8でメモリ6に記憶されている画像のうちトリガー入力の直前・直後の所定枚数の画像を抽出してこれらの画像を上述した方法で重ね合わせて一枚の画像Pにし、この画像Pを、送信部9を介して緊急通報センター9に送信する。
すなわち、カメラコントロール部5は、速いシャッター速度と遅いシャッター速度とで交互に撮像を行うようにカメラ4を制御し、処理部8は、SRSユニット7によりトリガーが入力されると、メモリ6に保存されているトリガー入力直前からトリガー入力直後の所定の時間分までの画像を抽出し、これらを重ね合わせた画像を緊急通報センター9に送信するようになっている。
したがって、上述した実施の形態によれば、カメラ4により速いシャッター速度と遅いシャッター速度とを交互に切り換えて撮像することで、速いシャッター速度で撮像された瞬時画像により移動する被写体の撮像時の位置が把握でき、さらに、遅いシャッター速度で撮像された軌跡画像で、瞬時画像の間の被写体の移動軌跡を把握することができるため、動画よりもファイルサイズの小さい静止画に基づいて被写体の移動状況を把握するのに十分な情報を得ることができる。
また、静止画像を送信することで、動画を送信する場合よりも画像のファイルサイズを低減することができるため、撮像した画像を緊急通報センター10に送信する場合に、情報送信時間を短縮することができる。
さらに、カメラ4で撮像された複数枚の瞬時画像と軌跡画像とを重ね合わせて一枚の静止画像として送信するので、撮像した画像を順次送信する場合よりも、送信する画像の総量を低減し、通信回線が混雑して通信容量が低下しているような場合であっても迅速な通報を行うことができる。
なお、この発明は上述した各実施の形態に限られるものではなく、携帯電話以外の無線通信回線を利用するようにしてもよい。
また、上述した実施の形態では、イグニッションONによりカメラ4の撮像を開始する場合について説明したが、例えば、車両のドアの開閉や、シートベルトのバックルにタングが挿入されたのを検知した場合などにカメラ4による撮像を開始するようにしてもよい。
さらに、上述の実施の形態では、処理部8において瞬時画像と軌跡画像とを重ね合わせる場合について説明したが、瞬時画像と軌跡画像とを個別に緊急通報センター10に送信して、緊急通報センター10でこれら瞬時画像と軌跡画像とを重ね合わせるようにしてもよい。
本発明の実施の形態における緊急通報装置のブロック図である。 本発明の実施の形態における瞬時画像と軌跡画像との重ね合わせの説明図である。 本発明の実施の形態における送信画像生成処理のフローチャートである。
符号の説明
7 SRSユニット(事故検知手段)
4 カメラ(撮像手段)
5 カメラコントロール部(撮像制御手段)
9 送信部(送信手段)
ステップS06 画像重ね合わせ手段

Claims (2)

  1. 車両に事故が発生したことを検知する事故検知手段と、
    車両の内部を撮像する撮像手段と、
    前記撮像手段を制御する撮像制御手段と、
    前記撮像手段により得られた撮像結果を外部に送信する送信手段と、
    を備えた車載緊急通報装置において、
    前記撮像制御手段は、シャッター速度がそれぞれ異なる、被写体の瞬時画像を撮像する瞬時画像用シャッター速度と、被写体の軌跡画像を撮像する軌跡画像用シャッター速度とを交互に切り換えて撮像を行うように前記撮像手段の制御を行うことを特徴とする車載緊急通報装置。
  2. 前記撮像手段にて撮像された前記瞬時画像と前記軌跡画像とを重ね合わせる画像重ね合わせ手段を備え、前記送信手段は前記画像重ね合わせ手段によって重ね合わせた画像を送信することを特徴とする請求項1に記載の車載緊急通報装置。
JP2007068766A 2007-03-16 2007-03-16 車載緊急通報装置 Expired - Fee Related JP5037186B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007068766A JP5037186B2 (ja) 2007-03-16 2007-03-16 車載緊急通報装置
US12/047,899 US8154597B2 (en) 2007-03-16 2008-03-13 On-vehicle emergency call apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007068766A JP5037186B2 (ja) 2007-03-16 2007-03-16 車載緊急通報装置

Publications (2)

Publication Number Publication Date
JP2008230282A true JP2008230282A (ja) 2008-10-02
JP5037186B2 JP5037186B2 (ja) 2012-09-26

Family

ID=39762246

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007068766A Expired - Fee Related JP5037186B2 (ja) 2007-03-16 2007-03-16 車載緊急通報装置

Country Status (2)

Country Link
US (1) US8154597B2 (ja)
JP (1) JP5037186B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021166604A1 (ja) * 2020-02-17 2021-08-26

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8019629B1 (en) 2008-04-07 2011-09-13 United Services Automobile Association (Usaa) Systems and methods for automobile accident claims initiation
US20120078787A1 (en) * 2010-09-24 2012-03-29 The Western Union Company Mobile Agent Methods and Systems
US10043180B2 (en) 2010-09-30 2018-08-07 The Western Union Company System and method for secure transactions at a mobile device
US20140297097A1 (en) * 2013-03-29 2014-10-02 Larry Hurwitz System and method for generating alerts
US10083551B1 (en) 2015-04-13 2018-09-25 Allstate Insurance Company Automatic crash detection
US9767625B1 (en) 2015-04-13 2017-09-19 Allstate Insurance Company Automatic crash detection
US11361380B2 (en) * 2016-09-21 2022-06-14 Allstate Insurance Company Enhanced image capture and analysis of damaged tangible objects
US10902525B2 (en) 2016-09-21 2021-01-26 Allstate Insurance Company Enhanced image capture and analysis of damaged tangible objects
KR102444666B1 (ko) * 2017-12-20 2022-09-19 현대자동차주식회사 차량용 3차원 입체 영상의 제어 방법 및 장치

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040201697A1 (en) * 2001-05-07 2004-10-14 Vernon Lawrence Klein "Black-box" video or still recorder for commercial and consumer vehicles
JP2005265572A (ja) 2004-03-18 2005-09-29 Xanavi Informatics Corp 車載情報端末の操作方法、車載情報端末、携帯端末用プログラム、携帯電話
WO2006120911A1 (ja) * 2005-05-09 2006-11-16 Nikon Corporation 撮像装置およびドライブレコーダシステム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021166604A1 (ja) * 2020-02-17 2021-08-26
WO2021166604A1 (ja) * 2020-02-17 2021-08-26 Necソリューションイノベータ株式会社 抽出装置
JP7319013B2 (ja) 2020-02-17 2023-08-01 Necソリューションイノベータ株式会社 抽出装置

Also Published As

Publication number Publication date
JP5037186B2 (ja) 2012-09-26
US20080225118A1 (en) 2008-09-18
US8154597B2 (en) 2012-04-10

Similar Documents

Publication Publication Date Title
JP5037186B2 (ja) 車載緊急通報装置
JP4872733B2 (ja) 車載緊急通報装置
US20070001512A1 (en) Image sending apparatus
US10232813B2 (en) Method for operating a motor vehicle during an emergency call
JP6627995B2 (ja) 記録装置、記録方法、およびプログラム
JP2003306106A (ja) 緊急通報装置
US11025828B2 (en) Imaging control apparatus, imaging control method, and electronic device
CN113544750B (zh) 车辆用记录控制装置、车辆用记录装置、车辆用记录控制方法和存储介质
JP2013055416A (ja) 車外映像提供システム
KR20080012612A (ko) 차량용 네비게이션 단말기에서의 구조 메시지 전송 장치 및방법
JP5467906B2 (ja) 車載画像監視装置
JP2005303384A (ja) 状態変更システム
JP4797441B2 (ja) 車両用画像処理装置
JP2018131089A (ja) 画像表示装置
JP6428496B2 (ja) 情報処理装置、及び情報記憶装置
US20210053440A1 (en) Operation control device, operation control method, and storage medium
JP2008035201A (ja) カメラシステム
JP7447455B2 (ja) 車両用記録制御装置および車両用記録制御方法
JP2006160126A (ja) 車両情報収集システム
JP4180262B2 (ja) 車載カメラ装置
JP2009280046A (ja) 車両移動判定装置および車両移動判定装置用のプログラム
JP5234153B2 (ja) 車載緊急通報装置
JP2001328499A (ja) 緊急通報システム端末機器および緊急通報システム
WO2023112115A1 (ja) 通信システム、情報処理装置、情報処理方法、プログラム及び記録媒体
JP2023108297A (ja) ドライブレコーダ、情報処理システム、および制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091127

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110630

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120626

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120704

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150713

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees