JP2011153994A - 車両周辺監視装置 - Google Patents

車両周辺監視装置 Download PDF

Info

Publication number
JP2011153994A
JP2011153994A JP2010017162A JP2010017162A JP2011153994A JP 2011153994 A JP2011153994 A JP 2011153994A JP 2010017162 A JP2010017162 A JP 2010017162A JP 2010017162 A JP2010017162 A JP 2010017162A JP 2011153994 A JP2011153994 A JP 2011153994A
Authority
JP
Japan
Prior art keywords
correction
infrared
luminance
captured image
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010017162A
Other languages
English (en)
Other versions
JP5215329B2 (ja
Inventor
Yuji Yokochi
裕次 横地
Naoto Akutsu
直人 阿久津
Masaki Negoro
昌樹 根來
Atsuo Eguchi
敦央 江口
Toshifumi Suzuki
敏文 鈴木
Morimichi Nishigaki
守道 西垣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2010017162A priority Critical patent/JP5215329B2/ja
Publication of JP2011153994A publication Critical patent/JP2011153994A/ja
Application granted granted Critical
Publication of JP5215329B2 publication Critical patent/JP5215329B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Geophysics And Detection Of Objects (AREA)

Abstract

【課題】赤外線撮像素子の構造の改良に依らずに、赤外線カメラの撮像画像に残像が生じることを防止した車両周辺監視装置を提供する。
【解決手段】画像入力回路から出力される今回の制御周期における各画素の輝度値Ik(x、y)に対して、前回の制御周期における同一位置の画素の輝度値Ik-1(x、y)に、赤外線カメラ1の赤外線撮像素子の赤外線吸収膜の熱容量と熱コンダクタンスに基づく熱時定数τを用いて設定された変数e-t/τを乗じた輝度値を減じる第1の補正を行う輝度補正部12を備え、輝度補正部12は第1の補正がなされた各画素の輝度値Sb^(x、y)のデータを用いて、補正撮像画像Im(k)_cを生成する。
【選択図】 図1

Description

本発明は、車両に取り付けられた赤外線カメラの撮像画像により、車両周辺を監視する車両周辺監視装置に関する。
従来より、夜間走行時における運転者による歩行者等の監視対象物の発見を容易にするために、赤外線カメラにより車両の周辺を撮像して、その撮像画像から監視対象物を検知して運転者に報知するようにした車両周辺監視装置が知られている。
このような車両周辺監視装置で用いられる赤外線カメラの赤外線撮像素子は、入射される赤外線を熱に変換して吸収し、吸収した熱量に応じて電気抵抗が変化する赤外線吸収膜を用いて構成されている(例えば、特許文献1参照)。そして、赤外線撮像素子は、赤外線吸収膜に定電流を流したときの電圧降下分を、入射熱量に応じた赤外線検出信号として出力する。
特許第3921320号公報
上述したように、赤外線カメラの赤外線撮像素子に用いられる赤外線吸収膜は、吸収した熱量に応じた検出信号を出力するものであり、赤外線吸収膜の熱容量を大きくすることで赤外線撮像素子の感度を高めることができる。しかし、一旦赤外線吸収膜に吸収された熱が放熱されるまでには、赤外線吸収膜の熱容量C及び周囲回路の熱コンダクタンスGにより定まる熱時定数τに依存した時間を要する。
そのため、赤外線吸収膜の熱容量を大きくすると、赤外線吸収膜に入力される赤外線のレベルの変化に対する赤外線検出信号の応答遅れの影響が大きくなる。その結果、赤外線カメラの撮像画像に、前回の撮像画像が残像として重なる現象が生じ、撮像画像の信頼性が低下するという不都合がある。そこで、上述した特許文献1においては、赤外線撮像素子の構造を改良することによって、赤外線吸収膜の熱容量の増加を抑えて赤外線撮像素子の感度を高めている。
しかし、このように、赤外線撮像素子の構造を改良する場合には、赤外線撮像素子の構造が複雑になって製造コストが高くなるという不都合がある。
そこで、本発明は、赤外線撮像素子の構造の改良に依らずに、赤外線カメラの撮像画像に残像が生じることを防止した車両周辺監視装置を提供することを目的とする。
課題を解決するための部
本発明は上記目的を達成するためになされたものであり、入射される赤外線を熱に変換して吸収すると共に吸収した熱量に応じて電気抵抗が変化する赤外線吸収膜を用いて構成され、各画素の検出領域に入射される赤外線のレベルに応じた赤外線検出信号を出力する赤外線撮像素子を有し、該赤外線検出信号を輝度信号に変換して出力する赤外線カメラと、車両に搭載された前記赤外線カメラから、所定の制御周期毎に出力される1フレーム分の輝度信号により、各制御周期における撮像画像のデータを生成する撮像画像生成部と、前記撮像画像を用いて、車両周辺の対象物を検知する対象物検知部とを備えた車両周辺監視装置に関する。
そして、前記赤外線カメラから出力される今回の制御周期における各画素の輝度信号による輝度値に対して、前回の制御周期における同一位置の画素の輝度信号による輝度値と、前記赤外線吸収膜の熱容量と熱コンダクタンスに基づく熱時定数とを用いて算出した、前回の制御周期で前記赤外線吸収膜に吸収された熱量の残留分による輝度の推定値を減じる第1の補正を行う輝度補正部を備え、前記撮像画像生成部は、前記第1の補正がなされた各画素の輝度値により、前記撮像画像のデータを生成することを特徴とする。
かかる本発明によれば、前記輝度補正部により、今回の制御周期における各画素の輝度信号による輝度値に対して、前回の制御周期で前記赤外線吸収膜に吸収された熱量の残留分による輝度の推定値を減じる前記第1の補正が行われる。そして、前記撮像画像生成部により、前記第1の補正がなされた各画素の輝度を用いて撮像画像が生成される。そのため、前記赤外線撮像素子の構造の改良に依らずに、今回の制御周期での撮像画像に、前回の制御周期で入射された赤外線による熱量の残存分によって、前回の制御周期での撮像画像の残像が生じることを抑制することができる。
また、前記輝度補正部は、前記第1の補正がなされた各画素の輝度値に対して、今回の制御周期における前記赤外線吸収膜への赤外線の入射に応じた、前記熱時定数に基づく前記輝度信号の収束曲線による補正変数で除する第2の補正を行い、前記撮像画像生成部は、前記第1の補正及び前記第2の補正がなされた各画素の輝度値により、前記撮像画像のデータを生成することを特徴とする。
かかる本発明によれば、前記第1の補正がなされた各画素の輝度値に対して、前記第2の補正を行うことにより、今回の制御周期における赤外線の入射量の変化に対する輝度データの応答遅れの影響を低減することができる。
また、前記輝度補正部は、車両の走行速度が所定速度以上であるときに前記第1の補正を行い、車両の走行速度が該所定速度よりも低いときには、前記第1の補正を行わないことを特徴とする。
かかる本発明によれば、制御周期間の撮像画像の変化の度合いが大きくなるために、撮像画像に残像が表示されるおそれが大きくなる高速走行時に、前記第1の補正を行うことによって、撮像画像に残像が現れることをより確実に防止することができる。また、制御周期間の撮像画像の変化の度合いが小さくなるために、撮像画像に残像が表示されるおそれが低くなる低速走行時には、前記第1の補正を行わないようにすることによって、車両周辺監視装置における演算負担を低減することができる。
車両周辺監視装置の構成図。 各画素の輝度値を補正する処理の説明図。 赤外線撮像素子の構成図。 輝度値の補正及びこの補正による効果の説明図。
本発明の実施の形態について、図1〜図4を参照して説明する。図1を参照して、本実施形態の車両周辺監視装置は、車両に設けられた赤外線カメラ1から出力されるアナログの赤外線検出信号(Psig,映像信号)を処理する画像処理ユニット10と、画像処理ユニット10から出力される画像データ等を表示する表示部2と、画像処理ユニット10から出力される音声データ等を出力するスピーカ3とを備えている。
画像処理ユニット10は、CPU、メモリ等により構成された電子ユニットであり、赤外線カメラ1から出力されるアナログの赤外線検出信号(Psig)をデジタルの輝度信号に変換して、所定の制御周期毎に赤外線カメラ1の原撮像画像Im(k)(kは制御周期の時系列番号を示す)のデータ(m×n個の画素分の輝度値のデータ)を、画像メモリ14に書き込む画像入力回路11(本発明の撮像画像生成部に相当する)と、原撮像画像Im(k)を補正して生成した補正撮像画像Im(k)_cのデータ(m×n個の画素分の輝度値のデータ)を、画像メモリ14に書込む輝度補正部12と、原撮像画像Im(k)又は補正撮像画像Im(k)_cから歩行者等の監視対象物を検知して、表示部2及びスピーカ3による報知を行なう対象物検知部15とを備えている。
なお、CPUは、メモリに保持された画像処理用のプログラムを実行することによって、輝度補正部12及び対象物検知部15として機能する。
次に、図2〜図4を参照して、輝度補正部12による補正処理について説明する。輝度補正部12は、図2に示したように、m×n個の画素から成る今回の制御周期(k番目の制御周期)での原撮像画像Im(k)と前回の制御周期(k−1番目の制御周期)での原画像Im(k-1)との間で、同一位置の各画素の輝度値Ik(x,y),Ik-1(x,y) (x=0,1,…,m、y=0,1,…,n)間の補正演算を行う。そして、輝度補正部12は、この補正演算により得られた輝度値Sb^(x、y)を画素データとする補正撮像画像Im(k)_cを生成する。
ここで、赤外線カメラ1の赤外線撮像素子は、図3に示したように、赤外線吸収膜30を、支持脚31によりトランジスタ32に接続すると共に、支持脚33により出力信号線34に接続し、トランジスタ制御線35に出力されるトランジスタ32のオン/オフ制御信号によって、赤外線吸収膜30への熱量検出用電流の供給/遮断を切換える構成となっている。
そして、赤外線吸収膜30は、赤外線Inを吸収して熱に変換し、吸収した熱量に応じてその電気抵抗が変化するため、トランジスタ32をオン状態として赤外線吸収膜30に一定電流を供給したときの出力信号線の電圧値を、赤外線吸収膜30に入射された赤外線のレベルに応じた赤外線検出信号として読み出すことができる。
このように、赤外線吸収膜30に入射される赤外線のレベルが変化すると、赤外線吸収膜30の熱吸収量が変化するが、赤外線吸収膜30が有する熱容量C(赤外線吸収膜30の面積、厚さ等に依存する)及び支持脚31,33の熱コンダクタンスG(支持脚31,33の長さ、太さ等に依存する)により定まる熱時定数τ(=C/G)に応じて、赤外線撮像素子から出力される赤外線検出信号の応答遅れが生じる。
そして、この応答遅れに起因して、前回の制御周期での熱量が赤外線吸収膜30に残存していると、画像入力回路11により生成される今回の制御周期での撮像画像に、前回の撮像画像の残像が生じてしまう。そこで、輝度補正部12は、このような残像が生じることを抑制するために第1の補正及び第2の補正を行っている。
図4(a)及び図4(b)は、輝度補正部12により補正を行うことによる効果を示した説明図である。図4(a)は赤外線撮像素子への赤外線の入力レベルがSaからSbに増大(入射される熱量が増大)した場合、図4(b)は赤外線撮像素子への赤外線の入力レベルがSaからSbに減少(入射される熱量が減少)した場合を、縦軸を入力レベルに設定し、横軸を時間に設定して示したものである。
図4(a)では、赤外線の入力レベルがSaからSbに変化したt0から、画像入力回路11から出力される画素の輝度値Ik(x,y)が増加している。また、図4(b)では、赤外線の入力レベルがSaからSbに変化したt0から、画像入力回路11から出力される画素値Ik(x,y)が減少している。
そして、これらの輝度値Ik(x,y)は、前回の制御周期での入力レベルIk-1(x,y)(=Sa)とt0以降の入力レベルSbを用いて、以下の式(1)によりモデル化することができる。
Figure 2011153994
但し、Ik(x,y):今回の原撮像画像の(x,y)位置の画素の輝度値、Ik-1(x,y):前回の原撮像画像の(x,y)位置の画素の輝度値、t:1フレームの周期、τ:赤外線カメラ1の赤外線撮像素子の熱時定数、e-t/τ:前回の原撮像画像の各画素の輝度値の減少曲線、(1-e-t/τ):今回の入力による輝度値の収束曲線。
そのため、上記式を今回の入力レベルについて表した以下の式(2)により、今回の入力信号のレベルSbの推定値Sb^を算出することができる。
Figure 2011153994
但し、Sb^(x,y):補正撮像画像の(x,y)位置の画素の輝度値、Ik(x,y):今回の原撮像画像の(x,y)位置の画素の輝度値、Ik-1(x,y):前回の原撮像画像の(x,y)位置の画素の輝度、t:1フレームの周期、τ:赤外線カメラ1の赤外線撮像素子の熱時定数、Ik-1(x,y) e-t/τ:前回の制御周期で赤外線吸収膜に吸収された熱量の残留分による輝度値の推定値。
なお、上記式(2)において、右辺の分子で今回の原撮像画像の(x,y)位置の画素の輝度値Ik(x,y)から、原撮像画像の(x,y)位置の画素の輝度値Ik-1(x,y)にe-t/τを乗じた前回の制御周期で赤外線吸収膜に吸収された熱量の残留分による輝度の推定値を減じる処理が第1の補正となる。また、上記式(2)おける右辺の(1-e-t/τ)で除する処理が第2の補正となる。
輝度補正部12は、図2を参照して上述したように、今回の制御周期(k番目の制御周期)の原撮像画像Im(k)と前回の制御周期(k−1番目の制御周期)の原撮像画像Im(k-1)の、同一位置の各画素の輝度値Ik(x,y)、Ik-1(x,y)を上記式(2)に適用してSb^(x,y)を算出する。そして、輝度補正部12は、各画素の輝度値をSb^(x,y)とした補正撮像画像Im(k)_cを生成する。これにより、今回の撮像画像Im(k)から、残像を生じさせる前回の撮像画像Im(k-1)の輝度値の残留分を排除した補正撮像画像Im(k)_cを得ることができる。
そして、対象物検知部15は、補正撮像画像Im(k)_c(グレースケール画像)或いは補正撮像画像Im(k)_cの2値画像から、歩行者等の監視対象物の画像を探索して、車両周辺の対象物を監視する。そのため、残像の影響による歩行者の誤検知等を抑制することができる。
なお、車両の走行速度が低いときには、今回の撮像画像と前回の撮像画像間での変化が少ないため、残像の影響が少なくなる。また、車両の走行速度が低いほど、車両から所定距離をもって所在する対象物に、車両が到達するまでの時間が長くなる。そこで、車速センサ(図示しない)により検出される走行速度が所定速度以下である低速域では、輝度補正部12による補正処理を禁止し、該所定速度を超える高速域でのみ輝度補正部12による補正処理を行う構成として、低速域での画像処理ユニット10の演算負荷を低減させてもよい。
また、本実施の形態では、上記式(2)により、(1-e-t/τ)で除する第2の補正を行うことで今回の入力に対する輝度値の応答遅れの影響を低減させたが、(1-e-t/τ)で除することをせずに、前回の入力分による輝度値Ik-1(x,y)e-t/τを減じる演算のみを行う場合であっても、残像の発生を抑制するという効果を得ることができる。
また、本実施の形態では、上記式(2)により、前回の原撮像画像の各画素の輝度Ik-1(x、y)にe-t/τを乗じて、前回の制御周期で赤外線吸収膜に吸収された熱量の残留分による輝度値の推定値を算出したが、該輝度値の推定値と前回の原撮像画像の各画素の輝度Ik-1(x、y)との対応マップを予め用意して、この対応マップに各画素の輝度Ik-1(x、y)を適用して該輝度値の推定値を求める等、他の構成によって該輝度値の推定値を求めるようにしてもよい。
なお、監視対象物を歩行者や四足動物とした場合に、その存在可能性が低い状況下では、輝度補正部12による補正処理を禁止してもよい。ここで、存在可能性が低い状況とは、例えば、グレースケール画像又は2値化画像中に高輝度の画像部分が存在しない、グレースケール画像の輝度分散が所定値以下、高速道路走行中(高速道路を走行中であることは、車両に装備されたナビゲーション装置等により認識することができる)等の状況が挙げられる。
1…赤外線カメラ、10…画像処理ユニット、11…画像入力回路、12…輝度補正部、14…画像メモリ、15…対象物検知部。

Claims (3)

  1. 入射される赤外線を熱に変換して吸収すると共に吸収した熱量に応じて電気抵抗が変化する赤外線吸収膜を用いて構成され、各画素の検出領域に入射される赤外線のレベルに応じた赤外線検出信号を出力する赤外線撮像素子を有し、該赤外線検出信号を輝度信号に変換して出力する赤外線カメラと、
    車両に搭載された前記赤外線カメラから、所定の制御周期毎に出力される1フレーム分の輝度信号により、各制御周期における撮像画像のデータを生成する撮像画像生成部と、
    前記撮像画像を用いて、車両周辺の対象物を検知する対象物検知部と
    を備えた車両周辺監視装置において、
    前記赤外線カメラから出力される今回の制御周期における各画素の輝度信号による輝度値に対して、前回の制御周期における同一位置の画素の輝度信号による輝度値と、前記赤外線吸収膜の熱容量と熱コンダクタンスに基づく熱時定数とを用いて算出した、前回の制御周期で前記赤外線吸収膜に吸収された熱量の残留分による輝度の推定値を減じる第1の補正を行う輝度補正部を備え、
    前記撮像画像生成部は、前記第1の補正がなされた各画素の輝度値により、前記撮像画像のデータを生成することを特徴とする車両周辺監視装置。
  2. 請求項1記載の車両周辺監視装置において、
    前記輝度補正部は、前記第1の補正がなされた各画素の輝度値に対して、今回の制御周期における前記赤外線吸収膜への赤外線の入射に応じた、前記熱時定数に基づく前記輝度信号の収束曲線による補正変数で除する第2の補正を行い、
    前記撮像画像生成部は、前記第1の補正及び前記第2の補正がなされた各画素の輝度値により、前記撮像画像のデータを生成することを特徴とする車両周辺監視装置。
  3. 請求項1又は請求項2記載の車両周辺監視装置において、
    前記輝度補正部は、車両の走行速度が所定速度以上であるときに前記第1の補正を行い、車両の走行速度が該所定速度よりも低いときには、前記第1の補正を行わないことを特徴とする車両周辺監視装置。
JP2010017162A 2010-01-28 2010-01-28 車両周辺監視装置 Expired - Fee Related JP5215329B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010017162A JP5215329B2 (ja) 2010-01-28 2010-01-28 車両周辺監視装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010017162A JP5215329B2 (ja) 2010-01-28 2010-01-28 車両周辺監視装置

Publications (2)

Publication Number Publication Date
JP2011153994A true JP2011153994A (ja) 2011-08-11
JP5215329B2 JP5215329B2 (ja) 2013-06-19

Family

ID=44540067

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010017162A Expired - Fee Related JP5215329B2 (ja) 2010-01-28 2010-01-28 車両周辺監視装置

Country Status (1)

Country Link
JP (1) JP5215329B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016163094A1 (ja) * 2015-04-10 2016-10-13 株式会社デンソー 表示装置
JP7461376B2 (ja) 2019-04-30 2024-04-03 リンレッド 静止した景色の赤外線画像の残留像を除去する方法及びデバイス

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07200986A (ja) * 1993-12-28 1995-08-04 Nippon Signal Co Ltd:The 画像式歩行者検出装置
JP2000030197A (ja) * 1998-07-09 2000-01-28 Nissan Motor Co Ltd 温体検出装置
JP2001215151A (ja) * 2000-01-31 2001-08-10 Nec Corp 熱型赤外線検出器およびその製造方法
JP2002054997A (ja) * 2000-08-09 2002-02-20 Sharp Corp 熱型赤外線検出素子および赤外線撮像装置
JP2005024342A (ja) * 2003-06-30 2005-01-27 Toshiba Corp 熱型赤外線撮像素子及びその製造方法
JP2005043381A (ja) * 2004-10-18 2005-02-17 Nec Corp 熱型赤外線検出器およびその製造方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07200986A (ja) * 1993-12-28 1995-08-04 Nippon Signal Co Ltd:The 画像式歩行者検出装置
JP2000030197A (ja) * 1998-07-09 2000-01-28 Nissan Motor Co Ltd 温体検出装置
JP2001215151A (ja) * 2000-01-31 2001-08-10 Nec Corp 熱型赤外線検出器およびその製造方法
JP2002054997A (ja) * 2000-08-09 2002-02-20 Sharp Corp 熱型赤外線検出素子および赤外線撮像装置
JP2005024342A (ja) * 2003-06-30 2005-01-27 Toshiba Corp 熱型赤外線撮像素子及びその製造方法
JP2005043381A (ja) * 2004-10-18 2005-02-17 Nec Corp 熱型赤外線検出器およびその製造方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016163094A1 (ja) * 2015-04-10 2016-10-13 株式会社デンソー 表示装置
JP7461376B2 (ja) 2019-04-30 2024-04-03 リンレッド 静止した景色の赤外線画像の残留像を除去する方法及びデバイス

Also Published As

Publication number Publication date
JP5215329B2 (ja) 2013-06-19

Similar Documents

Publication Publication Date Title
US9669761B2 (en) Around view monitoring apparatus and method thereof
EP3153356B1 (en) Display device for vehicle and display method for vehicle
JP2009130845A5 (ja)
JP2013148873A5 (ja)
JP2015233248A5 (ja)
US10735669B2 (en) Method of flicker reduction
JP2017028511A5 (ja)
JP2016118701A5 (ja)
JP6525543B2 (ja) 画像処装置および画像処理方法、並びにプログラム
US20150325021A1 (en) Image fusing method
US10373293B2 (en) Image processing apparatus, image processing method, and storage medium
JP5215329B2 (ja) 車両周辺監視装置
JP5126549B2 (ja) 運転支援装置、運転支援方法、及び運転支援プログラム
US20170148148A1 (en) Image processing device, image display system and vehicle provided with same, image processing method and recording medium records program for executing same
JP2016036115A5 (ja)
JP2008160218A5 (ja)
JP2011164228A5 (ja) 光学装置及びその制御方法
US11317032B2 (en) Imaging device, imaging system, mobile apparatus, and control method of imaging device
JP2009147677A5 (ja)
US9159287B2 (en) Image display apparatus and image display method
JP6995615B2 (ja) アーク放電判定装置
JP2014121079A5 (ja)
WO2020162498A1 (ja) 情報処理装置
JP2011022352A5 (ja) 像振れ補正装置およびそれを備えた光学機器、撮像装置ならびに像振れ補正装置の制御方法
JP2012083822A (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120612

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120808

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130228

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160308

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees