JP2009139228A - 物体検出装置 - Google Patents

物体検出装置 Download PDF

Info

Publication number
JP2009139228A
JP2009139228A JP2007315972A JP2007315972A JP2009139228A JP 2009139228 A JP2009139228 A JP 2009139228A JP 2007315972 A JP2007315972 A JP 2007315972A JP 2007315972 A JP2007315972 A JP 2007315972A JP 2009139228 A JP2009139228 A JP 2009139228A
Authority
JP
Japan
Prior art keywords
detection
distance
grouping
radar
detection points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007315972A
Other languages
English (en)
Other versions
JP5163084B2 (ja
Inventor
Hiroshi Nakamura
弘 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2007315972A priority Critical patent/JP5163084B2/ja
Publication of JP2009139228A publication Critical patent/JP2009139228A/ja
Application granted granted Critical
Publication of JP5163084B2 publication Critical patent/JP5163084B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

【課題】レーダを用いた物体検出において物体を高精度に検出する物体検出装置を提供することを課題とする。
【解決手段】物体検出装置1であって、物体の位置を検出するレーダ検出手段2と、レーダ検出手段2で検出された各検出点の位置におけるレーダ検出手段2の距離分解能に応じてグルーピングの閾値を設定する閾値設定手段3と、レーダ検出手段2で検出された各検出点を閾値設定手段3で設定された閾値に基づいてグルーピングするグルーピング手段3と、グルーピング手段3でグルーピングされたグループの検出点を用いて物体を検出する物体検出手段3とを備えることを特徴とする。
【選択図】図1

Description

本発明は、レーダによる検出点を用いて物体を検出する物体検出装置に関する。
近年、衝突防止装置、車間制御装置などの運転支援装置が開発されている。これら運転支援装置では、自車両の前方を走行する車両を検出することが重要となる。物体検出装置には、レーザレーダなどのレーダで検出した多数の検出点のうち所定の条件を満たす検出点同士をグルーピングし、そのグルーピングした各グループの検出点群から物体の情報を求める(特許文献1、特許文献2参照)。
特開2006−38755号公報 特開2007−212418号公報
レーザレーダの場合、レーザ光を所定の角度間隔で放射状に照射するので、レーザレーダから距離が離れるほど距離分解能が悪化する。そのため、この距離分解能を考慮せずに同じ条件でグルーピングを行うと、レーザレーダから離れた位置に存在する物体に対する検出点については適切なグルーピングが行われない場合がある。その結果、例えば、1つの物体に対する検出点を複数のグループにグルーピングし、複数の物体として検出することがある。
そこで、本発明は、レーダを用いた物体検出において物体を高精度に検出する物体検出装置を提供することを課題とする。
本発明に係る物体検出装置は、物体の位置を検出するレーダ検出手段と、レーダ検出手段で検出された各検出点の位置におけるレーダ検出手段の距離分解能に応じてグルーピングの閾値を設定する閾値設定手段と、レーダ検出手段で検出された各検出点を閾値設定手段で設定された閾値に基づいてグルーピングするグルーピング手段と、グルーピング手段でグルーピングされたグループの検出点を用いて物体を検出する物体検出手段とを備えることを特徴とする。
この物体検出装置では、レーダ検出手段により電磁波を送信するとともにその反射してきた電磁波を受信し、その電磁波の送受信情報に基づいて物体に対する検出点を取得する。レーダ検出手段では所定角度毎に放射状に電磁波を送信するので、レーダ検出手段からの距離が遠くなるほど送信した電磁波の間隔が広くなり、距離分解能が悪化する。したがって、物体がレーザ検出手段から遠くに存在するほど、その物体に対する検出点の間隔が広くなる。そこで、物体検出装置では、閾値設定手段により各検出点の位置におけるレーダ検出手段の距離分解能に応じてグルーピングの閾値を設定する。そして、物体検出装置では、グルーピング手段により各検出点をその設定した閾値に基づいてグルーピングし、物体検出手段によりグルーピングした各グループの検出点を用いて物体を検出する。このように、この物体検出装置では、検出点の位置における距離分解能に応じてグルーピングの閾値を動的に変更することにより、距離分解能に応じて適切なグルーピングができ、物体を高精度に検出することができる。
本発明の上記物体検出装置では、レーダ検出手段で検出された2個の検出点間の距離を算出する距離算出手段を備え、閾値設定手段は、距離算出手段で用いた2個の検出点の各位置におけるレーダ検出手段の距離分解能のうち大きい方の距離分解能に応じてグルーピングの閾値を設定し、グルーピング手段は、距離算出手段で算出された2個の検出点間の距離が閾値設定手段で設定された閾値未満の場合には当該2個の検出点を同一のグループとする構成としてもよい。
この物体検出装置では、距離算出手段により2個の検出点間の距離をそれぞれ算出する。そして、物体検出装置では、閾値設定手段によりその2個の検出点の各位置における距離分解能を比較し、大きい方の距離分解能に応じてグルーピングの閾値を設定する。さらに、物体検出装置では、グルーピング手段により2個の検出点間の距離が設定した閾値未満の場合にはその2個の検出点を同一のグループとする。このように、物体検出装置では、グルーピング対象の2個の検出点の各位置における距離分解能のうち大きい方の距離分解能に応じてグルーピングの閾値を動的に変更することにより、その2個の検出点を同一のグループにしてよいか否か(つまり、同一の物体に対する検出点であるか否か)を高精度に判定することができる。
本発明は、検出点の位置におけるレーダ検出手段の距離分解能に応じてグルーピングの閾値を変更することにより、物体を高精度に検出することができる。
以下、図面を参照して、本発明に係る物体検出装置の実施の形態を説明する。
本実施の形態では、本発明に係る物体検出装置を、車両に搭載される障害物検出装置に適用する。本実施の形態に係る障害物検出装置は、車両周辺の障害物(例えば、他車両、自転車、歩行者)を検出し、検出した障害物情報を車間制御装置、衝突防止装置などの運転支援装置に提供する。検出方向としては、車両の全周方向でもよいし、あるいは、前方、側方、後方などの目的に応じた方向だけでもよい。
図1〜図3を参照して、本実施の形態に係る障害物検出装置1について説明する。図1は、本実施の形態に係る障害物検出装置の構成図である。図2は、図1のECUにおけるグルーピング手法の説明図である。図3は、グルーピングの結果の一例であり、(a)が従来のグルーピング手法による結果であり、(b)が図1のECUにおけるグルーピング手法による結果である。
障害物検出装置1は、レーザ光を利用したレーダによって検出点を取得し、2個の検出点間の距離に基づいてグルーピングし、グルーピングした各グループの検出点から障害物情報を求める。特に、障害物検出装置1では、グルーピング精度を向上させるために、検出点の位置におけるレーダの距離分解能に応じてグルーピングの閾値を変更する。そのために、障害物検出装置1は、レーザレーダ2及びECU[Electronic Control Unit]3を備えている。
なお、本実施の形態では、レーザレーダ2が特許請求の範囲に記載するレーザ検出手段に相当し、ECU3における各処理が特許請求の範囲に記載する閾値設定手段、グルーピング手段、物体検出手段及び距離算出手段に相当する。
レーザレーダ2は、レーザ光を利用して物体を検出するレーダである。レーザレーダ2は、障害物の検出方向(検出領域)に応じて1個又は複数個設けられ、障害物の検出方向に応じて車両の所定の箇所(例えば、前端の中央)に取り付けられる。レーザレーダ2では、一定時間毎に、レーザ光を左右方向の所定角度毎に出射し、反射してきたレーザ光を受光する。レーザ光を受光する毎に、レーザレーダ2では、少なくとも、出射から受光までの時間に基づいて検出点(反射点)との相対距離を算出するとともにレーザ光の出射角度から検出点(反射点)との相対方向を算出する。そして、レーザレーダ2では、一定時間毎に、1回のスキャンで検出できた全ての検出点についての情報(相対距離、相対方向など)をレーダ信号としてECU3に送信する。
図2に示すように、レーザレーダ2からは所定角度間隔でレーザ光L1,L2・・・が放射状に出射される。そのため、レーザレーダ2から近い位置でのレーザ光L1,L2間の間隔DNと遠い位置でのレーザ光L1,L2間の間隔DDとを比較すると、遠い位置での間隔DDの方が広くなる。つまり、レーザレーダ2から遠くの位置ほど、レーザレーダ2の距離分解能は大きくなり、検出点の間隔も広くなる。
ECU3は、CPU[Central ProcessingUnit]、ROM[Read Only Memory]、RAM[Random Access Memory]などからなる電子制御ユニットであり、障害物検出装置1を統括制御する。ECU3では、一定時間毎に、レーザレーダ2からレーダ信号を受信する。そして、ECU3では、一定時間毎に、レーダ信号に含まれる検出点の情報を用いて障害物検出処理を行い、障害物を検出できた場合にはその障害物の情報を障害物情報信号として運転支援装置に送信する。
障害物検出処理について説明する。ECU3では、検出点の情報を取得すると、1回のスキャンで検出された検出点と同数のラベル配列をRAMの所定の領域に確保し、ラベル配列を初期化する。ラベル配列は各検出点のグループの番号を格納する配列であり、同じグループの番号の検出点が同一のグループ(障害物)となる。
ECU3では、1回のスキャンで検出された全ての検出点の中から2個の検出点の組み合わせを順次抽出し、全ての組み合わせについて以下の処理を行う。まず、ECU3では、抽出した各検出点の相対距離、相対方向などに基づいて、2個の検出点間の距離を算出する。次に、ECU3では、抽出した2個の検出点の各位置(レーザレーダ2からの距離)における距離分解能をそれぞれ算出する。そして、ECU3では、2つの距離分解能を比較し、大きい方の距離分解能(すなわち、レーザレーダ2から遠方の検出点の位置での距離分解能)に応じてグルーピングの閾値を設定する。ここでは、大きい方の距離分解能をそのまま閾値に設定してもよいし、あるいは、多少余裕を持たせるために、安全係数(1より大きい係数)を大きい方の距離分解能に乗算した値を閾値としてもよい。したがって、閾値としては、レーザレーダ2から遠方の検出点の位置での距離分解能自体かあるいはその距離分解能より多少大きい値が設定される。次に、ECU3では、算出した検出点間距離と設定した閾値とを比較し、検出点間距離が閾値未満の場合にその2個の検出点に同じ番号のラベルを付与する。なお、検出点間距離が閾値未満となり、同じ番号のラベルを付与する2個の検出点のうち一方の検出点に既にラベルが付与されている場合、他方の検出点にはその一方の検出点に既に付与されている番号のラベルを付与する。
図2に示す例では、検出点P1と検出点P2の組み合わせの場合、検出点P1と検出点P2とはレーザレーダ2から同程度の位置でありかつレーザレーダ2から比較的近い位置にあるので、小さい値の閾値が設定される。しかし、検出点P1と検出点P2との間隔も狭いので、検出点P1,P2間の距離はその小さい閾値未満となり、検出点P1と検出点P2とは同じラベルが付与される。検出点P8と検出点P9の組み合わせの場合、検出点P8と検出点P9とはレーザレーダ2から同程度の位置でありかつレーザレーダ2から比較的遠い位置にあるので、大きい値の閾値が設定される。そのため、検出点P8と検出点P9との間隔は比較的広いが、検出点P8,P9間の距離はその大きい閾値未満となり、検出点P8と検出点P9とは同じラベルが付与される。検出点P1と検出点P8の組み合わせの場合、検出点P8は検出点P1よりレーザレーダ2から遠い位置にあるので、検出点P8の位置に応じた大きい値の閾値が設定される。しかし、検出点P1と検出点P8との間隔は非常に広いので、検出点P1,P8間の距離はその大きい閾値以上となり、検出点P1と検出点P8とは同じラベルが付与されない。
2個の検出点の全ての組み合わせについての処理が終了すると、ECU3では、ラベルが付与されていない検出点について新しい番号のラベルを付与する。つまり、検出点間距離が閾値未満となる検出点の組み合わせのない検出点については、異なる番号をそれぞれ付与する。そして、ECU3では、ラベル配列における各検出点のラベルの番号に基づいて、同じ番号の検出点を同じグループに分ける。さらに、ECU3では、グループ毎に、グループに含まれる全ての検出点の相対位置、相対方向などからグループ(すなわち、障害物)の位置、大きさ、速度、移動方向などを算出する。速度や移動方向については、前時刻の障害物情報を利用し(前々時刻などの更に過去の障害物情報も利用してもよい)、前時刻の位置からの変化に基づいて算出される。なお、グループの検出点の数が所定数未満のグループについては、障害物とは認定せず、障害物の情報を算出しない。
図2の例では、検出点P1,・・・,P7が同じ番号のラベルが付与され、グループG1が形成され、検出点P8,・・・,P11が同じ番号のラベルが付与され、グループG2が形成される。
図3に示す例は、レーザレーダ2から所定角度毎に出射されたレーザ光が他車両の前面から左側面にかけて反射し、多数の検出点P1,P2,・・・が得られたものである。この例の場合、他車両の左前端部(検出点P5,P6)がレーザレーダ2に最も近く、左側面の後方側(検出点P12など)ほどレーザレーダ2から離れた位置となっているので、左側面の後方側ほど検出点間隔(検出点P11,P12間など)が広くなっている。そのため、従来のグルーピング手法による同一の閾値で検出点間距離を判定すると、図3(a)に示すように、複数個のグループGa1,Ga2,・・・にグルーピングされる。しかし、ECU3におけるグルーピング手法による閾値を距離分解能に応じて変更すると、図3(b)に示すように、1個のグループGb1にグルーピングされる。
図1を参照して、障害物検出装置1における動作について説明する。特に、ECU3における処理については図4のフローチャートに沿って説明する。図4は、図1のECUにおける処理の流れを示すフローチャートである。
レーザレーダ2では、一定時間毎に、左右方向の所定角度毎にレーザ光を出射するとともにその反射光を受光する。そして、レーザレーダ2では、各検出点についての情報を算出し、レーダ信号をECU3に送信する。
レーダ信号を受信する毎(一定時間毎)に、ECU3では、検出点の情報を取得する(S1)。そして、ECU3では、取得した検出点と同数のラベル配列を用意し、そのラベル配列を初期化する(S2)。
ECU3では、取得した検出点の中から2個の検出点の組み合わせを順次抽出する。そして、ECU3では、2個の検出点の位置に基づいて検出点間の距離を算出する(S3)。さらに、ECU3では、2個の検出点の各位置での距離分解能をそれぞれ算出し、大きい方の距離分解能に応じて閾値を設定する(S4)。そして、ECU3では、検出点間距離が閾値未満か否かを判定し、閾値未満の場合にはその2個の検出点に同じ番号のラベルを付与する(S5)。
ECU3では、2個の検出点の全ての組み合わせについての処理が終了したか否かを判定する(S6)。S6にて全ての組み合わせについての処理が終了していないと判定した場合、ECU3では、S3に戻って、次の2個の検出点の組み合わせを抽出し、この組み合わせについての処理を行う。
S6にて全ての組み合わせについての処理が終了したと判定した場合、ECU3では、ラベルが付与されていない検出点に対して新しい番号のラベルをそれぞれ付与する(S7)。そして、ECU3では、各検出点をラベルの番号に応じてグループ分けする(S8)。さらに、ECU3では、グループ毎に、各グループに含まれる検出点の情報に基づいて障害物の情報を算出する(S9)。そして、ECU3では、その障害物の情報を障害物情報信号として運転支援装置に送信する。
この障害物検出装置1によれば、グルーピング対象の2個の検出点の各位置におけるレーザレーダ2の距離分解能のうち大きい方の距離分解能に応じてグルーピングの閾値を動的に変更することにより、その2個の検出点を同一のグループにしてよいか否かを高精度に判定することができる。その結果、適切なグルーピングを行うことができ、障害物を高精度に検出することができる。
以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。
例えば、本実施の形態では車両に搭載される障害物検出装置に適用したが、衝突防止装置、車間制御装置などの運転支援装置や周辺監視装置などの他の装置にも適用可能である。また、検出対象としては、車両周辺の障害物以外にも、物体検出装置の使用用途に応じて様々な物体を検出することも可能である。また、搭載対象としては、車両以外にも、ロボットなどの他のものに搭載することも可能である。
また、本実施の形態ではレーダ検出手段としてレーザレーダを用いる構成としたが、ミリ波レーダなどの他のレーダを用いてもよい。
本実施の形態に係る障害物検出装置の構成図である。 図1のECUにおけるグルーピング手法の説明図である。 グルーピングの結果の一例であり、(a)が従来のグルーピング手法による結果であり、(b)が図1のECUにおけるグルーピング手法による結果である。 図1のECUにおける処理の流れを示すフローチャートである。
符号の説明
1…障害物検出装置、2…レーザレーダ、3…ECU

Claims (2)

  1. 物体の位置を検出するレーダ検出手段と、
    前記レーダ検出手段で検出された各検出点の位置におけるレーダ検出手段の距離分解能に応じてグルーピングの閾値を設定する閾値設定手段と、
    前記レーダ検出手段で検出された各検出点を前記閾値設定手段で設定された閾値に基づいてグルーピングするグルーピング手段と、
    前記グルーピング手段でグルーピングされたグループの検出点を用いて物体を検出する物体検出手段と
    を備えることを特徴とする物体検出装置。
  2. 前記レーダ検出手段で検出された2個の検出点間の距離を算出する距離算出手段を備え、
    前記閾値設定手段は、前記距離算出手段で用いた2個の検出点の各位置におけるレーダ検出手段の距離分解能のうち大きい方の距離分解能に応じてグルーピングの閾値を設定し、
    前記グルーピング手段は、前記距離算出手段で算出された2個の検出点間の距離が前記閾値設定手段で設定された閾値未満の場合には当該2個の検出点を同一のグループとすることを特徴とする請求項1に記載する物体検出装置。
JP2007315972A 2007-12-06 2007-12-06 物体検出装置 Expired - Fee Related JP5163084B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007315972A JP5163084B2 (ja) 2007-12-06 2007-12-06 物体検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007315972A JP5163084B2 (ja) 2007-12-06 2007-12-06 物体検出装置

Publications (2)

Publication Number Publication Date
JP2009139228A true JP2009139228A (ja) 2009-06-25
JP5163084B2 JP5163084B2 (ja) 2013-03-13

Family

ID=40869981

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007315972A Expired - Fee Related JP5163084B2 (ja) 2007-12-06 2007-12-06 物体検出装置

Country Status (1)

Country Link
JP (1) JP5163084B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011043330A (ja) * 2009-08-19 2011-03-03 Ihi Corp 障害物検知方法及び装置
JP2013196171A (ja) * 2012-03-16 2013-09-30 Ihi Corp 車両検出方法及び車両検出装置
KR20180069237A (ko) * 2016-12-15 2018-06-25 (주)더블유알티랩 이동 객체 탐지 시스템 및 방법
CN112799397A (zh) * 2020-12-26 2021-05-14 广州小马慧行科技有限公司 物体的检测方法、检测装置、车辆的控制方法与车辆系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003098256A (ja) * 2001-09-26 2003-04-03 Nissan Motor Co Ltd 車両用障害物地図作成装置
JP2006038755A (ja) * 2004-07-29 2006-02-09 Nissan Motor Co Ltd 車両周囲物体検出装置
JP2006151125A (ja) * 2004-11-26 2006-06-15 Omron Corp 車載用画像処理装置
JP2007304033A (ja) * 2006-05-15 2007-11-22 Honda Motor Co Ltd 車両の周辺監視装置、車両、車両の周辺監視方法、および車両の周辺監視用プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003098256A (ja) * 2001-09-26 2003-04-03 Nissan Motor Co Ltd 車両用障害物地図作成装置
JP2006038755A (ja) * 2004-07-29 2006-02-09 Nissan Motor Co Ltd 車両周囲物体検出装置
JP2006151125A (ja) * 2004-11-26 2006-06-15 Omron Corp 車載用画像処理装置
JP2007304033A (ja) * 2006-05-15 2007-11-22 Honda Motor Co Ltd 車両の周辺監視装置、車両、車両の周辺監視方法、および車両の周辺監視用プログラム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011043330A (ja) * 2009-08-19 2011-03-03 Ihi Corp 障害物検知方法及び装置
JP2013196171A (ja) * 2012-03-16 2013-09-30 Ihi Corp 車両検出方法及び車両検出装置
KR20180069237A (ko) * 2016-12-15 2018-06-25 (주)더블유알티랩 이동 객체 탐지 시스템 및 방법
KR101876809B1 (ko) * 2016-12-15 2018-08-07 (주)더블유알티랩 이동 객체 탐지 시스템 및 방법
US11435469B2 (en) 2016-12-15 2022-09-06 Wrt Lab Co., Ltd. Moving object detection system and method
CN112799397A (zh) * 2020-12-26 2021-05-14 广州小马慧行科技有限公司 物体的检测方法、检测装置、车辆的控制方法与车辆系统

Also Published As

Publication number Publication date
JP5163084B2 (ja) 2013-03-13

Similar Documents

Publication Publication Date Title
KR102576697B1 (ko) 충돌방지장치 및 충돌방지방법
US6674394B1 (en) Method for determining object location from side-looking sensor data
JP5206752B2 (ja) 走行環境認識装置
US20180045811A1 (en) Radar-installation-angle calculating device, radar apparatus, and radar-installation-angle calculating method
JP5712900B2 (ja) 周辺物体検出装置
JP5316572B2 (ja) 物体認識装置
JP7413935B2 (ja) 車載センサシステム
CN102170047B (zh) 用于雷达传感器设备的天线装置
EP3299841B1 (en) Method and apparatus for analyzing reflection signals, driver assistance system, and vehicle
CN109631782A (zh) 用于测量桥梁间隙的系统和方法
CN111615641B (zh) 用于探测关键横向运动的方法和设备
JP2008195293A (ja) 衝突予測装置
JP5949467B2 (ja) 監視装置
JP5163084B2 (ja) 物体検出装置
JP5109264B2 (ja) 物体検出装置
US11428782B2 (en) Neural network-based object surface estimation in radar system
US11435442B2 (en) Method for capturing a surrounding region of a motor vehicle with object classification, control device, driver assistance system and motor vehicle
JP5163087B2 (ja) 物体検出装置
JP6075168B2 (ja) 車両用物体検出装置
JP5163088B2 (ja) 物体検出装置
EP3828590A1 (en) Radar apparatus and operating method thereof
JP2009216464A (ja) 物体検出装置
CN115552283A (zh) 用于检测机动车辆中交通拥堵状况的方法
JPH1062532A (ja) 車両用レーダ装置
JP2015219178A (ja) 区画線検出システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100125

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111019

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120828

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120920

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121120

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121203

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151228

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 5163084

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151228

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees