JP2013057541A - 対象物との相対位置計測方法と装置 - Google Patents
対象物との相対位置計測方法と装置 Download PDFInfo
- Publication number
- JP2013057541A JP2013057541A JP2011194834A JP2011194834A JP2013057541A JP 2013057541 A JP2013057541 A JP 2013057541A JP 2011194834 A JP2011194834 A JP 2011194834A JP 2011194834 A JP2011194834 A JP 2011194834A JP 2013057541 A JP2013057541 A JP 2013057541A
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- distance
- measurement
- image
- moving body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 29
- 238000003384 imaging method Methods 0.000 claims abstract description 130
- 238000005259 measurement Methods 0.000 claims abstract description 108
- 238000012545 processing Methods 0.000 claims description 19
- 238000000691 measurement method Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 abstract description 3
- 230000003287 optical effect Effects 0.000 description 21
- 230000002093 peripheral effect Effects 0.000 description 6
- 238000012937 correction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 1
- 238000009313 farming Methods 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Abstract
【解決手段】動作体3に設置したレーザ距離センサにより、各被計測点の位置を動作体座標系で表わされた座標値を取得する。動作体3に設置した撮像装置により、対象物5が含まれる領域を撮像して画像を生成する。画像において、対象物5に取り付けられた指標の位置を特定し、この位置に基づいて、撮像時において対象物5の方向を特定する。距離計測時の動作体3の向きと位置に対する撮像時の動作体3の相対的な向きθと位置Δx,Δyに従って、各被計測点の座標値を、距離計測時の動作体座標系の座標値から撮像時の動作体座標系の座標値に変換する。画像内の指標の位置に対応する、変換後の座標値を特定し、この座標値に基づいて、撮像時における動作体3から対象物5までの距離を求める。
【選択図】図3
Description
(A)レーザ距離センサと撮像装置を動作体に設置し、
(B)レーザ距離センサにより、動作体に設定されている計測基点から各計測方向に存在する物体上の被計測点までの距離を計測し、各被計測点の位置を、動作体に固定された動作体座標系の座標値で表わし、
(C)撮像装置により、対象物が含まれる領域を撮像して画像を生成し、
(D)前記画像に基づいて、動作体から見た対象物の方向を取得する方向データ取得処理を行い、
(E)距離計測時と撮像時との間における動作体の向きと位置の変化量を求める動作変化量取得処理を行い、
(F)前記画像と前記座標値と前記変化量とに基づいて、撮像時における、動作体から対象物までの距離を取得する距離データ取得処理を行う、ことを特徴とする対象物との相対位置計測方法が提供される。
方向データ取得処理では、
(D1)撮像装置が撮像した画像において、対象物に取り付けられた指標の位置を特定し、
(D2)当該特定した位置に基づいて、撮像装置による撮像時において動作体から見た対象物の方向を特定し、
動作変化量取得処理では、
距離計測時の動作体の向きに対する撮像時の動作体の相対的な向きと、距離計測時の動作体の位置に対する撮像時の動作体の相対的な位置と、を前記変化量として求め、
距離データ取得処理では、
(F1)求めた相対的な向きと相対的な位置とに従って、前記各被計測点の座標値を、距離計測時の動作体座標系の座標値から撮像時の動作体座標系の座標値に変換し、
(F2)レーザ距離センサと撮像装置の配置関係に基づいて、前記(D1)で特定した前記指標の位置に対応する被計測点を、撮像時の動作体座標系において特定し、当該被測定点の位置を表わす前記変換した座標値を特定し、
(F3)当該特定した座標値に基づいて、撮像時における、動作体から対象物までの距離を求める。
動作体に設置され、動作体に設定されている計測基点から各計測方向に存在する物体上の被計測点までの距離を計測し、各被計測点の位置を、動作体に固定された動作体座標系の座標値で表わすレーザ距離センサと、
動作体に設置され、対象物を含む領域を撮像して画像を生成する撮像装置と、
距離計測時と撮像時との間における動作体の向きと位置の変化量を求める動作変化量計測装置と、
前記画像に基づいて、動作体から見た対象物の方向を取得する方向データ取得処理を行い、前記画像と前記座標値と前記変化量とに基づいて、撮像時における、動作体から対象物までの距離を取得する距離データ取得処理を行うデータ処理装置と、を備える、ことを特徴とする対象物との相対位置計測装置が提供される。
対象物までの距離を求めるのに、レーザ距離センサを用いるので、対象物までの距離を高精度に計測することができる。
よって、動作体から見た対象物の方向と動作体から対象物までの距離とを、動作体と対象物の相対位置として高精度に取得できる。
対象物との相対位置計測装置10は、動作体3から見た対象物5の方向と、動作体3から対象物5までの距離とを、動作体3と対象物5の相対位置として計測する。動作体3は、向きの変更と移動の少なくとも一方を行う。
詳しくは、レーザ距離センサ9は、計測基点から各計測方向にレーザ光を射出して当該レーザ光の反射光を検出することにより、該計測方向に存在する物体上の被計測点までの距離を計測する。また、レーザ距離センサ9は、各計測方向と、該方向上にある被計測点までの計測距離とに基づいて、各被計測点の位置を、動作体座標系の座標値で表わす。該座標値は、当該距離計測時の動作体座標系の座標値である。動作体座標系の原点は、計測基点であり、動作体座標系において、原点から見た各方向が、各計測方向である。ただし、レーザ距離センサ9で得られた様々な物体の座標値だけでは、どの座標値が対象物5の位置に相当するか、または、座標値のどの範囲に対象物5に相当する位置が含まれるかを判別することはできない。
同様に、動作体3が前記静止座標系に対して向きを変えると、動作体座標系は、動作体3と一体的に、前記静止座標系に対して向きを変える。例えば、動作体座標系と静止座標系の各々が、互いに直交するx軸とy軸とz軸とを有する直交座標系であり、動作体3の向きが動作体座標系のx軸の向きと一致する場合には、動作体3の向きが、静止座標系のx軸の向きから静止座標系のy軸の向きに変化すると、動作体座標系のx軸も、静止座標系のx軸の向きから静止座標系のy軸の向きに変化する。
なお、本願において、動作体3の向きとは、動作体3に設定された第1固定点から、この第1固定点と間隔をおいて動作体3に設定されて第2固定点に向かう方向である。動作体3の向きは、動作体3の後方から前方へ向かう向きであってよい。
詳しくは、動作変化量計測装置11は、レーザ距離センサ9による距離計測時の動作体3の向きに対する、撮像装置7による撮像時の動作体3の相対的な向きと、距離計測時の動作体3の位置に対する撮像時の動作体3の相対的な位置と、を前記変化量として求める。なお、本実施形態では、レーザ距離センサ9により距離計測を行った後、撮像装置7により撮像を行っている。ただし、撮像装置7により撮像を行った後、レーザ距離センサ9により距離計測を行ってもよい。
一例では、指標は、特許文献1のように、特定のパターンで輝度が変化する発光ダイオードである。この場合、撮像装置7は、短い設定時間にわたる動画を画像として撮像し、画像において、特定のパターンで輝度が変化する画素の位置を、指標の位置として特定する。この場合、撮像時は、動画を構成する一連の画像のうちのいずれかの指定画像を撮像した時であってよく、当該指定画像を後述の処理(d)で使用してよい。
別の例では、指標は、特許文献2、3に記載されたような幾何学的模様である。この場合、幾何学的模様と同じ模様を予め設定しておき、画像において、この設定模様と同じ模様の部分を、指標の位置として特定する。
なお、動作体座標系は、この例では2次元座標系であるが、3次元座標系であってもよい。
距離計測時と撮像時が同じであるとすると、上述の各計測方向が、撮像装置7により撮像した画像のどの位置に一致するかは、レーザ距離センサ9と撮像装置7の配置関係から分かる。従って、この配置関係に基づいて、距離計測時と撮像時が同じである場合において、各計測方向と画像内の位置との対応関係を予め求めておく。その上で、(d)の処理では、この対応関係に基づいて、撮像時の動作体座標系において、前記(a)で特定した前記指標の位置に対応する計測方向を特定し、当該計測方向の被計測点の位置を表わす前記変換した座標値を特定する。
その一例を図3(B)を用いて説明する。図3(B)は、図3(A)の場合において、距離計測時の動作体座標系S1と、撮像時の動作体座標系S2と各被計測点との関係を示す。前記(a)で特定した前記指標の位置に対応する計測方向が、図3(B)の動作体座標系S2において方向Dmであるとする。この場合、(d)の処理では、座標系S2において、計測方向Dmの被計測点の座標値を特定する。この座標値は、(c)の処理で変換されたものである。
ステップS51では、撮像装置7が撮像した画像において、対象物5に取り付けられた指標の位置を特定する。
ステップS52では、ステップS51で特定した位置と、動作体3に固定された撮像装置7(カメラ)の向きに基づいて、撮像装置7による撮像時において動作体3から見た対象物5の方向を特定する。
ステップS51で特定した前記指標の位置に対応する被計測点は、撮像時の動作体座標系において、指標の位置に正確に一致する被計測点でなくてもよく、指標の位置に正確に一致する被計測点Aから、指標若しくは対象物の寸法に相当する範囲内に位置する被計測点Bであってもよい。ただし、被計測点Aの計測距離と被計測点Bの計測距離との差が、対象物の寸法(奥行)以内となるようにする。
対象物5までの距離を求めるのに、レーザ距離センサ9を用いるので、対象物5までの距離を高精度に計測することができる。
よって、動作体3から見た対象物5の方向と動作体3から対象物5までの距離とを、動作体3と対象物5の相対位置として高精度に取得できる。
これに対し、光学特性部は、赤外線に含まれる光を吸収し、赤色の可視光線に含まれる光を反射するので、光学特性部では、赤色の可視光線の反射率が赤外線の反射率よりも大幅に大きくなる。従って、前記比率B/Aにより、光学特性部を、自然界の物体や一般的な人工物と区別して認識できる。
例えば、入射光を直線偏光または円偏光に変換して反射する光学的特性を有する光学特性部(光学系)を指標としてもよい。この場合、以下のようにする。入射した直線偏光または円偏光の光量を減らして撮像装置7の第1撮像部の撮像面へ導き、入射した直線偏光または円偏光の光量を減らすことなく撮像装置7の第2撮像部の撮像面へ導くように撮像装置7を構成する。指標を含む領域を撮像装置7が撮像して、第1撮像部により第1画像を生成し、第2撮像部により第2画像を生成する。第1画像の各画素について、該画素の輝度をAとし、前記領域において該画素と同じ位置に相当する第2画像の画素の輝度をBとし、輝度Aに対する輝度Bの比率B/Aを求め、この比率に基づいて、第1画像または第2画像において、光学特性部(指標)の位置を特定する。
Claims (3)
- 向きの変更と移動の少なくとも一方を行う動作体から見た対象物の方向と、動作体から対象物までの距離とを、対象物との相対位置として計測する方法であって、
(A)レーザ距離センサと撮像装置を動作体に設置し、
(B)レーザ距離センサにより、動作体に設定されている計測基点から各計測方向に存在する物体上の被計測点までの距離を計測し、各被計測点の位置を、動作体に固定された動作体座標系の座標値で表わし、
(C)撮像装置により、対象物が含まれる領域を撮像して画像を生成し、
(D)前記画像に基づいて、動作体から見た対象物の方向を取得する方向データ取得処理を行い、
(E)距離計測時と撮像時との間における動作体の向きと位置の変化量を求める動作変化量取得処理を行い、
(F)前記画像と前記座標値と前記変化量とに基づいて、撮像時における、動作体から対象物までの距離を取得する距離データ取得処理を行う、ことを特徴とする対象物との相対位置計測方法。 - 方向データ取得処理では、
(D1)撮像装置が撮像した画像において、対象物に取り付けられた指標の位置を特定し、
(D2)当該特定した位置に基づいて、撮像装置による撮像時において動作体から見た対象物の方向を特定し、
動作変化量取得処理では、
距離計測時の動作体の向きに対する撮像時の動作体の相対的な向きと、距離計測時の動作体の位置に対する撮像時の動作体の相対的な位置と、を前記変化量として求め、
距離データ取得処理では、
(F1)求めた相対的な向きと相対的な位置とに従って、前記各被計測点の座標値を、距離計測時の動作体座標系の座標値から撮像時の動作体座標系の座標値に変換し、
(F2)レーザ距離センサと撮像装置の配置関係に基づいて、前記(D1)で特定した前記指標の位置に対応する被計測点を、撮像時の動作体座標系において特定し、当該被測定点の位置を表わす前記変換した座標値を特定し、
(F3)当該特定した座標値に基づいて、撮像時における、動作体から対象物までの距離を求める、ことを特徴とする請求項1に記載の対象物との相対位置計測方法。 - 向きの変更と移動の少なくとも一方を行う動作体から見た対象物の方向と、動作体から対象物までの距離とを、対象物との相対位置として計測する装置であって、
動作体に設置され、動作体に設定されている計測基点から各計測方向に存在する物体上の被計測点までの距離を計測し、各被計測点の位置を、動作体に固定された動作体座標系の座標値で表わすレーザ距離センサと、
動作体に設置され、対象物を含む領域を撮像して画像を生成する撮像装置と、
距離計測時と撮像時との間における動作体の向きと位置の変化量を求める動作変化量計測装置と、
前記画像に基づいて、動作体から見た対象物の方向を取得する方向データ取得処理を行い、前記画像と前記座標値と前記変化量とに基づいて、撮像時における、動作体から対象物までの距離を取得する距離データ取得処理を行うデータ処理装置と、を備える、ことを特徴とする対象物との相対位置計測装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011194834A JP5874252B2 (ja) | 2011-09-07 | 2011-09-07 | 対象物との相対位置計測方法と装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011194834A JP5874252B2 (ja) | 2011-09-07 | 2011-09-07 | 対象物との相対位置計測方法と装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013057541A true JP2013057541A (ja) | 2013-03-28 |
JP5874252B2 JP5874252B2 (ja) | 2016-03-02 |
Family
ID=48133554
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011194834A Active JP5874252B2 (ja) | 2011-09-07 | 2011-09-07 | 対象物との相対位置計測方法と装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5874252B2 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014078232A (ja) * | 2012-10-09 | 2014-05-01 | Boeing Co | 分散された位置の識別 |
WO2015037222A1 (ja) * | 2013-09-11 | 2015-03-19 | トヨタ自動車株式会社 | 三次元物体認識装置、三次元物体認識方法、及び移動体 |
CN112213715A (zh) * | 2020-10-12 | 2021-01-12 | 中国船舶工业集团公司第七0八研究所 | 一种适用于升船机狭窄航道的测距方法 |
WO2022190514A1 (ja) * | 2021-03-11 | 2022-09-15 | オムロン株式会社 | 搬送システム |
CN116299368A (zh) * | 2023-05-19 | 2023-06-23 | 深圳市其域创新科技有限公司 | 激光扫描仪的精度测量方法、装置、扫描仪及存储介质 |
CN117054337A (zh) * | 2023-08-15 | 2023-11-14 | 博雅工道(北京)机器人科技有限公司 | 激光测量系统以及激光测量方法 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001128158A (ja) * | 1999-10-29 | 2001-05-11 | Ryosuke Shibazaki | 移動体用空間情報取得装置 |
JP2002031528A (ja) * | 2000-07-14 | 2002-01-31 | Asia Air Survey Co Ltd | モービルマッピング用空間情報生成装置 |
JP2003269914A (ja) * | 2002-03-13 | 2003-09-25 | Hitachi Ltd | 車両位置測定装置およびそれを搭載した車両 |
JP2007003233A (ja) * | 2005-06-21 | 2007-01-11 | Ritsumeikan | コードターゲット、コード検出システム、及び3次元情報取得システム |
JP2009068951A (ja) * | 2007-09-12 | 2009-04-02 | Mitsubishi Electric Corp | 空中架線の管理システム |
JP2010507127A (ja) * | 2006-10-20 | 2010-03-04 | テレ アトラス ベスローテン フエンノートシャップ | 異なるソースの位置データをマッチングさせるためのコンピュータ装置及び方法 |
JP2010061567A (ja) * | 2008-09-05 | 2010-03-18 | Toyota Motor Corp | 物体検出装置 |
US20100191391A1 (en) * | 2009-01-26 | 2010-07-29 | Gm Global Technology Operations, Inc. | multiobject fusion module for collision preparation system |
JP2011028417A (ja) * | 2009-07-23 | 2011-02-10 | Nec Corp | マーカ検出装置、マーカ生成検出システム、マーカ生成検出装置、マーカ検出方法及びマーカ検出プログラム |
JP2011227029A (ja) * | 2010-04-23 | 2011-11-10 | Honda Motor Co Ltd | 車両の周辺監視装置 |
-
2011
- 2011-09-07 JP JP2011194834A patent/JP5874252B2/ja active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001128158A (ja) * | 1999-10-29 | 2001-05-11 | Ryosuke Shibazaki | 移動体用空間情報取得装置 |
JP2002031528A (ja) * | 2000-07-14 | 2002-01-31 | Asia Air Survey Co Ltd | モービルマッピング用空間情報生成装置 |
JP2003269914A (ja) * | 2002-03-13 | 2003-09-25 | Hitachi Ltd | 車両位置測定装置およびそれを搭載した車両 |
JP2007003233A (ja) * | 2005-06-21 | 2007-01-11 | Ritsumeikan | コードターゲット、コード検出システム、及び3次元情報取得システム |
JP2010507127A (ja) * | 2006-10-20 | 2010-03-04 | テレ アトラス ベスローテン フエンノートシャップ | 異なるソースの位置データをマッチングさせるためのコンピュータ装置及び方法 |
JP2009068951A (ja) * | 2007-09-12 | 2009-04-02 | Mitsubishi Electric Corp | 空中架線の管理システム |
JP2010061567A (ja) * | 2008-09-05 | 2010-03-18 | Toyota Motor Corp | 物体検出装置 |
US20100191391A1 (en) * | 2009-01-26 | 2010-07-29 | Gm Global Technology Operations, Inc. | multiobject fusion module for collision preparation system |
JP2011028417A (ja) * | 2009-07-23 | 2011-02-10 | Nec Corp | マーカ検出装置、マーカ生成検出システム、マーカ生成検出装置、マーカ検出方法及びマーカ検出プログラム |
JP2011227029A (ja) * | 2010-04-23 | 2011-11-10 | Honda Motor Co Ltd | 車両の周辺監視装置 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014078232A (ja) * | 2012-10-09 | 2014-05-01 | Boeing Co | 分散された位置の識別 |
WO2015037222A1 (ja) * | 2013-09-11 | 2015-03-19 | トヨタ自動車株式会社 | 三次元物体認識装置、三次元物体認識方法、及び移動体 |
JP2015055974A (ja) * | 2013-09-11 | 2015-03-23 | トヨタ自動車株式会社 | 三次元物体認識装置、三次元物体認識方法、及び移動体 |
CN112213715A (zh) * | 2020-10-12 | 2021-01-12 | 中国船舶工业集团公司第七0八研究所 | 一种适用于升船机狭窄航道的测距方法 |
WO2022190514A1 (ja) * | 2021-03-11 | 2022-09-15 | オムロン株式会社 | 搬送システム |
CN116299368A (zh) * | 2023-05-19 | 2023-06-23 | 深圳市其域创新科技有限公司 | 激光扫描仪的精度测量方法、装置、扫描仪及存储介质 |
CN116299368B (zh) * | 2023-05-19 | 2023-07-21 | 深圳市其域创新科技有限公司 | 激光扫描仪的精度测量方法、装置、扫描仪及存储介质 |
CN117054337A (zh) * | 2023-08-15 | 2023-11-14 | 博雅工道(北京)机器人科技有限公司 | 激光测量系统以及激光测量方法 |
Also Published As
Publication number | Publication date |
---|---|
JP5874252B2 (ja) | 2016-03-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8929608B2 (en) | Device and method for recognizing three-dimensional position and orientation of article | |
JP5874252B2 (ja) | 対象物との相対位置計測方法と装置 | |
US10613228B2 (en) | Time-of-flight augmented structured light range-sensor | |
TWI624170B (zh) | 影像掃描系統及其方法 | |
US9528828B2 (en) | Method and system for determining position and orientation of a measuring instrument | |
KR101591471B1 (ko) | 물체의 특징 정보를 추출하기 위한 장치와 방법, 및 이를 이용한 특징 지도 생성 장치와 방법 | |
JP6080969B2 (ja) | 対象物の姿勢を決定するための方法と装置 | |
JP2020201930A (ja) | 第1のカメラによって生成された第1の画像を第2のカメラによって生成された第2の画像に基づいて更新する方法及び処理システム | |
WO2019012770A1 (ja) | 撮像装置及びモニタリング装置 | |
JP2020021326A (ja) | 情報処理方法、情報処理装置およびプログラム | |
CN115585798A (zh) | 确定到目标的方向的方法、勘测装置和计算机程序产品 | |
JP2006252473A (ja) | 障害物検出装置、キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム | |
US20230186507A1 (en) | Mobile apparatus obstacle detection system, mobile apparatus, and ground-sweeping robot | |
CN109410282B (zh) | 一种输液杆的检测跟踪方法和装置 | |
KR20230065978A (ko) | 구조화된 광을 사용하여 장면에서 평면 표면들을 직접 복구하기 위한 시스템, 방법 및 매체 | |
JP2007093412A (ja) | 3次元形状測定装置 | |
JP2014137762A (ja) | 物体検出装置 | |
WO2019001001A1 (zh) | 一种障碍信息获取装置及方法 | |
JP2010164440A (ja) | 距離画像処理装置および撮影装置 | |
JP4918830B2 (ja) | 位置計測システム | |
KR20130051134A (ko) | 3차원 위치 센싱 시스템 및 방법 | |
JP5187068B2 (ja) | 3次元形状測定装置および3次元形状測定方法 | |
JP2002022424A (ja) | 3次元測定装置 | |
JP5850225B2 (ja) | マーカ検出方法および装置 | |
US20210063850A1 (en) | Imaging device, method for controlling imaging device, and system including imaging device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140723 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150409 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150422 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150622 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151009 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151207 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151222 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160104 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5874252 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |