JP2012164089A - ロボット、位置推定方法及びプログラム - Google Patents
ロボット、位置推定方法及びプログラム Download PDFInfo
- Publication number
- JP2012164089A JP2012164089A JP2011023232A JP2011023232A JP2012164089A JP 2012164089 A JP2012164089 A JP 2012164089A JP 2011023232 A JP2011023232 A JP 2011023232A JP 2011023232 A JP2011023232 A JP 2011023232A JP 2012164089 A JP2012164089 A JP 2012164089A
- Authority
- JP
- Japan
- Prior art keywords
- estimated
- observation
- granularity
- robot
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】回転可能なカメラの撮像画像から観測対象の人物の領域を検出し、検出された人物の領域に対して、カメラの回転角度を含む観測状況に基づいて複数の推定粒度の情報を有するパーティクルの推定粒度を変更し、各推定粒度を用いて観測対象の位置を推定するように構成する。
【選択図】図1
Description
本発明の第1実施例におけるコミュニケーションロボットでは、観測された状況(以下、観測状況とも言う)に基づいてパーティクル(即ち、人物の予測値)の推定粒度を変更し、各推定粒度を用いて位置推定を行う。例えば、各推定粒度毎にサンプリング部及び尤度計算部を設けることで、決定した推定粒度に従ったサンプリング及び尤度計算を行うことができる。
・視界に存在
・視界より右でロボット201から近距離に存在
・視界より右でロボット201から遠距離に存在
・視界より左でロボット201から近距離に存在
・視界より左でロボット201から遠距離に存在
・立ち去り
この場合、概略位置の状態は、例えば一定確率で「近距離」⇔「遠距離」⇒「立ち去り」のように遷移させることができる。
図7は、本発明の第2実施例におけるロボットの一例を示すブロック図である。図7中、図1と同一部分には同一符号を付し、その説明は省略する。
上記の各実施例では、尤度計算方法が推定粒度に応じて異なるため、計算された尤度の比較が難しい場合もあり得る。このような場合には、リサンプリングを各推定粒度毎に行っても良い。リサンプリングを行う場合、推定される各人物がどの推定粒度で推定されるのが妥当であるかを示す尤度を計算し、この尤度の重みによりリサンプリングで生成される各推定粒度のパーティクルの個数を決定しても良い。
複数の顔を観測して複数の人物の位置を推定する場合、先ずどの顔がどの人物かを推定した後に、各顔に対して詳細位置の観測尤度を決定すれば良い。顔と人物の推定方法は、例えばパーティクルの平均位置と分散から、観測した人物と推定中の人物とが対応する尤度を求めても良い。全ての人物と顔との組み合わせに関して尤度の合計値を計算し、尤度の合計値が一番高い組み合わせを採用する等の推定方法を採用しても良い。顔に対して対応する人物がいない場合は、検出されていない新たな人物であると推定することもできる。
(付記1)
少なくとも1軸を中心に回転可能なカメラと、
前記カメラからの撮像画像から観測対象の人物の領域を検出する人物領域検出部と、
前記カメラの前記少なくとも1軸を中心とした回転角度を含む観測状況を取得する観測状況取得部と、
前記人物領域検出部で検出された人物の領域に対して、前記観測状況に基づいて複数の推定粒度の情報を有するパーティクルの推定粒度を変更し、各推定粒度を用いて前記観測対象の位置を推定する推定処理部
を備えた、ロボット。
(付記2)
前記観測状況は、パーティクルの表す詳細位置を示す第1のパラメータと、現在の概略位置を前記観測対象が前記カメラの視界内にあるか、或いは、視界外にあるかで示す第2のパラメータを含む、付記1記載のロボット。
(付記3)
前記第2のパラメータは、前記カメラの視界内を示す値、前記観測対象が視界より右側に存在することを示す値、前記観測対象が視界より左側に存在することを示す値、及び前記観測対象がその場には存在しないことを示す値のいずれかを有する、付記2記載のロボット。
(付記4)
前記推定処理部は、
前記観測状況に基づいて、前記検出された前記観測対象の顔領域のパーティクルの推定粒度を決定する推定粒度決定部と、
ある推定粒度の推定値を前記決定された推定粒度の推定値に変換する推定値変換部と、
前記変換された推定値に基づいて、パーティクルを推定粒度毎にサンプリングしてサンプリングされたパーティクルを夫々の推定粒度で状態遷移させる複数のサンプリング部と、
前記サンプリングされたパーティクルが夫々の推定粒度での推定値の妥当性を示す推定粒度毎の観測尤度を計算する複数の観測尤度計算部と、
前記計算された推定粒度毎の観測尤度によりパーティクルをリサンプリングするリサンプリング部
を有する、付記1乃至3のいずれか1項記載のロボット。
(付記5)
前記推定処理部は、前記リサンプリングの結果に基づいて前記観測対象の位置を推定する位置推定部を更に有し、前記リサンプリングの結果は前記推定粒度決定部にフィードバックされる、付記4記載のロボット。
(付記6)
前記推定処理部は、
前記観測状況に基づいて、前記検出された前記観測対象の顔領域のパーティクルの推定粒度を決定する推定粒度決定部と、
ある推定粒度の推定値を前記決定された推定粒度の推定値に変換する推定値変換部と、
前記変換された推定値に基づいて、パーティクルを推定粒度毎にサンプリングしてサンプリングされたパーティクルを夫々の推定粒度で状態遷移させる複数のサンプリング部と、
前記サンプリングされたパーティクルが夫々の推定粒度での推定値の妥当性を示す推定粒度毎の観測尤度を計算する複数の観測尤度計算部と、
前記計算された推定粒度毎の観測尤度によりパーティクルを推定粒度毎にリサンプリングする複数のリサンプリング部と、
前記観測対象がどの推定粒度で推定されるのが妥当であるかを示す尤度の重みにより前記複数のリサンプリング部で生成される各推定粒度のパーティクルの個数を決定する個数決定部
を有する、付記1乃至3のいずれか1項記載のロボット。
(付記7)
前記推定処理部は、パーティクルのサンプリング前又はサンプリング後にパーティクルの値によって推定粒度を変更する、付記6記載のロボット。
(付記8)
前記ロボットと前記観測対象の接触を検出して接触検出信号を出力する接触センサと、
前記ロボットと前記観測対象間の距離を測定して測定された距離を示す距離信号を出力する距離センサを更に備え、
前記推定処理部で用いる観測状況は、前記接触検出信号及び前記距離信号の少なくとも一方を含む、付記1乃至5のいずれか1項記載のロボット。
(付記9)
前記位置推定部により推定された前記観測対象の位置の不確実さの評価に基づいて観測方針を決定する観測方針決定部を更に備えた、付記5記載のロボット。
(付記10)
前記観測方針に基づいて前記カメラの前記少なくとも1軸に対する回転位置を制御する制御部を更に備えた、付記9記載のロボット。
(付記11)
少なくとも1軸を中心に回転可能なカメラの撮像画像から観測対象の人物の領域を人物領域検出部により検出する検出工程と、
前記カメラの前記少なくとも1軸を中心とした回転角度を含む観測状況を観測状況取得部により取得する取得工程と、
検出された前記人物の領域に対して、推定処理部により、取得された前記観測状況に基づいて複数の推定粒度の情報を有するパーティクルの推定粒度を変更し、各推定粒度を用いて前記観測対象の位置を推定する推定処理工程
を含む、位置推定方法。
(付記12)
前記観測状況は、パーティクルの表す詳細位置を示す第1のパラメータと、現在の概略位置を前記観測対象が前記カメラの視界内にあるか、或いは、視界外にあるかで示す第2のパラメータを含む、付記11記載の位置推定方法。
(付記13)
前記第2のパラメータは、前記カメラの視界内を示す値、前記観測対象が視界より右側に存在することを示す値、前記観測対象が視界より左側に存在することを示す値、及び前記観測対象がその場には存在しないことを示す値のいずれかを有する、付記12記載の位置推定方法。
(付記14)
前記推定処理工程は、
前記観測状況に基づいて、前記検出された前記観測対象の顔領域のパーティクルの推定粒度を推定粒度決定部により決定する決定工程と、
ある推定粒度の推定値を推定値変換部により前記決定された推定粒度の推定値に変換する変換工程と、
前記変換された推定値に基づいて、サンプリング部によりパーティクルを推定粒度毎にサンプリングしてパーティクルを夫々の推定粒度で状態遷移させるサンプリング工程と、
前記サンプリングされたパーティクルが夫々の推定粒度での推定値の妥当性を示す推定粒度毎の観測尤度を観測尤度計算部により計算する計算工程と、
前記計算された推定粒度毎の観測尤度によりパーティクルをリサンプリング部によりリサンプリングするリサンプリング工程
を含む、付記11乃至13のいずれか1項記載の位置推定方法。
(付記15)
前記推定処理工程は、位置推定部により、前記リサンプリングの結果に基づいて前記観測対象の位置を推定する推定工程を更に含み、前記リサンプリングの結果は前記決定工程で用いる前記推定粒度決定部にフィードバックされる、付記14記載の位置推定方法。
(付記16)
前記推定処理工程は、
前記観測状況に基づいて、前記検出された前記観測対象の顔領域のパーティクルの推定粒度を推定粒度決定部により決定する決定工程と、
ある推定粒度の推定値を推定値変換部により前記決定された推定粒度の推定値に変換する変換工程と、
前記変換された推定値に基づいて、サンプリング部によりパーティクルを推定粒度毎にサンプリングしてパーティクルを夫々の推定粒度で状態遷移させるサンプリング工程と、
前記サンプリングされたパーティクルが夫々の推定粒度での推定値の妥当性を示す推定粒度毎の観測尤度を観測尤度計算部により計算する計算工程と、
前記計算された推定粒度毎の観測尤度によりパーティクルをリサンプリング部により推定粒度毎にリサンプリングするリサンプリング工程と、
前記観測対象がどの推定粒度で推定されるのが妥当であるかを示す尤度の重みにより前記リサンプリング工程で生成される各推定粒度のパーティクルの個数を決定する個数決定工程
を含む、付記11乃至13のいずれか1項記載の位置推定方法。
(付記17)
前記推定処理工程は、パーティクルのサンプリング前又はサンプリング後にパーティクルの値によって推定粒度を変更する、付記16記載の位置推定方法。
(付記18)
前記推定処理工程で用いる観測状況は、前記ロボットと前記観測対象の接触を検出する接触センサから出力される接触検出信号及び前記ロボットと前記観測対象間の距離を測定する距離センサから出力される距離信号の少なくとも一方を含む、付記11乃至15のいずれか1項記載の位置推定方法。
(付記19)
コンピュータに観測対象の位置を推定させる位置推定処理を実行させるプログラムであって、
少なくとも1軸を中心に回転可能なカメラの撮像画像から観測対象の人物の領域を検出する人物領域検出手順と、
前記カメラの前記少なくとも1軸を中心とした回転角度を含む観測状況を取得する観測状況取得手順と、
検出された前記人物の領域に対して、取得された前記観測状況に基づいて複数の推定粒度の情報を有するパーティクルの推定粒度を変更し、各推定粒度を用いて前記観測対象の位置を推定する推定処理手順
を前記コンピュータに実行させる、プログラム。
(付記20)
前記観測状況は、パーティクルの表す詳細位置を示す第1のパラメータと、現在の概略位置を前記観測対象が前記カメラの視界内にあるか、或いは、視界外にあるかで示す第2のパラメータを含む、付記19記載のプログラム。
(付記21)
前記第2のパラメータは、前記カメラの視界内を示す値、前記観測対象が視界より右側に存在することを示す値、前記観測対象が視界より左側に存在することを示す値、及び前記観測対象がその場には存在しないことを示す値のいずれかを有する、付記20記載のプログラム。
(付記22)
前記推定処理手順は、
前記観測状況に基づいて、前記検出された前記観測対象の顔領域のパーティクルの推定粒度を決定する決定手順と、
ある推定粒度の推定値を前記決定された推定粒度の推定値に変換する変換工程と、
前記変換された推定値に基づいて、パーティクルを推定粒度毎にサンプリングしてパーティクルを夫々の推定粒度で状態遷移させるサンプリング手順と、
前記サンプリングされたパーティクルが夫々の推定粒度での推定値の妥当性を示す推定粒度毎の観測尤度を計算する計算手順と、
前記計算された推定粒度毎の観測尤度によりパーティクルをリサンプリングするリサンプリング手順
を含む、付記19乃至21のいずれか1項記載のプログラム。
(付記23)
前記推定処理手順は、前記リサンプリングの結果に基づいて前記観測対象の位置を推定する推定手順を更に含み、前記サンプリングの結果は前記決定手順にフィードバックされる、付記22記載のプログラム。
(付記24)
前記推定処理手順は、
前記観測状況に基づいて、前記検出された前記観測対象の顔領域のパーティクルの推定粒度を決定する決定手順と、
ある推定粒度の推定値を前記決定された推定粒度の推定値に変換する変換工程と、
前記変換された推定値に基づいて、パーティクルを推定粒度毎にサンプリングしてパーティクルを夫々の推定粒度で状態遷移させるサンプリング手順と、
前記サンプリングされたパーティクルが夫々の推定粒度での推定値の妥当性を示す推定粒度毎の観測尤度を計算する計算手順と、
前記計算された推定粒度毎の観測尤度によりパーティクルを推定粒度毎にリサンプリングするリサンプリング手順と、
前記観測対象がどの推定粒度で推定されるのが妥当であるかを示す尤度の重みにより前記リサンプリング手順で生成される各推定粒度のパーティクルの個数を決定する個数決定手順
を含む、付記19乃至21のいずれか1項記載のプログラム。
(付記25)
前記推定処理手順は、パーティクルのサンプリング前又はサンプリング後にパーティクルの値によって推定粒度を変更する、付記24記載のプログラム。
(付記26)
前記推定処理手順で用いる観測状況は、前記コンピュータと前記観測対象の接触の有無を示す接触検出信号及び前記コンピュータと前記観測対象間の距離を示す距離信号の少なくとも一方を含む、付記19乃至23のいずれか1項記載のプログラム。
11 ロボット本体
12 顔領域検出部
13 前景領域抽出部
14 画像生成部
15 画像予測部
16 画像比較部
17,46 位置推定部
18 観測方針決定部
19 首制御部
21 カメラ
22 首角度取得部
23 首回転駆動部
27 接触センサ
28 距離センサ
40 推定処理部
41 推定粒度決定部
42 推定値変換部
43−1〜43−N サンプリング部
44−1〜44−N 観測尤度計算部
45,45−1〜45−N リサンプリング部
47 尤度計算部
48 リサンプリング数決定部
101 CPU
102 記憶部
Claims (6)
- 少なくとも1軸を中心に回転可能なカメラと、
前記カメラからの撮像画像から観測対象の人物の領域を検出する人物領域検出部と、
前記カメラの前記少なくとも1軸を中心とした回転角度を含む観測状況を取得する観測状況取得部と、
前記人物領域検出部で検出された人物の領域に対して、前記観測状況に基づいて複数の推定粒度の情報を有するパーティクルの推定粒度を変更し、各推定粒度を用いて前記観測対象の位置を推定する推定処理部
を備えた、ロボット。 - 前記観測状況は、パーティクルの表す詳細位置を示す第1のパラメータと、現在の概略位置を前記観測対象が前記カメラの視界内にあるか、或いは、視界外にあるかで示す第2のパラメータを含む、請求項1記載のロボット。
- 前記第2のパラメータは、前記カメラの視界内を示す値、前記観測対象が視界より右側に存在することを示す値、前記観測対象が視界より左側に存在することを示す値、及び前記観測対象がその場には存在しないことを示す値のいずれかを有する、請求項2記載のロボット。
- 前記推定処理部は、
前記観測状況に基づいて、前記検出された前記観測対象の顔領域のパーティクルの推定粒度を決定する推定粒度決定部と、
ある推定粒度の推定値を前記決定された推定粒度の推定値に変換する推定値変換部と、
前記変換された推定値に基づいて、パーティクルを推定粒度毎にサンプリングしてパーティクルを夫々の推定粒度で状態遷移させる複数のサンプリング部と、
前記サンプリングされたパーティクルが夫々の推定粒度での推定値の妥当性を示す推定粒度毎の観測尤度を計算する複数の観測尤度計算部と、
前記計算された推定粒度毎の観測尤度によりパーティクルをリサンプリングするリサンプリング部
を有する、請求項1乃至3のいずれか1項記載のロボット。 - 少なくとも1軸を中心に回転可能なカメラの撮像画像から観測対象の人物の領域を人物領域検出部により検出する検出工程と、
前記カメラの前記少なくとも1軸を中心とした回転角度を含む観測状況を観測状況取得部により取得する取得工程と、
検出された前記人物の領域に対して、推定処理部により、取得された前記観測状況に基づいて複数の推定粒度の情報を有するパーティクルの推定粒度を変更し、各推定粒度を用いて前記観測対象の位置を推定する推定処理工程
を含む、位置推定方法。 - コンピュータに観測対象の位置を推定させる位置推定処理を実行させるプログラムであって、
少なくとも1軸を中心に回転可能なカメラの撮像画像から観測対象の人物の領域を検出する人物領域検出手順と、
前記カメラの前記少なくとも1軸を中心とした回転角度を含む観測状況を取得する観測状況取得手順と、
検出された前記人物の領域に対して、取得された前記観測状況に基づいて複数の推定粒度の情報を有するパーティクルの推定粒度を変更し、各推定粒度を用いて前記観測対象の位置を推定する推定処理手順
を前記コンピュータに実行させる、プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011023232A JP5703801B2 (ja) | 2011-02-04 | 2011-02-04 | ロボット、位置推定方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011023232A JP5703801B2 (ja) | 2011-02-04 | 2011-02-04 | ロボット、位置推定方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012164089A true JP2012164089A (ja) | 2012-08-30 |
JP5703801B2 JP5703801B2 (ja) | 2015-04-22 |
Family
ID=46843426
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011023232A Expired - Fee Related JP5703801B2 (ja) | 2011-02-04 | 2011-02-04 | ロボット、位置推定方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5703801B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2621480C1 (ru) * | 2013-11-13 | 2017-06-06 | Ниссан Мотор Ко., Лтд. | Устройство оценки положения движущегося тела и способ оценки положения движущегося тела |
JP2018125661A (ja) * | 2017-01-31 | 2018-08-09 | 富士通株式会社 | 情報処理装置、情報処理装置の制御方法、及び情報処理装置の制御プログラム |
JP2022509292A (ja) * | 2019-08-29 | 2022-01-20 | シャンハイ センスタイム インテリジェント テクノロジー カンパニー リミテッド | 通信方法および装置、電子機器並びに記憶媒体 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007328746A (ja) * | 2006-06-09 | 2007-12-20 | Sony Computer Entertainment Inc | 対象物追跡装置および対象物追跡方法 |
-
2011
- 2011-02-04 JP JP2011023232A patent/JP5703801B2/ja not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007328746A (ja) * | 2006-06-09 | 2007-12-20 | Sony Computer Entertainment Inc | 対象物追跡装置および対象物追跡方法 |
Non-Patent Citations (2)
Title |
---|
CSNG200600418001; 塩見昌裕 外6名: 'ヒューマノイドロボットの対面コミュニケーションのための顔検出・追跡機能の実現' 電子情報通信学会論文誌 情報・システム 第J89-D巻 第1号, 20060101, 第1〜13頁, 社団法人電子情報通信学会 * |
JPN6014029090; 塩見昌裕 外6名: 'ヒューマノイドロボットの対面コミュニケーションのための顔検出・追跡機能の実現' 電子情報通信学会論文誌 情報・システム 第J89-D巻 第1号, 20060101, 第1〜13頁, 社団法人電子情報通信学会 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2621480C1 (ru) * | 2013-11-13 | 2017-06-06 | Ниссан Мотор Ко., Лтд. | Устройство оценки положения движущегося тела и способ оценки положения движущегося тела |
JP2018125661A (ja) * | 2017-01-31 | 2018-08-09 | 富士通株式会社 | 情報処理装置、情報処理装置の制御方法、及び情報処理装置の制御プログラム |
JP2022509292A (ja) * | 2019-08-29 | 2022-01-20 | シャンハイ センスタイム インテリジェント テクノロジー カンパニー リミテッド | 通信方法および装置、電子機器並びに記憶媒体 |
Also Published As
Publication number | Publication date |
---|---|
JP5703801B2 (ja) | 2015-04-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7340100B2 (en) | Posture recognition apparatus and autonomous robot | |
JP4148281B2 (ja) | モーションキャプチャ装置及びモーションキャプチャ方法、並びにモーションキャプチャプログラム | |
JP6374107B2 (ja) | アイトラッキングシステムのための改良されたキャリブレーション | |
US7460687B2 (en) | Watermarking scheme for digital video | |
US9354709B1 (en) | Tilt gesture detection | |
US10007349B2 (en) | Multiple sensor gesture recognition | |
EP2860664B1 (en) | Face detection apparatus | |
KR101907077B1 (ko) | 자세 인식 방법 및 장치 | |
US8428306B2 (en) | Information processor and information processing method for performing process adapted to user motion | |
WO2009091029A1 (ja) | 顔姿勢推定装置、顔姿勢推定方法、及び、顔姿勢推定プログラム | |
KR102463806B1 (ko) | 이동이 가능한 전자 장치 및 그 동작 방법 | |
JP2009190164A (ja) | 物体認識及び認識された物体を含む周辺環境情報に基づいたロボットの自己位置推定方法 | |
JP2007164720A (ja) | 頭部検出装置、頭部検出方法および頭部検出プログラム | |
JP5001930B2 (ja) | 動作認識装置及び方法 | |
KR100601989B1 (ko) | 3차원 형상 생성 장치와 방법 및 컴퓨터 프로그램을저장한 컴퓨터로 읽을 수 있는 기록매체 | |
WO2019196476A1 (zh) | 基于激光传感器生成地图 | |
JP2007280417A (ja) | 姿勢認識装置及び自律ロボット | |
JP2003271975A (ja) | 平面抽出方法、その装置、そのプログラム、その記録媒体及び平面抽出装置搭載型ロボット装置 | |
JP5703801B2 (ja) | ロボット、位置推定方法及びプログラム | |
JP2013156680A (ja) | フェーストラッキング方法、フェーストラッカおよび車両 | |
EP3767435B1 (en) | 6-dof tracking using visual cues | |
JP5482412B2 (ja) | ロボット、位置推定方法及びプログラム | |
JP4568024B2 (ja) | 眼球運動測定装置、及び眼球運動測定プログラム | |
Park et al. | Gaze detection by estimating the depths and 3D motion of facial features in monocular images | |
US20210255695A1 (en) | Information processing apparatus, information processing method, program, and floor modeling system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131106 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140703 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140715 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140825 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150127 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150209 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5703801 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |