JP2016154329A - 移動端末を携帯するユーザの識別方法と装置 - Google Patents
移動端末を携帯するユーザの識別方法と装置 Download PDFInfo
- Publication number
- JP2016154329A JP2016154329A JP2016021088A JP2016021088A JP2016154329A JP 2016154329 A JP2016154329 A JP 2016154329A JP 2016021088 A JP2016021088 A JP 2016021088A JP 2016021088 A JP2016021088 A JP 2016021088A JP 2016154329 A JP2016154329 A JP 2016154329A
- Authority
- JP
- Japan
- Prior art keywords
- mobile terminal
- position information
- imaging
- user
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Telephone Function (AREA)
- Studio Devices (AREA)
- Position Fixing By Use Of Radio Waves (AREA)
- Mobile Radio Communication Systems (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
Description
撮像設備により少なくとも一つの移動端末を携帯するユーザの第一位置情報を取得する工程と、
前記撮像設備により各移動端末の第二位置情報と各移動端末の標識情報を取得する工程と、
取得した第一位置情報と第二位置情報を比較する工程と、
前記比較結果に基づき、移動端末の標識情報と移動端末を携帯するユーザとを関連付けるか否かを確定する工程と、を含む。
前記撮像設備により前記少なくとも一つの移動端末を携帯するユーザの第一位置情報を取得するために用いる第一位置情報取得部と、
前記撮像設備により各移動端末の第二位置情報、ならびに各移動端末の標識情報を取得するために用いる第二位置情報取得部と、
取得した第一位置情報と第二位置情報を比較するために用いる比較部と、
前記比較結果に基づき、移動端末の標識情報と移動端末を携帯するユーザとを関連付けるか否かを確定する確定部と、を含む。
このうち、Tspは音声信号の、撮像設備から移動端末に伝わるまでのタイムラグ、Tsrは移動端末が音声信号を受信し処理するタイムラグ、Twswrは無線信号のパッケージを作成し、発信し、受信するタイムラグである。無線ネットワーク中の一回の位置特定過程に相対するタイムラグTcountは、撮像設備の記録した発信信号の時間Tasと応答信号を受信した時間Tarの間の時間差であり、これは(Tas+Tar+Twswr)にほとんど等しいが、この中で無線信号の伝わるタイムラグを計算に入れないのは、音声信号の速度が応答信号である無線信号の速度に比して非常に遅いため、無線信号が移動端末から発信され撮像設備によって受信されるまでのタイムラグが、撮像設備が音声信号を移動端末に発信し当該音声信号を受信するタイムラグに比して小さく無視できるからである。このため、Tspを取得するためには、TsrとTwswrを知っていさえすれば良い。
上述のように、無線ネットワーク中の一回の位置特定過程に相対するタイムラグTcountは、上記公式(1)により取得できる。撮像設備がステレオ視覚位置特定を一回完成させるのに必要なタイムラグTcamera locateは、カメラのフレーム切替速度、処理速度、及び視覚方法の計算アルゴリズムの複雑度で決まるが、撮像設備にとって、後の二つは普通、既定であるため、上記公式(3)に表わされた条件を満足するためには、通常、カメラのフレーム切替速度を調整して実現することになる。
即ち、移動端末が取得した複数の第一距離のうちの或る一つの第一距離dncamと複数の第二距離のうちの或る一つの第二距離dmTOF間の差が最小であれば、当該第一距離dncamの対応するユーザが当該第二距離dmTOFの対応する移動端末を携帯していることを示し、このため当該ユーザを予め取得した当該移動端末の標識情報と関連付けることができる。これから、撮像設備がステレオ視覚で位置特定したユーザに向けて相応の標識情報を割り当てることができる。
θv−>cam=θV−θcam (6)
θv−>v0=cos-1(v/v0) (7)
v0=v×|1−f’/f| (8)
このうち、αは撮像設備と位置特定された移動端末間の第二方位角であり、vは移動端末の移動速度で、移動端末の慣性データにより取得できるものであり、v0は移動端末の撮像設備に対する相対速度であり、θv0−>camはv0の方向と撮像設備の基準方向との間の夾角、θv−>camはvの方向と撮像設備の基準方向との間の夾角で、それは移動端末の方位角θvと撮像設備の基準方向の方位角θcamの差から取得でき、移動端末の方位角θvは慣性データから取得でき、撮像設備の基準方向の方位角θcamは、通常、既知であり、θv−>v0はVの方向とv0の方向の間の夾角であり、f’は音声信号の受信周波数で、fは音声信号の発信周波数である。
即ち、移動端末の取得した複数の第一方位角の中の或る一つの第一方位角と、複数の第二方位角の中の或る一つの第二方位角の間の差が最小であれば、当該第一方位角の対応するユーザは当該第二方位角の対応する移動端末を携帯しているので、当該ユーザを予め取得した当該移動端末の標識情報と関連付けることを示している。これにより、撮像設備は、ステレオ視覚で位置特定したユーザに向けて、相応する標識情報を割り当てる。
(11)
このうち、thは有効な履歴ウィンドウ、即ち、慣性センサーデータの累積誤差εinertialが視覚位置特定誤差εlocationより小さい時間である。
本発明による別の実施例では、位置特定精度を高め、より正確にユーザを識別できるようにするために、複数の撮像設備の使用により位置特定精度を高め、これにより更に正確にユーザを識別することもできる。
このうち、δAは位置特定誤差、dは撮像設備と位置特定された移動端末ユーザ間の距離、ferrorは位置特定距離dと位置特定誤差δ間の関数関係である。
C2a error=(C2a,δA2a)
・・・・・・
Can error=(Cna,δAna) (13)
このうち、Canは第n撮像設備がステレオ視覚方式で位置特定するユーザの位置、δAnaは第n撮像設備の位置特定誤差、Can errorは第n撮像設備の位置特定誤差範囲である。
C2a(C2ax,C2ay,C2az)
・・・・・・
Cna(Cnax,Cnay,Cnaz) (14)
また、上記公式(12)により、各移動端末の位置特定誤差δAnaは、以下の公式(15)と表すことができる。
δA2a=ferror(d2a)
・・・・・・
δAna=ferror(dna) (15)
上記のように、ユーザとの距離が異なるため、各撮像設備の位置特定誤差も同じではない。複数の撮像設備のうち、位置特定誤差の小さい撮像設備は、同じユーザに対する位置特定結果の信頼度がより高まるため、各撮像設備のウェイトを計算することができ、以下の公式(16)に示すとおりである。
このうち、kia weightは第i撮像設備に対する位置特定誤差範囲Cia errorの加重ファクタ、δAiaは第i撮像設備の位置特定誤差である。
Claims (12)
- 撮像設備により少なくとも一つの移動端末を携帯するユーザの第一位置情報を取得する工程と、
前記撮像設備により各移動端末の第二位置情報と各移動端末の標識情報を取得する工程と、
取得した第一位置情報と第二位置情報を比較する工程と、
前記比較結果に基づき、移動端末の標識情報と移動端末を携帯するユーザとを関連付けるか否かを確定する工程と、を含む、
移動端末を携帯するユーザを識別する方法。 - 前記第一位置情報が、移動端末を携帯するユーザと撮像設備との第一距離を含み、前記第二位置情報が移動端末と撮像設備との第二距離を含み、
前記比較結果に基づき、前記移動端末の標識と前記移動端末を携帯するユーザとを関連付けるか否かを確定する工程が、
第一距離のうちの一つと第二距離のうちの一つの間の差が最小であれば、前記第一距離のうちの一つに対応する移動端末を携帯するユーザを、前記第二距離のうちの一つに対応する移動端末の標識情報と関連付ける工程を含む、
請求項1に記載の方法。 - 前記撮像設備により少なくとも一つの移動端末を携帯するユーザの第一位置情報を取得する工程が、
前記撮像設備が移動端末を携帯するユーザの視差情報を取得する工程と、
前記撮像設備が前記視差情報から移動端末を携帯するユーザと撮像設備との第一距離を取得する工程を含む、
請求項2に記載の方法。 - 前記撮像設備により各移動端末の第二位置情報と各移動端末の標識情報を取得する工程が、
前記移動端末が前記撮像設備の無線ネットワークに加わる工程と、
前記撮像設備により当該無線ネットワークの中に移動端末に向けて信号を発信する工程と、
前記移動端末が前記信号を受信した時に、前記撮像設備に向けて当該移動端末自身の標識情報を含む応答信号を発信する工程と、
前記撮像設備が前記応答信号を受信し、これにより前記移動端末の標識情報を取得し、信号の発信時間ならびに前記応答信号の受信時間により前記移動端末と前記撮像設備との第二距離を計算する工程を含む、
請求項2に記載の方法。 - 前記第一位置情報が、移動端末を携帯するユーザの前記撮像設備に対する第一方位角を含み、前記第二位置情報が、各移動端末の前記撮像設備に対する第二方位角をさらに含み、
前記比較結果に基づき、移動端末の標識信号と移動端末を携帯するユーザとを関連付けるか否かを確認する工程が、
第一及び第二方位角の比較結果に基づき、移動端末の標識信号と移動端末を携帯するユーザとを関連付けるか否かを確定する工程を含む、
請求項1に記載の方法。 - 第一及び第二方位角の比較結果に基づき、移動端末の標識情報と移動端末を携帯するユーザとを関連付けるか否かを確定する工程が、
第一方位角のうちの一つと第二方位角のうちの一つの間の差が最小であれば、前記第一方位角のうちの一つに対応するユーザを、前記第二方位角のうちの一つに対応する移動端末の標識信号と関連付ける工程を含む、
請求項5に記載の方法。 - 前記撮像設備により、各移動端末との無線通信に基づき各移動端末の慣性データを取得する工程、及び
前記撮像設備により、前記慣性データを利用して、取得した第一位置情報を校正し、校正後の第一位置情報と前記第二位置情報の比較結果に基づき、移動端末の標識信号と移動端末を携帯するユーザとを関連付けるか否かを確認する工程をさらに含む、
請求項1に記載の方法。 - 複数の撮像設備により、前記少なくとも一つの移動端末を携帯するユーザと各撮像設備との第一位置情報を取得する工程と、
各移動端末を携帯するユーザと各撮像設備との第一位置情報に基づき、各撮像設備の各移動端末に対する位置特定誤差範囲を計算する工程と、
各撮像設備の同一ユーザに対する位置特定誤差範囲に基づき、各撮像設備の当該ユーザの第一位置情報に対する計算結果を最適化する工程と、
一つの撮像設備の最適化された第一位置情報と、同一の撮像設備の取得した第二位置情報との比較結果に基づき、移動端末の標識情報と移動端末を携帯するユーザとを関連付けるか否かを確定する工程も含む、
請求項1に記載の方法。 - 移動端末の標識情報と移動端末を携帯するユーザとを関連付けた後、撮像設備が移動端末に向けて、当該移動端末と相互に関連付けられたユーザの第一位置情報を発信することをさらに含む、
請求項1〜8の任意の1項に記載の方法。 - 前記撮像設備により前記少なくとも一つの移動端末を携帯するユーザの第一位置情報を取得するために用いる第一位置情報取得部と、
前記撮像設備により各移動端末の第二位置情報、ならびに各移動端末の標識情報を取得するために用いる第二位置情報取得部と、
取得した第一位置情報と第二位置情報を比較するために用いる比較部と、
前記比較結果に基づき、移動端末の標識情報と移動端末を携帯するユーザとを関連付けるか否かを確定する確定部と、を含む、
移動端末を携帯するユーザを識別する装置。 - コンピュータに、請求項1〜9の任意の1項に記載の方法を実行させるためのプログラム。
- 請求項11に記載のプログラムを記憶したコンピュータ読み取り可能な記憶媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510064943.5A CN105987694B (zh) | 2015-02-09 | 2015-02-09 | 识别移动设备的用户的方法和装置 |
CN201510064943.5 | 2015-02-09 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016154329A true JP2016154329A (ja) | 2016-08-25 |
JP6142931B2 JP6142931B2 (ja) | 2017-06-07 |
Family
ID=56566910
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016021088A Active JP6142931B2 (ja) | 2015-02-09 | 2016-02-05 | 移動端末を携帯するユーザの識別方法と装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10123158B2 (ja) |
JP (1) | JP6142931B2 (ja) |
CN (1) | CN105987694B (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019100817A (ja) * | 2017-11-30 | 2019-06-24 | 株式会社東芝 | 位置推定装置、位置推定方法及び端末装置 |
WO2021251368A1 (ja) * | 2020-06-08 | 2021-12-16 | 清水建設株式会社 | 情報表示装置及び情報表示方法 |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101581632B1 (ko) * | 2015-03-10 | 2015-12-30 | 최승욱 | 단말기 간의 접촉을 확인하는 방법 및 이를 실행하는 컴퓨터 프로그램 및 애플리케이션 |
CN108537094B (zh) * | 2017-03-03 | 2022-11-22 | 株式会社理光 | 图像处理方法、装置和系统 |
CN108693538A (zh) * | 2017-04-07 | 2018-10-23 | 北京雷动云合智能技术有限公司 | 基于双目结构光的准确置信度深度摄像机测距装置及方法 |
US10650545B2 (en) | 2017-08-07 | 2020-05-12 | Standard Cognition, Corp. | Systems and methods to check-in shoppers in a cashier-less store |
US11200692B2 (en) | 2017-08-07 | 2021-12-14 | Standard Cognition, Corp | Systems and methods to check-in shoppers in a cashier-less store |
US11508084B2 (en) | 2017-11-01 | 2022-11-22 | Sony Corporation | Information processing apparatus and information processing method for accurately estimating a self location |
CA3112512A1 (en) * | 2018-07-26 | 2020-01-30 | Standard Cognition, Corp. | Systems and methods to check-in shoppers in a cashier-less store |
CN113256078A (zh) * | 2020-09-05 | 2021-08-13 | 苏州贝基电子科技有限公司 | 基于大数据的健康饮食管理系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003099350A (ja) * | 2001-05-31 | 2003-04-04 | Seiko Epson Corp | 位置情報関連サービスの提供方法 |
JP2006127240A (ja) * | 2004-10-29 | 2006-05-18 | Secom Co Ltd | 不審者検出システム及び不審者検出プログラム |
JP2006311111A (ja) * | 2005-04-27 | 2006-11-09 | Daikin Ind Ltd | 位置検知システムおよび位置検知方法 |
WO2009113265A1 (ja) * | 2008-03-11 | 2009-09-17 | パナソニック株式会社 | タグセンサシステムおよびセンサ装置、ならびに、物体位置推定装置および物体位置推定方法 |
US20120046044A1 (en) * | 2010-08-18 | 2012-02-23 | Nearbuy Systems, Inc. | Target Localization Utilizing Wireless and Camera Sensor Fusion |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7558762B2 (en) * | 2004-08-14 | 2009-07-07 | Hrl Laboratories, Llc | Multi-view cognitive swarm for object recognition and 3D tracking |
US20080252527A1 (en) * | 2007-04-03 | 2008-10-16 | Juan Carlos Garcia | Method and apparatus for acquiring local position and overlaying information |
JP5487677B2 (ja) * | 2009-03-30 | 2014-05-07 | 富士通株式会社 | 位置情報サービス装置、方法、及びプログラム |
US8625902B2 (en) * | 2010-07-30 | 2014-01-07 | Qualcomm Incorporated | Object recognition using incremental feature extraction |
JP5494364B2 (ja) * | 2010-09-02 | 2014-05-14 | カシオ計算機株式会社 | 測位装置、測位方法、及び、プログラム |
US8634849B2 (en) * | 2011-01-19 | 2014-01-21 | Qualcomm Incorporated | Methods and apparatus for mobile device based location determination in a communications system |
US20140036087A1 (en) * | 2012-07-31 | 2014-02-06 | Sony Corporation | Enhancing a user experience utilizing camera location information and user device information |
US9252878B2 (en) * | 2012-12-27 | 2016-02-02 | Panasonic Intellectual Property Corporation Of America | Information communication method |
AU2014306813A1 (en) * | 2013-08-12 | 2016-03-31 | Flyby Media, Inc. | Visual-based inertial navigation |
CN103868511B (zh) * | 2014-02-21 | 2017-01-25 | 武汉眸博科技有限公司 | 地理位置信息估算方法、修复方法和显示方法 |
-
2015
- 2015-02-09 CN CN201510064943.5A patent/CN105987694B/zh active Active
-
2016
- 2016-02-01 US US15/012,214 patent/US10123158B2/en active Active
- 2016-02-05 JP JP2016021088A patent/JP6142931B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003099350A (ja) * | 2001-05-31 | 2003-04-04 | Seiko Epson Corp | 位置情報関連サービスの提供方法 |
JP2006127240A (ja) * | 2004-10-29 | 2006-05-18 | Secom Co Ltd | 不審者検出システム及び不審者検出プログラム |
JP2006311111A (ja) * | 2005-04-27 | 2006-11-09 | Daikin Ind Ltd | 位置検知システムおよび位置検知方法 |
WO2009113265A1 (ja) * | 2008-03-11 | 2009-09-17 | パナソニック株式会社 | タグセンサシステムおよびセンサ装置、ならびに、物体位置推定装置および物体位置推定方法 |
US20120046044A1 (en) * | 2010-08-18 | 2012-02-23 | Nearbuy Systems, Inc. | Target Localization Utilizing Wireless and Camera Sensor Fusion |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019100817A (ja) * | 2017-11-30 | 2019-06-24 | 株式会社東芝 | 位置推定装置、位置推定方法及び端末装置 |
US11061102B2 (en) | 2017-11-30 | 2021-07-13 | Kabushiki Kaisha Toshiba | Position estimating apparatus, position estimating method, and terminal apparatus |
WO2021251368A1 (ja) * | 2020-06-08 | 2021-12-16 | 清水建設株式会社 | 情報表示装置及び情報表示方法 |
JP2021193769A (ja) * | 2020-06-08 | 2021-12-23 | 清水建設株式会社 | 情報表示装置及び情報表示方法 |
JP7374851B2 (ja) | 2020-06-08 | 2023-11-07 | 清水建設株式会社 | 情報表示装置及び情報表示方法 |
Also Published As
Publication number | Publication date |
---|---|
US10123158B2 (en) | 2018-11-06 |
JP6142931B2 (ja) | 2017-06-07 |
CN105987694B (zh) | 2019-06-07 |
US20160232677A1 (en) | 2016-08-11 |
CN105987694A (zh) | 2016-10-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6142931B2 (ja) | 移動端末を携帯するユーザの識別方法と装置 | |
Asaad et al. | A comprehensive review of indoor/outdoor localization solutions in IoT era: Research challenges and future perspectives | |
Langlois et al. | Indoor localization with smartphones: Harnessing the sensor suite in your pocket | |
EP3456040B1 (en) | Surveillance system and method for camera-based surveillance | |
US9785857B2 (en) | Hybrid multi-camera based positioning | |
US9772396B2 (en) | Relative orientation angle calculation method and device as well as relative positioning method | |
US9084068B2 (en) | Sensor-based placement of sound in video recording | |
CN105849579B (zh) | 目标设备的定位方法和移动终端 | |
US20180032829A1 (en) | System for collecting event data, method for collecting event data, service server for collecting event data, and camera | |
US11893317B2 (en) | Method and apparatus for associating digital content with wireless transmission nodes in a wireless communication area | |
CN105975967B (zh) | 一种目标定位方法和系统 | |
CN112098942B (zh) | 一种智能设备的定位方法和智能设备 | |
Fang et al. | Eyefi: Fast human identification through vision and wifi-based trajectory matching | |
Ayllón et al. | Indoor blind localization of smartphones by means of sensor data fusion | |
CN110431378A (zh) | 相对于自主车辆和乘客的位置信令 | |
CN112098943A (zh) | 一种可穿戴设备的定位方法和智能设备 | |
EP3899568A1 (en) | System for localization of sound sources | |
US11956693B2 (en) | Apparatus and method for providing location | |
Murakami et al. | Five degrees-of-freedom pose-estimation method for smartphones using a single acoustic anchor | |
US20170359671A1 (en) | Positioning arrangement | |
CN103776438B (zh) | 定位设备和系统、用于即时定位与地图构建的设备及方法 | |
Tiku et al. | An Overview of Indoor Localization Techniques | |
KR102650647B1 (ko) | 음원 위치 추정 장치 및 그의 음원 위치 추정 방법 | |
CN112578338A (zh) | 声源定位方法、装置、设备及存储介质 | |
Jacob et al. | Absolute geometry calibration of distributed microphone arrays in an audio-visual sensor network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161026 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161122 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170106 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170411 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170424 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6142931 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |