JP2019125227A - 屋内測位方法及びシステム、ならびにその屋内マップを作成するデバイス - Google Patents
屋内測位方法及びシステム、ならびにその屋内マップを作成するデバイス Download PDFInfo
- Publication number
- JP2019125227A JP2019125227A JP2018006218A JP2018006218A JP2019125227A JP 2019125227 A JP2019125227 A JP 2019125227A JP 2018006218 A JP2018006218 A JP 2018006218A JP 2018006218 A JP2018006218 A JP 2018006218A JP 2019125227 A JP2019125227 A JP 2019125227A
- Authority
- JP
- Japan
- Prior art keywords
- dimensional
- feature point
- indoor
- coordinate value
- portable electronic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
- Instructional Devices (AREA)
Abstract
Description
図7Bは、本発明の一実施形態によるパノラマを示す平面図である。
図7Cは、本発明の一実施形態によるパノラマを示す側面図である。
図7Dは、本発明の一実施形態による、円柱座標系の対称性を示す略図である。
…透視画像400a〜400hのための式(1′)
…透視画像400i〜400pのための式(1″)
…透視画像400a〜400hのための式(2′)
…透視画像400i〜400pのための式(2″)
…式(3)
…式(6)
に書き換えることができ、これにより式(1′)が得られる。式(1)中のnはn番目の透視画像を意味することに留意すべきである。例えば、この例示的な実施形態では、画像処理モジュール220がパノラマ画像400を同一の幅を持つ8つの細長い透視画像400a〜400hに分割する。言い換えれば、第0の透視画像は透視画像400aであり、第1の透視画像は透視画像400bである。同じ原理に従い、第2の〜第7透視画像はそれぞれ透視画像400c〜400hである。つまり、この例示的な実施形態では、n=0,1,2,3,4,5,6,7である。
に書き換えることができ、これにより式(1″)が得られる。
の式、つまり式(2′)は、三角関数に基づいて導出できる。
の式、つまり式(2″)は、三角関数に基づいて導出できる。
であるので、式(3)を導出できる。
Claims (15)
- ポータブル電子デバイスを測位する屋内測位方法であって、前記屋内測位方法は、
屋内環境に対応したパノラマ画像を複数の透視画像に変換し、それぞれの前記透視画像内の複数の基準特徴点及び前記基準特徴点の記述子を抽出することと、
前記パノラマ画像の撮影地点を原点とし、それぞれの前記透視画像の中心位置に対応した複数の3次元基準座標値を記録することと、
前記3次元基準座標値に基づいて前記基準特徴点の3次元座標値を計算し、前記基準特徴点の前記3次元座標値及び前記基準特徴点の前記記述子を前記屋内環境に対応した屋内マップとして記憶することと、
前記屋内環境における前記屋内マップの前記原点に関連した前記ポータブル電子デバイスの3次元対象座標値を測定することとを備える、屋内測位方法。 - 前記パノラマ画像の前記撮影地点を前記原点とし、それぞれの前記透視画像の前記中心位置に対応した前記3次元基準座標値を記録することは、
縦軸方向及び横軸方向においてそれぞれの前記透視画像の前記中心位置の複数の基準画素を取得し、前記基準画素の前記3次元座標値を前記3次元基準座標値として記録することを備える、請求項1に記載の屋内測位方法。 - 前記基準特徴点の各々は前記透視画像内の特徴点画素に対応し、前記基準特徴点の前記3次元座標値を前記3次元基準座標値に基づいて計算するステップは、
前記縦軸方向における前記特徴点画素に対応した第1の基準画素と、前記横軸方向における前記特徴点画素に対応した第2の基準画素とを取得することと、
前記特徴点画素の3次元座標値を、前記第1の基準画素の前記3次元基準座標値と、前記第2の基準画素の前記3次元基準座標値とに基づいて計算することとを備える、請求項2に記載の屋内測位方法。 - 前記屋内マップはオフラインモードで生成され、前記オフラインモードはインターネットに接続していない状態である、請求項1に記載の屋内測位方法。
- 前記屋内マップは測位データベースに格納されており、前記屋内環境における前記原点に関連した前記ポータブル電子デバイスの前記3次元対象座標値を測定するステップは、
前記ポータブル電子デバイスによってリアルタイム画像を取得し、前記リアルタイム画像の複数の対象特徴点及び前記対象特徴点の記述子を抽出することと、
前記基準特徴点の前記記述子と前記対象特徴点の前記記述子とを比較し、前記基準特徴点の前記記述子と前記対象特徴点の前記記述子との間の距離値が所定の閾値よりも短い場合には、前記対象特徴点の前記記述子に関連した距離値が前記所定の閾値よりも短い前記基準特徴点の前記3次元座標値を前記測位データベースから取得することと、
前記ポータブル電子デバイスの前記3次元対象座標値及び回転角度を、前記測位データベースから取得した前記基準特徴点の前記3次元座標値に基づいて計算することとを備える、請求項1に記載の屋内測位方法。 - 前記原点に関連して前記屋内環境における前記ポータブル電子デバイスの前記3次元対象座標値を測定することはオンラインモードで実行され、前記オンラインモードはインターネットに接続した状態であり、
前記基準特徴点の前記記述子と、前記対象特徴点の前記記述子を比較する前の前記ステップは、
インターネット経由で前記ポータブル電子デバイスの前記屋内環境を測定し、前記屋内環境に対応した前記屋内マップを前記ポータブル電子デバイスにダウンロードすることをさらに備える、請求項5に記載の屋内測位方法。 - 屋内測位システムであって、
屋内環境に対応したパノラマ画像を撮影するように構成されたカメラデバイスと、
ポータブル電子デバイスと、
前記カメラデバイスに接続した屋内マップ構築デバイスとを備え、前記屋内マップ構築デバイスは、
測位データベースを記憶する格納デバイスと、
前記格納デバイスにつながれたプロセッサであって、前記プロセッサは、前記パノラマ画像を複数の透視画像に変換し、それぞれの前記透視画像内の複数の基準特徴点及び前記基準特徴点の記述子を抽出するように構成されている、プロセッサとを備え、
前記プロセッサは、前記パノラマ画像の撮影地点を原点として取り、それぞれの前記透視画像の中心位置に対応した複数の3次元基準座標値を記憶するようにさらに構成されており、
前記プロセッサは、前記基準特徴点の3次元座標値を、3次元基準座標値に基づいて計算し、かつ、前記屋内環境に対応し、前記基準特徴点の前記3次元座標値及び前記基準特徴点の前記記述子により形成された屋内マップを、前記測位データベースに記録するようにさらに構成されており、
前記ポータブル電子デバイスは、前記ポータブル電子デバイスの3次元対象座標値を、前記屋内環境における前記屋内マップの前記原点に関連して測定するように構成されている、屋内測位システム。 - 前記プロセッサは、縦軸方向及び横軸方向におけるそれぞれの前記透視画像の前記中心位置の複数の基準画素を取得し、前記基準画素の3次元座標値を前記3次元基準座標値として記録するように構成されている、請求項7に記載の屋内測位システム。
- 前記基準特徴点の各々は前記透視画像内の特徴点画素に対応しており、前記プロセッサは、前記縦軸方向における前記特徴点画素に対応した第1の基準画素と、前記横軸方向における前記特徴点画素に対応した第2の基準画素とを取得するようにさらに構成されており、
前記プロセッサは、前記特徴点画素の3次元座標値を、前記第1の基準画素の前記3次元基準座標値と、前記第2の基準画素の前記3次元基準座標値とに基づいて計算するように構成されている、請求項8に記載の屋内測位システム。 - 前記ポータブル電子デバイスは、リアルタイム画像を取得し、前記リアルタイム画像の対象特徴点及び前記対象特徴点の記述子を抽出するようにさらに構成されており、
前記ポータブル電子デバイスは、インターネットを経由して前記ポータブル電子デバイスの前記屋内環境を測定し、前記屋内環境に対応した前記屋内マップを前記ポータブル電子デバイスにダウンロードするようにさらに構成されており、
前記ポータブル電子デバイスは、前記基準特徴点の前記記述子と前記対象特徴点の前記記述子とを比較し、前記基準特徴点の前記記述子と前記対象特徴点の前記記述子との間の距離値が所定の閾値よりも短い場合には、前記対象特徴点の前記記述子に関連した距離値が前記所定の閾値よりも短い前記基準特徴点の前記3次元座標値を前記測位データベースから取得し、
前記ポータブル電子デバイスは、前記ポータブル電子デバイスの前記3次元対象座標値及び回転角度を、前記測位データベースから取得した前記基準特徴点の前記3次元座標値に基づいて計算するように構成されている、請求項7に記載の屋内測位システム。 - 前記プロセッサはオフラインモードで動作され、前記ポータブル電子デバイスはオンラインモードで動作され、前記オフラインモードはインターネットに接続していない状態であり、一方、前記オンラインモードはインターネットに接続した状態である、請求項7に記載の屋内測位システム。
- 屋内マップ構築デバイスであって、
測位データベース及び複数のモジュールを記憶する格納デバイスと、
前記格納デバイスにつながれ、前記格納デバイスに格納された前記モジュールをロード及び実行し、オフラインモードで動作されるプロセッサとを備え、前記モジュールは、
屋内環境に対応したパノラマ画像を受信するように構成された入力モジュールと、
前記パノラマ画像を複数の透視画像に変換するように構成された画像処理モジュールとを備え、
前記画像処理モジュールは、前記パノラマ画像の撮影地点を原点としてとり、それぞれの前記透視画像の中心位置に対応した複数の3次元基準座標値を記録するようにさらに構成されており、
前記透視画像内の複数の基準特徴点及び前記基準特徴点の記述子を抽出するように構成された特徴抽出モジュールと、
前記基準特徴点の3次元座標値を、前記画像処理モジュールに記録された前記3次元基準座標値に基づいて計算し、かつ、前記屋内環境に対応し、前記基準特徴点の前記3次元座標値及び前記基準特徴点の前記記述子により形成された屋内マップを、前記測位データベースに格納するように構成された計算モジュールとを備える、屋内マップ構築デバイス。 - 前記計算モジュールは、縦軸方向及び横軸方向においてそれぞれの前記透視画像の前記中心位置の複数の基準画素を取得し、前記基準画素の3次元座標値を前記3次元基準座標値として記録するようにさらに構成されている、請求項12に記載の屋内マップ構築デバイス。
- 前記基準特徴点の各々は前記透視画像内の特徴点画素に対応しており、前記計算モジュールは、前記縦軸方向において前記特徴点画素に対応した第1の基準画素と、前記横軸方向において前記特徴点画素に対応した第2の基準画素とを取得するようにさらに構成されており、
前記計算モジュールは、前記特徴点画素の3次元座標値を、前記第1の基準画素の前記3次元基準座標値と、前記第2の基準画素の3次元基準座標値とに基づいて計算するように更に構成されている、請求項13に記載の屋内マップ構築デバイス。 - 前記オフラインモードはインターネットに接続していない状態である、請求項12に記載の屋内マップ構築デバイス。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018006218A JP6676082B2 (ja) | 2018-01-18 | 2018-01-18 | 屋内測位方法及びシステム、ならびにその屋内マップを作成するデバイス |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018006218A JP6676082B2 (ja) | 2018-01-18 | 2018-01-18 | 屋内測位方法及びシステム、ならびにその屋内マップを作成するデバイス |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019125227A true JP2019125227A (ja) | 2019-07-25 |
JP6676082B2 JP6676082B2 (ja) | 2020-04-08 |
Family
ID=67398918
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018006218A Active JP6676082B2 (ja) | 2018-01-18 | 2018-01-18 | 屋内測位方法及びシステム、ならびにその屋内マップを作成するデバイス |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6676082B2 (ja) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111157946A (zh) * | 2020-01-03 | 2020-05-15 | 浙江大学 | 一种室内人员定位方法 |
CN111292420A (zh) * | 2020-02-28 | 2020-06-16 | 北京百度网讯科技有限公司 | 用于构建地图的方法和装置 |
CN111862199A (zh) * | 2020-06-17 | 2020-10-30 | 北京百度网讯科技有限公司 | 定位方法、装置、电子设备和存储介质 |
WO2021054601A1 (ko) * | 2019-09-17 | 2021-03-25 | 한국과학기술연구원 | 이미지 기반의 무선 측위 방법 및 장치 |
KR20210032678A (ko) * | 2019-09-17 | 2021-03-25 | 네이버랩스 주식회사 | 환경 변화에 강인한 이미지의 위치 및 방향 추정 방법 및 시스템 |
KR20210048244A (ko) * | 2019-10-23 | 2021-05-03 | 주식회사 엘지유플러스 | 3차원 기반의 실내위치 추정 장치 및 시스템 |
CN114071392A (zh) * | 2021-12-28 | 2022-02-18 | 智小途(上海)数字科技有限公司 | 一种uwb室内高精度三维实景数据构建方法和系统 |
CN114184193A (zh) * | 2020-09-14 | 2022-03-15 | 杭州海康威视数字技术股份有限公司 | 定位方法及系统 |
KR20220059832A (ko) * | 2020-11-03 | 2022-05-10 | 네이버랩스 주식회사 | 맵 생성 방법 및 이를 이용한 이미지 기반 측위 시스템 |
CN115201933A (zh) * | 2021-03-24 | 2022-10-18 | 百一电子股份有限公司 | 一种用于智能无人载具系统的室内定位及对象搜寻方法 |
JP2023509105A (ja) * | 2020-10-26 | 2023-03-07 | 3アイ インコーポレイテッド | ディープラーニングを利用した屋内位置測位方法 |
WO2023231425A1 (zh) * | 2022-05-31 | 2023-12-07 | 中兴通讯股份有限公司 | 定位方法、电子设备、存储介质及程序产品 |
JP7446643B2 (ja) | 2020-05-26 | 2024-03-11 | マプサス テクノロジー ホールディング リミテッド | 視覚測位方法、装置、機器及び可読記憶媒体 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003240593A (ja) * | 2002-02-20 | 2003-08-27 | National Institute Of Advanced Industrial & Technology | 携帯者の現在位置および方位推定方法 |
US20130297205A1 (en) * | 2012-05-02 | 2013-11-07 | Korea Institute Of Science And Technology | System and method for indoor navigation |
-
2018
- 2018-01-18 JP JP2018006218A patent/JP6676082B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003240593A (ja) * | 2002-02-20 | 2003-08-27 | National Institute Of Advanced Industrial & Technology | 携帯者の現在位置および方位推定方法 |
US20130297205A1 (en) * | 2012-05-02 | 2013-11-07 | Korea Institute Of Science And Technology | System and method for indoor navigation |
Non-Patent Citations (5)
Title |
---|
HISATO KAWAJI ET AL.: ""An Image-based Indoor Positioning for Digital Museum Applications"", 2010 16TH INTERNATIONAL CONFERENCE ON VIRTUAL SYSTEMS AND MULTIMEDIA, JPN6020007176, 20 October 2010 (2010-10-20), US, pages 105 - 111, XP031833907, ISSN: 0004220997 * |
JIUNG-YAO HUANG ET AL.: ""A Fast Image Matching Technique for the Panoramic-based Localization"", 2016 IEEE/ACIS 15TH INTERNATIONAL CONFERENCE ON COMPUTER AND INFORMATION SCIENCE (ICIS), JPN6020007180, 26 June 2016 (2016-06-26), US, pages 1 - 6, XP032948431, ISSN: 0004220998, DOI: 10.1109/ICIS.2016.7550792 * |
大江 統子、外2名: ""幾何学的位置合わせのための自然特徴点ランドマークデータベースを用いたカメラ位置・姿勢推定"", 日本バーチャルリアリティ学会論文誌, vol. 10, no. 3, JPN6020007166, 30 September 2005 (2005-09-30), JP, pages 285 - 294, ISSN: 0004220994 * |
畑田 晃希、外3名: ""全方位カメラによる位置参照画像群を用いた屋内位置推定 〜デジタルミュージアムでの鑑賞者の行動記録に", 電子情報通信学会技術研究報告, vol. 109, no. 466, JPN6020007172, 5 March 2010 (2010-03-05), JP, pages 57 - 61, ISSN: 0004220996 * |
竹内 音、外4名: ""全方位バレットタイム映像の生成提示システム"", 電子情報通信学会技術研究報告, vol. 117, no. 392, JPN6020007169, 11 January 2018 (2018-01-11), JP, pages 237 - 244, ISSN: 0004220995 * |
Cited By (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102321998B1 (ko) | 2019-09-17 | 2021-11-04 | 네이버랩스 주식회사 | 환경 변화에 강인한 이미지의 위치 및 방향 추정 방법 및 시스템 |
WO2021054601A1 (ko) * | 2019-09-17 | 2021-03-25 | 한국과학기술연구원 | 이미지 기반의 무선 측위 방법 및 장치 |
KR20210032678A (ko) * | 2019-09-17 | 2021-03-25 | 네이버랩스 주식회사 | 환경 변화에 강인한 이미지의 위치 및 방향 추정 방법 및 시스템 |
KR102343069B1 (ko) * | 2019-10-23 | 2021-12-23 | 주식회사 엘지유플러스 | 3차원 기반의 실내위치 추정 장치 및 시스템 |
KR20210048244A (ko) * | 2019-10-23 | 2021-05-03 | 주식회사 엘지유플러스 | 3차원 기반의 실내위치 추정 장치 및 시스템 |
CN111157946A (zh) * | 2020-01-03 | 2020-05-15 | 浙江大学 | 一种室内人员定位方法 |
CN111292420B (zh) * | 2020-02-28 | 2023-04-28 | 北京百度网讯科技有限公司 | 用于构建地图的方法和装置 |
EP3872764A1 (en) * | 2020-02-28 | 2021-09-01 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and apparatus for constructing map |
US11417014B2 (en) | 2020-02-28 | 2022-08-16 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and apparatus for constructing map |
KR20210110514A (ko) * | 2020-02-28 | 2021-09-08 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | 지도를 구축하기 위한 방법 및 장치 |
KR102502651B1 (ko) * | 2020-02-28 | 2023-02-21 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | 지도를 구축하기 위한 방법 및 장치 |
CN111292420A (zh) * | 2020-02-28 | 2020-06-16 | 北京百度网讯科技有限公司 | 用于构建地图的方法和装置 |
JP7446643B2 (ja) | 2020-05-26 | 2024-03-11 | マプサス テクノロジー ホールディング リミテッド | 視覚測位方法、装置、機器及び可読記憶媒体 |
CN111862199A (zh) * | 2020-06-17 | 2020-10-30 | 北京百度网讯科技有限公司 | 定位方法、装置、电子设备和存储介质 |
CN111862199B (zh) * | 2020-06-17 | 2024-01-09 | 北京百度网讯科技有限公司 | 定位方法、装置、电子设备和存储介质 |
CN114184193A (zh) * | 2020-09-14 | 2022-03-15 | 杭州海康威视数字技术股份有限公司 | 定位方法及系统 |
JP7336653B2 (ja) | 2020-10-26 | 2023-09-01 | 3アイ インコーポレイテッド | ディープラーニングを利用した屋内位置測位方法 |
US11961256B2 (en) | 2020-10-26 | 2024-04-16 | 3I Inc. | Method for indoor localization using deep learning |
JP2023509105A (ja) * | 2020-10-26 | 2023-03-07 | 3アイ インコーポレイテッド | ディープラーニングを利用した屋内位置測位方法 |
KR102484772B1 (ko) * | 2020-11-03 | 2023-01-05 | 네이버랩스 주식회사 | 맵 생성 방법 및 이를 이용한 이미지 기반 측위 시스템 |
KR20220059832A (ko) * | 2020-11-03 | 2022-05-10 | 네이버랩스 주식회사 | 맵 생성 방법 및 이를 이용한 이미지 기반 측위 시스템 |
US11941755B2 (en) | 2020-11-03 | 2024-03-26 | Naver Labs Corporation | Method of generating map and visual localization system using the map |
CN115201933A (zh) * | 2021-03-24 | 2022-10-18 | 百一电子股份有限公司 | 一种用于智能无人载具系统的室内定位及对象搜寻方法 |
CN114071392B (zh) * | 2021-12-28 | 2023-07-25 | 智小途(上海)数字科技有限公司 | 一种uwb室内高精度三维实景数据构建方法和系统 |
CN114071392A (zh) * | 2021-12-28 | 2022-02-18 | 智小途(上海)数字科技有限公司 | 一种uwb室内高精度三维实景数据构建方法和系统 |
WO2023231425A1 (zh) * | 2022-05-31 | 2023-12-07 | 中兴通讯股份有限公司 | 定位方法、电子设备、存储介质及程序产品 |
Also Published As
Publication number | Publication date |
---|---|
JP6676082B2 (ja) | 2020-04-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6676082B2 (ja) | 屋内測位方法及びシステム、ならびにその屋内マップを作成するデバイス | |
US10169914B2 (en) | Method and system for indoor positioning and device for creating indoor maps thereof | |
JP5436559B2 (ja) | ポータブル・デバイス上での画像アノテーション | |
JP5837092B2 (ja) | 水平角を使用する位置決定 | |
CN105009120B (zh) | 基于客户端-服务器的动态搜索 | |
CN111046125A (zh) | 一种视觉定位方法、系统及计算机可读存储介质 | |
Niu et al. | Resource-efficient and automated image-based indoor localization | |
JP5563494B2 (ja) | 対応参照画像検索装置及び方法、コンテンツ重畳装置、システム、及び方法、並びにコンピュータプログラム | |
US9583074B2 (en) | Optimization of label placements in street level images | |
US8369578B2 (en) | Method and system for position determination using image deformation | |
US20130328931A1 (en) | System and Method for Mobile Identification of Real Property by Geospatial Analysis | |
CN107193820B (zh) | 位置信息获取方法、装置及设备 | |
CN110766731A (zh) | 一种全景影像与点云自动配准的方法、装置及存储介质 | |
TWM580186U (zh) | 一種360度環繞方位及位置感知物件信息獲取系統 | |
KR102249381B1 (ko) | 3차원 영상 정보를 이용한 모바일 디바이스의 공간 정보 생성 시스템 및 방법 | |
TWI631861B (zh) | 室內定位方法與系統及其室內地圖建立裝置 | |
JP5837404B2 (ja) | 画像処理装置、画像処理方法 | |
CN115578539B (zh) | 室内空间高精度视觉位置定位方法、终端及存储介质 | |
US9852542B1 (en) | Methods and apparatus related to georeferenced pose of 3D models | |
KR20220062709A (ko) | 모바일 디바이스 영상에 기반한 공간 정보 클러스터링에 의한 재난 상황 인지 시스템 및 방법 | |
CN114429515A (zh) | 一种点云地图构建方法、装置和设备 | |
KR20210016757A (ko) | 기지국 안테나 정보 관리 시스템 및 방법 | |
CN110675446A (zh) | 定位方法和装置 | |
CN117671007B (zh) | 一种位移监测方法、装置、电子设备及存储介质 | |
KR102591370B1 (ko) | 실내 측위 장치 및 그 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190219 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200219 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200227 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200311 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6676082 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |