JP2021047024A - 推定装置、推定方法及びプログラム - Google Patents
推定装置、推定方法及びプログラム Download PDFInfo
- Publication number
- JP2021047024A JP2021047024A JP2019168061A JP2019168061A JP2021047024A JP 2021047024 A JP2021047024 A JP 2021047024A JP 2019168061 A JP2019168061 A JP 2019168061A JP 2019168061 A JP2019168061 A JP 2019168061A JP 2021047024 A JP2021047024 A JP 2021047024A
- Authority
- JP
- Japan
- Prior art keywords
- landmark
- position information
- association
- estimation
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 37
- 230000036544 posture Effects 0.000 claims description 37
- 230000006870 function Effects 0.000 claims description 16
- 238000012545 processing Methods 0.000 abstract description 18
- 238000004891 communication Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 13
- 239000011159 matrix material Substances 0.000 description 13
- 238000005259 measurement Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000012905 input function Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
- G01C21/30—Map- or contour-matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
- G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Aviation & Aerospace Engineering (AREA)
- Electromagnetism (AREA)
- Optics & Photonics (AREA)
- Navigation (AREA)
- Instructional Devices (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
第1実施形態の推定装置は、例えば移動体に搭載される。
図1は第1実施形態の移動体10の例を示す図である。
図2は第1実施形態の移動体10の機能構成の例を示す図である。
次に、推定部21の動作の詳細について説明する。
+Ematch(L,W|M)・・・(1)
図6は第1実施形態の推定方法の例を示すフローチャートである。はじめに、カメラ10Bが、第2のランドマーク102を含む画像を撮像することによって、第2のランドマーク102を観測する(ステップS1)。次に、取得部21が、ステップS1の処理によって撮像された画像から、上述の第2の位置情報を取得する(ステップS2)。次に、推定部22が、記憶部20Bから、第1のランドマーク101の第1の位置情報を読み出す(ステップS3)。なお、図6の例は一例であり、ステップS3の処理は、例えばステップS1及びステップS2の処理と並列で実施されてもよい。
次に第2実施形態について説明する。第2実施形態の説明では、第1実施形態と同様の説明については省略し、第1実施形態と異なる箇所について説明する。
図7は第2実施形態の移動体10の機能構成の例を示す図である。
図11は第2実施形態の推定方法の例を示すフローチャートである。ステップS11〜ステップS13の説明は、第1実施形態のステップS1〜ステップS3の説明と同じなので省略する。なお、図11の例は一例であり、ステップS13の処理は、例えばステップS11及びステップS12の処理と並列で実施されてもよい。
次に第3実施形態について説明する。第3実施形態の説明では、第1実施形態と同様の説明については省略し、第1実施形態と異なる箇所について説明する。
第3実施形態の移動体10の機能構成は、第1実施形態と同様(図2参照)であるが、取得部21が更に移動体10の時系列の相対位置を取得し、推定部22が当該相対位置に更に基づいて推定処理をする点が第1実施形態とは異なる。具体的には、第3実施形態では、移動体10が刻々と移動しており,移動する都度、カメラ10B及びセンサ10C等が観測を行い、時系列の観測情報Vを取得する。推定部22は、観測位置201の相対的な位置関係を更に考慮して、移動体10の位置姿勢を推定する。
図12は第3実施形態の推定方法の例を示すフローチャートである。ステップS31〜ステップS32の説明は、第1実施形態のステップS1〜ステップS2の説明と同じなので省略する。
図13は第1乃至第3実施形態の推定装置20(20−2)のハードウェア構成の例を示す図である。推定装置20は、制御装置301、主記憶装置302、補助記憶装置303、表示装置304、入力装置305及び通信装置306を備える。制御装置301、主記憶装置302、補助記憶装置303、表示装置304、入力装置305及び通信装置306は、バス310を介して接続されている。
10A 出力部
10B カメラ
10C センサ
10D 通信部
10E ディスプレイ
10F スピーカ
10G 動力制御部
10H 動力部
10I バス
20 推定装置
21 取得部
22 推定部
23 限定部
301 制御装置
302 主記憶装置
303 補助記憶装置
304 表示装置
305 入力装置
306 通信装置
310 バス
Claims (10)
- 第1のランドマークの地図中の位置及び姿勢の少なくとも一方を示す第1の位置情報を記憶する記憶部と、
移動体の周辺の第2のランドマークの位置及び姿勢の少なくとも一方を示す第2の位置情報を取得する取得部と、
前記第1の位置情報と前記第2の位置情報とに基づいて、前記移動体の地図中の位置及び姿勢の少なくとも一方を示す第3の位置情報、及び、前記第1のランドマークと前記第2のランドマークとの対応付けを推定する推定部と、を備え、
前記推定部は、前記第3の位置情報により特定される位置又は姿勢の少なくとも一方における前記第2のランドマークの観測誤差と、前記対応付けの誤差を示す対応付け誤差とがより小さくなるようにして、前記第3の位置情報と前記対応付けとを推定する、
推定装置。 - 前記第2のランドマーク毎に、対応付けの対象とする前記第1のランドマークを限定する限定部を更に備え、
前記推定部は、前記限定部によって限定された第1のランドマークと、前記第2のランドマークとの対応付けを推定する、
請求項1に記載の推定装置。 - 前記限定部は、前記第2のランドマークの位置、姿勢、形状、種類及び状態の少なくとも1つに基づいて、対応付けの対象とする前記第1のランドマークを限定する、
請求項2に記載の推定装置。 - 前記記憶部は、前記第1の位置情報を含む地図データを複数、記憶し、
前記限定部は、前記地図データ毎に、対応付けの対象とする前記第1のランドマークを限定し、
前記推定部は、前記限定部によって限定された第1のランドマークと前記第2のランドマークとの対応付け、及び、前記第3の位置情報を、前記地図データ毎に推定する、
請求項2に記載の推定装置。 - 前記取得部は、前記移動体の時系列の相対位置及び姿勢の少なくとも一方を示す相対位置情報を更に取得し、
前記推定部は、前記観測誤差、前記対応付け誤差、及び、時系列の前記第3の位置情報により特定される前記移動体の相対位置及び姿勢の少なくとも一方と前記相対位置情報に含まれる相対位置及び姿勢の少なくとも一方との誤差を示す相対位置誤差がより小さくなるようにして、前記第3の位置情報と前記対応付けとを推定する、
請求項1に記載の推定装置。 - 前記相対位置情報のスケールは、前記第1の位置情報を含む地図データのスケールとは異なり、
前記推定部は、前記相対位置情報のスケールを、前記地図データのスケールに変化させてから、前記相対位置誤差を算出する、
請求項5に記載の推定装置。 - 前記推定部は、前記相対位置誤差を算出するときのスケールを、前記移動体の各時刻の位置及び姿勢の少なくとも一方毎に算出する、
請求項6に記載の推定装置。 - 前記推定部は、前記第2のランドマークと、前記第1のランドマークとの対応付けを1対1にして、前記対応付けを推定する、
請求項1に記載の推定装置。 - 第1のランドマークの地図中の位置及び姿勢の少なくとも一方を示す第1の位置情報を記憶するステップと、
移動体の周辺の第2のランドマークの位置及び姿勢の少なくとも一方を示す第2の位置情報を取得するステップと、
前記第1の位置情報と前記第2の位置情報とに基づいて、前記移動体の地図中の位置及び姿勢の少なくとも一方を示す第3の位置情報、及び、前記第1のランドマークと前記第2のランドマークとの対応付けを推定するステップと、を含み、
前記推定するステップは、前記第3の位置情報により特定される位置又は姿勢の少なくとも一方における前記第2のランドマークの観測誤差と、前記対応付けの誤差を示す対応付け誤差とがより小さくなるようにして、前記第3の位置情報と前記対応付けとを推定する、
推定方法。 - コンピュータを、
第1のランドマークの地図中の位置及び姿勢の少なくとも一方を示す第1の位置情報を記憶する記憶部と、
移動体の周辺の第2のランドマークの位置及び姿勢の少なくとも一方を示す第2の位置情報を取得する取得部と、
前記第1の位置情報と前記第2の位置情報とに基づいて、前記移動体の地図中の位置及び姿勢の少なくとも一方を示す第3の位置情報、及び、前記第1のランドマークと前記第2のランドマークとの対応付けを推定する推定部として機能させ、
前記推定部は、前記第3の位置情報により特定される位置又は姿勢の少なくとも一方における前記第2のランドマークの観測誤差と、前記対応付けの誤差を示す対応付け誤差とがより小さくなるようにして、前記第3の位置情報と前記対応付けとを推定する、
プログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019168061A JP7337617B2 (ja) | 2019-09-17 | 2019-09-17 | 推定装置、推定方法及びプログラム |
US16/799,964 US20210080264A1 (en) | 2019-09-17 | 2020-02-25 | Estimation device, estimation method, and computer program product |
CN202010119216.5A CN112528719A (zh) | 2019-09-17 | 2020-02-26 | 推定装置、推定方法以及存储介质 |
EP20159503.0A EP3795952A1 (en) | 2019-09-17 | 2020-02-26 | Estimation device, estimation method, and computer program product |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019168061A JP7337617B2 (ja) | 2019-09-17 | 2019-09-17 | 推定装置、推定方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021047024A true JP2021047024A (ja) | 2021-03-25 |
JP7337617B2 JP7337617B2 (ja) | 2023-09-04 |
Family
ID=69740216
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019168061A Active JP7337617B2 (ja) | 2019-09-17 | 2019-09-17 | 推定装置、推定方法及びプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20210080264A1 (ja) |
EP (1) | EP3795952A1 (ja) |
JP (1) | JP7337617B2 (ja) |
CN (1) | CN112528719A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023100287A1 (ja) * | 2021-12-01 | 2023-06-08 | 日立Astemo株式会社 | 運転支援装置及び運転支援方法 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102020214301A1 (de) * | 2020-11-13 | 2022-05-19 | Robert Bosch Gesellschaft mit beschränkter Haftung | Vorrichtung und verfahren zum steuern eines roboters zum aufnehmen eines objekts in verschiedenen lagen |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0566713A (ja) * | 1991-09-10 | 1993-03-19 | Hitachi Ltd | ナビゲーシヨン装置 |
JP2007322138A (ja) * | 2006-05-30 | 2007-12-13 | Toyota Motor Corp | 移動装置及び移動装置の自己位置推定方法 |
JP2011511281A (ja) * | 2008-02-04 | 2011-04-07 | テレ アトラス ノース アメリカ インコーポレイテッド | センサにより検出されたオブジェクトとマップマッチングする方法 |
JP2015036840A (ja) * | 2013-08-12 | 2015-02-23 | ヤマハ発動機株式会社 | 自律走行車両、自律走行車両の制御システム及び自律走行車両の制御方法 |
JP2018116014A (ja) * | 2017-01-20 | 2018-07-26 | パイオニア株式会社 | 自車位置推定装置、制御方法、プログラム及び記憶媒体 |
JP2018185239A (ja) * | 2017-04-26 | 2018-11-22 | 株式会社豊田中央研究所 | 位置姿勢推定装置及びプログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080243378A1 (en) * | 2007-02-21 | 2008-10-02 | Tele Atlas North America, Inc. | System and method for vehicle navigation and piloting including absolute and relative coordinates |
KR101609679B1 (ko) * | 2009-03-31 | 2016-04-06 | 팅크웨어(주) | 도로의 면형 데이터를 이용한 맵 매칭장치 및 그 방법 |
JP6233706B2 (ja) * | 2013-04-02 | 2017-11-22 | パナソニックIpマネジメント株式会社 | 自律移動装置及び自律移動装置の自己位置推定方法 |
US10282861B2 (en) * | 2016-12-12 | 2019-05-07 | Here Global B.V. | Pose error estimation and localization using static features |
JP2019011971A (ja) * | 2017-06-29 | 2019-01-24 | 株式会社東芝 | 推定システムおよび自動車 |
JP7036400B2 (ja) * | 2018-01-30 | 2022-03-15 | 株式会社豊田中央研究所 | 自車位置推定装置、自車位置推定方法、及び自車位置推定プログラム |
US11181379B2 (en) * | 2019-09-12 | 2021-11-23 | Robert Bosch Gmbh | System and method for enhancing non-inertial tracking system with inertial constraints |
-
2019
- 2019-09-17 JP JP2019168061A patent/JP7337617B2/ja active Active
-
2020
- 2020-02-25 US US16/799,964 patent/US20210080264A1/en not_active Abandoned
- 2020-02-26 CN CN202010119216.5A patent/CN112528719A/zh active Pending
- 2020-02-26 EP EP20159503.0A patent/EP3795952A1/en active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0566713A (ja) * | 1991-09-10 | 1993-03-19 | Hitachi Ltd | ナビゲーシヨン装置 |
JP2007322138A (ja) * | 2006-05-30 | 2007-12-13 | Toyota Motor Corp | 移動装置及び移動装置の自己位置推定方法 |
JP2011511281A (ja) * | 2008-02-04 | 2011-04-07 | テレ アトラス ノース アメリカ インコーポレイテッド | センサにより検出されたオブジェクトとマップマッチングする方法 |
JP2015036840A (ja) * | 2013-08-12 | 2015-02-23 | ヤマハ発動機株式会社 | 自律走行車両、自律走行車両の制御システム及び自律走行車両の制御方法 |
JP2018116014A (ja) * | 2017-01-20 | 2018-07-26 | パイオニア株式会社 | 自車位置推定装置、制御方法、プログラム及び記憶媒体 |
JP2018185239A (ja) * | 2017-04-26 | 2018-11-22 | 株式会社豊田中央研究所 | 位置姿勢推定装置及びプログラム |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023100287A1 (ja) * | 2021-12-01 | 2023-06-08 | 日立Astemo株式会社 | 運転支援装置及び運転支援方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112528719A (zh) | 2021-03-19 |
US20210080264A1 (en) | 2021-03-18 |
JP7337617B2 (ja) | 2023-09-04 |
EP3795952A1 (en) | 2021-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7073315B2 (ja) | 乗物、乗物測位システム、及び乗物測位方法 | |
JP7082545B2 (ja) | 情報処理方法、情報処理装置およびプログラム | |
CN111108342B (zh) | 用于高清地图创建的视觉测程法和成对对准 | |
US10788830B2 (en) | Systems and methods for determining a vehicle position | |
CN110060297B (zh) | 信息处理装置、系统、信息处理方法和存储介质 | |
CN109443348B (zh) | 一种基于环视视觉和惯导融合的地下车库库位跟踪方法 | |
CN110462343A (zh) | 基于地图的用于车辆的自动图像标记 | |
KR20200042760A (ko) | 차량 위치 결정 방법 및 차량 위치 결정 장치 | |
CN111263960B (zh) | 用于更新高清晰度地图的设备和方法 | |
CN111351502B (zh) | 用于从透视图生成环境的俯视图的方法,装置和计算机程序产品 | |
WO2022193508A1 (zh) | 位姿优化方法、装置、电子设备、计算机可读存储介质、计算机程序及程序产品 | |
JP5333860B2 (ja) | 風景画像認識を用いた自車位置検出システム | |
CN208323361U (zh) | 一种基于深度视觉的定位装置及机器人 | |
JP2016157197A (ja) | 自己位置推定装置、自己位置推定方法およびプログラム | |
CN110458885B (zh) | 基于行程感知与视觉融合的定位系统和移动终端 | |
JP7343054B2 (ja) | 位置推定方法、位置推定装置、および位置推定プログラム | |
CN108603933A (zh) | 用于融合具有不同分辨率的传感器输出的系统和方法 | |
WO2022062480A1 (zh) | 移动设备的定位方法和定位装置 | |
KR20190115982A (ko) | 지도 데이터를 생성하는 전자 장치 및 그 동작 방법 | |
CN111026107A (zh) | 用于确定可移动物体的位置的方法和系统 | |
JP2019102007A (ja) | 勾配推定装置、勾配推定方法、プログラムおよび制御システム | |
CN108544494A (zh) | 一种基于惯性和视觉特征的定位装置、方法及机器人 | |
JP7337617B2 (ja) | 推定装置、推定方法及びプログラム | |
JP6826010B2 (ja) | カメラ運動推定装置、カメラ運動推定方法及びプログラム | |
US20200310459A1 (en) | Electronic apparatus and method for assisting with driving of vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220314 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230131 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230131 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230403 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230509 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230706 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230725 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230823 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7337617 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |