JP2021135224A - 検出器の姿勢・位置検出装置 - Google Patents
検出器の姿勢・位置検出装置 Download PDFInfo
- Publication number
- JP2021135224A JP2021135224A JP2020032762A JP2020032762A JP2021135224A JP 2021135224 A JP2021135224 A JP 2021135224A JP 2020032762 A JP2020032762 A JP 2020032762A JP 2020032762 A JP2020032762 A JP 2020032762A JP 2021135224 A JP2021135224 A JP 2021135224A
- Authority
- JP
- Japan
- Prior art keywords
- detector
- posture
- attitude
- image
- position detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 137
- 238000000034 method Methods 0.000 claims description 35
- 230000002093 peripheral effect Effects 0.000 claims description 22
- 239000000463 material Substances 0.000 claims description 4
- 230000036544 posture Effects 0.000 description 99
- 230000008569 process Effects 0.000 description 15
- 238000012545 processing Methods 0.000 description 10
- 239000003550 marker Substances 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
- G01S7/4972—Alignment of sensor
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4808—Evaluating distance, position or velocity data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L31/00—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof
- H01L31/08—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof in which radiation controls flow of current through the device, e.g. photoresistors
- H01L31/10—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof in which radiation controls flow of current through the device, e.g. photoresistors characterised by potential barriers, e.g. phototransistors
- H01L31/101—Devices sensitive to infrared, visible or ultraviolet radiation
- H01L31/102—Devices sensitive to infrared, visible or ultraviolet radiation characterised by only one potential barrier
- H01L31/107—Devices sensitive to infrared, visible or ultraviolet radiation characterised by only one potential barrier the potential barrier working in avalanche mode, e.g. avalanche photodiodes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
- G06T2207/30208—Marker matrix
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Computer Hardware Design (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Power Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Light Receiving Elements (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
Description
図1および図2に示すように、車両100に搭載されている検出器50の姿勢・位置検出システム500は、複数のターゲットTGと、姿勢・位置検出装置10と、測量機器300とを備える。複数のターゲットTGは、検出器50の姿勢および位置の少なくともいずれか一方の検出に用いられる物理的な標的であり、車両100の周囲に配置されている。姿勢・位置検出システム500では、姿勢・位置検出装置10および測量機器300がそれぞれ、ターゲットTG上における1つ又は複数の特徴点により決定されるターゲットTGの3次元空間における座標位置を検出し、両座標位置のずれ量を求めることにより、後述の基準座標軸に対する検出器50の姿勢・位置を検出する。本明細書において、姿勢・位置の記載は、姿勢および位置の少なくともいずれか一方を意味する。
X’=RX+T・・・(1)
上記式(1)において、Rは姿勢であり、Tは位置である。姿勢Rは3×3行列であり、位置Tは3×1行列である。Xは検出器50により取得された特徴点Fpの3次元位置であり、X’は測量機器300により取得された基準位置である。なお、特徴点Fpの3次元位置と基準位置との対応付けは、例えば、ターゲットTGの隅に予めマーカーを付与しておき、かかるマーカーを検出し、該マーカーからの位置関係から算出されてもよい。
第2実施形態に係る検出器50の姿勢・位置検出システムは、姿勢・位置検出装置10が車両100に搭載されている点において、第1実施形態に係る検出器50の姿勢・位置検出システム500と異なる。第2実施形態の検出器50の姿勢・位置検出システムのその他の構成は、第1実施形態と同様の構成であるので、同一の構成要素には同一の符号を付し、その詳細な説明を省略する。
図12に示すように、第3実施形態に係る検出器50の姿勢・位置検出システム500aは、測量機器300を省略する点と、車両100に代えて車両100aを備える点とにおいて、第1実施形態に係る検出器50の姿勢・位置検出システム500と異なる。検出器50の姿勢・位置検出システム500aのその他の構成は、第1実施形態と同様の構成であるので、同一の構成要素には同一の符号を付し、その詳細な説明を省略する。
(1)上記各実施形態において、姿勢・位置検出装置10は、較正部25を備えていなくてもよい。すなわち、検出器50の姿勢・位置が検出されるにとどまっていてもよい。
Claims (11)
- 車両(100、100a)に搭載されて用いられる検出器(50)の姿勢・位置検出装置(10)であって、
前記検出器から照射された照射光の照射範囲内の対象物までの距離を示す距離画像(KI)と、環境光の受光強度を示す背景光画像(HI)であって、解像度が前記距離画像の解像度以上である背景光画像と、を前記検出器から取得する画像取得部(21)と、
前記距離画像と前記背景光画像とを用いて、前記検出器の姿勢・位置を検出する姿勢・位置検出部(23)と、
を備える、検出器の姿勢・位置検出装置。 - 請求項1に記載の検出器の姿勢・位置検出装置であって、
前記背景光画像の解像度は、前記距離画像の解像度よりも高い、
検出器の姿勢・位置検出装置。 - 請求項1または請求項2に記載の検出器の姿勢・位置検出装置であって、
前記対象物には、前記姿勢・位置の検出に用いられるターゲット(TG)であって、平面上に表された予め定められた検出用パターン(KP)を有するターゲットが含まれ、
前記姿勢・位置検出部は、
前記背景光画像における前記ターゲット上の特徴点(Fp)の画素位置を検出し、
前記距離画像における前記特徴点の前記画素位置に対応する画素である対応画素(Gt)の画素値から対応点3次元位置を取得し、
前記対応点3次元位置を用いて、前記検出器の姿勢・位置を検出する、
を備える、検出器の姿勢・位置検出装置。 - 請求項3に記載の検出器の姿勢・位置検出装置であって、
前記姿勢・位置検出部は、
前記距離画像における前記対応画素の周囲の画素である周囲画素(Gs)の各画素値から周囲点3次元位置を取得し、
前記周囲点3次元位置を補間することによって前記対応点3次元位置を算出する、
検出器の姿勢・位置検出装置。 - 請求項3または請求項4に記載の検出器の姿勢・位置検出装置であって、
前記ターゲットは、色と、材質とのうちの少なくとも一方が互いに異なる複数のターゲットを含む、
検出器の姿勢・位置検出装置。 - 請求項3から請求項5までのいずれか一項に記載の検出器の姿勢・位置検出装置であって、
前記ターゲットは、前記車両の現在位置の周辺に存在する予め定められた種類の道路構造物であり、
前記姿勢・位置検出部は、前記道路構造物上の予め定められた特徴点を用いて、前記検出器の姿勢・位置を検出する、
検出器の姿勢・位置検出装置。 - 請求項1から請求項6までのいずれか一項に記載の検出器の姿勢・位置検出装置であって、
検出された前記検出器の姿勢・位置を用いて、前記検出器を較正する較正部(25)を、さらに備える、
検出器の姿勢・位置検出装置。 - 請求項1から請求項7までのいずれか一項に記載の検出器の姿勢・位置検出装置であって、
前記検出器は、
前記照射光の反射光を含む入射光を受光可能な複数の受光素子を有し、
前記受光素子(56)は、受光要素(58)の受光状態に応じた受光値を出力するシングルフォトンアバランシェダイオードである、
検出器の姿勢・位置検出装置。 - 請求項1から請求項8までのいずれか一項に記載の検出器の姿勢・位置検出装置であって、
前記検出器は、ライダーである、
検出器の姿勢・位置検出装置。 - 車両(100、100a)に搭載されて用いられる検出器(50)の姿勢・位置検出方法であって、
前記検出器から照射された照射光の照射範囲内の対象物までの距離を示す距離画像(KI)と、環境光の受光強度を示す背景光画像(HI)であって、解像度が前記距離画像の解像度以上である背景光画像と、を前記検出器から取得し、
前記距離画像と前記背景光画像とを用いて、前記検出器の姿勢・位置を検出する、
検出器の姿勢・位置検出方法。 - 請求項10に記載の検出器の姿勢・位置検出方法であって、
前記背景光画像の解像度は、前記距離画像の解像度よりも高い、
検出器の姿勢・位置検出方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020032762A JP7215448B2 (ja) | 2020-02-28 | 2020-02-28 | 検出器の姿勢・位置検出装置 |
CN202180017352.6A CN115176124A (zh) | 2020-02-28 | 2021-02-22 | 检测器的姿势/位置检测装置 |
PCT/JP2021/006595 WO2021172264A1 (ja) | 2020-02-28 | 2021-02-22 | 検出器の姿勢・位置検出装置 |
US17/822,369 US20220413112A1 (en) | 2020-02-28 | 2022-08-25 | Apparatus for determining orientation and position of sensor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020032762A JP7215448B2 (ja) | 2020-02-28 | 2020-02-28 | 検出器の姿勢・位置検出装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021135224A true JP2021135224A (ja) | 2021-09-13 |
JP2021135224A5 JP2021135224A5 (ja) | 2021-12-02 |
JP7215448B2 JP7215448B2 (ja) | 2023-01-31 |
Family
ID=77491001
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020032762A Active JP7215448B2 (ja) | 2020-02-28 | 2020-02-28 | 検出器の姿勢・位置検出装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220413112A1 (ja) |
JP (1) | JP7215448B2 (ja) |
CN (1) | CN115176124A (ja) |
WO (1) | WO2021172264A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023243374A1 (ja) * | 2022-06-17 | 2023-12-21 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、及び、測定システム |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7338607B2 (ja) * | 2020-10-29 | 2023-09-05 | トヨタ自動車株式会社 | 車両位置推定装置 |
DE102022104880B4 (de) | 2022-03-02 | 2023-09-21 | Avl Software And Functions Gmbh | Verfahren zur Kalibrierung eines portablen Referenzsensorsystems, portables Referenzsensorsystem und Verwendung des portablen Referenzsensorsystems |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014181957A (ja) * | 2013-03-18 | 2014-09-29 | Toyota Motor Corp | 車載カメラ校正装置、車載カメラ校正方法、プログラム及び媒体 |
WO2015125300A1 (ja) * | 2014-02-24 | 2015-08-27 | 日産自動車株式会社 | 自己位置算出装置及び自己位置算出方法 |
JP2019148865A (ja) * | 2018-02-26 | 2019-09-05 | パナソニックIpマネジメント株式会社 | 識別装置、識別方法、識別プログラムおよび識別プログラムを記録した一時的でない有形の記録媒体 |
-
2020
- 2020-02-28 JP JP2020032762A patent/JP7215448B2/ja active Active
-
2021
- 2021-02-22 WO PCT/JP2021/006595 patent/WO2021172264A1/ja active Application Filing
- 2021-02-22 CN CN202180017352.6A patent/CN115176124A/zh active Pending
-
2022
- 2022-08-25 US US17/822,369 patent/US20220413112A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014181957A (ja) * | 2013-03-18 | 2014-09-29 | Toyota Motor Corp | 車載カメラ校正装置、車載カメラ校正方法、プログラム及び媒体 |
WO2015125300A1 (ja) * | 2014-02-24 | 2015-08-27 | 日産自動車株式会社 | 自己位置算出装置及び自己位置算出方法 |
JP2019148865A (ja) * | 2018-02-26 | 2019-09-05 | パナソニックIpマネジメント株式会社 | 識別装置、識別方法、識別プログラムおよび識別プログラムを記録した一時的でない有形の記録媒体 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023243374A1 (ja) * | 2022-06-17 | 2023-12-21 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、及び、測定システム |
Also Published As
Publication number | Publication date |
---|---|
US20220413112A1 (en) | 2022-12-29 |
CN115176124A (zh) | 2022-10-11 |
JP7215448B2 (ja) | 2023-01-31 |
WO2021172264A1 (ja) | 2021-09-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021172264A1 (ja) | 検出器の姿勢・位置検出装置 | |
US11619496B2 (en) | System and method of detecting change in object for updating high-definition map | |
JP7073315B2 (ja) | 乗物、乗物測位システム、及び乗物測位方法 | |
AU2018282302B2 (en) | Integrated sensor calibration in natural scenes | |
CN105512646B (zh) | 一种数据处理方法、装置及终端 | |
TWI634315B (zh) | Map data update device, map data update method, and map data update program product | |
CN111856491B (zh) | 用于确定车辆的地理位置和朝向的方法和设备 | |
JP5157067B2 (ja) | 自動走行用マップ作成装置、及び自動走行装置。 | |
US20130027511A1 (en) | Onboard Environment Recognition System | |
JP2023133334A (ja) | 非剛性ステレオ・ビジョン・カメラ・システム | |
CN113673282A (zh) | 目标检测方法和装置 | |
CN112233188B (zh) | 一种激光雷达和全景相机的数据融合系统的标定方法 | |
JP6278791B2 (ja) | 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラムならびに車両位置検出システム | |
CN112288825B (zh) | 相机标定方法、装置、电子设备、存储介质和路侧设备 | |
JP6758160B2 (ja) | 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム | |
KR20210049581A (ko) | 이동체의 전방향에 대한 거리 취득 장치 및 방법 | |
CN110766761B (zh) | 用于相机标定的方法、装置、设备和存储介质 | |
JP6989284B2 (ja) | 車両位置推定装置及びプログラム | |
JP6278790B2 (ja) | 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラムならびに車両位置検出システム | |
JP2004265432A (ja) | 走行環境認識装置 | |
JP5910180B2 (ja) | 移動物体位置姿勢推定装置及び方法 | |
KR20180083091A (ko) | Avm 자동 공차 보정 시스템 및 그 방법 | |
CN112255604A (zh) | 一种雷达数据准确性的判断方法、装置及计算机设备 | |
JP6370234B2 (ja) | 地図データ生成装置、地図データ生成方法及び地図データ生成用コンピュータプログラムならびに車両位置検出装置 | |
WO2022133986A1 (en) | Accuracy estimation method and system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211019 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211101 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221220 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230102 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7215448 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |