JP2021136020A - 因果推論を用いた危険物体識別のためのシステム及びその方法 - Google Patents
因果推論を用いた危険物体識別のためのシステム及びその方法 Download PDFInfo
- Publication number
- JP2021136020A JP2021136020A JP2021018598A JP2021018598A JP2021136020A JP 2021136020 A JP2021136020 A JP 2021136020A JP 2021018598 A JP2021018598 A JP 2021018598A JP 2021018598 A JP2021018598 A JP 2021018598A JP 2021136020 A JP2021136020 A JP 2021136020A
- Authority
- JP
- Japan
- Prior art keywords
- dynamic
- dynamic object
- vehicle
- image
- driving scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0635—Risk analysis of enterprise or organisation activities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/12—Bounding box
Abstract
Description
本出願は、2020年2月26日に出願された米国特許仮出願第62/981,785号の優先権を主張し、参照により本明細書に明示的に組み込まれる。
I.システムの概要
II.危険物体の因果性識別アプリケーション及び関連方法
Claims (20)
- 因果推論を用いた危険物体識別のためのコンピュータ実施方法であって、
自車両の運転シーンの少なくとも1つの画像を受信することと、
前記少なくとも1つの画像を分析して、前記自車両の前記運転シーン内の動的物体を検出及び追跡することと、
前記少なくとも1つの画像内に捕捉された前記動的物体のそれぞれを除去するためのマスクを実施することと、
前記動的物体のそれぞれの除去に対する運転挙動に関連付けられた変化レベルを分析することであって、少なくとも1つの動的物体が、前記運転挙動に対して最も高い影響レベルを有する危険物体として識別される、分析することと、を含む、コンピュータ実施方法。 - 前記少なくとも1つの画像を受信することが、前記自車両の周囲環境のRGB画像を受信することと、前記動的物体を含む前記自車両の前記運転シーンを含む画像フレームを抽出することと、を含み、前記動的物体が、前記運転シーン内に位置する交通参加者を含む、請求項1に記載のコンピュータ実施方法。
- 前記少なくとも1つの画像を分析することが、画像フレーム内に含まれる各動的物体の周囲の境界ボックスを計算することと、ニューラルネットワークによって実行される時間モデリングプロセスを実行して、前記自車両及び前記動的物体を検出及び追跡することと、を含む、請求項1に記載のコンピュータ実施方法。
- 前記動的物体のそれぞれを除去するために前記マスクを実施することが、前記運転シーン内に位置する各動的物体を含む前記境界ボックス内にカプセル化された前記画像フレームの画素のサブセット上に1チャネルバイナリマスクを提供するための機械学習処理を実行することを含む、請求項3に記載のコンピュータ実施方法。
- 前記ニューラルネットワークが、前記動的物体のそれぞれに関連付けられた画素のそれぞれを独立して電子的に除去し、置換するために画像修復を完了し、前記ニューラルネットワークによって実行される前記画像修復が、マスクされた領域内でハルシネーションを可能にするマスクされ、かつ再正規化された畳み込み演算に基づく、請求項4に記載のコンピュータ実施方法。
- 前記マスクが、部分畳み込みから抽出された特徴に影響を及ぼし、前記除去された動的物体のメッセージを前記運転シーンの残りの部分から切り離す、請求項1に記載のコンピュータ実施方法。
- 前記変化レベルを分析することが、前記動的物体が前記運転シーンから除去されるときに、前記動的物体が存在する場合と、前記動的物体が存在しない場合との2つの運転挙動に関連する前記変化レベルを判定することを含む、請求項1に記載のコンピュータ実施方法。
- 前記動的物体のそれぞれに、前記変化レベルに基づいて、前記運転挙動との因果関係に関連付けられた、因果性スコアが割り当てられる、請求項7に記載のコンピュータ実施方法。
- 前記運転シーン内に含まれる追加の動的物体と比較して、前記少なくとも1つの動的物体に最も高い因果性スコアが割り当てられていると判定することに基づいて、前記少なくとも1つの動的物体が前記危険物体として識別される、請求項8に記載のコンピュータ実施方法。
- 因果推論を用いた危険物体識別のためのシステムであって、
命令を記憶しているメモリを備え、前記命令が、プロセッサによって実行されると、前記プロセッサに、
自車両の運転シーンの少なくとも1つの画像を受信することと、
前記少なくとも1つの画像を分析して、前記自車両の前記運転シーン内の動的物体を検出及び追跡することと、
前記少なくとも1つの画像内に捕捉された前記動的物体のそれぞれを除去するためのマスクを実施することと、
前記動的物体のそれぞれの除去に対する運転挙動に関連付けられた変化レベルを分析することであって、少なくとも1つの動的物体が、前記運転挙動に対して最も高い影響レベルを有する危険物体として識別される、分析することと、を行わせる、システム。 - 前記少なくとも1つの画像を受信することが、前記自車両の周囲環境のRGB画像を受信することと、前記動的物体を含む前記自車両の前記運転シーンを含む画像フレームを抽出することと、を含み、前記動的物体が、前記運転シーン内に位置する交通参加者を含む、請求項10に記載のシステム。
- 前記少なくとも1つの画像を分析することが、画像フレーム内に含まれる各動的物体の周囲の境界ボックスを計算することと、ニューラルネットワークによって実行される時間モデリングプロセスを実行して、前記自車両及び前記動的物体を検出及び追跡することと、を含む、請求項10に記載のシステム。
- 前記動的物体のそれぞれを除去するために前記マスクを実施することが、前記運転シーン内に位置する各動的物体を含む前記境界ボックス内にカプセル化された前記画像フレームの画素のサブセット上に1チャネルバイナリマスクを提供するための機械学習処理を実行することを含む、請求項12に記載のシステム。
- 前記ニューラルネットワークが、前記動的物体のそれぞれに関連付けられた画素のそれぞれを独立して電子的に除去し、置換するために画像修復を完了し、前記ニューラルネットワークによって実行される前記画像修復が、マスクされた領域内でハルシネーションを可能にするマスクされ、かつ再正規化された畳み込み演算に基づく、請求項13に記載のシステム。
- 前記マスクが、部分畳み込みから抽出された特徴に影響を及ぼし、前記除去された動的物体のメッセージを前記運転シーンの残りの部分から切り離す、請求項10に記載のシステム。
- 前記変化レベルを分析することが、前記動的物体が前記運転シーンから除去されるときに、前記動的物体が存在する場合と、前記動的物体が存在しない場合との2つの運転挙動に関連する前記変化レベルを判定することを含む、請求項10に記載のシステム。
- 前記動的物体のそれぞれに、前記変化レベルに基づいて、前記運転挙動との因果関係に関連付けられた、因果性スコアが割り当てられる、請求項16に記載のシステム。
- 前記運転シーン内に含まれる追加の動的物体と比較して、前記少なくとも1つの動的物体に最も高い因果性スコアが割り当てられていると判定することに基づいて、前記少なくとも1つの動的物体が前記危険物体として識別される、請求項17に記載のシステム。
- 命令を記憶している非一時的コンピュータ可読記憶媒体であって、前記命令がコンピュータによって実行されると、プロセッサが方法を実行し、前記方法が、
自車両の運転シーンの少なくとも1つの画像を受信することと、
前記少なくとも1つの画像を分析して、前記自車両の前記運転シーン内の動的物体を検出及び追跡することと、
前記少なくとも1つの画像内に捕捉された前記動的物体のそれぞれを除去するためのマスクを実施することと、
前記動的物体のそれぞれの除去に対する運転挙動に関連付けられた変化レベルを分析することであって、少なくとも1つの動的物体が、前記運転挙動に対して最も高い影響レベルを有する危険物体として識別される、分析することと、を含む、非一時的コンピュータ可読記憶媒体。 - 前記運転シーン内に含まれる追加の動的物体と比較して、前記変化レベルに基づく前記運転挙動との因果関係に関連付けられた、最も高い因果性スコアが前記少なくとも1つの動的物体に割り当てられていると判定することに基づいて、前記少なくとも1つの動的物体が前記危険物体として識別される、請求項19に記載の非一時的コンピュータ可読記憶媒体。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202062981785P | 2020-02-26 | 2020-02-26 | |
US62/981,785 | 2020-02-26 | ||
US16/916,428 | 2020-06-30 | ||
US16/916,428 US11544935B2 (en) | 2020-02-26 | 2020-06-30 | System for risk object identification via causal inference and method thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021136020A true JP2021136020A (ja) | 2021-09-13 |
JP7042937B2 JP7042937B2 (ja) | 2022-03-28 |
Family
ID=77365292
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021018598A Active JP7042937B2 (ja) | 2020-02-26 | 2021-02-08 | 因果推論を用いた危険物体識別のためのシステム及びその方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11544935B2 (ja) |
JP (1) | JP7042937B2 (ja) |
CN (1) | CN113312954A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021180963A (ja) * | 2017-01-31 | 2021-11-25 | 株式会社三洋物産 | 遊技機 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11727576B2 (en) * | 2020-12-18 | 2023-08-15 | Qualcomm Incorporated | Object segmentation and feature tracking |
CN115796589B (zh) * | 2022-12-05 | 2023-09-29 | 三亚学院 | 纯电动汽车三电系统风险隐患灵敏度分析方法 |
US11748664B1 (en) * | 2023-03-31 | 2023-09-05 | Geotab Inc. | Systems for creating training data for determining vehicle following distance |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003169323A (ja) * | 2001-11-29 | 2003-06-13 | Clarion Co Ltd | 車両周囲監視装置 |
WO2011114442A1 (ja) * | 2010-03-16 | 2011-09-22 | トヨタ自動車株式会社 | 運転支援装置 |
US20180253622A1 (en) * | 2017-03-06 | 2018-09-06 | Honda Motor Co., Ltd. | Systems for performing semantic segmentation and methods thereof |
US20210171061A1 (en) * | 2018-06-25 | 2021-06-10 | Robert Bosch Gmbh | Adaptation of the trajectory of an ego vehicle to moving extraneous objects |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2654028B1 (en) | 2012-04-20 | 2018-09-26 | Honda Research Institute Europe GmbH | Orientation sensitive traffic collision warning system |
US9904852B2 (en) * | 2013-05-23 | 2018-02-27 | Sri International | Real-time object detection, tracking and occlusion reasoning |
DE102015211736A1 (de) | 2015-06-24 | 2016-12-29 | Bayerische Motoren Werke Aktiengesellschaft | Engstellenassistenzsystem in einem Kraftfahrzeug |
WO2018019354A1 (en) * | 2016-07-25 | 2018-02-01 | Swiss Reinsurance Company Ltd. | An apparatus for a dynamic, score-based, telematics connection search engine and aggregator and corresponding method thereof |
US10657388B2 (en) * | 2018-03-13 | 2020-05-19 | Honda Motor Co., Ltd. | Robust simultaneous localization and mapping via removal of dynamic traffic participants |
JP7057717B2 (ja) | 2018-05-28 | 2022-04-20 | 日本放送協会 | 位相差検出器及び画像処理装置、並びにプログラム |
US11205082B2 (en) | 2019-10-08 | 2021-12-21 | Toyota Research Institute, Inc. | Spatiotemporal relationship reasoning for pedestrian intent prediction |
-
2020
- 2020-06-30 US US16/916,428 patent/US11544935B2/en active Active
-
2021
- 2021-01-22 CN CN202110090412.9A patent/CN113312954A/zh active Pending
- 2021-02-08 JP JP2021018598A patent/JP7042937B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003169323A (ja) * | 2001-11-29 | 2003-06-13 | Clarion Co Ltd | 車両周囲監視装置 |
WO2011114442A1 (ja) * | 2010-03-16 | 2011-09-22 | トヨタ自動車株式会社 | 運転支援装置 |
US20180253622A1 (en) * | 2017-03-06 | 2018-09-06 | Honda Motor Co., Ltd. | Systems for performing semantic segmentation and methods thereof |
US20210171061A1 (en) * | 2018-06-25 | 2021-06-10 | Robert Bosch Gmbh | Adaptation of the trajectory of an ego vehicle to moving extraneous objects |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021180963A (ja) * | 2017-01-31 | 2021-11-25 | 株式会社三洋物産 | 遊技機 |
Also Published As
Publication number | Publication date |
---|---|
US20210264167A1 (en) | 2021-08-26 |
CN113312954A (zh) | 2021-08-27 |
US11544935B2 (en) | 2023-01-03 |
JP7042937B2 (ja) | 2022-03-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7042937B2 (ja) | 因果推論を用いた危険物体識別のためのシステム及びその方法 | |
CN110909587B (zh) | 场景分类 | |
US11034357B2 (en) | Scene classification prediction | |
US11584379B2 (en) | System and method for learning naturalistic driving behavior based on vehicle dynamic data | |
US10482334B1 (en) | Driver behavior recognition | |
US11042156B2 (en) | System and method for learning and executing naturalistic driving behavior | |
CN111050116B (zh) | 利用时间递归网络进行在线动作检测的系统和方法 | |
CN110895674B (zh) | 用于基于自我中心视觉的未来车辆定位的系统和方法 | |
US11886506B2 (en) | System and method for providing object-level driver attention reasoning with a graph convolution network | |
JP7126575B2 (ja) | 運転者中心危険評価:意図認識運転モデルを用いた因果推論を介する危険物体識別 | |
JP7072030B2 (ja) | アクション事前分布を使用して将来予測するためのシステム及び方法 | |
US11370446B2 (en) | System and method for learning and predicting naturalistic driving behavior | |
US11150656B2 (en) | Autonomous vehicle decision making | |
US11845464B2 (en) | Driver behavior risk assessment and pedestrian awareness | |
US20220144260A1 (en) | System and method for completing risk object identification | |
CN115376095A (zh) | 用于在驾驶场景中完成联合风险定位和推理的系统和方法 | |
CN113312955A (zh) | 用于执行交叉口情景检索的系统及其方法 | |
US20230256973A1 (en) | System and method for predicting driver situational awareness | |
Hamad et al. | How Do Drivers Behave at Roundabouts in a Mixed Traffic? A Case Study Using Machine Learning | |
Kumar | Semantic segmentation for autonomous vehicles | |
JP2024012266A (ja) | 自動運転車のオブジェクト認識率の改善方法およびその装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210208 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20210216 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20210610 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220113 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220215 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220315 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7042937 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |