JP2022106801A - 多層ビューイングシステムおよび方法 - Google Patents
多層ビューイングシステムおよび方法 Download PDFInfo
- Publication number
- JP2022106801A JP2022106801A JP2022068646A JP2022068646A JP2022106801A JP 2022106801 A JP2022106801 A JP 2022106801A JP 2022068646 A JP2022068646 A JP 2022068646A JP 2022068646 A JP2022068646 A JP 2022068646A JP 2022106801 A JP2022106801 A JP 2022106801A
- Authority
- JP
- Japan
- Prior art keywords
- target object
- augmented reality
- imager
- physical layer
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 230000003190 augmentative effect Effects 0.000 claims abstract description 142
- 230000003068 static effect Effects 0.000 claims description 55
- 238000005286 illumination Methods 0.000 description 35
- 210000003128 head Anatomy 0.000 description 16
- 238000012545 processing Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 9
- 210000001747 pupil Anatomy 0.000 description 7
- 230000008439 repair process Effects 0.000 description 7
- 238000012423 maintenance Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000000875 corresponding effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000013024 troubleshooting Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000001755 vocal effect Effects 0.000 description 2
- 241000473391 Archosargus rhomboidalis Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 206010047571 Visual impairment Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004418 eye rotation Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000001050 lubricating effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Optics & Photonics (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
Claims (20)
- 多層ビューイングシステムであって、
ターゲット物体を含む視野を有する画像を取得するように構成された静止イメージャと、
1つ以上の物理層マーキングを前記ターゲット物体のターゲット領域に投影するように制御可能なビームプロジェクタと、
拡張現実ディスプレイおよび前記拡張現実ディスプレイの前の領域のシーン画像を取得するように構成されたシーンイメージャまたは前記拡張現実ディスプレイの前にヘッドセットビームを投影するように構成されたヘッドセットビームプロジェクタを含むヘッドセットであって、前記拡張現実ディスプレイが、前記ヘッドセットを装着している現地ユーザが前記拡張現実ディスプレイを通して前記ターゲット物体を直接見ることを可能にするのに十分に透明であり、前記現地ユーザに直接見えるように、直接見える前記ターゲット物体上にスーパーインポーズされた注釈を表示するように構成されている、該ヘッドセットと、
プロセッサであって、
前記注釈の表示のための、前記ターゲット領域に対して選択された場所を受け取り、
前記シーン画像内の前記1つ以上の物理層マーキングの画像を識別することによって、または、前記1つ以上の物理層マーキングの画像、および前記静止イメージャによって取得される画像内の前記ヘッドセットビームによって形成されるマークの画像を識別することによって、前記拡張現実ディスプレイの向きを決定し、
前記注釈が、前記ターゲット領域に対して前記選択された位置に表示されるときに、前記現地ユーザによって知覚可能であるように、前記拡張現実ディスプレイ上に前記注釈を表示するための表示場所を計算し、
計算された前記表示場所で前記拡張現実ディスプレイ上に前記注釈を表示する、ように構成された、該プロセッサと、を備える、多層ビューイングシステム。 - 前記ビームプロジェクタが、ユーザコントロールの操作によって制御可能である、請求項1に記載のシステム。
- 前記ユーザコントロールが、前記静止イメージャによって取得される前記ターゲット物体の画像上の前記ターゲット領域の指示によって、遠隔ユーザが前記ビームプロジェクタを制御することを可能にする、請求項2に記載のシステム。
- ユーザコントロールが、前記静止イメージャによって取得される前記ターゲット物体の画像上の前記選択された場所の指示によって、前記選択された場所の入力を可能にするように構成されている、請求項1に記載のシステム。
- 前記ビームプロジェクタが、レーザを備える、請求項1に記載のシステム。
- 前記ビームプロジェクタが、パターンの形で前記物理層マーキングを投影するように構成されている、請求項1に記載のシステム。
- 前記静止イメージャの視野が、前記物理層マーキングが前記ビームプロジェクタによって投影され得る少なくとも前記ターゲット物体の領域を完全にカバーするのに十分大きい、請求項1に記載のシステム。
- 前記ビームプロジェクタが、前記ターゲット物体の表面の上で前記1つ以上の物理層マーキングを走査するようにさらに構成されている、請求項1に記載のシステム。
- 前記プロセッサが、前記表面の傾斜角を計算するようにさらに構成されている、請求項8に記載のシステム。
- 遠隔ステーションをさらに含む、請求項1に記載のシステム。
- 前記遠隔ステーションが、遠隔ディスプレイおよびユーザコントロールを備える、請求項10に記載のシステム。
- 前記静止イメージャおよび前記ビームプロジェクタが、単一の静止ユニットに組み込まれている、請求項1に記載のシステム。
- 少なくとも1つの追加のイメージャまたは少なくとも1つの追加のプロジェクタをさらに含む、請求項1に記載のシステム。
- 前記プロセッサが、前記少なくとも1つの追加のイメージャを操作して、前記静止イメージャには見えないと識別された前記ターゲット物体の領域の画像を取得するか、または前記少なくとも1つの追加のプロジェクタを操作して、前記ビームプロジェクタによって放出されたビームにアクセスできないと識別された前記ターゲット物体の領域上にマーキングを投影するように、さらに構成されている、請求項13に記載のシステム。
- 静止イメージャと、ビームプロジェクタと、拡張現実ディスプレイおよび前記拡張現実ディスプレイの前の領域のシーン画像を取得するように構成されたシーンイメージャまたは前記拡張現実ディスプレイの前にヘッドセットビームを投影するように構成されたヘッドセットビームプロジェクタを含むヘッドセットと、を含む、ビューイングシステムの操作方法であって、前記拡張現実ディスプレイが、前記ヘッドセットを装着している現地ユーザが前記拡張現実ディスプレイを通してターゲット物体を直接見ることを可能にするのに十分に透明であり、直接見える前記ターゲット物体上にスーパーインポーズされて見ることができる注釈を表示するように構成されており、
前記シーンイメージャを使用して、1つ以上の物理層マーキングが前記ビームプロジェクタによって前記ターゲット物体のターゲット領域上に投影されるときの前記ターゲット物体のシーン画像を、または前記静止イメージャを使用して、前記1つ以上の物理層マーキングおよび前記ヘッドセットビームによって形成されたマークを含む画像を、取得するステップと、
前記注釈の表示のための、前記ターゲット領域に対して選択された場所を受け取るステップと、
取得された前記シーン画像において、前記1つ以上の物理層マーキングの画像、または前記1つ以上の物理層マーキングの画像および前記ヘッドセットビームによって形成された前記マークの画像、を識別するステップと、
前記注釈が、前記ターゲット領域に対して前記選択された位置に表示されるときに、前記現地ユーザによって知覚可能であるように、前記拡張現実ディスプレイ上に前記注釈を表示するための表示場所を計算するステップと、
計算された前記表示場所で前記拡張現実ディスプレイ上に前記注釈を表示するステップと、を含む、方法。 - 前記ターゲット物体の前記シーン画像を取得するステップが、前記1つ以上の物理層マーキングのうちのある物理層マーキングが前記ターゲット物体の表面にわたって走査されるときに、複数の前記シーン画像を連続的に取得するステップを含む、請求項15に記載の方法。
- 連続して取得された前記シーン画像内の走査された前記物理層マーキングの前記画像の場所を識別することによって、前記表面の傾斜角を計算するステップをさらに含む、請求項16に記載の方法。
- 前記シーンイメージャを使用して取得する前に、重ね合わせ較正手順が実行される、請求項15に記載の方法。
- 前記重ね合わせ較正手順が、前記ビームプロジェクタを操作して、1つ以上の較正物理層マーキングを前記ターゲット物体に投影するステップを含む、請求項18に記載の方法。
- 前記重ね合わせ較正手順が、前記注釈が、そのマーキングにスーパーインポーズされるときに前記1つ以上の較正物理層マーキングのマーキングを見ている前記ヘッドセットのユーザに見えるように、前記拡張現実ディスプレイ上に較正注釈を表示するステップをさらに含む、請求項19に記載の方法。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762577332P | 2017-10-26 | 2017-10-26 | |
US62/577,332 | 2017-10-26 | ||
PCT/IL2018/051143 WO2019082188A1 (en) | 2017-10-26 | 2018-10-25 | METHOD AND SYSTEM FOR MULTILAYER VISUALIZATION |
JP2020522975A JP2021500676A (ja) | 2017-10-26 | 2018-10-25 | 多層ビューイングシステムおよび方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020522975A Division JP2021500676A (ja) | 2017-10-26 | 2018-10-25 | 多層ビューイングシステムおよび方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022106801A true JP2022106801A (ja) | 2022-07-20 |
JP7464235B2 JP7464235B2 (ja) | 2024-04-09 |
Family
ID=64184147
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020522975A Pending JP2021500676A (ja) | 2017-10-26 | 2018-10-25 | 多層ビューイングシステムおよび方法 |
JP2022068646A Active JP7464235B2 (ja) | 2017-10-26 | 2022-04-19 | 多層ビューイングシステムおよび方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020522975A Pending JP2021500676A (ja) | 2017-10-26 | 2018-10-25 | 多層ビューイングシステムおよび方法 |
Country Status (7)
Country | Link |
---|---|
US (1) | US11368670B2 (ja) |
EP (1) | EP3701357B1 (ja) |
JP (2) | JP2021500676A (ja) |
KR (2) | KR20200072535A (ja) |
CN (1) | CN111417916B (ja) |
IL (1) | IL274205B2 (ja) |
WO (1) | WO2019082188A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111124228A (zh) * | 2019-12-23 | 2020-05-08 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
CN112634773B (zh) * | 2020-12-25 | 2022-11-22 | 北京市商汤科技开发有限公司 | 增强现实的呈现方法、装置、展示设备及存储介质 |
CN117916693A (zh) * | 2021-09-02 | 2024-04-19 | 斯纳普公司 | 用于电子眼镜设备的基于扫描的消息收发 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011523728A (ja) * | 2008-04-09 | 2011-08-18 | ヒューレット−パッカード デベロップメント カンパニー エル.ピー. | 遠隔制御式ポインティング |
JP2013218459A (ja) * | 2012-04-06 | 2013-10-24 | Sony Corp | 情報処理装置、情報処理方法及び情報処理システム |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2566109B1 (fr) | 1984-06-15 | 1991-08-30 | Sfim | Ensemble de visee optique, de designation et de poursuite d'objectif |
US5719622A (en) | 1996-02-23 | 1998-02-17 | The Regents Of The University Of Michigan | Visual control selection of remote mechanisms |
US20020030637A1 (en) | 1998-10-29 | 2002-03-14 | Mann W. Stephen G. | Aremac-based means and apparatus for interaction with computer, or one or more other people, through a camera |
US6774869B2 (en) * | 2000-12-22 | 2004-08-10 | Board Of Trustees Operating Michigan State University | Teleportal face-to-face system |
JP2008508621A (ja) * | 2004-08-03 | 2008-03-21 | シルバーブルック リサーチ ピーティワイ リミテッド | ウォークアップ印刷 |
US20120249797A1 (en) * | 2010-02-28 | 2012-10-04 | Osterhout Group, Inc. | Head-worn adaptive display |
US10180572B2 (en) * | 2010-02-28 | 2019-01-15 | Microsoft Technology Licensing, Llc | AR glasses with event and user action control of external applications |
US9182487B2 (en) | 2011-06-22 | 2015-11-10 | The Boeing Company | Advanced remote nondestructive inspection system and process |
US9954908B2 (en) * | 2013-01-22 | 2018-04-24 | General Electric Company | Systems and methods for collaborating in a non-destructive testing system |
US20150084990A1 (en) * | 2013-04-07 | 2015-03-26 | Laor Consulting Llc | Augmented reality medical procedure aid |
US10295338B2 (en) * | 2013-07-12 | 2019-05-21 | Magic Leap, Inc. | Method and system for generating map data from an image |
KR101652888B1 (ko) | 2014-08-20 | 2016-09-01 | 재단법인 아산사회복지재단 | 수술 내비게이션에 의해 수술도구를 표시하는 방법 |
US10037312B2 (en) * | 2015-03-24 | 2018-07-31 | Fuji Xerox Co., Ltd. | Methods and systems for gaze annotation |
EP3281403A4 (en) | 2015-04-06 | 2018-03-07 | Scope Technologies US Inc. | Methods and apparatus for augmented reality applications |
US10350839B2 (en) | 2015-05-21 | 2019-07-16 | The Boeing Company | Remote advanced repair guidance |
US9503681B1 (en) | 2015-05-29 | 2016-11-22 | Purdue Research Foundation | Simulated transparent display with augmented reality for remote collaboration |
US20180122143A1 (en) * | 2016-03-15 | 2018-05-03 | Sutherland Cook Ellwood, JR. | Hybrid photonic vr/ar systems |
CN206270499U (zh) | 2016-11-14 | 2017-06-20 | 南昌大学 | 一种便携式高效远距离准确目标定位系统 |
-
2018
- 2018-10-25 EP EP18799875.2A patent/EP3701357B1/en active Active
- 2018-10-25 WO PCT/IL2018/051143 patent/WO2019082188A1/en unknown
- 2018-10-25 CN CN201880069881.9A patent/CN111417916B/zh active Active
- 2018-10-25 IL IL274205A patent/IL274205B2/en unknown
- 2018-10-25 US US16/758,471 patent/US11368670B2/en active Active
- 2018-10-25 JP JP2020522975A patent/JP2021500676A/ja active Pending
- 2018-10-25 KR KR1020207014555A patent/KR20200072535A/ko not_active Application Discontinuation
- 2018-10-25 KR KR1020227044483A patent/KR20230003654A/ko not_active Application Discontinuation
-
2022
- 2022-04-19 JP JP2022068646A patent/JP7464235B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011523728A (ja) * | 2008-04-09 | 2011-08-18 | ヒューレット−パッカード デベロップメント カンパニー エル.ピー. | 遠隔制御式ポインティング |
JP2013218459A (ja) * | 2012-04-06 | 2013-10-24 | Sony Corp | 情報処理装置、情報処理方法及び情報処理システム |
Non-Patent Citations (1)
Title |
---|
加藤博一,外3名: ""マーカー追跡に基づく拡張現実感システムとそのキャリブレーション"", 日本バーチャルリアリティ学会論文誌, vol. 第4巻,第4号, JPN6021016451, 1999, pages 607 - 616, ISSN: 0005087537 * |
Also Published As
Publication number | Publication date |
---|---|
US20200260068A1 (en) | 2020-08-13 |
CN111417916B (zh) | 2023-12-22 |
KR20230003654A (ko) | 2023-01-06 |
IL274205B2 (en) | 2024-05-01 |
JP7464235B2 (ja) | 2024-04-09 |
CN111417916A (zh) | 2020-07-14 |
IL274205A (en) | 2020-06-30 |
US11368670B2 (en) | 2022-06-21 |
EP3701357A1 (en) | 2020-09-02 |
JP2021500676A (ja) | 2021-01-07 |
KR20200072535A (ko) | 2020-06-22 |
EP3701357B1 (en) | 2023-08-23 |
IL274205B1 (en) | 2024-01-01 |
WO2019082188A1 (en) | 2019-05-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7464235B2 (ja) | 多層ビューイングシステムおよび方法 | |
US7369101B2 (en) | Calibrating real and virtual views | |
JP5032343B2 (ja) | 仮想物体を表示する方法および装置、ならびに環境画像に仮想物体を重ね合せるための方法および装置 | |
EP2903551B1 (en) | Digital system for surgical video capturing and display | |
US6891518B2 (en) | Augmented reality visualization device | |
US20140300632A1 (en) | Augmented reality apparatus | |
US20150084990A1 (en) | Augmented reality medical procedure aid | |
EP1413917A2 (en) | Finder, marker presentation member, and presentation method of positioning marker for calibration photography | |
US8690581B2 (en) | Opthalmoscope simulator | |
CN107004279A (zh) | 自然用户界面相机校准 | |
JP2006072903A (ja) | 画像合成方法及び装置 | |
CN105589199A (zh) | 显示装置、显示装置的控制方法以及程序 | |
JP2013054661A (ja) | 情報表示システム、情報表示方法、及び情報表示用プログラム | |
JP2007042055A (ja) | 画像処理方法、画像処理装置 | |
CN109822224B (zh) | 一种激光打标方法和打标装置 | |
US11017745B2 (en) | Method, computer readable storage medium having instructions, apparatus and system for calibrating augmented reality goggles in a transportation vehicle, transportation vehicle suitable for the method, and augmented reality goggles suitable for the method | |
US20190236847A1 (en) | Method and system for aligning digital display of images on augmented reality glasses with physical surrounds | |
US11698535B2 (en) | Systems and methods for superimposing virtual image on real-time image | |
JP2018180090A (ja) | 作業教育システム | |
US20160189422A1 (en) | Process and Device for Determining the 3D Coordinates of an Object | |
US11543663B2 (en) | System and method for alignment between real and virtual objects in a head-mounted optical see-through display | |
JP2016208331A (ja) | 作業支援システム | |
JP6540426B2 (ja) | 表示システム、表示装置、情報表示方法、及び、プログラム | |
JP2005323310A (ja) | 視野共有装置、視野移動量入力装置、画像表示装置、撮影範囲投影方法、視野移動量入力装置の制御方法、画像表示装置の制御方法、視野共有装置のプログラム、視野移動量入力装置のプログラム及び画像表示装置のプログラム | |
JP2018018315A (ja) | 表示システム、表示装置、情報表示方法、及び、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220419 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220419 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220707 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230620 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230920 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231205 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240205 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240312 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240320 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7464235 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |