JP2020171047A - 情報処理装置および方法、並びにプログラム - Google Patents
情報処理装置および方法、並びにプログラム Download PDFInfo
- Publication number
- JP2020171047A JP2020171047A JP2020114350A JP2020114350A JP2020171047A JP 2020171047 A JP2020171047 A JP 2020171047A JP 2020114350 A JP2020114350 A JP 2020114350A JP 2020114350 A JP2020114350 A JP 2020114350A JP 2020171047 A JP2020171047 A JP 2020171047A
- Authority
- JP
- Japan
- Prior art keywords
- information
- screen
- offset
- remapping
- reference screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 37
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000012937 correction Methods 0.000 claims abstract description 140
- 238000003672 processing method Methods 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 description 19
- 238000012545 processing Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R29/00—Monitoring arrangements; Testing arrangements
- H04R29/008—Visual indication of individual signal levels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation
- H04S5/02—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation of the pseudo four-channel type, e.g. in which rear channel signals are derived from two-channel stereo signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/40—Visual indication of stereophonic sound image
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Television Signal Processing For Recording (AREA)
- Stereophonic System (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
〈リマッピングについて〉
本技術は、オーディオオブジェクトのオーディオ信号と、そのオーディオオブジェクトの位置を示すオブジェクト位置情報などのメタデータとを取得してオーディオ再生を行う場合に、適切なリマッピングを行うことができるようにするものである。なお、以下では、オーディオオブジェクトを単にオブジェクトとも称することとする。
図8は、本技術を適用した情報処理装置の一実施の形態の構成例を示す図である。
ここで、情報処理装置11を構成する各部の処理について、より具体的に説明する。
次に、図11のフローチャートを参照して、情報処理装置11により行われるリマッピング処理について説明する。
〈リマッピングについて〉
ところで、ISO/IEC 23008-3 “3D Audio”規格のように、リファレンススクリーンRSC11の左端の水平方向角度φleft nominalや右端の水平方向角度φright nominal、オブジェクトの水平方向角度φの各角度の値域が-180°以上、180°以下と規定されていることもある。
〈リマッピングについて〉
なお、以上においては具体的な例として、再生スクリーンPSC11の中心位置が基準位置である例について説明したが、再生スクリーンPSC11の中心位置が基準位置にない場合にも、以下のように再生スクリーンのオフセット角を用いた補正を加えることで、適切なリマッピングを行うことができる。
以上のような処理が行われる場合、情報処理装置11は、例えば図18に示すような構成とされる。なお、図18において図8における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
次に、図19のフローチャートを参照して、図18に示した情報処理装置11により行われるリマッピング処理について説明する。
ユーザの正面方向の基準位置からのリファレンススクリーンの位置のオフセット量を算出するオフセット算出部と、
前記オフセット量に基づいて、前記基準位置を基準としたオーディオオブジェクトの位置を、前記リファレンススクリーンの位置に合わせて補正する位置補正部と、
補正された前記オーディオオブジェクトの位置に基づいて、再生スクリーンの位置に合わせて前記オーディオオブジェクトの位置をリマッピングするリマッピング部と
を備える情報処理装置。
(2)
前記オフセット算出部は、前記リファレンススクリーンが前記ユーザの背面方向に位置する場合、所定の補正値で前記オフセット量を補正する
(1)に記載の情報処理装置。
(3)
前記位置補正部は、前記オーディオオブジェクトの位置を示す情報の値域が所定範囲の値域となるように定められている場合、前記オーディオオブジェクトの位置の補正時の補正値を調整する
(1)または(2)に記載の情報処理装置。
(4)
前記位置補正部は、前記オフセット量に基づいて、前記リファレンススクリーンの位置を補正し、
前記リマッピング部は、補正された前記リファレンススクリーンの位置、および補正された前記オーディオオブジェクトの位置に基づいて、前記オーディオオブジェクトの位置をリマッピングする
(1)乃至(3)の何れか一項に記載の情報処理装置。
(5)
ユーザの正面方向の基準位置からのリファレンススクリーンの位置のオフセット量を算出し、
前記オフセット量に基づいて、前記基準位置を基準としたオーディオオブジェクトの位置を、前記リファレンススクリーンの位置に合わせて補正し、
補正された前記オーディオオブジェクトの位置に基づいて、再生スクリーンの位置に合わせて前記オーディオオブジェクトの位置をリマッピングする
ステップを含む情報処理方法。
(6)
ユーザの正面方向の基準位置からのリファレンススクリーンの位置のオフセット量を算出し、
前記オフセット量に基づいて、前記基準位置を基準としたオーディオオブジェクトの位置を、前記リファレンススクリーンの位置に合わせて補正し、
補正された前記オーディオオブジェクトの位置に基づいて、再生スクリーンの位置に合わせて前記オーディオオブジェクトの位置をリマッピングする
ステップを含む処理をコンピュータに実行させるプログラム。
Claims (6)
- ユーザの正面方向の基準位置からのリファレンススクリーンの位置のオフセット量を算出するオフセット算出部と、
前記オフセット量に基づいて、前記基準位置を基準としたオーディオオブジェクトの位置を、前記リファレンススクリーンの位置に合わせて補正する位置補正部と、
補正された前記オーディオオブジェクトの位置に基づいて、再生スクリーンの位置に合わせて前記オーディオオブジェクトの位置をリマッピングするリマッピング部と
を備える情報処理装置。 - 前記オフセット算出部は、前記リファレンススクリーンが前記ユーザの背面方向に位置する場合、所定の補正値で前記オフセット量を補正する
請求項1に記載の情報処理装置。 - 前記位置補正部は、前記オーディオオブジェクトの位置を示す情報の値域が所定範囲の値域となるように定められている場合、前記オーディオオブジェクトの位置の補正時の補正値を調整する
請求項1に記載の情報処理装置。 - 前記位置補正部は、前記オフセット量に基づいて、前記リファレンススクリーンの位置を補正し、
前記リマッピング部は、補正された前記リファレンススクリーンの位置、および補正された前記オーディオオブジェクトの位置に基づいて、前記オーディオオブジェクトの位置をリマッピングする
請求項1に記載の情報処理装置。 - ユーザの正面方向の基準位置からのリファレンススクリーンの位置のオフセット量を算出し、
前記オフセット量に基づいて、前記基準位置を基準としたオーディオオブジェクトの位置を、前記リファレンススクリーンの位置に合わせて補正し、
補正された前記オーディオオブジェクトの位置に基づいて、再生スクリーンの位置に合わせて前記オーディオオブジェクトの位置をリマッピングする
ステップを含む情報処理方法。 - ユーザの正面方向の基準位置からのリファレンススクリーンの位置のオフセット量を算出し、
前記オフセット量に基づいて、前記基準位置を基準としたオーディオオブジェクトの位置を、前記リファレンススクリーンの位置に合わせて補正し、
補正された前記オーディオオブジェクトの位置に基づいて、再生スクリーンの位置に合わせて前記オーディオオブジェクトの位置をリマッピングする
ステップを含む処理をコンピュータに実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021104858A JP7136283B2 (ja) | 2015-07-16 | 2021-06-24 | 情報処理装置および方法 |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015142253 | 2015-07-16 | ||
JP2015142253 | 2015-07-16 | ||
JP2015198582 | 2015-10-06 | ||
JP2015198582 | 2015-10-06 | ||
JP2017528385A JP6729585B2 (ja) | 2015-07-16 | 2016-07-01 | 情報処理装置および方法、並びにプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017528385A Division JP6729585B2 (ja) | 2015-07-16 | 2016-07-01 | 情報処理装置および方法、並びにプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021104858A Division JP7136283B2 (ja) | 2015-07-16 | 2021-06-24 | 情報処理装置および方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020171047A true JP2020171047A (ja) | 2020-10-15 |
JP6904466B2 JP6904466B2 (ja) | 2021-07-14 |
Family
ID=57757900
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017528385A Active JP6729585B2 (ja) | 2015-07-16 | 2016-07-01 | 情報処理装置および方法、並びにプログラム |
JP2020114350A Active JP6904466B2 (ja) | 2015-07-16 | 2020-07-01 | 情報処理装置および方法、並びにプログラム |
JP2021104858A Active JP7136283B2 (ja) | 2015-07-16 | 2021-06-24 | 情報処理装置および方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017528385A Active JP6729585B2 (ja) | 2015-07-16 | 2016-07-01 | 情報処理装置および方法、並びにプログラム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021104858A Active JP7136283B2 (ja) | 2015-07-16 | 2021-06-24 | 情報処理装置および方法 |
Country Status (12)
Country | Link |
---|---|
US (3) | US10356547B2 (ja) |
EP (3) | EP4207756A1 (ja) |
JP (3) | JP6729585B2 (ja) |
KR (3) | KR102539973B1 (ja) |
CN (4) | CN113055801B (ja) |
AU (2) | AU2016292271A1 (ja) |
BR (1) | BR112018000489B1 (ja) |
MY (1) | MY198158A (ja) |
RU (1) | RU2721750C2 (ja) |
SG (1) | SG11201710889UA (ja) |
TW (1) | TWI618395B (ja) |
WO (1) | WO2017010313A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113055801B (zh) | 2015-07-16 | 2023-04-07 | 索尼公司 | 信息处理装置、信息处理方法及计算机可读介质 |
EP3922658B1 (en) * | 2019-02-08 | 2022-11-30 | Mitsubishi Gas Chemical Company, Inc. | Polycarbonate resin composition and optical lens using this |
CN114930877A (zh) * | 2020-01-09 | 2022-08-19 | 索尼集团公司 | 信息处理设备和信息处理方法以及程序 |
GB2592610A (en) * | 2020-03-03 | 2021-09-08 | Nokia Technologies Oy | Apparatus, methods and computer programs for enabling reproduction of spatial audio signals |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002171460A (ja) * | 2000-11-30 | 2002-06-14 | Sony Corp | 再生装置 |
JP2017513390A (ja) * | 2014-03-26 | 2017-05-25 | フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン | スクリーン関連オーディオオブジェクトリマッピングのための装置および方法 |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9002716B2 (en) * | 2002-12-02 | 2015-04-07 | Thomson Licensing | Method for describing the composition of audio signals |
JP2006292900A (ja) * | 2005-04-08 | 2006-10-26 | Hitachi Ltd | 投写光学ユニット及びそれを用いた投写型映像表示装置 |
US8174617B2 (en) * | 2005-08-05 | 2012-05-08 | Samsung Electronics Co., Ltd. | Apparatus for providing multiple screens and method of dynamically configuring multiple screens |
US8487956B2 (en) * | 2005-11-29 | 2013-07-16 | Kyocera Corporation | Communication terminal, system and display method to adaptively update a displayed image |
KR100833241B1 (ko) * | 2006-04-28 | 2008-05-28 | 삼성전자주식회사 | 슬라이딩-틸트장치 및 이를 채용한 모바일 기기 |
CA2874454C (en) * | 2006-10-16 | 2017-05-02 | Dolby International Ab | Enhanced coding and parameter representation of multichannel downmixed object coding |
JP5455420B2 (ja) * | 2009-04-22 | 2014-03-26 | キヤノン株式会社 | 映像音声再生装置及び映像音声再生方法 |
US9197736B2 (en) * | 2009-12-31 | 2015-11-24 | Digimarc Corporation | Intuitive computing methods and systems |
US20110123055A1 (en) * | 2009-11-24 | 2011-05-26 | Sharp Laboratories Of America, Inc. | Multi-channel on-display spatial audio system |
US20110123030A1 (en) * | 2009-11-24 | 2011-05-26 | Sharp Laboratories Of America, Inc. | Dynamic spatial audio zones configuration |
GB2477793A (en) * | 2010-02-15 | 2011-08-17 | Sony Corp | A method of creating a stereoscopic image in a client device |
JP5387478B2 (ja) * | 2010-03-29 | 2014-01-15 | ソニー株式会社 | 音声再生装置及び音声再生方法 |
CN102421054A (zh) * | 2010-09-27 | 2012-04-18 | 夏普株式会社 | 多声道显示器上空间音频配置的方法和设备 |
JP5893129B2 (ja) * | 2011-04-18 | 2016-03-23 | ドルビー ラボラトリーズ ライセンシング コーポレイション | オーディオをアップミックスして3dオーディオを生成する方法とシステム |
AU2012279349B2 (en) * | 2011-07-01 | 2016-02-18 | Dolby Laboratories Licensing Corporation | System and tools for enhanced 3D audio authoring and rendering |
EP2637427A1 (en) | 2012-03-06 | 2013-09-11 | Thomson Licensing | Method and apparatus for playback of a higher-order ambisonics audio signal |
CN107493542B (zh) | 2012-08-31 | 2019-06-28 | 杜比实验室特许公司 | 用于在听音环境中播放音频内容的扬声器系统 |
EP2733964A1 (en) * | 2012-11-15 | 2014-05-21 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Segment-wise adjustment of spatial audio signal to different playback loudspeaker setup |
JP6226301B2 (ja) * | 2012-12-21 | 2017-11-08 | パナソニックIpマネジメント株式会社 | 指向性マイクロホン装置、音響信号処理方法およびプログラム |
US9838823B2 (en) | 2013-04-27 | 2017-12-05 | Intellectual Discovery Co., Ltd. | Audio signal processing method |
WO2015025186A1 (en) * | 2013-08-21 | 2015-02-26 | Thomson Licensing | Video display having audio controlled by viewing direction |
JP6299124B2 (ja) * | 2013-09-13 | 2018-03-28 | 株式会社リコー | 投影システム、画像処理装置、投影方法およびプログラム |
CN113055801B (zh) * | 2015-07-16 | 2023-04-07 | 索尼公司 | 信息处理装置、信息处理方法及计算机可读介质 |
-
2016
- 2016-07-01 CN CN202110310465.7A patent/CN113055801B/zh active Active
- 2016-07-01 JP JP2017528385A patent/JP6729585B2/ja active Active
- 2016-07-01 MY MYPI2018700101A patent/MY198158A/en unknown
- 2016-07-01 CN CN201680040576.8A patent/CN107852561B/zh active Active
- 2016-07-01 EP EP23152987.6A patent/EP4207756A1/en active Pending
- 2016-07-01 WO PCT/JP2016/069594 patent/WO2017010313A1/ja active Application Filing
- 2016-07-01 US US15/742,944 patent/US10356547B2/en active Active
- 2016-07-01 KR KR1020187027083A patent/KR102539973B1/ko active IP Right Grant
- 2016-07-01 KR KR1020237018363A patent/KR20230080512A/ko not_active Application Discontinuation
- 2016-07-01 EP EP20150228.3A patent/EP3668122B1/en active Active
- 2016-07-01 AU AU2016292271A patent/AU2016292271A1/en not_active Abandoned
- 2016-07-01 CN CN202110310766.XA patent/CN113055802B/zh active Active
- 2016-07-01 BR BR112018000489-8A patent/BR112018000489B1/pt active IP Right Grant
- 2016-07-01 SG SG11201710889UA patent/SG11201710889UA/en unknown
- 2016-07-01 RU RU2018100009A patent/RU2721750C2/ru active
- 2016-07-01 CN CN202110310767.4A patent/CN113055803B/zh active Active
- 2016-07-01 KR KR1020187000727A patent/KR101902158B1/ko active IP Right Grant
- 2016-07-01 EP EP16824293.1A patent/EP3324653B1/en active Active
- 2016-07-07 TW TW105121562A patent/TWI618395B/zh active
-
2019
- 2019-02-01 US US16/265,151 patent/US10645523B2/en active Active
- 2019-06-19 US US16/446,450 patent/US10623884B2/en active Active
- 2019-06-26 AU AU2019204504A patent/AU2019204504B2/en active Active
-
2020
- 2020-07-01 JP JP2020114350A patent/JP6904466B2/ja active Active
-
2021
- 2021-06-24 JP JP2021104858A patent/JP7136283B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002171460A (ja) * | 2000-11-30 | 2002-06-14 | Sony Corp | 再生装置 |
JP2017513390A (ja) * | 2014-03-26 | 2017-05-25 | フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン | スクリーン関連オーディオオブジェクトリマッピングのための装置および方法 |
Non-Patent Citations (1)
Title |
---|
SIMONE FUG ET AL.: "Design, Coding and Processing of Metadata for Object-Based Interactive Audio", AUDIO ENGINEERING SOCIETY, JPN6021019159, 12 October 2014 (2014-10-12), ISSN: 0004511649 * |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6904466B2 (ja) | 情報処理装置および方法、並びにプログラム | |
US20220247984A1 (en) | System and method for interactive projection | |
WO2018126922A1 (zh) | 全景视频渲染方法、装置及电子设备 | |
US10890966B2 (en) | Graphics processing systems | |
KR20200140252A (ko) | Mpeg-h 3d 오디오의 3 자유도(3dof+) 확장을 위한 방법, 장치 및 시스템 | |
US20200082798A1 (en) | Driving methods and driving devices for pixel units of irregular shaped display screens | |
US10721578B2 (en) | Spatial audio warp compensator | |
RU2803062C2 (ru) | Способы, аппараты и системы для расширения трех степеней свободы (3dof+) mpeg-h 3d audio | |
CN115426474A (zh) | 对象显示方法、装置、系统、设备、介质和产品 | |
KR20230004305A (ko) | 눈 추적 데이터 필터링 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200728 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200728 |
|
TRDD | Decision of grant or rejection written | ||
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210519 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210525 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210607 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6904466 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |