JP2022145465A - 情報処理装置、電子楽器、情報処理システム、情報処理方法、及びプログラム - Google Patents
情報処理装置、電子楽器、情報処理システム、情報処理方法、及びプログラム Download PDFInfo
- Publication number
- JP2022145465A JP2022145465A JP2021190167A JP2021190167A JP2022145465A JP 2022145465 A JP2022145465 A JP 2022145465A JP 2021190167 A JP2021190167 A JP 2021190167A JP 2021190167 A JP2021190167 A JP 2021190167A JP 2022145465 A JP2022145465 A JP 2022145465A
- Authority
- JP
- Japan
- Prior art keywords
- data
- range
- voice
- model
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 43
- 238000003672 processing method Methods 0.000 title abstract description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 26
- 238000000034 method Methods 0.000 claims description 22
- 230000004044 response Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 132
- 230000015572 biosynthetic process Effects 0.000 description 101
- 238000003786 synthesis reaction Methods 0.000 description 100
- 238000001228 spectrum Methods 0.000 description 98
- 230000001755 vocal effect Effects 0.000 description 42
- 238000004458 analytical method Methods 0.000 description 30
- 230000003595 spectral effect Effects 0.000 description 24
- 238000010586 diagram Methods 0.000 description 20
- 230000008569 process Effects 0.000 description 20
- 230000006870 function Effects 0.000 description 19
- 238000005457 optimization Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 13
- 238000010801 machine learning Methods 0.000 description 7
- 239000000470 constituent Substances 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 210000001260 vocal cord Anatomy 0.000 description 2
- 206010034719 Personality change Diseases 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
Images
Landscapes
- Electrophonic Musical Instruments (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
Abstract
Description
また、楽曲が例えば図1の高音側の音域2に属していれば、プロセッサは、その音域2に予め割り当てられている例えば人間の女性らしい歌声の第2音声モデル222に対応する第2歌声モデルからフォルマント周波数を推定して、それに対応する第2音域の歌声を音声出力する。
音声合成部500の基本的な動作の詳細は上記特許文献に開示されているが、第2の実施形態独自の動作を含む音声合成部500の動作について以下に説明する。
第1音域スペクトル情報510は、第1スペクトル情報、第1スペクトルデータ、第1音声データ或いは、第1データ、等と表現されてもよい。
一方、フォルマント補間処理部506は、音域情報509が示す音域が、現在の音域である第1音域の範囲には入っていないが、他の新たな音域の範囲に入っていれば、その新たな音域を第1音域に置き換えて、音響モデル部501に第1音域スペクトル情報510を要求する。
更に他方、フォルマント補間処理部506は、音域情報509が示す音域が、第1音域を含む何れの音域の範囲にも入っていないが、上記第1音域ともう1つの第2音域の間の音域の範囲に入っている場合には、音響モデル部501に第1音域スペクトル情報510と第2音域のスペクトル情報511(以下「第2音域スペクトル情報511」と記載)の両方を要求する。
第2音域スペクトル情報511は、第2スペクトル情報、第2スペクトルデータ、第2音声データ或いは、第2データ、等と表現されてもよい。
この結果、音響モデル部501は、例えば機械学習により学習結果として設定された音響モデルを用いて、生成確率を最大にするような音素に対応する第1音域スペクトル、又は第1音域スペクトル/第2音域スペクトルを推定し、夫々を第1音域スペクトル情報510、又は第1音域スペクトル情報510/第2音域スペクトル情報511として、フォルマント補間処理部506に与える。
また、音響モデル部501は、上記音響モデルを用いて、生成確率を最大にするような上記音素に対応する音源を推定し、それを目標音源情報512として、発声モデル部503内の音源生成部504に与える。
目標スペクトル情報513は、モーフィングデータ或いは、第3データ、等と表現されてもよい。
スペクトル情報のパラメータの他の例として、ケプストラムやメルケプストラムが採用されてもよい。
音源情報としては、人間の音声のピッチ周波数を示す基本周波数(F0)とそのパワー値(有声音音素の場合)、又はホワイトノイズのパワー値(無声音音素の場合)を採用できる。従って、音響モデル部501から出力される目標音源情報512は、上述のようなF0及びパワー値のパラメータとすることができる。
発声モデル部503は、音源生成部504と合成フィルタ部505とを含む。音源生成部504は、人間の声帯をモデル化した部分であり、音響モデル部501から入力する目標音源情報512の系列を順次入力することにより、例えば、目標音源情報512に含まれる基本周波数(F0)及びパワー値で周期的に繰り返されるパルス列(有声音音素の場合)、又は目標音源情報512に含まれるパワー値を有するホワイトノイズ(無声音音素の場合)、或いはそれらが混合された信号からなる音源入力データ514を生成する。
合成フィルタ部505は、人間の声道をモデル化した部分であり、音響モデル部501からフォルマント補間処理部506を介して順次入力する目標スペクトル情報513に含まれるLSP周波数パラメータに基づいて声道をモデル化するLSPデジタルフィルタを形成する。音源生成部504から入力する音源入力データ514を励振源信号として上記デジタルフィルタが励振されることにより、合成フィルタ部505からデジタル信号のフィルタ出力データ515が出力される。このフィルタ出力データ515は、図4のD/Aコンバータ412によりアナログ歌声音声出力信号に変換された後、ミキサ413で音源LSI404からD/Aコンバータ411を介して出力されるアナログ楽音出力信号と混合され、その混合信号がアンプ414で増幅された後に、特には図示しないスピーカ又は出力端子から出力される。
例えば、図5に例示されるように、歌声データ415は、第n(n=1、2、3、4、・・・)音符に対応する第n歌詞の歌声データと、第n音符が再生されるべき規定のタイミング(第n歌声再生位置)と、の情報を含んでもよい。
そこで、第2の実施形態では、61鍵の鍵盤301のうち、低音側の2オクターブ分の鍵域1には、ピッチ音が低い例えば男性の歌声を機械学習により学習させた結果としての音響モデルを割り当て、高音側の2オクターブ分の鍵域2には、ピッチ音が高い例えば女性の歌声を機械学習により学習させた結果としての音響モデルを割り当てる。
更に、第1の実施形態では、61鍵の鍵盤301のうち、中央の2オクターブ分の鍵域3には、鍵域1の第1音域歌声と鍵域2の第2音域歌声からモーフィングされる男女中間の歌声を割り当てる。
また、楽曲が全体として例えば図1の高い音側の鍵域2に属していれば、音響モデル部501は、その鍵域2に予め割り当てられている例えば女性らしい歌声の音響モデルからスペクトルを推定して、それに対応する第1音域スペクトル情報510を出力する。そして、フォルマント補間処理部506は、音響モデル部501から出力される第1音域スペクトル情報510をそのまま、目標スペクトル情報513として、発声モデル部503内の合成フィルタ部505に与える。
目標スペクトル情報513は、モーフィングデータ(第3音声データ)、第3スペクトル情報等と表現してもよい。
楽曲が全体として例えば図1の低音側の鍵域1に属していれば、音響モデル部501は、その鍵域1に予め割り当てられている例えば男性らしい歌声の音響モデルからスペクトルを推定して、そのスペクトルに対応するLSPパラメータL1[i](1≦i≦N)を第1音域スペクトル情報510として出力する。そして、フォルマント補間処理部506は、音響モデル部501から出力される第1音域スペクトル情報510の上記LSPパラメータをそのまま、目標スペクトル情報513のLSPパラメータとして、発声モデル部503内の合成フィルタ部505に与える。
楽曲が全体として例えば図1の低音側の鍵域2に属していれば、音響モデル部501は、その鍵域2に予め割り当てられている例えば女性らしい歌声の音響モデルからスペクトルを推定して、そのスペクトルに対応するLSPパラメータL2[i](1≦i≦N)を第1音域スペクトル情報510として出力する。そして、フォルマント補間処理部506は、音響モデル部501から出力される第1音域スペクトル情報510の上記LSPパラメータをそのまま、目標スペクトル情報513のLSPパラメータとして、発声モデル部503内の合成フィルタ部505に与える。
[粕谷 他,“年齢,性別による日本語5母音のピッチ周波数とホルマント周波数の変化,”,音響学会誌24,6(1968)]
なお、説明をわかりやすくするために、同じ有声音韻に対する図6(a)の声道スペクトル特性601と図6(b)の声道スペクトル特性602は、フォルマント周波数の違いを少し誇張して描いてある。
そして、フォルマント補間処理部506は、上記第1音域スペクトル情報510のLSPパラメータL1[i]と、上記第2音域スペクトル情報511のLSPパラメータL2[i]との間で、下記(1)式で示される補間処理の演算を実行することにより、補間スペクトル情報である鍵域3のLSPパラメータL3[i]を算出する。ただし、NはLSP分析次数である。
L3[i]=(L1[i]+L2[i])/2 (1≦i≦N) ・・・(1)
図5のフォルマント補間処理部506は、上記(1)式の演算により算出したLSPパラメータL3[i](1≦i≦N)を、図5の目標スペクトル情報513として発声モデル部503内の合成フィルタ部505に与える。
この結果、音源LSI404は、上記発音制御データ416に対応する楽音出力データ418を生成する。この楽音出力データ418は、D/Aコンバータ411によりアナログ楽音出力信号に変換される。このアナログ楽音出力信号は、ミキサ413で、音声合成LSI405からD/Aコンバータ412を介して出力されたアナログ歌声音声出力信号と混合され、その混合信号がアンプ414で増幅された後に、特には図示しないスピーカ又は出力端子から出力される。
なお、ステップS706の処理は、無くてもよい。この場合には、演奏者による押鍵操作に応じた楽音の発声は無く、押鍵操作は歌声合成の進行のためだけに使用される。
音声合成LSI405の上記プロセッサは、例えば上記音声合成処理プログラムを実行することにより、図5に示される各部の機能を実現する。以下の各処理の説明は、実際には上記プロセッサが実行するが、説明をわかりやすくするため図5の各部が実行する処理として説明する。
一方、歌声合成の開始前に実行されたステップS803の歌声最適化処理によって、フォルマント補間処理部506から音響モデル部501には、第1音域スペクトル情報510の取得要求又は第1音域スペクトル情報510と第2音域スペクトル情報511の取得要求が出されている。
上述の各情報に基づいて、フォルマント補間処理部506は、音響モデル部501から、後述するステップS803の歌声最適化処理内の図9のステップS903又はS908で音響モデル部501に対して要求した第1音域スペクトル情報510の各LSPパラメータを取得して、RAM403に記憶する(ステップS804)。
なお、第1音域変数には、例えば図1の鍵域1が初期設定されている(図7のステップS701参照)。
なお、学習済みモデル部を含む音響モデル部501はタブレット端末等1301やサーバ装置等の情報処理装置側に内蔵され、フォルマント補間処理部506等の第3音声データを生成する生成部は電子鍵盤楽器1302側に内蔵されていてもよい。この場合、情報処理装置から電子鍵盤楽器1302側には第1音域スペクトル情報510と、第2音域スペクトル情報511が送信される。
(付記1)
指定された音高を検出し、
第1音声モデルが出力する第1データ及び、前記第1音声モデルとは異なる第2音声モデルが出力する第2データに基づいて、前記指定された音高に応じた第3データを生成する、
情報処理装置。
(付記2)
前記第1音声モデルは、第1歌手の歌声を学習した学習済みモデルを含み、
前記第2音声モデルは、前記第1歌手とは異なる第2歌手の歌声を学習した学習済みモデルを含む、
付記1に記載の情報処理装置。
(付記3)
前記第3データを、前記第1データに応じたフォルマント周波数と前記第2データに応じたフォルマント周波数の間の補間演算に基づいて生成する、
付記1又は2に記載の情報処理装置。
(付記4)
前記第3データは、指定された曲の音域に対応する音声モデルで無い場合に、生成される、
付記1乃至3の何れかに記載の情報処理装置。
(付記5)
前記第1音声モデルは第1音域に対応し、
前記第2音声モデルは前記第1音域とは異なる第2音域に対応し、
前記第1音域と前記第2音域の間に重ならない音域を有し、
前記指定された音高は、前記重ならない音域に含まれる、
付記1乃至4の何れかに記載の情報処理装置。
(付記6)
付記1乃至5の何れかに記載の情報処理装置と、
音高を指定するための演奏操作子と、
を備える電子楽器。
(付記7)
音高を指定するための演奏操作子と、
前記指定された音高に応じた音高データを情報処理装置に出力し、
出力に応じて前記情報処理装置から、第1歌手の歌声を学習した第1音声モデル及び第2歌手の歌声を学習した第2音声モデルに応じたデータを取得し、
取得した前記データに基づいて、音声を合成する、
電子楽器。
(付記8)
前記データは、前記第1音声モデルが出力した第1データと、前記第2音声モデルが出力した第2データと、に基づいて前記情報処理装置が生成した第3データを含み、
前記第3データに基づいて、前記音声を合成する、
付記7に記載の電子楽器。
(付記9)
前記データは、前記第1音声モデルが出力する第1データと、前記第2音声モデルが出力する第2データと、を含み、
前記第1データ及び前記第2データに基づいて、第3データを生成し、
生成された前記第3データに基づいて、前記音声を合成する、
付記7に記載の電子楽器。
(付記10)
付記7乃至9の何れかに記載の電子楽器と、
前記電子楽器が送信した前記音高データの取得に応じて、前記第1音声モデル及び前記第2音声モデルに応じたデータを前記電子楽器に向けて送信する情報処理装置と、
を備える情報処理システム。
(付記11)
情報処理装置が、
第1音声モデルの第1データ及び、第2音声モデルの第2データに基づいて、指定された音高に応じた第3データを生成する、
方法。
(付記12)
情報処理装置に、
第1音声モデルの第1データ及び、第2音声モデルの第2データに基づいて、指定された音高に応じた第3データを生成する、
機能を実現させるプログラム。
301 鍵盤
302 第1のスイッチパネル
303 第2のスイッチパネル
304 LED
400 制御システム
401、1101、1401 CPU
402、1102、1402 ROM
403、1103、1403 RAM
404 音源LSI
405、1106 音声合成LSI
406 キースキャナ
407 LEDコントローラ
408 ネットワークインタフェース
409 システムバス
410 タイマ
411、412、1107 D/Aコンバータ
413 ミキサ
414、1108 アンプ
415 歌声データ
416 発音制御データ
417 歌声音声出力データ
418 楽音出力データ
500 音声合成部
501 音響モデル部
502 テキスト解析部
503 発声モデル部
504 音源生成部
505 合成フィルタ部
506 フォルマント補間処理部
507 言語特徴量系列
508 音高情報
509 音域情報
510 第1音域スペクトル情報
511 第2音域スペクトル情報
512 目標音源情報
513 目標スペクトル情報
514 音源信号
515 フィルタ出力データ
1001、1301 タブレット端末等
1002、1302 電子鍵盤楽器
1104、1404 タッチパネルディスプレイ
1105 BLE-MIDI通信インタフェース
1405 USB通信インタフェース
Claims (12)
- 指定された音高を検出し、
第1音声モデルが出力する第1データ及び、前記第1音声モデルとは異なる第2音声モデルが出力する第2データに基づいて、前記指定された音高に応じた第3データを生成する、
情報処理装置。 - 前記第1音声モデルは、第1歌手の歌声を学習した学習済みモデルを含み、
前記第2音声モデルは、前記第1歌手とは異なる第2歌手の歌声を学習した学習済みモデルを含む、
請求項1に記載の情報処理装置。 - 前記第3データを、前記第1データに応じたフォルマント周波数と前記第2データに応じたフォルマント周波数の間の補間演算に基づいて生成する、
請求項1又は2に記載の情報処理装置。 - 前記第3データは、指定された曲の音域に対応する音声モデルで無い場合に、生成される、
請求項1乃至3の何れかに記載の情報処理装置。 - 前記第1音声モデルは第1音域に対応し、
前記第2音声モデルは前記第1音域とは異なる第2音域に対応し、
前記第1音域と前記第2音域の間に重ならない音域を有し、
前記指定された音高は、前記重ならない音域に含まれる、
請求項1乃至4の何れかに記載の情報処理装置。 - 請求項1乃至5の何れかに記載の情報処理装置と、
音高を指定するための演奏操作子と、
を備える電子楽器。 - 音高を指定するための演奏操作子と、
前記指定された音高に応じた音高データを情報処理装置に出力し、
出力に応じて前記情報処理装置から、第1歌手の歌声を学習した第1音声モデル及び第2歌手の歌声を学習した第2音声モデルに応じたデータを取得し、
取得した前記データに基づいて、音声を合成する、
電子楽器。 - 前記データは、前記第1音声モデルが出力した第1データと、前記第2音声モデルが出力した第2データと、に基づいて前記情報処理装置が生成した第3データを含み、
前記第3データに基づいて、前記音声を合成する、
請求項7に記載の電子楽器。 - 前記データは、前記第1音声モデルが出力する第1データと、前記第2音声モデルが出力する第2データと、を含み、
前記第1データ及び前記第2データに基づいて、第3データを生成し、
生成された前記第3データに基づいて、前記音声を合成する、
請求項7に記載の電子楽器。 - 請求項7乃至9の何れかに記載の電子楽器と、
前記電子楽器が送信した前記音高データの取得に応じて、前記第1音声モデル及び前記第2音声モデルに応じたデータを前記電子楽器に向けて送信する情報処理装置と、
を備える情報処理システム。 - 情報処理装置が、
第1音声モデルの第1データ及び、第2音声モデルの第2データに基づいて、指定された音高に応じた第3データを生成する、
方法。 - 情報処理装置に、
第1音声モデルの第1データ及び、第2音声モデルの第2データに基づいて、指定された音高に応じた第3データを生成する、
機能を実現させるプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/694,412 US20220301530A1 (en) | 2021-03-18 | 2022-03-14 | Information processing device, electronic musical instrument, and information processing method |
CN202210270338.3A CN115116414A (zh) | 2021-03-18 | 2022-03-18 | 信息处理装置、电子乐器、信息处理系统、信息处理方法及存储介质 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021045284 | 2021-03-18 | ||
JP2021045284 | 2021-03-18 | ||
JP2021117857 | 2021-07-16 | ||
JP2021117857 | 2021-07-16 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022145465A true JP2022145465A (ja) | 2022-10-04 |
JP7468495B2 JP7468495B2 (ja) | 2024-04-16 |
Family
ID=83460411
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021190167A Active JP7468495B2 (ja) | 2021-03-18 | 2021-11-24 | 情報処理装置、電子楽器、情報処理システム、情報処理方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7468495B2 (ja) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1049192A (ja) * | 1996-07-30 | 1998-02-20 | Yamaha Corp | 歌唱音合成装置 |
JPH10240264A (ja) * | 1997-02-27 | 1998-09-11 | Yamaha Corp | 楽音合成装置および方法 |
JP2016118721A (ja) * | 2014-12-22 | 2016-06-30 | カシオ計算機株式会社 | 歌唱生成装置、電子楽器、方法、およびプログラム |
JP2019101093A (ja) * | 2017-11-29 | 2019-06-24 | ヤマハ株式会社 | 音声合成方法およびプログラム |
JP2020076843A (ja) * | 2018-11-06 | 2020-05-21 | ヤマハ株式会社 | 情報処理方法および情報処理装置 |
WO2020171033A1 (ja) * | 2019-02-20 | 2020-08-27 | ヤマハ株式会社 | 音信号合成方法、生成モデルの訓練方法、音信号合成システムおよびプログラム |
-
2021
- 2021-11-24 JP JP2021190167A patent/JP7468495B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1049192A (ja) * | 1996-07-30 | 1998-02-20 | Yamaha Corp | 歌唱音合成装置 |
JPH10240264A (ja) * | 1997-02-27 | 1998-09-11 | Yamaha Corp | 楽音合成装置および方法 |
JP2016118721A (ja) * | 2014-12-22 | 2016-06-30 | カシオ計算機株式会社 | 歌唱生成装置、電子楽器、方法、およびプログラム |
JP2019101093A (ja) * | 2017-11-29 | 2019-06-24 | ヤマハ株式会社 | 音声合成方法およびプログラム |
JP2020076843A (ja) * | 2018-11-06 | 2020-05-21 | ヤマハ株式会社 | 情報処理方法および情報処理装置 |
WO2020171033A1 (ja) * | 2019-02-20 | 2020-08-27 | ヤマハ株式会社 | 音信号合成方法、生成モデルの訓練方法、音信号合成システムおよびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP7468495B2 (ja) | 2024-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110634460B (zh) | 电子乐器、电子乐器的控制方法以及存储介质 | |
CN110634464B (zh) | 电子乐器、电子乐器的控制方法以及存储介质 | |
CN110634461B (zh) | 电子乐器、电子乐器的控制方法以及存储介质 | |
US11996082B2 (en) | Electronic musical instruments, method and storage media | |
JP7484952B2 (ja) | 電子機器、電子楽器、方法及びプログラム | |
JP7476934B2 (ja) | 電子楽器、電子楽器の制御方法、及びプログラム | |
US11417312B2 (en) | Keyboard instrument and method performed by computer of keyboard instrument | |
US20220076658A1 (en) | Electronic musical instrument, method, and storage medium | |
US20220076651A1 (en) | Electronic musical instrument, method, and storage medium | |
JP7180587B2 (ja) | 電子楽器、方法及びプログラム | |
JP2020024456A (ja) | 電子楽器、電子楽器の制御方法、及びプログラム | |
US20220301530A1 (en) | Information processing device, electronic musical instrument, and information processing method | |
JP2023100776A (ja) | 電子楽器、電子楽器の制御方法、及びプログラム | |
JP7468495B2 (ja) | 情報処理装置、電子楽器、情報処理システム、情報処理方法、及びプログラム | |
JP2019219661A (ja) | 電子楽器、電子楽器の制御方法、及びプログラム | |
JP7528488B2 (ja) | 電子楽器、方法及びプログラム | |
CN116324971A (zh) | 语音合成方法及程序 | |
WO2019003348A1 (ja) | 歌唱音効果生成装置及び方法、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220715 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230526 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230606 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230804 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20231010 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231031 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231213 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240305 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240318 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7468495 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |