CN115188364A - 基于卷积网络和编码器解码器模型的多语种语音合成方法 - Google Patents
基于卷积网络和编码器解码器模型的多语种语音合成方法 Download PDFInfo
- Publication number
- CN115188364A CN115188364A CN202211106844.5A CN202211106844A CN115188364A CN 115188364 A CN115188364 A CN 115188364A CN 202211106844 A CN202211106844 A CN 202211106844A CN 115188364 A CN115188364 A CN 115188364A
- Authority
- CN
- China
- Prior art keywords
- character
- picture
- speech synthesis
- vocoder
- represented
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001308 synthesis method Methods 0.000 title abstract description 9
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 26
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 26
- 230000008451 emotion Effects 0.000 claims abstract description 12
- 230000033764 rhythmic process Effects 0.000 claims abstract description 8
- 238000000034 method Methods 0.000 claims description 22
- 238000001228 spectrum Methods 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 14
- 230000000007 visual effect Effects 0.000 claims description 10
- 238000002372 labelling Methods 0.000 claims description 3
- 239000003086 colorant Substances 0.000 claims description 2
- 238000004590 computer program Methods 0.000 claims description 2
- 230000002996 emotional effect Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 14
- 238000013507 mapping Methods 0.000 abstract description 3
- 238000010606 normalization Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
- G10L13/027—Concept to speech synthesisers; Generation of natural phrases from machine-based concepts
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
- G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
- G10L2013/083—Special characters, e.g. punctuation marks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Document Processing Apparatus (AREA)
Abstract
本发明公开了一种基于卷积网络和编码器解码器模型的多语种语音合成方法，将待合成的多语种文本信息不经过音素化而是直接按照一定的标准转换为图片，图片中每个字符的长度和宽度是预先定义好的，并且蕴含了重音、韵律、音色、情感等发音信息；然后对生成的图片进行特征提取，再将提取到的图片特征信息送入声学模型中，完成从图片特征到声学特征的映射，最后利用声码器进一步还原为语音波形，生成目标语音。本发明简化了多语种语音合成问题前端处理流程，避免了注音问题和归一化等问题；提升多语种语音合成模块的可扩展性，可以在模型结构不发生变化的情况下将模型功能进行拓展。
Description
技术领域
本发明属于计算机处理技术领域，具体涉及一种基于卷积网络和编码器解码器模型的多语种语音合成方法。
背景技术
出现多语种语言信息成为了社交媒体文本、交往对话和语音导航中普遍存在的现象，这在语言学中称为语码转换(CS)。而目前的语音合成系统，虽然能从单一语种文本中合成较为自然、流畅的语音，但在处理多语种文本时会面临数据缺乏、发音不流畅、前端处理复杂等挑战，这也促进了对多语种语音合成问题的研究。
目前针对多语种语音合成问题的一般解决方法是利用国际音标表（IPA）或共享音素集将多语种文本信息转换为具有统一标识的音素文本，然后将前端模块预测的韵律信息、重读信息等以特殊的符号标注在音素文本中，形成前端抄本。然后将前端抄本中的每个字符通过词嵌入表（word embedding）转换为对应的向量，形成文本特征。然后利用声学模型将文本特征转换为声学特征梅尔谱，再利用声码器进一步估计相位信息，将梅尔谱还原为语音波形。然后计算机就可以利用语音波形发出声音，完成多语种语音合成任务。
在上述方法基础上衍生了多种模型和特征提取结构，但仍普遍存在两大问题。一是前端处理流程比较复杂，多种语言首先需要利用各自的发音规则进行音素化，如中文需要进行注音，尤其是处理多音字，而英文需要利用发音词典进行转换，对未登录词（OOV）也需要单独处理；然后再通过国际音标表或预置的共享音素集进行统一，最后再添入重音、韵律等发音有关信息。二是模型功能不易扩展，在现有模型上进一步扩展多说话人语音合成、情感语音合成时必须添加相应的说话人音色或情感特征提取模块，或者增加输入信息和嵌入层才可以实现对应功能拓展。
发明内容
为了应对现有多语种语音合成方法中前端处理复杂和模型功能不易扩展的问题，本发明提供一种基于卷积网络和编码器解码器模型的多语种语音合成方法，该方法不仅能简化前端对多语种文本的处理流程，而且再不增加任何模块的基础上可以实现多说话人语音合成、情感语音合成等功能扩展。
本发明是通过以下技术方案实现的：
一种基于卷积网络和编码器解码器模型的多语种语音合成方法，包括以下步骤：
步骤S1，将多语种文本转换为具有设定格式的视觉文本图片；
步骤S2，基于卷积网络的视觉特征提取模型滑动提取图片特征；
步骤S3，基于编码器-解码器的声学特征提取模型将步骤S2提取到的图片特征转换为声学特征；
步骤S4，使用声码器将步骤S3得到的声学特征转换为对应的音频。
在上述技术方案中，步骤S1中，图片中每个字符长度w，高度为h，字符个数为n，生成图片的大小为wn×h。
在上述技术方案中，步骤S1中，在图片中，针对每个字符，通过标注以及设置字符的颜色、字体、加粗、加黑等手段，来表示字符的重音、韵律、音色、情感等语音信息。
在上述技术方案中，步骤S1中，在图片中，通过将字符标黑来表征该字符的重音信息，通过在字符的上方标注符号的方式来表征字符的不同等级的韵律，通过设置字符的字体来表征字符的不同音色，通过设置字符的颜色来表征字符的情感信息。
在上述技术方案中，步骤S2中，滑动窗口的窗长设置为2-5个字符长度。
在上述技术方案中，步骤S3中，所述声学特征为梅尔频谱。
在上述技术方案中，步骤S4中，采用HiFi-GAN的声码器将梅尔频谱转换为对应音频。
在上述技术方案中，步骤S4中，采用WaveNet的声码器将梅尔频谱转换为对应音频。
在上述技术方案中，步骤S4中，采用WaveGAN的声码器将梅尔频谱转换为对应音频。
本发明还提供一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被执行时实现上述的方法的步骤。
本发明的优点和有益效果为：
本发明将待合成的多语种文本信息不经过音素化而是直接按照一定的标准转换为图片，图片中每个字符的长度和宽度是预先定义好的，并且蕴含了重音、韵律、音色、情感等发音信息；然后对生成的图片进行特征提取，再将提取到的图片特征信息送入声学模型中，完成从图片特征到声学特征的映射，最后利用声码器进一步还原为语音波形，生成目标语音。本发明简化了多语种语音合成问题前端处理流程，避免了注音问题和归一化等问题；提升多语种语音合成模块的可扩展性，可以在模型结构不发生变化的情况下将模型功能进行拓展。
附图说明
图1是本发明的基于卷积网络和编码器解码器模型的多语种语音合成方法的步骤流程图。
对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，可以根据以上附图获得其他的相关附图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面结合具体实施例进一步说明本发明的技术方案。
一种基于卷积网络和编码器解码器模型的多语种语音合成方法，包括以下步骤：
步骤S1，将多语种文本转换为具有设定格式的视觉文本图片。
针对包含两种及以上语言的多语种文本，该步骤是将多语种文本转换为特定格式的图片，每个图片中每个字符长度w，高度为h，字符个数为n，则生成图片的大小为wn×h。在图片中，针对每个字符，可以通过标注以及设置字符的颜色、字体、加粗、加黑等手段，来表示字符的重音、韵律、音色、情感等信息。例如：可以通过将字符标黑来表征该字符的重音信息，通过在字符的上方标注“#1”、“#2”等符号的方式来表征字符的不同等级的韵律，通过设置字符的字体来表征字符的不同音色（比如行楷、宋体、幼圆、方正等字体可以代表不同的说话人音色），而情感信息可以通过设置字符的颜色来表示。在这个过程中不需要针对每种文本进行单独的音素化处理，也就避免了在音素化处理过程中出现的多音字消歧、未登录词无法注音等问题。同时，由于多种语言的文本都以统一标准转换为图片，不需要再利用国际音标表等方法进行转化，从而简化了前端处理流程。
步骤S2，基于卷积网络的视觉特征提取模型滑动提取图片特征。
通过步骤S1，将多语种文本生成了统一标准的视觉文本图片，本步骤采用卷积网络通过滑动窗口依次提取图片特征，滑动窗口的窗长设置为nw，w为字符长度，n的范围是2≤n≤5；滑动窗口不仅能提取图片中的单个字符信息，也能有效提取上下文信息，进而能提升语音合成效果。
卷积网络包括输入层（Input Layer）、卷积层（Convolutional layer）、池化层（Pooling layer）、全连接层（Fully-Connected Layer）以及输出层（Output Layer）等结构。卷积层用于是对输入层的数据进行特征提取，卷积层内部包括多个卷积核，卷积核是一个权值矩阵，通过卷积核与输入层局部域的卷积操作可以实现对该层的特征提取；在提取过程中可以使用多个卷积层，从前往后逐层获取更高级的特征。滑动窗口的窗长是指某一层中卷积核每次计算完成后向前平移的距离。在经过卷积层处理后，由于神经网络的特性，通常需要经过一个非线性激活函数（Activation Function）处理，最常用的激活函数是ReLU函数。池化层的功能是降低特征的分辨率、压缩数据量，接在卷积层之后，用于获取具有空间不变性的特征，同时也可以防止模型的过拟合。
在本步骤中没有使用字符嵌入表这种一般的结构，而是提取了字符的视觉特征，这在处理罕见字的发音上更有优势。比如“discombobulate”(意为混淆，沮丧)是个罕见词，无法利用字典将其音素化，但该词中的出现的“dis”，“com”，“late”等结构，可以被方便的视觉特征提取模型所捕捉，因此合成效果更好。
步骤S3，基于编码器-解码器的声学特征提取模型将步骤S2提取到的图片特征转换为声学特征。
通过步骤S2得到了多语种文本对应的图片特征，本步骤是利用基于编码器-解码器的声学特征提取模型将图片特征进一步转换，生成梅尔频谱。该模型首先将利用编码器将输入的图片特征进行编码，生成高层次的序列特征信息，然后解码器采用循环神经网络结构，将编码器的输出逐帧地预测声学特征（声学特征采用梅尔频谱）。具体的声学模型设计可以采用Tacotron、Tacotron2等方法。Tacotron和Tacotron2是带有注意力机制（Attention Mechanism）的序列到序列的生成模型，包括一个编码器模块和一个带有基于内容注意力的解码器模块。编码器负责将输入的特征序列映射到离散的One-Hot编码向量，再编码到低维连续的嵌入形式（Embedding），用于提取特征序列的鲁棒序列表示，以生成高层次的序列特征信息；解码器是一个自回归网络结构，解码器负责将编码器输出的序列特征信息逐帧地解码（预测）成声学特征（使用梅尔频谱作为预测输出）；其中基于内容的注意力模块用于学习如何对齐特征序列和语音帧，序列中的每个字符编码通常对应多个语音帧并且相邻的语音帧一般也具有相关性。
在这本步骤实现多语种语音合成的基础上，可以无需增加任何模块而直接扩展多说话人语音合成、情感语音合成等功能，这是因为语音的重音、韵律、音色、情感等信息都包含在了图片中，由视觉特征提取模型统一提取为图片特征，所以无需修改该模型结构。
步骤S4，使用声码器将步骤S3得到的声学特征转换为对应的音频。
通过步骤S3，生成了目标文本对应的声学特征梅尔频谱，梅尔频谱中包含了语音信号随时间在不同频率上的分布，但仍然缺乏相位信息。因此本步骤利用神经网络声码器预测相位，具体而言，采用WaveNet，WaveGAN，HiFi-GAN等高效声码器将梅尔频谱转换为对应音频，在保证合成音质的同时也具有较快的推理速度。
而且，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个与另一个具有相同名称的部件区分开来，而不一定要求或者暗示这些部件之间存在任何这种实际的关系或者顺序。
以上对本发明做了示例性的描述，应该说明的是，在不脱离本发明的核心的情况下，任何简单的变形、修改或者其他本领域技术人员能够不花费创造性劳动的等同替换均落入本发明的保护范围。
Claims (10)
1.一种基于卷积网络和编码器解码器模型的多语种语音合成方法，其特征在于，包括以下步骤：
步骤S1，将多语种文本转换为具有设定格式的视觉文本图片；
步骤S2，基于卷积网络的视觉特征提取模型滑动提取图片特征；
步骤S3，基于编码器-解码器的声学特征提取模型将步骤S2提取到的图片特征转换为声学特征；
步骤S4，使用声码器将步骤S3得到的声学特征转换为对应的音频。
2.根据权利要求1所述的基于卷积网络和编码器解码器模型的多语种语音合成方法，其特征在于：步骤S1中，图片中每个字符长度w，高度为h，字符个数为n，生成图片的大小为wn×h。
3.根据权利要求1所述的基于卷积网络和编码器解码器模型的多语种语音合成方法，其特征在于：步骤S1中，在图片中，针对每个字符，通过标注以及设置字符的颜色、字体、加粗、加黑的手段，来表示字符的重音、韵律、音色、情感语音信息。
4.根据权利要求1所述的基于卷积网络和编码器解码器模型的多语种语音合成方法，其特征在于：步骤S1中，在图片中，通过将字符标黑来表征该字符的重音信息，通过在字符的上方标注符号的方式来表征字符的不同等级的韵律，通过设置字符的字体来表征字符的不同音色，通过设置字符的颜色来表征字符的情感信息。
5.根据权利要求1所述的基于卷积网络和编码器解码器模型的多语种语音合成方法，其特征在于：步骤S2中，滑动窗口的窗长设置为2-5个字符长度。
6.根据权利要求1所述的基于卷积网络和编码器解码器模型的多语种语音合成方法，其特征在于：步骤S3中，所述声学特征为梅尔频谱。
7.根据权利要求1所述的基于卷积网络和编码器解码器模型的多语种语音合成方法，其特征在于：步骤S4中，采用HiFi-GAN的声码器将梅尔频谱转换为对应音频。
8.根据权利要求1所述的基于卷积网络和编码器解码器模型的多语种语音合成方法，其特征在于：步骤S4中，采用WaveNet的声码器将梅尔频谱转换为对应音频。
9.根据权利要求1所述的基于卷积网络和编码器解码器模型的多语种语音合成方法，其特征在于：步骤S4中，采用WaveGAN的声码器将梅尔频谱转换为对应音频。
10.一种计算机可读存储介质，其特征在于，存储有计算机程序，所述计算机程序被执行时实现如权利要求1至9中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211106844.5A CN115188364A (zh) | 2022-09-13 | 2022-09-13 | 基于卷积网络和编码器解码器模型的多语种语音合成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211106844.5A CN115188364A (zh) | 2022-09-13 | 2022-09-13 | 基于卷积网络和编码器解码器模型的多语种语音合成方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115188364A true CN115188364A (zh) | 2022-10-14 |
Family
ID=83524445
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211106844.5A Pending CN115188364A (zh) | 2022-09-13 | 2022-09-13 | 基于卷积网络和编码器解码器模型的多语种语音合成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115188364A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200092505A (ko) * | 2019-01-13 | 2020-08-04 | 네오데우스 주식회사 | 심층 합성곱 신경망 인공지능을 기반으로 한 미세조정을 통해 소량의 샘플로 화자 적합된 음성합성 모델을 생성하는 방법 |
| CN113707126A (zh) * | 2021-09-06 | 2021-11-26 | 大连理工大学 | 一种基于嵌入式系统的端到端语音合成网络 |
| WO2022179264A1 (zh) * | 2021-02-27 | 2022-09-01 | 腾讯音乐娱乐科技（深圳）有限公司 | 一种音频生成方法及设备 |
-
2022
- 2022-09-13 CN CN202211106844.5A patent/CN115188364A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200092505A (ko) * | 2019-01-13 | 2020-08-04 | 네오데우스 주식회사 | 심층 합성곱 신경망 인공지능을 기반으로 한 미세조정을 통해 소량의 샘플로 화자 적합된 음성합성 모델을 생성하는 방법 |
| WO2022179264A1 (zh) * | 2021-02-27 | 2022-09-01 | 腾讯音乐娱乐科技（深圳）有限公司 | 一种音频生成方法及设备 |
| CN113707126A (zh) * | 2021-09-06 | 2021-11-26 | 大连理工大学 | 一种基于嵌入式系统的端到端语音合成网络 |
Non-Patent Citations (1)
| Title |
|---|
| YOSHIFUMI NAKANO ET AL.: "《vTTS:visual-text to speech》", 《ARXIV:2203.14725V1》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108447486B (zh) | 一种语音翻译方法及装置 | |
| CN110534089B (zh) | 一种基于音素和韵律结构的中文语音合成方法 | |
| CN112863483B (zh) | 支持多说话人风格、语言切换且韵律可控的语音合成装置 | |
| CN112435650B (zh) | 一种多说话人、多语言的语音合成方法及系统 | |
| US10043519B2 (en) | Generation of text from an audio speech signal | |
| CN112420016B (zh) | 一种合成语音与文本对齐的方法、装置及计算机储存介质 | |
| US20050144003A1 (en) | Multi-lingual speech synthesis | |
| JP7228998B2 (ja) | 音声合成装置及びプログラム | |
| WO2005034082A1 (en) | Method for synthesizing speech | |
| CN110767213A (zh) | 一种韵律预测方法及装置 | |
| CN113327574B (zh) | 一种语音合成方法、装置、计算机设备和存储介质 | |
| CN112365878A (zh) | 语音合成方法、装置、设备及计算机可读存储介质 | |
| CN115547290A (zh) | 基于混合文本表示和说话人对抗的混读语音合成方法 | |
| CN113380222A (zh) | 语音合成方法、装置、电子设备及存储介质 | |
| CN115101046A (zh) | 一种特定说话人语音合成方法和装置 | |
| CN109754780B (zh) | 基本语音编码图形和音频交换方法 | |
| CN113870835A (zh) | 基于人工智能的语音合成方法、装置、设备及存储介质 | |
| CN108109610B (zh) | 一种模拟发声方法及模拟发声系统 | |
| CN112802447A (zh) | 一种语音合成播报方法及装置 | |
| CN110851564B (zh) | 一种语音数据处理方法和相关装置 | |
| CN113409761B (zh) | 语音合成方法、装置、电子设备以及计算机可读存储介质 | |
| CN115188364A (zh) | 基于卷积网络和编码器解码器模型的多语种语音合成方法 | |
| Liu et al. | A maximum entropy based hierarchical model for automatic prosodic boundary labeling in mandarin | |
| CN114708848A (zh) | 音视频文件大小的获取方法和装置 | |
| CN114267325A (zh) | 语音合成模型的训练方法、系统、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20221014 |
|
| RJ01 | Rejection of invention patent application after publication |