CN110136715A - 语音识别方法和装置 - Google Patents

语音识别方法和装置 Download PDF

Info

Publication number
CN110136715A
CN110136715A CN201910405521.8A CN201910405521A CN110136715A CN 110136715 A CN110136715 A CN 110136715A CN 201910405521 A CN201910405521 A CN 201910405521A CN 110136715 A CN110136715 A CN 110136715A
Authority
CN
China
Prior art keywords
frame
voice signal
speech
acoustic score
mute
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910405521.8A
Other languages
English (en)
Other versions
CN110136715B (zh
Inventor
邵俊尧
钱胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201910405521.8A priority Critical patent/CN110136715B/zh
Publication of CN110136715A publication Critical patent/CN110136715A/zh
Priority to US16/702,326 priority patent/US11393458B2/en
Priority to JP2019218463A priority patent/JP6974421B2/ja
Application granted granted Critical
Publication of CN110136715B publication Critical patent/CN110136715B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/04Segmentation; Word boundary detection
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/02Feature extraction for speech recognition; Selection of recognition unit
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/06Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/06Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063Training
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • G10L15/30Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78Detection of presence or absence of voice signals
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78Detection of presence or absence of voice signals
    • G10L25/84Detection of presence or absence of voice signals for discriminating voice from noise
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本申请实施例公开了语音识别方法和装置。该方法的一具体实施方式包括:基于语音信号中的语音帧的声学得分,确定出语音信号中的非静音帧;基于语音帧的声学得分在相邻的非静音帧之间确定出缓冲帧,缓冲帧对应的建模单元表征语句的开头或结束;基于从语音信号中去除缓冲帧后的语音帧进行解码,得到语音识别结果。该实施方式能够有效减少需要解码的语音帧的数量,降低解码器的运算压力,提升解码速度,从而提升语音识别速度。

Description

语音识别方法和装置
技术领域
本申请实施例涉及计算机技术领域,具体涉及语音识别方法和装置。
背景技术
语音识别是指将人工智能技术的一个重要研究方向。语音识别算法的流程中,首先提取声学特征进行声学得分的计算,然后解码器根据声学得分在时间维度对每一个语音帧进行解码,根据解码路径加入相应的语言模型得分,完成最后一帧解码后选出最优的解码路径作为识别结果。
解码器的解码速度对于语音识别系统的速度具有很大的影响。优化解码器的解码速度不仅可以改善用户体验,还可以降低系统的运算压力。
发明内容
本申请实施例提出了语音识别方法和装置。
第一方面,本公开的实施例提供了一种语音识别方法,包括:基于语音信号中的语音帧的声学得分,确定出语音信号中的非静音帧;基于语音帧的声学得分在相邻的非静音帧之间确定出缓冲帧,缓冲帧对应的建模单元表征语句的开头或结束;基于从语音信号中去除缓冲帧后的语音帧进行解码,得到语音识别结果。
在一些实施例中,上述声学得分包括第一声学得分和至少一个第二声学得分,第一声学得分表征语音帧与空白建模单元对应的概率,第二声学得分表征语音帧与预设的非空白建模单元对应的概率;上述基于语音信号中的语音帧的声学得分,确定出语音信号中的非静音帧,包括:基于语音信号中的语音帧的第一声学得分和第二声学得分之间的差异,确定出语音信号中的非静音帧。
在一些实施例中,上述基于语音信号中的语音帧的第一声学得分和第二声学得分之间的差异,确定出语音信号中的非静音帧,包括:响应于确定语音帧的第一声学得分和各第二声学得分中的最大值之间的差值不大于第一预设阈值,确定语音帧为非静音帧。
在一些实施例中,上述基于语音信号中的语音帧的第一声学得分和第二声学得分之间的差异,确定出语音信号中的非静音帧,包括:响应于确定语音帧的第一声学得分和各第二声学得分中的最大值之间的差值不小于第二预设阈值,将语音帧标记为静音帧;将语音信号中未被标记为静音帧的语音帧确定为非静音帧。
在一些实施例中,上述方法还包括:基于语音信号中的语音帧的声学得分,确定出语音信号中的静音帧;以及上述基于从语音信号中去除缓冲帧后的语音帧进行解码,包括:基于从语音信号中去除缓冲帧和静音帧后的语音帧进行解码。
第二方面,本公开的实施例提供了一种语音识别装置,包括:第一确定单元,被配置为基于语音信号中的语音帧的声学得分,确定出语音信号中的非静音帧;第二确定单元,被配置为基于语音帧的声学得分在相邻的非静音帧之间确定出缓冲帧,缓冲帧对应的建模单元表征语句的开头或结束;解码单元,被配置为基于从语音信号中去除缓冲帧后的语音帧进行解码,得到语音识别结果。
在一些实施例中,上述声学得分包括第一声学得分和至少一个第二声学得分,第一声学得分表征语音帧与空白建模单元对应的概率,第二声学得分表征语音帧与预设的非空白建模单元对应的概率;上述第一确定单元进一步被配置为:基于语音信号中的语音帧的第一声学得分和第二声学得分之间的差异,确定出语音信号中的非静音帧。
在一些实施例中,上述第一确定单元进一步被配置为按照如下方式确定出语音信号中的非静音帧:响应于确定语音帧的第一声学得分和各第二声学得分中的最大值之间的差值不大于第一预设阈值,确定语音帧为非静音帧。
在一些实施例中,上述第一确定单元进一步被配置为按照如下方式确定出语音信号中的非静音帧:响应于确定语音帧的第一声学得分和各第二声学得分中的最大值之间的差值不小于第二预设阈值,将语音帧标记为静音帧;将语音信号中未被标记为静音帧的语音帧确定为非静音帧。
在一些实施例中,上述装置还包括:第三确定单元,被配置为基于语音信号中的语音帧的声学得分,确定出语音信号中的静音帧;以及上述解码单元进一步被配置为:基于从语音信号中去除缓冲帧和静音帧后的语音帧进行解码。
第三方面,本公开的实施例提供了一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如第一方面提供的语音识别方法。
第四方面,本公开的实施例提供了一种计算机可读介质,其上存储有计算机程序,其中,程序被处理器执行时实现第一方面提供的语音识别方法。
本申请上述实施例的语音识别方法和装置,通过基于语音信号中的语音帧的声学得分,确定出语音信号中的非静音帧,基于语音帧的声学得分在相邻的非静音帧之间确定出缓冲帧,缓冲帧对应的建模单元表征语句的开头或结束,基于从语音信号中去除缓冲帧后的语音帧进行解码,得到语音识别结果,能够有效减少需要解码的语音帧的数量,降低解码器的运算压力,提升解码速度,从而提升语音识别速度。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1是本公开的实施例可以应用于其中的示例性系统架构图;
图2是根据本公开的语音识别方法的一个实施例的流程图;
图3是根据本公开的语音识别方法的另一个实施例的流程图;
图4是根据本公开的语音识别装置的一个实施例的结构示意图;
图5是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的语音识别方法或语音识别装置的示例性系统架构100。
如图1所示,系统架构100可以包括终端设备101、102、103,网络104、以及服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
终端设备101、102、103可以通过网络104与服务器105交互,以接收或发送文字或音频消息等。终端设备101、102、103上可以安装有各种信息交互应用,例如语音助手应用、信息搜索应用、地图应用、社交平台应用、音视频播放应用等。
终端设备101、102、103可以是具有音频信号采集功能的设备,可以是具有麦克风并支持互联网访问的各种电子设备,包括但不限于智能音箱、智能手机、平板电脑、智能手表、笔记本电脑、膝上便携型电脑、电子书阅读器等。
服务器105可以是提供音频信号处理服务的服务器,例如语音识别服务器。服务器105可以对终端设备101、102、103发送的语音信号进行解析,通过语音识别算法将语音信号转换为对应的文本。服务器105可以将语音信号的识别结果通过网络104反馈给终端设备101、102、103。
需要说明的是,本申请实施例所提供的语音识别方法可以由服务器105执行,相应地,语音识别装置可以设置于服务器105中。
需要说明的是,服务器可以是硬件,也可以是软件。当服务器为硬件时,可以实现成多个服务器组成的分布式服务器集群,也可以实现成单个服务器。当服务器为软件时,可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件模块),也可以实现成单个软件或软件模块。在此不做具体限定。
当终端设备包含用于执行物理运算的部件(例如GPU等处理器)时,本申请实施例所提供的语音识别方法也可以由终端设备101、102、103执行,相应地,语音识别装置可以设置于终端设备101、102、103中。
应该理解,图1中的终端设备、网络、服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络、服务器。
继续参考图2,其示出了根据本申请的语音识别方法的一个实施例的流程200。该语音识别方法,包括以下步骤:
步骤201,基于语音信号中的语音帧的声学得分,确定出语音信号中的非静音帧。
在本实施例中,语音识别方法的执行主体可以获取语音信号,该语音信号时待识别的语音信号,是利用声音采集部件对说话人发出的声音进行信号采集生成的信号。可以对语音信号进行声学特征提取。其中,声学特征可以是表征语音信号的时序特性或频率特性的特征。具体地,可以将时域的语音信号转换为频域信号,提取其中的频谱特征,例如可以提取基频特征、梅尔频率特征等。
语音信号是时间连续的信号,可以按照一定的时间周期将语音信号切分为多个语音帧,也即语音信号可以是由固定时间长度的语音帧在时间维度连接起来形成的。在本实施例中,声学特征提取可以是提取表征这些语音帧的强度或频率特性的特征。
在提取出声学特征之后,可以利用声学模型进行声学打分。声学模型可以基于GMM(Gaussian Mixed Model,高斯混合模型)或隐马尔可夫模型对声学特征的分布建模,用于将声学特征映射至对应的声学建模单元并计算对应于各声学建模单元的得分。可以将声学特征输入声学模型,得到对应于不同的声学建模单元的声学得分。在这里,声学建模单元可以包括非空白建模单元和空白建模单元,其中非空白建模单元可以对应于发音的最小单元,例如对应于一个音素,作为示例,汉语中的一个声母或一个韵母为一个音素,每个非空白建模单元对应于一个声母或一个韵母;空白建模单元表示静音或非语音。
在本实施例中,可以根据各语音帧的声学得分来确定非静音帧。非静音帧是包含说话人发音产生的声音信息的语音帧,对应于非空白建模单元。具体地,可以基于语音帧对应于不同声学建模单元的声学得分,采用多种方式来确定语音帧是否为非静音帧。在一些可选的实现方式中,如果一个语音帧对应于任意一个非空白建模单元的声学得分高于预先设定的阈值,则可以确定该语音帧为非静音帧;或者,如果一个语音帧对应于至少两个非空白建模单元的声学得分大于0,则可以确定该语音帧为非静音帧。
在本实施例的一些可选的实现方式中,语音帧的声学得分可以包括第一声学得分和至少一个第二声学得分。第一声学得分表征语音帧与空白建模单元对应的概率,第二声学得分表征语音帧与预设的非空白建模单元对应的概率。在这里,同一个语音帧的不同第二声学得分表征语音帧与不同的非空白建模单元对应的概率。这时,可以基于语音信号中的语音帧的第一声学得分和第二声学得分之间的差异,确定出语音信号中的非静音帧。
在实践中,如果第一声学得分与第二声学得分之间的差异较大,表征语音帧对应于空白建模单元的概率与对应于非空白建模单元的概率相差较大,则将语音帧确定为非静音帧或静音帧所产生的误差较小;如果第一声学得分与第二声学得分之间的差异较小,表征语音帧对应于空白建模单元的概率与对应于非空白建模单元的概率相差较小,则将语音帧确定为非静音帧或静音帧所产生的误差较大。
具体地,在一些可选的实现方式中,可以响应于确定语音帧的第一声学得分和各第二声学得分中的最大值之间的差值不大于第一预设阈值,确定语音帧为非静音帧。也就是说,在语音帧的第一声学得分与各第二声学得分之间的差值都小于第一预设阈值时,该语音帧为静音帧的概率与该语音帧为非静音帧的概率之差较小,可以确定该语音帧为非静音帧。
在另一些可选的实现方式中,可以响应于确定语音帧的第一声学得分和各第二声学得分中的最大值之间的差值不小于第二预设阈值,将语音帧标记为静音帧,将语音信号中未被标记为静音帧的语音帧确定为非静音帧。在这种实现方式中,可以首先确定出第一声学得分与各第二声学得分的差值都不小于第二预设阈值的语音帧为静音帧,然后将除静音帧之外的其他语音帧确定为非静音帧。
上述第一预设阈值和第二预设阈值可以是根据统计结果或经验设定的值,第一预设阈值和第二预设阈值可以相等。
作为示例,表一示出了“今天天气”的一段语音信号中的每个语音帧(编号分别为1至14)的第一声学得分和各第二声学得分的最大值之间的差值。其中第一行为语音帧的编号,第二行表示语音帧的声学得分最高的建模单元(这里以汉字为建模单元为例),第三行表示语音帧对应的第一声学得分与各第二声学得分的最大值之间的差值gap。
表一语音帧的声学得分
编号 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14
建模单元 <s> B B B B B B B B B </s>
gap -1 5 6 -5 3 -4 5 8 -1 -5 2 4 5 7 -2
其中,“<s>”、“</s>”表示与句首和句末对应的建模单元,“B”表示空白建模单元。假设上述第一预设阈值和第二预设阈值为4,gap≤4的语音帧——第0,3,4,5,8,9,10,11,14帧被确定为非静音帧,gap>4的语音帧——第1,2,6,7,12,13帧被确定为静音帧。
步骤202,基于语音帧的声学得分在相邻的非静音帧之间确定出缓冲帧。
其中,缓冲帧对应的建模单元表征语句的开头或结束。上述表一的示例中,第1帧和第14帧分别为“<s>”、“</s>”,分别表示语句的开头和结束。为了保证语音信号中任意位置都能进行“<s>”、“</s>”的跳转,每个非静音帧的后面会预留两个缓冲帧。
在本实施例中,可以根据步骤201确定出的非静音帧,确定出非静音帧之后预留的两个语音帧为上述缓冲帧。如果以汉字为建模单元,每个汉字对应一个语音帧,则可以确定出每个非静音帧的后面两帧为缓冲帧。如果以声母、韵母等音素为建模单元,每个因素对应一个语音帧,可以将至少一个因素对应的非静音帧合并形成的非静音帧序列的后面两帧作为缓冲帧,例如将“n”、“i”对应的非静音帧合并形成的非静音帧序列“ni”的后面两帧确定为缓冲帧。
步骤203,基于从语音信号中去除缓冲帧后的语音帧进行解码,得到语音识别结果。
可以基于各语音帧的声学得分,利用解码器对语音信号进行解码。在解码时,可以跳过上述缓冲帧。具体可以将上述缓冲帧的声学得分置为0,在基于发音字典、声学模型和语言模型构建的网络中查找解码路径,得到概率最大的路径作为语音识别的结果。或者,可以从语音信号中删除上述缓冲帧,对其余语音帧形成的序列进行逐帧解码。
可选地,可以对上述缓冲帧进行标记,在逐帧解码时如果检测到当前帧被标记为缓冲帧,则可以跳过当前帧,接着对下一帧进行解码。
由于在解码时跳过了上述缓冲帧,减少了需要解码的语音帧数量,因此本公开的上述实施例的语音识别方法可以降低解码器的运算压力,提升解码速度,从而提上语音识别效率。
继续参考图3,其示出了根据本公开的语音识别方法的另一个实施例的流程图。如图3所示,语音识别方法的流程300,包括以下步骤:
步骤301,基于语音信号中的语音帧的声学得分,确定出语音信号中的非静音帧和静音帧。
在本实施例中,语音识别方法的执行主体可以获取语音信号,对语音信号提取声学特征,并输入声学模型进行打分,得到语音帧的声学得分。在这里,语音帧的声学得分可以包括语音帧对应于不同的声学建模单元的声学得分。声学建模单元可以包括空白建模单元和非空白建模单元。非空白建模单元对应于音素或汉字,空白建模单元可以表示静音。则声学得分可以包括语音帧对应于各预设的非空白建模单元的声学得分和对应于空白建模单元的声学得分。
在本实施例中,可以基于语音帧对应于各预设的非空白建模单元的声学得分和对应于空白建模单元的声学得分,采用多种方式确定各语音帧为静音帧或非静音帧。在一种可选的实现方式中,可以根据每个语音帧的对应的声学得分最大的建模单元确定语音帧是否为静音帧,例如,语音帧对应于空白建模单元和非空白建模单元1、非空白建模单元2、…的声学得分依次为:S1、S2、S3、…,若其中最大值为S1,则该语音帧对应于空白建模单元的声学得分最高,可以确定该语音帧为静音帧;若其中最大值为S2,则该语音帧对应于某一个非空白建模单元的声学得分最高,可以确定该语音帧为非静音帧。
在另一种可选的实现方式中,如果一个语音帧对应于任意一个非空白建模单元的声学得分高于预先设定的阈值,则可以确定该语音帧为非静音帧;或者,如果一个语音帧对应于至少两个非空白建模单元的声学得分大于0,则可以确定该语音帧为非静音帧。
在另一些可选的实现方式中,语音帧的声学得分可以包括第一声学得分和至少一个第二声学得分。第一声学得分表征语音帧与空白建模单元对应的概率,第二声学得分表征语音帧与预设的非空白建模单元对应的概率。在这里,同一个语音帧的不同第二声学得分表征语音帧与不同的非空白建模单元对应的概率。可以基于语音信号中的语音帧的第一声学得分和第二声学得分之间的差异,确定出语音信号中的非静音帧。具体地,可以响应于确定语音帧的第一声学得分和各第二声学得分中的最大值之间的差值不大于第一预设阈值,确定语音帧为非静音帧;还可以响应于确定语音帧的第一声学得分和各第二声学得分中的最大值之间的差值不小于第二预设阈值,将语音帧标记为静音帧,将语音信号中未被标记为静音帧的语音帧确定为非静音帧。
作为示例,上述表一示例中,建模单元为“B”表示对应的语音帧为静音帧,建模单元为汉字表示对应的语音帧为非静音帧。
步骤302,基于语音帧的声学得分在相邻的非静音帧之间确定出缓冲帧。
缓冲帧对应的建模单元表征语句的开头或结束,可以用“<s>”、“</s>”表示。为了保证语音信号中任意位置都能进行“<s>”、“</s>”的跳转,每个非静音帧的后面会预留两个缓冲帧。
本实施例的步骤302与前述实施例的步骤202一致,步骤302的具体实现方式可以参考前述实施例中步骤202的描述,此处不再赘述。
步骤303,基于从语音信号中去除缓冲帧和静音帧后的语音帧进行解码,得到语音识别结果。
可以基于各语音帧的声学得分,利用解码器对语音信号进行解码。可以删除上述语音信号中的静音帧和缓冲帧之后利用解码器对剩余的非静音帧形成的序列进行解码。或者,在解码时,可以跳过上述缓冲帧和上述静音帧。具体地,可以在步骤301和步骤302中分别为静音帧和缓冲帧进行标记,在逐帧解码时,如果当前帧被标记为静音帧或缓冲帧,则跳过当前帧,判断下一帧是否为静音帧或缓冲帧,若当前帧未被标记为静音帧或缓冲帧,则可以基于当前帧在基于发音字典、声学模型和语言模型构建的网络中进行遍历,查找到当前帧位置的最大概率路径。在遍历语音信号中的所有语音帧进行路径查找之后,得到语音识别结果。
由于实际解码过程中,静音帧的数量远远大于非静音帧的数量,通过在解码时跳过缓冲帧和静音帧,能够进一步减少需要解码的语音帧的数量,简化解码过程中在网络中的遍历过程,进一步提升解码速度。
进一步参考图4,作为对上述各图所示方法的实现,本申请提供了一种语音识别装置的一个实施例,该装置实施例与图2或图3所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图4所示,本实施例的语音识别装置400包括第一确定单元4001、第二确定单元402以及解码单元403。其中,第一确定单元401被配置为基于语音信号中的语音帧的声学得分,确定出语音信号中的非静音帧;第二确定单元402被配置为基于语音帧的声学得分在相邻的非静音帧之间确定出缓冲帧,缓冲帧对应的建模单元表征语句的开头或结束;解码单元403被配置为基于从语音信号中去除缓冲帧后的语音帧进行解码,得到语音识别结果。
在一些实施例中,上述声学得分包括第一声学得分和至少一个第二声学得分,第一声学得分表征语音帧与空白建模单元对应的概率,第二声学得分表征语音帧与预设的非空白建模单元对应的概率;上述第一确定单元401进一步被配置为:基于语音信号中的语音帧的第一声学得分和第二声学得分之间的差异,确定出语音信号中的非静音帧。
在一些实施例中,上述第一确定单元401进一步被配置为按照如下方式确定出语音信号中的非静音帧:响应于确定语音帧的第一声学得分和各第二声学得分中的最大值之间的差值不大于第一预设阈值,确定语音帧为非静音帧。
在一些实施例中,上述第一确定单元401进一步被配置为按照如下方式确定出语音信号中的非静音帧:响应于确定语音帧的第一声学得分和各第二声学得分中的最大值之间的差值不小于第二预设阈值,将语音帧标记为静音帧;将语音信号中未被标记为静音帧的语音帧确定为非静音帧。
在一些实施例中,上述装置400还可以包括:第三确定单元,被配置为基于语音信号中的语音帧的声学得分,确定出语音信号中的静音帧;以及上述解码单元403可以进一步被配置为:基于从语音信号中去除缓冲帧和静音帧后的语音帧进行解码。
本申请上述实施例的语音识别装置400,通过基于语音信号中的语音帧的声学得分,确定出语音信号中的非静音帧,基于语音帧的声学得分在相邻的非静音帧之间确定出缓冲帧,缓冲帧对应的建模单元表征语句的开头或结束,基于从语音信号中去除缓冲帧后的语音帧进行解码,得到语音识别结果,能够有效减少需要解码的语音帧的数量,降低解码器的运算压力,提升解码速度,从而提升语音识别速度。
下面参考图5,其示出了适于用来实现本公开的实施例的电子设备(例如图1中的搜索引擎服务器)500的结构示意图。图5示出的电子设备仅仅是一个示例,不应对本公开的实施例的功能和使用范围带来任何限制。
如图5所示,电子设备500可以包括处理装置(例如中央处理器、图形处理器等)501,其可以根据存储在只读存储器(ROM)502中的程序或者从存储装置508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中,还存储有电子设备500操作所需的各种程序和数据。处理装置501、ROM 502以及RAM503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
通常,以下装置可以连接至I/O接口505:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置506;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置507;包括例如硬盘等的存储装置508;以及通信装置509。通信装置509可以允许电子设备500与其他设备进行无线或有线通信以交换数据。虽然图5示出了具有各种装置的电子设备500,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图5中示出的每个方框可以代表一个装置,也可以根据需要代表多个装置。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置509从网络上被下载和安装,或者从存储装置508被安装,或者从ROM 502被安装。在该计算机程序被处理装置501执行时,执行本公开的实施例的方法中限定的上述功能。需要说明的是,本公开的实施例所描述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的实施例中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的实施例中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:基于语音信号中的语音帧的声学得分,确定出语音信号中的非静音帧,基于语音帧的声学得分在相邻的非静音帧之间确定出缓冲帧,缓冲帧对应的建模单元表征语句的开头或结束,基于从语音信号中去除缓冲帧后的语音帧进行解码,得到语音识别结果。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的实施例的操作的计算机程序代码,程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括第一确定单元、第二确定单元和解码单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,第一确定单元还可以被描述为“基于语音信号中的语音帧的声学得分,确定出语音信号中的非静音帧的单元”。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (12)

1.一种语音识别方法,包括:
基于语音信号中的语音帧的声学得分,确定出所述语音信号中的非静音帧;
基于所述语音帧的声学得分在相邻的非静音帧之间确定出缓冲帧,所述缓冲帧对应的建模单元表征语句的开头或结束;
基于从所述语音信号中去除所述缓冲帧后的语音帧进行解码,得到语音识别结果。
2.根据权利要求1所述的方法,其中,所述声学得分包括第一声学得分和至少一个第二声学得分,所述第一声学得分表征所述语音帧与空白建模单元对应的概率,所述第二声学得分表征所述语音帧与预设的非空白建模单元对应的概率;
所述基于语音信号中的语音帧的声学得分,确定出所述语音信号中的非静音帧,包括:
基于所述语音信号中的语音帧的第一声学得分和第二声学得分之间的差异,确定出所述语音信号中的非静音帧。
3.根据权利要求2所述的方法,其中,所述基于所述语音信号中的语音帧的第一声学得分和第二声学得分之间的差异,确定出所述语音信号中的非静音帧,包括:
响应于确定所述语音帧的第一声学得分和各第二声学得分中的最大值之间的差值不大于第一预设阈值,确定所述语音帧为非静音帧。
4.根据权利要求2所述的方法,其中,所述基于所述语音信号中的语音帧的第一声学得分和第二声学得分之间的差异,确定出所述语音信号中的非静音帧,包括:
响应于确定所述语音帧的第一声学得分和各第二声学得分中的最大值之间的差值不小于第二预设阈值,将所述语音帧标记为静音帧;
将所述语音信号中未被标记为静音帧的语音帧确定为非静音帧。
5.根据权利要求1-4任一项所述的方法,其中,所述方法还包括:
基于语音信号中的语音帧的声学得分,确定出所述语音信号中的静音帧;以及
所述基于从所述语音信号中去除所述缓冲帧后的语音帧进行解码,包括:
基于从所述语音信号中去除所述缓冲帧和所述静音帧后的语音帧进行解码。
6.一种语音识别装置,包括:
第一确定单元,被配置为基于语音信号中的语音帧的声学得分,确定出所述语音信号中的非静音帧;
第二确定单元,被配置为基于所述语音帧的声学得分在相邻的非静音帧之间确定出缓冲帧,所述缓冲帧对应的建模单元表征语句的开头或结束;
解码单元,被配置为基于从所述语音信号中去除所述缓冲帧后的语音帧进行解码,得到语音识别结果。
7.根据权利要求6所述的装置,其中,所述声学得分包括第一声学得分和至少一个第二声学得分,所述第一声学得分表征所述语音帧与空白建模单元对应的概率,所述第二声学得分表征所述语音帧与预设的非空白建模单元对应的概率;
所述第一确定单元进一步被配置为:
基于所述语音信号中的语音帧的第一声学得分和第二声学得分之间的差异,确定出所述语音信号中的非静音帧。
8.根据权利要求7所述的装置,其中,所述第一确定单元进一步被配置为按照如下方式确定出所述语音信号中的非静音帧:
响应于确定所述语音帧的第一声学得分和各第二声学得分中的最大值之间的差值不大于第一预设阈值,确定所述语音帧为非静音帧。
9.根据权利要求7所述的装置,其中,所述第一确定单元进一步被配置为按照如下方式确定出所述语音信号中的非静音帧:
响应于确定所述语音帧的第一声学得分和各第二声学得分中的最大值之间的差值不小于第二预设阈值,将所述语音帧标记为静音帧;
将所述语音信号中未被标记为静音帧的语音帧确定为非静音帧。
10.根据权利要求6-9任一项所述的装置,其中,所述装置还包括:
第三确定单元,被配置为基于语音信号中的语音帧的声学得分,确定出所述语音信号中的静音帧;以及
所述解码单元进一步被配置为:
基于从所述语音信号中去除所述缓冲帧和所述静音帧后的语音帧进行解码。
11.一种电子设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-5中任一所述的方法。
12.一种计算机可读介质,其上存储有计算机程序,其中,所述程序被处理器执行时实现如权利要求1-5中任一所述的方法。
CN201910405521.8A 2019-05-16 2019-05-16 语音识别方法和装置 Active CN110136715B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910405521.8A CN110136715B (zh) 2019-05-16 2019-05-16 语音识别方法和装置
US16/702,326 US11393458B2 (en) 2019-05-16 2019-12-03 Method and apparatus for speech recognition
JP2019218463A JP6974421B2 (ja) 2019-05-16 2019-12-03 音声認識方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910405521.8A CN110136715B (zh) 2019-05-16 2019-05-16 语音识别方法和装置

Publications (2)

Publication Number Publication Date
CN110136715A true CN110136715A (zh) 2019-08-16
CN110136715B CN110136715B (zh) 2021-04-06

Family

ID=67574320

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910405521.8A Active CN110136715B (zh) 2019-05-16 2019-05-16 语音识别方法和装置

Country Status (3)

Country Link
US (1) US11393458B2 (zh)
JP (1) JP6974421B2 (zh)
CN (1) CN110136715B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112002338A (zh) * 2020-09-01 2020-11-27 北京百瑞互联技术有限公司 一种优化音频编码量化次数的方法及系统
CN112382278A (zh) * 2020-11-18 2021-02-19 北京百度网讯科技有限公司 流式语音识别结果显示方法、装置、电子设备和存储介质
CN113707137A (zh) * 2021-08-30 2021-11-26 普强时代(珠海横琴)信息技术有限公司 解码实现方法及装置
CN116153294A (zh) * 2023-04-14 2023-05-23 京东科技信息技术有限公司 语音识别方法、装置、系统、设备及介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112382285B (zh) * 2020-11-03 2023-08-15 北京百度网讯科技有限公司 语音控制方法、装置、电子设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4484283B2 (ja) * 1998-10-20 2010-06-16 キヤノン株式会社 音声処理装置及び方法
CN103165127A (zh) * 2011-12-15 2013-06-19 佳能株式会社 声音分段设备和方法以及声音检测系统
CN104751852A (zh) * 2015-03-20 2015-07-01 广东小天才科技有限公司 一种声音处理的方法和装置
CN106710606A (zh) * 2016-12-29 2017-05-24 百度在线网络技术(北京)有限公司 基于人工智能的语音处理方法及装置
CN107564512A (zh) * 2016-06-30 2018-01-09 展讯通信(上海)有限公司 语音活动侦测方法及装置
WO2018173293A1 (ja) * 2017-03-24 2018-09-27 ヤマハ株式会社 音声端末、音声コマンド生成システム、及び音声コマンド生成システムの制御方法
CN108877776A (zh) * 2018-06-06 2018-11-23 平安科技(深圳)有限公司 语音端点检测方法、装置、计算机设备和存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5822545A (ja) 1981-07-30 1983-02-09 松下電器産業株式会社 二次電池充電器
JPH01260496A (ja) 1988-04-12 1989-10-17 Matsushita Electric Ind Co Ltd 単語認識装置
US7542897B2 (en) * 2002-08-23 2009-06-02 Qualcomm Incorporated Condensed voice buffering, transmission and playback
JP5385876B2 (ja) 2010-08-30 2014-01-08 日本電信電話株式会社 音声区間検出方法、音声認識方法、音声区間検出装置、音声認識装置、そのプログラム及び記録媒体
JP5988077B2 (ja) 2012-03-02 2016-09-07 国立研究開発法人情報通信研究機構 発話区間検出装置及び発話区間検出のためのコンピュータプログラム
US9437186B1 (en) * 2013-06-19 2016-09-06 Amazon Technologies, Inc. Enhanced endpoint detection for speech recognition
JP6350536B2 (ja) 2013-10-22 2018-07-04 日本電気株式会社 音声検出装置、音声検出方法及びプログラム
WO2018173270A1 (ja) 2017-03-24 2018-09-27 三菱電機株式会社 音声認識装置および音声認識方法
JP6791816B2 (ja) 2017-07-21 2020-11-25 株式会社デンソーアイティーラボラトリ 音声区間検出装置、音声区間検出方法、およびプログラム
JP6462936B1 (ja) 2018-06-18 2019-01-30 菱洋エレクトロ株式会社 音声認識システム、及び音声認識装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4484283B2 (ja) * 1998-10-20 2010-06-16 キヤノン株式会社 音声処理装置及び方法
CN103165127A (zh) * 2011-12-15 2013-06-19 佳能株式会社 声音分段设备和方法以及声音检测系统
CN104751852A (zh) * 2015-03-20 2015-07-01 广东小天才科技有限公司 一种声音处理的方法和装置
CN107564512A (zh) * 2016-06-30 2018-01-09 展讯通信(上海)有限公司 语音活动侦测方法及装置
CN106710606A (zh) * 2016-12-29 2017-05-24 百度在线网络技术(北京)有限公司 基于人工智能的语音处理方法及装置
WO2018173293A1 (ja) * 2017-03-24 2018-09-27 ヤマハ株式会社 音声端末、音声コマンド生成システム、及び音声コマンド生成システムの制御方法
CN108877776A (zh) * 2018-06-06 2018-11-23 平安科技(深圳)有限公司 语音端点检测方法、装置、计算机设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
全璐 等: "BP神经网络的枪声识别", 《电声技术》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112002338A (zh) * 2020-09-01 2020-11-27 北京百瑞互联技术有限公司 一种优化音频编码量化次数的方法及系统
CN112002338B (zh) * 2020-09-01 2024-06-21 北京百瑞互联技术股份有限公司 一种优化音频编码量化次数的方法及系统
CN112382278A (zh) * 2020-11-18 2021-02-19 北京百度网讯科技有限公司 流式语音识别结果显示方法、装置、电子设备和存储介质
CN112382278B (zh) * 2020-11-18 2021-08-17 北京百度网讯科技有限公司 流式语音识别结果显示方法、装置、电子设备和存储介质
CN113707137A (zh) * 2021-08-30 2021-11-26 普强时代(珠海横琴)信息技术有限公司 解码实现方法及装置
CN113707137B (zh) * 2021-08-30 2024-02-20 普强时代(珠海横琴)信息技术有限公司 解码实现方法及装置
CN116153294A (zh) * 2023-04-14 2023-05-23 京东科技信息技术有限公司 语音识别方法、装置、系统、设备及介质
CN116153294B (zh) * 2023-04-14 2023-08-08 京东科技信息技术有限公司 语音识别方法、装置、系统、设备及介质

Also Published As

Publication number Publication date
JP2020187340A (ja) 2020-11-19
US11393458B2 (en) 2022-07-19
CN110136715B (zh) 2021-04-06
JP6974421B2 (ja) 2021-12-01
US20200365144A1 (en) 2020-11-19

Similar Documents

Publication Publication Date Title
US10553201B2 (en) Method and apparatus for speech synthesis
CN111402855B (zh) 语音合成方法、装置、存储介质和电子设备
CN111261144B (zh) 一种语音识别的方法、装置、终端以及存储介质
US20240021202A1 (en) Method and apparatus for recognizing voice, electronic device and medium
CN105976812B (zh) 一种语音识别方法及其设备
CN110136715A (zh) 语音识别方法和装置
CN111369971B (zh) 语音合成方法、装置、存储介质和电子设备
CN111599343B (zh) 用于生成音频的方法、装置、设备和介质
CN108428446A (zh) 语音识别方法和装置
CN111402843B (zh) 说唱音乐生成方法、装置、可读介质及电子设备
CN112927674B (zh) 语音风格的迁移方法、装置、可读介质和电子设备
CN109754783A (zh) 用于确定音频语句的边界的方法和装置
CN111862942B (zh) 普通话和四川话的混合语音识别模型的训练方法及系统
CN107707745A (zh) 用于提取信息的方法和装置
CN109697978B (zh) 用于生成模型的方法和装置
CN112786008A (zh) 语音合成方法、装置、可读介质及电子设备
CN107808007A (zh) 信息处理方法和装置
CN112259089A (zh) 语音识别方法及装置
CN112908292A (zh) 文本的语音合成方法、装置、电子设备及存储介质
CN111508478B (zh) 语音识别方法和装置
CN114913859B (zh) 声纹识别方法、装置、电子设备和存储介质
CN111312223A (zh) 语音分割模型的训练方法、装置和电子设备
CN111933119B (zh) 用于生成语音识别网络的方法、装置、电子设备和介质
CN111899747B (zh) 用于合成音频的方法和装置
CN112818657B (zh) 多音字读音的确定方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant