CN110503982A - 一种语音质量检测的方法以及相关装置 - Google Patents

一种语音质量检测的方法以及相关装置 Download PDF

Info

Publication number
CN110503982A
CN110503982A CN201910876980.4A CN201910876980A CN110503982A CN 110503982 A CN110503982 A CN 110503982A CN 201910876980 A CN201910876980 A CN 201910876980A CN 110503982 A CN110503982 A CN 110503982A
Authority
CN
China
Prior art keywords
voice
equipment
source
source voice
distorted speech
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910876980.4A
Other languages
English (en)
Other versions
CN110503982B (zh
Inventor
陈曦明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910876980.4A priority Critical patent/CN110503982B/zh
Publication of CN110503982A publication Critical patent/CN110503982A/zh
Application granted granted Critical
Publication of CN110503982B publication Critical patent/CN110503982B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/60Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for measuring the quality of voice signals
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/10Transforming into visible information

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本申请公开了一种语音质量检测的方法以及相关装置,通过针对不同类型的语音采用对应的策略,即若所述源语音的语音类型为短语音,则获取设备的屏幕截图,然后根据所述屏幕截图的变化情况采集失真语音;接着根据预设规则获取所述失真语音与所述源语音的失真度,以得到语音质量检测结果,实现了自动的语音质量检测过程,且根据设备中的屏幕截图特征元素的匹配采集失真语音,实现了高质量的语音采集过程,提高了语音质量检测的精确性并提高了检测效率。

Description

一种语音质量检测的方法以及相关装置
技术领域
本申请涉及计算机技术领域,尤其涉及一种语音质量检测的方法以及相关装置。
背景技术
随着互联网技术的发展,在应用场景中对于用户之间的语音交流变得越来越重要,但是由于网络传输的原因,用户之间的语音通话质量可能会受到影响,此时需要对语音通话质量进行检测,以评估语音通话质量并作出相应的优化。
一般,对于语音质量检测的过程是基于相关人员的手动采集样本,输入相关的检测模型或装置进行检测。
但是,由于人工采集的不稳定性,可能造成采集样本的不准确,尤其是在短语音的场景中,相关人员无法直接知晓语音的播放起止,影响语音质量检测的准确性;且在大量语音数据的场景中,人工采集需要耗费大量的时间,影响语音质量检测过程的效率。
发明内容
有鉴于此,本申请第一方面提供一种语音质量检测的方法,可应用于语音质量检测系统或程序过程中,具体包括:获取第一设备的源语音;
根据所述源语音在播放时间段内的变化情况确定所述源语音的语音类型;
若所述源语音的语音类型为短语音,则获取第二设备的屏幕截图,所述短语音用于指示所述源语音在播放时间段内为间断语音,所述第二设备的屏幕截图用于指示第二设备用于播放所述源语音的界面截图;
根据所述屏幕截图的变化情况采集失真语音,所述失真语音与所述源语音具有对应关系;
根据预设规则获取所述失真语音与所述源语音的失真度,以得到语音质量检测结果。
优选的,在本申请一些可能的实现方式中,所述根据所述屏幕截图的变化情况采集失真语音,包括:
确定所述第二设备的屏幕截图中的特征元素,所述平方差算法基于所述屏幕截图与所述特征元素的匹配度确定,所述特征元素用于指示所述屏幕截图中与语音播放相关的元素;
根据所述特征元素的变化情况采集失真语音。
优选的,在本申请一些可能的实现方式中,所述根据平方差算法确定所述第二设备的屏幕截图中的特征元素,包括:
将所述第二设备的屏幕截图转换为灰度图;
根据平方差算法确定所述灰度图中的特征元素。
优选的,在本申请一些可能的实现方式中,所述根据所述特征元素的变化情况采集失真语音之前,所述方法还包括:
确定所述源语音的采样率,以设置为采集参数;
所述根据所述特征元素的变化情况采集失真语音,包括:
根据所述采集参数对所述源语音进行采集,并实时监测音量信息;
调整所述音量信息以使得所述音量信息满足预设条件,并根据所述特征元素的变化情况采集失真语音。
优选的,在本申请一些可能的实现方式中,所述根据预设规则获取所述失真语音与所述源语音的失真度,以得到语音质量检测结果,包括:
根据所述源语音截取所述失真语音的检测部分,所述检测部分用于指示所述失真语音与所述源语音相关度最高的部分,所述相关度基于语音起始位置与长度设定;
根据预设规则获取所述检测部分与所述源语音的失真度,以得到语音质量检测结果,所述预设规则包括主观语音质量评估算法。
优选的,在本申请一些可能的实现方式中,其特征在于,所述方法还包括:
若所述源语音的语音类型为实时语音,则在所述播放时间段内实时采集所述源语音对应的所述失真语音;
根据预设规则获取在所述播放时间段内所述失真语音与所述源语音的失真度,以得到语音质量检测结果。
优选的,在本申请一些可能的实现方式中,所述语音质量检测的方法应用于终端设备,所述终端设备为区块链节点中的区块节点设备。
本申请第二方面提供一种语音质量检测的装置,包括:获取单元,用于获取第一设备的源语音;
确定单元,用于根据所述源语音在播放时间段内的变化情况确定所述源语音的语音类型;
截图单元,用于若所述源语音的语音类型为短语音,则获取第二设备的屏幕截图,所述短语音用于指示所述源语音在播放时间段内为间断语音,所述第二设备的屏幕截图用于指示第二设备用于播放所述源语音的界面截图;
采集单元,用于根据所述屏幕截图的变化情况采集失真语音,所述失真语音与所述源语音具有对应关系;
检测单元,用于根据预设规则获取所述失真语音与所述源语音的失真度,以得到语音质量检测结果。
优选的,在本申请一些可能的实现方式中,所述采集单元,具体用于确定所述第二设备的屏幕截图中的特征元素,所述平方差算法基于所述屏幕截图与所述特征元素的匹配度确定,所述特征元素用于指示所述屏幕截图中与语音播放相关的元素;
采集单元,具体用于根据所述特征元素的变化情况采集失真语音。
优选的,在本申请一些可能的实现方式中,所述采集单元,具体用于将所述第二设备的屏幕截图转换为灰度图;
采集单元,具体用于根据平方差算法确定所述灰度图中的特征元素。
优选的,在本申请一些可能的实现方式中,所述采集单元,还用于确定所述源语音的采样率,以设置为采集参数;
所述采集单元,具体用于根据所述采集参数对所述源语音进行采集,并实时监测音量信息;
所述采集单元,具体用于调整所述音量信息以使得所述音量信息满足预设条件,并根据所述特征元素的变化情况采集失真语音。
优选的,在本申请一些可能的实现方式中,所述检测单元,具体用于根据所述源语音截取所述失真语音的检测部分,所述检测部分用于指示所述失真语音与所述源语音相关度最高的部分,所述相关度基于语音起始位置与长度设定;
所述检测单元,具体用于根据预设规则获取所述检测部分与所述源语音的失真度,以得到语音质量检测结果。
优选的,在本申请一些可能的实现方式中,其特征在于,所述采集单元,还用于若所述源语音的语音类型为实时语音,则在所述播放时间段内实时采集所述源语音对应的所述失真语音;
所述检测单元,具体用于根据预设规则获取在所述播放时间段内所述失真语音与所述源语音的失真度,以得到语音质量检测结果,所述预设规则包括主观语音质量评估算法。
优选的,在本申请一些可能的实现方式中,所述语音质量检测的装置应用于终端设备,所述终端设备为区块链节点中的区块节点设备。
本申请第三方面提供一种计算机设备,包括:存储器、处理器以及总线系统;所述存储器用于存储程序代码;所述处理器用于根据所述程序代码中的指令执行上述第一方面或第一方面任一项所述的语音质量检测的的方法。
本申请第四方面提供一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述第一方面或第一方面任一项所述的语音质量检测的的方法。
从以上技术方案可以看出,本申请实施例具有以下优点:
通过对于第一设备源语音的获取;并根据所述源语音在播放时间段内的变化情况确定所述源语音的语音类型;并针对不同类型的语音采用对应的策略,即若所述源语音的语音类型为短语音,则获取第二设备的屏幕截图,然后根据所述屏幕截图的变化情况采集失真语音,所述失真语音与所述源语音具有对应关系;接着根据预设规则获取所述失真语音与所述源语音的失真度,以得到语音质量检测结果。该过程实现了自动的语音质量检测过程,且根据第二设备中的屏幕截图特征元素的匹配采集失真语音,实现了高质量的语音采集过程,提高了语音质量检测的精确性并提高了检测效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为语音质量检测系统运行的网络架构图;
图2为一种语音质量检测的场景架构图;
图3为本申请实施例提供的一种语音质量检测的方法的流程图;
图4为本申请实施提供的一种音频设备之间的连接方式示意图;
图5为本申请实施例提供的失真语音采集过程示意图;
图6为本申请实施例提供的语音波形对齐前后示意图;
图7为本申请实施例提供的游戏截图中包含特征元素的场景示意图;
图8为本申请实施例提供的一种语音质量检测的界面显示示意图;
图9为本申请实施例提供的语音质量检测装置的结构示意图;
图10为本申请实施例提供的另一种语音质量检测装置的结构示意图;
图11A为本申请实施例提供的一种数据共享系统示意图;
图11B为本申请实施例提供的数据共享系统中的区块组成示意图;
图11C为本申请实施例提供的区块链节点的数据传输响应示意图。
具体实施方式
本申请实施例提供了一种语音质量检测的方法以及相关装置,可以应用于语音质量检测系统或其他应用语音质量检测的应用的运行过程中,具体通过对于第一设备源语音的获取;并根据所述源语音在播放时间段内的变化情况确定所述源语音的语音类型;并针对不同类型的语音采用对应的策略,即若所述源语音的语音类型为短语音,则获取第二设备的屏幕截图,然后根据所述屏幕截图的变化情况采集失真语音,所述失真语音与所述源语音具有对应关系;接着根据预设规则获取所述失真语音与所述源语音的失真度,以得到语音质量检测结果。该过程实现了自动的语音质量检测过程,且根据第二设备中的屏幕截图特征元素的匹配采集失真语音,实现了高质量的语音采集过程,提高了语音质量检测的精确性并提高了检测效率。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“对应于”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应理解,本申请提供的语音质量检测方法可以应用于可应用于语音质量检测系统的运行过程中,具体的,语音质量检测系统可以运行于如图1所示的网络架构中,如图1所示,是语音质量检测系统运行的网络架构图,如图可知,语音质量检测系统可以提供与多个信息源交互过程中的语音质量检测,通过采集第一设备的源语音,并判断源语音的类型以选择对应的采集策略,进而实现高质量的失真语音的采集,并根据预设规则得出语音质量检测结果,可以理解的是,图1中示出了多种用于用户进行语音交互的设备,具体的,用户可以通过手机进行语音交互,可以通过个人计算机进行语音交互等,在实际场景中可以有更多或更少的设备参与到语音交互的过程中,具体数量和种类因实际场景而定,此处不做限定;另外,图1中示出了一个服务器,但在实际场景中,也可以有多个服务器的参与,特别是在多应用数据交互的场景中,具体服务器数量因实际场景而定。
可以理解的是,上述语音质量检测系统可以运行于个人移动终端,也可以运行于服务器,还可以作为运行于第三方设备以提供语音质量检测,以得到语音质量检测的结果,例如:在实际场景中,语音质量检测系统运行于服务器中,分别采集语音交互两端的源语音和失真语音,并根据主观语音质量评估算法进行语音质量检测;具体的语音质量检测系统可以是以一种程序的形式在上述设备中运行,也可以作为上述设备中的系统部件进行运行,还可以作为云端服务程序的一种,具体运作模式因实际场景而定,此处不做限定。
随着互联网技术的发展,在应用场景中对于用户之间的语音交流变得越来越重要,但是由于网络传输的原因,用户之间的语音通话质量可能会受到影响,此时需要对语音通话质量进行检测,以评估语音通话质量并作出相应的优化。
一般,对于语音质量检测的过程是基于相关人员的手动采集样本,输入相关的检测模型或装置进行检测。
但是,由于人工采集的不稳定性,可能造成采集样本的不准确,尤其是在短语音的场景中,相关人员无法直接知晓语音的播放起止,影响语音质量检测的准确性;且在大量语音数据的场景中,人工采集需要耗费大量的时间,影响语音质量检测过程的效率。
为了解决上述问题,本申请提出了一种语音质量检测的方法,该方法应用于图2所示的语音质量检测的场景框架中,如图2所示,是一种语音质量检测的场景架构图,图中包括用于接收源语音的音频输出设备A、用户使用的终端设备,以游戏机B为例、游戏语音服务器、游戏机C以及采集失真语音的音频采集设备,其中音频输出设备A可以是集成与游戏机B中的设备,或运行于游戏机B中的程序,例如播放器软件;音频采集设备D可以是集成与游戏机C中的设备,或运行于游戏机C中的程序,具体形式因实际场景而定,此处不做限定。
具体的,首先语音数据data中的源语音X在音频输出上播放,并通过高质音频线,无损导出至游戏机B的输入口中;同时游戏机B激活游戏中语音通信功能,例如通过game_action执行,使接收到的语音流能够通过游戏语音通信功能,发送至游戏语音服务器中;短暂的网络延迟后,游戏机C接收到来自游戏机B的语音流,如果语音为实时语音流,则游戏机C持续播放/输出语音流,并通过高质音频线,无损导出至音频采集设备D的音频输入口;如果语音为短语音,则对游戏机C屏幕进行定时截图,分析游戏画面特征,当发现短语音特征时,触发点击短语音播放/输出,该流程可以通过game_action执行,并通过高质音频线,无损导出至音频采集设备D的音频输入口;接下来音频采集设备D接收到输入后,使用quality/record录制输入语音,得到失真语音Y;然后使用quality/calc,根据源语音X计算失真语音Y的失真度,得出失真度值Z,Z为最终语音质量结果;
可以理解的是,此处以游戏机为例进行说明,具体的也可以是基于其他终端设备应用的语音交互过程进行语音质量检测,具体的终端设备形式因实际场景而定,此处不做限定。
可以理解的是,本申请所提供的方法可以为一种程序的写入,以作为硬件系统中的一种处理逻辑,也可以作为一种语音质量检测装置,采用集成或外接的方式实现上述处理逻辑。作为一种实现方式,该语音质量检测装置通过对于第一设备源语音的获取;并根据所述源语音在播放时间段内的变化情况确定所述源语音的语音类型;并针对不同类型的语音采用对应的策略,即若所述源语音的语音类型为短语音,则按照预设周期获取第二设备的屏幕截图,然后根据所述屏幕截图的变化情况采集失真语音,所述失真语音与所述源语音具有对应关系;接着根据主观语音质量评估算法获取所述失真语音与所述源语音的失真度,以得到语音质量检测结果。该过程实现了自动的语音质量检测过程,且根据第二设备中的屏幕截图特征元素的匹配采集失真语音,实现了高质量的语音采集过程,提高了语音质量检测的精确性并提高了检测效率。
结合上述场景架构,下面将对本申请中语音质量检测的方法进行介绍,请参阅图3,图3为本申请实施例提供的一种语音质量检测的方法的流程图,本申请实施例至少包括以下步骤:
301、获取第一设备的源语音。
本实施例中,第一设备即为源语音发出的设备,在多个设备语音交互的过程中,源语音的发出方是变化的,此时,对应的对第一设备进行追踪,例如:设备A与设备B语音交互过程中,首先设备A发出了源语音,即设备A为第一设备,设备B接收到的即为失真语音,设备B为第二设备;而当设备B回复设备A相关语音信息时,设备B发出了源语音,即设备B为第一设备,设备A接收到的即为失真语音,设备A为第二设备。
可以理解的是,源语音即为语音发起方的设备发出的语音数据;而失真语音即为语音接收方设备接收的语音数据,具体的,由于语音数据在传输过程中可能受到网络波动的影响,出现数据损坏的情况,故可将接收方设备接收的语音数据称为失真语音,上述对于语音的称谓用于指示其对应场景中的交互逻辑,此处仅为示例,具体的名称因实际场景而定。
302、根据所述源语音在播放时间段内的变化情况确定所述源语音的语音类型。
本实施例中,播放时间段的设定可以是包含第一设备与第二设备的整个语音周期,也可以设定为第一设备与第二设备语音交互产生的数据峰值时对应的时间段,还可以是第一设备与第二设备网络状态良好时对应的时间段,具体时间段因实际场景而定,此处不做限定。
可以理解的是,源语音的变化情况可以是通过源语音的间断情况确定的,即在播放时间段内,一直检测到第一设备与第二设备语音交互的数据流,则认为源语音的语音类型为实时语音;如果在播放时间段内,第一设备与第二设备语音交互的数据流是间断出现的,则认为源语音的语音类型为短语音,例如:播放时间段为2:00-3:00,源语音播放的起点时刻为2:00,在时刻2:05语音停止的播放,即未接收到源语音数据,然后在2:30又接收到源语音数据,并进行相应的播放操作,此时在2:05-2:30之间没有接受到源语音数据,可以认为源语音在播放时间段内为间断出现。
在一种可能的场景中,若音频输出设备独立的设备,且第一设备为移动终端,则音频输出设备与第一设备之间的连接方式可以采用如图4中所示的连接方式,图4为本申请实施提供的一种音频设备之间的连接方式示意图,即双公头音频线与一分二音频线的组合方式,考虑到现在设备多数只支持三芯插头,而三芯插头与二芯插头不能混用互插,为提升连接过程的便利性并保证语音传输过程中的语音质量,可以以一分二音频线作为音频输入口,双公头音频线作为音频输出口,以实现音频信号的无损传输。
303、若所述源语音的语音类型为短语音,则获取第二设备的屏幕截图。
本实施例中,短语音用于指示所述源语音在播放时间段内为间断语音,而第二设备的屏幕截图用于指示第二设备用于播放所述源语音的界面截图,例如运行的游戏截图。
可以理解的是,对于屏幕截图的获取过程可以是基于预设周期进行获取的,其中,预设周期可以是人工设定的,也可以是服务器根据历史周期记录自动生成的。
304、根据所述屏幕截图的变化情况采集失真语音。
本实施例中,失真语音即与源语音具有对应关系的语音,源语音通过网络传输至第二设备后可能会出现失真的情况,故需要对该语音进行采集,以进行对比分析。
可以理解的是,对于根据所述屏幕截图的变化情况采集失真语音的过程,可以是通过识别特征元素实现的,例如在游戏场景中,接收到短语音时游戏界面会出现相应的喇叭播放或类似的特征元素,以提醒用户对端用户正在说话,具体的,该过程可以通过根据平方差算法确定所述第二设备的屏幕截图中的特征元素,所述特征元素用于指示所述屏幕截图中与语音播放相关的元素;然后根据所述特征元素的变化情况采集失真语音。
其中,平方差算法可以是根据屏幕截图与所述特征元素的匹配度确定,在一种可能的实现方式中,可以计算如下公式的数值进行:
式中,xy即为对应的屏幕截图与特征元素,x'y'即为特征变化量,当R值小于阈值时,即认为确定了屏幕截图中的特征元素,并根据该确定的特征元素的变化情况进行失真语音的采集。
可选的,上述平方差算法还可以为基于归一化的平方差算法、相关性匹配算法、归一化的相关性匹配算法、相关性系数匹配算法、归一化的相关性系数匹配算法等方案进行,在使用不同识别算法,调整阈值即可。
可选的,在加载屏幕截图中特征元素的过程中,为提高识别过程的效率,可以将屏幕截图转化为灰度图,具体的可以通过如下代码实现:
features=load(features_path)#加载特征元素
_features=rgb2gray(features)#转化为灰度图
可选的,对应于步骤302中可能的周期性截图的场景,还可以通过如下代码实现:
screenshot=load(screenshot_path)#加载截图
_screenshot=rgb2gray(screenshot)#截图转化为灰度图
上述实施例介绍了采集失真语音的时机,下面结合图5对具体的失真语音采集过程进行说明,图5为本申请实施例提供的失真语音采集过程示意图。
首先,音频采集设备接收到源语音的相关信号并缓存,然后通过驱动输出缓存至虚拟设备并传输至相关录制程序的编码其中,该录制程序可以是ffmpeg;然后通过录制程序的编码输出音频,即为第二设备接收到的失真语音;另外,若音频采集设备与第二设备通过硬件IO接口连接,也可以直接通过有线传输至第二设备进行处理。
可选的,在上述失真语音的采集过程中,需设定语音采样率与源语音的采样率一致;另外,对于语音存储格式,可以是无损格式,默认保存格式可以为wav。
在一种可能的场景中,语音的输出音量会影响后续语音质量分析,故采集设备需要调节合适音量,避免采集时进行增益;另外,如需进行不同版本数据比较时,需要调整音量为一致。具体的,可以确定所述源语音的采样率,以设置为采集参数;然后根据所述采集参数对所述源语音进行采集,并实时监测音量信息;接下来调整所述音量信息以使得所述音量信息满足预设条件,并根据所述特征元素的变化情况采集失真语音。
305、若所述源语音的语音类型为实时语音,则实时采集所述源语音对应的所述失真语音。
本实施例中,实时语音的判断依据参照步骤302中的相关描述,此处不做赘述。
306、根据预设规则计算所述失真语音与所述源语音的失真度,以得到语音质量检测结果。
本实施例中,预设规则可以是主观语音质量评估(PESQ)算法,具体的可以通过如下代码形式:
MOS=PESQ(_ref_audio,_deg_audio)
其中,MOS值即为失真度,其值越高表示语音质量越好,进而生成对应的语音质量检测结果。
可选的,主观语音质量评估算法还可以采用POLQA算法、峰值信噪比算法等,具体的算法因实际场景进行选择,此处不做限定。
在一种可能的场景中,失真语音可能由于操作时间差,短语音时间长度限制等因素,都将使得采集出来的失真语音与源语音在长度、语音起始时间都无法保持一致,此时需要进行语音对齐操作。
可选的,首先根据所述源语音截取所述失真语音的检测部分,所述检测部分用于指示所述失真语音与所述源语音相关度最高的部分,所述相关度基于语音起始位置与长度设定;然后根据预设规则计算所述检测部分与所述源语音的失真度,以得到语音质量检测结果。即把源语音与失真语音相关度最高部分对齐并截取,得到新的源语音与失真语音的对应关系。
具体的可以通过如下代码实现:
通过上述代码可以实现对于源语音与失真语音的对齐过程,如图6所示,是本申请实施例提供的语音波形对齐前后示意图,将对齐后的源语音与失真语音再输入上述预设规则中进行失真度的计算,进而得到更加准确的语音质量检测结果。
结合上述实施例可知,通过对于第一设备源语音的获取;并根据所述源语音在播放时间段内的变化情况确定所述源语音的语音类型;并针对不同类型的语音采用对应的策略,即若所述源语音的语音类型为短语音,则按照预设周期获取第二设备的屏幕截图,然后根据所述屏幕截图的变化情况采集失真语音,所述失真语音与所述源语音具有对应关系;接着根据预设规则获取所述失真语音与所述源语音的失真度,以得到语音质量检测结果。该过程实现了自动的语音质量检测过程,且根据第二设备中的屏幕截图特征元素的匹配采集失真语音,实现了高质量的语音采集过程,提高了语音质量检测的精确性并提高了检测效率。
下面结合一种具体的场景对本申请提供的语音质量检测方法进行说明,如图7所示,图7为本申请实施例提供的游戏截图中包含特征元素的场景示意图;图中为一种游戏的截图,图中圈定了特征元素,即图中“喇叭状”的按钮,当确定为源语音的类型为短语音时,通过平方差算法以特征元素为模板确定该按钮,并获取该按钮的变化情况,例如:语音播放时,该按钮会闪烁,此时即可获取闪烁期间的语音数据,以作为失真语音进行接下来的语音检测步骤。
可以理解的是,上述场景为一种示例说明。其中具体按钮的形状、位置或闪烁方式等因实际游戏场景中的设定而定,此处不做限定。
在一种可能的显示方式中,可以采用如图8所述的显示方式,图8为本申请实施例提供的一种语音质量检测的界面显示示意图。该界面可以包括多个设备语音交互过程的状态记录,其中,可以显示语音的状态、按照本申请方法得到的失真度,以及对应的网络延迟;用户可以点击详情知晓不同时间段采用的检测策略,并对于短语音采集过程中特征元素的匹配度进行显示,以便以相关人员查验。
可以理解的是,上述实施例中设计的参数或步骤均可在该界面中进行显示,此处不做限定。
为了更好的实施本申请实施例的上述方案,下面还提供用于实施上述方案的相关装置。请参阅图9,图9为本申请实施例提供的语音质量检测装置的结构示意图,语音质量检测装置900包括:
获取单元901,用于获取第一设备的源语音;
确定单元902,用于根据所述源语音在播放时间段内的变化情况确定所述源语音的语音类型;
截图单元903,用于若所述源语音的语音类型为短语音,则获取第二设备的屏幕截图,所述短语音用于指示所述源语音在播放时间段内为间断语音,所述第二设备的屏幕截图用于指示第二设备用于播放所述源语音的界面截图;
采集单元904,用于根据所述屏幕截图的变化情况采集失真语音,所述失真语音与所述源语音具有对应关系;
检测单元905,用于根据预设规则获取所述失真语音与所述源语音的失真度,以得到语音质量检测结果。
优选的,在本申请一些可能的实现方式中,所述采集单元904,具体用于确定所述第二设备的屏幕截图中的特征元素,所述平方差算法基于所述屏幕截图与所述特征元素的匹配度确定,所述特征元素用于指示所述屏幕截图中与语音播放相关的元素;
所述采集单元904,具体用于根据所述特征元素的变化情况采集失真语音。
优选的,在本申请一些可能的实现方式中,所述采集单元904,具体用于将所述第二设备的屏幕截图转换为灰度图;
所述采集单元904,具体用于根据平方差算法确定所述灰度图中的特征元素。
优选的,在本申请一些可能的实现方式中,所述采集单元904,还用于确定所述源语音的采样率,以设置为采集参数;
所述采集单元904,具体用于根据所述采集参数对所述源语音进行采集,并实时监测音量信息;
所述采集单元904,具体用于调整所述音量信息以使得所述音量信息满足预设条件,并根据所述特征元素的变化情况采集失真语音。
优选的,在本申请一些可能的实现方式中,所述检测单元905,具体用于根据所述源语音截取所述失真语音的检测部分,所述检测部分用于指示所述失真语音与所述源语音相关度最高的部分,所述相关度基于语音起始位置与长度设定;
所述检测单元905,具体用于根据预设规则获取所述检测部分与所述源语音的失真度,以得到语音质量检测结果,所述预设规则包括主观语音质量评估算法。
优选的,在本申请一些可能的实现方式中,其特征在于,所述采集单元904,还用于若所述源语音的语音类型为实时语音,则在所述播放时间段内实时采集所述源语音对应的所述失真语音;
所述检测单元905,具体用于根据预设规则获取在所述播放时间段内所述失真语音与所述源语音的失真度,以得到语音质量检测结果。
优选的,在本申请一些可能的实现方式中,所述语音质量检测的装置应用于终端设备,所述终端设备为区块链节点中的区块节点设备。
通过对于第一设备源语音的获取;并根据所述源语音在播放时间段内的变化情况确定所述源语音的语音类型;并针对不同类型的语音采用对应的策略,即若所述源语音的语音类型为短语音,则按照预设周期获取第二设备的屏幕截图,然后根据所述屏幕截图的变化情况采集失真语音,所述失真语音与所述源语音具有对应关系;接着根据预设规则获取所述失真语音与所述源语音的失真度,以得到语音质量检测结果。该过程实现了自动的语音质量检测过程,且根据第二设备中的屏幕截图特征元素的匹配采集失真语音,实现了高质量的语音采集过程,提高了语音质量检测的精确性并提高了检测效率。
本申请实施例还提供了一种语音质量检测装置,请参阅图10,图10是本申请实施例提供的另一种语音质量检测装置的结构示意图,该语音质量检测装置1000可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(central processingunits,CPU)1022(例如,一个或一个以上处理器)和存储器1032,一个或一个以上存储应用程序1042或数据1044的存储介质1030(例如一个或一个以上海量存储设备)。其中,存储器1032和存储介质1030可以是短暂存储或持久存储。存储在存储介质1030的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对语音质量检测装置中的一系列指令操作。更进一步地,中央处理器1022可以设置为与存储介质1030通信,在语音质量检测装置1000上执行存储介质1030中的一系列指令操作。
语音质量检测装置1000还可以包括一个或一个以上电源1026,一个或一个以上有线或无线网络接口1050,一个或一个以上输入输出接口1058,和/或,一个或一个以上操作系统1041,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
上述实施例中由语音质量检测装置所执行的步骤可以基于该图10所示的语音质量检测装置结构。
本申请实施例中还提供一种计算机可读存储介质,该计算机可读存储介质中存储有语音质量检测指令,当其在计算机上运行时,使得计算机执行如前述图2至图8所示实施例描述的方法中语音质量检测装置所执行的步骤。
本申请实施例中还提供一种包括语音质量检测指令的计算机程序产品,当其在计算机上运行时,使得计算机执行如前述图2至图8所示实施例描述的方法中语音质量检测装置所执行的步骤。
本申请实施例还提供了一种语音质量检测系统,所述语音质量检测系统可以包含图9所描述实施例中的语音质量检测装置,或者图10所描述的语音质量检测装置。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,语音质量检测装置,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-onlymemory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
另外,上述语音质量检测的方法和装置还可以应用于数据共享系统中,参见图11A所示的数据共享系统,数据共享系统1100是指用于进行节点与节点之间数据共享的系统,该数据共享系统中可以包括多个节点1101,多个节点1101可以是指数据共享系统中各个客户端,其中,每个客户端运行于基于本申请方法对应的终端设备上。每个节点1101在进行正常工作可以接收到输入信息,并基于接收到的输入信息维护该数据共享系统内的共享数据。为了保证数据共享系统内的信息互通,数据共享系统中的每个节点之间可以存在信息连接,节点之间可以通过上述信息连接进行信息传输。例如,当数据共享系统中的任意节点接收到输入信息时,数据共享系统中的其他节点便根据共识算法获取该输入信息,将该输入信息作为共享数据中的数据进行存储,使得数据共享系统中全部节点上存储的数据均一致。
对于数据共享系统中的每个节点,均具有与其对应的节点标识,而且数据共享系统中的每个节点均可以存储有数据共享系统中其他节点的节点标识,以便后续根据其他节点的节点标识,将生成的区块广播至数据共享系统中的其他节点。每个节点中可维护一个如下表所示的节点标识列表,将节点名称和节点标识对应存储至该节点标识列表中。其中,节点标识可为网络之间互联的协议(Internet Protocol,IP)地址以及其他任一种能够用于标识该节点的信息,表1中仅以IP地址为例进行说明。
表1节点与节点标识对应关系
节点名称 节点标识
节点1 117.114.151.174
节点2 117.116.189.145
节点N 119.123.789.258
数据共享系统中的每个节点均存储一条相同的区块链。区块链由多个区块组成,参见图11B,区块链由多个区块组成,创始块中包括区块头和区块主体,区块头中存储有输入信息特征值、版本号、时间戳和难度值,区块主体中存储有输入信息;创始块的下一区块以创始块为父区块,下一区块中同样包括区块头和区块主体,区块头中存储有当前区块的输入信息特征值、父区块的区块头特征值、版本号、时间戳和难度值,并以此类推,使得区块链中每个区块中存储的区块数据均与父区块中存储的区块数据存在关联,保证了区块中输入信息的安全性。
在生成区块链中的各个区块时,参见图11C,区块链所在的节点在接收到输入信息时,对输入信息进行校验,完成校验后,将输入信息存储至内存池中,并更新其用于记录输入信息的哈希树;之后,将更新时间戳更新为接收到输入信息的时间,并尝试不同的随机数,多次进行特征值计算,使得计算得到的特征值可以满足下述公式:
SHA256(SHA256(version+prev_hash+merkle_root+ntime+nbits+x))<TARGET
其中,SHA256为计算特征值所用的特征值算法;version(版本号)为区块链中相关区块协议的版本信息;prev_hash为当前区块的父区块的区块头特征值;merkle_root为输入信息的特征值;ntime为更新时间戳的更新时间;nbits为当前难度,在一段时间内为定值,并在超出固定时间段后再次进行确定;x为随机数;TARGET为特征值阈值,该特征值阈值可以根据nbits确定得到。
这样,当计算得到满足上述公式的随机数时,便可将信息对应存储,生成区块头和区块主体,得到当前区块。随后,区块链所在节点根据数据共享系统中其他节点的节点标识,将新生成的区块分别发送给其所在的数据共享系统中的其他节点,由其他节点对新生成的区块进行校验,并在完成校验后将新生成的区块添加至其存储的区块链中。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种语音质量检测的方法,其特征在于,包括:
获取第一设备的源语音;
根据所述源语音在播放时间段内的变化情况确定所述源语音的语音类型;
若所述源语音的语音类型为短语音,则获取第二设备的屏幕截图,所述短语音用于指示所述源语音在播放时间段内为间断语音,所述第二设备的屏幕截图用于指示第二设备用于播放所述源语音的界面截图;
根据所述屏幕截图的变化情况采集失真语音;
根据预设规则获取所述失真语音与所述源语音的失真度,以得到语音质量检测结果。
2.根据权利要求1所述的方法,其特征在于,所述根据所述屏幕截图的变化情况采集失真语音,包括:
确定所述第二设备的屏幕截图中的特征元素,所述特征元素用于指示所述屏幕截图中与语音播放相关的元素;
根据所述特征元素的变化情况采集失真语音。
3.根据权利要求2所述的方法,其特征在于,所述确定所述第二设备的屏幕截图中的特征元素,包括:
将所述第二设备的屏幕截图转换为灰度图;
根据平方差算法确定所述灰度图中的特征元素。
4.根据权利要求2所述的方法,其特征在于,所述根据所述特征元素的变化情况采集失真语音之前,所述方法还包括:
确定所述源语音的采样率,以设置为采集参数;
所述根据所述特征元素的变化情况采集失真语音,包括:
根据所述采集参数对所述源语音进行采集,并实时监测音量信息;
调整所述音量信息以使得所述音量信息满足预设条件,并根据所述特征元素的变化情况采集失真语音。
5.根据权利要1-4任一项所述的方法,其特征在于,所述根据预设规则获取所述失真语音与所述源语音的失真度,以得到语音质量检测结果,包括:
截取所述失真语音的检测部分,所述检测部分用于指示所述失真语音与所述源语音相关度最高的部分,所述相关度基于语音起始位置与长度设定;
根据预设规则获取所述检测部分与所述源语音的失真度,以得到语音质量检测结果,所述预设规则包括主观语音质量评估算法。
6.根据权利要1-4任一项所述的方法,其特征在于,所述方法还包括:
若所述源语音的语音类型为实时语音,则在所述播放时间段内实时采集所述源语音对应的所述失真语音;
根据预设规则获取在所述播放时间段内所述失真语音与所述源语音的失真度,以得到语音质量检测结果。
7.根据权利要求1所述的方法,其特征在于,所述语音质量检测的方法应用于终端设备,所述终端设备为区块链节点中的区块节点设备。
8.一种语音质量检测的装置,其特征在于,包括:
获取单元,用于获取第一设备的源语音;
确定单元,用于根据所述源语音在播放时间段内的变化情况确定所述源语音的语音类型;
截图单元,用于若所述源语音的语音类型为短语音,则获取第二设备的屏幕截图,所述短语音用于指示所述源语音在播放时间段内为间断语音,所述第二设备的屏幕截图用于指示第二设备用于播放所述源语音的界面截图;
采集单元,用于根据所述屏幕截图的变化情况采集失真语音,所述失真语音与所述源语音具有对应关系;
检测单元,用于根据预设规则获取所述失真语音与所述源语音的失真度,以得到语音质量检测结果。
9.一种计算机设备,其特征在于,所述计算机设备包括处理器以及存储器:
所述存储器用于存储程序代码;所述处理器用于根据所述程序代码中的指令执行权利要求1至7任一项所述的语音质量检测的方法。
10.一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述权利要求1至7任一项所述的语音质量检测的方法。
CN201910876980.4A 2019-09-17 2019-09-17 一种语音质量检测的方法以及相关装置 Active CN110503982B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910876980.4A CN110503982B (zh) 2019-09-17 2019-09-17 一种语音质量检测的方法以及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910876980.4A CN110503982B (zh) 2019-09-17 2019-09-17 一种语音质量检测的方法以及相关装置

Publications (2)

Publication Number Publication Date
CN110503982A true CN110503982A (zh) 2019-11-26
CN110503982B CN110503982B (zh) 2024-03-22

Family

ID=68592047

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910876980.4A Active CN110503982B (zh) 2019-09-17 2019-09-17 一种语音质量检测的方法以及相关装置

Country Status (1)

Country Link
CN (1) CN110503982B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111614842A (zh) * 2020-05-14 2020-09-01 杭州当虹科技股份有限公司 一种基于pesq的客观语音通讯质量评价方法
CN113449196A (zh) * 2021-07-16 2021-09-28 北京天眼查科技有限公司 信息生成方法及装置、电子设备和可读存储介质
CN113496709A (zh) * 2020-04-07 2021-10-12 上海擎感智能科技有限公司 车内音效远程在线评测方法及系统、存储介质及服务器
CN113593536A (zh) * 2021-06-09 2021-11-02 中国电子产品可靠性与环境试验研究所((工业和信息化部电子第五研究所)(中国赛宝实验室)) 一种检测语音识别准确率的装置和系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102056026A (zh) * 2009-11-06 2011-05-11 中国移动通信集团设计院有限公司 音视频同步检测方法及其系统、语音检测方法及其系统
CN102143524A (zh) * 2010-08-31 2011-08-03 华为技术有限公司 语音质量的测试方法、系统及设备
CN103077727A (zh) * 2013-01-04 2013-05-01 华为技术有限公司 一种用于语音质量监测和提示的方法和装置
US20130332155A1 (en) * 2012-06-06 2013-12-12 Microsoft Corporation Double-Talk Detection for Audio Communication
WO2015043184A1 (zh) * 2013-09-30 2015-04-02 华为技术有限公司 语音质量评估方法及装置
CN109285556A (zh) * 2018-09-29 2019-01-29 百度在线网络技术(北京)有限公司 音频处理方法、装置、设备以及存储介质
CN109346063A (zh) * 2018-10-12 2019-02-15 电子科技大学 一种语音数据增强方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102056026A (zh) * 2009-11-06 2011-05-11 中国移动通信集团设计院有限公司 音视频同步检测方法及其系统、语音检测方法及其系统
CN102143524A (zh) * 2010-08-31 2011-08-03 华为技术有限公司 语音质量的测试方法、系统及设备
US20130332155A1 (en) * 2012-06-06 2013-12-12 Microsoft Corporation Double-Talk Detection for Audio Communication
CN103077727A (zh) * 2013-01-04 2013-05-01 华为技术有限公司 一种用于语音质量监测和提示的方法和装置
WO2015043184A1 (zh) * 2013-09-30 2015-04-02 华为技术有限公司 语音质量评估方法及装置
CN109285556A (zh) * 2018-09-29 2019-01-29 百度在线网络技术(北京)有限公司 音频处理方法、装置、设备以及存储介质
CN109346063A (zh) * 2018-10-12 2019-02-15 电子科技大学 一种语音数据增强方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113496709A (zh) * 2020-04-07 2021-10-12 上海擎感智能科技有限公司 车内音效远程在线评测方法及系统、存储介质及服务器
CN111614842A (zh) * 2020-05-14 2020-09-01 杭州当虹科技股份有限公司 一种基于pesq的客观语音通讯质量评价方法
CN111614842B (zh) * 2020-05-14 2021-10-26 杭州当虹科技股份有限公司 一种基于pesq的客观语音通讯质量评价方法
CN113593536A (zh) * 2021-06-09 2021-11-02 中国电子产品可靠性与环境试验研究所((工业和信息化部电子第五研究所)(中国赛宝实验室)) 一种检测语音识别准确率的装置和系统
CN113449196A (zh) * 2021-07-16 2021-09-28 北京天眼查科技有限公司 信息生成方法及装置、电子设备和可读存储介质
CN113449196B (zh) * 2021-07-16 2024-04-19 北京金堤科技有限公司 信息生成方法及装置、电子设备和可读存储介质

Also Published As

Publication number Publication date
CN110503982B (zh) 2024-03-22

Similar Documents

Publication Publication Date Title
CN110503982A (zh) 一种语音质量检测的方法以及相关装置
CN111340242B (zh) 保护隐私的模型联合训练方法及装置
CN107910014B (zh) 回声消除的测试方法、装置及测试设备
Singh et al. Image2reverb: Cross-modal reverb impulse response synthesis
CN108805091A (zh) 用于生成模型的方法和装置
CN110347596A (zh) 一种测试方法、装置、系统、电子设备及介质
CN107071399B (zh) 一种加密视频流的质量评估方法及装置
CN109658935B (zh) 多通道带噪语音的生成方法及系统
CN107179995A (zh) 一种计算机网络应用程序的性能测试方法
CN110223697A (zh) 人机对话方法及系统
CN109710535B (zh) 用于语音对话平台的服务校验方法及系统
CN108234790A (zh) 多人语音通信方法、装置、终端设备和存储介质
CN110198256A (zh) 互动式语音应答系统的压力测试方法、客户终端核数确定方法及装置、存储介质、终端
CN107221341A (zh) 一种语音测试方法及装置
US9639455B2 (en) Autonomous media version testing
CN111710344A (zh) 一种信号处理方法、装置、设备及计算机可读存储介质
CN109005402A (zh) 一种视频的评估方法及装置
CN108513149A (zh) 一种直播延迟测试方法及其装置
CN110324566B (zh) 视频会议中声音延时的测试方法、测试装置和测试设备
US11282514B2 (en) Method and apparatus for recognizing voice
CN105871660B (zh) 一种质量检测方法及设备
CN114065720A (zh) 会议纪要生成方法、装置、存储介质及电子设备
CN114064445B (zh) 一种测试方法、装置、设备及计算机可读存储介质
CN112866682A (zh) 音视频质量测评系统、方法、计算机设备及存储介质
CN112685083B (zh) 用于测量唤醒率的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant