CN111599360A - 唤醒控制方法、装置、存储介质及电子设备 - Google Patents
唤醒控制方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN111599360A CN111599360A CN202010399211.2A CN202010399211A CN111599360A CN 111599360 A CN111599360 A CN 111599360A CN 202010399211 A CN202010399211 A CN 202010399211A CN 111599360 A CN111599360 A CN 111599360A
- Authority
- CN
- China
- Prior art keywords
- user
- voice
- wake
- model
- awakening
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/4401—Bootstrapping
- G06F9/4418—Suspend and resume; Hibernate and awake
Abstract
本申请实施例公开了一种唤醒控制方法、装置、存储介质及电子设备,其中,首先接收针对操作系统的用户切换操作,并根据该用户切换操作将操作系统由当前用户切换至目标切换用户;然后,基于目标切换用户对当前已启动的语音唤醒进程进行初始化操作,使得当前已启动的语音唤醒进程与目标切换用户关联,由此来避免多个语音唤醒进程导致的冲突;另外,还基于初始化后的语音唤醒进程加载对应目标切换用户的语音唤醒模型,以利用适配于目标切换用户的语音唤醒模型更好的进行唤醒控制。
Description
技术领域
本申请涉及语音处理技术领域,具体涉及一种唤醒控制方法、装置、存储介质及电子设备。
背景技术
目前,用户可以在不方便直接操控电子设备的情况下说出唤醒词来唤醒电子设备,以及说出语音指令来控制电子设备执行特定操作等。在相关技术中,通常关注于基于声纹模型的多用户识别,即利用声纹模型识别不同的用户,从而判断用户身份,而对多用户系统的唤醒控制方案则鲜有关注。
发明内容
本申请实施例提供了一种唤醒控制方法、装置、存储介质及电子设备,能够有效的在多用户系统下进行唤醒控制。
第一方面,本申请实施例提供了一种唤醒控制方法,包括:
接收针对操作系统的用户切换操作,并根据所述用户切换操作将所述操作系统由当前用户切换至目标切换用户;
基于所述目标切换用户对当前已启动的语音唤醒进程进行初始化操作;
基于所述语音唤醒进程加载对应所述目标切换用户的语音唤醒模型。
第二方面,本申请实施例提供了一种唤醒控制装置,包括:
用户切换模块,用于接收针对操作系统的用户切换操作,并根据所述用户切换操作确定目标切换用户;
初始化模块,用于基于所述目标切换用户对当前已启动的语音唤醒进程进行初始化操作;
模型加载模块,用于基于所述语音唤醒进程加载对应所述目标切换用户的语音唤醒模型,以进入唤醒监听状态。
第三方面,本申请实施例提供了一种存储介质,其上存储有计算机程序,当所述计算机程序被处理器加载时执行本申请实施例提供的唤醒控制方法中的步骤。
第四方面,本申请实施例还提供了一种电子设备,所述电子设备包括处理器和存储器,所述存储器储存有计算机程序,当所述计算机程序被所述处理器加载时执行本申请实施例提供的唤醒控制方法中的步骤。
本申请实施例中,首先接收针对操作系统的用户切换操作,并根据该用户切换操作将操作系统由当前用户切换至目标切换用户;然后,基于目标切换用户对当前已启动的语音唤醒进程进行初始化操作,使得当前已启动的语音唤醒进程与目标切换用户关联,由此来避免多个语音唤醒进程导致的冲突;另外,还基于初始化后的语音唤醒进程加载对应目标切换用户的语音唤醒模型,以利用适配于目标切换用户的语音唤醒模型更好的进行唤醒控制。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的唤醒控制方法的一流程示意图。
图2是本申请实施例中多用户界面的示例图。
图3是本申请实施例中输出提示信息的示例图。
图4是本申请实施例中语音唤醒控制开关的示例图。
图5是本申请实施例提供的唤醒控制方法的另一流程示意图。
图6是本申请实施例提供的唤醒控制装置的结构示意图。
图7是本申请实施例提供的电子设备的结构示意图。
具体实施方式
请参照图式,其中相同的组件符号代表相同的组件,本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例,其不应被视为限制本申请未在此详述的其它具体实施例。
本申请实施例首先提供一种唤醒控制方法,该唤醒控制方法的执行主体可以是本申请实施例提供的唤醒控制装置,或者集成了该唤醒控制装置的电子设备,其中唤醒控制装置可以采用硬件或软件的方式实现,电子设备可以是智能手机、平板电脑、掌上电脑、笔记本电脑、或者台式电脑等配置有处理器而具有处理能力的设备。
请参照图1,图1为本申请实施例提供的唤醒控制方法的流程示意图。该唤醒控制方法应用于本申请提供的电子设备,如图1所示,本申请实施例提供的唤醒控制方法的流程可以如下:
在101中,接收针对操作系统的用户切换操作,并根据用户切换操作将操作系统由当前用户切换至目标切换用户。
本申请以下实施例中以电子设备配置的操作系统为安卓系统进行说明。
安卓系统从4.2版本开始便添加了多用户功能,如同Windows操作系统一样,安卓系统支持用户创建多个用户,并在多个用户之间随意切换。由此,使得用户可以容易地将电子设备分享给家人使用。
通常的,操作系统采用不同的用户标识来区别不同的用户,其在创建没给用户时,都会分配一个整型的用户标识,第一个在操作系统中注册的用户将成为操作系统的主用户(之后创建的用户则称之为子用户),其用户标识被分配为0,之后创建新的用户时,用户标识将从10开始计算,每新增一个用户,用户标识将相应加“1”。
其另一个显著特性是用户切换后,之前用户启动运行的进程还可以继续运行。示例性的,以语音唤醒进程为例,为了其功能实现,语音唤醒进程为常驻进程。在主用户登录操作系统时,操作系统会启动一个语音唤醒进程,当切换到子用户登录操作系统时,操作系统又会启动一个新的语音唤醒进程,而当切换到另一个子用户登录操作系统时,操作系统又会再启动一个新的语音唤醒进程,这样就会同时存在多个语音唤醒进程导致运行冲突,使得无法正常的对电子设备进行唤醒控制。
为解决以上缺陷,本申请提出一种适于多用户操作系统的唤醒控制方法。
本申请实施例中,电子设备首先接收针对操作系统的用户切换操作。其中,对于用户切换操作的输入方式,本申请实施例中不做具体限制,可由本领域普通技术人员根据实际需要进行配置。
示例性的,请参照图2,电子设备提供有多用户界面,该多用户用户界面提供有操作系统当前已注册的用户可供选择,如图2所示的主用户、子用户1以及子用户2的用户选项。当其中的用户选项被选定时,将相应输入用户切换操作,该用户切换操作携带有选定的用户选项所对应的用户标识,如图2所示,此时输入的用户切换操作将携带有子用户1的用户标识。
电子设备在接收到针对操作系统的用户切换操作之后,即解析出该用户切换操作所携带的用户标识,将该用户标识所表征的用户确定目标切换用户。进而将操作系统由当前用户(即接收到用户切换操作时已经登录到操作系统的用户)切换至目标切换用户。
比如,请继续参照图2,输入的用户切换操作将携带子用户1的用户标识,此时电子设备相应将子用户1确定为目标切换用户。假设当前用户为主用户,则电子设备将操作系统的运行环境由主用户(即当前用户)的运行环境切换为子用户1的运行环境,实现操作系统由主用户至子用户1的切换,其中具体切换过程此处不做赘述。
在102中,基于目标切换用户对当前已启动的语音唤醒进程进行初始化操作。
在将操作系统由当前用户切换至目标切换用户之后,电子设备并不启动新的的语音唤醒进程,而是基于目标切换用户对当前已启动的语音唤醒进程进行初始化操作(即执行init操作),从而将当前已启动的语音唤醒进程与目标切换用户关联。其中,初始化操作具体过程此处不做赘述。
在103中,基于语音唤醒进程加载对应目标切换用户的语音唤醒模型。
在完成对当前已启动的语音唤醒进程的初始化操作之后,电子设备进一步基于语音唤醒进程加载对应目标切换用户的语音唤醒模型,进入唤醒监听状态。
在唤醒监听状态时,电子设备将实时通过其配置的麦克风对外部的声音进行采集,得到音频数据,并基于语音唤醒进程将采集到的音频数据提供给语音唤醒模型进行唤醒检测,若检测通过,则唤醒语音交互应用,利用语音交互应用实现人机交互。其中,语音交互应用即俗称的语音助手,比如OPPO的小欧。
由上可知,本申请中首先接收针对操作系统的用户切换操作,并根据该用户切换操作将操作系统由当前用户切换至目标切换用户;然后,基于目标切换用户对当前已启动的语音唤醒进程进行初始化操作,使得当前已启动的语音唤醒进程与目标切换用户关联,由此来避免多个语音唤醒进程导致的冲突;另外,还基于初始化后的语音唤醒进程加载对应目标切换用户的语音唤醒模型,以利用适配于目标切换用户的语音唤醒模型更好的进行唤醒控制。
在一实施例中,基于语音唤醒进程加载对应目标切换用户的语音唤醒模型,包括:
(1)基于语音唤醒进程识别对应目标切换用户的模型存储路径中是否存储有前述语音唤醒模型;
(2)若存储有,则基于语音唤醒进程加载前述语音唤醒模型。
应当说明的是,本申请实施例中,针对不同的用户,分别分配有不同的模型存储路径。可以理解的是,语音唤醒进程能够加载语音唤醒模型的前提是必须存在该语音唤醒模型。相应的,为了确保成功加载到对应目标切换用户的语音唤醒模型,电子设备首先基于语音唤醒进程搜索对应目标切换用户的模型存储路径,以识别其中是否存在对应目标切换用户的语音唤醒模型,若存储有,则电子设备可基于语音唤醒进程从前述模型存储路径中加载前述语音唤醒模型。
示例性的,假设电子设备的操作系统共注册有主用户、子用户1和子用户2三个不同的用户,则电子设备将分别为主用户、子用户1和子用户2分配有模型储存路径。比如,假设将主用户的用户标识记为“userid0”,将子用户1的用户标识记为“userid10”,将子用户2的用户标识记为“userid11”,则对应主用户的模型存储路径为“/data/kws/userid0/”,对应子用户1的模型存储路径为“/data/kws/userid10/”,对应子用户2的模型存储路径为“/data/kws/userid11/”。相应的,若目标切换用户为主用户,电子设备将基于语音唤醒进程识别模型储存路径“/data/kws/userid0/”中是否存储有主用户的语音唤醒模型;若目标切换用户为子用户1,电子设备将基于语音唤醒进程识别模型储存路径“/data/kws/userid10/”中是否存储有子用户1的语音唤醒模型;若目标切换用户为子用户2,电子设备将基于语音唤醒进程识别模型储存路径“/data/kws/userid11/”中是否存储有子用户2的语音唤醒模型。
在一实施例中,基于语音唤醒进程识别对应目标切换用户的模型存储路径中是否存储有前述语音唤醒模型之后,还包括:
(1)若未存储有,则输出提示目标切换用户生成语音唤醒模型的提示信息;
(2)采集目标切换用户根据提示信息说出的语音数据;
(3)根据语音数据训练得到对应目标切换用户的语音唤醒模型,并存储至对应目标切换用户的模型存储路径中;
(4)基于语音唤醒进程加载语音唤醒模型。
可以理解的是,在实际使用中,可能尚未生成对目标切换用户语音唤醒模型,此时将导致对应目标切换用户的模型存储路径中不存在对应目标切换用户的语音唤醒模型。
本申请实施例中,当识别到对应目标切换用户的模型存储路径中未存储有前述语音唤醒模型时,相应基于语音唤醒进程输出提示目标切换用户生成语音唤醒模型的提示信息。应当说明的是,本申请实施例中对该提示信息的具体内容不做限制,可由本领域普通技术人员根据实际需要进行设置。
在接收到目标切换用户基于前述提示信息输入的确认操作时,电子设备进一步基于语音唤醒进程输出第二提示信息,该第二提示信息用于提示目标切换用户说出预设唤醒词。
其中,电子设备可以通过多种不同的方式输出用于提示目标切换用户说出预设唤醒词的提示信息,包括但不限于以音频方式输出第二提示信息,以及以图像方式输出第二提示信息等。比如,请参照图3,电子设备在其屏幕显示第二提示信息:请说出“小欧小欧”,其中小欧小欧为预设唤醒词。此外,电子设备在输出第二提示信息时,可以持续输出该第二提示信息,直至采集到目标切换用户的语音数据,还可以仅输出预设时长,该预设时长可由本领域普通技术人员根据实际需要配置,比如,可以配置为5秒。
如上所述,电子设备输出第二提示信息的目的在于采集目标切换用户说出预设唤醒词的语音数据,相应的,电子设备还通过麦克风采集得到目标切换用户说出的包括预设唤醒词的语音数据。
应当说明的是,本申请实施例中预先训练有对应预设唤醒词的通用唤醒模型,对于预设唤醒词的内容,本申请实施例中不做限制,可由本领域普通技术人员根据实际需要进行配置,比如,本申请实施例中预设唤醒词配置为“小欧小欧”。其中,在训练对应预设唤醒词的通用唤醒模型时,电子设备首先采集多个不同其它用户(比如两百个不同的其它用户)分别说出预设唤醒词的样本语音数据,然后提取各样本语音数据的声学特征,并根据提取到的声学特征构建训练样本集,然后根据构建的训练样本集进行训练,得到一个包括多维度特征的通用唤醒模型。可以看出,由于通用唤醒模型采用大量与特定人(即用户)无关的语音数据训练得到,其仅拟合人的声学特征分布,并不代表某个具体的人。对于提取何种声学特征来训练得到的通用唤醒模型,本申请实施例中对此不做具体限制,可由本领域普通技术人员根据实际需要预先设定。
本申请实施例中,还基于语音唤醒进程加载预训练的通用唤醒模型,当每次采集到语音数据时,利用加载的通用唤醒模型来校验采集到的语音数据。其中,首先提取采集到的语音数据的声学特征,并将提取的声学特征输入通用唤醒模型中,由通用唤醒模型对该声学特征进行校验,并输出一个分值,当输出的分值达到第一预设阈值时,电子设备判定采集到的语音数据与通用唤醒模型匹配,否则不匹配,由于通用唤醒模型基于包括预设唤醒词的样本语音数据训练得到,当采集到的语音数据与通用唤醒模型匹配时,即说明该语音数据中包括预设唤醒词。比如,本申请实施例中,通用唤醒模型的输出分值的区间为[0,1],第一预设阈值配置为0.40,也即是当采集到的语音数据的声学特征所对应的分值达到0.40时,电子设备将判定该语音数据包括预设唤醒词。
如上所述,当电子设备判断出采集到的语音数据中包括预设唤醒词时,保留该语音数据用于后续处理。
此外,当采集到的语音数据中不存在预设唤醒词时,则丢弃该语音数据,并重新采集目标切换用户的语音数据,直至采集到包括预设唤醒词的语音数据。
本申请实施例中,还根据采集到的语音数据训练得到对应目标切换用户的语音唤醒模型,并存储至对应目标切换用户的模型存储路径中。其中,对于前述语音唤醒模型的训练方式,本申请实施例中不做具体限制,可由本领域普通技术人员根据实际需要进行配置。
相应的,在将训练得到前述语音唤醒模型存储至对应目标切换用户的模型存储路径中之后,电子设备即基于语音唤醒进程加载该语音唤醒模型,用于进行唤醒控制。
在一实施例中,根据语音数据训练得到对应目标切换用户的语音唤醒模型,包括:
获取通用唤醒模型,根据语音数据对通用唤醒模型进行自适应处理,得到语音唤醒模型。
本申请进一步提供一种可选的模型训练方式。其中,在采集到目标切换用户说出的包括预设唤醒词的语音数据之后,电子设备进一步获取到预先训练的通用唤醒模型,并提取前述语音数据的声学特征,基于该通用唤醒模型对提取到的声学特征进行自适应处理,从而得到对应目标切换用户的声纹唤醒模型。
其中,自适应处理是指将通用唤醒模型中的与说话人(即目标切换用户)的语音数据相近的一部分非特定说话人的声学特征作为用户的声学特征的处理方法,该自适应处理可以采用最大后验估计算法实现。最大后验估计是根据经验数据获得对难以观察的量的估计,估计过程中,需利用先验概率和贝叶斯定理得到后验概率,目标函数(即表示目标切换用户的声纹唤醒模型的表达式)为后验概率的似然函数,求得该似然函数最大时的参数值(可采用梯度下降算法求出似得然函数的最大值),也就实现将通用唤醒模型中的与目标切换用户相近的一部分非特定说话人语音特征作为目标切换用户的声学特征一同训练的效果,根据求得的似然函数最大时的参数值获取到与目标切换用户相对应的声纹模型,作为对应目标切换用户的语音唤醒模型。
在一实施例中,基于语音唤醒进程加载对应目标切换用户的语音唤醒模型之前,还包括:
(1)识别当前是否已启动语音唤醒模式;
(2)若当前已启动语音唤醒模式,则基于语音唤醒进程加载对应目标切换用户的语音唤醒模型。
应当说明的是,本申请仅在需要时进行唤醒控制。
相应的,电子设备在基于语音唤醒进程加载对应目标切换用户的语音唤醒模型之前,识别当前是否已启动语音唤醒模式,若识别到当前已启动语音唤醒模型,若识别到当前已启动语音唤醒模型,则基于语音唤醒进程加载对应目标切换用户的语音唤醒模型。
示例性的,请参照图4,电子设备提供有语音唤醒控制界面,该语音唤醒控制界面包括语音唤醒控制开关。如图4所示,该语音唤醒控制开关包括一圆形滑块,当该圆形滑块并拨至右侧时,电子设备将启动语音唤醒模式,当该圆形滑块被拨至左侧时,电子设备将关闭语音唤醒模式。
相应的,在识别当前是否以启动语音唤醒模式时,可以通过判断语音唤醒控制开关的状态来实现。其中,本申请对于语音唤醒控制开关的状态的存储位置不做限制,可由本领域普通技术人员根据实际需要进行配置。
在一实施例中,接收针对操作系统的用户切换操作之前,还包括:
配置操作系统只启动一个语音唤醒进程。
本申请实施例中,还预先配置操作系统只启动一个语音唤醒进程。
比如,当电子设备的操作系统为安卓系统时,可以按照如下方式进行配置:
将语音唤醒进程的provider(内容提供者)设置为singleuser属性,android:SingleUser=true。在这种情况下,电子设备将只启动一个语音唤醒进程,从而不会在切换用户时启动新的语音唤醒进程。
在一实施例中,基于语音唤醒进程加载对应目标切换用户的语音唤醒模型之后,还包括:
(1)获取对应目标切换用户的麦克风配置参数;
(2)根据麦克风配置参数对麦克风进行配置,以基于语音唤醒进程利用配置后麦克风监听外部语音。
可以理解的是,不同的用户往往具备不同的说话习惯,本申请实施例中针对不同的用户,配置有适于采集不同用户的语音数据麦克风配置参数。其中。麦克风配置参数比如拾音距离和降噪强度等。
相应的,电子设备在基于语音唤醒进程加载对应目标切换用户的语音唤醒模型之后,还获取到对应目标切换用户的麦克风配置参数,并根据该麦克风配置参数对麦克风进行配置,以基于语音唤醒进程利用配置后的麦克风监听外部语音,从而更好的进行唤醒控制。
图5为本申请实施例提供的唤醒控制方法的另一流程示意图。该唤醒控制方法应用于本申请提供的电子设备,如图5所示,本申请实施例提供的唤醒控制方法的流程可以如下:
在201中,电子设备配置操作系统只启动一个语音唤醒进程。
本申请以下实施例中以电子设备配置的操作系统为安卓系统进行说明。
本申请实施例中,预先配置操作系统只启动一个语音唤醒进程。
示例性的,可以按照如下方式进行配置:
将语音唤醒进程的provider(内容提供者)设置为singleuser属性,android:SingleUser=true。在这种情况下,电子设备将只启动一个语音唤醒进程,从而不会在切换用户时启动新的语音唤醒进程。
在202中,电子设备接收针对操作系统的用户切换操作,并根据用户切换操作将操作系统由当前用户切换至目标切换用户。
其中,对于用户切换操作的输入方式,本申请实施例中不做具体限制,可由本领域普通技术人员根据实际需要进行配置。
示例性的,请参照图2,电子设备提供有多用户界面,该多用户用户界面提供有操作系统当前已注册的用户可供选择,如图2所示的主用户、子用户1以及子用户2的用户选项。当其中的用户选项被选定时,将相应输入用户切换操作,该用户切换操作携带有选定的用户选项所对应的用户标识,如图2所示,此时输入的用户切换操作将携带有子用户1的用户标识。
电子设备在接收到针对操作系统的用户切换操作之后,即解析出该用户切换操作所携带的用户标识,将该用户标识所表征的用户确定目标切换用户。进而将操作系统由当前用户(即接收到用户切换操作时已经登录到操作系统的用户)切换至目标切换用户。
比如,请继续参照图2,输入的用户切换操作将携带子用户1的用户标识,此时电子设备相应将子用户1确定为目标切换用户。假设当前用户为主用户,则电子设备将操作系统的运行环境由主用户(即当前用户)的运行环境切换为子用户1的运行环境,实现操作系统由主用户至子用户1的切换,其中具体切换过程此处不做赘述。
在203中,电子设备基于目标切换用户对当前已启动的语音唤醒进程进行初始化操作。
在将操作系统由当前用户切换至目标切换用户之后,电子设备并不启动新的的语音唤醒进程,而是基于目标切换用户对当前已启动的语音唤醒进程进行初始化操作(即执行init操作),从而将当前已启动的语音唤醒进程与目标切换用户关联。其中,初始化操作具体过程此处不做赘述。
在204中,电子设备基于语音唤醒进程识别对应目标切换用户的模型存储路径中是否存储有语音唤醒模型,是则转入205,否则转入206。
应当说明的是,本申请实施例中,针对不同的用户,分别分配有不同的模型存储路径。可以理解的是,语音唤醒进程能够加载语音唤醒模型的前提是必须存在该语音唤醒模型。相应的,为了确保成功加载到对应目标切换用户的语音唤醒模型,电子设备首先基于语音唤醒进程搜索对应目标切换用户的模型存储路径,以识别其中是否存在对应目标切换用户的语音唤醒模型。
示例性的,假设电子设备的操作系统共注册有主用户、子用户1和子用户2三个不同的用户,则电子设备将分别为主用户、子用户1和子用户2分配有模型储存路径。比如,假设将主用户的用户标识记为“userid0”,将子用户1的用户标识记为“userid10”,将子用户2的用户标识记为“userid11”,则对应主用户的模型存储路径为“/data/kws/userid0/”,对应子用户1的模型存储路径为“/data/kws/userid10/”,对应子用户2的模型存储路径为“/data/kws/userid11/”。相应的,若目标切换用户为主用户,电子设备将基于语音唤醒进程识别模型储存路径“/data/kws/userid0/”中是否存储有主用户的语音唤醒模型;若目标切换用户为子用户1,电子设备将基于语音唤醒进程识别模型储存路径“/data/kws/userid10/”中是否存储有子用户1的语音唤醒模型;若目标切换用户为子用户2,电子设备将基于语音唤醒进程识别模型储存路径“/data/kws/userid11/”中是否存储有子用户2的语音唤醒模型。
在205中,电子设备加载前述模型存储路径中存储的语音唤醒模型。
若存储有,则电子设备可基于语音唤醒进程从前述模型存储路径中加载前述语音唤醒模型,进入唤醒监听状态。
在唤醒监听状态时,电子设备将实时通过其配置的麦克风对外部的声音进行采集,得到音频数据,并基于语音唤醒进程将采集到的音频数据提供给语音唤醒模型进行唤醒检测,若检测通过,则唤醒语音交互应用,利用语音交互应用实现人机交互。其中,语音交互应用即俗称的语音助手,比如OPPO的小欧。
在206中,电子设备输出提示目标切换用户生成语音唤醒模型的提示信息。
可以理解的是,在实际使用中,可能尚未生成对目标切换用户语音唤醒模型,此时将导致对应目标切换用户的模型存储路径中不存在对应目标切换用户的语音唤醒模型。
本申请实施例中,当识别到对应目标切换用户的模型存储路径中未存储有前述语音唤醒模型时,相应基于语音唤醒进程输出提示目标切换用户生成语音唤醒模型的提示信息。应当说明的是,本申请实施例中对该提示信息的具体内容不做限制,可由本领域普通技术人员根据实际需要进行设置。
在207中,电子设备采集目标切换用户根据提示信息说出的语音数据。
在接收到目标切换用户基于前述提示信息输入的确认操作时,电子设备进一步基于语音唤醒进程输出第二提示信息,该第二提示信息用于提示目标切换用户说出预设唤醒词。
其中,电子设备可以通过多种不同的方式输出用于提示目标切换用户说出预设唤醒词的提示信息,包括但不限于以音频方式输出第二提示信息,以及以图像方式输出第二提示信息等。比如,请参照图3,电子设备在其屏幕显示第二提示信息:请说出“小欧小欧”,其中小欧小欧为预设唤醒词。此外,电子设备在输出第二提示信息时,可以持续输出该第二提示信息,直至采集到目标切换用户的语音数据,还可以仅输出预设时长,该预设时长可由本领域普通技术人员根据实际需要配置,比如,可以配置为5秒。
如上所述,电子设备输出第二提示信息的目的在于采集目标切换用户说出预设唤醒词的语音数据,相应的,电子设备还通过麦克风采集得到目标切换用户说出的包括预设唤醒词的语音数据。
应当说明的是,本申请实施例中预先训练有对应预设唤醒词的通用唤醒模型,对于预设唤醒词的内容,本申请实施例中不做限制,可由本领域普通技术人员根据实际需要进行配置,比如,本申请实施例中预设唤醒词配置为“小欧小欧”。其中,在训练对应预设唤醒词的通用唤醒模型时,电子设备首先采集多个不同其它用户(比如两百个不同的其它用户)分别说出预设唤醒词的样本语音数据,然后提取各样本语音数据的声学特征,并根据提取到的声学特征构建训练样本集,然后根据构建的训练样本集进行训练,得到一个包括多维度特征的通用唤醒模型。可以看出,由于通用唤醒模型采用大量与特定人(即用户)无关的语音数据训练得到,其仅拟合人的声学特征分布,并不代表某个具体的人。对于提取何种声学特征来训练得到的通用唤醒模型,本申请实施例中对此不做具体限制,可由本领域普通技术人员根据实际需要预先设定。
本申请实施例中,还基于语音唤醒进程加载预训练的通用唤醒模型,当每次采集到语音数据时,利用加载的通用唤醒模型来校验采集到的语音数据。其中,首先提取采集到的语音数据的声学特征,并将提取的声学特征输入通用唤醒模型中,由通用唤醒模型对该声学特征进行校验,并输出一个分值,当输出的分值达到第一预设阈值时,电子设备判定采集到的语音数据与通用唤醒模型匹配,否则不匹配,由于通用唤醒模型基于包括预设唤醒词的样本语音数据训练得到,当采集到的语音数据与通用唤醒模型匹配时,即说明该语音数据中包括预设唤醒词。比如,本申请实施例中,通用唤醒模型的输出分值的区间为[0,1],第一预设阈值配置为0.40,也即是当采集到的语音数据的声学特征所对应的分值达到0.40时,电子设备将判定该语音数据包括预设唤醒词。
如上所述,当电子设备判断出采集到的语音数据中包括预设唤醒词时,保留该语音数据用于后续处理。
此外,当采集到的语音数据中不存在预设唤醒词时,则丢弃该语音数据,并重新采集目标切换用户的语音数据,直至采集到包括预设唤醒词的语音数据。
在208中,电子设备根据语音数据训练得到对应目标切换用户的语音唤醒模型,并存储至对应目标切换用户的模型存储路径中,转入205。
本申请实施例中,还根据采集到的语音数据训练得到对应目标切换用户的语音唤醒模型,并存储至对应目标切换用户的模型存储路径中。
示例性的,电子设备进一步获取到预先训练的通用唤醒模型,并提取前述语音数据的声学特征,基于该通用唤醒模型对提取到的声学特征进行自适应处理,从而得到对应目标切换用户的声纹唤醒模型。
其中,自适应处理是指将通用唤醒模型中的与说话人(即目标切换用户)的语音数据相近的一部分非特定说话人的声学特征作为用户的声学特征的处理方法,该自适应处理可以采用最大后验估计算法实现。最大后验估计是根据经验数据获得对难以观察的量的估计,估计过程中,需利用先验概率和贝叶斯定理得到后验概率,目标函数(即表示目标切换用户的声纹唤醒模型的表达式)为后验概率的似然函数,求得该似然函数最大时的参数值(可采用梯度下降算法求出似得然函数的最大值),也就实现将通用唤醒模型中的与目标切换用户相近的一部分非特定说话人语音特征作为目标切换用户的声学特征一同训练的效果,根据求得的似然函数最大时的参数值获取到与目标切换用户相对应的声纹模型,作为对应目标切换用户的语音唤醒模型。
请参照图6,图6为本申请实施例提供的唤醒控制装置的结构示意图。该唤醒控制装置应用于本申请提供的电子设备。如图6所示,唤醒控制装置可以包括用户切换模块301、初始化模块302以及模型加载模块303,其中,
用户切换模块301,用于接收针对操作系统的用户切换操作,并根据用户切换操作将操作系统由当前用户切换至目标切换用户;
初始化模块302,用于基于目标切换用户对当前已启动的语音唤醒进程进行初始化操作;
模型加载模块303,用于基于语音唤醒进程加载对应目标切换用户的语音唤醒模型。
在一实施例中,在基于语音唤醒进程加载对应目标切换用户的语音唤醒模型时,模型加载模块303用于:
基于语音唤醒进程识别对应目标切换用户的模型存储路径中是否存储有前述语音唤醒模型;
若存储有,则基于语音唤醒进程加载前述语音唤醒模型。
在一实施例中,本申请提供的唤醒控制装置还包括模型训练模块,在模型加载模块303基于语音唤醒进程识别对应目标切换用户的模型存储路径中是否存储有前述语音唤醒模型之后,用于:
若未存储有,则输出提示目标切换用户生成语音唤醒模型的提示信息;
采集目标切换用户根据提示信息说出的语音数据;
根据语音数据训练得到对应目标切换用户的语音唤醒模型,并存储至对应目标切换用户的模型存储路径中;
基于语音唤醒进程加载前述语音唤醒模型。
在一实施例中,在根据语音数据训练得到对应目标切换用户的语音唤醒模型时,模型训练模块用于:
获取通用唤醒模型,根据语音数据对通用唤醒模型进行自适应处理,得到语音唤醒模型。
在一实施例中,在基于语音唤醒进程加载对应目标切换用户的语音唤醒模型之前,模型加载模块303还用于:
识别当前是否已启动语音唤醒模式;
若当前已启动语音唤醒模式,则基于语音唤醒进程加载对应目标切换用户的语音唤醒模型。
在一实施例中,本申请提供的唤醒控制装置还包括进程配置模块,在用户切换模块301接收针对操作系统的用户切换操作之前,用于:
配置操作系统只启动一个语音唤醒进程。
在一实施例中,本申请提供的唤醒控制装置还包括参数配置模块,在基于语音唤醒进程加载对应目标切换用户的语音唤醒模型之后,用于:
获取对应目标切换用户的麦克风配置参数;
根据麦克风配置参数对麦克风进行配置,以基于语音唤醒进程利用配置后麦克风监听外部语音。
应当说明的是,本申请实施例提供的唤醒控制装置与上文实施例中的唤醒控制方法属于同一构思,唤醒控制装置可以运行唤醒控制方法实施例中提供的任一方法,其具体实现过程详见以上相关实施例,此处不再赘述。
本申请实施例提供一种存储介质,其上存储有指令执行程序,当其存储的指令执行程序在本申请实施例提供的电子设备上执行时,使得电子设备执行如本申请实施例提供的唤醒控制方法中的步骤。其中,存储介质可以是磁碟、光盘、只读存储器(Read OnlyMemory,ROM)或者随机存取器(Random Access Memory,RAM)等。
本申请实施例还提供一种电子设备,请参照图7,电子设备包括处理器401和存储器402。
本申请实施例中的处理器是通用处理器,比如ARM架构的处理器。
存储器402中存储有计算机程序,其可以为高速随机存取存储器,还可以为非易失性存储器,比如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件等。相应地,存储器402还可以包括存储器控制器,以提供处理器401对存储器402的访问,实现如下功能:
接收针对操作系统的用户切换操作,并根据用户切换操作将操作系统由当前用户切换至目标切换用户;
基于目标切换用户对当前已启动的语音唤醒进程进行初始化操作;
基于语音唤醒进程加载对应目标切换用户的语音唤醒模型。
在一实施例中,在基于语音唤醒进程加载对应目标切换用户的语音唤醒模型时,处理器401用于:
基于语音唤醒进程识别对应目标切换用户的模型存储路径中是否存储有前述语音唤醒模型;
若存储有,则基于语音唤醒进程加载前述语音唤醒模型。
在一实施例中,在基于语音唤醒进程识别对应目标切换用户的模型存储路径中是否存储有前述语音唤醒模型之后,处理器401还用于:
若未存储有,则输出提示目标切换用户生成语音唤醒模型的提示信息;
采集目标切换用户根据提示信息说出的语音数据;
根据语音数据训练得到对应目标切换用户的语音唤醒模型,并存储至对应目标切换用户的模型存储路径中;
基于语音唤醒进程加载前述语音唤醒模型。
在一实施例中,在根据语音数据训练得到对应目标切换用户的语音唤醒模型时,处理器401用于:
获取通用唤醒模型,根据语音数据对通用唤醒模型进行自适应处理,得到语音唤醒模型。
在一实施例中,在基于语音唤醒进程加载对应目标切换用户的语音唤醒模型之前,处理器401还用于:
识别当前是否已启动语音唤醒模式;
若当前已启动语音唤醒模式,则基于语音唤醒进程加载对应目标切换用户的语音唤醒模型。
在一实施例中,在接收针对操作系统的用户切换操作之前,处理器401还用于:
配置操作系统只启动一个语音唤醒进程。
在一实施例中,在基于语音唤醒进程加载对应目标切换用户的语音唤醒模型之后,处理器401还用于:
获取对应目标切换用户的麦克风配置参数;
根据麦克风配置参数对麦克风进行配置,以基于语音唤醒进程利用配置后麦克风监听外部语音。
应当说明的是,本申请实施例提供的电子设备与上文实施例中的唤醒控制方法属于同一构思,在电子设备上可以运行唤醒控制方法实施例中提供的任一方法,其具体实现过程详见以上实施例,此处不再赘述。
需要说明的是,对本申请实施例的唤醒控制方法而言,本领域普通测试人员可以理解实现本申请实施例的唤醒控制方法的全部或部分流程,是可以通过计算机程序来控制相关的硬件来完成,所述计算机程序可存储于一计算机可读取存储介质中,如存储在电子设备的存储器中,并被该电子设备内的处理器执行,在执行过程中可包括如唤醒控制方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储器、随机存取记忆体等。
以上对本申请实施例所提供的一种唤醒控制方法、存储介质及电子设备进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种唤醒控制方法,其特征在于,包括:
接收针对操作系统的用户切换操作,并根据所述用户切换操作将所述操作系统由当前用户切换至目标切换用户;
基于所述目标切换用户对当前已启动的语音唤醒进程进行初始化操作;
基于所述语音唤醒进程加载对应所述目标切换用户的语音唤醒模型。
2.根据权利要求1所述的唤醒控制方法,其特征在于,所述基于所述语音唤醒进程加载对应所述目标切换用户的语音唤醒模型,包括:
基于所述语音唤醒进程识别对应所述目标切换用户的模型存储路径中是否存储有所述语音唤醒模型;
若存储有,则基于所述语音唤醒进程加载所述语音唤醒模型。
3.根据权利要求2所述的唤醒控制方法,其特征在于,所述基于所述语音唤醒进程识别对应所述目标切换用户的模型存储路径中是否存储有所述语音唤醒模型之后,还包括:
若未存储有,则输出提示所述目标切换用户生成语音唤醒模型的提示信息;
采集所述目标切换用户根据所述提示信息说出的语音数据;
根据所述语音数据训练得到对应所述目标切换用户的语音唤醒模型,并存储至对应所述目标切换用户的模型存储路径中;
基于所述语音唤醒进程加载所述语音唤醒模型。
4.根据权利要求3所述的唤醒控制方法,其特征在于,所述根据所述语音数据训练得到对应所述目标切换用户的语音唤醒模型,包括:
获取通用唤醒模型,根据所述语音数据对所述通用唤醒模型进行自适应处理,得到所述语音唤醒模型。
5.根据权利要求1-4任一项所述的唤醒控制方法,其特征在于,所述基于所述语音唤醒进程加载对应所述目标切换用户的语音唤醒模型之前,还包括:
识别当前是否已启动语音唤醒模式;
若当前已启动语音唤醒模式,则基于所述语音唤醒进程加载对应所述目标切换用户的语音唤醒模型。
6.根据权利要求1-4任一项所述的唤醒控制方法,其特征在于,所述接收针对操作系统的用户切换操作之前,还包括:
配置所述操作系统只启动一个语音唤醒进程。
7.根据权利要求1-4任一项所述的唤醒控制方法,其特征在于,所述基于所述语音唤醒进程加载对应所述目标切换用户的语音唤醒模型之后,还包括:
获取对应所述目标切换用户的麦克风配置参数;
根据所述麦克风配置参数对麦克风进行配置,以基于所述语音唤醒进程利用配置后麦克风监听外部语音。
8.一种唤醒控制装置,其特征在于,所述唤醒控制装置包括:
用户切换模块,用于接收针对操作系统的用户切换操作,并根据所述用户切换操作确定目标切换用户;
初始化模块,用于基于所述目标切换用户对当前已启动的语音唤醒进程进行初始化操作;
模型加载模块,用于基于所述语音唤醒进程加载对应所述目标切换用户的语音唤醒模型,以进入唤醒监听状态。
9.一种电子设备,其特征在于,所述电子设备包括处理器和存储器,所述存储器储存有计算机程序,其特征在于,所述处理器通过加载所述计算机程序执行如权利要求1-7任一项所述的唤醒控制方法。
10.一种存储介质,其特征在于,其上存储有计算机程序,其特征在于,当所述计算机程序被处理器加载时执行如权利要求1-7任一项所述的唤醒控制方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010399211.2A CN111599360B (zh) | 2020-05-12 | 2020-05-12 | 唤醒控制方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010399211.2A CN111599360B (zh) | 2020-05-12 | 2020-05-12 | 唤醒控制方法、装置、存储介质及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111599360A true CN111599360A (zh) | 2020-08-28 |
CN111599360B CN111599360B (zh) | 2022-11-29 |
Family
ID=72192103
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010399211.2A Active CN111599360B (zh) | 2020-05-12 | 2020-05-12 | 唤醒控制方法、装置、存储介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111599360B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113035191A (zh) * | 2021-02-26 | 2021-06-25 | 平安普惠企业管理有限公司 | 语音交互方法、装置、存储介质和计算机设备 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110093261A1 (en) * | 2009-10-15 | 2011-04-21 | Paul Angott | System and method for voice recognition |
CN103646646A (zh) * | 2013-11-27 | 2014-03-19 | 联想(北京)有限公司 | 一种语音控制方法及电子设备 |
CN104025614A (zh) * | 2011-10-07 | 2014-09-03 | 诺基亚通信公司 | 对多个用户访问个人电视功能进行冲突处理 |
KR20150086030A (ko) * | 2014-01-17 | 2015-07-27 | 엘지전자 주식회사 | 이동 단말기 및 이의 제어 방법 |
CN106407770A (zh) * | 2015-07-31 | 2017-02-15 | 中兴通讯股份有限公司 | 一种用户切换的方法及装置 |
CN107820188A (zh) * | 2017-11-15 | 2018-03-20 | 深圳市路畅科技股份有限公司 | 一种校准麦克风的方法、系统及相关装置 |
CN107924288A (zh) * | 2015-10-22 | 2018-04-17 | 三星电子株式会社 | 电子设备及其使用语音识别来执行功能的方法 |
CN108182943A (zh) * | 2017-12-29 | 2018-06-19 | 北京奇艺世纪科技有限公司 | 一种智能设备控制方法、装置及智能设备 |
CN109584874A (zh) * | 2018-12-15 | 2019-04-05 | 深圳壹账通智能科技有限公司 | 电器设备控制方法、装置、电器设备及存储介质 |
US20190341049A1 (en) * | 2018-08-31 | 2019-11-07 | Baidu Online Network Technology (Beijing) Co., Ltd. | Voice Smart Device Wake-Up Method, Apparatus, Device and Storage Medium |
CN110491373A (zh) * | 2019-08-19 | 2019-11-22 | Oppo广东移动通信有限公司 | 模型训练方法、装置、存储介质及电子设备 |
-
2020
- 2020-05-12 CN CN202010399211.2A patent/CN111599360B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110093261A1 (en) * | 2009-10-15 | 2011-04-21 | Paul Angott | System and method for voice recognition |
CN104025614A (zh) * | 2011-10-07 | 2014-09-03 | 诺基亚通信公司 | 对多个用户访问个人电视功能进行冲突处理 |
CN103646646A (zh) * | 2013-11-27 | 2014-03-19 | 联想(北京)有限公司 | 一种语音控制方法及电子设备 |
KR20150086030A (ko) * | 2014-01-17 | 2015-07-27 | 엘지전자 주식회사 | 이동 단말기 및 이의 제어 방법 |
CN106407770A (zh) * | 2015-07-31 | 2017-02-15 | 中兴通讯股份有限公司 | 一种用户切换的方法及装置 |
CN107924288A (zh) * | 2015-10-22 | 2018-04-17 | 三星电子株式会社 | 电子设备及其使用语音识别来执行功能的方法 |
CN107820188A (zh) * | 2017-11-15 | 2018-03-20 | 深圳市路畅科技股份有限公司 | 一种校准麦克风的方法、系统及相关装置 |
CN108182943A (zh) * | 2017-12-29 | 2018-06-19 | 北京奇艺世纪科技有限公司 | 一种智能设备控制方法、装置及智能设备 |
US20190341049A1 (en) * | 2018-08-31 | 2019-11-07 | Baidu Online Network Technology (Beijing) Co., Ltd. | Voice Smart Device Wake-Up Method, Apparatus, Device and Storage Medium |
CN109584874A (zh) * | 2018-12-15 | 2019-04-05 | 深圳壹账通智能科技有限公司 | 电器设备控制方法、装置、电器设备及存储介质 |
CN110491373A (zh) * | 2019-08-19 | 2019-11-22 | Oppo广东移动通信有限公司 | 模型训练方法、装置、存储介质及电子设备 |
Non-Patent Citations (1)
Title |
---|
叶硕等: "语音识别中声学模型研究综述", 《计算机技术与发展》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113035191A (zh) * | 2021-02-26 | 2021-06-25 | 平安普惠企业管理有限公司 | 语音交互方法、装置、存储介质和计算机设备 |
CN113035191B (zh) * | 2021-02-26 | 2023-11-10 | 光禹莱特数字科技(上海)有限公司 | 语音交互方法、装置、存储介质和计算机设备 |
Also Published As
Publication number | Publication date |
---|---|
CN111599360B (zh) | 2022-11-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106782554B (zh) | 基于人工智能的语音唤醒方法和装置 | |
CN108829235B (zh) | 语音数据处理方法和支持该方法的电子设备 | |
US10733978B2 (en) | Operating method for voice function and electronic device supporting the same | |
KR102293063B1 (ko) | 사용자 정의 가능한 웨이크업 음성 명령 | |
US9767798B2 (en) | Low power detection of a voice control activation phrase | |
CN111045639B (zh) | 语音输入方法、装置、电子设备及存储介质 | |
CN110780741B (zh) | 模型训练方法、应用运行方法、装置、介质及电子设备 | |
CN112201246B (zh) | 基于语音的智能控制方法、装置、电子设备及存储介质 | |
CN108564948B (zh) | 一种语音识别方法及电子设备 | |
JP2019128938A (ja) | 読話による音声ウェイクアップ方法、装置、設備及びコンピュータ可読媒体 | |
CN106297801A (zh) | 语音处理方法及装置 | |
WO2014086238A1 (zh) | 语音后台控制方法及移动终端 | |
CN110544473B (zh) | 语音交互方法和装置 | |
WO2016124048A1 (zh) | 一种应用程序启动方法和电子设备 | |
WO2018118744A1 (en) | Methods and systems for reducing false alarms in keyword detection | |
KR20200007530A (ko) | 사용자 음성 입력 처리 방법 및 이를 지원하는 전자 장치 | |
CN111599360B (zh) | 唤醒控制方法、装置、存储介质及电子设备 | |
CN109686372B (zh) | 资源播放控制方法和装置 | |
CN112423176A (zh) | 耳机降噪方法、装置、存储介质及降噪耳机 | |
KR102501083B1 (ko) | 음성 인식 방법 및 이를 사용하는 전자 장치 | |
CN108766443A (zh) | 匹配阈值的调整方法、装置、存储介质及电子设备 | |
KR20220139400A (ko) | 디지털 마이크로폰을 가진 오디오 시스템 | |
US9626967B2 (en) | Information processing method and electronic device | |
CN112740321A (zh) | 唤醒设备的方法、装置、存储介质及电子设备 | |
CN111045641B (zh) | 一种电子终端及语音识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |