CN111640434A - 用于控制语音设备的方法和装置 - Google Patents
用于控制语音设备的方法和装置 Download PDFInfo
- Publication number
- CN111640434A CN111640434A CN202010504977.2A CN202010504977A CN111640434A CN 111640434 A CN111640434 A CN 111640434A CN 202010504977 A CN202010504977 A CN 202010504977A CN 111640434 A CN111640434 A CN 111640434A
- Authority
- CN
- China
- Prior art keywords
- voice
- user
- target
- instruction
- equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000004044 response Effects 0.000 claims abstract description 37
- 230000006870 function Effects 0.000 claims abstract description 36
- 238000012545 processing Methods 0.000 claims abstract description 30
- 230000008569 process Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 239000000872 buffer Substances 0.000 claims description 5
- 230000003993 interaction Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 208000033748 Device issues Diseases 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/06—Decision making techniques; Pattern matching strategies
- G10L17/14—Use of phonemic categorisation or speech recognition prior to speaker recognition or verification
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/22—Interactive procedures; Man-machine interfaces
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/225—Feedback of the input speech
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Business, Economics & Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Game Theory and Decision Science (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本公开的实施例公开了用于控制语音设备的方法和装置。该方法的一具体实施方式包括:响应于检测到公用唤醒词,接收用户输入的语音并缓存语音;对语音进行处理,从语音中解析出指令;获取语音设备集的信息列表,其中,信息列表包括每个语音设备的功能和唤醒词;将指令与信息列表中的功能进行匹配,确定出支持指令的目标语音设备;播放目标语音设备的唤醒词;响应于检测到目标语音设备的唤醒应答,播放缓存的语音。该实施方式在多语音设备的场景下,提高了唤醒响应的成功率,并提高了使用的便利性。
Description
技术领域
本公开的实施例涉及计算机技术领域,具体涉及用于控制语音设备的方法和装置。
背景技术
随着技术的发展,现在口音、方言、噪声等场景下的语音识别也达到了可用状态,特别是远场语音识别已经随着智能音箱的兴起成为全球消费电子领域应用最为成功的技术之一。由于语音交互提供了更自然、更便利、更高效的沟通形式,语音必定将成为未来最主要的人机互动接口之一。
随着智能语音的识别率不断提高,越来越多的中国厂商推出自己的智能语音设备。当一个家庭有多个智能语音设备共存时,往往会带来多个问题。首先,用户需要记忆多个唤醒词,譬如“小度小度”,“小爱同学”,“XX小聚”等。特别是家中的老人与小孩,对这些陌生的词语更不容易记住。另外,每个智能语音设备支持的功能不一,譬如有些设备支持天气查询,有些设备支持百科问答,如何选择正确的智能语音设备,来获取期望的答案,往往也考验用户的记忆力。
发明内容
本公开的实施例提出了用于控制语音设备的方法和装置。
第一方面,本公开的实施例提供了一种用于控制语音设备的方法,包括:响应于检测到公用唤醒词,接收用户输入的语音并缓存所述语音;对所述语音进行处理,从所述语音中解析出指令;获取语音设备集的信息列表,其中,所述信息列表包括每个语音设备的功能和唤醒词;将所述指令与所述信息列表中的功能进行匹配,确定出支持所述指令的目标语音设备;播放所述目标语音设备的唤醒词;响应于检测到所述目标语音设备的唤醒应答,播放缓存的语音。
在一些实施例中,该方法还包括:对所述语音进行处理,从所述语音中提取出声纹信息;将所述声纹信息与预先注册的用户声纹库进行匹配,确定出所述用户的身份。
在一些实施例中,该方法还包括:根据所述用户的身份获取所述用户的语音设备使用习惯。
在一些实施例中,将所述指令与所述信息列表中的功能进行匹配,确定出支持所述指令的目标语音设备,包括:将所述指令与所述信息列表中的功能进行匹配,确定出支持所述指令的至少一个候选语音设备;根据所述用户的语音设备使用习惯从所述至少一个候选语音设备中确定出目标语音设备。
在一些实施例中,所述播放所述目标语音设备的唤醒词/缓存的语音,包括:以有声方式播放所述目标语音设备的唤醒词/缓存的语音;或者将所述目标语音设备的唤醒词/缓存的语音转换成超声波,以超声波的方式播放所述目标语音设备的唤醒词/缓存的语音。
第二方面,本公开的实施例提供了一种用于控制语音设备的装置,包括:语音输入单元,被配置成响应于检测到公用唤醒词,接收用户输入的语音并缓存所述语音;语音处理单元,被配置成对所述语音进行处理,从所述语音中解析出指令;设备管理单元,被配置成获取语音设备集的信息列表,其中,所述信息列表包括每个语音设备的功能和唤醒词;目标生成单元,被配置成将所述指令与所述信息列表中的功能进行匹配,确定出支持所述指令的目标语音设备;语音输出单元,被配置成播放所述目标语音设备的唤醒词,并通知所述语音输入单元检测所述目标语音设备的唤醒应答;所述语音输入单元进一步被配置成检测到所述目标语音设备的唤醒应答后,通知所述语音输出单元播放缓存的语音。
在一些实施例中,所述语音处理单元进一步被配置成:对所述语音进行处理,从所述语音中提取出声纹信息;将所述声纹信息与预先注册的用户声纹库进行匹配,确定出所述用户的身份。
在一些实施例中,所述装置还包括用户习惯管理单元,被配置成:根据所述用户的身份获取所述用户的语音设备使用习惯。
在一些实施例中,所述目标生成单元进一步被配置成:将所述指令与所述信息列表中的功能进行匹配,确定出支持所述指令的至少一个候选语音设备;根据所述用户的语音设备使用习惯从所述至少一个候选语音设备中确定出目标语音设备。
在一些实施例中,所述语音输出单元进一步被配置成:以有声方式播放所述目标语音设备的唤醒词/缓存的语音;或者将所述目标语音设备的唤醒词/缓存的语音转换成超声波,以超声波的方式播放所述目标语音设备的唤醒词/缓存的语音。
第三方面,本公开的实施例提供了一种用于控制语音设备的电子设备,包括:一个或多个处理器;存储装置,其上存储有一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如第一方面中任一所述的方法。
第四方面,本公开的实施例提供了一种计算机可读介质,其上存储有计算机程序,其中,所述程序被处理器执行时实现如第一方面中任一所述的方法。
本公开的实施例提供的用于控制语音设备的方法和装置,解决用户需要记忆多个唤醒词可能存在困难的问题,本申请的技术方案不需要记忆不同智能语音设备的唤醒词,用户只需要与智能控制系统进行交互,智能控制系统会根据家庭的智能设备列表及用户习惯,选择最佳的智能语音设备做出应答。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本公开的其它特征、目的和优点将会变得更明显:
图1是本公开的一个实施例可以应用于其中的示例性系统架构图;
图2是根据本公开的用于控制语音设备的方法的一个实施例的流程图;
图3是根据本公开的用于控制语音设备的装置的一个实施例的结构示意图;
图4是根据本公开的用于控制语音设备的装置的一个应用场景的示意图;
图5是适于用来实现本公开的实施例的电子设备的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
图1示出了可以应用本公开的用于控制语音设备的方法或用于控制语音设备的装置的实施例的示例性系统架构100。
如图1所示,系统架构100可以包括智能控制系统101、语音设备102。智能控制系统101、语音设备102之间无网络连接,直接靠声波传输数据。
用户可以使用智能控制系统101与语音设备102交互,以接收或发送消息等。智能控制系统中还包括麦克风1011和扬声器1012。用户说出预设的公用唤醒词,麦克风1011接收到公用唤醒词后可进行离线识别,如果识别出是公用唤醒词,则回复响应消息,让用户继续说出语音。然后麦克风1011继续接收语音,并缓存语音。智能控制系统101识别出能够执行该语音对应的指令的语音设备,设置为目标语音设备。通过扬声器1012播放目标语音设备的唤醒词,等到接收到目标语音设备的响应消息后,将缓存的语音播放,目标语音设备检测到语音后进行语音识别,执行语音对应的指令。
智能控制系统101可以是硬件,也可以是软件。当智能控制系统101为硬件时,可以是具有麦克风和扬声器并且支持语音交互功能的各种电子设备,包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture Experts Group Audio Layer III,动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio LayerIV,动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。当智能控制系统101为软件时,可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务),也可以实现成单个软件或软件模块。在此不做具体限定。
语音设备102可以是智能音箱或智能电视等智能语音设备。除此之外,空调,冰箱,各种小家电厂商都有其智能语音设备。
需要说明的是,本公开的实施例所提供的用于控制语音设备的方法一般由智能控制系统101执行,相应地,用于控制语音设备的装置一般设置于智能控制系统101中。
应该理解,图1中的智能控制系统和语音设备的数目仅仅是示意性的。根据实现需要,可以具有任意数目的智能控制系统和语音设备。
继续参考图2,示出了根据本公开的用于控制语音设备的方法的一个实施例的流程200。该用于控制语音设备的方法,包括以下步骤:
步骤201,响应于检测到公用唤醒词,接收用户输入的语音并缓存语音。
在本实施例中,用于控制语音设备的方法的执行主体(例如图1所示的智能控制系统)通过麦克风接收到用户语音后,进行唤醒词检测。唤醒词检测过程中先将语音通过ASR(Automatic Speech Recognition,自动语音识别)技术转换成文本,再跟预存的公用唤醒词进行匹配。每个语音设备都有一个唤醒词,接收到相应的唤醒词后设备才会被唤醒,接收用户指令。而智能控制系统使用的是公用唤醒词,不同于其它语音设备的唤醒词。用户通过公用唤醒词,可调用所有的语音设备,这样用户就不用去记忆所有语音设备的唤醒词。如果用户输入的是公用唤醒词,则通过扬声器播放应答,例如,“在呢”。然后用户再继续输入语音,智能控制系统将该语音缓存起来,等到确定出用户想控制的是哪台语音设备时,再唤醒目标语音设备后播放该语音。
步骤202,对语音进行处理,从语音中解析出指令。
在本实施例中,智能控制系统可离线对语音进行处理,从语音中解析出指令。还可通过语音识别服务器、语义理解服务器对语音进行处理,从语音中解析出指令。对语音进行处理包括对用户的语音进行内容识别及自然语言理解,解析语音元数据信息。语音元数据信息可包含用户的声纹信息以及语音的行为信息。语音的声纹信息用于鉴定用户身份。语音的行为信息包含用户期待执行的指令,譬如搜索电视节目,或者调节电视音量等。
语音识别服务器,用于接收智能控制系统发送的语音,并将语音中的词汇内容转换为计算机可读的输入,例如按键、二进制编码或者字符序列。与说话人识别及说话人确认不同,后者尝试识别或确认发出语音的说话人而非其中所包含的词汇内容。语音识别服务器上安装有语音识别系统。语音识别系统一般分训练和解码两阶段。训练,即通过大量标注的语音数据训练声学模型。解码,即通过声学模型和语言模型将训练集外的语音数据识别成文字,训练的声学模型好坏直接影响识别的精度。
语义理解服务器,用于接收智能控制系统发送的文字结果,并根据文字结果进行语义分析。语义分析指运用各种方法,学习与理解一段文本所表示的语义内容,任何对语言的理解都可以归为语义分析的范畴。一段文本通常由词、句子和段落来构成,根据理解对象的语言单位不同,语义分析又可进一步分解为词汇级语义分析、句子级语义分析以及篇章级语义分析。一般来说,词汇级语义分析关注的是如何获取或区别单词的语义,句子级语义分析则试图分析整个句子所表达的语义,而篇章语义分析旨在研究自然语言文本的内在结构并理解文本单元(可以是句子从句或段落)间的语义关系。简单地讲,语义分析的目标就是通过建立有效的模型和系统,实现在各个语言单位(包括词汇、句子和篇章等)的自动语义分析,从而实现理解整个文本表达的真实语义。
步骤203,获取语音设备集的信息列表。
在本实施例中,智能控制系统可控制多个语音设备,信息列表记录了每个语音设备的功能和唤醒词。例如,B音箱的唤醒词“小度小度”,功能包括播放歌曲、查询资料,Z电视的唤醒词“XX小聚”,功能包括播放电视。可预先配置语音设备集的信息列表,即用户主动将家庭中现有或者新增的语音设备添加到语音设备集中,并设置好每个语音设备对应的唤醒词。
步骤204,将指令与信息列表中的功能进行匹配,确定出支持指令的目标语音设备。
在本实施例中,指令中明示或暗示了要执行的操作。将指令与信息列表中的功能进行匹配,查看有哪些语音设备能支持该指令。将支持该指令的语音设备确定为目标语音设备。
在本实施例的一些可选的实现方式中,如果有多个支持该指令的语音设备,则需要进一步通过用户的习惯来确认唯一的目标语音设备。用户习惯包含设备使用时间,设备使用时长以及设备使用功能等。
首先,对语音进行处理,从语音中提取出声纹信息;将声纹信息与预先注册的用户声纹库进行匹配,确定出用户的身份。然后,根据用户的身份获取用户的语音设备使用习惯,最后,将指令与信息列表中的功能进行匹配,确定出支持指令的至少一个候选语音设备;根据用户的语音设备使用习惯从至少一个候选语音设备中确定出目标语音设备。声纹识别的具体过程如下所示:
可通过声纹识别确定用户的身份信息。用户的身份信息可包括女主人、男主人、老人、儿童、未注册用户等。声纹是用电声学仪器显示的携带言语信息的声波频谱。现代科学研究表明,声纹不仅具有特定性,而且有相对稳定性的特点。声纹特征向量可以是标识用户的声纹频谱特征的向量。如果一段音频中存在多个人的声音,则可以提取出多个声纹特征向量。需要说明的是,基于语音生成声纹特征向量是目前广泛研究和应用的公知技术,在此不再赘述。可通过神经网络模型识别出语音信号的声纹,将该声纹与智能控制系统所存储的声纹库进行匹配。只有匹配成功后,才能响应语音控制要求。用户可以提前将自己的声纹录入智能控制系统所存储的声纹库。智能控制系统所有者能够根据自己的需求,随时增加或者删除能够进行语音设备控制的人员。
在录入声纹时还可建立指令权限表,其中,指令权限表用于表征语音设备标识、身份信息、控制指令类型的对应关系。控制指令类型包括两部分:“动作”和“设备”。动作可以包括打开、关闭等。指令权限表的设置可例如,身份信息为男主人或女主人,他/她可控制所有的语音设备,因此男主人或女主人在指令权限表中与所有的语音设备标识和所有的控制指令类型相对应。如果身份信息为儿童,则他拥有很少的权限,他不能控制与安全相关的语音设备。可结合用户的权限选择目标语音设备。
智能控制系统可监控用户对所有语音设备的使用习惯。例如,可通过检测到专用的唤醒词来判断出用户身份以及他所使用的语音设备。还可记录使用时间、频次。例如,男主人晚上8点-10点间使用X电视看100次,晚上8点-10点间使用Y音箱看电视1次,在10点之后使用Y音箱查询天气200次等等。
步骤205,播放目标语音设备的唤醒词。
在本实施例中,当确定出目标语音设备后,也就确定出了唤醒词。可通过有声方式或无声方式播放目标语音设备的唤醒词,有声方式即通过普通音箱的方式播放唤醒词语音。无声方式是通过特定的硬件,将唤醒词语音转换成人耳听不到的超声波,这需要目标语音设备支持相应的声波识别。这样可以隐藏通过智能控制系统中转唤醒词的操作。
步骤206,响应于检测到目标语音设备的唤醒应答,播放缓存的语音。
在本实施例中,播放目标语音设备的唤醒词后,目标语音设备能识别出是自己的唤醒词,目标语音设备会播放唤醒应答,例如“在呢”。智能控制系统监测到目标语音设备的声音后,进行语音识别,如果识别出是唤醒应答,则可以播放缓存的语音。可通过有声方式或无声方式播放缓存的语音。
智能控制系统可识别出各种语音设备的唤醒应答,可通过声纹判别出哪个语音设备发出的唤醒应答。如果缓存了针对不同语音设备的多条语音,则可根据响应的语音设备的声纹特征确定出哪个语音设备发出的唤醒应答,然后针对性地播放该语音设备对应的语音。
本申请解决了用户在家庭中存在多个智能语音设备时,需要记忆多个唤醒词可能存在困难的情况,使用本申请的技术方案不需要记忆不同智能语音设备的唤醒词,用户只需要与智能控制系统进行交互,智能控制系统会根据家庭的智能设备列表及用户习惯,选择最佳的智能语音设备做出应答。
进一步参考图3,作为对上述各图所示方法的实现,本公开提供了一种用于控制语音设备的装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图3所示,本实施例的用于控制语音设备的装置300包括:语音输入单元301、语音处理单元302、设备管理单元303、目标生成单元305、语音输出单元306。其中,语音输入单元301,被配置成响应于检测到公用唤醒词,接收用户输入的语音并缓存语音;语音处理单元302,被配置成对语音进行处理,从语音中解析出指令;设备管理单元303,被配置成获取语音设备集的信息列表,其中,信息列表包括每个语音设备的功能和唤醒词。设备管理单元应能够提供当前市场所能支持的语音设备列表供用户进行添加及设置,并能够准确的定义提供每个语音设备所支持的功能;目标生成单元305,被配置成将指令与信息列表中的功能进行匹配,确定出支持指令的目标语音设备;语音输出单元306,被配置成播放目标语音设备的唤醒词,并通知语音输入单元检测目标语音设备的唤醒应答;语音输入单元301进一步被配置成检测到目标语音设备的唤醒应答后,通知语音输出单元播放缓存的语音。
在本实施例中,用于控制语音设备的装置300的语音输入单元301、语音处理单元302、设备管理单元303、目标生成单元305、语音输出单元306的具体处理可以参考图2对应实施例中的步骤201-206。
在本实施例的一些可选的实现方式中,目标生成单元305将目标语音设备的唤醒词传递给语音输出单元306。
在本实施例的一些可选的实现方式中,语音输出单元306向目标智能设备发送唤醒词后,会通知语音输入单元301,侦听目标智能设备做出的唤醒应答语音。
在本实施例的一些可选的实现方式中,语音输入单元301当检测到智能语音设备发出应答后,会通知语音输出单元306进行下一步动作。
在本实施例的一些可选的实现方式中,语音处理单元302进一步被配置成:对语音进行处理,从语音中提取出声纹信息;将声纹信息与预先注册的用户声纹库进行匹配,确定出用户的身份。
在本实施例的一些可选的实现方式中,装置300还包括用户习惯管理单元304,被配置成:根据用户的身份获取用户的语音设备使用习惯。
在本实施例的一些可选的实现方式中,目标生成单元305进一步被配置成:将指令与信息列表中的功能进行匹配,确定出支持指令的至少一个候选语音设备;根据用户的语音设备使用习惯从至少一个候选语音设备中确定出目标语音设备。
在本实施例的一些可选的实现方式中,语音输出单元306进一步被配置成:以有声方式播放目标语音设备的唤醒词/缓存的语音;或者将目标语音设备的唤醒词/缓存的语音转换成超声波,以超声波的方式播放目标语音设备的唤醒词/缓存的语音。
图4描述了用户使用智能控制系统进行交互的过程,本实施例中,通过扩展手机的人机交互模块来实现智能控制系统。
S401,用户使用手机的人机交互模块作为语音输入单元,当用户发出公用唤醒词“Hey,Bixby”语音后,智能控制系统随即被唤醒,开始正常运行。
S402~S403,用户听到人机交互模块的唤醒应答后,发出“我想看庆余年”的语音请求。本实施例中,使用人机交互模块作为语音处理单元,用来处理“我想看庆余年”的语音请求;
S404,人机交互模块作为语音处理单元开始处理“我想看庆余年”的语音请求,将“我想看庆余年”发送给服务器(包括语音识别服务器和语义理解服务器)。服务器解析出语音的元数据信息,元数据信息包含语音的声纹信息以及语音的行为信息。解析后的元数据信息会返回给手机。
S405,手机得到解析出的语音的元数据信息后,缓存用户的语音数据以及语音元数据信息;
S406,目标管理单元作为人机交互模块的扩展模块,手机得到解析出的语音的元数据信息后,会通知目标管理单元开始处理元数据信息。
S407,设备管理单元作为人机交互模块的扩展模块。本实施例中,语音设备包含X手机,Y电视以及Z音响。语音元数据中的行为信息是“观看庆余年”,设备管理单元中满足“观看庆余年”需求的设备是“X手机”以及“Y电视”。
S408,用户管理单元作为人机交互模块的扩展模块,本实施例中,用户习惯管理单元中符合语音元数据声纹信息的用户习惯包含“中午喜欢使用电视”,“夜晚喜欢使用手机”。
S409,目标生成单元根据设备管理单元反馈的设备列表以及用户习惯管理单元反馈的用户习惯,结合当前语音发生的时间,选择最终的目标设备。由于语音时间发生在中午,用户习惯管理单元显示该用户“中午喜欢使用电视”,因此符合该用户习惯的目标设备选择是“Y电视”。
S410,目标生成单元将最佳目标设备的唤醒词语音传递给语音输出单元,本实施例中,目标生成单元将“Y电视”的唤醒词语音进行缓存。
S411,语音输出单元复用人机交互模块既有模块,当目标生成单元确定最终的目标唤醒词后,人机交互模块直接播放唤醒词语音,对本实施例中的目标语音设备“Y电视”进行唤醒操作。
S412~S413,人机交互模块作为语音输入单元检测到目标语音设备“Y电视”已经发出应答,通知人机交互模块语音输出单元,“Y电视”已经发出应答。
S414,人机交互模块作为语音输出单元,将用户的常规语音发送给目标语音设备。本实施例中,人机交互模块语音输出单元开始播放“我想看庆余年”的用户语音请求。
“Y电视”接收到用户的“我想看庆余年”语音请求后,开始播放“庆余年”电视剧。
下面参考图5,其示出了适于用来实现本公开的实施例的电子设备(例如图1中的智能控制系统)500的结构示意图。本公开的实施例中的智能控制系统可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图5示出的智能控制系统仅仅是一个示例,不应对本公开的实施例的功能和使用范围带来任何限制。
如图5所示,电子设备500可以包括处理装置(例如中央处理器、图形处理器等)501,其可以根据存储在只读存储器(ROM)502中的程序或者从存储装置508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中,还存储有电子设备500操作所需的各种程序和数据。处理装置501、ROM 502以及RAM503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
通常,以下装置可以连接至I/O接口505:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置506;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置507;包括例如磁带、硬盘等的存储装置508;以及通信装置509。通信装置509可以允许电子设备500与其他设备进行无线或有线通信以交换数据。虽然图5示出了具有各种装置的电子设备500,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图5中示出的每个方框可以代表一个装置,也可以根据需要代表多个装置。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置509从网络上被下载和安装,或者从存储装置508被安装,或者从ROM 502被安装。在该计算机程序被处理装置501执行时,执行本公开的实施例的方法中限定的上述功能。需要说明的是,本公开的实施例所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的实施例中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的实施例中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:响应于检测到公用唤醒词,接收用户输入的语音并缓存语音;对语音进行处理,从语音中解析出指令;获取语音设备集的信息列表,其中,信息列表包括每个语音设备的功能和唤醒词;将指令与信息列表中的功能进行匹配,确定出支持指令的目标语音设备;播放目标语音设备的唤醒词;响应于检测到目标语音设备的唤醒应答,播放缓存的语音。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的实施例的操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开的实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括语音输入单元,语音处理单元,语音输出单元,设备管理单元,用户习惯管理单元以及目标生成单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,语音输入单元还可以被描述为“响应于检测到公用唤醒词,接收用户输入的语音并缓存所述语音的单元”。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离所述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (12)
1.一种用于控制语音设备的方法,包括:
响应于检测到公用唤醒词,接收用户输入的语音并缓存所述语音;
对所述语音进行处理,从所述语音中解析出指令;
获取语音设备集的信息列表,其中,所述信息列表包括每个语音设备的功能和唤醒词;
将所述指令与所述信息列表中的功能进行匹配,确定出支持所述指令的目标语音设备;
播放所述目标语音设备的唤醒词;
响应于检测到所述目标语音设备的唤醒应答,播放缓存的语音。
2.根据权利要求1所述的方法,所述方法还包括:
对所述语音进行处理,从所述语音中提取出声纹信息;
将所述声纹信息与预先注册的用户声纹库进行匹配,确定出所述用户的身份。
3.根据权利要求2所述的方法,所述方法还包括:
根据所述用户的身份获取所述用户的语音设备使用习惯。
4.根据权利要求3所述的方法,所述将所述指令与所述信息列表中的功能进行匹配,确定出支持所述指令的目标语音设备,包括:
将所述指令与所述信息列表中的功能进行匹配,确定出支持所述指令的至少一个候选语音设备;
根据所述用户的语音设备使用习惯从所述至少一个候选语音设备中确定出目标语音设备。
5.根据权利要求1-4中任一项所述的方法,所述播放所述目标语音设备的唤醒词/缓存的语音,包括:
以有声方式播放所述目标语音设备的唤醒词/缓存的语音;或者
将所述目标语音设备的唤醒词/缓存的语音转换成超声波,以超声波的方式播放所述目标语音设备的唤醒词/缓存的语音。
6.一种用于控制语音设备的装置,包括:
语音输入单元,被配置成响应于检测到公用唤醒词,接收用户输入的语音并缓存所述语音;
语音处理单元,被配置成对所述语音进行处理,从所述语音中解析出指令;
设备管理单元,被配置成获取语音设备集的信息列表,其中,所述信息列表包括每个语音设备的功能和唤醒词;
目标生成单元,被配置成将所述指令与所述信息列表中的功能进行匹配,确定出支持所述指令的目标语音设备;
语音输出单元,被配置成播放所述目标语音设备的唤醒词,并通知所述语音输入单元检测所述目标语音设备的唤醒应答;
所述语音输入单元进一步被配置成检测到所述目标语音设备的唤醒应答后,通知所述语音输出单元播放缓存的语音。
7.根据权利要求6所述的装置,所述语音处理单元进一步被配置成:
对所述语音进行处理,从所述语音中提取出声纹信息;
将所述声纹信息与预先注册的用户声纹库进行匹配,确定出所述用户的身份。
8.根据权利要求7所述的装置,所述装置还包括用户习惯管理单元,被配置成:
根据所述用户的身份获取所述用户的语音设备使用习惯。
9.根据权利要求8所述的装置,所述目标生成单元进一步被配置成:
将所述指令与所述信息列表中的功能进行匹配,确定出支持所述指令的至少一个候选语音设备;
根据所述用户的语音设备使用习惯从所述至少一个候选语音设备中确定出目标语音设备。
10.根据权利要求6-9中任一项所述的装置,所述语音输出单元进一步被配置成:
以有声方式播放所述目标语音设备的唤醒词/缓存的语音;或者
将所述目标语音设备的唤醒词/缓存的语音转换成超声波,以超声波的方式播放所述目标语音设备的唤醒词/缓存的语音。
11.一种用于控制语音设备的电子设备,包括:
一个或多个处理器;
存储装置,其上存储有一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-5中任一所述的方法。
12.一种计算机可读介质,其上存储有计算机程序,其中,所述程序被处理器执行时实现如权利要求1-5中任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010504977.2A CN111640434A (zh) | 2020-06-05 | 2020-06-05 | 用于控制语音设备的方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010504977.2A CN111640434A (zh) | 2020-06-05 | 2020-06-05 | 用于控制语音设备的方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111640434A true CN111640434A (zh) | 2020-09-08 |
Family
ID=72329464
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010504977.2A Pending CN111640434A (zh) | 2020-06-05 | 2020-06-05 | 用于控制语音设备的方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111640434A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112051748A (zh) * | 2020-09-15 | 2020-12-08 | 北京百度网讯科技有限公司 | 智能家居车载控制方法、装置、设备以及存储介质 |
CN113778370A (zh) * | 2021-09-13 | 2021-12-10 | 周鹏程 | 一种语音消息播放方法、装置、电子设备及存储介质 |
CN114155854A (zh) * | 2021-12-13 | 2022-03-08 | 海信视像科技股份有限公司 | 语音数据的处理方法及装置 |
WO2023097524A1 (zh) * | 2021-11-30 | 2023-06-08 | 华为技术有限公司 | 设备的控制方法及装置 |
WO2023231894A1 (zh) * | 2022-05-31 | 2023-12-07 | 四川虹美智能科技有限公司 | 基于协同纠错的唤醒方法、装置及系统、介质、设备 |
Citations (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104182039A (zh) * | 2014-07-29 | 2014-12-03 | 小米科技有限责任公司 | 设备控制方法、装置及电子设备 |
CN106886166A (zh) * | 2015-12-11 | 2017-06-23 | 美的集团股份有限公司 | 通过音箱控制家用电器的方法、装置以及音箱 |
CN108306797A (zh) * | 2018-01-30 | 2018-07-20 | 百度在线网络技术(北京)有限公司 | 声控智能家居设备方法、系统、终端以及存储介质 |
CN108766446A (zh) * | 2018-04-18 | 2018-11-06 | 上海问之信息科技有限公司 | 声纹识别方法、装置、存储介质及音箱 |
CN108766422A (zh) * | 2018-04-02 | 2018-11-06 | 青岛海尔科技有限公司 | 语音设备的响应方法、装置、存储介质及计算机设备 |
CN108899027A (zh) * | 2018-08-15 | 2018-11-27 | 珠海格力电器股份有限公司 | 语音解析方法及装置 |
CN108958810A (zh) * | 2018-02-09 | 2018-12-07 | 北京猎户星空科技有限公司 | 一种基于声纹的用户识别方法、装置及设备 |
CN108962240A (zh) * | 2018-06-14 | 2018-12-07 | 百度在线网络技术(北京)有限公司 | 一种基于耳机的语音控制方法及系统 |
CN109391528A (zh) * | 2018-08-31 | 2019-02-26 | 百度在线网络技术(北京)有限公司 | 语音智能设备的唤醒方法、装置、设备及存储介质 |
CN109725868A (zh) * | 2018-12-28 | 2019-05-07 | 苏州思必驰信息科技有限公司 | 纯语音交互的车机系统的实现方法、适用于车机系统的语音交互装置及系统 |
CN109887490A (zh) * | 2019-03-06 | 2019-06-14 | 百度国际科技(深圳)有限公司 | 用于识别语音的方法和装置 |
CN109961792A (zh) * | 2019-03-04 | 2019-07-02 | 百度在线网络技术(北京)有限公司 | 用于识别语音的方法和装置 |
CN110047481A (zh) * | 2019-04-23 | 2019-07-23 | 百度在线网络技术(北京)有限公司 | 用于语音识别的方法和装置 |
EP3525205A1 (en) * | 2018-02-09 | 2019-08-14 | Samsung Electronics Co., Ltd. | Electronic device and method of performing function of electronic device |
CN110322878A (zh) * | 2019-07-01 | 2019-10-11 | 华为技术有限公司 | 一种语音控制方法、电子设备及系统 |
CN110335603A (zh) * | 2019-07-12 | 2019-10-15 | 四川长虹电器股份有限公司 | 应用于电视场景的多模态交互方法 |
US20200005789A1 (en) * | 2019-06-20 | 2020-01-02 | Lg Electronics Inc. | Method and apparatus for recognizing a voice |
CN111161704A (zh) * | 2018-10-22 | 2020-05-15 | 联想图像(天津)科技有限公司 | 一种电子设备的控制方法及电子设备 |
CN111161714A (zh) * | 2019-12-25 | 2020-05-15 | 联想(北京)有限公司 | 一种语音信息处理方法、电子设备及存储介质 |
-
2020
- 2020-06-05 CN CN202010504977.2A patent/CN111640434A/zh active Pending
Patent Citations (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104182039A (zh) * | 2014-07-29 | 2014-12-03 | 小米科技有限责任公司 | 设备控制方法、装置及电子设备 |
CN106886166A (zh) * | 2015-12-11 | 2017-06-23 | 美的集团股份有限公司 | 通过音箱控制家用电器的方法、装置以及音箱 |
CN108306797A (zh) * | 2018-01-30 | 2018-07-20 | 百度在线网络技术(北京)有限公司 | 声控智能家居设备方法、系统、终端以及存储介质 |
EP3525205A1 (en) * | 2018-02-09 | 2019-08-14 | Samsung Electronics Co., Ltd. | Electronic device and method of performing function of electronic device |
CN108958810A (zh) * | 2018-02-09 | 2018-12-07 | 北京猎户星空科技有限公司 | 一种基于声纹的用户识别方法、装置及设备 |
CN108766422A (zh) * | 2018-04-02 | 2018-11-06 | 青岛海尔科技有限公司 | 语音设备的响应方法、装置、存储介质及计算机设备 |
CN108766446A (zh) * | 2018-04-18 | 2018-11-06 | 上海问之信息科技有限公司 | 声纹识别方法、装置、存储介质及音箱 |
CN108962240A (zh) * | 2018-06-14 | 2018-12-07 | 百度在线网络技术(北京)有限公司 | 一种基于耳机的语音控制方法及系统 |
CN108899027A (zh) * | 2018-08-15 | 2018-11-27 | 珠海格力电器股份有限公司 | 语音解析方法及装置 |
CN109391528A (zh) * | 2018-08-31 | 2019-02-26 | 百度在线网络技术(北京)有限公司 | 语音智能设备的唤醒方法、装置、设备及存储介质 |
CN111161704A (zh) * | 2018-10-22 | 2020-05-15 | 联想图像(天津)科技有限公司 | 一种电子设备的控制方法及电子设备 |
CN109725868A (zh) * | 2018-12-28 | 2019-05-07 | 苏州思必驰信息科技有限公司 | 纯语音交互的车机系统的实现方法、适用于车机系统的语音交互装置及系统 |
CN109961792A (zh) * | 2019-03-04 | 2019-07-02 | 百度在线网络技术(北京)有限公司 | 用于识别语音的方法和装置 |
CN109887490A (zh) * | 2019-03-06 | 2019-06-14 | 百度国际科技(深圳)有限公司 | 用于识别语音的方法和装置 |
CN110047481A (zh) * | 2019-04-23 | 2019-07-23 | 百度在线网络技术(北京)有限公司 | 用于语音识别的方法和装置 |
US20200005789A1 (en) * | 2019-06-20 | 2020-01-02 | Lg Electronics Inc. | Method and apparatus for recognizing a voice |
CN110322878A (zh) * | 2019-07-01 | 2019-10-11 | 华为技术有限公司 | 一种语音控制方法、电子设备及系统 |
CN110335603A (zh) * | 2019-07-12 | 2019-10-15 | 四川长虹电器股份有限公司 | 应用于电视场景的多模态交互方法 |
CN111161714A (zh) * | 2019-12-25 | 2020-05-15 | 联想(北京)有限公司 | 一种语音信息处理方法、电子设备及存储介质 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112051748A (zh) * | 2020-09-15 | 2020-12-08 | 北京百度网讯科技有限公司 | 智能家居车载控制方法、装置、设备以及存储介质 |
CN113778370A (zh) * | 2021-09-13 | 2021-12-10 | 周鹏程 | 一种语音消息播放方法、装置、电子设备及存储介质 |
WO2023097524A1 (zh) * | 2021-11-30 | 2023-06-08 | 华为技术有限公司 | 设备的控制方法及装置 |
CN114155854A (zh) * | 2021-12-13 | 2022-03-08 | 海信视像科技股份有限公司 | 语音数据的处理方法及装置 |
WO2023109129A1 (zh) * | 2021-12-13 | 2023-06-22 | 海信视像科技股份有限公司 | 语音数据的处理方法及装置 |
CN114155854B (zh) * | 2021-12-13 | 2023-09-26 | 海信视像科技股份有限公司 | 语音数据的处理方法及装置 |
WO2023231894A1 (zh) * | 2022-05-31 | 2023-12-07 | 四川虹美智能科技有限公司 | 基于协同纠错的唤醒方法、装置及系统、介质、设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11887590B2 (en) | Voice enablement and disablement of speech processing functionality | |
CN111640434A (zh) | 用于控制语音设备的方法和装置 | |
US20200098354A1 (en) | Systems and methods for determining whether to trigger a voice capable device based on speaking cadence | |
CN106201424B (zh) | 一种信息交互方法、装置及电子设备 | |
US11455989B2 (en) | Electronic apparatus for processing user utterance and controlling method thereof | |
US20200126566A1 (en) | Method and apparatus for voice interaction | |
US11189277B2 (en) | Dynamic gazetteers for personalized entity recognition | |
JP2020009463A (ja) | デジタルアシスタントのためのボイストリガ | |
CN110869904A (zh) | 用于提供未播放内容的系统和方法 | |
CN107705783A (zh) | 一种语音合成方法及装置 | |
US10930278B2 (en) | Trigger sound detection in ambient audio to provide related functionality on a user interface | |
WO2022105861A1 (zh) | 用于识别语音的方法、装置、电子设备和介质 | |
US20130339015A1 (en) | Terminal apparatus and control method thereof | |
KR20210103002A (ko) | 감정 정보 기반의 음성 합성 방법 및 장치 | |
US10672379B1 (en) | Systems and methods for selecting a recipient device for communications | |
US10699706B1 (en) | Systems and methods for device communications | |
CN112927674B (zh) | 语音风格的迁移方法、装置、可读介质和电子设备 | |
US11948564B2 (en) | Information processing device and information processing method | |
CN110379406A (zh) | 语音评论转换方法、系统、介质和电子设备 | |
WO2019155716A1 (ja) | 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム | |
CN110930977B (zh) | 一种数据处理方法、装置和电子设备 | |
CN112151072A (zh) | 语音处理方法、装置和介质 | |
CN109064720B (zh) | 位置提示方法、装置、存储介质及电子设备 | |
US10841411B1 (en) | Systems and methods for establishing a communications session | |
CN113409765B (zh) | 一种语音合成方法、装置和用于语音合成的装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |