CN107492374A - 一种语音控制方法、智能设备及存储介质 - Google Patents

一种语音控制方法、智能设备及存储介质 Download PDF

Info

Publication number
CN107492374A
CN107492374A CN201710950391.7A CN201710950391A CN107492374A CN 107492374 A CN107492374 A CN 107492374A CN 201710950391 A CN201710950391 A CN 201710950391A CN 107492374 A CN107492374 A CN 107492374A
Authority
CN
China
Prior art keywords
intention
list
intended
current
property parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710950391.7A
Other languages
English (en)
Inventor
欧阳权民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Hamp Science & Technology Co Ltd
Original Assignee
Shenzhen Hamp Science & Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Hamp Science & Technology Co Ltd filed Critical Shenzhen Hamp Science & Technology Co Ltd
Priority to CN201710950391.7A priority Critical patent/CN107492374A/zh
Publication of CN107492374A publication Critical patent/CN107492374A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Selective Calling Equipment (AREA)

Abstract

本发明公开了一种语音控制方法、智能设备及存储介质。本发明中智能设备采集周围环境中的音频信息,对所述音频信息进行语音识别,以获取与所述音频信息对应的文本信息,从所述文本信息中提取出指令参数,将所述指令参数与各意图的属性参数进行匹配,将匹配成功的意图作为当前意图,根据所述当前意图确定对应的当前应用程序,并通过所述当前应用程序执行所述当前意图对应的操作。本发明中通过将提取出的指令参数与各意图的属性参数进行匹配以确定用户当前需要的意图,并通过该意图进一步地确定具体实现该意图的应用程序,克服了现有的智能设备存在的无法解析用户的语音信息以实现语音控制的技术问题。

Description

一种语音控制方法、智能设备及存储介质
技术领域
本发明涉及通信技术领域,尤其涉及一种语音控制方法、智能设备及存储介质。
背景技术
随着智能设备的不断普及,比如,基于安卓(Android)系统的智能音箱及智能手机等设备,人们对于智能设备使用时的便捷性的要求逐渐提高。其中,为了便于用户操作智能设备,用户可通过语音对智能设备进行控制,比如,用户在使用智能音箱时,智能音箱可采集用户表达出的语音信息,将语音信息发送到云端服务器,云端服务器在对语音信息进行解析后,把相应的操作意图或资源发送回智能音箱,也就实现了对于智能音箱的语音控制。
但是,现有的智能音箱在实现上述的语音控制过程时,语音信息的解析过程实质上发生在云端服务器,智能音箱本身只是充当了接收器和发送器的角色,所以,现有的智能设备存在无法解析用户的语音信息以实现语音控制的技术问题。
上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种语音控制方法、智能设备及存储介质,旨在解决现有的智能设备存在的无法解析用户的语音信息以实现语音控制的技术问题。
为实现上述目的,本发明提供一种语音控制方法,所述方法包括以下步骤:
智能设备采集周围环境中的音频信息;
对所述音频信息进行语音识别,以获取与所述音频信息对应的文本信息;
从所述文本信息中提取出指令参数;
将所述指令参数与各意图的属性参数进行匹配,将匹配成功的意图作为当前意图;
根据所述当前意图确定对应的当前应用程序,并通过所述当前应用程序执行所述当前意图对应的操作。
优选的,所述根据所述当前意图确定对应的当前应用程序,并通过所述当前应用程序执行所述当前意图对应的操作,具体包括:
将所述当前意图所处的意图列表作为当前意图列表;
在映射关系中根据所述当前意图列表查找到对应的当前应用程序,并通过所述当前应用程序执行所述当前意图对应的操作,所述映射关系中保存有意图列表与应用程序的对应关系。
优选的,所述智能设备采集周围环境中的音频信息之前,所述方法还包括:
遍历所述应用程序,在所述映射关系中根据遍历到的应用程序查找到对应的第一意图列表;
获取所述第一意图列表的当前版本号;
将所述第一意图列表的待升级版本号与所述当前版本号进行匹配;
在所述待升级版本号与所述当前版本号匹配不成功时,发送列表升级请求至服务器,以使所述服务器根据所述待升级版本号查找到对应的待升级意图列表并反馈所述待升级意图列表,所述列表升级请求包括所述待升级版本号;
安装所述待升级意图列表,并删除所述第一意图列表。
优选的,所述将所述指令参数与各意图的属性参数进行匹配,将匹配成功的意图作为当前意图,具体包括:
获取当前处于运行状态的前台进程,确定运行所述前台进程的前台应用程序;
根据所述前台应用程序查找到对应的第二意图列表;
将所述指令参数与所述第二意图列表中的各意图的属性参数进行匹配;
在所述指令参数与所述第二意图列表中的各意图的属性参数匹配成功时,将所述第二意图列表中的匹配成功的意图认定为当前意图。
优选的,所述获取当前处于运行状态的前台进程,确定运行所述前台进程的前台应用程序之前,所述方法还包括:
响应于用户输入的进程切换指令,提取所述进程切换指令中的应用标识;
运行与所述应用标识对应的应用程序,以获取对应的新的前台进程。
优选的,所述将所述指令参数与所述第二意图列表中的各意图的属性参数进行匹配之后,所述方法还包括:
在所述指令参数与所述第二意图列表中的各意图的属性参数匹配不成功时,根据默认应用程序查找到对应的第三意图列表;
将所述指令参数与所述第三意图列表中的各意图的属性参数进行匹配;
在所述指令参数与所述第三意图列表中的各意图的属性参数匹配成功时,将所述第三意图列表中的匹配成功的意图认定为当前意图。
优选的,所述将所述指令参数与所述第三意图列表中的各意图的属性参数进行匹配之后,所述方法还包括:
在所述指令参数与所述第三意图列表中的各意图的属性参数匹配不成功时,获取当前处于运行状态的后台进程,确定运行所述后台进程的后台应用程序;
根据后台应用程序查找到对应的第四意图列表;
将所述指令参数与所述第四意图列表中的各意图的属性参数进行匹配;
在所述指令参数与所述第四意图列表中的各意图的属性参数匹配成功时,将所述第四意图列表中的匹配成功的意图认定为当前意图。
优选的,所述将所述指令参数与各意图的属性参数进行匹配,将匹配成功的意图作为当前意图,具体包括:
将所述指令参数与各意图的各类型的属性参数进行匹配,统计各意图中匹配成功的属性参数的参数类型的数量;
判断所述参数类型的数量是否大于预设参数阈值;
在所述参数类型的数量大于所述预设参数阈值时,将所述参数类型的数量大于所述预设参数阈值的意图作为当前意图。
此外,为实现上述目的,本发明还提供一种智能设备,所述智能设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的语音控制程序,所述语音控制程序配置为实现所述语音控制方法的步骤。
此外,为实现上述目的,本发明还提供一种存储介质,所述存储介质上存储有语音控制程序,所述语音控制程序被处理器执行时实现所述的语音控制方法的步骤。
本实施例中通过将提取出的指令参数与各意图的属性参数进行匹配以确定用户当前需要的意图,并通过该意图进一步地确定具体实现该意图的应用程序,克服了现有的智能设备存在的无法解析用户的语音信息以实现语音控制的技术问题。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的智能设备结构示意图;
图2为本发明语音控制方法第一实施例的流程示意图;
图3为本发明语音控制方法第二实施例的流程示意图;
图4为本发明语音控制方法第三实施例的流程示意图;
图5为本发明语音控制方法第四实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
参照图1,图1为本发明实施例方案涉及的硬件运行环境的智能设备结构示意图。
如图1所示,该智能设备可以包括:处理器1001,例如CPU,通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
所述智能设备还可具有麦克风,通过所述麦克风采集周围环境中的音频信息。
本领域技术人员可以理解,图1中示出的结构并不构成对智能设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及语音控制程序。
在图1所示的智能设备中,网络接口1004主要用于连接服务器,与所述服务器进行数据通信;用户接口1003主要用于连接用户设备,与用户设备进行数据通信;所述智能设备通过处理器1001调用存储器1005中存储的语音控制程序,并执行以下操作:
采集周围环境中的音频信息;
对所述音频信息进行语音识别,以获取与所述音频信息对应的文本信息;
从所述文本信息中提取出指令参数;
将所述指令参数与各意图的属性参数进行匹配,将匹配成功的意图作为当前意图;
根据所述当前意图确定对应的当前应用程序,并通过所述当前应用程序执行所述当前意图对应的操作。
进一步地,处理器1001可以调用存储器1005中存储的语音控制程序,还执行以下操作:
将所述当前意图所处的意图列表作为当前意图列表;
在映射关系中根据所述当前意图列表查找到对应的当前应用程序,并通过所述当前应用程序执行所述当前意图对应的操作,所述映射关系中保存有意图列表与应用程序的对应关系。
进一步地,处理器1001可以调用存储器1005中存储的语音控制程序,还执行以下操作:
遍历所述应用程序,在所述映射关系中根据遍历到的应用程序查找到对应的第一意图列表;
获取所述第一意图列表的当前版本号;
将所述第一意图列表的待升级版本号与所述当前版本号进行匹配;
在所述待升级版本号与所述当前版本号匹配不成功时,发送列表升级请求至服务器,以使所述服务器根据所述待升级版本号查找到对应的待升级意图列表并反馈所述待升级意图列表,所述列表升级请求包括所述待升级版本号;
安装所述待升级意图列表,并删除所述第一意图列表。
进一步地,处理器1001可以调用存储器1005中存储的语音控制程序,还执行以下操作:
获取当前处于运行状态的前台进程,确定运行所述前台进程的前台应用程序;
根据所述前台应用程序查找到对应的第二意图列表;
将所述指令参数与所述第二意图列表中的各意图的属性参数进行匹配;
在所述指令参数与所述第二意图列表中的各意图的属性参数匹配成功时,将所述第二意图列表中的匹配成功的意图认定为当前意图。
进一步地,处理器1001可以调用存储器1005中存储的语音控制程序,还执行以下操作:
响应于用户输入的进程切换指令,提取所述进程切换指令中的应用标识;
运行与所述应用标识对应的应用程序,以获取对应的新的前台进程。
进一步地,处理器1001可以调用存储器1005中存储的语音控制程序,还执行以下操作:
在所述指令参数与所述第二意图列表中的各意图的属性参数匹配不成功时,根据默认应用程序查找到对应的第三意图列表;
将所述指令参数与所述第三意图列表中的各意图的属性参数进行匹配;
在所述指令参数与所述第三意图列表中的各意图的属性参数匹配成功时,将所述第三意图列表中的匹配成功的意图认定为当前意图。
进一步地,处理器1001可以调用存储器1005中存储的语音控制程序,还执行以下操作:
在所述指令参数与所述第三意图列表中的各意图的属性参数匹配不成功时,获取当前处于运行状态的后台进程,确定运行所述后台进程的后台应用程序;
根据后台应用程序查找到对应的第四意图列表;
将所述指令参数与所述第四意图列表中的各意图的属性参数进行匹配;
在所述指令参数与所述第四意图列表中的各意图的属性参数匹配成功时,将所述第四意图列表中的匹配成功的意图认定为当前意图。
进一步地,处理器1001可以调用存储器1005中存储的语音控制程序,还执行以下操作:
将所述指令参数与各意图的各类型的属性参数进行匹配,统计各意图中匹配成功的属性参数的参数类型的数量;
判断所述参数类型的数量是否大于预设参数阈值;
在所述参数类型的数量大于所述预设参数阈值时,将所述参数类型的数量大于所述预设参数阈值的意图作为当前意图。
本实施例中通过将提取出的指令参数与各意图的属性参数进行匹配以确定用户当前需要的意图,并通过该意图进一步地确定具体实现该意图的应用程序,克服了现有的智能设备存在的无法解析用户的语音信息以实现语音控制的技术问题。
基于上述硬件结构,提出本发明语音控制方法的实施例。
参照图2,图2为本发明语音控制方法第一实施例的流程示意图。
在第一实施例中,所述语音控制方法包括以下步骤:
步骤S10:智能设备采集周围环境中的音频信息;
可以理解的是,若智能设备为智能音箱,可通过智能音箱的麦克风采集周围环境中的音频信息,比如,用户可正对着智能音箱表达出“播放歌曲名A”的话语。
步骤S20:对所述音频信息进行语音识别,以获取与所述音频信息对应的文本信息;
应当理解的是,为了便于智能音箱进行语音控制,可先通过语音识别技术将该音频信息转为文本信息“播放歌曲名A”。
步骤S30:从所述文本信息中提取出指令参数;
在具体实现中,为了便于智能音箱确定用户表达出的文本信息所隐含的操作意图,即让智能音箱确定用户当前需要的操作行为为,让智能音箱播放歌曲名为A的音频,可先从文本信息中提取出指令参数,比如,可将“播放歌曲名A”的文本信息拆分为指令参数“播放,歌曲名A”。
步骤S40:将所述指令参数与各意图的属性参数进行匹配,将匹配成功的意图作为当前意图;
可以理解的是,所述意图(Intent)是对Android系统中一个将要执行的动作的抽象的描述,用于实现系统中各项组件之间的通讯。其中,意图可包括:组件(Component)、动作(Action)、类别(Category)、数据(Data)及数据类型(Type)等属性参数。具体而言,Component为动作施加的目的组件,Action为表现意图的行动和Category为动作的类别等。
在具体实现中,若智能音箱中存储一个音乐应用,用户表达的“播放,歌曲名A”本意为打开该音乐应用并播放歌名为歌曲名A的音乐。在实际运行中,当指令参数为“播放,歌曲名A”时,智能音箱可确定该指令参数指向的意图,首先,因为智能音箱无法确定用户的需求且目的组件Component即音乐应用也不确定,为了确定用户的意图与实现该意图需要使用的组件,可将该指令参数与预先设置的各意图的属性参数进行匹配,以使得智能音箱可确定用户当前的意图。通过匹配可知,属性参数中的Action为“播放”,Data为“歌曲名A”,而将匹配到的Action为“播放”且Data为“歌曲名A””的预存意图作为当前意图。
步骤S50:根据所述当前意图确定对应的当前应用程序,并通过所述当前应用程序执行所述当前意图对应的操作。
可以理解的是,在查找到Action与Data都符合用户表达的指令参数的当前意图时,可进一步地确定执行该当前意图的组件Component即音乐应用。可自动开启该音乐应用,在查找到歌曲名为A的音频信息后进行自动播放,也就实现了仅通过用户表述的音频信息自动播放出了该歌曲。
本实施例中通过将提取出的指令参数与各意图的属性参数进行匹配以确定用户当前需要的意图,并通过该意图进一步地确定具体实现该意图的应用程序,克服了现有的智能设备存在的无法解析用户的语音信息以实现语音控制的技术问题。
参照图3,图3为本发明语音控制方法第二实施例的流程示意图,基于上述图2所示的实施例,提出本发明语音控制方法的第二实施例。
在第二实施例中,步骤S50,具体包括:
步骤S501:将所述当前意图所处的意图列表作为当前意图列表;
可以理解的是,为了便于管理意图,可将一个应用程序的全部意图保存于一个意图列表中。
步骤S502:在映射关系中根据所述当前意图列表查找到对应的当前应用程序,并通过所述当前应用程序执行所述当前意图对应的操作,所述映射关系中保存有意图列表与应用程序的对应关系。
在具体实现中,可在智能音箱中预先存储有映射关系,所述映射关系中保存有意图列表与应用程序的对应关系。比如,智能音箱中有音乐应用与相册应用,音乐应用可对应多种意图,包括对于具体歌曲的播放及暂停动作等意图;相册应用也可对应多种意图,包括对具体照片的单张展示或呈幻灯片方式进行照片展示等意图。在进行语音控制的过程中,通过建立所述映射关系,可以更快速地确定对应的应用程序。
进一步的,为了实现意图列表的自动更新,步骤S10之前,所述方法还包括:
步骤S101:遍历所述应用程序,在所述映射关系中根据遍历到的应用程序查找到对应的第一意图列表;
在具体实现中,比如,在开启智能音箱后,可先遍历智能音箱中的应用程序,并查找到各应用程序自身的意图列表。当然,在遍历智能音箱中的应用程序时,也可监测应用程序是否存在卸载、安装或者更新动作,若监测到存在应用程序具有卸载、安装或者更新动作,可对存在上述动作的应用程序进行主动扫描,并更新存在上述动作的应用程序的意图列表。
步骤S102:获取所述第一意图列表的当前版本号;
步骤S103:将所述第一意图列表的待升级版本号与所述当前版本号进行匹配;
可以理解的是,通过确定各应用程序自身的意图列表的版本号,比如,智能音箱中存储着的音乐应用的意图列表的版本号为1.0,但是,该音乐应用的意图列表的待升级版本号为2.0,即已存在新版的意图列表可更新。
步骤S104:在所述待升级版本号与所述当前版本号匹配不成功时,发送列表升级请求至服务器,以使所述服务器根据所述待升级版本号查找到对应的待升级意图列表并反馈所述待升级意图列表,所述列表升级请求包括所述待升级版本号;
在具体实现中,当匹配不成功时,可向后端的服务器请求该2.0版本的意图列表。智能音箱通过向服务器发送列表升级请求,以获取服务器发送回的2.0版本的音乐应用的意图列表。其中,所述列表升级请求也可包括应用程序名,以使服务器根据应用程序名查找到对应的应用程序的意图列表并反馈该意图列表,也可获取到新版的意图列表。
步骤S105:安装所述待升级意图列表,并删除所述第一意图列表。
可以理解的是,在获取到新版的意图列表即待升级意图列表后,可安装该待升级意图列表,并删除音乐应用的第一意图列表,实现了应用程序的意图列表的更新。
本实施例中通过根据当前意图所在的意图列表查找到对应的当前应用程序,可以更加便捷地确定用户的意图指向的目的组件;同时,通过设置意图列表的自动更新机制,可以规避掉用户的手动更新操作,并且,使得意图的匹配可以保持较好地准确度。
参照图4,图4为本发明语音控制方法第三实施例的流程示意图,基于上述图2所示的实施例,提出本发明语音控制方法的第三实施例。
在第三实施例中,步骤S40,具体包括:
步骤S401:获取当前处于运行状态的前台进程,确定运行所述前台进程的前台应用程序;
在具体实现中,考虑到使用习惯,且为了更加快速地确定当前意图,可优先查看正运行着的应用程序的意图列表,以缩短查找时间。
步骤S402:根据所述前台应用程序查找到对应的第二意图列表;
步骤S403:将所述指令参数与所述第二意图列表中的各意图的属性参数进行匹配;
可以理解的是,比如,前台正运行着的应用程序为播放歌曲的音乐应用,可先查找该音乐应用的意图列表,将用户实时表达出的指令参数与音乐应用的意图列表进行匹配,以确定用户表达出的当前意图是否落入音乐应用的意图列表中。
步骤S404:在所述指令参数与所述第二意图列表中的各意图的属性参数匹配成功时,将所述第二意图列表中的匹配成功的意图认定为当前意图。
应当理解是,若匹配成功,表明用户当前表达出的意图为音乐应用去执行的意图,比如,“播放歌曲名B”,也就缩短了在各应用程序的各意图列表中去一一查找并匹配的工作时间,并且,优先查找前台应用程序的意图列表较为符合用户的使用习惯,因为,用户当前正在使用该应用程序,对该应用程序进行实时调用的可能性较大。
当然,由于所述当前意图为第二意图列表中的意图,第二意图列表为前台应用程序的意图列表,步骤S50中的当前应用程序即为前台应用程序,无需根据当前意图再确认当前应用程序。
进一步地,为了灵活地跟进应用程序的运行状态以缩短查找时间,所述获取当前处于运行状态的前台进程,确定运行所述前台进程的前台应用程序之前,响应于用户输入的进程切换指令,提取所述进程切换指令中的应用标识,运行与所述应用标识对应的应用程序,以获取对应的新的前台进程。
可以理解的是,处于运行状态的前台进程并非为固定应用程序的进程,比如,用户在使用音乐应用后,又开始使用相册应用进行操作,前台进程则由音乐应用的进程切换为相册应用的进程,也就获取到了新的前台进程。通过对前台进程进行实时的切换,可以更好地实时确定当前意图。
进一步的,为了优化查询意图列表的查询优先级,可在优先匹配前台应用程序的意图列表失败后,继续匹配默认应用程序的意图列表,步骤S403之后,所述方法还包括:
步骤S4041:在所述指令参数与所述第二意图列表中的各意图的属性参数匹配不成功时,根据默认应用程序查找到对应的第三意图列表;
可以理解的是,除了上述优先对前台应用程序的意图列表进行匹配外,在与前台应用程序的第二意图列表匹配不成功时,表明用户当前的实际意图并非是需要前台应用程序去执行。在排除掉第一优先级前台应用程序的意图列表后,可将默认应用程序的意图列表列为第二优先级,所述默认应用程序为用户预先选取的应用程序,或智能音箱统计的用户使用的较为频繁的应用程序。比如,若前台应用程序为音乐应用,默认应用程序为相册应用与电台广播应用,在排除音乐应用后,可优先确定目标组件是否为相册应用或电台广播应用,以缩短在大量应用程序中一一匹配的匹配时间。
步骤S4042:将所述指令参数与所述第三意图列表中的各意图的属性参数进行匹配;
步骤S4043:在所述指令参数与所述第三意图列表中的各意图的属性参数匹配成功时,将所述第三意图列表中的匹配成功的意图认定为当前意图。
在具体实现中,将用户实时表达出的音频信息中包括的指令参数与相册应用以及电台广播应用的意图列表进行匹配,若匹配成功,可确定用户的当前意图,同时确定了实现用户当前需求的应用程序。
进一步的,为了优化查询意图列表的查询优先级,可在匹配默认应用程序的意图列表失败后,继续匹配后台应用程序的意图列表,所述将所述指令参数与所述第三意图列表中的各意图的属性参数进行匹配之后,所述方法还包括:在所述指令参数与所述第三意图列表中的各意图的属性参数匹配不成功时,获取当前处于运行状态的后台进程,确定运行所述后台进程的后台应用程序;根据后台应用程序查找到对应的第四意图列表;将所述指令参数与所述第四意图列表中的各意图的属性参数进行匹配;在所述指令参数与所述第四意图列表中的各意图的属性参数匹配成功时,将所述第四意图列表中的匹配成功的意图认定为当前意图。
可以理解的是,若将指令参数与默认应用程序的意图列表匹配失败后,即表明用户当前所需执行的操作既不由前台应用程序承接也不由默认应用程序承接,为了进一步地缩短匹配时间,在排除掉第二优先级即默认应用程序的意图列表后,可将后台应用程序的意图列表列为第三优先级,即可优先匹配后台应用程序的意图列表。比如,当用户表达出“打开2017年1月1日的照片”时,若用户当前正在通过音乐应用聆听音乐,即前台应用程序为音乐应用,通过与音乐应用的意图列表进行匹配可确定用户当前需要执行操作并非由音乐应用执行;进一步地,若默认应用程序为电台广播应用,可优先与电台广播应用的意图列表进行匹配,若匹配失败,可进一步地与运行后台的相册应用的意图列表进行匹配,若匹配成功,既可让智能音箱准确地确定用户的当前意图,也可确定用户的当前意图所执行的目标组件即相册应用。
当然,由于用户的操作会导致前台应用程序与后台应用程序的变化,比如,用户当前正在使用音乐应用,而后台正在运行着的为相册应用,通过重新调用相册应用进行操作,也就实现了将原有的前台应用程序即音乐应用切换为现在的后台应用程序,同时将原有的后台应用程序即相册应用切换为现有的前台应用程序。结合上述前台与后台应用的实时切换的特点,可以进一步地提高优先匹配前台应用程序的意图列表的准确性。并且,若检测到应用程序A的停止运行指令,即用户关闭了运行于后台的应用程序A,则应用程序A不再为后台应用程序。
在本实施例中通过设置优先依次匹配前台应用程序、默认应用程序及后台应用程序的意图列表,可以较为合适地缩小匹配范围以达到提高设备反应速度的效果。
参照图5,图5为本发明语音控制方法第四实施例的流程示意图,基于上述图2所示的实施例,提出本发明语音控制方法的第四实施例。
在第四实施例中,步骤S40,具体包括:
步骤S401′:将所述指令参数与各意图的各类型的属性参数进行匹配,统计各意图中匹配成功的属性参数的参数类型的数量;
在具体实现中,由于意图存在多种类型的属性参数,常见的有Component、Action、Category、Data及Type等属性参数,用户表达出的指令参数中匹配出的属性参数的类型越多且内容越准确,确定当前意图的准确性越高。比如,若用户表达出“播放歌曲B”,通过将所述指令参数与各意图的各类型的属性参数进行匹配,可确定Action为“播放”,Data为“歌曲B”,可统计出匹配成功的参数类型的数量为二;若用户表达出“播放歌手B的歌曲B”,可确定Action为“播放”,Data1为“歌手B”,Data2为“歌曲B”,可统计出数量为三。
步骤S402′:判断所述参数类型的数量是否大于预设参数阈值;
可以理解的是,为了保证匹配的准确度,可预先设置预设参数阈值为二,若匹配成功的参数类型大于二,可更加准确地确定用户播放的歌曲,因为,在实际运用中,可能存在歌曲名相同的歌曲。
步骤S403′:在所述参数类型的数量大于所述预设参数阈值时,将所述参数类型的数量大于所述预设参数阈值的意图作为当前意图。
应当理解的是,若用户表达出“播放歌手B的歌曲B”,确定的参数类型的数量大于预设参数阈值,可优先将大于预设参数阈值的意图作为当前意图,通过对参数类型的数量进行比对并将参数类型的数量大于预设参数阈值的意图作为当前意图,可以提高最终确定的当前意图的准确性,并进一步地避免智能音箱在实现语音控制的过程中出现执行错误。
在本实施例中通过对参数类型的数量进行比对,可以提高确定的当前意图的准确性。
此外,本发明实施例还提出一种存储介质,所述存储介质上存储有语音控制程序,所述语音控制程序被处理器执行时实现如下操作:
采集周围环境中的音频信息;
对所述音频信息进行语音识别,以获取与所述音频信息对应的文本信息;
从所述文本信息中提取出指令参数;
将所述指令参数与各意图的属性参数进行匹配,将匹配成功的意图作为当前意图;
根据所述当前意图确定对应的当前应用程序,并通过所述当前应用程序执行所述当前意图对应的操作。
进一步地,所述语音控制程序被处理器执行时还实现如下操作:
将所述当前意图所处的意图列表作为当前意图列表;
在映射关系中根据所述当前意图列表查找到对应的当前应用程序,并通过所述当前应用程序执行所述当前意图对应的操作,所述映射关系中保存有意图列表与应用程序的对应关系。
进一步地,所述语音控制程序被处理器执行时还实现如下操作:
遍历所述应用程序,在所述映射关系中根据遍历到的应用程序查找到对应的第一意图列表;
获取所述第一意图列表的当前版本号;
将所述第一意图列表的待升级版本号与所述当前版本号进行匹配;
在所述待升级版本号与所述当前版本号匹配不成功时,发送列表升级请求至服务器,以使所述服务器根据所述待升级版本号查找到对应的待升级意图列表并反馈所述待升级意图列表,所述列表升级请求包括所述待升级版本号;
安装所述待升级意图列表,并删除所述第一意图列表。
进一步地,所述语音控制程序被处理器执行时还实现如下操作:
获取当前处于运行状态的前台进程,确定运行所述前台进程的前台应用程序;
根据所述前台应用程序查找到对应的第二意图列表;
将所述指令参数与所述第二意图列表中的各意图的属性参数进行匹配;
在所述指令参数与所述第二意图列表中的各意图的属性参数匹配成功时,将所述第二意图列表中的匹配成功的意图认定为当前意图。
进一步地,所述语音控制程序被处理器执行时还实现如下操作:
响应于用户输入的进程切换指令,提取所述进程切换指令中的应用标识;
运行与所述应用标识对应的应用程序,以获取对应的新的前台进程。
进一步地,所述语音控制程序被处理器执行时还实现如下操作:
在所述指令参数与所述第二意图列表中的各意图的属性参数匹配不成功时,根据默认应用程序查找到对应的第三意图列表;
将所述指令参数与所述第三意图列表中的各意图的属性参数进行匹配;
在所述指令参数与所述第三意图列表中的各意图的属性参数匹配成功时,将所述第三意图列表中的匹配成功的意图认定为当前意图。
进一步地,所述语音控制程序被处理器执行时还实现如下操作:
在所述指令参数与所述第三意图列表中的各意图的属性参数匹配不成功时,获取当前处于运行状态的后台进程,确定运行所述后台进程的后台应用程序;
根据后台应用程序查找到对应的第四意图列表;
将所述指令参数与所述第四意图列表中的各意图的属性参数进行匹配;
在所述指令参数与所述第四意图列表中的各意图的属性参数匹配成功时,将所述第四意图列表中的匹配成功的意图认定为当前意图。
进一步地,所述语音控制程序被处理器执行时还实现如下操作:
将所述指令参数与各意图的各类型的属性参数进行匹配,统计各意图中匹配成功的属性参数的参数类型的数量;
判断所述参数类型的数量是否大于预设参数阈值;
在所述参数类型的数量大于所述预设参数阈值时,将所述参数类型的数量大于所述预设参数阈值的意图作为当前意图。
本实施例中通过将提取出的指令参数与各意图的属性参数进行匹配以确定用户当前需要的意图,并通过该意图进一步地确定具体实现该意图的应用程序,克服了现有的智能设备存在的无法解析用户的语音信息以实现语音控制的技术问题。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。词语第一、第二、以及第三等的使用不表示任何顺序,可将这些词语解释为名称。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种语音控制方法,其特征在于,所述方法包括以下步骤:
智能设备采集周围环境中的音频信息;
对所述音频信息进行语音识别,以获取与所述音频信息对应的文本信息;
从所述文本信息中提取出指令参数;
将所述指令参数与各意图的属性参数进行匹配,将匹配成功的意图作为当前意图;
根据所述当前意图确定对应的当前应用程序,并通过所述当前应用程序执行所述当前意图对应的操作。
2.如权利要求1所述的方法,其特征在于,所述根据所述当前意图确定对应的当前应用程序,并通过所述当前应用程序执行所述当前意图对应的操作,具体包括:
将所述当前意图所处的意图列表作为当前意图列表;
在映射关系中根据所述当前意图列表查找到对应的当前应用程序,并通过所述当前应用程序执行所述当前意图对应的操作,所述映射关系中保存有意图列表与应用程序的对应关系。
3.如权利要求2所述的方法,其特征在于,所述智能设备采集周围环境中的音频信息之前,所述方法还包括:
遍历所述应用程序,在所述映射关系中根据遍历到的应用程序查找到对应的第一意图列表;
获取所述第一意图列表的当前版本号;
将所述第一意图列表的待升级版本号与所述当前版本号进行匹配;
在所述待升级版本号与所述当前版本号匹配不成功时,发送列表升级请求至服务器,以使所述服务器根据所述待升级版本号查找到对应的待升级意图列表并反馈所述待升级意图列表,所述列表升级请求包括所述待升级版本号;
安装所述待升级意图列表,并删除所述第一意图列表。
4.如权利要求1所述的方法,其特征在于,所述将所述指令参数与各意图的属性参数进行匹配,将匹配成功的意图作为当前意图,具体包括:
获取当前处于运行状态的前台进程,确定运行所述前台进程的前台应用程序;
根据所述前台应用程序查找到对应的第二意图列表;
将所述指令参数与所述第二意图列表中的各意图的属性参数进行匹配;
在所述指令参数与所述第二意图列表中的各意图的属性参数匹配成功时,将所述第二意图列表中的匹配成功的意图认定为当前意图。
5.如权利要求4所述的方法,其特征在于,所述获取当前处于运行状态的前台进程,确定运行所述前台进程的前台应用程序之前,所述方法还包括:
响应于用户输入的进程切换指令,提取所述进程切换指令中的应用标识;
运行与所述应用标识对应的应用程序,以获取对应的新的前台进程。
6.如权利要求4所述的方法,其特征在于,所述将所述指令参数与所述第二意图列表中的各意图的属性参数进行匹配之后,所述方法还包括:
在所述指令参数与所述第二意图列表中的各意图的属性参数匹配不成功时,根据默认应用程序查找到对应的第三意图列表;
将所述指令参数与所述第三意图列表中的各意图的属性参数进行匹配;
在所述指令参数与所述第三意图列表中的各意图的属性参数匹配成功时,将所述第三意图列表中的匹配成功的意图认定为当前意图。
7.如权利要求6所述的方法,其特征在于,所述将所述指令参数与所述第三意图列表中的各意图的属性参数进行匹配之后,所述方法还包括:
在所述指令参数与所述第三意图列表中的各意图的属性参数匹配不成功时,获取当前处于运行状态的后台进程,确定运行所述后台进程的后台应用程序;
根据后台应用程序查找到对应的第四意图列表;
将所述指令参数与所述第四意图列表中的各意图的属性参数进行匹配;
在所述指令参数与所述第四意图列表中的各意图的属性参数匹配成功时,将所述第四意图列表中的匹配成功的意图认定为当前意图。
8.如权利要求1至7中任一项所述的方法,其特征在于,所述将所述指令参数与各意图的属性参数进行匹配,将匹配成功的意图作为当前意图,具体包括:
将所述指令参数与各意图的各类型的属性参数进行匹配,统计各意图中匹配成功的属性参数的参数类型的数量;
判断所述参数类型的数量是否大于预设参数阈值;
在所述参数类型的数量大于所述预设参数阈值时,将所述参数类型的数量大于所述预设参数阈值的意图作为当前意图。
9.一种智能设备,其特征在于,所述智能设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的语音控制程序,所述语音控制程序被所述处理器执行时实现如权利要求1至8中任一项所述的语音控制方法的步骤。
10.一种存储介质,其特征在于,所述存储介质上存储有语音控制程序,所述语音控制程序被处理器执行时实现如权利要求1至8中任一项所述的语音控制方法的步骤。
CN201710950391.7A 2017-10-11 2017-10-11 一种语音控制方法、智能设备及存储介质 Pending CN107492374A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710950391.7A CN107492374A (zh) 2017-10-11 2017-10-11 一种语音控制方法、智能设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710950391.7A CN107492374A (zh) 2017-10-11 2017-10-11 一种语音控制方法、智能设备及存储介质

Publications (1)

Publication Number Publication Date
CN107492374A true CN107492374A (zh) 2017-12-19

Family

ID=60653675

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710950391.7A Pending CN107492374A (zh) 2017-10-11 2017-10-11 一种语音控制方法、智能设备及存储介质

Country Status (1)

Country Link
CN (1) CN107492374A (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108305626A (zh) * 2018-01-31 2018-07-20 百度在线网络技术(北京)有限公司 应用程序的语音控制方法和装置
CN108647002A (zh) * 2018-03-30 2018-10-12 联想(北京)有限公司 信息处理方法及电子设备
CN108647190A (zh) * 2018-04-25 2018-10-12 北京华夏电通科技有限公司 一种语音识别文本插入笔录文档的方法、装置及系统
CN108766436A (zh) * 2018-05-31 2018-11-06 广州酷狗计算机科技有限公司 一种多媒体设备的语音控制方法及系统
CN109326289A (zh) * 2018-11-30 2019-02-12 深圳创维数字技术有限公司 免唤醒语音交互方法、装置、设备及存储介质
CN109348353A (zh) * 2018-09-07 2019-02-15 百度在线网络技术(北京)有限公司 智能音箱的服务处理方法、装置和智能音箱
CN109584865A (zh) * 2018-10-17 2019-04-05 平安科技(深圳)有限公司 一种应用程序控制方法、装置、可读存储介质及终端设备
CN110018823A (zh) * 2018-12-11 2019-07-16 北京奇点机智科技有限公司 交互式应用程序的处理方法及系统、生成方法及系统
CN110046045A (zh) * 2019-04-03 2019-07-23 百度在线网络技术(北京)有限公司 语音唤醒的数据包处理方法和装置
JP2020009012A (ja) * 2018-07-04 2020-01-16 大日本印刷株式会社 フォトブック作製システム及びサーバ装置
CN110718221A (zh) * 2019-10-08 2020-01-21 百度在线网络技术(北京)有限公司 语音技能控制方法、语音设备、客户端以及服务器
CN110738044A (zh) * 2019-10-17 2020-01-31 杭州涂鸦信息技术有限公司 控制意图识别方法及装置、电子设备和存储介质
WO2020029673A1 (zh) * 2018-08-08 2020-02-13 广东欧珀移动通信有限公司 语音处理方法、装置、存储介质及电子设备
CN111276136A (zh) * 2018-12-04 2020-06-12 北京京东尚科信息技术有限公司 控制电子设备的方法、装置、系统及介质
CN112866953A (zh) * 2021-01-28 2021-05-28 上汽通用五菱汽车股份有限公司 基于终端车联网的无人机控制装置、方法、系统及介质
CN113377322A (zh) * 2020-03-09 2021-09-10 阿里巴巴集团控股有限公司 页面直达处理方法、装置及电子设备
CN113555014A (zh) * 2020-04-23 2021-10-26 百度在线网络技术(北京)有限公司 一种语音交互的方法、装置、电子设备及存储介质
CN113555013A (zh) * 2020-04-23 2021-10-26 百度在线网络技术(北京)有限公司 一种语音交互的方法、装置、电子设备及存储介质
WO2022199596A1 (zh) * 2021-03-25 2022-09-29 华为技术有限公司 意图决策方法及设备、计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150310864A1 (en) * 2013-01-06 2015-10-29 Huawei Technologies Co., Ltd. Method, interaction device, server, and system for speech recognition
CN105183422A (zh) * 2015-08-31 2015-12-23 百度在线网络技术(北京)有限公司 语音控制应用程序的方法和装置
CN105744074A (zh) * 2016-03-30 2016-07-06 青岛海信移动通信技术股份有限公司 一种在移动终端中进行语音操作方法和装置
CN105825851A (zh) * 2016-05-17 2016-08-03 Tcl集团股份有限公司 一种基于Android系统的语音控制方法及系统
CN106558310A (zh) * 2016-10-14 2017-04-05 北京百度网讯科技有限公司 虚拟现实语音控制方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150310864A1 (en) * 2013-01-06 2015-10-29 Huawei Technologies Co., Ltd. Method, interaction device, server, and system for speech recognition
CN105183422A (zh) * 2015-08-31 2015-12-23 百度在线网络技术(北京)有限公司 语音控制应用程序的方法和装置
CN105744074A (zh) * 2016-03-30 2016-07-06 青岛海信移动通信技术股份有限公司 一种在移动终端中进行语音操作方法和装置
CN105825851A (zh) * 2016-05-17 2016-08-03 Tcl集团股份有限公司 一种基于Android系统的语音控制方法及系统
CN106558310A (zh) * 2016-10-14 2017-04-05 北京百度网讯科技有限公司 虚拟现实语音控制方法及装置

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108305626A (zh) * 2018-01-31 2018-07-20 百度在线网络技术(北京)有限公司 应用程序的语音控制方法和装置
CN108647002A (zh) * 2018-03-30 2018-10-12 联想(北京)有限公司 信息处理方法及电子设备
CN108647190A (zh) * 2018-04-25 2018-10-12 北京华夏电通科技有限公司 一种语音识别文本插入笔录文档的方法、装置及系统
CN108766436A (zh) * 2018-05-31 2018-11-06 广州酷狗计算机科技有限公司 一种多媒体设备的语音控制方法及系统
JP2020009012A (ja) * 2018-07-04 2020-01-16 大日本印刷株式会社 フォトブック作製システム及びサーバ装置
JP7091890B2 (ja) 2018-07-04 2022-06-28 大日本印刷株式会社 フォトブック作製システム及びサーバ装置
WO2020029673A1 (zh) * 2018-08-08 2020-02-13 广东欧珀移动通信有限公司 语音处理方法、装置、存储介质及电子设备
CN109348353A (zh) * 2018-09-07 2019-02-15 百度在线网络技术(北京)有限公司 智能音箱的服务处理方法、装置和智能音箱
US11321045B2 (en) 2018-09-07 2022-05-03 Baidu Online Network Technology (Beijing) Co., Ltd. Service processing method and apparatus for smart sound box, and smart sound box
CN109584865A (zh) * 2018-10-17 2019-04-05 平安科技(深圳)有限公司 一种应用程序控制方法、装置、可读存储介质及终端设备
CN109584865B (zh) * 2018-10-17 2024-05-31 平安科技(深圳)有限公司 一种应用程序控制方法、装置、可读存储介质及终端设备
CN109326289B (zh) * 2018-11-30 2021-10-22 深圳创维数字技术有限公司 免唤醒语音交互方法、装置、设备及存储介质
CN109326289A (zh) * 2018-11-30 2019-02-12 深圳创维数字技术有限公司 免唤醒语音交互方法、装置、设备及存储介质
CN111276136A (zh) * 2018-12-04 2020-06-12 北京京东尚科信息技术有限公司 控制电子设备的方法、装置、系统及介质
CN110018823A (zh) * 2018-12-11 2019-07-16 北京奇点机智科技有限公司 交互式应用程序的处理方法及系统、生成方法及系统
CN110046045A (zh) * 2019-04-03 2019-07-23 百度在线网络技术(北京)有限公司 语音唤醒的数据包处理方法和装置
CN110718221A (zh) * 2019-10-08 2020-01-21 百度在线网络技术(北京)有限公司 语音技能控制方法、语音设备、客户端以及服务器
CN110738044B (zh) * 2019-10-17 2023-09-22 杭州涂鸦信息技术有限公司 控制意图识别方法及装置、电子设备和存储介质
CN110738044A (zh) * 2019-10-17 2020-01-31 杭州涂鸦信息技术有限公司 控制意图识别方法及装置、电子设备和存储介质
CN113377322A (zh) * 2020-03-09 2021-09-10 阿里巴巴集团控股有限公司 页面直达处理方法、装置及电子设备
CN113555014A (zh) * 2020-04-23 2021-10-26 百度在线网络技术(北京)有限公司 一种语音交互的方法、装置、电子设备及存储介质
CN113555013A (zh) * 2020-04-23 2021-10-26 百度在线网络技术(北京)有限公司 一种语音交互的方法、装置、电子设备及存储介质
CN112866953A (zh) * 2021-01-28 2021-05-28 上汽通用五菱汽车股份有限公司 基于终端车联网的无人机控制装置、方法、系统及介质
WO2022199596A1 (zh) * 2021-03-25 2022-09-29 华为技术有限公司 意图决策方法及设备、计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN107492374A (zh) 一种语音控制方法、智能设备及存储介质
US11854570B2 (en) Electronic device providing response to voice input, and method and computer readable medium thereof
EP4064713A1 (en) Voice control method and apparatus, server, terminal device, and storage medium
CN110505675B (zh) 网络连接方法及装置、存储介质、通信终端
JP7130194B2 (ja) ユーザ意図認識方法、装置、電子機器、コンピュータ可読記憶媒体及びコンピュータプログラム
US10170121B2 (en) Speech recognition system and method for operating a speech recognition system with a mobile unit and an external server
CN105825851A (zh) 一种基于Android系统的语音控制方法及系统
CN102789317A (zh) 一种加快文本输入的方法和装置
WO2023005516A1 (zh) 智能家电控制方法、装置、计算机设备和存储介质
CN102223448B (zh) 一种信息提示方法、装置及终端
CN110956956A (zh) 基于策略规则的语音识别方法及装置
CN107360507A (zh) 一种播放参数自动调节方法、智能音箱及存储介质
CN102508678A (zh) 皮肤更换方法和系统
CN110992937B (zh) 语言离线识别方法、终端及可读存储介质
CN103034407A (zh) 终端和快速输入常用短语的方法
CN103237115A (zh) 控制终端下载的方法及其移动终端
US11798545B2 (en) Speech interaction method and apparatus, device and storage medium
CN105903191A (zh) 跨终端的数据处理方法及系统
CN105721392A (zh) 一种推荐应用的方法、装置及系统
CN104469002A (zh) 确定手机联系人的方法和装置
CN106921452A (zh) 一种电台广播方法和设备
CN107071576A (zh) 电视节目自动更新方法、装置、终端及存储介质
CN109599112B (zh) 一种语音控制方法、装置、存储介质及空调
CN115394300B (zh) 语音交互方法、语音交互装置、车辆和可读存储介质
CN113113012B (zh) 一种基于协作语音交互引擎簇进行交互的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20220415

AD01 Patent right deemed abandoned