CN111651135B - 一种声音唤醒方法、装置、存储介质及电器设备 - Google Patents

一种声音唤醒方法、装置、存储介质及电器设备 Download PDF

Info

Publication number
CN111651135B
CN111651135B CN202010343589.0A CN202010343589A CN111651135B CN 111651135 B CN111651135 B CN 111651135B CN 202010343589 A CN202010343589 A CN 202010343589A CN 111651135 B CN111651135 B CN 111651135B
Authority
CN
China
Prior art keywords
sound
voice
awakening
information
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010343589.0A
Other languages
English (en)
Other versions
CN111651135A (zh
Inventor
韩雪
王慧君
王子
刘健军
李保水
梁博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gree Electric Appliances Inc of Zhuhai
Original Assignee
Gree Electric Appliances Inc of Zhuhai
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gree Electric Appliances Inc of Zhuhai filed Critical Gree Electric Appliances Inc of Zhuhai
Priority to CN202010343589.0A priority Critical patent/CN111651135B/zh
Publication of CN111651135A publication Critical patent/CN111651135A/zh
Application granted granted Critical
Publication of CN111651135B publication Critical patent/CN111651135B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/165Management of the audio stream, e.g. setting of volume, audio stream path
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/20Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/24Speech recognition using non-acoustical features
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/24Speech recognition using non-acoustical features
    • G10L15/25Speech recognition using non-acoustical features using position of the lips, movement of the lips or face analysis
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context

Abstract

本发明公开了一种声音唤醒方法、装置、存储介质及电器设备,该方法包括:获取电器设备所属环境的环境声音参数;确定电器设备所属环境的环境声音参数是否大于设定声音参数;若电器设备所属环境的环境声音参数大于设定声音参数,则确定电器设备所属环境中是否存在声音唤醒动作;若电器设备所属环境中存在声音唤醒动作,则降低电器设备所属环境中的声音播报音量,以在降低电器设备所属环境中的声音播报音量的情况下,基于电器设备所属环境中的声音唤醒动作对电器设备进行声音唤醒。本发明的方案,可以解决在嘈杂的环境下声音唤醒率低的问题,达到在嘈杂的环境下提升声音唤醒率的效果。

Description

一种声音唤醒方法、装置、存储介质及电器设备
技术领域
本发明属于声音控制技术领域,具体涉及一种声音唤醒方法、装置、存储介质及电器设备,尤其涉及一种在嘈杂的环境下提高声音唤醒率的声音唤醒方法、装置、存储介质及电器设备,例如一种在嘈杂的环境下提高声音唤醒率的声音唤醒方法、装置、存储介质及电器设备。
背景技术
在使用声音产品(如语音产品)的过程中,经常遇到这种情况。如果听音乐、听故事等的音量很高,此时基本上很难将产品唤醒,需要喊出很大的音量才能将播报声打断。因为只用当声音命令词比环境噪音至少大于10dB时,人声才能被有效拾取到。而且,声音产品自身的播报声是没有规律的,很难像其他环境噪声一样将其进行降噪消除。所以当声音播报音很大时,提高声音唤醒率是一个很需要解决的问题。
上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。
发明内容
本发明的目的在于,针对上述缺陷,提供一种声音唤醒方法、装置、存储介质及电器设备,以解决在嘈杂的环境下声音唤醒率低的问题,达到在嘈杂的环境下提升声音唤醒率的效果。
本发明提供一种声音唤醒方法,包括:获取电器设备所属环境的环境声音参数;确定电器设备所属环境的环境声音参数是否大于设定声音参数;若电器设备所属环境的环境声音参数大于设定声音参数,则确定电器设备所属环境中是否存在声音唤醒动作;若电器设备所属环境中存在声音唤醒动作,则降低电器设备所属环境中的声音播报音量,以在降低电器设备所属环境中的声音播报音量的情况下,基于电器设备所属环境中的声音唤醒动作对电器设备进行声音唤醒。
可选地,确定电器设备所属环境中是否存在声音唤醒动作,包括:开启电器设备所属环境中的图像采集模块,利用图像采集模块检测电器设备所属环境中使用者的图像信息;提取电器设备所属环境中使用者的图像信息中使用者的声音动作信息,并确定使用者的声音动作信息是否属于设定的唤醒动作范围;若使用者的声音动作信息属于设定的唤醒动作范围,则确定电器设备所属环境中存在声音唤醒动作。
可选地,声音动作信息,包括:语音唤醒口型,和/或带有声音的动作唤醒;带有声音的动作唤醒,包括:击掌声唤醒动作。
可选地,还包括:在降低电器设备所属环境中的声音播报音量之后,进一步确定电器设备所属环境中使用者的声音唤醒动作是否是声音唤醒指令;若电器设备所属环境中使用者的声音唤醒动作是声音唤醒指令,则基于声音唤醒指令唤醒电器设备,并发出电器设备已被唤醒的声音反馈信息;若电器设备所属环境中使用者的声音唤醒动作不是声音唤醒指令,则将电器设备所属环境中已降低的声音播报音量,逐渐增大至降低之前的声音播报音量。
可选地,确定电器设备所属环境中使用者的声音唤醒动作是否是声音唤醒指令,包括:利用声音采集模块,采集电器设备所属环境中使用者的声音信息;对使用者的声音信息进行解析,得到声音信息的含义信息;确定声音信息的含义信息是否属于设定唤醒信息范围,以在声音信息的含义信息属于设定唤醒信息范围的情况下,确定使用者的声音唤醒动作是声音唤醒指令;而在声音信息的含义信息不属于设定唤醒信息范围的情况下,确定使用者的声音唤醒动作不是声音唤醒指令。
可选地,还包括:若电器设备所属环境的环境声音参数小于或等于设定声音参数,则利用声音采集模块,采集电器设备所属环境中使用者的声音信息;对使用者的声音信息进行解析,得到声音信息的含义信息;确定声音信息的含义信息是否属于设定唤醒信息范围;若声音信息的含义信息属于设定唤醒信息范围,则以声音信息的含义信息为声音唤醒指令,基于声音唤醒指令唤醒电器设备,并发出电器设备已被唤醒的声音反馈信息。
与上述方法相匹配,本发明另一方面提供一种声音唤醒装置,包括:获取单元,用于获取电器设备所属环境的环境声音参数;控制单元,用于确定电器设备所属环境的环境声音参数是否大于设定声音参数;控制单元,还用于若电器设备所属环境的环境声音参数大于设定声音参数,则确定电器设备所属环境中是否存在声音唤醒动作;控制单元,用于若电器设备所属环境中存在声音唤醒动作,则降低电器设备所属环境中的声音播报音量,以在降低电器设备所属环境中的声音播报音量的情况下,基于电器设备所属环境中的声音唤醒动作对电器设备进行声音唤醒。
可选地,控制单元确定电器设备所属环境中是否存在声音唤醒动作,包括:开启电器设备所属环境中的图像采集模块,利用图像采集模块检测电器设备所属环境中使用者的图像信息;提取电器设备所属环境中使用者的图像信息中使用者的声音动作信息,并确定使用者的声音动作信息是否属于设定的唤醒动作范围;若使用者的声音动作信息属于设定的唤醒动作范围,则确定电器设备所属环境中存在声音唤醒动作。
可选地,声音动作信息,包括:语音唤醒口型,和/或带有声音的动作唤醒;带有声音的动作唤醒,包括:击掌声唤醒动作。
可选地,还包括:控制单元,还用于在降低电器设备所属环境中的声音播报音量之后,进一步确定电器设备所属环境中使用者的声音唤醒动作是否是声音唤醒指令;控制单元,还用于若电器设备所属环境中使用者的声音唤醒动作是声音唤醒指令,则基于声音唤醒指令唤醒电器设备,并发出电器设备已被唤醒的声音反馈信息;控制单元,还用于若电器设备所属环境中使用者的声音唤醒动作不是声音唤醒指令,则将电器设备所属环境中已降低的声音播报音量,逐渐增大至降低之前的声音播报音量。
可选地,控制单元确定电器设备所属环境中使用者的声音唤醒动作是否是声音唤醒指令,包括:利用声音采集模块,采集电器设备所属环境中使用者的声音信息;对使用者的声音信息进行解析,得到声音信息的含义信息;确定声音信息的含义信息是否属于设定唤醒信息范围,以在声音信息的含义信息属于设定唤醒信息范围的情况下,确定使用者的声音唤醒动作是声音唤醒指令;而在声音信息的含义信息不属于设定唤醒信息范围的情况下,确定使用者的声音唤醒动作不是声音唤醒指令。
可选地,还包括:获取单元,还用于若电器设备所属环境的环境声音参数小于或等于设定声音参数,则利用声音采集模块,采集电器设备所属环境中使用者的声音信息;控制单元,还用于对使用者的声音信息进行解析,得到声音信息的含义信息;控制单元,还用于确定声音信息的含义信息是否属于设定唤醒信息范围;控制单元,还用于若声音信息的含义信息属于设定唤醒信息范围则,则以声音信息的含义信息为声音唤醒指令,基于声音唤醒指令唤醒电器设备,并发出电器设备已被唤醒的声音反馈信息。
与上述装置相匹配,本发明再一方面提供一种电器设备,包括:以上所述的声音唤醒装置。
与上述方法相匹配,本发明再一方面提供一种存储介质,包括:所述存储介质中存储有多条指令;所述多条指令,用于由处理器加载并执行以上所述的声音唤醒方法。
与上述方法相匹配,本发明再一方面提供一种电器设备,包括:处理器,用于执行多条指令;存储器,用于存储多条指令;其中,所述多条指令,用于由所述存储器存储,并由所述处理器加载并执行以上所述的声音唤醒方法。
本发明的方案,通过检测用户是否做出唤醒设备的行为,当检测到用户做出唤醒设备的行为时,主动降低声音播报(如语音播报、音乐播放等)的音量,至少可以避免声音播报(如语音播报、音乐播放等)声对声音唤醒(如语音唤醒、击掌声唤醒等)率的影响,提升唤醒效率。
进一步,本发明的方案,通过检测用户是否做出唤醒设备的行为,当检测到用户做出唤醒设备的行为时,主动降低声音播报(如语音播报、音乐播放等)的音量,可以在满足产品拥有大音量的同时不影响产品的唤醒率。
进一步,本发明的方案,通过检测用户是否做出唤醒设备的行为,当检测到用户做出唤醒设备的行为时,主动降低声音播报(如语音播报、音乐播放等)的音量,帮助使用者能够较容易的唤醒声音设备,可以提高嘈杂环境下设备的唤醒率。
进一步,本发明的方案,通过检测用户是否做出唤醒设备的行为,当检测到用户做出唤醒设备的行为时,主动降低声音播报(如语音播报、音乐播放等)的音量,在无法使用声音降噪算法场景下,辅助声音唤醒(如语音唤醒、击掌声唤醒等)设备。
进一步,本发明的方案,通过检测用户是否做出唤醒设备的行为,当检测到用户做出唤醒设备的行为时,主动降低声音播报(如语音播报、音乐播放等)的音量,降低了的误唤醒率。
由此,本发明的方案,通过检测用户是否做出唤醒设备的行为,当检测到用户做出唤醒设备的行为时,主动降低声音播报(如语音播报、音乐播放等)的音量,解决在嘈杂的环境下声音唤醒(如语音唤醒、击掌声唤醒等)率低的问题,达到在嘈杂的环境下提升声音唤醒(如语音唤醒、击掌声唤醒等)率的效果。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的声音唤醒(如语音唤醒、击掌声唤醒等)方法的一实施例的流程示意图;
图2为本发明的方法中确定电器设备所属环境中是否存在声音唤醒(如语音唤醒、击掌声唤醒等)动作的一实施例的流程示意图;
图3为本发明的方法中进一步判断电器设备所属环境中使用者的声音唤醒(如语音唤醒、击掌声唤醒等)动作的声音唤醒(如语音唤醒、击掌声唤醒等)指令的一实施例的流程示意图;
图4为本发明的方法中确定电器设备所属环境中使用者的声音唤醒(如语音唤醒、击掌声唤醒等)动作是否是声音唤醒(如语音唤醒、击掌声唤醒等)指令的一实施例的流程示意图;
图5为本发明的方法中利用声音指令正常唤醒或控制的一实施例的流程示意图;
图6为本发明的声音唤醒(如语音唤醒、击掌声唤醒等)装置的一实施例的结构示意图;
图7为本发明的电器设备的一实施例的声音唤醒(如语音唤醒、击掌声唤醒等)流向示意图。
结合附图,本发明实施例中附图标记如下:
102-获取单元;104-控制单元;106-控制单元。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
根据本发明的实施例,提供了一种声音唤醒(如语音唤醒、击掌声唤醒等)方法,如图1所示本发明的方法的一实施例的流程示意图。该声音唤醒(如语音唤醒、击掌声唤醒等)方法可以应用于具有声音唤醒(如语音唤醒、击掌声唤醒等)功能的电器设备,具有声音唤醒(如语音唤醒、击掌声唤醒等)功能的电器设备的声音唤醒(如语音唤醒、击掌声唤醒等)方法,可以包括:步骤S110至步骤S140。
在步骤S110处,获取电器设备所属环境的环境声音参数。
在步骤S120处,确定电器设备所属环境的环境声音参数是否大于设定声音参数。
在步骤S130处,若电器设备所属环境的环境声音参数大于设定声音参数,则确定电器设备所属环境中是否存在声音唤醒(如语音唤醒、击掌声唤醒等)动作。
可选地,可以结合图2所示本发明的方法中确定电器设备所属环境中是否存在声音唤醒(如语音唤醒、击掌声唤醒等)动作的一实施例流程示意图,进一步说明步骤S130中确定电器设备所属环境中是否存在声音唤醒(如语音唤醒、击掌声唤醒等)动作的具体过程,可以包括:步骤S210至步骤S230。
步骤S210,开启电器设备所属环境中的图像采集模块,利用图像采集模块检测电器设备所属环境中使用者的图像信息。例如:可以在声音产品的本体上,通过配有图像采集模块如摄像头和声音采集模块如声音传感器,利用摄像头能够检测人的活动,可以用于判断人是否有唤醒设备的动作,利用声音传感器可以用于监测环境噪声分贝。
步骤S220,提取电器设备所属环境中使用者的图像信息中使用者的声音动作信息,并确定使用者的声音动作信息是否属于设定的唤醒动作范围。声音动作信息,可以包括:语音唤醒口型,如语音唤醒情况下的口型信息;和/或,带有声音的动作唤醒,如带有声音的动作唤醒情况下的动作信息。其中,带有声音的动作唤醒,可以包括:击掌声唤醒动作。这样,通过多种形式的声音动作信息,可以使得利用声音唤醒电器设备的方式适用于不同用户,从而提升用户使用的便捷性和多样性。如提取电器设备所属环境中使用者的图像信息中使用者的口型、击掌等声音动作信息信息,并确定使用者的口型、击掌等声音动作信息信息是否属于设定的唤醒口型、击掌等声音动作信息范围。
其中,设定的唤醒口型、击掌等声音动作信息范围,可以对电器设备所属环境中的使用者的唤醒口型、击掌等声音动作信息进行收集后,经训练和学习得到的。例如:摄像头中可以有人体检测与唤醒词检测的深度学习神经模型;可以通过大量的居民房间活动视频样本、播报唤醒词的口型、击掌等声音动作信息视频样本对深度学习神经模型进行训练,使之能够检测到房间中的人数,并且定位到人发出话时的口型、击掌等声音动作信息,能够在用户发出声音唤醒(如语音唤醒、击掌声唤醒等)指令时有效的识别出这是唤醒设备的口型、击掌等声音动作信息。
步骤S230,若使用者的口型、击掌等声音动作信息信息属于设定的唤醒口型、击掌等声音动作信息范围,则确定电器设备所属环境中存在声音唤醒(如语音唤醒、击掌声唤醒等)动作。
例如:可以在声音产品中增加摄像头,利用摄像头来监控人的声音控制活动,当检测到用户做出唤醒设备的行为时,主动降低声音播报(如语音播报、音乐播放等)的音量,帮助使用者能够较容易的唤醒声音设备,可以提高嘈杂环境下设备的唤醒率,提高用户的使用体验。如可以通过摄像头检测声音唤醒(如语音唤醒、击掌声唤醒等)口型、击掌等声音动作信息后主动降低声音播报(如语音播报、音乐播放等)音量,在无法使用声音降噪算法场景下,辅助声音唤醒(如语音唤醒、击掌声唤醒等)设备。
例如:声音传感器检测当前环境声音分贝值,以检测到的当前环境声音分贝值为当前环境噪声,根据当前环境声音分贝值,判断当前环境噪声是否大于设定分贝如60dB。若当前环境噪声大于设定分贝如60dB,则打开摄像头,检测到当前环境中的声音唤醒(如语音唤醒、击掌声唤醒等)口型、击掌等声音动作信息时,降低声音播报(如语音播报、音乐播放等)音量。
例如:当人发出话声超过70分贝时,会有明显的吃力感。故将环境声音分贝临界值设为60dB,当声音传感器检测到环境声音分贝值大于或等于60dB时,将此信息发送给控制模块,控制模块控制摄像头打开;摄像头对房间环境进行扫描检测,识别出房间里的人,并对其口型、击掌等声音动作信息进行监控,当捕捉到与唤醒词相同的口型、击掌等声音动作信息时,发送信号到控制模块,控制模块主动控制降低扬声器的音量。
由此,通过在电器设备所属环境中声音较大的情况下,采集电器设备所属环境中使用者的口型、击掌等声音动作信息信息以确定使用者是否发出了声音唤醒(如语音唤醒、击掌声唤醒等)动作,可以在声音较大的情况下优先通过图像确定使用者是否在进行声音唤醒(如语音唤醒、击掌声唤醒等),以提升对声音唤醒(如语音唤醒、击掌声唤醒等)动作确定的方便性。
在步骤S140处,若电器设备所属环境中存在声音唤醒(如语音唤醒、击掌声唤醒等)动作,则降低电器设备所属环境中的声音播报(如语音播报、音乐播放等)音量,以在降低电器设备所属环境中的声音播报(如语音播报、音乐播放等)音量的情况下,基于电器设备所属环境中的声音唤醒(如语音唤醒、击掌声唤醒等)动作对电器设备进行声音唤醒(如语音唤醒、击掌声唤醒等)。
例如:当检测到用户做出唤醒设备的行为时,主动降低声音播报(如语音播报、音乐播放等)的音量,帮助使用者能够较容易的唤醒声音设备,可以在嘈杂的环境下提高声音唤醒(如语音唤醒、击掌声唤醒等)率的方案,至少可以避免声音播报(如语音播报、音乐播放等)声对声音唤醒(如语音唤醒、击掌声唤醒等)率的影响,还可以在满足产品拥有大音量的同时不影响产品的唤醒率。
由此,通过在电器设备所属环境中环境声音较大的情况下,若检测到电器设备所属环境中存在声音唤醒(如语音唤醒、击掌声唤醒等)动作,则主动降低电器设备所属环境中的声音播报(如语音播报、音乐播放等)音量,可以降低环境声音,提升声音播报(如语音播报、音乐播放等)的唤醒成功率。
在一个可选实施方式中,还可以包括:在确定电器设备所属环境中存在声音唤醒(如语音唤醒、击掌声唤醒等)动作的情况下,进一步判断电器设备所属环境中使用者的声音唤醒(如语音唤醒、击掌声唤醒等)动作的声音唤醒(如语音唤醒、击掌声唤醒等)指令。
下面结合图3所示本发明的方法中进一步判断电器设备所属环境中使用者的声音唤醒(如语音唤醒、击掌声唤醒等)动作的声音唤醒(如语音唤醒、击掌声唤醒等)指令的一实施例流程示意图,进一步说明进一步判断电器设备所属环境中使用者的声音唤醒(如语音唤醒、击掌声唤醒等)动作的声音唤醒(如语音唤醒、击掌声唤醒等)指令的具体过程,可以包括:步骤S310至步骤S330。
步骤S310,在降低电器设备所属环境中的声音播报(如语音播报、音乐播放等)音量之后,进一步确定电器设备所属环境中使用者的声音唤醒(如语音唤醒、击掌声唤醒等)动作是否是声音唤醒(如语音唤醒、击掌声唤醒等)指令。
可选地,可以结合图4所示本发明的方法中确定电器设备所属环境中使用者的声音唤醒(如语音唤醒、击掌声唤醒等)动作是否是声音唤醒(如语音唤醒、击掌声唤醒等)指令的一实施例流程示意图,进一步说明步骤S310中确定电器设备所属环境中使用者的声音唤醒(如语音唤醒、击掌声唤醒等)动作是否是声音唤醒(如语音唤醒、击掌声唤醒等)指令的具体过程,可以包括:步骤S410至步骤S430。
步骤S410,利用声音采集模块,采集电器设备所属环境中使用者的声音信息。
例如:声音传感器,可以用于检测当前环境声音分贝值。摄像头可以位于麦克风的正上方或者正下方,距离不能太远。
步骤S420,对使用者的声音信息进行解析,得到声音信息的含义(如语音指令所包含的语义、击掌声所代表的意义等)信息。
步骤S430,确定声音信息的含义(如语音指令所包含的语义、击掌声所代表的意义等)信息是否属于设定唤醒信息范围,以在声音信息的含义(如语音指令所包含的语义、击掌声所代表的意义等)信息属于设定唤醒信息范围的情况下,确定使用者的声音唤醒(如语音唤醒、击掌声唤醒等)动作是声音唤醒(如语音唤醒、击掌声唤醒等)指令;而在声音信息的含义(如语音指令所包含的语义、击掌声所代表的意义等)信息不属于设定唤醒信息范围的情况下,确定使用者的声音唤醒(如语音唤醒、击掌声唤醒等)动作不是声音唤醒(如语音唤醒、击掌声唤醒等)指令。
例如:可以利用声音采集模块如麦克风拾音,进一步验证当前环境中的声音指令是否为声音唤醒(如语音唤醒、击掌声唤醒等)指令。其中,进一步验证当前环境中的声音指令是否为声音唤醒(如语音唤醒、击掌声唤醒等)指令的工作可以是在用户发出声音唤醒(如语音唤醒、击掌声唤醒等)指令的过程中进行的,并不是等着唤醒词发出完。例如:唤醒词是4个字时,可以当摄像头检测到前两个字的口型、击掌等声音动作信息时,就会发送信号减低扬声器的音量;后面的两个字,会利用麦克风拾音来进一步验证,如果验证用户的确发出的是唤醒词,则停止播报,开始识别用户的控制指令;如果验证结果不统一,则扬声器音量慢慢增大到原来的音量值。该控制指令,可以是用户唤醒电器设备后对电器设备发出的控制指令,可以是声音控制指令如声音控制指令、能发出声音的动作控制指令等,当然也可以是不带声音的手势控制指令等。
由此,通过在确定电器设备所属环境中存在声音唤醒(如语音唤醒、击掌声唤醒等)动作并降低声音播报(如语音播报、音乐播放等)音量的情况下,进一步利用声音采集模块验证声音唤醒(如语音唤醒、击掌声唤醒等)动作是否是声音唤醒(如语音唤醒、击掌声唤醒等)指令以确定是否执行唤醒动作,验证方式简便且可靠。
步骤S320,若电器设备所属环境中使用者的声音唤醒(如语音唤醒、击掌声唤醒等)动作是声音唤醒(如语音唤醒、击掌声唤醒等)指令,则基于声音唤醒(如语音唤醒、击掌声唤醒等)指令唤醒电器设备,并发出电器设备已被唤醒的声音反馈信息,之后执行在电器设备已被唤醒的情况下的第一控制指令。例如:当用户发出声音唤醒(如语音唤醒、击掌声唤醒等)指令时,产品声音播报(如语音播报、音乐播放等)音量降低,不仅人性化,也是提示用户,当前已识别到用户在做唤醒设备的动作。
步骤S330,若电器设备所属环境中使用者的声音唤醒(如语音唤醒、击掌声唤醒等)动作不是声音唤醒(如语音唤醒、击掌声唤醒等)指令,则将电器设备所属环境中已降低的声音播报(如语音播报、音乐播放等)音量,逐渐增大至降低之前的声音播报(如语音播报、音乐播放等)音量,之后执行电器设备未被唤醒的情况下的第二控制指令。例如:当错误识别到用户声音唤醒(如语音唤醒、击掌声唤醒等)口型、击掌等声音动作信息时,本发明的方案只是出现播报音量降低的动作,并不是直接停止播报,并反馈被唤醒后的动作,例如“在呢”、“什么事”之类声音提醒词。
例如:进一步验证当前环境中的声音指令是否为声音唤醒(如语音唤醒、击掌声唤醒等)指令。若当前环境中的声音指令是声音唤醒(如语音唤醒、击掌声唤醒等)指令,则做出被唤醒后的声音反馈,执行当前指令,该当前指令可以是电器设备被唤醒后用户发出的用于控制电器设备执行相应动作的控制指令。若当前环境中的声音指令不是声音唤醒(如语音唤醒、击掌声唤醒等)指令,则将声音播报(如语音播报、音乐播放等)音量逐渐增到原来值,执行当前环境中的当前声音指令,该当前声音指令,可以是在电器设备未被唤醒前电器设备所属环境中的其它控制指令,也可以是在电器设备未被唤醒前为了继续唤醒电器设备而发出的新的声音唤醒(如语音唤醒、击掌声唤醒等)指令。
由此,通过在确定电器设备所属环境中存在声音唤醒(如语音唤醒、击掌声唤醒等)动作并降低声音播报(如语音播报、音乐播放等)音量的情况下,进一步利用声音信息确定声音唤醒(如语音唤醒、击掌声唤醒等)动作是否是声音唤醒(如语音唤醒、击掌声唤醒等)指令以确定是否执行唤醒动作,可以在声音唤醒(如语音唤醒、击掌声唤醒等)动作是声音唤醒(如语音唤醒、击掌声唤醒等)指令的情况下可靠实现声音唤醒(如语音唤醒、击掌声唤醒等),提升了声音唤醒(如语音唤醒、击掌声唤醒等)的成功率;在声音动作不是声音唤醒(如语音唤醒、击掌声唤醒等)指令的情况下执行相应的声音信息且不影响声音播报(如语音播报、音乐播放等),方便了用户的正常使用。
在一个可选实施方式中,还可以包括:在电器设备所属环境的环境声音参数小于或等于设定声音参数的情况下,利用声音指令正常唤醒或控制的过程。
下面结合图5所示本发明的方法中利用声音指令正常唤醒或控制的一实施例流程示意图,进一步说明利用声音指令正常唤醒或控制的具体过程,可以包括:步骤S510至步骤S550。
步骤S510,若电器设备所属环境的环境声音参数小于或等于设定声音参数,则利用声音采集模块,采集电器设备所属环境中使用者的声音信息。
步骤S520,对使用者的声音信息进行解析,得到声音信息的含义(如语音指令所包含的语义、击掌声所代表的意义等)信息。
步骤S530,确定声音信息的含义(如语音指令所包含的语义、击掌声所代表的意义等)信息是否属于设定唤醒信息范围。
步骤S540,若声音信息的含义(如语音指令所包含的语义、击掌声所代表的意义等)信息属于设定唤醒信息范围则,则以声音信息的含义(如语音指令所包含的语义、击掌声所代表的意义等)信息为声音唤醒(如语音唤醒、击掌声唤醒等)指令,基于声音唤醒(如语音唤醒、击掌声唤醒等)指令唤醒电器设备,并发出电器设备已被唤醒的声音反馈信息,之后执行在电器设备已被唤醒的情况下的第一控制指令。
步骤S550,若在声音信息的含义(如语音指令所包含的语义、击掌声所代表的意义等)信息不属于设定唤醒信息范围,则执行电器设备未被唤醒的情况下该含义(如语音指令所包含的语义、击掌声所代表的意义等)信息所对应的第二控制指令。
例如:当声音传感器检测到环境声音分贝值小于60dB时,摄像头不会打开,只借助于麦克风进行声音拾取动作;这样不仅可以降低用户对隐私的担忧,也能降低功耗。
由此,在电器设备所属环境的环境声音参数小于或等于设定声音参数的情况下,利用声音信息正常唤醒或控制,不影响用户的正常使用,人性化好。
经大量的试验验证,采用本实施例的技术方案,通过检测用户是否做出唤醒设备的行为,当检测到用户做出唤醒设备的行为时,主动降低声音播报(如语音播报、音乐播放等)的音量,至少可以避免声音播报(如语音播报、音乐播放等)声对声音唤醒(如语音唤醒、击掌声唤醒等)率的影响,提升唤醒效率。
根据本发明的实施例,还提供了对应于声音唤醒(如语音唤醒、击掌声唤醒等)方法的一种声音唤醒(如语音唤醒、击掌声唤醒等)装置。参见图6所示本发明的装置的一实施例的结构示意图。该声音唤醒(如语音唤醒、击掌声唤醒等)装置可以应用于具有声音唤醒(如语音唤醒、击掌声唤醒等)功能的电器设备,具有声音唤醒(如语音唤醒、击掌声唤醒等)功能的电器设备的声音唤醒(如语音唤醒、击掌声唤醒等)装置,可以包括:获取单元102、控制单元104和控制单元106。
在一个可选例子中,获取单元102,可以用于获取电器设备所属环境的环境声音参数。该获取单元102的具体功能及处理参见步骤S110。
在一个可选例子中,控制单元104,可以用于确定电器设备所属环境的环境声音参数是否大于设定声音参数。该控制单元104的具体功能及处理参见步骤S120。
在一个可选例子中,控制单元104,还可以用于若电器设备所属环境的环境声音参数大于设定声音参数,则确定电器设备所属环境中是否存在声音唤醒(如语音唤醒、击掌声唤醒等)动作。该控制单元104的具体功能及处理还参见步骤S130。
可选地,控制单元104确定电器设备所属环境中是否存在声音唤醒(如语音唤醒、击掌声唤醒等)动作,可以包括:
控制单元104,具体还可以用于开启电器设备所属环境中的图像采集模块,利用图像采集模块检测电器设备所属环境中使用者的图像信息。例如:可以在声音产品的本体上,通过配有图像采集模块如摄像头和声音采集模块如声音传感器,利用摄像头能够检测人的活动,可以用于判断人是否有唤醒设备的动作,利用声音传感器可以用于监测环境噪声分贝。该控制单元104的具体功能及处理还参见步骤S210。
控制单元104,具体还可以用于提取电器设备所属环境中使用者的图像信息中使用者的声音动作信息,并确定使用者的声音动作信息是否属于设定的唤醒动作范围。声音动作信息,可以包括:语音唤醒口型,如语音唤醒情况下的口型信息;和/或,带有声音的动作唤醒,如带有声音的动作唤醒情况下的动作信息。其中,带有声音的动作唤醒,可以包括:击掌声唤醒动作。这样,通过多种形式的声音动作信息,可以使得利用声音唤醒电器设备的方式适用于不同用户,从而提升用户使用的便捷性和多样性。如提取电器设备所属环境中使用者的图像信息中使用者的口型、击掌等声音动作信息信息,并确定使用者的口型、击掌等声音动作信息信息是否属于设定的唤醒口型、击掌等声音动作信息范围。该控制单元104的具体功能及处理还参见步骤S220。
其中,设定的唤醒口型、击掌等声音动作信息范围,可以对电器设备所属环境中的使用者的唤醒口型、击掌等声音动作信息进行收集后,经训练和学习得到的。例如:摄像头中可以有人体检测与唤醒词检测的深度学习神经模型;可以通过大量的居民房间活动视频样本、播报唤醒词的口型、击掌等声音动作信息视频样本对深度学习神经模型进行训练,使之能够检测到房间中的人数,并且定位到人发出话时的口型、击掌等声音动作信息,能够在用户发出声音唤醒(如语音唤醒、击掌声唤醒等)指令时有效的识别出这是唤醒设备的口型、击掌等声音动作信息。
控制单元104,具体还可以用于若使用者的口型、击掌等声音动作信息信息属于设定的唤醒口型、击掌等声音动作信息范围,则确定电器设备所属环境中存在声音唤醒(如语音唤醒、击掌声唤醒等)动作。该控制单元104的具体功能及处理还参见步骤S230。
例如:可以在声音产品中增加摄像头,利用摄像头来监控人的声音控制活动,当检测到用户做出唤醒设备的行为时,主动降低声音播报(如语音播报、音乐播放等)的音量,帮助使用者能够较容易的唤醒声音设备,可以提高嘈杂环境下设备的唤醒率,提高用户的使用体验。如可以通过摄像头检测声音唤醒(如语音唤醒、击掌声唤醒等)口型、击掌等声音动作信息后主动降低声音播报(如语音播报、音乐播放等)音量,在无法使用声音降噪算法场景下,辅助声音唤醒(如语音唤醒、击掌声唤醒等)设备。
例如:声音传感器检测当前环境声音分贝值,以检测到的当前环境声音分贝值为当前环境噪声,根据当前环境声音分贝值,判断当前环境噪声是否大于设定分贝如60dB。若当前环境噪声大于设定分贝如60dB,则打开摄像头,检测到当前环境中的声音唤醒(如语音唤醒、击掌声唤醒等)口型、击掌等声音动作信息时,降低声音播报(如语音播报、音乐播放等)音量。
例如:当人发出话声超过70分贝时,会有明显的吃力感。故将环境声音分贝临界值设为60dB,当声音传感器检测到环境声音分贝值大于或等于60dB时,将此信息发送给控制模块,控制模块控制摄像头打开;摄像头对房间环境进行扫描检测,识别出房间里的人,并对其口型、击掌等声音动作信息进行监控,当捕捉到与唤醒词相同的口型、击掌等声音动作信息时,发送信号到控制模块,控制模块主动控制降低扬声器的音量。
由此,通过在电器设备所属环境中声音较大的情况下,采集电器设备所属环境中使用者的口型、击掌等声音动作信息信息以确定使用者是否发出了声音唤醒(如语音唤醒、击掌声唤醒等)动作,可以在声音较大的情况下优先通过图像确定使用者是否在进行声音唤醒(如语音唤醒、击掌声唤醒等),以提升对声音唤醒(如语音唤醒、击掌声唤醒等)动作确定的方便性。
在一个可选例子中,控制单元106,可以用于若电器设备所属环境中存在声音唤醒(如语音唤醒、击掌声唤醒等)动作,则降低电器设备所属环境中的声音播报(如语音播报、音乐播放等)音量,以在降低电器设备所属环境中的声音播报(如语音播报、音乐播放等)音量的情况下,基于电器设备所属环境中的声音唤醒(如语音唤醒、击掌声唤醒等)动作对电器设备进行声音唤醒(如语音唤醒、击掌声唤醒等)。该控制单元104的具体功能及处理参见步骤S140。
例如:当检测到用户做出唤醒设备的行为时,主动降低声音播报(如语音播报、音乐播放等)的音量,帮助使用者能够较容易的唤醒声音设备,可以在嘈杂的环境下提高声音唤醒(如语音唤醒、击掌声唤醒等)率的方案,至少可以避免声音播报(如语音播报、音乐播放等)声对声音唤醒(如语音唤醒、击掌声唤醒等)率的影响,还可以在满足产品拥有大音量的同时不影响产品的唤醒率。
由此,通过在电器设备所属环境中环境声音较大的情况下,若检测到电器设备所属环境中存在声音唤醒(如语音唤醒、击掌声唤醒等)动作,则主动降低电器设备所属环境中的声音播报(如语音播报、音乐播放等)音量,可以降低环境声音,提升声音播报(如语音播报、音乐播放等)的唤醒成功率。
在一个可选实施方式中,还可以包括:在确定电器设备所属环境中存在声音唤醒(如语音唤醒、击掌声唤醒等)动作的情况下,进一步判断电器设备所属环境中使用者的声音唤醒(如语音唤醒、击掌声唤醒等)动作的声音唤醒(如语音唤醒、击掌声唤醒等)指令,具体可以参见以下示例性说明。
控制单元104,还可以用于在降低电器设备所属环境中的声音播报(如语音播报、音乐播放等)音量之后,进一步确定电器设备所属环境中使用者的声音唤醒(如语音唤醒、击掌声唤醒等)动作是否是声音唤醒(如语音唤醒、击掌声唤醒等)指令。该控制单元104的具体功能及处理还参见步骤S310。
可选地,控制单元104确定电器设备所属环境中使用者的声音唤醒(如语音唤醒、击掌声唤醒等)动作是否是声音唤醒(如语音唤醒、击掌声唤醒等)指令,可以包括:
控制单元104,具体还可以用于利用声音采集模块,采集电器设备所属环境中使用者的声音信息。该控制单元104的具体功能及处理还参见步骤S410。
例如:声音传感器,可以用于检测当前环境声音分贝值。摄像头可以位于麦克风的正上方或者正下方,距离不能太远。
控制单元104,具体还可以用于对使用者的声音信息进行解析,得到声音信息的含义(如语音指令所包含的语义、击掌声所代表的意义等)信息。该控制单元104的具体功能及处理还参见步骤S420。
控制单元104,具体还可以用于确定声音信息的含义(如语音指令所包含的语义、击掌声所代表的意义等)信息是否属于设定唤醒信息范围,以在声音信息的含义(如语音指令所包含的语义、击掌声所代表的意义等)信息属于设定唤醒信息范围的情况下,确定使用者的声音唤醒(如语音唤醒、击掌声唤醒等)动作是声音唤醒(如语音唤醒、击掌声唤醒等)指令;而在声音信息的含义(如语音指令所包含的语义、击掌声所代表的意义等)信息不属于设定唤醒信息范围的情况下,确定使用者的声音唤醒(如语音唤醒、击掌声唤醒等)动作不是声音唤醒(如语音唤醒、击掌声唤醒等)指令。该控制单元104的具体功能及处理还参见步骤S430。
例如:可以利用声音采集模块如麦克风拾音,进一步验证当前环境中的声音指令是否为声音唤醒(如语音唤醒、击掌声唤醒等)指令。其中,进一步验证当前环境中的声音指令是否为声音唤醒(如语音唤醒、击掌声唤醒等)指令的工作可以是在用户发出声音唤醒(如语音唤醒、击掌声唤醒等)指令的过程中进行的,并不是等着唤醒词说完。例如:唤醒词是4个字时,可以当摄像头检测到前两个字的口型、击掌等声音动作信息时,就会发送信号减低扬声器的音量;后面的两个字,会利用麦克风拾音来进一步验证,如果验证用户的确发出的是唤醒词,则停止播报,开始识别用户的控制指令;如果验证结果不统一,则扬声器音量慢慢增大到原来的音量值。该控制指令,可以是用户唤醒电器设备后对电器设备发出的控制指令,可以是声音控制指令如声音控制指令、能发出声音的动作控制指令等,当然也可以是不带声音的手势控制指令等。
由此,通过在确定电器设备所属环境中存在声音唤醒(如语音唤醒、击掌声唤醒等)动作并降低声音播报(如语音播报、音乐播放等)音量的情况下,进一步利用声音采集模块验证声音唤醒(如语音唤醒、击掌声唤醒等)动作是否是声音唤醒(如语音唤醒、击掌声唤醒等)指令以确定是否执行唤醒动作,验证方式简便且可靠。
控制单元106,还可以用于若电器设备所属环境中使用者的声音唤醒(如语音唤醒、击掌声唤醒等)动作是声音唤醒(如语音唤醒、击掌声唤醒等)指令,则基于声音唤醒(如语音唤醒、击掌声唤醒等)指令唤醒电器设备,并发出电器设备已被唤醒的声音反馈信息,之后执行在电器设备已被唤醒的情况下的第一控制指令。例如:当用户发出声音唤醒(如语音唤醒、击掌声唤醒等)指令时,产品声音播报(如语音播报、音乐播放等)音量降低,不仅人性化,也是提示用户,当前已识别到用户在做唤醒设备的动作。该控制单元106的具体功能及处理还参见步骤S320。
控制单元106,还可以用于若电器设备所属环境中使用者的声音唤醒(如语音唤醒、击掌声唤醒等)动作不是声音唤醒(如语音唤醒、击掌声唤醒等)指令,则将电器设备所属环境中已降低的声音播报(如语音播报、音乐播放等)音量,逐渐增大至降低之前的声音播报(如语音播报、音乐播放等)音量,之后执行电器设备未被唤醒的情况下的第二控制指令。该控制单元106的具体功能及处理还参见步骤S330。例如:当错误识别到用户声音唤醒(如语音唤醒、击掌声唤醒等)口型、击掌等声音动作信息时,本发明的方案只是出现播报音量降低的动作,并不是直接停止播报,并反馈被唤醒后的动作,例如“在呢”、“什么事”之类声音提醒词。
例如:进一步验证当前环境中的声音指令是否为声音唤醒(如语音唤醒、击掌声唤醒等)指令。若当前环境中的声音指令是声音唤醒(如语音唤醒、击掌声唤醒等)指令,则做出被唤醒后的声音反馈,执行当前指令,该当前指令可以是电器设备被唤醒后用户发出的用于控制电器设备执行相应动作的控制指令。若当前环境中的声音指令不是声音唤醒(如语音唤醒、击掌声唤醒等)指令,则将声音播报(如语音播报、音乐播放等)音量逐渐增到原来值,执行当前环境中的当前声音指令,该当前声音指令,可以是在电器设备未被唤醒前电器设备所属环境中的其它控制指令,也可以是在电器设备未被唤醒前为了继续唤醒电器设备而发出的新的声音唤醒(如语音唤醒、击掌声唤醒等)指令。
由此,通过在确定电器设备所属环境中存在声音唤醒(如语音唤醒、击掌声唤醒等)动作并降低声音播报(如语音播报、音乐播放等)音量的情况下,进一步利用声音信息确定声音唤醒(如语音唤醒、击掌声唤醒等)动作是否是声音唤醒(如语音唤醒、击掌声唤醒等)指令以确定是否执行唤醒动作,可以在声音唤醒(如语音唤醒、击掌声唤醒等)动作是声音唤醒(如语音唤醒、击掌声唤醒等)指令的情况下可靠实现声音唤醒(如语音唤醒、击掌声唤醒等),提升了声音唤醒(如语音唤醒、击掌声唤醒等)的成功率。在声音动作不是声音唤醒(如语音唤醒、击掌声唤醒等)指令的情况下执行相应的声音信息且不影响声音播报(如语音播报、音乐播放等),方便了用户的正常使用。
在一个可选实施方式中,还可以包括:在电器设备所属环境的环境声音参数小于或等于设定声音参数的情况下,利用声音指令正常唤醒或控制的过程,具体可以参见以下示例性说明。
获取单元102,还可以用于若电器设备所属环境的环境声音参数小于或等于设定声音参数,则利用声音采集模块,采集电器设备所属环境中使用者的声音信息。该获取单元102的具体功能及处理还参见步骤S510。
控制单元104,还可以用于对使用者的声音信息进行解析,得到声音信息的含义(如语音指令所包含的语义、击掌声所代表的意义等)信息。该控制单元104的具体功能及处理还参见步骤S520。
控制单元104,还可以用于确定声音信息的含义(如语音指令所包含的语义、击掌声所代表的意义等)信息是否属于设定唤醒信息范围。该控制单元104的具体功能及处理还参见步骤S530。
控制单元106,还可以用于若声音信息的含义(如语音指令所包含的语义、击掌声所代表的意义等)信息属于设定唤醒信息范围则,则以声音信息的含义(如语音指令所包含的语义、击掌声所代表的意义等)信息为声音唤醒(如语音唤醒、击掌声唤醒等)指令,基于声音唤醒(如语音唤醒、击掌声唤醒等)指令唤醒电器设备,并发出电器设备已被唤醒的声音反馈信息,之后执行在电器设备已被唤醒的情况下的第一控制指令。该控制单元106的具体功能及处理还参见步骤S540。
控制单元106,还可以用于若在声音信息的含义(如语音指令所包含的语义、击掌声所代表的意义等)信息不属于设定唤醒信息范围,则执行电器设备未被唤醒的情况下该含义(如语音指令所包含的语义、击掌声所代表的意义等)信息所对应的第二控制指令。该控制单元106的具体功能及处理还参见步骤S550。
例如:当声音传感器检测到环境声音分贝值小于60dB时,摄像头不会打开,只借助于麦克风进行声音拾取动作;这样不仅可以降低用户对隐私的担忧,也能降低功耗。
由此,在电器设备所属环境的环境声音参数小于或等于设定声音参数的情况下,利用声音信息正常唤醒或控制,不影响用户的正常使用,人性化好。
由于本实施例的装置所实现的处理及功能基本相应于前述图1至图5所示的方法的实施例、原理和实例,故本实施例的描述中未详尽之处,可以参见前述实施例中的相关说明,在此不做赘述。
经大量的试验验证,采用本发明的技术方案,通过检测用户是否做出唤醒设备的行为,当检测到用户做出唤醒设备的行为时,主动降低声音播报(如语音播报、音乐播放等)的音量,可以在满足产品拥有大音量的同时不影响产品的唤醒率。
根据本发明的实施例,还提供了对应于声音唤醒(如语音唤醒、击掌声唤醒等)装置的一种电器设备。该电器设备可以包括:以上所述的声音唤醒(如语音唤醒、击掌声唤醒等)装置。
由于声音播报(如语音播报、音乐播放等)声与外部环境噪声都属于噪声,都会影响声音唤醒(如语音唤醒、击掌声唤醒等)率。因此带来一个弊端,人们使用声音产品时,不能将设备的音量调到太大,否则很难唤醒,然而人们又对大音量有一定的使用需求。
为了满足产品拥有大音量的同时,又不影响产品的唤醒率。本发明的方案,提供一种在嘈杂的环境下提高声音唤醒(如语音唤醒、击掌声唤醒等)率的方案,至少可以避免声音播报(如语音播报、音乐播放等)声对声音唤醒(如语音唤醒、击掌声唤醒等)率的影响,还可以在满足产品拥有大音量的同时不影响产品的唤醒率。
具体地,本发明的方案提出一种在嘈杂的环境下提高声音唤醒(如语音唤醒、击掌声唤醒等)率识别率的方法,可以在声音产品中增加摄像头,利用摄像头来监控人的声音控制活动,当检测到用户做出唤醒设备的行为时,主动降低声音播报(如语音播报、音乐播放等)的音量,帮助使用者能够较容易的唤醒声音设备,可以提高嘈杂环境下设备的唤醒率,提高用户的使用体验。
例如:该声音播报(如语音播报、音乐播放等)的音量,是声音产品在播报时的声音。如:声音产品正常播放音乐,分贝达到70,此时设备检测到用户做出唤醒设备的行为时,设备主动降低自身播放的音乐音量。
可选地,可以通过摄像头检测声音唤醒(如语音唤醒、击掌声唤醒等)口型、击掌等声音动作信息后主动降低声音播报(如语音播报、音乐播放等)音量,在无法使用声音降噪算法场景下,辅助声音唤醒(如语音唤醒、击掌声唤醒等)设备。
在一个可选具体实施方式中,可以参见图7所示的例子,对本发明的方案的具体实现过程进行示例性说明。
在一个可选具体例子中,电器设备如声音产品上,可以配有麦克风、扬声器、摄像头、声音解析模块、控制模块、通讯模块与声音传感器。例如:可以在声音产品的本体上,通过配有摄像头和声音传感器,利用摄像头能够检测人的活动,用于判断人是否有唤醒设备的动作,利用声音传感器用于监测环境噪声分贝。
可选地,声音解析模块,用于将用户的声音控制词转换为通讯代码。
例如:根据通讯协议制定的规则,将控制指令转换为二进制代码。如“开机”对应的通讯代码“01”,关机对应的“10”。
可选地,通讯模块,用于将声音解析模块解析出的通讯代码发给控制模块。
例如:转换过程可以为:用户的声音指令——文本信息——通讯代码,具体流程在于,声音模块将用户的控制指令转为声音文本,再将文本信息对照着上个问题所发出的通讯协议转换为通讯代码。
可选地,控制模块,用于控制产品对用户指令做出反应。
可选地,声音传感器,用于检测当前环境声音分贝值。
可选地,摄像头可以位于麦克风的正上方或者正下方,距离不能太远。摄像头中可以有人体检测与唤醒词检测的深度学习神经模型;可以通过大量的居民房间活动视频样本、播报唤醒词的口型、击掌等声音动作信息视频样本对深度学习神经模型进行训练,使之能够检测到房间中的人数,并且定位到人发出话时的口型、击掌等声音动作信息,能够在用户发出声音唤醒(如语音唤醒、击掌声唤醒等)指令时有效的识别出这是唤醒设备的口型、击掌等声音动作信息。
其中,关于配有摄像头的产品一般都会存在隐私问题,可以加一个摄像头是否打开的开关,以在不涉及隐私问题的情况下开启摄像头。
在一个可选具体例子中,参见图7所示的例子,本发明的方案提供的一种在嘈杂的环境下提高声音唤醒(如语音唤醒、击掌声唤醒等)率的方法,可以包括:
步骤1、声音传感器检测当前环境声音分贝值,以检测到的当前环境声音分贝值为当前环境噪声,执行步骤2。
步骤2、根据当前环境声音分贝值,判断当前环境噪声是否大于设定分贝如60dB,执行步骤3或步骤4。
步骤3、若当前环境噪声大于设定分贝如60dB,则打开摄像头,检测到当前环境中的声音唤醒(如语音唤醒、击掌声唤醒等)口型、击掌等声音动作信息时,降低声音播报(如语音播报、音乐播放等)音量,执行步骤4。
例如:当人发出话声超过70分贝时,会有明显的吃力感。故将环境声音分贝临界值设为60dB;当声音传感器检测到环境声音分贝值小于60dB时,摄像头不会打开,只借助于麦克风进行声音拾取动作;这样不仅可以降低用户对隐私的担忧,也能降低功耗。而当声音传感器检测到环境声音分贝值大于或等于60dB时,将此信息发送给控制模块,控制模块控制摄像头打开;摄像头对房间环境进行扫描检测,识别出房间里的人,并对其口型、击掌等声音动作信息进行监控,当捕捉到与唤醒词相同的口型、击掌等声音动作信息时,发送信号到控制模块,控制模块主动控制降低扬声器的音量。
步骤4、利用麦克风拾音,进一步验证当前环境中的声音指令是否为声音唤醒(如语音唤醒、击掌声唤醒等)指令,执行步骤5或步骤6。
步骤5、若当前环境中的声音指令是声音唤醒(如语音唤醒、击掌声唤醒等)指令,则做出被唤醒后的声音反馈,执行步骤7。
步骤6、若当前环境中的声音指令不是声音唤醒(如语音唤醒、击掌声唤醒等)指令,则将声音播报(如语音播报、音乐播放等)音量逐渐增到原来值,执行步骤7。
步骤7、执行当前指令,执行当前环境中的当前声音指令。
例如:当前指令可以是声音控制指令。若不是声音唤醒(如语音唤醒、击掌声唤醒等)指令时,当前指令是声音控制指令,音量在增大的同时执行控制指令。
需要说明的是,该工作可以是在用户发出声音唤醒(如语音唤醒、击掌声唤醒等)指令的过程中进行的,并不是等着唤醒词说完。例如:唤醒词是4个字时,可以当摄像头检测到前两个字的口型、击掌等声音动作信息时,就会发送信号减低扬声器的音量;后面的两个字,会利用麦克风拾音来进一步验证,如果验证用户的确发出的是唤醒词,则停止播报,开始识别用户的控制指令;如果验证结果不统一,则扬声器音量慢慢增大到原来的音量值。
相比于摄像头检测到用户发出完声音唤醒(如语音唤醒、击掌声唤醒等)指令后,直接停止产品声音播报(如语音播报、音乐播放等)的方法,本发明的方案至少可以达到的有益效果,可以包括:降低了的误唤醒率,而仅仅依靠摄像头的口型、击掌等声音动作信息识别,发生误识别的比率更高;更加人性化,当用户发出声音唤醒(如语音唤醒、击掌声唤醒等)指令时,产品声音播报(如语音播报、音乐播放等)音量降低,不仅人性化,也是提示用户,当前已识别到用户在做唤醒设备的动作;误识别的影响小:当错误识别到用户声音唤醒(如语音唤醒、击掌声唤醒等)口型、击掌等声音动作信息时,本发明的方案只是出现播报音量降低的动作,并不是直接停止播报,并反馈被唤醒后的动作,例如“在呢”、“什么事”之类声音提醒词。
由于本实施例的电器设备所实现的处理及功能基本相应于前述图6所示的装置的实施例、原理和实例,故本实施例的描述中未详尽之处,可以参见前述实施例中的相关说明,在此不做赘述。
经大量的试验验证,采用本发明的技术方案,通过检测用户是否做出唤醒设备的行为,当检测到用户做出唤醒设备的行为时,主动降低声音播报(如语音播报、音乐播放等)的音量,帮助使用者能够较容易的唤醒声音设备,可以提高嘈杂环境下设备的唤醒率。
根据本发明的实施例,还提供了对应于声音唤醒(如语音唤醒、击掌声唤醒等)方法的一种存储介质。该存储介质,可以包括:所述存储介质中存储有多条指令;所述多条指令,用于由处理器加载并执行以上所述的声音唤醒(如语音唤醒、击掌声唤醒等)方法。
由于本实施例的存储介质所实现的处理及功能基本相应于前述图1至图5所示的方法的实施例、原理和实例,故本实施例的描述中未详尽之处,可以参见前述实施例中的相关说明,在此不做赘述。
经大量的试验验证,采用本发明的技术方案,通过检测用户是否做出唤醒设备的行为,当检测到用户做出唤醒设备的行为时,主动降低声音播报(如语音播报、音乐播放等)的音量,在无法使用声音降噪算法场景下,辅助声音唤醒(如语音唤醒、击掌声唤醒等)设备。
根据本发明的实施例,还提供了对应于声音唤醒(如语音唤醒、击掌声唤醒等)方法的一种电器设备。该电器设备,可以包括:处理器,用于执行多条指令;存储器,用于存储多条指令;其中,所述多条指令,用于由所述存储器存储,并由所述处理器加载并执行以上所述的声音唤醒(如语音唤醒、击掌声唤醒等)方法。
由于本实施例的电器设备所实现的处理及功能基本相应于前述图1至图5所示的方法的实施例、原理和实例,故本实施例的描述中未详尽之处,可以参见前述实施例中的相关说明,在此不做赘述。
经大量的试验验证,采用本发明的技术方案,通过检测用户是否做出唤醒设备的行为,当检测到用户做出唤醒设备的行为时,主动降低声音播报(如语音播报、音乐播放等)的音量,降低了的误唤醒率。
综上,本领域技术人员容易理解的是,在不冲突的前提下,上述各有利方式可以自由地组合、叠加。
以上所述仅为本发明的实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的权利要求范围之内。

Claims (14)

1.一种声音唤醒方法,其特征在于,包括:
获取电器设备所属环境的环境声音参数;
确定电器设备所属环境的环境声音参数是否大于设定声音参数;
若电器设备所属环境的环境声音参数大于设定声音参数,则确定电器设备所属环境中是否存在声音唤醒动作;
若电器设备所属环境中存在声音唤醒动作,则降低电器设备所属环境中的声音播报音量,以在降低电器设备所属环境中的声音播报音量的情况下,基于电器设备所属环境中的声音唤醒动作对电器设备进行声音唤醒;所述降低电器设备所属环境中的声音播报音量的操作,是在用户发出声音唤醒指令的过程中进行的,并不是等着唤醒词说完之后才进行的。
2.根据权利要求1所述的声音唤醒方法,其特征在于,确定电器设备所属环境中是否存在声音唤醒动作,包括:
开启电器设备所属环境中的图像采集模块,利用图像采集模块检测电器设备所属环境中使用者的图像信息;
提取电器设备所属环境中使用者的图像信息中使用者的声音动作信息,并确定使用者的声音动作信息是否属于设定的唤醒动作范围;
若使用者的声音动作信息属于设定的唤醒动作范围,则确定电器设备所属环境中存在声音唤醒动作。
3.根据权利要求2所述的声音唤醒方法,其特征在于,声音动作信息,包括:语音唤醒口型,和/或带有声音的动作唤醒;带有声音的动作唤醒,包括:击掌声唤醒动作。
4.根据权利要求1-3中任一项所述的声音唤醒方法,其特征在于,还包括:
在降低电器设备所属环境中的声音播报音量之后,进一步确定电器设备所属环境中使用者的声音唤醒动作是否是声音唤醒指令;
若电器设备所属环境中使用者的声音唤醒动作是声音唤醒指令,则基于声音唤醒指令唤醒电器设备,并发出电器设备已被唤醒的声音反馈信息;
若电器设备所属环境中使用者的声音唤醒动作不是声音唤醒指令,则将电器设备所属环境中已降低的声音播报音量,逐渐增大至降低之前的声音播报音量。
5.根据权利要求4所述的声音唤醒方法,其特征在于,确定电器设备所属环境中使用者的声音唤醒动作是否是声音唤醒指令,包括:
利用声音采集模块,采集电器设备所属环境中使用者的声音信息;
对使用者的声音信息进行解析,得到声音信息的含义信息;
确定声音信息的含义信息是否属于设定唤醒信息范围,
以在声音信息的含义信息属于设定唤醒信息范围的情况下,确定使用者的声音唤醒动作是声音唤醒指令;
而在声音信息的含义信息不属于设定唤醒信息范围的情况下,确定使用者的声音唤醒动作不是声音唤醒指令。
6.根据权利要求1-3中任一项所述的声音唤醒方法,其特征在于,还包括:
若电器设备所属环境的环境声音参数小于或等于设定声音参数,则利用声音采集模块,采集电器设备所属环境中使用者的声音信息;
对使用者的声音信息进行解析,得到声音信息的含义信息;
确定声音信息的含义信息是否属于设定唤醒信息范围;
若声音信息的含义信息属于设定唤醒信息范围,则以声音信息的含义信息为声音唤醒指令,基于声音唤醒指令唤醒电器设备,并发出电器设备已被唤醒的声音反馈信息。
7.一种声音唤醒装置,其特征在于,包括:
获取单元,用于获取电器设备所属环境的环境声音参数;
控制单元,用于确定电器设备所属环境的环境声音参数是否大于设定声音参数;
所述控制单元,还用于若电器设备所属环境的环境声音参数大于设定声音参数,则确定电器设备所属环境中是否存在声音唤醒动作;
所述控制单元,用于若电器设备所属环境中存在声音唤醒动作,则降低电器设备所属环境中的声音播报音量,以在降低电器设备所属环境中的声音播报音量的情况下,基于电器设备所属环境中的声音唤醒动作对电器设备进行声音唤醒;所述降低电器设备所属环境中的声音播报音量的操作,是在用户发出声音唤醒指令的过程中进行的,并不是等着唤醒词说完之后才进行的。
8.根据权利要求7所述的声音唤醒装置,其特征在于,控制单元确定电器设备所属环境中是否存在声音唤醒动作,包括:
开启电器设备所属环境中的图像采集模块,利用图像采集模块检测电器设备所属环境中使用者的图像信息;
提取电器设备所属环境中使用者的图像信息中使用者的声音动作信息,并确定使用者的声音动作信息是否属于设定的唤醒动作范围;
若使用者的声音动作信息属于设定的唤醒动作范围,则确定电器设备所属环境中存在声音唤醒动作。
9.根据权利要求8所述的声音唤醒装置,其特征在于,声音动作信息,包括:语音唤醒口型,和/或带有声音的动作唤醒;带有声音的动作唤醒,包括:击掌声唤醒动作。
10.根据权利要求7-9中任一项所述的声音唤醒装置,其特征在于,还包括:
所述控制单元,还用于在降低电器设备所属环境中的声音播报音量之后,进一步确定电器设备所属环境中使用者的声音唤醒动作是否是声音唤醒指令;
所述控制单元,还用于若电器设备所属环境中使用者的声音唤醒动作是声音唤醒指令,则基于声音唤醒指令唤醒电器设备,并发出电器设备已被唤醒的声音反馈信息;
所述控制单元,还用于若电器设备所属环境中使用者的声音唤醒动作不是声音唤醒指令,则将电器设备所属环境中已降低的声音播报音量,逐渐增大至降低之前的声音播报音量。
11.根据权利要求10所述的声音唤醒装置,其特征在于,控制单元确定电器设备所属环境中使用者的声音唤醒动作是否是声音唤醒指令,包括:
利用声音采集模块,采集电器设备所属环境中使用者的声音信息;
对使用者的声音信息进行解析,得到声音信息的含义信息;
确定声音信息的含义信息是否属于设定唤醒信息范围,以在声音信息的含义信息属于设定唤醒信息范围的情况下,确定使用者的声音唤醒动作是声音唤醒指令;而在声音信息的含义信息不属于设定唤醒信息范围的情况下,确定使用者的声音唤醒动作不是声音唤醒指令。
12.根据权利要求7-9中任一项所述的声音唤醒装置,其特征在于,还包括:
所述获取单元,还用于若电器设备所属环境的环境声音参数小于或等于设定声音参数,则利用声音采集模块,采集电器设备所属环境中使用者的声音信息;
所述控制单元,还用于对使用者的声音信息进行解析,得到声音信息的含义信息;
所述控制单元,还用于确定声音信息的含义信息是否属于设定唤醒信息范围;
所述控制单元,还用于若声音信息的含义信息属于设定唤醒信息范围则,则以声音信息的含义信息为声音唤醒指令,基于声音唤醒指令唤醒电器设备,并发出电器设备已被唤醒的声音反馈信息。
13.一种电器设备,其特征在于,包括:如权利要求7至12中任一项所述的声音唤醒装置;
或者,包括:
处理器,用于执行多条指令;
存储器,用于存储多条指令;
其中,所述多条指令,用于由所述存储器存储,并由所述处理器加载并执行如权利要求1至6中任一项所述的声音唤醒方法。
14.一种存储介质,其特征在于,所述存储介质中存储有多条指令;所述多条指令,用于由处理器加载并执行如权利要求1至6中任一项所述的声音唤醒方法。
CN202010343589.0A 2020-04-27 2020-04-27 一种声音唤醒方法、装置、存储介质及电器设备 Active CN111651135B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010343589.0A CN111651135B (zh) 2020-04-27 2020-04-27 一种声音唤醒方法、装置、存储介质及电器设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010343589.0A CN111651135B (zh) 2020-04-27 2020-04-27 一种声音唤醒方法、装置、存储介质及电器设备

Publications (2)

Publication Number Publication Date
CN111651135A CN111651135A (zh) 2020-09-11
CN111651135B true CN111651135B (zh) 2021-05-25

Family

ID=72352498

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010343589.0A Active CN111651135B (zh) 2020-04-27 2020-04-27 一种声音唤醒方法、装置、存储介质及电器设备

Country Status (1)

Country Link
CN (1) CN111651135B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104820556A (zh) * 2015-05-06 2015-08-05 广州视源电子科技股份有限公司 唤醒语音助手的方法及装置
CN105376689A (zh) * 2015-10-13 2016-03-02 广东欧珀移动通信有限公司 自适应音频播放控制方法和系统
CN108520742A (zh) * 2018-01-24 2018-09-11 联发科技(新加坡)私人有限公司 提高语音识别率的方法、语音识别装置和播放装置
CN109671426A (zh) * 2018-12-06 2019-04-23 珠海格力电器股份有限公司 一种语音控制方法、装置、存储介质及空调
CN111063354A (zh) * 2019-10-30 2020-04-24 云知声智能科技股份有限公司 人机交互方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9280981B2 (en) * 2013-02-27 2016-03-08 Blackberry Limited Method and apparatus for voice control of a mobile device
JP2021511755A (ja) * 2017-12-07 2021-05-06 エイチイーディ・テクノロジーズ・エスアーエルエル 音声認識オーディオシステムおよび方法
CN108039182B (zh) * 2017-12-22 2021-10-08 西安烽火电子科技有限责任公司 一种语音激活检测方法
CN108401209B (zh) * 2018-02-08 2020-10-20 海信视像科技股份有限公司 实现语音播报校正的方法及装置、可读存储介质
CN110047487B (zh) * 2019-06-05 2022-03-18 广州小鹏汽车科技有限公司 车载语音设备的唤醒方法、装置、车辆以及机器可读介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104820556A (zh) * 2015-05-06 2015-08-05 广州视源电子科技股份有限公司 唤醒语音助手的方法及装置
CN105376689A (zh) * 2015-10-13 2016-03-02 广东欧珀移动通信有限公司 自适应音频播放控制方法和系统
CN108520742A (zh) * 2018-01-24 2018-09-11 联发科技(新加坡)私人有限公司 提高语音识别率的方法、语音识别装置和播放装置
CN109671426A (zh) * 2018-12-06 2019-04-23 珠海格力电器股份有限公司 一种语音控制方法、装置、存储介质及空调
CN111063354A (zh) * 2019-10-30 2020-04-24 云知声智能科技股份有限公司 人机交互方法及装置

Also Published As

Publication number Publication date
CN111651135A (zh) 2020-09-11

Similar Documents

Publication Publication Date Title
JP6801095B2 (ja) 音声制御システム及びそのウェイクアップ方法、ウェイクアップ装置、並びに家電製品、コプロセッサ
CN105575395A (zh) 语音唤醒方法及装置、终端及其处理方法
CN105009204B (zh) 语音识别功率管理
US8972252B2 (en) Signal processing apparatus having voice activity detection unit and related signal processing methods
CN108711430B (zh) 语音识别方法、智能设备及存储介质
CN109166575A (zh) 智能设备的交互方法、装置、智能设备和存储介质
CN107765891B (zh) 一种麦克风的控制方法及麦克风
CN109671426A (zh) 一种语音控制方法、装置、存储介质及空调
CN111105796A (zh) 无线耳机控制装置及控制方法、语音控制设置方法和系统
CN110349579B (zh) 语音唤醒处理方法及装置、电子设备及存储介质
CN111161714A (zh) 一种语音信息处理方法、电子设备及存储介质
WO2016078214A1 (zh) 终端处理方法、装置及计算机存储介质
CN113160815B (zh) 语音唤醒的智能控制方法、装置、设备及存储介质
CN112700782A (zh) 语音处理方法和电子设备
CN111651135B (zh) 一种声音唤醒方法、装置、存储介质及电器设备
CN112932225B (zh) 智能唤醒枕头以及基于智能唤醒枕头的唤醒方法
CN112233676A (zh) 智能设备唤醒方法、装置、电子设备及存储介质
CN111599352B (zh) 语音唤醒方法、装置、计算机设备和存储介质
CN113393838A (zh) 语音处理方法、装置、计算机可读存储介质及计算机设备
CN116825105A (zh) 一种基于人工智能的语音识别方法
CN114999496A (zh) 音频传输方法、控制设备及终端设备
CN115206306A (zh) 语音交互方法、装置、设备及系统
CN112269322A (zh) 智能设备的唤醒方法、装置、电子设备及介质
CN112637543A (zh) 基于语音控制的音视频会议方法及装置
CN112885341A (zh) 一种语音唤醒方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant