CN108737934B - 一种智能音箱及其控制方法 - Google Patents

一种智能音箱及其控制方法 Download PDF

Info

Publication number
CN108737934B
CN108737934B CN201810912018.7A CN201810912018A CN108737934B CN 108737934 B CN108737934 B CN 108737934B CN 201810912018 A CN201810912018 A CN 201810912018A CN 108737934 B CN108737934 B CN 108737934B
Authority
CN
China
Prior art keywords
audio signal
processing module
noise reduction
user
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810912018.7A
Other languages
English (en)
Other versions
CN108737934A (zh
Inventor
申晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Qingsheng Technology Co ltd
Original Assignee
Guangdong Qingsheng Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Qingsheng Technology Co ltd filed Critical Guangdong Qingsheng Technology Co ltd
Priority to CN201810912018.7A priority Critical patent/CN108737934B/zh
Publication of CN108737934A publication Critical patent/CN108737934A/zh
Application granted granted Critical
Publication of CN108737934B publication Critical patent/CN108737934B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/02Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback

Abstract

本申请提供了一种智能音箱及其控制方法,包括音箱本体,音箱本体上设置有:双麦克风阵列模块和处理模块;双麦克风阵列模块与处理模块电连接;双麦克风阵列模块,用于采集用户的第一音频信号和第二音频信号,并将第一音频信号和第二音频信号传输至处理模块;处理模块,用于对第一音频信号和第二音频信号进行转换和降噪处理,将处理后的第一音频信号和第二音频信号进行整合,并对整合后的音频信号进行识别,得到对应的控制指令,以根据该控制指令控制音箱本体执行相应的操作。本申请提供的智能音箱通过双麦克风阵列模块和处理模块的结合实现了用户与音箱的语音交互,智能化程度较高。

Description

一种智能音箱及其控制方法
技术领域
本申请涉及智能音箱技术领域,具体而言,涉及一种智能音箱及其控制方法。
背景技术
音箱是人们在生活中必不可少的生活用具,人们在很多场合都会用到音箱。音箱的作用是把音频信号转换成相应的声能,并把它辐射到空间去。可见,音箱就是一种声音的输出设备,其内部通常会包含各类扬声器(如高音扬声器、中音扬声器、低音扬声器等),因此,用音箱来放音乐时的音质效果较好,从而能够为用户带来良好的听觉感受。
然而,现有的音箱一般只能播放音乐,功能单一,无法满足用户对音箱的智能化需求。
发明内容
有鉴于此,本申请实施例的目的在于提供一种智能音箱及其控制方法,以满足用户对音箱的智能化需求。
第一方面,本申请实施例提供了一种智能音箱,包括音箱本体,还包括:双麦克风阵列模块和处理模块;所述双麦克风阵列模块与所述处理模块电连接;
所述双麦克风阵列模块,用于采集用户的第一音频信号和第二音频信号,并将所述第一音频信号和所述第二音频信号传输至所述处理模块;
所述处理模块,用于对所述第一音频信号和所述第二音频信号进行转换和降噪处理,将处理后的第一音频信号和第二音频信号进行整合,并对整合后的音频信号进行识别,得到对应的控制指令,以根据该控制指令控制所述音箱本体执行相应的操作。
结合第一方面,本申请实施例提供了第一方面的第一种可能的实施方式,其中,所述双麦克风阵列模块包括第一麦克风和第二麦克风;
所述第一麦克风,用于在第一位置区域采集用户的第一音频信号,并将所述第一音频信号传输至所述处理模块;
所述第二麦克风,用于在第二位置区域采集用户的第二音频信号,并将所述第二音频信号传输至所述处理模块;其中,所述第二位置区域与所述第一位置区域不存在重叠区域,且所述第二位置区域和所述第一位置区域处于同一平面上,且该平面相对地面呈预设夹角。。
结合第一方面,或第一方面的第一种可能的实施方式,本申请实施例提供了第一方面的第二种可能的实施方式,其中,所述处理模块包括转换单元、降噪单元、整合单元和识别单元;所述转换单元、降噪单元、所述整合单元与所述识别单元依次相连;
所述转换单元,用于接收所述双麦克风阵列模块发送的所述第一音频信号和所述第二音频信号,对所述第一音频信号和所述第二音频信号进行模数转换处理,得到模数转换处理后的第一音频信号和第二音频信号;
所述降噪单元,用于对模数转换处理后的第一音频信号和第二音频信号进行降噪处理,得到降噪处理后的第一音频信号和第二音频信号;
所述整合单元,用于对降噪处理后的第一音频信号和第二音频信号进行整合,得到整合后的音频信号;
所述识别单元,用于对整合后的音频信号进行语义提取,得到对应于音频信号的语义信息,并根据所述语义信息生成对应的控制指令。
结合第一方面的第二种可能的实施方式,本申请实施例提供了第一方面的第三种可能的实施方式,所述降噪单元包括第一降噪子单元,和/或,第二降噪子单元,和/或第三降噪子单元;
所述第一降噪子单元,用于对所述第一音频信号和所述第二音频信息进行频率分析;根据频率分析结果,去除所述第一音频信号与所述第二音频信号中重叠频率信息所对应的噪声信号,得到降噪后的第一音频信号和第二音频信号;
所述第二降噪子单元,用于根据所述第一音频信号中携带的第一方位信息和所述第二音频信号中携带的第二方位信息,确定所述用户的当前方位信息;基于确定的所述用户的当前方位信息,去除其他方位信息对应的噪声信号,得到降噪后的第一音频信号和第二音频信号;
所述第三降噪子单元,用于将所述第一音频信号和所述第二音频信号输出至预先训练好的降噪模型中,得到降噪后的第一音频信号和第二音频信号。
结合第一方面,本申请实施例提供了第一方面的第四种可能的实施方式,其中,还包括:光机、激光投影器和触控摄像头;所述光机、所述激光投影器、所述触控摄像头均与所述处理模块电连接;
所述光机,用于将所述处理模块中预存的或接收的投影信息投影至目标桌面;
所述激光投影器,用于在所述目标桌面上投射红外光膜;
所述触控摄像头,用于在所述红外光膜被遮挡时,采集包括当前遮挡位置的反光图像,并将所述反光图像传输至所述处理模块;
所述处理模块,用于接收所述反光图像,根据所述反光图像与预设标定图像之间的对比结果,确定所述当前遮挡位置相对所述目标桌面的坐标信息,并基于所述坐标信息控制所述投影信息。
结合第一方面,本申请实施例提供了第一方面的第四种可能的实施方式,其中,还包括:激光发射器和触控摄像头;所述触控摄像头与所述处理模块电连接;
所述激光发射器,用于向目标墙面上展示的投影信息发射激光信号,并在所述目标墙面上形成红外光斑;
所述触控摄像头,用于采集所述红外光斑,并将所述红外光斑传输至所述处理模块;
所述处理模块,用于接收所述红外光斑,确定所述红外光斑相对所述目标墙面的坐标信息,并基于所述坐标信息控制所述投影信息。
结合第一方面的第四种可能的实施方式至第一方面的第五种可能的实施方式中的任意一种,本申请实施例提供了第一方面的第六种可能的实施方式,其中,还包括:对焦摄像头和驱动模块;所述对焦摄像头、所述驱动模块均与所述处理模块电连接;
所述对焦摄像头,用于采集包含投影信息的投影图像,并将所述投影图像传输至所述处理模块;
所述处理模块,用于记录光机在任何一个投影位置的投影图像清晰度,并将所有投影位置对应的清晰度进行对比,根据对比结果生成对应的位置调整指令;
所述驱动模块,用于根据所述位置驱动指令调整所述光机的位置。
结合第一方面,本申请实施例提供了第一方面的第七种可能的实施方式,其中,还包括:图像采集模块;所述图像采集模块与所述处理模块电连接;
所述处理模块,还用于根据所述第一音频信号中携带的第一方位信息和所述第二音频信号中携带的第二方位信息,确定所述用户的当前方位信息;
所述图像采集模块,用于采集在所述当前方位信息处的用户图像,并将所述用户图像传输至所述处理模块;
所述处理模块,用于接收所述用户图像,对所述用户图像进行识别处理,得到处理后的用户信息;其中,所述用户信息包括用户体态信息和用户表情信息、用户标识信息中的一种或多种。
第二方面,本申请实施例提供了一种智能音箱的控制方法,其中,所述方法包括:
接收用户的第一音频信号和第二音频信号;
对所述第一音频信号和所述第二音频信号进行转换和降噪处理,得到处理后的第一音频信号和第二音频信号;
将处理后的所述第一音频信号和所述第二音频信号进行整合,得到整合后的音频信号;
对整合后的所述音频信号进行识别,得到对应的控制指令,以根据该控制指令控制所述音箱本体执行相应的操作。
结合第二方面,本申请实施例提供了第二方面的第一种可能的实施方式,其中,对所述第一音频信号和所述第二音频信号进行降噪处理,包括:
对所述第一音频信号和所述第二音频信息进行频率分析;
根据频率分析结果,去除所述第一音频信号与所述第二音频信号中重叠频率信息所对应的噪声信号,得到降噪后的第一音频信号和第二音频信号;
和/或,
根据所述第一音频信号中携带的第一方位信息和所述第二音频信号中携带的第二方位信息,确定所述用户的当前方位信息;
基于确定的所述用户的当前方位信息,去除其他方位信息对应的噪声信号,得到降噪后的第一音频信号和第二音频信号;
和/或,
将所述第一音频信号和所述第二音频信号输出至预先训练好的降噪模型中,得到降噪后的第一音频信号和第二音频信号。
本申请提供的智能音箱及其控制方法,通过双麦克风阵列模块采集用户的音频信号,并将音频信号传输至处理模块,处理模块对音频信号进行转换、降噪、整合、识别等一系列处理,得到用户音频对应的控制指令,以根据该控制指令控制音箱本体执行相应的操作。与现有的音箱只能播放音乐,功能单一,无法满足用户对音箱的智能化需求相比,本申请提供的智能音箱通过双麦克风阵列模块和处理模块的结合实现了用户与音箱的语音交互,满足了用户对音箱的智能化需求。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例所提供的一种智能音箱的结构示意图;
图2示出了本申请实施例所提供的另一种智能音箱的结构示意图;
图3示出了本申请实施例所提供的另一种智能音箱的结构示意图;
图4示出了本申请实施例所提供的另一种智能音箱的结构示意图;
图5示出了本申请实施例所提供的另一种智能音箱的结构示意图;
图6示出了本申请实施例所提供的智能音箱的控制方法的流程图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
考虑到现有音箱中功能单一,无法满足用户对音箱的智能化需求,基于此,本申请提供了一种智能音箱,通过如下实施例进行描述。
如图1所示,本申请实施例提供了一种智能音箱,该智能音箱包括音箱本体11,还包括:双麦克风阵列模块12和处理模块13;双麦克风阵列模块12与处理模块13电连接;
双麦克风阵列模块12,用于采集用户的第一音频信号和第二音频信号,并将第一音频信号和第二音频信号传输至处理模块13;
处理模块13,用于对第一音频信号和第二音频信号进行转换和降噪处理,将处理后的第一音频信号和第二音频信号进行整合,并对整合后的音频信号进行识别,得到对应的控制指令,以根据该控制指令控制音箱本体11执行相应的操作。
与播放音乐功能单一的音箱相比,本申请实施例提供的智能音箱,不仅可以播放音乐,还可以通过双麦克风阵列模块12和处理模块13完成用户与智能音箱的语音交互过程,提高音箱的智能化。具体的,本申请实施例提供的智能音箱通过双麦克风阵列模块12采集用户的声音,得到两个音频信号:第一音频信号和第二音频信号。
双麦克风阵列模块12将第一音频信号和第二音频信号传输至处理模块13,处理模块13首先将两个音频信号转换成数字信号,并进行降噪处理;然后将两个音频信号进行整合,并对整合以后的音频信号进行识别,将识别出的语义与预设的语义进行匹配,得到匹配的语义以及对应的控制指令,该控制指令即为整合以后的音频信号对应的控制指令。该控制指令用来控制音箱本体11执行相应的操作,比如:控制指令可以触发音箱本体11上的“下一曲”指令,使音箱播放当前歌曲的下一首歌曲;控制指令可以触发音箱本体11上的“暂停”指令,使音箱暂停当前歌曲的播放;相应的可以触发其他执行指令,执行相应的动作。可见,本申请实施例提供的音箱可为用户提供各种控制策略,智能化程度较高,且进一步提升了用户使用体验度。
其中,双麦克风阵列模块12具体包括第一麦克风和第二麦克风;
第一麦克风,用于在第一位置区域采集用户的第一音频信号,并将第一音频信号传输至处理模块13;
第二麦克风,用于在第二位置区域采集用户的第二音频信号,并将第二音频信号传输至处理模块13;其中,第二位置区域与第一位置区域不存在重叠区域,且第二位置区域所形成的平面与第一位置区域所形成的平面处于同一平面,且该平面相对地面呈预设夹角。
其中,双麦克风阵列模块12包括第一麦克风和第二麦克风,第一麦克风在第一位置区域采集用户的音频信号,得到第一音频信号;第二麦克风在第二位置区域采集用户的音频信号,得到第二音频信号;将第一音频信号和第二音频信号传输至处理模块13。
这里,第一麦克风和第二麦克风在音箱本体11中所处的位置不同。第一麦克风与第二麦克风不相交,第一麦克风在第一位置区域采集用户的第一音频信号,第二麦克风在第二位置区域采集用户的第二音频信号,第一位置区域所形成的平面与第二位置区域所形成的平面相互平行。所以不论音箱本体11以何种姿态放置,处理模块13可以通过整合双麦克风阵列模块12采集的第一音频信号和第二音频信号,并对整合后的音频进行识别,得到对应的控制指令,根据该控制指令控制音箱本体11执行相应的操作,从而实现用户与音箱的语音交互。
如图2所示,处理模块13整合双麦克风阵列模块12采集的第一音频信号和第二音频信号时,处理模块13具体包括:转换单元131、降噪单元132、整合单元133和识别单元134;转换单元131、降噪单元132、整合单元133与识别单元134依次相连;
转换单元131,用于接收双麦克风阵列模块12发送的第一音频信号和第二音频信号,对第一音频信号和第二音频信号进行模数转换处理,得到模数转换处理后的第一音频信号和第二音频信号;
降噪单元132,用于对模数转换处理后的第一音频信号和第二音频信号进行降噪处理,得到降噪处理后的第一音频信号和第二音频信号;
整合单元133,用于对降噪处理后的第一音频信号和第二音频信号进行整合,得到整合后的音频信号;
识别单元134,用于对整合后的音频信号进行语义提取,得到对应于音频信号的语义信息,并根据语义信息生成对应的控制指令。
具体的,处理模块13对采集到的音频信号进行处理时,首先,转换单元131对接收到的第一音频信号和第二音频信号进行模数转换处理,得到模数转换处理后的第一音频信号和第二音频信号,降噪单元132将模数转换处理后的第一音频信号和第二音频信号进行降噪处理,得到降噪处理后的第一音频信号和第二音频信号;然后,整合单元133整合上述降噪后的第一音频信号和第二音频信号,将第一音频信号和第二音频信号整合成为清晰完整的一个音频信号;最后,识别单元134对整合后得到的音频信号进行语义提取,根据与预设的语义信息对比,从指令库中得到上述语义信息对应的控制指令,从而根据该控制指令控制音箱本体11执行相应的操作,实现用户与音箱语音交互的功能。
其中,智能音箱中存储有预设的指令库,该指令库包括预设的音频信号对应的语义信息,以及该语义信息对应的控制指令。
这里,本申请提供的智能音箱还能够通过降噪单元132对第一音频信号和第二音频信号进行降噪处理,本申请具体包括:
第一降噪子单元1321,用于对第一音频信号和第二音频信息进行频率分析;根据频率分析结果,去除第一音频信号与第二音频信号中重叠频率信息所对应的噪声信号,得到降噪后的第一音频信号和第二音频信号;
第二降噪子单元1322,用于根据第一音频信号中携带的第一方位信息和第二音频信号中携带的第二方位信息,确定用户的当前方位信息;基于确定的用户的当前方位信息,去除其他方位信息对应的噪声信号,得到降噪后的第一音频信号和第二音频信号;
第三降噪子单元1323,用于将第一音频信号和第二音频信号输出至预先训练好的降噪模型中,得到降噪后的第一音频信号和第二音频信号。
第一降噪子单元1321分析采集到的音频信号的频率,并将得出的频率进行对比,确定第一音频信号与第二音频信号的非重叠频率信息,去除第一音频信号与第二音频信号中重叠频率信息所对应的噪声信号,得到降噪后的第一音频信号和第二音频信号,比如身边空调发出的声音等。
第二降噪子单元1322可以根据第一音频信号和第二音频信号携带的第一方位信息和第二音频信号中携带的第二方位信息,确定用户的当前方位信息,基于确定的用户的当前方位信息,去除其他方位信息对应的噪声信号。其中,方位信息可以包括用户与音箱的距离,以及用户相对于音箱的方向。
第三降噪子单元1323用于将第一音频信号和第二音频信号输出至预先训练好的降噪模型中,该降噪模型基于各种噪声的训练,可以去除第一音频信号和第二音频信号以外的冗余音频信号,可以根据多样的噪声对模型进行训练、更新,以更好完成降噪处理的过程。
本申请实施例提供的智能音箱不仅可以实现与用户的语音交互,还可以通过投影的方式来播放视频,以丰富用户的体验。其中,投影方式有两种,分别为将投影信息投影至目标桌面和将投影信息投影至目标墙面,下面分别以这两种方式进行阐述。
第一种方式:将投影信息投影至目标桌面。
如图3所示,本申请实施例提供的智能音箱还包括:光机10、激光投影器14和触控摄像头15;光机10、激光投影器14、触控摄像头15均与处理模块13电连接;
光机10,用于将所述处理模块中预存的或接收的投影信息投影至目标桌面;
激光投影器14,用于在目标桌面上投射红外光膜;
触控摄像头15,用于在红外光膜被遮挡时,采集包括当前遮挡位置的反光图像,并将反光图像传输至处理模块13;
处理模块13,用于接收反光图像,根据反光图像与预设标定图像之间的对比结果,确定当前遮挡位置相对目标桌面的坐标信息,并基于坐标信息控制投影信息。
当光机10所在平面相对于地面水平时,光机10将投影信息投影至目标桌面。其中,该投影信息可以是处理模块13预存的,也可以是通过云端传输得到的,也可以是外接设备提供的等。同时,激光投影器14会在目标桌面上投射红外光膜,该红外光膜位于目标桌面上方3mm左右的平面区域。当有物体(本申请实施例以手指为例进行阐述)遮挡红外光膜时,激光投影器14发出的红外光线会在手指表面产生漫反射,形成反光图像。
此时,触控摄像头15采集上述反光图像,并将反光图像传输至处理模块13,处理模块13将反光图像与预设的标定图像进行对比,得到与反光图像对应的标定图像。由于预设的标定图像对应有该标定图像在目标桌面的坐标信息,所以在得到与反光图像对应的标定图像时,也确定了反光图像在目标桌面的坐标信息。处理模块13基于反光图像的坐标信息生成对应的控制指令,来控制投影信息,比如:通过对比得到反光图像在目标桌面的的坐标对应暂停的图标,那么光机10投影出投影信息将不再更新,等一些类似的动作。
当然,在光机10将投影信息投影至目标桌面时,用户不仅可以用手控制投影进度,也可以通过双麦克风阵列模块12与音箱进行语音交互得到控制指令,来控制投影信息。
第二种方式:将投影信息投影至目标墙面。
如图3所示,本申请实施例提供的智能音箱还包括:激光发射器211和触控摄像头15;
激光发射器211,用于向目标墙面上展示的投影信息发射激光信号,并在目标墙面上形成红外光斑;
触控摄像头15,用于采集红外光斑,并将红外光斑传输至处理模块13;
处理模块13,用于接收红外光斑,确定红外光斑相对目标墙面的坐标信息,并基于坐标信息控制投影信息。
考虑到用户观看投影的体验度,本申请实施例提供的音箱还可以通过光机10将投影信息投影至目标墙面(也可以是目标墙面前的幕布,本申请实施例以目标墙面进行阐述)。这时,用户不仅通过手控制投影信息,还可以通过激光发射器211对投影信息进行控制。在光机10将投影信息投影至目标墙面时,激光发射器211向目标墙面上展示的投影信息发射激光信号,由于激光信号在目标墙面产生漫反射,在目标墙面形成红外光斑。
此时,触控摄像头15采集目标墙面上的红外光斑,并将该红外光斑传输至处理模块13。处理模块13通过将接收到的红外光斑与预设的标定光斑进行对比,得到与红外光斑对应的标定光斑。由于预设的标定光斑对应有该标定光斑在目标墙面的坐标信息,所以在得到与红外光斑对应的标定光斑时,也确定了红外光斑在目标墙面的坐标信息。处理模块13基于红外光斑的坐标信息生成对应的控制指令,来控制投影信息。
其中,为了用户可以方便的操作激光发射器211来发射激光信号,本申请实施例提供的智能音箱还包括遥控器21;
遥控器21,用于控制激光发射器211发射激光信号。
这里,激光发射器211设置在遥控器21内,用户可以通过操作遥控器21进而控制激光发射器211发射激光信号,来控制投影信息。
同样的,在通过遥控器21控制控制投影信息时,如若遥控器21出现不能控制激光发射器211发射激光信号的情况,或者不方便通过操作遥控器21控制激光发射器211发射激光信号,也可以通过双麦克风阵列模块12与音箱进行语音交互得到控制指令,来控制投影信息。
在智能音箱通过光机10将投影信息投影至目标桌面或目标墙面时,还可以根据投影出来的图像对摄像头进行对焦处理。如图4所示,本申请实施例提供的智能音箱还包括:对焦摄像头16和驱动模块17;对焦摄像头16、驱动模块17均与处理模块13电连接;
对焦摄像头16,用于采集包含投影信息的投影图像,并将投影图像传输至处理模块13;
处理模块13,用于记录光机10在任何一个投影位置的投影图像清晰度,并将所有投影位置对应的清晰度进行对比,根据对比结果生成对应的位置调整指令;
驱动模块17,用于根据位置驱动指令调整光机10的位置。
这里,通过对摄像头进行对焦处理,可以保证投影图像的清晰度。具体的,首先对焦摄像头16采集包含投影信息的投影图像,并将该投影图像传送至处理模块13;此时,处理模块13对采集到的投影图像进行图像对比度计算,并将该对比度与光机10所处的位置进行记录,通过记录光机10不同的位置信息以及光机10在该位置投影出的投影图像对比度,形成位置对比度表。
处理模块13根据位置对比度表确定图像清晰度最高时对应的位置,查看光机10的位置是否与确定出的位置一致,如若不一致,则生成对应的位置调整指令,该指令控制驱动模块17调整光机10的位置,直至光机10的位置与确定出的位置一致。
如图5所示,本申请实施例提供的智能音箱还包括:图像采集模块18;图像采集模块18与处理模块13电连接;
处理模块13,还用于根据第一音频信号中携带的第一方位信息和第二音频信号中携带的第二方位信息,确定用户的当前方位信息;
图像采集模块18,用于采集在当前方位信息处的用户图像,并将用户图像传输至处理模块13;
处理模块13,用于接收用户图像,对用户图像进行识别处理,得到处理后的用户信息;其中,用户信息包括用户体态信息和用户表情信息、用户标识信息中的一种或多种。
这里,处理模块13可以从第一音频信号中提取第一方位信息,从第二音频信号中提取第二方位信息,结合第一方位信息和第二方位信息,确定用户的当前方位信息,以便于图像采集模块18根据确定的用户当前方位信息,有目的性的采集用户图像。
图像采集模块18在采集用户图像时,可以单独采集用户图像,也可以采集用户及周围的环境图像。图像采集模块18将采集的图像发送至处理模块13。处理模块13对图像采集模块18将采集的图像进行识别处理,可以得到用户体态信息,和/或,用户表情信息,和/或,用户标识信息,和/或,用户周围环境信息。处理模块13可以根据将得到的用户信息查找该信息对应的预设控制指令,该预设控制指令可以控制音箱本体11执行相应的操作,来与用户进行交互。
本申请实施例提供的智能音箱还包括存储模块,其中,存储模块包括随机存储器和可擦写只读存储器,随机存储器用于与主处理器进行高速数据交换,可擦写只读存储器用于下电后对信息进行存储;音箱还包括供电模块,用于为整机各模块供电。
本申请实施例提供的智能音箱还包括无线通信模块,用于进行处理模块与终端设备的数据通信,无线通信模块具体包括无线模块和蓝牙模块的任意一种;智能音箱还包括终端设备,用于与音箱通信连接,达到传输播放信息的目的;智能音箱还包括接口模块,用于外接设备与智能音箱连接,比如USB接口为USB设备提供连接功能,HDMI接口为HDMI设备提供连接功能,DC接口为适配器连接,为供电接口提供供电,TF卡槽与TF连接;当然智能音箱还包括无线通信模块,用于进行处理模块与终端设备的数据通信,无线通信模块音箱模块,音箱模块由扩音器与音腔两部分组成。扩音器可以将音频数字信号转化为声音,音腔可以将发出的声音进行整合,从而形成更好的发音效果。
基于同一发明构思,本申请实施例中还提供了与智能音箱对应的智能音箱控制方法,由于本申请实施例中的方法解决问题的原理与本申请实施例上述智能音箱相似,因此方法的实施可以参见智能音箱的实施,重复之处不再赘述。
如图6所示,为本申请实施例提供的一种智能音箱控制方法的流程图,上述方法包括如下步骤:
S101、接收用户的第一音频信号和第二音频信号;
S102、对第一音频信号和第二音频信号进行转换和降噪处理,得到处理后的第一音频信号和第二音频信号;
S103、将处理后的第一音频信号和第二音频信号进行整合,得到整合后的音频信号;
S104、对整合后的音频信号进行识别,得到对应的控制指令,以根据该控制指令控制音箱本体执行相应的操作。
在具体实施中,上述对第一音频信号和第二音频信号进行转换和降噪处理,得到处理后的第一音频信号和第二音频信号包括:
对所述第一音频信号和所述第二音频信息进行频率分析;
根据频率分析结果,去除所述第一音频信号与所述第二音频信号中重叠频率信息所对应的噪声信号,得到降噪后的第一音频信号和第二音频信号;
和/或,
根据所述第一音频信号中携带的第一方位信息和所述第二音频信号中携带的第二方位信息,确定所述用户的当前方位信息;
基于确定的所述用户的当前方位信息,去除其他方位信息对应的噪声信号,得到降噪后的第一音频信号和第二音频信号;
和/或,
将所述第一音频信号和所述第二音频信号输出至预先训练好的降噪模型中,得到降噪后的第一音频信号和第二音频信号。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的方法的具体工作过程,可以参考前述装置实施例中的对应过程,在此不再赘述。
功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种智能音箱,包括音箱本体,其特征在于,还包括:双麦克风阵列模块和处理模块;所述双麦克风阵列模块与所述处理模块电连接;
所述双麦克风阵列模块,包括第一麦克风和第二麦克风,用于采集用户的第一音频信号和第二音频信号,并将所述第一音频信号和所述第二音频信号传输至所述处理模块;
所述第一麦克风,用于在第一位置区域采集用户的第一音频信号,并将所述第一音频信号传输至所述处理模块;
所述第二麦克风,用于在第二位置区域采集用户的第二音频信号,并将所述第二音频信号传输至所述处理模块;其中,所述第二位置区域与所述第一位置区域不存在重叠区域,且所述第二位置区域和所述第一位置区域处于同一平面上,且该平面相对地面呈预设夹角;
所述处理模块,用于对所述第一音频信号和所述第二音频信号进行转换和降噪处理,将处理后的第一音频信号和第二音频信号进行整合,并对整合后的音频信号进行识别,得到对应的控制指令,以根据该控制指令控制所述音箱本体执行相应的操作。
2.根据权利要求1所述的智能音箱,其特征在于,所述处理模块包括转换单元、降噪单元、整合单元和识别单元;所述转换单元、降噪单元、所述整合单元与所述识别单元依次相连;
所述转换单元,用于接收所述双麦克风阵列模块发送的所述第一音频信号和所述第二音频信号,对所述第一音频信号和所述第二音频信号进行模数转换处理,得到模数转换处理后的第一音频信号和第二音频信号;
所述降噪单元,用于对模数转换处理后的第一音频信号和第二音频信号进行降噪处理,得到降噪处理后的第一音频信号和第二音频信号;
所述整合单元,用于对降噪处理后的第一音频信号和第二音频信号进行整合,得到整合后的音频信号;
所述识别单元,用于对整合后的音频信号进行语义提取,得到对应于音频信号的语义信息,并根据所述语义信息生成对应的控制指令。
3.根据权利要求2所述的智能音箱,其特征在于,所述降噪单元包括第一降噪子单元,和/或,第二降噪子单元,和/或第三降噪子单元;
所述第一降噪子单元,用于对所述第一音频信号和所述第二音频信号进行频率分析;根据频率分析结果,去除所述第一音频信号与所述第二音频信号中重叠频率信息所对应的噪声信号,得到降噪后的第一音频信号和第二音频信号;
所述第二降噪子单元,用于根据所述第一音频信号中携带的第一方位信息和所述第二音频信号中携带的第二方位信息,确定所述用户的当前方位信息;基于确定的所述用户的当前方位信息,去除其他方位信息对应的噪声信号,得到降噪后的第一音频信号和第二音频信号;
所述第三降噪子单元,用于将所述第一音频信号和所述第二音频信号输出至预先训练好的降噪模型中,得到降噪后的第一音频信号和第二音频信号。
4.根据权利要求1所述的智能音箱,其特征在于,还包括:光机、激光投影器和触控摄像头;所述光机、所述激光投影器、所述触控摄像头均与所述处理模块电连接;
所述光机,用于将所述处理模块中预存的或接收的投影信息投影至目标桌面;
所述激光投影器,用于在所述目标桌面上投射红外光膜;
所述触控摄像头,用于在所述红外光膜被遮挡时,采集包括当前遮挡位置的反光图像,并将所述反光图像传输至所述处理模块;
所述处理模块,用于接收所述反光图像,根据所述反光图像与预设标定图像之间的对比结果,确定所述当前遮挡位置相对所述目标桌面的坐标信息,并基于所述坐标信息控制所述投影信息。
5.根据权利要求1所述的智能音箱,其特征在于,还包括:激光发射器和触控摄像头;所述触控摄像头与所述处理模块电连接;
所述激光发射器,用于向目标墙面上展示的投影信息发射激光信号,并在所述目标墙面上形成红外光斑;
所述触控摄像头,用于采集所述红外光斑,并将所述红外光斑传输至所述处理模块;
所述处理模块,用于接收所述红外光斑,确定所述红外光斑相对所述目标墙面的坐标信息,并基于所述坐标信息控制所述投影信息。
6.根据权利要求4或5所述的智能音箱,其特征在于,还包括:对焦摄像头和驱动模块;所述对焦摄像头、所述驱动模块均与所述处理模块电连接;
所述对焦摄像头,用于采集包含投影信息的投影图像,并将所述投影图像传输至所述处理模块;
所述处理模块,用于记录光机在任何一个投影位置的投影图像清晰度,并将所有投影位置对应的清晰度进行对比,根据对比结果生成对应的位置调整指令;
所述驱动模块,用于根据所述位置调整指令调整所述光机的位置。
7.根据权利要求1所述智能音箱,其特征在于,还包括:图像采集模块;所述图像采集模块与所述处理模块电连接;
所述处理模块,还用于根据所述第一音频信号中携带的第一方位信息和所述第二音频信号中携带的第二方位信息,确定所述用户的当前方位信息;
所述图像采集模块,用于采集在所述当前方位信息处的用户图像,并将所述用户图像传输至所述处理模块;
所述处理模块,用于接收所述用户图像,对所述用户图像进行识别处理,得到处理后的用户信息;其中,所述用户信息包括用户体态信息和用户表情信息、用户标识信息中的一种或多种。
8.一种智能音箱的控制方法,其特征在于,所述方法包括:
接收用户的第一音频信号和第二音频信号;
对所述第一音频信号和所述第二音频信号进行转换和降噪处理,得到处理后的第一音频信号和第二音频信号;
将处理后的所述第一音频信号和所述第二音频信号进行整合,得到整合后的音频信号;
对整合后的所述音频信号进行识别,得到对应的控制指令,以根据该控制指令控制如权利要求1-7任一所述的智能音箱的音箱本体执行相应的操作。
9.根据权利要求8所述的方法,其特征在于,对所述第一音频信号和所述第二音频信号进行降噪处理,包括:
对所述第一音频信号和所述第二音频信号进行频率分析;
根据频率分析结果,去除所述第一音频信号与所述第二音频信号中重叠频率信息所对应的噪声信号,得到降噪后的第一音频信号和第二音频信号;
和/或,
根据所述第一音频信号中携带的第一方位信息和所述第二音频信号中携带的第二方位信息,确定所述用户的当前方位信息;
基于确定的所述用户的当前方位信息,去除其他方位信息对应的噪声信号,得到降噪后的第一音频信号和第二音频信号;
和/或,
将所述第一音频信号和所述第二音频信号输出至预先训练好的降噪模型中,得到降噪后的第一音频信号和第二音频信号。
CN201810912018.7A 2018-08-10 2018-08-10 一种智能音箱及其控制方法 Active CN108737934B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810912018.7A CN108737934B (zh) 2018-08-10 2018-08-10 一种智能音箱及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810912018.7A CN108737934B (zh) 2018-08-10 2018-08-10 一种智能音箱及其控制方法

Publications (2)

Publication Number Publication Date
CN108737934A CN108737934A (zh) 2018-11-02
CN108737934B true CN108737934B (zh) 2024-04-09

Family

ID=63942759

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810912018.7A Active CN108737934B (zh) 2018-08-10 2018-08-10 一种智能音箱及其控制方法

Country Status (1)

Country Link
CN (1) CN108737934B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109493861A (zh) * 2018-12-05 2019-03-19 百度在线网络技术(北京)有限公司 利用语音控制电器的方法、装置、设备和可读存储介质
CN110213693B (zh) * 2019-07-08 2024-04-09 辽宁科技大学 一种智能视频音箱
CN110619873A (zh) * 2019-08-16 2019-12-27 北京小米移动软件有限公司 音频处理方法、装置及存储介质
CN114173258B (zh) * 2022-02-07 2022-05-10 深圳市朗琴音响技术有限公司 智能音箱控制方法及智能音箱

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104459625A (zh) * 2014-12-14 2015-03-25 南京理工大学 基于轨道移动双麦克风阵列的声源定位装置及方法
CN104994456A (zh) * 2015-07-07 2015-10-21 惠州Tcl移动通信有限公司 一种提高通话音质的耳机及其方法
CN107068162A (zh) * 2017-05-25 2017-08-18 北京小鱼在家科技有限公司 一种语音增强方法、装置及终端设备
CN107271963A (zh) * 2017-06-22 2017-10-20 广东美的制冷设备有限公司 声源定位的方法和装置及空调器
CN107464564A (zh) * 2017-08-21 2017-12-12 腾讯科技(深圳)有限公司 语音交互方法、装置及设备
CN207676651U (zh) * 2017-08-22 2018-07-31 北京捷通华声科技股份有限公司 一种基于2麦克风线形阵列的语音处理装置和智能设备
CN208707930U (zh) * 2018-08-10 2019-04-05 上海白泽网络科技有限公司 一种智能音箱

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104459625A (zh) * 2014-12-14 2015-03-25 南京理工大学 基于轨道移动双麦克风阵列的声源定位装置及方法
CN104994456A (zh) * 2015-07-07 2015-10-21 惠州Tcl移动通信有限公司 一种提高通话音质的耳机及其方法
CN107068162A (zh) * 2017-05-25 2017-08-18 北京小鱼在家科技有限公司 一种语音增强方法、装置及终端设备
CN107271963A (zh) * 2017-06-22 2017-10-20 广东美的制冷设备有限公司 声源定位的方法和装置及空调器
CN107464564A (zh) * 2017-08-21 2017-12-12 腾讯科技(深圳)有限公司 语音交互方法、装置及设备
CN207676651U (zh) * 2017-08-22 2018-07-31 北京捷通华声科技股份有限公司 一种基于2麦克风线形阵列的语音处理装置和智能设备
CN208707930U (zh) * 2018-08-10 2019-04-05 上海白泽网络科技有限公司 一种智能音箱

Also Published As

Publication number Publication date
CN108737934A (zh) 2018-11-02

Similar Documents

Publication Publication Date Title
CN108737934B (zh) 一种智能音箱及其控制方法
US10405081B2 (en) Intelligent wireless headset system
US20120226981A1 (en) Controlling electronic devices in a multimedia system through a natural user interface
US20170150254A1 (en) System, device, and method of sound isolation and signal enhancement
US10062393B2 (en) Method for recording sound of video-recorded object and mobile terminal
US20140328505A1 (en) Sound field adaptation based upon user tracking
CN102903362A (zh) 集成的本地和基于云的语音识别
US11437004B2 (en) Audio performance with far field microphone
JP2019159306A (ja) ファーフィールド音声制御デバイス及びファーフィールド音声制御システム
EP3226579B1 (en) Information-processing device, information-processing system, control method, and program
JP7347597B2 (ja) 動画編集装置、動画編集方法及びプログラム
KR20190053001A (ko) 이동이 가능한 전자 장치 및 그 동작 방법
KR102454761B1 (ko) 영상표시장치의 동작 방법
CN112104963B (zh) 一种跟随式机器人扩声方法及系统
CN109348359B (zh) 一种音响设备及其音效调整方法、装置、设备、介质
KR102115222B1 (ko) 사운드를 제어하는 전자 장치 및 그 동작 방법
CN112104962B (zh) 一种基于图像识别的跟随式机器人扩声方法及扩声系统
CN107087208B (zh) 一种全景视频播放方法、系统及存储装置
JP6678315B2 (ja) 音声再生方法、音声対話装置及び音声対話プログラム
US20200013209A1 (en) Image and sound pickup device, sound pickup control system, method of controlling image and sound pickup device, and method of controlling sound pickup control system
WO2020026548A1 (ja) 情報処理装置及び情報処理方法、並びに音響システム
KR20130054131A (ko) 디스플레이장치 및 그 제어방법
US9992532B1 (en) Hand-held electronic apparatus, audio video broadcasting apparatus and broadcasting method thereof
CN208707930U (zh) 一种智能音箱
CN113689873A (zh) 噪声抑制方法、装置及电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240314

Address after: 511500 No. 11, Guangzhou Road, Guangzhou (Qingyuan) Industrial Transfer Park, Shijiao Town, Qingcheng District, Qingyuan City, Guangdong Province (multiple photos of one site)

Applicant after: Guangdong Qingsheng Technology Co.,Ltd.

Country or region after: China

Address before: 200120 3rd floor, building 1, 400 Fangchun Road, Shanghai pilot Free Trade Zone, Pudong New Area, Shanghai

Applicant before: SHANGHAI BAIZE NETWORK TECHNOLOGY Co.,Ltd.

Country or region before: China

GR01 Patent grant
GR01 Patent grant