CN114120984A - 语音交互方法、电子设备和存储介质 - Google Patents

语音交互方法、电子设备和存储介质 Download PDF

Info

Publication number
CN114120984A
CN114120984A CN202111517080.4A CN202111517080A CN114120984A CN 114120984 A CN114120984 A CN 114120984A CN 202111517080 A CN202111517080 A CN 202111517080A CN 114120984 A CN114120984 A CN 114120984A
Authority
CN
China
Prior art keywords
speaker
microphone
voice
audio
audio file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111517080.4A
Other languages
English (en)
Inventor
张强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sipic Technology Co Ltd
Original Assignee
Sipic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sipic Technology Co Ltd filed Critical Sipic Technology Co Ltd
Priority to CN202111517080.4A priority Critical patent/CN114120984A/zh
Publication of CN114120984A publication Critical patent/CN114120984A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/24—Speech recognition using non-acoustical features
    • G10L15/25—Speech recognition using non-acoustical features using position of the lips, movement of the lips or face analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G10L25/84—Detection of presence or absence of voice signals for discriminating voice from noise
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本发明公开一种语音交互方法、电子设备和存储介质。在该方法中，基于具有多麦克风通道的麦克风模块，采集环境音频文件；每一所述麦克风通道分别配置有相应的麦克风方位；从所述环境音频文件中提取说话人音频；针对所述环境音频文件，确定所述说话人音频在的各个麦克风通道的语音分量能量，并将对应具有最大语音分量能量的麦克风通道的麦克风方位确定为说话人方位；基于所述说话人方位，进行语音交互操作。由此，无需知道信号源位置等先验知识，利用对不同通道的语音帧能量分析来定位说话人方位，能有效规避环境噪声的干扰且能在更广泛的场景下适配。

Description

语音交互方法、电子设备和存储介质
技术领域
本发明属于互联网技术领域，尤其涉及一种语音交互方法、电子设备和存储介质。
背景技术
随着语音技术的不断发展，各种语音交互设备已经融入到了人们生活中的各个方面，例如语音购票机、语音聊天机器人等等。
在语音设备与说话人进行语音交互的过程中，设备如何精确地识别说话人的位置并对说话语音进行增强，是保障语音识别的精确度和语音交互可靠性的关键之处。
目前，市面上虽然存在一些语音智能交互设备，但它们在语音增强方面存在消噪能力差或场景适配性弱的问题，导致无法实现较佳的语音交互体验。
针对上述问题，目前业界暂时并未提供较佳的解决方案。
发明内容
本发明实施例提供一种语音交互方法、电子设备和存储介质，用于至少解决上述技术问题之一。
第一方面，本发明实施例提供一种语音交互方法，包括：基于具有多麦克风通道的麦克风模块，采集环境音频文件；每一所述麦克风通道分别配置有相应的麦克风方位；从所述环境音频文件中提取说话人音频；针对所述环境音频文件，确定所述说话人音频在的各个麦克风通道的语音分量能量，并将对应具有最大语音分量能量的麦克风通道的麦克风方位确定为说话人方位；基于所述说话人方位，进行语音交互操作。
第二方面，本发明实施例提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述方法的步骤。
第三方面，本发明实施例提供一种存储介质，所述存储介质中存储有一个或多个包括执行指令的程序，所述执行指令能够被电子设备(包括但不限于计算机，服务器，或者网络设备等)读取并执行，以用于执行本发明上述方法的步骤。
第四方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述方法的步骤。
本发明实施例的有益效果在于：
电子设备利用具有多麦克风通道的麦克风模块采集环境音频文件，并从环境音频文件中提取说话人音频，通过对各个麦克风通道中的语音帧的能量分析结果来确定与说话人的方位接近的麦克风，并以此得到说话人方位，并进行语音交互操作。由此，无需知道信号源位置等先验知识，利用对不同通道的语音帧能量分析来定位说话人方位，能有效规避环境噪声的干扰且能在更广泛的场景下适配。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了根据本发明实施例的语音交互方法的一示例的流程图；
图2示出了根据本发明实施例的语音交互方法的多模态交互过程中一示例的流程图；
图3为本发明的电子设备的一实施例的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、元件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
在本发明中，“模块”、“系统”等等指应用于计算机的相关实体，如硬件、硬件和软件的组合、软件或执行中的软件等。详细地说，例如，元件可以、但不限于是运行于处理器的过程、处理器、对象、可执行元件、执行线程、程序和/或计算机。还有，运行于服务器上的应用程序或脚本程序、服务器都可以是元件。一个或多个元件可在执行的过程和/或线程中，并且元件可以在一台计算机上本地化和/或分布在两台或多台计算机之间，并可以由各种计算机可读介质运行。元件还可以根据具有一个或多个数据包的信号，例如，来自一个与本地系统、分布式系统中另一元件交互的，和/或在因特网的网络通过信号与其它系统交互的数据的信号通过本地和/或远程过程来进行通信。
最后，还需要说明的是，在本文中，术语“包括”、“包含”，不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
需说明的是，在目前的相关技术中，存在各种多模态智能交互设备，其语音增强部分多数采用波束成形的方式进行语音增强，通过MUSIC(Multiple Signal Classification多信号分类)方式进行方位角计算。
(1)基于波束形成方式进行空域滤波
波束形成是利用空间信息做空间滤波(Spatial filtering)。麦克风阵列至少有两颗麦克风，能够一定程度的区分来波方向。对于非期望方向的干扰语音或者其他非平稳噪声可以进行线性地衰减。
(2)MUSIC基于矩阵特征空间分解的方法说话人方位角定位；
a、阵列信号包含信号和噪声，计算其协方差矩阵；
b、对协方差矩阵进行特征分解，得到信号子空间和噪声子空间；
c、因为信号与噪声是相互正交的,当在全空间进行角度搜索时,功率谱的最大值对应的角度即为DOA(Direction-of-arrival estimation,声源到达方向估计，或波达角)。
但是，波束形成技术和MUSIC技术都存在一些缺陷，比如同向噪声干扰消噪能力差；麦克风阵列的形状布局受到严格限制需要与算法本身强绑定，换个结构将不再适用，如适用于平面麦，侧向麦克风效果不好；以及嵌入式平台支持不友好。
具体在于，波束形成需要借助麦克风阵列的位置信息，对各阵元的输出进行时延或相位补偿、幅度加权处理，以形成指向特定方向的波束，所以麦克风阵列的空间位置信息要和算法要严格适配。另外，波束形成算法的性能依赖目标信号方位信息，目标信号和干扰信号在同一个波束内，波束形成是无法分辨出它们的，空间滤波无法进行，自然无法消除。
MUSIC(Multiple Signal Classification)算法用来计算波达角(DOA，Directionof arrival用到了SVD分解对计算的精度要求高,且某些嵌入式平台对浮点数的边界值表示不友好在极高精度情况下会出现数据处理异常，而影响了整体的音频处理效果。
图1示出了根据本发明实施例的语音交互方法的一示例的流程图。需说明的是，本发明的方法实施例的执行主体可以是各种电子设备，例如具有语音交互功能的各类移动终端或电子设备。
如图1所示，在步骤110中，基于具有多麦克风通道的麦克风模块，采集环境音频文件。这里，每一麦克风通道分别配置有相应的麦克风方位，环境音频文件中包含了分别对应各个不同的麦克风通道的音频信息。
在步骤120中，从环境音频文件中提取说话人音频。这里，可以采用各种语音帧提取技术来进行提取操作。
应理解的是，环境音频文件中除了会存在说话人音频(即语音音频)外，还可能会存在其他类型的音频信息，例如背景噪音等。
在步骤130中，针对环境音频文件，确定说话人音频在的各个麦克风通道的语音分量能量，并将对应具有最大语音分量能量的麦克风通道的麦克风方位确定为说话人方位。
由于说话人的位置是特定的，使得说话人的声音在被处于不同方位的麦克风通道收集到时，其所对应的能量也会是存在差异的。例如，说话人在电子设备的左侧进行喊话，显然，电子设备所接收到的左麦克风的能量会远高于右麦克风的能量。
在步骤140中，基于说话人方位，进行语音交互操作。
示例性地，当确定了说话人方位时，可以对具有匹配方位的麦克风通道进行音频增强，或对其他麦克风通道的采集音频进行抑制，得到高质量的语音帧，进而进行相应的语音识别和交互操作。或者，对移动终端的交互模块(例如，触摸屏)进行方位调整，以进一步丰富语音交互体验。
关于上述步骤120的实施细节，在本发明实施例的一些示例中，可以基于预设的BSS(Blind Source Sepapration，盲源分离)算法，从环境音频文件中提取说话人音频，其基于统计学的方式将某些源信号从观测到混合信号分离出来，不需要知道信号源位置等先验知识，所以不用对麦克风的形状及布局进行严格限制，所以算法对硬件的适配性更佳。由于BSS算法模型对声源的空间位置信息不敏感，所以对于同向噪声干扰也会比波束成形方案更优。
在本发明实施例的一些示例中，语音交互功能操作是利用显示屏来进行的，即用户与显示屏之间进行一些互动功能。具体地，电子设备可以根据说话人方位调整显示屏的位置，并当显示屏被成功调整至说话人方位时，基于显示屏进行语音交互操作。这样，可以智能调整显示屏的方位，使得显示屏能面对用户，保障用户具有优质的语音操作体验。
图2示出了根据本发明实施例的语音交互方法的多模态交互过程中一示例的流程图。
如图2所示的多模态交互流程中，在步骤210中，基于具有多麦克风通道的麦克风模块，采集环境音频信息。
这里，麦克风模块中的各个麦克风通道呈环形布置，以充分拾取源自各个方向的音频信号。例如，采用基于环形6麦语音交互方案，平面麦侧向麦均可适配，配置单摄像头进行图像交互，实现可靠的语音交互过程。
在步骤220中，基于BSS算法从环境音频文件中提取说话人音频。
进一步地，还可以在使用BSS算法之前，采用AEC(Acoustic Echo Cancelling,回音消除)算法进行预处理，优化语音帧质量。
在步骤230中，检测说话人音频是否符合预设的语音唤醒条件。
具体地，可以对说话人音频进行语音识别，并确定其是否包含特定的语音唤醒关键词，例如“小布小布”。
在步骤240中，当说话人音频符合语音唤醒条件时，针对环境音频文件，确定说话人音频在的各个麦克风通道的语音分量能量，并将对应具有最大语音分量能量的麦克风通道的麦克风方位确定为说话人方位。
这里，通过语音唤醒功能，唤醒后回滚1～2秒的经过盲源分离之前的语音帧并计算能量，比较各个麦克风通道的能量大小，取能量最大的麦克风通道所在位置为初步的目标人方位信息。
在步骤250中，当说话人音频不符合语音唤醒条件时，表明说话人的意图并不旨在语音交互，而可以直接结束操作。
在本发明实施例的一些示例中，麦克风模块中的各个麦克风通道呈环形布置。这样，通过通过上述针对不同麦克风通道的语音分量能量的能量解析，可以实现初步的说话人定位。但是，为了实现更精确的说话人定位效果，还可以触发单摄像头进行对象确认，以提升语音交互的可靠性。
在步骤260中，采集对应说话人方位的环境图像。例如，根据说话人方位启动摄像头的摄像功能，以采集相应的环境图像。
在步骤270中，识别环境图像中是否存在目标对象信息。这里，目标对象信息可以是目标用户的人脸信息。
具体地，上述目标检测方案可以采用yolov3(You only look once,一次检测物体类别和位置)算法方案，使得在嵌入式平台部署轻量型的推理框架darknet，便可以产生更好的实时处理能力。
在步骤280中，当在环境图像中识别到目标对象信息时，触发进行语音交互操作。
在一些情况下，还可以对环境图像中的目标对象信息进行像素级分析，提取目标对象的方位信息，并以此对方位匹配的麦克风的位置进行微调，以聚焦说话人的声音。由此，将不同通道的语音帧能量分析定位方案，与图像目标识别定位方案进行融合，方位角定位采用的图像和语音相结合的方案，联动摄像头与麦克风，能显著提升对目标对象定位的精确度，并保障了麦克风拾音功能的可靠性。
在步骤290中，当在环境图像中未识别到目标对象信息时，基于各个麦克风通道的麦克风方位，对说话人方位进行校准。具体地，可以重新计算各个麦克风通道的语音帧能量，并利用重新计算的能量结果校准说话人方位。另外，还可以利用在上次能量计算中，语音帧能量排序第二的麦克风的方位校准说话人方位，并调整摄像头，融合目标识别方案，精确定位说话人位置。
在本发明实施例的一些示例中，摄像头可以是显示屏的前置摄像头，使得在显示屏被调整到指定位置并采集到目标人脸时，交互显示屏也相应地对准交互人员，便可以直接触发电子设备的语音交互功能。
通过本发明实施例，应用图像的目标检测和麦克风语音信号处理相融合来提高用户定位的精度及鲁棒性，从而给交互人员带来更好的用户体验。
通过本发明实施例，利用语音帧能量分析和BSS算法，对于麦克风的布局适配更加灵活，便于结构设计，同向干扰情况下抗噪能力更强，提高唤醒率可以快速应答有助于提升用户体验。此外，应用图像的目标检测和语音信号处理这种多模态融合算法来提高DOA的精度及鲁棒性,使用户体验更佳。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作合并，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在一些实施例中，本发明实施例提供一种非易失性计算机可读存储介质，所述存储介质中存储有一个或多个包括执行指令的程序，所述执行指令能够被电子设备(包括但不限于计算机，服务器，或者网络设备等)读取并执行，以用于执行本发明上述任一项语音交互方法。
在一些实施例中，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述任一项语音交互方法。
在一些实施例中，本发明实施例还提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行语音交互方法。
图3是本申请另一实施例提供的执行语音交互方法的电子设备的硬件结构示意图，如图3所示，该设备包括：
一个或多个处理器310以及存储器320，图3中以一个处理器310为例。
执行语音交互方法的设备还可以包括：输入装置330和输出装置340。
处理器310、存储器320、输入装置330和输出装置340可以通过总线或者其他方式连接，图3中以通过总线连接为例。
存储器320作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的语音交互方法对应的程序指令/模块。处理器310通过运行存储在存储器320中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例语音交互方法。
存储器320可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据语音交互设备的使用所创建的数据等。此外，存储器320可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器320可选包括相对于处理器310远程设置的存储器，这些远程存储器可以通过网络连接至语音交互设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置330可接收输入的数字或字符信息，以及产生与语音交互设备的用户设置以及功能控制有关的信号。输出装置340可包括显示屏等显示设备。
所述一个或者多个模块存储在所述存储器320中，当被所述一个或者多个处理器310执行时，执行上述任意方法实施例中的语音交互方法。
上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。
本申请实施例的电子设备以多种形式存在，包括但不限于:
(1)移动通信设备:这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机、多媒体手机、功能性手机，以及低端手机等。
(2)超移动个人计算机设备:这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等。
(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
(4)其他具有数据交互功能的机载电子装置，例如安装上车辆上的车机装置。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种语音交互方法，包括：
基于具有多麦克风通道的麦克风模块，采集环境音频文件；每一所述麦克风通道分别配置有相应的麦克风方位；
从所述环境音频文件中提取说话人音频；
针对所述环境音频文件，确定所述说话人音频在的各个麦克风通道的语音分量能量，并将对应具有最大语音分量能量的麦克风通道的麦克风方位确定为说话人方位；
基于所述说话人方位，进行语音交互操作。
2.根据权利要求1所述的方法，其中，基于所述说话人方位，进行语音交互操作，包括：
采集对应所述说话人方位的环境图像；
识别所述环境图像中是否存在目标对象信息；
当在所述环境图像中识别到目标对象信息时，触发进行语音交互操作。
3.根据权利要求2所述的方法，其中，当在所述环境图像中未识别到目标对象信息时，所述方法还包括：
基于各个麦克风通道的麦克风方位，对所述说话人方位进行校准。
4.根据权利要求1所述的方法，其中，所述基于所述说话人方位，进行语音交互操作，包括：
根据所述说话人方位调整显示屏的位置；
当所述显示屏被成功调整至所述说话人方位时，基于所述显示屏进行语音交互操作。
5.根据权利要求1所述的方法，其中，所述针对所述环境音频文件，确定所述说话人音频在的各个麦克风通道的语音分量能量，并将对应具有最大语音分量能量的麦克风通道的麦克风方位确定为说话人方位，包括：
检测所述说话人音频是否符合预设的语音唤醒条件；
当所述说话人音频符合所述语音唤醒条件时，针对所述环境音频文件，确定所述说话人音频在的各个麦克风通道的语音分量能量，并将对应具有最大语音分量能量的麦克风通道的麦克风方位确定为说话人方位。
6.根据权利要求1所述的方法，其中，所述从所述环境音频文件中提取说话人音频，包括：
基于预设的盲源分离算法，从所述环境音频文件中提取说话人音频。
7.根据权利要求6中任一项所述的方法，其中，在基于预设的盲源分离算法，从所述环境音频文件中提取说话人音频之前，所述方法还包括：
采用回音消除算法对所述环境音频文件进行预处理。
8.根据权利要求1-7中任一项所述的方法，其中，所述麦克风模块中的各个麦克风通道呈环形布置。
9.一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述方法的步骤。
10.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-8中任一项所述方法的步骤。
CN202111517080.4A 2021-12-08 2021-12-08 语音交互方法、电子设备和存储介质 Pending CN114120984A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111517080.4A CN114120984A (zh) 2021-12-08 2021-12-08 语音交互方法、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111517080.4A CN114120984A (zh) 2021-12-08 2021-12-08 语音交互方法、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN114120984A true CN114120984A (zh) 2022-03-01

Family

ID=80365173

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111517080.4A Pending CN114120984A (zh) 2021-12-08 2021-12-08 语音交互方法、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN114120984A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114598922A (zh) * 2022-03-07 2022-06-07 深圳创维－Rgb电子有限公司 语音消息交互方法、装置、设备及存储介质
CN116935883A (zh) * 2023-09-14 2023-10-24 北京探境科技有限公司 声源定位方法、装置、存储介质及电子设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114598922A (zh) * 2022-03-07 2022-06-07 深圳创维－Rgb电子有限公司 语音消息交互方法、装置、设备及存储介质
CN116935883A (zh) * 2023-09-14 2023-10-24 北京探境科技有限公司 声源定位方法、装置、存储介质及电子设备
CN116935883B (zh) * 2023-09-14 2023-12-29 北京探境科技有限公司 声源定位方法、装置、存储介质及电子设备

Similar Documents

Publication Publication Date Title
CN111370014B (zh) 多流目标-语音检测和信道融合的系统和方法
US11450337B2 (en) Multi-person speech separation method and apparatus using a generative adversarial network model
CN110503969B (zh) 一种音频数据处理方法、装置及存储介质
CN107534725B (zh) 一种语音信号处理方法及装置
CN108922553B (zh) 用于音箱设备的波达方向估计方法及系统
CN110970049A (zh) 多人声识别方法、装置、设备及可读存储介质
CN112088315A (zh) 多模式语音定位
CN114120984A (zh) 语音交互方法、电子设备和存储介质
JP2007221300A (ja) ロボット及びロボットの制御方法
CN111445920A (zh) 一种多声源的语音信号实时分离方法、装置和拾音器
CN108877787A (zh) 语音识别方法、装置、服务器及存储介质
CN110611861B (zh) 定向发声控制方法及装置、发声设备、介质和电子设备
CN112233689B (zh) 音频降噪方法、装置、设备及介质
CN110517702B (zh) 信号生成的方法、基于人工智能的语音识别方法及装置
CN110188179B (zh) 语音定向识别交互方法、装置、设备及介质
CN110517677B (zh) 语音处理系统、方法、设备、语音识别系统及存储介质
WO2022001801A1 (zh) 角色分离方法、会议纪要的记录方法、角色展示方法、装置、电子设备及计算机存储介质
CN112466327B (zh) 语音处理方法、装置和电子设备
CN112489674A (zh) 语音增强方法、装置、设备及计算机可读存储介质
CN110992971A (zh) 一种语音增强方向的确定方法、电子设备及存储介质
CN112466305B (zh) 饮水机的语音控制方法及装置
US11783809B2 (en) User voice activity detection using dynamic classifier
CN112104964B (zh) 一种跟随式扩声机器人的控制方法及控制系统
CN110838307B (zh) 语音消息处理方法及装置
CN110415718B (zh) 信号生成的方法、基于人工智能的语音识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination