CN107277699A - 一种拾音方法及装置 - Google Patents

一种拾音方法及装置 Download PDF

Info

Publication number
CN107277699A
CN107277699A CN201710602587.7A CN201710602587A CN107277699A CN 107277699 A CN107277699 A CN 107277699A CN 201710602587 A CN201710602587 A CN 201710602587A CN 107277699 A CN107277699 A CN 107277699A
Authority
CN
China
Prior art keywords
sound
pickup
pickup area
audio
collection array
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710602587.7A
Other languages
English (en)
Inventor
吕廷昌
桑圣杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Techology Co Ltd
Original Assignee
Goertek Techology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Techology Co Ltd filed Critical Goertek Techology Co Ltd
Priority to CN201710602587.7A priority Critical patent/CN107277699A/zh
Publication of CN107277699A publication Critical patent/CN107277699A/zh
Priority to PCT/CN2017/108070 priority patent/WO2019015159A1/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/12Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00Signal processing covered by H04R, not provided for in its groups

Abstract

本发明提供一种拾音方法及装置,其中,方法的部分包括以下步骤:识别音源方向以及音源方向在音频采集阵列移动之前所属的第一拾音区域,第一拾音区域是音频采集阵列的多个拾音区域中的一个;根据第一拾音区域以及音频采集阵列的旋转角,确定音源方向在音频采集阵列移动之后所属的第二拾音区域;第二拾音区域是多个拾音区域中的一个;利用音频采集阵列的多个音频采集设备拾取第二拾音区域内的音频信号。本发明提供的拾音方法可以在音频采集阵列移动的前后,一直准确拾取音源方向上的音频信号。

Description

一种拾音方法及装置
技术领域
本发明涉及音频采集技术领域,尤其涉及一种拾音方法及装置。
背景技术
随着智能技术的发展,出现了很多可进行语音交互的智能设备,例如可受语音控制的机器人、智能交互音箱等。在这些智能设备上一般配置包括多个音频采集设备的音频采集阵列,进而可以拾取多个方向的音频信号。
现有技术中,首先,需要确定音源方向,进而确定音频采集阵列中与音源方向对应的音频采集设备,之后该音频采集设备会将音源方向设置为其拾取音频信号的方向,并会一直在所设置的方向上拾取音频信号。若音频采集阵列出现移动后,音频采集阵列上的音频采集设备也会移动,可能会使音频采集设备拾取音频信号的方向会与音源方向不符,导致拾取到错误的音频信号。
发明内容
本发明的多个方面提供一种拾音方法及装置,用以在音频采集阵列移动的前后,能够一直准确拾取音源方向上的音频信号。
本发明提供一种拾音方法,包括:
识别音源方向以及所述音源方向在音频采集阵列移动之前所属的第一拾音区域,所述第一拾音区域是所述音频采集阵列的多个拾音区域中的一个;
根据所述第一拾音区域以及所述音频采集阵列的旋转角,确定所述音源方向在所述音频采集阵列移动之后所属的第二拾音区域;所述第二拾音区域是所述多个拾音区域中的一个;
利用所述音频采集阵列的多个音频采集设备拾取所述第二拾音区域内的音频信号。
可选地,所述识别音源方向以及所述音源方向在音频采集阵列移动之前所属的第一拾音区域,包括:
监听来自于音源的唤醒信号;
当监听到所述唤醒信号时,根据所述音频采集阵列上各音频采集设备监听到所述唤醒信号的时间差和/或监听到的所述唤醒信号的幅度差,定位所述音源方向;以及
确定所述多个拾音区域中覆盖所述音源方向的拾音区域,作为所述第一拾音区域。
可选地,所述根据所述第一拾音区域以及所述音频采集阵列的旋转角,确定所述音源方向在所述音频采集阵列移动之后所属的第二拾音区域,包括:
获取所述音源方向相对于所述第一拾音区域的中心的方向和夹角;
从所述音频采集阵列的旋转角中,分解出所述音频采集阵列的旋转方向和旋转角度;
根据所述旋转方向、所述旋转角度、所述音源方向相对于所述第一拾音区域的中心的方向以及所述夹角,计算一拾音角度;
根据所述拾音角度以及所述多个拾音区域各自对应的拾音角度范围,从所述多个拾音区域中确定所述第二拾音区域。
可选地,所述根据所述旋转方向、所述旋转角度、所述音源方向相对于所述第一拾音区域的中心的方向以及所述夹角,计算一拾音角度,包括:
若所述旋转方向与所述音源方向相对于所述第一拾音区域的中心的方向相反,获取所述旋转角度与所述夹角之和,作为所述拾音角度;
若所述旋转方向与所述音源方向相对于所述第一拾音区域的中心的方向相同,获取所述旋转角度与所述夹角之差的绝对值,作为所述拾音角度。
可选地,在所述根据所述第一拾音区域的位置以及所述音频采集阵列的旋转角,确定所述音源方向在所述音频采集阵列移动之后所属的第二拾音区域之前,所述方法还包括:
在所述音频采集阵列移动的过程中,采集所述音频采集阵列上的陀螺仪的角速度;
根据所述陀螺仪的角速度和所述音频采集阵列旋转的时间确定所述音频采集阵列的旋转角。
可选地,所述音频采集阵列包括至少两个音频采集设备;
在识别音源方向以及所述音源方向在音频采集阵列移动之前所属的第一拾音区域之前,所述方法还包括:
根据所述音频采集阵列的形状、所述至少两个音频采集设备的位置排列以及所述至少两个音频采集设备的个数,将所述音频采集阵列的最大拾音范围划分为所述多个拾音区域;以及
以所述多个拾音区域中指定拾音区域的中心为基准,确定所述多个拾音区域中每个拾音区域对应的拾音角度范围。
可选地,在利用所述音频采集阵列的多个音频采集设备拾取所述第二拾音区域内的音频信号的过程中,所述方法还包括:
若监听到来自声源的唤醒信号,重新执行识别所述音源方向的操作以及后续操作。
本发明还提供一种拾音装置,包括:
识别模块,用于识别音源方向以及所述音源方向在音频采集阵列移动之前所属的第一拾音区域,所述第一拾音区域是所述音频采集阵列的多个拾音区域中的一个;
确定模块,用于根据所述第一拾音区域以及所述音频采集阵列的旋转角,确定所述音源方向在所述音频采集阵列移动之后所属的第二拾音区域;所述第二拾音区域是所述多个拾音区域中的一个;
拾取模块,用于利用所述音频采集阵列的多个音频采集设备拾取所述第二拾音区域内的音频信号。
可选地,所述识别模块具体用于:
监听来自于音源的唤醒信号;
当监听到所述唤醒信号时,根据所述音频采集阵列上各音频采集设备监听到所述唤醒信号的时间差和/或监听到的所述唤醒信号的幅度差,定位所述音源方向;以及确定所述多个拾音区域中覆盖所述音源方向的拾音区域,作为所述第一拾音区域。
可选地,所述确定模块具体用于:
获取所述音源方向相对于所述第一拾音区域的中心的方向和夹角;
从所述音频采集阵列的旋转角中,分解出所述音频采集阵列的旋转方向和旋转角度;
根据所述旋转方向、所述旋转角度、所述音源方向相对于所述第一拾音区域的中心的方向以及所述夹角,计算一拾音角度;
根据所述拾音角度以及所述多个拾音区域各自对应的拾音角度范围,从所述多个拾音区域中确定所述第二拾音区域。
在本发明中,通过音源方向在音频采集阵列移动之前所属的第一拾音区域以及音频采集阵列的旋转角,确定音源方向在音频采集阵列移动之后所属的第二拾音区域,进而利用多个音频采集设备拾取第二拾音区域内的音频信号,使得在音频采集阵列移动前后,可以一直拾取同一音源方向上的音频信号,解决了音频采集设备拾取音频信号的方向会与音源方向不符导致拾取到错误的音频信号的问题,有利于提高后续音频处理结果的准确性。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本发明的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1为本发明一实施例提供的一种拾音方法的流程示意图;
图2为本发明又一实施例提供的一种拾音方法的流程示意图;
图3a、图3b、图3c分别为本发明又一实施例提供的音频采集阵列旋转示意图;
图4为本发明又一实施例提供的一种拾音装置的模块结构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
以下结合附图,详细说明本发明各实施例提供的技术方案。
图1为本发明一实施例提供的一种拾音方法的流程示意图。如图1所示,该方法包括以下步骤。
S101:识别音源方向以及音源方向在音频采集阵列移动之前所属的第一拾音区域,第一拾音区域是音频采集阵列的多个拾音区域中的一个。
S102:根据第一拾音区域以及音频采集阵列的旋转角,确定音源方向在音频采集阵列移动之后所属的第二拾音区域;第二拾音区域是多个拾音区域中的一个。
S103:利用音频采集阵列的多个音频采集设备拾取第二拾音区域内的音频信号。
音频采集阵列是一组位于空间不同位置的全向音频采集设备按一定的形状规则布置形成的阵列,是对空间传播音频信号进行空间采样的一种装置。其中,音频采集阵列包括多个音频采集设备,本实施例中的多个是指至少两个。音频采集设备包括但不限于麦克风、话筒等设备。
根据音频采集阵列的拓扑结构,则可分为线性阵列、平面阵列、体阵列等。基于此,音频采集阵列包括线形音频采集阵列、面形音频采集阵列、体形音频采集阵列等。
根据位于音频采集设备的多个音频采集设备,可将音频采集设备能够拾音的区域范围划分为多个拾音区域。可选地,一个拾音区域可以对应一个音频采集设备,或者,一个拾音区域也可以对应多个音频采集设备。
当通过音频采集阵列拾取音频信号时,可先通过音频采集阵列识别出音源方向,继而确定音源方向所属的拾音区域,然后通过多个音频采集设备拾取音源方向所属的拾音区域内的音频信号,进而拾取到音源方向的音频信号。
其中,音源方向为音频信号发出的方向。音源方向所属的第一拾音区域可以指覆盖音源方向的拾音区域。
若音频采集阵列移动后,音频采集设备也会跟着移动,进而使第一拾音区域移动。这样,在音源方向不变的情况下,音源方向可能位于第一拾音区域之外的其它拾音区域。若再拾取第一拾音区域内的音频信号将不会拾取到音源方向上的音频信号。
为了使音频采集阵列移动后,依然能够拾取到音源方向的音频信号,可以在音频采集阵列移动后,根据第一拾音区域以及音频采集阵列的旋转角,重新确定音源方向所属的拾音区域,进而利用多个音频采集设备拾取重新确定的拾音区域内的音频信号,这样可以保证在音频采集阵列移动前后,可以一直拾取同一音源方向上的音频信号。为便于区分和描述,将音源方向在音频采集阵列移动之前所属的拾音区域称为第一拾音区域,将音源方向在音频采集阵列移动之后所属的拾音区域称为第二拾音区域。上述旋转角包括旋转方向和旋转角度。
可选地,在识别出音源方向以及音源方向在音频采集阵列移动之前所属的第一拾音区域之后,可以保存音源方向以及音源方向在音频采集阵列移动之前所属的第一拾音区域。
更多情况下,音源方向在音频采集设备移动前后所属的拾音区域不同,即第一拾音区域与第二拾音区域不相同。但是,在音频采集设备的移动幅度较小的情况下,音源方向在音频采集设备移动前后可能属于同一拾音区域,即第一拾音区域与第二拾音区域相同。
音频采集阵列可以有多种移动方式,例如横向移动、纵向移动、旋转移动或者上述移动的组合等。一般来说,若音频采集阵列移动后,令音频采集阵列自身旋转,则更容易使音源方向不再属于第一拾音区域。
以音频采集阵列自身旋转的情况为例,当音频采集阵列旋转时,音频采集阵列的多个拾音区域也会进行同样的旋转。基于此,音频采集阵列以一旋转角旋转,意味着第一拾音区域、第二拾音区域等多个拾音区域均以同一旋转角旋转。因此,在覆盖音源方向的拾音区域为第一拾音区域时,经各个拾音区域以旋转角旋转,覆盖音源方向的拾音区域由第一拾音区域切换为第二拾音区域。
然后,利用音频采集阵列的多个音频采集设备拾取第二拾音区域内的音频信号。
可选地,可以采用波束成形技术,将多个音频采集设备采集的第二拾音区域内的音频信号进行时延处理并加权相加,以形成一个拾音波束;同时衰减除第二拾音区域外的其他区域内的音频信号。最终,通过多个音频采集设备对第二拾音区域内的音频信号进行加强和降噪,从而拾取到音源方向上的音频信号。
本实施例中,通过音源方向在音频采集阵列移动之前所属的第一拾音区域以及音频采集阵列的旋转角,确定音源方向在音频采集阵列移动之后所属的第二拾音区域,进而利用多个音频采集设备拾取第二拾音区域内的音频信号,使得在音频采集阵列移动前后,可以一直拾取同一音源方向上的音频信号,解决了音频采集设备拾取音频信号的方向会与音源方向不符导致拾取到错误的音频信号的问题,有利于提高后续音频处理结果的准确性。
在上述实施例或下述实施例中,可以通过监听来自于音源的唤醒信号来识别音源方向。基于此,识别音源方向以及音源方向在音频采集阵列移动之前所属的第一拾音区域,包括:监听来自于音源的唤醒信号;当监听到唤醒信号时,根据音频采集阵列上各音频采集设备监听到唤醒信号的时间差和/或监听到的唤醒信号的幅度差,定位音源方向;以及确定多个拾音区域中覆盖音源方向的拾音区域,作为第一拾音区域。
其中,音源可以包括但不限于用户、扬声器等任何能够发声的人或物。
可选地,唤醒信号可以包括但不限于指定频率的音频信号、指定幅度的音频信号和指定内容的音频信号等。
当唤醒信号为指定内容的音频信号时,可以根据音频采集阵列上各音频采集设备周期性监听音频采集阵列周围的音频信号,并将采集到的音频信号进行语音识别。若识别到音频信号为指定内容的音频信号,如“开启”时,则定位唤醒信号的方向。
可选地,可以通过以下三种实施方式定位唤醒信号的方向。
第一种实施方式:一般来说,唤醒信号到达各音频采集设备的时间,或者各音频采集设备监听到唤醒信号的时间是不同的。距离声源较近的音频采集设备会先监听到唤醒信号,距离声源较远的音频采集设备会后监听到唤醒信号。基于此,可以根据各音频采集设备监听到唤醒信号的时间差,定位唤醒信号的方向。
第二种实施方式:唤醒信号到达各音频采集设备时的幅度,或者各音频采集设备监听到的唤醒信号幅度是不同的。距离声源较近的音频采集设备监听到的唤醒信号的幅度较大,距离声源较远的音频采集设备监听到的唤醒信号的幅度较小。基于此,可以根据各音频采集设备监听到的唤醒信号的幅度差,定位唤醒信号的方向。
第三种实施方式:为了更准确地定位音源方向,可以结合上述两种实施方式,定位唤醒信号的方向。也就是,根据音频采集阵列上各音频采集设备监听到唤醒信号的时间差和监听到的唤醒信号的幅度差,定位唤醒信号的方向。
然后,将定位出的唤醒信号的方向作为音源方向。可选地,定位出的音源方向可以是根据音频采集阵列建立的虚拟坐标系所得。
然后,比较音源方向和多个拾音区域,将覆盖音源方向的拾音区域,作为第一拾音区域。
图2为本发明又一实施例提供的一种拾音方法的流程示意图。如图2所示,该方法包括以下步骤。
S201:识别音源方向以及音源方向在音频采集阵列移动之前所属的第一拾音区域,第一拾音区域是音频采集阵列的多个拾音区域中的一个。
S202:获取音源方向相对于第一拾音区域的中心的方向和夹角。
S203:从音频采集阵列的旋转角中,分解出音频采集阵列的旋转方向和旋转角度。
S204:判断旋转方向与音源方向相对于第一拾音区域的中心的方向相同或相反,若相同,跳转到步骤S206;若相反,跳转到步骤S205。
S205:获取旋转角度与夹角之和,作为拾音角度,并继续执行步骤S207。
S206:获取旋转角度与夹角之差的绝对值,作为拾音角度,并继续执行步骤S207。
S207:根据拾音角度以及多个拾音区域各自对应的拾音角度范围,从多个拾音区域中确定第二拾音区域。
S208:利用音频采集阵列的多个音频采集设备拾取第二拾音区域内的音频信号。
步骤S201与步骤S101相同,此处不再赘述。
在识别到音源方向以及音源方向在音频采集阵列移动之前所属的第一拾音区域之后,可以根据音源方向在第一拾音区域的确切方向和音频采集阵列的旋转角,确定在音频采集阵列移动之后,音源方向所属的第二拾音区域。
首先,获取音源方向在第一拾音区域的确切方向。可选地,可以以第一拾音区域的中心为基准,获取音源方向的相对于第一拾音区域的中心的方向和夹角(即步骤S202)。可选地,音源方向相对于第一拾音区域的中心的方向和夹角可以指在音源方向投影到音频采集阵列的旋转平面上后,相对于第一拾音区域的中心的方向和夹角。
如图3a所示,音频采集阵列包括麦克风A、麦克风B、麦克风C和麦克风D。其中,麦克风B对应一号拾音区域,麦克风A对应二号拾音区域,麦克风D对应三号拾音区域,麦克风C对应四号拾音区域。在音频采集阵列旋转之前,音源方向所属的第一拾音区域就是一号拾音区域。
图3a中,音源方向与第一拾音区域的中心的夹角为m度。
然后,分解音频采集阵列的旋转角这一矢量,以得到旋转角的方向,即旋转方向,和旋转角的角度,即旋转角度(即步骤S203)。
接着,根据旋转方向、旋转角度、音源方向相对于第一拾音区域的中心的方向以及夹角,计算一拾音角度。其中,拾音角度指音频采集阵列移动后,音源方向相对于第一拾音区域的中心的角度。
可选地,根据旋转方向与音源方向相对于第一拾音区域的中心的方向相同或相反,获取拾音角度的方式不同。基于此,判断旋转方向与音源方向相对于第一拾音区域的中心的方向相同或相反(即步骤S204)。
图3b为在图3a的基础上,音频采集阵列顺时针旋转后的示意图。如图3b所示,旋转方向为顺时针方向,音源方向相对于第一拾音区域的中心的方向为逆时针方向,则二者的方向相反。
图3c为在图3a的基础上,音频采集阵列逆时针旋转后的示意图。如图3c所示,旋转方向为逆时针方向,音源方向相对于第一拾音区域的中心的方向为逆时针方向,则二者的方向相同。
若旋转方向与音源方向相对于第一拾音区域的中心的方向相反,获取旋转角度与夹角之和,作为拾音角度(即步骤S205)。如图3b所示,旋转角度为k度,夹角为m度,则拾音角度为k+m度。
若旋转方向与音源方向相对于第一拾音区域的中心的方向相同,获取所述旋转角度与所述夹角之差的绝对值,作为拾音角度(即步骤S206)。如图3c所示,旋转角度为k度,夹角为m度,则拾音角度为|m-k|度。
然后,根据拾音角度以及多个拾音区域各自对应的拾音角度范围,从多个拾音区域中确定第二拾音区域(即步骤S207)。
其中,每个拾音区域对应一个拾音角度范围。每个拾音角度范围可以根据一个共同的基准计算所得。可选地,以指定拾音区域的中心为基准,例如,以指定区域的中心为0度,沿逆时针或顺时针方向依次确定每个拾音区域的拾音角度范围。
可选地,指定拾音区域可以是第一拾音区域也可以不是第一拾音区域。当指定拾音区域是第一拾音区域时,以第一拾音区域的中心为基准获得多个拾音角度范围。由于拾音角度是音源方向相对于第一拾音区域的中心的角度,也就是拾音角度范围的基准与拾音角度的基准相同。基于此,当拾音角度在一拾音角度范围内时,可以将该拾音角度范围对应的拾音区域作为第二拾音区域。
如图3a、3b、3c所示,以第一拾音区域,即一号拾音区域的中心为基准,沿逆时针方向,一号拾音区域的拾音角度范围为315度-360度以及0度-45度,二号拾音区域的拾音角度范围为45度-135度,三号拾音区域的拾音角度范围为135度-225度,四号拾音区域的拾音角度范围为225度-315度。假设图3b中,拾音角度为75度,则二号拾音区域的角度范围45度-135度包括拾音角度,则确定二号拾音区域为拾取音频信号的第二拾音区域。假设图3c中,拾音角度为|-100|度,考虑到m-k为负值,则将-100度加上360度以得到正值260度,四号拾音区域的角度范围225度-315度包括拾音角度,则确定图3c示出的第四拾音区域为拾取音频信号的第二拾音区域。如果拾音角度为正值,则直接与各个拾音角度范围相比,以确定第二拾音区域。
值得说明的是,为了便于对比,图3c中的拾音区域标识与图3b和图3a均相同。当指定拾音区域不是第一拾音区域时,例如,指定拾音区域为图3a中麦克风A对应的二号拾音区域,则以麦克风A对应的二号拾音区域的中心为基准,沿逆时针或顺时针的方向,确定每个拾音区域的拾音角度范围。
以逆时针方向为例,如图3a所示,音频采集阵列初始状态为在图3a基础上顺时针旋转90度,则对应的,一号、二号、三号和四号拾音区域的拾音角度范围更新为:一号拾音区域的拾音角度范围为225度-315度,二号拾音区域的拾音角度范围为315度-360度以及0度-45度,三号拾音区域的拾音角度范围为45度-135度,四号拾音区域的拾音角度范围为135度-225度。
当指定拾音区域不是第一拾音区域,即一号拾音区域时,拾音角度范围的基准与拾音角度的基准不同。此时,可以根据指定拾音区域与第一拾音区域的相对位置,将以指定拾音区域的中心为基准的拾音角度范围换算到以第一拾音区域的中心为基准的角度范围。然后,当拾音角度在换算后的一拾音角度范围内时,可以将该换算后的拾音角度范围对应的拾音区域作为第二拾音区域。
在一示例中,图3a所示,音频采集阵列初始状态为在图3a基础上顺时针旋转90度,以第一拾音区域,即一号拾音区域的中心为基准的拾音角度假设为30度。指定拾音区域为二号拾音区域。二号拾音区域相对于一号拾音区域逆时针旋转了90度,则将一号拾音区域的角度范围、二号拾音区域的角度范围、三号拾音区域的角度范围以及四号拾音区域的角度范围均增加90度,超过360度的角度范围减去360度,进而将以二号拾音区域的中心为基准的拾音角度范围换算到以一号拾音区域的中心为基准的角度范围。换算后,一号拾音区域的拾音角度范围为315度-360度以及0度-45度,二号拾音区域的拾音角度范围为45度-135度,三号拾音区域的拾音角度范围为135度-225度,四号拾音区域的拾音角度范围为225度-315度。然后,当拾音角度在换算后的一拾音角度范围内时,可以将该换算后的拾音角度范围对应的拾音区域作为第二拾音区域。
在确定第二拾音区域后,可以利用音频采集阵列上位于第二拾音区域内的音频采集设备拾取第二拾音区域内的音频信号(即步骤S208),进而在音频采集阵列移动后,依然能够获取到音源方向上的音频信号。
在上述实施例或下述实施例中,在根据第一拾音区域的位置以及音频采集阵列的旋转角,确定音源方向在音频采集阵列移动之后所属的第二拾音区域之前,还可以包括音频采集阵列的旋转角的获取过程。
可选地,可以在音频采集阵列上安装陀螺仪。可选地,可以在音频采集阵列的中心位置安装陀螺仪。进而,在音频采集阵列移动的过程中,采集音频采集阵列上的陀螺仪的角速度。陀螺仪的角速度就是音频采集阵列旋转的角速度。
然后,根据陀螺仪的角速度和音频采集阵列旋转的时间,确定音频采集阵列的旋转角。可选地,可以将陀螺仪的角速度,也就是音频采集阵列旋转的角速度对应乘以音频采集阵列旋转的时间,得到音频采集阵列的旋转角。
在一可选实施方式中,也可以在音频采集阵列上安装角度传感器。进而,采集角度传感器在音频采集阵列移动之前的第一角度;采集角度传感器在音频采集阵列移动之后的第二角度。然后,根据第二角度与第一角度的矢量之差,确定音频采集阵列的旋转角。
在上述实施例或下述实施例中,音频采集阵列包括至少两个音频采集设备。至少两个音频采集设备可以对应至少两个拾音区域。不同拾音区域的拾音角度范围不同。
可选地,在识别音源方向以及音源方向在音频采集阵列移动之前所属的第一拾音区域之前,可以确定各个拾音区域对应的拾音角度范围。
首先,根据音频采集阵列的形状、至少两个音频采集设备的位置排列以及至少两个音频采集设备的个数,将音频采集阵列的最大拾音范围划分为多个拾音区域。
其中,音频采集阵列的形状与音频采集阵列的最大拾音范围有关。若音频采集阵列为环形,如图3a所示,最大拾音范围为360度的范围。若音频采集阵列为半环形,则最大拾音范围为180度的范围。若音频采集阵列为线形,则最大拾音范围为小于180度的扇形范围。
音频采集设备的位置排列以及个数与拾音区域的划分有关。如图3a所示,设置于音频采集设备上的麦克风A、麦克风B、麦克风C和麦克风D均匀排列在环形音频采集阵列的周围,则将360度的范围划分为4个90度的拾音范围。其中,麦克风位于对应拾音范围的中心位置。
然后,以多个拾音区域中指定拾音区域的中心为基准,确定多个拾音区域中每个拾音区域对应的拾音角度范围。
其中,指定拾音区域可以为多个拾音区域中的任一区域。
可选地,在音频采集阵列拾取音频信号的过程中,指定拾音区域可以固定为多个拾音区域中的一区域,也可以随着音源方向的变化,将音源方向所属的拾音区域作为指定拾音区域。
若指定拾音区域固定为多个拾音区域中的一区域时,每个拾音区域对应的拾音角度范围保持不变。若指定拾音区域为音源方向所属的第一拾音区域时,当音源方向所属的第一拾音区域改变时,每个拾音区域对应的拾音角度范围也会相应改变。
当然,也可以以指定拾音区域的一边界为基准,确定多个拾音区域中每个拾音区域对应的拾音角度范围。
在一可选实施方式中,在利用音频采集阵列上的多个音频采集设备拾取第二拾音区域内的音频信号的过程中,音源方向可能发生变化。基于此,可以周期性监听来自声源的唤醒信号,即根据音频采集阵列上各音频采集设备周期性监听音频采集阵列周围的唤醒信号。
若监听到来自声源的唤醒信号,重新执行识别音源方向的操作。进而确定音源方向在音频采集阵列所属的第一拾音区域,以利用多个音频采集设备拾取第一拾音区域内的音频信号。
在拾取第一拾音区域内的音频信号的过程中,若音频采集阵列发生移动,可以根据第一拾音区域以及音频采集阵列的旋转角,确定音源方向在音频采集阵列移动之后所属的第二拾音区域;进而利用多个音频采集设备拾取第二拾音区域内的音频信号。
值得说明的是,在音源方向发生变化之后,新的音源方向所属的拾音区域被称为第一拾音区域。基于此,可以以新的第一拾音区域的中心为基准,重新获取多个拾音区域的拾音角度范围和音源方向相对于新的第一拾音区域的中心的夹角和方向,进而执行后续的计算。
图4为本发明又一实施例提供的一种拾音装置的模块结构图。如图4所示,拾音装置400包括识别模块401、确定模块402和拾取模块403。
识别模块401,用于识别音源方向以及音源方向在音频采集阵列移动之前所属的第一拾音区域,第一拾音区域是音频采集阵列的多个拾音区域中的一个。
确定模块402,用于根据识别模块401识别的第一拾音区域以及音频采集阵列的旋转角,确定音源方向在音频采集阵列移动之后所属的第二拾音区域;第二拾音区域是多个拾音区域中的一个。
拾取模块403,用于利用音频采集阵列的多个音频采集设备拾取第二拾音区域内的音频信号。
本实施例中,通过音源方向在音频采集阵列移动之前所属的第一拾音区域以及音频采集阵列的旋转角,确定音源方向在音频采集阵列移动之后所属的第二拾音区域,进而利用多个音频采集设备拾取第二拾音区域内的音频信号,使得在音频采集阵列移动前后,可以一直拾取同一音源方向上的音频信号,解决了音频采集设备拾取音频信号的方向会与音源方向不符导致拾取到错误的音频信号的问题,有利于提高后续音频处理结果的准确性。
可选地,识别模块401在识别音源方向以及音源方向在音频采集阵列移动之前所属的第一拾音区域时,具体用于:监听来自于音源的唤醒信号;当监听到唤醒信号时,根据音频采集阵列上各音频采集设备监听到唤醒信号的时间差和/或监听到的唤醒信号的幅度差,定位音源方向;以及确定多个拾音区域中覆盖音源方向的拾音区域,作为第一拾音区域。
可选地,确定模块402在根据识别模块401识别的第一拾音区域以及音频采集阵列的旋转角,确定音源方向在音频采集阵列移动之后所属的第二拾音区域时,具体用于:获取音源方向相对于第一拾音区域的中心的方向和夹角;从音频采集阵列的旋转角中,分解出音频采集阵列的旋转方向和旋转角度;根据旋转方向、旋转角度、音源方向相对于第一拾音区域的中心的方向以及夹角,计算一拾音角度;根据拾音角度以及多个拾音区域各自对应的拾音角度范围,从多个拾音区域中确定第二拾音区域。
可选地,确定模块402在根据旋转方向、旋转角度、音源方向相对于第一拾音区域的中心的方向以及夹角,计算一拾音角度时,具体用于:若旋转方向与音源方向相对于第一拾音区域的中心的方向相反,获取旋转角度与夹角之和,作为拾音角度;若旋转方向与音源方向相对于第一拾音区域的中心的方向相同,获取旋转角度与夹角之差的绝对值,作为拾音角度。
可选地,拾音装置400还包括旋转角确定模块,用于在音频采集阵列移动的过程中,采集音频采集阵列上的陀螺仪的角速度;以及根据陀螺仪的角速度和音频采集阵列旋转的时间确定音频采集阵列的旋转角。
可选地,音频采集阵列包括至少两个音频采集设备。
拾音装置400还包括拾音角度范围确定模块,用于根据音频采集阵列的形状、至少两个音频采集设备的位置排列以及至少两个音频采集设备的个数,将音频采集阵列的最大拾音范围划分为多个拾音区域;以及以多个拾音区域中指定拾音区域的中心为基准,确定多个拾音区域中每个拾音区域对应的拾音角度范围。
可选地,识别模块401还用于在利用音频采集阵列的多个音频采集设备拾取第二拾音区域内的音频信号的过程中,若监听到来自声源的唤醒信号,重新执行识别音源方向的操作以及执行识别音源方向在音频采集阵列移动之前所属的第一拾音区域的操作。进而拾取模块403,用于利用多个音频采集设备拾取第一拾音区域内的音频信号。
以上所述仅为本发明的实施例而已,并不用于限制本发明。对于本领域技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本发明的权利要求范围之内。

Claims (10)

1.一种拾音方法,其特征在于,包括:
识别音源方向以及所述音源方向在音频采集阵列移动之前所属的第一拾音区域,所述第一拾音区域是所述音频采集阵列的多个拾音区域中的一个;
根据所述第一拾音区域以及所述音频采集阵列的旋转角,确定所述音源方向在所述音频采集阵列移动之后所属的第二拾音区域;所述第二拾音区域是所述多个拾音区域中的一个;
利用所述音频采集阵列的多个音频采集设备拾取所述第二拾音区域内的音频信号。
2.根据权利要求1所述的方法,其特征在于,所述识别音源方向以及所述音源方向在音频采集阵列移动之前所属的第一拾音区域,包括:
监听来自于音源的唤醒信号;
当监听到所述唤醒信号时,根据所述音频采集阵列上各音频采集设备监听到所述唤醒信号的时间差和/或监听到的所述唤醒信号的幅度差,定位所述音源方向;以及
确定所述多个拾音区域中覆盖所述音源方向的拾音区域,作为所述第一拾音区域。
3.根据权利要求1所述的方法,其特征在于,所述根据所述第一拾音区域以及所述音频采集阵列的旋转角,确定所述音源方向在所述音频采集阵列移动之后所属的第二拾音区域,包括:
获取所述音源方向相对于所述第一拾音区域的中心的方向和夹角;
从所述音频采集阵列的旋转角中,分解出所述音频采集阵列的旋转方向和旋转角度;
根据所述旋转方向、所述旋转角度、所述音源方向相对于所述第一拾音区域的中心的方向以及所述夹角,计算一拾音角度;
根据所述拾音角度以及所述多个拾音区域各自对应的拾音角度范围,从所述多个拾音区域中确定所述第二拾音区域。
4.根据权利要求3所述的方法,其特征在于,所述根据所述旋转方向、所述旋转角度、所述音源方向相对于所述第一拾音区域的中心的方向以及所述夹角,计算一拾音角度,包括:
若所述旋转方向与所述音源方向相对于所述第一拾音区域的中心的方向相反,获取所述旋转角度与所述夹角之和,作为所述拾音角度;
若所述旋转方向与所述音源方向相对于所述第一拾音区域的中心的方向相同,获取所述旋转角度与所述夹角之差的绝对值,作为所述拾音角度。
5.根据权利要求1所述的方法,其特征在于,在所述根据所述第一拾音区域的位置以及所述音频采集阵列的旋转角,确定所述音源方向在所述音频采集阵列移动之后所属的第二拾音区域之前,所述方法还包括:
在所述音频采集阵列移动的过程中,采集所述音频采集阵列上的陀螺仪的角速度;
根据所述陀螺仪的角速度和所述音频采集阵列旋转的时间确定所述音频采集阵列的旋转角。
6.根据权利要求1所述的方法,其特征在于,所述音频采集阵列包括至少两个音频采集设备;
在识别音源方向以及所述音源方向在音频采集阵列移动之前所属的第一拾音区域之前,所述方法还包括:
根据所述音频采集阵列的形状、所述至少两个音频采集设备的位置排列以及所述至少两个音频采集设备的个数,将所述音频采集阵列的最大拾音范围划分为所述多个拾音区域;以及
以所述多个拾音区域中指定拾音区域的中心为基准,确定所述多个拾音区域中每个拾音区域对应的拾音角度范围。
7.根据权利要求1-6任一项所述的方法,其特征在于,在利用所述音频采集阵列的多个音频采集设备拾取所述第二拾音区域内的音频信号的过程中,所述方法还包括:
若监听到来自声源的唤醒信号,重新执行识别所述音源方向的操作以及后续操作。
8.一种拾音装置,其特征在于,包括:
识别模块,用于识别音源方向以及所述音源方向在音频采集阵列移动之前所属的第一拾音区域,所述第一拾音区域是所述音频采集阵列的多个拾音区域中的一个;
确定模块,用于根据所述第一拾音区域以及所述音频采集阵列的旋转角,确定所述音源方向在所述音频采集阵列移动之后所属的第二拾音区域;所述第二拾音区域是所述多个拾音区域中的一个;
拾取模块,用于利用所述音频采集阵列的多个音频采集设备拾取所述第二拾音区域内的音频信号。
9.根据权利要求8所述的装置,其特征在于,所述识别模块具体用于:
监听来自于音源的唤醒信号;
当监听到所述唤醒信号时,根据所述音频采集阵列上各音频采集设备监听到所述唤醒信号的时间差和/或监听到的所述唤醒信号的幅度差,定位所述音源方向;以及
确定所述多个拾音区域中覆盖所述音源方向的拾音区域,作为所述第一拾音区域。
10.根据权利要求8所述的装置,其特征在于,所述确定模块具体用于:
获取所述音源方向相对于所述第一拾音区域的中心的方向和夹角;
从所述音频采集阵列的旋转角中,分解出所述音频采集阵列的旋转方向和旋转角度;
根据所述旋转方向、所述旋转角度、所述音源方向相对于所述第一拾音区域的中心的方向以及所述夹角,计算一拾音角度;
根据所述拾音角度以及所述多个拾音区域各自对应的拾音角度范围,从所述多个拾音区域中确定所述第二拾音区域。
CN201710602587.7A 2017-07-21 2017-07-21 一种拾音方法及装置 Pending CN107277699A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710602587.7A CN107277699A (zh) 2017-07-21 2017-07-21 一种拾音方法及装置
PCT/CN2017/108070 WO2019015159A1 (zh) 2017-07-21 2017-10-27 一种拾音方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710602587.7A CN107277699A (zh) 2017-07-21 2017-07-21 一种拾音方法及装置

Publications (1)

Publication Number Publication Date
CN107277699A true CN107277699A (zh) 2017-10-20

Family

ID=60079491

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710602587.7A Pending CN107277699A (zh) 2017-07-21 2017-07-21 一种拾音方法及装置

Country Status (2)

Country Link
CN (1) CN107277699A (zh)
WO (1) WO2019015159A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108172236A (zh) * 2018-01-12 2018-06-15 歌尔科技有限公司 一种拾音降噪方法以及智能电子设备
WO2019015159A1 (zh) * 2017-07-21 2019-01-24 歌尔科技有限公司 一种拾音方法及装置
CN109712626A (zh) * 2019-03-04 2019-05-03 腾讯科技(深圳)有限公司 一种语音数据处理方法及装置
CN109841214A (zh) * 2018-12-25 2019-06-04 百度在线网络技术(北京)有限公司 语音唤醒处理方法、装置和存储介质
CN110310633A (zh) * 2019-05-23 2019-10-08 北京百度网讯科技有限公司 多音区语音识别方法、终端设备和存储介质
CN110364176A (zh) * 2019-08-21 2019-10-22 百度在线网络技术(北京)有限公司 语音信号处理方法及装置
CN113141285A (zh) * 2020-01-19 2021-07-20 海信集团有限公司 一种沉浸式语音交互方法及系统
CN114446300A (zh) * 2022-02-17 2022-05-06 北京百度网讯科技有限公司 多音区识别方法、装置、设备以及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010056598A (ja) * 2008-08-26 2010-03-11 Yamaha Corp 放収音装置
CN102137318A (zh) * 2010-01-22 2011-07-27 华为终端有限公司 拾音控制方法和装置
CN104035065A (zh) * 2014-06-23 2014-09-10 河北工业大学 基于主动旋转的声源定向装置及其应用方法
CN104919823A (zh) * 2012-11-14 2015-09-16 高通股份有限公司 具有智能方向性会议的装置及系统
CN106125771A (zh) * 2016-08-16 2016-11-16 江西联创宏声电子有限公司 声频定向扬声器及其转向方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9445193B2 (en) * 2008-07-31 2016-09-13 Nokia Technologies Oy Electronic device directional audio capture
JP2010187363A (ja) * 2009-01-16 2010-08-26 Sanyo Electric Co Ltd 音響信号処理装置及び再生装置
CN104010251B (zh) * 2013-02-27 2018-06-19 晨星半导体股份有限公司 收音系统与相关方法
US9699549B2 (en) * 2015-03-31 2017-07-04 Asustek Computer Inc. Audio capturing enhancement method and audio capturing system using the same
CN206212215U (zh) * 2016-10-24 2017-05-31 中山市悦辰电子实业有限公司 一种远程语音自动识别定位转向收音装置
CN107277699A (zh) * 2017-07-21 2017-10-20 歌尔科技有限公司 一种拾音方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010056598A (ja) * 2008-08-26 2010-03-11 Yamaha Corp 放収音装置
CN102137318A (zh) * 2010-01-22 2011-07-27 华为终端有限公司 拾音控制方法和装置
CN104919823A (zh) * 2012-11-14 2015-09-16 高通股份有限公司 具有智能方向性会议的装置及系统
CN104035065A (zh) * 2014-06-23 2014-09-10 河北工业大学 基于主动旋转的声源定向装置及其应用方法
CN106125771A (zh) * 2016-08-16 2016-11-16 江西联创宏声电子有限公司 声频定向扬声器及其转向方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019015159A1 (zh) * 2017-07-21 2019-01-24 歌尔科技有限公司 一种拾音方法及装置
CN108172236A (zh) * 2018-01-12 2018-06-15 歌尔科技有限公司 一种拾音降噪方法以及智能电子设备
CN108172236B (zh) * 2018-01-12 2021-08-20 歌尔科技有限公司 一种拾音降噪方法以及智能电子设备
CN109841214A (zh) * 2018-12-25 2019-06-04 百度在线网络技术(北京)有限公司 语音唤醒处理方法、装置和存储介质
CN109841214B (zh) * 2018-12-25 2021-06-01 百度在线网络技术(北京)有限公司 语音唤醒处理方法、装置和存储介质
US11257497B2 (en) 2018-12-25 2022-02-22 Baidu Online Network Technology (Beijing) Co., Ltd. Voice wake-up processing method, apparatus and storage medium
CN109712626A (zh) * 2019-03-04 2019-05-03 腾讯科技(深圳)有限公司 一种语音数据处理方法及装置
CN110310633A (zh) * 2019-05-23 2019-10-08 北京百度网讯科技有限公司 多音区语音识别方法、终端设备和存储介质
CN110364176A (zh) * 2019-08-21 2019-10-22 百度在线网络技术(北京)有限公司 语音信号处理方法及装置
CN113141285A (zh) * 2020-01-19 2021-07-20 海信集团有限公司 一种沉浸式语音交互方法及系统
CN114446300A (zh) * 2022-02-17 2022-05-06 北京百度网讯科技有限公司 多音区识别方法、装置、设备以及存储介质

Also Published As

Publication number Publication date
WO2019015159A1 (zh) 2019-01-24

Similar Documents

Publication Publication Date Title
CN107277699A (zh) 一种拾音方法及装置
CN110164446B (zh) 语音信号识别方法和装置、计算机设备和电子设备
CN111025233A (zh) 一种声源方向定位方法和装置、语音设备和系统
CN109998428B (zh) 用于扫地机器人的清洁方法、系统及装置
CN103902963B (zh) 一种识别方位及身份的方法和电子设备
CN104246531B (zh) 用于显示用户接口的系统和方法
CN106772246B (zh) 基于声阵列的无人机实时检测和定位系统及方法
CN107172566B (zh) 音频处理方法及装置
CN109712626A (zh) 一种语音数据处理方法及装置
CN106863305A (zh) 一种扫地机器人房间地图创建方法及装置
CN104375117B (zh) 目标定位方法及系统
CN110517319A (zh) 一种相机姿态信息确定的方法及相关装置
CN108254721A (zh) 一种机器人声源定位方法和机器人
CN107123423A (zh) 语音拾取装置及多媒体设备
WO2020024816A1 (zh) 音频信号处理方法、装置、设备和存储介质
CN102147458B (zh) 一种针对宽带声源的波达方向估计方法及其装置
CN106339081B (zh) 一种基于商用设备的免携带设备手掌定位人机交互方法
CN108419168A (zh) 拾音设备的指向性拾音方法、装置、拾音设备及存储介质
CN106210511A (zh) 一种定位用户的方法和装置
Kallakuri et al. Probabilistic approach for building auditory maps with a mobile microphone array
CN107450586A (zh) 航路的调整方法和系统以及无人机系统
CN206713015U (zh) 全向型麦克风阵列拾音装置
CN103716724B (zh) 一种声音采集方法及电子设备
CN112379330B (zh) 一种多机器人协同的3d声源识别定位方法
CN101833119B (zh) 手持设备或移动设备翻转的识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20171020