CN108845292B - 一种声源定位的方法及装置 - Google Patents
一种声源定位的方法及装置 Download PDFInfo
- Publication number
- CN108845292B CN108845292B CN201810623301.8A CN201810623301A CN108845292B CN 108845292 B CN108845292 B CN 108845292B CN 201810623301 A CN201810623301 A CN 201810623301A CN 108845292 B CN108845292 B CN 108845292B
- Authority
- CN
- China
- Prior art keywords
- sound source
- audio signal
- format audio
- component
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/18—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
- G01S5/22—Position of source determined by co-ordinating a plurality of position lines defined by path-difference measurements
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Stereophonic System (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
本发明公开了一种声源定位的方法及装置,该方法包括:获取待检测声源方向的第一格式音频信号;根据第一格式音频信号以及与第一格式音频信号对应的3D导向矢量,获取声源方向的检测向量;根据检测向量,确定声源的空间方位。在获取待检测声源方向的第一格式音频信号后,实现获取与第一格式音频信号对应的3D导向矢量,然后根据第一格式音频信号和与第一格式音频信号对应的3D导向矢量,获取声源方向的检测向量,最终根据声源方向的检测向量,确定声源的空间方位。通过上述方式,不仅仅可以得到声源在水平方向的位置信息,还可以得到声源在垂直方向的位置信息,从而全方位的实现3D空间的定位。
Description
技术领域
本发明涉及数据处理技术领域,具体涉及一种声源定位的方法及装置。
背景技术
随着科学技术的发展,各个领域对于音频质量的追求越来越高,音频研究的对象由最初的单路(mono),逐渐过渡到立体声(stereo)、环绕声(surround)以及3D(3-dimensional)音频。不同于单路音频,多路音频通常是通过麦克风阵列得到的。目前基于波达方向(Direction of arrival,DOA)估计的麦克风阵列声源定位技术是很多领域的研究热点,广泛应用在声呐、视频电话会议、人工智能、地震研究、语音追踪与识别、监控系统等方面。
但是,现有利用DOA估计的麦克风阵列声源定位技术只能针对水平面进行声源定位,而一旦需要针对垂直方向或者三维立体方向的声源定位时,则无法实现。
发明内容
本发明的目的在于提供一种声源定位的方法及装置,用以解决现有声源定位技术只能针对水平面进行声源定位的问题。
为实现上述目的,本发明的技术方案提供了一种声源定位的方法,该声源定位的方法包括:
获取待检测声源方向的第一格式音频信号;
根据第一格式音频信号以及与第一格式音频信号对应的3D导向矢量,获取声源方向的检测向量;
根据检测向量,确定声源的空间方位,其中与第一格式音频信号对应的3D导向矢量为预先获取的导向矢量。
本发明具有如下优点:在获取声源方位的第一格式音频信号后,实现获取与第一格式音频信号对应的3D导向矢量,然后根据第一格式音频信号和与第一格式音频信号对应的3D导向矢量,获取声源方向的检测向量,最终根据声源方向的检测向量,确定声源的空间方位。通过上述方式,不仅仅可以得到声源在水平方向的位置信息,还可以得到声源在垂直方向的位置信息,从而全方位的实现3D空间的定位。
为实现上述目的,本发明的技术方案提供了一种声源定位的装置,该声源定位的装置包括:
获取单元,获取待检测声源方位的第一格式音频信号;
处理单元,用于根据第一格式音频信号以及与第一格式音频信号对应的3D导向矢量,获取声源方向的检测向量;
根据检测向量,确定声源的空间方位,其中与第一格式音频信号对应的3D导向矢量为预先获取的导向矢量。
本发明具有如下优点:在获取待检测声源方位的第一格式音频信号后,实现获取与第一格式音频对应的3D导向矢量,然后根据第一格式音频信号和与第一格式音频信号对应的3D导向矢量,获取声源方向的检测向量,最终根据声源方向的检测向量,确定声源的空间方位。通过上述方式,不仅仅可以得到声源在水平方向的位置信息,还可以得到声源在垂直方向的位置信息,从而全方位的实现3D空间的定位。
附图说明
图1为本发明实施例提供的一种声源定位的方法流程示意图;
图2为本发明采集四路音频信号的麦阵放置方式示意图;
图3为本发明实施例提供的一种声源定位的装置结构示意图。
具体实施方式
以下实施例用于说明本发明,但不用来限制本发明的范围。
实施例1
本发明实施例1提供了一种声源定位的方法流程示意图。具体如图1所示,该方法可以包括:
步骤110,获取待检测声源方向的第一格式音频信号。
具体的,获取的第一格式音频信号可以是Ambisonic格式的音频信号。其第一格式音频信号可以是Ambisonic A格式音频信号,可以包括:左前路音频(left-front-up,简称LFU)、右前路音频(right-front-down,简称RFD)、左后路音频(left-back-down,简称LBD)、右后路音频(right-back-up,简称RBU)。
Ambisonic A格式音频信号实际是根据麦克方式定义的,具体麦克风放置方式如图2所示。而上文的4路音频:LFU路音频、RFD路音频、LBD路音频、RBU路音频则是在麦克风放置好后,可以直接采集的音频信号。
步骤120,根据第一格式音频信号以及与第一格式音频信号对应的3D导向矢量,获取声源方向的检测向量。
步骤130,根据检测向量,确定声源的空间方位。
与第一格式音频信号对应的3D导向矢量为预先获取的导向矢量。
在一个具体的例子中,具体的,Ambisonic A格式音频信号中,利用图2所示的指向性麦克采集音频,指向性麦克在3D空间的各个方向的音频拾取都是特定的。因此与第一格式音频信号对应的3D导向矢量的获取同样是可以预先计算得到的。具体获取3D导向矢量的方式为现有技术,这里不做过多的介绍。
3D导向矢量的表达式可以如下式表示:
SteerV=[S1 S2 S3 S4] (公式2)
那么,检测向量DoaV可以通过下式表示:
DoaV=Aamb×SteerV (公式4)
根据检测向量DoaV确定声源的空间方位时,可以是通过查找极大值方式获取,即对应的索引值即为3D空间方位。
以上实施例,是从整体的角度考虑,即直接获取声源在3D空间的导向矢量,进而获取在3D空间的检测向量,通过3D空间的检测向量获取3D空间方位。
在另一个具体的例子中,则可以先获取声源在水平方向的方位角,然后获取在垂直方向的方位角。根据水平方向的方位角和垂直方向的方位角,综合确定声源的3D空间方位。具体如下:
分别将第一格式音频信号投影到水平方向以及垂直方向后,获取第一格式音频信号在水平方向的第一子格式音频信号和在垂直方向的第二子格式音频信号;
根据第一子格式音频信号以及与第一子格式音频信号对应的水平方向的导向矢量,获取声源的水平方位角;
和,
根据第二子格式音频信号以及与第二子格式音频信号对应的垂直方向的导向矢量,获取声源的垂直方位角;
最终,根据水平方位角和垂直方位角,确定声源的空间方位。
即,Ambisonic A格式音频信号(包含LFU路音频、RFD路音频、LBD路音频、RBU路音频),如公式1所示。
然后将Ambisonic A格式音频信号进行投影到水平面,进行预处理,获取位于水平面同一平面的4路音频信号。具体如下式所示:
Ahor=Aamb×A (公式5)
其中,A为转换矩阵:
其中,为高度角,为与相关的函数,实际上就是从空间映射到平面上时所用到的函数,例如sin函数或者cos函数等。但是,加上函数后,可能会导致计算比较复杂。但是实际上,在转换到平面时,相当于4路音频都已经做了相同的处理,因此,即使忽略高度信息,也不会对计算结果造成太大的影响,反而可以降低复杂度。因此,在具体实施过程中,可以将该高度信息忽略掉。进而,
根据位于水平面同一平面的4路音频信号和预先计算的水平方向投影的导向矢量steering vectors进行处理,得到声源在水平方向的检测向量DoaX[M]。
具体公式如下所示:
DoaX=Ahor×SteerX
其中,SteerX[4][M]即为预先获取的水平方向投影的导向矢量steeringvectors,M代表水平方向的DOA检测分辨率。
根据DoaX向量获取水平方位角,获取方式同样是通过查找水平方向的检测向量的极大值,对应的索引值即为水平方位角。
进一步的,对Ambiosonic A格式音频信号进行投影到垂直面的预处理,得到位于在垂直面同一平面的4路音频信号;
Aver=Aamb×B (公式8)
转换矩阵B为:
根据位于在垂直面同一平面的4路音频信号和预先计算的垂直方向投影的steering vectors进行处理,得到声源在垂直方向的检测向量DoaY[N]。
DoaY=Aver×SteerY (公式11)
其中,SteerY[4][N],N代表垂直方向的DOA检测分辨率。
根据DoaY向量获取垂直方位角,具体为查找垂直方向的检测向量的极大值,其对应的索引值即为垂直方位角。
最终,根据水平方位角和垂直方位角,确定声源的3D空间方位。
在另一个具体的例子中,可能声源信号就是单纯的可以在某一个方向检测到,例如水平方向又或者是垂直方向。而如果还通过上述两个例子的方式获取空间定位,会增加算法的复杂度。因此,可以通过下面的方式可以直接获取:
将第一格式音频信号转换为第二格式音频信号,第二格式音频至少包括Y分量和Z分量,其中,Y分量为左右方向的分量,Z分量为上下方向的分量;
根据Y分量的能量计算声源在水平方向的声源发散度参数,以及根据Z分量的能量计算声源在垂直水平方向的声源发散度参数;
当确定水平方向的声源发散度参数大于或者等于垂直方向的声源发散度参数时,将第一格式音频信号投影到水平方向,获取水平方向的第一子格式音频信号;
根据第一子格式音频信号以及与第一子格式音频信号对应的水平方向的导向矢量,获取声源的空间方位。
或者,当确定水平方向的声源发散度参数小于垂直方向的声源发散度参数时,将第一格式音频信号投影到垂直方向,获取垂直方向的第二子格式音频信号;
根据第二子格式音频信号以及与第二子格式音频信号对应的垂直方向的导向矢量,获取声源的空间方位。
具体的,将输入的Ambisonic A格式音频转换为Ambisonic B格式音频。
音频领域中将包含W、X、Y、Z分量的音频信号称为Ambisonic B格式音频信号。其中,W为全向的分量,X为前后方向的分量,Y为左右方向的分量,Z为上下方向的分量。而本申请中主要涉及的分量为Y分量和Z分量。
进一步结合基于Z信号的能量估计水平面的diffusivity参数,基于Y信号的能量估计垂直面的diffusivity参数。从而决定对输入的多路音频信号采用水平方位DOA还是垂直方位DOA。
这里的diffusivity参数即为声源发散度参数。参数决定了声源方位可检测的程度,数值越小,则可检测程度越大,否则,可检测程度越小。因此可以结合水平面和垂直面的diffusivity参数,自适应选择DOA检测方式。
具体包括:
对Ambiosonic A格式音频信号(公式1所示)进行预处理,得到Ambisonic B格式音频信号(包含W、X、Y、Z分量)。
Bamb=C×Aamb (公式13)
基于Z信号的能量估计水平面的diffusivity参数,基于Y信号的能量估计垂直面的diffusivity参数。
当确定水平方向的声源发散度参数大于或者等于垂直方向的声源发散度参数时,将第一格式音频信号投影到水平方向,获取水平方向的第一子格式音频信号,根据第一子格式音频信号以及与第一子格式音频信号对应的水平方向的导向矢量,获取声源的空间方位。否则,当确定水平方向的声源发散度参数小于垂直方向的声源发散度参数时,将第一格式音频信号投影到垂直方向,获取垂直方向的第二子格式音频信号,根据第二子格式音频信号以及与第二子格式音频信号对应的垂直方向的导向矢量,获取声源的空间方位。
而后续获取声源的空间方位的过程同第二个具体例子中获取空间方位的过程类似,这里将不做过多介绍。唯一不同的是,本例子中,仅仅获取某一个(水平或垂直)方向的方位角,进而确定声源信号的空间方位。
本发明实施例提供的一种声源定位方法,在获取带检测声源方位的第一格式音频信号后,实现获取与第一格式音频信号对应的3D导向矢量,然后根据第一格式音频信号和与第一格式音频信号对应的3D导向矢量,获取声源方向的检测向量,最终根据声源方向的检测向量,确定声源空间方位。通过上述方式,不仅仅可以得到声源在水平方向的位置信息,还可以得到声源在垂直方向的位置信息,从而全方位的实现3D空间的定位。
实施例2
与实施例1相对应的,本发明实施例还提供了一种声源定位的装置,具体如图2所示,该装置包括:获取单元201和处理单元202。
获取单元201,获取待检测声源方向的第一格式音频信号;
处理单元202,用于根据第一格式音频信号以及与第一格式音频信号对应的3D导向矢量,获取声源方向的检测向量;
根据检测向量,确定声源的空间方位,其中与第一格式音频信号对应的3D导向矢量为预先获取的导向矢量。
可选的,处理单元202具体用于,分别将第一格式音频信号投影到水平方向以及垂直方向后,获取第一格式音频信号在水平方向的第一子格式音频信号和在垂直方向的第二子格式音频信号;
根据第一子格式音频信号以及与第一子格式音频信号对应的水平方向的导向矢量,获取声源的水平方位角;
和,
根据第二子格式音频信号以及与第二子格式音频信号对应的垂直方向的导向矢量,获取声源的垂直方位角;
根据水平方位角和垂直方位角,确定声源的空间方位。
可选的,处理单元202,具体用于将第一格式音频信号转换为第二格式音频信号,第二格式音频信号至少包括Y分量和Z分量,其中,Y分量为左右方向的分量,Z分量为上下方向的分量;
根据Y分量的能量计算声源在水平方向的声源发散度参数,以及根据Z分量的能量计算声源在垂直水平方向的声源发散度参数;
当确定水平方向的声源发散度参数大于或者等于垂直方向的声源发散度参数时,将第一格式音频信号投影到水平方向,获取水平方向的第一子格式音频信号;
根据第一子格式音频信号以及与第一子格式音频信号对应的水平方向的导向矢量,获取声源的空间方位。
进一步可选的,处理单元202还用于,当确定水平方向的声源发散度参数小于垂直方向的声源发散度参数时,将第一格式音频信号投影到垂直方向,获取垂直方向的第二子格式音频信号;
根据第二子格式音频信号以及与第二子格式音频信号对应的垂直方向的导向矢量,获取声源的空间方位。
本发明实施例提供的声源定位的装置中各部件所执行的功能均已在上述实施例1中做了详细的介绍,因此这里不做详细介绍。
本发明实施例提供的一种声源定位的装置,在获取待检测声源方位的第一格式音频信号后,实现获取与第一格式音频信号对应的3D导向矢量,然后根据第一格式音频信号和与第一格式音频信号对应的3D导向矢量,获取声源方向的检测向量,最终根据声源方向的检测向量,确定声源的空间方位。通过上述方式,不仅仅可以得到声源在水平方向的位置信息,还可以得到声源在垂直方向的位置信息,从而全方位的实现3D空间的定位。
实施例3
此外,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序指令,该程序指令被处理器执行时实现上述实施例1的方法步骤。
虽然,上文中已经用一般性说明及具体实施例对本发明作了详尽的描述,但在本发明基础上,可以对之作一些修改或改进,这对本领域技术人员而言是显而易见的。因此,在不偏离本发明精神的基础上所做的这些修改或改进,均属于本发明要求保护的范围。
Claims (4)
1.一种声源定位的方法,其特征在于,所述方法包括:
获取待检测声源方向的第一格式音频信号;
根据所述第一格式音频信号以及与所述第一格式音频信号对应的3D导向矢量,获取声源方向的检测向量;
根据所述检测向量,确定所述声源的空间方位,其中所述与所述第一格式音频信号对应的3D导向矢量为预先获取的导向矢量;
其中,根据所述第一格式音频信号以及与所述第一格式音频信号对应的3D导向矢量,获取声源方向的检测向量,具体包括:
将所述第一格式音频信号转换为第二格式音频信号,所述第二格式音频至少包括Y分量和Z分量,其中,Y分量为左右方向的分量,Z分量为上下方向的分量;
根据Y分量的能量计算所述声源在水平方向的声源发散度参数,以及根据Z分量的能量计算所述声源在垂直方向的声源发散度参数;
当确定所述水平方向的声源发散度参数大于或者等于所述垂直方向的声源发散度参数时,将所述第一格式音频信号投影到水平方向,获取水平方向的第一子格式音频信号;
根据所述第一子格式音频信号以及与所述第一子格式音频信号对应的水平方向的导向矢量,获取所述声源的空间方位。
2.根据权利要求1所述的方法,其特征在于,当确定所述水平方向的声源发散度参数小于所述垂直方向的声源发散度参数时,将所述第一格式音频信号投影到垂直方向,获取垂直方向的第二子格式音频信号;
根据所述第二子格式音频信号以及与所述第二子格式音频信号对应的垂直方向的导向矢量,获取所述声源的空间方位。
3.一种声源定位的装置,其特征在于,所述装置包括:
获取单元,获取待检测声源方向的第一格式音频信号;
处理单元,用于根据所述第一格式音频信号以及与所述第一格式音频信号对应的3D导向矢量,获取声源方向的检测向量;
根据所述检测向量,确定所述声源的空间方位,其中所述与所述第一格式音频信号对应的3D导向矢量为预先获取的导向矢量;
其中,所述处理单元,具体用于将所述第一格式音频信号转换为第二格式音频信号,所述第二格式音频至少包括Y分量和Z分量,其中,Y分量为左右方向的分量,Z分量为上下方向的分量;
根据Y分量的能量计算所述声源信号在水平方向的声源发散度参数,以及根据Z分量的能量计算所述声源信号在垂直方向的声源发散度参数;
当确定所述水平方向的声源发散度参数大于或者等于所述垂直方向的声源发散度参数时,将所述第一格式音频信号投影到水平方向,获取水平方向的第一子格式音频信号;
根据所述第一子格式音频信号以及与所述第一子格式音频信号对应的水平方向的导向矢量,获取所述声源的空间方位。
4.根据权利要求3所述的装置,其特征在于,所述处理单元还用于,当确定所述水平方向的声源发散度参数小于所述垂直方向的声源发散度参数时,将所述第一格式音频信号投影到垂直方向,获取垂直方向的第二子格式音频信号;
根据所述第二子格式音频信号以及与所述第二子格式音频信号对应的垂直方向的导向矢量,获取所述声源的空间方位。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810623301.8A CN108845292B (zh) | 2018-06-15 | 2018-06-15 | 一种声源定位的方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810623301.8A CN108845292B (zh) | 2018-06-15 | 2018-06-15 | 一种声源定位的方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108845292A CN108845292A (zh) | 2018-11-20 |
CN108845292B true CN108845292B (zh) | 2020-11-27 |
Family
ID=64201816
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810623301.8A Active CN108845292B (zh) | 2018-06-15 | 2018-06-15 | 一种声源定位的方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108845292B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102124513A (zh) * | 2008-08-13 | 2011-07-13 | 弗朗霍夫应用科学研究促进协会 | 用于确定转换的空间音频信号的装置 |
CN102866385A (zh) * | 2012-09-10 | 2013-01-09 | 上海大学 | 一种基于球麦克风阵列的多声源定位方法 |
JP2014049885A (ja) * | 2012-08-30 | 2014-03-17 | Nippon Telegr & Teleph Corp <Ntt> | 音響再生装置とその方法とプログラム |
CN105051813A (zh) * | 2013-03-22 | 2015-11-11 | 汤姆逊许可公司 | 增强一阶高保真度立体声响复制信号的方向性的方法和装置 |
-
2018
- 2018-06-15 CN CN201810623301.8A patent/CN108845292B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102124513A (zh) * | 2008-08-13 | 2011-07-13 | 弗朗霍夫应用科学研究促进协会 | 用于确定转换的空间音频信号的装置 |
JP2014049885A (ja) * | 2012-08-30 | 2014-03-17 | Nippon Telegr & Teleph Corp <Ntt> | 音響再生装置とその方法とプログラム |
CN102866385A (zh) * | 2012-09-10 | 2013-01-09 | 上海大学 | 一种基于球麦克风阵列的多声源定位方法 |
CN105051813A (zh) * | 2013-03-22 | 2015-11-11 | 汤姆逊许可公司 | 增强一阶高保真度立体声响复制信号的方向性的方法和装置 |
Non-Patent Citations (2)
Title |
---|
关晓彬.基于空间域的麦克风阵列近场声源定位与增强研究.《中国优秀硕士学位论文全文数据库 信息科技辑》.2012,(第10期), * |
基于空间域的麦克风阵列近场声源定位与增强研究;关晓彬;《中国优秀硕士学位论文全文数据库 信息科技辑》;20121015(第10期);正文第15-17页,第33-35页,图3-1 * |
Also Published As
Publication number | Publication date |
---|---|
CN108845292A (zh) | 2018-11-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10397722B2 (en) | Distributed audio capture and mixing | |
US9641929B2 (en) | Audio signal processing method and apparatus and differential beamforming method and apparatus | |
CN107534725B (zh) | 一种语音信号处理方法及装置 | |
US9781507B2 (en) | Audio apparatus | |
US11968516B2 (en) | Sound processing apparatus and sound processing system | |
US10587976B2 (en) | Sound processing apparatus and method, and program | |
US12022276B2 (en) | Apparatus, method or computer program for processing a sound field representation in a spatial transform domain | |
US9998845B2 (en) | Information processing device and method, and program | |
US11284211B2 (en) | Determination of targeted spatial audio parameters and associated spatial audio playback | |
WO2018133056A1 (zh) | 一种声源定位的方法和装置 | |
CN103180752A (zh) | 用于解析到达方向估计的模糊度的设备和方法 | |
CN106816156B (zh) | 一种音频质量增强的方法及装置 | |
CN108845292B (zh) | 一种声源定位的方法及装置 | |
EP4238318A1 (en) | Audio rendering with spatial metadata interpolation and source position information | |
US12028696B2 (en) | Sound processing apparatus and sound processing system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20210819 Address after: Room 960A, floor 9, No. 11, Zhongguancun Street, Haidian District, Beijing 100190 Patentee after: Beijing Tuoling Xinsheng Technology Co.,Ltd. Address before: 100085 1506, block B, new world office building, 3 Chongwenmenwai Street, Dongcheng District, Beijing Patentee before: BEIJING TUOLING Inc. |
|
TR01 | Transfer of patent right |