CN104748764B - 一种声场可视化系统中声像平面的空间角度标定方法 - Google Patents

Abstract

本发明涉及一种声场可视化系统中声像平面的空间角度标定方法，包括以下步骤：1)架设传声器阵列和摄像机，定义坐标系，并测量摄像机坐标系原点在传声器阵列坐标系的空间位置；2)对摄像机进行标定，获取内部参数；3)距离摄像机前d处设置声源，并缓慢移动声源，获取移动声源的声音信号和实景图像；4)对声音信号进行重建，得到移动声源的声压色谱图，获取传声器阵列重建声源像素位置；5)根据镜头畸变的非线性模型，利用摄像机镜头内部参数，对摄像机所摄取的实景图像进行畸变校正，并获取摄像机摄取的声源像素位置；6)将无畸变实景图像与相应的声压色谱图进行叠加匹配，采用单目标最优化算法求解出重建声平面与实景像平面的空间角度关系。本发明可以广泛应用于声场噪声的处理中。

Description

一种声场可视化系统中声像平面的空间角度标定方法

技术领域

本发明涉及一种声场可视化系统中声像平面的空间角度标定方法，属于噪声分析与控制技术领域。

背景技术

噪声问题是现代社会中影响人们生活品质的主要因素之一。若要对噪声进行针对性的处理，则首先需要对声源及声场进行准确的识别和定位。在众多的噪声识别方法中，声场可视化技术可以使声源和声场的识别及定位更加直观，可以为噪声治理提供可靠的依据。

传统的声场可视化技术中，通常是将摄像机固定于传声器阵列中心，摄像机拍摄角度及范围受限。若将摄像机与传声器阵列分离，则可灵活调整摄像机的拍摄角度和范围，并且可以将多个摄像机组成摄像机阵列对目标声源进行视觉定位与测速。然而，当二者分离时，其空间位置和角度的关系均会造成声场重建平面与摄像机拍摄平面不重合，影响声源定位的精确性。对于空间位置关系，可以用传统的测量工具进行精确测量，而对于空间角度关系，则没有传统的方法可以进行精确测量。

发明内容

针对上述问题，本发明的目的是提供一种使声源能够进行精确定位的声场可视化系统中声像平面的空间角度标定方法，不仅能够消减声源成像位置的系统性偏差，而且能够输出识别效果更加准确的声场可视化图像。

为实现上述目的，本发明采取以下技术方案：一种声场可视化系统中声像平面的空间角度标定方法，包括以下步骤：

1)根据测试需要架设传声器阵列和摄像机，定义摄像机坐标系O_CX_CY_CZ_C和传声器阵列坐标系O_WX_WY_WZ_W，并测量摄像机坐标系原点在传声器阵列坐标系的空间位置T_c＝(t_x,t_y,t_z)^T，假设摄像机坐标系相对于传声器坐标系的初始空间旋转矩阵为R_co＝(0,0,0)^T；

2)对摄像机进行标定，获取摄像机镜头内部参数；其中，摄像机镜头内部参数包括摄像机主点像素坐标(u₀,v₀)，镜头焦距的像素尺寸f_cu×f_cv，摄像机镜头畸变系数(k₁,k₂,k₃,p₁,p₂)；

3)距离摄像机Z_c＝d处设置一粘贴有标志点的声源，并缓慢移动声源，传声器阵列获取移动声源的声压信号，同时摄像机摄取移动声源的若干帧实景图像；

4)采用声源重建方法对声压信号进行重建，得到移动声源所在平面的声压色谱图，获取传声器阵列重建声源像素位置X_po；

5)根据镜头畸变的非线性模型，利用摄像机镜头内部参数，对摄像机所摄取的实景图像进行畸变校正，得到无畸变实景图像，并获取摄像机摄取的声源像素位置X_p'；

6)将无畸变实景图像与相应的声压色谱图进行得叠加匹配，根据传声器阵列重建声源像素位置X_po和摄像机摄取的校正后声源像素位置X_p'的差异，构建使二者差异最小的目标函数，并采用单目标最优化算法求解出声源的重建声平面与实景像平面的空间角度关系，即声像平面的空间角度关系。

所述步骤5)中镜头畸变的非线性模型的数学表达式为：

其中，

所述步骤6)将无畸变实景图像与相应的声压色谱图进行得叠加匹配，根据传声器阵列重建声源像素位置X_po和摄像机摄取的校正后声源像素位置X_p'的差异，构建使二者差异最小的目标函数，如下所示：

min{F＝||M^-1Z_cX_p'+M^-1t_zX_p'-R_cM^-1Z_cX_po+R_cT_c-T_c||₂}

其中，旋转矩阵R_c满足：

其中，α,β,θ分别表示摄像机坐标系先后绕O_cX_c、O_cY_c和O_cZ_c旋转的角度；

M为摄像机的针孔映射矩阵，M^-1为M的逆矩阵：

所述步骤6)中单目标最优化算法采用粒子群优化算法。

所述步骤2)中对摄像机进行标定采用棋盘格标定板。

所述步骤4)中声场重建方法采用波束形成、声全息、波叠加和声达相差中的一种。

本发明由于采取以上技术方案，其具有以下优点：本发明由于采用传声器阵列获取移动声源的声压信号，并通过声场重建方法得到被测声源所在平面的声压色谱图，同时摄像机摄取移动声源的实景图像，在将实景图像进行畸变校正后，根据摄像机拍摄声源位置和传声器阵列重建声源位置差异，构建目标函数，运用单目标优化算法求解出空间角度α,β,θ，因此利用本发明求解的摄像机与传声器阵列角度，对声场重建平面进行修正，可以消减声源成像位置的系统性偏差，且输出识别效果更加准确的声场可视化图像，为进一步的降噪工作提供更加准确的依据。本发明可以广泛应用于声场噪声的处理中。

附图说明

图1为本发明的方法流程示意图；

图2为本发明的试验结构示意图，其中，O_WX_WY_WZ_W为世界坐标系，O_CX_CY_CZ_C为摄像机坐标系，d为音箱移动平面与摄像机的距离，图中音箱位置为缓慢移动过程中某一时刻的位置，在实验中其位置会改变，但是与摄像机的距离d不变；

图3为本发明的镜头畸变非线性模型示意图，其中，O_WX_WY_WZ_W为世界坐标系，O_CX_CY_CZ_C为摄像机坐标系，O_PX_PY_P为摄像机图像像素坐标系，P为空间中某一点，p为针孔模型下点P在摄像机图像上的位置，p'为畸变的非线性模型下点P在摄像机图像上的位置。

具体实施方式

以下结合附图来对本发明进行详细的描绘。然而应当理解，附图的提供仅为了更好地理解本发明，它们不应该理解成对本发明的限制。

如图1所示，本发明的声场可视化系统中声像平面的空间角度标定方法，包括以下步骤：

1、如图2所示，根据测试需要架设传声器阵列1和摄像机2，定义摄像机坐标系O_CX_CY_CZ_C和世界坐标系O_WX_WY_WZ_W，并测量摄像机坐标系原点在传声器阵列坐标系的空间位置T_c＝(t_x,t_y,t_z)^T，假设摄像机坐标系相对于传声器坐标系的初始空间旋转矩阵为三阶单位阵R_co＝(0,0,0)^T；其中，摄像机坐标系和传声器阵列坐标系的建立过程为：摄像机坐标系为右手坐标系，建立时以摄像机镜头的光轴正向作为Z_C轴正向；将传声器阵列坐标作为世界坐标系，也为右手坐标系，建立时以垂直传声器阵列平面向前的方向为Z_W正向。

2、如图3所示，利用棋盘格标定板对摄像机2进行标定，获取摄像机镜头内部参数，其中，摄像机镜头内部参数包括摄像机主点像素坐标(u₀,v₀)，镜头焦距的像素尺寸f_cu×f_cv，摄像机镜头畸变系数(k₁,k₂,k₃,p₁,p₂)。

3、在距摄像机2前d(摄像机坐标系O_CZ_C轴的正方向，即Z_c＝d)处设置一粘贴有标志点的声源3(例如：发声的有源音箱)，并缓慢移动声源3，移动时保证声源3在距离摄像机Z_c＝d的同一平面内即可，方向不作限定，传声器阵列1获取移动声源3的声压信号，同时摄像机2摄取移动声源的若干帧实景图像。

4、采用声源重建方法对声压信号进行重建，得到被测声源所在平面的声压色谱图，获取传声器阵列重建声源像素位置，具体为：

取摄像机摄取的若干帧(帧数n≥10)声源实景图像，在每一帧声源实景图像对应的时刻，根据T_c,R_co以及d计算出声源移动平面，并对此声源移动平面进行声场重建，得到被测声源所在平面的声压色谱图，获取声压峰值处图像像素坐标值X_po＝(u_io,v_io,1)^T，将其作为传声器阵列重建声源像素位置，其中i＝1,2,...,n。其中，声场重建方法可以采用波束形成、声全息、波叠加和声达相差(TDOA)中的一种。

5、根据镜头畸变的非线性模型，利用标定得到的摄像机镜头内部参数，对摄像机2所摄取的若干帧实景图像进行畸变校正，得到无畸变的实景图像。如图3所示，获取实景图像中声源标志点P的映射点p的像素坐标X_p＝(u,v,1)^T，利用镜头畸变的非线性模型，得到校正后的映射点p'的像素坐标X_p'＝(u',v',1)^T。镜头畸变的非线性模型的数学表达式为：

其中，

6、将无畸变实景图像与相应的声压色谱图进行叠加匹配，根据传声器阵列重建声源像素位置X_po和摄像机摄取的校正后声源像素位置X_p'的差异，构建使二者差异最小的目标函数，并采用单目标最优化算法求解出声源的重建声平面与实景像平面的空间角度关系，即声像平面的空间角度关系，具体计算过程为：

将无畸变实景图像与相应的声压色谱图进行叠加匹配，根据重建声源像素位置X_po和摄像机摄取的校正后声源像素位置X_p'的差异，构建使二者差异最小的目标函数，如下所示：

min{F＝||M^-1Z_cX_p'+M^-1t_zX_p'-R_cM^-1Z_cX_po+R_cT_c-T_c||₂}

其中，旋转矩阵R_c满足：

其中，α,β,θ分别表示摄像机坐标系先后绕O_cX_c、O_cY_c和O_cZ_c旋转的角度。

M为摄像机的针孔映射矩阵(如下所示)，而M^-1为M的逆矩阵。

由于此目标函数的最优化问题为三维空间的非线性优化问题，因此采用粒子群优化算法求解空间角度，求解过程如下：

(1)初始化粒子群数量规模m、惯量因子ω、加速因子c₁,c₂、最大迭代次数，将搜索空间维数定为三维，限定旋转角度α,β,θ的搜索空间范围为

(2)在搜索空间内初始化每个粒子的位置并初始化各粒子的速度向量，将每个粒子当前位置设置为个体历史最优位置并计算群体最优位置

(3)根据邻域函数更新每个粒子的速度以及位置，若空间粒子位置超出搜索空间范围，则将其重置，得到邻域函数的计算公式为：

(4)计算每个粒子的目标函数值F＝||M^-1Z_cX_p'+M^-1t_zX_p'-R_cM^-1Z_cX_po+R_cT_c-T_c||₂，并更新每个粒子的个体历史最优位置与整个群体的最优位置

(5)若达到最大迭代次数，则停止搜索，输出最优化结果，否则返回(3)继续搜索；

(6)最后经过迭代计算，即可求解出满足精度要求的重建声平面与实景像平面的空间角度R_c＝(α,β,θ)^T。

7、采用求解得到的空间角度值对声场重建平面进行修正，输出识别效果更加准确的声场可视化图像。

上述各实施例仅用于说明本发明，其中方法的各个步骤等都是可以有所变化的，凡是在本发明技术方案的基础上进行的等同变换和改进，均不应排除在本发明的保护范围之外。

Claims (10)

1.一种声场可视化系统中声像平面的空间角度标定方法，包括以下步骤：

1)根据测试需要架设传声器阵列和摄像机，定义摄像机坐标系O_CX_CY_CZ_C和传声器阵列坐标系O_WX_WY_WZ_W，并测量摄像机坐标系原点在传声器阵列坐标系的空间位置T_c＝(t_x,t_y,t_z)^T，假设摄像机坐标系相对于传声器坐标系的初始空间旋转矩阵为R_co＝(0,0,0)^T；

2)对摄像机进行标定，获取摄像机镜头内部参数；其中，摄像机镜头内部参数包括摄像机主点像素坐标(u₀,v₀)，镜头焦距的像素尺寸f_cu×f_cv，摄像机镜头畸变系数(k₁,k₂,k₃,p₁,p₂)；

3)距离摄像机Z_c＝d处设置一粘贴有标志点的声源，并缓慢移动声源，传声器阵列获取移动声源的声压信号，同时摄像机摄取移动声源的若干帧实景图像；

4)采用声源重建方法对声压信号进行重建，得到移动声源所在平面的声压色谱图，获取传声器阵列重建声源像素位置X_po；

5)根据镜头畸变的非线性模型，利用摄像机镜头内部参数，对摄像机所摄取的实景图像进行畸变校正，得到无畸变实景图像，并获取摄像机摄取的声源像素位置X_p'；

6)将无畸变实景图像与相应的声压色谱图进行得叠加匹配，根据传声器阵列重建声源像素位置X_po和摄像机摄取的校正后声源像素位置X_p'的差异，构建使二者差异最小的目标函数，并采用单目标最优化算法求解出声源的重建声平面与实景像平面的空间角度关系，即声像平面的空间角度关系。

2.如权利要求1所述的一种声场可视化系统中声像平面的空间角度标定方法，其特征在于：所述步骤5)中镜头畸变的非线性模型的数学表达式为：

$\left\{\begin{array}{c}{x_p}^{\′}=x_p(1+k_1{r}^2+k_2{r}^4+k_3{r}^6)+2p_1{x}_p{y}_p+p_2(r^2+2{x_p}^2)\\ {y_p}^{\′}=y_p(1+k_1{r}^2+k_2{r}^4+k_3{r}^6)+2p_2{x}_p{y}_p+p_1(r^2+2{y_p}^2)\end{array}\right.$

其中，

$\{\begin{array}{c}{x}_p=(u-u_0)/f_{cu}\\ y_p=(v-v_0)/f_{cv}\end{array},r=\sqrt{x_p^2+y_p^2}$

式中，(u,v)是实景图像中声源标志点P的映射点p的像素坐标。

3.如权利要求1所述的一种声场可视化系统中声像平面的空间角度标定方法，其特征在于：所述步骤6)将无畸变实景图像与相应的声压色谱图进行得叠加匹配，根据传声器阵列重建声源像素位置X_po和摄像机摄取的校正后声源像素位置X_p'的差异，构建使二者差异最小的目标函数，如下所示：

min{F＝||M^-1Z_cX_p'+M^-1t_zX_p'-R_cM^-1Z_cX_po+R_cT_c-T_c||₂}

$\begin{array}{cc}s.t.& \{\left|\mathrm{\&alpha;}\right|<\frac{\mathrm{\&pi;}}{2},\left|\mathrm{\&beta;}\right|<\frac{\mathrm{\&pi;}}{2},\left|\mathrm{\&theta;}\right|<\frac{\mathrm{\&pi;}}{2}\}\end{array}$

其中，旋转矩阵R_c满足：

$R_c=\left[\begin{array}{ccc}\cos \mathrm{\&beta;}\cos \mathrm{\&theta;}& \cos \mathrm{\&alpha;}\sin \mathrm{\&theta;}+\cos \mathrm{\&theta;}\sin \mathrm{\&alpha;}\sin \mathrm{\&beta;}& \sin \mathrm{\&alpha;}sin\mathrm{\&theta;}-\cos \mathrm{\&alpha;}\cos \mathrm{\&theta;}\sin \mathrm{\&beta;}\\ -\cos \mathrm{\&beta;}sin\mathrm{\&theta;}& \cos \mathrm{\&alpha;}\cos \mathrm{\&theta;}-\sin \mathrm{\&alpha;}\sin \mathrm{\&beta;}\sin \mathrm{\&theta;}& \cos \mathrm{\&theta;}\sin \mathrm{\&alpha;}+\cos \mathrm{\&alpha;}\sin \mathrm{\&beta;}sin\mathrm{\&theta;}\\ \sin \mathrm{\&beta;}& -\cos \mathrm{\&beta;}\sin \mathrm{\&alpha;}& \cos \mathrm{\&alpha;}\cos \mathrm{\&beta;}\end{array}\right]$

其中，α,β,θ分别表示摄像机坐标系先后绕O_cX_c、O_cY_c和O_cZ_c旋转的角度；

M为摄像机的针孔映射矩阵，M^-1为M的逆矩阵：

$M=\left[\begin{array}{ccc}{f}_{cu}& 0& u_0\\ 0& f_{cv}& v_0\\ 0& 0& 1\end{array}\right].$

4.如权利要求2所述的一种声场可视化系统中声像平面的空间角度标定方法，其特征在于：所述步骤6)将无畸变实景图像与相应的声压色谱图进行得叠加匹配，根据传声器阵列重建声源像素位置X_po和摄像机摄取的校正后声源像素位置X_p'的差异，构建使二者差异最小的目标函数，如下所示：

min{F＝||M^-1Z_cX_p'+M^-1t_zX_p'-R_cM^-1Z_cX_po+R_cT_c-T_c||₂}

$\begin{array}{cc}s.t.& \{\left|\mathrm{\&alpha;}\right|<\frac{\mathrm{\&pi;}}{2},\left|\mathrm{\&beta;}\right|<\frac{\mathrm{\&pi;}}{2},\left|\mathrm{\&theta;}\right|<\frac{\mathrm{\&pi;}}{2}\}\end{array}$

其中，旋转矩阵R_c满足：

$R_c=\left[\begin{array}{ccc}\cos \mathrm{\&beta;}\cos \mathrm{\&theta;}& \cos \mathrm{\&alpha;}\sin \mathrm{\&theta;}+\cos \mathrm{\&theta;}\sin \mathrm{\&alpha;}\sin \mathrm{\&beta;}& \sin \mathrm{\&alpha;}sin\mathrm{\&theta;}-\cos \mathrm{\&alpha;}\cos \mathrm{\&theta;}\sin \mathrm{\&beta;}\\ -\cos \mathrm{\&beta;}sin\mathrm{\&theta;}& \cos \mathrm{\&alpha;}\cos \mathrm{\&theta;}-\sin \mathrm{\&alpha;}\sin \mathrm{\&beta;}\sin \mathrm{\&theta;}& \cos \mathrm{\&theta;}\sin \mathrm{\&alpha;}+\cos \mathrm{\&alpha;}\sin \mathrm{\&beta;}sin\mathrm{\&theta;}\\ \sin \mathrm{\&beta;}& -\cos \mathrm{\&beta;}\sin \mathrm{\&alpha;}& \cos \mathrm{\&alpha;}\cos \mathrm{\&beta;}\end{array}\right]$

其中，α,β,θ分别表示摄像机坐标系先后绕O_cX_c、O_cY_c和O_cZ_c旋转的角度；

M为摄像机的针孔映射矩阵，M^-1为M的逆矩阵：

$M=\left[\begin{array}{ccc}{f}_{cu}& 0& u_0\\ 0& f_{cv}& v_0\\ 0& 0& 1\end{array}\right].$

5.如权利要求1或2或3或4所述的一种声场可视化系统中声像平面的空间角度标定方法，其特征在于：所述步骤6)中单目标最优化算法采用粒子群优化算法。

6.如权利要求1或2或3或4所述的一种声场可视化系统中声像平面的空间角度标定方法，其特征在于：所述步骤2)中对摄像机进行标定采用棋盘格标定板。

7.如权利要求5所述的一种声场可视化系统中声像平面的空间角度标定方法，其特征在于：所述步骤2)中对摄像机进行标定采用棋盘格标定板。

8.如权利要求1～4、7任一项所述的一种声场可视化系统中声像平面的空间角度标定方法，其特征在于：所述步骤4)中声场重建方法采用波束形成、声全息、波叠加和声达相差中的一种。

9.如权利要求5所述的一种声场可视化系统中声像平面的空间角度标定方法，其特征在于：所述步骤4)中声场重建方法采用波束形成、声全息、波叠加和声达相差中的一种。

10.如权利要求6所述的一种声场可视化系统中声像平面的空间角度标定方法，其特征在于：所述步骤4)中声场重建方法采用波束形成、声全息、波叠加和声达相差中的一种。