CN101359043B - 一种声学摄像机系统中声场重建平面的确定方法 - Google Patents

Abstract

本发明提出的声学摄像机系统中声场重建平面的确定方法，属于噪声分析和控制技术领域。首先在被测运动物体粘贴标志点，对系统中两台摄像机中的同步图像利用模板匹配方法进行标志点识别，并对识别结果进行匹配，找出相应的像点对；对经过匹配的像点对利用双目立体视觉方法进行空间定位，得到这些标志点相对选定的坐标系下的坐标，据此计算过这些标志点的空间平面，并以此平面作为声场的重建平面。本发明方法为声学摄像机系统提供声场重建平面参数，确立了融合声场图像和视频图像的依据。

Description

一种声学摄像机系统中声场重建平面的确定方法 

技术领域

本发明涉及一种声学摄像机系统中声场重建平面的确定方法，属于噪声分析和控制技术领域。 

背景技术

汽车、火车等复杂运动机械的噪声对环境影响很大。由于运动的原因，对这类(多声源)运动型噪声，要比较精确地获取其声场，将各个声源分辨出来，并准确定位是比较困难的。而声场的可视化可以使噪声源的定位分析更加实用，从而为进一步的噪声治理工作提供依据，对噪声测量以及治理工作都具有重要意义。 

为提高声源定位和声场可视化的效率，并更加直观的进行声源分析，近年在噪声分析领域出现了将声场重建图像和实际视频图像进行融合，得到更加直观的声场可视化图像的方法，被称为声学摄像机系统。现有的声学摄像机系统基本采用的是固定声场重建平面方法，在对动态声源的定位和声源的定位精度方面有一定的局限性。 

发明内容

本发明的目的是提出一种声学摄像机系统中声场重建平面的确定方法，在已有的标志点识别和双目立体视觉技术的基础上，为声学摄像机系统提供空间声场重建的位置信息，作为系统实现声场可视化的基础，为声源识别和噪声控制提供更准确的依据。 

本发明提出的声学摄像机系统中声场重建平面的确定方法，包括以下步骤： 

(1)在被测物体的一侧粘贴标志点，被测物体前部粘贴1型标志点n个，后部粘贴—1型标志点m个，标志点均匀分布，截取1型标志点的中心正方形区域作为模板图像； 

(2)在距离被测物体设定距离L处架设A、B两台摄像机，用两台摄像机分别对被测物体侧面进行同步拍摄，对每一曝光时刻同步获取的A目标图像和B目标图像进行二值化处理，得到0和1目标二值图像，对目标二值图像的每一像素值减0.5，最后得到-0.5和+0.5的A目标二值图像和B目标二值图像； 

(3)对上述模板图像进行二值化处理，得到0和1模板二值图像，对模板二值图像的每一像素值减0.5，得到-0.5和+0.5的模板二值图像；

(4)运用矩阵的模板匹配方法对上述A目标二值图像和B目标二值图像中的每一像素，以上述模板二值图像为模板进行匹配，分别得到上述A目标图像和B目标图像中所有标志点的匹配值，根据匹配值图像，将图像中与峰值点对应的标志点定义为1型标志点，与谷值点对应的标志点定义为—1型，得到A图像中标志点中心像素点序列和B图像中标志点中心像素点序列； 

(5)并根据标志点的类型，分别对上述A图像中标志点中心像素点序列和B图像中标志点中心像素点序列进行排序编号，将两个标志点中心像素点序列中编号相同的像素点作为在两台摄像机中同时成像的标志点的像素点； 

(6)运用双目立体视觉方法分别对上述标志点在被测物体所在三维坐标中的位置进行计算，得到相应标志点的空间坐标； 

(7)根据上述标志点的空间坐标，获取声场重建空间平面的参数。 

上述方法中，所述的步骤(5)中根据标志点的类型，分别对上述A中心像素点序列和B中心像素点序列进行排序编号的过程为： 

若两幅摄像机图像中均有标志点出现，且仅有1型标志点，则对两幅图像中的标志点按前进方向的逆向从1开始递增编号，两幅图像中的同号标志点配对； 

若两幅摄像机图像中的一幅图像或两幅图像出现-1型标志点，且-1型标志点的数量小于m，则对两幅图像中的标志点按前进方向的逆向从1开始递增编号，两幅图像中的同号标志点配对； 

若两幅图像中的1型标志点数量均为n，则对两幅图像中的标志点按前进方向的逆向从1开始递增编号，两幅图像中的同号标志点配对； 

若两幅图像中均有-1型标志点，并且至少一幅图像中的1型标志点的数量小于n，则对两幅图像中的标志点按前进方向从n+m开始递减编号，两幅图像中的同号标志点配对。 

上述方法中，所述的步骤(7)中根据标志点的空间坐标，获取声场重建空间平面的参数的方法为： 

定义空间坐标系为右手坐标系，x轴正向水平指向右侧，y轴正向铅直向上，平面上的点坐标(x，y，z)^T满足平面方程：Ax+By+Cz+D＝0，此平面的法向量为(A，B，C)，其中取C＝1； 

当标志点只有1个，即(x₁，y₁，z₁)时，取经过该点且与XOY平面平行的平面，则该平面的法向量为(0，0，1)，平面方程为z＝z₁，A＝0，B＝0，C＝1，D＝z₁；

当标志点有两个，即(x₁，y₁，z₁)和(x₂，y₂，z₂)时，取经过该两点且与XOZ平面垂直的平面，该平面的法向量为(A，0，1)，平面方程为：A(x₂-x₁)+(z₂-z₁)＝0，则  $A=\frac{z_1-z_2}{x_2-x_1},$ B＝0，C＝1，D＝-Ax₁-z₁＝-Ax₂-z₂； 

当标志点大于等于三个时，设点的坐标分别为(x₁，y₁，z₁)，(x₂，y₂，z₂)，…，(x_n，y_n，z_n)，且满足平面方程Ax+By+z+D＝0，即-Ax-By-D＝z，得方程组： 

$\left[\begin{array}{ccc}-x_1& -y_1& -1\\ -x_2& -y_2& -1\\ \·\·\·& \·\·\·& \·\·\·\\ -x_n& -y_n& -1\end{array}\right]\left[\begin{array}{c}A\\ B\\ D\end{array}\right]=\left[\begin{array}{c}{z}_1\\ z_2\\ \·\·\·\\ z_n\end{array}\right],$ 设其中  $\left[\begin{array}{ccc}-x_1& -y_1& -1\\ -x_2& -y_2& -1\\ \·\·\·& \·\·\·& \·\·\·\\ -x_n& -y_n& -1\end{array}\right]=X,$ $\begin{array}{}\end{array}\left[\begin{array}{c}A\\ B\\ D\end{array}\right]=P,$ $\left[\begin{array}{c}{z}_1\\ z_2\\ \·\·\·\\ z_n\end{array}\right]=Z,$ 用最小二乘法求解P＝(X^TX)^-1X^TZ，即得所求平面参数。 

本发明提出的声学摄像机系统中声场重建平面的确定方法，应用于基于声阵列和双目视觉的声学摄像机系统，动态的获取声场重建平面参数，为声场的可视化提供依据。运用模板匹配方法对两台摄像机图像中的标志点进行识别，并对两组识别结果进行匹配，利用双目立体视觉方法得到标志点的空间坐标，计算通过这些标志点的空间平面参数，并以此平面作为声场的重建平面。通过应用本发明方法，使声学摄相机系统能够动态的确定声场重建平面，实现对动态运动声源更准确的定位和分析。 

附图说明

图1是实现本发明方法的系统示意图。 

图2是本发明方法中标志点和模板图像的示意图。 

图3是本发明方法中的模板匹配过程示意图。 

图4是标志点匹配示意图。 

图1中，A是声学摄像机系统中用于声场数据采集的传声器阵列，B是声学摄像机系统中用于视频采集的双目摄像机，C为被测物体侧面的声场重建平面。 

图2中，A是1型标志点，B是-1型标志点，C是匹配模板。 

图3中，A是匹配目标矩阵，B是匹配模板矩阵，C是匹配结果。 

图4中，1、2、3、4是贴附在被测物体侧面的标志点，A是左侧摄像机所拍摄的图像，L2、L3、L4分别为标志点2、3、4在左侧摄像机所拍摄的图像中的像，B是右侧摄像机所拍摄的图像，R1、R2、R3分别为标志点1、2、3在右侧摄像机所拍摄的图像中的像。 

具体实施方式

以下结合附图，详细介绍本发明提出的声学摄像机系统中声场重建平面的确定方法。

实现本发明方法的系统如图1所示： 

(1)在被测物体侧面粘贴标志点，将运动物体侧面分为前、后两部分，前部所贴附标志点为如图2所示的1型标志点n个，标志点均匀分布，截取1型标志点的中心正方形区域作为模板图像。后部贴附如图2所示的-1型标志点m个。标志点均匀分布，纵向间距不大于物体纵向尺寸的20％。所取世界坐标系为右手坐标系，x轴的正向水平指向右侧，y轴的正向铅直向上； 

(2)在距离被测物体设定距离L处架设A、B两台摄像机，摄像机的布置须满足单摄像机视野宽度大于被测物体纵向尺寸，两摄像机视野的公共部分宽度不小于被测物体纵向尺寸的80％。用两台摄像机分别对被测物体侧面进行同步拍摄，对每一曝光时刻同步获取的A目标图像和B目标图像进行二值化处理，得到0和1目标二值图像，对目标二值图像的每一像素值减0.5，最后得到-0.5和+0.5的A目标二值图像和B目标二值图像； 

(3)对上述模板图像进行二值化处理，得到0和1模板二值图像，对模板二值图像的每一像素值减0.5，得到-0.5和+0.5的模板二值图像； 

(4)图像的本质是以每个像素为元素的矩阵，以经过步骤(2)处理的两幅同步目标二值图像作为目标矩阵A，经过步骤(3)处理的模板二值图像作为模板矩阵M，如图3所示，目标矩阵中A_i，j点的值为a_i，j，模板矩阵中M_k，l点的值为m_k，l，定义A_i，j点的匹配值为α_i，j，则：当M是一个(2n+1)×(2n+1)的矩阵时， 当M是一个2n×2n的矩阵时， 

1型标志点中心的匹配值呈现峰值，-1型标志点中心的匹配值呈现谷值；

(5)对两幅图像经过步骤(4)处理的匹配结果进行配对，摄像机的放置规则和标志点的贴附规则限定了可能出现的几种情况，如图4所示，具体配对方法为： 

若两幅摄像机图像中均有标志点出现，且仅有1型标志点，则对两幅图像中的标志点按前进方向的逆向从1开始递增编号，两幅图像中的同号标志点配对； 

若两幅摄像机图像中至少有一幅图像出现-1型标志点，且-1型标志点的数量小于m， 则对两幅图像中的标志点按前进方向的逆向从1开始递增编号，两幅图像中的同号标志点配对； 

若两幅图像中的1型标志点数量均为n，无论有无-1型标志点，则对两幅图像中的标志点按前进方向的逆向从1开始递增编号，两幅图像中的同号标志点配对； 

若两幅图像中均有-1型标志点，并且至少一幅图像中的1型标志点的数量小于n，则对两幅图像中的标志点按前进方向从n+m开始递减编号，两幅图像中的同号标志点配对； 

(6)对两台摄像机分别进行标定，获取左侧摄像机的内部参数：镜头光心投影坐标(u_0l，v_0l)、镜头光心至成像平面的像距f_l与像素横向、纵向物理尺寸dx_l、dy_l的比值  $f_{\mathrm{ul}}=\frac{f_l}{{\mathrm{dx}}_l},$ $f_{\mathrm{vl}}=\frac{f_l}{{\mathrm{dy}}_l},$ 左侧摄像机的外部参数：摄像机旋转矩阵R_l及平移向量t_l；获取右侧摄像机的内部参数：镜头光心投影坐标(u_0r，v_0r)、镜头光心至成像平面的像距f_r与像素横向、纵向物理尺寸dx_r、dy_r的比值  $f_{\mathrm{ur}}=\frac{f_r}{{\mathrm{dx}}_r},$ $f_{\mathrm{vr}}=\frac{f_r}{{\mathrm{dy}}_r},$ 右侧摄像机的外部参数：摄像机旋转矩阵R_r及平移向量t_r；由左侧摄像机和右侧摄像机的内外部参数，分别得到其投影矩阵为： 

$M_l=\left[\begin{array}{ccc}{f}_{\mathrm{ul}}& 0& u_{0l}\\ 0& f_{\mathrm{vl}}& v_{0l}\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cc}{R}_l& t_l\end{array}\right]=\left[\begin{array}{cccc}{m}_{11}^l& m_{12}^l& m_{13}^l& m_{14}^l\\ m_{21}^l& m_{22}^l& m_{23}^l& m_{24}^l\\ m_{31}^l& m_{32}^l& m_{33}^l& m_{34}^l\end{array}\right],$

$M_r=\left[\begin{array}{ccc}{f}_{\mathrm{ur}}& 0& u_{0r}\\ 0& f_{\mathrm{vr}}& v_{0r}\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cc}{R}_r& t_r\end{array}\right]=\left[\begin{array}{cccc}{m}_{11}^r& m_{12}^r& m_{13}^r& m_{14}^r\\ m_{21}^r& m_{22}^r& m_{23}^r& m_{24}^r\\ m_{31}^r& m_{32}^r& m_{33}^r& m_{34}^r\end{array}\right];$

设标志点P在世界坐标系下的坐标为(X，Y，Z)^T，P在左、右侧摄像机中所成像点的像素坐标分别为(u_l，v_l)^T，(u_r，v_r)^T，根据成像原理得到物点空间坐标和像点像素坐标的关系为： 

$Z_{\mathrm{cl}}\left[\begin{array}{c}{u}_l\\ v_l\\ 1\end{array}\right]=M_l\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]=\left[\begin{array}{cccc}{m}_{11}^l& m_{12}^l& m_{13}^l& m_{14}^l\\ m_{21}^l& m_{22}^l& m_{23}^l& m_{24}^l\\ m_{31}^l& m_{32}^l& m_{33}^l& m_{34}^l\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right],$

$Z_{\mathrm{cr}}\left[\begin{array}{c}{u}_r\\ v_r\\ 1\end{array}\right]=M_r\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]=\left[\begin{array}{cccc}{m}_{11}^r& m_{12}^r& m_{13}^r& m_{14}^r\\ m_{21}^r& m_{22}^r& m_{23}^r& m_{24}^r\\ m_{31}^r& m_{32}^r& m_{33}^r& m_{34}^r\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right];$

其中Z_cl和Z_cr分别是P在左、右侧摄像机坐标系下沿主光轴方向的坐标，将上两式展开，消去Z_cl和Z_cr，得到关于X、Y、Z的线性方程组： 

$\left\{\begin{array}{c}(u_l{m}_{31}^l-m_{11}^l)X+(u_l{m}_{32}^l-m_{12}^l)Y+(u_l{m}_{33}^l-m_{13}^l)Z=m_{14}^l-u_l{m}_{34}^l\\ (v_l{m}_{31}^l-m_{21}^l)X+(v_l{m}_{32}^l-m_{22}^l)Y+(v_l{m}_{33}^l-m_{23}^l)Z=m_{24}^l-v_l{m}_{34}^l\\ (u_r{m}_{31}^r-m_{11}^r)X+(u_r{m}_{32}^r-m_{12}^r)Y+(u_r{m}_{33}^r-m_{13}^r)Z=m_{14}^r-u_r{m}_{34}^r\\ (v_r{m}_{31}^r-m_{21}^r)X+(v_r{m}_{32}^r-m_{22}^r)Y+(v_r{m}_{33}^r-m_{23}^r)Z=m_{24}^r-v_r{m}_{34}^r\end{array}\right.;$

用最小二乘法解此方程组，得到P在世界坐标系下的坐标(X，Y，Z)。 

运用上述双目立体视觉方法对步骤(5)中配对得到的像素坐标对进行计算，得到相应标志点在世界坐标系下的空间坐标； 

(7)根据步骤(6)中所得的一组配对标志点的空间坐标，计算经过这些点的空间平面的参数： 

设此平面上的点坐标(x，y，z)^T满足平面方程：Ax+By+Cz+D＝0，此平面的法向量为(A，B，C)，其中统一取C＝1。 

当配对标志点只有1个，即(x₁，y₁，z₁)时，近似取过该点且与XOY平面平行的平面，法向量为(0，0，1)，平面方程为z＝z₁，则A＝0，B＝0，C＝1，D＝z₁。 

当配对标志点有两个，即(x₁，y₁，z₁)和(x₂，y₂，z₂)时，近似取过这两点且与XOZ平面垂直的平面，法向量为(A，0，1)，平面方程为：A(x₂-x₁)+(z₂-z₁)＝0，则  $A=\frac{z_1-z_2}{x_2-x_1},$ B＝0，C＝1，D＝-Ax₁-z₁＝-Ax₂-z₂。 

当配对点大于等于三个时，设这些点的坐标为(x₁，y₁，z₁)，(x₂，y₂，z₂)，…，(x_n，y_n，z_n)，均满足平面方程Ax+By+z+D＝0，即-Ax-By-D＝z，得方程组：

$\left[\begin{array}{ccc}-x_1& -y_1& -1\\ -x_2& -y_2& -1\\ \·\·\·& \·\·\·& \·\·\·\\ -x_n& -y_n& -1\end{array}\right]\left[\begin{array}{c}A\\ B\\ D\end{array}\right]=\left[\begin{array}{c}{z}_1\\ z_2\\ \·\·\·\\ z_n\end{array}\right],$ 设其中  $\left[\begin{array}{ccc}-x_1& -y_1& -1\\ -x_2& -y_2& -1\\ \·\·\·& \·\·\·& \·\·\·\\ -x_n& -y_n& -1\end{array}\right]=X,$ $\begin{array}{}\end{array}\left[\begin{array}{c}A\\ B\\ D\end{array}\right]=P,$ $\left[\begin{array}{c}{z}_1\\ z_2\\ \·\·\·\\ z_n\end{array}\right]=Z,$ 用最小二乘法解得P＝(X^TX)^-1X^TZ，即得所求平面参数。

Claims (3)

1.一种声学摄像机系统中声场重建平面的确定方法，其特征在于该方法包括以下步骤：

(1)在被测物体的一侧粘贴标志点，被测物体前部粘贴1型标志点n个，后部粘贴-1型标志点m个，标志点均匀分布，截取1型标志点的中心正方形区域作为模板图像；

(2)在距离被测物体设定距离L处架设A、B两台摄像机，用两台摄像机分别对被测物体侧面进行同步拍摄，对每一曝光时刻同步获取的A目标图像和B目标图像进行二值化处理，得到0和1目标二值图像，对目标二值图像的每一像素值减0.5，最后得到-0.5和+0.5的A目标二值图像和B目标二值图像；

(3)对上述模板图像进行二值化处理，得到0和1模板二值图像，对模板二值图像的每一像素值减0.5，得到-0.5和+0.5的模板二值图像；

(4)运用矩阵的模板匹配方法对上述A目标二值图像和B目标二值图像中的每一像素，以上述模板二值图像为模板进行匹配，分别得到上述A目标图像和B目标图像中所有标志点的匹配值，根据匹配值图像，将图像中与峰值点对应的标志点定义为1型标志点，与谷值点对应的标志点定义为-1型，得到A图像中标志点中心像素点序列和B图像中标志点中心像素点序列；

(5)并根据标志点的类型，分别对上述A图像中标志点中心像素点序列和B图像中标志点中心像素点序列进行排序编号，将两个标志点中心像素点序列中编号相同的像素点作为在两台摄像机中同时成像的标志点的像素点；

(6)运用双目立体视觉方法分别对上述标志点在被测物体所在三维坐标中的位置进行计算，得到相应标志点的空间坐标；

(7)根据上述标志点的空间坐标，获取声场重建空间平面的参数。

2.如权利要求1所述的方法，其特征在于其中所述的步骤(5)中根据标志点的类型，分别对上述A图像中标志点中心像素点序列和B图像中标志点中心像素点序列进行排序编号的过程为：

若两幅摄像机图像中均有标志点出现，且仅有1型标志点，则对两幅图像中的标志点按前进方向的逆向从1开始递增编号，两幅图像中的同号标志点配对；

若两幅摄像机图像中的一幅图像或两幅图像出现-1型标志点，且-1型标志点的数量小于m，则对两幅图像中的标志点按前进方向的逆向从1开始递增编号，两幅图像中的同号标志点配对；

若两幅图像中的1型标志点数量均为n，则对两幅图像中的标志点按前进方向的逆向从1开始递增编号，两幅图像中的同号标志点配对；

若两幅图像中均有-1型标志点，并且至少一幅图像中的1型标志点的数量小于n，则对两幅图像中的标志点按前进方向从n+m开始递减编号，两幅图像中的同号标志点配对。

3.如权利要求1所述的方法，其特征在于其中所述的步骤(7)中根据标志点的空间坐标，获取声场重建空间平面的参数的方法为：

定义空间坐标系为右手坐标系，x轴正向水平指向右侧，y轴正向铅直向上，平面上的点坐标(x，y，z)^T满足平面方程：Ax+By+Cz+D＝0，此平面的法向量为(A，B，C)，其中取C＝1；

当标志点只有1个，即(x₁，y₁，z₁)时，取经过该点且与XOY平面平行的平面，则该平面的法向量为(0，0，1)，平面方程为z＝z₁，A＝0，B＝0，C＝1，D＝z₁；

当标志点有两个，即(x₁，y₁，z₁)和(x₂，y₂，z₂)时，取经过该两点且与XOZ平面垂直的平面，该平面的法向量为(A，0，1)，平面方程为：A(x₂-x₁)+(z₂-z₁)＝0，则B＝0，C＝1，D＝-Ax₁-z₁＝-Ax₂-z₂；

当标志点大于等于三个时，设点的坐标分别为(x₁，y₁，z₁)，(x₂，y₂，z₂)，…，(x_n，y_n，z_n)，且满足平面方程Ax+By+z+D＝0，即-Ax-By-D＝z，得方程组：

$\left[\begin{array}{ccc}{-x}_1& {-y}_1& -1\\ -x_2& {-y}_2& -1\\ ...& ...& ...\\ {-x}_n& {-y}_n& -1\end{array}\right]\left[\begin{array}{c}A\\ B\\ D\end{array}\right]=\left[\begin{array}{c}{z}_1\\ z_2\\ ...\\ z_n\end{array}\right],$ 设其中 $\left[\begin{array}{ccc}{-x}_1& {-y}_1& -1\\ {-x}_2& {-y}_2& -1\\ ...& ...& ...\\ {-x}_n& {-y}_n& -1\end{array}\right]=X,$ $\left[\begin{array}{c}A\\ B\\ D\end{array}\right]=P,$ $\left[\begin{array}{c}{z}_1\\ z_2\\ ...\\ z_n\end{array}\right]=Z,$ 用最小二乘法求解P＝(X^TX)^-1X^TZ，即得所求平面参数。

Images