CN101414000B - 基于随机传声器阵列和双目视觉的获取运动声场视频的方法 - Google Patents

Abstract

本发明涉及一种基于随机传声器阵列和双目视觉的获取运动声场视频的方法，属于噪声分析和控制技术领域。首先利用随机传声器阵列获取声场信息，利用双目立体视觉技术进行声场空间的三维测量和运动物体的自动追踪，建立声场空间与信号之间的时空关系，并将声场测量结果与摄像机的三维视频图像匹配在一起，将物体的运动过程与声场的动态变化过程以动态视频的效果直观进行显示，并获得各个噪声源的位置。本发明方法使已有的声场可视化的方法更准确实用，使运动噪声的测量和识别变得容易，为进一步的声源识别和降噪工作提供更准确的依据。

Description

基于随机传声器阵列和双目视觉的获取运动声场视频的方法

技术领域

本发明涉及一种基于随机传声器阵列和双目视觉的获取运动声场视频的方法，属于噪声分析和控制技术领域。

背景技术

现代社会噪声已经成为环境污染的一大来源。要有针对性的对噪声进行处理，首先需要比较精确地获取噪声源的声场，将各个声源分辨出来。而声场的可视化可以使噪声源的定位分析更加直观，从而为进一步的噪声治理工作提供依据，对噪声测量以及治理工作都具有重要意义。

在传统的研究中，声场可视化一般都是通过声场等高线图或三维声貌图与被测物体图片匹配显示后来实现。这一方法需要人工手动将测量结果与运动物体的图片进行叠加，实现声源的定位和分析，需要专业的技术人员才能完成，这将影响测量方法的推广应用。目前已有基于规则阵列与摄像机结合进行运动声源的声场可视化技术，从而使得动态声场的获取和噪声源的识别更为便捷和直观，但规则阵列布局的旁瓣特性使得声场的测量的准确程度受到限制。

目前，声阵列技术在运动声源识别研究中获得广泛应用，阵列布局对于阵列分辨性能有很大影响，随机阵列通过优化布局可以降低旁瓣，提高声场计算的精确度，与传声器数相同的规则阵列相比具有较大的优势。双目立体视觉技术是一种比较成熟的技术，已经被广泛应用于机器人导航、智能车辆自动驾驶、三维测量和虚拟现实等领域。

发明内容

本发明的目的是提出一种基于随机传声器阵列和双目视觉的获取运动声场视频的方法，利用随机传声器阵列获取声场数据，利用双目视觉技术对运动物体进行追踪，对声场的三维空间进行测量，最后实现声场与视频图像的融合。

本发明提出的基于随机传声器阵列和双目视觉的获取运动声场视频的方法，包括以下步骤：

(1)设测量用传声器所在的阵列平面A的长度为L₁、高度为H₁，被测运动物体所在平面R的长度为L₂、高度为H₂，阵列平面A与平面R之间的垂直距离为D；

(2)设上述测量用传声器数目为N，任意布置N个传声器在阵列平面A中的位置，形成一个仿真传声器阵列，通过仿真计算对该传声器阵列的分辨性能进行判断，方法如下：首先得到随机传声器阵列中各个传声器的仿真声压信号

其中第i个传声器的仿真声压信号为：

${\tilde{p}}_i\left(t\right)=\frac{1}{4\mathrm{\π}}\frac{\tilde{q}[t-{\tilde{r}}_i\left(t\right)/c]}{{\tilde{r}}_i\left(t\right){[1-M\cos {\widetilde{\mathrm{\θ}}}_i\left(t\right)]}^2}$

其中，

为仿真被测声源特征函数 $\tilde{q}\left(t\right)={\tilde{q}}_0\cos \left(2\mathrm{\πft}\right),$

为仿真实测声源强度，f为仿真被测声源的频率，

为在t时刻Q点距第i个传声器间的距离，θ_i(t)为在t时刻Q点到第i个传声器连线与Q点运动方向间的夹角，M为马赫数；

根据上述传声器的仿真声压信号，计算出待测运动物体所在平面R上任意一点

处在t₁至t₂时间段内的仿真声场特征函数：

${\tilde{W}}_p(\mathrm{\ϵ},\mathrm{\η})={\∫}_{t_1}^{t_2}{\tilde{P}}^2(t,\mathrm{\ϵ},\mathrm{\η})\mathrm{dt},$ 其中， $\tilde{P}(t,\mathrm{\ϵ},\mathrm{\η})=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\tilde{p}}_i(t+\frac{{\tilde{r}}_i(t,\mathrm{\ϵ},\mathrm{\η})}{c})$

为t时刻面上任意点

与第i个传声器之间的物理距离；遍历待测运动物体所在平面R，得到仿真声场特征函数分布图，设分布图中主瓣峰值为h_p，最大旁瓣峰值为h_v，则旁瓣抑制比γ_f为：

${\mathrm{\γ}}_f=20\log \left(\frac{h_p}{h_v}\right)$

若γ_f≥N且上述传声器数8≤N<16，或γ_f≥16且上述传声器数N≥16，则该随机传声器阵列满足频率f下的分辨性能要求，进行下一频率的判断；

在下一频率重复上述仿真步骤，若在对每一频率的仿真都满足上述分辨性能要求，则得到测量用的随机传声器阵列；否则随机生成一个新的仿真传声器阵列，重复上述判断过程，直至得到一个满足上述分辨性能要求的仿真传声器阵列；

(3)搭建一个与上述仿真步骤得到的仿真传声器阵列相同的传声器阵列；

(4)在被测运动物体侧面粘贴10～30个标志图，在与被测运动物体相距L处布置两台摄像机，两台摄像机之间的距离为d，对两台摄像机分别进行标定，获取第一台摄像机的内部参数和外部参数：摄像机主点坐标(u₀₁，v₀₁)、镜头焦距f₁及像素的物理尺寸dx₁×dy₁，摄像机旋转矩阵R₁及平移向量t₁；获取第二台摄像机的内部参数和外部参数：摄像机主点坐标(u₀₂，v₀₂)、镜头焦距f₂及像素的物理尺寸dx₂×dy₂，摄像机旋转矩阵R₂及平移向量t₂；根据第一台摄像机和第二台摄像机的上述参数，分别得到第一台摄像机和第二台摄像机的投影矩阵为：

$M_1=\left[\begin{array}{cccc}{f}_1/{\mathrm{dx}}_1& 0& u_{01}& 0\\ 0& f_1/{\mathrm{dy}}_1& v_{01}& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}{R}_1& t_1\\ 0^T& 1\end{array}\right]=\left[\begin{array}{cccc}{m}_{11}^1& m_{12}^1& m_{13}^1& m_{14}^1\\ m_{21}^1& m_{22}^1& m_{23}^1& m_{24}^1\\ m_{31}^1& m_{32}^1& m_{33}^1& m_{34}^1\end{array}\right],$

$M_2=\left[\begin{array}{cccc}{f}_2/{\mathrm{dx}}_2& 0& u_{02}& 0\\ 0& f_2/{\mathrm{dy}}_2& v_{02}& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}{R}_2& t_2\\ 0^T& 1\end{array}\right]=\left[\begin{array}{cccc}{m}_{11}^2& m_{12}^2& m_{13}^2& m_{14}^2\\ m_{21}^2& m_{22}^2& m_{23}^2& m_{24}^2\\ m_{31}^2& m_{32}^2& m_{33}^2& m_{34}^2\end{array}\right];$

(5)设被测运动物体以速度v行驶，用上述搭建的传声器阵列获取被测运动物体声源的声压信号，用两台摄像机分别获取被测运动物体的动态视频；

(6)分别将上述两台摄像机获取的动态视频拆解成图像，在拆解后的视频图像中识别出被测运动物体上的标志点，对分别识别出的第一台摄像机和第二台摄像机图像上的标志点进行匹配，使被测运动物体上的同一标志点在两台摄像机所获图像上的位置相对应；

(7)设被测运动物体上的标志图的中心点P在两台摄像机所获取图像上所成的像的齐次坐标分别为(u₁，v₁，1)^T，(u₂，v₂，1)^T，在世界坐标系下的齐次坐标为(X，Y，Z，1)^T，则根据上述摄像机的投影矩阵，有：

$Z_{c1}\left[\begin{array}{c}{u}_1\\ v_1\\ 1\end{array}\right]=M_1\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]=\left[\begin{array}{cccc}{m}_{11}^1& m_{12}^1& m_{13}^1& m_{14}^1\\ m_{21}^1& m_{22}^1& m_{23}^1& m_{24}^1\\ m_{31}^1& m_{32}^1& m_{33}^1& m_{34}^1\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right],$

$Z_{c2}\left[\begin{array}{c}{u}_2\\ v_2\\ 1\end{array}\right]=M_2\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]=\left[\begin{array}{cccc}{m}_{11}^2& m_{12}^2& m_{13}^2& m_{14}^2\\ m_{21}^2& m_{22}^2& m_{23}^2& m_{24}^2\\ m_{31}^2& m_{32}^2& m_{33}^2& m_{34}^2\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]$

其中，Z_c1、Z_c2分别为P点在第一台摄像机和第二台摄像机的摄像机坐标系中沿摄像机光轴的坐标，求解上述方程组，得到被测运动物体上的标志点P在世界坐标系下的坐标(X，Y，Z，1)^T；

(9)对上述传声器阵列获取的声压信号进行波束成型处理，得到被测运动物体上任意一点s(ε，η)处在t₁至t₂时间内的声场特征函数：

$W_p(\mathrm{\&epsiv;},\mathrm{\&eta;})={\&Integral;}_{t_1}^{t_2}{P}^2(t,\mathrm{\&epsiv;},\mathrm{\&eta;})\mathrm{dt},$ 其中， $P(t,\mathrm{\&epsiv;},\mathrm{\&eta;})=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{p}_i(t+\frac{r_i(t,\mathrm{\&epsiv;},\mathrm{\&eta;})}{c})$

p_i(t)为t时刻第i个传声器接收到的信号声压，r_i(t，ε，η)为t时刻面上任意点s(ε，η)与第i个传声器之间的物理距离，c为声速，N为传声器数目，ΔT为摄像机每帧图像间的时间间隔，设根据T₁时刻的图像获得了被测运动物体的空间位置，取 $t_1=T_1-\frac{1}{2}\mathrm{\&Delta;T},$ $t_2=T_1+\frac{1}{2}\mathrm{\&Delta;T},$ 遍历被测运动物体表面，得到被测运动物体的声场特征函数分布图；

(10)将上述被测运动物体的声场特征函数分布图与上述任意一台摄像机的视频图像进行逐帧空间坐标叠加，并还原成动态视频图像。

本发明提出的基于随机传声器阵列和双目视觉的获取运动声场视频的方法，引了入双目立体视觉技术，并其与随机传声器阵列结合，实现了声场可视化。利用随机传声器阵列获取声场信息，提高传声器阵列对声场的空间分辨能力；利用双目立体视觉技术进行声场空间的三维测量和运动物体的自动追踪，建立声场空间与信号之间的时空关系，并自动将声场测量结果与摄像机的三维视频图像匹配在一起，将物体的运动过程与声场的动态变化过程以动态视频的效果直观显示出来。从而使测量者在测量过程中就可以从视频中直接获取运动物体在运动过程中的噪声辐射状况，直观获得各个噪声源的位置。本发明方法使已有的声场可视化的方法更准确实用，使运动噪声的测量和识别变得容易，为进一步的声源识别和降噪工作提供更准确的依据。

附图说明

图1是使用本发明方法的测量现场示意图。

图2是被测运动物体平面与阵列平面空间关系示意图。

图3是仿真计算得出的声场特征函数分布示意图。

图4是本发明中利用三杆支架搭建随机传声器阵列的示例图。

图5是本发明中外触发方式示意图。

图6是标志点匹配示意图。

图7是三维重构原理图。

图1中，1是被测运动物体，2是摄像机，3是传声器阵列，4是前置放大器接口箱，5是数字信号采集仪，6是计算机。

图5中，1是信号发生器产生的方波信号，2和3分别是两台摄像机获取的视频信号，4是传声器阵列获取的声压信号。

图6中，M1是第一台摄像机获取的被测运动物体的图像，M2是第二台摄像机获取的被测运动物体的图像，1’、2’、3’、4’分别为标志点1，2，3，4在M1上所成的像，1”、2”、3”、4”分别为标志点1，2，3，4在M2上所成的像。

图7中，N1是第一台摄像机的成像平面，N2是第二台摄像机的成像平面，O-XwYwZw是世界坐标系，u101v1是第一台摄像机的图像坐标系，u202v2是第二台摄像机的图像坐标系，0c1-XclYclZc1是第一台摄像机的摄像机坐标系，Oc2-Xc2Yc2Zc2是第二台摄像机的摄像机坐标系，P点是被测运动物体上的一个标志点，p1、p2分别为P点在N1和N2上所成的像。

具体实施方式

以下结合附图详细介绍本发明提出的基于随机传声器阵列和双目视觉的获取运动声场视频的方法，应用本发明方法获取运动声场视频的测量现场如附图1所示。

(1)如附图2所示，测量用传声器所在的阵列平面A的长度为L₁、高度为H₁，待测量运动物体所在平面为R的长度为L₂、高度为H₂，阵列平面A与待测量平面R之间的垂直距离为D；其中阵列平面A是传声器位置点所在的一个空间矩形平面，其长度L₁、高度H₁与待测量平面R的长度为L₂、高度H₂大致相当；两面垂直距离D取值范围为4～6米。

(2)设上述测量用传声器数目为N，任意布置N个传声器在阵列平面A中的位置，形成一个仿真传声器阵列，通过仿真计算对该传声器阵列的分辨性能进行判断，方法如下：

仿真计算模型如图2所示，仿真中的参数均取实际测量中的数值，仿真被测声源Q为一个点声源，位于被测运动物体所在平面R的中心，设定其声源特征函数 $\tilde{q}\left(t\right)={\tilde{q}}_0\cos \left(2\mathrm{\&pi;ft}\right),$ 其中

为仿真实测声源强度，f为仿真被测声源的频率。

则得到仿真传声器阵列中各个传声器的仿真声压信号

其中第i个传声器的仿真声压信号为：

${\tilde{p}}_i\left(t\right)=\frac{1}{4\mathrm{\&pi;}}\frac{\tilde{q}[t-{\tilde{r}}_i\left(t\right)/c]}{{\tilde{r}}_i\left(t\right){[1-M\cos {\widetilde{\mathrm{\&theta;}}}_i\left(t\right)]}^2}$

其中

为在t时刻Q点距第i个传声器间的距离，θ_i(t)为在t时刻Q点到第i个传声器连线与Q点运动方向间的夹角，M为马赫数。

根据上述传声器的仿真声压信号，计算出待测运动物体所在平面R上任意一点

处在t₁至t₂时间段内的仿真声场特征函数：

${\tilde{W}}_p(\mathrm{\&epsiv;},\mathrm{\&eta;})={\&Integral;}_{t_1}^{t_2}{\tilde{P}}^2(t,\mathrm{\&epsiv;},\mathrm{\&eta;})\mathrm{dt},$ 其中， $\tilde{P}(t,\mathrm{\&epsiv;},\mathrm{\&eta;})=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{\tilde{p}}_i(t+\frac{{\tilde{r}}_i(t,\mathrm{\&epsiv;},\mathrm{\&eta;})}{c})$

为t时刻面上任意点与第i个传声器之间的物理距离。遍历待测运动物体所在平面R，得到仿真声场特征函数分布图，如图3所示，该分布图由一个主瓣和若干旁瓣组成，设主瓣峰值为h_p，最大旁瓣峰值为h_v，则旁瓣抑制比γ_f为：

${\mathrm{\&gamma;}}_f=20\log \left(\frac{h_p}{h_v}\right)$

若γ_f≥N且上述传声器数8≤N<16，或者γ_f≥16且N≥16，则该仿真传声器阵列满足频率f下的分辨性能要求，进行下一频率的判断。

在下一频率重复上述仿真步骤，若在对每一频率都满足上述分辨性能要求，则得到测量用的随机传声器阵列；否则随机生成一个新的仿真传声器阵列，重复上述判断过程，直至得到一个满足上述分辨性能要求的仿真传声器阵列。

其中上仿真步骤中频率的选择方法为：将考察频率范围分为高频段、低频段和中频段。在每个频段中，各取1～2个特征频率。

(3)利用三杆式支架，搭建一个与上述仿真步骤得到的仿真传声器阵列相同的传声器阵列，如图4所示，支架由若干独立三杆支架组合以覆盖整个阵列平面范围。

(4)如附图1所示，在被测运动物体侧面粘贴10～30个标志点，在与被测运动物体相距L处布置两台摄像机，L的取值范围为4～6m，两台摄像机之间的距离为d，d的取值范围为1～2m。两台摄像机的位置在不与传声器阵列相互遮挡的情况下尽可能的靠近。对两台摄像机分别进行标定，获取第一台摄像机的内部参数：摄像机主点(即摄像机光轴与成像平面的交点)坐标(u₀₁，v₀₁)、镜头焦距f₁及像素的物理尺寸dx₁×dy₁，第一台摄像机的外部参数：摄像机旋转矩阵R₁及平移向量t₁；获取第二台摄像机的内部参数：摄像机主点(即摄像机光轴与成像平面的交点)坐标(u₀₂，v₀₂)、镜头焦距f₂及像素的物理尺寸dx₂×dy₂，第二台摄像机的外部参数：摄像机旋转矩阵R₂及平移向量t₂；由第一台摄像机、第二台摄像机的内外部参数，可以分别得到第一台摄像机和第二台摄像机的投影矩阵为：

$M_1=\left[\begin{array}{cccc}{f}_1/{\mathrm{dx}}_1& 0& u_{01}& 0\\ 0& f_1/{\mathrm{dy}}_1& v_{01}& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}{R}_1& t_1\\ 0^T& 1\end{array}\right]=\left[\begin{array}{cccc}{m}_{11}^1& m_{12}^1& m_{13}^1& m_{14}^1\\ m_{21}^1& m_{22}^1& m_{23}^1& m_{24}^1\\ m_{31}^1& m_{32}^1& m_{33}^1& m_{34}^1\end{array}\right],$

$M_2=\left[\begin{array}{cccc}{f}_2/{\mathrm{dx}}_2& 0& u_{02}& 0\\ 0& f_2/{\mathrm{dy}}_2& v_{02}& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}{R}_2& t_2\\ 0^T& 1\end{array}\right]=\left[\begin{array}{cccc}{m}_{11}^2& m_{12}^2& m_{13}^2& m_{14}^2\\ m_{21}^2& m_{22}^2& m_{23}^2& m_{24}^2\\ m_{31}^2& m_{32}^2& m_{33}^2& m_{34}^2\end{array}\right].$

(5)设被测运动物体以速度v行驶，用上述搭建的传声器阵列获取被测运动物体声源的声压信号，用两台摄像机分别获取被测运动物体的动态视频；采用外触发的方式保证信号和声压信号三者同步，如附图5所示。由信号发生器产生方波信号，用方波信号的每个上升沿触发两台摄像机进行拍摄，用方波信号的第一个上升沿触发传声器阵列，使其开始工作。

(6)分别将上述两台摄像机获取的动态视频拆解成图像，在拆解后的视频图像中识别出被测运动物体上的标志点，对分别识别出的第一台摄像机和第二台摄像机图像上的标志点进行匹配，使被测运动物体上的同一标志点在两台摄像机所获图像上的位置相对应；，如附图6所示。以标志点1为例，即获取1在C1上的像1’的中心点的位置与1在C2上的像1”的中心点的位置，将它们配成一对。

(7)对匹配后的标志点进行三维重构，获取被测运动物体的空间位置。如附图7所示，设被测运动物体上的标志图的中心点P在两台摄像机所获取图像上所成的像的齐次坐标分别为(u₁，v₁，1)^T，(u₂，v₂，1)^T，在世界坐标系下的齐次坐标为(X，Y，Z，1)^T，则根据上述摄像机的投影矩阵，有：

$Z_{c1}\left[\begin{array}{c}{u}_1\\ v_1\\ 1\end{array}\right]=M_1\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]=\left[\begin{array}{cccc}{m}_{11}^1& m_{12}^1& m_{13}^1& m_{14}^1\\ m_{21}^1& m_{22}^1& m_{23}^1& m_{24}^1\\ m_{31}^1& m_{32}^1& m_{33}^1& m_{34}^1\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right],$

$Z_{c2}\left[\begin{array}{c}{u}_2\\ v_2\\ 1\end{array}\right]=M_2\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]=\left[\begin{array}{cccc}{m}_{11}^2& m_{12}^2& m_{13}^2& m_{14}^2\\ m_{21}^2& m_{22}^2& m_{23}^2& m_{24}^2\\ m_{31}^2& m_{32}^2& m_{33}^2& m_{34}^2\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]$

其中，Z_c1、Z_c2分别为P点在第一台摄像机和第二台摄像机的摄像机坐标系中沿摄像机光轴的坐标，联立上述方程组，将式中的Z_c1、Z_c2消去，可以得到关于X、Y、Z的四个线性方程：

$(u_1{m}_{31}^1-m_{11}^1)X+(u_1{m}_{32}^1-m_{12}^1)Y+(u_1{m}_{33}^1-m_{13}^1)Z=m_{14}^1-u_1{m}_{34}^1$

$(v_1{m}_{31}^1-m_{21}^1)X+(v_1{m}_{32}^1-m_{22}^1)Y+(v_1{m}_{33}^1-m_{23}^1)Z=m_{24}^1-v_1{m}_{34}^1$

$(u_2{m}_{31}^2-m_{11}^2)X+(u_2{m}_{32}^2-m_{12}^2)Y+(u_2{m}_{33}^2-m_{13}^2)Z=m_{14}^2-u_2{m}_{34}^2$

$(v_2{m}_{31}^2-m_{21}^2)X+(v_2{m}_{32}^2-m_{22}^2)Y+(v_2{m}_{33}^2-m_{23}^2)Z=m_{24}^2-v_2{m}_{34}^2$

用最小二乘法求解上述方程组，即可获得被测运动物体上的标志点P在世界坐标系下的坐标。

(9)对上述传声器阵列获取的声压信号进行波束成型处理，得到被测运动物体上任意一点s(ε，η)处在t₁至t₂时间内的声场特征函数：

$W_p(\mathrm{\&epsiv;},\mathrm{\&eta;})={\&Integral;}_{t_1}^{t_2}{P}^2(t,\mathrm{\&epsiv;},\mathrm{\&eta;})\mathrm{dt},$ 其中， $P(t,\mathrm{\&epsiv;},\mathrm{\&eta;})=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{p}_i(t+\frac{r_i(t,\mathrm{\&epsiv;},\mathrm{\&eta;})}{c})$

p_i(t)为t时刻第i个传声器接收到的信号声压，r_i(t，ε，η)为t时刻任意点s(ε，η)与第i个传声器之间的物理距离，c为声速，N为传声器数目。

摄像机每帧图像间的时间间隔为ΔT，设已经根据T₁时刻的图像获得了被测运动物体的空间位置，为了获取该时刻被测运动物体表面的声场特征函数分布图，取 $t_1=T_1-\frac{1}{2}\mathrm{\&Delta;T},$ $t_2=T_1+\frac{1}{2}\mathrm{\&Delta;T}.$ 遍历被测运动物体表面，得到被测运动物体的声场特征函数分布图；根据被测运动物体表面声场特征函数分布图上各处声场特征函数的相对强弱就可以识别出运动物体侧面上各主要噪声源的位置。

(10)将上述被测运动物体的声场特征函数分布图与上述任意一台摄像机的视频图像进行逐帧空间坐标叠加，并还原成动态视频图像。

Claims (1)

1.一种基于随机传声器阵列和双目视觉的获取运动声场视频的方法，其特征在于该方法包括以下步骤：

(1)设测量用传声器所在的阵列平面A的长度为L₁、高度为H₁，被测运动物体所在平面R的长度为L₂、高度为H₂，阵列平面A与平面R之间的垂直距离为D；

(2)设上述测量用传声器数目为N，任意布置N个传声器在阵列平面A中的位置，形成一个仿真传声器阵列，通过仿真计算对该传声器阵列的分辨性能进行判断，方法如下：首先得到随机传声器阵列中各个传声器的仿真声压信号

其中第i个传声器的仿真声压信号为：

${\tilde{p}}_i\left(t\right)=\frac{1}{4\mathrm{\&pi;}}\frac{\tilde{q}[t-\frac{{\tilde{r}}_i\left(t\right)}{c}]}{{\tilde{r}}_i\left(t\right){[1-M\cos {\widetilde{\mathrm{\&theta;}}}_i\left(t\right)]}^2}$

其中，为仿真被测声源特征函数

为仿真实测声源强度，f为仿真被测声源的频率，

为在t时刻Q点距第i个传声器间的距离，θ_i(t)为在t时刻Q点到第i个传声器连线与Q点运动方向间的夹角，M为马赫数，Q为仿真被测点声源；

根据上述传声器的仿真声压信号，计算出待测运动物体所在平面R上任意一点

处在t₁至t₂时间段内的仿真声场特征函数：

${\tilde{W}}_p(\mathrm{\&epsiv;},\mathrm{\&eta;})={\&Integral;}_{t_1}^{t_2}{\tilde{P}}^2(t,\mathrm{\&epsiv;},\mathrm{\&eta;})\mathrm{dt},$ 其中， $\tilde{P}(t,\mathrm{\&epsiv;},\mathrm{\&eta;})=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{\tilde{p}}_i(t+\frac{{\tilde{r}}_i(t,\mathrm{\&epsiv;},\mathrm{\&eta;})}{c})$

为t时刻面上任意点

与第i个传声器之间的物理距离；遍历待测运动物体所在平面R，得到仿真声场特征函数分布图，设分布图中主瓣峰值为h_p，最大旁瓣峰值为h_v，则旁瓣抑制比γ_f为：

${\mathrm{\&gamma;}}_r=20\log \left(\frac{h_p}{h_v}\right)$

若γ_f≥N且上述传声器数8≤N＜16，或γ_f≥16且上述传声器数N≥16，则该随机传声器阵列满足频率f下的分辨性能要求，进行下一频率的判断；

在下一频率重复上述仿真步骤，若在对每一频率的仿真都满足上述分辨性能要求，则得到测量用的随机传声器阵列；否则随机生成一个新的仿真传声器阵列，重复上述判断过程，直至得到一个满足上述分辨性能要求的仿真传声器阵列；

(3)搭建一个与上述仿真步骤得到的仿真传声器阵列相同的传声器阵列；

(4)在被测运动物体侧面粘贴10～30个标志图，在与被测运动物体相距L处布置两台摄像机，两台摄像机之间的距离为d，对两台摄像机分别进行标定，获取第一台摄像机的内部参数和外部参数：摄像机主点坐标(u₀₁，v₀₁)、镜头焦距f₁及像素的物理尺寸dx₁×dy₁，摄像机旋转矩阵R₁及平移向量t₁；获取第二台摄像机的内部参数和外部参数：摄像机主点坐标(u₀₂，v₀₂)、镜头焦距f₂及像素的物理尺寸dx₂×dy₂，摄像机旋转矩阵R₂及平移向量t₂；根据第一台摄像机和第二台摄像机的上述参数，分别得到第一台摄像机和第二台摄像机的投影矩阵为：

$M_1=\left[\begin{array}{cccc}\frac{f_1}{d{x}_1}& 0& u_{01}& 0\\ 0& \frac{f_1}{d{y}_1}& v_{01}& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}{R}_1& t_1\\ 0^T& 1\end{array}\right]\left[\begin{array}{cccc}{m}_{11}^1& m_{12}^1& m_{13}^1& m_{14}^1\\ m_{21}^1& m_{22}^1& m_{23}^1& m_{24}^1\\ m_{31}^1& m_{32}^1& m_{33}^1& m_{34}^1\end{array}\right],$

$M_2=\left[\begin{array}{cccc}\frac{f_2}{d{x}_2}& 0& u_{02}& 0\\ 0& \frac{f_2}{d{y}_2}& v_{02}& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}{R}_2& t_2\\ 0^T& 1\end{array}\right]\left[\begin{array}{cccc}{m}_{11}^2& m_{12}^2& m_{13}^2& m_{14}^2\\ m_{21}^2& m_{22}^2& m_{23}^2& m_{24}^2\\ m_{31}^2& m_{32}^2& m_{33}^2& m_{34}^2\end{array}\right];$

(5)设被测运动物体以速度v行驶，用上述搭建的传声器阵列获取被测运动物体声源的声压信号，用两台摄像机分别获取被测运动物体的动态视频；

(6)分别将上述两台摄像机获取的动态视频拆解成图像，在拆解后的视频图像中识别出被测运动物体上的标志点，对分别识别出的第一台摄像机和第二台摄像机图像上的标志点进行匹配，使被测运动物体上的同一标志点在两台摄像机所获图像上的位置相对应；

(7)设被测运动物体上的标志图的中心点P在两台摄像机所获取图像上所成的像的齐次坐标分别为(u₁，v₁，1)^T，(u₂，v₂，1)^T，在世界坐标系下的齐次坐标为(X，Y，Z，1)^T，则根据上述摄像机的投影矩阵，有：

$Z_{c1}\left[\begin{array}{c}{u}_1\\ v_1\\ 1\end{array}\right]=M_1\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]\left[\begin{array}{cccc}{m}_{11}^1& m_{12}^1& m_{13}^1& m_{14}^1\\ m_{21}^1& m_{22}^1& m_{23}^1& m_{24}^1\\ m_{31}^1& m_{32}^1& m_{33}^1& m_{34}^1\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right],$

$Z_{c2}\left[\begin{array}{c}{u}_2\\ v_2\\ 1\end{array}\right]=M_2\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]\left[\begin{array}{cccc}{m}_{11}^2& m_{12}^2& m_{13}^2& m_{14}^2\\ m_{21}^2& m_{22}^2& m_{23}^2& m_{24}^2\\ m_{31}^2& m_{32}^2& m_{33}^2& m_{34}^2\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]$

其中，Z_c1、Z_c2分别为P点在第一台摄像机和第二台摄像机的摄像机坐标系中沿摄像机光轴的坐标，求解上述方程组，得到被测运动物体上的标志点P在世界坐标系下的坐标(X，Y，Z，1)^T；

(8)对上述传声器阵列获取的声压信号进行波束成型处理，得到被测运动物体上任意一点s(ε，η)处在t₁至t₂时间内的声场特征函数：

$W_p(\mathrm{\&epsiv;},\mathrm{\&eta;})={\&Integral;}_{t_1}^{t_2}{P}^2(t,\mathrm{\&epsiv;},\mathrm{\&eta;})\mathrm{dt},$ 其中， $P(t,\mathrm{\&epsiv;},\mathrm{\&eta;})=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{p}_i(t+\frac{r_i(t,\mathrm{\&epsiv;},\mathrm{\&eta;})}{c})$

p_i(t)为t时刻第i个传声器接收到的信号声压，r_i(t，ε，η)为t时刻面上任意点s(ε，η)与第i个传声器之间的物理距离，c为声速，N为传声器数目，ΔT为摄像机每帧图像间的时间间隔，设根据T₁时刻的图像获得了被测运动物体的空间位置，取

遍历被测运动物体表面，得到被测运动物体的声场特征函数分布图；

(9)将上述被测运动物体的声场特征函数分布图与上述任意一台摄像机的视频图像进行逐帧空间坐标叠加，并还原成动态视频图像。

Images