CN114089277A - 三维声源声场重构方法及系统 - Google Patents

Abstract

三维声源声场重构方法和系统。该方法包括：a.利用双目摄像头绘制目标声源的空间三维模型，同时利用麦克风阵列从一角度测量该目标声源的二维声场分布以得到该目标声源的二维声场能量分布图像P(x,y,l)，其中x，y表示二维图像的像素点坐标，l表示该像素点处声源强度；b.将该二维声场能量分布图像映射为深度图像P(x,y,k)；c.基于该双目摄像头的位置数据对该深度图像P(x,y,k)进行换算得到全局坐标下的点云坐标数据；d.多次变化该角度，每次变化角度后重新执行步骤a‑c，得到多个该点云坐标数据；e.利用多个该点云坐标数据重建该目标声源的三维声场模型；f.将该重建的三维声场模型和该双目摄像头所绘制的空间三维模型进行融合，在三维空间中呈现该目标声源的分布状态。

Description

三维声源声场重构方法及系统

技术领域

本发明涉及声源定位，尤其涉及三维声源声场重构方法。

背景技术

声学照相机类设备，通过将摄像头和麦克风阵列进行组合，利用声源定位类算法对声源强度分布进行计算以达到声源定位的目的。

利用麦克风阵列进行声源定位的时候，通过二维的声源强度分布图像，能够识别出声源在二维图像中所在的位置。

在复杂的测试场景中，声源类型有多种多样，可能发声的设备类型很多，故障发生之后辐射的声源类型也是多种多样。通过二维的声源强度分布图像，有时候无法分辨密集目标环境下的声源真实位置。

并且，在复杂场景的定位中，有时候还需要区分故障声源的类型，通过声纹的方式进行识别，存在样本难以采集、干扰严重、声纹特征不明显等问题。

一个典型的场景为：在现场嘈杂的环境下，需要在密集分布的管道阀门设备中快速寻找到可能的阀门内漏、管道节流、密封失效泄漏点。然而，目前基于传统的二维声学成像方法，在嘈杂环境下或可以定位到部分泄漏的存在。但是面对复杂的现场声环境，密集的管道分布，二维定位数据往往无法准确和快速定位到异常点。

因此，亟需一种能在复杂场景中对声源位置进行迅速而准确定位的方法。

发明内容

为了提高复杂场景中对声源位置定位的速度和准确性，本发明提供了一种基于双目摄像头和麦克风阵列的三维声源声场重构方法。

所述方法包括以下步骤：

a.利用双目摄像头绘制目标声源的空间三维模型，同时利用麦克风阵列从一角度测量所述目标声源的二维声场分布以得到所述目标声源的二维声场能量分布图像P(x,y,l)，其中x，y表示所述二维声场能量分布图像的像素点坐标，l表示所述像素点处声源强度；

b.将所述二维声场能量分布图像映射为深度图像P(x,y,k)，其中k为所述像素点的深度；

c.基于所述双目摄像头的位置数据对所述深度图像P(x,y,k)进行换算得到全局坐标下的点云坐标数据；

d.多次变化所述角度，每次变化角度后重新执行步骤a-c，得到多个所述点云坐标数据；

e.利用多个所述点云坐标数据重建所述目标声源的三维声场模型；

f.将所述重建的三维声场模型和所述双目摄像头所绘制的空间三维模型进行融合，在三维空间中呈现所述目标声源的分布状态。

在一个实施例中，步骤b包括以下子步骤：

利用所述双目摄像头绘制的所述空间三维模型的深度数据求取基准深度k₀；

确定所述二维声场能量分布图像P(x,y,l)中的边缘的声源强度最小值L_min和声源强度最大值L_max，用公式∆l＝l – (L_max-L_min)/2对所述二维声场能量分布图像P(x,y,l)进行能量差值的换算，得到P(x,y,∆l)；

按照二维声源声场能量衰减与物理距离的标定关系对P(x,y,∆l)进行换算，得到相对深度图P(x,y,∆k)，其中，∆k表示所述像素点的深度与所述基准深度k₀的深度差；

用所述基准深度k₀对所述相对深度图P(x,y,∆k)进行修正得到所述深度图像P(x,y,k)。

在一个实施例中，所述基准深度k₀取所述空间三维模型的几何中心点。

在一个实施例中，所述用所述基准深度k₀对所述相对深度图P(x,y,∆k)进行修正得到所述深度图像P(x,y,k)的步骤包括：

利用修正公式k= k₀+∆k对所述相对深度图P(x,y,∆k)进行修正得到所述深度图像P(x,y,k)。

在一个实施例中，所述二维声场能量分布图像P(x,y,l)基于声源定位算法得到。

在一个实施例中，所述声源定位算法为波束形成类算法。

在一个实施例中，所述二维声源声场能量衰减与∆l相关联，所述物理距离与∆k相关联。

在一个实施例中，所述二维声源声场能量衰减和物理距离的标定关系按以下方式得到：

使用点声源，在单位距离1米下进行标定；

由于所述点声源的球面衰减特性，所述二维声源声场能量衰减和物理距离的标定关系如下：

其中：

（x_i,y_j）表示二维声场能量分布图像边缘点坐标；

（x₀,y₀）表示二维声场能量分布图像最大值坐标，即声源中心坐标；

N表示所有计算的边缘坐标点的数量；

d表示所述二维声场能量分布图像边缘点坐标与所述声源中心坐标之间的距离与所述物理距离之间的换算参数，所述换算参数通过实际测量得到；

∆l表示所述声源中心坐标与所述二维声场能量分布图像边缘点坐标的云图能量差值，∆l与所述声源能量衰减相关联；

a表示所述声源能量衰减值和物理距离之间的转换系数；

表示标定时声源能量衰减

时所对应的实际的所述物理距离，所述物理距离与∆k相关联。

在一个实施例中，所述转换系数a的大小根据实际测试物体的几何特征进行修正。

本发明还提供了一种基于双目摄像头和麦克风阵列的三维声源声场重构系统，包括：

双目摄像头；

麦克风阵列；

存储器；以及

与所述双目摄像头、所述麦克风阵列以及所述存储器连接的处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行上述三维声源声场重构方法。

本发明提供的基于双目摄像头和麦克风阵列的三维声源声场重构方法及系统在管道设施检修领域的应用尤为突出，能实现对阀门内漏、管道节流以及管道密封失效泄漏点的快速而准确的定位，从而大大提高检修效率并提升安全生产水平。

附图说明

本发明的以上发明内容以及下面的具体实施方式在结合附图阅读时会得到更好的理解。需要说明的是，附图仅作为所请求保护的发明的示例。在附图中，相同的附图标记代表相同或类似的元素。

图1示出根据本发明一实施例的基于双目摄像头和麦克风阵列的三维声源声场重构方法的流程图；以及

图2示出将二维声场能量分布图像映射为深度图像的流程图。

具体实施方式

本发明提供了一种基于双目摄像头和麦克风阵列的三维声源声场重构方法及其系统。该方法及系统的应用领域广泛，在管道设施检修领域的应用尤为突出，能实现对阀门内漏、管道节流以及管道密封失效泄漏点的快速而准确的定位，从而大大提高检修效率并提升安全生产水平。

众所周知，管道阀门是石化、医药化工、天然气等工业中应用非常密集和广泛的一类基础设施设备。各类管道中传输各种类易燃易爆、有毒有害的气体原料，因此，气体原料的泄漏和扩散是每个化工类企业都密切关注和严格管控的安全生产问题。

阀门内漏、管道节流等问题将会诱发管道设施的疲劳老化、诱发密封失效，管道密封点密封失效则直接引起泄漏事故。研究如何在现场嘈杂的环境下，密集分布的管道阀门设备中快速寻找到可能的阀门内漏、管道节流、密封失效泄漏点是提高检修效率、提升安全生产水平的重要内容。

目前基于传统的二维声学成像方法，在嘈杂环境下或可以定位到部分泄漏的存在。但是面对复杂的现场声环境，密集的管道分布，二维定位数据往无法准确和快速定位到异常点。

针对阀门内漏、管道节流，声源的分布状态会由于阀门形态、管道走向而呈现出一定的分布形态，通过本发明所述的三维声场重构方法可以还原出阀门内漏、管道节流时的三维声场分布状态，通过和实际管道阀门的三维模型、现场实物设备比对能够快速判断阀门内漏、管道节流的发生位置，获得其发生范围、强度分布等量化信息，为阀门、管道设备的维修和检修提供准确的定位数据和状态数据，提高定位和维修的效率，显著提高安全生产水平。

以下在具体实施方式中详细叙述本发明的详细特征以及优点，其内容足以使任何本领域技术人员了解本发明的技术内容并据以实施，且根据本说明书所揭露的说明书、权利要求及附图，本领域技术人员可轻易地理解本发明相关的目的及优点。

图1示出了根据本发明一实施例的基于双目摄像头和麦克风阵列的三维声源声场重构方法的流程图。该方法包括但不限于步骤1-6。

步骤1：利用双目摄像头绘制目标声源的空间三维模型，同时利用麦克风阵列从一角度测量目标声源的二维声场分布以得到目标声源的二维声场能量分布图像P(x,y,l)，其中x，y表示二维图像像素点坐标，l表示像素点处声源强度。

其中，二维声场能量分布图像P(x,y,l)可基于声源定位算法得到。

在一个实施例中，声源定位算法可以是波束形成类算法。

步骤2：将所述二维声场能量分布图像映射为深度图像P(x,y,k)，其中k为像素点的深度。

图2示出图1中的步骤2的详细流程图。其中，步骤2包括但不限于以下子步骤21-24。

步骤21：利用双目摄像头绘制的目标声源的空间三维模型的深度数据求取基准深度k ₀。

在一个实施例中，基准深度k₀可以取所述空间三维模型的几何中心点。

步骤22：找到所述二维声场能量分布图像P(x,y,l)中的边缘的声源强度最小值L_min和声源强度最大值L_max，用公式（1）对所述二维声场能量分布图像P(x,y,l)进行能量差值的换算得到P(x,y,∆l)。

其中，公式（1）为：∆l＝l – (L_max-L_min)/2

步骤23：按照二维声源声场能量衰减与物理距离的标定关系（∆l ＝a×∆k）对P(x,y,∆l)进行换算，得到相对深度图P(x,y,∆k)，其中，∆k表示像素点的深度与基准深度k₀的深度差，a表示声源能量衰减和物理距离之间的转换系数。

步骤24：用基准深度k₀对相对深度图P(x,y,∆k)通过修正公式进行修正得到深度图像P(x,y,k)，其中，修正公式为：k= k₀+∆k。

步骤3：基于双目摄像头的位置数据对所述深度图像P(x,y,k)进行换算得到全局坐标下的点云坐标数据。

步骤4：多次变化所述角度，以实现目标声源声场的三维重建。每次变化角度后重新执行步骤1-3，得到针对多个角度的多个点云坐标数据。

步骤5：利用多个点云坐标数据重建所述目标声源的三维声场模型。

步骤6：将所述重建的三维声场模型和所述双目摄像头所绘制的空间三维模型进行融合，在三维空间中呈现所述目标声源的分布状态。

其中，步骤23中，二维声源声场能量衰减和物理距离的标定关系可按以下步骤231-232得到。

步骤231：使用点声源，在单位距离1米下进行标定。

步骤232：标定时点声源的二维分布图像是接近正圆形，这是由于点声源的球面衰减特性决定的，因此，物理距离和云图能量（二维分布图像）标定关系式如下：

其中：

（x_i,y_j）表示云图图像边缘点坐标；

（x₀,y₀）表示云图图像最大值坐标（即声源中心坐标）；

N表示所有计算的边缘坐标点的数量；

d表示二维分布图像中坐标距离和物理距离的换算参数，该参数可以实际测量得到。

∆l表示声源中心坐标与边缘坐标的云图能量差值，∆l与声源能量衰减相关联；

a表示声源能量衰减值和物理距离之间的转换系数。

（注：公式中

表示标定时声场衰减

时所对应的实际的物理距离，该物理距离与∆k相关联。）

需要指出的是，标定关系测算的时候是根据点声源的衰减特性进行换算的，由于实际的场景下声源衰减特性和理想点声源有偏差，转换系数a的大小可以根据实际测试物体的几何特征进行修正。

本发明提供了一种基于双目摄像头和麦克风阵列的三维声源声场重构方法。

所述方法包括以下步骤：

a.利用双目摄像头绘制目标声源的空间三维模型，同时利用麦克风阵列从一角度测量所述目标声源的二维声场分布以得到所述目标声源的二维声场能量分布图像P(x,y,l)，其中x，y表示所述二维声场能量分布图像的像素点坐标，l表示所述像素点处声源强度；

b.将所述二维声场能量分布图像映射为深度图像P(x,y,k)，其中k为所述像素点的深度；

c.基于所述双目摄像头的位置数据对所述深度图像P(x,y,k)进行换算得到全局坐标下的点云坐标数据；

d.多次变化所述角度，每次变化角度后重新执行步骤a-c，得到多个所述点云坐标数据；

e.利用多个所述点云坐标数据重建所述目标声源的三维声场模型；

f.将所述重建的三维声场模型和所述双目摄像头所绘制的空间三维模型进行融合，在三维空间中呈现所述目标声源的分布状态。

在一个实施例中，步骤b包括以下子步骤：

利用所述双目摄像头绘制的所述空间三维模型的深度数据求取基准深度k₀；

确定所述二维声场能量分布图像P(x,y,l)中的边缘的声源强度最小值L_min和声源强度最大值L_max，用公式∆l＝l – (L_max-L_min)/2对所述二维声场能量分布图像P(x,y,l)进行能量差值的换算，得到P(x,y,∆l)；

按照二维声源声场能量衰减与物理距离的标定关系对P(x,y,∆l)进行换算，得到相对深度图P(x,y,∆k)，其中，∆k表示所述像素点的深度与所述基准深度k₀的深度差；

用所述基准深度k₀对所述相对深度图P(x,y,∆k)进行修正得到所述深度图像P(x,y,k)。

在一个实施例中，所述基准深度k₀取所述空间三维模型的几何中心点。

在一个实施例中，所述用所述基准深度k₀对所述相对深度图P(x,y,∆k)进行修正得到所述深度图像P(x,y,k)的步骤包括：

利用修正公式k= k₀+∆k对所述相对深度图P(x,y,∆k)进行修正得到所述深度图像P(x,y,k)。

在一个实施例中，所述二维声场能量分布图像P(x,y,l)基于声源定位算法得到。

在一个实施例中，所述声源定位算法为波束形成类算法。

在一个实施例中，所述二维声源声场能量衰减与∆l相关联，所述物理距离与∆k相关联。

在一个实施例中，所述二维声源声场能量衰减和物理距离的标定关系按以下方式得到：

使用点声源，在单位距离1米下进行标定；

由于所述点声源的球面衰减特性，所述二维声源声场能量衰减和物理距离的标定关系如下：

其中：

（x_i,y_j）表示二维声场能量分布图像边缘点坐标；

（x₀,y₀）表示二维声场能量分布图像最大值坐标，即声源中心坐标；

N表示所有计算的边缘坐标点的数量；

d表示所述二维声场能量分布图像边缘点坐标与所述声源中心坐标之间的距离与所述物理距离之间的换算参数，所述换算参数通过实际测量得到；

∆l表示所述声源中心坐标与所述二维声场能量分布图像边缘点坐标的云图能量差值，∆l与所述声源能量衰减相关联；

a表示所述声源能量衰减值和物理距离之间的转换系数；

表示标定时声源能量衰减

时所对应的实际的所述物理距离，所述物理距离与∆k相关联。

在一个实施例中，所述转换系数a的大小根据实际测试物体的几何特征进行修正。

本发明还提供了一种基于双目摄像头和麦克风阵列的三维声源声场重构系统，包括：

双目摄像头；

麦克风阵列；

存储器；以及

与所述双目摄像头、所述麦克风阵列以及所述存储器连接的处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行上述三维声源声场重构方法。

本发明提供的基于双目摄像头和麦克风阵列的三维声源声场重构方法及系统在管道设施检修领域的应用尤为突出，能实现对阀门内漏、管道节流以及管道密封失效泄漏点的快速而准确的定位，从而大大提高检修效率并提升安全生产水平。

除非权利要求中明确说明，本申请所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。

同理，应当注意的是，为了简化本申请披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本申请实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本申请对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

本申请使用了特定词语来描述本申请的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

这里采用的术语和表述方式只是用于描述，本发明并不应局限于这些术语和表述。使用这些术语和表述并不意味着排除任何示意和描述(或其中部分)的等效特征，应认识到可能存在的各种修改也应包含在权利要求范围内。其他修改、变化和替换也可能存在。相应的，权利要求应视为覆盖所有这些等效物。

同样，需要指出的是，虽然本发明已参照当前的具体实施例来描述，但是本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，在没有脱离本发明精神的情况下还可做出各种等效的变化或替换，因此，只要在本发明的实质精神范围内对上述实施例的变化、变型都将落在本申请的权利要求书的范围内。

Claims (10)

1.一种三维声源声场重构方法，其特征在于，所述方法包括以下步骤：

a.利用双目摄像头绘制目标声源的空间三维模型，同时利用麦克风阵列从一角度测量所述目标声源的二维声场分布以得到所述目标声源的二维声场能量分布图像P(x,y,l)，其中x，y表示所述二维声场能量分布图像的像素点坐标，l表示所述像素点处声源强度；

b.将所述二维声场能量分布图像映射为深度图像P(x,y,k)，其中k为所述像素点的深度；

c.基于所述双目摄像头的位置数据对所述深度图像P(x,y,k)进行换算得到全局坐标下的点云坐标数据；

d.多次变化所述角度，每次变化角度后重新执行步骤a-c，得到多个所述点云坐标数据；

e.利用多个所述点云坐标数据重建所述目标声源的三维声场模型；

f.将所述重建的三维声场模型和所述双目摄像头所绘制的空间三维模型进行融合，在三维空间中呈现所述目标声源的分布状态。

2.如权利要求1所述的三维声源声场重构方法，其特征在于，步骤b包括以下子步骤：

利用所述双目摄像头绘制的所述空间三维模型的深度数据求取基准深度k₀；

确定所述二维声场能量分布图像P(x,y,l)中的边缘的声源强度最小值L_min和声源强度最大值L_max，用公式∆l＝l – (L_max-L_min)/2对所述二维声场能量分布图像P(x,y,l)进行能量差值的换算，得到P(x,y,∆l)；

按照二维声源声场能量衰减与物理距离的标定关系对P(x,y,∆l)进行换算，得到相对深度图P(x,y,∆k)，其中，∆k表示所述像素点的深度与所述基准深度k₀的深度差；

用所述基准深度k₀对所述相对深度图P(x,y,∆k)进行修正得到所述深度图像P(x,y,k)。

3.如权利要求2所述的三维声源声场重构方法，其特征在于，所述基准深度k₀取所述空间三维模型的几何中心点。

4.如权利要求2所述的三维声源声场重构方法，其特征在于，所述用所述基准深度k₀对所述相对深度图P(x,y,∆k)进行修正得到所述深度图像P(x,y,k)的步骤包括：

利用修正公式k= k₀+∆k对所述相对深度图P(x,y,∆k)进行修正得到所述深度图像P(x,y,k)。

5.如权利要求1所述的三维声源声场重构方法，其特征在于，所述二维声场能量分布图像P(x,y,l)基于声源定位算法得到。

6.如权利要求5所述的三维声源声场重构方法，其特征在于，所述声源定位算法为波束形成类算法。

7.如权利要求2所述的三维声源声场重构方法，其特征在于，所述二维声源声场能量衰减与∆l相关联，所述物理距离与∆k相关联。

8.如权利要求2所述的三维声源声场重构方法，其特征在于，所述二维声源声场能量衰减和物理距离的标定关系按以下方式得到：

使用点声源，在单位距离1米下进行标定；

由于所述点声源的球面衰减特性，所述二维声源声场能量衰减和物理距离的标定关系如下：

其中：

（x_i,y_j）表示二维声场能量分布图像边缘点坐标；

（x₀,y₀）表示二维声场能量分布图像最大值坐标，即声源中心坐标；

N表示所有计算的边缘坐标点的数量；

d表示所述二维声场能量分布图像边缘点坐标与所述声源中心坐标之间的距离与所述物理距离之间的换算参数，所述换算参数通过实际测量得到；

∆l表示所述声源中心坐标与所述二维声场能量分布图像边缘点坐标的云图能量差值，∆l与所述声源能量衰减相关联；

a表示所述声源能量衰减值和物理距离之间的转换系数；

表示标定时声源能量衰减

时所对应的实际的所述物理距离，所述物理距离与∆k相关联。

9.如权利要求8所述的三维声源声场重构方法，其特征在于，所述转换系数a的大小根据实际测试物体的几何特征进行修正。

10.一种三维声源声场重构系统，包括：

双目摄像头；

麦克风阵列；

存储器；以及

与所述双目摄像头、所述麦克风阵列以及所述存储器连接的处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行如权利要求1至9任一项所述的三维声源声场重构方法。

Images