CN114578289B - 一种高分辨率谱估计声阵列成像方法 - Google Patents

Abstract

本发明公开一种高分辨率谱估计声阵列成像方法，包括：对麦克风阵列接收的声音信号进行快速傅里叶变换，得到频域数据；通过恒定束宽波束形成器确定高分辨区域和低分辨率区域；通过延时求和波束形成器计算低分辨率声压分布；在高分辨率区域，对低分辨率声压分布进行排序，聚焦声源位置点附近，提升分辨率后再计算空间谱分布，如此循环迭代最终达到目标空间高分辨率；对声源高分辨率空间谱进行频率点能量排序，聚焦声源频率点附近，提升频率分辨率，计算非整数数字傅里叶变换，计算频率谱，如此循环迭代最终达到目标频率高分辨率。利用本发明，可以有效减小环境噪声区域的声压分布计算，得到声源附近高分辨率的空间和频率声像图分布。

Description

一种高分辨率谱估计声阵列成像方法

技术领域

本发明涉及声学成像领域，尤其涉及一种高分辨率谱估计声阵列成像方法。

背景技术

工业生产中关键生产设备的运行状态直接影响着产品的质量和生产效率，甚至威胁到生命财产安全。声音作为对于关键生产设备进行监控的一种重要手段，已经在电力、化工、矿山等生产环境大量使用，例如电力巡检需要通过声音检测绝缘子是否有高频放电以及确定放电位置，从而排除安全隐患。对于此类需求，声学成像仪作为一种可视化的声学检测工具已经用在越来越多的安全监测和巡检场景。声学成像仪把摄像头和多个同步采样的麦克风集成在一起，摄像头采集视频，麦克风阵列采集声音，通过算法处理在视频画面上计算每一个位置不同频率范围的声压大小，并以颜色深浅来表示。从声学成像仪上能很方便的定位异常声源位置，同时测量出异常声音的分贝和频率。

声学成像仪最重要的指标就是声压分布的位置分辨率和频率分辨率，然而位置分辨率和频率分辨率越高，带来的计算量也越大。一般声学成像仪先通过减小位置分辨率和频率分辨率，计算离散点的声压级来获得一个粗略估计，然后通过线性插值的方法，填充更高分辨率的位置点和频点。对于环境噪音，这种做法影响不大，但是对于目标声源，这种做法不能给出目标声源点空间位置和频率的准确估计。

发明内容

为解决以上现有技术存在的问题，本发明提出一种高分辨率谱估计声阵列成像方法，以较低的算力实现了目标声源高分辨率空间谱和频谱谱估计。

本发明可通过以下技术方案予以实现：

一种高分辨率谱估计声阵列成像方法，包括以下步骤：

1)通过含M个麦克风的麦克风阵列接收声音信号；

2)对所述麦克风阵列接收的声音信号进行时域转频域处理：对所述麦克风阵列收集的声音信号进行快速傅里叶变换；

3)多区域恒定束宽波束形成处理；

4)高分辨率候选区域和低分辨率后续区域选择：根据波束形成的输出，计算工作频率范围内每一个区域的能量，通过能量排序选取高分辨率候选区域和低分辨率候选区域；

5)粗分辨率延时求和波束形成：分别对高分辨率和低分辨率的区域进行一个粗分辨率的延时求和波束形成处理；

6)高分辨率待选区域空间分辨率迭代：计算工作频率范围内所述步骤5)得到的粗分辨率延时求和波束形成能量输出，获得空间谱估计，通过能量排序，确定高能量位置点，进行分辨率网格拆分，扩充空间分辨率，再使用延时求和滤波器计算空间谱，选出高能量位置点，进行分辨率网格拆分，获得更高的分辨率，如此循环往复，直到达到目标的高分辨率空间谱；

7)目标声源位置高分辨率频谱迭代：获得所述步骤6)的高分辨空间谱后，选取待频率扩充的空间位置点，计算每个频点的能量，通过能量排序，选取待扩充的高分辨频谱区域，进行频率分辨率扩充，通过非整数离散傅里叶变换计算空间谱，然后通过能量排序，确定待频率扩充的频率点，进行进一步扩充，如此循环往复，直到达到目标的高分辨率频率谱；

8)空间谱和频率谱插值填充：对于未进行频率扩充精细计算的空间点和频率点，为了达到高分辨率的声像图输出，采用空间和频率插值的方式，实现目标的高分辨率空间谱和频率谱估计；

9)高分辨空间谱和频率合成：将实际计算的高分辨率区域的高分辨率空间谱和频率谱和通过插值得到空间谱和频率谱进行整合，获得最终的自适应聚焦的高分辨率空间谱声学成像图。

进一步地，所述步骤2)的具体实现方法为：首先将麦克风阵列收集的时域语音信号进行分帧，通过傅立叶变换转换为频域语音信号；假设第m个麦克风拾取到的第l帧语音信号表示为[x_m((l-1)*N+1)，…，x_m(l*N)]^T，其中N表示帧长，那么频域信号表示为

x_m(l)＝FFT{[x_m((l-1)*N+1)，…，x_m(l*N)]^T} (3)

其中x_m(l)＝[x_m(0，l)，…，x_m(k，l)，…，x_m(2/N，l)]^T是(N/2+1)×1列矢量，包含(N/2+1)个频点信号值，第k个频点代表的频率为f_k；假设M个麦克风拾取到的声音信号表示为x(f_k，l)＝[x₁(f_k，l)，…，x_M(f_k，l)]，其中x(f_k，l)是M×1的列矢量，x_m(f_k，l)表示第m个麦克风信号在第l帧的f_k频率的信号值；由于只关注每一帧的输出，一般情况下，可以忽略掉帧计数l，第k个频点的麦克风阵列信号表示为x(f_k)。

进一步地，所述步骤3)具体为：将摄像头拍摄区域进行空间分割，每个区域包含一定范围的方位角和俯仰角方位，根据方位角和俯仰角范围进行恒定束宽波束形成设计。

进一步地，所述步骤4)具体实现方法为：获得每个区域的恒定束宽波束形成输出后，将待选频谱范围(f_min～f_max)内所有的频谱能量求和，获得每个区域的能量综合，计算公式如下：

上式中P_n表示第n个区域波束输出的能量总和，w_n(f_k)是第n个区域波束第k个频点的恒定波束形成系数，f_min表示待选频率范围的最小值对应的频率，f_max表示待选频率范围的最大值对应的频率，通过能量排序，将能量较高的区域挑出来，获得高分辨率候选区域和低分辨率后续区域。

进一步地，所述步骤5)中，对于粗分辨率的每个位置点，分别对应不同的方位角和俯仰角，可以通过延时求和波束形成算法，求出该位置点的所选频谱范围的能量总和，

每个位置点的延时求和波束形成的权重计算公式如下：

其中

为粗分辨率下导向矢量a对应的方位角和俯仰角，然后通过计算能量获得粗分辨率的声像图，计算公式如下所示

其中f_k表示第k个频率点对应的频率，f_min表示待选频率范围的最小值对应的频率，f_max

表示待选频率范围的最大值对应的频率，相对恒定束宽波束形成算法，该算法需要在每个分辨率位置点计算，获得该空间分辨率下的声像图能量分布。

进一步地，所述步骤6)中，获得粗分辨率的声像图能量分布后，待选的高分辨率区域通过延时求和波束形成能量排序可以获得存在声源点的位置信息，将这些位置点挑选出来，在这些位置点进行更高分辨率的位置点扩充，通过延时求和波束形成计算这些更高分辨率的位置点能量，然后再进行能量排序，如此循环往复，最终获得声源位置附近的目标高分辨率声像图分布。

进一步地，所述步骤7)中为：由于信号是实数，经过离散傅里叶变换(DFT)计算后，频域信号前一半后一半共轭对称，因此只需要取前一半，DFT计算公式如下：

其中x[n]表示长度为N的序列，X[k]表示长度为N的DFT变换，由于第k个频点代表的频率是

(f_s表示采样频率，N表示DFT帧长)，可以得到

带入DFT公式可以得到

上述运算中f可以取任意频率(0≤f≤f_s/2)，即可得到更高分辨率的频点。

有益效果

相对于传统的插值扩充法或者以高算力直接计算实现的高分辨率空间和频率谱估计，本发明以较低的算力代价实现了声学成像仪对目标声源高分辨的空间谱和频率谱估计，具有重要的工程和社会意义。

附图说明

图1为本发明流程图；

图2为方位角、俯仰角示意图；

图3为空间分辨率迭代示意图；

图4为频率分辨率迭代示意图。

具体实施方式

以下通过特定的具体实施例说明本发明的实施方式，本领域的技术人员可由本说明书所揭示的内容轻易地了解本发明的其他优点及功效。

本发明的高分辨率谱估计声阵列成像方法先使用较粗的空间分辨率，将摄像头拍摄的画面进行区域分割，对每一个分割区域使用恒定束宽波束形成算法进行估计，然后计算选定频率范围的每一块区域声压能量大小，进行排序，将能量较大的几个区域选取出来，作为高分辨率备选目标区域，剩下区域作为低分辨率区域。对于所有区域先采用较粗的空间分辨率，计算有限的离散点，通过延时求和波束形成器获得粗分辨的空间谱和频率谱。对于备选高分辨率目标区域，可以先用较粗的空间和频率分辨率进行声压级排序，然后将能量较大的几个位置点挑出来，对这几个位置点进行进一步的拆分细化，提升分辨率，获得更精确的能量空间分布，循环往复，最终获得高分辨的空间谱估计。对于声源的高分辨频率分布，可以采用类似的方案，实现高分辨的频率。对于不存在声源的其他区域可直接采用插值的方法扩充到高分辨率，最终获得一个高分辨率的声像图。

具体地，本发明的高分辨率谱估计声阵列成像方法包括以下步骤：

步一：基于麦克风阵列接收声学成像仪信号；

本发明中，声学成像仪基于麦克风阵列(含M个麦克风)用于接收用户语音信号。所述麦克风阵列一般情况下是屏幕阵，可以均匀分布，也可以根据实际应用情况非均匀分布。本发明提出的方案适用于任意麦克风阵型。

步二：对阵列声音信号进行时域转频域处理；

本发明对麦克风阵列收集的声音信号，进行快速傅里叶变换(FFT)，具体实现方法如下所述：

由于语音信号处理一般在频域进行，首先将麦克风阵列收集的时域语音信号进行分帧，通过傅立叶变换(FFT)转换为频域语音信号。假设第m个麦克风拾取到的第l帧语音信号表示为[x_m((l-1)*N+1)，…，x_m(l*N)]^T，其中N表示帧长，那么频域信号表示为

x_m(l)＝FFT{[x_m((l-1)*N+1)，…，x_m(l*N)]^T} (5)

其中x_m(l)＝[x_m(0，l)，…，x_m(k，l)，…，x_m(2/N，l)]^T是(N/2+1)×1列矢量，包含(N/2+1)个频点信号值，第k个频点代表的频率为f_k；假设M个麦克风拾取到的声音信号表示为x(f_k，l)＝[x₁(f_k，l)，…，x_M(f_k，l)]，其中x(f_k，l)是M×1的列矢量，x_m(f_k，l)表示第m个麦克风信号在第l帧的f_k频率的信号值；由于只关注每一帧的输出，一般情况下，可以忽略掉帧计数l，第k个频点的麦克风阵列信号表示为x(f_k)。

步三：多区域恒定束宽波束形成处理；将摄像头拍摄区域进行空间分割，每个区域包含一定范围的方位角和俯仰角方位，根据方位角和俯仰角范围进行恒定束宽波束形成设计，具体实现方法如下所述：首先对摄像头拍摄画幅进行区域划分，划分方法如下示例：

区域1	区域2	区域3	区域4
				区域5	区域6	区域7	区域8
区域9	区域10	区域11	区域12
				区域13	区域14	区域15	区域16

每个区域范围对应一定方位角和俯仰角范围，定义第n个区域覆盖的角度范围为

声学成像仪的麦克风阵列先通过恒定束宽波束形成，设计指向不同区域的波束，然后通过计算信号能量，获得每个区域的能量。

介绍恒定束宽波束形成之前，先计算介绍一下波束形成器定义。

(1)波束形成器

假设波束形成系数w(f_k)＝[w₁(f_k)，…，w_M(f_k)]^T，则固定波束形成器的频响输出表示为

通过调整权重w(f_k)，可以实现指向不同方向的波束。对于入射到阵列上的信号，导向矢量表示为

其中θ表示为声音入射的方位角，

表示为声音入射的俯仰角。图1为方位角、俯仰角示意图。

(2)恒定束宽波束形成器设计

一般情况下不同频率的波束形成主瓣宽度是不一致的，为了保证能拾取每个区域所有频点的能量，首先在各个频点进行恒定束宽设计，相当于在每个频率f_k上求取w(f_k)，时期满足：

式中，

为期望波束在主瓣方向的波束输出，Θ_main为期望的波束的主瓣区域,覆盖目标区域方位和俯仰角范围。具体设计方法如下：

式中，δ_b控制波束的旁瓣电平高度，Θ_side为非主瓣区域。通过凸优化软件，可以求出该区域每个频点对应的权重w(f_k)。

步四：高分辨率候选区域和低分辨率后续区域选择；

根据波束形成的输出，计算工作频率范围内每一个区域的能量，通过能量排序选取高分辨率候选区域和低分辨率候选区域，具体实现方法如下所述：

获得每个区域的恒定束宽波束形成输出后，将待选频谱范围(f_min～f_max)内所有的频谱能量求和，获得每个区域的能量综合，计算公式如下：

上式中P_n表示第n个区域波束输出的能量总和,w_n(f_k)是第n个区域波束第k个频点的恒定波束形成系数，f_min表示待选频率范围的最小值对应的频率，f_max表示待选频率范围的最大值对应的频率，通过能量排序，将能量较高的区域挑出来，获得高分辨率候选区域和低分辨率后续区域。

步五：粗分辨率延时求和波束形成；

分别对高分辨率和低分辨率的区域进行一个粗分辨率的延时求和波束形成处理，具体实现方法如下所述：

恒定束宽波束形成可以用来区分高分辨率和低分辨率区域，但是不能给出粗分辨率位置点的能量分布。

对于粗分辨率的每个位置点，分别对应不同的方位角和俯仰角，可以通过延时求和波束形成算法，求出该位置点的所选频谱范围的能量总和。

每个位置点的延时求和波束形成的权重计算公式如下：

其中

为粗分辨率下导向矢量a对应的方位角和俯仰角。然后通过计算能量获得粗分辨率的声像图，计算公式如下所示

其中f_k表示第k个频率点对应的频率，f_min表示待选频率范围的最小值对应的频率，f_max

表示待选频率范围的最大值对应的频率。相对恒定束宽波束形成算法，该算法需要在每个分辨率位置点计算，获得该空间分辨率下的声像图能量分布。

步六：高分辨率待选区域空间分辨率迭代

具体的，计算工作频率范围内步五得到的粗分辨率延时求和波束形成能量输出，获得空间谱估计，通过能量排序，确定高能量位置点，进行分辨率网格拆分，扩充空间分辨率，再使用延时求和滤波器计算空间谱，选出高能量位置点，进行分辨率网格拆分，获得更高的分辨率。如此循环往复，直到达到目标的高分辨率空间谱。具体实现方法如下所述：

获得粗分辨率的声像图能量分布后，再待选的高分辨率区域通过延时求和波束形成能量排序可以获得存在声源点的位置信息，将这些位置点挑选出来，在这些位置点进行更高分辨率的位置点扩充，通过延时求和波束形成计算这些更高分辨率的位置点能量，然后再进行能量排序，如此循环往复，最终获得声源位置附近的目标高分辨率声像图分布。空间分辨率迭代过程如图3所示。

步七：目标声源位置高分辨率频谱迭代

获得步六的高分辨空间谱后，选取待频率扩充的空间位置点，计算每个频点的能量，通过能量排序，选取待扩充的高分辨频谱区域，进行频率分辨率扩充，通过非整数离散傅里叶变换(DFT)计算空间谱，然后通过能量排序，确定待频率扩充的频率点，进行进一步扩充，如此循环往复，直到达到目标的高分辨率频率谱。获得高分辨率空间谱后，一般还需要对声源的频率分布进行高分辨率分析，前面所述的信号经过FFT处理后，第k个频点代表的实际频率表示为kfs/N，(0≤k≤N/2)，不能获得任意频率的声压级。为了获得更高分辨率，在获得高分辨率空间谱的声源区域，可采用非整数的DFT算法，获得分辨率更高的频谱声压能量分布。

由于信号是实数，经过DFT计算后，频域信号前一半后一半共轭对称，因此只需要取前一半，DFT计算公式如下：

其中x[n]表示长度为N的序列，X[k]表示长度为N的DFT变换。由于第k个频点代表的频率是

(f_s表示采样频率，N表示DFT帧长),可以得到

带入DFT公式可以得到

上述运算中f可以取任意频率(0≤f≤f_s/2)，即可得到更高分辨率的频点。

高分辨率频谱能量分布的迭代过程跟高分辨率空间谱迭代过程类似，首先由步六得到高分辨空间谱分布区间后，在该区域进行能量排序，获得能量最高的待选频率点，然后在这些频率点附近进行非整数的DFT算法，获得频率拆分扩充后的多通道数据，再通过延时求和波束形成计算更高分辨率的声压分布，如此循环迭代，最终达到目标分辨率。频率分辨率迭代示意图如图4所示。

步八：空间谱和频率谱插值填充

对于步五、步六和步七没有实现高分辨率频率区域和空间区域，需要在粗分辨率基础上实现高分辨率声像图的拟合输出，可以采用线性插值的方式进行能量分布填充，用于拟合声像图。

步九：高分辨空间谱和频率合成

将步六和步七获得准确和高分辨率空间谱和频率谱和步八合成的高分辨率空间谱和频率谱进行整合，最终获得一张高分辨的声像图分布。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种高分辨率谱估计声阵列成像方法，其特征在于，包括以下步骤：

1)通过含M个麦克风的麦克风阵列接收声音信号；

2)对所述麦克风阵列接收的声音信号进行时域转频域处理：对所述麦克风阵列收集的声音信号进行快速傅里叶变换；

3)多区域恒定束宽波束形成处理；

4)高分辨率候选区域和低分辨率候选区域选择：根据波束形成的输出，计算工作频率范围内每一个区域的能量，通过能量排序选取高分辨率候选区域和低分辨率候选区域；

5)粗分辨率延时求和波束形成：分别对高分辨率和低分辨率的区域进行一个粗分辨率的延时求和波束形成处理；

6)高分辨率待选区域空间分辨率迭代：计算工作频率范围内所述步骤5)得到的粗分辨率延时求和波束形成能量输出，获得空间谱估计，通过能量排序，确定高能量位置点，进行分辨率网格拆分，扩充空间分辨率，再使用延时求和滤波器计算空间谱，选出高能量位置点，进行分辨率网格拆分，获得更高的分辨率，如此循环往复，直到达到目标的高分辨率空间谱；

7)目标声源位置高分辨率频谱迭代：获得所述步骤6)的高分辨空间谱后，选取待频率扩充的空间位置点，计算每个频点的能量，通过能量排序，选取待扩充的高分辨频谱区域，进行频率分辨率扩充，通过非整数离散傅里叶变换计算空间谱，然后通过能量排序，确定待频率扩充的频率点，进行进一步扩充，如此循环往复，直到达到目标的高分辨率频率谱；

8)空间谱和频率谱插值填充：对于未进行频率扩充精细计算的空间点和频率点，为了达到高分辨率的声像图输出，采用空间和频率插值的方式，实现目标的高分辨率空间谱和频率谱估计；

9)高分辨空间谱和频率合成：将实际计算的高分辨率区域的高分辨率空间谱和频率谱和通过插值得到空间谱和频率谱进行整合，获得最终的自适应聚焦的高分辨率空间谱声学成像图。

2.根据权利要求1所述的高分辨率谱估计声阵列成像方法，其特征在于，所述步骤2)的具体实现方法为：首先将麦克风阵列收集的时域语音信号进行分帧，通过傅立叶变换转换为频域语音信号；假设第m个麦克风拾取到的第l帧语音信号表示为[x_m((l-1)*N+1)，…，x_m(l*N)]^T，其中N表示帧长，那么频域信号表示为

x_m(l)＝FFT{[x_m((l-1)*N+1)，…，x_m(l*N)]^T} (1)

其中x_m(l)＝[x_m(0，l)，…，x_m(k，l)，…，x_m(2/N，l)]^T是(N/2+1)×1列矢量，包含(N/2+1)个频点信号值，第k个频点代表的频率为f_k假设M个麦克风拾取到的声音信号表示为x(f_k，l)＝[x₁(f_k，l)，…，x_M(f_k，l)]，其中x(f_k，l)是M×1的列矢量，x_m(fk，l)表示第m个麦克风信号在第l帧的f_k频率的信号值由于只关注每一帧的输出，一般情况下，可以忽略掉帧计数l，第k个频点的麦克风阵列信号表示为X(f_k)。

3.根据权利要求1所述的高分辨率谱估计声阵列成像方法，其特征在于，所述步骤3)具体为：将摄像头拍摄区域进行空间分割，每个区域包含一定范围的方位角和俯仰角方位，根据方位角和俯仰角范围进行恒定束宽波束形成设计。

4.根据权利要求1所述的高分辨率谱估计声阵列成像方法，其特征在于，所述步骤4)具体实现方法为：获得每个区域的恒定束宽波束形成输出后将待选频谱范围f_min～f_max内所有的频谱能量求和，获得每个区域的能量综合，计算公式如下：

上式中P_n表示第n个区域波束输出的能量总和w_n(f_k)是第n个区域波束第k个频点的恒定波束形成系数，f_min表示待选频率范围的最小值对应的频率，f_max表示待选频率范围的最大值对应的频率，通过能量排序，将能量较高的区域挑出来，获得高分辨率候选区域和低分辨率后续区域。

5.根据权利要求1所述的高分辨率谱估计声阵列成像方法，其特征在于，所述步骤5)中，对于粗分辨率的每个位置点，分别对应不同的方位角和俯仰角，可以通过延时求和波束形成算法，求出该位置点的所选频谱范围的能量总和；

每个位置点的延时求和波束形成的权重计算公式如下：

其中

为粗分辨率下导向矢量a对应的方位角和俯仰角，然后通过计算能量获得粗分辨率的声像图，计算公式如下所示

其中f_min表示待选频率范围的最小值对应的频率，f_max表示待选频率范围的最大值对应的频率，相对恒定束宽波束形成算法，该算法需要在每个分辨率位置点计算，获得该空间分辨率下的声像图能量分布。

6.根据权利要求1所述的高分辨率谱估计声阵列成像方法，其特征在于，所述步骤6)中，获得粗分辨率的声像图能量分布后，待选的高分辨率区域通过延时求和波束形成能量排序可以获得存在声源点的位置信息，将这些位置点挑选出来，在这些位置点进行更高分辨率的位置点扩充，通过延时求和波束形成计算这些更高分辨率的位置点能量，然后再进行能量排序，如此循环往复，最终获得声源位置附近的目标高分辨率声像图分布。

7.根据权利要求1所述的高分辨率谱估计声阵列成像方法，其特征在于，所述步骤7)中为：由于信号是实数，经过DFT计算后，频域信号前一半后一半共轭对称，因此只需要取前一半，DFT计算公式如下：

其中x[n]表示长度为N的序列，X[k]表示长度为N的DFT变换，由于第k个频点代表的频率是

N表示DFT帧长，可以得到

带入DFT公式，并将f_k替换f为可以得到

上述运算中f可以取任意频率，即可得到更高分辨率的频点。

Images