CN112488048B - 一种基于深度学习及随机阵列的声信号差分特征融合方法 - Google Patents

一种基于深度学习及随机阵列的声信号差分特征融合方法 Download PDF

Info

Publication number
CN112488048B
CN112488048B CN202011483184.3A CN202011483184A CN112488048B CN 112488048 B CN112488048 B CN 112488048B CN 202011483184 A CN202011483184 A CN 202011483184A CN 112488048 B CN112488048 B CN 112488048B
Authority
CN
China
Prior art keywords
array
differential
dimension
signal
signals
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011483184.3A
Other languages
English (en)
Other versions
CN112488048A (zh
Inventor
周乾伟
陶俊
王浩杰
李宝清
吴延壮
胡海根
李小薪
管秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202011483184.3A priority Critical patent/CN112488048B/zh
Publication of CN112488048A publication Critical patent/CN112488048A/zh
Application granted granted Critical
Publication of CN112488048B publication Critical patent/CN112488048B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/14Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08Feature extraction
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Optimization (AREA)
  • Health & Medical Sciences (AREA)
  • Pure & Applied Mathematics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

一种基于深度学习及随机阵列的声信号差分特征融合方法,包括波束成形方法和波达方向估计方法,波束成形方法的过程为:输入空间矩阵;空间矩阵通过系数估计CNN得到差分卷积核;构建随机声阵列输入声信号;将声信号变换成频域信号输入随机阵列模拟器;将信号输入差分卷积网络;根据多种选取模式,以取平均的方式完成差分特征提取;处理完成后输入空间滤波CNN,给出结果;波达方向估计方法的过程和波束成形方法总体相似,其中差分卷积核不接受提供的卷积核而是自行初始化;通过波达估计CNN而不是空间滤波CNN输出空间矩阵的估计。本发明通过深度学习的方法提高波达方向估计精度和波束成形的指向性。

Description

一种基于深度学习及随机阵列的声信号差分特征融合方法
技术领域
本发明涉及密集阵列领域,尤其是涉及一种基于深度学习及随机阵列的声信号差分特征融合方法。
背景技术
近年来,随着深度学习的发展,在波达方向估计及波束成形方面涌现了不少使用神经网络的相关研究报道。这些研究成果表明,使用深度神经网络能够在一些极端条件下达到很好的效果。这些极端条件包括微小孔径或阵元数有限、干扰严重、阵型多变不规则等。现阶段的差分阵列与卷积神经网络具有极高的相似性,可以轻易地用卷积神经网络进行实现,所以使用神经网络处理阵列信号是完全可行的。如果涉及的密集阵列具有孔径微小,阵元间距极小,所处理的声信号频率低,带宽大等特点,那么传统阵列算法难当重任。由于密集阵列具有大量密集排列的阵元,如采用深度神经网络这种便于并行化的算法,则可以极大的加速阵列的定向定位速度。
发明内容
为了克服已有方法在密集阵列上能力不足的问题,本发明提供一种基于深度学习及随机阵列的声信号差分特征融合方法,利用密集阵列的冗余特性降低噪声,可以提高波达方向估计精度和波束成形的指向性。
本发明解决其技术问题所采用的技术方案是:
一种基于深度学习及随机阵列的声信号差分特征融合方法,所述方法包括波束成形方法和波达方向估计方法,波束成形方法步骤如下:
1.1)输入空间矩阵,空间矩阵将需要探测的空间方位离散成1000×1000个方位,矩阵垂直轴为俯仰角,水平轴为水平角;
1.2)空间矩阵通过系数估计CNN得到三个3×3的差分卷积核,这些卷积核将被用于差分卷积中,其中系数估计CNN可采用常规的卷积+批归一化+RELU的结构形式;
1.3)通过随机阵列构建声阵列,输入阵列采集到的声信号,信号按照快拍分帧,假设每个快拍有C个采样点,那么阵列信号一帧的维度为C×10×10(假设阵列由10×10个阵元组成),即有C个通道,每个通道的维度为10×10;
1.4)将阵列信号进行傅里叶变换成复数形式的频域信号,所以信号维度增长为2C×10×10,其中前C个通道存储复数的实部,后C个通道存储复数的虚部;
1.5)将通过傅里叶变换的信号通过随机阵列模拟器,随机阵列模拟器根据预先选取好的子阵模式,保留选中的阵元的数据,其他阵元的数据均设为0;
1.6)将通过随机阵列模拟器的信号输入差分卷积网络,卷积核使用空间矩阵输入的差分卷积核,随后的残差模块则使用常规的卷积+批归一化+ReLU结构,用于模拟差分波束成形中的均衡滤波器;
1.7)根据多种的选取模式,在差分卷积网络处理完后,以取平均的方式完成差分特征提取,输出信号维度为2C×4×4;
1.8)处理完成后输入空间滤波CNN,给出空间滤波后的结果,输出信号维度为2C,其中空间滤波CNN可采用常规的深度卷积神经网络结构,作用为归纳总结所获得的特征;
波达方向估计步骤如下:
2.1)通过随机阵列构建声阵列,输入阵列采集到的声信号,信号按照快拍分帧,假设每个快拍有C个采样点,那么阵列信号一帧的维度为C×10×10(假设有10×10个阵元),即有C个通道,每个通道的维度为10×10;
2.2)将阵列信号进行傅里叶变换成复数形式的频域信号,所以信号维度增长为2C×10×10,其中前C个通道存储复数的实部,后C个通道存储复数的虚部;
2.3)将通过傅里叶变换的信号通过随机阵列模拟器,随机阵列模拟器根据预先选取好的子阵模式,保留选中的阵元的数据,其他阵元的数据均设为0;
2.4)将通过随机阵列模拟器的信号输入差分卷积网络,差分卷积核由网络自动随机初始化生成,大小为3×3,随后的残差模块则使用常规的卷积+批归一化+ReLU结构,用于模拟差分波束成形中的均衡滤波器;
2.5)根据多种的选取模式,在差分卷积网络处理完后,以取平均的方式完成差分特征提取,输出信号维度为2C×4×4;
2.6)处理完成后输入波达估计CNN,波达估计CNN可采用反卷积网络层,配合批归一化和ReLU逐步减小通道数,并且同时扩大特征图尺寸,最后输出维度为1000×1000的空间矩阵的估计。
本发明的有益效果主要表现在:通过深度神经网络对阵列信号处理,在密集声阵列的波达方向估计和波束成形方面取得了不错的结果。
附图说明
图1为本发明基于深度学习及随机阵列的声信号差分特征融合方法的主要结构示意图。
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1,一种基于深度学习及随机阵列的声信号差分特征融合方法,分为波束成形方法和波达方向估计方法,波束成形方法步骤如下:
1.1)输入空间矩阵,空间矩阵将需要探测的空间方位离散成1000×1000个方位,矩阵垂直轴为俯仰角,水平轴为水平角;如若水平角和俯仰角的探测范围均为[-60°,60°),那么如果需要一个波束指向水平角-30°、俯仰角0°,则需要将空间矩阵处于第250列、第500行的元素设置为1。
1.2)空间矩阵通过系数估计CNN得到三个3×3的差分卷积核,这些卷积核将被用于差分卷积中,其中系数估计CNN可采用常规的卷积+批归一化+RELU的结构形式,具体配置需要实测才能确定;
1.3)通过随机阵列构建声阵列,输入阵列采集到的声信号,信号按照快拍分帧,假设每个快拍有C个采样点,那么阵列信号一帧的维度为C×10×10(假设阵列由10×10个阵元组成),即有C个通道,每个通道的维度为10×10;
1.4)将阵列信号进行傅里叶变换成复数形式的频域信号,所以信号维度增长为2C×10×10,其中前C个通道存储复数的实部,后C个通道存储复数的虚部;
1.5)将通过傅里叶变换的信号通过随机阵列模拟器,随机阵列模拟器根据预先选取好的子阵模式,保留选中的阵元的数据,其他阵元的数据均设为0;选取模式可以有很多种,通常为预先随机产生且在随后的训练及测试环节保持不变。选取模式中标记了约10%的阵元为需要屏蔽的对象,以此实现不同的阵列流行。图1中随机阵列模拟器给出了3个输出,说明其中预设了3种选取器,实际使用中选取模式可以大于3个,而且允许手工设计。选取后的信号经由3个差分卷积网络组处理后以取平均的方式完成差分特征提取。
1.6)将通过随机阵列模拟器的信号输入差分卷积网络,卷积核使用空间矩阵输入的差分卷积核,随后的残差模块则使用常规的卷积+批归一化+ReLU结构,用于模拟差分波束成形中的均衡滤波器;
1.7)根据多种的选取模式,在差分卷积网络处理完后,以取平均的方式完成差分特征提取,输出信号维度为2C×4×4;
1.8)处理完成后输入空间滤波CNN,空间滤波CNN可采用常规的深度卷积神经网络结构,作用为归纳总结所获得的特征,给出空间滤波后的结果,输出信号维度为2C;
然后进行波达方向估计方法,具体步骤如下:
2.1)通过随机阵列构建声阵列,输入阵列采集到的声信号,信号按照快拍分帧,假设每个快拍有C个采样点,那么阵列信号一帧的维度为C×10×10(假设阵列由10×10个阵元组成),即有C个通道,每个通道的维度为10×10;
2.2)将阵列信号进行傅里叶变换成复数形式的频域信号,所以信号维度增长为2C×10×10,其中前C个通道存储复数的实部,后C个通道存储复数的虚部;
2.3)将通过傅里叶变换的信号通过随机阵列模拟器,随机阵列模拟器根据预先选取好的子阵模式,保留选中的阵元的数据,其他阵元的数据均设为0;
2.4)将通过随机阵列模拟器的信号输入差分卷积网络,差分卷积核由网络自动随机初始化生成,大小为3×3。该卷积核只能完成通道内部的特征图上的卷积操作,若卷积核中间系数为正,其他系数为负,则能够很好的模拟差分波束成形中的延时差分操作。随后的残差模块则使用常规的卷积+批归一化+ReLU结构,用于模拟差分波束成形中的均衡滤波器;
2.5)根据多种的选取模式,在差分卷积网络处理完后,以取平均的方式完成差分特征提取,输出信号维度为2C×4×4;
2.6)处理完成后输入波达估计CNN,波达估计CNN可采用反卷积网络层,配合批归一化和ReLU逐步减小通道数,并且同时扩大特征图尺寸最后输出维度为1000×1000的空间矩阵的估计。
另外,波束成形网络的损失函数为空间滤波结果对期望信号的均方误差。该期望信号能够很方便的使用阵列的导向矢量计算得到,是混合了多个波束方向的来波的频域信号。波达方向估计网络的损失函数为空间矩阵的估计值与真实值的均方差。与波束成形网络类似,波达方向估计网络在原理上并不限制能同时估计的波达方向的数量。
以上通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点和功效。本发明还可以通过另外不同的具体实例方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互结合。
需要说明的是,以上实施例中所提供的图示仅以示意方式说明本发明的基本构想,遂图示中仅显示与本发明中有关的组件而非按照实际实施时的组件数目绘制,其实际实施时各组件的数量及比例可为一种随意的改变。

Claims (1)

1.一种基于深度学习及随机阵列的声信号差分特征融合方法,其特征在于:所述方法包括波束成形方法和波达方向估计方法,波束成形方法步骤如下:
1.1)输入空间矩阵,空间矩阵将需要探测的空间方位离散成1000×1000个方位,矩阵垂直轴为俯仰角,水平轴为水平角;
1.2)空间矩阵通过系数估计CNN得到三个3×3的差分卷积核,这些卷积核将被用于差分卷积中,其中系数估计CNN采用常规的卷积+批归一化+ReLU的结构形式;
1.3)通过随机阵列构建声阵列,输入阵列采集到的声信号,信号按照快拍分帧,假设每个快拍有C个采样点,那么阵列信号一帧的维度为C×10×10,即有C个通道,每个通道的维度为10×10;
1.4)将阵列信号进行傅里叶变换成复数形式的频域信号,所以信号维度增长为2C×10×10,其中前C个通道存储复数的实部,后C个通道存储复数的虚部;
1.5)将通过傅里叶变换的信号通过随机阵列模拟器,随机阵列模拟器根据预先选取好的子阵模式,保留选中的阵元的数据,其他阵元的数据均设为0;
1.6)将通过随机阵列模拟器的信号输入差分卷积网络,卷积核使用空间矩阵输入的差分卷积核,随后的残差模块则使用常规的卷积+批归一化+ReLU结构,用于模拟差分波束成形中的均衡滤波器;
1.7)根据多种的选取模式,在差分卷积网络处理完后,以取平均的方式完成差分特征提取,输出信号维度为2C×4×4;
1.8)处理完成后输入空间滤波CNN,空间滤波CNN可采用常规的深度卷积神经网络结构,作用为归纳总结所获得的特征,给出空间滤波后的结果,输出信号维度为2C;
波达方向估计步骤如下:
2.1)通过随机阵列构建声阵列,输入阵列采集到的声信号,信号按照快拍分帧,假设每个快拍有C个采样点,那么阵列信号一帧的维度为C×10×10,即有C个通道,每个通道的维度为10×10;
2.2)将阵列信号进行傅里叶变换成复数形式的频域信号,所以信号维度增长为2C×10×10,其中前C个通道存储复数的实部,后C个通道存储复数的虚部;
2.3)将通过傅里叶变换的信号通过随机阵列模拟器,随机阵列模拟器根据预先选取好的子阵模式,保留选中的阵元的数据,其他阵元的数据均设为0;
2.4)将通过随机阵列模拟器的信号输入差分卷积网络,差分卷积核由网络自动随机初始化生成,大小为3×3,随后的残差模块则使用常规的卷积+批归一化+ReLU结构,用于模拟差分波束成形中的均衡滤波器;
2.5)根据多种的选取模式,在差分卷积网络处理完后,以取平均的方式完成差分特征提取,输出信号维度为2C×4×4;
2.6)处理完成后输入波达估计CNN,波达估计CNN采用反卷积网络层,配合批归一化和ReLU逐步减小通道数,并且同时扩大特征图尺寸最后输出维度为1000×1000的空间矩阵的估计。
CN202011483184.3A 2020-12-16 2020-12-16 一种基于深度学习及随机阵列的声信号差分特征融合方法 Active CN112488048B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011483184.3A CN112488048B (zh) 2020-12-16 2020-12-16 一种基于深度学习及随机阵列的声信号差分特征融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011483184.3A CN112488048B (zh) 2020-12-16 2020-12-16 一种基于深度学习及随机阵列的声信号差分特征融合方法

Publications (2)

Publication Number Publication Date
CN112488048A CN112488048A (zh) 2021-03-12
CN112488048B true CN112488048B (zh) 2024-03-22

Family

ID=74918057

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011483184.3A Active CN112488048B (zh) 2020-12-16 2020-12-16 一种基于深度学习及随机阵列的声信号差分特征融合方法

Country Status (1)

Country Link
CN (1) CN112488048B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114114140B (zh) * 2021-10-26 2024-05-17 深圳大学 阵列信号doa估计方法、装置、设备及可读存储介质
CN115131572A (zh) * 2022-08-25 2022-09-30 深圳比特微电子科技有限公司 一种图像特征提取方法、装置和可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101051083A (zh) * 2006-04-07 2007-10-10 中国科学院声学研究所 一种二维波达方向估计声纳信号处理方法
CN109471086A (zh) * 2018-10-18 2019-03-15 浙江大学 基于多采样快拍和集阵列信号离散傅里叶变换的互质mimo雷达波达方向估计方法
CN109712611A (zh) * 2018-12-28 2019-05-03 苏州思必驰信息科技有限公司 联合模型训练方法及系统
CN110764053A (zh) * 2019-10-22 2020-02-07 浙江大学 一种基于水下传感器网络的多目标被动定位方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101051083A (zh) * 2006-04-07 2007-10-10 中国科学院声学研究所 一种二维波达方向估计声纳信号处理方法
CN109471086A (zh) * 2018-10-18 2019-03-15 浙江大学 基于多采样快拍和集阵列信号离散傅里叶变换的互质mimo雷达波达方向估计方法
CN109712611A (zh) * 2018-12-28 2019-05-03 苏州思必驰信息科技有限公司 联合模型训练方法及系统
CN110764053A (zh) * 2019-10-22 2020-02-07 浙江大学 一种基于水下传感器网络的多目标被动定位方法

Also Published As

Publication number Publication date
CN112488048A (zh) 2021-03-12

Similar Documents

Publication Publication Date Title
CN112488048B (zh) 一种基于深度学习及随机阵列的声信号差分特征融合方法
CN107703486B (zh) 一种基于卷积神经网络cnn的声源定位方法
CN111415676B (zh) 一种基于分离矩阵初始化频点选择的盲源分离方法及系统
CN109490822B (zh) 基于ResNet的语音DOA估计方法
CN106093921B (zh) 基于稀疏分解理论的声矢量阵宽带测向方法
CN107092004B (zh) 基于信号子空间旋转不变性的互质阵列波达方向估计方法
CN112904279B (zh) 基于卷积神经网络和子带srp-phat空间谱的声源定位方法
CN110515038B (zh) 一种基于无人机-阵列的自适应无源定位装置及实现方法
CN109407046A (zh) 一种基于变分贝叶斯推断的嵌套阵列波达方向角估计方法
CN113111765B (zh) 一种基于深度学习的多语音源计数和定位方法
Saruwatari et al. Blind source separation for speech based on fast-convergence algorithm with ICA and beamforming.
CN109507636B (zh) 基于虚拟域信号重构的波达方向估计方法
CN107330425A (zh) 一种基于压缩协方差矩阵感知的鲁棒阵列波束形成方法
CN110297209A (zh) 一种基于平行互质阵列时空扩展的二维波达方向估计方法
CN113376576A (zh) 基于小孔径麦克风阵列的声源定位传感器的定位方法
CN103323810B (zh) 一种l阵方位角和俯仰角配对的信号处理方法
CN113593596B (zh) 一种基于子阵划分的鲁棒自适应波束形成定向拾音方法
CN112201276B (zh) 基于TC-ResNet网络的麦克风阵列语音分离方法
CN116227553A (zh) 基于卷积神经网络的声源定位的方法及系统
Mazur et al. Robust room equalization using sparse sound-field reconstruction
CN114371441A (zh) 虚拟阵列波达方向估计方法、装置、产品及存储介质
CN114397620B (zh) 改进和差非均匀阵列的高精度波达方向估计方法
CN115015831B (zh) 一种脉冲噪声和非均匀噪声联合影响下的大规模阵列目标方位估计方法
CN118465682A (zh) 一种波达方向估计方法及系统
CN114114187B (zh) 网格失配情况下基于深度展开admm网络测向方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant