CN110703200B - 基于声学超材料的单通道多声源定位与分离装置及方法 - Google Patents

基于声学超材料的单通道多声源定位与分离装置及方法 Download PDF

Info

Publication number
CN110703200B
CN110703200B CN201910911975.2A CN201910911975A CN110703200B CN 110703200 B CN110703200 B CN 110703200B CN 201910911975 A CN201910911975 A CN 201910911975A CN 110703200 B CN110703200 B CN 110703200B
Authority
CN
China
Prior art keywords
matrix
signal
signals
metamaterial
spherical shell
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910911975.2A
Other languages
English (en)
Other versions
CN110703200A (zh
Inventor
孙雪聪
贾晗
杨军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Acoustics CAS
Original Assignee
Institute of Acoustics CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Acoustics CAS filed Critical Institute of Acoustics CAS
Priority to CN201910911975.2A priority Critical patent/CN110703200B/zh
Publication of CN110703200A publication Critical patent/CN110703200A/zh
Application granted granted Critical
Publication of CN110703200B publication Critical patent/CN110703200B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/18—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
    • G01S5/22—Position of source determined by co-ordinating a plurality of position lines defined by path-difference measurements
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G10L21/028—Voice signal separating using properties of sound source

Abstract

本发明公开了一种基于声学超材料的单通道多声源定位与分离装置，包括：超材料球壳、麦克风、信号采集模块和信号处理模块；所述的超材料球壳包括三层同圆心的半球，每层半球的表面均设置多个尺寸不同的圆孔，圆孔之间无重叠；各层之间设置若干块横向和纵向的隔板；所述的超材料球壳用于对来自三维空间中不同方向的信号进行物理层的编码；所述单通道麦克风置于球壳的球心处；用于拾取被超材料球壳调制的信号；所述信号采集模块用于对麦克风的输出信号进行采集；所述信号处理模块用于存储训练得到的相关参数和字典，还用于利用相关参数和字典对采集的信号进行定位与分离。本发明的装置不需要多通道数据同步采集，系统简单，便携性更强，也更易操控。

Description

基于声学超材料的单通道多声源定位与分离装置及方法
技术领域
本发明涉及声源定位与分离领域，特别涉及基于声学超材料的单通道多声源定位与分离装置及方法。
背景技术
在人工系统中，声源定位和分离的传统方法常常需要使用两个及以上的麦克风，该方法的定位和分离的精度往往受到阵列物理尺寸和麦克风个数的限制，不仅不便于安装和操控，处理多通道信号的计算成本往往也很大，导致在一些特殊场合无法得到应用。而对诸如人等许多生物体而言，仅依靠两只耳朵就能完成高精度的定位和分离任务,甚至只需要一只耳朵。导致这种差异的原因主要有两个：首先，人的耳朵并不像麦克风一样是直接裸露在空气中的，声波到达耳膜之前会受到头部、肩膀、外耳和耳道等一系列散射作用，由于这些结构是不规则的，因此最终收到的来自空间各个方向的信号也就具有了差异性，而人脑正是基于这样的差异性完成后续的定位和分离任务的，上述散射过程被建模为头部相关传递函数(Head-related transfer function,HRTF)。其次，人脑有很强的学习能力，可以基于自己多年的听音经验所获得的先验知识，对声音进行定位和分离。心理学研究还发现，与成人相比婴儿的单耳定位能力较差，这可能就是因为婴儿的听音经验较少，还无法很好的获得典型声音的先验知识。
因此，受上述滤波机制启发，可以为麦克风加上外壳并结合与之相适应的重建算法实现单通道定位与分离。所述的麦克风外壳需要打破单麦克风原有的全指向特性，使得整个系统的频响函数随方向改变而改变。近几年，声学超材料(Acoustic metamaterials)因其非凡的声波调制能力而受到了广泛关注，它可以用于通过创建高频率依赖性和空间复杂的测量模式来编码来自不同空间位置的独立声学信号，是制作超材料球壳的首选。所述的重建算法需要为定位分离系统提供一定的先验知识，使其具备一定的学习能力。压缩感知技术是近些年提出的一种寻找欠定线性系统的稀疏解的技术。构建合适的稀疏字典和相应的信号重建算法是压缩感知领域的核心研究内容。
现有的基于超材料的单通道定位分离系统所设计的超材料外壳是二维的，如申请号为201811497943的中国专利，因此其主要关注的是二维空间的定位与分离问题。且所用的重建算法需要在复数域构建字典，不仅在信号采集阶段需要使用额外的参考麦克风，重建过程也具有较高的计算复杂度，致使整个系统的实时性较差。
综上所述，考虑到实际应用中的声源多是在三维空间内随机出现的，且若要在追踪等领域进行应用，需要系统有较好的实时性。因此构建一个的三维的单通道声源定位与分离系统，并提出一个与之相适应的低复杂度的重建算法是一个值得探索的问题。
发明内容
本发明的目的是克服现有技术的不足，提出一种基于声学超材料的单通道多声源三维定位装置，该装置在硬件上仅依赖一个超材料球壳和一个单通道麦克风，就能够实现三维空间内的声源定位与分离，在保证准确性的同时还具有很好的实时性。
为实现上述目的，本发明提出了一种基于声学超材料的单通道多声源定位与分离装置，所述装置包括：超材料球壳、麦克风、信号采集模块和信号处理模块；
所述的超材料球壳包括三层同圆心的半球，每层半球的表面均设置多个尺寸不同的圆孔，圆孔之间无重叠；各层之间设置若干块横向和纵向的隔板；所述的超材料球壳用于对来自三维空间中不同方向的信号进行物理层的编码；
所述单通道麦克风置于球壳的球心处；用于拾取被超材料球壳调制的信号；
所述信号采集模块，用于对麦克风的输出信号进行采集；
所述信号处理模块，用于存储训练得到的相关参数和字典，还用于利用相关参数和字典对采集的信号进行定位与分离。
作为上述装置的一种改进，所述的超材料球壳的三层半球的半径分别为24cm,16.8cm,7.2cm；共设置8块横向的隔板和16块纵向的隔板，把球壳的腔体分为24个独立区域；最内层的半球的底面上放置吸声棉。
作为上述装置的一种改进，所述的超材料球壳的材料为塑料或金属。
作为上述装置的一种改进，所述的超材料球壳采用3D打印、激光切割或数控加工制成。
作为上述装置的一种改进，所述麦克风为全指向性麦克风。
作为上述装置的一种改进，所述相关参数和字典的训练步骤包括：
步骤101)对需要定位的三维空间进行网格划分，离散成N个格点，编号为1～N；
步骤102)选定语料库，包含M种不同的信号，编号为1～M；
步骤103)在所有格点处放置扬声器，依次播放语料库中的所有信号作为训练信号；
步骤104)训练信号在空间中自由传播至超材料球壳表面，被超材料球壳调制后，由麦克风拾取，信号采集模块对麦克风的输出信号进行采集，输出至所述信号处理模块；
步骤105)所述信号处理模块对训练信号进行分帧、加窗和短时傅里叶变换处理，得到每个训练信号每一帧的频谱，作为该训练信号的训练集；
第n个格点的第m个音频信号的训练集组成的矩阵Xnm为：
Figure BDA0002214962180000031
其中，
Figure BDA0002214962180000032
为第q帧信号的频谱在ωp频率处的幅值，其中p＝1,2,...,P,q＝1,2,...,Q，P为短时傅里叶变换的总频点数，Q为信号分帧的总帧数；
步骤106)将所有信号的训练集的矩阵进行合并，得到全部信号的训练集矩阵
Figure BDA0002214962180000033
X＝[X11 … X1M X21 … X2M … XN1 … XNM]
计算矩阵X每一维特征的均值μ和标准差σ：
μ＝[μ1,μ2,...,μP]T,
Figure BDA0002214962180000034
σ＝[σ1,σ2,...,σP]T,
Figure BDA0002214962180000035
其中，xij为矩阵X第i行第j列的元素；L为训练集样本总数，L＝Q×M×N；μi为均值μ的第i个分量；σi为标准差σ的第i个分量；
步骤107)对矩阵X进行标准化，得到标准化的训练集矩阵
Figure BDA0002214962180000036
该矩阵的第i行j列的元素
Figure BDA0002214962180000037
为：
Figure BDA0002214962180000038
使用主成分分析方法计算训练集
Figure BDA0002214962180000041
的投影矩阵
Figure BDA0002214962180000042
步骤108)使用投影矩阵B对标准化后的训练集矩阵
Figure BDA0002214962180000043
进行降维，得到字典
Figure BDA0002214962180000044
Figure BDA0002214962180000045
步骤109)信号处理模块保存均值μ、标准差σ、投影矩阵B和字典A。
基于上述装置，本发明还提出了一种基于声学超材料的单通道多声源定位与分离方法，所述方法包括：
实时声音信号在空间中自由传播至超材料球壳表面，被超材料球壳调制后，然后由麦克风拾取，信号采集模块对麦克风的输出信号进行采集，输出至信号处理模块；
信号采集模块对麦克风的输出信号进行采集，输出至信号处理模块；
所述信号处理模块对采集的信号进行处理，构建信号的矩阵并进行标准化，对标准化的矩阵进行降维，基于已存储的字典和降维后的矩阵得到重建结果，根据重建结果获取K个声源所在的位置格点编号及其所播放的音频信号的编号，从而获取K个声源的具体位置和信号内容。
作为上述方法的一种改进，所述信号处理模块对采集的信号进行处理，构建信号的矩阵并进行标准化，对标准化的矩阵进行降维，基于已存储的字典矩阵和降维后的信号矩阵得到重建结果，根据重建结获取K个声源所在的位置格点编号及其所播放的音频信号的编号，从而获取K个声源的具体位置和信号内容，具体包括：
步骤201)所述信号处理模块对采集到的信号进行分帧、加窗和短时傅里叶变换处理，得到信号的每一帧的频谱
Figure BDA0002214962180000046
构建信号的数据集矩阵
Figure BDA0002214962180000047
Figure BDA0002214962180000048
Figure BDA0002214962180000049
其中，
Figure BDA00022149621800000410
为第
Figure BDA00022149621800000411
帧信号的频谱在ωp频率处的幅值；P为短时傅里叶变换的频点数，
Figure BDA00022149621800000412
为信号分帧的总帧数，
Figure BDA00022149621800000413
步骤202)根据已知的信号的稀疏度K，将数据集进行标准化，得到标准化后的数据集矩阵
Figure BDA00022149621800000414
其中第s行t列的元素
Figure BDA00022149621800000415
为：
Figure BDA00022149621800000416
其中，yst为矩阵Y第s行t列的元素；μs为均值μ的第s个分量；σs为标准差σ的第s个分量；
步骤203)使用投影矩阵B对标准化后的矩阵
Figure BDA0002214962180000051
进行降维，得到降维后的矩阵
Figure BDA0002214962180000052
Figure BDA0002214962180000053
其中矩阵G的第
Figure BDA0002214962180000054
列记做
Figure BDA0002214962180000055
对应于信号的第
Figure BDA0002214962180000056
帧；
Figure BDA0002214962180000057
为矩阵G的行数；
步骤204)基于字典A和向量
Figure BDA0002214962180000058
利用OMP算法求解以下优化问题：
Figure BDA0002214962180000059
Figure BDA00022149621800000510
其中，稀疏向量
Figure BDA00022149621800000511
是待求解的向量，对应该测试信号第
Figure BDA00022149621800000512
帧的重建结果；
步骤205)对统计向量s1,s2,...,
Figure BDA00022149621800000513
中前K个大的元素所对应的位置索引
Figure BDA00022149621800000514
并构建矩阵
Figure BDA00022149621800000515
并构建矩阵
Figure BDA00022149621800000516
Figure BDA00022149621800000517
步骤206)统计矩阵D每个数字出现的频次，选择频次最高的前K个数字作为最终的位置索引d1,d2,...,dK，则这K个声源所在的位置格点编号nk及其所播放的音频信号的编号mk分别为：
Figure BDA00022149621800000518
Figure BDA00022149621800000519
k＝1,2,...,K
其中，
Figure BDA00022149621800000520
为向上取整，mod为取余数；
根据计算得到的位置格点编号和音频信号编号，根据划分的格点和语料库，获取K个声源的具体位置和信号内容。
与现有技术相比，本发明的优点在于：
1、本发明的装置只使用一个带有超材料球壳的单通道麦克风就可以实现三维空间中多声源的实时定位与分离；与多通道麦克风阵列相比，所述装置不需要多通道数据同步采集，系统简单，便携性更强，也更易操控；
2、本发明所提出的重建算法在保证重建精度的同时拥有较低的复杂度，因此该装置也可与智能监测系统等结合，实现对多目标的实时识别与追踪。
附图说明
图1为本发明的基于声学超材料的单通道多声源定位及分离装置示意图；
图2为本发明的超材料球壳的结构示意图；
图3为本发明的相关参数及字典A的训练流程图；
图4为本发明的基于声学超材料的单通道多声源定位及分离方法的流程图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细描述：
实施例1：
如图1所示，本发明的实施例1提出了一种基于声学超材料的单通道多声源定位与分离装置，包括：超材料球壳，一个单通道麦克风置于球壳的球心处，声卡与麦克风相连，计算机与声卡相连，计算机内预置了信号处理模块；播放训练信号，由信号处理模块训练和保存相关参数和字典A。
超材料球壳包括三层同圆心的半球，每层半球的表面均设置多个尺寸不同的圆孔，圆孔之间无重叠；各层之间设置若干块横向和纵向的隔板；所述的超材料球壳用于可以用来波的方式修改麦克风的频率响应，从而对来自三维空间中不同方向的信号进行物理层的编码；
三维超材料球壳采用3D打印技术、激光切割或数控加工制造方法制成，材料包括塑料、金属等。
所述的超材料球壳的结构示意图如图2所示，为三层穿孔半球结构，半径从外到内分别为24cm,16.8cm,7.2cm；每一层球壳表面均有大小不一的圆孔，圆孔之间无重叠；球壳之间有8块横向的隔板和16块纵向的隔板，把球壳间的腔体分为24个独立区域；球壳最内层腔体的底面上铺有吸声棉。
所述的麦克风为全指向麦克风，放在超材料球壳的球心位置。
各声源信号先在空间内自由传播，然后受到超材料球壳的调制，最后被麦克风接收。麦克风接收到的信号先输出到声卡，再由声卡输入到计算机中，经过预置的信号处理模块处理后得到各声源的位置信息及所发信号的内容。
如图3所示，信号处理模块训练相关参数和字典A包括以下步骤：
步骤101)对需要定位的三维空间进行网格划分，离散成N个格点，编号为1～N；
步骤102)选定语料库，包含M种不同的信号，编号为1～M；
步骤103)在所有格点处放置扬声器，依次播放语料库中的所有信号作为训练信号；
步骤104)训练信号在空间中自由传播至超材料球壳表面，被超材料球壳调制后，由麦克风拾取，使用声卡对麦克风的输出信号进行采集，使用计算机对采集到的信号进行分帧、加窗和短时傅里叶变换(short-time Fourier transform,STFT)处理，得到每个训练信号每一帧的频谱，作为该训练信号的训练集；
第n个格点的第m个音频信号的训练集组成的矩阵Xnm为：
Figure BDA0002214962180000071
其中，
Figure BDA0002214962180000072
为第q帧信号的频谱在ωp频率处的幅值，其中p＝1,2,...,P,q＝1,2,…,Q，P为短时傅里叶变换的总频点数，Q为信号分帧的总帧数；
将所有信号的训练集进行合并，得到全部信号的训练集
Figure BDA0002214962180000073
X＝[X11 … X1M X21 … X2M … XN1 … XNM]
步骤105)计算训练集X每一维特征的均值μ和标准差σ
μ＝[μ1,μ2,...,μP]T,
Figure BDA0002214962180000074
σ＝[σ1,σ2,...,σP]T,
Figure BDA0002214962180000075
其中，L为训练集样本总数，L＝Q×M×N。
步骤106)对训练集X进行标准化，得到标准化的训练集
Figure BDA0002214962180000076
其中第i行j列的元素
Figure BDA0002214962180000077
的计算方法为
Figure BDA0002214962180000078
其中，xij为训练集X第i行j列的元素。
步骤107)使用主成分分析方法(Principal Component Analysis，PCA)计算训练集
Figure BDA0002214962180000081
的投影矩阵
Figure BDA0002214962180000082
步骤108)使用投影矩阵B对标准化后的训练集
Figure BDA0002214962180000083
进行降维,得到字典
Figure BDA0002214962180000084
Figure BDA0002214962180000085
步骤109)信号处理模块保存均值μ、标准差σ、投影矩阵B和字典A。
实施例2：
如图4所示，本发明的实施例2提出了一种基于声学超材料的单通道多声源定位与分离方法，该方法包括：
步骤201)实时声音信号在空间中自由传播至超材料球壳表面，被超材料球壳调制后，然后由麦克风拾取，信号采集模块对麦克风的输出信号进行采集，输出至信号处理模块；
步骤202)所述信号处理模块对采集到的信号进行分帧、加窗和短时傅里叶变换处理，得到信号的每一帧的频谱
Figure BDA0002214962180000086
构建信号的数据集矩阵
Figure BDA0002214962180000087
Figure BDA0002214962180000088
Figure BDA0002214962180000089
其中，
Figure BDA00022149621800000810
为第
Figure BDA00022149621800000811
帧信号的频谱在ωp频率处的幅值；P为短时傅里叶变换的频点数，
Figure BDA00022149621800000812
为信号分帧的总帧数，
Figure BDA00022149621800000813
步骤203)根据已知的信号的稀疏度K，将数据集进行标准化，得到标准化后的数据集矩阵
Figure BDA00022149621800000825
其中第s行t列的元素
Figure BDA00022149621800000815
为：
Figure BDA00022149621800000816
其中，yst为矩阵Y第s行t列的元素；μs为均值μ的第s个分量；σs为标准差σ的第s个分量；
步骤204)使用投影矩阵B对标准化后的矩阵
Figure BDA00022149621800000817
进行降维，得到降维后的矩阵
Figure BDA00022149621800000818
Figure BDA00022149621800000819
其中矩阵G的第
Figure BDA00022149621800000820
列记做
Figure BDA00022149621800000821
对应于信号的第
Figure BDA00022149621800000822
帧；
Figure BDA00022149621800000823
为矩阵G的行数；
步骤205)基于字典矩阵A和向量
Figure BDA00022149621800000824
利用OMP算法求解以下优化问题：
Figure BDA0002214962180000091
Figure BDA0002214962180000092
其中，稀疏向量
Figure BDA0002214962180000093
是待求解的向量，对应该测试信号第
Figure BDA0002214962180000094
帧的重建结果；
步骤206)对统计向量s1,s2,...,
Figure BDA0002214962180000095
中前K个大的元素所对应的位置索引
Figure BDA0002214962180000096
并构建矩阵
Figure BDA0002214962180000097
Figure BDA0002214962180000098
统计矩阵D每个数字出现的频次，选择频次最高的前K个数字作为最终的位置索引d1,d2,...,dK，则这K个声源所在的位置格点编号nk及其所播放的音频信号的编号mk分别为：
Figure BDA0002214962180000099
Figure BDA00022149621800000910
k＝1,2,...,K
其中，
Figure BDA00022149621800000911
为向上取整，mod为取余数；
根据计算得到的位置格点编号和音频信号编号，根据划分的格点和语料库，获取K个声源的具体位置和信号内容。
最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (8)

1.一种基于声学超材料的单通道多声源定位与分离装置，其特征在于，所述装置包括：超材料球壳、麦克风、信号采集模块和信号处理模块；
所述的超材料球壳包括三层同圆心的半球，每层半球的表面均设置多个尺寸不同的圆孔，圆孔之间无重叠；各层之间设置若干块横向和纵向的隔板；所述的超材料球壳用于对来自三维空间中不同方向的信号进行物理层的编码；
所述单通道麦克风置于球壳的球心处；用于拾取被超材料球壳调制的信号；
所述信号采集模块，用于对麦克风的输出信号进行采集；
所述信号处理模块，用于存储训练得到的相关参数和字典，还用于利用相关参数和字典对采集的信号进行定位与分离。
2.根据权利要求1所述的装置，其特征在于，所述的超材料球壳的三层半球的半径分别为24cm,16.8cm,7.2cm；共设置8块横向的隔板和16块纵向的隔板，把球壳的腔体分为24个独立区域；最内层的半球的底面上设置吸声棉。
3.根据权利要求2所述的装置，其特征在于，所述的超材料球壳的材料为塑料或金属。
4.根据权利要求1-3之一所述的装置，其特征在于，所述的超材料球壳采用3D打印、激光切割或数控加工制成。
5.根据权利要求1所述的装置，其特征在于，所述麦克风为全指向性麦克风。
6.根据权利要求1所述的装置，其特征在于，所述相关参数和字典的训练步骤包括：
步骤101)对需要定位的三维空间进行网格划分，离散成N个格点，编号为1～N；
步骤102)选定语料库，包含M种不同的信号，编号为1～M；
步骤103)在所有格点处放置扬声器，依次播放语料库中的所有信号作为训练信号；
步骤104)训练信号在空间中自由传播至超材料球壳表面，被超材料球壳调制后，由麦克风拾取，信号采集模块对麦克风的输出信号进行采集，输出至所述信号处理模块；
步骤105)所述信号处理模块对训练信号进行分帧、加窗和短时傅里叶变换处理，得到每个训练信号每一帧的频谱，作为该训练信号的训练集；
第n个格点的第m个音频信号的训练集组成的矩阵Xnm为：
Figure FDA0003011893640000021
其中，
Figure FDA0003011893640000022
为第q帧信号的频谱在ωp频率处的幅值，其中p＝1,2,...,P,q＝1,2,...,Q，P为短时傅里叶变换的总频点数，Q为信号分帧的总帧数；
步骤106)将所有信号的训练集的矩阵进行合并，得到全部信号的训练集矩阵
Figure FDA0003011893640000023
X＝[X11…X1M X21…X2M…XN1…XNM]
计算矩阵X每一维特征的均值μ和标准差σ：
μ＝[μ1,μ2,...,μP]T,
Figure FDA0003011893640000024
σ＝[σ1,σ2,...,σP]T,
Figure FDA0003011893640000025
其中，xij为矩阵X第i行第j列的元素；L为训练集样本总数，L＝Q×M×N；μi为均值μ的第i个分量；σi为标准差σ的第i个分量；
步骤107)对矩阵X进行标准化，得到标准化的训练集矩阵
Figure FDA0003011893640000026
该矩阵的第i行j列的元素
Figure FDA0003011893640000027
为：
Figure FDA0003011893640000028
使用主成分分析方法计算训练集
Figure FDA0003011893640000029
的投影矩阵
Figure FDA00030118936400000210
步骤108)使用投影矩阵B对标准化后的训练集矩阵
Figure FDA00030118936400000211
进行降维，得到字典
Figure FDA00030118936400000212
Figure FDA00030118936400000213
步骤109)信号处理模块保存均值μ、标准差σ、投影矩阵B和字典A。
7.一种基于声学超材料的单通道多声源定位与分离方法，基于权利要求6所述的装置实现，所述方法包括：
实时声音信号在空间中自由传播至超材料球壳表面，被超材料球壳调制后，然后由麦克风拾取，信号采集模块对麦克风的输出信号进行采集，输出至信号处理模块；
所述信号处理模块对采集的信号进行处理，构建信号的矩阵并进行标准化，对标准化的矩阵进行降维，基于已存储的字典和降维后的矩阵得到重建结果，根据重建结果获取K个声源所在的位置格点编号及其所播放的音频信号的编号，从而获取K个声源的具体位置和信号内容。
8.根据权利要求7所述的基于声学超材料的单通道多声源定位与分离方法，其特征在于，所述信号处理模块对采集的信号进行处理，构建信号的矩阵并进行标准化，对标准化的矩阵进行降维，基于已存储的字典矩阵和降维后的矩阵得到重建结果，根据重建结获取K个声源所在的位置格点编号及其所播放的音频信号的编号，从而获取K个声源的具体位置和信号内容，具体包括：
步骤201)所述信号处理模块对采集到的信号进行分帧、加窗和短时傅里叶变换处理，得到信号的每一帧的频谱
Figure FDA0003011893640000031
构建信号的数据集矩阵
Figure FDA0003011893640000032
Figure FDA0003011893640000033
Figure FDA0003011893640000034
其中，
Figure FDA0003011893640000035
为第
Figure FDA0003011893640000036
帧信号的频谱在ωp频率处的幅值；P为短时傅里叶变换的频点数，
Figure FDA0003011893640000037
为信号分帧的总帧数，
Figure FDA0003011893640000038
步骤202)根据已知的信号的稀疏度K，将数据集进行标准化，得到标准化后的数据集矩阵
Figure FDA0003011893640000039
其中第s行t列的元素
Figure FDA00030118936400000310
为：
Figure FDA00030118936400000311
其中，yst为矩阵Y第s行t列的元素；μs为均值μ的第s个分量；σs为标准差σ的第s个分量；
步骤203)使用投影矩阵B对标准化后的矩阵
Figure FDA00030118936400000312
进行降维，得到降维后的矩阵
Figure FDA0003011893640000041
Figure FDA0003011893640000042
其中矩阵G的第
Figure FDA0003011893640000043
列记做
Figure FDA0003011893640000044
对应于信号的第
Figure FDA0003011893640000045
帧；
Figure FDA0003011893640000046
为矩阵G的行数；
步骤204)基于字典A和向量
Figure FDA0003011893640000047
利用OMP算法求解以下优化问题：
Figure FDA0003011893640000048
Figure FDA0003011893640000049
其中，稀疏向量
Figure FDA00030118936400000410
是待求解的向量，对应采集的信号第
Figure FDA00030118936400000411
帧的重建结果；
步骤205)统计向量
Figure FDA00030118936400000412
中前K个大的元素所对应的位置索引
Figure FDA00030118936400000413
并构建矩阵
Figure FDA00030118936400000414
Figure FDA00030118936400000415
步骤206)统计矩阵D每个数字出现的频次，选择频次最高的前K个数字作为最终的位置索引d1,d2,...,dK，则第k个声源所在的位置格点编号nk及其所播放的音频信号的编号mk分别为：
Figure FDA00030118936400000416
Figure FDA00030118936400000417
其中，
Figure FDA00030118936400000418
为向上取整，mod为取余数；
根据计算得到的位置格点编号和音频信号编号，根据划分的格点和语料库，获取K个声源的具体位置和信号内容。
CN201910911975.2A 2019-09-25 2019-09-25 基于声学超材料的单通道多声源定位与分离装置及方法 Active CN110703200B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910911975.2A CN110703200B (zh) 2019-09-25 2019-09-25 基于声学超材料的单通道多声源定位与分离装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910911975.2A CN110703200B (zh) 2019-09-25 2019-09-25 基于声学超材料的单通道多声源定位与分离装置及方法

Publications (2)

Publication Number Publication Date
CN110703200A CN110703200A (zh) 2020-01-17
CN110703200B true CN110703200B (zh) 2021-07-30

Family

ID=69196307

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910911975.2A Active CN110703200B (zh) 2019-09-25 2019-09-25 基于声学超材料的单通道多声源定位与分离装置及方法

Country Status (1)

Country Link
CN (1) CN110703200B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1217506A2 (en) * 2000-12-19 2002-06-26 Hewlett-Packard Company Controlling the order of output of multiple devices
CN101577847A (zh) * 2008-05-08 2009-11-11 索尼株式会社 信号处理设备和信号处理方法
CN102314869A (zh) * 2010-07-08 2012-01-11 西北工业大学 一种基于开口空心球的负弹性模量声学超材料
CN103392349A (zh) * 2011-02-23 2013-11-13 高通股份有限公司 用于空间选择性音频增强的系统、方法、设备和计算机可读媒体
CN106024007A (zh) * 2016-06-21 2016-10-12 维沃移动通信有限公司 一种声音处理方法及移动终端
WO2018039455A1 (en) * 2016-08-25 2018-03-01 Duke University Holographic acoustic imaging systems and devices based on a dynamic aperture and methods of use
CN208422400U (zh) * 2018-05-02 2019-01-22 西安科技大学 一种隔噪板

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9226090B1 (en) * 2014-06-23 2015-12-29 Glen A. Norris Sound localization for an electronic call
US10573291B2 (en) * 2016-12-09 2020-02-25 The Research Foundation For The State University Of New York Acoustic metamaterial

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1217506A2 (en) * 2000-12-19 2002-06-26 Hewlett-Packard Company Controlling the order of output of multiple devices
CN101577847A (zh) * 2008-05-08 2009-11-11 索尼株式会社 信号处理设备和信号处理方法
CN102314869A (zh) * 2010-07-08 2012-01-11 西北工业大学 一种基于开口空心球的负弹性模量声学超材料
CN103392349A (zh) * 2011-02-23 2013-11-13 高通股份有限公司 用于空间选择性音频增强的系统、方法、设备和计算机可读媒体
CN106024007A (zh) * 2016-06-21 2016-10-12 维沃移动通信有限公司 一种声音处理方法及移动终端
WO2018039455A1 (en) * 2016-08-25 2018-03-01 Duke University Holographic acoustic imaging systems and devices based on a dynamic aperture and methods of use
CN208422400U (zh) * 2018-05-02 2019-01-22 西安科技大学 一种隔噪板

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"Shape Optimization of Two-Dimensional Acoustic Metamaterials and Phononic Crystals with a Time- Dependent Adjoint Formulation";Weiyang Lin 等;《AIAA SciTech》;20160108;第1-14页 *
"Theory and Applications of Spherical Microphone Array Processing";D. P. Jarrett 等;《Springer International Publishing》;20171231;全文 *
"基于声学超材料的声吸收和声隔离的研究";林远鹏 等;《中国优秀硕士学位论文全文数据库 工程科技I辑》;20190715(第07期);全文 *

Also Published As

Publication number Publication date
CN110703200A (zh) 2020-01-17

Similar Documents

Publication Publication Date Title
Kapka et al. Sound source detection, localization and classification using consecutive ensemble of CRNN models
Zhang et al. Surround by sound: A review of spatial audio recording and reproduction
WO2021012929A1 (zh) 通道间特征提取方法、音频分离方法和装置、计算设备
Li et al. HRTF personalization modeling based on RBF neural network
CN109031200A (zh) 一种基于深度学习的声源空间方位检测方法
JP5000297B2 (ja) 音場の表現を求めるためのシステムおよび方法
Brignone et al. Efficient sound event localization and detection in the quaternion domain
CN110703200B (zh) 基于声学超材料的单通道多声源定位与分离装置及方法
Zieliński et al. A comparison of human against machine-classification of spatial audio scenes in binaural recordings of music
CN102802111B (zh) 一种输出环绕声的方法和系统
CN110277093B (zh) 音频信号的检测方法及装置
Wang et al. Binaural heterophasic superdirective beamforming
CN116859336A (zh) 一种声源定位的高精度实现方法
Grumiaux et al. A review of sound source localization with deep learning methods
Choi et al. Convolutional neural network-based direction-of-arrival estimation using stereo microphones for drone
Jafari et al. Underdetermined blind source separation with fuzzy clustering for arbitrarily arranged sensors
Ting et al. Binaural Modelling and Spatial Auditory Cue Analysis of 3D-Printed Ears
Traa et al. Phase and level difference fusion for robust multichannel source separation
Wu et al. Individualized interaural feature learning and personalized binaural localization model
CN110489470B (zh) 基于稀疏表示分类的hrtf个人化方法
Deshpande et al. Detection of early reflections from a binaural activity map using neural networks
Al-Abboodi Binaural sound source localization using machine learning with spiking neural networks features extraction
Delikaris-Manias et al. Real-time underwater spatial audio: a feasibility study
CN116172580B (zh) 一种适用于多声源场景的听觉注意对象解码方法
Nguyen et al. Location Estimation of Receivers in an Audio Room using Deep Learning with a Convolution Neural Network.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant