CN117634157A - 多通道噪声数据仿真方法、装置、设备及存储介质 - Google Patents
多通道噪声数据仿真方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN117634157A CN117634157A CN202311525441.9A CN202311525441A CN117634157A CN 117634157 A CN117634157 A CN 117634157A CN 202311525441 A CN202311525441 A CN 202311525441A CN 117634157 A CN117634157 A CN 117634157A
- Authority
- CN
- China
- Prior art keywords
- dimensional space
- target
- real
- determining
- sound source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004088 simulation Methods 0.000 title claims abstract description 121
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000005236 sound signal Effects 0.000 claims abstract description 77
- 238000012545 processing Methods 0.000 claims abstract description 20
- 238000005314 correlation function Methods 0.000 claims description 51
- 230000004044 response Effects 0.000 claims description 29
- 238000009499 grossing Methods 0.000 claims description 24
- 239000013598 vector Substances 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 19
- 230000003595 spectral effect Effects 0.000 claims description 13
- 230000011218 segmentation Effects 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 5
- 230000001131 transforming effect Effects 0.000 claims description 4
- 238000012827 research and development Methods 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 15
- 239000011159 matrix material Substances 0.000 description 15
- 238000004891 communication Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 230000001934 delay Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 239000005357 flat glass Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Landscapes
- Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
Abstract
本申请提供一种多通道噪声数据仿真方法、装置、设备及存储介质。涉及信号处理技术领域。该方法包括:基于语音采集阵列采集真实三维空间内的第一声音信号,其中,真实三维空间包括至少一个真实声源装置;根据第一声音信号,确定语音采集阵列和每个真实声源装置之间的多径参数;根据真实三维空间,建立目标三维空间,其中,目标三维空间用于仿真多通道噪声数据;根据多个多径参数,确定与目标三维空间相关的目标仿真参数;以及基于所述目标仿真参数,确定所述真实三维空间的多通道噪声数据。由此,可以实现快速有效的噪声数据仿真,节省研发时间,提高研发效率。
Description
技术领域
本申请涉及信号处理技术领域,尤其涉及一种多通道噪声数据仿真方法、装置、设备及存储介质。
背景技术
现在的汽车座舱,一般都采用多个麦克风组成的麦克风阵列进行语音通话、语音识别等。在实际环境中,一般会面临路噪、风噪、雨噪等噪声源的影响。在进行阵列信号处理和训练神经网络时,需要大量多通道的环境噪声作为训练数据库。但是,由于利用汽车座舱内的麦克风阵列采集噪声数据,需要付出大量的时间、人力资源。
因而,如何快速高效的实现多通道的噪声数据仿真,是目前亟需解决的问题。
发明内容
本申请提供一种多通道噪声数据仿真方法、装置、设备及存储介质,旨在至少在一定程度上解决相关技术中的技术问题之一。
第一方面,本申请提供一种多通道噪声数据仿真方法,包括:
基于语音采集阵列采集真实三维空间内的第一声音信号,其中,所述真实三维空间包括至少一个真实声源装置;
根据所述第一声音信号,确定所述语音采集阵列和每个所述真实声源装置之间的多径参数;
根据所述真实三维空间,建立目标三维空间,其中,所述目标三维空间用于仿真多通道噪声数据;
根据多个所述多径参数,确定与所述目标三维空间相关的目标仿真参数;以及
基于所述目标仿真参数,确定所述真实三维空间的多通道噪声数据。
第二方面,本申请提供一种多通道噪声数据仿真装置,包括:
采集模块,用于基于语音采集阵列采集真实三维空间内的第一声音信号,其中,所述真实三维空间包括至少一个真实声源装置;
第一确定模块,用于根据所述第一声音信号,确定所述语音采集阵列和每个所述真实声源装置之间的多径参数;
建立模块,用于根据所述真实三维空间,建立目标三维空间,其中,所述目标三维空间用于仿真多通道噪声数据;
第二确定模块,用于根据多个所述多径参数,确定与所述目标三维空间相关的目标仿真参数;以及
第三确定模块,用于基于所述目标仿真参数,确定所述真实三维空间的多通道噪声数据。
第三方面,本申请提供一种电子设备,包括:处理器;用于存储处理器可执行指令的存储器;其中,处理器被配置为执行指令,以实现多通道噪声数据仿真方法。
第四方面,本申请提供一种计算机可读存储介质,当计算机可读存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行多通道噪声数据仿真方法。
第五方面,本申请提供一种计算机程序产品,包括计算机程序,计算机程序被处理器执行多通道噪声数据仿真方法。
本申请提供的多通道噪声数据仿真方法、装置、设备及存储介质,首先基于语音采集阵列采集真实三维空间内的第一声音信号,其中,真实三维空间包括至少一个真实声源装置,之后根据第一声音信号,确定语音采集阵列和每个真实声源装置之间的多径参数,然后根据真实三维空间,建立目标三维空间,其中,目标三维空间用于仿真多通道噪声数据,之后根据多个多径参数,确定与目标三维空间相关的目标仿真参数;以及基于所述目标仿真参数,确定所述真实三维空间的多通道噪声数据。由此,可以基于真实三维空间,模拟目标三维空间,并利用目标三维空间和多径参数,来仿真噪声数据,实现了快速有效的噪声数据仿真,节省研发时间,提高研发效率,节省实际录制噪声的时间和人力。
本公开附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本公开的实践了解到。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
图1是根据本申请第一实施例示出的多通道噪声数据仿真方法的流程示意图;
图2是根据本申请第一实施例示出的真实声源装置在座舱中的设置示意图;
图3是根据本申请第一实施例示出的估计的多径参数示意图;
图4是根据本申请第二实施例示出的多通道噪声数据仿真方法的流程示意图;
图5是根据本申请第二实施例示出的频域平滑窗示意图;
图6是根据本申请第二实施例示出的频域平滑窗对应的二维矩阵示意图;
图7是根据本申请第二实施例示出的声源信号示意图;
图8是根据本申请第二实施例示出的优化字典示意图;
图9是根据本申请第三实施例示出的多通道噪声数据仿真方法的流程示意图;
图10是根据本申请第三实施例示出的目标三维空间示意图;
图11是根据本申请第三实施例示出的真实声源装置在座舱中的设置示意图;
图12是根据本申请第三实施例示出的冲激响应图;
图13是根据本申请示出的一种多通道噪声数据仿真装置的框图;
图14示出了适于用来实现本申请实施方式的示例性电子设备的框图。
通过上述附图,已示出本申请明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围,而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本申请,而不能理解为对本申请的限制。相反,本申请的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
需要说明的是,本实施例的多通道噪声数据仿真方法的执行主体可以为多通道噪声数据仿真装置,该装置可以由软件和/或硬件的方式实现,该装置可以配置在电子设备中,电子设备可以包括但不限于终端、服务器端、车机等等,在此不进行限定。
图1是根据本申请第一实施例示出的多通道噪声数据仿真方法的流程示意图,如图1所示,该方法包括:
S101:基于语音采集阵列采集真实三维空间内的第一声音信号,其中,真实三维空间包括至少一个真实声源装置。
其中,真实三维空间是指物体所在的真实环境中的三维空间,是一种描述物理世界的方式。在这个空间中可以建立空间直角坐标系,每个点都有独立的三个坐标分量:x、y、z。这三个坐标可以描述一个点在三个方向上的位置。
在本公开实施例中,可以将车辆的座舱内空间作为真实三维空间,或者也可以为房间、飞机座舱、船舱等等任意三维空间,在此不进行限定。
其中,真实声源装置可以为真实环境中的声源发声装置,可以产生声音信号,以便进行实验和测试。其中,真实声源装置可以为真实环境中的扬声器、音响、振膜、压电陶瓷、受控声源等等任意可以发出声音的装置,在此不对其进行限定。
其中,真实三维空间包括至少一个真实声源装置,也即一个或者多个真实声源装置。举例来说,若真实三维空间为汽车座舱,真实声源装置为扬声器。如图2所示,在1、2、3、4、5这5处位置可以分别设置一个声源,也即扬声器。
可选的,可以通过真实声源装置播放白噪声或者扫频信号等声音信号,在此不进行限定。
其中,第一声音信号可以为真实声源装置所播放的声音信号,比如可以为白噪声或者扫频信号,在此不进行限定。
其中,语音采集阵列可以为采集声音信号的传感器阵列。
可选的,语音采集阵列可以为麦克风阵列,是一种由多个麦克风组成的设备。其中,各个麦克风可以以特定的几何形状排列在一起,形成一个整体,用于捕捉和采集声音信号,从而增强对声源的定位和分离能力,提高语音采集的质量和清晰度。相比于单个麦克风,语音采集阵列可以通过麦克风之间的时间差和声压差来实现声源定位,并抑制噪声和回声等干扰。
其中,语音采集阵列可以包括线性阵列、环形阵列或者布式阵列,在此不进行限定。本公开实施例中,语音采集装置可以按照非均匀的布局排列,在此不进行限定。
S102:根据第一声音信号,确定语音采集阵列和每个真实声源装置之间的多径参数。
可选的,语音采集阵列可以包括多个语音采集装置,比如2个、3个、4个...N个。
其中,语音采集装置可以用于采集声音信号,比如可以为麦克风。
需要说明的是,语音采集装置可以用于捕获和记录声音信号,语音采集装置包括麦克风、话筒、语音识别设备等。其中,麦克风是一种通过将声波转换为电信号来录制声音的设备,由振动传感器、放大器和处理器组成。麦克风可以根据声音方向和距离等因素来捕捉特定位置的声音信号,并输出相应的电信号。
其中,多径参数可以包含有时延、幅度、混响时间等等,在此不进行限定。
具体的,可以首先根据第一声音信号,建立多个第一信号模型,之后可以根据多个第一信号模型,对语音采集阵列所接收第一声音信号的交叉功率谱密度函数进行逆变换,以得到与第一声音信号相关的初始互相关函数,之后可以根据初始互相关函数,确定语音采集阵列和每个真实声源装置之间的多径参数。
其中,第一信号模型用于描述语音采集装置接收到来自真实声源装置的声音信号,用传输函数来建模声音信号的损失和失真情况。
其中,每个第一信号模型用于建模相应语音采集装置对真实声源装置所产生声音信号的接收情况,可以估计声源与麦克风之间的距离、方向和声音强度等参数,从而更好地理解和处理语音信号。
需要说明的是,不同的语音采集装置对真实声源装置所产生声音信号的接收情况通常不同,因而对应的第一信号模型也可以是不同的。
下面本公开实施例将以语音采集阵列中包含有2个语音采集装置(语音采集装置1和语音采集装置2)来进行说明。
举例来说,可以将x1(t)=α1s(t-τ1)+n1(t)(式子1)作为语音采集装置1对应的第一信号模型,可以将x2(t)=α2s(t-τ2)+n2(t)(式子2)作为语音采集装置2对应的第一信号模型。
其中,α1和α2是语音采集装置1和2分别对应的衰减因子(衰减因子是由于路径和材料吸收产生的),x1(t)和x2(t)分别是语音采集装置1和2接收的数据,n1(t)和n2(t)分别是语音采集装置1和2接收的环境噪声,τ1和τ2分别是同一声源信号到达语音采集装置1和2的时延。
可选的,可以首先对每个第一信号模型进行频域变换,以得到第二信号模型,之后可以根据多个第二信号模型,确定第一声音信号的交叉功率谱密度函数。
举例来说,对式子1和式子2所对应的第一信号模型进行频域变换,比如进行离散时间傅里叶变换,可以分别得到与式子1对应的第二信号模型:以及与式子2对应的第二信号模型
其中,交叉功率谱密度函数用于描述两个信号之间频域相互关系,它衡量了两个信号在不同频率上的幅度和相位关系。
具体的,可以根据式子3和式子4得到交叉功率谱密度函数
其中,
进一步的,可以对交叉功率谱密度函数进行逆变换,从而可以得到也即初始互相关函数。
其中,初始互相关函数可以为将交叉功率谱密度函数进行逆变换所直接得到的函数。
如图3所示,点B所对应的幅度值A可以为多径参数中的幅度的估计值,点C对应的时间E可以为时延的估计值,点F之后幅度值近似为0,EF所对应的时间长度可以为混响时间的估计值,在此不进行限定。
作为一种可能实现的方式,可以首先基于初始互相关函数,构建互相关函数矩阵,之后可以基于波束形成法(Beamforming)对互相关函数矩阵进行特征值分析来评估多路径信道。具体可以先构建波束形成器,之后可以用波束形成器来加权每一组麦克风对对应的初始互相关函数,并将加权和的结果作为波束输出。最后,将波束输出对所有麦克风对进行求和,得到整个信号的波束输出。进一步的,可以分析波束形成之后的输出波形中出现的旁瓣,通过分析旁瓣的位置和大小估计多径时延、多径振幅等参数。
或者,也可以采用最小二乘法,首先基于初始互相关函数,构建互相关函数矩阵,之后通过将互相关函数矩阵建模为线性方程组,然后通过最小化误差平方和的方法得到多径参数。举例来说,假设有M个语音采集装置,那么互相关函数的矩阵大小为M×M,从而可以将其映射为一个向量。然后,将该向量表示为多径参数向量和干扰噪声向量之和,通过最小化干扰噪声向量的平方和来求解多径参数。
需要说明的是,通过初始互相关函数估计多径参数的方法有很多,比如还可以使用系统辨识法(System Identification),在此不进行赘述。
S103:根据真实三维空间,建立目标三维空间。
其中,目标三维空间用于仿真多通道噪声数据。
需要说明的是,目标三维空间可以为基于真实三维空间的空间尺寸参数所构建的模拟虚拟空间,且目标三维空间中在多个设置位置上可以布置有虚拟声源装置。目标三维空间可以为对真实三维空间的物理形状的仿真三维模型,且布置有虚拟声源阵列。
举例来说,若真实三维空间为汽车座舱空间,通常汽车座舱空间近似为棱台形状,则在构建目标三维空间时,可以首先按照汽车座舱空间的相关尺寸参数构建一个棱台形状的仿真三维模型,之后在该仿真三维模型中布置虚拟声源阵列,形成目标三维空间。
S104:根据多个多径参数,确定与目标三维空间相关的目标仿真参数。
其中,目标仿真参数用于仿真声音信号到目标三维空间空间边界的反射系数。
本公开实施例中,反射系数可以表征声音在空间边界上的反射能力,取值范围可以在0到1之间,具体可以取决于空间边界材料的特性和声音信号的传输情况。通常情况下,目标三维空间的空间边界会对不同位置产生的声音信号产生不同程度的反射。
具体的,若虚拟声源装置有多个,可以确定每个虚拟声源装置对应的第一多径参数,进而根据第一多径参数,确定与每个虚拟声源装置对应的目标仿真参数。
其中,虚拟声源装置与真实声源装置相对应,每个真实声源装置所产生的声音信号可以被一个或者多个语音采集装置所接收。举例来说,虚拟声源装置A与真实声源装置A1相对应,真实声源装置A1产生的声音信号可以同时被麦克风阵列X(包含麦克风1、麦克风2和麦克3)所接收。
进一步地,该装置可以在多个路径参数中,选择真实声源装置A1和麦克风阵列X对应的多径参数作为第一多径参数K1,之后可以将调节目标三维空间中虚拟声源装置A和虚拟麦克风阵列X1的多径参数K2,以使K2和K1相一致。
进一步的,在调节K2,以使K2和K1近似相同时,可以是控制K2和K1之间的差值小于预设阈值,若K2和K1之间的差值小于预设阈值,则可以认为K2和K1相一致。
其中,第一多径参数可以有多个,比如时延、幅度、混响时间。本公开实施例中,可以是调节每个第一多径参数均与虚拟声源装置和虚拟麦克风阵列的多径参数相一致,比如说控制K2对应的时延和K1相对应的时延、K2对应的幅度和K1相对应的幅度、K2对应的混响时间和K1相对应的混响时间之间的差值均小于对应的预设阈值,则可以确定K2和K1相一致。
或者,也可以控制K2对应的混响时间和K1相对应的混响时间之间的差值小于预设阈值,则可以确定K2和K1相一致,时延和幅度同理,在此不做赘述。
进一步的,该装置可以在第一多径参数和虚拟麦克风阵列的多径参数相一致的情况下,将仿真计算得到的声音信号到目标三维空间空间边界的反射系数作为目标仿真参数。
可选的,可以通过使用声学仿真软件,例如使用镜像声源模型进行仿真,调节第一多径参数和虚拟麦克风阵列的多径参数相一致,从而仿真计算得到目标仿真参数。
S105:基于目标仿真参数,确定真实三维空间的多通道噪声数据。
具体的,可以首先获取语音采集阵列在只接收到任一真实声源装置所产生的声音信号,将该声音信号作为单通道噪声数据。之后可以基于目标仿真参数来确定每个语音采集装置在接收任一真实声源装置时的冲激响应。作为一种可能实现的方式,可以基于预先构建的噪声仿真模型,并将目标仿真参数,以及真实三维空间和目标三维空间的相关参数输入至该噪声仿真模型,从而可以得到语音采集装置和任一真实声源装置之间的冲激响应。
然后,可以将每个语音采集装置对应的冲击响应和单通道噪声数据进行卷积,从而可以得到每个语音采集装置和该任一真实声源装置在真实三维空间的多通道噪声数据。
本申请提供的多通道噪声数据仿真方法、装置、设备及存储介质,首先基于语音采集阵列采集真实三维空间内的第一声音信号,其中,真实三维空间包括至少一个真实声源装置,之后根据第一声音信号,确定语音采集阵列和每个真实声源装置之间的多径参数,然后根据真实三维空间,建立目标三维空间,其中,目标三维空间用于仿真多通道噪声数据,之后根据多个多径参数,确定与目标三维空间相关的目标仿真参数;以及基于所述目标仿真参数,确定所述真实三维空间的多通道噪声数据。由此,可以基于真实三维空间,模拟目标三维空间,并利用目标三维空间和多径参数,来仿真噪声数据,实现了快速有效的噪声数据仿真,节省研发时间,提高研发效率,节省实际录制噪声的时间和人力。
图4是根据本申请第二实施例示出的多通道噪声数据仿真方法的流程示意图,如图4所示,该方法包括:
S201:基于语音采集阵列采集真实三维空间内的第一声音信号,其中,真实三维空间包括至少一个真实声源装置。
S202:根据第一声音信号,建立多个第一信号模型,其中,每个第一信号模型用于建模相应语音采集装置对真实声源装置所产生声音信号的接收情况。
S203:根据多个第一信号模型,对语音采集阵列所接收第一声音信号的交叉功率谱密度函数进行逆变换,以得到与第一声音信号相关的初始互相关函数。
需要说明的是,步骤S201-S203的具体实现方式可以参照上述实施例,在此不进行赘述。
S204:对初始互相关函数进行频域分段平滑处理,得到目标互相关函数。
需要说明的是,频域分段平滑处理可以用于减小频域上的噪音或抑制不需要的频率成分,通过将信号分成多个频域段,在每个段内对信号进行平滑处理,以达到降低噪音或去除不需要频率成分的目的。
可选的,可以首先初始互相关函数分割为多个段,每个段包含一定数量的频谱数据,之后对每个频域段内的数据进行平滑处理(可以使用滑动平均、加权平均、中值滤波等方法),从而可以得到目标互相关函数。
需要注意的是,频域分段平滑处理的效果受分割的段数和每个段内的数据量,以及选择的平滑处理方法的影响。不同的参数选择可能会产生不同的平滑效果。
作为一种可能实现的方式,可以首先确定平滑窗信息,其中,平滑窗信息包括:窗宽和窗移,之后可以根据平滑窗信息对初始互相关函数进行频域分段平滑处理,以得到目标互相关函数。
在频域分段平滑处理中,窗宽可以为每个频域段内的数据的数量,影响了频域段大小,也即每个段内包含多少个频谱数据点。较大的窗宽可以提供更好的频率分辨率,较小的窗宽可以提供更高的频域分辨率。窗移可以为每次滑动窗口的步长,窗移影响相邻频域段之间的重叠程度。较大的窗移可以增加计算效率,较小的窗移可以提供更好的平滑效果。
本公开实施例中,窗宽和窗移可以是预先经过合理的选择所确定的参数值,在此不进行限定。
其中,初始互相关函数为
具体的,可以频域分成L段,每一段即对应时域中的帧。其中,窗宽和窗移可以为预设值,比如窗宽BΦ可以为128,窗移MΦ可以为64,在此的举例仅为一种示意性说明,不作为限定。
其中,目标互相关函数可以为以下算式:
其中,Φ(ω)表示对称的平滑窗,L表示对频域进行平滑分段所得的段数,l表示L段中的任一段,τ为时延。
如图5所示,图5为一种频域平滑窗示意图。
S205:根据目标互相关函数,确定多径参数。
具体的,可以首先确定与目标互相关函数的最大特征值对应的特征向量,之后基于特征向量,确定多径参数。
进一步的,在确定时延估计值时,可以首先获取使得特征向量的模最大的第一参数,之后基于第一参数、特征向量和预先构建的时延估计模型,确定时延估计值。
具体的,可以首先根据目标互相关函数,确定二维矩阵,以下记为这个二维矩阵为频域不同的分段对应的互相关函数的堆叠,图6是其绝对值的图像,其示出了频域平滑窗对应的二维矩阵。
之后可以对进行奇异值分解,从而可以得到对角矩阵(记为S)。其中,该对角矩阵特征值按照从大到小的顺序排列在S的对角线上。之后可以将对角矩阵的第一个特征向量进行提取,记为S1。其中,S1为拥有最大特征值的特征向量,是矩阵/>的主特征向量。
进一步的,可以基于式子:β=argmax|S1|,计算使得特征向量S1的模值最大的值β(第一参数),然后可以将特征向量S1的实数部分提取出,记为real(S1),之后对real(S1)应用符号函数sign(),得到real(S1)的符号序列,将real(S1)与其对应的符号序列相乘,得到一个分段平滑的匹配滤波器估计值,记为Rfs_mf,最后可以依据第一参数β作为索引,确定β对应的时延作为估计的时延,用于估计直达波的真实时延。
其中,预先构建的时延估计模型可以为Rfs_mf=real(S1)·sign(S1(β))。
可选的,可以基于特征向量S1与信号源的波形进行内积运算,从而获得直达波的幅度估计值。
由此,可以通过矩阵的低秩近似和主特征向量提取来提高时延估计的精度和准确性。其中,采用符号函数和逐元素相乘的操作可以平滑地估计出匹配滤波器的响应,避免了时间上的跳跃,提高了估计结果的准确性。
需要说明的是,上述的计算方式可以为一种直达波的多径参数的估计计算,直达波为没有声波反射的情况下,由语音采集阵列直接接收来自真实声源装置的声波。下面将对混响波情况下的多径参数估计进行说明。混响波为声音在封闭空间内反射、折射、散射等现象产生的反射后的声波。
可选的,若需要估计混响波对应的每个多径参数,可以采用如下公式进行计算:
式1:minξ1+ξ2+ξ3;
式2:||α||1≤ξ2,||α||2≤ξ3。
其中,X为第一声音信号,也即语音采集装置的接收数据,ξ1、ξ2、ξ3为中间变量,||·||1代表1范数,||·||2代表2范数,α是估计出的多径参数,S是优化字典,由声源信号经过不同时延组合而成。如图7所示,图7为一种声源信号示意图。
如图8所示,图8为一种优化字典示意图。其中,第一列由声源信号经过时延τest,τest可以根据S205步骤确定,图8中的“补0”是由于要将整个可能的多径时延的范围包含真实的多径时延。例如混响时间为200ms,则优化字典S所覆盖的时延范围要大于200ms,即“补0”的长度要大于200ms。
S206:根据真实三维空间,建立目标三维空间,其中,目标三维空间用于仿真多通道噪声数据;
S207:根据多个多径参数,确定与目标三维空间相关的目标仿真参数;以及
S208:基于目标仿真参数,确定真实三维空间的多通道噪声数据。
需要说明的是,步骤S206-S208的具体实现方式可以参照上述实施例,在此不进行赘述。
本公开实施例中,首先基于语音采集阵列采集真实三维空间内的第一声音信号,之后根据第一声音信号,建立多个第一信号模型,然后根据多个第一信号模型,对语音采集阵列所接收第一声音信号的交叉功率谱密度函数进行逆变换,以得到与第一声音信号相关的初始互相关函数,之后对初始互相关函数进行频域分段平滑处理,得到目标互相关函数,根据目标互相关函数,确定多径参数,然后根据真实三维空间,建立目标三维空间,之后根据多个多径参数,确定与目标三维空间相关的目标仿真参数,最后基于目标仿真参数确定真实三维空间的多通道噪声数据。由此,通过频域分段平滑处理可以用于减小频域上的噪音或抑制不需要的频率成分,利用单通道的噪声源与声学路径参数仿真噪声数据,可以仿真多种多通道噪声数据,实现快速的噪声数据仿真,可以节省实际录制噪声的时间和人力。
图9是根据本申请第三实施例示出的多通道噪声数据仿真方法的流程示意图,如图9所示,该方法包括:
S301:基于语音采集阵列采集真实三维空间内的第一声音信号,其中,真实三维空间包括至少一个真实声源装置。
S302:根据第一声音信号,确定语音采集阵列和每个真实声源装置之间的多径参数。
需要说明的是,步骤S301、S302的具体实现方法可以参照上述实施例,在此不进行赘述。
S303:确定真实三维空间的空间尺寸参数。
其中,空间尺寸参数可以为真实三维空间的长度、宽度和高度等边界参数,在此不进行限定。
举例来说,若真实三维空间为车辆座舱空间,在确定车辆座舱空间的三维空间尺寸参数时,需要考虑与车辆座舱空间相关的一些关键参数,比如可以为以下几种:
长度:座舱空间的前后方向的距离,通常以车辆行驶方向为准,从前部至后部的距离。
宽度:座舱空间的左右方向的距离,通常垂直于车辆行驶方向的宽度。
高度:座舱空间的上下方向的距离,通常指地板到车顶的高度。
具体的,这些尺寸参数可以通过测量车辆座舱空间的实际尺寸来确定。或者,也可以基于车辆的规格和技术参数来确定,其中包含了座舱空间的尺寸信息。
需要注意的是,座舱空间的空间尺寸参数可能因车型、车辆用途和设计风格等因素而有所差异。
S304:根据空间尺寸参数,建立初始三维空间。
其中,初始三维空间可以为基于真实三维空间的空间尺寸参数所构建的模拟虚拟空间。初始三维空间可以为对真实三维空间的物理形状的仿真三维模型。
举例来说,若真实三维空间为汽车座舱空间,通常汽车座舱空间近似为棱台形状,则可以基于汽车座舱空间所对应的空间尺寸参数构建一个棱台形状的外切长方体,如图10所示。
需要说明的是,上述举例仅为一种示意性的说明,对本公开不作为限定。
S305:确定噪声数据的仿真类型,并根据仿真类型确定目标声源位置,其中,目标声源位置用于指示虚拟声源装置的设置位置。
其中,虚拟声源装置可以为虚拟声源装置,比如虚拟扬声器、虚拟音响等等,在此不进行限定。
需要说明的是,在确定噪声数据的仿真类型和目标声源位置时,需要考虑具体的应用场景和需求。对于不同类型的噪声数据,对应有不同的仿真类型。比如说,在车辆或交通工具领域,常见的噪声类型包括振动噪声、风噪声、机械噪声、道路噪声等,因而仿真类型也可以为振动噪声、风噪声、机械噪声、道路噪声等,在此不进行限定。
另外,对于一些特定类型的噪声数据,通常是在特定位置的声源才能产生。因而,本公开实施例中,考虑到这种情况,在初始三维空间中布置声源装置之前,首先根据噪声数据的仿真类型,确定每种仿真类型的噪声数据的虚拟声源装置所对应的各个设置位置,也即确定各个目标声源位置。
比如说,噪声数据有2种仿真类型,分别为A类型和B类型。对于能够产生A类型噪声数据的虚拟声源装置a,可以将其设置在初始三维空间中的a1位置、a2位置,对于能够产生B类型噪声数据的虚拟声源装置b,可以将其设置在初始三维空间中的b1位置、b2位置,在此不进行限定。
其中,a1位置、a2位置即为仿真类型A关联的目标声源位置,b1位置、b2位置即为仿真类型B关联的目标声源位置。
举例来说,对于振动噪声的仿真,需要根据车辆结构和振动特性来确定具体设置振动噪声源的位置。具体的,可以是通过实际测量或模拟分析获取车辆各部件的振动信息,并根据振动传递路径来确定噪声源的位置。例如,在车辆底盘系统中,可以根据传动轴的转速和转向角度信息来估算后轮车辆接合处的振动情况,并以此确定振动噪声源的位置。
如图2所示,图2为本公开实施例所提出的一种底盘声源位置示意图,图2中的1、2、3、4、5分别为设置在车辆底盘上的各个振动噪声源。
举例来说,对于风噪声的仿真,需要考虑车辆外部空气流动和车窗玻璃等构件的形状和尺寸等因素。具体的,可以使用计算流体力学分析工具来模拟车辆外部气流场,并以此确定风噪声源的位置。另外,可以使用仿真软件来模拟车窗玻璃等构件的振动特性,并根据振动传递路径来确定噪声源的位置。在确定目标声源位置时,需要考虑声源的位置和方向。具体可以根据车内的实际噪声源位置或者通过仿真分析来确定。例如,在仿真多通道风噪时,可以根据车窗的边框位置和车窗中心的位置来布置虚拟噪声源,并根据车速、风速等参数来确定风噪声的声级和频率特性。
如图11所示,图11为本公开实施例所提出的一种风噪位置示意图,图11中的1、2、3、4、5、6分别为设置在车窗位置上的各个虚拟噪声源。
需要说明的是,在确定噪声数据的仿真类型和目标声源位置需要与实际应用场景和需求的匹配,以保证仿真结果的可靠性和准确性。
S306:在初始三维空间中目标声源位置指示的位置处设置虚拟声源装置,以建立目标三维空间。
其中,目标三维空间可以为在初始三维空间中布置好虚拟声源装置之后的虚拟三维空间。
可选的,还可以在目标三维空间中布置好对应的虚拟语音采集装置,也即可以布置虚拟麦克风阵列。
需要说明的是,在确定虚拟声源装置在初始三维空间中的目标声源位置之后,可以使用坐标系统或者3D空间中的点坐标来表示目标声源位置,并将虚拟声源装置设置在对应的目标声源位置处。
S307:从至少一个真实声源装置中确定与虚拟声源装置对应的真实声源装置。
需要说明的是,目标三维空间中的每个虚拟声源装置与真实三维空间中的真实声源装置相对应。
具体来说,比如若当前需要确定虚拟声源装置A1对应的目标仿真参数,则需要首先从从至少一个真实声源装置中确定虚拟声源装置A1对应的真实声源装置A2。
S308:从多个多径参数中,确定对应的真实声源装置和语音采集阵列之间的第一多径参数。
其中,第一多径参数可以为任一虚拟声源装置所对应的多径参数,该多径参数可以为任一虚拟声源装置对应的真实声源装置和语音采集阵列之间的多径参数。
举例来说,若真实声源装置有3个,分别为S1、S2、S3。其中,S1、S2、S3和语音采集阵列之间的多径参数分别有y1、y2,y3。若S1、S2、S3分别对应的虚拟声源装置分别为x1、x2,x3,那么x1、x2,x3分别对应的多径参数即为y1、y2,y3。也即,y1为x1对应的第一多径参数,y2为x2对应的第一多径参数,y3为x3对应的第一多径参数,在此不进行限定。
S309:根据第一多径参数,确定与目标三维空间相关的目标仿真参数。
其中,目标仿真参数可以为与目标三维空间的空间边界相关的反射系数。
本公开实施例中,反射系数可以表征声音在空间边界上的反射能力,取值范围可以在0到1之间,具体可以取决于空间边界材料的特性和声音信号的传输情况。通常情况下,目标三维空间的空间边界会对不同位置产生的声音信号产生不同程度的反射。
作为一种可能实现的方式,可以使用声学仿真软件,例如使用镜像声源模型进行仿真,调整目标三维空间的多径时延和衰减幅度,使其尽可能接近实际值,也即满足第一多径参数。可以理解的是,这个过程可以进行多次迭代和调整,直至目标三维空间对应的多径参数和第一多径参数之间的误差值小于预设阈值,则此时可以将与目标三维空间的空间边界相关的反射系数作为目标仿真参数。
作为另外一种可能实现的方式,可以首先根据第一多径参数和预设的扰动参数,确定第二多径参数,之后调节目标三维空间的第三多径参数,直至第三多径参数与第二多径参数之间的差值满足预设条件,确定与目标三维空间相关的目标仿真参数。
需要说明的是,为了扩展数据集并覆盖实际的冲激响应,本公开实施例中,可以为多径参数设置一定的扰动。其中,扰动参数可以是根据实际经验所确定的预设值,比如可以为20%、30%,在此不进行限定。
举例来说,可以给第一多径参数中的时延设置20%的扰动,给第一多径参数中的衰减幅度设置30%的扰动,在此不进行限定。
其中,第二多径参数可以为给于第一多径参数一定扰动之后所确定的扩展多径参数。
其中,第三多径参数可以为仿真的多径参数。
需要说明的是,通过调节仿真的第三多径参数以使其与第二多径参数相近,直至第三多径参数和第二多径参数之间的差值小于预设阈值,则可以认为第三多径参数和第二多径参数之间的误差值较小,基本一致,则此时可以将与目标三维空间的空间边界相关的反射系数作为目标仿真参数。
可选的,若第三多径参数和第二多径参数之间的差值小于预设阈值,则可以确定第三多径参数与第二多径参数之间的差值满足预设条件。其中,预设阈值可以根据经验确定,在此不进行限定。
举例来说,若多径参数为混响时间,预设阈值为1.5ms,第三多径参数的混响时间为39ms,第二多径参数的混响时间为40ms,则可以认为第三多径参数和第二多径参数基本一致,差值满足预设条件,也即小于1.5ms。
S310:确定真实三维空间的单通道噪声数据。
其中,单通道噪声数据为一个通道的噪声信号数据,表示特定位置或方向上的噪声响应。举例来说,在机械设备中只安装了一个加速度计,那么该设备测量的是机器运行时的一个特定位置的振动信号,因此得到单通道的振动噪声数据。
可选的,可以利用每个语音采集装置采集任一真实声源装置的声音信号,从而得到在真实三维空间的单通道噪声数据。比如,若任一真实声源装置发出了扫频信号W,麦克风1和麦克风2分别接收到的噪声数据为W1和W2,那么W1为麦克风1接收到的单通道噪声数据,W2为麦克风2接收到的单通道噪声数据。
S311:基于目标仿真参数,确定真实三维空间的冲激响应。
其中,冲激响应通常可以表示为一个以时间为自变量、以空间位置为参数的函数。
可选的,可以基于预设的噪声仿真模型,根据目标仿真参数、目标三维空间和真实三维空间,确定真实三维空间的冲激响应。
其中,预设的噪声仿真模型可以为预先构建的数学公式,用于确定每个采样点所对应的幅度。本公开实施例中,预先构建的噪声仿真模型可以为第一算式或者第二算式。
作为一种可能实现的方式,可以通过以下第一算式,计算每个采样点对应的幅度,从而确定每个语音采集装置在接收到任一声源的声音信号所对应的冲激响应。
其中,第一算式为:
其中,p=(q,j,k)是一个三元素组合,每个元素均可以取值为0或1,因此形成集合P={(q,j,k):q,j,k∈{0,1}}。
需要说明的是,当p的每一个元素(q、j、k)都为1的时候,代表该方向的镜像被纳入计算,由于声源存在多次反射的镜像,为将多次反射的镜像纳入计算,引入参数Rm=[2mxLx,2myLy,2mzLz]。
其中,Lx、Ly、Lz为真实三维空间在x,y,z方向的长度,m=(mx,my,mz)为三元素组合,mx,my,mz∈{-N,N},代表所有可能的反射,N为采样点的个数,r=[x,y,z]为语音采集阵列在真实三维空间中的位置,x,y,z分别代表横、纵、竖坐标,rs=[xs,ys,zs]为目标声源位置,n代表第n个采样点,fs为采样频率。
其中,虚拟声源装置到虚拟语音采集装置的位置表示为d=||Rp+Rm||,Rp=[xs-x+2qx,ys-y+2jy,zs-z+2kz]代表目标声源位置(q、j、k为上述p中的元素),||·||代表取模运算,为时延,c为声速,β代表目标仿真参数,LFP{·}是低通滤波器。
作为另一种可能实现的方式,可以通过以下第二算式,计算每个采样点对应的幅度,从而确定每个语音采集装置在接收到任一声源的声音信号所对应的冲激响应。
其中,第二算式为
需要说明的是,第二算式中的冲激函数δ(t-τ)可以为替换为δLPF(t),第二算式中的各个参数含义可以参照上述第一算式。
其中,Tw表示信号宽度,fc代表低通滤波器的截止频率。
如图12所示,示出了四个麦克风(语音采集装置)和一个声源(真实声源装置)的冲激响应图。
S312:根据单通道噪声数据和真实三维空间的冲激响应,确定多通道噪声数据。
其中,多通道噪声数据可以为在某个系统或环境中,从不同位置或方向上采集到的噪声信号数据,通常包含多个通道。每个通道的数据表示系统在不同位置或方向上的噪声响应。
作为一种可能实现的方式,可以使用卷积操作将单通道噪声数据与真实三维空间的冲激响应进行卷积,从而得到多通道噪声数据。
具体的,可以使用卷积操作将单通道噪声数据与冲激响应进行卷积。在时域上,卷积可以通过变换为频域来提高计算效率,然后再进行频域上的乘法运算,并将结果再逆变换回时域。
本公开实施例中,首先基于语音采集阵列采集真实三维空间内的第一声音信号,之后可以根据第一声音信号,确定语音采集阵列和每个真实声源装置之间的多径参数,然后确定真实三维空间的空间尺寸参数,根据空间尺寸参数,建立初始三维空间,之后可以确定噪声数据的仿真类型,并根据仿真类型确定目标声源位置,然后在初始三维空间中目标声源位置指示的位置处设置虚拟声源装置,以建立目标三维空间,从至少一个真实声源装置中确定与虚拟声源装置对应的真实声源装置,从多个多径参数中,确定对应的真实声源装置和语音采集阵列之间的第一多径参数,根据第一多径参数,确定与目标三维空间相关的目标仿真参数,之后确定真实三维空间的单通道噪声数据,然后根据目标三维空间和目标仿真参数,确定真实三维空间的冲激响应,最后根据单通道噪声数据和真实三维空间的冲激响应,确定多通道噪声数据。由此,通过基于语音采集阵列采集真实三维空间内的第一声音信号,结合仿真方法,可以实现多通道噪声数据的生成。可以模拟真实环境下的多通道噪声,并获得更加准确的三维空间信息。这对于各种需要使用多通道数据的应用场景,如声源定位、语音增强、智能麦克风阵列等都具有很大的帮助。
在一些场景下,比如说在手机、耳机、音响、汽车座舱等应用平台中,常常需要估计声源的多径参数或信道的冲激响应,信噪比越高,参数估计精度越高,但是在生活中,不同类型的噪声往往出现在不同的频段,导致局部频段信噪比低,影响冲激响应参数估计精度。在信号处理领域常用的互相关算法或者匹配滤波算法通过全频段信息进行参数估计,这种估计方法在信噪比较低的时候估计精度不高。本申请结合频域分段匹配滤波和矩阵奇异值分解,实现了更高精度的信道冲激响应估计算法。
图13是根据本申请示出的一种多通道噪声数据仿真装置的框图,如图13所示,该多通道噪声数据仿真装置400包括:
采集模块410,用于基于语音采集阵列采集真实三维空间内的第一声音信号,其中,所述真实三维空间包括至少一个真实声源装置;
第一确定模块420,用于根据所述第一声音信号,确定所述语音采集阵列和每个所述真实声源装置之间的多径参数;
建立模块430,用于根据所述真实三维空间,建立目标三维空间,其中,所述目标三维空间用于仿真多通道噪声数据;
第二确定模块440,用于根据多个所述多径参数,确定与所述目标三维空间相关的目标仿真参数;以及
第三确定模块450,用于基于所述目标仿真参数,确定所述真实三维空间的多通道噪声数据。
可选的,所述建立模块,具体用于:
确定所述真实三维空间的空间尺寸参数;
根据所述空间尺寸参数,建立初始三维空间;
确定所述噪声数据的仿真类型,并根据所述仿真类型确定目标声源位置,其中,所述目标声源位置用于指示虚拟声源装置的设置位置;
在所述初始三维空间中所述目标声源位置指示的位置处设置虚拟声源装置,以建立所述目标三维空间。
可选的,所述第二确定模块,包括:
第一确定单元,用于从至少一个真实声源装置中确定与所述虚拟声源装置对应的真实声源装置;
第二确定单元,用于从多个所述多径参数中,确定所述对应的真实声源装置和所述语音采集阵列之间的第一多径参数;
第三确定单元,用于基于所述第一多径参数,确定与所述目标三维空间相关的目标仿真参数。
可选的,所述第三确定单元,具体用于:
根据所述第一多径参数和预设的扰动参数,确定第二多径参数;
调节所述目标三维空间的第三多径参数,直至所述第三多径参数与所述第二多径参数之间的差值满足预设条件,确定与所述目标三维空间相关的目标仿真参数,
其中,所述目标仿真参数是与所述目标三维空间的空间边界相关的反射系数。
可选的,所述第三确定模块,包括:
第四确定单元,用于确定所述真实三维空间的单通道噪声数据;
第五确定单元,用于基于所述目标仿真参数,确定所述真实三维空间的冲激响应;
第六确定单元,用于根据所述单通道噪声数据和所述真实三维空间的冲激响应,确定所述多通道噪声数据。
可选的,所述第五确定单元,具体用于:
基于预设的噪声仿真模型,根据所述目标仿真参数、所述目标三维空间和所述真实三维空间,确定所述真实三维空间的冲激响应。
可选的,所述语音采集阵列包括:多个语音采集装置;其中,所述第一确定模块,包括:
第七确定单元,用于根据所述第一声音信号,建立多个第一信号模型,其中,每个所述第一信号模型用于建模相应所述语音采集装置对所述真实声源装置所产生声音信号的接收情况;
第八确定单元,用于根据多个所述第一信号模型,对所述语音采集阵列所接收第一声音信号的交叉功率谱密度函数进行逆变换,以得到与所述第一声音信号相关的初始互相关函数;
第九确定单元,用于根据所述初始互相关函数,确定所述语音采集阵列和每个所述真实声源装置之间的多径参数。
可选的,所述第八确定单元,还用于:
对每个所述第一信号模型进行频域变换,以得到第二信号模型;
根据多个所述第二信号模型,确定所述第一声音信号的交叉功率谱密度函数。
可选的,所述第九确定单元,包括:
获取单元,用于对所述初始互相关函数进行频域分段平滑处理,得到目标互相关函数;
第十确定单元,用于根据所述目标互相关函数,确定所述多径参数。
可选的,所述获取单元,具体用于:
确定平滑窗信息,其中,所述平滑窗信息包括:窗宽和窗移;
根据所述平滑窗信息对所述初始互相关函数进行频域分段平滑处理,以得到所述目标互相关函数。
可选的,所述第十确定单元,包括:
第十一确定单元,用于确定与所述目标互相关函数的最大特征值对应的特征向量;
第十二确定单元,用于基于所述特征向量,确定所述多径参数。
可选的,所述第十二确定单元,具体用于:
获取使得所述特征向量的模最大的第一参数;
基于所述第一参数、所述特征向量和预先构建的时延估计模型,确定时延估计值。
本申请提供的多通道噪声数据仿真方法、装置、设备及存储介质,首先基于语音采集阵列采集真实三维空间内的第一声音信号,其中,真实三维空间包括至少一个真实声源装置,之后根据第一声音信号,确定语音采集阵列和每个真实声源装置之间的多径参数,然后根据真实三维空间,建立目标三维空间,其中,目标三维空间用于仿真多通道噪声数据,之后根据多个多径参数,确定与目标三维空间相关的目标仿真参数;以及基于所述目标仿真参数,确定所述真实三维空间的多通道噪声数据。由此,可以基于真实三维空间,模拟目标三维空间,并利用目标三维空间和多径参数,来仿真噪声数据,实现了快速有效的噪声数据仿真,节省研发时间,提高研发效率,节省实际录制噪声的时间和人力。
根据本申请的实施例,本申请还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图14是根据本申请示出的一种电子设备的框图。例如,电子设备600可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图14,电子设备600可以包括以下一个或多个组件:处理组件602,存储器604,电源组件606,多媒体组件608,音频组件610,输入/输出(I/O)的接口612,传感器组件614,以及通信组件616。
处理组件602通常控制电子设备600的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件602可以包括一个或多个处理器620来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件602可以包括一个或多个模块,便于处理组件602和其他组件之间的交互。例如,处理组件602可以包括多媒体模块,以方便多媒体组件608和处理组件602之间的交互。
存储器604被配置为存储各种类型的数据以支持在电子设备600的操作。这些数据的示例包括用于在电子设备600上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器604可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件606为电子设备600的各种组件提供电力。电源组件606可以包括电源管理系统,一个或多个电源,及其他与为电子设备600生成、管理和分配电力相关联的组件。
多媒体组件608包括在电子设备600和用户之间的提供一个输出接口的触控显示屏。在一些实施例中,触控显示屏可以包括液晶显示器(LCD)和触摸面板(TP)。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件608包括一个前置摄像头和/或后置摄像头。当电子设备600处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件610被配置为输出和/或输入音频信号。例如,音频组件610包括一个麦克风(MIC),当电子设备600处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器604或经由通信组件616发送。
在一些实施例中,音频组件610还包括一个扬声器,用于输出音频信号。
I/O接口612为处理组件602和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件614包括一个或多个传感器,用于为电子设备600提供各个方面的状态评估。例如,传感器组件614可以检测到电子设备600的打开/关闭状态,组件的相对定位,例如组件为电子设备600的显示器和小键盘,传感器组件614还可以检测电子设备600或电子设备600一个组件的位置改变,用户与电子设备600接触的存在或不存在,电子设备600方位或加速/减速和电子设备600的温度变化。传感器组件614可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件614还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件614还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件616被配置为便于电子设备600和其他设备之间有线或无线方式的通信。电子设备600可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件616经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,通信组件616还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,电子设备600可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述多通道噪声数据仿真方法。
在示例性实施例中,还提供了一种包括指令的计算机可读存储介质,例如包括指令的存储器604,上述指令可由电子设备600的处理器920执行以完成上述方法。可选地,计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
Claims (16)
1.一种多通道噪声数据仿真方法,其特征在于,包括以下步骤:
基于语音采集阵列采集真实三维空间内的第一声音信号,其中,所述真实三维空间包括至少一个真实声源装置;
根据所述第一声音信号,确定所述语音采集阵列和每个所述真实声源装置之间的多径参数;
根据所述真实三维空间,建立目标三维空间,其中,所述目标三维空间用于仿真多通道噪声数据;
根据多个所述多径参数,确定与所述目标三维空间相关的目标仿真参数;以及
基于所述目标仿真参数,确定所述真实三维空间的多通道噪声数据。
2.根据权利要求1所述的方法,其特征在于,所述根据所述真实三维空间,建立目标三维空间,包括:
确定所述真实三维空间的空间尺寸参数;
根据所述空间尺寸参数,建立初始三维空间;
确定所述噪声数据的仿真类型,并根据所述仿真类型确定目标声源位置,其中,所述目标声源位置用于指示虚拟声源装置的设置位置;
在所述初始三维空间中所述目标声源位置指示的位置处设置虚拟声源装置,以建立所述目标三维空间。
3.根据权利要求2所述的方法,其特征在于,所述根据多个所述多径参数,确定与所述目标三维空间相关的目标仿真参数,包括:
从至少一个真实声源装置中确定与所述虚拟声源装置对应的真实声源装置;
从多个所述多径参数中,确定所述对应的真实声源装置和所述语音采集阵列之间的第一多径参数;
基于所述第一多径参数,确定与所述目标三维空间相关的目标仿真参数。
4.根据权利要求3所述的方法,其特征在于,所述基于所述第一多径参数,确定与所述目标三维空间相关的目标仿真参数,包括:
根据所述第一多径参数和预设的扰动参数,确定第二多径参数;
调节所述目标三维空间的第三多径参数,直至所述第三多径参数与所述第二多径参数之间的差值满足预设条件,确定与所述目标三维空间相关的目标仿真参数,
其中,所述目标仿真参数是与所述目标三维空间的空间边界相关的反射系数。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述基于所述目标仿真参数,确定所述真实三维空间的多通道噪声数据,包括:
确定所述真实三维空间的单通道噪声数据;
基于所述目标仿真参数,确定所述真实三维空间的冲激响应;
根据所述单通道噪声数据和所述真实三维空间的冲激响应,确定所述多通道噪声数据。
6.根据权利要求5所述的方法,其特征在于,所述基于所述目标仿真参数,确定所述真实三维空间的冲激响应,包括:
基于预设的噪声仿真模型,根据所述目标仿真参数、所述目标三维空间和所述真实三维空间,确定所述真实三维空间的冲激响应。
7.根据权利要求1所述的方法,其特征在于,所述语音采集阵列包括:多个语音采集装置;其中,所述根据所述第一声音信号,确定所述语音采集阵列和每个所述真实声源装置之间的多径参数,包括:
根据所述第一声音信号,建立多个第一信号模型,其中,每个所述第一信号模型用于建模相应所述语音采集装置对所述真实声源装置所产生声音信号的接收情况;
根据多个所述第一信号模型,对所述语音采集阵列所接收第一声音信号的交叉功率谱密度函数进行逆变换,以得到与所述第一声音信号相关的初始互相关函数;
根据所述初始互相关函数,确定所述语音采集阵列和每个所述真实声源装置之间的多径参数。
8.根据权利要求7所述的方法,其特征在于,在所述根据多个所述第一信号模型,对所述语音采集阵列所接收第一声音信号的交叉功率谱密度函数进行逆变换,以得到与所述第一声音信号相关的初始互相关函数之前,还包括:
对每个所述第一信号模型进行频域变换,以得到第二信号模型;
根据多个所述第二信号模型,确定所述第一声音信号的交叉功率谱密度函数。
9.根据权利要求7所述的方法,其特征在于,所述根据所述初始互相关函数,确定所述语音采集阵列和每个所述真实声源装置之间的多径参数,包括:
对所述初始互相关函数进行频域分段平滑处理,得到目标互相关函数;
根据所述目标互相关函数,确定所述多径参数。
10.根据权利要求9所述的方法,其特征在于,所述对所述初始互相关函数进行频域分段平滑处理,得到目标互相关函数,包括:
确定平滑窗信息,其中,所述平滑窗信息包括:窗宽和窗移;
根据所述平滑窗信息对所述初始互相关函数进行频域分段平滑处理,以得到所述目标互相关函数。
11.根据权利要求9所述的方法,其特征在于,所述根据所述目标互相关函数,确定所述多径参数,包括:
确定与所述目标互相关函数的最大特征值对应的特征向量;
基于所述特征向量,确定所述多径参数。
12.根据权利要求11所述的方法,其特征在于,所述基于所述特征向量,确定所述多径参数,包括:
获取使得所述特征向量的模最大的第一参数;
基于所述第一参数、所述特征向量和预先构建的时延估计模型,确定时延估计值。
13.一种多通道噪声数据仿真装置,其特征在于,包括以下步骤:
采集模块,用于基于语音采集阵列采集真实三维空间内的第一声音信号,其中,所述真实三维空间包括至少一个真实声源装置;
第一确定模块,用于根据所述第一声音信号,确定所述语音采集阵列和每个所述真实声源装置之间的多径参数;
建立模块,用于根据所述真实三维空间,建立目标三维空间,其中,所述目标三维空间用于仿真多通道噪声数据;
第二确定模块,用于根据多个所述多径参数,确定与所述目标三维空间相关的目标仿真参数;以及
第三确定模块,用于基于所述目标仿真参数,确定所述真实三维空间的多通道噪声数据。
14.一种电子设备,其特征在于,包括:处理器,以及与所述处理器通信连接的存储器;
所述存储器存储计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,以实现如权利要求1-12中任一项所述的方法。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如权利要求1-12中任一项所述的方法。
16.一种计算机程序产品,其特征在于,包括计算机程序,该计算机程序被处理器执行时实现权利要求1-12中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311525441.9A CN117634157A (zh) | 2023-11-15 | 2023-11-15 | 多通道噪声数据仿真方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311525441.9A CN117634157A (zh) | 2023-11-15 | 2023-11-15 | 多通道噪声数据仿真方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117634157A true CN117634157A (zh) | 2024-03-01 |
Family
ID=90034890
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311525441.9A Pending CN117634157A (zh) | 2023-11-15 | 2023-11-15 | 多通道噪声数据仿真方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117634157A (zh) |
-
2023
- 2023-11-15 CN CN202311525441.9A patent/CN117634157A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108156561B (zh) | 音频信号的处理方法、装置及终端 | |
KR101669866B1 (ko) | 음향 신호 조정 | |
CN105794226B (zh) | 用于声学回声消除的房间脉冲响应估计 | |
KR102036545B1 (ko) | 오디오, 비주얼 및 모션 분석 기능을 갖는 디지털 카메라 | |
KR20140144410A (ko) | 음향신호를 위한 빔포밍 방법 및 장치 | |
JP2010011433A (ja) | 音源分離及び表示方法並びにシステム | |
CN111429933B (zh) | 音频信号的处理方法及装置、存储介质 | |
CN111128221A (zh) | 一种音频信号处理方法、装置、终端及存储介质 | |
CN107992848A (zh) | 获取深度图像的方法、装置及计算机可读存储介质 | |
CN111402917A (zh) | 音频信号处理方法及装置、存储介质 | |
CN111863020A (zh) | 语音信号处理方法、装置、设备及存储介质 | |
US20200267472A1 (en) | Portable microphone array apparatus and system and processing method | |
EP3929920B1 (en) | Method and device for processing audio signal, and storage medium | |
WO2018003158A1 (ja) | 相関関数生成装置、相関関数生成方法、相関関数生成プログラムおよび波源方向推定装置 | |
CN113053406A (zh) | 声音信号识别方法及装置 | |
CN113506582A (zh) | 声音信号识别方法、装置及系统 | |
CN110459236B (zh) | 音频信号的噪声估计方法、装置及存储介质 | |
CN112489674A (zh) | 语音增强方法、装置、设备及计算机可读存储介质 | |
CN117634157A (zh) | 多通道噪声数据仿真方法、装置、设备及存储介质 | |
CN116704200A (zh) | 图像特征提取、图像降噪方法及相关装置 | |
CN113489854B (zh) | 声音处理方法、装置、电子设备和存储介质 | |
Ayllón et al. | An evolutionary algorithm to optimize the microphone array configuration for speech acquisition in vehicles | |
CN110517703B (zh) | 一种声音采集方法、装置及介质 | |
CN115273795A (zh) | 模拟冲激响应的生成方法、装置和计算机设备 | |
CN115331689A (zh) | 语音降噪模型的训练方法、装置、设备、存储介质及产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |