CN112437392B - 声场重建方法、装置、电子设备和存储介质 - Google Patents
声场重建方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN112437392B CN112437392B CN202011454645.4A CN202011454645A CN112437392B CN 112437392 B CN112437392 B CN 112437392B CN 202011454645 A CN202011454645 A CN 202011454645A CN 112437392 B CN112437392 B CN 112437392B
- Authority
- CN
- China
- Prior art keywords
- reconstruction
- sound source
- signal
- region
- elimination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000003379 elimination reaction Methods 0.000 claims abstract description 135
- 230000008030 elimination Effects 0.000 claims abstract description 131
- 238000001914 filtration Methods 0.000 claims abstract description 38
- 239000011159 matrix material Substances 0.000 claims description 97
- 230000004044 response Effects 0.000 claims description 68
- 238000012360 testing method Methods 0.000 claims description 47
- 238000004590 computer program Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000005236 sound signal Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000002068 genetic effect Effects 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000011423 initialization method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L21/0232—Processing in the frequency domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/02—Spatial or constructional arrangements of loudspeakers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2205/00—Details of stereophonic arrangements covered by H04R5/00 but not provided for in any of its subgroups
- H04R2205/024—Positioning of loudspeaker enclosures for spatial sound reproduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
本发明提供一种声场重建方法、装置、电子设备和存储介质，其中方法包括：确定原始声源信号；基于串消滤波器对所述原始声源信号进行频域滤波，得到每一重建区域下的扬声器播放信号，每一重建区域下的扬声器播放信号用于对应重建区域的声场重建；其中，所述串消滤波器用于过滤所述原始声源信号中任一重建区域对应的声源信号以外的声源信号，得到所述任一重建区域下的扬声器播放信号。本发明提供的声场重建方法、装置、电子设备和存储介质，通过利用串消滤波器对原始声源信号进行频域滤波，过滤原始声源信号中任一重建区域对应的声源信号以外的声源信号，得到任一重建区域下的扬声器播放信号，提高了声场重建的精确性。
Description
技术领域
本发明涉及音频信号处理技术领域，尤其涉及一种声场重建方法、装置、电子设备和存储介质。
背景技术
随着三维电影、虚拟现实等技术的快速发展，三维音频技术成为向用户提供高逼真度浸入式体验的关键技术之一，获得了越来越多的关注。声场重建技术作为三维音频技术的核心，也扮演了越来越重要的角色。
然而，现有的声场重建方法通常需要将声场分解到球谐域上，存在截断误差，导致重建的声场精确度欠佳。
发明内容
本发明提供一种声场重建方法、装置、电子设备和存储介质，用以解决现有技术中声场重建精确度欠佳的缺陷。
本发明提供一种声场重建方法，包括：
确定原始声源信号；
基于串消滤波器对所述原始声源信号进行频域滤波，得到每一重建区域下的扬声器播放信号，每一重建区域下的扬声器播放信号用于对应重建区域的声场重建；
其中，所述串消滤波器用于过滤所述原始声源信号中任一重建区域对应的声源信号以外的声源信号，得到所述任一重建区域下的扬声器播放信号。
根据本发明提供一种的声场重建方法，所述串消滤波器包括每一重建区域分别对应的串消矩阵；
所述串消滤波器是基于如下步骤确定的：
基于回归约束条件，计算每一重建区域分别对应的串消矩阵；
其中，所述回归约束条件包括对应相同重建区域的串消矩阵与房间冲激响应向量的乘积为单位矩阵，以及对应不同重建区域的串消矩阵与房间冲激响应向量的乘积之和最小。
根据本发明提供的一种声场重建方法，所述回归约束条件还包括稀疏约束条件。
根据本发明提供的一种声场重建方法，任一重建区域对应的房间冲激响应向量包括每一扬声器到所述任一重建区域的房间冲激响应；
其中，任一扬声器到任一重建区域的房间冲激响应是基于如下步骤确定的：
利用任一扬声器播放对数扫频信号；
利用所述任一重建区域放置的音频采集装置录制所述对数扫频信号；
对录制的对数扫频信号进行解码，得到所述任一扬声器到所述任一重建区域的房间冲激响应。
根据本发明提供的一种声场重建方法，所述计算每一重建区域分别对应的串消矩阵，之后还包括：
基于每一重建区域分别对应的串消矩阵，对测试声源信号进行频域滤波，得到每一重建区域对应的测试扬声器播放信号；
播放并录制每一重建区域对应的测试扬声器播放信号；
基于每一重建区域对应的声源信号与录制的测试扬声器播放信号间的误差，更新每一重建区域分别对应的串消矩阵。
根据本发明提供的一种声场重建方法，所述基于每一重建区域对应的声源信号与录制的测试扬声器播放信号间的误差，更新每一重建区域分别对应的串消矩阵，具体包括：
以每一重建区域分别对应的串消矩阵作为初始值，以对应相同重建区域的串消矩阵与房间冲激响应向量的乘积为单位矩阵，对应不同重建区域的串消矩阵与房间冲激响应向量的乘积之和最小，且每一重建区域对应的声源信号与录制的测试扬声器播放信号间的误差最小为约束条件，更新每一重建区域分别对应的串消矩阵。
根据本发明提供的一种声场重建方法，所述原始声源信号包括至少一个声源信号，任一声源信号对应至少一个重建区域。
本发明还提供一种声场重建装置，包括：
声源确定单元，用于确定原始声源信号；
声源信号重构单元，用于基于串消滤波器对所述原始声源信号进行频域滤波，得到每一重建区域下的扬声器播放信号，每一重建区域下的扬声器播放信号用于对应重建区域的声场重建；
其中，所述串消滤波器用于过滤所述原始声源信号中任一重建区域对应的声源信号以外的声源信号，得到所述任一重建区域下的扬声器播放信号。
本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述声场重建方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述声场重建方法的步骤。
本发明提供的声场重建方法、装置、电子设备和存储介质，通过利用串消滤波器对原始声源信号进行频域滤波，过滤原始声源信号中任一重建区域对应的声源信号以外的声源信号，得到任一重建区域下的扬声器播放信号，提高了声场重建的精确性。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的声场重建方法的流程示意图；
图2为本发明提供的房间冲激响应测量方法的流程示意图；
图3为本发明提供的串消滤波器优化方法的流程示意图；
图4为本发明提供的声场重建装置的结构示意图；
图5为本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
随着三维电影、虚拟现实等技术的快速发展，声场重建技术作为向用户提供高逼真度浸入式体验的核心技术，获得了越来越多的关注。其中，声场重建技术能够使得处于同一空间不同区域内的人听到不同的声音信号，而不受其他区域声音信号的串扰，可以提高听音质量和语音可懂度等。
现有的声场重建方法通常为基于Ambisonics技术的多区域声场重建。其中，Ambisonic技术可以还原整个三维声场，包括听众头顶和脚下的声音。基于Ambisonics技术的多区域声场重建方法，基于球贝塞尔函数将声场展开到空间谐波域，通过空间谐波系数坐标系变换，将多区域声场重放问题转化成单区域声场重放全局最优的问题，从而获得扬声器的驱动信号。可见，现有的声场重建方法需要将声场分解到球谐域上，使用截断的球谐函数分解声场，然后使用扬声器阵列进行声场重建，因此存在截断误差，导致重建的声场精确度不足。
对此，本发明实施例提供了一种声场重建方法。该方法可以应用于车内环境、家庭影院、办公通话和会议等场景，使得每个区域可以播放相同或不同的声音，实现浸入式体验，同时还可以避免信息泄露或互相干扰。图1为本发明实施例提供的声场重建方法的流程示意图，如图1所示，该方法包括：
步骤110，确定原始声源信号；
步骤120，基于串消滤波器对原始声源信号进行频域滤波，得到每一重建区域下的扬声器播放信号，每一重建区域下的扬声器播放信号用于对应重建区域的声场重建；
其中，串消滤波器用于过滤原始声源信号中任一重建区域对应的声源信号以外的声源信号，得到该重建区域下的扬声器播放信号。
此处，原始声源信号为需要进行还原和重现的原始声源产生的音频信号，重建区域为需要进行声场重建的区域。其中，原始声源可以有一个或多个，相应产生的原始声源信号可以包括一个或多个声源信号。当原始声源信号仅包含一个声源信号时，则所有的重建区域均重建同一个声源信号。
假设重建区域为N个，原始声源信号中包含M个声源信号，且扬声器的数目为L。其中，进行声场重建的扬声器数量大于等于声源信号的数量，且扬声器可以随意地放置在房间内，只需尽量包围所有重建区域即可，而不必以均匀排列的环形结构排列。在同一空间内，每个扬声器到每个重建区域的声学传输路径，即房间冲激响应(Room ImpulseResponse，RIR)，共有L*N条。假设每个重建区域对应的房间冲激响应向量表示为
其中，h1ih2i…hli…hLi(i∈[1,N])分别为每一扬声器到重建区域i的房间冲激响应。
各个待还原的声源信号的频域表示为S1、S2、…SM，若直接将各个声源信号反馈给扬声器阵列，则N个重建区域接收到的信号分别为：
用矩阵形式可以表示为：
此时，所有扬声器播放的声音都会通过不同的传输路径，传到同一个重建区域，因此，每一重建区域得到的信号均为全部声源信号的交叠混合。为了正确还原每一重建区域对应的声源信号，可以利用预先计算的串消滤波器对原始声源信号进行频域滤波。其中，串消滤波器为与声源传递函数相反的L*M的逆滤波系数，可以用于消除其他声源信号的串扰。具体而言，通过串消滤波器的滤波作用，可以使得
其中，XS1、XS2、…、XSm、…、XSM为每一重建区域的扬声器播放信号。即，对于任一重建区域，串消滤波器可以将原始声源信号中，除了该重建区域对应的声源信号以外的其他声源信号过滤，仅留下该重建区域对应的声源信号，使得重建区域的接收信号，即扬声器播放信号，与其对应的声源信号的声压相等，从而实现在不同重建区域还原出不同的声音信号。扬声器播放信号由对应的扬声器播放后，会与真实环境的声学传递函数自动耦合，还原出对应重建区域的声场。
由于串消滤波器直接在频域上对原始声源信号进行滤波，因此可以免去将声场分解到球谐域这一步骤，而不再受到截断误差的限制，可以提高声场重建的精确性。
本发明实施例提供的方法，通过利用串消滤波器对原始声源信号进行频域滤波，过滤原始声源信号中任一重建区域对应的声源信号以外的声源信号，得到任一重建区域下的扬声器播放信号，提高了声场重建的精确性。
基于上述实施例，原始声源信号包括至少一个声源信号，任一声源信号可以对应至少一个重建区域。
具体地，待还原的原始声源可以为一个或多个，相应地，原始声源信号也包括一个或多个声源信号。待重建声场的重建区域有多个，且重建区域与待还原的声源信号之间存在对应关系。其中，任一声源信号可以对应一个或多个重建区域，若任一声源信号对应多个重建区域，则上述多个重建区域均重建同一个声源信号。
基于上述任一实施例，串消滤波器包括每一重建区域分别对应的串消矩阵；
串消滤波器是基于如下步骤确定的：
基于回归约束条件，计算每一重建区域分别对应的串消矩阵；
其中，回归约束条件包括对应相同重建区域的串消矩阵与房间冲激响应向量的乘积为单位矩阵，以及对应不同重建区域的串消矩阵与房间冲激响应向量的乘积之和最小。
具体地，由于串消滤波器需要针对每一重建区域，对原始声源信号进行处理，以还原出每一重建区域下的扬声器播放信号，因此串消滤波器中可以包括每一重建区域分别对应的串消矩阵。在进行声场重建时，可以利用任一重建区域对应的串消矩阵对原始声源信号进行频域滤波处理，得到该重建区域下的扬声器播放信号。
在对任一重建区域进行声场重建时，串消滤波器的作用在于消除该重建区域对应的声源信号以外的其他声源信号，同时保证其他重建区域安静。因此，可以以对应相同重建区域的串消矩阵与房间冲激响应向量的乘积为单位矩阵，以及对应不同重建区域的串消矩阵与房间冲激响应向量的乘积之和最小作为回归约束条件，对串消滤波器的每一串消矩阵进行求解。其中，以对应相同重建区域的串消矩阵与房间冲激响应向量的乘积为单位矩阵为约束条件，可以尽可能保证每一重建区域的接收信号为其对应的声源信号，而以对应不同重建区域的串消矩阵与房间冲激响应向量的乘积之和最小为约束条件，可以在对某一重建区域进行声场重建时，尽可能地去除该重建过程对其他重建区域的干扰，从而提高声场重建的精确性。由于此时的计算问题为凸优化问题，因此可以采用二阶凸优化方法对串消滤波器进行回归求解，例如最小二乘法等，本发明实施例对此不作具体限定。
此外，为了减少声场重构过程中的计算量，以保证声场重构方法的实时性，串消滤波器的求解过程可以预先离线执行。
本发明实施例提供的方法，通过将对应相同重建区域的串消矩阵与房间冲激响应向量的乘积为单位矩阵，以及对应不同重建区域的串消矩阵与房间冲激响应向量的乘积之和最小作为回归约束条件，对串消滤波器进行求解，可以提高声场重建的精确性。
基于上述任一实施例，回归约束条件还包括稀疏约束条件。
具体地，在扬声器产生的声场中，音频信号存在一定的空间稀疏性。利用该空间稀疏性，可以在计算串消滤波器时，在对应相同重建区域的串消矩阵与房间冲激响应向量的乘积为单位矩阵，以及对应不同重建区域的串消矩阵与房间冲激响应向量的乘积之和最小这两个约束条件下，还为其添加稀疏约束条件，以提高串消滤波器求解的准确性。例如，可以使用p范数约束，并使用最小绝对收缩和选择算子法(Least Absolute Shrinkage andSelection Operator，LASSO)，求解串消滤波器。
因此，在求解串消滤波器时，可采用如下约束条件进行优化求解：
其中，I表示单位矩阵，W1、W2、…、Wn、…、WN为对应重建区域1、2、…、n、…、N的串消矩阵，p为p范数。
基于上述任一实施例，任一重建区域对应的房间冲激响应向量包括每一扬声器到该重建区域的房间冲激响应；
其中，图2为本发明实施例提供的房间冲激响应测量方法的流程示意图，如图2所示，任一扬声器到任一重建区域的房间冲激响应是基于如下步骤确定的：
步骤210，利用任一扬声器播放对数扫频信号；
步骤220，利用该重建区域放置的音频采集装置录制对数扫频信号；
步骤230，对录制的对数扫频信号进行解码，得到该扬声器到该重建区域的房间冲激响应。
具体地，为了求解串消滤波器，需要事先对每一重建区域对应的房间冲激响应向量进行测量。由于在同一空间内，每个扬声器播放的声音均会以不同的传递路径传递到任一重建区域内，因此任一重建区域对应的房间冲激响应向量包括每一扬声器到该重建区域的房间冲激响应。其中，任一扬声器到任一重建区域的房间冲激响应可以通过扬声器播放对数扫频信号，并对录制的对数扫频信号进行解码得到。具体而言，可以利用任一扬声器播放对数扫频信号。与此同时，该重建区域内放置的音频采集装置，例如麦克风，会对扬声器播放的对数扫频信号进行录制。然后，对录制的对数扫频信号进行解码，可以得到该扬声器到该重建区域的房间冲激响应。此外，为了减少声场重构过程中的计算量，以保证声场重构方法的实时性，房间冲激响应的测量过程也可以预先离线执行。
基于上述任一实施例，图3为本发明实施例提供的串消滤波器优化方法的流程示意图，如图3所示，计算每一重建区域分别对应的串消矩阵，之后还包括：
步骤310，基于每一重建区域分别对应的串消矩阵，对测试声源信号进行频域滤波，得到每一重建区域对应的测试扬声器播放信号；
步骤320，播放并录制每一重建区域对应的测试扬声器播放信号；
步骤330，基于每一重建区域对应的声源信号与录制的测试扬声器播放信号间的误差，更新每一重建区域分别对应的串消矩阵。
具体地，考虑到房间冲激响应的测量过程中存在一定的测量误差，据此计算得到的串消滤波器也存在相应的计算误差，从而导致串消滤波器滤波得到的每一重建区域的扬声器播放信号与期望重建的声源信号存在差距。为了提高声场重建的准确性，缩小每一重建区域的扬声器播放信号与期望重建的声源信号之间的差距，可以对串消滤波器进行优化。基于之前计算得到的每一重建区域分别对应的串消矩阵，对测试声源信号进行频域滤波，得到每一重建区域对应的测试扬声器播放信号。其中，测试声源信号包括一个或多个优化过程中待还原的声源信号。
利用扬声器播放对应的测试扬声器播放信号，并利用每一重建区域内布置的音频采集装置录制对应重建区域的测试扬声器播放信号。此处，音频采集装置可以与房间冲激响应测量过程中使用的音频采集装置相同。根据测试声源信号中每一重建区域对应的声源信号，计算声源信号与录制的对应重建区域的测试扬声器播放信号间的误差。此处，可以计算声源信号的声压与录制的对应重建区域的测试扬声器播放信号的声压间的误差。然后，基于该误差，对串消滤波器进行优化和更新，得到更新后的每一重建区域分别对应的串消矩阵。其中，根据每一重建区域对应的声源信号与录制的测试扬声器播放信号间的误差，更新每一重建区域分别对应的串消矩阵，可以提高串消滤波器的准确性，能够进一步缩小每一重建区域的扬声器播放信号与期望重建的声源信号之间的差距，从而提高声场重建的准确性。
本发明实施例提供的方法，通过每一重建区域分别对应的串消矩阵，对测试声源信号进行频域滤波，得到每一重建区域对应的测试扬声器播放信号，并基于每一重建区域对应的声源信号与录制的测试扬声器播放信号间的误差，更新每一重建区域分别对应的串消矩阵，可以提高串消滤波器的准确性，并进一步提高声场重建的准确性。
基于上述任一实施例，步骤330具体包括：
以每一重建区域分别对应的串消矩阵作为初始值，以对应相同重建区域的串消矩阵与房间冲激响应向量的乘积为单位矩阵，对应不同重建区域的串消矩阵与房间冲激响应向量的乘积之和最小，且每一重建区域对应的声源信号与录制的测试扬声器播放信号间的误差最小为约束条件，更新每一重建区域分别对应的串消矩阵。
具体地，可以将优化算法得到的每一重建区域分别对应的串消矩阵作为初始值，在优化算法的约束条件基础上，增加每一重建区域对应的声源信号与录制的测试扬声器播放信号间的误差约束，重新对串消滤波器进行求解，得到更新后的每一重建区域分别对应的串消矩阵。即，在优化更新串消滤波器时，采用的约束条件可以包括对应相同重建区域的串消矩阵与房间冲激响应向量的乘积为单位矩阵，对应不同重建区域的串消矩阵与房间冲激响应向量的乘积之和最小，且每一重建区域对应的声源信号与录制的测试扬声器播放信号间的误差最小。此处，可以采用遗传算法对串消滤波器进行求解，以提高串消滤波器求解的准确性。
需要说明的是，在更新每一重建区域分别对应的串消矩阵时，以优化算法得到的每一重建区域分别对应的串消矩阵作为初始值，而避免以现有的随机初始化方式得到初始值，可以降低串消滤波器的优化难度，提高优化效率。
本发明实施例提供的方法，通过以每一重建区域分别对应的串消矩阵作为初始值，以对应相同重建区域的串消矩阵与房间冲激响应向量的乘积为单位矩阵，对应不同重建区域的串消矩阵与房间冲激响应向量的乘积之和最小，且每一重建区域对应的声源信号与录制的测试扬声器播放信号间的误差最小为约束条件，更新每一重建区域分别对应的串消矩阵，提高了串消滤波器的优化效率。
基于上述任一实施例，本发明又一实施例提供了一种声场重建方法，该方法包括：
首先，根据实际使用场景选定需要重建声场的声场区域，即重建区域，并确定各个重建区域与声源信号间的对应关系。
使用高保真扬声器依次播放对数扫频信号，并且在每个重建区域放置麦克风录制上述对数扫频信号，然后对录制到的对数扫频信号进行解码，得到每个扬声器到每个重建区域的房间冲激响应。
以对应相同重建区域的串消矩阵与房间冲激响应向量的乘积为单位矩阵，以及对应不同重建区域的串消矩阵与房间冲激响应向量的乘积之和最小为约束条件，并添加稀疏约束，利用LASSO算法求解得到每一重建区域分别对应的初始串消矩阵。
然后，利用每一重建区域分别对应的初始串消矩阵，对测试声源信号进行频域滤波，得到每一重建区域对应的测试扬声器播放信号。利用扬声器播放每一重建区域对应的测试扬声器播放信号，并对其进行录制。
将每一重建区域分别对应的初始串消矩阵作为初始值，以对应相同重建区域的串消矩阵与房间冲激响应向量的乘积为单位矩阵，对应不同重建区域的串消矩阵与房间冲激响应向量的乘积之和最小，且每一重建区域对应的声源信号与录制的测试扬声器播放信号间的误差最小为约束条件，利用遗传算法对串消滤波器进行二次优化，得到每一重建区域分别对应的更新后的串消矩阵。
基于每一重建区域分别对应的更新后的串消矩阵，对原始声源信号进行频域滤波，得到每一重建区域下的扬声器播放信号，该扬声器播放信号与真实环境下的声学传递函数自动耦合，即可还原出每一重建区域对应的不同声场。
下面对本发明提供的声场重建装置进行描述，下文描述的声场重建装置与上文描述的声场重建方法可相互对应参照。
基于上述任一实施例，图4为本发明实施例提供的声场重建装置的结构示意图，如图4所示，该装置包括：声源确定单元410和声源信号重构单元420。
其中，声源确定单元410用于确定原始声源信号；
声源信号重构单元420用于基于串消滤波器对原始声源信号进行频域滤波，得到每一重建区域下的扬声器播放信号，每一重建区域下的扬声器播放信号用于对应重建区域的声场重建；
其中，串消滤波器用于过滤原始声源信号中任一重建区域对应的声源信号以外的声源信号，得到该重建区域下的扬声器播放信号。
本发明实施例提供的装置，通过利用串消滤波器对原始声源信号进行频域滤波，过滤原始声源信号中任一重建区域对应的声源信号以外的声源信号，得到任一重建区域下的扬声器播放信号，提高了声场重建的精确性。
基于上述任一实施例，原始声源信号包括至少一个声源信号，任一声源信号可以对应至少一个重建区域。
基于上述任一实施例，串消滤波器包括每一重建区域分别对应的串消矩阵。
该装置还包括串消滤波器获取单元，具体用于：
基于回归约束条件，计算每一重建区域分别对应的串消矩阵；
其中，回归约束条件包括对应相同重建区域的串消矩阵与房间冲激响应向量的乘积为单位矩阵，以及对应不同重建区域的串消矩阵与房间冲激响应向量的乘积之和最小。
本发明实施例提供的装置，通过将对应相同重建区域的串消矩阵与房间冲激响应向量的乘积为单位矩阵，以及对应不同重建区域的串消矩阵与房间冲激响应向量的乘积之和最小作为回归约束条件，对串消滤波器进行求解，可以提高声场重建的精确性。
基于上述任一实施例，回归约束条件还包括稀疏约束条件。
基于上述任一实施例，任一重建区域对应的房间冲激响应向量包括每一扬声器到该重建区域的房间冲激响应。
该装置还包括房间冲激响应测量单元，具体用于：
利用任一扬声器播放对数扫频信号；
利用该重建区域放置的音频采集装置录制对数扫频信号；
对录制的对数扫频信号进行解码，得到该扬声器到该重建区域的房间冲激响应。
基于上述任一实施例，该装置还包括串消滤波器优化单元，具体用于：
基于每一重建区域分别对应的串消矩阵，对测试声源信号进行频域滤波，得到每一重建区域对应的测试扬声器播放信号；
播放并录制每一重建区域对应的测试扬声器播放信号；
基于每一重建区域对应的声源信号与录制的测试扬声器播放信号间的误差，更新每一重建区域分别对应的串消矩阵。
本发明实施例提供的装置，通过每一重建区域分别对应的串消矩阵，对测试声源信号进行频域滤波，得到每一重建区域对应的测试扬声器播放信号，并基于每一重建区域对应的声源信号与录制的测试扬声器播放信号间的误差，更新每一重建区域分别对应的串消矩阵，可以提高串消滤波器的准确性，并进一步提高声场重建的准确性。
基于上述任一实施例，基于每一重建区域对应的声源信号与录制的测试扬声器播放信号间的误差，更新每一重建区域分别对应的串消矩阵，具体包括：
以每一重建区域分别对应的串消矩阵作为初始值，以对应相同重建区域的串消矩阵与房间冲激响应向量的乘积为单位矩阵，对应不同重建区域的串消矩阵与房间冲激响应向量的乘积之和最小，且每一重建区域对应的声源信号与录制的测试扬声器播放信号间的误差最小为约束条件，更新每一重建区域分别对应的串消矩阵。
本发明实施例提供的装置，通过以每一重建区域分别对应的串消矩阵作为初始值，以对应相同重建区域的串消矩阵与房间冲激响应向量的乘积为单位矩阵，对应不同重建区域的串消矩阵与房间冲激响应向量的乘积之和最小，且每一重建区域对应的声源信号与录制的测试扬声器播放信号间的误差最小为约束条件，更新每一重建区域分别对应的串消矩阵，提高了串消滤波器的优化效率。
图5示例了一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(Communications Interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行声场重建方法，该方法包括：确定原始声源信号；基于串消滤波器对所述原始声源信号进行频域滤波，得到每一重建区域下的扬声器播放信号，每一重建区域下的扬声器播放信号用于对应重建区域的声场重建；其中，所述串消滤波器用于过滤所述原始声源信号中任一重建区域对应的声源信号以外的声源信号，得到所述任一重建区域下的扬声器播放信号。
此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的声场重建方法，该方法包括：确定原始声源信号；基于串消滤波器对所述原始声源信号进行频域滤波，得到每一重建区域下的扬声器播放信号，每一重建区域下的扬声器播放信号用于对应重建区域的声场重建；其中，所述串消滤波器用于过滤所述原始声源信号中任一重建区域对应的声源信号以外的声源信号，得到所述任一重建区域下的扬声器播放信号。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的声场重建方法，该方法包括：确定原始声源信号；基于串消滤波器对所述原始声源信号进行频域滤波，得到每一重建区域下的扬声器播放信号，每一重建区域下的扬声器播放信号用于对应重建区域的声场重建；其中，所述串消滤波器用于过滤所述原始声源信号中任一重建区域对应的声源信号以外的声源信号，得到所述任一重建区域下的扬声器播放信号。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (9)
1.一种声场重建方法，其特征在于，包括：
确定原始声源信号；
基于串消滤波器对所述原始声源信号进行频域滤波，得到每一重建区域下的扬声器播放信号，每一重建区域下的扬声器播放信号用于对应重建区域的声场重建；
其中，所述串消滤波器用于过滤所述原始声源信号中任一重建区域对应的声源信号以外的声源信号，得到所述任一重建区域下的扬声器播放信号；
所述串消滤波器包括每一重建区域分别对应的串消矩阵，任一重建区域对应的串消矩阵用于对原始声源信号进行频域滤波处理，得到该重建区域下的扬声器播放信号；
所述串消滤波器是基于如下步骤确定的：
基于回归约束条件，计算每一重建区域分别对应的串消矩阵；
其中，所述回归约束条件包括对应相同重建区域的串消矩阵与房间冲激响应向量的乘积为单位矩阵，以及对应不同重建区域的串消矩阵与房间冲激响应向量的乘积之和最小。
2.根据权利要求1所述的声场重建方法，其特征在于，所述回归约束条件还包括稀疏约束条件。
3.根据权利要求1所述的声场重建方法，其特征在于，任一重建区域对应的房间冲激响应向量包括每一扬声器到所述任一重建区域的房间冲激响应；
其中，任一扬声器到任一重建区域的房间冲激响应是基于如下步骤确定的：
利用任一扬声器播放对数扫频信号；
利用所述任一重建区域放置的音频采集装置录制所述对数扫频信号；
对录制的对数扫频信号进行解码，得到所述任一扬声器到所述任一重建区域的房间冲激响应。
4.根据权利要求1至3任一项所述的声场重建方法，其特征在于，所述计算每一重建区域分别对应的串消矩阵，之后还包括：
基于每一重建区域分别对应的串消矩阵，对测试声源信号进行频域滤波，得到每一重建区域对应的测试扬声器播放信号；
播放并录制每一重建区域对应的测试扬声器播放信号；
基于每一重建区域对应的声源信号与录制的测试扬声器播放信号间的误差，更新每一重建区域分别对应的串消矩阵。
5.根据权利要求4所述的声场重建方法，其特征在于，所述基于每一重建区域对应的声源信号与录制的测试扬声器播放信号间的误差，更新每一重建区域分别对应的串消矩阵，具体包括：
以每一重建区域分别对应的串消矩阵作为初始值，以对应相同重建区域的串消矩阵与房间冲激响应向量的乘积为单位矩阵，对应不同重建区域的串消矩阵与房间冲激响应向量的乘积之和最小，且每一重建区域对应的声源信号与录制的测试扬声器播放信号间的误差最小为约束条件，更新每一重建区域分别对应的串消矩阵。
6.根据权利要求1至3任一项所述的声场重建方法，其特征在于，所述原始声源信号包括至少一个声源信号，任一声源信号对应至少一个重建区域。
7.一种声场重建装置，其特征在于，包括：
声源确定单元，用于确定原始声源信号；
声源信号重构单元，用于基于串消滤波器对所述原始声源信号进行频域滤波，得到每一重建区域下的扬声器播放信号，每一重建区域下的扬声器播放信号用于对应重建区域的声场重建；
其中，所述串消滤波器用于过滤所述原始声源信号中任一重建区域对应的声源信号以外的声源信号，得到所述任一重建区域下的扬声器播放信号；
所述串消滤波器包括每一重建区域分别对应的串消矩阵，任一重建区域对应的串消矩阵用于对原始声源信号进行频域滤波处理，得到该重建区域下的扬声器播放信号；
所述串消滤波器是基于如下步骤确定的：
基于回归约束条件，计算每一重建区域分别对应的串消矩阵；
其中，所述回归约束条件包括对应相同重建区域的串消矩阵与房间冲激响应向量的乘积为单位矩阵，以及对应不同重建区域的串消矩阵与房间冲激响应向量的乘积之和最小。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述声场重建方法的步骤。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述声场重建方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011454645.4A CN112437392B (zh) | 2020-12-10 | 2020-12-10 | 声场重建方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011454645.4A CN112437392B (zh) | 2020-12-10 | 2020-12-10 | 声场重建方法、装置、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112437392A CN112437392A (zh) | 2021-03-02 |
| CN112437392B true CN112437392B (zh) | 2022-04-19 |
Family
ID=74692462
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011454645.4A Active CN112437392B (zh) | 2020-12-10 | 2020-12-10 | 声场重建方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112437392B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113108893B (zh) * | 2021-03-22 | 2022-08-16 | 北京科技大学 | 一种基于声压和质点振速的声场重构系统及方法 |
| CN113286252B (zh) * | 2021-07-23 | 2021-11-16 | 科大讯飞(苏州)科技有限公司 | 一种声场重建方法、装置、设备及存储介质 |
| CN114882721B (zh) * | 2022-05-27 | 2023-05-09 | 中国第一汽车股份有限公司 | 一种车载导航信息播放方法、装置、电子设备及存储介质 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2899423A1 (fr) * | 2006-03-28 | 2007-10-05 | France Telecom | Procede et dispositif de spatialisation sonore binaurale efficace dans le domaine transforme. |
| US9113281B2 (en) * | 2009-10-07 | 2015-08-18 | The University Of Sydney | Reconstruction of a recorded sound field |
| US9107021B2 (en) * | 2010-04-30 | 2015-08-11 | Microsoft Technology Licensing, Llc | Audio spatialization using reflective room model |
| CN103118323A (zh) * | 2012-12-28 | 2013-05-22 | 中国科学院声学研究所 | 基于平面波分解的wfs系统主动房间补偿方法和系统 |
| EP2816824B1 (en) * | 2013-05-24 | 2020-07-01 | Harman Becker Automotive Systems GmbH | Sound system for establishing a sound zone |
| WO2015062658A1 (en) * | 2013-10-31 | 2015-05-07 | Huawei Technologies Co., Ltd. | System and method for evaluating an acoustic transfer function |
| AU2015292238B2 (en) * | 2014-07-23 | 2020-05-21 | The Australian National University | Planar sensor array |
| CN104469595A (zh) * | 2014-10-30 | 2015-03-25 | 苏州上声电子有限公司 | 一种基于误差模型的多区域声重放方法和装置 |
| CN107979806A (zh) * | 2017-05-16 | 2018-05-01 | 中山大学花都产业科技研究院 | 一种用于实现车内声场重构的方法 |
| US10652686B2 (en) * | 2018-02-06 | 2020-05-12 | Sony Interactive Entertainment Inc. | Method of improving localization of surround sound |
-
2020
- 2020-12-10 CN CN202011454645.4A patent/CN112437392B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN112437392A (zh) | 2021-03-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112437392B (zh) | 声场重建方法、装置、电子设备和存储介质 | |
| CN105325013B (zh) | 具有立体声房间脉冲响应的滤波 | |
| US10070245B2 (en) | Method and apparatus for personalized audio virtualization | |
| EP2954521B1 (en) | Signaling audio rendering information in a bitstream | |
| CN101040565B (zh) | 用于移动立体声内容的改善的头相关传递函数 | |
| JP3264489B2 (ja) | 音響再生装置 | |
| CN104429102B (zh) | 使用3d音频分层译码的扩音器位置补偿 | |
| CN104871566B (zh) | 协作式声音系统 | |
| Farina | Advancements in impulse response measurements by sine sweeps | |
| KR101954849B1 (ko) | 입체 음향 재생 방법 및 장치 | |
| CN101212843B (zh) | 基于个体听觉特性的再现两声道立体声音响的方法和装置 | |
| JP3913775B2 (ja) | 録音及び再生システム | |
| CN105308988B (zh) | 配置成转换音频输入通道用于头戴受话器收听的音频解码器 | |
| US20150264483A1 (en) | Low frequency rendering of higher-order ambisonic audio data | |
| CN106575506A (zh) | 高阶立体混响音频数据的中间压缩 | |
| KR101086308B1 (ko) | 음장 재생용 유닛의 제어 방법 및 장치 | |
| Farina et al. | Spatial PCM sampling: A new method for sound recording and playback | |
| TW201517643A (zh) | 以保真立體音響格式所編碼聲訊訊號為ｌ揚聲器在已知位置之解碼方法和裝置以及電腦可讀式儲存媒體 | |
| Lokki et al. | Subjective evaluation of auralization of physics-based room acoustics modeling | |
| JP4497161B2 (ja) | 音像生成装置及び音像生成プログラム | |
| Erdem et al. | 3D perceptual soundfield reconstruction via virtual microphone synthesis | |
| Enomoto et al. | Optimization of loudspeaker and microphone configurations for sound reproduction system based on boundary surface control principle | |
| CN105163239B (zh) | 4d裸耳全息立体声实现方法 | |
| Frank et al. | Perceptual Evaluation of Spatial Resolution in Early Reflections | |
| CN113314129B (zh) | 一种适应环境的声场重放空间解码方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |