CN105163242B - 一种多角度3d声回放方法及装置 - Google Patents
一种多角度3d声回放方法及装置 Download PDFInfo
- Publication number
- CN105163242B CN105163242B CN201510551241.XA CN201510551241A CN105163242B CN 105163242 B CN105163242 B CN 105163242B CN 201510551241 A CN201510551241 A CN 201510551241A CN 105163242 B CN105163242 B CN 105163242B
- Authority
- CN
- China
- Prior art keywords
- array
- user
- microphone array
- sound
- angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 210000005069 ears Anatomy 0.000 claims abstract description 18
- 230000001360 synchronised effect Effects 0.000 claims abstract description 12
- 230000006870 function Effects 0.000 claims description 45
- 238000012546 transfer Methods 0.000 claims description 34
- 230000004044 response Effects 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000000717 retained effect Effects 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 8
- 230000008859 change Effects 0.000 abstract description 4
- 238000009434 installation Methods 0.000 abstract 1
- 230000008569 process Effects 0.000 description 15
- 230000000694 effects Effects 0.000 description 9
- 230000015572 biosynthetic process Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000003786 synthesis reaction Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 241000280737 Exochaenium grande Species 0.000 description 2
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000005314 correlation function Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000001093 holography Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 239000000686 essence Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
Landscapes
- Circuit For Audible Band Transducer (AREA)
- Stereophonic System (AREA)
Abstract
本发明适用于声音处理领域，提供了一种多角度3D声回放方法及装置方法及装置，所述方法包括：通过传感器实时采集用户的方位信息；根据实时采集到的用户方位信息对传声器阵列进行同步；根据同步后的传声器阵列，实时计算并合成用户的双耳3D声。本发明通过传感器采集用户的方位信息，同时利用传声器阵列的定向采集功能，通过与耳机采集到的用户实时方位信息实现耳机双耳声的有效合成，使得用户获得的声音信息可随着用户头部的转动而实时变化，获得实时的且是完整的3D音效体验。
Description
技术领域
本发明属于声音处理领域，尤其涉及一种多角度3D声回放方法及装置。
背景技术
3D声回放技术一直以来都是人们关注的热点，波场合成技术(Wave fieldsynthesis，WFS)[A.J.Berkhout,D.Vries and P.Voge,Acoustic control by wave fieldsynthesis,J.Acoust.Soc.Am.,93:2764-2778,1993]理论上可以获得完美的3D声回放效果，但其存在的显著问题是需要使用大量的扬声器单元，系统构造非常复杂。与之类似的其它利用扬声器阵列的3D声回放技术，如Ambisonics[D.G.Malham and A.Myatt,3-D soundspatialization using Ambisonics techniques,Computer Music J.,19(4):58-70,1995]和Dobly Atmos[G.Sergi,Knocking at the door of cinematic artifice:DolbyAtmos,challenges and opportunities,The New Soundtrack,3(2):107-121,2013]等都存在复杂度过高的问题。
除了利用扬声器阵列，还可以通过耳机实现3D声回放，现有的耳机回放一般通过人头相关传递函数(Head related transfer function,HRTF)，把需要回放的立体声声源信息经过人头相关传递函数滤波后作为耳机的驱动信号反馈给用户。专利CN101511047B公开了一种适用于耳机的3D音效处理方法，其利用立体声数据，通过构造环绕声提升耳机的声回放效果；专利CN102665156B公开了一种虚拟3D重放方法，除了运用头相关传递函数以外，还考虑了房间声场以及空气吸声的影响，以进一步提升用户的主观感受。现有的基于耳机的3D回放技术仅关注声回放的实现，使用的声源信息一般是双通道立体声数据或是商用的多声道数据(如Dolby5.1)，缺乏与信号采集端的关联。
发明内容
本发明实施例的目的在于提供一种多角度3D声回放方法及装置，旨在充分利用传声器阵列的定向采集功能，实现对声场信息的多角度采集，并通过与耳机同步方位信息实现耳机双耳声的有效合成，使得听音者获得的声信息可随其头部的转动实时变化，获得完整的3D音效体验。
本发明实施例是这样实现的，一种多角度3D声回放方法，所述方法包括：
通过传感器实时采集用户的方位信息；
根据实时采集到的用户方位信息对传声器阵列进行同步；
根据同步后的传声器阵列，实时计算并合成用户的双耳3D声。
进一步的，所述传声器阵列包括：
线性阵列、十字形阵列、L形阵列、环形阵列、多层环形阵列、球阵列或多层球阵列。
进一步的，所述根据实时采集到的用户方位信息对传声器阵列进行同步的步骤包括：
由用户指定一个传声器阵列波束并将所述传声器阵列波束所对应的中心方向标定为基准方向；
根据实时采集到的用户方位信息确定用户旋转的角度并更新基准方向，根据更新后的基准方向调整阵列波束中心方向的方位坐标。
进一步的，所述根据同步后的传声器阵列，实时计算并合成用户的双耳3D声的步骤包括：
根据同步后的传声器阵列，确定双耳与传声器阵列波束采样结果的对应方位关系；
根据人头相关传递函数或者依据人头模型推算人头相关传递函数对相应波束采样结果进行滤波，并将滤波结果进行叠加，分别获得人耳左右通道的3D声。
进一步的，所述依据人头模型推算人头相关传递函数的步骤包括：
通过刚性球对平面波散射的理论解析式在频域计算，并通过逆傅立叶变换计算出对应的时域冲激响应，其中时域冲激响应既可以通过人头实际位置和波束对应的平面波夹角实时计算，也可以预先计算好所有方位平面波对应的时域冲激响应并保留在耳机的存储器或者与耳机连接的计算设备中。
本发明实施例的另一目的在于提供一种多角度3D声回放装置，所述装置包括：
采集单元，用于通过传感器实时采集用户的方位信息；
同步单元，用于根据实时采集到的用户方位信息对传声器阵列进行同步；
回放单元，用于根据同步后的传声器阵列，实时计算并合成用户的双耳3D声。
进一步的，所述传声器阵列包括：
线性阵列、十字形阵列、L形阵列、环形阵列、多层环形阵列、球阵列或多层球阵列。
进一步的，所述同步单元包括：
标定单元，用于由用户指定一个传声器阵列波束并将所述传声器阵列波束所对应的中心方向标定为基准方向；
调整单元，用于根据实时采集到的用户方位信息确定用户旋转的角度并更新基准方向，根据更新后的基准方向调整阵列波束中心方向的方位坐标。
进一步的，所述回放单元包括：
方位关系确定单元，用于根据同步后的传声器阵列，确定双耳与传声器阵列波束采样结果的对应方位关系；
计算单元，用于根据人头相关传递函数或者依据人头模型推算人头相关传递函数对相应波束采样结果进行滤波，并将滤波结果进行叠加，分别获得人耳左右通道的3D声。
进一步的，所述计算单元包括：
传递函数计算单元，用于通过刚性球对平面波散射的理论解析式在频域计算，并通过逆傅立叶变换计算出对应的时域冲激响应，其中时域冲激响应既可以通过人头实际位置和波束对应的平面波夹角实时计算，也可以预先计算好所有方位平面波对应的时域冲激响应并保留在耳机的存储器或者与耳机连接的计算设备中。
本发明实施例通过一种多角度3D声回放及装置，通过传感器采集用户的方位信息，充分利用传声器阵列的定向采集功能，实现对声场信息的多角度采集，并通过与耳机同步方位信息实现耳机双耳声的有效合成，使得听音者获得的声信息可随其头部的转动实时变化，获得实时的且是完整的3D音效体验。
附图说明
图1是本发明第一实施例提供的一种多角度3D声回放方法的实现流程图；
图2是本发明第一实施例提供的传声器阵列波束中心与人头相对方位的示意图；以及
图3是本发明第二实施例提供的一种多角度3D声回放装置的结构图。
具体实施方式
为了使本领域的技术人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
以下结合具体实施例对本发明的具体实现进行详细描述：
实施例一：
图1示出了本发明第一实施例提供的一种多角度3D声回放方法的实现流程，详述如下：
在步骤S101中，通过传感器实时采集用户的方位信息。
在具体实施过程中，首先需要采集用户的方位信息，方位信息的采集可以通过用户佩戴带的具有定位功能的耳机来实现，例如通过耳机内置的传感器来采集用户的方位信息，其中采集用户方位信息的具体传感器可以是陀螺仪，通过传感器实时采集用户所在的方位信息。
在步骤S102中，根据实时采集到的用户方位信息对传声器阵列进行同步。
在具体实施过程中，当采集到用户的实时方位信息以后，需要根据用户的方位信息对传声器阵列进行同步校准处理，具体对传声器阵列进行同步时可以先由用户指定一个传声器阵列波束并将所述传声器阵列波束所对应的中心方向标定为基准方向；之后根据实时采集到的用户方位信息确定用户旋转的角度并更新基准方向，根据更新后的基准方向调整传声器阵列波束中心方向的方位坐标。
其中需要说明的是传声器阵列可以是以任意形式布放的传声器单元，包括但不限于线性阵列、十字形阵列、L形阵列、环形阵列、多层环形阵列、球阵列或多层球阵列等，传声器阵列通过波束算法形成多个波束实现对声场的扫描采样。其中波束算法形成的多波束需要覆盖整个声场的有效方位。比如：对线性阵列而言，多波束需要覆盖线性阵列一侧180度方位角范围；对环形阵列，多波束需要覆盖阵列所在平面360度方位角范围；对球形阵列，多波束则需要覆盖整个三维空间所有方位角。同时为了得到更好的效果优选的传声器阵列波束算法形成的多波束需要使相邻两个波束之间的重叠区域尽可能小，以减弱对空间声音信息采样的重叠效应。比如：对环形阵列而言，可以将阵列平面内360度方位角等分为12个区域，每个区域覆盖30度方位角，通过这样的区域划分，利用波束算法设计12个波束，其中对于传声器阵列的波束算法可采用通用波束算法，比如[J.Benesty,J.Chen and Y Huang,Microphone Signal Processing,Springer-Verlag Berlin Heidelberg,2008]和[W.Liuand S.Weiss,Wideband Beamforming–Concepts and Techniques,John Wiley&Sons,Ltd,2010]等文献描述的方法，包括但不限于Least Squares,Constrained Least Squares,Linearly Constrained Minimum Variance和Eigenfilter方法等。对于环形阵列，除了上述通用方法以外，还可以借助基于Circular Harmonics的方法[E.Tiana-Roig,F.Jacobsenand E.Grande,Beamforming with a circular microphone array for localization ofenvironment noise sources,J.Aoust.Soc.Am,128(6):3535-3542,2010]；对于球形阵列，除了上述通用方法之外，还可以借助基于Spherical Harmonics的方法[B.Rafaely,Y.Peled etc.,Spherical microphone array beamforming,Signal Processing inModern Communication,Springer-Verlag Berlin Heidelberg,2010]。
传感器可以与传声器阵列的方位信息实现同步，同步的方法可由用户指定一个传声器阵列波束并将其对应的中心方向标定为基准方向，具体可以是初始时由用户任意指定阵列某一个波束中心方向作为基准方向，耳机方位传感器例如陀螺仪以该方向为垂直于人耳的轴向如图2中的x坐标方向，得出所有波束中心方向的方位坐标。在用户人头旋转时，依据旋转的角度更新基准方向，再调整所有波束中心方向的方位坐标。
在步骤S103中，根据同步后的传声器阵列，实时计算并合成用户的双耳3D声。
在具体实施过程中，根据同步后的传声器阵列，可以确定双耳与传声器阵列波束采样结果的对应方位关系；之后可以根据人头相关传递函数或者依据人头模型推算人头相关传递函数对相应波束采样结果进行滤波，并将滤波结果进行叠加，分别获得人耳左右通道的3D声，其中具体实施过程可以是先根据用户的实际方位信息实时计算得到用户的双耳声，计算过程可由耳机内置的运算处理器完成，也可由耳机连接的计算设备例如计算机、手机或平板电脑完成。利用人头相关传递函数，例如MIT KEMAR数据库或者依据人头模型推算的人头相关传递函数对相应波束采样结果进行滤波，并将滤波结果进行叠加，分别获得人耳左右通道的回放音频数据。其中若根据人头相关函数进行计算时，若波束数量为L，则相应的双耳合成数据可由以下公式(1)得到：
其中xl(n)表示传声器阵列第l个波束采集到的声信号，HRIRleft,l(n)和HRIRright,l(n)分别表示左耳和右耳与第l个波束中心方位对应的人头相关时域冲激响应，*表示卷积操作，pleft和pright分别表示左耳和右耳的合成信号。根据前述传声器阵列的波束设计原则，双耳声的合成通过叠加操作涵盖了所有的声场信息，可使听音者获得完整的3D听音效果。当人头转动时，依据转动的角度更新各个波束中心方向的方位坐标，重复以上公式所示的运算流程，可以确保用户能始终听到与其转动后方向一致的3D音效。
同时考虑到人头相关传递函数数据库，例如MIT KEMAR中声源相对于人头的角度是离散化的，而实际用户的人头转动可以是任意角度。若人头转动的角度没有与数据库的转动角度不吻合，可采用如下两种方式选取人头相关传递函数：(1)依据角度对比关系选择最近邻的人头相关传递函数；(2)选用合理的插值模型，比如[F.Keyrouz and K.Diepold,Anew HRTF interpolation approach for fast synthesis of dynamic environmentalinteraction,J.Audio Eng.Soc.,56:28-35,2008]。
同时考虑到三维阵列，例如球形阵列，波束与用户人头的方位角关系可能会完全超出人头相关传递函数的数据库范围，因此对这一类阵列波束采集的结果，也可利用合理的人头模型推算人头相关传递函数，常用的模型是刚性球模型，如[B.Rafaely,Y.Peledetc.,Spherical microphone array beamforming,Signal Processing in ModernCommunication,Springer-Verlag Berlin Heidelberg,2010]和[E.Williams,FourierAcoustics–Sound Radiation and Nearfield Acoustical Holography,Academic Press,1999]所述。值得注意的是，这一类解析模型给出的是传递函数在频域的表达式，为了合理的使用公式(1)，需要在频域均匀取点，得到每一点的传递函数表达式，再利用逆傅立叶变换得到时域冲激响应，其中时域冲激响应既可以通过人头实际位置和波束对应的平面波夹角实时计算，也可以预先计算好所有方位平面波对应的时域冲激响应并保留在耳机的存储器或者与耳机连接的计算设备中，例如与耳机连接的计算机、手机和平板电脑中。最终就可以实现当用户人头旋转，根据人头的实际方位，更新双耳与传声器阵列波束对应的方位关系，再由这个方位关系重新推算双耳声，实现用户多角度3D声的回放。
本发明实施例通过上述方式，一种多角度3D声回放方法，通过传感器采集用户的方位信息，同时利用传声器阵列的定向采集功能，通过与耳机采集到的用户实时方位信息实现耳机双耳声的有效合成，使得用户获得的声音信息可随着用户头部的转动而实时变化，获得完整的3D音效体验。
实施例二：
图3示出了本发明第二实施例提供的一种多角度3D声回放装置的结构图，为了便于说明，仅示出了与本发明实施例相关的部分。
采集单元31，用于通过传感器实时采集用户的方位信息。
在具体实施过程中，采集单元用于采集用户的方位信息，方位信息的采集可以通过用户佩戴带的具有定位功能的耳机来实现，例如通过耳机内置的传感器来采集用户的方位信息，其中采集用户方位信息的具体传感器可以是陀螺仪，通过传感器实时采集用户所在的方位信息。
同步单元32，用于根据实时采集到的用户方位信息对传声器阵列进行同步。
在具体实施过程中，同步单元用于当采集到用户的实时方位信息以后，需要根据用户的方位信息对传声器阵列进行同步校准处理，同步单元包括：标定单元和调整单元，其中标定单元用于由用户指定一个传声器阵列波束并将所述传声器阵列波束所对应的中心方向标定为基准方向；其中调整单元用于根据实时采集到的用户方位信息确定用户旋转的角度并更新基准方向，根据更新后的基准方向调整阵列波束中心方向的方位坐标。
其中需要说明的是传声器阵列可以是以任意形式布放的传声器单元，包括但不限于线性阵列、十字形阵列、L形阵列、环形阵列、多层环形阵列、球阵列或多层球阵列等，传声器阵列通过波束算法形成多个波束实现对声场的扫描采样。其中波束算法形成的多波束需要覆盖整个声场的有效方位。比如：对线性阵列而言，多波束需要覆盖线性阵列一侧180度方位角范围；对环形阵列，多波束需要覆盖阵列所在平面360度方位角范围；对球形阵列，多波束则需要覆盖整个三维空间所有方位角。同时为了得到更好的效果优选的传声器阵列波束算法形成的多波束需要使相邻两个波束之间的重叠区域尽可能小，以减弱对空间声音信息采样的重叠效应。比如：对环形阵列而言，可以将阵列平面内360度方位角等分为12个区域，每个区域覆盖30度方位角，通过这样的区域划分，利用波束算法设计12个波束，其中对于传声器阵列的波束算法可采用通用波束算法，比如[J.Benesty,J.Chen and Y Huang,Microphone Signal Processing,Springer-Verlag Berlin Heidelberg,2008]和[W.Liuand S.Weiss,Wideband Beamforming–Concepts and Techniques,John Wiley&Sons,Ltd,2010]等文献描述的方法，包括但不限于Least Squares,Constrained Least Squares,Linearly Constrained Minimum Variance和Eigenfilter方法等。对于环形阵列，除了上述通用方法以外，还可以借助基于Circular Harmonics的方法[E.Tiana-Roig,F.Jacobsenand E.Grande,Beamforming with a circular microphone array for localization ofenvironment noise sources,J.Aoust.Soc.Am,128(6):3535-3542,2010]；对于球形阵列，除了上述通用方法之外，还可以借助基于Spherical Harmonics的方法[B.Rafaely,Y.Peled etc.,Spherical microphone array beamforming,Signal Processing inModern Communication,Springer-Verlag Berlin Heidelberg,2010]。
传感器可以与传声器阵列的方位信息实现同步，同步的方法可由用户指定一个传声器阵列波束并将其对应的中心方向标定为基准方向，具体可以是初始时由用户任意指定阵列某一个波束中心方向作为基准方向，耳机方位传感器例如陀螺仪以该方向为垂直于人耳的轴向如图2中的x坐标方向，得出所有波束中心方向的方位坐标。在用户人头旋转时，依据旋转的角度更新基准方向，再调整所有波束中心方向的方位坐标。
回放单元33，用于根据同步后的传声器阵列，实时计算并合成用户的双耳3D声。
在具体实施过程中，回放单元用于根据同步后的传声器阵列，实时计算并合成用户的双耳3D声，其中回放单元包括：方位关系确定单元和计算单元，其中方位关系确定单元用于根据同步后的传声器阵列，确定双耳与传声器阵列波束采样结果的对应方位关系；其中计算单元用于根据人头相关传递函数或者依据人头模型推算人头相关传递函数对相应波束采样结果进行滤波，并将滤波结果进行叠加，分别获得人耳左右通道的3D声。
在具体实施过程可以是先根据用户的实际方位信息实时计算得到用户的双耳声，计算过程可由耳机内置的运算处理器完成，也可由耳机连接的计算设备例如计算机、手机或平板电脑完成。利用人头相关传递函数，例如MIT KEMAR数据库或者依据人头模型推算的人头相关传递函数对相应波束采样结果进行滤波，并将滤波结果进行叠加，分别获得人耳左右通道的回放音频数据。其中若根据人头相关函数进行计算时，若波束数量为L，则相应的双耳合成数据可由以下公式(1)得到：
其中xl(n)表示传声器阵列第l个波束采集到的声信号，HRIRleft,l(n)和HRIRright,l(n)分别表示左耳和右耳与第l个波束中心方位对应的人头相关时域冲激响应，*表示卷积操作，pleft和pright分别表示左耳和右耳的合成信号。根据前述传声器阵列的波束设计原则，双耳声的合成通过叠加操作涵盖了所有的声场信息，可使用户获得完整的3D听音效果。当人头转动时，依据转动的角度更新各个波束中心方向的方位坐标，重复以上公式所示的运算流程，可以确保用户能始终听到与其转动后方向一致的3D音效。
同时考虑到人头相关传递函数数据库，例如MIT KEMAR中声源相对于人头的角度是离散化的，而实际用户的人头转动可以是任意角度。若人头转动的角度没有与数据库的转动角度不吻合，可采用如下两种方式选取人头相关传递函数：(1)依据角度对比关系选择最近邻的人头相关传递函数；(2)选用合理的插值模型，比如[F.Keyrouz and K.Diepold,Anew HRTF interpolation approach for fast synthesis of dynamic environmentalinteraction,J.Audio Eng.Soc.,56:28-35,2008]。
同时考虑到三维阵列，例如球形阵列，波束与用户人头的方位角关系可能会完全超出人头相关传递函数的数据库范围，因此对这一类阵列波束采集的结果，也可利用合理的人头模型推算人头相关传递函数，常用的模型是刚性球模型，如[B.Rafaely,Y.Peledetc.,Spherical microphone array beamforming,Signal Processing in ModernCommunication,Springer-Verlag Berlin Heidelberg,2010]和[E.Williams,FourierAcoustics–Sound Radiation and Nearfield Acoustical Holography,Academic Press,1999]所述。值得注意的是，传递函数计算单元用于通过刚性球对平面波散射的理论解析式在频域计算，并通过逆傅立叶变换计算出对应的时域冲激响应，这一类解析模型给出的是传递函数在频域的表达式，为了合理的使用公式(1)，需要在频域均匀取点，得到每一点的传递函数表达式，再利用逆傅立叶变换得到时域冲激响应，其中时域冲激响应既可以通过人头实际位置和波束对应的平面波夹角实时计算，也可以预先计算好所有方位平面波对应的时域冲激响应并保留在耳机的存储器或者与耳机连接的计算设备中，例如与耳机连接的计算机、手机和平板电脑中。最终就可以实现当用户人头旋转，根据人头的实际方位，更新双耳与传声器阵列波束对应的方位关系，再由这个方位关系重新推算双耳声，实现用户多角度3D声的回放
本发明实施例通过上述方式，一种多角度3D声回放装置，该装置可以适用于多媒体音频娱乐系统，包括3D音效录音设备、3D播放耳机、虚拟现实游戏可穿戴设备、头盔耳机等产品应用中，通过传感器采集用户的方位信息，同时利用传声器阵列的定向采集功能，通过与耳机采集到的用户实时方位信息实现耳机双耳声的有效合成，使得用户获得的声音信息可随着用户头部的转动而实时变化，获得实时的且是完整的3D音效体验。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种多角度3D声回放方法，其特征在于，所述方法包括：
通过传感器实时采集用户的方位信息；
由用户指定一个传声器阵列波束并将所述传声器阵列波束所对应的中心方向标定为基准方向；
根据实时采集到的用户方位信息确定用户旋转的角度并更新基准方向，根据更新后的基准方向调整阵列波束中心方向的方位坐标；
根据同步后的传声器阵列，确定双耳与传声器阵列波束采样结果的对应方位关系；根据人头相关传递函数或者依据人头模型推算人头相关传递函数对相应波束采样结果进行滤波，并将滤波结果进行叠加，分别获得人耳左右通道的3D声。
2.如权利要求1所述的方法，其特征在于，所述传声器阵列包括：
线性阵列、十字形阵列、L形阵列、环形阵列、多层环形阵列、球阵列或多层球阵列。
3.如权利要求1所述的方法，其特征在于，所述依据人头模型推算人头相关传递函数的步骤包括：
通过刚性球对平面波散射的理论解析式在频域计算，并通过逆傅立叶变换计算出对应的时域冲激响应，其中时域冲激响应既可以通过人头实际位置和波束对应的平面波夹角实时计算，也可以预先计算好所有方位平面波对应的时域冲激响应并保留在耳机的存储器或者与耳机连接的计算设备中。
4.一种多角度3D声回放装置，其特征在于，所述装置包括：
采集单元，用于通过传感器实时采集用户的方位信息；
同步单元，用于根据实时采集到的用户方位信息对传声器阵列进行同步，其中同步单元包括：
标定单元，用于由用户指定一个传声器阵列波束并将所述传声器阵列波束所对应的中心方向标定为基准方向；
调整单元，用于根据实时采集到的用户方位信息确定用户旋转的角度并更新基准方向，根据更新后的基准方向调整阵列波束中心方向的方位坐标；
回放单元，用于根据同步后的传声器阵列，确定双耳与传声器阵列波束采样结果的对应方位关系；根据人头相关传递函数或者依据人头模型推算人头相关传递函数对相应波束采样结果进行滤波，并将滤波结果进行叠加，分别获得人耳左右通道的3D声。
5.如权利要求4所述的装置，其特征在于，所述传声器阵列包括：
线性阵列、十字形阵列、L形阵列、环形阵列、多层环形阵列、球阵列或多层球阵列。
6.如权利要求4所述的装置，其特征在于，所述回放单元包括：
传递函数计算单元，用于通过刚性球对平面波散射的理论解析式在频域计算，并通过逆傅立叶变换计算出对应的时域冲激响应，其中时域冲激响应既可以通过人头实际位置和波束对应的平面波夹角实时计算，也可以预先计算好所有方位平面波对应的时域冲激响应并保留在耳机的存储器或者与耳机连接的计算设备中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510551241.XA CN105163242B (zh) | 2015-09-01 | 2015-09-01 | 一种多角度3d声回放方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510551241.XA CN105163242B (zh) | 2015-09-01 | 2015-09-01 | 一种多角度3d声回放方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105163242A CN105163242A (zh) | 2015-12-16 |
| CN105163242B true CN105163242B (zh) | 2018-09-04 |
Family
ID=54803980
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510551241.XA Active CN105163242B (zh) | 2015-09-01 | 2015-09-01 | 一种多角度3d声回放方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105163242B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105592385B (zh) * | 2016-01-06 | 2017-08-29 | 朝阳聚声泰（信丰）科技有限公司 | 虚拟现实立体声耳机系统 |
| CN105872940B (zh) * | 2016-06-08 | 2017-11-17 | 北京时代拓灵科技有限公司 | 一种虚拟现实声场生成方法及系统 |
| CN107493543B (zh) * | 2016-06-12 | 2021-03-09 | 深圳奥尼电子股份有限公司 | 用于耳机耳塞的3d音效处理电路及其处理方法 |
| EP3280154B1 (en) * | 2016-08-04 | 2019-10-02 | Harman Becker Automotive Systems GmbH | System and method for operating a wearable loudspeaker device |
| CN107786936A (zh) * | 2016-08-25 | 2018-03-09 | 中兴通讯股份有限公司 | 一种声音信号的处理方法及终端 |
| CN106303787A (zh) * | 2016-10-18 | 2017-01-04 | 杨跃龙 | 逼真还原音源方位的耳机系统 |
| WO2018107372A1 (zh) * | 2016-12-14 | 2018-06-21 | 深圳前海达闼云端智能科技有限公司 | 一种声音处理方法、装置、电子设备及计算机程序产品 |
| US10187724B2 (en) * | 2017-02-16 | 2019-01-22 | Nanning Fugui Precision Industrial Co., Ltd. | Directional sound playing system and method |
| CN107071639A (zh) * | 2017-03-13 | 2017-08-18 | 武汉山骁科技有限公司 | 一种基于头相位的3d音效产生算法 |
| CN108574925A (zh) * | 2017-03-14 | 2018-09-25 | 株式会社东芝 | 虚拟听觉环境中控制音频信号输出的方法和装置 |
| CN111615044B (zh) * | 2019-02-25 | 2021-09-14 | 宏碁股份有限公司 | 声音信号的能量分布修正方法及其系统 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013529004A (ja) * | 2010-04-26 | 2013-07-11 | ケンブリッジ メカトロニクス リミテッド | 位置追跡を備えるスピーカ |
| CN101938686B (zh) * | 2010-06-24 | 2013-08-21 | 中国科学院声学研究所 | 一种普通环境中头相关传递函数的测量系统及测量方法 |
| US9641951B2 (en) * | 2011-08-10 | 2017-05-02 | The Johns Hopkins University | System and method for fast binaural rendering of complex acoustic scenes |
| CN102901950B (zh) * | 2012-09-20 | 2014-08-20 | 浙江工业大学 | 平面阵列识别声源三维坐标的方法 |
| CN103607550B (zh) * | 2013-11-27 | 2016-08-24 | 北京海尔集成电路设计有限公司 | 一种根据观看者位置调整电视虚拟声道的方法及电视 |
| CN104284291B (zh) * | 2014-08-07 | 2016-10-05 | 华南理工大学 | 5.1通路环绕声的耳机动态虚拟重放方法及其实现装置 |
| CN104185116B (zh) * | 2014-08-15 | 2018-01-09 | 南京琅声声学科技有限公司 | 一种自动确定声辐射模式的方法 |
-
2015
- 2015-09-01 CN CN201510551241.XA patent/CN105163242B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN105163242A (zh) | 2015-12-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105163242B (zh) | 一种多角度3d声回放方法及装置 | |
| US9838825B2 (en) | Audio signal processing device and method for reproducing a binaural signal | |
| Algazi et al. | Headphone-based spatial sound | |
| EP2806658B1 (en) | Arrangement and method for reproducing audio data of an acoustic scene | |
| US10251012B2 (en) | System and method for realistic rotation of stereo or binaural audio | |
| US20120262536A1 (en) | Stereophonic teleconferencing using a microphone array | |
| US20050080616A1 (en) | Recording a three dimensional auditory scene and reproducing it for the individual listener | |
| US20200059749A1 (en) | Methods and systems for determining and/or using an audio filter based on head-tracking data | |
| WO2015134658A1 (en) | Structural modeling of the head related impulse response | |
| US10966046B2 (en) | Spatial repositioning of multiple audio streams | |
| CN113196805B (zh) | 用于获得及再现双声道录音的方法 | |
| US20130243201A1 (en) | Efficient control of sound field rotation in binaural spatial sound | |
| US10321252B2 (en) | Transaural synthesis method for sound spatialization | |
| CN107347173A (zh) | 基于手机的多通路环绕声动态双耳重放系统的实现方法 | |
| US11917394B1 (en) | System and method for reducing noise in binaural or stereo audio | |
| US11032660B2 (en) | System and method for realistic rotation of stereo or binaural audio | |
| Yuan et al. | Sound image externalization for headphone based real-time 3D audio | |
| WO2019174442A1 (zh) | 拾音设备、声音输出方法、装置、存储介质及电子装置 | |
| Yuan et al. | Externalization improvement in a real-time binaural sound image rendering system | |
| Ziemer | Psychoacoustic effects in wave field synthesis applications | |
| US20230403528A1 (en) | A method and system for real-time implementation of time-varying head-related transfer functions | |
| CN117793609A (zh) | 一种声场渲染方法和装置 | |
| Rastogi et al. | BiVR: A device comprising of Virtual reality and Binaural audio | |
| WO2024089036A1 (en) | Audio signal processor and related method and computer program for generating a two-channel audio signal using a smart determination of the single-channel acoustic data | |
| Topping | A Survey of Three-Dimensional Sound and its Applications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PP01 | Preservation of patent right |
Effective date of registration: 20200710 Granted publication date: 20180904 |
|
| PP01 | Preservation of patent right | ||
| PD01 | Discharge of preservation of patent | ||
| PD01 | Discharge of preservation of patent |
Date of cancellation: 20230710 Granted publication date: 20180904 |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230915 Address after: Room 407, Building 4, Sanhua City Garden, No. 11, South Gate Front Road, Xinluo District, Longyan City, Fujian Province, 361000 Patentee after: Chen Biyan Address before: Room 502, Building A4, Kexing Science Park, Nanshan District, Shenzhen City, Guangdong Province, 518000 Patentee before: SHENZHEN COOLHEAR INFORMATION TECHNOLOGY Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231009 Address after: R-21, Yuchuang Future Science and Technology Park, 3rd Floor, Haiken International Financial Center, No. 115 Binhai Avenue, Jinmao Street, Longhua District, Haikou City, Hainan Province, 570100 Patentee after: Guangshu (Haikou) Investment Co.,Ltd. Address before: Room 407, Building 4, Sanhua City Garden, No. 11, South Gate Front Road, Xinluo District, Longyan City, Fujian Province, 361000 Patentee before: Chen Biyan |