CN1816224B - 实现3d虚拟声音的装置及其方法 - Google Patents

实现3d虚拟声音的装置及其方法 Download PDF

Info

Publication number
CN1816224B
CN1816224B CN2006100037088A CN200610003708A CN1816224B CN 1816224 B CN1816224 B CN 1816224B CN 2006100037088 A CN2006100037088 A CN 2006100037088A CN 200610003708 A CN200610003708 A CN 200610003708A CN 1816224 B CN1816224 B CN 1816224B
Authority
CN
China
Prior art keywords
signal
sound
principal component
module
basis vectors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2006100037088A
Other languages
English (en)
Other versions
CN1816224A (zh
Inventor
P·S·查恩达
朴晟镇
朴基佑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN1816224A publication Critical patent/CN1816224A/zh
Application granted granted Critical
Publication of CN1816224B publication Critical patent/CN1816224B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S5/00Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S1/00Two-channel systems
    • H04S1/002Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H04S1/005For headphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03Application of parametric coding in stereophonic audio systems

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)
  • Stereophonic Arrangements (AREA)

Abstract

揭示了一种用于实现3D虚拟声音的装置及其方法,其中计算和存储复杂性减少了,其中确保了系统稳定性,并且通过它们,3D虚拟声音可在没有装备用于实现3D声音的昂贵设备、作为移动通信终端等的移动性平台中实现。本发明包括将听觉间时间延迟(ITD)提供给至少一个输入声音信号的第一步骤,将第一步骤的输出信号乘以主分量权重的第二步骤,以及通过从头部相关转移函数(HRFT)中选取的基本向量的多个低阶近似IIR滤波器,对第二步骤得出的结果进行滤波的第三步骤。用平衡模型近似技术对从头部相关转移函数数据库中选取的基本向量进行近似。

Description

实现3D虚拟声音的装置及其方法 
本申请要求于2005年2月4日提交的韩国专利申请号10-2005-0010373的优先权,该申请通过整体引用结合在此。 
背景技术
本发明涉及一种实现3D虚拟声音的装置及其方法。虽然本发明适用于广泛的应用范围,但是它特别适用于在没有装备用于实现3D声音的昂贵设备、用作移动通信终端等的移动式平台中实现3D(3-D)虚拟声音。 
相关技术 
最近,对3D虚拟声音技术的研究和开发做出了许多努力,该技术仅使用一对扬声器或头戴式耳机、而无需使用高级设备,在需要用于多媒体内容、CD-ROM标题、游戏者、虚拟现实等的3D虚拟现实的多媒体设备中带来3D虚拟音频效果。在3D虚拟音频技术中,形成有方向、距离、空间等的敏感度,如同声音是从虚拟音源的位置传来的,该虚拟音源以通过使得用户能够听到声音的头戴式耳机或扬声器在特定的位置建立音源的一种方式而定位。 
在大多数3D虚拟音频技术中,使用头部相关转移函数(下文简称为HRTF)对扬声器或头戴式耳机给出虚拟声音效果。 
虚拟声音效果产生一种效果,从而声音源位于3D虚拟空间中的特定位置。并且,通过将来自单声道音源中的声音流用头部相关转移函数(HRTF)进行滤波而得出虚拟声音效果。 
通过以仿真头为目标,在消声室中测量出头部相关转移函数(HRTF)。具体地,从多个在消声室中以仿真头为中心、以各种角度环绕设置的多个扬声器中分别输出伪随机二进制序列,并且通过置于仿真头两耳上的微型话筒测量所接收到的信号,以计算出声路径的转移函数。并且,该转移函数被称为头部相关转移函数(HRTF)。 
下面详细解释一种找寻头部相关转移函数(HRTF)的方法。 
首先,以仿真头为中心将标高和方位角分别细分成预定的间隔。扬声器分别 每隔例如10°的细分角度而放置。从放置在细分角度的该坐标方格中的各位置上的扬声器中输出伪随机二进制序列。然后对到达放置在仿真头两耳中的右和左微型话筒中的信号进行测量。然后计算出脉冲响应以及从扬声器到左右耳的声路径的转移函数。可以通过相邻的头部相关转移函数之间的内插法找到在非连续空间中的未测量头部相关转移函数。因此,可以上述方式来建立头部相关转移函数数据库。 
如前所述,虚拟声音效果将产生一种效果,即音源好像位于3D虚拟空间中的特定位置上。 
3D虚拟音频技术可以产生在固定特定位置中感觉声音的一种效果,以及声音从一个位置移动到另一个位置的另一效果。具体地,可通过在来自单声道音源的音频流的对应位置上使用头部相关转移函数来执行滤波操作而获得静态或已定位的声音的产生。并且,可通过使用一组头部相关函数(对应于移动音源轨线的不同点)以连续的方法对来自单声道音源执行滤波操作而获得动态或移动的声音的产生。 
由于上述的3D虚拟音频技术需要用于存储产生静态(已定位)和动态(移动)声音的头部相关转移函数的巨大数据库的存储空间,并且同时需要用于用头部相关转移函数对来自单声道音源的信号执行滤波操作的大量计算。对于实时实现来说,高性能硬件(HW)和软件(SW)设备是有必要的。 
除此之外,在将3D虚拟音频技术应用到需要对多个移动的声音实现虚拟3D声音的电影、虚拟现实、游戏等的过程中,就会带来如下问题。 
首先,如果使用在3D空间中位置唯一的低阶IIR(无限脉冲响应)滤波器而直接近似出HRTF(由于IIR滤波器用低于FIR(有限脉冲响应)滤波器的计算复杂性来建立HRTF模型,如同现有建议中所进行的那样),为了使用3D虚拟音频技术模拟出从一位置移动到另一位置上的单声道音源,需要从对应于音源初始位置的一个IIR(无限脉冲响应)滤波器到对应于音源轨线中的下一个位置的另一IIR滤波器的切换。 
并且,当音源做出从空间一位置到另一位置的转换时,在两个建立HRTF模型的IIR滤波器之间的切换可使得系统不稳定,并且可能增加在做出从一个滤波器到另一滤波器的转换时的可听到的“滴答”噪声。 
其次,如果HRTF模型,如同存在于许多目前工艺水平系统中一样,是处于空间中的唯一位置,则对空间中一组占据不同位置的音源的模拟需要建立对应于听觉空间中音源位置的HRTF模型的一组滤波器。要模拟N个音源,需要实时可操作的N个滤波器。因此,复杂性随着组中的音源的数量增加而按比例线性地增加。 具体地,要对诸如电影、虚拟现实、游戏等的多媒体内容给出根据多个移动声音的3D声音效果,能够提供大规模存储空间以及实时操作能力的高性能硬件和软件设备是必需的。 
发明内容
相应的,本发明旨在一种基本消除由于相关技术领域的限制和缺点所导致的一个或多个问题的、用于实现3D虚拟声音的一种装置及其方法。 
本发明的目的之一是提供一种用于实现3D虚拟声音的装置及其方法,其中可确保系统稳定性,其中较之目前的工艺水平,计算复杂性和存储复杂性减少,用于模拟多个音源,并且通过它,可在未装备用于实现3D声音的昂贵设备的用作移动通信终端等的移动性平台中实现3D虚拟声音。 
本发明的其它优点、目的、和特征可在随后的描述中得到部分陈述,并且对本领域一般技术人员来说,在细查了下文之后可部分地明显,或者从本发明的实践中学习到。本发明的目的和其它优点可以通过由书面说明及其权利要求还有附图所特别指出的结构来实现和获得。 
要实现这些目的和其它优点并依照本发明的意图,如同在此表达和广泛描述的那样,根据本发明的合成3D声音的方法包括将听觉间时间延迟(inter-aural timedelay)(ITD)提供给至少一个输入声音输入信号的第一步骤,将第一步骤的输出信号乘以主分量(principal component)权重的第二步骤,以及通过从头部相关转移函数(HRTF)中选取的基本向量的多个低阶模型对第二步骤所得出的结果值进行滤波的第三步骤。 
较佳地,在第一步骤中,根据至少一个输入声音信号的位置,通过给出听觉间时间延迟来产生左信号和右信号。 
更佳地,在第二步骤中,左和右信号分别乘以对应于根据至少一个输入声音信号位置的标高φ和方位角θ的左主分量权重和右主分量权重。 
更佳地,该方法还包括一步骤,通过基本向量的多个低阶模型对乘以主分量权重的声音信号进行滤波。 
更佳地,该方法还包括一步骤,将分别根据左信号分类和根据右信号分类的基本向量的多个低阶模型滤波的信号相加。 
较佳地,多个基本向量的包括方向独立均值向量以及多个定向基本向量。 
较佳地,通过主分量分析(PCA)从头部相关转移函数中选取多个基本向量。 
更佳地,通过IIR(无限脉冲响应)滤波器来建立多个基本向量的模型。 
更佳地,用平衡模型近似技术来建立多个基本向量的模型。 
在本发明的第二方面,一种用于合成3D立体声的装置包括ITD(听觉间时间延迟)模块,用于将听觉间时间延迟(ITD)提供给至少一个输入声音信号;权重应用模块,用于将从ITD模块中输出的输出信号乘以主分量权重;以及滤波模块,用于通过从头部相关转移函数(HRTF)中选取基本向量的多个低阶模型对从权重应用模块中输出的结果值进行滤波。 
较佳地,该装置还包括加法模块,将通过分别根据左信号和根据右信号分类的多个低阶基本向量而滤波的信号相加。 
在本发明的第三方面,一种移动终端包括上述用于实现3D声音的装置。 
应该理解,本发明的两个前述说明和接下来的详细说明是示意性和解释性的,并旨在提供对如同所要求的本发明的进一步解释。 
附图说明
被包括以提供对本发明的进一步理解、并且被结合和组成本申请的一部分的附图,图示出了本发明的实施例,并且与说明一起用作解释本发明的原理。在附图中: 
图1是根据本发明一较佳实施例用于声音合成的HRTF建模方法的流程图; 
图2是从KEMAR数据库中选取的方向独立均值向量的128拍FIR模型、以及根据本发明一较佳实施例近似的方向独立均值向量的低阶模型的曲线图; 
图3是从KEMAR数据库中选取的最重要基本向量的128拍FIR模型、以及根据本发明一较佳实施例近似的最重要基本向量的低阶模型的图表; 
图4是根据本发明一较佳实施例用于实现3D虚拟声音的装置的框图。 
具体实施方式
将对本发明的较佳实施例做出详细地引用,在附图中示出其示例。如果适当,在整个附图中使用相同的标号指代相同或类似的部分。参照图1,下面对由本发明所提议的用于合成多个移动声音的HRTF建模方法进行描述。 
首先,使用最小相位滤波器和听觉间时间延迟对各个和每一方向中的HRTF建模。 
然后使用统计特征选取技术从已建模的HRTF中选取一组基本向量〔S200〕。在该情形中,选取是在时域内做出的。在获取数据组的方差的过程中,最有代表性的统计特征选取方法是主分量分析(PCA),该分析在J.Acoust.Soc.Am.102(4)2211-2218pp.(十月,1997,Zhenyang Wu,Francis H.Y.Chan,以及F.K.Lam,“基于头部相关转移函数的空间特征选取的时域双耳模型”(A time domain binauralmodel based on spatial feature extraction for the head-related transfer function”)中有详细的描述,该描述通过引用结合在此。
将对基本向量做出如下尖端的描述。首先,基本向量包括一方向独立均值向量和多个定向基本向量。方向独立均值向量表示代表一种特征的向量,该特征被确定,而与在各个和每一方向中的已建模的HRTF(头部相关转移函数)的各个特征中的音源位置(方向)无关。另一方面,定向基本向量代表一种特征,由音源的位置(方向)而确定该特征。 
最后,基于平衡模型近似技术将基本向量被建模成一组IIR滤波器。平衡模型近似技术是在“信号处理的IEEE学报,vol.40,No.3,三月,1992(B.Beliczynski,I.Kale,以及G.D.Cain,“通过IIR信号数字滤波器的FIR的近似:基于平衡模型归约的算法”(“Approximation of FIR by IIR digital filters:an algorithm based onbalanced model reduction”)中有细节性的揭示,该揭示通过引用整体结合在此。从模拟中可以看到平衡模型近似技术借助于低计算复杂性对基本向量精确地建模。 
图2示出从KEMAR数据库中选取的方向独立均值向量的128拍FIR模型以及使用前述步骤而近似出的方向独立均值向量的低阶模型。近似方向独立均值向量的IIR滤波器的阶数是12。图3示出从KEMAR数据库中选取的第一重要定向基本向量的128拍FIR模型、以及使用前述步骤近似出的第一重要定向基本向量的低阶模型。对定向基本向量作近似的IIR滤波器的位是12。从图2和图3可以明显看出该近似是相当精确的。在J.Acoust.Soc.Am.97(6),pp.3907-3908(Gardner,W.G,以及Martin,K.D.KEMAR HRTF measurement of KEMAR)中详细地揭示出在http://sound.media.mit.edu/KEMAR.html上可公开得到的对KEMAR数据库的描述,该揭示通过引用整体结合在此。 
下面参照图4对根据本发明一较佳实施例用于实现3D虚拟声音的全体系统结构进行描述。在下面描述中所解释的实施例是要解释本发明的细节,并且不应被理解为限制本发明的技术范围。 
 参照图4,根据本发明一较佳实施例用于实现3D虚拟声音的装置包括ITD模块10,用于根据至少一个输入声音信号的位置,通过使用ITD(听觉间时间延迟) 来产生左和右耳声音信号;权重施加模块20,用于将左和右耳信号分别乘以对应于至少一个输入声音信号位置的标高φ和方位角θ的左和右主分量成分权重;一种滤波器模块30,通过从头部相关转移函数(HRTF)中选取的基本向量的多个IIR滤波器,对权重施加模块20所得出的每个结果值进行滤波;以及第一和第二加法模块40,50,用于相加以输出被多个基本向量滤波的信号。 
ITD模块10包括分别对应于一个或多个单声道声音信号(第一到第n声音信号)的至少一个或多个ITD缓冲器(第一到第n个ITD缓冲器)。每个ITD缓冲器根据每个声音信号的位置给出听觉间时间延迟(ITD),以分别对左和右耳产生左和右信号流xiL和xiR(其中i=1,2Λ,n)。换言之,左和右信号流之一将是另一个的延迟形式(version)。如果对应的源位置在中部平面上,该延迟可以是0。 
权重施加模块20通过将来自ITD模块10中的左和右信号流乘以分别乘以对应于输入声音信号i,i=1,2,Λ,n的标高φi和方位角θi的左和右主分量权重wjLi,φi),j=1,2,Λ,m和wjRi,φi),j=1,2,Λ,m,来输出  [ S ^ aL ; S ^ jL , j = 1,2 , Λ , m ] 和  [ S ^ aR ; S ^ jR , j = 1,2 , Λ , m ] . 在该情形中,分别通过公式1到4来计算  S ^ aL , S ^ jL , j = 1,2 , Λ , m 以及  S ^ aR , S ^ jR , j = 1,2 , Λ , m .
〔公式1〕 
S ^ jL = Σ i = 1 n x iL w jL ( θ i , φ i ) , j = 1,2 , Λ , m
〔公式2〕 
S ^ jR = Σ i = 1 n x iR w jR ( θ i , φ i ) , j = 1,2 , Λ , m
〔公式3〕 
S ^ aL = Σ i = 1 n x iL
〔公式4〕 
S ^ aR = Σ i = 1 n x iR
滤波器模块30使用方向独立均值向量模块qa(z)对
Figure A20061000370800099
Figure A200610003708000910
进行滤波。qa(z)是在Z域中的方向独立均值向量的转移函数。分别通过m个最重要定向基本向量模型qj(z),j=1,2,Λ,m对  S ^ jL , j = 1,2 , Λ , m 以及  S ^ jR , j = 1,2 , Λ , m 进行滤波。qj(z),j=1,2,Λ,m表示在z域中的m个最重要定向基本向量的转移函数。如果定向基本向量的数量上升了,则在精度方面会表现更佳。如果定向基本向量的数量减少了,则在存储复杂性和计算复杂性方面会表现更佳。但是,作为一种模拟的结果,即便是定向基本向量的数量m是上升了,却发现存在一个临界点,即使定向基本向量的数量m在 增加,精确度也不会有显著的上升。在该情形中,临界点的数量m=7。 
Figure A20061000370800101
和  S ^ jL ( z ) , j = 1,2 , · · · , m 是时域声音流和  S ^ jL , j = 1,2 , · · · , m 的z域等效体。第一加法模块40将由滤波器模块30对
Figure A20061000370800105
和  S ^ jL ( z ) , j = 1,2 , · · · , m 进行滤波而得出的结果值累加起来,然后输出对应的结果。第一加法模块40的输出值可如公式5表示。 
〔公式5〕 
y L ( z ) = Σ j = 1 m S ^ jL ( z ) q j ( z ) + S ^ aL ( z ) q a ( z )
和  S ^ jR ( z ) , j = 1,2 , · · · , m 是时域声音流
Figure A200610003708001010
和  S ^ jR , j = 1,2 , · · · , m 的z域等效体。第二加法模块50将由滤波器模块30对和  S ^ jR ( z ) , j = 1,2 , · · · , m 进行滤波而得出的结果值累加起来,然后输出对应的结果。第2加法模块50的输出值可如公式6表示。 
〔公式6〕 
y R ( z ) = Σ j = 1 m S ^ jR ( z ) q j ( z ) + S ^ aR ( z ) q a ( z )
为了标记上的方便,公式5和公式6以z域表示。在实施中,滤波操作是在时域中执行的。通过将输出值yL(z)(或时域等效体yL)以及yR(z)(或时域等效体yR)转换成模拟信号以通过扬声器或头戴式耳机输出,从而可以产生3D虚拟声音。 
在本发明中,基本向量的数量固定在一特定数量,而不论输入声音信号的数量。较之操作数量随着音源数量增加而线性增加的相关技术,本发明不论音源的增加的数量,而没有显著地增加操作量。在本发明中使用基本向量的低阶IIR滤波器模型,特别是在高采样频率例如CD质量音频44.1kHZ,显著地减少了计算复杂性。由于从HRTF数据组中获得的基本向量是显著地较高阶滤波器,使用低阶IIR滤波器模型的该近似减少了计算复杂性。使用平衡模型近似技术建立基本向量的模型可实现对使用较低阶IIR滤波器的基本向量的精确近似。 
在本发明下面的描述中,在诸如PC、PDA、移动通信终端等的设备中游戏软件可驱动3D声音实现被示例地解释为如图4所示的本发明的较佳实施例。这仅仅是有助于对本发明的技术特征的理解。即,在图4中示出的各个模块是在PC、PDA或移动通信终端中实现的,例如,通过这些模块来说明实现3D声音的示例。 
PC、PDA或移动通信终端的存储器存储在游戏软件中用到的所有声音数据、对应于标高φ和方位角θ的左和右主分量权重,以及从头部相关转移函数(HRTF)中选取的多个低阶建模基本向量。在左和右主分量权重的情形中,最好根据每个声 音信号的位置的标高φ和方位角θ以及对应于标高φ和方位角θ的左和右主分量权重值被存储在查找表格(LUT)的一格式中。 
至少有一个或多个必需的声音信号根据游戏软件的算法被输入到ITD模块10中。输入到ITD模块10的声音信号的位置以及根据该位置的标高φ和方位角θ将由游戏软件的算法所决定。ITD模块10根据输入声音信号的每个位置,通过给出听觉间时间延迟(ITD)来产生左和右信号。在移动声音的情形中,一个位置以及根据该位置的标高Φ和方位角Θ是根据与屏幕视频数据同步化匹配的每一帧的声音信号所确定的。 
权重施加模块30通过将从ITD模块10中输出的多个左和右信号分别乘以对应于存储在存储器中输入声音信号的位置标高φ和方位角θ的左和右主分量权重wjLi,θi)和wjRi,θi)来输出  S ^ aL ( z ) ; S ^ jL ( z ) , j = 1,2 , · · · , m 和  S ^ aR ( z ) ; S ^ jR ( z ) , j = 1,2 , · · · , m .
从权重施加模块30中输出的  [ S ^ aL ; S ^ jL , j = 1,2 , · · · , m ] 和  [ S ^ aR ; S ^ jR , j = 1,2 , · · · , m ] 分别输入到由IRR滤波器建模的滤波模块30中,并且然后通过方向独立向量qa(z)和m个定向基本向量qj(z),j=1,2,…,m进行滤波。 
由滤波器模块30对  [ S ^ aL ; S ^ jL , j = 1,2 , · · · , m ] 滤波后得出的结果由第一加法模块40累加到一起并然后输出为左音频信号yL。并且,由滤波模块30对  [ S ^ aR ; S ^ jR , j = 1,2 , · · · , m ] 滤波后得出的结果值由第二加法模块50累加到一起并然后输出为右音频信号yR。左和右音频信号yL和yR从数字信号转换成模拟信号,并且然后分别通过PC、PDA或移动通信终端的扬声器输出。因此,就产生了3D声音信号。 
相应地,本发明提供如下的效果和优点。 
首先,对多个移动声音实现3D声音的操作计算复杂性和存储要求并没有显著增加。在使用12阶IIR滤波器对每个基本向量建模、以及一个方向独立基本向量和七个定向基本向量的情形中,可通过下列公式估计出计算复杂性。 
计算复杂性=2×(IIR滤波器阶数+1)×(IIR滤波器数量或基本向量数量)=2×(12+1)×8。 
在该体系中加上一新音源的复杂性涉及到额外的分立ITD缓冲器以及使用主分量权重的声音流的纯量乘法。滤波操作不会产生任何的额外成本。其次,本发明使用基本向量的IIR滤波器模型,代替了使用IIR滤波器对HRTF进行建模。由于基本向量滤波器的固定设置总是可操作的,而与音源的位置无关,作为结果,就不会涉及到滤波器之间的切换。因此,基本向量的稳定IIR滤波器模型的合成足以确 保运行期中系统稳定性。 
根据上述的效果,本发明可以在没有装备用于实现3D声音的昂贵设备工具、作为移动通信终端等的设备中实现3D虚拟声音。具体的,本发明在需要对多个移动移动音源实现虚拟立体声的电影、虚拟显示、游戏等中更加有效。 
对于本领域一般技术人员来说显而易见,在不脱离本发明的精神和范围之内可以做出各种修改和变化。因此,本发明旨在涵盖本发明的修改和变化,只要它们都落在所附权利要求及其等效体范围内。 

Claims (11)

1.一种实现3D声音的方法,包括:
第一步骤,将听觉间时间延迟ITD给与至少一个输入声音信号;
第二步骤,将所述第一步骤的输出信号乘以主分量权重;以及
第三步骤,通过从头部相关转移函数HRTF中提取的多个基本向量的低阶模型对所述第二步骤的结果值进行滤波,
其中,所述多个基本向量包括一个方向独立均值向量和多个定向基本向量,
其中,所述多个基本向量分别由无限脉冲响应IIR滤波器建模,
用IIR滤波器建模是由平衡模型近似技术实现的,以及
其中,所述定向基本向量的数量为7或以下。
2.如权利要求1所述的方法,其特征在于,在所述第一步骤中,通过根据至少一个输入声音信号的位置给出听觉间时间延迟,来产生左信号和右信号。
3.如权利要求2所述的方法,其特征在于,在所述第二步骤中,所述左和右信号分别乘以对应于根据至少一输入声音信号位置的标高φ和方位角θ的左主分量权重和右主分量权重。
4.如权利要求3所述的方法,还包括累加分别按左信号和按右信号分类的多个基本向量所滤波的信号。
5.如权利要求1所述的方法,其特征在于,所述多个基本向量通过时域中的主分量分析PCA从头部相关转移函数中提取。
6.一种实现3D声音的装置,包括:
听觉间时间延迟ITD模块,用于将听觉间时间延迟ITD给与至少一个输入声音信号;
权重施加模块,用于将从所述ITD模块中输出的输出信号乘以主分量权重;以及
滤波模块,用于通过头部相关转移函数HRTF中提取的多个基本向量的低阶模型对从所述权重施加模块中输出的结果值进行滤波,
其中,所述多个基本向量包括一个方向无关的基本向量和多个定向基本向量,
其中,所述多个基本向量分别由无限脉冲响应IIR滤波器建模,
其中,所述多个基本向量用平衡模型近似技术建模,以及
其中,所述定向基本向量的数量为7或以下。
7.如权利要求6所述的装置,其特征在于,所述ITD模块产生左信号和右信号,所述左信号和右信号是通过根据至少一个输入声音信号的位置给出听觉间时间延迟而产生的。
8.如权利要求7所述的装置,其特征在于,所述权重施加模块将所述左和右信号分别乘以对应于根据至少一个输入声音信号的位置的标高φ和方位角θ的左主分量权重和右主分量权重。
9.如权利要求8所述的装置,还包括一加法模块,它累加分别按左信号和按右信号分类的多个基本向量所滤波的信号。
10.如权利要求6所述的装置,其特征在于,所述多个基本向量通过时域中的主分量分析PCA从头部相关转移函数中提取。
11.一种移动终端,包括根据权利要求6-10之一的用于实现3D声音的装置。
CN2006100037088A 2005-02-04 2006-02-05 实现3d虚拟声音的装置及其方法 Expired - Fee Related CN1816224B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020050010373 2005-02-04
KR1020050010373A KR100606734B1 (ko) 2005-02-04 2005-02-04 삼차원 입체음향 구현 방법 및 그 장치
KR10-2005-0010373 2005-02-04

Publications (2)

Publication Number Publication Date
CN1816224A CN1816224A (zh) 2006-08-09
CN1816224B true CN1816224B (zh) 2010-12-08

Family

ID=36606947

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006100037088A Expired - Fee Related CN1816224B (zh) 2005-02-04 2006-02-05 实现3d虚拟声音的装置及其方法

Country Status (5)

Country Link
US (1) US8005244B2 (zh)
EP (1) EP1691578A3 (zh)
JP (1) JP4681464B2 (zh)
KR (1) KR100606734B1 (zh)
CN (1) CN1816224B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8041041B1 (en) * 2006-05-30 2011-10-18 Anyka (Guangzhou) Microelectronics Technology Co., Ltd. Method and system for providing stereo-channel based multi-channel audio coding
KR100705930B1 (ko) 2006-06-02 2007-04-13 엘지전자 주식회사 입체 음향 구현 장치 및 방법
US20080240448A1 (en) * 2006-10-05 2008-10-02 Telefonaktiebolaget L M Ericsson (Publ) Simulation of Acoustic Obstruction and Occlusion
CN101221763B (zh) * 2007-01-09 2011-08-24 昆山杰得微电子有限公司 针对子带编码音频的三维声场合成方法
US20080273708A1 (en) * 2007-05-03 2008-11-06 Telefonaktiebolaget L M Ericsson (Publ) Early Reflection Method for Enhanced Externalization
CN101690269A (zh) * 2007-06-26 2010-03-31 皇家飞利浦电子股份有限公司 双耳的面向对象的音频解码器
CN101656525B (zh) * 2008-08-18 2013-01-23 华为技术有限公司 一种获得滤波器的方法和滤波器
WO2010132115A1 (en) * 2009-05-13 2010-11-18 The Hospital For Sick Children Performance enhancement
US8824709B2 (en) * 2010-10-14 2014-09-02 National Semiconductor Corporation Generation of 3D sound with adjustable source positioning
CN102572676B (zh) * 2012-01-16 2016-04-13 华南理工大学 一种虚拟听觉环境实时绘制方法
EP3406088B1 (en) * 2016-01-19 2022-03-02 Sphereo Sound Ltd. Synthesis of signals for immersive audio playback
DE102017103134B4 (de) 2016-02-18 2022-05-05 Google LLC (n.d.Ges.d. Staates Delaware) Signalverarbeitungsverfahren und -systeme zur Wiedergabe von Audiodaten auf virtuellen Lautsprecher-Arrays
US10142755B2 (en) * 2016-02-18 2018-11-27 Google Llc Signal processing methods and systems for rendering audio on virtual loudspeaker arrays
US9980077B2 (en) * 2016-08-11 2018-05-22 Lg Electronics Inc. Method of interpolating HRTF and audio output apparatus using same
CN108038291B (zh) * 2017-12-05 2021-09-03 武汉大学 一种基于人体参数适配算法的个性化头相关传递函数生成系统及方法
WO2020016685A1 (en) 2018-07-18 2020-01-23 Sphereo Sound Ltd. Detection of audio panning and synthesis of 3d audio from limited-channel surround sound
US10791411B2 (en) * 2019-01-10 2020-09-29 Qualcomm Incorporated Enabling a user to obtain a suitable head-related transfer function profile
WO2021074294A1 (en) * 2019-10-16 2021-04-22 Telefonaktiebolaget Lm Ericsson (Publ) Modeling of the head-related impulse responses
KR102484145B1 (ko) * 2020-10-29 2023-01-04 한림대학교 산학협력단 소리방향성 분별능 훈련시스템 및 방법

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2870333B2 (ja) 1992-11-26 1999-03-17 ヤマハ株式会社 音像定位制御装置
US5943427A (en) * 1995-04-21 1999-08-24 Creative Technology Ltd. Method and apparatus for three dimensional audio spatialization
JPH09191500A (ja) 1995-09-26 1997-07-22 Nippon Telegr & Teleph Corp <Ntt> 仮想音像定位用伝達関数表作成方法、その伝達関数表を記録した記憶媒体及びそれを用いた音響信号編集方法
JPH09284899A (ja) 1996-04-08 1997-10-31 Matsushita Electric Ind Co Ltd 信号処理装置
US5928311A (en) 1996-09-13 1999-07-27 Intel Corporation Method and apparatus for constructing a digital filter
JPH10257598A (ja) 1997-03-14 1998-09-25 Nippon Telegr & Teleph Corp <Ntt> 仮想音像定位用音響信号合成装置
EP1025743B1 (en) 1997-09-16 2013-06-19 Dolby Laboratories Licensing Corporation Utilisation of filtering effects in stereo headphone devices to enhance spatialization of source around a listener
JP3781902B2 (ja) 1998-07-01 2006-06-07 株式会社リコー 音像定位制御装置および音像定位制御方式
US7231054B1 (en) * 1999-09-24 2007-06-12 Creative Technology Ltd Method and apparatus for three-dimensional audio display
JP4101452B2 (ja) 2000-10-30 2008-06-18 日本放送協会 多チャンネル音声回路
US7079658B2 (en) * 2001-06-14 2006-07-18 Ati Technologies, Inc. System and method for localization of sounds in three-dimensional space
JP2003304600A (ja) 2002-04-10 2003-10-24 Nissan Motor Co Ltd 音情報提供/選択装置
JP4694763B2 (ja) 2002-12-20 2011-06-08 パイオニア株式会社 ヘッドホン装置
FR2851879A1 (fr) 2003-02-27 2004-09-03 France Telecom Procede de traitement de donnees sonores compressees, pour spatialisation.

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Zhenyang Wu,et.A time domain binaural model based on spatial feature extraction for the head-related transfer function.J. Acoust. Soc. Am..1997,102(4),2211-2218. *

Also Published As

Publication number Publication date
EP1691578A3 (en) 2009-07-15
KR100606734B1 (ko) 2006-08-01
JP2006217632A (ja) 2006-08-17
JP4681464B2 (ja) 2011-05-11
US20060177078A1 (en) 2006-08-10
EP1691578A2 (en) 2006-08-16
CN1816224A (zh) 2006-08-09
US8005244B2 (en) 2011-08-23

Similar Documents

Publication Publication Date Title
CN1816224B (zh) 实现3d虚拟声音的装置及其方法
KR101370365B1 (ko) 3d 사운드를 발생시키기 위한 방법 및 디바이스
KR101333031B1 (ko) HRTFs을 나타내는 파라미터들의 생성 및 처리 방법 및디바이스
CN101483797B (zh) 一种针对耳机音响系统的人脑音频变换函数(hrtf)的生成方法和设备
KR102149214B1 (ko) 위상응답 특성을 이용하는 바이노럴 렌더링을 위한 오디오 신호 처리 방법 및 장치
Grimm et al. A toolbox for rendering virtual acoustic environments in the context of audiology
RU2591179C2 (ru) Способ и система для генерирования передаточной функции головы путем линейного микширования передаточных функций головы
JP7038725B2 (ja) オーディオ信号処理方法及び装置
EP2104375A2 (en) Vertically or horizontally placeable combinative array speaker
CN103716748A (zh) 音频空间化及环境模拟
US7921016B2 (en) Method and device for providing 3D audio work
CN109923877A (zh) 对立体声音频信号进行加权的装置和方法
Matsumura et al. Embedded 3D sound movement system based on feature extraction of head-related transfer function
Geronazzo Sound Spatialization.
US20230403528A1 (en) A method and system for real-time implementation of time-varying head-related transfer functions
Iwanaga et al. Embedded implementation of acoustic field enhancement for stereo sound sources
Wilkinson AD-3D: HRTF based 3D Audio Designer
KR20030002868A (ko) 삼차원 입체음향 구현방법 및 시스템
Zotkin et al. Efficient conversion of XY surround sound content to binaural head-tracked form for HRTF-enabled playback
Savioja et al. Interactive room acoustic rendering in real time
Park et al. Implementation of a real-time 3-D positioning sound synthesis algorithm for a handheld device

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20101208

Termination date: 20170205

CF01 Termination of patent right due to non-payment of annual fee