CN101931853B - 音频信号处理设备和音频信号处理方法 - Google Patents

音频信号处理设备和音频信号处理方法 Download PDF

Info

Publication number
CN101931853B
CN101931853B CN 201010205372 CN201010205372A CN101931853B CN 101931853 B CN101931853 B CN 101931853B CN 201010205372 CN201010205372 CN 201010205372 CN 201010205372 A CN201010205372 A CN 201010205372A CN 101931853 B CN101931853 B CN 101931853B
Authority
CN
China
Prior art keywords
transfer function
related transfer
head
sound
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN 201010205372
Other languages
English (en)
Other versions
CN101931853A (zh
Inventor
福井隆郎
西尾文孝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101931853A publication Critical patent/CN101931853A/zh
Application granted granted Critical
Publication of CN101931853B publication Critical patent/CN101931853B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)
  • Stereophonic Arrangements (AREA)

Abstract

本发明涉及音频信号处理设备和音频信号处理方法。音频信号处理设备包括:头部相关传输函数卷积处理单元,将头部相关传输函数与多个声道中的各个声道的音频信号卷积,头部相关传输函数允许听众收听声音,使得在声音通过两个电声换能器装置被声音再现时,声音图像被定位在关于具有两个或更多个声道的多个声道中的各个声道的假设虚拟声音图像定位位置上;及2声道信号生成装置,从来自头部相关传输函数卷积处理单元的多个声道的音频信号生成将要提供到两个电声换能器装置的2声道音频信号,其中在头部相关传输函数卷积处理单元中,至少涉及来自假设虚拟声音图像定位位置的关于到听众两耳的多个声道中的左右声道的直接波的头部相关传输函数未被卷积。

Description

音频信号处理设备和音频信号处理方法
技术领域
本发明涉及执行音频信号处理的音频信号处理设备和音频信号处理方法,用于利用针对布置在听众两耳附近的两个声道的电声(electro-acoustic)再现装置来在声音上再现两个或更多个声道的音频信号,例如多声道环绕系统的信号。具体讲,本发明涉及如下的音频信号处理设备和音频信号处理方法:其在声音被电声换能器(electro-acoustic transducer)装置(例如,布置在听众耳朵附近的例如头戴式耳机的用于声音再现的驱动器)再现时,允许听众好像声源虚拟地存在于先前假设的位置(例如,听众面前的位置)一样地收听声音。
背景技术
例如,当听众在头上佩戴头戴式耳机并用两耳收听声音再现信号时,存在很多情况,在耳机中再现的音频信号是提供到设置在听众前方左侧和右侧的扬声器的正常音频信号。在这种情况下,已知所谓的头内定位(inside-the-head localization)现象发生,其中,在耳机中再现的声音图像(sound image)被关在听众头部内。
作为解决头内定位问题的技术,在例如WO95/13690(专利文献1)和JP-A-3-214897(专利文献2)中公开了被称为虚拟声音图像定位的技术。
虚拟声音图像定位是这样的技术,其当声音被下述实现的头戴式耳机等再现时,好像声源(例如扬声器)存在于先前假设的位置(例如,听众前方的左侧和右侧位置)(声音图像被虚拟地定位在这些位置上)一样地再现声音。
图29是用于说明当利用例如2声道立体声耳机再现左右2声道立体声信号时虚拟声音图像定位的方法的示图。
如图29所示,麦克风ML和MR被设置在听众两耳附近的位置(测量点位置)上,其上假设设置了两个用于例如2声道立体声头戴式耳机的声音再现的驱动器。另外,扬声器SPL和SPR被布置在希望声音图像被定位在的位置上。这里,用于声音再现的驱动器和扬声器是电声换能器装置的示例,并且麦克风是声电换能器装置的示例。
首先,在存在假人头1(或可以是真人,即听众自身)的状态下,通过一个声道(例如左声道)的扬声器SPL执行例如冲激脉冲(impulse)的声音再现。然后,通过声音再现而生成的冲激脉冲分别被麦克风ML和MR拾取以测量用于左声道的头部相关传输函数。在该示例的情况下,头部相关传输函数被测量为冲激脉冲响应。
在此情况下,作为用于左声道的头部相关传输函数的冲激脉冲响应包括由麦克风ML拾取的来自左声道扬声器SPL的声波的冲激脉冲响应HLd(在以下描述中称之为左侧主要分量的冲激脉冲响应)和由麦克风MR拾取的来自左声道扬声器SPL的声波的冲激脉冲响应HLc(在以下描述中称之为左侧串扰(crosstalk)分量的冲激脉冲响应),如图29所示。
接下来,由右声道扬声器SPR以相同的方式执行冲激脉冲的声音再现,并且通过再现而生成的冲激脉冲分别被麦克风ML和MR所拾取。然后,用于右声道的头部相关传输函数,即,用于右声道的冲激脉冲响应被测量。
在此情况下,作为用于右声道的头部相关传输函数的冲激脉冲响应包括由麦克风MR拾取的来自右声道扬声器SPR的声波的冲激脉冲响应HRd(在以下描述中称之为右侧主要分量的冲激脉冲响应)和由麦克风ML拾取的来自右声道扬声器SPR的声波的冲激脉冲响应HRc(在以下描述中称之为右侧串扰分量的冲激脉冲响应)。
然后,已经通过测量获得的作为用于左声道的头部相关传输函数和用于右声道的头部相关传输函数的冲激脉冲响应被与提供到分别用于头戴式耳机的左声道和右声道的声音再现的各自驱动器的音频信号进行卷积。即,通过测量而获得的作为用于左声道的头部相关传输函数的左侧主要分量的冲激脉冲响应和左侧串扰分量的冲激脉冲响应被按原样与左声道的音频信号进行卷积。同样,通过测量而获得的作为用于右声道的头部相关传输函数的右侧主要分量的冲激脉冲响应和右侧串扰分量的冲激脉冲响应被按原样与右声道的音频信号进行卷积。
根据以上描述,在例如左右2声道立体声音频的情况下,虽然声音是由用于头戴式耳机的声音再现的两个驱动器在听众耳朵附近再现的,但是声音图像可以被定位(虚拟声音图像定位)为就好像声音是在设置在听众前方的左右扬声器处再现的一样。
以上是两个声道的情况,在三声道或更多声道的多声道情况下,扬声器被布置在各个声道的虚拟声音图像定位位置上,并且例如冲激脉冲被再现以通过同样方式测量用于各个声道的头部相关传输函数。然后,通过测量而获得的作为头部相关传输函数的冲激脉冲响应可被与提供到用于头戴式耳机的左右两个声道的声音再现的驱动器的音频信号进行卷积。
最近,当再现DVD(数字多功能盘)的视频时,诸如5.1声道、7.1声道之类的多声道环绕系统被广泛用于声音再现。
还建议,当利用2声道耳机在声音上再现多声道环绕系统的音频信号时,也通过使用上述虚拟声音图像定位方法来执行根据各个声道的声音图像定位(虚拟声音图像定位)。
发明内容
当耳机在频率特性和相位特性方面具有平坦特性时,希望可以利用上述虚拟声音图像定位方法在概念上创建理想的环绕效果。
但是,已经证实,当使用上述虚拟声音图像定位创建的音频信号被耳机再现并且再现的声音被收听时,可能无法获得期望的环绕感觉并且实际上可能产生异常的音调。可以设想,这是由于以下原因。
在诸如耳机之类的声音再现设备中,与从设置在听众前方左侧和右侧的扬声器收听声音的情况相比,在很多情况下音调被调谐,以使得听众关于频率均衡或对能听度(audibility)作出贡献的音调不会感觉奇怪。这种趋势在昂贵的耳机中尤其明显。
当执行这样的音调调谐时,认为在耳朵或耳孔附近使用耳机听到再现的声音的位置上的频率特性和相位特性具有与在此情况下的头部相关传输函数类似的特性,无论是有意识的意图还是无意识的意图。
因此,当通过虚拟声音图像定位处理嵌入了头部相关传输函数的环绕音频被已经执行了上述音调调谐的耳机进行声音再现时,在耳机处发生头部相关传输函数被进行两次卷积的效果。结果,料想耳机的声学再现声音不会获得期望的环绕效果并产生异常的音调。
因此,希望提供一种能够改善上述问题的音频信号处理设备和音频信号处理方法。
根据本发明的实施例,提供了一种输出2声道音频信号的音频信号处理设备,所述2声道音频信号是通过布置在听众两耳附近位置上的两个电声换能器装置而被声音再现的,所述音频信号处理设备包括:头部相关传输函数卷积处理单元,其将头部相关传输函数与多个声道中的各个声道的音频信号进行卷积,头部相关传输函数允许听众收听声音,使得在声音通过所述两个电声换能器装置而被声音再现时,声音图像被定位在关于所述具有两个或更多个声道的多个声道中的各个声道的假设虚拟声音图像定位位置上;以及用于从来自头部相关传输函数卷积处理单元的多个声道的音频信号生成将要提供到两个电声换能器装置的2声道音频信号的装置,其中,在头部相关传输函数卷积处理单元中,至少涉及来自假设虚拟声音图像定位位置的关于到听众两耳的所述多个声道中的左声道和右声道的直接波的头部相关传输函数未被进行卷积。
根据具有上述配置的本发明的实施例,涉及来自假设虚拟声音图像定位位置的、关于通过两个电声换能器装置进行声音再现的声道中到听众两耳的左声道和右声道的直接波的头部相关传输函数未被进行卷积。因此,即使在两个电声换能器装置通过音调调谐而具有与头部相关传输特性类似的特性时,也可以避免具有使得头部相关传输函数被进行两次卷积的特性。
根据本发明的实施例,即使在两个电声换能器装置通过音调调谐而具有与头部相关传输特性类似的特性时,也可以避免具有使得头部相关传输函数被进行两次卷积的特性。因此,可以防止来自两个电声换能器装置的声学上再现声音的恶化。
附图说明
图1是示出用于说明在根据本发明实施例的音频信号处理设备中使用的头部相关传输函数的计算设备的系统配置示例的框图;
图2A和2B是用于说明当计算根据本发明实施例的音频信号处理设备所使用的头部相关传输函数时的测量位置的示图;
图3是用于说明当计算根据本发明实施例的音频信号处理设备所使用的头部相关传输函数时的测量位置的示图;
图4是用于说明当计算根据本发明实施例的音频信号处理设备所使用的头部相关传输函数时的测量位置的示图;
图5A和5B是示出由头部相关传输函数测量装置和缺省状态传输特性测量装置所获得的测量结果数据的特性示例的示图;
图6A和6B是示出在本发明实施例中获得的标准化(normalized)头部相关传输函数的特性示例的示图;
图7是示出与在本发明实施例中获得的标准化头部相关传输函数的特性相比较的特性示例的示图;
图8是示出与在本发明实施例中获得的标准化头部相关传输函数的特性相比较的特性示例的示图;
图9是用于说明现有技术中的常见头部相关传输函数的卷积处理区间的示图;
图10是用于说明根据本发明实施例的头部相关传输函数的卷积处理的第一示例的示图;
图11是示出用于执行根据本发明实施例的标准化头部相关传输函数的卷积处理的第一示例的硬件配置的框图;
图12是用于说明根据本发明实施例的标准化头部相关传输函数的卷积处理的第二示例的示图;
图13是示出用于执行根据本发明实施例的标准化头部相关传输函数的卷积处理的第二示例的硬件配置的框图;
图14是用于说明7.1声道多环绕的示例的示图;
图15是示出根据本发明实施例的音频信号处理方法被应用到的声音再现系统的一部分的框图;
图16是示出根据本发明实施例的音频信号处理方法被应用到的声音再现系统的一部分的框图;
图17是用于说明在根据本发明实施例的音频信号处理方法中与标准化头部相关传输函数进行卷积的声波的方向示例的示图;
图18是用于说明在根据本发明实施例的音频信号处理方法中标准化头部相关传输函数的卷积的开始定时的示例的示图;
图19是用于说明在根据本发明实施例的音频信号处理方法中与标准化头部相关传输函数进行卷积的声波的方向示例的示图;
图20是用于说明在根据本发明实施例的音频信号处理方法中标准化头部相关传输函数的卷积的开始定时的示例的示图;
图21是用于说明在根据本发明实施例的音频信号处理方法中与标准化头部相关传输函数进行卷积的声波的方向示例的示图;
图22是用于说明在根据本发明实施例的音频信号处理方法中标准化头部相关传输函数的卷积的开始定时的示例的示图;
图23是用于说明在根据本发明实施例的音频信号处理方法中与标准化头部相关传输函数进行卷积的声波的方向示例的示图;
图24是用于说明在根据本发明实施例的音频信号处理方法中标准化头部相关传输函数的卷积的开始定时的示例的示图;
图25是用于说明在根据本发明实施例的音频信号处理方法中与标准化头部相关传输函数进行卷积的声波的方向示例的示图;
图26是示出根据本发明实施例的音频信号处理设备的相关部分的比较示例的框图;
图27是示出根据本发明实施例的音频信号处理设备的相关部分的配置示例的框图;
图28A和28B是示出利用本发明实施例获得的标准化头部相关传输函数的特性的示例的示图;以及
图29是用于说明头部相关传输函数的示图。
具体实施方式
在说明本发明的实施例之前,将先说明在本发明的实施例中所使用的头部相关传输函数的生成和获取方法。
[在实施例中所使用的头部相关传输函数]
当执行头部相关传输函数的地方不是没有回声的消声房间时,所测得的头部相关传输函数不仅包括来自所假设的声源位置(与虚拟声音图像定位位置相对应)的直接波的分量,还包括没有分离开的反射波分量,如图29中的虚线所示。因此,鉴于反射波分量,在现有技术中测得的头部相关传输函数包括根据房间形状或执行测量的地点以及反射声波的墙壁、天花板、地板等的材料的测量地点的特性。
为了去除房间或地点的特性,认为头部相关传输函数是在不具有来自地板、天花板、墙壁等的声波反射的消声房间中测得的。
但是,当在消声房间中测得的头部相关传输函数被与音频信号直接卷积以执行虚拟声音图像定位时,存在由于不存在反射波而使得虚拟声音图像定位位置和方向性模糊的问题。
据此,要与音频信号进行直接卷积的头部相关传输函数的测量不是在消声房间中执行的,而是在虽然存在某种程度的回声但是特性很好的房间或地点执行的。另外,执行测量之后,例如,包括测量头部相关传输函数的房间或地点(例如,录音棚、空洞、大房间)的菜单被呈现,并且允许用户从菜单中选择优选的房间或地点的头部相关传输函数。
但是,如上所述,基于不可避免地既包括来自假设的声源位置的声源的直接波又包括反射波这一假设,在现有技术中测量和获得的是包括直接波和反射波两者(两者没有分离开来)的冲激脉冲响应的头部相关传输函数。因此,只能获得根据执行测量的地点或房间的头部相关传输函数,并且难以获得根据所需的周围环境或房间环境的头部相关传输函数并难以将该函数与音频信号进行卷积。
例如,难以将根据扬声器被假设布置在听众前方的收听环境的头部相关传输函数与在听众周围没有墙壁或障碍物的宽阔平原中的音频信号进行卷积。
为了获得在包括具有假设的给定形状或容积以及给定的吸收系数(与声波的衰减系数相对应)的墙壁的房间中的头部相关传输函数,只存在一种方法,即,找到或制作一个这样的房间来在该房间中测量头部相关传输函数。但是,实际上难以找到或制作这样的所需收听环境或房间并将根据该所需的可选收听环境或房间环境的头部相关传输函数与在当前情形下的音频信号进行卷积。
鉴于上述情况,在以下将说明的实施例中,根据所需的可选收听环境或房间环境的头部相关传输函数被与音频信号卷积,其中头部相关传输函数是可以在其中获得所需的虚拟声音图像定位感觉的头部相关传输函数。
[实施例中的头部相关传输函数的卷积方法概述]
如上所述,在现有技术的头部相关传输函数的卷积方法中,头部相关传输函数是通过将扬声器设置在希望虚拟声音图像被定位在的假设声源位置上、基于直接波和反射波两者的冲激脉冲响应都被包括进来而没有彼此分离开的假设而测得的。然后,通过该测量获得的头部相关传输函数被与音频信号直接卷积。
就是说,在现有技术中,来自希望虚拟声音图像被定位在的假设声源位置的直接波的头部相关传输函数和反射波的头部相关传输函数都被测量而没有将它们分离开,并且包括其两者的综合的头部相关传输函数被测得。
另一方面,在本发明的实施例中,通过将来自希望虚拟声音图像被定位在的假设声源位置的直接波的头部相关传输函数和反射波的头部相关传输函数分离开,来对两者进行测量。
据此,在本实施例中,将获得关于来自假设的声源方向位置的直接波(即,直接到达测量点位置而没有包括反射波的声波)的头部相关传输函数,所述假设的声源方向位置被假设为与测量点位置具有特定方向。
通过将声波被墙壁等反射后的方向确定为声源方向,反射波的头部相关传输函数将作为来自声源方向的直接波而被测量。就是说,当考虑在给定墙壁上反射并入射到测量点位置的反射波时,在被墙壁反射之后来自墙壁的反射声波可以被看作来自假设存在于墙壁上的反射位置的方向上的声源的声波的直接波。
在本实施例中,当来自希望虚拟声音图像被定位在的假设声源位置的直接波的头部相关传输函数被测量时,作为用于生成待测量的声波的装置的电声换能器(例如扬声器)被布置在希望虚拟声音图像被定位在的假设声源位置上。另一方面,当来自希望虚拟声音图像被定位在的假设声源位置的反射波的头部相关传输函数被测量时,作为用于生成待测量的声波的装置的电声换能器(例如扬声器)被布置在将被测量的反射波所入射到的测量点位置的方向上。
据此,关于来自各个方向的反射波的头部相关传输函数可以通过将作为用于生成待测量的声波的装置的电声换能器设置在相应的反射波到测量点位置的入射方向上而被测量。
此外,在本实施例中,按上述方式测得的关于直接波和反射波的头部相关传输函数被与音频信号进行卷积,从而获得在目标声音再现空间中的虚拟声音图像定位。在此情况下,只有根据目标声音再现空间在所选方向上的反射波的头部相关传输函数可以与音频信号进行卷积。
同样在本实施例中,直接波和反射波的头部相关传输函数是在去除了根据声波从待测量的声源位置到测量点位置的声道长度的传播延迟量之后被测量的。当各个头部相关传输函数被与音频信号执行卷积处理时,与声波从待测量的声源位置(虚拟声音图像定位位置)到测量点位置(用于再现的声音再现单元的位置)的声道长度相对应的传播延迟量被考虑。
据此,关于可选地根据房间大小等设置的虚拟声音图像定位位置的头部相关传输函数可以与音频信号进行卷积。
与反射声波的衰减系数相关的诸如根据墙壁的材料等的反射系数或吸收系数之类的特性被假设为来自墙壁的直接波的增益。就是说,例如,在本实施例中,在没有衰减的情况下,关于从假设的声源方向位置到测量点位置的直接波的头部相关传输函数被与音频信号进行卷积。关于来自墙壁的反射声波分量,关于来自在墙壁的反射位置方向上的假设声源的直接波的头部相关传输函数被与衰减系数(增益)进行卷积,所述衰减系数(增益)与根据墙壁特性的反射系数或吸收系数相对应。
当按上述方式与头部相关传输函数进行卷积的音频信号的再现声音被收听时,可以对由于根据墙壁特性的反射系数或吸收系数所带来的虚拟声音图像定位的状态进行核实。
直接波的头部相关传输函数以及所选的反射波的头部相关传输函数被与音频信号进行卷积以在考虑到衰减系数的同时进行声音再现,从而仿真在各种房间环境和地点环境中的虚拟声音图像定位。这可以通过将来自假设的声源方向位置的直接波和反射波分离开并将它们作为头部相关传输函数进行测量来实现。
[扬声器和麦克风的特性的影响的去除:第一标准化]
如上所述,关于来自特定声源的排除掉反射波分量的直接波的头部相关传输函数可以通过在消声房间中进行测量来获得。据此,关于来自所需虚拟声音图像定位位置的直接波和多个假设的反射波的头部相关传输函数在消声房间中被测量并被用于卷积。
就是说,作为拾取待测量声波的电声换能器装置的麦克风被设置于在消声房间中的听众的两耳附近的测量点位置上。而且,生成待测量声波的声源被设置在直接波和多个反射波的方向的位置上以测量头部相关传输函数。
即使在头部相关传输函数是在消声房间中获得的时,也难以去除作为测量头部相关传输函数的测量系统的扬声器和麦克风的特性。因此,存在如下问题:通过测量而获得的头部相关传输函数受已经被用于测量的扬声器和麦克风的特性所影响。
为了去除麦克风和扬声器的特性的影响,可以考虑使用具有平坦的频率特性的昂贵且特性良好的麦克风和扬声器来作为将被用于测量头部相关传输函数的麦克风和扬声器。
但是,即使在使用昂贵的麦克风和扬声器时,要想获得理想的平坦频率特性并完全去除麦克风和扬声器的特性的影响也是困难的,这可能导致再现音频的音调恶化。
还可以考虑通过使用具有相反特性的麦克风和扬声器作为测量系统对头部相关传输函数进行卷积之后对音频信号进行校正,从而去除麦克风和扬声器的特性的影响。但是,在此情况下,必须在音频信号再现电路中提供校正电路,因此,存在使配置复杂化并难以完全去除测量系统的影响的问题。
鉴于以上问题,为了去除执行测量的房间或地点的影响,对通过测量获得的头部相关传输函数执行下面将描述的标准化处理,以去除用于测量的麦克风和扬声器的特性的影响。首先,将参考附图来说明在本实施例中测量头部相关传输函数的方法的实施例。
图1是示出一执行处理过程的系统的配置示例的框图,所述处理过程用于获取根据本发明实施例的头部相关传输函数测量方法所使用的标准化头部相关传输函数的数据。
头部相关传输函数测量设备10在用于仅测量直接波的头部相关传输函数的消声房间中测量头部相关传输函数。在头部相关传输函数测量设备10中,作为听众的一假人头或真人被布置在如上述图29所述的消声房间中的听众位置上。作为用于拾取待测量声波的电声换能器装置的麦克风被设置在假人头或真人的两耳附近的位置(测量点位置)上,其中布置了电声换能器装置,其对与头部相关传输函数进行卷积的音频信号进行声音再现。
对与头部相关传输函数进行卷积的音频信号进行声音再现的电声换能器装置例如是左右2声道耳机,其中左声道麦克风被设置在左声道的耳机驱动器的位置上,右声道麦克风被设置在右声道的耳机驱动器的位置上。
然后,作为用于生成待测量声波的声源示例的扬声器被设置在以该听众或作为测量点位置的麦克风位置为原点、测量头部相关传输函数的方向上。在此情况下,用于测量头部相关传输函数的声波(在此情况下是冲激脉冲)被扬声器再现,并且其冲激脉冲响应被两个麦克风拾取。在以下描述中,希望测量头部相关传输函数的方向的位置(在该位置上,设置了作为待测量声源的扬声器)被称为假设声源方向位置。
在头部相关传输函数测量设备10中,从两个麦克风获得的冲激脉冲响应表示头部相关传输函数。
在缺省状态传输特性测量设备20中,在缺省状态下的传输特性被测量,其中在缺省状态下,假人头或真人没有存在于听众位置上,即,在缺省状态下,在与头部相关传输函数测量设备10相同的环境中,在待测量的声源位置和测量点位置之间不存在障碍物。
就是说,在缺省状态传输特性测量设备20中,在头部相关传输函数测量设备10中设置的假人头或真人被从消声房间中移走,从而得到在假设的声源方向位置上的扬声器和麦克风之间不存在障碍物的缺省状态。
在假设声源方向位置上的扬声器和麦克风的布置允许与在头部相关传输函数测量设备10中的布置相同,并且在此条件下,待测量的声波(在此情况下是冲激脉冲)由在假设声源方向位置上的扬声器来再现。然后,再现的冲激脉冲被两个麦克风拾取。
在缺省状态传输特性测量设备20中从两个麦克风的输出获得的冲激脉冲响应代表在不存在诸如假人头或真人之类的障碍物的缺省状态下的传输特性。
在头部相关传输函数测量设备10和缺省状态传输特性测量设备20中,从两个各自的麦克风获得右侧和左侧主要分量的头部相关传输函数和缺省状态传输特性以及右侧和左侧串扰分量的头部相关传输函数和缺省状态传输特性。然后,分别对主要分量以及右侧和左侧串扰分量执行随后将描述的标准化处理。
在以下描述中,例如,将描述只针对主要分量的标准化处理,为了简明,将省略对串扰分量的标准化处理的说明。不用说,也以同样的方式对串扰分量执行标准化处理。
由头部相关传输函数测量设备10和缺省状态传输特性测量设备20获得的冲激脉冲响应被作为具有96kHz采样频率以及8192个样本的数字数据而输出。
这里,从头部相关传输函数测量设备10获得的头部相关传输函数的数据将被表示为X(m),其中m=0,1,2,...,M-1(M=8192)。从缺省状态传输特性测量设备20获得的缺省状态传输特性的数据将被表示为Xref(m),其中m=0,1,2,...,M-1(M=8192)。
来自头部相关传输函数测量设备10的头部相关传输函数的数据X(m)和来自缺省状态传输特性测量设备20的缺省状态传输特性的数据Xref(m)被提供到延迟去除头部切除单元31和32。
在延迟去除头部切除单元31和32中,从在扬声器处再现冲激脉冲的开始点起始的头部部分的数据被去除,该头部部分针对与声波从在假设声源方向位置上的扬声器到用于获取冲激脉冲响应的麦克风的到达时间相对应的延迟时间量。同样,在延迟去除头部切除单元31和32中,数据的数目被减小到2的幂的数据数目,从而可以在接下来的阶段(下一步骤)中执行从时间轴数据到频率轴数据的正交变换处理。
接下来,数据数目在延迟去除头部切除单元31和32中被减少的头部相关传输函数的数据X(m)和缺省状态传输特性的数据Xref(m)被提供到FFT(快速傅立叶变换)单元33、34。在FFT单元33、34中,时间轴数据被变换为频率轴数据。在本实施例中,FFT单元33、34执行考虑到相位的复数快速傅立叶变换(复数FFT)处理。
在FFT单元33的复数FFT处理中。头部相关传输函数的数据X(m)被变换成包括实部R(m)和虚部jI(m)的FFT数据,即,R(m)+jI(m)。
根据FFT单元34中的复数FFT处理,缺省状态传输特性的数据Xref(m)被变换成包括实部Rref(m)和虚部jIref(m)的FFT数据,即,Rref(m)+jIref(m)。
在FFT单元33、34中获得的FFT数据是X-Y坐标数据,并且在本实施例中,FFT数据在极坐标变换单元35、36中被进一步变换成极坐标数据。就是说,头部相关传输函数的FFT数据R(m)+jI(m)被极坐标变换单元35变换成作为大小分量的半径γ(m)和作为角度分量的偏角θ(m)。然后,作为极坐标数据的半径γ(m)和偏角θ(m)被发送到标准化和X-Y坐标变换单元37。
缺省状态传输特性的FFT数据Rref(m)+jIref(m)被极坐标变换单元36变换成半径γref(m)和偏角θref(m)。然后,作为极坐标数据的半径γref(m)和偏角θref(m)被发送到标准化和X-Y坐标变换单元37。
在标准化和X-Y坐标变换单元37中,通过使用不具有诸如假人头之类的障碍物的缺省状态传输特性对在包括了假人头或真人的条件下首先测得的头部相关传输函数进行标准化。这里,标准化处理的具体计算如下。
就是说,当标准化处理之后的半径被表示为γn(m)并且标准化处理之后的偏角被表示为θn(m)时,有:
γn(m)=γn(m)/γref(m)
θn(m)=θn(m)-θref(m)...(公式1)
在标准化和X-Y坐标变换单元37中,在标准化处理之后极坐标系统中的数据半径γn(m)和偏角θn(m)被变换为X-Y坐标系统中的频率轴数据,包括实部Rn(m)和虚部jIn(m)(m=0,1,...M/4-1)。变换后的频率轴数据是标准化的头部相关传输函数数据。
在逆FFT单元38中,X-Y坐标系统中的频率轴数据的标准化头部相关传输函数数据被变换成冲激脉冲响应Xn(m),作为时间轴的标准化头部相关传输函数数据。在逆FFT单元38中,复数逆快速傅立叶变换(复数逆FFT)被执行。
就是说,在逆FFT(IFFT(逆快速傅立叶变换))单元38中执行以下计算:
Xn(m)=IFFT(Rn(m)+jIn(m)),其中m=0,1,2...,M/2-1
因此,从逆FFT单元38获得作为时间轴的标准化头部相关传输函数数据的冲激脉冲响应Xn(m)。
在IR(冲激脉冲响应)简化单元39中,来自逆FFT单元38的标准化头部相关传输函数的数据Xn(m)被简化为可以处理(可以按随后将描述的方式被进行卷积)的具有冲激脉冲特性的抽头(tap)长度。数据被简化为600抽头(来自逆FFT单元38的数据头部起600数据)。
在IR简化单元39中被简化的标准化头部相关传输函数的数据Xn(m)(m=0,1,...599)被写入标准化头部相关传输函数存储器400,以用于随后将描述的卷积处理。写入到标准化头部相关传输函数存储器400中的标准化头部相关传输函数包括如上所述分别在每个假设声源方向位置(虚拟声音图像定位位置)上的主要分量的标准化头部相关传输函数以及串扰分量的标准化头部相关传输函数。
以上说明是关于如下处理作出的:其中再现待测量声波(例如冲激脉冲)的扬声器被设置在相对于听众位置在一特定方向上与测量点位置(麦克风位置)相距一给定距离的一点的假设声源方向位置上,并且针对该扬声器设置位置的标准化头部相关传输函数被获取。
在本实施例中,通过将作为再现作为待测量声波的示例的冲激脉冲的扬声器的设置位置的假设声源方向位置多样地改变到相对于测量点位置的不同方向,可以按与上述相同的方式获取针对各个假设声源方向位置的标准化头部相关传输函数。
就是说,在本实施例中,考虑到在测量点位置上反射波的入射方向,假设声源方向位置被设置在多个位置上并计算标准化头部相关传输函数,以便不仅获取关于来自虚拟声音图像定位位置的直接波的头部相关传输函数,还获取关于反射波的头部相关传输函数。
作为扬声器设置位置的假设声源方向位置是通过如下方式设置的:在围绕作为测量点位置的麦克风位置或听众的水平面内的360度或180度的角度范围内,以例如10度为角度间隔来改变假设声源方向位置。这种设置是由于考虑到将为了计算关于来自听众左侧和右侧墙壁的反射波的标准化头部相关传输函数而获得的反射波的方向的必要分辨率而作出的。
类似地,作为扬声器设置位置的假设声源方向位置是通过如下方式设置的:在围绕作为测量点位置的麦克风位置或听众的垂直平面内的360度或180度的角度范围内,以例如10度为角度间隔来改变假设声源方向位置。这种设置是由于考虑到将为了计算关于来自天花板或地板的反射波的标准化头部相关传输函数而获得的反射波的方向的必要分辨率而作出的。
考虑360度角度范围的情况对应于诸如5.1声道、6.1声道和7.1声道之类多声道环绕音频被再现的情况,其中作为直接波的虚拟声音图像定位位置还存在于听众后面。在考虑来自听众后面墙壁的反射波的情况下,也有必要考虑360度的角度范围。
考虑180度角度范围的情况对应于作为直接波的虚拟声音图像定位位置仅存在于听众前方的情况,其中没有必要考虑来自听众后面墙壁的反射波。
同样在本实施例中,在头部相关传输函数测量设备10和缺省状态传输特性测量设备20中麦克风的设置位置根据向听众实际提供再现声音的声音再现驱动器(例如耳机的驱动器)的位置而改变。
图2A和2B是用于说明在向听众实际提供再现声音的电声换能器装置(声音再现装置)是内塞耳机(inner earphones)的情况下,头部相关传输函数和缺省状态传输特性的测量位置(假设声源方向位置)以及作为测量点位置的麦克风的设置位置的示图。
图2A示出在向听众提供再现声音的声音再现装置是内塞耳机并且假人头或真人OB被布置在听众位置上的情况下,头部相关传输函数测量设备10中的测量状态。在图2A中,在假设声源方向位置上再现冲激脉冲的扬声器被布置在由圆圈P1、P2、P3...所表示的位置上。就是说,扬声器被布置在如下的位置上:以听众位置或内塞耳机的两个驱动器位置的中心位置为中心,在希望测量头部相关传输函数的各个方向上角度间隔为10度的多个给定位置。
在内塞耳机的示例中,两个麦克风ML、MR被布置在假人头或真人的耳廓内部的位置上,如图2A所示。
图2B示出在向听众提供再现声音的声音再现装置是内塞耳机的情况下,缺省状态传输特性测量设备20中的测量状态,该图示出图2A中的假人头或真人被移走的测量环境状态。
上述标准化处理是按照如下方式执行的:通过使用在如图2B所示的由圆圈P1、P2...所示的各个假设声源方向位置上测得的缺省状态传输特性对在如图2A所示的由圆圈P1、P2...所示的各个相同的假设声源方向位置上测得的头部相关传输函数进行标准化。就是说,例如,在假设声源方向位置P1上测得的头部相关传输函数被利用在同一假设声源方向位置P1上测得的缺省状态传输特性进行标准化。
接下来,图3是用于说明当在向听众实际提供再现声音的声音再现装置是头戴耳机(over earphones)的情况下测量头部相关传输函数和缺省状态传输特性时,假设声源方向位置和麦克风设置位置的示图。图3的示例中的头戴耳机具有用于左耳和右耳中的每一个的耳机驱动器。
就是说,图3示出在向听众提供再现声音的声音再现装置是头戴耳机并且假人头或真人OB被布置在听众位置上的情况下,头部相关传输函数测量设备10中的测量状态。再现冲激脉冲的扬声器被布置在如下的假设声源方向位置上:以听众位置或头戴耳机的两个驱动器位置的中心位置为中心,在希望测量头部相关传输函数的各个方向上角度间隔例如为10度的多个给定位置,如圆圈P1、P2、P3...所示。
如图3所示,两个麦克风ML、MR被布置在靠近耳朵、面对假人头或真人的耳廓的位置上。
在声音再现装置是头戴耳机的情况下,缺省状态传输特性测量设备20中的测量状态将是图3中的假人头或真人OB被移走的测量环境。同样在此情况下,虽然没有示出,但是头部相关传输函数和缺省状态传输特性的测量以及标准化处理自然以与图2A和2B的情况相同的方式被执行。
上面已经描述了声音再现装置是耳机的情况,但是,本发明也可以被应用到布置在听众两耳附近的扬声器被用作声音再现装置的情况,如例如在JP-A-2006-345480中所公开的。可设想,类似于使用耳机的情况,布置在听众两耳附近的扬声器的音调通常在很多情况下被调谐,以使得与扬声器被设置在听众前方左侧和右侧的情况相比,听众在频率均衡或对能听度有贡献的音调方面不会感觉奇怪。
在此情况下的扬声器被例如附接到听众落座的椅子的靠头部分,并被布置在听众的耳朵附近,如图4所示。图4是用于说明当在作为声音再现装置的扬声器按上述方式布置的情况下测量头部相关传输函数和缺省状态传输特性时,假设声源方向位置和麦克风的设置位置的示图。
在图4的示例中,在两个扬声器被布置在听众头部后方的左侧和右侧以声学上再现声音的情况下的头部相关传输函数和缺省状态传输特性被测量。
就是说,图4示出在向听众提供再现声音的声音再现装置是布置在椅子的靠头部分的左侧和右侧的两个扬声器的情况下,头部相关传输函数测量设备10中的测量状态。假人头或真人OB被布置在听众位置上。再现冲激脉冲的扬声器被布置在如下的假设声源方向位置上:以听众位置或布置在椅子的靠头部分的两个扬声器位置的中心位置为中心,以例如10度的角度间隔布置的多个位置,如圆圈P1、P2...所示。
两个麦克风ML、MR被布置在假人头或真人的头部后方靠近听众耳朵的位置上,这对应于如图4所示的附接到椅子的靠头部分的两个扬声器的设置位置。
在声音再现装置是附接到椅子的靠头部分的电声换能器驱动器的情况下缺省状态传输特性测量设备20中的测量状态将是图4中的假人头或真人OB被移走的测量环境。同样在此情况下,头部相关传输函数和缺省状态传输特性的测量以及标准化处理自然以与图2A和2B的情况相同的方式被执行。
根据上述内容,作为被写入到标准化头部相关传输函数存储器40中的标准化头部相关传输函数,仅针对来自多个虚拟声音位置的直接波而不针对反射波的头部相关传输函数被考虑,其中多个虚拟声音位置以例如10度的角度间隔彼此分离开。
在所获取的标准化头部相关传输函数中,生成冲激脉冲的扬声器的特性和拾取冲激脉冲的麦克风的特性通过标准化处理被排除掉。
此外,在所获取的标准化头部相关传输函数中,与生成冲激脉冲的扬声器的位置(假设声源方向位置)和拾取冲激脉冲的麦克风的位置(假设驱动器位置)之间的距离相对应的延迟在延迟去除头部切除单元31和32中被去除掉。因此,在此情况下,所获取的标准化头部相关传输函数与生成冲激脉冲的扬声器的位置(假设声源方向位置)和拾取冲激脉冲的麦克风的位置(假设驱动器位置)之间的距离没有关系。就是说,所获取的标准化头部相关传输函数将是仅根据从拾取冲激脉冲的麦克风的位置(假设驱动器位置)看去、生成冲激脉冲的扬声器的位置(假设声源方向位置)的方向的头部相关传输函数。
然后,当关于直接波的标准化头部相关传输函数被与音频信号进行卷积时,与虚拟声音图像定位位置和假设驱动器位置之间的距离相对应的延迟被添加到音频信号。根据所添加的延迟,有可能在根据虚拟声源位置相对于作为虚拟声音图像位置的假设驱动器位置的方向上的延迟来定位距离位置的同时在声学上再现声音。
关于来自假设声源方向位置的反射波,从希望定位虚拟声音图像的位置起、反射波在被诸如墙壁之类的反射部分反射之后入射到假设驱动器位置的方向将被认为是关于反射波的假设声源方向位置的方向。然后,与关于反射波的声波从假设声源方向位置入射到假设驱动器位置的声道长度相对应的延迟被应用到音频信号,然后,标准化的头部相关传输函数被进行卷积。
就是说,当标准化的头部相关传输函数被与涉及直接波和反射波的音频信号进行卷积时,与从执行虚拟声音图像定位的位置入射到假设驱动器位置的声波的声道长度相对应的延迟被添加到音频信号。
在图1的框图中的用于说明头部相关传输函数的测量方法的实施例的所有信号处理都可以在DSP(数字信号处理器)中执行。在此情况下,在头部相关传输函数测量设备10和缺省状态传输特性测量设备20中头部相关传输函数的数据X(m)和缺省状态传输特性的数据Xref(m)的获取单元、延迟去除头部切除单元31和32、FFT单元33和34、极坐标变换单元35和36、标准化和X-Y坐标变换单元37、逆FFT单元38和IR简化单元39可以由DSP分别配置,并且可以由一个DSP或多个DSP执行整个信号处理。
在图1的上述示例中,关于标准化头部相关传输函数和缺省状态传输特性的数据,针对与假设声源方向位置和麦克风位置之间的距离相对应的延迟时间的头部数据在延迟去除头部切除单元31和32中被去除并被切除头部。这是为了减小随后将描述的头部相关传输函数的卷积处理量。延迟去除头部切除单元31和32中的数据去除处理可以通过使用例如DSP的内部存储器来执行。但是,当不需要执行延迟去除头部切除处理时,原始数据在DSP中按照8192个样本的数据被按原样处理。
IR简化单元39用于减小在头部相关传输函数被进行卷积(随后将描述)时的卷积处理量,其可以被省略。
此外,在以上实施例中来自FFT单元33和34的X-Y坐标系统的频率轴数据被变换成极坐标系统的频率数据的原因是考虑到如下情况:当X-Y坐标系统的频率数据被按原样使用时,难以执行标准化处理。但是,当配置是理想的时,可以通过照原样使用X-Y坐标系统的频率数据来执行标准化处理。
在以上示例中,在假设各种虚拟声音图像定位位置以及反射波到假设驱动器位置的入射方向的情况下,计算涉及很多假设声源方向位置的标准化头部相关传输函数。计算涉及很多假设声源方向位置的标准化头部相关传输函数的原因是为了可以随后从中选择所需方向的假设声源方向位置的头部相关传输函数。
但是,当虚拟声音图像定位位置被先前固定并且反射波的入射方向也被固定时,自然优选地仅针对固定的虚拟声音图像定位位置或反射波的入射方向的假设声源方向位置的方向来计算标准化头部相关传输函数。
为了测量仅涉及来自多个假设声源方向位置的直接波的头部相关传输函数和缺省状态传输特性,在以上实施例中,在消声房间中执行测量。但是,即使在包括反射波的房间或地点而非在消声房间中,当反射波相对于直接波被极大地延迟时,也可以通过采取时间窗来仅提取直接波分量。
用于测量由在假设声源方向位置上的扬声器所生成的头部相关传输函数的声波可以是TSP(时间伸展脉冲)信号而不是冲激脉冲。当使用TSP信号时,即使不在消声房间中,也可以通过去除反射波来测量仅关于直接波的头部相关传输函数和缺省状态传输特性。
[通过使用标准化的头部相关传输函数的效果核实]
图5A和5B示出包括实际用于头部相关传输函数的测量的扬声器和麦克风的测量系统的特性。即,图5A示出在不布置诸如假人头或真人之类的障碍物的状态下,当0到20kHz频率信号的声音在同样的固定电平上被再现并被麦克风拾取时,来自麦克风的输出信号的频率特性。
这里使用的扬声器是具有相当好的特性的商业扬声器,但是,该扬声器示出图5A所示的特性,其不是平坦特性。实际上,图5A的特性属于常用扬声器之中相当平坦的类别。
在现有技术中,扬声器和麦克风的系统特性被添加到头部相关传输函数并在未被去除的情况下被使用,因此,通过对头部相关传输函数进行卷积而获得的声音的特性或音调取决于扬声器和麦克风的系统特性。
图5B示出在布置了诸如假人头或真人之类的障碍物的状态下,来自麦克风的输出信号的频率特性。可以看出,频率特性变化相当大,其中在1200Hz附近和10kHz附件出现大骤降(dip)。
图6A是以重叠方式示出图5A的频率特性和图5B的频率特性的频率特性图。
另一方面,图6B示出根据上述实施例的标准化头部相关传输函数的特性。从图6B可以看出,即使在标准化头部相关传输函数的特性中的低频处增益也没有减小。
在以上实施例中,执行复数FFT处理,并且使用考虑到相位分量的标准化头部相关传输函数。因此,与仅使用幅度分量而不考虑相位来对头部相关传输函数进行标准化的情况相比,该标准化头部相关传输函数的保真度(fidelity)较高。
图7示出通过执行仅对幅度进行标准化而没有考虑相位的处理并针对最终使用的冲激脉冲特性再次执行FFT处理而获得的特性。
当将图7与示出本实施例的标准化头部相关传输函数的特性的图6B进行比较时,可以得出如下结论。就是说,在图6B所示的本实施例的复数FFT中可以正确地获得头部相关传输函数X(m)和缺省状态传输特性Xref(m)之间的特性差异,但是,当不考虑相位时,如图7所示,将偏离原始特性。
在图1的处理过程中,在最后阶段利用IR简化单元39执行对标准化头部相关传输函数的简化,因此,与通过减少从起始处起的数据数目来执行处理的情况相比,特性偏离减小。
就是说,当首先针对在头部相关传输函数测量设备10和缺省状态传输特性测量设备20中获得的数据执行减少数据数目的简化时(当通过将超过最终需要的冲激脉冲数目的数据确定为“0”来执行标准化时),标准化头部相关传输函数的特性将如图8所示,其中尤其在较低频特性中发生偏离。另一方面,利用上述实施例的配置所获得的标准化头部相关传输函数的特性将如图6B所示,其中即使在较低频处特性偏离也很小。
[标准化头部相关传输函数的卷积方法的示例]
图9示出冲激脉冲响应,作为利用现有技术的测量方法获得的头部相关传输函数的示例,其是不仅包括直接波分量也包括所有反射波分量的综合响应。在现有技术中,包括所有直接波和反射波的综合冲激脉冲响应的整体在如图9所示的一个卷积处理区间中被与音频信号进行卷积。
现有技术的卷积处理区间将相对较长,如图9所示,因为较高次反射波以及从虚拟声音图像定位位置到测量点位置的声道长度很长的反射波被包括在内。在卷积处理区间中的头部区间DL0指示出与直接波从虚拟声音图像定位位置到达测量点位置的时间段相对应的延迟量。
与图9所示的现有技术的头部相关传输函数的卷积方法相对照,在本实施例中,按上述方式计算的直接波的标准化头部相关传输函数和所选反射波的标准化头部相关传输函数被与音频信号进行卷积。
这里,在本实施例中,当虚拟声音图像定位位置固定时,直接波相对于测量点位置(声音再现驱动器设置位置)的标准化头部相关传输函数不可避免地与音频信号进行卷积。但是,关于反射波的标准化头部相关传输函数,根据假设的收听环境和房间结构,只有所选择的函数被与音频信号进行卷积。
例如,假设收听环境是如上所述的宽阔平原,则只有来自虚拟声音图像定位位置的在地面(地板)上的反射波被选为所述反射波,并且针对该所选反射波入射到测量点位置的方向而计算的标准化头部相关传输函数被与音频信号进行卷积。
而且,例如,在具有长方体形状的常规房间的情况下,来自听众右侧和左侧墙壁、地板、天花板以及听众前方和后方墙壁的反射波被选择,并且针对这些反射波入射到测量点位置的方向计算出的标准化头部相关传输函数被进行卷积。
在后一种房间的情况下,不仅一次反射而且二次反射、三次反射等都被生成为反射波,但是,例如只有一次反射被选择。根据实验,即使在与仅涉及一次反射波的标准化头部相关传输函数进行卷积的音频信号被声音再现时,也可以获得良好的虚拟声音图像定位感觉。在涉及二次反射和随后的反射的标准化头部相关传输函数被与音频信号进一步进行卷积的情况下,当音频信号被声音再现时,可以获得更好的虚拟声音图像定位感觉。
涉及直接波的标准化头部相关传输函数基本上以照原样的增益与音频信号进行卷积。涉及反射波的标准化头部相关传输函数以根据一次反射、二次反射和更高次反射中的哪个反射波被应用的增益而被与音频信号进行卷积。
这是因为在本示例中获得的标准化头部相关传输函数的测量涉及来自分别设置在多个给定方向上的假设声源方向位置的直接波,并且涉及来自这些给定方向的反射波的标准化头部相关传输函数相对于直接波被衰减。涉及反射波的标准化头部相关传输函数相对于直接波的衰减量随着反射波阶次变高而增大。
如上所述,关于反射波的头部相关传输函数,可以设置考虑到根据假设的反射部分的表面形状、表面结构、材料等的吸收系数(声波的衰减系数)的增益。
如上所述,在本实施例中,要对其中的头部相关传输函数进行卷积的反射波被选择,并且各个反射波的头部相关传输函数的增益被调整,因此,可以实现根据可选的假设房间环境或收听环境的头部相关传输函数与音频信号的卷积。就是说,可以将在假设提供良好声场(sound-field)空间的房间或空间中的头部相关传输函数与音频信号进行卷积,而无需测量在该提供良好声场空间的房间或空间中的头部相关传输函数。
[卷积方法的第一示例(多处理);图10,图11]
在本实施例中,如上所述,直接波的标准化头部相关传输函数(直接波方向头部相关传输函数)和各个反射波的标准化头部相关传输函数(反射波方向头部相关传输函数)被独立计算。在第一示例中,直接波和所选择的各个反射波的标准化头部相关传输函数被独立地与音频信号进行卷积。
例如,将说明除了直接波(直接波方向)之外还选择三个反射波(反射波方向)并且与这些波相对应的标准化头部相关传输函数(直接波方向头部相关传输函数和反射波方向头部相关传输函数)被进行卷积的情况。
与从虚拟声音图像定位位置到测量点位置的声道长度相对应的延迟时间被针对直接波和各个反射波而预先计算。该延迟时间可以在测量点位置(声音再现驱动器位置)和虚拟声音图像定位位置固定并且反射部分固定时被计算。关于反射波,相对于标准化头部相关传输函数的衰减量(增益)也预先固定。
图10示出关于直接波和三个反射波的延迟时间、增益和卷积处理区间的示例。
在图10的示例中,关于直接波的标准化头部相关传输函数(直接波方向头部相关传输函数),针对音频信号考虑与从虚拟声音图像定位位置到测量点位置的时间相对应的延迟DL0。就是说,直接波的标准化头部相关传输函数的卷积开始点将是点“t0”,其中以延迟DL0延迟音频信号,如图10的最低部分所示。
然后,针对从点“t0”开始的标准化头部相关传输函数的数据长度(在以上示例中为600数据),关于按上述方式计算出的直接波方向的标准化头部相关传输函数在卷积处理区间CP0中被与音频信号进行卷积。
接下来,关于在三个反射波中的第一反射波1的标准化头部相关传输函数(反射波方向头部相关传输函数),针对音频信号考虑与从虚拟声音图像定位位置到测量点位置的声道长度相对应的延迟DL1。就是说,第一反射波1的标准化头部相关传输函数的卷积开始点将是点“t1”,其中以延迟DL1延迟音频信号,如图10的最低部分所示。
针对从点“t1”开始的标准化头部相关传输函数的数据长度,按上述方式计算出的第一反射波1的标准化头部相关传输函数在卷积处理区间CP1中被与音频信号卷积。在以上示例中,从点“t1”开始的标准化头部相关传输函数(反射波方向头部相关传输函数)的数据长度是600数据。这对于随后将描述的第二反射波和第三反射波是相同的。
当执行卷积处理时,标准化头部相关传输函数被乘以一增益G1(G1<1),该增益G1是考虑到第一反射波1属于哪一阶次以及在反射部分处的吸收系数(或反射系数)而获得的。
类似地,关于第二反射波和第三反射波的标准化头部相关传输函数(反射波方向头部相关传输函数),针对音频信号分别考虑与从虚拟声音图像定位位置到测量点位置的声道长度相对应的延迟DL2、DL3。就是说,第二反射波2的标准化头部相关传输函数的卷积开始点将是点“t2”,其中以延迟DL2延迟音频信号,如图10的最低部分所示。同样,第三反射波3的标准化头部相关传输函数的卷积开始点将是点“t3”,其中以延迟DL3延迟音频信号。
针对从点“t2”开始的标准化头部相关传输函数的数据长度,关于按上述方式计算出的第二反射波2的方向的标准化头部相关传输函数在卷积处理区间CP2中被与音频信号进行卷积。针对从点“t3”开始的标准化头部相关传输函数的数据长度,关于第三反射波3的方向的标准化头部相关传输函数在卷积处理区间CP3中被与音频信号进行卷积。
当执行卷积处理时,标准化头部相关传输函数被乘以增益G2和G3(G2<1且G3<1),增益G2和G3是考虑到第二反射波2和第三反射波3属于哪一阶次以及在反射部分处的吸收系数(或反射系数)而获得的。
执行上述图10示例的卷积处理的标准化头部相关传输函数卷积单元的硬件配置示例将在图11示出。
图11的示例包括用于直接波的卷积处理单元51、用于第一到第三反射波1、2和3的卷积处理单元52、53、54以及加法器55。
各个卷积处理单元51到54具有完全相同的配置。就是说,在本示例中,各个卷积处理单元51到54分别包括延迟单元511、521、531和541、头部相关传输函数卷积电路512、522、532和542以及标准化头部相关传输函数存储器513、523、533和543。各个卷积处理单元51到54分别具有增益调整单元514、524、534和544以及增益存储器515、525、535和545。
在本示例中,与头部相关传输函数进行卷积的输入音频信号Si被提供到各个延迟单元511、521、531和541。各个延迟单元511、521、531和541将与头部相关传输函数进行卷积的输入音频信号Si分别延迟到直接波和第一到第三反射波的标准化头部相关传输函数的卷积开始点t0、t1、t2和t3。因此,在本示例中,各个延迟单元511、521、531和541的延迟量分别是DL0、DL1、DL2和DL3,如图所示。
各个头部相关传输函数卷积电路512、522、532和542是执行将标准化头部相关传输函数与音频信号进行卷积的处理的部分。在本示例中,头部相关传输函数卷积电路512、522、532和542中的每一个例如用具有600抽头的IIR(无限冲激响应)滤波器或FIR(有限冲激响应)滤波器来配置。
标准化头部相关传输函数存储器513、523、533和543存储并保持将在各个头部相关传输函数卷积电路512、522、532和542处被进行卷积的标准化头部相关传输函数。在标准化头部相关传输函数存储器513中,存储并保持在直接波方向上的标准化头部相关传输函数。在标准化头部相关传输函数存储器523中,存储并保持在第一反射波方向上的标准化头部相关传输函数。在标准化头部相关传输函数存储器533中,存储并保持在第二反射波方向上的标准化头部相关传输函数。在标准化头部相关传输函数存储器543中,存储并保持在第三反射波方向上的标准化头部相关传输函数。
这里,将被存储并保持的直接波方向上的标准化头部相关传输函数、在第一反射波方向上的标准化头部相关传输函数、在第二反射波方向上的标准化头部相关传输函数和在第三反射波方向上的标准化头部相关传输函数是从例如标准化头部相关传输函数存储器40中选择并读出的,并被分别写入到相应的标准化头部相关传输函数存储器513、523、533和543中。
增益调整单元514、524、534和544用于调整将被进行卷积的标准化头部相关传输函数的增益。增益调整单元514、524、534和544将来自标准化头部相关传输函数存储器513、523、533和543的标准化头部相关传输函数乘以存储在增益存储器515、525、535和545中的增益值(<1)。然后,增益调整单元514、524、534和544将相乘结果提供到头部相关传输函数卷积电路512、522、532和542。
在本示例中,在增益存储器515中,存储关于直接波的增益值G0(<1)。在增益存储器525中,存储关于第一反射波的增益值G1(<1)。在增益存储器535中,存储关于第二反射波的增益值G2(<1)。在增益存储器545中,存储关于第三反射波的增益值G3(<1)。
加法器55将来自用于直接波的卷积处理单元51和用于第一到第三反射波1、2和3的卷积处理单元52、53和54的与标准化头部相关传输函数进行了卷积的音频信号进行相加和组合,从而输出一输出音频信号So。
在以上配置中,应该与头部相关传输函数进行卷积的输入音频信号Si被提供到各个延迟单元511、521、531和541。在各个延迟单元511、521、531和541中,输入音频信号Si被延迟到点t0、t1、t2和t3,在这些点上,直接波和第一到第三反射波的标准化头部相关传输函数的卷积开始。被各个延迟单元511、521、531和541分别延迟到标准化头部相关传输函数的卷积开始点t0、t1、t2和t3的输入音频信号Si被提供到头部相关传输函数卷积电路512、522、532和542。
另一方面,所存储和保持的标准化头部相关传输函数数据被从各个标准化头部相关传输函数存储器513、523、533和543以各自的卷积开始点t0、t1、t2和t3顺序读出。这里省略了对从各个标准化头部相关传输函数存储器513、523、533和543读出标准化头部相关传输函数数据的定时控制。
读出的标准化头部相关传输函数数据被在增益调整单元514、524、534和544中分别乘以来自增益存储器515、525、535和545的增益G0、G1、G2和G3以进行增益调整。经过增益调整的标准化头部相关传输函数数据被提供到各个头部相关传输函数卷积电路512、522、532和542。
在各个头部相关传输函数卷积电路512、522、532和542中,经过增益调整的标准化头部相关传输函数数据分别在如图10所示的各个卷积处理区间CP0、CP1、CP2和CP3中被进行卷积。
然后,在各个头部相关传输函数卷积电路512、522、532和542中的标准化头部相关传输函数数据的卷积处理结果在加法器55中相加,并且相加结果被作为输出音频信号So而输出。
在第一示例的情况下,可以将关于直接波和多个反射波的各自的标准化头部相关传输函数与音频信号分别进行卷积。因此,在延迟单元511、521、531和541中的延迟量和存储在增益存储器515、525、535和545中的增益被调整,并且进而,将被进行卷积的存储在标准化头部相关传输函数存储器513、523、533和543中的标准化头部相关传输函数被改变,从而容易根据收听环境的差异来执行头部相关传输函数的卷积,所述收听环境的差异例如是收听环境空间类型的差异(例如,室内空间或室外空间)、房间的形状和大小的差异、反射部分材料(吸收系数或反射系数)的差异。
还优选的,延迟单元511、521、531和541是利用可变延迟单元来配置的,所述可变延迟单元根据来自外部的操作者等的操作输入来改变延迟量。还优选的,提供一单元,该单元被配置用于将操作者从标准化头部相关传输函数存储器40选择的可选的标准化头部相关传输函数写入到标准化头部相关传输函数存储器513、523、533和543中。此外,优选的,提供一单元,该单元被配置用于由操作者向增益存储器515、525、535和545输入和存储可选增益。当如上配置时,可以实现根据操作员可选地设置的收听环境(例如收听环境空间或房间环境)来进行头部相关传输函数的卷积。
例如,可以根据具有同样房间形状的收听环境中的墙壁的材料(吸收系数和反射系数)来容易地改变增益,并且通过多样地改变墙壁的材料,可以仿真根据情况的虚拟声音图像定位状态。
在图10的配置示例中,在用于直接波的卷积处理单元51和用于第一到第三反射波1、2和3的卷积处理单元52、53和54处提供标准化头部相关传输函数存储器513、523、533和543。与这种配置不同,还优选的,为这些卷积处理单元51到54提供共用的标准化头部相关传输函数存储器40,并且在各个卷积处理单元51到54处分别提供如下单元:该单元被配置用于从标准化头部相关传输函数存储器40有选择地读出各个卷积处理单元51到54需要的标准化头部相关传输函数。
在上述第一示例中,已经说明了除了直接波之外还选择三个反射波并且这些波的标准化头部相关传输函数被与音频信号进行卷积的情况。但是,将被选择的反射波的标准化头部相关传输函数可以多于三个。当标准化头部相关传输函数多于三个时,在图11的配置中提供用于反射波的与卷积处理单元52、53和54类似的所需数目的卷积处理单元,从而以相同的方式执行这些标准化头部相关传输函数的卷积。
在图10的示例中,延迟单元511、521、531和541被配置为将输入音频信号Si分别延迟到卷积开始点,因此各个延迟量分别为DL0、DL1、DL2和DL3。但是,还优选的,延迟单元511的输出端连接到延迟单元521的输入端,延迟单元521的输出端连接到延迟单元531的输入端,延迟单元531的输出端连接到延迟单元541的输入端。根据该配置,在延迟单元521、531和541中的延迟量将分别为DL1-DL0、DL2-DL1和DL3-DL2,它们可以被减小。
还优选的,延迟电路与卷积电路串联连接,同时考虑当卷积处理区间CP0、CP1、CP2和CP3没有彼此重叠时,卷积处理区间CP0、CP1、CP2和CP3的时间长度。在此情况下,当卷积处理区间CP0、CP1、CP2和CP3的时间长度被设定为TP0、TP1、TP2和TP3时,延迟单元521、531和541的延迟量将是DL1-DL0-TP0、DL2-DL1-TP1、DL3-DL2-TP2,它们可以被进一步减小。
[卷积方法的第二示例(系数组合处理);图12,图13]
当关于预先确定的收听环境的头部相关传输函数被进行卷积时使用第二示例。就是说,当诸如收听环境空间的类型、房间的形状和大小、反射部分的材料(吸收系数或反射系数)之类的收听环境被预先确定时,直接波和将被选择的反射波的标准化头部相关传输函数的卷积开始点将被确定。在此情况下,在对各个标准化头部相关传输函数进行卷积时的衰减量(增益)也将预先确定。
例如,当采取上述直接波和三个反射波的头部相关传输函数作为示例时,直接波和第一到第三反射波的标准化头部相关传输函数的卷积开始点将是上面所述的开始点t0、t1、t2和t3,如图12所示。
对音频信号的延迟量将是DL0、DL1、DL2和DL3。然后,在对直接波和第一到第三反射波的标准化头部相关传输函数进行卷积时的增益可以被分别确定为G0、G1、G2和G3。
因此,在第二示例中,这些标准化头部相关传输函数被在时间序列上组合为组合的标准化头部相关传输函数,如图12所示,并且卷积处理区间将是完成这多个标准化头部相关传输函数与音频信号的卷积的时段。
如图12所示,各个标准化头部相关传输函数的实质卷积时段是CP0、CP1、CP2和CP3,并且头部相关传输函数的数据不存在于除了这些卷积区间CP0、CP1、CP2和CP3之外的区间中。因此,在除了这些卷积区间CP0、CP1、CP2和CP3之外的区间中,数据“0(零)”被用作头部相关传输函数。
在第二示例的情况下,标准化头部相关传输函数卷积单元的硬件配置示例如图13所示。
即,在第二示例中,与头部相关传输函数进行卷积的输入音频信号Si在关于直接波的头部相关传输函数的延迟单元61处被延迟了关于直接波的给定延迟量DL0,然后被提供到头部相关传输函数卷积电路62。
来自组合标准化头部相关传输函数存储器63的组合的标准化头部相关传输函数被提供到头部相关传输函数卷积电路62并被与音频信号进行卷积。存储在组合标准化头部相关传输函数存储器63中的组合的标准化头部相关传输函数是如上使用图12说明的组合的标准化头部相关传输函数。
在第二示例中,当改变延迟量、增益等时有必要重写整个组合的头部相关传输函数。但是,该示例具有可以简化用于对标准化头部相关传输函数进行卷积的卷积电路的硬件配置的优点。
[卷积方法的其他示例]
在以上第一和第二示例中,直接波和关于预先测量的相应方向的所选反射波的标准化头部相关传输函数分别在卷积处理区间CP0、CP1、CP2和CP3中被与音频信号进行卷积。
但是,主要的是关于所选反射波的头部相关传输函数的卷积开始点以及卷积处理区间CP1、CP2和CP3,并且实际进行卷积的信号并不总是相应的头部相关传输函数。
就是说,例如,在直接波的卷积处理区间CP0中,关于直接波的头部相关传输函数(直接波头部相关传输函数)以与上述第一和第二示例相同的方式被进行卷积。但是,还优选的,作为一种简化方式,与在卷积处理区间CP0中相同的直接波方向头部相关传输函数通过乘以所需增益G1、G2和G3而被衰减以在反射波的卷积处理区间CP1、CP2和CP3中被进行卷积。
就是说,在第一示例的情况下,与在标准化头部相关传输函数存储器513中相同的关于直接波的标准化头部相关传输函数被存储在标准化头部相关传输函数存储器523、533、543中。可替换地,标准化头部相关传输函数存储器523、533、543被省掉,只提供标准化头部相关传输函数存储器513。然后,直接波的标准化头部相关传输函数可被从标准化头部相关传输函数存储器513读出,并且在各个卷积处理区间CP1、CP2和CP3中不仅被提供到增益调整单元514还被提供到增益调整单元524、534和544。
此外,与以上第一和第二示例类似,关于直接波的标准化头部相关传输函数(直接波方向头部相关传输函数)在直接波的卷积处理区间CP0中被进行卷积。另一方面,以简化方式,在反射波的卷积处理区间CP1、CP2和CP3中,作为卷积目标的音频信号被分别延迟相应的延迟量DL1、DL2和DL3然后被进行卷积。
即,提供一保持单元,其被配置用于保持被延迟了延迟量DL1、DL2和DL3的作为卷积目标的音频信号,并且保持在保持单元中的音频信号在反射波的卷积处理区间CP1、CP2和CP3中被进行卷积。
[使用本实施例的音频信号处理方法的声音再现系统的示例;图14到图17]
接下来,将说明根据本发明实施例的音频信号处理设备被应用到使用2声道耳机再现多环绕音频信号的情况的示例。即,下述示例是上述标准化头部相关传输函数与各个声道的音频信号进行卷积,从而使用虚拟声音图像定位来执行再现的情况。
在下述示例中,假设在ITU(国际电信联盟)-R 7.1声道多环绕扬声器情况下的扬声器布置,并且头部相关传输函数被进行卷积,以使得利用在7.1声道多环绕扬声器的布置位置上的头戴耳机来执行各个声道的音频分量的虚拟声音图像定位。
图14示出ITU-R 7.1声道多环绕扬声器的布置示例,其中各个声道的扬声器位于以听众位置Pn为中心的圆周上。
在图14中,作为听众的前方位置的“C”表示出中心声道的扬声器位置。“LF”和“RF”是在作为中心的中心声道的扬声器位置“C”两侧彼此分离60度角度范围的位置,它们表示出左前声道和右前声道的扬声器位置。
在听众前方位置“C”左右从60度到150度的范围内,分别在左侧和右侧设置了两个扬声器位置LS、LB和两个扬声器位置RS、RB。这些扬声器位置LS、LB和RS、RB是相对于听众设置的对称位置。扬声器位置LS和RS是左侧声道和右侧声道的扬声器位置,扬声器位置LB和RB是左后声道和右后声道的扬声器位置。
在声音再现系统的示例中,使用头戴耳机,其具有针对左耳和右耳中的每个而布置的耳机驱动器。
在本实施例中,当利用该示例的头戴耳机对7.1声道多环绕音频信号进行声音再现时,声音被声学上再现为使得图14中的各个扬声器位置C、LF、RF、LS、RS、LB和RB的方向将是虚拟声音图像定位方向。因此,所选择的标准化头部相关传输函数被与该7.1声道多环绕音频信号的各个声道的音频信号进行卷积,如随后将描述的。
图15和图16示出使用根据本发明实施例的音频信号处理设备的声音再现系统的硬件配置示例。将图分成图15和图16的原因在于由于空间大小而难以在空间内示出该示例的声音再现系统,图15继续到图16。
图15和图16中所示的示例是电声换能器装置是2声道立体声头戴耳机的情况,该2声道立体声头戴耳机包括用于左声道的耳机驱动器120L和用于右声道的耳机驱动器120R。
在图15和图16中,用相同的标号C、LF、RF、LS、RS、LB和RB来表示将提供到图14的扬声器位置C、LF、RF、LS、RS、LB和RB的各个声道的音频信号。这里,在图15和图16中,LFE(低频效应)声道是低频效应声道,其通常是声音图像定位方向不固定的音频,因此,在本示例中,该声道不被认为是作为头部相关传输函数的卷积目标的音频声道。
如图15所示,各个7.1声道音频信号LF、LS、RF、RS、LB、RB、C和LFE被提供到电平调整单元71LF、71LS、71RF、71RS、71LB、71RB、71C和71LFE以进行电平调整。
来自各个电平调整单元71LF、71LS、71RF、71RS、71LB、71RB、71C和71LFE的音频信号通过放大器72LF、72LS、72RF、72RS、72LB、72RB、72C和72LFE被提供到A/D转换器73LF、73LS、73RF、73RS、73LB、73RB、73C和73LFE以转换成数字音频信号。
来自A/D转换器73LF、73LS、73RF、73RS、73LB、73RB、73C和73LFE的数字音频信号被分别提供到头部相关传输函数卷积处理单元74LF、74LS、74RF、74RS、74LB、74RB、74C和74LFE。
在头部相关传输函数卷积处理单元74LF、74LS、74RF、74RS、74LB、74RB、74C和74LFE中,执行根据卷积方法的第一示例的直接波及其反射波的标准化头部相关传输函数的卷积处理。
同样在本示例中,各个头部相关传输函数卷积处理单元74LF、74LS、74RF、74RS、74LB、74RB、74C和74LFE以相同方式执行各个声道的串扰分量及其反射波的标准化头部相关传输函数的卷积处理。
如随后将描述的,在各个头部相关传输函数卷积处理单元74LF、74LS、74RF、74RS、74LB、74RB、74C和74LFE中,将被处理的反射波在该实例中为了简化而被确定为一个反射波。
来自各个头部相关传输函数卷积处理单元74LF、74LS、74RF、74RS、74LB、74RB、74C和74LFE的输出音频信号被提供到加法处理单元75,该加法处理单元75作为2声道信号生成单元。
加法处理单元75包括用于2声道立体声耳机的左声道的加法器75L(称之为用于L的加法器)和用于右声道的加法器75R(称之为用于R的加法器)。
用于L的加法器75L将原始的左声道分量LF、LS和LB与反射波分量、右声道分量RF、RS和RB的串扰分量及其反射波分量、中心声道分量C以及低频效应声道分量LFE相加。
用于L的加法器75L通过电平调整单元110L将相加结果作为针对左声道耳机驱动器120L的组合音频信号SL提供到D/A转换器111L。
用于R的加法器75R将原始的右声道分量RF、RS和RB与其反射波分量、左声道分量LF、LS和LB的串扰分量及其反射分量、中心声道分量C以及低频效应声道分量LFE相加。
用于R的加法器75R通过电平调整单元110R将相加结果作为针对右声道耳机驱动器120R的组合音频信号SR提供到D/A转换器111R。
在本示例中,中心声道分量C和低频效应声道分量LFE被提供到用于L的加法器75L和用于R的加法器75R两者,它们被添加到左声道和右声道两者。因此,可以改善音频在中心声道方向上的定位感觉,并且可以以更宽广的方式再现根据低频效应声道分量LFE的低频音频分量。
在D/A转换器111L和111R中,与头部相关传输函数进行卷积的针对左声道的组合音频信号SL和针对右声道的组合音频信号SR被转换成模拟音频信号,如上所述。
来自D/A转换器111L和111R的模拟音频信号被分别提供到电流/电压转换器112L和112R,在电流/电压转换器112L和112R处,信号被从电流信号转换成电压信号。
然后,在来自相应的电流/电压转换器112L和112R的作为电压信号的音频信号在相应的电平调整单元113L和113R处被进行电平调整之后,信号被分别提供到增益调整单元114L和114R进行增益调整。
在来自增益调整单元114L和114R的输出音频信号被放大器115L和115R放大之后,信号被输出到根据本实施例的音频信号处理设备的输出端116L和116R。在输出端116L和116R得到的音频信号被分别提供到用于左耳的耳机驱动器120L和用于右耳的耳机驱动器120R以进行声音再现。
根据该声音再现系统的示例,具有针对左耳和右耳中的每个的耳机驱动器的耳机120L、120R可以利用虚拟声音图像定位来以良好状况再现7.1声道多环绕声场。
[在根据本实施例的声音再现系统中对标准化头部相关传输函数进行卷积的开始定时的示例(图17到图26)]
接下来,将描述将由图15中的头部相关传输函数卷积处理单元74LF、74LS、74RF、74RS、74LB、74RB、74C和74LFE进行卷积的标准化头部相关传输函数的示例及其卷积的开始定时。
例如,假设房间具有4550mm×3620mm的长方体形状,大小约为16m2。在该房间中,将说明在假设ITU-R 7.1声道多环绕声音再现空间时所执行的头部相关传输函数的卷积,在该声音再现空间中,左前扬声器位置LF与右前扬声器位置RF之间的距离为1600mm。为了简化说明,关于反射波,天花板反射和地板反射被省略,并且只有墙壁反射将被说明。
在本实施例中,关于直接波的标准化头部相关传输函数、关于其串扰分量的标准化头部相关传输函数、关于第一反射波的标准化头部相关传输函数及其串扰分量的标准化头部相关传输函数被进行卷积。
首先,为了允许右前扬声器位置RF作为虚拟声音图像定位位置,关于将被进行卷积的标准化头部相关传输函数的声波方向将如图17所示。
即,在图17中,RFd表示来自位置RF的直接波,xRFd表示其对左声道的串扰。标号“x”表示串扰。在以下描述中也是如此。
RFsR表示从位置RF到右侧墙壁的一次反射的反射波,xRFsR表示其对左声道的串扰。RFfR表示从位置RF到前方墙壁的一次反射的反射波,xRFfR表示其对左声道的串扰。
RFsL表示从位置RF到左侧墙壁的一次反射的反射波,xRFsL表示其对左声道的串扰。RFbR表示从位置RF到后方墙壁的一次反射的反射波,xRFbR表示其对左声道的串扰。
关于各个直接波及其串扰以及反射波及其串扰的将被进行卷积的标准化头部相关传输函数将是通过执行关于这些声波被最终入射到听众位置Pn的方向的测量而获得的标准化头部相关传输函数。
直接波RFd及其串扰xRFd、反射波RFsR、RFfR、RFsL和RFbR及其串扰xRFsR、xRFfR、xRFsL和xRFbR的标准化头部相关传输函数与右前声道RF的音频信号的卷积应该开始的点是根据这些声波如图18所示的声道长度来计算的。
关于直接波,将被进行卷积的标准化头部相关传输函数的增益将是衰减量“0”。关于反射波,衰减量取决于假设的吸收系数。
图18示出直接波RFd及其串扰xRFd、反射波RFsR、RFfR、RFsL和RFbR及其串扰xRFsR、xRFfR、xRFsL和xRFbR被与音频信号进行卷积的点,没有示出将被进行卷积的标准化头部相关传输函数与提供到针对一个声道的耳机驱动器的音频信号的卷积的开始点。
即,直接波RFd及其串扰xRFd、反射波RFsR、RFfR、RFsL和RFbR及其串扰xRFsR、xRFfR、xRFsL和xRFbR中的每一个将在头部相关传输函数卷积处理单元74LF、74LS、74RF、74RS、74LB、74RB、74C和74LFE中的针对预先选择的声道的头部相关传输函数卷积处理单元中被进行卷积。
这不仅在为了允许右前扬声器位置RF作为虚拟声音图像定位位置而将被进行卷积的标准化头部相关传输函数与卷积目标的音频信号之间的关系方面是如此,而且在为了允许另一声道的扬声器位置作为虚拟声音图像定位位置而将被进行卷积的标准化头部相关传输函数与卷积目标的音频信号之间的关系方面也是如此。
接下来,关于为了允许左前扬声器位置LF作为虚拟声音图像定位位置而将被进行卷积的标准化头部相关传输函数的声波方向将是通过把图17所示的方向移到左侧以使得对称而获得的方向。虽然没有示出,但是它们是直接波LFd及其串扰xLFd、来自左侧墙壁的反射波LFsL及其串扰xLFsL、来自前方墙壁的反射波LFfL及其串扰xLFfL、来自右侧墙壁的反射波LFsR及其串扰xLFsR、来自后方墙壁的反射波LFbL及其串扰xLFbL。将被进行卷积的标准化头部相关传输函数根据在听众位置Pn上的入射方向而是固定的,并且卷积开始定时点将与图18所示的点相同。
类似地,关于为了允许中心扬声器位置C作为虚拟声音图像定位位置而将被进行卷积的标准化头部相关传输函数的声波方向将是如图19所示的方向。
即,它们是直接波Cd、来自右侧墙壁的反射波CsR及其串扰xCsR以及来自后方墙壁的反射波CbR。在图19中仅示出右侧的反射波,但是,也可以按相同方式在左侧设置声波,它们是来自左侧墙壁的反射波CsL及其串扰xCsL以及来自后方墙壁的反射波CbL。
然后,将被进行卷积的标准化头部相关传输函数根据这些直接波、反射波及其串扰在听众位置Pn上的入射方向而是固定的,并且卷积开始定时点如图20所示。
接下来,关于为了允许右侧扬声器位置RS作为虚拟声音图像定位位置而将被进行卷积的标准化头部相关传输函数的声波方向将是如图21所示的方向。
即,它们是直接波RSd及其串扰xRSd、来自右侧墙壁的反射波RSsR及其串扰xRSsR、来自前方墙壁的反射波RSfR及其串扰xRSfR、来自左侧墙壁的反射波RSsL及其串扰xRSsL、来自后方墙壁的反射波RSbR及其串扰xRSbR。然后,将被进行卷积的标准化头部相关传输函数根据这些波在听众位置Pn上的入射方向而是固定的,并且卷积开始定时点如图22所示。
关于为了允许左侧扬声器位置LS作为虚拟声音图像定位位置而将被进行卷积的标准化头部相关传输函数的声波方向将是通过把图21所示的方向移到左侧以使得对称而获得的方向。虽然没有示出,但是它们是直接波LSd及其串扰xLSd、来自左侧墙壁的反射波LSsL及其串扰xLSsL、来自前方墙壁的反射波LSfL及其串扰xLSfL、来自右侧墙壁的反射波LSsR及其串扰xLSsR、来自后方墙壁的反射波LSbL及其串扰xLSbL。将被进行卷积的标准化头部相关传输函数根据这些波在听众位置Pn上的入射方向而是固定的,并且卷积开始定时点将与图22所示的点相同。
另外,关于为了允许右后扬声器位置RB作为虚拟声音图像定位位置而将被进行卷积的标准化头部相关传输函数的声波方向将是如图23所示的方向。
即,它们是直接波RBd及其串扰xRBd、来自右侧墙壁的反射波RBsR及其串扰xRBsR、来自前方墙壁的反射波RBfR及其串扰xRBfR、来自左侧墙壁的反射波RBsL及其串扰xRBsL、来自后方墙壁的反射波RBbR及其串扰xRBbR。然后,将被进行卷积的标准化头部相关传输函数根据这些波在听众位置Pn上的入射方向而是固定的,并且卷积开始定时点如图24所示。
关于为了允许左后扬声器位置LB作为虚拟声音图像定位位置而将被进行卷积的标准化头部相关传输函数的声波方向将是通过把图23所示的方向移到左侧以使得对称而获得的方向。虽然没有示出,但是它们是直接波LBd及其串扰xLBd、来自左侧墙壁的反射波LBsL及其串扰xLBsL、来自前方墙壁的反射波LBfL及其串扰xLBfL、来自右侧墙壁的反射波LBsR及其串扰xLBsR、来自后方墙壁的反射波LBbL及其串扰xLBbL。将被进行卷积的标准化头部相关传输函数根据这些波在听众位置Pn上的入射方向而是固定的,并且卷积开始定时点将与图24所示的点相同。
如上所述,在以上描述中,仅关于墙壁反射对直接波和反射波的标准化头部相关传输函数的卷积进行了说明,但是,也可以按相同方式考虑关于天花板反射和地板反射的卷积。
就是说,图25示出在为了允许例如右前扬声器RF作为虚拟声音图像定位位置而对头部相关传输函数进行卷积时将考虑的天花板反射和地板反射。就是说,可以考虑在天花板反射并入射到右耳位置的反射波RFcR、同样在天花板反射并入射到左耳位置的反射波RFcL、在地板反射并入射到右耳位置的反射波RFgR和同样在地板反射并入射到左耳位置的反射波RFgL。关于这些反射波,也可以考虑串扰,但是没有示出。
关于这些反射波和串扰的将被进行卷积的标准化头部相关传输函数将是通过执行关于这些声波被最终入射到听众位置Pn的方向的测量而获得的标准化头部相关传输函数。然后,涉及各个反射波的声道长度被计算以固定标准化头部相关传输函数的卷积开始定时。
将被进行卷积的标准化头部相关传输函数的增益将是根据从天花板和地板的材料、表面形状等假设的吸收系数的衰减量。
在本实施例中所描述的标准化头部相关传输函数的卷积方法已经作为日本专利申请2008-45597递交。根据本发明实施例的声音信号处理设备的特征在于头部相关传输函数卷积处理单元74LF、74LS、74RF、74RS、74LB、74RB、74C和74LFE的内部配置示例。
[针对本发明实施例的相关部分的比较示例]
图26示出在已经递交的申请的情况下头部相关传输函数卷积处理单元74LF、74LS、74RF、74RS、74LB、74RB、74C和74LFE的内部配置示例。在图26的示例中,头部相关传输函数卷积处理单元74LF、74LS、74RF、74RS、74LB、74RB、74C和74LFE与加法处理单元75中的用于L的加法器75L和用于R的加法器75R的连接关系也被示出。
如上所述,在本示例中,上述卷积方法的第一示例被用作在各个头部相关传输函数卷积处理单元74LF、74LS、74RF、74RS、74LB、74RB、74C和74LFE中的标准化头部相关传输函数的卷积方法。
在本示例中,关于左声道分量LF、LS和LB以及右声道分量RF、RS和RB,直接波和反射波以及它们的串扰分量的标准化头部相关传输函数被进行卷积。
关于中心声道C,在本示例中,直接波和反射波的标准化头部相关传输函数被进行卷积,它们的串扰分量没有被考虑。
关于低频效应声道LFE,直接波及其串扰分量的标准化头部相关传输函数被进行卷积,反射波没有被考虑。
根据上述内容,在头部相关传输函数卷积处理单元74LF、74LS、74RF、74RS、74LB和74RB中的每个中,包括四个延迟电路和四个卷积电路,如图26所示。
在该配置中,如图11所示的标准化头部相关传输函数卷积处理单元被应用到针对各个声道的这些头部相关传输函数卷积处理单元74LF、74LS、74RF、74RS、74LB和74RB。因此,关于直接波、反射波及其串扰分量的配置将在这些头部相关传输函数卷积处理单元74LF、74LS、74RF、74RS、74LB和74RB中是相同的。
因此,以头部相关传输函数卷积处理单元74LF为示例并将说明其配置。
在本示例的情况下,用于左前声道的头部相关传输函数卷积处理单元74LF包括四个延迟电路811、812、813和814以及四个卷积电路815、816、817和818。
延迟电路811和卷积电路815构成关于左前声道的直接波的信号LF的卷积处理单元。该单元对应于图11所示用于直接波的卷积处理单元51。
延迟电路811是针对根据左前声道的直接波从虚拟声音图像定位位置到达测量点位置的声道长度的延迟时间的延迟电路。
卷积电路815以图11所示的方式执行将关于左前声道的直接波的标准化头部相关传输函数与来自延迟电路811的左前声道的音频信号LF进行卷积的处理。
延迟电路812和卷积电路816构成关于左前声道的反射波的信号LFref的卷积处理单元。该单元对应于图11所示用于第一反射波的卷积处理单元52。
延迟电路812是针对根据左前声道的反射波从虚拟声音图像定位位置到达测量点位置的声道长度的延迟时间的延迟电路。
卷积电路816以图11所示的方式执行将关于左前声道的反射波的标准化头部相关传输函数与来自延迟电路812的左前声道的音频信号LF进行卷积的处理。
延迟电路813和卷积电路817过程关于左前声道到右声道的串扰(左前声道的串扰声道)的信号xLF的卷积处理单元。该单元对应于图11所示用于直接波的卷积处理单元51。
延迟电路813是针对根据左前声道的串扰声道的直接波从虚拟声音图像定位位置到达测量点位置的声道长度的延迟时间的延迟电路。
卷积电路817以图11所示的方式执行将关于左前声道的串扰声道的直接波的标准化头部相关传输函数与来自延迟电路813的左前声道的音频信号LF进行卷积的处理。
延迟电路814和卷积电路818构成关于左前声道的串扰声道的反射波的信号xLFref的卷积处理单元。该单元对应于图11所示用于反射波的卷积处理单元52。
延迟电路814是针对根据左前声道的串扰声道的反射波从虚拟声音图像定位位置到达测量点位置的声道长度的延迟时间的延迟电路。
卷积电路818以图11所示的方式执行将关于左前声道的串扰的反射波的标准化头部相关传输函数与来自延迟电路814的左前声道的音频信号LF进行卷积的处理。
其它头部相关传输函数卷积处理单元74LS、74RF、74RS、74LB和74RB具有相同的配置。在图26中,关于头部相关传输函数卷积处理单元74LS、74RF、74RS、74LB和74RB,分别给相应的电路赋予以82开头的标号组、以83开头的标号组、以86开头的标号组、以87开头的标号组以及以88开头的标号组。
在各个头部相关传输函数卷积处理单元74LF、74LS和74LB中,与关于直接波和反射波的标准化头部相关传输函数进行卷积的信号被提供到用于L的加法器75L。
在各个头部相关传输函数卷积处理单元74LF、74LS和74LB中,与关于串扰声道的直接波和反射波的标准化头部相关传输函数进行卷积的信号被提供到用于R的加法器75R。
在各个头部相关传输函数卷积处理单元74RF、74RS和74RB中,与关于直接波和反射波的标准化头部相关传输函数进行卷积的信号被提供到用于R的加法器75R。
在各个头部相关传输函数卷积处理单元74RF、74RS和74RB中,与关于串扰声道的直接波和反射波的标准化头部相关传输函数进行卷积的信号被提供到用于L的加法器75L。
接下来,用于中心声道的头部相关传输函数卷积处理单元74C包括两个延迟电路841、842和两个卷积电路843、844。
延迟电路841和卷积电路843构成关于中心声道的直接波的信号C的卷积处理单元。该单元对应于图11所示用于直接波的卷积处理单元51。
延迟电路841是针对根据中心声道的直接波从虚拟声音图像定位位置到达测量点位置的声道长度的延迟时间的延迟电路。
卷积电路843以图11所示的方式执行将关于中心声道的直接波的标准化头部相关传输函数与来自延迟电路841的音频信号C进行卷积的处理。
来自卷积电路843的信号被提供到用于L的加法器75L。
延迟电路842是针对根据中心声道的反射波从虚拟声音图像定位位置到达测量点位置的声道长度的延迟时间的延迟电路。
卷积电路844以图11所示的方式执行将关于中心声道的反射波的标准化头部相关传输函数与来自延迟电路842的中心声道的音频信号C进行卷积的处理。
来自卷积电路844的信号被提供到用于R的加法器75R。
接下来,用于低频效应声道的头部相关传输函数卷积处理单元74LFE包括两个延迟电路851、852和两个卷积处理电路853、854。
延迟电路851和卷积电路853构成关于低频效应声道的直接波的信号LFE的卷积处理单元。该单元对应于图11所示的卷积处理单元51。
延迟电路851是针对根据低频效应声道的直接波从虚拟声音图像定位位置到达测量点位置的声道长度的延迟时间的延迟电路。
卷积电路853以图11所示的方式执行将关于低频效应声道的直接波的标准化头部相关传输函数与来自延迟电路851的低频效应声道的音频信号LFE进行卷积的处理。
来自卷积电路853的信号被提供到用于L的加法器75L。
延迟电路852是针对根据低频效应声道的直接波的串扰从虚拟声音图像定位位置到达测量点位置的声道长度的延迟时间的延迟电路。
卷积电路854以图11所示的方式执行将关于低频效应声道的直接波的串扰的标准化头部相关传输函数与来自延迟电路852的低频效应声道的音频信号LFE进行卷积的处理。
来自卷积电路854的信号被提供到用于R的加法器75R。
对于被卷积电路815到818进行卷积的标准化头部相关传输函数,在本示例中,添加了根据距离衰减的延迟以及再现声场中的收听测试的小电平调整值。
如上所述,在头部相关传输函数卷积处理单元74LF、74LS、74RF、74RS、74LB、74RB、74C和74LFE中被进行卷积的标准化头部相关传输函数涉及直接波、反射波以及从听众头上穿过的它们的串扰。这里,右声道和左声道以连接听众前方和后方的直线为对称轴而具有对称关系,因此,使用相同的标准化头部相关传输函数。
这里,不区分左声道和右声道,将标注如下:
直接波:F、S、B、C、LFE
从头上穿过的串扰:xF、xS、xB、xLFE
反射波:Fref、Sref、Bref、Cref
当以上标注表示标准化头部相关传输函数时,在图26中,由头部相关传输函数卷积处理单元74LF、74LS、74RF、74RS、74LB、74RB、74C和74LFE进行卷积的标准化头部相关传输函数将是通过将这些标注包括在扩号中而示出的函数。
[本发明实施例的相关部分中的卷积处理单元的示例;第二标准化]
以上情况没有考虑与标准化头部相关传输函数进行卷积的2声道音频信号被提供到的耳机驱动器120L、120R的特性。
图26的配置在包括耳机驱动器120L、120R的2声道耳机的频率特性、相位特性等是具有极度平坦的特性的理想声音再现设备时不会有问题。
提供到2声道耳机的耳机驱动器120L、120R的主要信号是左前和右前信号LF、RF。这些左前和右前信号LF、RF在通过扬声器进行声音再现时被提供到布置在听众左前方和右前方的两个扬声器。
因此,如本发明的发明内容部分所说明的,实际的耳机驱动器120L、120R的音调在很多情况下被调谐,从而使得由在听众左前方和右前方的两个扬声器进行声音再现的声音在听众耳朵附近的位置上被听到。
当执行这样的音调调谐时,考虑到在利用耳机收听再现声音的耳朵或耳孔附近的位置上的频率特性和相位特性将具有与在此情况下的头部相关传输函数类似的特性,无论是有意识的意图还是无意识的意图。在此情况下,包括在耳机中的类似的头部相关传输函数是关于从听众左前方和右前方的两个扬声器到达听众两耳的直接波的头部相关传输函数。
因此,带来头部相关传输函数在耳机中与标准化头部相关传输函数与之进行卷积的各个声道的音频信号进行两次卷积的效果(如使用图26所说明的),这可能使得耳机中的再现音调质量恶化。
基于上述内容,在本发明的实施例中,头部相关传输函数卷积处理单元74LF、74LS、74RF、74RS、74LB、74RB、74C和74LFE的内部配置示例如图27而非图26所示。
在本实施例中,在考虑到耳机中的音调调谐的同时,所有标准化头部相关传输函数通过将与左右声道信号LF、RF的直接波进行卷积的标准化头部相关传输函数“F”而被标准化,其中左右声道信号LF、RF是提供到2声道耳机的主要信号。
就是说,在图27的示例中,各个声道的卷积电路中的标准化头部相关传输函数是通过将图26的标准化头部相关传输函数乘以1/F而获得的。
因此,在图27的示例中,在头部相关传输函数卷积处理单元74LF、74LS、74RF、74RS、74LB、74RB、74C和74LFE中进行卷积的标准化头部相关传输函数如下所述。
即,标准化的头部相关传输函数将如下所述:
直接波:F/F=1,S/F,B/F,C/F,LFE/F
从头上穿过的串扰:xF/F、xS/F、xB/F、xLFE/F
反射波:Fref/F、Sref/F、Bref/F、Cref/F
这里,左前和右前声道信号LF、RF根据它们自身的标准化头部相关传输函数F而被标准化,因此,F/F将是1。即,冲激脉冲响应将是{1.0,0,0,0...},并且不需要针对左前声道信号LF和右前声道信号RF对头部相关传输函数进行卷积。因此,在本实施例中,在图27的示例中没有提供图26中的卷积电路815、865,并且关于左前声道信号LF和右前声道信号RF,没有对头部相关传输函数进行卷积。
利用图26的卷积电路815与标准化头部相关传输函数F进行卷积的信号的特性如图28A中的虚线所示。而且,利用图26的卷积电路816与标准化头部相关传输函数Fref进行卷积的信号的特性如图28A中的实线所示。此外,利用图27的卷积电路816与标准化头部相关传输函数Fref/F进行卷积的信号的特性如图28B中所示。
所有标准化头部相关传输函数根据将关于上述提供到2声道耳机的主要声道的直接波进行卷积的标准化头部相关传输函数而被标准化,结果,可以避免头部相关传输函数在耳机中被两次进行卷积。
因此,根据本实施例,可以在利用2声道耳机最大限度地运用耳机中包括的音调性能的状态下,实现可以获得良好环绕效果的声音再现。
[其他实施例和修改示例]
在以上实施例中,利用关于左前声道和右前声道的直接波的标准化头部相关传输函数对所有声道的标准化头部相关传输函数进行再次标准化。关于左前声道和右前声道的直接波的头部相关传输函数的两次卷积对听众收听影响很大,但是,关于其他声道的卷积则认为影响很小。
因此,只有关于左前声道和右前声道的直接波的标准化头部相关传输函数可以根据它们自身的标准化头部相关传输函数而被标准化。即,只有涉及左前声道和右前声道的直接波不执行头部相关传输函数的卷积处理,并且不提供卷积电路815、865。关于包括左前声道和右前声道的反射波和串扰分量的所有其他声道,图26的标准化头部相关传输函数仍照原样。
另外,除了左前声道和右前声道的直接波之外,仅关于中心声道C的直接波的标准化头部相关传输函数可以根据将与左前声道和右前声道的直接波进行卷积的标准化头部相关传输函数而被再次标准化。在此情况下,除了左前声道和右前声道的直接波之外,还可以去除涉及中心声道的直接波的耳机特性的影响。
此外,除了左前声道和右前声道的直接波以及中心声道C的直接波之外,仅关于其他声道的直接波的标准化头部相关传输函数可以根据将与左前声道和右前声道的直接波进行卷积的标准化头部相关传输函数而被再次标准化。
在根据本实施例的图27的示例中,在头部相关传输函数卷积处理单元74LF至74LFE中的标准化头部相关传输函数根据将与左前声道和右前声道的直接波进行卷积的标准化头部相关传输函数F而被标准化。
但是,还优选的,头部相关传输函数卷积处理单元74LF至74LFE的配置允许是照原样图26的配置,并且可以提供将头部相关传输函数1/F与来自加法处理单元75的左声道和右声道的各个信号进行卷积的电路。
即,在头部相关传输函数卷积处理单元74LF至74LFE中,标准化头部相关传输函数的卷积处理按图26所示的方式执行。然后,头部相关传输函数1/F被与在用于L的加法器75L和用于R的加法器75R中组合到2声道中的信号进行卷积,以消除将与左前声道和右前声道的直接波进行卷积的标准化头部相关传输函数。而且,根据该配置,可以获得与图27的示例相同的效果。图27的示例更有效,因为可以减少头部相关传输函数卷积处理单元的数目。
虽然在以上实施例的说明中使用图27的配置示例而没有使用图26的配置示例,但是还优选的,应用图26的标准化头部相关传输函数和图27的头部相关传输函数两者都被包括在内并且它们可以通过一切换单元进行切换的配置。在此情况下,实际上可以配置为使得从图11的标准化头部相关传输函数存储器513、523、533和543读取的标准化头部相关传输函数在图26的示例中的标准化头部相关传输函数与图27的示例中的标准化头部相关传输函数之间进行切换。
切换单元也可以应用到如下情况:头部相关传输函数卷积处理单元74LF至74LFE的配置允许是图26照原样的配置,并且提供将头部相关传输函数1/F与来自加法处理单元75的左声道和右声道的各个信号进行卷积的电路。即,优选的,对是否插入用于将头部相关传输函数1/F与来自加法处理单元75的左声道和右声道的各个信号进行卷积的电路进行切换。
当应用这样的切换配置时,用户可以根据对声音进行声学再现的耳机、利用切换单元来将标准化头部相关传输函数切换到适当的函数。就是说,在使用不执行音调调谐的耳机的情况下可以使用图26的标准化头部相关传输函数,并且在这种耳机的情况下,用户可以执行向应用图26的标准化头部相关传输函数的切换。用户实际上可以在图26的示例中的标准化头部相关传输函数和图27的示例中的标准化头部相关传输函数之间切换,并为用户选择适当的函数。
在本实施例的以上说明中,左右声道是相对听众对称布置的,因此,在相应的左右声道中允许标准化头部相关传输函数相同。因此,在图27的示例中,所有声道根据将与左前和右前声道信号LF、RF进行卷积的标准化头部相关传输函数F而被标准化。
但是,当在左右声道中使用不同的头部相关传输函数时,关于在用于L的加法器75L中相加的声道的音频的头部相关传输函数是根据关于左前声道的标准化头部相关传输函数来进行标准化的,而关于在用于R的加法器75R中相加的声道的音频的头部相关传输函数是根据关于右前声道的标准化头部相关传输函数来进行标准化的。
在以上实施例中,使用如下的头部相关传输函数:所述头部相关传输函数可以根据所需的可选收听环境和房间环境来进行卷积,其中在所需的可选收听环境和房间环境中,可以获得希望的虚拟声音图像定位感觉并且可以去除用于测量的麦克风和用于测量的扬声器的特性。
但是,本发明并不局限于使用上述特定头部相关传输函数的情况,而是也可以应用到对常见头部相关传输函数进行卷积的情况。
以上说明是关于耳机被用作用于对再现音频信号进行声音再现的电声换能器装置的情况而作出的,但是,本发明可以被应用到布置在听众两耳附近的扬声器(如使用图4所说明的)被用作输出系统的应用。
另外,已经说明了声音再现系统是多环绕系统的情况,但是,本发明可以自然应用到常规的2声道立体声被提供到通过执行虚拟声音图像定位处理而被布置在两耳附近的2声道耳机或扬声器的情况。
本发明不仅可以自然应用到7.1声道,也可以按相同方式被应用到其他多环绕,例如5.1声道或9.1声道。
已经通过以ITU-R扬声器布置为例对7.1声道多环绕的扬声器布置进行了说明,但是,容易设想,本发明也可以应用到THX.com所推荐的扬声器布置。
本申请包含与2009年6月23日递交到日本专利局的日本在先专利申请JP 2009-148738中所公开的内容相关的主题,该在先申请的全部内容通过引用被结合于此。
本领域技术人员应该理解,取决于设计需求和其他因素,可能在所附权利要求或其等同物的范围内发生各种修改、组合、子组合和变更。

Claims (9)

1.一种生成和输出2声道音频信号的音频信号处理设备,所述2声道音频信号是通过布置在听众两耳附近位置上的两个电声换能器装置、从具有两个或更多个声道的多个声道的音频信号被声音再现的,所述音频信号处理设备包括:
头部相关传输函数卷积处理单元,其将头部相关传输函数与多个声道中的各个声道的音频信号进行卷积,所述头部相关传输函数允许听众收听声音,使得在声音通过所述两个电声换能器装置而被声音再现时,声音图像被定位在关于所述具有两个或更多个声道的多个声道中的各个声道的假设虚拟声音图像定位位置上;以及
2声道信号生成装置,用于从来自所述头部相关传输函数卷积处理单元的多个声道的音频信号生成将要提供到所述两个电声换能器装置的2声道音频信号,
其中,在所述头部相关传输函数卷积处理单元中,至少涉及来自所述假设虚拟声音图像定位位置的关于到听众两耳的所述多个声道中的左声道和右声道的直接波的头部相关传输函数未被进行卷积,其中直接波是直接到达所述听众两耳而没有包括反射波的声波。
2.如权利要求1所述的音频信号处理设备,
其中,除了所述多个声道中的左声道和右声道之外的各个声道的头部相关传输函数卷积处理单元中的每一个包括:
存储单元,其存储关于从声源到声音收集装置的直接波方向的直接波方向头部相关传输函数以及关于从所述声源到所述声音收集装置的所选一个或多个反射波方向的反射波方向头部相关传输函数,所述直接波方向头部相关传输函数和所述反射波方向头部相关传输函数是通过将所述声源设置在所述虚拟声音图像定位位置上并将所述声音收集装置设置在所述电声换能器装置的位置上来测得的,以及
卷积装置,用于从所述存储单元读取所述直接波方向头部相关传输函数和关于所选一个或多个反射波方向的反射波方向头部相关传输函数,并将这些函数与音频信号进行卷积,
所述多个声道中的左声道和右声道的头部相关传输函数卷积处理单元中的每一个包括:
存储单元,其存储关于从所述声源到所述声音收集装置的所选一个或多个反射波方向的反射波方向头部相关传输函数,所述反射波方向头部相关传输函数是通过将所述声源设置在所述虚拟声音图像定位位置上并将所述声音收集装置设置在所述电声换能器装置的位置上来测得的,以及
卷积装置,用于从所述存储单元读取所述关于所选一个或多个反射波方向的反射波方向头部相关传输函数,并将该函数与音频信号进行卷积。
3.如权利要求2所述的音频信号处理设备,
其中,将被存储在所述存储单元中的所述直接波方向头部相关传输函数和所述反射波方向头部相关传输函数通过涉及来自所述假设虚拟声音图像定位位置的关于到听众两耳的左声道和右声道的直接波的头部相关传输函数而被标准化。
4.如权利要求1所述的音频信号处理设备,
其中,在所述2声道信号生成装置的后级提供一装置,该装置通过对来自所述假设虚拟声音图像定位位置的关于到听众两耳的左声道和右声道的直接波的头部相关传输函数的反函数进行卷积,而不对来自所述假设虚拟声音图像定位位置的关于到听众两耳的左声道和右声道的直接波的头部相关传输函数进行卷积。
5.如权利要求4所述的音频信号处理设备,
其中,各个声道的头部相关传输函数卷积处理单元中的每一个包括:
存储单元,其存储关于从声源到声音收集装置的直接波方向的直接波方向头部相关传输函数以及关于从所述声源到所述声音收集装置的所选一个或多个反射波方向的反射波方向头部相关传输函数,所述直接波方向头部相关传输函数和所述反射波方向头部相关传输函数是通过将所述声源设置在所述虚拟声音图像定位位置上并将所述声音收集装置设置在所述电声换能器装置的位置上来测得的,以及
卷积装置,用于从所述存储单元读取所述直接波方向头部相关传输函数和关于所选一个或多个反射波方向的反射波方向头部相关传输函数,并将这些函数与音频信号进行卷积。
6.如权利要求2、3或5所述的音频信号处理设备,
其中,所述卷积装置从所述直接波方向头部相关传输函数的卷积处理开始的开始点和一个或多个反射波方向头部相关传输函数的每个卷积处理开始的开始点执行相应的直接波方向头部相关传输函数和反射波方向头部相关传输函数与所述音频信号的时间序列信号的卷积,其中这些开始点是根据声波的从所述直接波和反射波的虚拟声源位置到所述电声换能器装置的声道长度来确定的。
7.如权利要求2、3或5所述的音频信号处理设备,
其中,所述卷积装置在所述反射波方向头部相关传输函数根据声波在假设的反射部分处的衰减系数进行增益调整之后执行卷积。
8.如权利要求2、3或5所述的音频信号处理设备,
其中,所述直接波方向头部相关传输函数和所述反射波方向头部相关传输函数是标准化的头部相关传输函数,所述标准化的头部相关传输函数是通过利用缺省状态传输特性对头部相关传输函数进行标准化而获得的,其中所述头部相关传输函数是在所述电声换能器装置被设置在听众两耳附近的所述电声换能器装置被假设设置到的位置上并且在听众位置上存在假人头或真人的状态下利用声电换能器装置拾取在假设声源位置上生成的声波而测得的,所述缺省状态传输特性是通过在不存在所述假人头或真人的缺省状态下利用所述声电换能器装置拾取在所述假设声源位置上生成的声波而测得的。
9.一种在生成和输出2声道音频信号的音频信号处理设备中的音频信号处理方法,所述2声道音频信号是通过布置在听众两耳附近位置上的两个电声换能器装置、从具有两个或更多个声道的多个声道的音频信号被声音再现的,所述音频信号处理方法包括如下步骤:
利用头部相关传输函数卷积处理单元将头部相关传输函数与多个声道中的各个声道的音频信号进行卷积,所述头部相关传输函数允许听众收听声音,使得在声音通过所述两个电声换能器装置被声音再现时,声音图像被定位在关于所述具有两个或更多个声道的多个声道中的各个声道的假设虚拟声音图像定位位置上;以及
利用2声道信号生成装置从作为所述头部相关传输函数卷积处理步骤的处理结果的多个声道的音频信号来生成将要提供到所述两个电声换能器装置的2声道音频信号,
其中,在所述头部相关传输函数卷积处理步骤中,至少涉及来自所述假设虚拟声音图像定位位置的关于到听众两耳的所述多个声道中的左声道和右声道的直接波的头部相关传输函数未被进行卷积,其中直接波是直接到达所述听众两耳而没有包括反射波的声波。
CN 201010205372 2009-06-23 2010-06-17 音频信号处理设备和音频信号处理方法 Expired - Fee Related CN101931853B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009148738A JP5540581B2 (ja) 2009-06-23 2009-06-23 音声信号処理装置および音声信号処理方法
JP2009-148738 2009-06-23

Publications (2)

Publication Number Publication Date
CN101931853A CN101931853A (zh) 2010-12-29
CN101931853B true CN101931853B (zh) 2013-02-20

Family

ID=42753487

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201010205372 Expired - Fee Related CN101931853B (zh) 2009-06-23 2010-06-17 音频信号处理设备和音频信号处理方法

Country Status (4)

Country Link
US (1) US8873761B2 (zh)
EP (1) EP2268065B1 (zh)
JP (1) JP5540581B2 (zh)
CN (1) CN101931853B (zh)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4780119B2 (ja) * 2008-02-15 2011-09-28 ソニー株式会社 頭部伝達関数測定方法、頭部伝達関数畳み込み方法および頭部伝達関数畳み込み装置
JP2009206691A (ja) 2008-02-27 2009-09-10 Sony Corp 頭部伝達関数畳み込み方法および頭部伝達関数畳み込み装置
JP5672741B2 (ja) * 2010-03-31 2015-02-18 ソニー株式会社 信号処理装置および方法、並びにプログラム
JP5533248B2 (ja) 2010-05-20 2014-06-25 ソニー株式会社 音声信号処理装置および音声信号処理方法
JP2012004668A (ja) 2010-06-14 2012-01-05 Sony Corp 頭部伝達関数生成装置、頭部伝達関数生成方法及び音声信号処理装置
KR20120004909A (ko) * 2010-07-07 2012-01-13 삼성전자주식회사 입체 음향 재생 방법 및 장치
JP6007474B2 (ja) * 2011-10-07 2016-10-12 ソニー株式会社 音声信号処理装置、音声信号処理方法、プログラムおよび記録媒体
WO2013147791A1 (en) * 2012-03-29 2013-10-03 Intel Corporation Audio control based on orientation
IN2014MN02340A (zh) 2012-06-06 2015-08-14 Sony Corp
US9380388B2 (en) 2012-09-28 2016-06-28 Qualcomm Incorporated Channel crosstalk removal
US9681249B2 (en) 2013-04-26 2017-06-13 Sony Corporation Sound processing apparatus and method, and program
KR102332968B1 (ko) 2013-04-26 2021-12-01 소니그룹주식회사 음성 처리 장치, 정보 처리 방법, 및 기록 매체
WO2014203496A1 (ja) * 2013-06-20 2014-12-24 パナソニックIpマネジメント株式会社 音声信号処理装置、および音声信号処理方法
JP6369465B2 (ja) 2013-07-24 2018-08-08 ソニー株式会社 情報処理装置および方法、並びにプログラム
US11589172B2 (en) 2014-01-06 2023-02-21 Shenzhen Shokz Co., Ltd. Systems and methods for suppressing sound leakage
US9473871B1 (en) * 2014-01-09 2016-10-18 Marvell International Ltd. Systems and methods for audio management
JP2015211418A (ja) 2014-04-30 2015-11-24 ソニー株式会社 音響信号処理装置、音響信号処理方法、および、プログラム
CN105208501A (zh) 2014-06-09 2015-12-30 杜比实验室特许公司 对电声换能器的频率响应特性进行建模
US9551161B2 (en) 2014-11-30 2017-01-24 Dolby Laboratories Licensing Corporation Theater entrance
CN114849250A (zh) 2014-11-30 2022-08-05 杜比实验室特许公司 社交媒体链接的大幅面剧院设计
JPWO2017061218A1 (ja) 2015-10-09 2018-07-26 ソニー株式会社 音響出力装置、音響生成方法及びプログラム
CN105578378A (zh) * 2015-12-30 2016-05-11 深圳市有信网络技术有限公司 一种3d混音方法及装置
JP6658026B2 (ja) * 2016-02-04 2020-03-04 株式会社Jvcケンウッド フィルタ生成装置、フィルタ生成方法、及び音像定位処理方法
US9980077B2 (en) * 2016-08-11 2018-05-22 Lg Electronics Inc. Method of interpolating HRTF and audio output apparatus using same
JP6983583B2 (ja) * 2017-08-30 2021-12-17 キヤノン株式会社 音響処理装置、音響処理システム、音響処理方法、及びプログラム
CN107889044B (zh) * 2017-12-19 2019-10-15 维沃移动通信有限公司 音频数据的处理方法及装置
JP7137694B2 (ja) 2018-09-12 2022-09-14 シェンチェン ショックス カンパニー リミテッド 複数の音響電気変換器を有する信号処理装置
US11287526B2 (en) * 2018-11-21 2022-03-29 Microsoft Technology Licensing, Llc Locating spatialized sounds nodes for echolocation using unsupervised machine learning
KR102171441B1 (ko) * 2018-12-27 2020-10-29 국민대학교산학협력단 손동작 분류 장치
US11651767B2 (en) * 2020-03-03 2023-05-16 International Business Machines Corporation Metric learning of speaker diarization
JP2022047223A (ja) * 2020-09-11 2022-03-24 株式会社ソシオネクスト 音声通信装置
CN113691927B (zh) * 2021-08-31 2022-11-11 北京达佳互联信息技术有限公司 音频信号处理方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1284195A (zh) * 1997-12-19 2001-02-14 大宇电子株式会社 环绕立体声信号处理装置和方法
CN1860826A (zh) * 2004-06-04 2006-11-08 三星电子株式会社 再现宽立体声的设备和方法
CN1901761A (zh) * 2005-07-20 2007-01-24 三星电子株式会社 宽单声道声音再现方法和设备
CN1976546A (zh) * 2005-11-30 2007-06-06 三星电子株式会社 使用单声道扬声器再现扩展声音的方法和装置
WO2008106680A2 (en) * 2007-03-01 2008-09-04 Jerry Mahabub Audio spatialization and environment simulation

Family Cites Families (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4731848A (en) 1984-10-22 1988-03-15 Northwestern University Spatial reverberator
JPS61245698A (ja) 1985-04-23 1986-10-31 Pioneer Electronic Corp 音響特性測定装置
JP2964514B2 (ja) 1990-01-19 1999-10-18 ソニー株式会社 音響信号再生装置
JP3175267B2 (ja) 1992-03-10 2001-06-11 松下電器産業株式会社 音場の方向情報抽出方法
US5440639A (en) 1992-10-14 1995-08-08 Yamaha Corporation Sound localization control apparatus
JP2870333B2 (ja) 1992-11-26 1999-03-17 ヤマハ株式会社 音像定位制御装置
JPH06147968A (ja) 1992-11-09 1994-05-27 Fujitsu Ten Ltd 音響評価方法
JP2827777B2 (ja) 1992-12-11 1998-11-25 日本ビクター株式会社 音像定位制御における中間伝達特性の算出方法並びにこれを利用した音像定位制御方法及び装置
WO1995013690A1 (fr) 1993-11-08 1995-05-18 Sony Corporation Detecteur d'angle et appareil de lecture audio utilisant ledit detecteur
JPH07288899A (ja) * 1994-04-15 1995-10-31 Matsushita Electric Ind Co Ltd 音場再生装置
ATE183049T1 (de) 1994-02-25 1999-08-15 Henrik Moller Binaurale synthese, kopfbezogene ubertragungsfunktionen und ihre verwendungen
JP3258816B2 (ja) 1994-05-19 2002-02-18 シャープ株式会社 3次元音場空間再生装置
JPH0847078A (ja) 1994-07-28 1996-02-16 Fujitsu Ten Ltd 車室内周波数特性自動補正方法
JPH08182100A (ja) 1994-10-28 1996-07-12 Matsushita Electric Ind Co Ltd 音像定位方法および音像定位装置
JP3739438B2 (ja) 1995-07-14 2006-01-25 三樹夫 東山 音像定位方法及びその装置
JPH09135499A (ja) 1995-11-08 1997-05-20 Victor Co Of Japan Ltd 音像定位制御方法
JPH09187100A (ja) 1995-12-28 1997-07-15 Sanyo Electric Co Ltd 音像制御装置
FR2744871B1 (fr) 1996-02-13 1998-03-06 Sextant Avionique Systeme de spatialisation sonore, et procede de personnalisation pour sa mise en oeuvre
JPH09284899A (ja) 1996-04-08 1997-10-31 Matsushita Electric Ind Co Ltd 信号処理装置
JP2945634B2 (ja) * 1997-02-04 1999-09-06 ローランド株式会社 音場再生装置
US6243476B1 (en) 1997-06-18 2001-06-05 Massachusetts Institute Of Technology Method and apparatus for producing binaural audio for a moving listener
JPH11313398A (ja) 1998-04-28 1999-11-09 Nippon Telegr & Teleph Corp <Ntt> ヘッドホン装置並びにヘッドホン装置制御方法およびヘッドホン装置制御をコンピュータに実行させるためのプログラムを記録したコンピュータ読みとり可能な記録媒体
JP2000036998A (ja) 1998-07-17 2000-02-02 Nissan Motor Co Ltd 立体音像呈示装置及び立体音像呈示方法
JP3514639B2 (ja) 1998-09-30 2004-03-31 株式会社アーニス・サウンド・テクノロジーズ ヘッドホンによる再生音聴取における音像頭外定位方法、及び、そのための装置
WO2001031973A1 (fr) 1999-10-28 2001-05-03 Mitsubishi Denki Kabushiki Kaisha Systeme servant a reproduire un champ sonore tridimensionnel
JP2001285998A (ja) * 2000-03-29 2001-10-12 Oki Electric Ind Co Ltd 頭外音像定位装置
JP4264686B2 (ja) 2000-09-14 2009-05-20 ソニー株式会社 車載用音響再生装置
JP2002191099A (ja) * 2000-09-26 2002-07-05 Matsushita Electric Ind Co Ltd 信号処理装置
US6738479B1 (en) 2000-11-13 2004-05-18 Creative Technology Ltd. Method of audio signal processing for a loudspeaker located close to an ear
JP3435141B2 (ja) 2001-01-09 2003-08-11 松下電器産業株式会社 音像定位装置、並びに音像定位装置を用いた会議装置、携帯電話機、音声再生装置、音声記録装置、情報端末装置、ゲーム機、通信および放送システム
IL141822A (en) 2001-03-05 2007-02-11 Haim Levy A method and system for imitating a 3D audio environment
JP2003061200A (ja) * 2001-08-17 2003-02-28 Sony Corp 音声処理装置及び音声処理方法、並びに制御プログラム
JP2003061196A (ja) 2001-08-21 2003-02-28 Sony Corp ヘッドホン再生装置
JP4109513B2 (ja) 2002-08-22 2008-07-02 日本無線株式会社 遅延プロファイル測定方法および装置
JP2005157278A (ja) 2003-08-26 2005-06-16 Victor Co Of Japan Ltd 全周囲音場創生装置、全周囲音場創生方法、及び全周囲音場創生プログラム
KR20050060789A (ko) 2003-12-17 2005-06-22 삼성전자주식회사 가상 음향 재생 방법 및 그 장치
GB0419346D0 (en) 2004-09-01 2004-09-29 Smyth Stephen M F Method and apparatus for improved headphone virtualisation
KR100608024B1 (ko) * 2004-11-26 2006-08-02 삼성전자주식회사 다중 채널 오디오 입력 신호를 2채널 출력으로 재생하기위한 장치 및 방법과 이를 수행하기 위한 프로그램이기록된 기록매체
JP4935091B2 (ja) 2005-05-13 2012-05-23 ソニー株式会社 音響再生方法および音響再生システム
JP2006352728A (ja) * 2005-06-20 2006-12-28 Yamaha Corp オーディオ装置
CN1993002B (zh) * 2005-12-28 2010-06-16 雅马哈株式会社 声像定位设备
KR100677629B1 (ko) * 2006-01-10 2007-02-02 삼성전자주식회사 다채널 음향 신호에 대한 2채널 입체 음향 생성 방법 및장치
JP4951985B2 (ja) * 2006-01-30 2012-06-13 ソニー株式会社 音声信号処理装置、音声信号処理システム、プログラム
KR20080110920A (ko) * 2006-02-07 2008-12-19 엘지전자 주식회사 부호화/복호화 장치 및 방법
ATE456261T1 (de) * 2006-02-21 2010-02-15 Koninkl Philips Electronics Nv Audiokodierung und audiodekodierung
JP2007240605A (ja) 2006-03-06 2007-09-20 Institute Of National Colleges Of Technology Japan 複素ウェーブレット変換を用いた音源分離方法、および音源分離システム
JP2007329631A (ja) 2006-06-07 2007-12-20 Clarion Co Ltd 音響補正装置
US20080273708A1 (en) * 2007-05-03 2008-11-06 Telefonaktiebolaget L M Ericsson (Publ) Early Reflection Method for Enhanced Externalization
JP2008311718A (ja) * 2007-06-12 2008-12-25 Victor Co Of Japan Ltd 音像定位制御装置及び音像定位制御プログラム
JP4780119B2 (ja) 2008-02-15 2011-09-28 ソニー株式会社 頭部伝達関数測定方法、頭部伝達関数畳み込み方法および頭部伝達関数畳み込み装置
JP2009206691A (ja) 2008-02-27 2009-09-10 Sony Corp 頭部伝達関数畳み込み方法および頭部伝達関数畳み込み装置
EP2258120B1 (en) * 2008-03-07 2019-08-07 Sennheiser Electronic GmbH & Co. KG Methods and devices for reproducing surround audio signals via headphones
KR101086304B1 (ko) 2009-11-30 2011-11-23 한국과학기술연구원 로봇 플랫폼에 의해 발생한 반사파 제거 신호처리 장치 및 방법
JP5533248B2 (ja) 2010-05-20 2014-06-25 ソニー株式会社 音声信号処理装置および音声信号処理方法
JP2012004668A (ja) 2010-06-14 2012-01-05 Sony Corp 頭部伝達関数生成装置、頭部伝達関数生成方法及び音声信号処理装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1284195A (zh) * 1997-12-19 2001-02-14 大宇电子株式会社 环绕立体声信号处理装置和方法
CN1860826A (zh) * 2004-06-04 2006-11-08 三星电子株式会社 再现宽立体声的设备和方法
CN1901761A (zh) * 2005-07-20 2007-01-24 三星电子株式会社 宽单声道声音再现方法和设备
CN1976546A (zh) * 2005-11-30 2007-06-06 三星电子株式会社 使用单声道扬声器再现扩展声音的方法和装置
WO2008106680A2 (en) * 2007-03-01 2008-09-04 Jerry Mahabub Audio spatialization and environment simulation

Also Published As

Publication number Publication date
JP2011009842A (ja) 2011-01-13
EP2268065A2 (en) 2010-12-29
US8873761B2 (en) 2014-10-28
CN101931853A (zh) 2010-12-29
EP2268065B1 (en) 2015-11-25
JP5540581B2 (ja) 2014-07-02
US20100322428A1 (en) 2010-12-23
EP2268065A3 (en) 2014-01-15

Similar Documents

Publication Publication Date Title
CN101931853B (zh) 音频信号处理设备和音频信号处理方法
CN101521843B (zh) 头相关传输函数卷积方法和设备
JP4946305B2 (ja) 音響再生システム、音響再生装置および音響再生方法
US8520857B2 (en) Head-related transfer function measurement method, head-related transfer function convolution method, and head-related transfer function convolution device
JP5533248B2 (ja) 音声信号処理装置および音声信号処理方法
CN104641659B (zh) 扬声器设备和音频信号处理方法
JP5448451B2 (ja) 音像定位装置、音像定位システム、音像定位方法、プログラム、及び集積回路
KR100717066B1 (ko) 심리 음향 모델을 이용한 프론트 서라운드 사운드 재생시스템 및 그 방법
CN102696244A (zh) 具有音频通道补偿的多通道音频系统
US9226091B2 (en) Acoustic surround immersion control system and method
CN109076302B (zh) 信号处理装置
JP2731751B2 (ja) ヘッドホン装置
JP2011259299A (ja) 頭部伝達関数生成装置、頭部伝達関数生成方法及び音声信号処理装置
JP5163685B2 (ja) 頭部伝達関数測定方法、頭部伝達関数畳み込み方法および頭部伝達関数畳み込み装置
JP5024418B2 (ja) 頭部伝達関数畳み込み方法および頭部伝達関数畳み込み装置
KR102217832B1 (ko) 액티브다운 믹스 방식을 이용한 입체 음향 재생 방법 및 장치
WO2022145154A1 (ja) 立体音響処理装置、立体音響処理方法及び立体音響処理プログラム
JP3925633B2 (ja) 音声再生装置
KR20210020961A (ko) 액티브다운 믹스 방식을 이용한 입체 음향 재생 방법 및 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130220

Termination date: 20210617