CN115244947A - 音响再现方法、程序及音响再现系统 - Google Patents

Abstract

在音响再现方法中，使用户(99)将第1声音感知为从三维声场上的第1位置(P1)到达的声音，并且使用户将第2声音感知为从与第1位置(P1)不同的第2位置(P2)到达的声音，包括：取得步骤(S102)，取得用户(99)的头部的运动速度；以及生成步骤，生成用来使用户感知从三维声场上的规定位置到达的声音的输出声音信号，在生成步骤中，在所取得的运动速度比第1阈值大的情况下，生成用来使用户(99)将第1声音及第2声音感知为从第1位置(P1)与第2位置(P2)之间的第3位置(P3)到达的声音的输出声音信号。

Description

音响再现方法、程序及音响再现系统

技术领域

本公开涉及音响再现系统、程序及音响再现方法。

背景技术

以往，已知有通过在虚拟的三维空间内控制作为感觉上的声源对象的声像的位置，来使用户感知立体声的关于音响再现的技术(例如，参照专利文献1)。

现有技术文献

专利文献

专利文献1：日本特开2020－18620号公报

发明内容

发明要解决的课题

另一方面，在产生用来使用户感知立体声的声音时，需要庞大的计算处理。这里，在以往的音响再现方法等中，存在没有进行适当的计算处理的情况。

鉴于上述情况，本公开的目的是提供通过更适当的计算处理使用户感知立体声的音响再现方法等。

用来解决课题的手段

本公开的一技术方案的音响再现方法，使用户将第1声音感知为从三维声场上的第1位置到达的声音，并且使上述用户将第2声音感知为从与上述第1位置不同的第2位置到达的声音，其中，包括：取得步骤，取得上述用户的头部的运动速度；以及生成步骤，生成用来使上述用户感知从上述三维声场上的规定位置到达的声音的输出声音信号，在上述生成步骤中，在所取得的上述运动速度比第1阈值大的情况下，生成用来使上述用户将上述第1声音及上述第2声音感知为从上述第1位置与上述第2位置之间的第3位置到达的声音的上述输出声音信号。

此外，本公开的一技术方案的音响再现系统，使用户将第1声音感知为从三维声场上的第1位置到达的声音，并且使上述用户将第2声音感知为从与上述第1位置不同的第2位置到达的声音，其中，包括：取得部，取得上述用户的头部的运动速度；以及生成部，生成用来使上述用户感知从上述三维声场上的规定位置到达的声音的输出声音信号，上述生成部在所取得的上述运动速度比第1阈值大的情况下，生成用来使上述用户将上述第1声音及上述第2声音感知为从上述第1位置与上述第2位置之间的第3位置到达的声音的上述输出声音信号。

此外，本公开的一技术方案也可以作为用来使计算机执行上述中记载的音响再现方法的程序实现。

另外，这些包含性或具体的技术方案也可以由系统、装置、方法、集成电路、计算机程序或计算机可读取的CD－ROM等非暂时性的记录介质实现，也可以由系统、装置、方法、集成电路、计算机程序及记录介质的任意的组合来实现。

发明效果

根据本公开，能够通过更适当的计算处理使用户感知立体声。

附图说明

图1是表示实施方式的音响再现系统的使用事例的概略图。

图2是表示实施方式的音响再现系统的功能结构的框图。

图3是表示实施方式的音响再现系统的动作的流程图。

图4是说明通过实施方式的第3头相关传递函数将声像进行定位的第3位置的第1图。

图5是表示实施方式的变形例的音响再现系统的动作的流程图。

图6A是说明通过实施方式的变形例的第3头相关传递函数将声像进行定位的第3位置的第1图。

图6B是说明通过实施方式的变形例的第3头相关传递函数将声像进行定位的第3位置的第2图。

图6C是说明通过实施方式的变形例的第3头相关传递函数将声像进行定位的第3位置的第3图。

具体实施方式

(作为本公开的基础的认识)

以往，已知有通过在虚拟的三维空间内(以下有称作三维声场的情况)控制作为用户的感觉上的声源对象的声像的位置，来使用户感知立体声的关于音响再现的技术(例如，参照专利文献1)。通过使声像定位在虚拟的三维空间内的规定位置，用户能够宛如是从该规定位置发出的声音那样感知该声音。为了像这样使声像定位在虚拟的三维空间内的规定位置，例如需要对收集到的声音进行产生如感知为立体声那样的两耳间的声音的到来时间差及两耳间的声音的等级差等的计算处理。

作为这样的计算处理的一例，已知有将用来感知为从规定位置到达的声音的头相关传递函数(head-related transfer function)与目标声音信号进行卷积的处理。通过以更高分辨率实施该头相关传递函数的卷积处理，增强用户体验的临场感。另一方面，头相关传递函数的卷积作为计算处理，负荷比较大，被要求有助于计算的资源。即，为了以高分辨率实施将头相关传递函数进行卷积的处理，要求高性能的计算装置、伴随于计算装置的使用的电力等。

此外，近年来关于虚拟现实(VR：Virtual Reality)的技术的开发在积极地推进。在虚拟现实中，主要目的是使得虚拟的三维空间的位置不追随于用户的运动，使用户能够体验到宛如在虚拟空间内移动。特别是，在该虚拟现实的技术中通过将听觉要素带入视觉要素来尝试增强临场感。例如，当声像定位在用户的正面时，如果用户朝向右方则该声像向用户的左方移动，如果用户朝向左方则该声像向用户的右方移动。像这样，相对于用户的运动，需要使虚拟空间内的声像的定位位置向与用户的运动相反的方向移动。

为了增强虚拟空间的临场感，要求提高空间分辨率来实施头相关传递函数的卷积处理。因而，在上述的虚拟现实等中为了进行用于使用户以较高的临场感感知立体声的音响再现，对计算装置及耗电等的制约变得更显著。

所以，在本公开中，鉴于上述问题，通过在抑制临场感的降低的同时减少计算处理的负荷量，来实施更适当的计算处理。在本公开中，目的是提供通过该适当的计算处理使用户感知立体声的音响再现方法等。

更具体地讲，本公开的一技术方案的音响再现方法，使用户将第1声音感知为从三维声场上的第1位置到达的声音，并且使上述用户将第2声音感知为从与上述第1位置不同的第2位置到达的声音，其中，包括：取得步骤，取得上述用户的头部的运动速度；以及生成步骤，生成用来使上述用户感知从上述三维声场上的规定位置到达的声音的输出声音信号，在上述生成步骤中，在所取得的上述运动速度比第1阈值大的情况下，生成用来使上述用户将上述第1声音及上述第2声音感知为从上述第1位置与上述第2位置之间的第3位置到达的声音的上述输出声音信号。

根据这样的音响再现方法，在用户的头部的运动速度比第1阈值大的情况下，能够使被感知为从第1位置到达的声音的第1声音以及被感知为从第2位置到达的声音的第2声音感知为从第3位置到达的声音。此时，能够将用来使第1声音的声像定位到第1位置的处理和用来使第2声音的声像定位到第2位置的处理都共通化为用来定位到第3位置的处理，所以能够减少处理量。此外，这里，如果第1阈值被设定为使得在用户的头部的运动速度超过该第1阈值的情况下用户的声像位置的感知变得模糊的值，则即使进行了上述的处理，也能抑制声像位置的变化对临场感的影响。由此，还能够减轻因使处理量减少而可能发生的用户的不和谐感。因此，能够通过更适当的计算处理使用户感知立体声。

此外，例如也可以是，在上述生成步骤中，在所取得的上述运动速度为上述第1阈值以下的情况下，通过将用来使声音定位到上述第1位置的第1头相关传递函数与有关上述第1声音的第1声音信号进行卷积，并且将用来使声音定位到上述第2位置的第2头相关传递函数与有关上述第2声音的第2声音信号进行卷积，生成上述输出声音信号，在所取得的上述运动速度比上述第1阈值大的情况下，通过将用来使声音定位到上述第3位置的第3头相关传递函数与对上述第1声音信号加上上述第2声音信号而得到的相加声音信号进行卷积，生成上述输出声音信号。

在使第1声音的声像定位到第1位置时，将第1头相关传递函数与有关第1声音的第1声音信号进行卷积，在使第2声音的声像定位到第2位置时，将第2头相关传递函数与有关第2声音的第2声音信号进行卷积。根据上述记载，在使第1声音及第2声音的声像定位到第3位置的情况下，只需进行对将第1声音信号及第2声音信号相加而得到的相加声音信号卷积用来使声音定位到第3位置的第3头相关传递函数的处理。即，能够将对于第1声音信号的第1头相关传递函数的卷积处理和对于第2声音信号的第2头相关传递函数的卷积处理共通化为对于相加声音信号的第3头相关传递函数的卷积处理。由此，能够减少处理量，所以能够通过更适当的计算处理使用户感知立体声。

此外，例如也可以是，上述运动速度是上述用户的头部绕穿过上述用户的头部的第1轴旋转的旋转速度，上述第3位置是在将上述三维声场从上述第1轴的方向观察的虚拟平面内，对将上述第1位置及上述第2位置各自与上述用户连结的直线彼此所成的角进行二等分的二等分线上的位置。

由此，能够与用户的头部的旋转的运动对应地使用所设定的第3位置。此时，第3位置被设定为，在将三维声场从作为旋转轴的第1轴的方向观察的虚拟平面内对将第1位置及第2位置各自与用户连结的直线彼此所成的角进行二等分的二等分线上的位置。因而，能够匹配于因用户的旋转运动而变得模糊的声音的到来方向，将第3位置设定为从用户观察的第1位置的方向与第2位置的方向之间的方向。因此，能够在减少处理量的同时，抑制声音的到来方向的不和谐感而使用户感知立体声。

此外，例如也可以是，上述旋转速度作为由检测器检测到的每单位时间的旋转量而被取得，上述检测器与上述用户的头部一体地移动，检测以相互正交的3个轴中的至少一个为旋转轴的旋转量。

由此，能够使用检测器取得用户的头部的旋转速度作为运动速度。因此，能够基于如上述那样取得的旋转速度，抑制声音的到来方向的不和谐感而使用户感知立体声。

此外，例如也可以是，上述运动速度是上述用户的头部的沿着穿过上述用户的头部的第2轴方向的位移速度，上述位移速度作为由检测器检测到的每单位时间的位移量而被取得，上述检测器与上述用户的头部一体地移动，检测以相互正交的3个轴中的至少一个为位移方向的位移量。

能够与用户的头部的位移的运动对应地使用所设定的第3位置。此时，能够使用检测器取得用户的头部的位移速度。因此，能够基于如上述那样取得的位移速度，抑制声音的到来方向的不和谐感而使用户感知立体声。

此外，例如也可以是，在上述音响再现方法中，使上述用户感知多个声音，该多个声音是从包括上述第1位置及上述第2位置在内的上述三维声场上的规定区域内的各位置到达的声音，至少包括上述第1声音及上述第2声音，在上述生成步骤中，在上述运动速度比上述第1阈值大的情况下，生成用来使上述用户将上述多个声音的全部感知为从上述第3位置到达的声音的上述输出声音信号。

由此，能够使用户将规定范围内的多个声音的全部感知为从第3位置到达的声音。因此，能够通过用来使声像定位到第3位置的头相关传递函数将对规定范围内的声音分别卷积的头相关传递函数进行共通化。因此，头相关传递函数的卷积的处理量被削减，能够通过更适当的计算处理使用户感知立体声。

此外，例如也可以是，在上述音响再现方法中，使用户将第1中间声音感知为从上述第1位置与上述第3位置之间的第1中间位置到达的声音，并且，使用户将第2中间声音感知为来自上述第2位置与上述第3位置之间的第2中间位置的声音，在上述生成步骤中，还在上述运动速度为上述第1阈值以下、并且比小于上述第1阈值的第2阈值大的情况下，生成用来使上述用户将上述第1中间声音及上述第2中间声音感知为从上述第3位置到达的声音的上述输出声音信号。

由此，能够在包括比第1位置及第2位置各自接近于第3位置的第1中间位置及第2中间位置在内的较窄的范围内应用与上述同样的处理。这里，由于用户的头部的运动速度比第1阈值小，所以如果使第1位置及第2位置等的声音集中在第3位置，则会感知到声像位置的变化，所以有可能感到不和谐感，因此不实施该处理。另一方面，由于用户的头部的运动速度比第2阈值大，所以即使使比包括第1位置及第2位置等在内的规定范围窄的狭小范围内的声音集中到第3位置，也不会感知到声像位置的变化。所以，在运动速度为第1阈值以下并且比小于第1阈值的第2阈值大的情况下，能够使这样的狭小范围内包含的第1中间位置及第2中间位置的声音集中到第3位置而削减计算处理的处理量。因此，能够通过更适当的计算处理使用户感知立体声。

此外，本公开的一技术方案的音响再现系统，使用户将第1声音感知为从三维声场上的第1位置到达的声音，并且使上述用户将第2声音感知为从与上述第1位置不同的第2位置到达的声音，其中，包括：取得部，取得上述用户的头部的运动速度；以及生成部，生成用来使上述用户感知从上述三维声场上的规定位置到达的声音的输出声音信号，上述生成部在所取得的上述运动速度比第1阈值大的情况下，生成用来使上述用户将上述第1声音及上述第2声音感知为从上述第1位置与上述第2位置之间的第3位置到达的声音的上述输出声音信号。

由此，能够实现起到与上述记载的音响再现方法同样的效果的音响再现系统。

此外，本公开的一技术方案也能够作为用来使计算机执行上述记载的音响再现方法的程序实现。

由此，能够使用计算机起到与上述记载的音响再现方法同样的效果。

进而，这些包含性或具体的技术方案也可以由系统、装置、方法、集成电路、计算机程序或计算机可读取的CD－ROM等的非暂时性的记录介质实现，也可以由系统、装置、方法、集成电路、计算机程序及记录介质的任意的组合来实现。

以下，参照附图对实施方式具体地进行说明。另外，以下说明的实施方式都表示包含性或具体的例子。在以下的实施方式中表示的数值、形状、材料、构成要素、构成要素的配置位置及连接形态、步骤、步骤的顺序等是一例，不是限定本公开的意思。此外，关于以下的实施方式的构成要素中的、在独立权利要求中没有记载的构成要素，设为任意的构成要素进行说明。另外，各图是示意图，并不一定是严密地图示的。此外，在各图中，对于实质上相同的结构赋予相同的标号，有将重复的说明省略或简化的情况。

此外，在以下的说明中，有时对要素赋予第1、第2及第3等序数。这些序数是为了识别要素而对要素赋予的，并不一定对应于有意义的顺序。这些序数也可以适当替换，也可以重新赋予，也可以去除。

(实施方式)

[概要]

首先，对实施方式的音响再现系统的概要进行说明。图1是表示实施方式的音响再现系统的使用事例的概略图。在图1中表示使用音响再现系统100的用户99。

图1所示的音响再现系统100与立体影像再现系统200同时被使用。如上述说明那样，在本实施方式中，通过同时视听立体图像及立体声，使图像增强听觉上的临场感，使声音增强视觉上的临场感，能够体验到好像处于拍摄图像及声音的现场。例如，已知在显示有人进行对话的图像(运动图像)的情况下，即使在对话声音的声像的定位与该人的嘴角偏离的情况下，用户99也感知为从该人的口中发出的对话声音。像这样根据视觉信息将声像的位置进行修正等，使图像和声音一起能增强临场感。

立体影像再现系统200是佩戴在用户99的头部上的图像显示设备。因而，立体影像再现系统200与用户99的头部一体地移动。例如，立体影像再现系统200如图示那样，是由用户99的耳朵和鼻子支承的眼镜型的设备。

立体影像再现系统200通过根据用户99的头部的运动使显示的图像变化，使用户99感知为如同在三维图像空间内移动头部。即，当三维图像空间内的物体位于用户99的正面时，如果用户99朝向右方则该物体向用户99的左方移动，如果用户99朝向左方则该物体向用户的右方移动。像这样，相对于用户99的运动，立体影像再现系统200使三维图像空间向与用户99的运动相反的方向移动。

立体影像再现系统200向用户99的左右眼分别显示发生视差量的偏差的两个图像。用户99基于所显示的图像的视差量的偏差，能够感知图像上的物体的三维位置。另外，在将音响再现系统100利用于诱导睡眠的疗愈声音的再现等的用户99闭上眼睛使用等情况下，不需要同时使用立体影像再现系统200。即，立体影像再现系统200不是本公开的必须的构成要素。

音响再现系统100是佩戴在用户99的头部的声音提示设备。因而，音响再现系统100与用户99的头部一体地移动。例如，音响再现系统100是分别独立地佩戴在用户99的左右耳朵上的两个耳塞型设备。这两个设备通过相互通信，将右耳用的声音和左耳用的声音同步地提示。

音响再现系统100通过根据用户99的头部的运动使提示的声音变化，使用户99感知为如同用户99在三维声场内移动头部。因此，如上述那样，相对于用户99的运动，音响再现系统100使三维声场向与用户的运动相反的方向移动。

这里，已知如果用户99的头部的运动成为一定以上，则用户99对三维声场内的声像的位置的识别会变得模糊。本实施方式的音响再现系统100通过利用该现象，减少计算处理的负荷量。即，音响再现系统100取得用户99的头部的运动速度，在所取得的运动速度比第1阈值大的情况下，使被感知为从三维声场上的规定区域内到达的声音的多个声音感知为从该规定区域内的1处到达的声音。

该规定区域相当于由于头部的运动速度快而用户99对声像位置的感知变得模糊的范围。因而，该规定区域需要按每个用户99进行设定，所以例如通过事前进行实验等来设定即可。此外，由于规定区域也受用户99的头部的运动量的影响，所以也可以通过检测用户99的头部的运动量来设定与运动量相应的规定区域。

此外，关于针对运动速度的第1阈值也同样，需要设定从何种程度的运动速度起用户99对声像位置的感知会变得模糊这样的用户99固有的数值。因而，采用通过事前进行实验等设定的值即可。另外，也可以通过根据多个用户99的实验结果进行平均化，来设定一般化的规定区域及第1阈值。

[结构]

接着，参照图2对本实施方式的音响再现系统100的结构进行说明。图2是表示实施方式的音响再现系统的功能结构的框图。

如图2所示，本实施方式的音响再现系统100具备处理模块101、通信模块102、检测器103和驱动器104。

处理模块101是用来进行音响再现系统100中的各种信号处理的运算装置，处理模块101例如具备处理器和存储器，通过由处理器执行存储在存储器中的程序，发挥各种功能。

处理模块101具有输入部111、取得部121、生成部131及输出部141。关于处理模块101所具有的各功能部的详细情况，以下与处理模块101的其他结构的详细情况一起进行说明。

通信模块102是用来受理向音响再现系统100的声音信号的输入的接口装置。通信模块102例如具备天线和信号变换器，通过无线通信从外部的装置接收声音信号。更详细地讲，通信模块102使用天线接收被变换为用于无线通信的形式的表示声音信号的无线信号，通过信号变换器进行从无线信号向声音信号的再变换。由此，音响再现系统100通过无线通信从外部的装置取得声音信号。由通信模块102取得的声音信号被输入至输入部111。这样，声音信号被输入至处理模块101。另外，音响再现系统100与外部的装置的通信也可以通过有线通信进行。

音响再现系统100取得的声音信号例如以MPEG－H Audio等的规定形式被进行了编码。作为一例，被编码的声音信号中包含与要由音响再现系统100再现的声音有关的信息、以及与使该声音的声像在三维声场内定位在规定位置时的定位位置有关的信息。例如，声音信号中包含与包括第1声音及第2声音在内的多个声音有关的信息，使各个声音被再现时的声像定位在三维声场内的不同的位置。

通过该立体声，例如与使用立体影像再现系统200辨识的图像一起，能够增强视听的内容等的临场感。另外，声音信号中也可以仅包含关于声音的信息。在此情况下，也可以另行取得有关定位位置的信息。此外，如上述那样，声音信号包含有关第1声音的第1声音信号及有关第2声音的第2声音信号，但也可以分别取得单独包含第1声音信号或第2声音信号的多个声音信号，并同时再现来使声像定位在三维声场内的不同的位置。像这样，所输入的声音信号的形态没有特别限定，只要音响再现系统100具备与各种形态的声音信号对应的输入部111即可。

检测器103是用来检测用户99的头部的运动速度的装置。检测器103将陀螺仪传感器、加速度传感器等用于检测运动的各种传感器组合而构成。在本实施方式中，检测器103内置在音响再现系统100中，但例如也可以内置在与音响再现系统100同样根据用户99的头部的运动而动作的立体影像再现系统200等外部的装置中。在此情况下，检测器103也可以不包含在音响再现系统100中。此外，作为检测器103，也可以使用外部的摄像装置等拍摄用户99的头部的运动，通过对拍摄的图像进行处理来检测用户99的运动。

检测器103例如一体地固定在音响再现系统100的壳体，检测壳体的运动速度。音响再现系统100在用户99佩戴后与用户99的头部一体地移动，所以能够检测用户99的头部的运动速度。

检测器103例如可以检测在三维空间内以相互正交的3个轴中的至少一个为旋转轴的旋转量作为用户99的头部的运动量，也可以检测以上述3个轴的至少一个为位移方向的位移量作为用户99的头部的运动量。此外，检测器103也可以检测旋转量及位移量双方作为用户99的头部的运动量。

取得部121从检测器103取得用户99的头部的运动速度。更具体地讲，取得部121取得每单位时间由检测器103检测到的用户99的头部的运动量作为运动速度。这样，取得部121从检测器103取得旋转速度及位移速度中的至少一方。

这里，生成部131进行所取得的用户99的头部的运动速度是否比上述的第1阈值大的判定。生成部131基于该判定的结果，决定是否减少计算处理的负荷量。关于生成部131的更详细的动作在后面叙述。生成部131按照上述的决定内容，对所输入的声音信号实施计算处理，生成用来提示声音的输出声音信号。

输出部141是将所生成的输出声音信号输出至驱动器104的功能部。驱动器104基于输出声音信号进行从数字信号向模拟信号的信号变换等，从而使得生成波形信号，基于波形信号产生声波，向用户99提示声音。驱动器104例如具有振动板、以及磁铁及音圈等驱动机构。驱动器104根据波形信号使驱动机构动作，由驱动机构使振动板振动。这样，驱动器104通过与输出声音信号相应的振动板的振动而使得产生声波，声波在空气中传播而传递到用户99的耳中，用户99感知声音。

[动作]

接着，参照图3对在上述中说明的音响再现系统100的动作进行说明。图3是表示实施方式的音响再现系统的动作的流程图。如图3所示，首先，如果开始音响再现系统100的动作，则取得有关第1声音的第1声音信号及有关第2声音的第2声音信号(步骤S101)。这里，通过由通信模块102从外部的装置取得的声音信号输入至输入部111，处理模块101取得包含第1声音信号及第2声音信号的声音信号。

接着，取得部121从检测器103取得用户99的头部的运动速度作为检测结果(取得步骤S102)。生成部131将所取得的运动速度与第1阈值比较，进行运动速度是否比第1阈值大的判定(步骤S103)。在运动速度为第1阈值以下的情况下(步骤S103中为“否”)，音响再现系统100使用户99将第1声音及第2声音感知为从各自的本来的声像位置即第1位置及第2位置到达的声音。因此，生成部131对第1声音信号卷积用来使声像定位到第1位置的第1头相关传递函数。此外，生成部131对第2声音信号卷积用来使声像定位到第2位置的第2头相关传递函数(步骤S104)。生成部131生成包含这样进行了卷积处理的第1声音信号及第2声音信号的输出声音信号(步骤S105)。

另一方面，在运动速度比第1阈值大的情况下(步骤S103中为“是”)，音响再现系统100使用户99将声音感知为从第1声音及第2声音的原来的声像位置即第1位置及第2位置之间的第3位置到达的声音。因此，生成部131通过将第1声音信号及第2声音信号相加，生成与将第1声音及第2声音重叠后的声音有关的相加声音信号。另外，第1位置及第2位置之间，例如是指由经过第1位置的虚拟直线和与该虚拟直线平行且经过第2位置的其他虚拟直线夹着的区域。此时，也可以将虚拟直线及其他虚拟直线之上包含在该区域内。

生成部131进而对该相加声音信号卷积用来使声像定位在第3位置的第3头相关传递函数(步骤S107)。生成部131生成包含这样进行了卷积处理的相加声音信号的输出声音信号(步骤S108)。另外，也可以将步骤S103～步骤S108一起称作生成步骤。

输出部141通过将由生成部131生成的输出声音信号输出至驱动器104而使驱动器104驱动，使得提示基于输出声音信号的声音(步骤S106)。这样，能够使第1声音及第2声音一起感知为从第3位置到达的声音，所以与使第1声音感知为从第1位置到达的声音、使第2声音感知为从第2位置到达的声音的情况相比，能够将用来使声像定位的计算处理简化。由此，能够暂时性地降低请求处理能力，减少由处理器的驱动带来的发热、伴随于计算处理的电力消耗等。此外，如上述那样，通过计算处理的简化，用户99对声像位置的感知也会变得模糊，所以对于临场感的影响较小。在音响再现系统100中，像这样能够根据需要使计算处理简化，所以能够通过更适当的计算处理使用户感知立体声。

这里，参照图4对以上说明的第3位置更详细地进行说明。图4是说明通过实施方式的第3头相关传递函数将声像定位的第3位置的图。另外，在图4中，用黑点表示三维声场内的声像位置，用从黑点朝向用户99延伸的箭头表示向用户99的声音的到来方向。另外，在表示声像位置的黑点处还一起表示了虚拟的扬声器。

在图4所示的例子中，假设用户99在旋转头部、且该旋转的旋转速度比第1阈值大来进行说明。另外，也可以在用户99使头部位移、且该位移的位移速度比第1阈值大的情况下进行以下的动作。在该例中，如中空双向箭头所示，用户99的头部绕相对于纸面垂直的方向的第1轴旋转。此时，如图中所示，本例的第3位置P3或P3a是将连结第1位置P1或P1a与用户99的直线和连结第2位置P2或P2a与用户99的直线所成的角进行二等分的二等分线上的位置，图中用带有点状阴影的箭头指示二等分线。

这样，通过将头相关传递函数的卷积计算处理简化，能够通过更适当的计算处理使用户99感知立体声。另外，在头相关传递函数中包含与声像被定位的距离有关的信息的情况下，也可以构成为，准备在相同的声音的到来方向上使声像定位到多个距离的位置的多个头相关传递函数，将从其中选择的1个头相关传递函数进行卷积。在此情况下，由于第1声音和第2声音的到来方向及到声像位置的距离被平均化，所以用户99容易感到不和谐感，所以也可以还包括设定更狭小的规定区域等的用于降低不和谐感的结构。

在用户99使头部位移的情况下，假设该位移的位移速度比第1阈值大来进行说明。在该例中，例如用户99的头部沿着沿纸面的上下方向的第2轴进行位移。此时，本例中的第3位置P3是与第2轴方向正交、并且距第1位置P1及第2位置P2的距离相等的等距离线上的位置。通过使声像定位到这样的位置，能够在匹配于用户99的头部的位移而辨别变得模糊的距离的区域中设定平均的第3位置P3。另外，用户99的头部的位移方向也可以是一方向。

此外，在设定第3位置时，也可以设定与第1位置及第2位置中的某一方本身对应的位置。例如，在第1声音是内容上的人的台词、第2声音是内容上的环境音的情况下等，以第1声音为优先，将针对第1声音设定的声像位置设定为第3位置。由此，第1声音及第2声音被感知为从被设定为第3位置的第1位置到达的声音。此时，直接使用用来使用户99将声音感知为从第1位置到达的声音的第1头相关传递函数。

即，在该例中，使用已经使用的头相关传递函数，所以例如不需要如上述的例子所示的那样将与原来由声音信号设定的第1位置及第2位置等中的哪一个声像位置都不对应的位置设为第3位置。换言之，能够将原来由声音信号设定的声像位置设为第3位置。因此，能够沿用用来使声像定位到原来设定的声像位置的头相关传递函数，所以不需要使用映射信息等，该映射信息映射了用来使用户99将声音感知为从三维声场内的任意的点到达的声音的头相关传递函数。因此，针对所设定的第3位置的头相关传递函数的决定处理被简化，能够通过更适当的计算处理使用户99感知立体声。这样，第1位置与第2位置之间表示包括第1位置及第2位置本身的范围。

此外，作为第3位置，既可以设定在空间上将第1位置与第2位置连结的线段上的中间点，也可以简单地设定第1位置与第2位置之间的随机的位置。

[变形例]

以下，参照图5及图6对本实施方式的变形例的音响再现系统的动作进行说明。另外，在以下的关于实施方式的变形例的说明中，与上述的实施方式相比较，以不同的点为中心进行说明，关于实质上同等的点省略或简化而进行说明。

图5是表示实施方式的变形例的音响再现系统的动作的流程图。图6A是说明通过实施方式的变形例的第3头相关传递函数将声像进行定位的第3位置的第1图。图6B是说明通过实施方式的变形例的第3头相关传递函数将声像进行定位的第3位置的第2图。图6C是说明通过实施方式的变形例的第3头相关传递函数将声像进行定位的第3位置的第3图。本变形例的音响再现系统与上述的实施方式的音响再现系统100相比，以第1阈值及第2阈值为界，将头相关传递函数与声音信号进行卷积的对象声音变化这一点不同。

更具体地讲，在本变形例的音响再现系统中，设定比第1阈值小的第2阈值。第1阈值与上述的实施方式同样，用于判定是否应用用来使用户99将第1声音及第2声音感知为从第3位置到达的声音的第3头相关传递函数。在本变形例中，还通过使用第2阈值的判定，卷积使用户99将被定位在比第1声音及第2声音接近于第3位置的第1中间位置及第2中间位置的第1中间声音及第2中间声音感知为从第3位置到达的声音的第3头相关传递函数，从而实现计算处理的处理量的削减。

这里，进行基于用户99的头部的运动速度的判定，在运动速度为第2阈值以下的情况下，第1声音被定位在第1位置P1，第2声音被定位在第2位置P2，第1中间声音被定位在第1中间位置P1m(参照图6A等)，第2中间声音被定位在第2中间位置P2m(参照图6A等)。另一方面，在用户99的头部的运动速度比第1阈值大的情况下，如上述那样，应用对有关第1声音及第2声音的声音信号(即，第1声音信号及第2声音信号)卷积第3头相关传递函数的处理。此时，对有关第1中间声音及第2中间声音的声音信号(即，第1中间声音信号及第2中间声音信号)也卷积第3头相关传递函数，第1声音、第2声音、第1中间声音及第2中间声音全部被定位在第3位置P3。

除此以外，在本变形例中，在用户99的头部的运动速度比第2阈值大并且为第1阈值以下的情况下，第1声音被定位在第1位置P1，第2声音被定位在第2位置P2，第1中间声音及第2中间声音被定位在第3位置P3。即，在本变形例中，在如第2阈值以下那样用户99的头部的运动速度不那么快的情况下，对于不包括第1位置P1及第2位置P2并且包括第1中间位置P1m及第2中间位置P2m的更狭小的规定区域(即狭小区域)，将头相关传递函数的卷积的计算处理简化。

作为本变形例的音响再现系统的动作，如图5所示，取得部121取得运动速度(步骤S102)后，生成部131进行运动速度是否比第2阈值大的判定(步骤S201)。在运动速度为第2阈值以下的情况下(步骤S201中为“否”)，前进到步骤S202，与上述的实施方式同样，实施对各个声音信号卷积用来使声像定位到本来应被定位的位置的头相关传递函数的动作(步骤S202)。即，对于有关第1声音的第1声音信号卷积用来使声像定位到第1位置P1的第1头相关传递函数，对于有关第2声音的第2声音信号卷积用来使声像定位到第2位置P2的第2头相关传递函数，对于有关第1中间声音的第1中间声音信号卷积用来使声像定位到第1中间位置P1m的第1中间头相关传递函数，对于有关第2中间声音的第2中间声音信号卷积用来使声像定位到第2中间位置P2m的第2中间头相关传递函数。

另一方面，在运动速度比第2阈值大的情况下(步骤S201中为“是”)，生成部131还进行运动速度是否比第1阈值大的判定(步骤S204)。在运动速度为第1阈值以下的情况下(步骤S204中为“否”)，音响再现系统100使用户99将第1中间声音及第2中间声音感知为从第3位置到达的声音。因此，生成部131对将有关第1中间声音的第1中间声音信号及有关第2中间声音的第2中间声音信号相加而得到的相加声音信号卷积第3头相关传递函数(步骤S205)。生成部131生成包含这样进行了卷积处理的第1声音信号、第2声音信号、以及将第1中间声音信号及第2中间声音信号相加而得到的相加声音信号的输出声音信号(步骤S206)。然后，前进到步骤S106，实施与上述的实施方式同样的动作。

另一方面，在运动速度比第1阈值大的情况下(步骤S204中为“是”)，前进到步骤S207，通过与上述的实施方式同样的动作，实施对将第1声音信号及第2声音信号相加而得到的相加声音信号卷积第3头相关传递函数的处理。在本变形例中，还对该相加声音信号加上第1中间声音信号及第2中间声音信号，第1声音、第2声音、第1中间声音及第2中间声音被用户99感知为从第3位置P3到达的声音。

以上的动作的结果，在本实施方式的变形例的音响再现系统中，在用户99的运动速度为第2阈值以下的情况下，在三维声场内形成图6A所示的声像。另外，在图6A中，与图4同样表示了将三维声场从第1轴方向观察的图。如图6A所示，在用户99的运动速度为第2阈值以下的情况下，第1声音、第2声音、第1中间声音及第2中间声音分别被用户99感知为从本来的声像位置到达的声音。

此外，在本变形例的音响再现系统中，在用户99的运动速度为第1阈值以下、并且比第2阈值大的情况下，在三维声场内形成图6B所示的声像。另外，在图6B中，与图4同样表示了将三维声场从第1轴方向观察的图。

如图6B所示，在用户99的运动速度为第1阈值以下并且比第2阈值大的情况下，本来被用户99感知为从比第1位置P1接近于第3位置P3的第1中间位置P1m到达的声音的第1中间声音被用户99感知为从第3位置P3到达的声音。同样，在运动速度为第1阈值以下并且比第2阈值大的情况下，本来被用户99感知为从比第2位置P2接近于第3位置P3的第2中间位置P2m到达的声音的第2中间声音被用户99感知为从第3位置P3到达的声音。

进而，在本变形例的音响再现系统中，在用户99的运动速度比第1阈值大的情况下，在三维声场内形成图6C所示的声像。另外，在图6C中，与图4同样表示了将三维声场从第1轴方向观察的图。

如图6C所示，在用户99的运动速度比第1阈值大的情况下，本来被定位在包括第1中间位置P1m及第2中间位置P2m且包含第1位置P1及第2位置P2的规定区域中包含的声像位置的声音全部被用户99感知为从第3位置P3到达的声音。

这样，当运动速度超过第2阈值时，阶段性地对应于用户99的运动速度的大小的规定区域内的声音被用户99感知为从第3位置P3到达的声音。例如，在图中，在超过第1阈值的运动速度的情况下，由长虚线表示的规定区域内的声音被用户99感知为从第3位置P3到达的声音。此外，在超过第2阈值且第1阈值以下的运动速度的情况下，由虚线表示的狭小的规定区域(即狭小区域)内的声音被用户99感知为从第3位置P3到达的声音。

另外，此时作为第3位置P3可以考虑第1中间位置P1m及第2中间位置P2m。即，基于第1位置P1、第2位置P2、第1中间位置P1m及第2中间位置P2m这4个位置来设定第3位置P3。这里，例如作为第3位置P3，设定在将第1位置P1、第2位置P2、第1中间位置P1m及第2中间位置P2m间的中心与用户99连结的直线上、并且与从第1位置P1、第2位置P2、第1中间位置P1m及第2中间位置P2m各自到用户99的位置的距离中的最短距离相同的距离的位置。此外，第3位置P3也可以被设定为从第1轴方向观察的平面坐标内的与4个位置对应的坐标彼此的平均坐标等。

另外，还可以构成为，设置针对用户99的运动速度的第3阈值等的3个以上的阶段，使得更狭小的规定区域内的声音被用户99感知为从第3位置P3到达的声音。运动速度与规定区域的大小的关系中的阶段数量没有特别限定。

此外，关于第2阈值，既可以与上述的实施方式的说明中的第1阈值同样基于从何种程度的运动速度起用户99对声像位置的感知变得模糊这样的用户99固有的数值设定等来设定，也可以设定一般化的数值。

(其他的实施方式)

以上，对实施方式进行了说明，但本公开并不限定于上述的实施方式。

例如，在上述的实施方式中，说明了声音不追随于用户的头部的运动的例子，但本公开的内容在声音追随于用户的头部的运动的情况下也是有效的。即，在使用户将第1声音感知为从随着用户的头部的运动而相对移动的第1位置到达的声音、并使用户将第2声音感知为从随着用户的头部的运动而相对移动的第2位置到达的声音的动作中，在头部的运动速度比第1阈值大的情况下，使第1声音及第2声音感知为从随着用户的头部的运动而相对移动的第3位置到达的声音。

在此情况下，也进行将用来使第1声音及第2声音定位到第1位置及第2位置的头相关传递函数与各个声音信号进行卷积的处理，由于以第1阈值为界使要与声音信号进行卷积的头相关传递函数共通化，所以计算处理被简化。即，与上述的实施方式同样，能够暂时性地降低请求处理能力，减少由处理器的驱动带来的发热、伴随于计算处理的电力消耗等。另一方面，即使进行了这样的计算处理的简化，如果用户的头部的运动速度大，则也难以正确地感知声像的位置，所以用户对声像位置的不和谐感不易变大。因而，能够通过更适当的计算处理使用户感知立体声。

此外，例如在上述的实施方式中说明的音响再现系统既可以作为具备全部构成要素的一个装置实现，也可以将各功能分配给多个装置，通过该多个装置协同来实现。在后者的情况下，作为对应于处理模块的装置，可以使用智能电话、平板电脑终端或PC等信息处理装置。

此外，本公开的音响再现系统也可以作为与仅具备驱动器的再现装置连接、仅是对该再现装置输出基于所取得的声音信号进行了头相关传递函数的卷积处理的输出声音信号的音响处理装置实现。在此情况下，音响处理装置既可以作为具备专用的电路的硬件实现，也可以作为用来使通用的处理器执行特定的处理的软件实现。

此外，在上述的实施方式中，也可以将特定的处理部执行的处理由其他的处理部执行。此外，也可以将多个处理的顺序变更，也可以将多个处理并行地执行。

此外，在上述的实施方式中，各构成要素也可以通过执行适合于各构成要素的软件程序实现。各构成要素也可以通过由CPU或处理器等程序执行部将记录在硬盘或半导体存储器等记录介质中的软件程序读出并执行来实现。

此外，各构成要素也可以由硬件实现。例如，各构成要素也可以是电路(或集成电路)。这些电路既可以作为整体构成1个电路，也可以分别是不同的电路。此外，这些电路分别既可以是通用的电路，也可以是专用的电路。

另外，这些包含性或具体的技术方案也可以由系统、装置、方法、集成电路、计算机程序或计算机可读取的CD－ROM等记录介质实现，也可以由系统、装置、方法、集成电路、计算机程序及记录介质的任意的组合来实现。

例如，本公开也可以作为由计算机执行的声音信号再现方法实现，也可以作为用来使计算机执行声音信号再现方法的程序实现。本公开也可以作为记录有这样的程序的计算机可读取的非暂时性的记录介质实现。

除此以外，对各实施方式施以本领域技术人员想到的各种变形而得到的形态、或通过在不脱离本公开的主旨的范围内将各实施方式的构成要素及功能任意地组合而实现的形态也包含在本公开中。

产业上的可利用性

本公开在使用户感知伴随于用户的头部的运动的立体声的音响再现时是有用的。

标号说明

99 用户

100 音响再现系统

101 处理模块

102 通信模块

103 检测器

104 驱动器

111 输入部

121 取得部

131 生成部

141 输出部

200 立体影像再现系统

P1、P1a 第1位置

P2、P2a 第2位置

P3、P3a 第3位置

P1m 第1中间位置

P2m 第2中间位置

Claims (9)

1.一种音响再现方法，使用户将第1声音感知为从三维声场上的第1位置到达的声音，并且使上述用户将第2声音感知为从与上述第1位置不同的第2位置到达的声音，其中，包括：

取得步骤，取得上述用户的头部的运动速度；以及

生成步骤，生成用来使上述用户感知从上述三维声场上的规定位置到达的声音的输出声音信号，

在上述生成步骤中，在所取得的上述运动速度比第1阈值大的情况下，生成用来使上述用户将上述第1声音及上述第2声音感知为从上述第1位置与上述第2位置之间的第3位置到达的声音的上述输出声音信号。

2.如权利要求1所述的音响再现方法，其中，

在上述生成步骤中，

在所取得的上述运动速度为上述第1阈值以下的情况下，通过将用来使声音定位到上述第1位置的第1头相关传递函数与有关上述第1声音的第1声音信号进行卷积，并且将用来使声音定位到上述第2位置的第2头相关传递函数与有关上述第2声音的第2声音信号进行卷积，生成上述输出声音信号，

在所取得的上述运动速度比上述第1阈值大的情况下，通过将用来使声音定位到上述第3位置的第3头相关传递函数与对上述第1声音信号加上上述第2声音信号而得到的相加声音信号进行卷积，生成上述输出声音信号。

3.如权利要求1或2所述的音响再现方法，其中，

上述运动速度是上述用户的头部绕穿过上述用户的头部的第1轴旋转的旋转速度，

上述第3位置是在将上述三维声场从上述第1轴的方向观察的虚拟平面内，对将上述第1位置及上述第2位置各自与上述用户连结的直线彼此所成的角进行二等分的二等分线上的位置。

4.如权利要求3所述的音响再现方法，其中，

上述旋转速度作为由检测器检测到的每单位时间的旋转量而被取得，上述检测器与上述用户的头部一体地移动，检测以相互正交的3个轴中的至少一个为旋转轴的旋转量。

5.如权利要求1或2所述的音响再现方法，其中，

上述运动速度是上述用户的头部的沿着穿过上述用户的头部的第2轴方向的位移速度，

上述位移速度作为由检测器检测到的每单位时间的位移量而被取得，上述检测器与上述用户的头部一体地移动，检测以相互正交的3个轴中的至少一个为位移方向的位移量。

6.如权利要求1～5中任一项所述的音响再现方法，其中，

在上述音响再现方法中，使上述用户感知多个声音，该多个声音是从包括上述第1位置及上述第2位置在内的上述三维声场上的规定区域内的各位置到达的声音，至少包括上述第1声音及上述第2声音，

在上述生成步骤中，在上述运动速度比上述第1阈值大的情况下，生成用来使上述用户将上述多个声音的全部感知为从上述第3位置到达的声音的上述输出声音信号。

7.如权利要求1～6中任一项所述的音响再现方法，其中，

在上述音响再现方法中，使用户将第1中间声音感知为从上述第1位置与上述第3位置之间的第1中间位置到达的声音，并且使用户将第2中间声音感知为来自上述第2位置与上述第3位置之间的第2中间位置的声音，

在上述生成步骤中，还在上述运动速度为上述第1阈值以下、并且比小于上述第1阈值的第2阈值大的情况下，生成用来使上述用户将上述第1中间声音及上述第2中间声音感知为从上述第3位置到达的声音的上述输出声音信号。

8.一种程序，其中，

用来使计算机执行权利要求1～7中任一项所述的音响再现方法。

9.一种音响再现系统，使用户将第1声音感知为从三维声场上的第1位置到达的声音，并且使上述用户将第2声音感知为从与上述第1位置不同的第2位置到达的声音，其中，包括：

取得部，取得上述用户的头部的运动速度；以及

生成部，生成用来使上述用户感知从上述三维声场上的规定位置到达的声音的输出声音信号，

上述生成部在所取得的上述运动速度比第1阈值大的情况下，生成用来使上述用户将上述第1声音及上述第2声音感知为从上述第1位置与上述第2位置之间的第3位置到达的声音的上述输出声音信号。

Images