CN118339856A - 音响处理装置、音响处理方法以及程序 - Google Patents

Abstract

音响处理装置(100)具备：第一处理部(121)，通过对包含再现音的声音信息卷积第一头相关传递函数来生成第一输出音信号，所述第一头相关传递函数用于使信息所包含的声音被定位为从规定方向到来的声音；第二处理部(131)，通过对声音信息卷积第二头相关传递函数来生成第二输出音信号，所述第二头相关传递函数用于使信息所包含的声音被定位为从第一方向到来，且相对于根据第一输出音信号而被感知的再现音具有大于0的第一延迟时间、以及大于0的第一音量衰减的声音，所述第一方向具有与规定方向所成的角度大于0度且小于360度的第一角度；以及组合器(150)，输出将所生成的第一输出音信号和第二输出音信号合成后的输出音信号。

Description

音响处理装置、音响处理方法以及程序

技术领域

本公开涉及音响处理装置以及该音响再现装置的音响处理方法以及程序。

背景技术

以往，已知一种与音响再现相关的技术，该技术通过在虚拟的三维空间内控制作为感觉上的音源对象的声像的位置，使用户感知立体声音(例如，参照专利文献1)。

现有技术文献

专利文献

专利文献1：日本特开2020-18620号公报

发明内容

发明要解决的问题

另一方面，在将声音使用户感知为三维声场内的立体声音时，有时会产生用户难以感知到的声音。在以往的音响再现装置等的信息处理方法中，对这种难以感知的声音有可能没有进行适当的处理。

鉴于上述情况，本公开的目的是提供一种使用户更适当地感知立体声音的音响处理装置等。

用于解决问题的手段

本公开的一个方式的音响处理装置是使用户将再现音感知为从三维声场上的规定方向到来的声音的音响处理装置，具备：第一处理部，通过对包含所述再现音的声音信息卷积第一头相关传递函数来生成第一输出音信号，所述第一头相关传递函数用于使信息所包含的声音被定位为从所述规定方向到来的声音；第二处理部，通过对所述声音信息卷积第二头相关传递函数来生成第二输出音信号，所述第二头相关传递函数用于使信息所包含的声音被定位为从具有第一角度的第一方向到来、且相对于根据第一输出音信号而被感知的所述再现音具有大于0的第一延迟时间和大于0的第一音量衰减的声音，所述第一角度是所述第一方向与所述规定方向所成的大于0度且小于360度的角度；以及组合器，输出将所生成的所述第一输出音信号和所述第二输出音信号合成后的输出音信号。

此外，本公开的一个方式的音响处理方法使用户将再现音感知为从三维声场上的规定方向到来的声音，通过对包含所述再现音的声音信息卷积第一头相关传递函数来生成第一输出音信号，所述第一头相关传递函数用于使信息所包含的声音被定位为从所述规定方向到来的声音，通过对所述声音信息卷积第二头相关传递函数来生成第二输出音信号，所述第二头相关传递函数用于使信息所包含的声音被定位为从具有第一角度的第一方向到来、且相对于根据第一输出音信号而被感知的所述再现音具有大于0的第一延迟时间和大于0的第一音量衰减的声音，所述第一角度是所述第一方向与所述规定方向所成的大于0度且小于360度的角度，输出将所生成的所述第一输出音信号和所述第二输出音信号合成后的输出音信号。

此外，本公开的一个方式还能够实现为用于使计算机执行上述记载的音响处理方法的程序。

另外，这些概括性的或具体的方式能够通过系统、装置、方法、集成电路、计算机程序或计算机可读取的CD-ROM等非暂时性记录介质来实现，也可以通过系统、装置、方法、集成电路、计算机程序以及记录介质的任意组合来实现。

发明的效果

根据本公开，能够使用户更适当地感知立体声音。

附图说明

图1是表示实施方式的音响处理装置的使用事例的概略图。

图2是表示实施方式的音响再现装置的功能结构的框图。

图3是表示实施方式的音响处理装置的更详细的功能结构的框图。

图4是说明实施方式的音量衰减的图。

图5是说明由实施方式的音响处理装置输出的声音的到来方向的图。

图6是表示实施方式的音响处理装置的动作的流程图。

图7是说明实施例的适当的第一角度的图。

图8是说明实施例的适当的第一延迟时间的图。

图9是说明实施例的适当的第一音量衰减的图。

图10是表示实施方式的变形例的音响再现装置的功能结构的框图。

图11是表示实施方式的变形例的音响处理装置的详细功能结构的框图。

图12是说明实施方式的变形例的由音响处理装置输出的声音的到来方向的图。

图13是表示实施方式的变形例的音响处理装置的动作的流程图。

具体实施方式

(作为公开的基础的知识)

以往，已知一种与音响再现相关的技术，该技术用于通过在虚拟的三维空间内(以下，有时称为三维声场)控制作为用户感觉上的音源对象的声像的位置，使用户感知立体声音(例如，参照专利文献1)。通过使声像定位在虚拟的三维空间内的规定位置，用户能够感知该声音是如同从平行于连结该规定位置与用户的直线的方向(即，规定方向)到来的声音。为了使声像这样定位在虚拟的三维空间内的规定位置，例如，需要对所接收的声音进行计算处理，计算使声音被感知为立体声音而产生在两耳之间的声音的到来时间差以及在两耳之间的声音的电平差(或声压差)等。

这里，近年来，所谓的在线会议系统被广泛利用，其通过利用通信线路双向收发影像和语音来与通信伙伴进行交流。在这种在线会议系统中，经常使用头戴式耳机等头部佩戴型的音响再现装置。以上述在线会议系统为代表，在通过头戴式耳机收听声音的情况下，很难将该声音扩展至三维声场并使用户感知。例如，已知如果仅是单纯地将显示有通信伙伴的显示装置的方向作为声音的到来方向并卷积使声音被感知为从该方向到来的头相关传递函数，则不能得到充分的头外感。也就是说，由于声像定位在用户头部内，因此位于显示装置的前方的通信伙伴的影像与定位在头部内的声音之间出现不协调感。而且，若是以这种感到不协调的状态持续收听，可能会产生不必要的疲劳。在通过头戴式耳机等音响再现装置收听VR、AR等利用了三维影像空间的内容的声音的情况下等也会产生同样的课题。

以往，已知利用头戴式耳机也能够将声音扩展至三维声场的技术。例如，存在一种方法，该方法通过假设模拟房间，模拟反射音如何产生，人为地制作出并合成这些反射音，使用户收听。然后，用户能够根据包含合成后的反射音的声音，感知为本来的声音是在模拟房间内从规定方向到来的。然而，在该方法中，需要通过复杂的计算来算出在模拟房间内产生的反射音，另外为了制作出这种反射音，需要进行大量的头相关传递函数的卷积。将用于使声音被感知为从某个方向到来的反射音的头相关传递函数针对目标声音信号进行卷积的处理通常需要庞大的计算，因此需要大规模的计算装置。

另一方面，通过使声音的信号产生时间延迟并使音量衰减的滤波处理等，也能够制作出类似于反射音的声音。但这种滤波处理将声音扩展至三维声场的效果较低，缺乏实用性。

在本公开中，鉴于上述内容，说明一种音响处理装置，该音响处理装置在使用头戴式耳机等音响再现装置使声音被用户感知为来自三维声场内的规定方向的声音时，制作出一个到几个左右的反射音并合成，从而无需大规模的计算装置，也可充分得到能够扩展至三维声场的效果。

更具体地，本公开的第一方式的音响处理装置是使用户将再现音感知为从三维声场上的规定方向到来的声音的音响处理装置，具备：第一处理部，通过对包含所述再现音的声音信息卷积第一头相关传递函数来生成第一输出音信号，所述第一头相关传递函数用于使信息所包含的声音被定位为从所述规定方向到来的声音；第二处理部，通过对所述声音信息卷积第二头相关传递函数来生成第二输出音信号，所述第二头相关传递函数用于使信息所包含的声音被定位为从具有第一角度的第一方向到来、且相对于根据第一输出音信号而被感知的所述再现音具有大于0的第一延迟时间和大于0的第一音量衰减的声音，所述第一角度是所述第一方向与所述规定方向所成的大于0度且小于360度的角度；以及组合器，输出将所生成的所述第一输出音信号和所述第二输出音信号合成后的输出音信号。

在这样的音响处理装置中，第二输出音信号被定位为从第一方向到来并且具有第一延迟时间和第一音量衰减的声音，因此由用户感知为再现音被模拟反射壁反射后的反射音。因此，与作为直接音的再现音一起，具有第一延迟时间和第一音量衰减的反射音被感知，提高了直接音的声像被定位的位置的头外感。特别是，在该处理中，与第一输出音信号一起至少合成第二输出音信号并输出即可，如果能够进行用于生成第二输出音信号的计算处理，就能够得到直接音的头外感的提高效果。因此，能够在使处理所需的计算成本抑制得较低的同时，使用户更适当地感知立体声音。

另外，例如，本公开的第二方式的音响处理装置是第一方式所述的音响处理装置，其中，使用佩戴于用户头部的头戴式耳机或入耳式耳机来再现输出的输出音信号。

因此，能够使用佩戴于用户头部的头戴式耳机或入耳式耳机来使用户更适当地感知立体声音。

另外，例如，本公开的第三方式的音响处理装置是第一方式或第二方式所述的音响处理装置，其中，第一角度是第一方向与规定方向所成的大于90度且小于270度的角度范围内的角度。

由此，在再现音到来的规定方向与用户的正面方向重叠时，与规定方向所成的大于90度且小于270度的角度范围对应于用户的后面侧。因此，当用户朝向再现音的方向时，反射音从用户的后面侧到来。当定位反射音时，为了使反射音本身的存在不易被感觉到，将反射音定位在用户99的后面侧是有效的，通过如上设置，能够使用户更适当地感知立体声音。

此外，例如，本公开的第四方式的音响处理装置是第一方式至第三方式中的任一方式所述的音响处理装置，其中，还具备第三处理部，第三处理部通过对声音信息卷积第三头相关传递函数来生成第三输出音信号，第三头相关传递函数用于使信息所包含的声音被定位为从具有第二角度的第二方向到来、且相对于根据第一输出音信号而被感知的再现音具有大于0的第二延迟时间和大于0的第二音量衰减的声音，第二角度是第二方向与规定方向所成的大于0度且小于360度、并且不同于第一角度的角度，组合器输出将第一输出音信号、第二输出音信号以及第三输出音信号合成后的输出音信号。

由此，由于第三输出音信号进一步被定位为从第二方向到来且具有第二延迟时间和第二音量衰减的声音，因此由用户感知为再现音被模拟的反射壁进一步反射后的反射音。因此，与作为直接音的再现音和因第二输出音信号产生的反射音一起，还感知具有第二延迟时间以及第二音量衰减的额外的反射音，从而进一步提高了直接音的声像被定位的位置的头外感。这样，通过生成两个以上的较少的反射音并使其被感知，即使以相对较低的计算成本也可以得到较高的头外感的提高效果，能够使用户更适当地感知立体声音。

此外，例如，本公开的第五方式的音响处理装置是第四方式所记载的音响处理装置，其中，第二角度是第二方向与规定方向所成的大于90度且小于270度的角度范围内的角度，并且是从360度减去第二角度后的角度差与第一角度不一致的角度。

由此，在再现音到来的规定方向与用户的正面方向重叠时，与规定方向所成的大于90度且小于270度的角度范围对应于用户的后面侧。因此，当用户朝向再现音的方向时，反射音从用户的后面侧到来。当定位反射音时，为了使反射音本身的存在不易被感觉到，将反射音定位在用户99的后面侧是有效的，通过如上所述，能够使用户更适当地感知立体声音。

此外，例如，本公开的第六方式的音响处理装置是第四方式或第五方式所述的音响处理装置，其中，第一延迟时间和第二延迟时间是分别不同的延迟时间。

由此，能够降低因第二输出音信号产生的反射音和因第三输出音信号产生的反射音被感知为同一反射音的可能性，从而能够通过两个反射音使用户更适当地感知立体声音。

另外，例如，本公开的第七方式的音响处理装置是第四方式至第六方式中的任一方式所述的音响处理装置，其中，第一音量衰减和第二音量衰减是分别不同的音量衰减量。

由此，能够降低因第二输出音信号产生的反射音和因第三输出音信号产生的反射音被感知为同一反射音的可能性，从而能够通过两个反射音使用户更适当地感知立体声音。

此外，例如，本公开的第八方式的音响处理装置是第一方式至第七方式中的任一方式所述的音响处理装置，其中，还具备余音抑制处理部，所述余音抑制处理部对信息所包含的声音进行使该信息所包含的余音分量减少的余音抑制处理，声音信息是通过对包含余音分量的原音信息进行余音抑制处理而生成的，将原音信息所包含的声音中的除了减少的余音分量之外的声音包含为再现音。

由此，在原音信息中包含余音分量的情况下，能够减少该余音分量来生成声音信息。然后，通过根据声音信息生成再现音和反射音，能够使用户更适当地感知立体声音。

此外，例如，本公开的第九方式的音响处理装置是第一方式至第八方式中的任一方式所述的音响处理装置，其中，还具备取得部，所述取得部从检测用户的头部的运动的传感器取得感测结果，第二处理部基于所取得的感测结果，对声音信息卷积使第一音量衰减的音量衰减量变化了的第二头相关传递函数。

由此，能够基于用户头部的运动来使第二输出音信号中的音量衰减量变化。例如，当由于用户活动头部而反射音到来的方向变得接近于用户的正面方向时，用户有可能会意识到反射音本身的存在，不能得到适当地提高再现音的头外感的效果。根据该方式，通过在上述情况下使反射音的音量衰减量增加(使音量衰减)，能够降低用户的意识朝向反射音的可能性。因此，能够使用户更适当地感知立体声音。

此外，例如，本公开的第十方式的音响处理装置是第九方式所述的音响处理装置，其中，第一头相关传递函数通过被卷积而使信息所包含的声音被定位为从规定方向到来、且具有0以上的第三音量衰减的声音，第一处理部在第二处理部中的第一音量衰减的音量衰减量增加了的情况下，对声音信息卷积使第三音量衰减的音量衰减量减少了的第一头相关传递函数，在第二处理部中的第一音量衰减的音量衰减量减少了的情况下，对声音信息卷积使第三音量衰减的音量衰减量增加了的第一头相关传递函数。

由此，能够与反射音的音量衰减量同步地使再现音的音量衰减量变化。具体地，在反射音的音量衰减量增加了的情况下(在音量衰减了的情况下)，再现音的音量衰减量减少(音量放大)。此外，在反射音的音量衰减量减少了的情况下(在音量增加了的情况下)，再现音的音量衰减量减少(音量减少)。这样，能够通过再现音和反射音彼此补充音量，使得作为三维声场内的整体的音量的合计不会极端地变化。

此外，例如，本公开的第十一方式的音响处理装置是引用第四方式的第五方式至第十方式中的任一方式所述的音响处理装置，其中，还具备取得部，所述取得部从检测用户的头部的运动的传感器取得感测结果，第三处理部基于取得的感测结果，对声音信息卷积使第二音量衰减的音量衰减量变化了的第三头相关传递函数。

由此，能够基于用户头部的运动来使第三输出音信号中的音量衰减量变化。例如，当由于用户活动头部而反射音到来的方向变得接近于用户的正面方向时，用户有可能会意识到反射音本身的存在，不能得到适当地提高再现音的头外感的效果。根据该方式，通过在上述情况下使反射音的音量衰减量增加(使音量衰减)，能够降低用户意识到反射音的可能性。因此，能够使用户更适当地感知立体声音。

此外，例如，本公开的第十二方式的音响处理装置是第一方式至第十一方式中的任一方式所述的音响处理装置，其中，第一角度、第一延迟时间以及第一音量衰减中的至少一个由用户来调整。

由此，用户能够配合自身的感受来调整第一角度、第一延迟时间以及第一音量衰减中的至少一个。

此外，例如，本公开的第十三方式的音响处理装置是引用第四方式的第五方式至第十二方式中的任一方式所述的音响处理装置，其中，第二角度、第二延迟时间以及第二音量衰减中的至少一个由用户来调整。

由此，用户能够配合自身的感受来调整第二角度、第二延迟时间以及第二音量衰减中的至少一个。

此外，例如，本公开的第十四方式的音响处理装置是第一方式至第十三方式中的任一方式所述的音响处理装置，其中，声音信息是基于包含再现音和余音分量的原音信息而生成的，第一延迟时间是比余音分量相对于再现音的延迟时间短的延迟时间。

由此，由于与原来的原音信息的收音环境中产生的余音相比，根据第一输出音信号而被用户感知的声音的延迟时间短，因此不易将根据第一输出音信号而被感知的声音感知为如余音那般的噪音。也就是说，用户能够将根据第一输出音信号而被感知的声音适当地感知为反射音。

此外，例如，本公开的第十五方式的音响处理装置是引用第四方式的第五方式至第十三方式中的任一方式所述的音响处理装置，其中，声音信息是基于包含再现音和余音分量的原音信息而生成的，第二延迟时间是比余音分量相对于再现音的延迟时间短的延迟时间。

由此，由于与原来的原音信息的收音环境中产生的余音相比，用户根据第二输出音信号而被感知的声音的延迟时间短，因此不易将根据第一输出音信号而被感知到的声音感知为如余音那般的噪音。也就是说，用户能够将根据第一输出音信号而被感知的声音适当地感知为反射音。

另外，本公开的第十六方式的音响处理方法是使用户将再现音感知为从三维声场上的规定方向到来的声音的方式，通过对包含再现音的声音信息卷积第一头相关传递函数来生成第一输出音信号，第一头相关传递函数用于使信息所包含的声音被定位为从规定方向到来的声音，通过对声音信息卷积第二头相关传递函数来生成第二输出音信号，第二头相关传递函数用于使信息所包含的声音被定位为从具有第一角度的第一方向到来、且相对于根据第一输出音信号而被感知的再现音具有大于0的第一延迟时间和大于0的第一音量衰减的声音，第一角度是第一方向与规定方向所成的大于0度且小于360度的角度，输出将所生成的第一输出音信号和第二输出音信号合成后的输出音信号。

在这种音响处理方法中，能够起到与上述记载的音响处理装置相同的效果。

此外，本公开的第十七方式的程序是用于使计算机执行上述音响处理方法的程序。

这样的程序能够使用计算机而起到与上述记载的音响处理装置相同的效果。

(实施方式)

[概述]

首先，对实施方式的音响再现装置的概要进行说明。图1是表示实施方式的音响再现装置的使用事例的概要图。在图1中，(a)示出了使用两个例子中的一个音响再现装置100的用户99，(b)示出了使用两个例子中的另一个音响再现装置100的用户99。

如上所述，图1所示的音响再现装置100与用于显示图像的显示装置和用于再现立体影像的装置(均未图示)同时使用。

音响再现装置100是佩戴于用户99的头部的声音提示设备。因此，音响再现装置100与用户99的头部一体地移动。例如，本实施方式中的音响再现装置100可以是如图1的(a)所示的所谓的头戴式耳机型设备，也可以是如图1的(b)所示的分别独立地佩戴于用户99的左右耳的两个耳塞型设备(入耳式耳机型设备)。这两个设备通过相互通信来同步地提示用于右耳的声音和用于左耳的声音。

另外，本公开的音响再现装置不限于头戴式耳机型设备和入耳式耳机型设备等头部佩戴型的音响再现装置。例如，本公开也能够应用于如头枕扬声器那样的在不由用户99佩戴的状态下接近用户99的双耳地设置的音响再现装置等。

音响再现装置100根据用户99头部的运动来使提示的声音变化，从而使用户99感知成用户99正在三维声场内活动头部。因此，如上所述，音响再现装置100在用户运动时使三维声场向与用户99的运动相反的方向移动。

[结构]

接下来，参照图2和图3说明本实施方式的音响再现装置100的结构。图2是表示实施方式的音响再现装置的功能结构的框图。此外，图3是表示实施方式的音响处理装置的更详细的功能结构的框图。

如图2所示，本实施方式的音响再现装置100具备音响处理装置101、通信模块102、传感器103和驱动器104。

音响处理装置101是音响再现装置100中的用于进行各种信号处理的运算装置。音响处理装置101例如具备处理器和存储器，通过处理器执行存储在存储器中的程序，从而发挥各种功能。

音响处理装置101具有取得部111、第一处理部121、第二处理部131和组合器(combiner)150。关于取得部111，将与通信模块102一起在后文进行说明，关于组合器150，将与驱动器104一起在后文进行说明。

第一处理部121生成再现音的输出音信号。第一处理部121是通过卷积第一头相关传递函数来生成第一输出音信号的功能部，所述第一头相关传递函数用于将信息所包含的声音定位为从规定方向到来的声音。在第一处理部121中，对输入的声音信息进行用于将声音定位在规定方向上的头相关传递函数的卷积，并经由音量衰减α(第三音量衰减)来输出衰减后的第一输出音信号。这种由第一处理部121进行的处理总体上可被理解为第一头相关传递函数的卷积。第一输出音信号输入到第一EQ122，并且在进行了低域和高域的声音调节的基础上提供给组合器150。

第二处理部131生成第一反射音的输出音信号。第二处理部131是通过卷积第二头相关传递函数来生成第二输出音信号的功能部，第二头相关传递函数用于使信息所包含的声音被定位为从具有第一角度的第一方向到来、且相对于根据第一输出音信号而被感知的再现音具有大于0的第一延迟时间和大于0的第一音量衰减的声音，第一角度是第一方向与规定方向所成的大于0度且小于360度的角度。在第二处理部131中，对输入的声音的信息进行用于将声音定位在第一方向上的头相关传递函数的卷积，经由音量衰减β(第一音量衰减)来输出衰减后的第二输出音信号。这种由第二处理部131进行的处理总体上可被理解为第二头相关传递函数的卷积。第二输出音信号被输入到第二EQ132，并且在进行了低域和高域的声音调节的基础上提供给组合器150。另外，在被输入到第二处理部131之前，通过第一角度决定部130对声音信息附加指定之后要卷积的头相关传递函数的信息。

通信模块102是用于受理向音响再现装置100输入声音信息的接口装置。通信模块102具备例如天线和信号转换器，通过无线通信从外部的装置受理声音信息。更详细来说，通信模块102使用天线来接收表示被转换成用于无线通信的形式的声音信息的无线信号，并且由信号转换器根据无线信号来进行向声音信息的再转换。由此，音响再现装置100通过无线通信从外部装置取得声音信息。由通信模块102取得的声音信息由取得部111取得。这样，声音信息被输入到音响处理装置101。另外，音响再现装置100和外部装置之间的通信可以通过有线通信来进行。

此外，音响处理装置101具备图3所示的余音抑制处理部120。在生成反射声并合成时，若原来的声音中包含余音分量即在声音的收音环境中因反射等而延迟地输入到集音器的声音的分量，则因合成了反射音而产生的提高声音的头外感的效果被降低。因此，在音响处理装置101中，通过余音抑制处理部120对信息所包含的声音进行使该信息中包含的余音分量减少的余音抑制处理。通过根据包含再现对象的再现音和余音分量的原音信息来进行余音抑制处理，能够生成如下声音信息并输入到第一处理部121和第二处理部131，该声音信息包含原音信息所包含的声音中的除了减少的余音分量以外的声音作为再现音。余音抑制处理部120可以在取得部111的前段插入，也可以在取得部111的后段插入。

音响再现装置100取得的声音信息例如以MPEG-H 3D Audio(ISO/IEC 23008-3)等规定形式被编码。作为一例，编码后的声音信息中包含如下信息：关于由音响再现装置100再现的再现音的信息、以及与在使该声音的声像在三维声场内被定位在规定位置(即，被感知为从规定方向到来的声音)时的定位位置相关的信息，即与规定方向相关的信息。例如，声音信息包含与包含第一再现音和第二再现音的多个声音相关的信息，并使声像定位，以使在再现各个声音时的声像被感知为从三维声场内的不同方向到来的声音。

通过该立体声音，例如，与使用显示装置来视觉辨认的图像一起，能够提高视听的内容等的临场感。另外，声音信息可以仅包含关于再现音的信息。在这种情况下，也可以另外取得与规定方向相关的信息。此外，如上所述，声音信息包含与第一再现音相关的第一声音信息和与第二再现音相关的第二声音信息，但通过分别取得单独地包含这些声音信息的多个声音信息并同时再现，可以使声像被定位在三维声场内的不同位置。这样，输入的声音信息的方式没有特别限定，音响再现装置100(特别是音响处理装置101)可以具备与各种方式的声音信息相应的取得部111。

本实施方式中的取得部111例如具备编码声音信息输入部、解码处理部和感测信息输入部。

编码声音信息输入部是输入由取得部111取得的编码后的(换言之，被编码的)声音信息的处理部。编码声音信息输入部将输入的声音信息向解码处理部输出。解码处理部是如下的处理部：对从编码声音信息输入部输出的声音信息进行译码(换言之，解码)，生成供以后的处理使用的、与声音信息所包含的规定声音相关的信息和与规定方向相关的信息。以下与传感器103的功能一起说明感测信息输入部。

传感器103是用于检测用户99头部的运动速度的装置。传感器103通过组合陀螺仪传感器、加速度传感器等用于检测运动的各种传感器而构成。在本实施方式中，传感器103内置于音响再现装置100中，但是也可以内置于外部装置，例如，与音响再现装置100同样地根据用户99头部的运动而进行动作的立体影像再现装置等。在这种情况下，传感器103可以不包括在音响再现装置100中。此外，作为传感器103，可以通过使用外部拍摄装置等对用户99头部的运动进行拍摄，并通过处理拍摄到的图像来检测用户99头部的运动。

传感器103例如一体地固定于音响再现装置100的框体，检测框体的运动的速度。由于包括上述框体的音响再现装置100在用户99佩戴之后与用户99的头部一体地移动，因此传感器103能够检测用户99头部的运动的速度作为结果。

例如，作为用户99头部的运动的量，传感器103可以检测以三维空间内彼此正交的三个轴中的至少一个轴为旋转轴的旋转量，也可以检测以上述三个轴中的至少一个轴为位移方向的位移量。此外，作为用户99头部的运动的量，传感器103可以检测旋转量和位移量两者。

取得部111的感测信息输入部从传感器103取得用户99头部的运动速度。更具体地，感测信息输入部取得每单位时间传感器103检测到的用户99头部的运动的量作为运动速度。这样，感测信息输入部从传感器103取得旋转速度和位移速度中的至少一个作为感测结果。这里取得的用户99头部的运动的量用于决定用户99在三维声场内的坐标和方向。在音响再现装置100中，基于所决定的用户99的坐标和方向来决定声像的相对位置，并且再现声音。

此外，在本实施方式中，取得部111的感测信息输入部将从传感器103取得的感测结果用于音量衰减α和音量衰减β的音量衰减量的控制。即，根据感测结果，音量衰减α和音量衰减β的音量衰减量自动变化。这是因为，当用户99面向反射音的方向时，若来自该方向的反射音清楚地在响，则用户99可能会感到不协调感。因此，当用户99旋转头部时，控制为随着用户99的正面方向接近于反射音的方向，使反射音的音量衰减。与此同时，同时进行使再现音的音量放大(使音量衰减量减少)，使得作为整体的音量不发生变化。也就是说，在第二处理部131中的音量衰减β的音量衰减量增加了的情况下，第一处理部121使音量衰减α的音量衰减量减少，在第二处理部131中的音量衰减β的音量衰减量减少了的情况下，第一处理部121使音量衰减α的音量衰减量增加。

图4是说明实施方式的音量衰减的图。图中，示出了针对当用户99的头部绕平行于用户99的头部的上下方向的轴旋转时的旋转角(偏航角)的音量衰减α的音量衰减量(虚线)和音量衰减β的音量衰减量(实线)。另外，这里的第一角度设定为120度。这里，基于下式(1)计算音量衰减α的音量衰减量和音量衰减β的音量衰减量。

[数学式1]

另外，上式中的α表示音量衰减α的音量衰减量(增益)，上式中的β表示音量衰减β的音量衰减量(增益)。在该例中，可知对于设定在与规定方向所成的角度为120度的方向上的反射音，当用户99旋转头部到其一半即60度的方向时没有反射音。以这种方式，在音响处理装置101中，适当地使再现音和反射音的音量衰减量变化，以使反射音本身不成为不协调感的主要原因。使用上式(1)说明的音量衰减α和音量衰减β之间的关系是一例。如果随着用户99向着反射音的方向旋转头部而反射音的音量衰减量增加，则可以使用任何关系。另外，以上的关系不仅对于音量衰减α和音量衰减β之间的关系成立，对于在生成具有音量衰减γ的其他反射音(变形例中后述)的情况下的音量衰减α和音量衰减γ之间的关系也成立。

组合器150是将生成的输出音信号合成并向驱动器104输出的功能部。组合器150输出通过将第一输出音信号和第二输出音信号相加而合成后的输出音信号。组合器150还通过基于输出音信号进行从数字信号向模拟信号的信号转换等来生成波形信号，并基于波形信号使驱动器104产生声波，向用户99提示声音。驱动器104例如具有振动板和磁体及音圈等驱动机构。驱动器104根据波形信号使驱动机构动作，通过驱动机构使振动板振动。这样，驱动器104通过与输出音信号相应的振动板的振动来产生声波，声波通过空气传播并传递到用户99的耳朵，用户99感知到声音。

当通过驱动器104再现如上所述从组合器150输出的输出音信号时，形成如图5所示的声场。图5是说明通过实施方式的音响处理装置输出的声音的到来方向的图。在图5中，示出了从沿着用户99的头部的上下方向的方向对虚拟三维声场进行平面视的图。在图5中，示出了以纸面上方为正面的姿势的用户99，该用户99在垂直于纸面的方向上处于直立姿势。而且，在用户99的正面方向设定有再现音被定位的规定方向。另外，再现音被定位的位置P1示出为黑圆圈，与虚拟的扬声器合并示出。

如图所示，第一反射音被定位在从规定方向起顺时针具有第一角度的方向上(位置P2)。

另外，图中的向用户99的左右延伸的单点划线示出了将用户99的头部分为前后的虚拟边界面。该边界表面可以是沿着用户99的外耳道的面，可以是穿过用户99的耳廓的最后端的点的面，也可以是仅穿过用户99的头部的重心的面。已知在这样的边界面的前后即在用户99的前后，声音的听取容易程度存在差异。当定位反射音时，为了使反射音本身的存在不易被感觉到，将其定位在用户99的后面侧是有效的。因此，第一角度可以设定为是与规定方向所成的大于90度且小于270度的角度范围内的角度。

另外，以上说明的第一角度、第一延迟时间和第一音量衰减是以由音响处理装置101预先设定的数值或根据传感器103的感测结果而发生变化的数值来进行说明的，但它们中的至少一个可以构成为能够根据用户99任意输入的数值来调整。也就是说，音响处理装置101可以受理由用户99进行的用于调整第一角度、第一延迟时间和第一音量衰减中的至少一个的输入。

[动作]

接下来，参照图6，说明上述说明的音响再现装置100的动作。图6是表示实施方式的音响处理装置的动作的流程图。首先，当开始音响再现装置100的动作时，取得部111经由通信模块102取得原音信息。由于原音信息除了再现音之外还包含余音分量，因此通过余音抑制处理部120生成包含减少了余音分量的再现音的声音信息。

第一处理部121通过对声音信息卷积第一头相关传递函数来生成第一输出音信号，所述第一头相关传递函数用于使信息所包含的声音被定位为从规定方向到来的声音(S101)。接下来，第二处理部131通过对声音信息卷积第二头相关传递函数来生成第二输出音信号，第二头相关传递函数用于使信息所包含的声音被定位为从第一方向到来并且相对于根据第一输出音信号而被感知的再现音具有大于0的第一延迟时间和大于0的第一音量衰减的声音(S102)。

以上的步骤S101和步骤S102的执行顺序可以替换，也可以并行执行。然后，组合器150将生成的第一输出音信号和第二输出音信号合成，并输出合成后的输出音信号(步骤S103)。以这种方式输出的输出音信号由驱动器104再现，从而在再现音上叠加反射音而由用户99感知为三维的声音。特别地，由于仅产生一个反射音，因此不需要大规模的运算装置等，能够使用户99感知到有效的立体声。

[实施例]

图7是说明实施方式的适当的第一角度的图。图8是说明实施例的适当的第一延迟时间的图。图9是说明实施例的适当的第一音量衰减的图。

在图7中，示出了当第一角度从0度变动到180度时的由受验者感知到的距声像位置的距离(感知距离)，即，在规定方向上听到的距离有多远。可以说，感知距离越大，头外感越强，越能够有效地使人感知三维的声音。另外，这里，设定为第一音量衰减量为-3dB、第一延迟时间为2.2ms的条件。如图7所示，通过将第一方向设定为105度或120度的方向，可以得到高的头外感。

另外，在图8中，示出了当将第一延迟时间从0ms变动到3.4ms时的由受验者感知到的感知距离。另外，这里设定为第一音量衰减量为-3dB、第一角度为105度的条件。如图8所示，通过将第一延迟时间设定为2.4ms至2.8ms从而得到了较高的头外感，通过将第一延迟时间设定为从1.8ms至3.0ms从而得到了充分的头外感。然而，由于延迟时间的增加与音质的劣化相关联，因此相对较短的第一延迟时间是适当的。因此，可以将第一延迟时间设定为1.8ms至2.4ms，例如2.2ms等。

此外，在图9中，示出了当第一音量衰减的音量衰减量从-30dB变动到0dB时的由受验者感知到的感知距离。另外，这里，设定为第一延迟时间为2.2ms、第一角度为105度的条件。如图9所示，通过将第一音量衰减的音量衰减量设定为-5dB～-3dB可得到较高的头外感，但设定为-3dB以上的音量衰减量并没有发现提高到在此以上的头外感。另外，由于大音量的反射音是音质劣化的主要原因，因此可以考虑音量衰减量最好是尽可能小。

[变形例]

接下来，对以上说明的实施方式的变形例的音响处理装置进行说明。在以下说明的变形例中，对于与上述说明的实施方式实质上相同的结构，参照上述说明，因此在此省略说明。图10是表示实施方式的变形例的音响再现装置的功能结构的框图。图11是表示实施方式的变形例的音响处理装置的详细功能结构的框图。如图10和图11所示，变形例的音响再现装置100a具备音响处理装置101a。另外，音响处理装置101a与上述实施方式的音响处理装置101的结构的不同之处在于，音响处理装置101a具备第三处理部141。

第三处理部141生成第二反射音的输出音信号。第三处理部141是通过卷积第三头相关传递函数来生成第三输出音信号的功能部，第三头相关传递函数用于使信息所包含的声音被定位为从具有第二角度的第二方向到来、且相对于根据第一输出音信号而被感知的再现音具有大于0的与第一延迟时间不同的第二延迟时间和大于0的与第一音量衰减不同的第二音量衰减的声音，第二角度是第二方向与规定方向所成的大于0度且小于360度、并且不同于第一角度的角度。在第三处理部141中，对输入的声音的信息进行用于将声音定位在第二方向上的头相关传递函数的卷积，经由音量衰减γ(第三音量衰减)，输出衰减后的第三输出音信号。这种由第三处理部141进行的处理总体上可被理解为第三头相关传递函数的卷积。第三输出音信号被输入到第三EQ142，并且在进行了低域和高域的声音调节的基础上提供给组合器150。另外，在被输入到第三处理部141之前，通过第二角度决定部140对声音信息附加指定之后要卷积的头相关传递函数的信息。

组合器150是将生成的输出音信号合成并向驱动器104输出的功能部。组合器150输出通过将第一输出音信号、第二输出音信号和第三输出音信号相加而合成的输出音信号。即，音响处理装置101a的第二处理部131和第三处理部141分别生成两个不同的反射音，并且组合器150将它们叠加于再现音。如本变形例所示，在生成两个反射音并叠加于再现音的情况下，能够根据条件进一步提高扩展至三维声场的效果。

当通过驱动器104再现如上所述从组合器150输出的输出音信号时，形成如图12所示的声场。图12是说明通过实施方式的音响处理装置输出的声音的到来方向的图。图12示出了从与图5相同的视点对虚拟的三维声场进行平面视的图。

如图所示，第一反射音被定位在从规定方向起顺时针具有第一角度的方向上(位置P2)。然后，第二反射音被定位在从规定方向起顺时针具有第二角度的方向上(位置P3)。如图中所示，第一角度与第二角度不一致，并且，相对于平行于用户99的正面深处(也平行于规定方向)的双点划线不是线对称的方向。假设在第一方向和第二方向是线对称的情况下，根据条件，有可能两个反射音叠加并在用户99的背后定位为一个反射音。因此，第二角度是从360度减去第二角度所得的角度差与第一角度不一致的角度。

另外，如图中所示，第一角度和第二角度相对于将用户99的头部分成前后的虚拟的边界面，定位在用户99的后面侧。因此，第一角度和第二角都设定为与规定方向所成的角度大于90度且小于270度的角度范围内的角度。

另外，以上说明的第二角度、第二延迟时间以及第二音量衰减量与第一角度、第一延迟时间以及第一音量衰减量同样是由音响处理装置101a预先设定的数值或根据传感器103的感测结果而发生变化的数值，但它们中的至少一个可以构成为能够根据用户99任意输入的数值来调整。即，音响处理装置101a可以受理由用户99进行的用于调整第二角度、第二延迟时间和第二音量衰减中的至少之一的输入。

[动作]

接下来，参照图13，对上述说明的音响再现装置100a的动作进行说明。图13是表示实施方式的音响处理装置的动作的流程图。首先，与参照图6说明的音响处理装置101的动作同样地实施步骤S101和步骤S102。接下来，第三处理部141通过对声音信息卷积第三头相关传递函数来生成第三输出音信号，所述第三头相关传递函数用于将信息所包含的声音定位为从第二方向到来并且相对于根据第一输出音信号感知的所述再现音具有大于0的第二延迟时间和大于0的第二音量衰减的声音(S201)。

以上的步骤S101、步骤S102和步骤S201的执行顺序可以替换，也可以并行执行。然后，组合器150将生成的第一输出音信号和第二输出音信号和第三输出音信号合成，并输出合成后的输出音信号(步骤S202)。以这种方式输出的输出音信号由驱动器104再现，从而在再现音上叠加反射音而由用户99感知为三维的声音。特别地，由于仅生成两个反射音，因此在这种情况下也不需要大规模的运算装置等，能够使用户99感知到有效果的立体声。

另外，可以进一步增加处理部，以将三个以上的反射音叠加于再现音。

(其他实施方式)

以上说明了实施方式，但本公开不限定于上述的实施方式。

例如，在上述实施方式中，说明了声音不跟随用户头部的运动的例子，但是本公开的内容在声音跟随用户头部的运动的情况下也是有效的。也就是说，当在使用户将规定声音感知为与用户头部的运动一起相对地移动的从第一位置到来的声音的动作中，在规定声音的到来方向的变动量小于阈值的情况下，可以选择立体音响滤波器来强调变动。

此外，例如，上述实施方式中说明的音响再现装置可以实现为具备所有构成要素的一个装置，也可以对多个装置分配各功能，通过该多个装置协作来实现。在后者的情况下，可以使用智能手机、平板终端或PC等信息处理装置作为相当于处理模块的装置。

作为与上述实施方式的说明不同的结构，例如，也能够通过由解码处理部校正原来的声音信息来选择变更后的立体音响滤波器。具体地，本例中的解码处理部是生成与声音信息所包含的规定方向相关的信息并且进行原来的声音信息的校正的处理部。解码处理部计算时间轴上的规定方向的变动的角度量，并且在计算出的规定方向的变动的角度量小于阈值的情况下校正与规定方向相关的信息，使得与规定方向的变动的角度量为阈值以上的情况下相比更强调规定声音并使用户感知。由此，仅通过基于从解码处理部输出的与校正后的规定方向相关的信息，来选择对规定声音到来的到来方向进行规定的立体音响滤波器，来应用上述实施方式中的变更后的立体音响滤波器。

这样，可以通过校正原来的声音信息中与规定方向相关的信息来实现本申请公开的信息处理方法等。仅通过将如上所述的解码处理部插入，例如替换以往的立体音响再现装置的进行解码处理的处理部，就能够实现与本申请公开能够起到同样效果的音响再现装置。

此外，本公开的音响再现装置能够实现为与仅具备驱动器的再现装置连接，并且仅对该再现装置输出输出信号的音响处理装置，其中，该音响处理装置使用基于所取得的声音信息而选择的立体音响滤波器对该再现装置输出输出音信号。在这种情况下，音响处理装置可以实现为具备专用电路的硬件，也可以实现为用于使通用的处理器执行特定的处理的软件。

此外，在上述实施方式中，由特定的处理部执行的处理可以由另一处理部来执行。此外，可以变更多个处理的顺序，也可以并行执行多个处理。

此外，在上述实施方式中，各构成要素可以通过执行适合于各构成要素的软件程序来实现。各构成要素可以通过CPU或处理器等程序执行部读出并执行记录在硬盘或半导体存储器等记录介质上的软件程序来实现。

另外，各构成要素可以通过硬件来实现。例如，各构成要素可以是电路(或集成电路)。这些电路可以作为整体构成一个电路，也可以分别是单独的电路。此外，这些电路中的每一个可以是通用电路，也可以是专用电路。

此外，本公开的一般或具体方式可以通过装置、方法、集成电路、计算机程序或计算机可读取的CD-ROM等记录介质来实现。此外，本公开的一般或具体方式可以通过装置、方法、集成电路、计算机程序和记录介质的任意组合来实现。

例如，本公开可以实现为由计算机执行的声音信号再现方法，也可以实现为用于使计算机执行声音信号再现方法的程序。本公开可以实现为记录有这样的程序的计算机可读取的非暂时性记录介质。

另外，对各实施方式实施本领域技术人员想得到的各种变形而得到的方式、或者在不脱离本公开的主旨的范围内通过任意组合各实施方式的构成要素和功能而实现的方式也包括在本公开中。

产业上的可利用性

本公开在使用户感知立体声音等音响再现时是有用的。

附图标记说明

99 用户

100、100a 音响再现装置

101、101a 音响处理装置

102 通信模块

103 传感器

104 驱动器

111 取得部

120 余音抑制处理部

121 第一处理部

122 第一EQ

130 第一角度决定部

131 第二处理部

132 第二EQ

140 第二角度决定部

141 第三处理部

142 第三EQ

150 组合器

200 立体影像再现装置

S1 第一位置

S1a 第二位置

S1b 第三位置

S1c 第七位置

S2 第四位置

S2a 第五位置

S2b 第六位置

Claims (17)

1.一种音响处理装置，使用户将再现音感知为从三维声场上的规定方向到来的声音，其中，具备：

第一处理部，通过对包含所述再现音的声音信息卷积第一头相关传递函数来生成第一输出音信号，所述第一头相关传递函数用于使信息所包含的声音被定位为从所述规定方向到来的声音；

第二处理部，通过对所述声音信息卷积第二头相关传递函数来生成第二输出音信号，所述第二头相关传递函数用于使信息所包含的声音被定位为从具有第一角度的第一方向到来、且相对于根据第一输出音信号而被感知的所述再现音具有大于0的第一延迟时间和大于0的第一音量衰减的声音，所述第一角度是所述第一方向与所述规定方向所成的大于0度且小于360度的角度；以及

组合器，输出将所生成的所述第一输出音信号和所述第二输出音信号合成后的输出音信号。

2.根据权利要求1所述的音响处理装置，其中，

使用佩戴于用户头部的头戴式耳机或入耳式耳机来再现输出的所述输出音信号。

3.根据权利要求1所述的音响处理装置，其中，

所述第一角度是所述第一方向与所述规定方向所成的大于90度且小于270度的角度范围内的角度。

4.根据权利要求1所述的音响处理装置，其中，

还具备第三处理部，所述第三处理部通过对所述声音信息卷积第三头相关传递函数来生成第三输出音信号，所述第三头相关传递函数用于使信息所包含的声音被定位为从具有第二角度的第二方向到来、且相对于根据第一输出音信号而被感知的所述再现音具有大于0的第二延迟时间和大于0的第二音量衰减的声音，所述第二角度是所述第二方向与所述规定方向所成的大于0度且小于360度、并且不同于所述第一角度的角度，

所述组合器输出将所述第一输出音信号、所述第二输出音信号以及所述第三输出音信号合成后的所述输出音信号。

5.根据权利要求4所述的音响处理装置，其中，

所述第二角度是所述第二方向与所述规定方向所成的大于90度且小于270度的角度范围内的角度，并且是从360度减去所述第二角度后的角度差与所述第一角度不一致的角度。

6.根据权利要求4所述的音响处理装置，其中，

所述第一延迟时间与所述第二延迟时间是分别不同的延迟时间。

7.根据权利要求4所述的音响处理装置，其中，

所述第一音量衰减与所述第二音量衰减是分别不同的音量衰减量。

8.根据权利要求1所述的音响处理装置，其中，

还具备余音抑制处理部，所述余音抑制处理部对信息所包含的声音进行使该信息所包含的余音分量减少的余音抑制处理，

所述声音信息是通过对包含所述余音分量的原音信息进行所述余音抑制处理而生成的，

所述声音信息将所述原音信息所包含的声音中的除了减少的所述余音分量之外的声音包含为所述再现音。

9.根据权利要求1所述的音响处理装置，其中，

还具备取得部，所述取得部从检测所述用户的头部的运动的传感器取得感测结果，

所述第二处理部基于所取得的所述感测结果，对所述声音信息卷积使所述第一音量衰减的音量衰减量变化了的所述第二头相关传递函数。

10.根据权利要求9所述的音响处理装置，其中，

所述第一头相关传递函数通过被卷积而使信息所包含的声音被定位为从规定方向到来、且具有0以上的第三音量衰减的声音，

所述第一处理部，

在所述第二处理部中的所述第一音量衰减的音量衰减量增加了的情况下，对所述声音信息卷积使所述第三音量衰减的音量衰减量减少了的所述第一头相关传递函数，

在所述第二处理部中的所述第一音量衰减的音量衰减量减少了的情况下，对所述声音信息卷积使所述第三音量衰减的音量衰减量增加了的所述第一头相关传递函数。

11.根据引用权利要求4的权利要求5所述的音响处理装置，其中，

还具备取得部，所述取得部从检测所述用户的头部的运动的传感器取得感测结果，

所述第三处理部基于取得的所述感测结果，对所述声音信息卷积使所述第二音量衰减的音量衰减量变化了的所述第三头部传递函数。

12.根据权利要求1所述的音响处理装置，其中，

所述第一角度、所述第一延迟时间以及所述第一音量衰减中的至少一个由所述用户来调整。

13.根据引用权利要求4的权利要求5所述的音响处理装置，其中，

所述第二角度、所述第二延迟时间以及所述第二音量衰减中的至少一个由所述用户来调整。

14.根据权利要求1所述的音响处理装置，其中，

所述声音信息是基于包含所述再现音和余音分量的原音信息而生成的，

所述第一延迟时间是比所述余音分量相对于所述再现音的延迟时间短的延迟时间。

15.根据引用权利要求4的权利要求5至14中任一项所述的音响处理装置，其中，

所述声音信息是基于包含所述再现音和余音分量的原音信息而生成的，

所述第二延迟时间是比所述余音分量相对于所述再现音的延迟时间短的延迟时间。

16.一种音响处理方法，使用户将再现音感知为从三维声场上的规定方向到来的声音，其中，

通过对包含所述再现音的声音信息卷积第一头部传递函数来生成第一输出音信号，所述第一头部传递函数用于使信息所包含的声音被定位为从所述规定方向到来的声音，

通过对所述声音信息卷积第二头部传递函数来生成第二输出音信号，所述第二头部传递函数用于使信息所包含的声音被定位为从具有第一角度的第一方向到来、且相对于根据第一输出音信号而被感知的所述再现音具有大于0的第一延迟时间和大于0的第一音量衰减的声音，所述第一角度是所述第一方向与所述规定方向所成的大于0度且小于360度的角度，

输出将所生成的所述第一输出音信号和所述第二输出音信号合成后的输出音信号。

17.一种程序，用于使计算机执行权利要求16所述的音响处理方法。