CN117063489A - 信息处理方法、程序和信息处理系统 - Google Patents

Abstract

信息处理方法取得表示包含发出规定声音的音源对象及障碍物的虚拟空间的形状的空间信息(S1)，取得表示虚拟空间中的用户的位置及朝向的位置信息(S2)，基于虚拟空间中的用户的位置及朝向以及障碍物的位置，决定在虚拟空间中反射规定声音的虚拟反射面的位置，由此生成音响用的虚拟空间(S3)。

Description

信息处理方法、程序和信息处理系统

技术领域

本公开涉及用于生成音响用的虚拟空间的信息处理方法、程序以及信息处理系统。

背景技术

专利文献1公开了一种用于在头戴式耳机上渲染声音以使得能够进行头部跟踪的方法和系统。

现有技术文献

专利文献

专利文献1：日本特开2019-146160号公报

发明内容

发明所要解决的课题

本公开的目的在于提供一种能够降低再现用于使用户感知的立体声音所需的处理时间的信息处理方法等。

用于解决课题的手段

根据本公开的一个方式所涉及的信息处理方法取得表示包括发出规定声音的音源对象和障碍物的虚拟空间的形状的空间信息。所述信息处理方法取得表示所述虚拟空间中的用户的位置以及朝向的位置信息。所述信息处理方法基于所述虚拟空间中的所述用户的位置及朝向、以及所述障碍物的位置，决定在所述虚拟空间中反射所述规定声音的虚拟反射面的位置，由此生成音响用的虚拟空间。

此外，本公开的一个方式所涉及的程序使计算机执行所述信息处理方法。

此外，根据本公开的一个方式所涉及的信息处理系统具备空间信息取得部、位置信息取得部，以及空间生成部。所述空间信息取得部取得表示包括发出规定声音的音源对象及障碍物的虚拟空间的形状的空间信息。所述位置信息取得部取得表示所述虚拟空间中的用户的位置及朝向的位置信息。所述空间生成部基于所述虚拟空间中的所述用户的位置及朝向、以及所述障碍物的位置，决定在所述虚拟空间中反射所述规定声音的虚拟反射面的位置，由此生成音响用的虚拟空间。

此外，这些总括性或具体的方式可以通过系统、装置、方法、集成电路、计算机程序、或者计算机可读取的CD-ROM等非暂态记录介质来实现，也可以通过系统、装置、方法、集成电路、计算机程序以及记录介质的任意组合来实现。

发明效果

根据本公开，具有能够降低再现用于使用户感知的立体声音所需的处理时间的优点。

附图说明

图1是表示实施方式的音响再现装置的使用事例的概略图。

图2是表示包括实施方式的信息处理系统的音响再现装置的功能结构的框图。

图3是使用了实施方式的头部脉冲响应的立体声音的再现处理的说明图。

图4是表示实施方式的反射音的一例的概略图。

图5是表示实施方式的室内脉冲响应的一例的概略图。

图6是表示实施方式的音响用的虚拟空间的第一生成例的概略图。

图7是表示实施方式的音响用的虚拟空间的第二生成例的概略图。

图8是表示实施方式的音响用的虚拟空间的第三生成例的概略图。

图9是表示实施方式的音响用的虚拟空间的第四生成例的概略图。

图10是表示实施方式的信息处理系统的动作例的流程图。

图11是表示实施方式的变形例的音响用的虚拟空间的一例的概略图。

具体实施方式

(成为本公开的基础的见解)

以往，已知有如下的与音响再现相关的技术：在虚拟三维空间(以下称为虚拟空间)内，通过控制作为用户的感觉上的音源对象的声像的位置，来用于使用户感知立体的声音(例如，参照专利文献1)。通过使声像定位于虚拟空间内的规定位置，用户能够感知该声音，如同从与连结该规定位置和用户的直线平行的方向(即规定方向)到来的声音。为了像这样使声像定位于虚拟空间内的规定位置，例如需要对所收集到的声音产生被感知为立体的声音那样的两耳间的声音的到来时间差、以及两耳间的声音的水平差等的计算处理。

另外，近年来，关于虚拟现实(VR：Virtual Reality)的技术的开发正在盛行。在虚拟现实中，着眼于虚拟空间的位置不追随用户的运动，能够感觉仿佛用户好像在虚拟空间内移动。特别是，在该虚拟现实技术中，尝试通过在视觉要素中引入听觉要素来进一步提高临场感。

然而，在模拟这样的虚拟空间中的音响特性时，考虑通过使用与虚拟空间的形状对应的室内脉冲响应(Room Impulse Response：RIR)，来提高虚拟空间中的音源对象的实际存在感以及虚拟空间的现实感。作为忠实地再现虚拟空间中的音响特性的方法，例如可以举出基于边界要素法(Boundary Element Method)、有限要素法(Finite ElementMethod)或时域有限差分法(Finite-Difference Time-Domain method)等的波动音响理论的方法。然而，在这些方法中，运算量容易变得庞大，存在针对复杂的虚拟空间的形状，特别是难以生成在高音域的室内脉冲响应的问题。

另一方面，作为以比较小的运算量模拟虚拟空间中的音响特性的方法，例如可举出基于声线法或虚像法等几何音响理论的方法。然而，即使是这些方法，在虚拟空间例如音源对象移动或用户移动的6DoF(Degree of Freedom，自由度)环境中，存在难以基于该虚拟空间实时(real time)地运算并生成室内脉冲响应的问题。而且，由于难以实时生成室内脉冲响应，因此存在难以实时再现用于使用户感知的立体声音的问题。

在本公开中，鉴于上述情况，其目的在于提供一种信息处理方法等，通过降低生成室内脉冲响应所需的处理负荷，能够降低再现用于使用户感知的立体声音所需的处理时间。

更具体而言，本公开的一个方式所涉及的信息处理方法，取得表示包含发出规定声音的音源对象及障碍物的虚拟空间的形状的空间信息，取得表示所述虚拟空间中的用户的位置及朝向的位置信息，基于所述虚拟空间中的所述用户的位置及朝向以及所述障碍物的位置，决定在所述虚拟空间中反射所述规定声音的虚拟反射面的位置，由此生成音响用的虚拟空间。

由此，在运算音响用的虚拟空间中的音响特性(在实施方式中为室内脉冲响应)时，由于障碍物被转换为音响用的虚拟空间的虚拟反射面，所以不需要进行判定障碍物处的规定声音的反射是否在规定的反射次数内到达收听者的运算。因此，具有如下优点：能够降低运算音响特性所需的处理负荷，能够降低再现用于使用户感知的立体的声音所需的处理时间。

另外，例如，在所述音响用的虚拟空间的生成中，基于在所述虚拟空间中所述障碍物位于所述用户的前方以及后方中的哪一个，来决定所述虚拟反射面的位置。

由此，具有容易将障碍物对用于使用户感知的立体的声音造成的影响反映到音响用的虚拟空间中的音响特性中的优点。

另外，例如，在所述音响用的虚拟空间的生成中，在所述虚拟空间中所述障碍物位于所述用户的前方、且所述障碍物不存在于所述用户与所述音源对象之间的情况下，将在所述虚拟空间中沿着以所述用户为基准的进深方向的所述虚拟反射面的位置决定为在所述障碍物的位置。

由此，具有如下优点：基于用户能够在视觉上掌握的障碍物的位置来决定音响用的虚拟空间中的虚拟反射面的位置，因此更容易将障碍物对用于使用户感知的立体的声音造成的影响反映到音响用的虚拟空间中的音响特性中。

另外，例如，在所述音响用的虚拟空间的生成中，在所述障碍物位于所述用户的后方且位于连结所述用户与所述音源对象的直线上的情况下，将在所述虚拟空间中沿着以所述用户为基准的横向的所述虚拟反射面的位置决定为在所述障碍物的位置。

由此，具有如下优点：基于位于用户的后方的障碍物中的、最能够对用户能够感知的音响造成影响的障碍物的位置来决定音响用的虚拟空间中的虚拟反射面的位置，因此更容易将障碍物对用于使用户感知的立体的声音造成的影响反映到音响用的虚拟空间中的音响特性中。

另外，例如，在生成的所述音响用的虚拟空间中，通过使用了虚像法的几何音响模拟，生成关于所述音源对象的室内脉冲响应，通过对所述规定声音卷积所生成的所述室内脉冲响应和头部脉冲响应，生成用于使所述用户感知的声音信号。

由此，与基于波动音响理论运算音响用的虚拟空间中的音响特性的情况相比，具有用于运算音响特性的处理负荷小即可的优点。

另外，例如，在所述室内脉冲响应的生成中，所述虚拟反射面上的所述规定声音的反射率被设定为位于所述虚拟反射面的所述障碍物处的所述规定声音的反射率。

由此，具有更容易将障碍物对用于使用户感知的立体的声音造成的影响反映到音响用的虚拟空间中的音响特性中的优点。

另外，例如，在所述室内脉冲响应的生成中，在所述虚拟反射面存在多个所述障碍物的情况下，根据多个所述障碍物的间隔来设定所述虚拟反射面上的所述规定声音的反射率。

由此，例如具有如下优点：能够将难以通过多个障碍物之间的频带的声音反映到虚拟反射面上的规定声音的反射率，更容易将障碍物对用于使用户感知的立体的声音造成的影响反映到音响用的虚拟空间中的音响特性中。

另外，本公开的一个方式所涉及的程序使计算机执行上述的信息处理方法。

由此，具有能够起到与上述的信息处理方法同样的效果的优点。

此外，根据本公开的一个方式所涉及的信息处理系统具备空间信息取得部、位置信息取得部和空间生成部。所述空间信息取得部取得表示包括发出规定声音的音源对象及障碍物的虚拟空间的形状的空间信息。所述位置信息取得部取得表示所述虚拟空间中的用户的位置及朝向的位置信息。所述空间生成部基于所述虚拟空间中的所述用户的位置及朝向、以及所述障碍物的位置，决定在所述虚拟空间中反射所述规定声音的虚拟反射面的位置，由此生成音响用的虚拟空间。

由此，具有能够起到与上述的信息处理方法同样的效果的优点。

此外，这些总括性或具体的方式可以通过系统、装置、方法、集成电路、计算机程序或计算机可读取的CD-ROM等非暂态记录介质来实现，也可以通过系统、装置、方法、集成电路、计算机程序以及记录介质的任意组合来实现。

以下，参照附图对实施方式进行具体说明。另外，以下说明的实施方式均表示总括性或具体的例子。以下的实施方式所示的数值、形状、材料、构成要素、构成要素的配置位置及连接方式、步骤、或者步骤的顺序等是一个例子，并不是限定本公开的主旨。另外，以下的实施方式中的构成要素中的、独立权利要求中没有记载的构成要素，作为任意的构成要素进行说明。此外，各图是示意图，未必严格地图示。另外，在各图中，对实质上相同的结构标注相同的附图标记，有时省略或简化重复的说明。

(实施方式)

[概要]

首先，参照图1说明实施方式的音响再现装置的概要。图1是表示实施方式中的音响再现装置的使用事例的概略图。在图1中，示出了使用音响再现装置100的用户U1。

图1所示的音响再现装置100与立体影像再现装置200同时使用。用户U1通过同时视听立体的图像以及立体的声音，能够感受到图像将听觉上的临场感、声音将视觉上的临场感都分别相互提高，好像位于拍摄了图像以及声音的现场。例如，已知在显示人进行对话的图像(动态图像)的情况下，即使在对话音的声像的定位与该人的嘴边偏离的情况下，用户U1也感知为从该人的嘴发出的对话音。这样，有时通过视觉信息来校正声像的位置等，通过合并图像和声音来提高临场感。

立体影像再现装置200是佩戴于用户U1的头部的图像显示设备。因此，立体影像再现装置200与用户U1的头部一体地移动。例如，立体影像再现装置200是由用户U1的耳朵和鼻子支承的眼镜型的设备。

立体影像再现装置200通过根据用户U1的头部的运动使显示的图像变化，使用户U1感知为在虚拟空间VS1(参照图4等)内移动头部。即，在虚拟空间VS1内的物体位于用户U1的正面时，若用户U1朝向右，则该物体向用户U1的左方向移动，若用户U1朝向左，则该物体向用户的右方向移动。这样，立体影像再现装置200使虚拟空间VS1相对于用户U1的运动向与用户U1的运动相反的方向移动。

立体影像再现装置200显示在用户U1的左右眼分别产生了视差量的偏差的两个图像。用户U1能够基于所显示的图像的视差量的偏差来感知图像上的物体的三维位置。

音响再现装置100是佩戴于用户U1的头部的声音提示设备。因此，音响再现装置100与用户U1的头部一体地移动。例如，实施方式中的音响再现装置100是所谓的覆耳式头戴式耳机型的设备。此外，音响再现装置100的方式没有特别限定，例如，也可以是分别独立地佩戴于用户U1的左右耳朵的两个耳塞型的设备。这两个设备通过相互通信，将右耳用的声音与左耳用的声音同步地提示。

音响再现装置100通过改变根据用户U1的头部的运动提示的声音来使用户U1感知用户U1在虚拟空间VS1中移动头部。因此，如上所述，音响再现装置100使虚拟空间VS1相对于用户U1的运动向与用户的运动相反的方向移动。

[结构]

接着，参照图2说明实施方式的音响再现装置100的结构。图2是示出包括实施方式的信息处理系统10的音响再现装置100的功能结构的框图。如图2所示，实施方式的音响再现装置100具备处理模块1、通信模块2、检测器3以及驱动器4。

处理模块1是用于进行音响再现装置100中的各种信号处理的运算装置，处理模块1例如具备处理器和存储器，通过由处理器执行存储于存储器的程序，从而发挥各种功能。

处理模块1作为具有空间信息取得部11、位置信息取得部12、空间生成部13、RIR生成部14、声音信息取得部15、声音信号生成部16以及输出部17的信息处理系统10发挥功能。以下，对信息处理系统10所具有的各功能部的详细情况与处理模块1以外的结构的详细情况一并进行说明。

通信模块2是用于接受声音信息向音响再现装置100的输入以及空间信息的输入的接口装置。通信模块2例如具备天线和信号转换器，通过无线通信从外部的装置接收声音信息以及空间信息。更详细而言，通信模块2使用天线接收表示转换为用于无线通信的形式的声音信息的无线信号，通过信号转换器进行从无线信号向声音信息的再转换。由此，音响再现装置100通过无线通信从外部的装置取得声音信息。同样地，通信模块2使用天线接收表示转换为用于无线通信的形式的空间信息的无线信号，通过信号转换器进行从无线信号向空间信息的再转换。由此，音响再现装置100通过无线通信从外部的装置取得空间信息。由通信模块2取得的声音信息及空间信息分别由处理模块1的声音信息取得部15及空间信息取得部11取得。此外，音响再现装置100与外部的装置的通信也可以通过有线通信进行。

音响再现装置100取得的声音信息例如以MPEG-H3D Audio(ISO/IEC 23008-3)等规定的形式进行编码。作为示例，编码的声音信息包括关于由音响再现装置100再现的规定声音的信息。这里所说的规定声音是存在于虚拟空间VS1的音源对象A1(参照图3等)发出的声音，例如能够包含自然环境音、机械音、或者包含人的动物的声音等。此外，在虚拟空间VS1中存在多个音源对象A1的情况下，音响再现装置100取得与多个音源对象A1分别对应的多个声音信息。

检测器3是用于检测用户U1的头部的运动速度的装置。检测器3通过组合陀螺仪传感器或加速度传感器等的运动的检测所使用的各种传感器而构成。在实施方式中，检测器3内置于音响再现装置100，但也可以内置于例如与音响再现装置100同样地根据用户U1的头部的运动而动作的立体影像再现装置200等外部的装置。在该情况下，检测器3也可以不包含于音响再现装置100。另外，作为检测器3，也可以使用外部的拍摄装置等来拍摄用户U1的头部的运动，通过对拍摄到的图像进行处理来检测用户U1的运动。

检测器3例如与音响再现装置100的框体一体地固定，检测框体的运动的速度。包括上述框体的音响再现装置100在用户U1佩戴后与用户U1的头部一体地移动，因此，检测器3能够作为结果检测用户U1的头部的运动的速度。

检测器3例如可以检测以在虚拟空间VS1内相互正交的三个轴中的至少一个为旋转轴的旋转量作为用户U1的头部的运动的量，也可以检测以上述三个轴中的至少一个为位移方向的位移量。另外，检测器3可以检测旋转量和位移量两者作为用户U1的头部的运动的量。

驱动器4具有用户U1的右耳用的驱动器和用户U1的左耳用的驱动器。右耳用的驱动器及左耳用的驱动器各自例如具有振动板和磁铁或音圈等驱动机构。右耳用的驱动器根据右耳用的声音信号使驱动机构动作，通过驱动机构使振动板振动。另外，左耳用的驱动器根据左耳用的声音信号使驱动机构动作，通过驱动机构使振动板振动。这样，各驱动器通过与声音信号对应的振动板的振动而产生声波，声波在空气等中传播而向用户U1的耳朵传递，用户U1感知声音。

空间信息取得部11取得表示包含发出规定声音的音源对象A1及障碍物B1(参照图6等)的虚拟空间VS1的形状的空间信息。在此，障碍物B1是在从音源对象A1发出的规定声音到达用户U1为止的期间，遮挡规定声音或者反射规定声音等，能够对用户能够感知的立体的声音造成影响的对象。障碍物B1除了静止物体之外，还可以包括人等动物或机械等运动物体。另外，在虚拟空间VS1中存在多个音源对象A1的情况下，对于任意的音源对象A1而言，其他音源对象A1成为障碍物B1。

空间信息包括分别表示虚拟空间VS1的形状、虚拟空间VS1中存在的障碍物B1的形状及位置、以及虚拟空间VS1中存在的音源对象A1的形状和位置的网格信息。虚拟空间VS1可以是封闭空间或开放空间中的任意一个，但在此作为封闭空间进行说明。另外，空间信息包括表示例如地板、墙壁或天花板等虚拟空间VS1中能够反射声音的构造物的反射率、以及存在于虚拟空间VS1的障碍物B1的反射率的信息。在此，反射率是反射音与入射音的能量之比，按声音的每个频带设定。当然，反射率也可以不依赖于声音的频带而一律设定。

在此，在空间信息所包含的网格信息中，虚拟空间VS1的网格密度可以小于在立体影像再现装置200中使用的虚拟空间VS1的网格密度。例如，在基于由空间信息取得部11取得到的空间信息的虚拟空间VS1中，包含凹凸的平面可以由没有凹凸的单纯的平面来表示，存在于虚拟空间VS1中的对象的形状也可以由球体等简单的形状来表示。

位置信息取得部12从检测器3取得用户U1的头部的运动速度。更具体而言，位置信息取得部12取得每单位时间由检测器3检测到的用户U1的头部的运动的量作为运动的速度。这样，位置信息取得部12从检测器3取得旋转速度以及位移速度中的至少一方。这里取得的用户U1的头部的移动量用于决定虚拟空间VS1中的用户U1的坐标和方向。即，位置信息取得部12取得表示虚拟空间VS1中的用户U1的位置及朝向的位置信息。

空间生成部13基于虚拟空间VS1中的用户U1的位置及朝向、以及障碍物B1的位置，决定在虚拟空间VS1中反射规定声音的虚拟反射面的位置，由此生成音响用的虚拟空间VS2(参照图6等)。即，在虚拟空间VS1中存在障碍物B1的情况下，空间生成部13根据障碍物B1的位置来变更虚拟空间VS1中的虚拟反射面的位置，由此生成与虚拟空间VS1不同的音响用的虚拟空间VS2。另外，在虚拟空间VS1中不存在障碍物B1的情况下，空间生成部13不变更虚拟空间VS1中的虚拟反射面的位置。在该情况下，音响用的虚拟空间VS2与虚拟空间VS1相同。

在由空间生成部13进行的音响用的虚拟空间VS2的生成中，基于在虚拟空间VS1中障碍物B1处于用户U1的前方以及后方中的哪一个，来决定虚拟反射面的位置。关于音响用的虚拟空间VS2的生成的具体例，在后述的[音响用的虚拟空间的生成例]中详细地进行说明。

RIR生成部14在由空间生成部13生成的音响用的虚拟空间VS2中，通过使用了虚像法的几何音响模拟，生成关于音源对象A1的室内脉冲响应。

在此，如图3所示，用户U1能够通过左右耳朵听到的声音的声压之差、时间差以及相位差等，将音源对象A1发出的规定声音感知为立体的声音。图3是使用了实施方式的头部脉冲响应的立体声音的再现处理的说明图。在用户U1的右耳听到的声音是根据右耳用的声音信号而由驱动器4产生的声音。另外，在用户U1的左耳听到的声音是根据左耳用的声音信号而由驱动器4产生的声音。而且，右耳用的声音信号通过对音源对象A1发出的规定声音卷积右耳用的头部脉冲响应HRIRR和室内脉冲响应而生成。另外，左耳用的声音信号通过对音源对象A1发出的规定声音卷积左耳用的头部脉冲响应HRIRL和室内脉冲响应而生成。

RIR生成部14通过使用了虚像法的几何音响模拟来生成关于音源对象A1的室内脉冲响应。

在此，参照图4对基于使用了虚像法的几何音响模拟的音源对象A1的室内脉冲响应的生成例进行说明。图4是表示实施方式的反射音的一例的概略图。在图4所示的例子中，说明音响用的虚拟空间VS2是长方体状的空间的情况。在图4所示的示例中，假设用户U1的头部的中心是声音接收点。另外，在此，说明没有音响用的虚拟空间VS2的地板及天花板上的声音的反射的情况。

如图4所示，音响用的虚拟空间VS2是在俯视时被四个壁包围的空间。这四个壁分别相当于音响用的虚拟空间VS2中的四个虚拟反射面VS21～VS24。即，音响用的虚拟空间VS2被分别位于用户U1的前方、后方、左方及右方的虚拟反射面VS21、VS22、VS23、VS24包围。

在由音源对象A1发出了声音的情况下，室内脉冲响应由到达用户U1的位置的直接音SW1、包含各虚拟反射面VS21～VS24中的一次反射音SW11～SW14的初始反射音及混响表示。在此，初始反射音仅包含各虚拟反射面VS21～VS24中的一次反射音，但也可以包含二次反射音。

在使用了虚像法的几何音响模拟中，一次反射音SW11～SW14以及混响分别表示为来自虚音源对象A11～A14的直接音。即，一次反射音SW11表示为来自相对于虚拟反射面VS21与音源对象A1面对称的虚音源对象A11的直接音。另外，一次反射音SW12表示为来自相对于虚拟反射面VS22与音源对象A1面对称的虚音源对象A12的直接音。另外，一次反射音SW13表示为来自相对于虚拟反射面VS23与音源对象A1面对称的虚音源对象A13的直接音。另外，一次反射音SW14表示为来自相对于虚拟反射面VS24与音源对象A1面对称的虚音源对象A14的直接音。

一次反射音SW11～SW14的能量分别根据虚拟反射面VS21～VS24中的反射率，从直接音SW1的能量中减去。在实施方式中，关于虚拟反射面VS21～VS24中的、根据障碍物B1变更了位置的虚拟反射面，该虚拟反射面上的反射率被设定为障碍物B1处的反射率。即，在基于RIR生成部14的室内脉冲响应的生成中，虚拟反射面上的规定声音的反射率被设定为位于虚拟反射面的障碍物B1处的规定声音的反射率。障碍物B1处的反射率根据障碍物B1的材质或大小等而适当设定。

图5是表示实施方式的室内脉冲响应的一例的概略图。在图5中，纵轴表示声音的能量，横轴表示时间。在图5中，室内脉冲响应IR1是与直接音SW1对应的室内脉冲响应。另外，在图5中，室内脉冲响应IR11、IR12、IR13、IR14分别是与一次反射音SW11、SW12、SW13、SW14对应的室内脉冲响应。另外，图5中的混响Re1也可以不是通过音响用的虚拟空间VS2，而是通过基于虚拟空间VS1的适当的几何音响模拟、或生成混响音的信号处理来生成。

声音信息取得部15取得由通信模块2取得的声音信息。具体而言，声音信息取得部15通过对通信模块2取得的编码后的声音信息进行解码，以用于后级的声音信号生成部16中的处理的形式取得声音信息。

声音信号生成部16通过对由声音信息取得部15取得的声音信息所包含的音源对象A1发出的规定声音卷积由RIR生成部14生成的室内脉冲响应和头部脉冲响应，生成用于使用户U1感知的声音信号。具体而言，声音信号生成部16通过对音源对象A1发出的规定声音卷积由RIR生成部14生成的从音源对象A1到用户U1的位置的室内脉冲响应(在此为直接音SW1、以及一次反射音SW11～SW14)与右耳用的头部脉冲响应HRIRR，来生成右耳用的声音信号。同样地，声音信号生成部16通过对音源对象A1发出的规定声音卷积由RIR生成部14生成的室内脉冲响应和左耳用的头部脉冲响应HRIRL，生成左耳用的声音信号。此外，右耳用的头部脉冲响应以及左耳用的头部脉冲响应例如能够参照预先存储于处理模块1的存储器的内容、或者从外部的数据库读出并参照。

输出部17将由声音信号生成部16生成的声音信号输出到驱动器4。具体而言，输出部17将由声音信号生成部16生成的右耳用的声音信号输出到驱动器4的右耳用的驱动器。另外，输出部17将由声音信号生成部16生成的左耳用的声音信号输出到驱动器4的左耳用的驱动器。

[音响用的虚拟空间的生成例]

以下，参照图6～图9对由空间生成部13进行的音响用的虚拟空间VS2的生成例进行说明。图6是表示实施方式的音响用的虚拟空间VS2的第一生成例的概略图。图7是表示实施方式的音响用的虚拟空间VS2的第二生成例的概略图。图8是表示实施方式的音响用的虚拟空间VS2的第三生成例的概略图。图9是表示实施方式的音响用的虚拟空间VS2的第四生成例的概略图。在图6～图9各自所示的例子中，说明虚拟空间VS1是长方体状的空间的情况。另外，在此，说明没有虚拟空间VS1的地板及天花板上的声音的反射的情况。另外，在图6～图9的各图中，经过用户U1的两耳的虚线表示用户U1的前方及后方的边界。另外，在图6～图9的各图中，音源对象A1存在于用户U1的前方。

在图6～图9的各图中，虚拟空间VS1是在俯视时被四个壁包围的空间。这四个壁分别相当于虚拟空间VS1中的四个虚拟反射面VS11～VS14。即，虚拟空间VS1被分别位于用户U1的前方、后方、左方以及右方的虚拟反射面VS11、VS12、VS13、VS14包围。

在第一生成例中，如图6所示，在虚拟空间VS1中存在两个障碍物B11、B12。两个障碍物B11、B12都存在于用户U1的后方。并且，两个障碍物B11、B12中的一方的障碍物B11存在于连结用户U1与音源对象A1(具体而言，连结用户U1的头部的中心与音源对象A1的中心)的直线L1上，另一方的障碍物B12不存在于直线L1上。

在第一生成例中，空间生成部13基于存在于直线L1上的障碍物B11的位置，决定音响用的虚拟空间VS2中的虚拟反射面VS22的位置。即，空间生成部13将与位于用户U1的后方的虚拟反射面VS12平行且经过存在于直线L1上的障碍物B11(具体而言，障碍物B11的中心)的位置决定为音响用的虚拟空间VS2中的虚拟反射面VS22的位置。换言之，在第一生成例中，在由空间生成部13进行的音响用的虚拟空间VS2的生成中，在障碍物B11位于用户U1的后方且连结用户U1与音源对象A1的直线L1上的情况下，将在虚拟空间VS1中沿着以用户U1为基准的横向的虚拟反射面VS22的位置决定为在障碍物B11的位置。

因此，在第一生成例中，音响用的虚拟空间VS2成为由位于与虚拟空间VS1中的虚拟反射面VS11、VS13、VS14分别处于相同位置的虚拟反射面VS21、VS23、VS24和处于经过障碍物B11的位置的虚拟反射面VS22包围的空间。

在第二生成例中，如图7所示，在虚拟空间VS1中存在两个障碍物B11、B12这一点上与第一生成例相同。另一方面，在第二生成例中，与第一生成例的不同点在于，由于用户U1移动，一方的障碍物B11偏离直线L1，另一方的障碍物B12存在于直线L1上。

在第二生成例中，空间生成部13将与位于用户U1的后方的虚拟反射面VS12平行且经过存在于直线L1上的障碍物B12(具体而言，障碍物B12的中心)的位置决定为音响用的虚拟空间VS2中的虚拟反射面VS22的位置。因此，在第二生成例中，音响用的虚拟空间VS2成为由位于与虚拟空间VS1中的虚拟反射面VS11、VS13、VS14分别处于相同位置的虚拟反射面VS21、VS23、VS24和处于经过障碍物B12的位置的虚拟反射面VS22包围的空间。

在第三生成例中，如图8所示，在虚拟空间VS1中存在一个障碍物B11。而且，障碍物B11存在于用户U1的前方，且不存在于用户U1与音源对象A1之间。

在第三生成例中，空间生成部13基于存在于用户U1的前方的障碍物B11的位置，决定音响用的虚拟空间VS2中的虚拟反射面VS23的位置。即，空间生成部13将与位于用户U1的左方的虚拟反射面VS13平行且经过存在于用户U1的前方的障碍物B11(具体而言，障碍物B11的中心)的位置决定为音响用的虚拟空间VS2中的虚拟反射面VS23的位置。

即，在第三生成例中，在由空间生成部13进行的音响用的虚拟空间VS2的生成中，在虚拟空间VS1中障碍物B11位于用户U1的前方、且障碍物B11不存在于用户U1与音源对象A1之间的情况下，在虚拟空间VS1中将沿着以用户U1为基准的进深方向的虚拟反射面VS23的位置决定为在障碍物B11的位置。

因此，在第三生成例中，音响用的虚拟空间VS2成为由位于与虚拟空间VS1中的虚拟反射面VS11、VS12、VS14分别处于相同位置的虚拟反射面VS21、VS22、VS24和处于经过障碍物B11的位置的虚拟反射面VS23包围的空间。

此外，在障碍物B11存在于音源对象A1的右方的情况下，空间生成部13将与位于用户U1的右方的虚拟反射面VS14平行且经过存在于用户U1的前方的障碍物B11(具体而言，障碍物B11的中心)的位置决定为音响用的虚拟空间VS2中的虚拟反射面VS24的位置。

另外，在以用户U1或音源对象A1为基准而在左右方向的一方存在多个障碍物B1的情况下，空间生成部13将经过多个障碍物B1中的最接近用户U1的障碍物B1的位置决定为音响用的虚拟空间VS2中的虚拟反射面的位置。

在第四生成例中，如图9所示，在虚拟空间VS1中存在两个障碍物B11、B12这一点上与第二生成例相同。另一方面，在第四生成例中，与第二生成例的不同点在于，由于用户U1的朝向与第二生成例不同，一方的障碍物B11存在于用户U1的前方。

在第四生成例中，空间生成部13将与位于用户U1的右方的虚拟反射面VS13平行且经过存在于用户U1的前方的障碍物B11(具体而言，障碍物B11的中心)的位置决定为音响用的虚拟空间VS2中的虚拟反射面VS23的位置。另外，空间生成部13将与位于用户U1的后方的虚拟反射面VS12平行且经过存在于直线L1上的障碍物B12(具体而言，障碍物B12的中心)的位置决定为音响用的虚拟空间VS2中的虚拟反射面VS22的位置。因此，在第四生成例中，音响用的虚拟空间VS2成为由位于与虚拟空间VS1中的虚拟反射面VS11、VS14分别相同的位置的虚拟反射面VS11、VS14、位于经过障碍物B11的位置的虚拟反射面VS23、位于经过障碍物B12的位置的虚拟反射面VS22包围的空间。

此外，在上述虚拟反射面的位置决定的说明中，作为经过障碍物的位置的具体例，将经过障碍物的中心的位置决定为虚拟反射面的位置，但只要是通过障碍物的位置，则可以是任意的位置，也可以不是经过障碍物的中心的位置。

[动作]

以下，参照图10对实施方式的信息处理系统10的动作、即信息处理方法进行说明。图10是表示实施方式的信息处理系统10的动作例的流程图。首先，当开始音响再现装置100的动作时，空间信息取得部11经由通信模块2取得空间信息(S1)。另外，位置信息取得部12通过从检测器3取得用户U1的头部的运动速度，取得位置信息(S2)。步骤S1和步骤S2不限于该顺序，可以按照相反的顺序执行，也可以并行地同时执行。

接下来，空间生成部13基于所取得的空间信息以及位置信息，生成音响用的虚拟空间VS2(S3)。具体而言，在步骤S3中，基于虚拟空间VS1中的用户U1的位置及朝向、以及障碍物B1的位置，决定在虚拟空间VS1中反射规定声音的虚拟反射面的位置，由此生成音响用的虚拟空间VS2。在此，在虚拟空间VS1中存在障碍物B1的情况下，根据障碍物B1的位置，使虚拟空间VS1中的虚拟反射面平行移动，由此决定音响用的虚拟空间VS2中的虚拟反射面。

接着，RIR生成部14在生成的音响用的虚拟空间VS2中，通过使用了虚像法的几何音响模拟，生成关于音源对象A1的室内脉冲响应(S4)。另外，声音信息取得部15经由通信模块2取得声音信息(S5)。步骤S4和步骤S5不限于该顺序，可以按照相反的顺序执行，也可以并行地同时执行。另外，步骤S5也可以在步骤S2中取得位置信息时同时执行。

接着，声音信号生成部16通过对由声音信息取得部15取得的声音信息所包含的音源对象A1发出的规定声音卷积由RIR生成部14生成的室内脉冲响应和头部脉冲响应，生成声音信号(S6)。具体而言，声音信号生成部16通过对音源对象A1发出的规定声音卷积由RIR生成部14生成的室内脉冲响应和右耳用的头部脉冲响应HRIRR，生成右耳用的声音信号。另外，声音信号生成部16通过对音源对象A1发出的规定声音卷积由RIR生成部14生成的室内脉冲响应和左耳用的头部脉冲响应HRIRL，生成左耳用的声音信号。

然后，输出部17将由声音信号生成部16生成的声音信号输出到驱动器4(S7)。具体而言，输出部17将由声音信号生成部16生成的右耳用的声音信号及左耳用的声音信号分别输出至驱动器4的右耳用的驱动器及左耳用的驱动器。

以后，在音响再现装置100的动作中，反复进行步骤S1～步骤S7。由此，用户U1能够将在虚拟空间VS1中音源对象A1发出的规定声音实时地感知为立体的声音。

[优点]

以下，结合与比较例的信息处理系统的比较来说明实施方式的信息处理系统10(信息处理方法)的优点。比较例的信息处理系统与实施方式的信息处理系统10的不同点在于，不具备空间生成部13，即未生成音响用的虚拟空间VS2。在使用比较例的信息处理系统的情况下，在虚拟空间VS1中，通过使用了虚像法的几何音响模拟来生成关于音源对象A1的室内脉冲响应。在该情况下，不仅虚拟空间VS1中的虚拟反射面上的规定声音的反射，也必须包含障碍物B1处的规定声音的反射而进行运算，用于生成室内脉冲响应的处理负荷容易变大。因此，在比较例的信息处理系统中，在虚拟空间VS1中音源对象A1移动或者用户U1移动等的情况下，由于上述的处理负荷大，所以难以实时生成室内脉冲响应。而且，在比较例的信息处理系统中，由于难以实时生成室内脉冲响应，因此存在难以基于室内脉冲响应实时地再现用于使用户U1感知的立体声音的问题。

与此相对，在实施方式所涉及的信息处理系统10(信息处理方法)中，通过基于虚拟空间VS1中的用户U1的位置及朝向、以及障碍物B1的位置来决定虚拟反射面的位置，从而生成音响用的虚拟空间VS2。因此，在使用了实施方式的信息处理系统10的情况下，在音响用的虚拟空间VS2中，通过使用了虚像法的几何音响模拟来生成关于音源对象A1的室内脉冲响应。在该情况下，障碍物B1被转换为音响用的虚拟空间VS2的虚拟反射面，因此无需进行判定障碍物B1处的规定声音的反射是否在规定的反射次数内到达收听者的运算，与比较例的信息处理系统相比，能够降低用于生成室内脉冲响应的处理负荷。因此，在实施方式所涉及的信息处理系统10中，可以降低再现用于使用户U1感知的立体声音所需的处理时间。

因此，在实施方式所涉及的信息处理系统10(信息处理方法)中，即使在虚拟空间VS1中音源对象A1移动或者用户U1移动等的情况下，由于上述的处理负荷小即可，所以容易实时地生成室内脉冲响应。而且，在实施方式所涉及的信息处理系统10中，具有如下优点：由于容易实时地生成室内脉冲响应，因此容易实时地再现用于基于头部脉冲响应使用户感知的立体的声音。

(其他实施方式)

以上，对实施方式进行了说明，但本公开并不限定于上述的实施方式。

例如，在上述的实施方式中，在音响用的虚拟空间VS2的虚拟反射面存在多个(在此为两个)障碍物B1的情况下，RIR生成部14也可以根据多个障碍物B1的间隔来设定该虚拟反射面上的规定声音的反射率。即，在基于RIR生成部14的室内脉冲响应的生成中，在虚拟反射面存在多个障碍物B1的情况下，虚拟反射面上的规定声音的反射率也可以根据多个障碍物B1的间隔d1(参照图11)来设定。

图11是表示实施方式的变形例的音响用的虚拟空间VS2的一例的概略图。在图11所示的例子中，音响用的虚拟空间VS2与在上述的第四生成例中生成的音响用的虚拟空间VS2相同。另一方面，在图11所示的例子中，除了障碍物B11、B12之外，障碍物B13还存在于虚拟空间VS1。而且，障碍物B13在音响用的虚拟空间VS2中的虚拟反射面VS22上与障碍物B12隔开间隔d1而排列。在图11所示的例子中，RIR生成部14根据两个障碍物B12、B13的间隔d1来设定虚拟反射面VS22中的规定声音的反射率。

这样，如果考虑多个障碍物B1的间隔d1来设定虚拟反射面上的规定声音的反射率，则例如能够减小成为比间隔d1长的波长的频带的声音的反射率等，将难以穿过多个障碍物B1之间的频带的声音反映到虚拟反射面上的规定声音的反射率中。

例如，在上述的实施方式中，RIR生成部14可以在根据障碍物B1的位置变更了虚拟反射面的位置的情况下，也将音响用的虚拟空间VS2中的虚拟反射面上的反射率设定为变更前的虚拟反射面上的反射率。

例如，在上述的实施方式中，假设在空间生成部13将存在于用户U1的后方的障碍物B1的位置决定为音响用的虚拟空间VS2中的虚拟反射面的位置的情况下，虚拟空间VS1为开放空间且在障碍物B1的后方不存在虚拟壁。在该情况下，空间生成部13只要在与表示用户U1的前方以及后方的边界的边界面平行且经过障碍物B1的位置决定虚拟反射面即可。

另外，例如，上述实施方式中说明的音响再现装置可以作为具备全部构成要素的一个装置来实现，也可以通过对多个装置分配各功能并使该多个装置协作来实现。在后者的情况下，作为相当于处理模块的装置，也可以使用智能手机、平板终端或PC等信息处理装置。

另外，本公开的音响再现装置也可以作为仅与具备驱动器的再现装置连接且仅对该再现装置输出声音信号的音响处理装置来实现。在该情况下，音响处理装置可以作为具备专用的电路的硬件来实现，也可以作为用于使通用的处理器执行特定的处理的软件来实现。

另外，在上述的实施方式中，特定的处理部执行的处理也可以由其他处理部执行。另外，可以变更多个处理的顺序，也可以并行地执行多个处理。

另外，在上述的实施方式中，各构成要素也可以通过执行适于各构成要素的软件程序来实现。各构成要素也可以通过CPU(Central Processing Unit)或处理器等程序执行部读出并执行记录于硬盘或半导体存储器等记录介质的软件程序来实现。

另外，各构成要素也可以通过硬件来实现。例如，各构成要素也可以是电路(或集成电路)。这些电路可以作为整体构成一个电路，也可以分别是不同的电路。另外，这些电路可以分别是通用的电路，也可以是专用的电路。

此外，本公开的整体或具体的方式也可以通过装置、方法、集成电路、计算机程序或计算机可读取的CD-ROM等记录介质来实现。此外，本公开的整体或具体的方式也可以通过装置、方法、集成电路、计算机程序以及记录介质的任意组合来实现。

例如，本公开可以作为由计算机执行的信息处理方法来实现，也可以作为用于使计算机执行信息处理方法的程序来实现。本公开也可以作为记录有这样的程序的计算机可读取的非暂态记录介质来实现。

此外，对各实施方式实施本领域技术人员想到的各种变形而得到的方式、或者在不脱离本公开的主旨的范围内任意组合各实施方式中的构成要素以及功能而实现的方式也包含在本公开中。

工业上的可用性

本公开在使用户感知立体声音等音响再现时有用。

符号说明

1处理模块

10信息处理系统

100音响再现装置

11空间信息取得部

12位置信息取得部

13空间生成部

14RIR生成部

15声音信息取得部

16声音信号生成部

17输出部

2通信模块

200立体影像再现装置

3检测器

4驱动器

A1音源对象

A11、A12、A13、A14虚音源对象

B1、B11、B12、B13障碍物

HRIRL左耳用的头部脉冲响应

HRIRR右耳用的头部脉冲响应

IR1、IR11、IR12、IR13、IR14头部脉冲响应

L1直线

Re1混响

SW1直接音

SW11、SW12、SW13、SW14一次反射音

U1用户

VS1虚拟空间

VS11、VS12、VS13、VS14虚拟反射面

VS2音响用的虚拟空间

VS21、VS22、VS23、VS24虚拟反射面

Claims (9)

1.一种信息处理方法，

取得表示包含发出规定声音的音源对象及障碍物的虚拟空间的形状的空间信息，

取得表示在所述虚拟空间中的用户的位置及朝向的位置信息，

根据所述虚拟空间中的所述用户的位置及朝向、以及所述障碍物的位置，决定在所述虚拟空间中反射所述规定声音的虚拟反射面的位置，由此生成音响用的虚拟空间。

2.根据权利要求1所述的信息处理方法，

在所述音响用的虚拟空间的生成中，基于在所述虚拟空间中所述障碍物位于所述用户的前方以及后方中的哪一个，来决定所述虚拟反射面的位置。

3.根据权利要求2所述的信息处理方法，

在所述音响用的虚拟空间的生成中，在所述虚拟空间中所述障碍物位于所述用户的前方、且所述障碍物不存在于所述用户与所述音源对象之间的情况下，将在所述虚拟空间中沿着以所述用户为基准的进深方向的所述虚拟反射面的位置决定为在所述障碍物的位置。

4.根据权利要求2或3所述的信息处理方法，

在所述音响用的虚拟空间的生成中，在所述障碍物位于所述用户的后方且位于连结所述用户与所述音源对象的直线上的情况下，将在所述虚拟空间中沿着以所述用户为基准的横向的所述虚拟反射面的位置决定为在所述障碍物的位置。

5.根据权利要求1～3中的任一项所述的信息处理方法，

在生成的所述音响用的虚拟空间中，通过使用了虚像法的几何音响模拟，生成关于所述音源对象的室内脉冲响应，

通过对所述规定声音卷积所生成的所述室内脉冲响应和头部脉冲响应，生成用于使所述用户感知的声音信号。

6.根据权利要求5所述的信息处理方法

在所述室内脉冲响应的生成中，所述虚拟反射面上的所述规定声音的反射率被设定为位于所述虚拟反射面的所述障碍物处的所述规定声音的反射率。

7.根据权利要求5所述的信息处理方法，

在所述室内脉冲响应的生成中，在所述虚拟反射面存在多个所述障碍物的情况下，根据多个所述障碍物的间隔来设定所述虚拟反射面上的所述规定声音的反射率。

8.一种程序，

使计算机执行权利要求1～3中任一项所述的信息处理方法。

9.一种信息处理系统，具备：

空间信息取得部，取得表示包含发出规定声音的音源对象及障碍物的虚拟空间的形状的空间信息，

位置信息取得部，取得表示所述虚拟空间中的用户的位置及朝向的位置信息；以及，

空间生成部，基于所述虚拟空间中的所述用户的位置及朝向、以及所述障碍物的位置，决定在所述虚拟空间中反射所述规定声音的虚拟反射面的位置，由此生成音响用的虚拟空间。