CN117121095A - 音响特征量推测方法、音响特征量推测系统、程序及渲染方法 - Google Patents

Abstract

音响特征量推测方法是推测目标室内空间的音响特征量的音响特征量推测方法，取得表示室内空间的环境的室内环境信息(S20)，基于所取得的室内环境信息，决定音响特征量的暂定值(S30)，取得与室内空间有关的数据(S10)，基于所取得的数据，推测室内空间的状况(S40、S50)，基于推测出的状况，对暂定值进行修正(S60)，输出修正后的暂定值作为室内空间的音响特征量(S70)。

Description

音响特征量推测方法、音响特征量推测系统、程序及渲染方法

技术领域

本公开涉及音响特征量推测方法、音响特征量推测系统、程序及渲染方法。

背景技术

在专利文献1中，公开了使用测定用麦克风阵列、测定用扬声器阵列等设备取得室内空间的音响特征量(音响特性)的技术。

现有技术文献

专利文献

专利文献1：日本特开2012－242597号公报

发明内容

发明要解决的课题

此外，近年来研究了从AR(Augmented Reality：增强现实)设备对佩戴着AR设备的用户发出与该用户所处的室内空间对应的声音的技术。为了实现该技术，需要取得室内空间的音响特征量，但在专利文献1的技术中，由于需要专用的设备，所以难以容易地取得音响特征量。

所以，本公开提供能够容易地取得目标室内空间的音响特征量的音响特征量推测方法、音响特征量推测系统、程序及渲染方法。

用来解决课题的手段

有关本公开的一技术方案的音响特征量推测方法，是推测目标室内空间的音响特征量的音响特征量推测方法，取得表示上述室内空间的环境的室内环境信息，基于所取得的上述室内环境信息，决定上述音响特征量的暂定值，取得与上述室内空间有关的数据，基于所取得的上述数据，推测上述室内空间的状况，基于推测出的上述状况，对上述暂定值进行修正，输出修正后的上述暂定值作为上述室内空间的上述音响特征量。

此外，有关本公开的一技术方案的音响特征量推测系统，是推测目标室内空间的音响特征量的音响特征量推测系统，具备：第1取得部，取得表示上述室内空间的环境的室内环境信息；暂定值决定部，基于所取得的上述室内环境信息，决定上述室内空间中的音响特征量的暂定值；第2取得部，取得与上述室内空间有关的数据；室内信息推测部，基于所取得的上述数据，推测上述室内空间的状况；音响特征量推测部，基于推测出的上述状况，对上述暂定值进行修正；以及输出部，输出修正后的上述暂定值作为上述室内空间的上述音响特征量。

有关本公开的一技术方案的程序是用来使计算机执行上述音响特征量推测方法的程序。

有关本公开的一技术方案的渲染方法，是使用音响特征量对音源数据进行渲染的渲染方法，上述音响特征量是如以下这样得到的值：取得表示目标室内空间的环境的室内环境信息，基于所取得的上述室内环境信息，决定上述音响特征量的暂定值，取得与上述室内空间有关的数据，基于所取得的上述数据，推测上述室内空间的状况，基于推测出的上述状况，对上述暂定值进行修正。

发明效果

根据本公开的一技术方案，能够实现能够容易地取得作为目标的室内空间的音响特征量的音响特征量推测方法等。

附图说明

图1是用来说明与音响特征量的取得有关的课题的图。

图2是表示有关实施方式的声音数据生成系统的功能结构的框图。

图3是表示有关实施方式的包含音响特征量的暂定值的基准表的一例的图。

图4是表示有关实施方式的音响特征量推测系统的动作的流程图。

图5是表示图4所示的步骤S40的动作的流程图。

图6是表示图4所示的步骤S50的动作的流程图的第1例。

图7是表示图4所示的步骤S50的动作的流程图的第2例。

具体实施方式

(达成本公开的经过)

在说明本公开之前，参照图1对达成本公开的经过进行说明。图1是用来说明与音响特征量的取得有关的课题的图。另外，在本说明书中，音响特征量是在房间等的室内空间中对声音信号(声音数据)进行渲染时需要的信息，并且是用来对该声音信号施加与该室内空间相应的修正(进行修正)的信息。

音响特征量至少包括混响时间。混响时间是从声音停止到衰减规定的声压(例如60dB)为止的时间长度，例如通过赛宾的混响公式等计算。此外，音响特征量也可以还包括反射率及吸音率中的至少一方。反射率是反射声压的大小相对于向对象入射的入射声压的比率。吸音率是没有被反射回来的声音的能量相对于所入射的声音的能量的比率。

这里，室内空间只要是某种程度封闭的空间即可，可以列举起居室、大厅、会议室、走廊、楼梯、卧室等。此外，作为目标的室内空间例如也可以是佩戴着AR设备100的用户所处的室内空间或用户计划使用的的室内空间。

AR设备100是能够实现增强现实(Augmented Reality：AR)的设备，例如是用户能够佩戴的眼镜型的AR可穿戴终端(所谓的智能眼镜)或AR用的头戴显示器，但也可以是智能电话或平板电脑型信息终端等的便携终端。另外，增强现实是指使用信息处理装置对现实际空间的景色、地形、物体等的现实环境再添加信息的技术。

AR设备100具备显示部、相机、扬声器、麦克风、处理器、存储器等。此外，AR设备100也可以具备深度传感器、GPS(Global Positioning System)传感器等。深度传感器例如是检测由相机拍摄的图像中包含的对象与规定位置的距离的传感器。深度传感器例如是红外线传感器。另外，规定位置是佩戴了AR设备100的用户的当前位置，但并不限定于此，也可以是被预先设定在室内空间中的基准位置。

用户能够在佩戴AR设备100的状态下在音响特征量相互不同的房间中往返。在图1的例子中，用户能够在房间的尺寸、对象的数量及种类不同的第1房间(室内空间R1)、第2房间(室内空间R2)及第3房间(室内空间R3)中往返。在这样的情况下，为了从AR设备100发出与房间的室内空间相应的声音，需要事前取得第1房间、第2房间及第3房间各自的实际空间的特征。实际空间的特征包括房间的大小、在哪里放置有对象、以及音响特征量。在图1的例子中，音响特征量包括与第1房间的室内空间R1对应的第1音响特征量、与第2房间的室内空间R2对应的第2音响特征量以及与第3房间的室内空间R3对应的第3音响特征量。音响特征量是表示在房间中有何种程度的声音鸣响、反射的程度等的信息。

另外，由于房间的尺寸、房间内的对象的数量、对象的材质、建筑构造、建筑材料等而来自地板、墙壁、对象的声音的反射特性等变化，所以音响特征量也变化。例如，第1音响特征量、第2音响特征量及第3音响特征量可能成为相互不同的音响特征量。

例如，也能够使用专利文献1所公开的技术取得室内空间R1、R2及R3各自的音响特征量，但需要对第1房间、第2房间及第3房间各自设置专用的设备，需要时间和工作量。此外，由于能够在佩戴AR设备100的状态下自由地在房间等中往返，所以针对各个房间等使用专用的设备来取得音响特征量并不现实。

所以，本申请的发明人对于能够容易地取得作为目标的室内空间的音响特征量的音响特征量推测方法等进行专门研究，发明了以下说明的音响特征量推测方法等。

有关本公开的一技术方案的音响特征量推测方法，是推测目标室内空间的音响特征量的音响特征量推测方法，取得表示上述室内空间的环境的室内环境信息；基于所取得的上述室内环境信息，决定上述音响特征量的暂定值；取得与上述室内空间有关的数据；基于所取得的上述数据，推测上述室内空间的状况；基于推测出的上述状况，对上述暂定值进行修正；输出修正后的上述暂定值作为上述室内空间的上述音响特征量。

由此，根据本公开的音响特征量推测方法，通过取得室内空间的音响特征量的暂定值并根据室内空间的状况对所取得的暂定值进行修正，来推测该室内空间的音响特征量。即，根据本公开的音响特征量推测方法，不用使用专用的设备取得音响特征量就能够取得音响特征量。因此，根据本公开的音响特征量推测方法，能够容易地取得作为目标的室内空间的音响特征量。

此外，例如也可以是，作为上述状况，基于上述数据推测上述室内空间的第1尺寸及与配置在上述室内空间中的对象有关的信息中的至少一方，在上述暂定值的修正中，基于推测出的上述至少一方对上述暂定值进行修正。

由此，能够基于室内空间的尺寸及对象来对暂定值进行修正。即，根据本公开的音响特征量推测方法，不用使用专用的设备取得音响特征量就能够取得精度更高的音响特征量。因此，根据本公开的音响特征量推测方法，能够取得作为目标的室内空间的精度高的音响特征量。另外，精度高是指更接近于室内空间的实际的音响特征量。

此外，例如也可以是，上述音响特征量包括上述室内空间的混响时间，在上述暂定值的修正中，基于上述第1尺寸对上述混响时间的上述暂定值进行修正。

由此，能够根据室内空间的尺寸自动地对混响时间的暂定值进行修正。

此外，例如也可以是，基于上述第1尺寸以及与上述环境对应的基准室内空间的第2尺寸，判定是否对上述混响时间的上述暂定值进行修正，在上述暂定值的修正中，在判定为对上述混响时间的上述暂定值进行修正的情况下，对上述混响时间的上述暂定值进行修正。

由此，根据室内空间的尺寸，仅在需要的情况下推测音响特征量，所以能够减少用来推测音响特征量的处理量。

此外，例如也可以是，在上述第1尺寸比上述第2尺寸大的情况下，进行使上述混响时间的上述暂定值变长的修正，在上述第1尺寸比上述第2尺寸小的情况下，进行使上述混响时间的上述暂定值变短的修正。

由此，能够容易地取得与室内空间的尺寸相应的精度更高的音响特征量。

此外，例如也可以是，上述音响特征量包括上述室内空间的混响时间，在上述暂定值的修正中，基于与上述对象有关的信息对上述混响时间的上述暂定值进行修正。

由此，能够根据与对象有关的信息自动地对混响时间的暂定值进行修正。

此外，例如也可以是，在判定为对上述混响时间的上述暂定值进行修正的情况下，基于上述数据推测配置在上述室内空间中的上述对象的材质及形状中的至少1个，在上述暂定值的修正中，基于所确定的上述对象的材质及形状中的上述至少1个，对上述混响时间的上述暂定值进行修正。

由此，能够取得与对象的材质及形状中的至少1个相应的精度更高的音响特征量。

此外，例如也可以是，在上述室内环境信息的取得中，通过基于上述数据推测上述室内环境信息，来取得上述室内环境信息。

由此，室内环境也能够基于数据自动地取得，所以能够更容易地取得音响特征量。

此外，例如也可以是，上述室内空间的上述音响特征量用于AR(AugmentedReality)设备中的声音信号的渲染，上述室内环境信息及上述数据是从上述AR设备取得的。

由此，不用准备摄像装置等其他装置，仅通过佩戴AR设备的用户进入房间，就能够自动地取得该房间的室内空间的音响特征量。

此外，例如也可以是，上述环境包含表示上述室内空间的用途的信息。

由此，仅通过取得表示室内空间的用途的信息，就能够推测室内空间的音响特征量的暂定值。

此外，有关本公开的一技术方案的音响特征量推测系统，是推测目标室内空间的音响特征量的音响特征量推测系统，具备：第1取得部，取得表示上述室内空间的环境的室内环境信息；暂定值决定部，基于所取得的上述室内环境信息，决定上述室内空间中的音响特征量的暂定值；第2取得部，取得与上述室内空间有关的数据；室内信息推测部，基于所取得的上述数据，推测上述室内空间的状况；音响特征量推测部，基于推测出的上述状况，对上述暂定值进行修正；以及输出部，输出修正后的上述暂定值作为上述室内空间的上述音响特征量。此外，有关本公开的一技术方案的程序是用来使计算机执行上述音响特征量推测方法的程序。

由此，起到与上述音响特征量推测方法同样的效果。

另外，这些包含性或具体的技术方案也可以由系统、方法、集成电路、计算机程序或计算机可读取的CD－ROM等的非暂时性的记录介质实现，也可以由系统、方法、集成电路、计算机程序及记录介质的任意的组合来实现。程序既可以预先存储在记录介质中，也可以经由包括因特网等的广域通信网被供给到记录介质中。

以下，参照附图对实施方式进行具体的说明。

另外，以下说明的实施方式都表示包含性或具体的例子。在以下的实施方式中表示的数值、形状、材料、构成要素、构成要素的配置位置及连接形态、步骤、步骤的顺序等是一例，不是限定本公开的意思。此外，关于以下的实施方式的构成要素中的、在独立权利要求中没有记载的构成要素，设为任意的构成要素进行说明。

此外，各图是示意图，并不一定是严密地图示的。因而，例如在各图中比例尺等并不一定一致。此外，在各图中，对于实质上相同的结构赋予相同的附图标记，将重复的说明省略或简略化。

此外，在本说明书中，数值及数值范围不是仅表示严格的意义的表现，而是意味着实质上等同的范围、例如包含几个百分点左右(例如10％左右)的差异的表现。

(实施方式)

以下，参照图2～图7对包括有关本实施方式的音响特征量推测系统的声音数据生成系统进行说明。

[1.声音数据生成系统的结构]

首先，参照图2对有关本实施方式的声音数据生成系统的结构进行说明。图2是表示有关本实施方式的声音数据生成系统1的功能结构的框图。声音数据生成系统1是用来生成声音数据以从AR设备100的扬声器发出与室内空间相应的声音的信息处理系统。

如图2所示，声音数据生成系统1具备取得部11、室内信息推测部12、暂定值决定部13、第1修正值计算部14、第2修正值计算部15、音响特征量推测部16、存储部17和渲染部20。在本实施方式中，声音数据生成系统1内置在用户佩戴的AR设备100中。声音数据生成系统1由AR设备100具备的包括处理器、存储器等的计算机等实现。在声音数据生成系统1中，通过由处理器按照存储在存储器中的程序动作，实现图2所示的各功能结构。

由取得部11、室内信息推测部12、暂定值决定部13、第1修正值计算部14、第2修正值计算部15、音响特征量推测部16和存储部17构成音响特征量推测系统10。音响特征量推测系统10是推测作为目标的室内空间的音响特征量的信息处理系统。音响特征量推测系统10不使用用来取得音响特征量的专用的设备就能够推测作为目标的室内空间的音响特征量。

取得部11取得拍摄作为目标的室内空间而得到的图像数据。取得部11例如取得拍摄作为目标的室内空间的整体而得到的图像数据。此外，取得部11例如取得拍摄有配置在作为目标的室内空间中的对象(室内对象)的图像。室内对象是地板、墙壁、顶棚等的建材以外的可能对音响特征量带来影响的物体，例如可以例示桌子、椅子、床、窗帘、地毯、沙发、窗户等，但并不限定于这些。另外，以下将配置在室内空间中记作配置在房间中。图像数据是与室内空间有关的数据的一例。

取得部11既可以从AR设备100取得图像数据，也可以从设置在室内空间中的摄像装置取得图像数据。取得部11是第2取得部的一例。

另外，对取得部11取得图像数据的例子进行了说明，但也可以代替图像数据或与图像数据一起取得由光学传感器、电波传感器、超声波传感器等的测距传感器得到的室内空间的感测数据。测距传感器例如搭载于AR设备100。

室内信息推测部12取得包括目标室内空间的室内环境的室内环境信息。室内环境表示示出目标室内空间的用途的信息，例如可以例示起居室、大厅、会议室、走廊、楼梯、卧室等。

室内信息推测部12例如通过基于取得部11所取得的图像数据推测室内环境来取得室内环境信息。室内信息推测部12例如可以通过对图像数据进行图像解析来推测室内环境，也可以将通过对机器学习模型输入经由取得部11取得的图像数据而得到的输出推测为室内环境，上述机器学习模型是以图像数据为输入数据，以室内环境为正解信息预先进行学习而得到的。此外，室内信息推测部12例如也可以通过对按钮等操作部的操作或声音从用户取得室内环境。即，室内环境并不限定于基于图像数据推测。室内信息推测部12作为取得室内环境信息的第1取得部发挥功能。

此外，室内信息推测部12基于图像数据，推测用来对暂定值决定部13所决定的音响特征量的暂定值进行修正的信息。室内信息推测部12基于取得部11所取得的图像数据，推测当前时间点的室内空间的状况。室内空间的状况包括房间的尺寸及与室内对象有关的信息中的至少一方。在本实施方式中，室内空间的状况包含房间的尺寸及与室内对象有关的信息双方。表示室内空间的状况的信息是室内环境信息的一例。另外，以下将房间的尺寸也记作室内空间的尺寸。

暂定值决定部13基于室内信息推测部12所推测的室内环境，决定目标室内空间的音响特征量的暂定值。音响特征量的暂定值是根据室内环境而初始设定的音响特征量的值(例如代表值)，不是室内空间的正确的音响特征量，而是大致的音响特征量。例如，音响特征量的暂定值也可以是与室内空间的用途相应的平均的音响特征量的值。暂定值决定部13使用将室内环境与音响特征量的暂定值建立了对应的基准表来决定目标室内空间的音响特征量的暂定值。

这里，参照图3对基准表进行说明。图3是表示有关本实施方式的包含音响特征量的暂定值的基准表的一例的图。另外，图3所示的基准表被预先设定并存储在存储部17中。

如图3所示，基准表中作为项目而包括“No.”、“名称”、“尺寸(L×W×H)”、“混响时间”、“材质”。

“No.”是识别信息，例如从1起按顺序赋予。“名称”相当于上述的室内环境，表示室内空间的用途。“尺寸(L×W×H)”表示室内空间的大小。图3所示的尺寸是第2尺寸的一例。“混响时间”表示音响特征量的暂定值。“材质”表示室内空间被配置的建筑物的建筑构造、建筑材料。

在No.1的情况下，表示室内空间是会议室、会议室的尺寸是进深4m×宽度6m×高度2.8m、材质是钢筋、石膏面板的情况下的混响时间的暂定值为300ms。

在No.2的情况下，表示室内空间是起居室、起居室的尺寸是进深5m×宽度5m×高度2.4m、材质是木构造、石膏面板的情况下的混响时间的暂定值为280ms。

在No.3的情况下，表示室内空间是大厅、大厅的尺寸是进深10m×宽度12m×高度5m、材质是钢筋、混凝土(图3中的“混凝土”)的情况下的混响时间的暂定值为450ms。

“尺寸”及“材质”是室内空间具有音响特征量的暂定值的特性时的条件(暂定条件)。如果“尺寸”及“材质”中的至少一方变化，则音响特征量的暂定值也可能变化。

另外，基准表也可以针对规定的频带分别制作。在此情况下，暂定值决定部13也可以针对规定的频带分别决定混响时间的暂定值。规定的频带被预先设定。规定的频带例如也可以是倍频带。此外，在对规定的频带分别制作的基准表中，名称、尺寸、材质是共用的信息。

另外，基准表只要作为音响特征量的暂定值而至少包含混响时间即可。此外，音响特征量的暂定值也可以包含室内空间的物体的反射率或吸音率。

另外，“材质”也可以包含配置在室内空间中的对象的材质。对象的材质是皮革、布、玻璃、木材等，但并不限定于此。

再次参照图2，第1修正值计算部14基于房间的尺寸(室内空间的尺寸)，计算用来对音响特征量的暂定值进行修正的第1修正值。由于房间的尺寸主要对混响时间带来影响，所以第1修正值计算部14例如计算用来对混响时间进行修正的第1修正值。在针对规定的频带分别制作了基准表的情况下，第1修正值计算部14对规定的频带分别计算第1修正值。

第2修正值计算部15基于与对象有关的信息，计算用来对音响特征量的暂定值进行修正的第2修正值。由于与对象有关的信息主要对混响时间及反射率带来影响，所以第2修正值计算部15例如计算用来对混响时间及反射率中的至少一方进行修正的第2修正值。在针对规定的频带分别制作了基准表的情况下，第2修正值计算部15对规定的频带分别计算第2修正值。

音响特征量推测部16基于第1修正值及第2修正值中的至少一方和音响特征量的暂定值，推测室内空间的音响特征量。音响特征量推测部16基于第1修正值及第2修正值中的至少一方，进行使针对室内空间推测出的大致的音响特征量(音响特征量的暂定值)接近于该室内空间的实际的音响特征量的修正。在本实施方式中，音响特征量推测部16基于第1修正值及第2修正值各自和音响特征量的暂定值，推测室内空间的音响特征量。音响特征量推测部16也可以通过对第1修正值及第2修正值各自和音响特征量的暂定值进行规定的运算，来计算室内空间的音响特征量。规定的运算例如是四则运算等，但并不限定于此。

存储部17存储图3所示的基准表及各种程序等。存储部17例如由半导体存储器实现，但并不限定于此。

渲染部20使用音响特征量推测系统10推测出的音响特征量，对原本保存的音源数据进行渲染。此外，渲染部20在用户在室内空间中移动了的情况下，取得用户的位置信息，基于该位置信息和事前推测出的音响特征量，对音源数据进行渲染。由此，能够将从配置在目标室内空间中的现实或虚拟的设备(音源)发出的声音再现为与目标室内空间的音响特征量及位置相应的声音。例如，在用户接近于音源或反射率高的对象的情况下，能够使从AR设备100发出的声音变化为与接近于该音源或对象的情况相应的声音。另外，渲染是根据室内空间的室内环境来调整音源数据，以使声音以规定的音量并且从规定的出声位置发出的处理。

如上述那样，有关本实施方式的音响特征量推测系统10基于目标室内空间的室内环境决定音响特征量的暂定值，利用基于该目标室内空间的图像数据的修正值对该音响特征量的暂定值进行修正，从而不使用用于取得音响特征量的专用的设备就推测该目标室内空间的音响特征量。这样的音响特征量推测系统10例如具备：室内信息推测部12，取得(例如推测)作为目标的室内空间的室内环境；暂定值决定部13，基于所取得的室内环境，决定室内空间中的音响特征量的暂定值；取得部11，取得拍摄室内空间而得到的图像数据(与室内空间有关的数据的一例)；室内信息推测部12，基于图像数据，推测室内空间的状况；以及音响特征量推测部16，基于推测出的状况对暂定值进行修正，并输出修正后的暂定值作为室内空间的音响特征量。

[2.音响特征量推测系统的动作]

接着，参照图4～图7对如上述那样构成的音响特征量推测系统10中的动作进行说明。图4是表示有关本实施方式的音响特征量推测系统10的动作(音响特征量推测方法)的流程图。图4所示的流程图例如可以在佩戴AR设备100的用户最初进入到室内空间时进行，也可以在每当进入到室内空间时进行。此外，图4所示的动作在进行渲染部20的渲染之前执行。另外，以下说明对音响特征量中的混响时间进行修正的例子。

如图4所示，取得部11取得目标室内空间的图像数据(S10)。图像数据既可以是一张也可以是多张。取得部11将所取得的图像数据向室内信息推测部12输出。此外，取得部11也可以将所取得的图像数据存储到存储部17中。

接着，室内信息推测部12基于图像数据，推测目标室内空间的室内信息(S20)。室内信息推测部12推测表示室内空间的环境(室内环境)的室内环境信息作为室内信息。室内信息推测部12也可以说是推测佩戴AR设备100的用户所在的房间的用途。室内信息推测部12基于图像数据，将起居室、大厅、会议室等的室内空间的用途推测为室内环境，将推测出的室内环境向暂定值决定部13输出。

接着，暂定值决定部13基于室内环境，决定目标室内空间的音响特征量的暂定值(S30)。暂定值决定部13从图3所示的基准表中选择与室内环境对应的混响时间，将所选择的混响时间决定为该目标室内空间的音响特征量的暂定值。暂定值决定部13将所决定的音响特征量的暂定值向音响特征量推测部16输出。此外，暂定值决定部13也可以将所决定的音响特征量的暂定值向第1修正值计算部14及第2修正值计算部15输出。此外，暂定值决定部13也可以将所决定的音响特征量的暂定值存储到存储部17中。另外，音响特征量的暂定值既可以是在规定的频带各自中不同的值，也可以是共用的值。

接着，第1修正值计算部14计算基于房间的尺寸的第1修正值(S40)。步骤S40的详细情况后述。第1修正值计算部14将计算出的第1修正值向音响特征量推测部16输出。另外，第1修正值既可以是在规定的频带各自中不同的值，也可以是共用的值。

接着，第2修正值计算部15计算基于配置在房间中的对象的第2修正值(S50)。步骤S50的详细情况后述。第2修正值计算部15将计算出的第2修正值向音响特征量推测部16输出。另外，第2修正值既可以是在规定的频带各自中不同的值，也可以是共用的值。

接着，音响特征量推测部16基于音响特征量的暂定值、第1修正值及第2修正值，推测室内空间的音响特征量(S60)。音响特征量推测部16通过根据第1修正值及第2修正值对音响特征量的暂定值进行修正，推测室内空间的音响特征量。音响特征量推测部16例如基于第1修正值及第2修正值，对混响时间的暂定值进行修正。暂定值的修正是对暂定值加减或乘除修正值，但并不限定于此。

另外，基于第1修正值对混响时间的暂定值进行修正是基于房间的尺寸对混响时间的暂定值进行修正的一例。此外，基于第2修正值对混响时间的暂定值修正是基于与对象有关的信息对混响时间的暂定值进行修正的一例。

步骤S60是基于推测出的室内空间的状况对暂定值进行修正的处理，在本实施方式中是使用第1修正值及第2修正值对音响特征量的暂定值进行修正的处理。通过步骤S60的处理，能够将与室内环境对应的平均的音响特征量修正为与该室内空间的状况相应的音响特征量。

另外，在步骤S60中，也可以除了修正后的混响时间，还使用基于反射率的表决定的室内空间内的物体的反射率来推测音响特征量。

接着，音响特征量推测部16将推测出的音响特征量向渲染部20输出(S70)。通过由渲染部20基于从音响特征量推测部16取得的音响特征量对音源数据进行渲染，能够从AR设备100的扬声器发出与该室内空间的音响特征量相应的声音。音响特征量推测部16作为输出修正后的暂定值的输出部发挥功能。

另外，也可以将图4所示的步骤S40及S50的处理并行地执行。

这里，再参照图5～图7对步骤S40及S50的处理进行说明。图5是表示图4所示的步骤S40的动作(音响特征量推测方法)的流程图。

如图5所示，室内信息推测部12基于取得部11所取得的图像数据，推测房间的尺寸(S41)。室内信息推测部12例如通过对图像数据进行图像解析来推测房间的尺寸。室内信息推测部12将推测出的房间的尺寸向第1修正值计算部14输出。室内信息推测部12推测的房间的尺寸是第1尺寸的一例。另外，步骤S41的处理也可以与图4所示的步骤S20并行地执行。

接着，第1修正值计算部14基于推测出的房间的尺寸(第1尺寸)和与推测出的室内环境对应的房间的尺寸(第2尺寸)，判定是否需要进行暂定值决定部13所决定的暂定值的修正(S42)。第1修正值计算部14在第1尺寸与第2尺寸的差分在规定范围内的情况下，判定为不需要修正，在该差分在规定范围外的情况下判定为需要修正。步骤S42是判定是否对混响时间的暂定值进行修正的一例。

接着，第1修正值计算部14在判定为需要进行暂定值的修正的情况下(S42中为“是”)，进一步判定房间的尺寸是否比基准尺寸大(S43)。基准尺寸是第2尺寸，但并不限定于此。

接着，第1修正值计算部14在判定为房间的尺寸比基准尺寸大的情况下(S43中为“是”)，计算用来使混响时间变长的第1修正值(S44)。即，第1修正值计算部14计算用来将混响时间的暂定值修正为更长的混响时间的第1修正值。第1修正值计算部14也可以根据房间的尺寸与基准尺寸的差分来计算第1修正值。第1修正值计算部14在房间的尺寸与基准尺寸的差分是第1差分的情况下，也可以以成为比该差分是第2差分的情况大的值的方式计算第1修正值，第2差分比第1差分小。第1修正值计算部14也可以以房间的尺寸与基准尺寸的差分越大则为越大的值的方式计算第1修正值。例如，在音响特征量推测部16通过加减法推测音响特征量的情况下，第1修正值是正值，在音响特征量推测部16通过乘除法推测音响特征量的情况下，第1修正值为大于1的值。

此外，第1修正值计算部14在判定为房间的尺寸比基准尺寸小的情况下(S43中为“否”)，计算用来将混响时间修正得较短的第1修正值(S45)。即，第1修正值计算部14计算用来将混响时间的暂定值修正为更短的混响时间的第1修正值。第1修正值计算部14也可以根据房间的尺寸与基准尺寸的差分来计算第1修正值。第1修正值计算部14在房间的尺寸与基准尺寸的差分是第1差分的情况下，也可以以成为绝对值比该差分是第2差分的情况大的值的方式计算第1修正值，第2差分比第1差分小。第1修正值计算部14也可以以房间的尺寸与基准尺寸的差分越大则为绝对值越大的值的方式计算第1修正值。例如，在音响特征量推测部16通过加减法推测音响特征量的情况下，第1修正值是负值，在音响特征量推测部16通过乘除法推测音响特征量的情况下，第1修正值为小于1的值。

第1修正值计算部14也可以基于表示差分与第1修正值的对应关系的表或计算式来计算第1修正值。表或计算式也可以被预先设定并存储在存储部17中。

在判定为不需要进行暂定值的修正的情况下(S42中为“否”)，或者在进行步骤S44或S45的处理后，前进到图4所示的步骤S50。

由此，在基于第1尺寸及第2尺寸判定为对混响时间的暂定值进行修正的情况下，能够根据基于第1尺寸的音响特征量对该混响时间的暂定值进行修正。此外，通过进行步骤S44或S45，能够在第1尺寸比第2尺寸大的情况下进行使混响时间的暂定值变长的修正，在第1尺寸比第2尺寸小的情况下进行使混响时间的暂定值变短的修正。

接着，参照图6及图7对图4所示的步骤S50的动作进行说明。图6是表示图4所示的步骤S50的动作(音响特征量推测方法)的流程图的第1例。

如图6所示，室内信息推测部12基于取得部11所取得的图像数据，推测配置在房间中的对象的数量(S51)。室内信息推测部12例如通过对图像数据进行图像解析，推测配置在房间中的对象的数量。室内信息推测部12将推测出的对象的数量向第2修正值计算部15输出。表示对象的数量的信息是与对象有关的信息的一例。另外，步骤S51的处理也可以与图4所示的步骤S20或图5所示的步骤S41并行地执行。另外，在步骤S51中，也可以代替对象的材质或与对象的材质一起推测对象的形状。

接着，第2修正值计算部15基于表示对象的数量的信息，判定是否需要进行暂定值决定部13所决定的暂定值的修正(S52)。第2修正值计算部15基于推测出的对象的数量(第1对象的数量)和作为基准的对象的数量(第2对象的数量)进行步骤S52的判定。

在第1对象的数量多的情况下，对象及地板、墙壁、顶棚等建材之中对象对室内空间的音响特征量带来的影响程度相对变高。此外，在第1对象的数量少的情况下，对象及地板、墙壁、顶棚等建材之中建材对室内空间的音响特征量带来的影响程度相对变高。因此，在图6的例子中，根据对象的数量判定是否对音响特征量的暂定值进行修正。

第2修正值计算部15在第1对象的数量与第2对象的数量的差分在规定范围内的情况下，判定为不需要修正，在该差分在规定范围外的情况下，判定为需要修正。另外，作为基准的对象的数量既可以是与推测出的室内环境对应的对象的数量，也可以是室内环境中共用的对象的数量。在作为基准的对象的数量是与推测出的室内环境对应的对象的数量的情况下，也可以按图3所示的基准表的每个名称将作为基准的对象的数量建立对应。

接着，第2修正值计算部15在判定为需要进行暂定值的修正的情况下(S52中为“是”)，还基于图像数据推测配置在房间中的对象的材质(这里是对象的原材料)(S53)。第2修正值计算部15也可以通过图像数据的图像解析来推测对象的材质。第2修正值计算部15也可以通过图像数据的图像解析来推测对象的种类，将与推测出的种类相应的材质推测为是该对象的材质。在对象由多种材质构成的情况下，在步骤S53中也可以仅推测主要的材质。另外，在步骤S53中，也可以代替对象的材质或与对象的材质一起推测对象的形状。

接着，第2修正值计算部15基于对象的材质，判定对象的吸音率是否是规定值以上(S54)。例如，在对象是窗帘、沙发、床等的情况下，由于材质是布的情况较多且柔软，所以这些对象的吸音率高。例如，这些对象与建材相比吸音率高。此外，例如在对象是窗户等的情况下，由于材质是玻璃的情况较多且硬，所以这些对象的吸音率低。有如果吸音率高则混响时间变短、如果吸音率高则混响时间变长的趋势，所以通过进行步骤S54的判定，能够进行与对象相应的混响时间的修正。另外，规定值及每种材质的吸音率被预先设定并存储在存储部17中。

另外，在步骤S54中，也可以代替吸音率的判定而判定对象是否包含规定的材质(例如，具有规定值以上的吸音率的材质)。

第2修正值计算部15在对象有多个的情况下，既可以将多个对象的吸音率的统计值(例如，平均值、中位数、众数、最大值、最小值等中的某一个)与规定值比较，也可以将多个对象各自的吸音率与规定值单独比较。

接着，第2修正值计算部15在判定为对象的吸音率是规定值以上的情况下(S54中为“是”)，计算用来使混响时间变短的第2修正值(S55)。即，第2修正值计算部15计算用来将混响时间的暂定值修正为更短的混响时间的第2修正值。第2修正值计算部15在步骤S55中，也可以根据对象的吸音率与规定值的差分来计算第2修正值。

此外，第2修正值计算部15在判定为对象的吸音率小于规定值的情况下(S54中为“否”)，计算用来使混响时间变长的第2修正值(S56)。即，第2修正值计算部15计算用来将混响时间的暂定值修正为更长的混响时间的第2修正值。修正值计算部15在步骤S56中，也可以根据对象的吸音率与规定值的差分来计算第2修正值。

这样，第2修正值计算部15基于推测出的对象的材质，对混响时间的暂定值进行修正。第2修正值计算部15在对象的吸音率是规定值以上的情况下，也可以以成为比对象的吸音率小于规定值的情况更大的值的方式计算第2修正值。例如，在音响特征量推测部16通过加减法推测音响特征量的情况下，在步骤S55中计算的第2修正值是负值，在音响特征量推测部16通过乘除法推测音响特征量的情况下，在步骤S55中计算的第2修正值为大于1的值。

第2修正值计算部15也可以基于表示对象的吸音率及规定值的差分与第2修正值的对应关系的表或计算式来计算第2修正值。表或计算式也可以被预先设定并存储在存储部17中。

在判定为不需要进行暂定值的修正的情况下(S52中为“否”)，或者在进行步骤S55或S56的处理之后，前进到图4所示的步骤S60。

另外，与对象有关的信息并不限定于对象的数量。与对象有关的信息也可以包含与室内空间的地板面积有关的信息。参照图7对使用地板面积计算第2修正值的例子进行说明。图7是表示图4所示的步骤S50的动作(音响特征量推测方法)的流程图的第2例。以下，说明使用基准面积及实际面积之比的例子。基准面积及实际面积之比是用来判定对象的数量是多还是少的值。

如图7所示，室内信息推测部12基于取得部11所取得的图像数据，推测室内空间的地板面积(基准面积)及实际能看到的地板的地板面积(实际面积)(S61、S62)。基准面积是地板整体的面积(不考虑对象的面积)，实际面积是将因对象而不能看到的地板的部分除去后的面积(考虑到对象的面积)，是在现实的室内空间中露出的地板的面积。室内信息推测部12也可以基于图像数据的空间网格的信息等来推测基准面积及实际面积。

另外，实际面积少表示配置在地板上的对象的数量多，是该对象对室内空间的音响特征量带来的影响大的状况。此外，实际面积多表示配置在地板上的对象的数量少，是该对象对室内空间的音响特征量带来的影响小的状况。

接着，第2修正值计算部15基于基准面积及实际面积，判定是否需要进行暂定值的修正(S52a)。第2修正值计算部15也可以基于基准面积及实际面积之比(例如，实际面积/基准面积)来判定是否需要进行暂定值的修正。第2修正值计算部15基于面积之比是否是规定面积以上，判定是否需要进行暂定值的修正。第2修正值计算部15也可以在面积比小于规定面积的情况下判定为需要进行暂定值的修正。面积之比是表示对象的数量的信息的一例。

由此，能够在面积之比小，例如实际面积小的情况、室内空间中配置有较多的对象且与地板、墙壁的材质相比由对象带来的反射对于房间的音响特征量而言是支配性的情况下，对暂定值进行修正。

(其他实施方式)

以上，基于实施方式对有关一个或多个技术方案的音响特征量推测方法等进行了说明，但本公开并不限定于该实施方式。只要不脱离本公开的主旨，对本实施方式施以本领域技术人员想到的各种变形后的形态、或将不同实施方式的构成要素组合而构建的形态也可以也包含在本公开中。

例如，在上述实施方式中，对音响特征量推测系统搭载于AR设备的例子进行了说明，但并不限定于此。音响特征量推测系统也可以搭载或连接于在室内使用并发出声音的任何的其他装置。其他装置既可以是固定安装型的音频设备，也可以是游戏机(例如便携式游戏机)。

此外，在上述实施方式中，对与室内空间有关的数据是图像数据的例子进行了说明，但与室内空间有关的数据并不限定于图像数据，也可以是能够推测房间的尺寸、配置在房间中的对象的数量等的感测数据。与室内空间有关的数据例如也可以是由光学传感器、电波传感器、超声波传感器等的测距传感器得到的感测数据。

此外，上述实施方式也可以作为取得通过图4所示的步骤S10～S70所示的音响特征量推测方法推测的音响特征量，基于所取得的音响特征量对音源数据进行渲染的渲染方法来实现。例如，渲染部取得音响特征量推测系统推测出的音响特征量，基于所取得的音响特征量对音源数据进行渲染。

此外，在上述实施方式中，对在步骤S55及S56中基于对象的吸音率计算第2修正值的例子进行了说明，但并不限定于此，也可以根据对象的数量或面积比来计算第2修正值。例如，第2修正值也可以基于具有规定值以上的吸音率的对象的数量来计算。例如，也可以是具有规定值以上的吸音率的对象的数量越多则计算越高的第2修正值(使混响时间更短的第2修正值)。此外，例如也可以是具有小于规定值的吸音率的对象的数量越多则计算越低的第2修正值(使混响时间更长的第2修正值)。此外，例如第2修正值也可以基于具有规定值以上的吸音率的对象的面积与基准面积的面积比(例如，(具有规定值以上的吸音率的对象的面积)/基准面积)来计算。也可以是面积比越大则计算越高的第2修正值(例如，使混响时间更短的第2修正值)。例如，也可以基于将面积比与修正混响时间的修正值建立了对应的表来计算第2修正值。

此外，在上述实施方式中，用数值表示了房间的尺寸(L×W×H)，但例如房间的尺寸也可以是宽敞、中等、狭小等的等级性的。此外，在上述实施方式中，用数值表示了音响特征量，但音响特征量例如也可以是大、中、小等的等级性的。

此外，上述实施方式的图像数据既可以是静止图像数据，也可以是运动图像数据。

此外，上述实施方式的图像解析也可以采用已知的任何的方法。

此外，在上述实施方式等中，各构成要素也可以由专用的硬件构成，或通过执行适合于各构成要素的软件程序来实现。各构成要素也可以通过由CPU或处理器等程序执行部读出被记录在硬盘或半导体存储器等记录介质中的软件程序并执行来实现。

此外，流程图中的各步骤的执行顺序是为了具体地说明本公开而例示的，也可以是上述以外的顺序。此外，上述步骤的一部分也可以与其他步骤同时(并行)执行，也可以不执行上述步骤的一部分。

此外，框图中的功能块的划分是一例，也可以将多个功能块作为一个功能块实现，或将一个功能块划分为多个，或将一部分功能转移到其他功能块中。此外，也可以由单一的硬件或软件将具有类似的功能的多个功能块的功能并行或分时地处理。

此外，上述有关实施方式的音响特征量推测系统既可以作为单一的装置实现，也可以由多个装置实现。在音响特征量推测系统由多个装置实现的情况下，该音响特征量推测系统所具有的各构成要素怎样分配给多个装置都可以。在音响特征量推测系统由多个装置实现的情况下，该多个装置间的通信方法没有特别限定，既可以是无线通信，也可以是有线通信。此外，在装置间也可以将无线通信及有线通信组合。

此外，在上述实施方式中说明的各构成要素既可以作为软件实现，典型地也可以作为集成电路即LSI实现。这些既可以单独地形成1个芯片，也可以以包含一部分或全部的方式形成1个芯片。这里设为LSI，但根据集成度的差异，也有称作IC、系统LSI、超级LSI、超大规模LSI的情况。此外，集成电路化的方法并不限于LSI，也可以由专用电路(执行专用的程序的通用电路)或通用处理器实现。也可以利用在LSI制造后能够编程的FPGA(FieldProgrammable Gate Array现场可编程门阵列)、或能够重构LSI内部的电路单元的连接或设定的可重构处理器。进而，如果通过半导体技术的进步或派生的其他技术而出现替代LSI的集成电路化的技术，则当然也可以利用该技术进行构成要素的集成化。

系统LSI是将多个处理部集成在1个芯片上而制造的超多功能LSI，具体而言是包括微处理器、ROM(Read Only Memory)、RAM(Random Access Memory)等而构成的计算机系统。在ROM中存储有计算机程序。通过由微处理器按照计算机程序动作，系统LSI达成其功能。

此外，本公开的一技术方案也可以是使计算机执行图4～图7的任一个所示的音响特征量推测方法所包含的特征性的各步骤的计算机程序。此外，本公开的一技术方案也可以是使计算机执行上述所记载的渲染方法中包含的特征性的各步骤的计算机程序。

此外，例如程序也可以是用来使计算机执行的程序。此外，本公开的一技术方案也可以是记录有这样的程序的计算机可读取的非暂时性的记录介质。例如，也可以将这样的程序记录在记录介质中而分发或使其流通。例如，可以将分发的程序安装到其他的具有处理器的装置中，通过使该处理器执行该程序，使该装置进行上述各处理。

工业实用性

本公开对于在室内使用的能够发出声音的装置等具有实用性。

附图标记说明

1声音数据生成系统

10音响特征量推测系统

11取得部(第2取得部)

12室内信息推测部(第1取得部)

13暂定值决定部

14第1修正值计算部

15第2修正值计算部

16音响特征量推测部(输出部)

17存储部

20渲染部

100AR设备

R1、R2、R3室内空间

Claims (15)

1.一种音响特征量推测方法，推测目标室内空间的音响特征量，其中，

取得表示上述室内空间的环境的室内环境信息，

基于所取得的上述室内环境信息，决定上述音响特征量的暂定值，

取得与上述室内空间有关的数据，

基于所取得的上述数据，推测上述室内空间的状况，

基于推测出的上述状况，对上述暂定值进行修正，

输出修正后的上述暂定值作为上述室内空间的上述音响特征量。

2.如权利要求1所述的音响特征量推测方法，其中，

上述数据是拍摄上述室内空间而得到的图像数据。

3.如权利要求1所述的音响特征量推测方法，其中，

上述数据是感测上述室内空间而得到的感测数据。

4.如权利要求1～3中任一项所述的音响特征量推测方法，其中，

作为上述状况，基于上述数据推测上述室内空间的第1尺寸及与配置在上述室内空间中的对象有关的信息中的至少一方，

在上述暂定值的修正中，基于推测出的上述至少一方对上述暂定值进行修正。

5.如权利要求4所述的音响特征量推测方法，其中，

上述音响特征量包括上述室内空间的混响时间，

在上述暂定值的修正中，基于上述第1尺寸对上述混响时间的上述暂定值进行修正。

6.如权利要求5所述的音响特征量推测方法，其中，

基于上述第1尺寸以及与上述环境对应的基准室内空间的第2尺寸，判定是否对上述混响时间的上述暂定值进行修正，

在上述暂定值的修正中，在判定为对上述混响时间的上述暂定值进行修正的情况下，对上述混响时间的上述暂定值进行修正。

7.如权利要求6所述的音响特征量推测方法，其中，

在上述第1尺寸比上述第2尺寸大的情况下，进行使上述混响时间的上述暂定值变长的修正，在上述第1尺寸比上述第2尺寸小的情况下，进行使上述混响时间的上述暂定值变短的修正。

8.如权利要求4所述的音响特征量推测方法，其中，

上述音响特征量包括上述室内空间的混响时间，

在上述暂定值的修正中，基于与上述对象有关的信息对上述混响时间的上述暂定值进行修正。

9.如权利要求8所述的音响特征量推测方法，其中，

在判定为对上述混响时间的上述暂定值进行修正的情况下，基于上述数据推测配置在上述室内空间中的上述对象的材质及形状中的至少1个，

在上述暂定值的修正中，基于所确定的上述对象的材质及形状中的上述至少1个，对上述混响时间的上述暂定值进行修正。

10.如权利要求1～9中任一项所述的音响特征量推测方法，其中，

在上述室内环境信息的取得中，通过基于上述数据推测上述室内环境信息，来取得上述室内环境信息。

11.如权利要求1～10中任一项所述的音响特征量推测方法，其中，

上述室内空间的上述音响特征量用于增强现实设备即AR设备中的声音信号的渲染，

上述室内环境信息及上述数据是从上述AR设备取得的。

12.如权利要求1～11中任一项所述的音响特征量推测方法，其中，

上述环境包含表示上述室内空间的用途的信息。

13.一种音响特征量推测系统，推测目标室内空间的音响特征量，其中，具备：

第1取得部，取得表示上述室内空间的环境的室内环境信息；

暂定值决定部，基于所取得的上述室内环境信息，决定上述室内空间的音响特征量的暂定值；

第2取得部，取得与上述室内空间有关的数据；

室内信息推测部，基于所取得的上述数据，推测上述室内空间的状况；

音响特征量推测部，基于推测出的上述状况，对上述暂定值进行修正；以及

输出部，输出修正后的上述暂定值作为上述室内空间的上述音响特征量。

14.一种程序，用于使计算机执行权利要求1～12中任一项所述的音响特征量推测方法。

15.一种渲染方法，使用音响特征量对音源数据进行渲染，其中，

上述音响特征量是如以下这样得到的值：

取得表示目标室内空间的环境的室内环境信息，

基于所取得的上述室内环境信息，决定上述音响特征量的暂定值，

取得与上述室内空间有关的数据，

基于所取得的上述数据，推测上述室内空间的状况，

基于推测出的上述状况，对上述暂定值进行修正。