CN112740721A

CN112740721A - 信息处理装置、方法和程序

Info

Publication number: CN112740721A
Application number: CN201980061183.9A
Authority: CN
Inventors: 山本优树; 知念彻; 辻实
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2018-09-28
Filing date: 2019-09-13
Publication date: 2021-04-30
Also published as: BR112021005241A2; JPWO2020066681A1; US20220116732A1; EP3860156A1; EP3860156A4; KR20210066807A; US11716586B2; JP7363795B2; WO2020066681A1

Abstract

本发明涉及一种信息处理装置、方法和程序，被配置为使得能够容易地产生3D音频内容。所述信息处理装置包括确定单元，所述确定单元基于对象的一条或多条属性信息来确定构成对象的元数据的一个或多个参数。本发明可以应用于信息处理装置。

Description

信息处理装置、方法和程序

技术领域

本技术涉及一种信息处理装置、方法和程序，尤其涉及一种能够容易地产生3D音频内容的信息处理装置、方法和程序。

背景技术

传统上，运动图像专家组(MPEG)-H 3D音频标准是已知的(例如，参见非专利文献1和非专利文献2)。

由MPEG-H 3D音频标准等处理的3D音频可以再现三维声音的方向、距离和传播，使得能够以比传统立体声回放更真实的感觉再现音频。

引文列表

非专利文献

非专利文献1：ISO/IEC 23008-3，MPEG-H 3D音频

非专利文献2：ISO/IEC 23008-3：2015/AMENDMENT3，MPEG-H 3D音频阶段2

发明内容

本发明要解决的问题

然而，使用3D音频，产生内容(3D音频内容)的时间成本增加。

例如，在3D音频中，对象的位置信息(即声源的位置信息)具有比立体声更高的维数(3D音频是三维的，立体声是二维的)。因此，3D音频增加了时间成本，尤其是在确定构成每个对象的元数据的参数时，例如，指示对象位置的水平角度、垂直角度和距离、以及对象的增益。

此外，在3D音频内容中，内容的数量和制作者的数量都远远小于立体声内容。因此，目前的情况是高质量的3D音频内容很少。

综上所述，期望能够更容易地(即在更短的时间内)产生足够高质量的3D音频内容。

鉴于这种情况而构成本技术，并且能够容易地产生3D音频内容。

问题的解决方案

本技术的一个方面的信息处理装置包括确定单元，基于对象的一条或多条属性信息来确定构成对象的元数据的一个或多个参数。

本技术的一个方面的信息处理方法或程序包括以下步骤：基于对象的一条或多条属性信息来确定构成对象的元数据的一个或多个参数。

在本技术的一个方面，基于对象的一条或多条属性信息来确定构成对象的元数据的一个或多个参数。

附图说明

[图1]是用于解释通过决策树确定元数据的示图。

[图2]是示出元数据的分布调整的示图。

[图3]是示出元数据的分布调整的示图。

[图4]是示出信息处理装置的配置示例的示图。

[图5]是示出元数据确定过程的流程图。

[图6]是示出计算机的配置示例的示图。

具体实施方式

在下文中，将参考附图描述应用本技术的实施方式。

<第一实施方式>

<关于本技术>

本技术使得通过确定元数据，更具体地，通过确定构成每个对象的元数据的一个或多个参数，可以更容易地(即在更短的时间内)产生足够高质量的3D音频内容。

特别地，本技术具有以下特征(F1)至(F5)。

特征(F1)：从提供给每个对象的信息中确定元数据

特征(F2)：从每个对象的音频信号中确定元数据

特征(F3)：从另一条信息中确定元数据

功能(F4)：修改元数据，以获得期望的分布

特征(F5)：存在多个元数据确定模式

利用本技术，通过从下面所示的信息中确定对象的元数据，可以在短时间内产生高质量的3D音频内容。通过这种设置，预计高质量3D音频内容的数量和3D音频内容的制作者的数量将会增加。

在下文中，将针对用于对象元数据的自动计算(自动确定)的每种类型的信息来描述确定对象元数据的具体示例。

注意，在本技术中，对象可以是诸如音频对象或图像对象等任何对象，只要它具有诸如位置信息和增益等参数作为元数据。

例如，本技术也适用于这样的情况，其中，指示图像对象(例如，3D模型)在空间中的位置的参数用作元数据，并且基于指示图像对象的属性的属性信息来确定图像对象的元数据。注意，图像对象的属性信息可以是图像对象的类型(种类)、优先级等。

在下文中，将描述对象是音频对象的情况作为示例。

在对象是音频对象的情况下，元数据包括用于基于对象的音频信号再现声音的处理的一个或多个参数(信息)，更具体地，用于呈现对象的处理。

具体而言，元数据包括例如构成指示对象在三维空间中的位置的位置信息的水平角度、垂直角度和距离、以及对象的音频信号的增益。注意，在下文中，将描述元数据包括水平角度、垂直角度、距离和增益的总共四个参数的示例，但是元数据参数的数量可以是任何数量，只要它是一个或多个。

水平角度是指示从预定参考位置(例如，用户位置)观看的对象的水平位置的角度，垂直角度是指示从参考位置观看的对象的垂直位置的角度。此外，构成位置信息的距离是从参考位置到对象的距离。

(从提供给每个对象的信息中确定)

首先，将描述从提供给每个对象的信息中确定元数据(更具体地，元数据的参数)的方法。

通常基于关于对象属性的信息(例如，乐器信息、声学效果信息和优先级信息)来确定对象元数据。然而，根据这些乐器信息等确定元数据的规则根据3D音频内容的制作者而不同。

乐器信息是指示哪种种类对象(声源)的信息，例如，人声“vocal”、鼓声“drums”、低音“bass”、吉他“guitar”和钢琴“piano”。即，这是指示声源种类的信息。更具体地，乐器信息是指示对象(例如，乐器)的种类、声部和声音性别(例如，男人或女人)的信息，即，对象本身作为声源的属性。

例如，在特定制作者的情况下，对于其乐器信息是“人声”的对象，构成元数据的水平角度通常被设置为零度(0°)，并且增益往往被设置为大于1.0的值。此外，例如，在特定制作者的情况下，对于其乐器信息是“低音”的对象，构成元数据的垂直角度通常被设置为负值。

以这种方式，对于3D音频内容的单独制作者，可以在某种程度上预先确定构成乐器信息的元数据的参数值以及构成元数据的参数值可以取的范围。在这种情况下，可以从乐器信息中确定对象的元数据。

此外，声学效果信息是指示声学效果的信息，例如，添加到对象的音频信号的效果，即，应用于音频信号的效果。换言之，声学效果信息是指示与对象的声学效果相关的属性的信息。特别地，在此处，在指示声学效果的声学效果信息中，作为声学效果的混响效果(即，示出混响特性的混响效果)被称为混响信息，并且示出除混响效果之外的声学效果的混响效果被称为声学信息。

混响信息是指示添加(提供给)到对象的音频信号的混响效果的信息，即，音频信号的混响特性，例如，干“dry”、短混响“short reverb”、和长混响“long reverb”。注意，例如，“干”表示没有混响效果应用于音频信号。

例如，在特定制作者的情况下，对于其混响信息为“干”的对象，构成元数据的水平角度通常被设置为-90°到90°范围内的值，而对于其混响信息为“长混响”的对象，构成元数据的垂直角度通常被设置为正值。

以这种方式，同样对于混响信息，如同乐器信息一样，可以在某种程度上，为每个制作者的混响信息预先确定元数据的参数值和元数据的参数值可以取的范围。因此，也可以使用混响信息来确定元数据。

此外，声学信息是指示除了添加(提供给)到对象的音频信号的混响之外的声学效果的信息，例如，自然“natural”和失真“dist”。注意，“自然”表示没有效果特别应用于音频信号。

例如，在特定制作者的情况下，对于其声学信息是“自然”的对象，构成元数据的水平角度通常被设置为-90°到90°范围内的值，而对于其声学信息是“失真”的对象，构成元数据的垂直角度通常被设置为正值。因此，也可以使用声学信息来确定元数据。

此外，优先级信息是指示对象的优先级的信息。例如，优先级信息设置为0到7之间的任意值，该值越大，对象的优先级越高。可以说，这样的优先级也是表示对象属性的信息。

例如，在特定制作者的情况下，对于优先级信息值小于6的对象，构成元数据的水平角度通常被设置为-30°到30°范围之外的值，并且垂直角度往往被设置为不小于0°，除非优先级信息的值是6或更大。因此，也可以使用优先级信息来确定元数据。

通过以这种方式使用乐器信息、混响信息、声学信息和优先级信息，可以为每个制作者确定对象的元数据。

除此之外，在以特定的扬声器设置(即特定的声道配置)为前提记录对象的情况下，通常基于对象的声道信息来确定元数据。

在此处，声道信息是指示与对应于提供对象的音频信号的扬声器的声道相关的属性的信息，例如，立体声(stereo)的L、R和5.1声道(5.1ch)的C、L、R、Ls、Rs，即对象的声道。

例如，在特定制作者的情况下，对于其声道信息为“立体声R”的R声道对象和其声道信息为“立体声L”的L声道对象，构成L声道和R声道的元数据的水平角度具有正负反转关系，并且垂直角度经常被设置为相同的角度。

同样，例如，对于其声道信息是“5.1声道Ls”的Ls声道对象和其声道信息是“5.1声道Rs”的Rs声道对象，构成Ls声道和Rs声道的元数据的水平角度具有正负反转关系，并且垂直角度通常被设置为相同的角度。

从这些事实可以看出，也可以通过使用声道信息来确定元数据。

在本技术中，基于乐器信息、混响信息、声学信息、优先级信息和声道信息中的至少一个，来确定每个对象的元数据，更具体地，构成元数据的参数。

具体地，在本技术中，通过使用例如决策树来确定元数据，决策树是监督学习方法。

在决策树中，针对多个3D音频内容而预先收集的每个对象的乐器信息、混响信息、声学信息、优先级信息和声道信息以及元数据参数值用作学习的数据(学习数据)。

然后，学习决策树模型，其中，输入乐器信息、混响信息、声学信息、优先级信息和声道信息，并且输出元数据。通过使用以这种方式获得的决策树模型，可以容易地确定(预测)每个对象的元数据。

在此处，图1示出了确定构成元数据的水平和垂直角度的决策树的示例。

在图1所示的示例中，首针对决策树中的每个对象先确定乐器信息是否是“人声”。

在确定乐器信息是“人声”的情况下，然后确定“混响信息”是否为“干”。此时，在确定“混响信息”为“干”的情况下，对象的水平角度被确定为零度，垂直角度被确定为零度，并且决策树的处理终止。

另一方面，在确定混响信息不为“干”的情况下，确定混响信息是否是“长混响”。然后，在确定混响信息是“长混响”的情况下，对象的水平角度被确定为零度，垂直角度被确定为30°，并且决策树的处理终止。

以这种方式，在决策树中，根据基于诸如乐器信息、混响信息、声学信息、优先级信息和声道信息等每种类型的信息的确定结果，连续执行确定直到决策树终止，并且确定最终的水平角度和垂直角度。

使用这样的决策树，可以根据提供给每个对象的信息(例如，乐器信息、混响信息、声学信息、优先级信息和声道信息)来确定构成每个对象的元数据的水平和垂直角度。

注意，元数据确定方法不限于决策树，并且可以是诸如线性确定、支持向量机(support vector machine)和神经网络等其他监督学习方法。

(从每个对象的音频信号中确定)

接下来，将描述从每个对象的音频信号中确定元数据的方法。

例如，可以基于从对象的音频信号获得的诸如声压(声压信息)和音高(音高信息)等信息来确定对象的元数据。由于诸如声压和音高(音高)等这些信息表示对象的声音的特征，所以也可以说是指示对象属性的信息。

具体地，例如，在特定制作者的情况下，音频信号的声压越高，构成元数据的垂直角度越接近零度，并且声压越高，构成元数据的增益通常被设置为小于1.0的值。

此外，例如，在特定制作者的情况下，当音频信号是低音信号时，构成元数据的垂直角度往往被设置为负值，并且相反地，当音频信号是高音信号时，垂直角度往往被设置为正值。

因此，通过将这些与声压和音高相关的信息添加到用于从针对每个对象给出的信息中确定元数据的方法(在下文中，也称为元数据确定方法)的输入中，可以提高元数据的确定精度。

具体地，例如，对于声压和音高，将通过下述方法计算的特征量添加到上述元数据确定方法的输入(即决策树等的输入)就足够了。

例如，对于声压，由以下公式(1)计算的特征量level(i_obj)用作元数据确定方法的一个输入就足够了。

[公式1]

注意，在公式(1)中，i_obj表示对象的索引，i_sample表示音频信号样本的索引。

另外，在公式(1)中，pcm(i_obj，i_sample)表示在索引为i_obj的对象的音频信号中索引为i_sample的样本的样本值，n_sample表示音频信号的样本总数。

此外，对于音高(pitch)，例如，由以下公式(2)计算的特征量level_sub(i_obj，i_band)用作元数据确定方法的一个输入就足够了。

[公式2]

注意，在公式(2)中，索引i_obj、索引i_sample和n_sample与公式(1)中的相同，并且i_band是指示频带的索引。

例如，通过用带通滤波器对音频信号进行滤波处理，每个对象的音频信号被分成0kHz至2kHz、2kHz至8kHz和8kHz至15kHz这三个频带的音频信号。此外，在此处，每个频带的音频信号被表示为pcm_sub(i_obj，i_band，i_sample)。

此外，索引i_band＝1表示0kHz到2kHz的频带，索引i_band＝2表示2kHz到8kHz的频带，索引i_band＝3表示8kHz到15kHz的频带。

在这种情况下，通过公式(2)获得特征量level_sub(i_obj，1)、特征量level_sub(i_obj，2)和特征量level_sub(i_obj，3)，并将其用作元数据确定方法的输入。

(从另一条信息中确定)

此外，将描述从另一条信息中确定元数据的方法。

例如，可以基于各条信息来确定对象的元数据，例如，3D音频内容中的对象的数量、其他对象的元数据、对象名称以及由对象构成的3D音频内容的类型。因此，通过将上述各条信息也添加到元数据确定方法的输入，可以提高确定精度。

由于对象名称通常包含替代乐器信息或声道信息的信息，例如，对象的乐器名称或相应的声道(即指示对象属性的信息)，所以可以用于确定元数据。

此外，指示诸如音乐(例如，爵士乐)等3D音频内容的类型的信息、作为构成3D音频内容的对象总数的对象数量等是指示由对象构成的内容的属性的信息。因此，关于内容属性的信息(例如，类型和对象数量)也可以用于确定元数据，作为对象属性信息。

例如，在特定制作者的情况下，如果空间中排列的对象数(对象数)很大，则每个对象在空间中的排列间隔往往不相等，反之，如果对象数很小，则每个对象的排列间隔往往相等。

因此，例如，可以添加构成3D音频内容的对象的数量作为元数据确定方法的一个输入。在这种情况下，例如，确定构成元数据的水平角度、垂直角度和距离，使得对象在空间中以相等或不相等的间隔排列。

此外，例如，在特定制作者的情况下，通常情况是另一对象没有被设置在与已经确定了其在空间中的位置的对象相同的位置。

因此，例如，已经确定其元数据的另一对象的元数据也可以用作元数据确定方法的输入。

注意，针对每个对象给出的信息、从音频信号获得的信息以及诸如上述对象数量等其他信息可以独立地用作元数据确定方法的输入，或者这些信息可以组合并用作元数据确定方法的输入。

<元数据的修改>

顺便说一下，可以通过使用上述每种类型的信息来确定对象的元数据。然而，在具有少量对象的3D音频内容(以下也简称为内容)中，可能在一个地方不均匀地确定所确定的元数据参数。这样的示例如图2所示。

在图2中，横轴表示构成元数据的水平角度，纵轴表示构成元数据的垂直角度。

此外，在图2中，一个圆圈表示一个对象，并且对于提供给对应于这些圆圈的对象的每条乐器信息，添加到每个圆圈的模式是不同的。

在此处，圆圈C11和C12表示作为乐器信息的人声“vocal”提供给的对象，圆圈C13和C14表示作为乐器信息的低音“bass”提供给的对象。此外，圆圈C15至C20表示作为乐器信息的钢琴“piano”提供给的对象。

这些圆圈中的每一个都设置在由水平和垂直角度确定的位置处，通过对相应对象的预测来确定所述水平和垂直角度。即，每个圆圈在水平轴方向上的位置是由对应于每个圆圈的对象的水平角度指示的位置，并且每个圆圈在垂直轴方向上的位置是由对应于每个圆圈的对象的垂直角度指示的位置。

此外，每个圆圈的大小指示对象的音频信号的声压的大小(高度)，并且使圆圈的大小与声压成比例地增加。

因此，可以说，图2示出了每个对象的参数(元数据)在以水平和垂直角度为中心的参数空间(参数空间)中的分布以及每个对象的对象信号的声压幅度。

例如，在具有少量对象的内容中，如图2所示，经常仅包括在诸如声乐、钢琴和低音等许多内容中重要的乐器作为对象。在特定制作者的情况下，这些乐器的排列往往被设置到前中心位置，结果，所确定的元数据偏向于一个地方。

在该示例中，圆圈C11至C18集中在图2的中心，并且可以看出，对应于那些圆圈的对象的元数据具有接近的值。换言之，每个对象的元数据的分布集中在参数空间中彼此靠近的位置。在这种情况下，如果按原样使用所确定的元数据来执行渲染，则所获得的内容将是低质量的，没有三维声音方向、距离和传播。

因此，在本技术中，通过调整对象的分布(即对象的元数据的分布)，可以获得具有三维声音方向、距离和传播的高质量内容。

在分布调整中，已经由制作者等的输入确定的元数据或者由决策树等的预测确定的元数据用作输入。因此，可以独立于上述元数据确定方法来应用。即，无论确定元数据的方法如何，都可以调整元数据的分布。

可以通过手动方法(以下称为手动调整方法)或自动方法(以下称为自动调整方法)来调整元数据的分布。下面将描述每种方法。

(手动调整方法)

首先，将描述元数据的手动调整方法。

在手动调整方法中，将用于加法的预定值添加到对象的元数据的参数值，将用于乘法的预定值相乘，或者执行加法和乘法，从而调整元数据的分布。

例如，通过操作图形用户界面(GUI)的3D音频内容产生工具上的条等来调整手动调整方法的加法过程所增加的值或乘法过程所相乘的值就足够了。

这使得可以在保持对象的位置关系的同时执行扩大或缩小所有对象的分布(即元数据的分布)的调整，并且可以在短时间内容易地调整到制作者想要的元数据。

在此处，例如，在仅通过加法过程来调整元数据的分布的情况下，当在元数据的参数中，负值与具有负值的参数相加，正值与具有正值的参数相加时，可以将元数据的分布调整(校正)为具有更大空间分布的分布。

此外，例如，在仅通过加法过程来调整元数据的分布的情况下，通过向每个参数添加相同的值可以实现分布调整，以在空间中平移那些对象，同时保持每个对象的位置关系。

(自动调整方法)

在自动调整方法中，每个对象都被视为由构成元数据的水平角度、垂直角度和距离表示的向量。在下文中，具有这样的水平角度、垂直角度和距离作为元素的向量将被称为对象向量。

在自动调整方法中，获得所有对象的对象向量的平均值，作为对象平均向量。

然后，获得对象平均向量和每个对象向量之间的差向量，并且获得具有这些差向量的均方值作为元素的向量。即，对于水平角度、垂直角度和距离中的每一个从平均值获得具有作为元素的对象的每个值的差的均方值的向量。

如此获得的水平角、垂直角和距离中的每一个的均方值对应于水平角、垂直角和距离中的每一个的方差，并且具有水平角、垂直角和距离中的每一个的均方值作为元素的向量被称为对象方差向量。可以说，对象方差向量显示了多个对象的元数据的分布。

此外，调整元数据，使得通过上述计算获得的对象方差向量具有期望值，即目标方差值。当调整元数据时，可以调整一个参数(元素)，例如，构成元数据的水平角度，或者可以调整多个参数。此外，可以调整构成元数据的所有参数。

在此处，例如，通过预先计算多个3D音频内容的对象方差向量并将对象方差向量的平均值设置为目标期望值，获得作为对象方差向量的目标的期望值就足够了。

类似地，在自动调整方法中，可以调整元数据，使得对象均值向量具有目标值，或者可以调整元数据，使得对象均值向量和对象方差向量都具有目标值。

另外，在自动调整方法中调整时，可以通过3D音频内容的每个类型、每个制作者和3D音频内容的每个对象数的学习等，预先获得作为目标的对象均值向量和对象方差向量的值。通过这样做，可以实现适合于内容类型的分布调整和反映制作者独特性的分布调整。

此外，每个对象的声压可以相对于对象向量加权。即，为对象获得的对象向量可以乘以对应于对象的音频信号的声压的权重，并且所得向量可以用作最终对象向量。

在这种情况下，声压分布可以是期望值，即目标声压分布，并且可以调整(校正)更高质量的元数据。这是因为具有适当声压分布的音频内容被认为是高质量内容。

此外，在通过这些手动调整方法和自动调整方法对元数据进行分布调整时，可能存在不进行调整的对象。

对于不进行分布调整的对象，对象元数据不用于计算对象均值向量。然而，在对象均值向量的计算中，可以使用不进行调整的对象的元数据。

例如，其乐器信息为“人声”的对象在内容中往往很重要，如果元数据的分布偏向于一个地方，则质量可以更高。在这种情况下，其乐器信息是“人声”的对象可不进行元数据分布调整。

注意，没有进行元数据分布调整的对象可以是提供给每个对象的信息(例如，乐器信息)指示预定信息(值等)的对象，或者可以是由制作者等指定的对象。

通过上述分布调整，图2所示的分布变成例如图3所示的分布。注意，在图3中，相同的附图标记提供给对应于图2中的那些部分，并且将适当地省略其描述。此外，同样在图3中，横轴表示构成元数据的水平角度，纵轴表示构成元数据的垂直角度。

在图3的示例中，其乐器信息是“人声”的对象(即由圆圈C11和C12指示的对象)不进行元数据分布调整。

如图3所示，可以看出，通过元数据分布调整，每个对象(即每个对象的元数据)分布在离图2所示的情况适当的距离处。结果，可以获得具有三维声音方向、距离和传播的高质量内容。

<信息处理装置的配置示例>

接下来，将描述通过上述元数据确定方法确定元数据并进一步调整所确定的元数据的分布的信息处理装置。

例如，在通过决策树确定元数据的方法用作元数据确定方法的情况下，如图4所示配置信息处理装置。

图4所示的信息处理装置11具有元数据确定单元21和分布调整单元22。

对于每个对象，元数据确定单元21基于关于从外部提供的对象的属性的信息(即对象的一条或多条属性信息)，通过预测确定每个对象的元数据，并输出确定的元数据。注意，要确定其元数据的对象的数量可以是一个或多个，但是在此处，假设为多个对象确定元数据。

另外，对象属性信息是乐器信息、混响信息、声学信息、优先级信息、声道信息、对象数量、另一对象的元数据、对象名称和指示类型的信息中的至少一个。还向元数据确定单元21提供音频信号，用于计算与声压和音高相关的特征量作为对象属性信息。

此外，元数据确定单元21具有决策树处理单元31。元数据确定单元21基于音频信号适当地计算与声压和音高相关的特征量作为对象属性信息，并将计算出的特征量和从外部提供的对象属性信息输入到决策树处理单元31。注意，一条或多条属性信息可以被输入到决策树处理单元31。

决策树处理单元31基于输入的对象属性信息执行通过决策树确定元数据的过程，并将作为确定结果获得的每个对象的元数据提供给分布调整单元22。决策树处理单元31保存通过学习预先获得的决策树(决策树模型)。

注意，在此处，描述了水平角度、垂直角度和距离被确定为决策树处理单元31中的元数据参数的示例，但是所确定的参数可以包括增益。此外，可以由决策树处理单元31确定构成元数据的多个参数中的任何一个或多个参数。

分布调整单元22对从决策树处理单元31提供的多个对象中的每个对象的元数据执行上述分布调整，并将分布调整后的元数据作为每个对象的最终元数据提供(输出)到后一阶段。

分布调整单元22具有对象方差向量计算单元32、系数向量计算单元33和系数向量应用单元34。

对象方差向量计算单元32使用其元素是构成从决策树处理单元31提供的每个对象的元数据的水平角、垂直角和距离的向量作为对象向量，并且基于每个对象的对象向量计算对象均值向量。此外，对象方差向量计算单元32基于计算的对象均值向量和每个对象向量来计算对象方差向量，并将对象方差向量提供给系数向量计算单元33。

系数向量计算单元33将作为元素的具有针对水平角、垂直角和距离中的每一个预先获得的预定值的预定值向量的每个元素除以从对象方差向量计算单元32提供的对象方差向量的每个元素，从而计算水平角、垂直角和距离中的每一个的作为元素的具有系数的系数向量，并将系数向量提供给系数向量应用单元34。

在此处，例如，预先获得的预定值向量是目标对象方差向量，并且通过每个类型或每个制作者的学习等而获得。具体地，例如，目标对象方差向量的值是具有针对相同类型的多个3D音频内容获得的对象方差向量的每个元素的平均值的向量，作为元素。

系数向量应用单元34通过将从决策树处理单元31提供的元数据乘以每个元素的从系数向量计算单元33提供的系数向量，来计算分布调整后的元数据，并将获得的元数据输出到后一阶段。在系数向量应用单元34中，通过将元数据乘以每个元素的系数向量来调整元数据的分布。结果，元数据的分布变成对应于目标对象方差向量的分布。

例如，在系数向量应用单元34的后一阶段，基于每个对象的音频信号和元数据来执行渲染过程，并且元数据由制作者手动调整。

注意，决策树处理单元31不仅可以向对象方差向量计算单元32和系数向量应用单元34提供元数据，还可以提供对象属性信息(例如，乐器信息)，可以基于对象属性信息来确定不进行分布调整的对象。在这种情况下，不针对不进行分布调整的对象调整元数据的分布，并且原样输出由决策树处理单元31确定的元数据作为最终元数据。

此外，作为元数据的分布调整，可以调整对象均值向量或者可以调整对象方差向量和对象均值向量。此外，在此处，已经描述了分布调整单元22通过自动调整方法执行分布调整的示例，但是在分布调整单元22中，可以根据制作者等的输入通过手动调整方法执行分布调整。

在这种情况下，例如，分布调整单元22将由制作者等指定的预定值与对象的元数据相加或相乘，基于预定值和元数据执行操作，以获得分布调整后的元数据。此外，即使在这种情况下，由制作者指定的对象或由对象属性信息等确定的对象也可以不进行分布调整。

<元数据确定过程的说明>

随后，将描述图4所示的信息处理装置11的操作。即，下面将参考图5的流程图描述信息处理装置11的元数据确定过程。

在步骤S11中，决策树处理单元31基于对象属性信息确定元数据，并将确定结果提供给对象方差向量计算单元32和系数向量应用单元34。

即，元数据确定单元21通过基于根据需要提供的音频信号计算上述公式(1)和(2)，来计算声压和音高的特征量。然后，元数据确定单元21将计算出的特征量、从外部提供的乐器信息等输入到决策树处理单元31，作为对象属性信息。

决策树处理单元31基于所提供的对象属性信息通过决策树来确定元数据。此外，元数据确定单元21还根据需要将对象属性信息提供给对象方差向量计算单元32和系数向量应用单元34。

在步骤S12中，对象方差向量计算单元32基于从决策树处理单元31提供的每个对象元数据获得对象均值向量，根据对象均值向量和对象向量计算对象方差向量，并将对象方差向量提供给系数向量计算单元33。

在步骤S13中，系数向量计算单元33通过将作为元素的具有针对水平角、垂直角和距离中的每一个预先获得的预定值的向量(即，预先获得的目标对象方差向量)除以从对象方差向量计算单元32针对每个元素提供的对象方差向量，来计算系数向量，并将系数向量提供给系数向量应用单元34。

在步骤S14中，系数向量应用单元34基于从系数向量计算单元33提供的系数向量，来调整从决策树处理单元31提供的元数据的分布，并且在分布调整之后输出结果元数据，以终止元数据确定过程。

例如，系数向量应用单元34通过将元数据乘以每个元素的系数向量，来调整元数据的分布。注意，如上所述，预定对象可以不进行元数据的分布调整。

如上所述，信息处理装置11基于对象属性信息确定每个对象的元数据，并调整元数据的分布。通过这样做，制作者不必每次都指定(输入)每个对象的元数据，从而可以在短时间内容易地产生高质量的3D音频内容

<关于决策树的学习>

顺便说一下，尽管可以通过上述方法来确定元数据，但是优选地，用于确定元数据的确定模式(即决策树等)不是一个而是多个。这是因为很难用一种确定模式(决策树等)来处理各种各样的内容，并且通过使得能够从多个确定模式中选择最适合制作者的模式，能够产生更高质量的3D音频内容。

如上所述，由于元数据的确定是基于学习数据的，所以通过将学习数据除以多条数据，并且使用每条划分的学习数据来执行决策树模型的学习，可以用多个模式来执行确定。此时，优势因学习数据的划分方式而异。

具体地，例如，如果为每个制作者划分学习数据，则可以提高为每个制作者确定元数据的准确性。即，可以获得决策树(决策树模型)，用于确定更能反映制作者特征的元数据。

制作者的特征是确定内容质量的一个最重要因素，并且通过划分每个制作者的学习数据，可以随着确定模式增加质量的变化。此外，通过使用制作者自己制作的数据，作为学习数据，可以做出更反映制作者过去的特征的确定，并且可以缩短制作时间。

在这种情况下，例如，如果为多个制作者中的每个制作者学习并准备了决策树，则普通用户等可以从多个制作者中的相应制作者的决策树中选择他/她最喜欢的制作者的决策树，并且可以使用所选择的决策树来确定元数据。结果，可以获得反映他/她最喜欢的制作者的特征的内容。

此外，例如，如果根据诸如摇滚、流行和经典等内容的类型(种类)来划分学习数据，则可以提高确定元数据的准确性。即，如果为每个内容类型学习决策树，则可以获得适合于该内容类型的元数据。

此外，如上所述，也可以通过针对构成内容的每个类型、每个制作者和每个对象数量的学习等，来获得用于调整元数据的分布的对象均值向量和对象方差向量的目标值。

如上所述，根据本技术，通过基于对象属性信息确定元数据并对确定的结果执行分布调整，可以在短时间内产生高质量的3D音频内容。

注意，即使在每个对象在空间中的位置总是相同，而与时间无关，即对象不移动，或者对象在空间中的位置随时间变化的情况下，也可以应用本技术。

在对象的位置改变的情况下，例如，每次执行参考图5描述的元数据确定过程就足够了，并且根据需要通过插值处理等获得两次之间的元数据。

<计算机配置示例>

顺便说一下，上述一系列过程可以通过硬件或软件来执行。在由软件执行一系列过程的情况下，构成软件的程序安装在计算机上。在此处，计算机包括嵌入在专用硬件中的计算机以及例如能够通过安装各种程序来执行各种功能的通用个人计算机。

图6是示出根据程序执行上述一系列过程的计算机硬件的配置示例的框图。

在计算机中，中央处理器(CPU)501、只读存储器(ROM)502和随机存取存储器(RAM)503通过总线504相互连接。

输入/输出接口505进一步连接到总线504。输入单元506、输出单元507、记录单元508、通信单元509和驱动器510连接到输入/输出接口505。

输入单元506包括键盘、鼠标、麦克风、图像传感器等。输出单元507包括显示器、扬声器等。记录单元508包括硬盘、非易失性存储器等。通信单元509包括网络接口等。驱动器510驱动可移动记录介质511，例如，磁盘、光盘、磁光盘或半导体存储器。

在如上所述配置的计算机中，例如，CPU 501经由输入/输出接口505和总线504将记录在记录单元508中的程序加载到RAM 503中，并执行该程序，从而执行上述一系列过程。

例如，可以通过作为封装介质等记录在可移动记录介质511中，来提供由计算机(CPU 501)执行的程序。此外，可以经由有线或无线传输介质(例如，局域网、互联网或数字卫星广播)来提供程序。

在计算机中，通过将可移动记录介质511安装在驱动器510中，程序可以经由输入/输出接口505安装在记录单元508中。此外，可以由通信单元509经由有线或无线传输介质接收程序，并安装在记录单元508中。另外，程序可以预先安装在ROM 502或记录单元508中。

由计算机执行的程序可以是以本说明书中描述的顺序按时间序列执行处理的程序，或者是并行执行处理或在必要的时间(例如，当进行调用时)执行处理的程序。

此外，本技术的实施方式不限于上述实施方式，并且可以在不脱离本技术的主旨的情况下进行各种改变。

例如，本技术可以被配置为云计算，其中，一个功能由多个装置经由网络共享并共同处理。

此外，上述流程图中描述的每个步骤可以由一个装置执行，或者由多个装置共享和执行。

此外，在一个步骤包括多个过程的情况下，一个步骤中包括的多个过程可以由一个装置执行，或者由多个装置共享和执行。

此外，也可以如下配置本技术。

(1)一种信息处理装置，包括

确定单元，基于对象的一条或多条属性信息来确定构成所述对象的元数据的一个或多个参数。

(2)根据(1)所述的信息处理装置，其中，

所述参数是指示所述对象的位置的位置信息。

(3)根据(1)或(2)所述的信息处理装置，其中，

所述参数是所述对象的音频信号的增益。

(4)根据(1)至(3)中任一项所述的信息处理装置，其中，

所述属性信息是指示所述对象的类型的信息。

(5)根据(1)至(4)中任一项所述的信息处理装置，其中，

所述属性信息是指示所述对象的优先级的优先级信息。

(6)根据(1)至(5)中任一项所述的信息处理装置，其中，

所述对象是音频对象。

(7)根据(6)所述的信息处理装置，其中，

所述属性信息是指示所述对象的声源种类的信息。

(8)根据(7)所述的信息处理装置，其中，

所述声源种类是指示乐器、声部或声音性别的信息。

(9)根据(6)至(8)中任一项所述的信息处理装置，其中，

所述属性信息是指示应用于所述对象的音频信号的声学效果的信息。

(10)根据(9)所述的信息处理装置，其中，

所述声学效果是混响效果。

(11)根据(6)至(10)中任一项所述的信息处理装置，其中，

所述属性信息是关于所述对象的音频信号的声压或音高的信息。

(12)根据(6)至(11)中任一项所述的信息处理装置，其中，

所述属性信息是关于由所述对象构成的内容的属性的信息。

(13)根据(12)所述的信息处理装置，其中，

关于内容的属性的信息是所述内容的类型或构成所述内容的对象的数量。

(14)根据(1)至(13)中任一项所述的信息处理装置，还包括

分布调整单元，其调整多个所述对象的参数的分布。

(15)根据(14)所述的信息处理装置，其中，

所述分布调整单元通过调整参数的方差或均值来调整所述分布。

(16)根据(15)所述的信息处理装置，其中，

所述分布调整单元调整分布，使得参数的方差或均值是针对构成所述内容的对象的数量、内容制作者或内容的类型而确定的值。

(17)根据(1)至(16)中任一项所述的信息处理装置，其中，

所述确定单元通过输入属性信息并输出参数的决策树来确定参数。

(18)根据(17)所述的信息处理装置，其中，

针对由所述对象构成的所述内容的每种类型或者针对每个内容制作者学习决策树。

(19)一种信息处理方法，包括以下步骤：

通过信息处理装置，

基于对象的一条或多条属性信息来确定构成对象的元数据的一个或多个参数。

(20)一种程序，使计算机执行包括以下步骤的处理

基于对象的一条或多条属性信息来确定构成对象的元数据的一个或多个参数的步骤。

附图标记列表

11 信息处理装置

21 元数据确定单元

22 分布调整装置

31 决策树处理单元

32 对象方差向量计算单元

33 系数向量计算单元

34 系数向量应用单元。

Claims

1.一种信息处理装置，包括

2.根据权利要求1所述的信息处理装置，其中，

所述参数是指示所述对象的位置的位置信息。

3.根据权利要求1所述的信息处理装置，其中，

所述参数是所述对象的音频信号的增益。

4.根据权利要求1所述的信息处理装置，其中，

所述属性信息是指示所述对象的类型的信息。

5.根据权利要求1所述的信息处理装置，其中，

所述属性信息是指示所述对象的优先级的优先级信息。

6.根据权利要求1所述的信息处理装置，其中，

所述对象是音频对象。

7.根据权利要求6所述的信息处理装置，其中，

所述属性信息是指示所述对象的声源种类的信息。

8.根据权利要求7所述的信息处理装置，其中，

所述声源种类是指示乐器、声部或声音性别的信息。

9.根据权利要求6所述的信息处理装置，其中，

10.根据权利要求9所述的信息处理装置，其中，

所述声学效果是混响效果。

11.根据权利要求6所述的信息处理装置，其中，

12.根据权利要求6所述的信息处理装置，其中，

所述属性信息是关于由所述对象构成的内容的属性的信息。

13.根据权利要求12所述的信息处理装置，其中，

关于所述内容的属性的信息是所述内容的类型或构成所述内容的对象的数量。

14.根据权利要求1所述的信息处理装置，还包括

分布调整单元，调整多个所述对象的参数的分布。

15.根据权利要求14所述的信息处理装置，其中，

16.根据权利要求15所述的信息处理装置，其中，

所述分布调整单元调整分布，使得所述参数的方差或均值是针对构成内容的对象的数量、内容制作者或内容的类型而确定的值。

17.根据权利要求1所述的信息处理装置，其中，

18.根据权利要求17所述的信息处理装置，其中，

针对由所述对象构成的内容的每种类型或者针对每个内容制作者而学习决策树。

19.一种信息处理方法，包括以下步骤：

通过信息处理装置

基于对象的一条或多条属性信息来确定构成所述对象的元数据的一个或多个参数。

20.一种程序，使计算机执行包括以下步骤的处理：