CN117981360A - 信息处理装置、信息处理方法和程序 - Google Patents

Abstract

本技术涉及使听力困难的人能够适当地听到具有声音定位的声音的信息处理装置、信息处理方法以及程序。在本发明中，基于布置在虚拟空间中的声源的方向生成具有声音定位的三维声音数据，对三维声音数据执行适配于用户的听觉特性的数据转换处理，并生成用户听到的输出声音数据。

Description

信息处理装置、信息处理方法和程序

技术领域

本技术涉及信息处理装置、信息处理方法和程序，并且更具体地，涉及使具有听力损失的人能够适当地听到具有声音图像定位的声音的信息处理装置、信息处理方法和程序。

背景技术

根据非专利文献1，人们被认为通过使用在每个声音到达方向上改变的传递特性的频率轴上的峰值和凹陷作为线索来感知方向，并且已知头部相关传递函数(HRTF)被单独优化以利用耳机等获得高声音图像定位。

引用列表

非专利文献

非专利文献1：Yoji ISHII，Hironori TAKEMOTO，Kazuhiro IIDA，“Mystery ofauricle shape and head-related transfer function”，Journal of the AcousticalSociety of Japan，2015，Vol.71，No.3，pp.127-135

发明内容

本发明要解决的问题

具有听力损失的人通过根据听觉特性用助听器校正声音数据而听到声音，但是如果用助听器校正具有声音图像定位的声音数据，则在一些情况下不能感知到声音图像定位。

鉴于这种情况做出本技术，并且使具有听力损失的人能够适当地听到具有声音图像定位的声音。

问题的解决方案

本技术的信息处理装置或程序是一种信息处理装置，包括：渲染处理单元，基于布置在虚拟空间中的声源的方向生成具有声音图像定位的立体声音数据；以及信号处理单元，其对由渲染处理单元生成的立体声音数据执行与用户的听觉特性相应的数据转换处理，并生成将被用户听到的输出声音数据，或用于使计算机用作这种信息处理装置的程序。

本技术的信息处理方法是信息处理方法，包括：通过包括渲染处理单元和信号处理单元的信息处理装置的渲染处理单元，基于布置在虚拟空间中的声源的方向生成具有声音图像定位的立体声音数据；以及通过信号处理单元，对由渲染处理单元生成的立体声音数据执行与用户的听觉特性相应的数据转换处理，并生成将被用户听到的输出声音数据。

在本技术的信息处理装置、信息处理方法和程序中，基于布置在虚拟空间中的声源的方向生成具有声音图像定位的立体声音数据，对立体声音数据执行与用户的听觉特性相应的数据转换处理，并且生成用户听到的输出声音数据。

附图说明

图1是示出应用本技术的信息处理系统的配置实施例的框图。

图2是示出包括在信息处理系统中的处理单元的配置的框图。

图3是示出用于具有听力损失的人的信号处理单元中的多频带压缩器的处理内容的示图。

图4是示出用户接口单元的实施例的视图。

图5是示出用户接口单元的实施例的视图。

图6是示出用户接口单元的实施例的视图。

图7是示出在具有正常听力的人听到具有3D音频中的3D元数据的内容的声源数据的情况下的信息处理系统的配置实施例的框图。

图8是示出在具有听力损失的人听到具有3D音频中的3D元数据的内容的声源数据的情况下的信息处理系统的配置实施例的框图。

图9是示出用于调整具有听力损失的人的信号处理单元的参数的过程的流程图。

图10是示出再现与多个声源对应的正常听力的人的多个声源数据的处理的说明图。

图11是示出针对具有听力损失的人再现多条声源数据的处理的第一形式的说明图。

图12是示出针对与多个声源对应的具有听力损失的人再现多个声源数据的处理的第二形式的说明图。

图13是示出在再现多条语音数据的第二形式处理中使用的用于具有听力损失的人的信号处理参数的调整的说明图。

图14是示出在再现多条语音数据的处理的第二形式中使用的用于具有听力损失的人的信号处理的参数集合的生成的解释图。

图15是示出在再现多条语音数据的处理的第二形式中针对具有听力损失的人调整用于信号处理的参数的方法的示图。

图16是示出在再现多条语音数据的处理的第二形式中用于具有听力损失的人的信号处理的参数的调整的第一形式的过程的流程图。

图17是示出在再现多条语音数据的第二形式的处理中用于具有听力损失的人的信号处理的参数的第二形式的调整的过程的流程图。

图18是示出使用图17的过程调节用于具有听力损失的人的信号处理的参数的总体过程的流程图。

图19是示出在再次调整用于与包括在角度集合S中的角度相对应的具有听力损失的人的信号处理的参数的情况下的过程的流程图。

图20是示出通过程序执行一系列处理的计算机的硬件的配置实施例的框图。

具体实施方式

在下文中，将参照附图描述本技术的实施方式。

<信息处理系统的实施方式>

图1是示出应用本技术的信息处理系统的配置实施例的框图。

在图1中，信息处理系统1包括外部协作装置11和助听器12。外部协作装置11和助听器12以能够以有线或无线方式发送信号的方式连接。

外部协作装置11是任意的信号处理装置，诸如智能电话、智能手表、个人计算机(PC)、头戴式显示器(HMD)等。外部协作装置11向助听器12提供具有声音图像定位的3D音频中的左声音数据(立体声音数据)(用于左耳)和右声音数据(用于右耳)。3D音频(立体声音)是指当再现声音时再现三维声音方向、距离、扩展等的方法。

助听器12包括：左耳助听器12L，被具有听力损失的人佩戴在左耳上并且输出要由左耳听到的声音(输出声音数据)；以及右耳助听器12R，被具有听力损失的人佩戴在右耳上并且输出要由右耳听到的声音(输出声音数据)。在助听器12中，例如，使用多频带压缩器，压缩具有由具有听力损失的人的左耳和右耳中的每一个难以听到的频率的声音的输入和输出特征。左耳助听器12L和右耳助听器12R分别通过多频带压缩器对从外部协作装置11提供的左声音数据和右声音数据执行处理，并且将处理后的声音数据作为声波从声音输出单元输出。

<信息处理系统1的框图>

图2是例示信息处理系统1中包括的处理单元的配置的框图。在图2中，信息处理系统1包括3D渲染处理单元31、用于具有听力损失的人的信号处理单元41L和41R、声音输出单元42L和42R、用户接口单元51和参数控制器52。

例如，3D渲染处理单元31被布置在外部协作装置11中。3D渲染处理单元31基于包括在具有3D元数据的内容中的声源数据执行3D渲染处理，并且生成立体音频中的声音数据(立体声音数据)。例如，具有3D元数据的内容是在其中形成诸如虚拟现实(VR)或增强现实(AR)的虚拟世界的虚拟空间中的虚拟对象、虚拟声源(在下文中，简称为声源)等的信息。3D元数据包括与对象的布置有关的数据，诸如布置在虚拟空间中的虚拟对象的位置和姿势、或声源的位置或方向。在本实施方式中，作为具有3D元数据的内容，仅关注在虚拟空间中添加了声源的方向的数据的声源，从该声源生成的声音数据被称为声源数据。声源的方向也被称为声源与用户的前方向作为参考的角度(0度)。在本实施方式的描述中，假设声源布置在二维平面中限制的方向上给出描述，但是本技术即使在声源不限于二维平面并且布置在三维延伸方向上的情况下也可与本实施方式类似地应用。

3D渲染处理单元31取得作为预先存储在外部协作装置11的存储单元(未示出)中的3D元数据的内容的声源数据。然而，声源数据可以经由诸如互联网的通信线路被提供给外部协作装置11(3D渲染处理单元31)，并且声源数据通过其被提供给3D渲染处理单元31的路径可以具有任何形式。

3D渲染处理单元31基于添加到获取的声源数据的声源的方向(角度)的数据，从单独优化的HRTF数据集获取与声源的角度相应的头部相关传递函数(HRTF)。单独优化的HRTF数据集被预先存储在外部协作装置11的存储单元(未示出)中。头部相关传递函数表示直至从声源生成的声波到达用户的左耳和右耳的每一个的传递函数。头部相关传递函数根据声源相对于用户头部的方向(声波到达用户头部的到达方向)而改变，并且对于左耳和右耳来说也不同。头部相关传输函数根据用户而不同，并且假设用户特定的左头部相关传输函数(用于左耳)和用户特定的右头部相关传输函数(用于右耳)被预先创建为针对声源的每个方向的单独优化的HRTF数据集，并且存储在存储单元中。注意，作为头部相关传输函数，可以使用所有用户所共有的平均函数，而不是针对每个用户优化的头部相关传输函数。众所周知，头部相关传递函数对应于在频域中表示的头部相关脉冲响应(HRIR)的傅立叶变换，HRIR表示在声源的位置处生成一个脉冲的情况下由左耳和右耳中的每一个听到的声波。

3D渲染处理单元31从来自存储单元的声源数据以及与添加到声源数据的声源的方向(角度)对应的左头部相关传递函数和右头部相关传递函数生成左声音数据和右声音数据。具体地，3D渲染处理单元31基于声源数据和左头部相关传递函数生成通过声源数据和左头部相关脉冲响应的卷积积分获得的左声音数据。在声源数椐和左头部相关脉冲响应的卷积积分中，声源数椐经历从时域表示到频域表示的频率变换，然后在相同频率分量中将频域的声源数据和左头部相关传递函数相乘。对这样获得的频率分量的数据进行傅里叶逆变换以生成左声音数据。这同样适用于右声音数据的生成。在下文中，在不限于左或右地仅参考头部相关传输函数、头部相关脉冲响应或声音数据的情况下，头部相关传输函数、头部相关脉冲响应或声音数据分别表示左头部相关传输函数和右头部相关传输函数中的每一个、左头部相关脉冲响应和右头部相关脉冲响应中的每一个、或左声音数据和右声音数据中的每一个。声源数据和头部相关脉冲响应的卷积积分也称为声源数据和头部相关传递函数的卷积积分。声源数据和3D渲染处理单元31生成的声音数据还可以是不在时域中表示而是在频域中表示的数据，并且在下文中，不区分该数据是在时域中表示还是在频域中表示。

3D渲染处理单元31将生成的左声音数据和右声音数据分别提供给具有听力损失的人的信号处理单元41L和41R。

例如，用于具有听力损失的人的信号处理单元41L和41R分别布置在左耳助听器12L和右耳助听器12R中。具有听力损失的人的信号处理单元41L对来自3D渲染处理单元31的左声音数据执行多频带压缩器的处理(压缩处理)。具有听力损失的人的信号处理单元41R对来自3D渲染处理单元31的右声音数据执行多频带压缩器的处理(压缩处理)。多频带压缩器的处理是将声音数据的整个频域(例如，整个可听范围)划分为多个频带，根据每个频带的输入和输出特性对输入声音数据的输入电平(振幅电平)进行转换，并输出转换后的声音数据的处理。

图3是解说具有听力损失的人的信号处理单元41L和41R中的每一者中的多频带压缩器的处理内容的示图。图3例示关于预定频带(聚焦于频带)的多频带压缩器的输入和输出特性。图线C0表示在输出信号的输出电平(振幅电平)是输入信号(声音数据)的输入电平(振幅电平)的一倍的情况下多频带压缩器的输入和输出特性。在这种情况下，来自3D渲染处理单元31的声音数据(其是多频带压缩器的输入信号)被作为来自多频带压缩器的输出信号原样输出。相反，曲线C1表示在输出信号的动态范围根据用户为具有听力损失的人的情况下的听力损失的特性(听觉特性)被压缩的情况下的多频带压缩器的输入和输出特性。由此，作为输入信号的声音数据的振幅电平越小，则该声音数据被放大率越高的多频带压缩器放大，并作为输出信号输出。多频带压缩器在预定频带中的输入和输出特性表示应用于难以感知该频带中的声音的用户的输入和输出特性的实施例。根据该多频带压缩器的输入和输出特性，输出信号的动态范围相对于输入信号的动态范围被压缩。

用于具有听力损失的人的信号处理单元41L和41R中的每执行如上所述的多频带压缩器的处理。听觉特性对于每个用户和对于每个频率(对于每个频带)是不同的。左耳和右耳之间的听觉特性也不同。因此，针对具有听力损失的人，信号处理单元41L和41R中的多频带压缩器的输入和输出特性被设置为适于每个用户和每个频带的左耳和右耳的听觉特性的输入和输出特性。在本实施方式中，针对具有听力损失的人，通过调整针对具有听力损失的人的信号处理的参数的值，来进行针对具有听力损失的人的、多频带压缩器的输入和输出特性的设定或改变，该参数指定(确定)输入和输出特性。然而，用于具有听力损失的人的信号处理单元41L和41R的处理不限于多频带压缩器的处理，并且可以是对于具有听力损失的人执行将输入的声音数据转换成声音数据的数据转换处理的任何处理。同样在这种情况下，假设用于具有听力损失的人的信号处理单元41L和41R的处理特性通过调整用于具有听力损失的人的信号处理的参数的值来设置或改变，并且用于具有听力损失的人的信号处理单元41L和41R执行与用户的听觉特性对应的特性的数据转换处理。用于具有听力损失的人的信号处理的参数也简称为参数。

在图2中，将由信号处理单元41L处理的用于具有听力损失的人的声音数据和由信号处理单元41R处理的用于具有听力损失的人的声音数据分别供应至声音输出单元42L和42R，作为用户听到的输出声音数据。

声音输出单元42L和42R分别布置在左耳助听器12L和右耳助听器12R中。在佩戴在用户的左耳上的左耳助听器12L中，声音输出单元42L将来自具有听力损失的人的信号处理单元41L的声音数据作为声波输出至用户的左耳。在佩戴在用户的右耳助听器12R中，声音输出单元42R将来自信号处理单元41R的用于具有听力损失的人的声音数据作为声波输出至用户的右耳。

注意，用于具有听力损失的人的所有3D渲染处理单元31和信号处理单元41L和41R可以布置在外部协作装置11中或者可以布置在助听器12中。

用户接口单元51例如设置在外部协作装置11中。用户接口单元51是当针对具有听力损失的人调整信号处理单元41L和41R的参数时接收用户的操作的操作输入单元。在针对具有听力损失的人调整信号处理单元41L和41R的参数时，例如，如稍后详细描述的，3D渲染处理单元31相对于在测试声源(用于调整)中生成的测试声源数据生成3D音频中的左声音数据和右声音数据。由3D渲染处理单元31生成的左声音数据和右声音数据分别被用于具有听力损失的人的信号处理单元41L和41R转换为用于具有听力损失的人的左声音数据和右声音数据，并分别从声音输出单元42L和42R输出。用户听到从声音输出单元42L和42R输出的声音，并且由用户接口单元51输入(指定)声源(声音图像)的感知方向(声音到达方向)。因此，针对具有听力损失的人，信号处理单元41L和41R的参数被调节，使得由3D渲染处理单元31生成的声音数据的声源的方向与由用户从用户接口单元51输入的声源的方向一致。

图4至图6是每个示出用户接口单元51的实施例的视图。用户接口单元51期望地是使用户能够容易地输入用户已经听到的声音的声源(声音图像)的方向(声音到达方向)的装置。因此，图4中的操纵杆61、图5中的触摸面板62、图6中的头戴式显示器(HMD)63等被用作用户接口单元51。在使用图4的操纵杆61的情况下，用户指定(输入)用户已经通过操纵杆的倾斜方向听到的声音的声源的方向。在使用图5的触摸面板62的情况下，例如，在其上布置触摸面板62的显示器上显示圆，并且显示连接圆的中心和在圆周上以相等间隔布置的多个点的线段(每隔预定角度分割圆的线段)。用户将圆的中心视为自身位置，并且在触摸面板(显示屏幕上)上触摸相对于圆的中心的预定方向上的位置以指定(输入)声源的感知方向。在使用图6的HMD 63的情况下，用户将HMD 63戴在头上。因为HMD 63包括检测自身位置和姿势的传感器，所以用户通过头部指向的方向指定(输入)声源的感知方向。注意，用户接口单元51不限于图4至6所示的输入装置，并且可以是任何其他装置，诸如键盘。

参数控制器52例如设置在外部协作装置11中。参数控制器52基于用户从用户接口单元51输入的信息等为具有听力损失的人调整信号处理单元41L和41R的参数的值。

<正常听力的人听到3D音频的声音的情况下的信息处理系统的配置实施例>

图7是示出在具有正常听力的人听到具有3D音频中的3D元数据的内容的声源数据的情况下的信息处理系统1-1的配置实施例的框图。要注意的是，在图7中，与在图2中的信息处理系统1的部分对应的部分由相同的参考符号表示，并且将省略其描述。

在具有正常听力的人听到具有3D音频中的3D元数据的内容的声源数据的情况下，声音输出装置(诸如由具有正常听力的人代替图2的助听器12使用的普通耳机或耳机)以有线或无线方式连接至外部协作装置11。声音输出装置包括输出声音数据作为声波的左声音输出单元71L和右声音输出单元71R。据此，对于在图2中针对具有听力损失的人，在没有由信号处理单元41L和41R处理的情况下，由3D渲染处理单元31基于具有3D元数据的内容的声源数据生成的3D音频中的左声音数据和右声音数据作为声波分别从左声音输出单元71L和右声音输出单元71R输出至用户的左耳和右耳。用户可以听到具有声音图像定位的3D音频中的声音。

<具有听力损失的人听到3D音频中的声音的情况下的信息处理系统的配置实施例>

图8是示出了在具有听力损失的人听到具有3D音频中的3D元数据的内容的声源数据的情况下的信息处理系统1-2的配置实施例的框图。要注意的是，在图7中，与在图2中的信息处理系统1的部分对应的部分由相同的参考符号表示，并且将省略其描述。

在具有听力损失的人听到具有3D音频中的3D元数据的内容的声源数据的情况下，左耳助听器12L和右耳助听器12R以有线或无线方式连接到外部协作装置11，如图2所示。据此，3D渲染处理单元31基于具有3D元数据的内容的声源数据生成的3D音频中的左声音数据和右声音数据，分别通过用于具有听力损失的人的信号处理单元41L和41R的多频带压缩器的处理，被转换为用于具有听力损失的人的左声音数据和右声音数据。通过信号处理单元41L和41R为具有听力损失的人转换而获得的用于具有听力损失的人的左声音数据和右声音数据作为声波分别从声音输出单元42L和42R输出至用户的左耳和右耳。此时，作为具有听力损失的人的用户不能总是适当地听到具有声音图像定位的3D音频中的声音。例如，在没有用于针对3D音频调节具有听力损失的人的信号处理单元41L和41R的参数(多频带压缩器的输入和输出特性)的情况下，例如，在该参数被设置为用于听不是3D音频的声音的值的情况下，由于多频带压缩器的压缩处理的影响，用户可能无法适当地感知声源的方向。即，作为对于声音图像定位的线索的头部相关传输函数的频率特性的峰值或凹陷可能由于听力的降低而不能被充分地感知，并且在一些情况下禁止定位的感觉。相反，在多频带压缩器使得能够感知听力降低的频带中的信号的情况下，如果多频带压缩器的压缩率高，则该频带中的信号的声压差减小。结果，不能充分地获得头部相关传递函数的频率特性的峰值或凹陷，并且在一些情况下抑制定位的感觉。因此，需要根据有具有听力损失的人的症状适当地调整多频带压缩器。此外，在不限于多频带压缩器的情况下，在为具有听力损失的人提供针对具有听力损失的人的3D音频的信号处理中，除了头部相关传输函数的个体差异之外，个体差异的因素在听力损失的症状方面是强的，并且为了通过头部相关传输函数的个性化在3D音频中获得正确的声音图像定位，期望调整具有听力损失的人的信号处理。

因此，在图2的信息处理系统1中，提供了用于将用于具有听力损失的人的信号处理单元41L和41R的参数调整为适合于3D音频的值的用户接口单元51和参数控制器52。

注意，在下文中，在没有针对3D音频调整参数的情况下，用于具有听力损失的人的信号处理单元41L和41R的参数值(多频带压缩器的输入和输出特性)被称为用户通常使用的助听器的参数值。

<用于具有听力损失的人调整信号处理单元41L和41R的参数的过程>

图9是举例说明用于具有听力损失的人调整信号处理单元41L和41R的参数的过程的流程图。

在图9中，在步骤S11中，参数控制器52将针对助听器12的用于具有听力损失的人的信号处理部41L、41R的参数的值的初始值设定为用户通常使用的助听器以及参数的值。然而，针对助听器12的用于具有听力损失的人，信号处理单元41L和41R的参数的初始值可以是针对具有类似于用户的听觉特性的另一用户调整的参数的值，或者可以是另一值。在用户不具有助听器的情况下，用户可进行听力测试，并且可使用通过将助听器配适处方公式应用于听力测试的结果而获得的参数的值。处理从步骤S11进入步骤S12。

在步骤S12中，参数控制器52将要聚焦的频带f设置为第一频带。这里，假设参数控制器52将对于具有听力损失的人而言被允许作为输入到信号处理单元41L和41R的多频带压缩器的输入信号(声音数据)的整个频率范围(例如，整个可听范围)划分为多个频带，并为每个频带调整参数。作为参数调整目标的频带可以是划分的多个频带中的一些。假设顺序(转弯)被给予每个频带，例如，以频率的降序或升序。此时，要关注的频带f表示要调整的参数的频带，第一频带表示给予各频带的顺序(转弯)当中的第一顺序所赋予的频带。处理从步骤S12进行至步骤S13。

在步骤S13中，3D渲染处理单元31针对从用于用户头部在虚拟空间中的测试声源生成的测试声源数据，在3D音频中生成左声音数据和右声音数据。测试声源数据可以是包括作为参数调整目标的所有频带的频率分量的声音数据，也可以是仅包括当前作为调整目标的聚焦频带f的频率分量的声音数据。用于具有听力损失的人的信号处理单元41L和41R分别对由3D渲染处理单元31生成的左声音数据和右声音数据应用多频带压缩器的处理。处理从步骤S13进入步骤S14。

在步骤S14中，参数控制器52分别从声音输出单元42L和42R输出通过针对具有听力损失的人应用信号处理单元41L和41R的多频带压缩器的处理而生成的针对具有听力损失的人的左声音数据和右声音数据，并将左声音数据和右声音数据呈现给用户。处理从步骤S14前进到步骤S15。

在步骤S15中，参数控制器52基于来自用户接口单元51的输入信息判断是否可以听到声音。例如，在用户通过用户接口单元51没有指定声源(声音图像)的方向(角度)的情况下，判断为不能听到声音，并且在用户通过用户接口单元51指定声源的方向的情况下，判断为能够听到声音。

在步骤S15中判断为不能听到声音的情况下，处理进入步骤S16，并且参数控制器52将用于具有听力损失的人的每个信号处理单元41L和41R的聚焦频带f中的参数值的值加一。针对具有听力损失的人，信号处理单元41L和41R的参数的值例如表示在多频带压缩器的输入和输出特性中确定输入信号的振幅电平与输出信号的振幅电平之间的关系的参数。在本实施方式中，假定多频带压缩器的输入和输出特性被设置成使得参数的值越大，输出信号的振幅电平相对于输入信号的振幅电平越大。例如，在输入至用于具有听力损失的人的信号处理单元41L和41R的声音数据固定的情况下，由用于具有听力损失的人的信号处理单元41L和41R输出的声音数据的振幅随着参数的值的增加而增加。处理从步骤S16进行到步骤S19。

在步骤S15中判断可以听到声音的情况下，处理进行到步骤S17，并且参数控制器52基于来自用户接口单元51的输入信息判断由用户感知的声源的方向(声音图像定位)是否适当。具体而言，在虚拟空间中测试声源相对于用户头部的排列方向(角度)与用户从用户接口单元51输入的声源的方向(角度)之间的角度差等于或小于预定阈值的情况下，参数控制器52判断声音图像定位是合适的，并且在角度差大于阈值的情况下，参数控制器52判断声音图像定位是不合适的。

在步骤S17中判断为声音图像定位不适当的情况下，处理进入步骤S18，并且参数控制器52将针对具有听力损失的人的每个信号处理单元41L和41R的聚焦频带f中的参数值的值减小1。处理从步骤S18返回到步骤S13。

在步骤S17中判断为声音图像定位适当的情况下，参数控制器52将针对具有听力损失的人的每个信号处理单元41L和41R的聚焦频带f中的参数值(多频带压缩器的输入和输出特性)设置(确定)为当前值。处理进行至步骤S19。

在步骤S19中，参数控制器52将要聚焦的频带f更新为相对于当前频带的顺序给出下一轮的频带。处理从步骤S19进行至步骤S20。

在步骤S20中，参数控制器52判断在所有频带(作为调整目标的频带)中的参数的调整(多频带压缩器的输入和输出特性的调整)是否已经终止。即，在步骤S19中聚焦于更新的频带f的顺序超过最终顺序的情况下，参数控制器52判断在作为调整目标的所有频带中的参数调整已经终止。在要聚焦的频带f的顺序不超过最终顺序的情况下，参数控制器52判断在作为调整目标的所有频带中的参数调整尚未终止。

在步骤S20中判断在作为调整目标的所有频带中的参数调整尚未终止的情况下，处理返回至步骤S13，并且重复步骤S13至S20。

在步骤S20中判断为作为调整对象的全部频带的参数调整结束的情况下，该流程图的处理流程结束。

用于具有听力损失的人的信号处理单元41L和41R的针对具有听力损失的人的信号处理的参数的调整可以在将测试声源布置的方向改变为多个不同方向的同时重复地执行，并且针对具有听力损失的人的信号处理的参数的调整可以在针对具有听力损失的人的信号处理的参数的值收敛的情况下结束。

根据如上所述的用于具有听力损失的人的信号处理的参数的调整，能够提供具有适合用户(具有听力损失的人)的声音图像定位的3D音频中的声音。

注意，由于在以强力方式获得多频带压缩器的输入和输出特性的调整的情况下，用户的负担较重，因此用户可进行A/B测试并且可通过加强学习来执行调整。此时，作为A，将开始调整具有听力损失的人的信号处理用参数之前的初始值所生成的声音数据呈现给用户，作为B，将通过使用调整具有听力损失的人的信号处理用参数所生成的声音数据呈现给用户，并且用户选择具有能够更适当地听到的声音图像定位的声音数据之一。

关于由用户接口单元51由用户指定的声源的方向，在由用户感知的声源的方向改变的情况下，或者在通过使用如图6中所示的头戴式显示器63从头部的动作指定声源的方向的情况下，考虑由用户指定的声源的方向不明确并且可靠性改变的情况。在这种情况下，用户指定的声源的角度θ可以具有±δ的角度范围，或者可以给出0至1的数值作为可靠性，然后可以执行强化学习。

<再现对应于多个声源的正常听力的人的多条声源数据的处理>

图10是说明再现与多个声源对应的用于正常听力的人的多个声源数据的处理的说明图。

假设在再现具有3D元数据的内容的声源数据时，在虚拟空间中的多个位置(方向)处布置多个声源1至N，具有正常听力的人听到3D音频中由声源1至N生成的声源数据(声波)。声源1至N在虚拟空间中相对于用户头部的方向(角度)分别被限定为角度θ1至θN。在这种情况下，3D渲染处理单元31基于声源1至N的多条声源数据分别对声源1至N的多条声源数据执行3D渲染处理，并且生成3D音频中的多条声音数据。即，3D渲染处理单元31对声音源1至N的各声音源数据沿θ1至θN的方向进行3D描绘处理P1-1至P1-N，生成左声音数据及右声音数据。此时，3D渲染处理单元31从单独优化的HRTF数据集获取与声源的角度θ1至θN中的每一个对应的头部相关传递函数，并使用头部相关传递函数生成声音数据。

3D渲染处理单元31通过加法处理P2-L在方向θ1至θN上对由3D渲染处理P1-1至P1-N生成的多条左声音数据进行相加(求和)以生成一条左声音数据(用于一个信道)。由加法处理P2-L生成的声音数据从左声音输出单元71L输出，例如，由具有正常听力的人使用的耳机或耳机。类似地，3D渲染处理单元31通过加法处理P2-R在方向θ1至θN上将由3D渲染处理P1-1至P1-N生成的多条右声音数据相加以生成一条右声音数据。由加法处理P2-R生成的声音数据从右声音输出单元71L输出，例如，由具有正常听力的人使用的耳机或耳机。

<再现对应于多个声源的具有听力损失的人的多条声源数据的处理的第一形式>

图11是用于说明针对具有听力损失的人再现多条声源数据的处理的第一形式的说明图。

与图10中所述的情况类似，假设在再现具有3D元数据的内容的声源数据时，在虚拟空间中的多个位置(方向)处布置多个声源1至N。声源1至N在虚拟空间中相对于用户头部的方向(角度)分别被限定为角度θ1至θN。关于此，假设具有听力损失的人听到3D音频中的声源1至N生成的多条声源数据。此时，3D渲染处理单元31与图10的情况同样地，对声音源1至N的各声音源数据沿θ1至θN的方向进行3D描绘处理P1-1至P1-N，生成左声音数据及右声音数据。此时，3D渲染处理单元31从单独优化的HRTF数据集获取与声源的角度θ1至θN中的每一个对应的头部相关传递函数，并使用头部相关传递函数生成声音数据。

3D渲染处理单元31与图10的情况同样地，通过加法处理P2-L，将3D描绘处理P1-1至P1-N生成的左声音数据在方向θ1至θN上相加，通过加法处理P2-R，将3D描绘处理P1-1至P1-N生成的右声音数据在方向θ1至θN上相加，生成一个左声音数据和一个右声音数据。通过加法处理P2-L生成的声音数据和通过加法处理P2-R生成的声音数据分别被提供给用于具有听力损失的人的信号处理单元41L和用于具有听力损失的人的信号处理单元41R。

用于具有听力损失的人的信号处理单元41L对来自加法处理P2-L的左声音数据，通过用于具有听力损失的人的信号处理P3-L执行多频带压缩器的处理，以生成用于具有听力损失的人的左声音数据。同样地，用于具有听力损失的人的信号处理部41R对来自加法运算处理P2-R的右声音数据，通过用于具有听力损失的人的信号处理P3-R执行多频带压缩器的处理，生成用于具有听力损失的人的右声音数据。此时，在用于具有听力损失的人的信号处理P3-L和P3-R中，将通过图9等中描述的方法预先调整(设置)的参数的值设置为用于具有听力损失的人的信号处理单元41L和41R的参数。

用于具有听力损失的人的信号处理单元41L和41R分别从声音输出单元42L和42R输出由用于具有听力损失的人的信号处理P3-L和P3-R生成的多条声音数据。

注意，如图10所示，在基于具有3D元数据的内容的声源数据为正常听力的人生成N条声源数据的3D音频中的多条声音数据的情况下，可以使用于具有听力损失的人的声源数据的多条数小于N，使得用于具有听力损失的人可以容易地感知声音图像定位。

<再现对应于多个声源的用于具有听力损失的人的多条声源数据的处理的第二形式>

图12是用于说明针对与多个声源对应的用于具有听力损失的人再现多个声源数据的处理的第二形式的说明图。

与图11中描述的情况类似，假设在再现具有3D元数据的内容的声源数据时，在虚拟空间中的多个位置(方向)处布置多个声源1至N。声源1至N在虚拟空间中相对于用户头部的方向(角度)分别被限定为角度θ1至θN。假设有具有听力损失的人听到3D音频中由声源1至N生成的声源数据(声音)。

在这种情况下，用于具有听力损失的人的3D渲染处理单元31和信号处理单元41L和41R分别对声源1至N的多条声源数据在方向θ1至θN上执行用于具有听力损失的人的3D渲染处理P4-1至P4-N。

将集中于在方向θn(n是1至N中的任一个)上用于具有听力损失的人的3D渲染处理P4-n来描述在方向θ1至θN上用于具有听力损失的人的3D渲染处理P4-1至P4-N。在方向θn上用于具有听力损失的人的3D再现处理P4-n中，与图10和11类似，3D再现处理单元31在方向θn上对处于角度θn的声源的声源数据执行3D再现处理，并生成3D音频中的左声音数据和右声音数据。此时，3D渲染处理单元31从单独优化的HRTF数据集获取与角度θn相应的头部相关传递函数以生成声音数据。

在方向θn上用于具有听力损失的人的3D渲染处理P4-n中，用于具有听力损失的人的信号处理单元41L和41R进一步对由方向θn上的3D渲染处理生成的左声音数据和右声音数据执行多频带压缩器的处理，以分别生成用于具有听力损失的人的左声音数据和右声音数据。此时，针对具有听力损失的人，预先调整(设置)的参数的值被设置为信号处理单元41L和41R的参数。然而，由于可以假设用于具有听力损失的人的信号处理单元41L和41R的适当参数根据声源的角度θn而不同，所以设定通过稍后描述的方法调整的参数的值。关于用于具有听力损失的人的信号处理单元41L和41R的参数，可以设置通过图9中所描述的方法等调节的参数的值。通过如上所述那样在方向θn上用于具有听力损失的人的3D渲染处理P4-n，生成角度θn处的声源的用于具有听力损失的人的左声音数据和右声音数据。

方向θ1-θN的用于具有听力损失的人的三维描绘处理P4-1-P4-N生成角度θ1-θN的声源的左声音数据和右声音数据。

用于具有听力损失的人的信号处理单元41L或在随后的阶段(未示出)的处理单元通过加法处理P5-L在方向θ1至θN上用于具有听力损失的人将通过3D渲染处理P4-1至P4-N生成的用于具有听力损失的人的左声音数据相加，以生成一条左声音数据，以及未图示的用于具有听力损失的人的信号处理部41R或后级的处理部，将通过3D描绘处理P4-1至P4-N生成的用于具有听力损失的人的右声音数据通过加法处理P5-R沿方向θ1至θN相加，生成1个右声音数据。用于具有听力损失的人的信号处理单元41L和41R或后级的处理单元分别从声音输出单元42L和42R输出通过加法处理P5-L和P5-R生成的左声音数据和右声音数据。

<在再现多条语音数据的第二形式的处理中使用的用于具有听力损失的人的信号处理的参数的调整的描述>图13是用于解释在再现多条语音数据的第二形式的处理中使用的用于具有听力损失的人的信号处理的参数的调整的解释图。要注意的是，与在图2中的信息处理系统1中的部分对应的部分由相同的参考符号表示，并且省略其详细描述。

在图13中，用于具有听力损失的人的信号处理单元41L和41R从图12中的方向θ1至θN的用于具有听力损失的人的3D渲染处理P4-1至P4-N中的信号处理(多频带压缩器的处理)中的用于具有听力损失的人的信号处理参数集合获取与角度θ1至θN对应的参数值(多频带压缩器的输入和输出特性)。用于具有听力损失的人的信号处理用的参数设定通过后述的方法预先生成，存储在外部协作装置11或助听器12的未图示的存储单元中。

例如，在当沿方向θn(n是1至N中的任一个)执行用于具有听力损失的人的3D渲染处理P4-n时用于具有听力损失的人的信号处理中，用于具有听力损失的人的信号处理单元41L和41R从用于具有听力损失的人的信号处理的参数集合获取与角度θn对应的参数的值(用于具有听力损失的人的信号处理的参数θn)，以及通过所述多频带压缩器对具有听力损失的人执行所述信号处理，所述多频带压缩器具有与所获取的所述参数的值相对应的输入和输出特性。

<以再现多条语音数据的处理的第二形式生成参数集合的描述>

图14是用于解释在再现多条语音数据的处理的第二形式中用于具有听力损失的人的信号处理的参数集合的生成的解释图。要注意的是，与在图2中的信息处理系统1中的部分对应的部分由相同的参考符号表示，并且是用于具有听力损失的人的信号处理的参数，并且省略其详细描述。

假定与包括在图13中的用于具有听力损失的人的信号处理的参数集合中的用于具有听力损失的人的信号处理的多个参数的值相对应的多个声源的方向(角度)由角度θ表示(θ是变量)。

当生成用于具有听力损失的人的信号处理的参数集合时，参数控制器52对应于声源的角度θ确定用于具有听力损失的人的信号处理的参数的适当值。此时，假定在虚拟空间中在相对于用户头部的角度θ的方向上配置测试声源作为测试对象声源S，并且从该声源生成测试声源数据。3D渲染处理单元31通过使用与角度θ对应的头部相关传输函数对测试对象声源S的声源数据执行3D渲染处理，并且生成3D音频中的左声音数据和右声音数据。由3D渲染处理单元31生成的左声音数据和右声音数据被分别提供给用于具有听力损失的人的信号处理单元41L和41R。

针对具有听力损失的人，为每个信号处理单元41L和41R设置从参数控制器52中指定的参数的值。听力损失人的信号处理单元41L和41R对听力损失人执行信号处理(多频带压缩器的处理)，并分别对听力损失人生成左声音数据和右声音数据。生成的左声音数据和右声音数据作为声波分别从声音输出单元42L和42R输出。

基于来自用户接口单元51的输入信息，参数控制器52在判断参数的值是否适当的同时，为具有听力损失的人调节与当前为信号处理单元41L和41R设置的角度θ相对应的参数的值(多频带压缩器的输入和输出特性)为适当的。在获得参数的适当值的情况下，参数控制器52将参数的值存储在存储单元(未示出)中，作为对应于角度θ的参数的值。参数控制器52改变角度θ以获取与角度θ对应的参数的适当值并将该值存储在存储单元中，从而生成用于具有听力损失的人的信号处理的参数集合。

在再现具有3D元数据的内容的多条声源数据的情况下，对应于每个声源的角度θ执行在方向θ上用于具有听力损失的人的3D渲染处理。在方向θ上用于具有听力损失的人的3D渲染处理中，将与角度θ对应的头部相关传递函数从单独优化的HRTF数据集提供给3D渲染处理单元31，并且以角度θ对声源的声源数据执行3D渲染处理。在方向θ上用于具有听力损失的人的3D渲染处理中，对应于角度θ的参数的值从用于针对具有听力损失的人的信号处理的参数集合被提供给用于具有听力损失的人的信号处理单元41L和41R，并且执行用于具有听力损失的人的信号处理。

<以再现多条语音数据的第二形式的处理调整参数的方法的描述>

图15是示出在再现多条语音数据的第二形式处理中为具有听力损失的人调整用于信号处理的参数的方法的示图。

在图15中，在虚拟空间中的用户的位置被设置为圆的中心。连结圆的中心和周边的点的线段以相邻的线段的中心角为30度的角度间隔绘制。在图15中，假定沿将相邻线段的中心角分成两半的方向布置声源。此时，假定在从0度以30度的间隔改变声源的角度θ的同时，调整与每个角度θ对应的具有听力损失的人的信号处理的参数的值。

<再现多条语音数据的第二形式的处理中的第一形式的参数调整的过程的描述>

图16是举例说明在再现多条语音数据的处理的第二形式中用于具有听力损失的人的信号处理的参数的调整的第一形式的过程的流程图。

在步骤S41中，参数控制器52将声源的角度θ设置为0度作为初始值。处理从步骤S41进行到步骤S42。

在步骤S42中，参数控制器52使用于具有听力损失的人的3D渲染处理单元31和信号处理单元41L和41R以角度θ在测试声源(测试对象声源S)上在方向θ上执行用于具有听力损失的人的3D渲染处理。结果，生成用于具有听力损失的人的左声音数据和右声音数据。应注意，在针对方向θ上用于具有听力损失的人的3D渲染处理中，3D渲染处理单元31在单独优化的HRTF数据集中使用与角度θ对应的头部相关传递函数。用于具有听力损失的人的信号处理单元41L和41R使用对应于用于具有听力损失的人的信号处理的参数集合中的角度θ的用于具有听力损失的人的信号处理的参数的初始值。用于具有听力损失的人进行信号处理的参数的初始值可以是用户通常使用的助听器的参数的值，可以是针对另用户调整的参数的值，或者可以是另值。在方向θ上用于具有听力损失的人由3D渲染处理生成的左声音数据和右声音数据分别从用于具有听力损失的人的声音输出单元42L和42R输出，并呈现给用户。处理从步骤S42进行至步骤S43。

在步骤S43中，参数控制器52基于来自用户接口单元51的输入信息判断由用户感知的声源的角度(声音图像定位)是否合适。具体地，在相对于虚拟空间中的用户的头部布置声源的角度和由用户从用户接口单元51输入的声源的角度之间的角度差等于或小于预定阈值的情况下，参数控制器52判断声音图像定位是合适的，并且在角度差大于阈值的情况下，参数控制器52判断声音图像定位是不合适的。

在步骤S43中判断声音图像定位不适当的情况下，处理进入步骤S44，参数控制器52通过图9等中描述的方法调整用于具有听力损失的人的信号处理的参数。处理从步骤S44进行到步骤S45。

在步骤S45中，参数控制器52基于来自用户接口单元51的输入信息判断是否执行重新调整。注意，是否执行重新调整可以由用户使用用户接口单元51指定，或者可以由参数控制器52强制执行。

在步骤S45中判断要进行重新调整的情况下，处理返回至步骤S42并且从步骤S42重复。在步骤S45中判断不进行重新调整的情况下，处理进行至步骤S46。

在步骤S43中判断为声音图像定位适当的情况下，处理进入步骤S66。在步骤S46中，参数控制器52将声源的角度θ更新为通过将30度与当前值相加而获得的值。处理从步骤S46进行到步骤S47。在步骤S47中，参数控制器52判断角度θ是否小于360度。

在步骤S47中判断角度θ小于360度的情况下，处理返回至步骤S42并且从步骤S42重复。在步骤S47中判断为角度θ为360度以上的情况下，结束本流程图的处理流程。

<在再现多条语音数据的第二形式的处理中的第二形式的参数调整的过程的描述>

图17是例示在再现多条语音数据的处理的第二形式中用于具有听力损失的人的信号处理的参数的调整的第二形式的过程的流程图。

在步骤S61中，参数控制器52相对于声源的角度θ以从0度到330度的30度间隔将角度θ设置为一个集合(角度集合)S的初始值。参数控制器52从角度集合S中选择任何一个角度θ，对于该角度θ，用于具有听力损失的人的信号处理的参数是未调整的。处理从步骤S61进行至步骤S62。

参数控制器52在声源以步骤S62中选择的角度θ布置的情况下，使用于具有听力损失的人的3D渲染处理单元31和信号处理单元41L和41R在方向θ上对从声源生成的测试声源数据执行用于具有听力损失的人的3D渲染处理。结果，所生成的用于具有听力损失的人的左声音数据和右声音数据分别从声音输出单元42L和42R输出，并呈现给用户。处理从步骤S62进行至步骤S63。

在步骤S63中，参数控制器52基于来自用户接口单元51的输入信息判断由用户感知的声源的角度(声音图像定位)是否合适。

在步骤S63中判断声音图像定位不适当的情况下，处理进行至步骤S64，并且参数控制器52通过在图9中描述的方法等调整用于具有与角度θ对应的用于具有听力损失的人的信号处理的参数。处理从步骤S64进行到步骤S65。

在步骤S65中，参数控制器52基于来自用户接口单元51的输入信息判断是否执行重新调整。注意，是否执行重新调整可以由用户使用用户接口单元51指定，或者可以由参数控制器52强制执行。

在步骤S65中判断要进行重新调整的情况下，处理返回至步骤S62并且从步骤S62重复进行。在步骤S65中判断为不进行重新调整的情况下，该处理进入步骤S67。

在步骤S63中判断声音图像定位是合适的情况下，处理进行到步骤S66，并且参数控制器52从角度集合S中去除角度θ。处理从步骤S66进行到步骤S67。

在步骤S67中，参数控制器52判断是否终止处理。即，参数控制器52在角度集合S中存在用于具有听力损失的人的信号处理的参数没有被调整的角度的情况下判断不终止处理，并且在没有用于具有听力损失的人的信号处理的参数没有被调整的角度的情况下判断终止处理。

在步骤S67中判断为没有终止处理的情况下，处理返回至步骤S61并且从步骤S61重复。在步骤S67中判断为结束处理的情况下，结束本流程图的处理流程。

图18是例示使用图17的过程(手续)调整用于具有听力损失的人的信号处理的参数的总体过程的流程图。

在图18中，在步骤S81中，参数控制器52将角度集合S设定为从0度到330度的每30度的角度集合。处理从步骤S81进行到步骤S82。

在步骤S82中，参数控制器52执行在图17的流程图中示出的手续(处理)。此时，在执行图17中的步骤S66的情况下，从角度集合S中排除角度θ。从角度集合S中排除的角度θ是判断声音图像定位是合适的角度。处理从步骤S82进行到步骤S83。

在步骤S83中，参数控制器52将角度集合S存储在存储单元(未示出)中。在执行步骤83之后，该处理终止本流程图的处理流程。

图19是例示在再次调整用于具有听力损失的人的信号处理的参数的情况下的过程的流程图，该具有听力损失的人与包含在图18中的参数控制器52存储的角度集合S中的角度相对应。在图19的流程图中，仅针对与在图18中不能适当地执行用于具有听力损失的人的信号处理的参数的调整的声源的角度相对应的用于具有听力损失的人的信号处理的参数执行调整。因此，减少了用户调整参数所需的负担。

在步骤S101中，参数控制器52从存储单元读取在图18的步骤S83中存储的角度集合S。即，通过角度集合S，获取被判断为不适当的声音图像定位的声源的角度。处理从步骤S101进行到步骤S102。

在步骤S102中，参数控制器52对在步骤S101中获取的角度集合S执行图17的过程。此时，在执行图17中的步骤S66的情况下，从角度集合S中排除角度θ。处理从步骤S102进行到步骤S103。

在步骤S103中，参数控制器52将角度集合S存储在存储单元(未示出)中。在执行步骤83之后，该处理终止本流程图的处理流程。

<程序>

信息处理系统1中的上述一系列处理可以由硬件执行或者可以由软件执行。在由软件执行一系列处理的情况下，在计算机上安装构成软件的程序。这里，计算机的实施例包括合并在专用硬件中的计算机和能够通过安装例如各种程序来执行各种功能的通用个人计算机。

图20是示出了在计算机利用程序执行由信息处理系统1执行的每个处理的情况下的计算机的硬件的配置实施例的框图。

在计算机中，中央处理单元(CPU)201、只读存储器(ROM)202和随机存取存储器(RAM)203通过总线204相互连接。

输入/输出接口205进一步连接至总线204。输入/输出接口205连接至输入单元206、输出单元207、存储单元208、通信单元209以及驱动器210。

输入单元206包括键盘、鼠标、麦克风等。输出单元207包括显示器、扬声器等。存储单元208包括硬盘、非易失性存储器等。通信单元209包括网络接口等。驱动器210驱动诸如磁盘、光盘、磁光盘或半导体存储器的可移除介质211。

在如上所述配置的计算机中，例如，CPU 201经由输入/输出接口205和总线204将存储在存储单元208中的程序加载到RAM 203中并且执行程序，从而执行上述一系列处理。

例如，由计算机(CPU 201)执行的程序可以通过记录在作为封装介质等的可移动介质211上来提供。此外，可以经由诸如局域网、互联网或者数字广播的有线或者无线传输介质提供程序。

在计算机中，通过将可移除介质211加载到驱动器210中，可以经由输入/输出接口205将程序安装在存储单元208中。此外，程序可经由有线或无线传输介质由通信单元209接收并安装在存储单元208上。此外，程序可以提前安装在ROM 202和存储单元208上。

应注意，由计算机执行的程序可以是按照本说明书中描述的顺序以时间序列方式执行处理的程序，或者可以是并行或者在诸如进行调用时的必要定时执行处理的程序。

本技术还可具有以下配置。

(1)

一种信息处理装置，包括：

渲染处理单元，基于在虚拟空间中布置的声源的方向，生成具有声音图像定位的立体声音数据；以及

信号处理单元，对由渲染处理单元生成的立体声音数据执行与用户的听觉特性相应的数据转换处理，并生成将被用户听到的输出声音数据。

(2)

根据(1)所述的信息处理装置，其中

所述渲染处理单元通过使用与所述声源的方向对应的头部相关传递函数生成所述立体声音数据。

(3)

根据(2)所述的信息处理装置，其中

所述渲染处理单元使用为所述用户优化的所述头部相关传输函数。

(4)

根据(1)至(3)中任一项所述的信息处理装置，其中

所述信号处理单元通过使用具有预定的输入和输出特性的压缩器从所述立体声音数据生成所述输出声音数据。

(5)

根据(4)所述的信息处理装置，其中

所述信号处理单元使用具有与所述用户的听觉特性对应的输入和输出特性的所述压缩器。

(6)

根据(4)或(5)所述的信息处理装置，其中

所述信号处理单元使用能够针对所述立体声音数据的每个频带设置或改变所述输入和输出特性的所述压缩器。

(7)

根据(1)至(6)中任一项所述的信息处理装置，还包括：

参数控制单元，调整用于确定所述信号处理单元中的数据转换处理的特性的参数。

(8)

根据(7)所述的信息处理装置，其中

所述参数控制单元调整所述参数，使得相对于布置在所述虚拟空间中的测试声源，由听到了所述输出声音数据的用户指定的所述测试声源的方向与所述虚拟空间中的所述测试声源的方向一致。

(9)

根据(7)或(8)所述的信息处理装置，其中

所述参数控制单元针对所述立体声音数据的每个频带调整所述参数。

(10)

根据(1)至(9)中任一项所述的信息处理装置，其中

所述信号处理单元对通过由所述渲染处理单元针对多个所述声源中的每个所述声源生成的所述立体声音数据相加而获得的所述立体声音数据执行所述数据转换处理。

(11)

根据(1)至(9)中任一项所述的信息处理装置，其中

所述信号处理单元针对由所述渲染处理单元针对多个所述声源中的每个所述声源生成的多条所述立体声音数据中的每条所述立体声音数据，通过对与所述声源的方向对应的特性的数据转换处理来生成所述输出声音数据，并通过将已生成的所述多条输出声音数据相加来生成所述用户听到的所述输出声音数据。

(12)

根据(8)至(11)中任一项所述的信息处理装置，还包括：

用户接口单元，根据所述用户听到的所述输出声音数据，确定所述测试声源的方向。

(13)

根据(1)至(12)中任一项所述的信息处理装置，其中

所述信号处理单元在所述用户是具有听力损失的人的情况下执行与具有听力损失的人的听觉特性对应的数据转换处理。

(14)

一种信息处理方法，用于具有渲染处理单元和信号处理单元的信息处理装置，所述信息处理方法包括：

通过所述渲染处理单元，基于在虚拟空间中布置的声源的方向生成具有声音图像定位的立体声音数据；以及

通过所述信号处理单元，对由所述渲染处理单元生成的所述立体声音数据执行与用户的听觉特性对应的数据转换处理，并且生成将由所述用户听到的输出声音数据。

(15)

一种程序，使计算机用作：

渲染处理单元，基于在虚拟空间中布置的声源的方向，生成具有声音图像定位的立体声音数据；以及

信号处理单元，对由渲染处理单元生成的立体声音数据执行与用户的听觉特性相应的数据转换处理，并生成将被用户听到的输出声音数据。

参考符号列表

1,1-1,1-2信息处理系统

1 声源

11 外部协作装置

12 助听器

12L 左耳助听器

12R 右耳助听器

31 3D渲染处理单元

41L,41R用于具有听力损失的人的信号处理单元

42L,42R声音输出单元

51 用户接口单元

52 参数控制器。

Claims (15)

1.一种信息处理装置，包括：

渲染处理单元，基于在虚拟空间中布置的声源的方向，生成具有声音图像定位的立体声音数据；以及

信号处理单元，对由所述渲染处理单元生成的所述立体声音数据执行与用户的听觉特性相应的数据转换处理，并生成被所述用户听到的输出声音数据。

2.根据权利要求1所述的信息处理装置，其中

所述渲染处理单元通过使用与所述声源的方向对应的头部相关传递函数生成所述立体声音数据。

3.根据权利要求2所述的信息处理装置，其中

所述渲染处理单元使用为所述用户优化的所述头部相关传输函数。

4.根据权利要求1所述的信息处理装置，其中

所述信号处理单元通过使用具有预定的输入和输出特性的压缩器从所述立体声音数据生成所述输出声音数据。

5.根据权利要求4所述的信息处理装置，其中

所述信号处理单元使用具有与所述用户的听觉特性对应的输入和输出特性的所述压缩器。

6.根据权利要求4所述的信息处理装置，其中

所述信号处理单元使用能够针对所述立体声音数据的每个频带设置或改变所述输入和输出特性的所述压缩器。

7.根据权利要求1所述的信息处理装置，还包括：

参数控制单元，调整用于确定所述信号处理单元中的所述数据转换处理的特性的参数。

8.根据权利要求7所述的信息处理装置，其中

所述参数控制单元调整所述参数，使得相对于布置在所述虚拟空间中的测试声源，由听到所述输出声音数据的用户指定的所述测试声源的方向与所述虚拟空间中的所述测试声源的方向一致。

9.根据权利要求7所述的信息处理装置，其中

所述参数控制单元针对所述立体声音数据的每个频带调整所述参数。

10.根据权利要求1所述的信息处理装置，其中

所述信号处理单元对通过由所述渲染处理单元针对多个所述声源中的每个所述声源生成的所述立体声音数据相加而获得的所述立体声音数据执行所述数据转换处理。

11.根据权利要求1所述的信息处理装置，其中

所述信号处理单元针对由所述渲染处理单元针对多个所述声源中的每个所述声源生成的多条所述立体声音数据中的每条所述立体声音数据，通过对与所述声源的方向相对应的特性的数据转换处理来生成所述输出声音数据，并且通过将已生成的多条所述输出声音数据相加来生成被所述用户听到的所述输出声音数据。

12.根据权利要求8所述的信息处理装置，还包括：

用户接口单元，基于被所述用户听到的所述输出声音数据，确定所述测试声源的方向。

13.根据权利要求1所述的信息处理装置，其中

所述信号处理单元在所述用户是具有听力损失的人的情况下执行与所述具有听力损失的人的听觉特性对应的数据转换处理。

14.一种信息处理方法，用于具有渲染处理单元和信号处理单元的信息处理装置，所述信息处理方法包括：

通过所述渲染处理单元，基于在虚拟空间中布置的声源的方向生成具有声音图像定位的立体声音数据；以及

通过所述信号处理单元，对由所述渲染处理单元生成的所述立体声音数据执行与用户的听觉特性对应的数据转换处理，并且生成被所述用户听到的输出声音数据。

15.一种程序，使计算机用作：

渲染处理单元，基于在虚拟空间中布置的声源的方向，生成具有声音图像定位的立体声音数据；以及

信号处理单元，对由所述渲染处理单元生成的立体声音数据执行与用户的听觉特性相应的数据转换处理，并生成将被用户听到的输出声音数据。