CN102484762A - 听觉显示装置及方法 - Google Patents

Abstract

本发明提供一种听觉显示装置，使基本频率相近的声音配置为不接近。声音收发部(103)接收声音数据；声音解析部(105)对声音数据进行解析，并计算声音数据的基本频率；声音配置部(106)将声音数据的基本频率与邻近的声音数据的基本频率进行比较，并配置声音数据，使得基本频率的差分为最大；声音管理部(109)管理声音数据的配置位置；声音混合部(107)将声音数据与邻近的声音数据混合；声音输出部(108)将混合后的声音数据输出给声音输出装置(202)。

Description

听觉显示装置及方法

技术领域

本发明涉及一种听觉显示装置，使声音立体地配置，以同时能够容易地分辨多个声音。 

背景技术

近年来，移动电话作为移动设备的一种，除了具有现有技术的语音通话功能以外，还具有收发电子邮件或浏览网页等功能，并且移动环境中的交流方法、服务也呈现多样化。在现有的移动环境中，电子邮件的收发、网页的浏览等功能的操作方法主要是以视觉为中心的。然而，像这样以视觉为中心的操作方法虽然信息量丰富，直观易懂，但在步行过程中或驾驶车辆等移动过程中却伴随着危险。 

此外，移动电话的原本以听觉为中心的语音通话功能作为一种交流方式而得到了确立。然而，由于受到要确保稳定的通信路径的制约，语音通话的服务实际还停留在使用频带窄的单声道声音等，只能够理解通话内容的程度。 

另一方面，从过去就开始了针对听觉来提示信息的方法的研究，这种通过声音来提示信息的方法被称为听觉显示器。组合了立体声技术的听觉显示器通过将信息作为声音来配置于三维声像空间的任意位置，而能够提供更具临场感的信息。 

例如，专利文献1中公开了一种根据说话对象的位置及自己所朝的方向来在三维声像空间中配置说话者的声音的技术。该方法可以用来在人群中找不到对方时，不用大声叫喊就能够识别对方所在的方向。 

此外，专利文献2中公开了一种在视频会议系统中，将声音配置成所听到的声音是从说话者的投影位置传来的技术。通过该技术，在电视会议中能够容易地找到说话者，实现了更自然的交流。 

在日常生活中，人们的周围存在多种声音，并能够听到各种声音。而 能够从其中选择性地听取自己所感兴趣的内容的能力，就是所谓的鸡尾酒会效应(cocktail party effect)。也就是说，人即使处于同时存在多个说话人的状态下，也能够一定程度上听到自己所感兴趣的内容。同时存在多个说话人的技术例如应用到了电视台的双语广播中。 

此外，专利文献3中公开了一种动态地判断虚拟空间中的对话状态，在与特定的通话者之间的对话声音的基础上，将这之外的通话者的声音作为环境音来配置的技术。 

此外，专利文献4中公开了将多个声音配置于三维声像空间，从而能够听到回旋(convolution)立体声的技术。 

然而，上述现有的听觉显示装置却存在下述的技术问题。在专利文献1及专利文献2中，虽然都是根据说话者的位置来配置声源，但在说话者有多个的情况下却可能出现问题。也就是说，在专利文献1及专利文献2中，当多个说话者的方向相近时，就会听到各个说话者的重叠的声音，从而难以分辨。 

此外，电视台的双语广播虽然是将语种不同的两种声音分配在左右来播放，但由于是从完全相同的方向听到同一语种的说话者的声音，所以存在难以分辨同一语种的声音的问题。 

此外，专利文献3中，尽管处于通话状态的对方的声音大而容易分辨，但由于作为环境音而混有许多其他人的声音，因而存在的问题是，难以从多个其他人的声音中分辨出特定的其他人的声音。 

此外，专利文献4中由于没有考虑到说话者的声音的特征，所以当相似的声音配置于相接近的位置的情况下，就存在难以分辨各个声音的问题。 

专利文献1：日本特开2005-184621号公报 

专利文献2：日本特开平8-130590号公报 

专利文献3：日本特开平8-186648号公报 

专利文献4：日本特开平11252699号公报 

发明内容

因此，本发明用于解决上述的技术问题，通过立体地配置声音，并将之输出，从而实现从多个声音中容易地分辨出期望的声音的目的。 

为达到上述目的，本发明的听觉显示装置具备：声音收发部，接收声音数据；声音解析部，对声音数据进行解析，并计算声音数据的基本频率；声音配置部，将声音数据的基本频率与邻近的声音数据的基本频率进行比较，并配置声音数据，使得该基本频率的差分为最大；声音管理部，管理声音数据的配置位置；声音混合部，将声音数据与邻近的声音数据混合；声音输出部，将混合后的声音数据输出到声音输出装置。 

声音管理部也可以将声音数据的配置位置和声音数据的声源信息组合来进行管理。该情况下，声音配置部基于声源信息，判断声音收发部所接收到的声音数据与声音管理部所管理的声音数据是否相同。若判断为相同，声音配置部则能够将所接收到的声音数据配置在与声音管理部所管理的声音数据相同的配置位置。 

此外，声音管理部也可以将声音数据的配置位置和声音数据的声源信息组合来进行管理。该情况下，声音配置部在配置声音数据时，基于声源信息能够将从特定输入源接收到的声音数据排除。 

此外，声音管理部将声音数据的配置位置和声音数据的输入时间组合来进行管理。该情况下，声音配置部能够基于声音数据的输入时间来配置声音数据。 

优选的是，声音配置部使声音数据的配置位置移动的情况下，使声音数据的位置以插入(interpolate)的方法从原地阶段性地移动到移动目的地。 

声音配置部将声音数据优先配置在包含用户的左右及前方的区域。此外，声音配置部也可以将声音数据配置在包含用户的后方或上下方向的区域。 

此外，听觉显示装置与保存有1个以上的声音数据的声音保存装置连接。声音保存装置通过信道管理有1个以上的声音数据。该情况下，听觉显 示装置还具备：操作输入部，接收用于切换信道的输入；及，设定保存部，保存切换后的信道。由此，声音收发部能够从声音保存装置获得与信道对应的声音数据。 

此外，听觉显示装置还可以具备获取听觉显示装置的朝向的操作输入部。该情况下，声音配置部能够根据听觉显示装置的朝向的变化来改变声音数据的配置位置。 

此外，听觉显示装置的结构也可以具备：声音识别部，将声音数据转换为字符码(character code)，并计算声音数据的基本频率；声音收发部，接收声音数据的字符码及基本频率；声音合成部，基于基本频率，根据字符码合成声音数据；声音配置部，将声音数据的基本频率与邻近的声音数据的基本频率进行比较，并配置声音数据，使得该基本频率的差分为最大；声音管理部，管理声音数据的配置位置；声音混合部，将声音数据与邻近的声音数据混合；声音输出部，向声音输出装置输出混合后的声音数据。 

本发明还涉及与听觉显示装置连接的声音保存装置。声音保存装置具备：声音收发部，接收声音数据；声音解析部，对声音数据进行解析，并计算声音数据的基本频率；声音配置部，将声音数据的基本频率与邻近的声音数据的基本频率进行比较，并配置声音数据，使得该基本频率的差分为最大；声音管理部，管理声音数据的配置位置；声音混合部，将声音数据与邻近的声音数据混合，并经由声音收发部将该混合后的声音数据发送到听觉显示装置。 

此外，本发明也可以是与声音输出装置连接的听觉显示装置所实施的方法。上述方法包括：声音接收步骤，接收声音数据；声音解析步骤，对所接收到的声音数据进行解析，并计算声音数据的基本频率；声音配置步骤，将声音数据的基本频率与邻近的声音数据的基本频率进行比较，并配置声音数据，使得该基本频率的差分为最大；声音混合步骤，将声音数据与邻近的声音数据混合；声音输出步骤，将混合后的声音数据输出到声音输出装置。 

发明效果：本发明的听觉显示装置通过具备上述结构，在配置多个声 音数据时，能够增大相邻的声音数据之间的差异来进行配置，从而能够容易地分辨所期望的声音数据。 

附图说明

图1是示出本发明的第1实施方式所涉及的听觉显示装置100的结构例的方框图。 

图2A是示出本发明的第1实施方式所涉及的设定保存部104所保存的设定信息的一例的图。 

图2B是示出本发明的第1实施方式所涉及的设定保存部104所保存的设定信息的一例的图。 

图2C是示出本发明的第1实施方式所涉及的设定保存部104所保存的设定信息的一例的图。 

图2D是示出本发明的第1实施方式所涉及的设定保存部104所保存的设定信息的一例的图。 

图2E是示出本发明的第1实施方式所涉及的设定保存部104所保存的设定信息的一例的图。 

图3A是示出本发明的第1实施方式所涉及的声音管理部109所管理的信息的一例的图。 

图3B是示出本发明的第1实施方式所涉及的声音管理部109所管理的信息的一例的图。 

图3C是示出本发明的第1实施方式所涉及的声音管理部109所管理的信息的一例的图。 

图4A是示出本发明的第1实施方式所涉及的声音保存装置203所保存的信息的一例的图。 

图4B是示出本发明的第1实施方式所涉及的声音保存装置203所保存的信息的一例的图。 

图5是示出本发明的第1实施方式所涉及的听觉显示装置100的动作的一例的流程图。 

图6是示出本发明的第1实施方式所涉及的听觉显示装置100的动作的一例的流程图。 

图7是示出连接有多个声音保存装置203、204的听觉显示装置100的例子的图。 

图8是示出本发明的第1实施方式所涉及的听觉显示装置100的动作的一例的流程图。 

图9是示出本发明的第1实施方式所涉及的听觉显示装置100的动作的一例的流程图。 

图10A是说明声音数据403的配置方法的图。 

图10B是说明声音数据403、404的配置方法的图。 

图10C是说明声音数据403、404、405的配置方法的图。 

图10D是说明阶段性地使声音数据403移动的情况的图。 

图11A是示出本发明的第2实施方式所涉及的声音保存装置203a的结构例的方框图。 

图11B是示出本发明的第2实施方式所涉及的声音保存装置203b的结构例的方框图。 

图12A是示出本发明的第3实施方式所涉及的听觉显示装置100b的结构例的方框图。 

图12B是示出与多个声音保存装置203、204连接的听觉显示装置100b的结构例的方框图。 

图13是示出本发明的第4实施方式所涉及的听觉显示装置100c的结构的图。 

具体实施方式

(第1实施方式) 

图1是示出本发明的第1实施方式所涉及的听觉显示装置100的结构例的方框图。图1中，听觉显示装置100从声音输入装置201输入声音，并将转换为数值数据的声音(以下，称为声音数据)保存到声音保存装置203。此 外，听觉显示装置100获取声音保存装置203中所保存的声音，并输出给声音输出装置202。该例子中，假设听觉显示装置100是进行双向声音交流的移动终端。 

声音输入装置201由传声器等构成，使声音的空气振动转换为电信号。声音输出装置202由立体声头戴耳机等构成，使所输入的声音数据转换为空气振动。声音保存装置203由文件系统构成，是保存声音数据以及有关声音数据的属性信息的数据库。之后将结合图4A、4B来对声音保存装置203所保存的信息进行说明。 

此外，在图1中，听觉显示装置100与外部的声音输入装置201、声音输出装置202及声音保存装置203连接，但听觉显示装置100也可以是内部具备上述构成的结构。例如，听觉显示装置100的结构也可以包含声音输入装置201。此外，听觉显示装置100的结构也可以包含声音输出装置202。当听觉显示装置100的结构包含声音输入装置201和声音输出装置202的情况下，例如能够用作立体声耳机型的移动终端。 

此外，听觉显示装置100的结构也可以包含声音保存装置203。或者，声音保存装置203也可存在于因特网等通信网上，经由通信网与听觉显示装置100连接。 

此外，声音保存装置203的功能可以是与听觉显示装置100不同的其他听觉显示装置(未图示)包含其功能。即，听觉显示装置100也可以是与其他听觉显示装置之间相互收发声音数据的结构。这里，声音数据既可以是一次能够收发的文件形式，也可以是能够依次收发的流形式。 

接着，说明听觉显示装置100的具体结构。听觉显示装置100具备：操作输入部101、声音输入部102、声音收发部103、设定保存部104、声音解析部105、声音配置部106、声音混合部107、声音输出部108及声音管理部109。其中，声音配置处理部200包括：声音收发部103、声音解析部105、声音配置部106、声音混合部107、声音输出部108及声音管理部109。声音配置处理部200具有基于声音数据的基本频率，将声音数据配置于三维声像空间的功能。 

操作输入部101由按键按钮、开关、拨盘等构成，接收来自用户的声音的收发控制、信道选择、声音配置区域的设定等操作。或者，操作输入部101也可以由遥控器和控制器接收部构成。遥控器接收用户操作，将有关用户操作的信号发送给控制器接收部。控制器接收部接收有关用户操作的信号，从而接收来自用户的声音的收发控制、信道选择、声音配置区域的设定操作等。这里，信道是指有关特定地区的分组(group)、由特定的朋友构成的分组、被定义为特定主题的分组等的分类。 

声音输入部102由A/D转换器等构成，将声音的电信号转换为数值数据的声音数据。设定保存部104由存储器等构成，保存有关听觉显示装置100的各种设定信息。设定信息既可以预先保存在设定保存部104中，也可以将用户经由操作输入部101所设定的设定信息保存到设定保存部104。之后将结合图2A～2E来对设定保存信息进行说明。 

声音收发部103由通信模块以及文件系统的装置驱动器等构成，用于收发声音数据等。此外，声音收发部103也可以将声音数据压缩后进行发送，接收经压缩后的声音数据后进行扩展。 

声音解析部105对声音数据进行解析，并计算声音数据的基本频率。声音配置部106基于声音数据的基本频率，将声音数据配置于三维声像空间。声音混合部107将配置于三维声像空间的声音数据混合为立体声声音。声音输出部108由D/A转换器等构成，将声音数据转换成电信号。声音管理部109将声音数据的配置位置、表示声音数据的输出是否正在继续的输出状态、基本频率等，作为与声音数据有关的信息来保存并进行管理。之后将结合图3A～3C来对声音管理部109所保存的信息进行说明。 

图2A是示出设定保存部104所保存的设定信息的一例的图。图2A中，作为设定信息，设定保存部104保存声音发送目的地、声音接收地、信道列表、信道号及用户ID。声音发送目的地表示输入到声音收发部103的声音数据的发送目的地，例如设定有声音输出装置202或声音保存装置203。声音接收地表示输入到声音收发部103的声音数据的接收地，例如设定有声音输入装置201或声音保存装置203。并且，声音发送目的地及声音接收地既 可以以URI的形式来记载，也可以通过IP地址或电话号码等其他形式来记载。此外，也可以设定多个声音发送目的地及声音接收地。信道列表表示能够听到的信道的一栏，可以设定多个信道。信道号设定了信道列表中正在听取的信道的号。在图2A的例子中，信道号为“1”，表示正在听取信道列表中的第1个信道“123-456-789”。 

用户ID中设定了正在操作听觉显示装置100的用户的识别信息。此外，用户ID中也可以设定装置ID或MAC地址等装置的识别信息。使用用户ID，在声音发送目的地和声音接收地相同的情况下，当配置在声音接收地接收到的声音数据时，能够将自己发送到声音发送目的地的声音数据排除。此外，上述项目及设定值仅仅是一个例子，设定保存部104也可以保存其他项目及其他设定值。例如，设定保存部104可以保存如图2B～2E所示那样的设定信息。图2B的信道号与图2A不同。图2C的声音发送目的地和声音接收地与图2A不同。图2D的信道号与图2C不同。图2E中追加了声音接收地，且其信道号与图2D不同。 

图3A是示出声音管理部109所管理的信息的一例的图。图3A中，声音管理部109管理有：管理号、方位角、俯仰角、相对距离、输出状态及基本频率。管理号中设定了与声音数据对应的任意不重复的号码。方位角表示从正面的水平方向的角度。该例子中，假设初始化时的水平方向的正面为0度，右旋为正、左旋为负。俯仰角表示从正面的垂直方向的角度。该例子中，设定初始化时的垂直方向的正面为0度，正上为90度，正下为-90度。相对距离表示从正面到声音数据的距离，设定为0以上的值，值越大表示距离越远。方位角、俯仰角及相对距离表示声音数据的配置位置。输出状态表示声音的输出是否正在继续的状态，输出正在继续的状态用1表示，结束的状态用0表示。基本频率中设定了声音解析部105所解析的声音数据的基本频率。 

此外，如图3B所示，声音管理部109也可以将与声音数据的输入源有关的信息(以下，称为声源信息)和声音数据的配置位置等建立关联来进行管理。声源信息中可以包含相当于上述用户ID的信息。声音管理部109通过 使用声源信息，在接收到新的声音数据的情况下，能够判定新的声音数据与声音管理部109中所管理的声音数据是否相同。在新的声音数据与声音管理部109中所管理的声音数据相同的情况下，声音管理部109能够使新的声音数据配置于与已经管理的声音数据相同的位置。此外，声音管理部109通过使用声源信息，在配置声音数据时，能够将从特定输入源接收到的声音数据排除。 

此外，如图3C所示，声音管理部109也可以将输入时间，即表示声音数据被输入的时间与声音数据的配置位置等建立关联来进行管理。声音管理部109通过使用输入时间，能够调整输出声音数据的顺序，结合时间间隔来配置多个声音数据。但并不一定要配合时间间隔，也可以错开一定时间来配置多个声音数据。此外，上述项目及设定值只不过是一例，声音管理部109也可以保存其他的项目及设定值。 

图4A是示出声音保存装置203所保存的信息的一例的图。图4A中，声音保存装置203保存信道号、声音数据及属性信息。声音保存装置203能够与1个信道号对应来保存多个声音数据。属性信息例如是表示能够听取的用户的识别信息的用户ID、信道的公开范围等属性的信息。此外，声音保存装置203并不一定要保存信道号及属性信息。此外，如图4B所示，声音保存装置203也可以将声音数据与输入了相应声音数据的用户ID及输入时间建立对应来保存。此外，声音保存装置203除了信道号、声音数据、属性信息以外，也可以将用户ID与输入时间建立对应来保存。 

结合图5来说明上述结构的听觉显示装置100的动作。图5是示出第1实施方式中，将经由声音输入装置201而被输入的声音发送给声音保存装置203时，听觉显示装置100的动作的流程图。如图5所示，当听觉显示装置100启动时，声音收发部103从设定保存部104获取设定信息(步骤S11)。这里，作为设定信息，假设声音发送目的地被设定为“声音保存装置203”，声音接收地被设定为“声音输入装置201”，信道号被设定为“2”(参照图2B)。此外，图2B所示的例子中省略了信道列表及用户ID的使用。 

接着，操作输入部101从用户受理声音获取开始的请求(步骤S 12)。声 音获取开始的请求通过用户按下操作输入部101的按钮等操作而实现。或者，也可以在感应器感应到所输入的声音的定时就认为有声音获取开始的请求。若没有声音获取开始的请求(步骤S12中的否)，操作输入部101则返回步骤S12，受理声音获取开始的请求。 

若有声音获取开始的请求(步骤S12中的是)，声音输入部102则从声音输入装置201接收被转换为电信号的声音，将该接收到的声音转换为数值数据，并作为声音数据输出到声音收发部103。声音收发部103由此来获取声音数据(步骤S13)。 

接着，操作输入部101从用户受理声音获取结束的请求(步骤S14)。若没有声音获取结束的请求(步骤S14中的否)，声音收发部103则返回步骤S13，继续声音数据的获取。或者，声音收发部103也可以从声音获取开始经过一定时间后自动地结束声音获取。 

此外，声音收发部103也可以将所获得的声音数据暂时储存到存储区域(未图示)，以能够继续声音数据的获取。此外，声音收发部103也可以在所获得的声音数据增大到以至于不能够存储的时点而自动地发出声音获取结束的请求。 

声音获取结束的请求通过用户放开操作输入部101的按钮、或者声音获取开始的按钮再次被按下等来实现。或者，操作输入部101也可以在感应器没有感应到所输入的声音的定时认为有声音获取结束的请求。若有声音获取结束的请求(步骤S 14中的是)，声音收发部103就将所获得的声音数据压缩(步骤S 15)。声音数据的压缩能够减小数据量。此外，声音收发部103也可以省略声音数据的压缩。 

接着，声音收发部103基于预先所获取的设定信息，将声音数据发送给声音保存装置203(步骤S16)。声音保存装置203储存声音收发部103所发送的声音数据。之后，返回步骤S12，操作输入部101再次受理声音获取开始的请求。 

此外，在声音数据的发送目的地或信道等被固定的情况下，声音收发部103不从设定保存部104获取设定信息就能够收发声音数据。因此，设定 保存部104对于听觉显示装置100而言并不是必须的构成要素，因而也可以省略步骤S11的动作。同样地，在不需要通过操作输入部101来对设定保存部104进行设定等情况下，操作输入部101对于听觉显示装置100而言不是必须的构成要素。 

此外，声音收发部103不仅从声音输入部102获取声音数据，也可以从声音保存装置204等获取声音数据。因此，声音输入部102对于听觉显示装置100而言不是必须的构成要素。 

接着，第1实施方式在中，以几种形式为例来对听觉显示装置100将声音数据混合后输出时的动作进行说明。 

(第1种形式) 

第1种形式中说明听觉显示装置100从声音保存装置203获取多个声音数据，并将该所获得的多个声音数据混合后输出时的动作。此时，作为设定信息，假设在设定保存部104中，声音发送目的地被设定为“声音输出装置202”，声音接收地被设定为“声音保存装置203”，信道号被设定为“1”(例如，参照图2C)。此外，图2C所示的例子中省略了信道列表及用户ID的使用。设定信息既可以预先保存在设定保存部104中，也可以将用户经由操作输入部101而设定的设定信息保存到设定保存部104中。 

图6是示出第1实施方式中，将声音保存装置203中所保存的多个声音数据混合后输出时的、听觉显示装置100的动作的一例的流程图。如图6所示，当听觉显示装置100启动时，声音收发部103从设定保存部104获取设定信息(步骤S21)。 

接着，声音收发部103将设定保存部104中所设定的信道号“1”发送给声音保存装置203，并从声音保存装置203获取与该信道号对应的声音数据(步骤S22)。声音保存装置203具有检索功能的情况下，声音收发部103也可以将关键词发送给声音保存装置203，并从声音保存装置203获取基于关键词而检索到的声音数据。此外，在声音保存装置203没有将声音数据以信道号进行分类的情况下，声音收发部103不用将信道号发送给声音保存装置203。 

接着，声音收发部103判定是否从声音保存装置203获得满足设定信息的声音数据(步骤S23)。没有获得满足设定信息的声音数据的情况(步骤S23中的否)下，声音收发部103返回步骤S22。这里，假设声音收发部103从声音保存装置203获得声音数据A及声音数据B，来作为满足设定信息的声音数据。获得满足设定信息的声音数据的情况下，声音解析部105计算该所获得的声音数据A，B的基本频率(步骤S24)。接着，声音配置部106将该计算出的声音数据A，B的基本频率进行比较(步骤S25)，决定该所获得的声音数据A，B的配置位置，并配置声音数据A，B(步骤S26)。之后将说明声音数据的配置的决定方法。 

接着，声音配置部106将声音数据的配置、输出状态、基本频率等信息通知给声音管理部109。声音管理部109对声音配置部106所通知的信息进行管理(步骤S27)。此外，步骤S27也可以在这以后的步骤中(步骤S28或步骤S29以后)执行。此外，声音混合部107将声音配置部106所配置的声音数据A，B混合(步骤S28)。声音输出部108将声音混合部107混合后的声音数据A，B输出到声音输出装置202(步骤S29)。从声音输出装置202输出声音数据的处理与该流程另外并行地进行，声音数据的输出结束的情况下，声音管理部109所管理的输出状态等信息被变更。 

此外，如图7所示，听觉显示装置100也可以连接多个声音保存装置203、204，从多个声音保存装置203，204获取多个声音数据。 

(第2种形式) 

第2种形式中说明听觉显示装置100将从声音保存装置203获得的声音数据与预先配置的声音数据混合后，输出到声音输出装置202时的动作。此时，作为设定信息，在设定保存部104中，声音发送目的地被设定为“声音输出装置202”，声音接收地被设定为“声音保存装置203”，信道号被设定为“2”(例如，参照图2D)。此外，假设预先所配置的声音数据是声音数据X。设定信息既可以预先保存在设定保存部104中，也可以将用户经由操作输入部101而设定的设定信息保存到设定保存部104中。 

图8是示出第1实施方式中，将从声音保存装置203获得的声音数据与 预先所配置的声音数据混合时的、听觉显示装置100的动作的一例的流程图。如图8所示，因步骤S21～S23的动作与图6相同，所以省略其说明。作为步骤S22的结果，假设声音收发部103从声音保存装置203获得声音数据C来作为满足设定信息的声音数据。获得满足设定信息的声音数据的情况下，声音解析部105计算该所获得的声音数据C的基本频率(步骤S24a)。接着，声音配置部106将该计算出的声音数据C的基本频率与预先所配置的声音数据X的基本频率进行比较(步骤S25a)，并决定声音数据C及声音数据X的配置位置(步骤S26a)。此时，声音配置部106例如通过参照声音管理部109，就能够得到预先所配置的声音数据X的基本频率。之后将说明声音数据的配置的决定方法。步骤S27～S29的动作因与图6相同所以省略其说明。 

(第3种形式) 

第3种形式中说明听觉显示装置100将从声音输入装置201输入的声音数据与从声音保存装置203获得的声音数据混合后输出时的动作。此时，假设在设定保存部104的设定信息中，声音发送目的地被设定为“声音输出装置202”，声音接收地被设定为“声音输入装置201”和“声音保存装置203”，信道号被设定为“3”(例如参照图2E)。此外，假设从声音输入装置201输入的声音数据是声音数据Y。设定信息既可以预先保存在设定保存部104中，也可以将用户经由操作输入部101而设定的设定信息保存到设定保存部104中。。 

图9是示出第1实施方式中，将从声音输入装置201输入的声音数据与从声音保存装置203获得的声音数据混合时的、听觉显示装置100的动作的一例的流程图。如图9所示，当听觉显示装置100启动时，声音收发部103从设定保存部104获取设定信息(步骤S21)。 

接着，操作输入部101从用户受理声音获取开始的请求(步骤S 12a)。声音获取开始的请求通过用户按下操作输入部101的按钮等操作而实现。或者，也可以当感应器感应到所输入的声音的定时就认为有声音获取开始的请求。若没有声音获取开始的请求(步骤S12a中的否)，操作输入部101则返回步骤S12a，受理声音获取开始的请求。 

若有声音获取开始的请求(步骤S12a中的是)，声音输入部102则从声音输入装置201获取被转换为电信号的声音，将该所获得的声音转换为数值数据，并作为声音数据输出到声音收发部103。声音收发部103由此来获取声音数据Y。此外，声音收发部103将设定保存部104中所设定的信道号“3”发送给声音保存装置203，从声音保存装置203获取该与信道号对应的声音数据(步骤S22)。 

接着，声音收发部103判定是否从声音保存装置203获得满足设定信息的声音数据(步骤S23)。没有获得满足设定信息的声音数据的情况(步骤S23中的否)下，声音收发部103返回步骤S22。这里，假设声音收发部103从声音保存装置203获得声音数据D，来作为满足设定信息的声音数据。获得满足设定信息的声音数据的情况下，声音解析部105计算该所获得的声音数据Y，D的基本频率(步骤S24)。接着，声音配置部106将该计算出的声音数据Y，D的基本频率进行比较(步骤S25)，决定该所获得的声音数据Y，D的配置位置，并配置声音数据Y，D(步骤S26)。之后将说明声音数据的配置的决定方法。 

接着，声音配置部106将声音数据的配置、输出状态、基本频率等信息通知给声音管理部109。声音管理部109对声音配置部106所通知的信息进行管理(步骤S27)。此外，步骤S27也可以在这以后的步骤中(步骤S28或步骤S29以后)执行。此外，声音混合部107将声音配置部106所配置的声音数据Y，D混合(步骤S28)。声音输出部108将声音混合部107所混合后的声音数据Y，D输出到声音输出装置202(步骤S29)。从声音输出装置202输出声音数据的处理与该流程另外并行地进行，声音数据的输出结束的情况下，声音管理部109所管理的输出状态等信息被变更。 

接着，操作输入部101从用户受理声音获取结束的请求(步骤S 14)。若没有声音获取结束的请求(步骤S14a中的否)，声音收发部103返回步骤S22，继续声音数据的获取。或者，声音收发部103也可以从声音获取开始经过一定时间后自动地结束声音获取。若有声音获取结束的请求(步骤S14a中的是)，声音收发部103则返回步骤S12a，受理来自用户的声音获取开始 的请求。 

接着，结合图10A～10D来说明声音数据的配置方法。声音配置部106将声音数据配置在以作为听众的用户401为中心的三维声像空间。然而，与将声音数据配置于用户401的左右方向的情况相比，配置于用户401的上下方向或前后方向的声音数据却难以清楚地识别。这是由于人是根据声源的移动、脸部活动所产生的声音变化，经墙壁等的反射而产生的声音变化，视觉帮助等来把握声源的位置的缘故，所以识别程度因人而异。于是，将声音数据优先配置于包含高度方向一定的左右及前方的区域402。此外，将来自后方或上下方向的声音数据看成是能够识别的声音数据，声音配置部106也可以将声音数据配置在包含后方或上下方向的区域。 

首先，声音解析部105对声音数据进行解析，并计算声音数据的基本频率。基本频率可以根据傅立叶变换后的声音数据的频谱，求出成为峰值的最低频率而获得。声音数据的基本频率根据情况或讲话内容而变化，男性一般在150Hz左右，女性一般在250Hz左右，例如可以用最初1秒内的基本频率的平均值，来计算代表值。 

在新配置第1声音数据403时，若没有其他正在输出中的声音数据，声音配置部106就将第1声音数据403配置于用户401的前方(参照图10A)。此时，第1声音数据403的配置位置为：方位角“0度”、俯仰角“0度”。 

在第1声音数据403的基础上再配置第2声音数据404的情况下，声音配置部106将第2声音数据404配置在用户的右侧。并且，声音配置部106使配置于前方的第1声音数据403阶段性地向左方向移动(参照图10B)。虽然不移动第1声音数据403也能够容易地分辨出第1声音数据403和第2声音数据404，但使之左右分开就更容易分辨。此时，第1声音数据403的配置位置为：方位角“-90度”、俯仰角“0度”。第2声音数据404的配置位置为：方位角“90度”、俯仰角“0度”。为便于说明，该例子中设所有的声音数据的相对距离都相同。 

接着说明在第1声音数据403及第2声音数据404的基础上，再配置第3声音数据405时的配置位置。此时可以考虑的配置位置的候补有下述3个： 第1候补(A)是比配置于左侧的第1声音数据403更靠左的位置；第2候补(B)是位于配置于左侧的第1声音数据403和配置于右侧的第2声音数据404之间的位置；第3候补(C)是比配置于右侧的第2声音数据404更靠右的位置。 

例如，假设第1声音数据403、第2声音数据404、第3声音数据405的基本频率分别为150Hz、250Hz、220Hz。这里，声音配置部106求出新配置的第3声音数据405与邻近的配置好的第1声音数据403及第2声音数据404之间的基本频率的差分。(A)情况是将第3声音数据405与第1声音数据403之间进行比较，基本频率的差分为70Hz。(B)情况是将第3声音数据405与第1声音数据403之间进行比较、以及将第3声音数据405与第2声音数据404之间进行比较，基本频率的差分分别为70Hz和30Hz。(C)情况是将第3声音数据405与第2声音数据404之间进行比较，基本频率的差分为30Hz。配置于2个声音数据之间的情况下，采用所获得的2个差分值中值小的一个。即，基本频率的差分为：(A)70Hz、(B)30Hz、(C)30Hz。最大的基本频率的差分为(A)70Hz。 

这样，声音配置部106将新配置的第3声音数据405的基本频率与邻近的声音数据的基本频率进行比较，并决定声音数据的配置位置，使得基本频率的差分为最大。所以第3声音数据405的配置位置就为(A)比配置于左侧的第1声音数据403更靠左的位置。声音配置部106决定配置位置的同时，使第1声音数据403移动至前方，即中间位置。此时，声音配置部106可以阶段性地使第1声音数据403移动(参照图10C)。 

这里，使声音数据阶段性地移动是指，使声音数据的位置以插入的方法进行移动，例如，使声音数据在n秒内只移动θ的情况，指的是每1秒使其只移动θ/n(参照图10D)。在第1声音数据403的位置在3秒内从方位角-90度移动到0度的例子中，θ为90度、n为3秒。使声音数据阶段性地移动，能够使用户401产生一种发出声音数据的声源实际正在移动一样的错觉。此外，声音数据的阶段性移动能够防止声音数据的急剧移动而导致用户401产生的混乱。 

此外，在基本频率的差分为最大的位置有多个的情况下，可以预先制 定如使之配置于其中最右侧这样的规定。此外，声音数据的阶段性移动若是分别使各个声源阶段性地移动，使配置后的声音数据的位置变得均等，则更容易分辨声音数据。 

声音配置部106在第1～3声音数据403～405的基础上，再配置第4声音数据(未图示)的情况下也进行同样的配置。具体地，声音配置部106求出与邻近的声音数据之间的基本频率的差分，在差分为最大的位置配置第4声音数据。此外，在配置的声音数据的基本频率相同的情况下，声音管理部109可以将声音数据进行频率转换，来改变基本频率。此外，声音管理部109通过将声音数据进行频率转换，还能够实现对声音数据的发出者的隐私的保护。 

另一方面，当任意声音数据的输出结束时，最好是声音配置部106使正在输出中的声音数据阶段性地移动成等间隔的配置。此时，配置于结束了的声音数据的两端位置的声音数据的基本频率的差分变小。该情况下，可以预先制定如以同样的方法将配置于左侧的声音数据再次进行配置这样的规定。此外，再次配置声音数据的决定方法可以通过优先追加顺序在先的、在后的、或者输出声音数据的剩余时间长的、短的方法来决定。声音数据的再次配置也可以在配置位置的距离间隔比预先规定的阈值近的情况下执行。或者，声音数据的再次配置也可以在将配置位置的距离的最大值与最小值进行比较后得到的比率或差分大于预先规定的阈值的情况下执行。 

这里，考虑到听觉特性，示出了将声音数据配置在左右及前方的一定距离的区域的情况，也有声音配置部106通过对声音数据附加混响或衰减的效果来提高对前后或上下的识别的情况。该情况下，声音配置部106也可以将声音数据配置于三维声像空间的球面。 

声音配置部106将声音数据配置于三维声像空间的球面的情况下，计算各个声音数据与其他声音数据中、配置位置距离最近的声音数据。接着，声音配置部106通过对各个声音数据重复执行下述处理，就能够将声音数据配置于球面上，该处理即，使声音数据沿远离配置位置距离最近的声音数据的方向阶段性地移动。此外，此时当与配置位置相距最近的声音数据之 间的基本频率的差分小的情况下，可以增大移动量，而在基本频率的差分大的情况下可以减少移动量。 

此外，声音配置部106也可以从操作输入部101获取听觉显示装置100的朝向，根据听觉显示装置100的朝向来改变声音数据的配置。即，当听觉显示装置100朝向任意的声音数据的方向时，声音配置部106也可以将该声音数据再次配置成位于前方。此外，声音配置部106也可以改变该声音数据的距离，使之配置得相对接近。此外，听觉显示装置100的朝向也可以从照相机或电子指南针之类的各种感应器等获得。 

如上所述，本发明的实施方式所涉及的听觉显示装置100在配置多个声音数据时，能够使声音数据配置成相邻的声音数据之间的差异变大，从而能够容易地分辨期望的声音数据。 

(第2实施方式) 

第2实施方式与第1实施方式相比，从听觉显示装置100a中去掉了与声音配置处理部有关的结构，而让声音保存装置203a具有声音配置处理部的结构。图11A是示出本发明的第2实施方式所涉及的声音保存装置203a的结构例的方框图。以下，对与图1相同的构成要素附上相同的参考标记，并省略对重复部分的说明。听觉显示装置100a是从图1的结构中除去声音管理部109、声音解析部105、声音配置部106及声音混合部107的结构。听觉显示装置100a使用声音输出部108，将声音收发部103从声音保存装置203a接收到的声音数据从声音输出装置202输出。 

声音保存装置203a除了具备图1中的声音管理部109、声音解析部105、声音配置部106、声音混合部107以外，还具备第2声音收发部501。声音管理部109、声音解析部105、声音配置部106、声音混合部107及第2声音收发部501构成声音配置处理部200a。声音配置处理部200a决定从听觉显示装置100a接收到的声音数据的配置位置，将之与从其他装置110b接收到的声音数据混合，并将混合后的声音数据发送给听觉显示装置100a。此外，其他装置110b也可以有多个。第2声音收发部501与听觉显示装置100a等进行声音数据的收发。声音配置处理部200a中的声音数据的配置位置的决定 方法及混合方法与第1实施方式相同。 

此外，声音收发部103发送用于确定听觉显示装置100a的识别符。第2声音收发部501接收来自声音收发部103的识别符，声音管理部109可以将识别符与声音数据的配置位置建立关联来进行管理。由此，即使在声音数据临时中断的情况下，声音配置处理部200a可以将与相同识别符建立了关联的声音数据看成是来自同一讲话者的声音数据，从而能够将声音数据配置在相同位置。 

此外，如图11B所示，第2实施方式所涉及的声音保存装置203b所具备的声音配置处理部200b还可以具备能够保存声音数据的存储部502。存储部502例如能够保存如图4A或图4B所示的信息。声音配置处理部200b决定从听觉显示装置100a接收到的声音数据的配置位置，将之与从存储部502获得的声音数据混合。或者，声音配置处理部200b从存储部502获取多个声音数据，在决定了该所获得的多个声音数据的配置位置后再进行混合也可以。声音配置处理部200b将混合后的声音数据发送给听觉显示装置100a。此外，第2声音收发部501也可以从听觉显示装置100a及存储部502以外的、其他装置110b接收声音数据。 

如上所述、本发明的实施方式所涉及的声音配置处理部200a，b在立体地配置多个声音数据时，能够使声音数据配置成相邻的声音数据之间的差异变大，从而能够容易地分辨期望的声音数据。 

(第3实施方式) 

图12A是示出本发明的第3实施方式所涉及的听觉显示装置100b的结构例的方框图。以下，对与图1相同的构成要素附上相同的参考标记，并省略对重复部分的说明。本发明的第3实施方式与图1相比，其结构不具备声音输入装置201及声音输入部102。此外，听觉显示装置100b具备声音获取部601来取代声音收发部103。声音获取部601从声音保存装置203获取声音数据。此外，如图12B所示，听觉显示装置100b也可以与多个声音保存装置203、204连接，并从多个声音保存装置203、204获取多个声音数据。 

并且，声音配置处理部200b包括：声音获取部601、声音解析部105、 声音配置部106、声音混合部107、声音输出部108及声音管理部109。即，第3实施方式所涉及的听觉显示装置100b不具有发送声音数据的功能，而具有将所接收到的声音数据进行立体配置的功能。如此通过对功能进行限定，听觉显示装置100b能够实现提示多个声音数据的单向声音交流，从而能够简化结构。 

(第4实施方式) 

图13是示出本发明的第4实施方式所涉及的听觉显示装置100c的结构的图。以下，对与图1相同的构成要素附上相同的参考标记，并省略对重复部分的说明。本发明的第4实施方式所涉及的听觉显示装置100c与图1相比，其结构还具备声音识别部701，并具备声音合成部702来取代声音解析部105。此外，声音配置处理部200c包括声音识别部701、声音收发部103、声音合成部702、声音配置部106、声音混合部107、声音输出部108及声音管理部109。 

声音识别部701从声音输入部102接收声音数据，基于该接收到的声音数据的波形将讲话转换为字符码。此外，声音识别部701对声音数据进行解析，并计算声音数据的基本频率。声音收发部103从声音识别部701接收声音数据的字符码及基本频率，并输出到声音保存装置203。声音保存装置203保存声音数据的字符码及基本频率。此外，声音收发部103从声音保存装置203接收声音数据的字符码及基本频率。 

声音合成部702基于基本频率，根据字符码合成声音数据。声音配置部106决定声音数据的配置位置，使得声音数据的基本频率的差分为最大。由此，在本实施方式中，通过使用声音识别及声音合成，能够实现将声音数据作为字符码来处理，并作为声音数据来听取的结构。此外，在本实施方式中，将声音数据作为字符码来对待能够大幅度削减要处理的数据量。 

此外，声音配置部106也可以不使用通过解析声音数据而获得的基本频率，而新计算最佳的基本频率。例如，声音配置部106也可以计算使人的可听范围内、邻近的声音数据之间的差分为最大的声音数据的基本频率。该情况下，声音合成部702基于声音配置部106新计算的基本频率，根据字符 码合成声音数据。 

此外，本发明的各个实施方式所涉及的听觉显示装置所具备的各功能也可以通过以下方法来实现：通过CPU来解读执行存储在存储装置(ROM、RAM、硬盘等)的、可执行处理顺序的规定的程序数据。该情况下，程序数据既可以经由存储介质导入存储装置内，也可以从存储介质上直接执行。此外，存储介质是指ROM、RAM或闪存等半导体存储器，软盘或硬盘等磁盘存储器，CD-ROM、DVD、BD等光盘存储器，以及存储卡等。此外，存储介质的概念包括电话线、传输路径等通信介质。 

此外，本发明的各个实施方式所公开的听觉显示装置所具备的各个功能块也可以通过集成电路LSI(Large Scale Integration)来实现。例如，听觉显示装置100中，声音收发部103、声音解析部105、声音配置部106、声音混合部107、声音输出部108及声音管理部109可以通过集成电路来构成。这些构成可以被单独地做成单芯片，或做成包含一部分或全部的单芯片。本发明中称为LSI，但根据集成度的不同，也可以称为IC、系统LSI、超级(super)LSI、特级(ultra)LSI。 

此外，电路集成的方法不仅仅局限于LSI，也可以通过专用电路或通用处理器来实现。此外，LSI制造后，也可以利用能够进行编程的现场可编程门阵列(Field Programmable Gate Array)，或LSI内部的电路元件的连接或设定能够重构的可重构处理器。此外，在具备处理器或存储器等的硬件资源中，处理器也可以用于执行保存于ROM的控制程序的结构。 

此外，随着半导体技术的进步或派生出另外的技术，若出现了能够取代LSI的电路集成技术，理所当然，也可以应用该技术对功能块进行集成。也有可能应用生物技术。 

工业实用性 

本发明所涉及的听觉显示装置对于实现多个用户的声音交流的移动终端等有用。此外，本发明所涉及的听觉显示装置可以应用到移动电话、个人电脑、音乐播放器、汽车导航系统、视频会议系统等。 

附图标记说明 

100、100a、100b、100c  听觉显示装置 

101  操作输入部 

102  声音输入部 

103  声音收发部 

104  设定保存部 

105  声音解析部 

106  声音配置部 

107  声音混合部 

108  声音输出部 

109  声音管理部 

110b  其他装置 

200、200a、200b、200c、200d  声音配置处理部 

201  声音输入装置 

202  声音输出装置 

203、204、203a、203b  声音保存装置 

401  用户(听众) 

402  声音的配置区域 

403  第1声音数据 

404  第2声音数据 

405  第3声音数据 

501  第2声音收发部 

502  存储部 

601  声音获取部 

701  声音识别部 

702  声音合成部 

Claims (13)

1.一种听觉显示装置，与声音输出装置连接，其特征在于，具备：

声音收发部，接收声音数据；

声音解析部，对所述声音数据进行解析，并计算所述声音数据的基本频率；

声音配置部，将所述声音数据的基本频率与邻近的声音数据的基本频率进行比较，并配置所述声音数据，使得该基本频率的差分为最大；

声音管理部，管理所述声音数据的配置位置；

声音混合部，将所述声音数据与所述邻近的声音数据混合；及

声音输出部，将所述混合后的声音数据输出到所述声音输出装置。

2.根据权利要求1所述的听觉显示装置，其特征在于：

所述声音管理部将所述声音数据的配置位置与所述声音数据的声源信息组合来进行管理，

若所述声音配置部基于所述声源信息判断为，所述声音收发部所接收到的所述声音数据与所述声音管理部所管理的所述声音数据相同，则所述声音配置部将所接收到的所述声音数据配置在与所述声音管理部所管理的所述声音数据相同的配置位置。

3.根据权利要求1所述的听觉显示装置，其特征在于：

所述声音管理部将所述声音数据的配置位置与所述声音数据的声源信息组合来进行管理，

所述声音配置部在配置所述声音数据时，基于所述声源信息，将从特定输入源接收到的声音数据排除。

4.根据权利要求1所述的听觉显示装置，其特征在于：

所述声音管理部将所述声音数据的配置位置与所述声音数据的输入时间组合来进行管理，

所述声音配置部基于所述声音数据的输入时间来配置所述声音数据。

5.根据权利要求1所述的听觉显示装置，其特征在于：

所述声音配置部在移动所述声音数据的配置位置的情况下，使所述声音数据的位置以插入的方法从移动原地阶段性地移动到移动目的地。

6.根据权利要求1所述的显示装置，其特征在于：

所述声音配置部将所述声音数据优先配置在包含用户的左右及前方的区域。

7.根据权利要求6所述的听觉显示装置，其特征在于：

所述声音配置部将所述声音数据配置在包含用户的后方或上下方向的区域。

8.根据权利要求1所述的听觉显示装置，其特征在于：

所述听觉显示装置与保存1个以上的声音数据的声音保存装置连接，所述声音保存装置通过信道来管理所述1个以上的声音数据，

所述听觉显示装置还具备，

操作输入部，接收用于切换信道的输入；及

设定保存部，保存切换后的所述信道；

所述声音收发部从所述声音保存装置获取与所述信道对应的声音数据。

9.根据权利要求1所述的听觉显示装置，其特征在于：

所述听觉显示装置还具备获取所述听觉显示装置的朝向的操作输入部；

所述声音配置部根据所述听觉显示装置的朝向的变化来改变所述声音数据的配置位置。

10.一种听觉显示装置，与声音输出装置连接，其特征在于，具备：

声音识别部，将声音数据转换为字符码，并计算所述声音数据的基本频率；

声音收发部，接收所述声音数据的所述字符码和所述基本频率；

声音合成部，基于所述基本频率，根据所述字符码合成所述声音数据；

声音配置部，将所述声音数据的基本频率与邻近的声音数据的基本频率进行比较，并配置所述声音数据，使得该基本频率的差分为最大；

声音管理部，管理所述声音数据的配置位置；

声音混合部，将所述声音数据与所述邻近的声音数据混合；及

声音输出部，经由所述声音输出装置，将所述混合后的声音数据输出。

11.一种声音保存装置，与听觉显示装置连接，其特征在于，具备：

声音收发部，接收声音数据；

声音解析部，对所述声音数据进行解析，并计算所述声音数据的基本频率；

声音配置部，将所述声音数据的基本频率与邻近的声音数据的基本频率进行比较，并配置所述声音数据，使得该基本频率的差分为最大；

声音管理部，管理所述声音数据的配置位置；及

声音混合部，将所述声音数据与所述邻近的声音数据混合，并经由所述声音收发部将该混合后的声音数据发送给所述听觉显示装置。

12.一种听觉显示装置所实施的方法，该听觉显示装置与声音输出装置连接，其特征在于，该方法包括下述步骤：

声音接收步骤，接收声音数据；

声音解析步骤，对接收到的所述声音数据进行解析，并计算所述声音数据的基本频率；

声音配置步骤，将所述声音数据的基本频率与邻近的声音数据的基本频率进行比较，并配置所述声音数据，使得该基本频率的差分为最大；

声音混合步骤，将所述声音数据与所述邻近的声音数据混合；及

声音输出步骤，将所述混合后的声音数据输出到所述声音输出装置。

13.一种听觉显示装置所执行的程序，该听觉显示装置与声音输出装置连接，其特征在于，所述听觉显示装置执行下述步骤：

声音接收步骤，接收声音数据；

声音解析步骤，对接收到的所述声音数据进行解析，并计算所述声音数据的基本频率；

声音配置步骤，将所述声音数据的基本频率与邻近的声音数据的基本频率进行比较，并配置所述声音数据，使得该基本频率的差分为最大；

声音混合步骤，将所述声音数据与所述邻近的声音数据混合；及

声音输出步骤，将所述混合后的声音数据输出到所述声音输出装置。

Images