CN108141693A - 信号处理设备、信号处理方法和计算机程序 - Google Patents

Abstract

提供一种信号处理设备，所述信号处理设备可以通过向在真实空间中释放的声音赋予与所述真实空间的声学特性不同的声学特性而在所述真实空间中复制与所述真实空间不同的环境。提供一种信号处理设备，所述信号处理设备包括：控制单元，所述控制单元被配置成根据正在再现的内容或用户的动作，判定用于使用户听到在具有不同声学特性的空间中收集的所述用户的周围声音的预定声学特性，并且将所判定的声学特性添加到所述周围声音。

Description

信号处理设备、信号处理方法和计算机程序

技术领域

本发明涉及一种信号处理设备、信号处理方法和计算机程序。

背景技术

传统上存在用于使听众听到逼真声音的技术。为了使听众听到逼真的声音，例如，以立体声再现内容中的声音，或者将某种声学特性添加到内容中的声音并且再现所得到的声音。立体声再现技术的实例包括产生诸如5.1声道和7.1声道的环绕音频的技术以及在多个声音模式(足球场模式、音乐厅模式等)之间切换的同时执行再现的技术。为了在后一技术中的模式之间进行切换，已经记录了空间特性，并且已经将效果添加到内容中的声音(例如，参考专利文献1)。

引用列表

专利文献1：JP H6-186966A

发明内容

技术问题

然而，前述任何技术仍然涉及如何再现内容中的声音的问题。对于在真实空间中释放的声音，无论如何，根据真实空间的声学特性来执行声音的混响等。因此，无论多么逼真地再现内容中的声音，听众都会感觉到真实空间与内容空间之间的分离感。

鉴于上述内容，本公开提出了一种信号处理设备、信号处理方法和计算机程序，所述信号处理设备、信号处理方法和计算机程序是新颖的且改进的，并且可以通过向在真实空间中释放的声音赋予与真实空间的声学特性不同的声学特性而在真实空间中复制与真实空间不同的环境。

问题的解决方案

根据本公开，提供了一种信号处理设备，其包括：控制单元，所述控制单元被配置成根据正在再现的内容或用户的动作，判定用于使用户听到在具有不同声学特性的空间中收集的所述用户的周围声音的预定声学特性，并且将所判定的声学特性添加到所述周围声音。

此外，根据本公开，提供了一种信号处理方法，其包括：由处理器执行根据正在再现的内容或用户的动作，判定用于使用户听到在具有不同声学特性的空间中收集的所述用户的周围声音的预定声学特性的处理；以及将所判定的声学特性添加到所述周围声音。

此外，根据本公开，提供了一种用于使计算机执行以下操作的计算机程序：根据正在再现的内容或用户的动作，判定用于使用户听到在具有不同声学特性的空间中收集的所述用户的周围声音的预定声学特性；以及将所判定的声学特性添加到所述周围声音。

本发明的有益效果

如上所述，根据本公开，可以提供一种信号处理设备、信号处理方法和计算机程序，所述信号处理设备、信号处理方法和计算机程序是新颖的且改进的，并且可以通过向在真实空间中释放的声音赋予与真实空间的声学特性不同的声学特性而在真实空间中复制与真实空间不同的环境。

应当注意，上述效果不一定是限制性的。利用或代替上述效果，可以实现本说明书中所描述的任何一种效果或者可以从本说明书导出的其他效果。

附图说明

图1是描述本公开的实施例的概况的示例图。

图2是描述本公开的实施例的概况的示例图。

图3是示出信号处理设备的第一配置实例的示例图。

图4是示出信号处理设备的第一操作实例的流程图。

图5是示出信号处理设备的第二配置实例的示例图。

图6是示出信号处理设备的第二操作实例的流程图。

图7是示出信号处理设备的第三配置实例的示例图。

图8是示出信号处理设备的第三操作实例的流程图。

图9是示出信号处理设备的第四配置实例的示例图。

图10是示出信号处理设备的第四操作实例的流程图。

图11是示出信号处理设备的第五配置实例的示例图。

具体实施方式

在下文中，将参照附图对本公开的优选实施例进行详细描述。应当注意，在本说明书和附图中，具有基本上相同的功能和结构的结构元件以相同的附图标记进行表示，并且省略了对这些结构元件的重复说明。

应当注意，将按照以下顺序进行描述。

1.本公开的实施例

1.1.概况

1.2.第一配置实例和操作实例

1.3.第二配置实例和操作实例

1.4.第三配置实例和操作实例

1.5.第四配置实例和操作实例

1.6.第五配置实例

1.7.修改的实例

2.结论

<1.本公开的实施例>

[1.1.概况]

首先，将描述本公开的实施例的概况。图1是描述本公开的实施例的概况的示例图。

图1所示的信号处理设备100是执行以下信号处理的设备：将另一空间的声学特性添加到在放置麦克风10的物理空间(真实空间)中发出的声音。通过执行将另一空间的声学特性添加到真实空间中发出的声音的信号处理，信号处理设备100可以引起在真实空间中复制另一空间或者用另一空间扩展真实空间的效果。

放置在桌子11上的麦克风10收集在真实空间中发出的声音。例如，麦克风10收集由人发出的会话声音，以及当物体放置在桌子11上时发出的声音。麦克风10将所收集的声音输出到信号处理设备100。

信号处理设备100执行以下信号处理：将另一空间的声学特性添加到由麦克风10收集的声音。例如，信号处理设备100从由放置在真实空间中的显示装置20输出的内容来识别另一空间的声学特性，并且将所述声学特性添加到由麦克风10收集的声音。然后，信号处理设备100将在所述信号处理之后获得的信号输出到扬声器12。扬声器12例如放置在桌子11的背面等。

例如，在显示装置20输出的内容是洞穴中的场景的情况下，当真实空间中的人发出声音时，信号处理设备100在内容中添加以与在洞穴中相同的方式反射所发出的声音的声学特性。

此外，例如，在显示装置20输出的内容是音乐会视频的情况下，当真实空间中的人发出声音时，信号处理设备100在内容中添加以与在音乐厅中相同的方式反射所发出的声音的声学特性。应当注意，在不显示视频的情况下再现音乐会音乐时，信号处理设备100同样可以以类似的方式复制一个空间。

另外，例如，在显示装置20输出的内容是外太空电影的情况下，当真实空间中的人发出声音时，信号处理设备100可以使得难以听到实际发出的声音，并且例如通过添加具有与所发出的声音的相位相反的相位的声音作为效果来复制像真空外太空那样的空间。

此外，例如，在显示装置20输出的内容是主要包括水面的内容的情况下，当真实空间中的人发出声音时，信号处理设备100通过将听起来好像物体落在水面上一样的混响声音添加到在真实空间中发出的声音来复制水面空间。此外，例如，在显示装置20输出的内容是水下空间的视频的情况下，当真实空间中的人发出声音时，信号处理设备100添加听起来好像声音是在水下发出一样的混响。

此外，例如，在显示装置20输出的内容是虚拟空间的内容(例如像，游戏内容)的情况下，当真实空间中的人发出声音时，信号处理设备100将虚拟空间的声学特性应用到在物理空间中发出的声音，并且输出所得到的声音。

例如，在游戏内容中的视频是洞穴的视频的情况下，信号处理设备100在真实空间中混响声音，好像听众存在于洞穴空间中一样。此外，例如，在游戏内容中的视频是在水下拍摄的视频的情况下，信号处理设备100在真实空间中混响声音，好像听众存在于水下一样。此外，例如，在游戏内容中的视频是科幻小说(SF)的视频的情况下，信号处理设备100将所述内容中出现的人物的呼吸声等作为混响添加到在真实空间中发出的声音，并且输出所得到的声音。通过由此将虚拟空间的声学特性应用到在物理空间中发出的声音并且输出所得到的声音，信号处理设备100可以将真实空间扩展到虚拟空间。

信号处理设备100可以针对由显示装置20输出的内容的每个场景，动态地切换将要复制的空间。通过结合由显示装置20输出的内容的场景、动态地切换将添加到在真实空间中发出的声音的声学特性，例如即使每当在一段内容中时切换一次场景，信号处理设备100可以继续使存在于真实空间中的人体验到与所述场景相同的空间。

例如，如果显示装置20输出的内容是电影，并且电影中出现了水下场景，则信号处理设备100添加使得听众感觉好像听众存在于水下一样的声学特性，并且当场景切换并且出现洞穴中的场景时，信号处理设备100添加使得听众感觉好像听众存在于洞穴中一样的声学特性。

通过扬声器12输出已由信号处理设备100执行了信号处理的声音，位于真实空间中的人可以听到在真实空间中发出的声音，好像所述声音是在由显示装置20输出的内容中的空间中发出的声音。

以这种方式，信号处理设备100执行以下信号处理：使得听到在真实空间中发出的声音，好像所述声音是在由显示装置20输出的内容中的空间中发出的声音。应当注意，图1示出麦克风10放置在桌子11上并且扬声器12设置在桌子11的背面上的状态。然而，本公开不限于这种实例。例如，麦克风10和扬声器12可以内置在显示装置20中。此外，麦克风10和扬声器12仅需要放置在与放置显示装置20的房间相同的房间中。

图2是描述本公开的实施例的概况的示例图。图2示出了这样一种系统的配置实例：其中，被配置为诸如智能电话的装置的信号处理设备100例如基于由信号处理设备100正在再现的内容，执行添加另一空间的声学特性的处理。

听众在他/她的耳朵上戴上连接到信号处理设备100的耳机12a和12b，并且当设置在耳机12a和12b中的麦克风10a和10b收集真实空间中的声音时，信号处理设备100对由麦克风10a和10b收集的声音执行信号处理。这种信号处理是基于由信号处理设备100正在再现的内容来添加另一空间的声学特性的处理。

麦克风10a和10b收集由听众本人发出的语音以及在听众周围发出的声音。信号处理设备100对已经由麦克风10a和10b收集的真实空间中的声音执行添加另一空间的声学特性的信号处理，并且从耳机12a和12a输出在所述信号处理之后获得的声音。

例如，在听众正在火车上的真实空间中使用信号处理设备100收听音乐会的现场声源的情况下，信号处理设备100将音乐厅的声学特性添加到存在于真实空间中(火车上)的周围人的语音和噪声，并且从耳机12a和12b输出所得到的语音和噪声。通过将音乐厅的声学特性添加到存在于真实空间中(火车上)的周围人的语音和噪声并且输出所得到的语音和噪声，信号处理设备100可以在为人们(包括存在于火车上的其他人)提供服务的同时复制音乐厅空间，如同人们存在于音乐厅空间中一样。

可以通过使用麦克风10a和10b记录声音并且此外添加已经记录声音的位置的空间的声学特性来创建内容。信号处理设备100通过以下方式来复制更真实的空间：感觉到实际已经将声音记录为双耳立体声音的位置的空间，并且同时还将已经记录声音的位置的声学特性添加到在真实空间中发出的声音，并且输出所得到的声音。

即使在多个人观看相同内容的情况下，也可以针对每个信号处理设备100来切换将要添加到在真实空间中发出的声音的声学特性。信号处理设备100使得听众能够感觉到他们各自的空间，因为即使通过多个人在同一真实空间中观看相同的内容，也可以将不同的声学特性添加到在真实空间中发出的声音。

以上已经描述了本公开的实施例的概况。随后，将通过举例说明本公开的实施例的若干配置实例和操作实例来进行描述。

[1.2.第一配置实例和操作实例]

首先，将描述根据本公开的实施例的信号处理设备100的第一配置实例和操作实例。图3是示出根据本公开的实施例的信号处理设备100的第一配置实例的示例图。通过向正在(由显示装置20或信号处理设备100)再现的内容预先赋予元信息(诸如针对真实空间中的声音的效果的参数和效果名称)并且从所述内容中提取元信息，图3所示的第一配置实例设置针对真实空间中的声音的效果处理的参数。

如图3所示，信号处理设备100包括元信息提取单元110和效果设置单元120。

元信息提取单元110从正在再现的内容中提取元信息。元信息提取单元110提取例如已经预先赋予所述内容的元信息(诸如效果的参数和效果名称)作为元信息。元信息提取单元110将所提取的元信息输出到效果设置单元120。

元信息提取单元110可以以预定的间隔执行元信息的提取，或者可以在检测到元信息切换的时间点执行提取。

效果设置单元120是本公开的控制单元的实例，并且通过对在真实空间中发出的声音执行效果处理，来执行将正在再现的内容中的另一空间的声学特性添加到在真实空间中发出的声音的信号处理。当执行添加另一空间的声学特性的信号处理时，效果设置单元120然后使用由元信息提取单元110提取的元信息来设置针对在真实空间中发出的声音的效果处理的参数。

例如，如果由元信息提取单元110输出的元信息是效果的参数，则效果设置单元120基于所述参数来设置针对在真实空间中发出的声音的效果处理的参数。此外，例如，如果由元信息提取单元110输出的元信息是效果名称，则效果设置单元120基于所述效果名称来设置针对在真实空间中发出的声音的效果处理的参数。

例如，在赋予使得听众感觉好像听众存在于洞穴中一样的效果的情况下，效果设置单元120作为效果将回声应用到在真实空间中发出的声音，并且延长声音的持续时间。此外，例如，在赋予使得听众感觉好像听众存在于水下一样的效果的情况下，效果设置单元120将使得产生气泡的效果应用到在真实空间中发出的声音。

当效果设置单元120使用由元信息提取单元110提取的元信息来设置针对在真实空间中发出的声音的效果处理的参数时，效果设置单元120使用所述参数来执行针对在所述真实空间中发出的声音的效果处理，并且输出在所述效果处理之后获得的声音。

通过具有如图3所示的配置，信号处理设备100可以基于预先赋予正在(由显示装置20或信号处理设备100)再现的内容的元信息来设置针对真实空间中的声音的效果处理的参数。

图4是示出根据本公开的实施例的信号处理设备100的第一操作实例的示例图。通过向正在(由显示装置20或信号处理设备100)再现的内容预先赋予元信息(诸如针对真实空间中的声音的效果的参数和效果名称)并且从所述内容中提取元信息，图4所示的第一操作实例设置针对真实空间中的声音的效果处理的参数。

首先，信号处理设备100连续获取在真实空间中发出的周围环境声音(步骤S101)。例如，通过图1所示的麦克风10或图2所示的麦克风10a和10b来执行环境声音的获取。

信号处理设备100从正在再现的内容中提取元信息(步骤S102)。信号处理设备100提取例如已经预先赋予所述内容的元信息(诸如效果的参数和效果名称)作为元信息。信号处理设备100可以以预定的间隔执行元信息的提取，或者可以在检测到元信息切换的时间点执行提取。

当信号处理设备100从正在再现的内容中提取元信息时，信号处理设备100然后使用在上述步骤S102中获取的元信息，来设置将要对在上述步骤S101中获取的环境声音执行的效果处理的参数(步骤S103)。当信号处理设备100设置所述效果处理的参数时，信号处理设备100使用所述参数来执行针对在上述步骤S101中获取的环境声音的效果处理，并且输出在所述效果处理之后获得的声音。

通过执行如图4所示的操作，信号处理设备100可以基于预先赋予正在(由显示装置20或信号处理设备100)再现的内容的元信息来设置针对真实空间中的声音的效果处理的参数。

[1.3.第二配置实例和操作实例]

接下来，将描述根据本公开的实施例的信号处理设备100的第二配置实例和操作实例。图5是示出根据本公开的实施例的信号处理设备100的第二配置实例的示例图。图5所示的第二配置实例针对正在(由显示装置20或信号处理设备100)再现的内容执行图像识别处理，并且根据图像识别处理的结果来设置针对真实空间中的声音的效果处理的参数。

如图5所示，信号处理设备100包括图像识别单元112和效果设置单元120。

图像识别单元112针对正在再现的内容执行图像识别处理。因为针对真实空间中的声音的效果处理的参数是根据图像识别处理的结果来设置的，所以图像识别单元112执行图像识别处理达到可以识别用于正在再现的内容场景的位置类型的程度。当图像识别单元112针对正在再现的内容执行图像识别处理时，图像识别单元112将图像识别处理的结果输出到效果设置单元120。

例如，如果视频中包括大量的海洋、河流或湖泊等，则图像识别单元112可以识别出正在再现的内容是靠近水的位置的场景或水下场景。此外，例如，如果视频较暗并且视频中包括大量的岩石表面等，则图像识别单元112可以识别出正在再现的内容是洞穴中的场景。

图像识别单元112可以针对每个帧执行图像识别处理。然而，因为针对每个帧频繁地切换场景极为罕见，所以可以以预定的间隔执行图像识别处理以减少处理负荷。

通过对在真实空间中发出的声音执行效果处理，效果设置单元120执行将正在再现的内容中的另一空间的声学特性添加到在真实空间中发出的声音的信号处理。当执行添加另一空间的声学特性的信号处理时，效果设置单元120然后使用由图像识别单元112执行的图像识别处理的结果来设置针对在真实空间中发出的声音的效果处理的参数。

例如，在正在再现的内容被识别为靠近水的位置的场景或水下场景的情况下，作为由图像识别单元112执行的图像识别处理的结果，效果设置单元120设置添加听起来好像物体落在水面上一样的混响声音或添加听起来好像声音是在水下发出一样的混响的效果处理的参数。

此外，例如，在正在再现的内容被识别为洞穴中的场景的情况下，作为由图像识别单元112执行的图像识别处理的结果，效果设置单元120设置添加使得听众感觉好像听众存在于洞穴中一样的混响的效果处理的参数。

当效果设置单元120使用由图像识别单元112执行的图像识别处理的结果来设置针对在真实空间中发出的声音的效果处理的参数时，效果设置单元120使用所述参数来执行针对在真实空间中发出的声音的效果处理，并且输出在所述效果处理之后获得的声音。

通过具有如图5所示的配置，信号处理设备100可以基于正在再现的内容中所包括的内容来设置针对真实空间中的声音的效果处理的参数。换句话说，通过具有如图5所示的配置，即使对于未添加元信息的内容，信号处理设备100也可以基于正在再现的内容中所包括的内容来设置针对真实空间中的声音的效果处理的参数。

图6是示出根据本公开的实施例的信号处理设备100的第二操作实例的示例图。图6中所示的第二操作实例针对正在(由显示装置20或信号处理设备100)再现的内容执行图像识别处理，并且根据图像识别处理的结果来设置针对真实空间中的声音的效果处理的参数。

首先，信号处理设备100连续获取在真实空间中发出的周围环境声音(步骤S111)。例如，通过图1所示的麦克风10或图2所示的麦克风10a和10b来执行环境声音的获取。

信号处理设备100识别正在再现的内容中的图像(步骤S112)。例如，如果视频中包括大量的海洋、河流或湖泊等，则信号处理设备100可以识别出正在再现的内容是靠近水的位置的场景或水下场景。此外，例如，如果视频较暗并且视频中包括大量岩石表面等，则信号处理设备100可以识别出正在再现的内容是洞穴中的场景。

然后，当信号处理设备100对正在再现的内容执行图像识别处理时，信号处理设备100使用在上述步骤S112中执行的图像识别处理的结果，来设置将要对在上述步骤S111中获取的环境声音执行的效果处理的参数(步骤S113)。当信号处理设备100设置所述效果处理的参数时，信号处理设备100使用所述参数来执行针对在上述步骤S111中获取的环境声音的效果处理，并且输出在所述效果处理之后获得的声音。

通过执行如图6所示的操作，信号处理设备100可以基于正在再现的内容中所包括的内容来设置针对真实空间中的声音的效果处理的参数。换句话说，通过执行如图6所示的操作，即使对于未添加元信息的内容，信号处理设备100也可以基于正在再现的内容中所包括的内容来设置针对真实空间中的声音的效果处理的参数。

[1.4.第三配置实例和操作实例]

接下来，将描述根据本公开的实施例的信号处理设备100的第三配置实例和操作实例。图7是示出根据本公开的实施例的信号处理设备100的第二配置实例的示例图。图7中所示的第三配置实例针对正在(由显示装置20或信号处理设备100)再现的内容执行声音识别处理，并且根据声音识别处理的结果来设置针对真实空间中的声音的效果处理的参数。

如图7所示，信号处理设备100包括声音识别单元114和效果设置单元120。

声音识别单元114针对正在再现的内容执行声音识别处理。因为针对真实空间中的声音的效果处理的参数是根据声音识别处理的结果来设置的，所以声音识别单元114执行声音识别处理达到可以识别用于正在再现的内容场景的位置类型的程度。当声音识别单元114针对正在再现的内容执行声音识别处理时，声音识别单元114将声音识别处理的结果输出到效果设置单元120。

例如，如果识别出声音中存在在物体掉入水中的情况下产生的混响声音，则声音识别单元114可以识别出正在再现的内容是靠近水的位置的场景。此外，例如，如果识别出声音中存在洞穴的混响声音，则声音识别单元114可以识别出正在再现的内容是洞穴中的场景。

通过对在真实空间中发出的声音执行效果处理，效果设置单元120执行将正在再现的内容中的另一空间的声学特性添加到在真实空间中发出的声音的信号处理。当执行添加另一空间的声学特性的信号处理时，效果设置单元120然后使用由声音识别单元114执行的声音识别处理的结果来设置针对在真实空间中发出的声音的效果处理的参数。

例如，在正在再现的内容被识别为靠近水的位置的场景的情况下，作为由声音识别单元114执行的声音识别处理的结果，效果设置单元120设置添加听起来好像物体落在水面上一样的混响声音的效果处理的参数。

此外，例如，在正在再现的内容被识别为洞穴中的场景的情况下，作为由声音识别单元114执行的图像识别处理的结果，效果设置单元120设置添加使得听众感觉好像听众存在于洞穴中一样的混响的效果处理的参数。

当效果设置单元120使用由声音识别单元114执行的图像识别处理的结果来设置针对在真实空间中发出的声音的效果处理的参数时，效果设置单元120使用所述参数来执行针对在真实空间中发出的声音的效果处理，并且输出在所述效果处理之后获得的声音。

通过具有如图7所示的配置，信号处理设备100可以基于正在再现的内容中所包括的内容来设置针对真实空间中的声音的效果处理的参数。换句话说，通过具有如图7所示的配置，即使对于未添加元信息的内容，信号处理设备100也可以基于正在再现的内容中所包括的内容来设置针对真实空间中的声音的效果处理的参数。

图8是示出根据本公开的实施例的信号处理设备100的第三操作实例的示例图。图8中所示的第三操作实例针对正在(由显示装置20或信号处理设备100)再现的内容执行声音识别处理，并且根据声音识别处理的结果来设置针对真实空间中的声音的效果处理的参数。

首先，信号处理设备100连续获取在真实空间中发出的周围环境声音(步骤S121)。例如，通过图1所示的麦克风10或图2所示的麦克风10a和10b来执行环境声音的获取。

信号处理设备100识别正在再现的内容中的声音(步骤S122)。例如，如果识别出声音中存在在物体掉入水中的情况下产生的混响声音，则信号处理设备100可以识别出正在再现的内容是靠近水的位置的场景。此外，例如，如果识别出声音中存在洞穴的混响声音，则信号处理设备100可以识别出正在再现的内容是洞穴中的场景。

然后，当信号处理设备100对正在再现的内容执行声音识别处理时，信号处理设备100使用在上述步骤S122中执行的声音识别处理的结果，来设置将要对在上述步骤S121中获取的环境声音执行的效果处理的参数(步骤S123)。当信号处理设备100设置所述效果处理的参数时，信号处理设备100使用所述参数来执行针对在上述步骤S121中获取的环境声音的效果处理，并且输出在所述效果处理之后获得的声音。

通过执行如图8所示的操作，信号处理设备100可以基于正在再现的内容中所包括的内容来设置针对真实空间中的声音的效果处理的参数。换句话说，通过执行如图8所示的操作，即使对于未添加元信息的内容，信号处理设备100也可以基于正在再现的内容中所包括的内容来设置针对真实空间中的声音的效果处理的参数。

信号处理设备100可以通过到目前为止已经描述的元数据提取、视频识别和声音识别的组合来确定将哪种类型的位置用于内容中的场景。此外，在内容是不具有视频的内容(诸如音乐数据)的情况下，信号处理设备100可以通过元数据提取和声音识别的组合来设置针对真实空间中的声音的效果处理的参数。

[1.5.第四配置实例和操作实例]

接下来，将描述根据本公开的实施例的信号处理设备100的第四配置实例和操作实例。在到目前为止给出的描述中，在所有实例中，效果设置单元120基于正在再现的内容中所包括的内容来设置针对真实空间中的声音的效果处理的参数。当设置针对真实空间中的声音的效果处理的参数时，效果设置单元120可以在网络上的服务器上搜索效果处理的参数。

图9是示出根据本公开的实施例的信号处理设备100的第四配置实例的示例图。如图9所示，信号处理设备100包括元信息提取单元110和效果设置单元120。

类似于图3所示的第一配置实例，元信息提取单元110从正在再现的内容中提取元信息。元信息提取单元110提取例如已经预先赋予所述内容的元信息(诸如效果的参数和效果名称)作为元信息。元信息提取单元110将所提取的元信息输出到效果设置单元120。

通过对在真实空间中发出的声音执行效果处理，效果设置单元120执行将正在再现的内容中的另一空间的声学特性添加到在真实空间中发出的声音的信号处理。当执行添加另一空间的声学特性的信号处理时，效果设置单元120然后使用由元信息提取单元110提取的元信息来设置针对在真实空间中发出的声音的效果处理的参数，这类似于图3所示的第一配置实例。

在这种第四配置实例中，当设置针对真实空间中的声音的效果处理的参数时，效果设置单元120可以搜索放置在网络上的服务器中的数据库200以获取效果处理的参数。将要存储在数据库200中的信息的格式不限于特定的格式。然而，希望以这样的方式将信息存储在数据库200中：使得可以从诸如效果名称和场景的信息中提取参数。

例如，如果由元信息提取单元110输出的元信息是效果名称，则效果设置单元120基于所述效果名称来设置针对在真实空间中发出的声音的效果处理的参数。然而，如果效果设置单元120没有保存与效果名称对应的参数，则效果设置单元120从数据库200获取与效果名称对应的参数。

例如，如果由元信息提取单元110输出的元信息是被称为“洞穴内”的效果名称，并且如果效果设置单元120没有保存添加使得听众感觉好像听众存在于洞穴中一样的声学特性的参数，则效果设置单元120从数据库200获取添加使得听众感觉好像听众存在于洞穴中一样的声学特性的效果处理的参数。

通过具有如图9所示的配置，信号处理设备100可以基于预先赋予正在(由显示装置20或信号处理设备100)再现的内容的元信息来设置针对真实空间中的声音的效果处理的参数。

图10是示出根据本公开的实施例的信号处理设备100的第四操作实例的示例图。通过向正在(由显示装置20或信号处理设备100)再现的内容预先赋予元信息(诸如针对真实空间中的声音的效果的参数和效果名称)并且从所述内容中提取元信息，图10所示的第四操作实例设置针对真实空间中的声音的效果处理的参数。

首先，信号处理设备100连续获取在真实空间中发出的周围环境声音(步骤S131)。例如，通过图1所示的麦克风10或图2所示的麦克风10a和10b来执行环境声音的获取。

信号处理设备100从正在再现的内容中提取元信息(步骤S132)。信号处理设备100提取例如已经预先赋予所述内容的元信息(诸如效果的参数和效果名称)作为元信息。信号处理设备100可以以预定的间隔执行元信息的提取，或者可以在检测到元信息切换的时间点执行提取。

当信号处理设备100从正在再现的内容中提取元信息时，信号处理设备100从数据库200获取将要对在上述步骤S131中获取的环境声音执行的效果处理的参数(步骤S133)。然后，信号处理设备100将已经在步骤133中获取的效果处理参数设置为将要对在上述步骤S131中获取的环境声音执行的效果处理的参数(步骤S134)。当信号处理设备100设置所述效果处理的参数时，信号处理设备100使用所述参数来执行针对在所描述步骤S131中获取的环境声音的效果处理，并且输出在所述效果处理之后获得的声音。

通过执行如图10所示的操作，信号处理设备100可以基于预先赋予正在(由显示装置20或信号处理设备100)再现的内容的元信息来设置针对真实空间中的声音的效果处理的参数。

应当注意，在图9和图10所示的实例中，已经描述了从正在再现的内容中提取元信息的配置和操作。然而，如在前述第二配置实例中那样，可以对正在再现的内容执行视频识别处理，并且如果效果设置单元120没有保存与视频识别的结果相对应的参数，则效果设置单元120可以从数据库200获取与效果名称相对应的参数。

此外，如在前述第三配置实例中那样，可以对正在再现的内容执行声音识别处理，并且如果效果设置单元120没有保存与声音识别的结果相对应的参数，则效果设置单元120可以从数据库200获取与效果名称相对应的参数。

[1.6.第五配置实例]

到目前为止已经描述了信号处理设备100的配置实例和操作实例，这些实例通过从正在再现的内容中提取元信息、或者对正在再现的内容执行视频或声音识别处理来设置效果处理的参数。作为下一个实例，将给出信号处理设备100的配置实例的描述，其中预先赋予了内容声学特性，并且设置了与所述声学特性相对应的效果处理的参数。

图11是示出根据本公开的实施例的信号处理设备100的第五配置实例的示例图。如图11所示，信号处理设备100包括效果设置单元120。

效果设置单元120获取关于被配置为正在再现的内容的一个声道的声学特性的信息，并且设置与所述声学特性相对应的效果处理的参数。通过设置与正在再现的内容的声学特性相对应的效果处理的参数，效果设置单元120可以将正在再现的内容的更真实的声学特性添加到真实空间中的声音。

如果正在再现的内容中不包括关于声学特性的信息，则信号处理设备100可以执行从正在再现的内容中提取元信息的处理。此外，如果正在再现的内容中不包括元信息，则信号处理设备100可以对正在再现的内容执行视频分析处理或声音分析处理。

[1.7.修改的实例]

前述信号处理设备100中的任何一个通过从内容中提取元信息或分析内容中的视频或声音来设置针对真实空间中的声音的效果处理的参数。除此之外，例如，信号处理设备100可以根据用户的动作来设置针对真实空间中的声音的效果处理的参数。

例如，信号处理设备100可以使用户选择效果处理的细节。例如，在用户正在观看的内容中出现洞穴中的场景并且用户想要使真实空间中的声音发出回声、好像声音是在洞穴内发出一样的情况下，信号处理设备100可以使用户能够选择执行使得听众感觉好像听众存在于洞穴中一样的效果处理。此外，例如，在用户正在观看的内容中出现森林中的场景并且用户想要使真实空间中的声音不发出太多回声、好像声音是在森林中发出一样的情况下，信号处理设备100可以使用户能够选择执行防止声音混响的效果处理。

此外，信号处理设备100可以预先保存关于真实空间中的声学特性的信息，或者将所述信息带到可参考的状态中，并且根据真实空间的声学特性来改变针对真实空间中的声音的效果处理的参数。例如，可以通过分析由麦克风10收集的声音来获得真实空间中的声学特性。

例如，在真实空间是声音容易混响的空间(诸如会议室)的情况下，当信号处理设备100执行使得听众感觉好像听众存在于洞穴中一样的效果处理时，真实空间中的声音发出的回声太多。因此，信号处理设备100可以调整参数，使得真实空间中的声音不会发出太多回声。此外，例如，在真实空间是声音难以发出回声的空间(诸如宽敞的房间)的情况下，信号处理设备100可以在执行使得听众感觉好像听众存在于洞穴中一样的效果处理时调整参数，使得声发出强烈的回声。

例如，信号处理设备100可以根据由用户携带或佩戴的传感器输出的感测数据来设置针对真实空间中的声音的效果处理的参数。信号处理设备100可以例如从加速度传感器、陀螺仪传感器、地磁传感器、照度传感器、温度传感器、气压传感器等的数据识别出用户的动作，或者从这些传感器的数据获取已经由另一装置识别出的用户动作，并且基于所述用户动作来设置针对真实空间中的声音的效果处理的参数。

例如，在可以从上述传感器的数据识别出用户正在集中注意力的情况下，信号处理设备100可以设置防止声音混响的效果处理的参数。应当注意，动作识别的方法例如在诸如JP 2012-8771A的许多文献中都有描述。因此，将省略详细描述。

<2.结论>

如上所述，根据本公开的实施例，提供了信号处理设备100，其可以通过将正在真实空间中再现的内容的声学特性添加到在真实空间中收集的声音，而使内容的观看者感受到正在真实空间中再现的内容的空间被扩展到真实空间的感觉。

可以不必按时间顺序执行由本说明书的每个装置按照序列图或流程图中所描述的顺序执行的处理中的各个步骤。例如，可以按照与流程图中所描述的顺序不同的顺序来处理并且也可以并行地处理由每个装置执行的处理中的各个步骤。

此外，可以生成一种计算机程序，所述计算机程序使得并入每个装置的硬件装置(诸如CPU、ROM和RAM)展示出与上述装置的配置等同的功能。此外，还可以提供存储计算机程序的存储介质。此外，功能框图中示出的各个功能块可以由硬件装置或硬件电路构成，使得一系列过程可以通过所述硬件装置或硬件电路来实现。

此外，以上描述中使用的功能框图中示出的一些或全部功能块的可以通过经由网络(例如互联网)连接的服务器装置来实现。此外，以上描述中使用的功能框图中示出的功能块的配置可以在单个装置中实现，或者可以在多个装置彼此协作的系统中实现。多个装置彼此协作的系统可以包括例如多个服务器装置的组合以及服务器装置和终端装置的组合。

以上已经参照附图描述了本公开的优选实施例，然而本公开不限于以上实例。本领域技术人员可以在所附权利要求书的范围内发现各种变化和修改，并且应当理解，它们自然会落入本公开的技术范围内。

此外，本说明书中描述的效果仅仅是说明性的或示例性的效果，而不是限制性的。也就是说，利用或代替上述效果，根据本公开的技术可以实现本领域技术人员从本说明书的描述中了解的其他效果。

另外，本公开的技术也可以配置如下。

(1)一种信号处理设备，其包括：

控制单元，所述控制单元被配置成根据正在再现的内容或用户的动作，判定用于使用户听到在具有不同声学特性的空间中收集的所述用户的周围声音的预定声学特性，并且将所判定的声学特性添加到所述周围声音。

(2)根据(1)所述的信号处理设备，其中，在根据正在再现的内容判定声学特性的情况下，所述控制单元根据所述内容的场景来判定声学特性。

(3)根据(2)所述的信号处理设备，其中，所述控制单元通过分析所述内容中的图像或声音来确定所述内容的场景。

(4)根据(2)所述的信号处理设备，其中，所述控制单元基于赋予所述内容的元数据来确定所述内容的场景。

(5)根据(1)至(4)中任一项所述的信号处理设备，其中，在根据正在再现的内容判定声学特性的情况下，所述控制单元将赋予所述内容的声学特性添加到所述周围声音。

(6)根据(1)所述的信号处理设备，其中，在根据用户的动作判定声学特性的情况下，所述控制单元根据由所述用户携带或佩戴的传感器输出的感测数据来判定声学特性。

(7)根据(1)所述的信号处理设备，其中，在根据用户的动作判定声学特性的情况下，所述控制单元将由所述用户选择的声学特性添加到所述周围声音。

(8)根据(1)至(7)中任一项所述的信号处理设备，其中，所述控制单元考虑放置有获取所述周围声音的麦克风的空间的声学特性来判定声学特性。

(9)一种信号处理方法，其包括：

通过处理器执行以下处理：根据正在再现的内容或用户的动作，判定用于使用户听到在具有不同声学特性的空间中收集的所述用户的周围声音的预定声学特性；以及将所判定的声学特性添加到所述周围声音。

(10)一种用于使计算机执行以下操作的计算机程序：

根据正在再现的内容或用户的动作，判定用于使用户听到在具有不同声学特性的空间中收集的所述用户的周围声音的预定声学特性；以及将所判定的声学特性添加到所述周围声音。

附图标记列表

10、10a、10b 麦克风

11 桌子

12、12a、12b 扬声器

100 信号处理设备。

Claims (10)

1.一种信号处理设备，其包括：

控制单元，所述控制单元被配置成根据正在再现的内容或用户的动作，判定用于使用户听到在具有不同声学特性的空间中收集的所述用户的周围声音的预定声学特性，并且将所判定的声学特性添加到所述周围声音。

2.根据权利要求1所述的信号处理设备，其中，在根据正在再现的内容判定声学特性的情况下，所述控制单元根据所述内容的场景来判定声学特性。

3.根据权利要求2所述的信号处理设备，其中，所述控制单元通过分析所述内容中的图像或声音来确定所述内容的场景。

4.根据权利要求2所述的信号处理设备，其中，所述控制单元基于赋予所述内容的元数据来确定所述内容的场景。

5.根据权利要求1所述的信号处理设备，其中，在根据正在再现的内容判定声学特性的情况下，所述控制单元将赋予所述内容的声学特性添加到所述周围声音。

6.根据权利要求1所述的信号处理设备，其中，在根据用户的动作判定声学特性的情况下，所述控制单元根据由所述用户携带或佩戴的传感器输出的感测数据来判定声学特性。

7.根据权利要求1所述的信号处理设备，其中，在根据用户的动作判定声学特性的情况下，所述控制单元将由所述用户选择的声学特性添加到所述周围声音。

8.根据权利要求1所述的信号处理设备，其中，所述控制单元考虑放置有获取所述周围声音的麦克风的空间的声学特性来判定声学特性。

9.一种信号处理方法，其包括：

通过处理器执行以下处理：根据正在再现的内容或用户的动作，判定用于使用户听到在具有不同声学特性的空间中收集的所述用户的周围声音的预定声学特性，以及将所判定的声学特性添加到所述周围声音。

10.一种计算机程序，其用于使计算机执行以下操作：

根据正在再现的内容或用户的动作，判定用于使用户听到在具有不同声学特性的空间中收集的所述用户的周围声音的预定声学特性，以及将所判定的声学特性添加到所述周围声音。