CN109716794B - 信息处理装置、信息处理方法及计算机可读存储介质 - Google Patents

信息处理装置、信息处理方法及计算机可读存储介质 Download PDF

Info

Publication number
CN109716794B
CN109716794B CN201780056464.6A CN201780056464A CN109716794B CN 109716794 B CN109716794 B CN 109716794B CN 201780056464 A CN201780056464 A CN 201780056464A CN 109716794 B CN109716794 B CN 109716794B
Authority
CN
China
Prior art keywords
sound source
section
information
listening
setting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780056464.6A
Other languages
English (en)
Other versions
CN109716794A (zh
Inventor
浜田俊也
泉伸明
池宫由乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN109716794A publication Critical patent/CN109716794A/zh
Application granted granted Critical
Publication of CN109716794B publication Critical patent/CN109716794B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/02—Spatial or constructional arrangements of loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/40—Visual indication of stereophonic sound image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

声源设置单元20和收听设置单元30被配置成包括参数设置单元、显示单元以及用于在安装台40的安装表面上移动的放置移动单元，并且安装在真实空间中设置的安装台40上。分配有反射特性的反射构件402可以安装在安装台40上。混合处理单元50基于分配有声源的声源设置单元20的放置信息、由声源设置单元20生成的设置参数信息、分配有收听点的收听设置单元30的放置信息以及反射构件402的放置信息和分配的反射特性，使用存储在信息存储单元60中的声源数据来执行混合处理。混合处理单元生成被提供有纹理的视频，该纹理指示分配给虚拟空间中声源设置单元20相对于收听设置单元30的位置处的声源设置单元20的声源。因此，可以容易地执行与自由收听点对应的声音的混合。

Description

信息处理装置、信息处理方法及计算机可读存储介质
技术领域
本技术涉及一种信息处理装置、信息处理方法和程序，以便于声音相对于自由视点的混合。
背景技术
迄今为止，声音的混合涉及使用音量和二维位置信息等。例如，专利文献1描述了用于使用例如网状传感器检测配置在舞台上的麦克风和乐器的位置并且基于位置检测结果在控制台屏幕上显示通过其能够改变麦克风和乐器的参数值的对象的技术。该处理直观地将对象与麦克风和乐器相关联以控制其参数。
引用列表
专利文献
专利文献1：日本专利特开第2010-028620号
发明内容
技术问题
同时，在要相对于三维可移动视点生成声音的情况下，即，在如同从自由收听点所收听到的那样生成声音的情况下，使用二维位置信息的现有声音混合设置不容易以反映三维可移动收听点的方式来生成声音。
鉴于上述情况，本技术旨在提供一种信息处理装置、信息处理方法和程序，其用于便于声音相对于自由收听点的混合。
问题的解决方案
根据本技术的第一方面，提供了一种信息处理装置，该信息处理装置包括混合处理部，该混合处理部被配置成：基于与分配有声源的声源设置部有关的布置信息、来自声源设置部的设置参数信息以及与分配有收听点的收听设置部有关的布置信息，并且通过使用与声源有关的数据来执行混合处理。
根据本技术，声源设置部和收听设置部是放置在真实空间中设置的放置台上的物理设备。声源设置部或收听设置部被配置成具有参数设置部、显示部以及用于在放置台的放置表面上重定位的布置重定位部。此外，声源设置部或收听设置部可以被配置成在形状上可变并且根据形状生成布置信息或设置参数信息。分配有反射特性的反射构件可以被设置并配置成能够放置在放置台上。
混合处理部基于与分配有声源的声源设置部有关的布置信息、通过使用声源设置部的参数设置部生成的设置参数信息以及与分配有收听点的收听设置部有关的布置信息，并且通过使用与声源有关的数据来执行混合处理。此外，混合处理部使用与反射构件有关的布置信息和分配给该反射构件的反射特性来执行混合处理。
混合处理部将与声源有关的、混合处理中使用的适用参数信息发送至与声源对应的声源设置部，使显示部显示适用参数信息。混合处理部基于与声源相关联的元数据来配置声源设置部并且设置声源设置部的参数。此外，混合处理部将布置信息和在混合处理中使用的适用参数信息与经过时间一起存储到信息存储部中。当使用存储在信息存储部中的信息执行混合处理时，混合处理部将重定位信号发送至声源设置部或收听设置部，重定位信号用于以反映从信息存储部获取的布置信息的方式重定位声源设置部和收听设置部。这将声源设置部或收听设置部置于由混合处理进行的设置时的布置中。此外，使用存储在信息存储部中的布置信息和适用参数信息，混合处理部生成与以下收听点有关的布置信息和适用参数信息，关于该收听点未存储布置信息和适用参数信息。当接收到改变声源相对于收听点的布置的操作时，混合处理部基于改变操作之后的布置来执行混合处理并且将用于以反映改变操作之后的布置的方式重定位声源设置部和收听设置部的重定位信号发送至声源设置部或收听设置部。当通过混合处理生成的混合声音未能满足预定容许条件时，混合处理部将指示未能满足容许条件的通知信号发送至声源设置部或收听设置部。
混合处理部包括图像生成部，该图像生成部被配置成基于声源设置部和收听设置部的布置状态来辨别声源设置部相对于收听设置部的位置关系，该图像生成部还基于辨别结果在声源设置部在虚拟空间中相对于收听设置部的位置处生成具有表示分配给声源设置部的声源的纹理的图像。因此，图像生成部生成从例如由收听点表示的视点观看的图像。此外，图像生成部将使从声源输出的声音视觉化的图像叠加到具有表示声源的纹理的图像中的对应声源位置上。此外，图像生成部将使从声源输出的声音的反射声音视觉化的图像叠加在通过混合处理在具有表示声源的纹理的图像中设置的声音反射位置上。
根据本技术的第二方面，提供了一种信息处理方法，该信息处理方法包括：使混合处理部获取与分配有声源的声源设置部有关的布置信息和设置参数信息；使混合处理部获取与分配有收听点的收听设置部有关的布置信息；以及使混合处理部基于所获取的布置信息和设置参数信息并且通过使用与声源有关的数据来执行混合处理。
根据本技术的第三方面，提供了一种程序，该程序使计算机实现包括以下的功能：获取与分配有声源的声源设置部有关的布置信息和设置参数信息；获取与分配有收听点的收听设置部有关的布置信息；以及基于所获取的布置信息和设置参数信息并且通过使用与声源有关的数据来执行混合处理。
顺便提及，本技术的程序可以使用诸如光盘、磁盘或半导体存储器的存储介质或经由诸如网络的通信介质，以计算机可读格式提供给能够执行各种程序代码的通用计算机。当被以计算机可读方式提供这样的程序时，计算机执行由程序限定的处理。
本发明的有益效果
根据本技术，混合处理部基于与分配有声源的声源设置部有关的布置信息、来自声源设置部的设置参数信息和与分配有收听点的收听设置部有关的布置信息并且通过使用与声源有关的数据来执行混合处理。因此，容易执行声音相对于自由收听点的混合。顺便提及，本说明书中描述的有益效果仅是示例，并不限制本技术。可能存在从该描述得到的其他有益效果。
附图说明
图1是图示信息处理装置的通常外部配置的示意图。
图2是图示信息处理装置的通常功能配置的示意图。
图3是图示声源设置部的通常配置的示意图。
图4是图示收听设置部的通常配置的示意图。
图5是图示放置台的通常功能配置的示意图。
图6是图示混合处理部的通常功能配置的示意图。
图7是图示混合设置处理的流程图。
图8是图示混合参数插值处理的流程图。
图9是图示混合声音的再现操作的流程图。
图10是图示自动布置操作的流程图。
图11是图示信息处理装置的通常操作的示意图。
图12是图示声源设置部的显示部上的显示示例的示意图。
图13是图示在重定位收听点的情况下的通常操作的示意图。
图14是图示在重定位声源的情况下的通常操作的示意图。
图15是图示在自动布置声源设置部的情况下的通常操作的示意图。
图16是图示在虚拟空间中可视地显示空间中的声音的通常情况的示意图。
图17是图示在虚拟空间中可视地显示反射声音的通常情况的示意图。
具体实施方式
下面描述用于实施本技术的优选实施方式。以下面的标题给出描述：
1.信息处理装置的配置
2.信息处理装置的操作
2-1.混合设置操作
2-2.混合声音再现操作
2-3.声源设置部的自动布置操作
3.信息处理装置的其他配置和操作
4.信息处理装置的操作示例
<1.信息处理装置的配置>
图1图示了信息处理装置10的通常外部配置，并且图2示出了信息处理装置10的通常功能配置。信息处理装置10包括作为分别与声源对应的物理设备的声源设置部20、作为与收听点对应的物理设备的收听设置部30、放置声源设置部20和收听设置部30的放置台40、混合处理部50和信息存储部60。混合处理部50与输出装置90连接。
声源设置部20均具有设置声源位置、声音输出方向、声源高度、音量和声音处理(效果)的功能。可以针对每个声源配置声源设置部20。替选地，一个声源设置部20可以被配置成设置或改变多个声源的混合参数。
收听设置部30具有设置收听点位置、收听方向、收听点高度、音量和声音处理(效果)的功能。多个收听设置部30可以被配置成以彼此独立的方式布置在放置台40上。替选地，多个收听设置部30可以被配置成以一个堆叠在另一个之上的方式布置在放置表面上的相同位置处。
放置台40可以具有平坦的放置表面401或具有高度差的放置表面401。替选地，放置台40可以被配置成具有放置在放置表面401上的反射构件402，反射构件402被分配有声音反射特性。声源设置部20和收听设置部30在放置台40的放置表面401上的位置、方向和高度表示声源与收听点之间的相对位置和相对方向。当放置表面401被划分成多个区域从而指示声源设置部20和收听设置部30被布置的区域时，指示声源设置部20和收听设置部30的位置、方向和高度的布置信息的数据大小降低。以这种方式，位置信息量减小。顺便提及，当由稍后讨论的图像显示部92执行的视点的重定位被离散化时，还可以在根据视点改变混合处理的情况下减少与声源设置部20和收听设置部30有关的布置信息的数据量。
基于与分配有声源的声源设置部20有关的布置信息、来自声源设置部20的设置参数信息以及与分配有收听点的收听设置部30有关的布置信息，混合处理部50使用存储在信息存储部60中的与每个声源有关的声音数据来执行混合处理。替选地，混合处理部50可以基于来自放置台40的声学环境信息来执行混合处理。通过执行混合处理，混合处理部50生成声音输出数据，该声音输出数据表示从由收听设置部30指示的收听点收听到的声音。此外，混合处理部50使用存储在信息存储部60中的图像信息，针对由收听设置部30指示的收听点表示的视点生成图像输出数据。
信息存储部60存储声源数据和与声源数据有关的元数据。元数据表示与以下有关的信息：在记录时使用的声源和麦克风的位置、方向和高度；这些位置、方向和高度随时间的改变；记录电平；以及记录时设置的声音效果。为了显示自由视点图像，信息存储部60存储例如由通过三维重建生成的网格和纹理构成的三维模型数据作为图像信息。此外，信息存储部60存储与声源设置部20和收听设置部30有关的布置信息、在混合处理中使用的适用参数信息以及与放置台40有关的声学环境信息。
输出装置90包括声音输出部(例如，耳机)91和图像显示部(例如，头戴式显示器)92。声音输出部91基于由混合处理部50生成的声音输出数据来输出混合声音。图像显示部92基于由混合处理部50生成的图像输出数据显示关于由混合声音的收听位置表示的视点的图像。
图3图示了声源设置部的通常配置。图3中的子图(a)示出了声源设置部的外观。图3中的子图(b)指示声源设置部的功能块。
声源设置部20包括操作部21、显示部22、通信部23、布置重定位部24和声源设置控制部25。
操作部21接收诸如混合参数的设置和改变的用户的操作并且生成反映这些操作的操作信号。在操作部21包括例如转盘的情况下，操作部21可以生成与转盘的旋转动作对应的操作信号，以设置或改变与声源设置部20相关联的声源的音量或声音效果。
显示部22基于由通信部23从混合处理部50接收到的适用参数信息，来显示在和与声源设置部20相关联的声源有关的混合处理中使用的混合参数等。
通信部23与混合处理部50通信并且向混合处理部50发送由声源设置控制部25生成的设置参数信息和布置信息。设置参数信息可以是指示由用户的操作设置的混合参数的信息。替选地，设置参数信息可以是与在混合处理中使用的混合参数的设置或改变有关的操作信号。布置信息指示声源的位置、方向和高度。此外，通信部23从混合处理部50接收适用参数信息和声源重定位信号，并且将适用参数信息输出至显示部22，将声源重定位信号输出至声源设置控制部25。
布置重定位部24根据来自声源设置控制部25的驱动信号，通过在放置台40的放置表面上行进来重定位声源设置部20。此外，布置重定位部24基于来自声源设置控制部25的驱动信号，通过例如伸长或收缩来改变声源设置部20的形状。替选地，可以由用户施加操作力来手动地重定位声源设置部20。
声源设置控制部25经由通信部23将基于从操作部21提供的操作信号生成的设置参数信息发送至混合处理部50。此外，声源设置控制部25基于使用传感器在放置台40的放置表面上检测到的声源设置部20的位置来生成指示声源的位置、方向和高度的布置信息。声源设置控制部25经由通信部23将这样生成的布置信息发送至混合处理部50。在允许改变声源设置部20的形状的情况下，声源设置控制部25可以生成反映例如声源设置部20被伸长的改变形状的布置信息，这里生成的布置信息指示对应的声源处于高位置处。此外，声源设置控制部25可以生成另外反映例如声源设置部20被伸长的改变形状的设置参数信息，这里生成的设置参数信息使对应的音量增大。此外，声源设置控制部25基于经由通信部23接收到的声源重定位信号来生成驱动信号。声源设置控制部25将生成的驱动信号输出至布置重定位部24，从而将适用的声源设置部20引导到放置台40的放置表面上的由混合处理部50指定的位置、方向和高度。替选地，可以通过放置台40生成与声源设置部20有关的布置信息。
图4图示了收听设置部的通常配置。图4中的子图(a)示出了收听设置部的外观。图4中的子图(b)指示收听设置部的功能块。
收听设置部30在外部形状上容易与声源设置部20区分。收听设置部30包括操作部31、显示部32、通信部33、布置重定位部34和收听设置控制部35。在预先固定收听点的位置、方向和高度的情况下，可以将布置重定位部34的使用配置成可选的。
操作部31接收诸如收听参数的设置和改变的用户的操作，并且生成反映这些操作的操作信号。在操作部31包括例如转盘的情况下，操作部31可以生成与转盘的旋转动作对应的操作信号，以设置或改变与收听设置部30相关联的收听点处的音量或声音效果。
显示部32基于由通信部33从混合处理部50接收到的适用参数信息来显示在和与收听设置部30相关联的收听点有关的混合处理中使用的收听参数等。
通信部33与混合处理部50通信并且向混合处理部50发送由收听设置控制部35生成的设置参数信息和布置信息。设置参数信息可以是指示由用户的操作设置的收听参数的信息。替选地，设置参数信息可以是与在混合处理中使用的收听参数的设置或改变有关的操作信号。布置信息指示收听点的位置和高度。此外，通信部33接收从混合处理部50发送的适用参数信息和收听点重定位信号，并且将适用参数信息输出至显示部32，将收听点重定位信号输出至收听设置控制部35。
布置重定位部34根据来自收听设置控制部35的驱动信号，通过在放置台40的放置表面上行进来重定位收听设置部30。此外，布置重定位部34基于来自收听设置控制部35的驱动信号，通过例如伸长或收缩来改变收听设置部30的形状。替选地，可以由用户施加操作力来手动地重定位收听设置部30。
收听设置控制部35经由通信部33将基于从操作部31提供的操作信号生成的设置参数信息发送至混合处理部50。此外，收听设置控制部35基于使用传感器在放置台40的放置表面上检测到的收听设置部30的位置，来生成指示收听点的位置、方向和高度的布置信息。收听设置控制部35经由通信部33将这样生成的布置信息发送至混合处理部50。在允许改变收听设置部30的形状的情况下，收听设置控制部35可以生成反映例如收听设置部30被伸长的改变形状的布置信息，这里生成的布置信息指示收听点处于高位置处。此外，收听设置控制部35可以生成另外反映例如收听设置部30被伸长的改变形状的设置参数信息，这里生成的设置参数信息使音量增大。此外，收听设置控制部35基于经由通信部33接收到的收听点重定位信号来生成驱动信号。收听设置控制部35将所生成的驱动信号输出至布置重定位部34，从而将收听设置部30引导到放置台40的放置表面上的由混合处理部50指定的位置、方向和高度。替选地，可以通过放置台40生成与收听设置部30有关的布置信息。
图5图示了放置台的通常功能配置。放置台40被配置成在高度上调整放置表面401或者在其上安装反射构件402。放置台40包括声学环境信息生成部41和通信部43。
声学环境信息生成部41例如生成指示放置表面401的高度以及反射构件402的安装位置和反射特性的声学环境信息。声学环境信息生成部41将生成的声学环境信息发送至通信部43。
通信部43与混合处理部50通信并且向混合处理部50发送由声学环境信息生成部41生成的声学环境信息。声学环境信息生成部41可以代替声源设置部20和收听设置部30，使用传感器检测声源设置部20和收听设置部30在放置台40的放置表面上的位置和方向。然后，声学环境信息生成部41生成指示检测结果的布置信息并且将生成的布置信息发送至混合处理部50。
基于从声源设置部20获取的设置参数信息和布置信息，混合处理部50辨别从由声源设置部20指示的声源输出的声音的状态、即每个声音的类型、输出每个声音的方向以及输出每个声音的高度。基于从收听设置部30获取的收听参数和布置信息，混合处理部50还辨别从由收听设置部30指示的收听点收听到的声音的状态、即收听参数的状态，收听声音的方向以及收听声音的高度。此外，根据从放置台40获取的声学环境信息，混合处理部50辨别从由声源设置部20指示的声源输出的声音的反射状态。
根据对从由声源设置部20指示的声源输出的声音的辨别结果、从由收听设置部30指示的收听点收听到的声音的辨别结果以及基于来自放置台40的声学环境信息对声音反射状态的辨别结果，混合处理部50生成表示要从由收听设置部30指示的收听点收听到的声音的声音信号。混合处理部50将生成的声音信号输出至输出装置90的声音输出部91。此外，混合处理部50生成指示在与每个声源有关的混合处理中使用的混合参数的适用参数信息，并且将所生成的适用参数信息输出至与声源对应的声源设置部20。适用参数信息中的参数可以与设置参数信息中的参数一致或不一致。取决于其他声源的参数和所涉及的混合处理，与每个声源有关的设置参数信息中的参数可以被改变并且用作不同的参数。因此，当适用参数信息被发送至声源设置部20时，声源设置部20可以验证在混合处理中使用的混合参数。
此外，基于与声源设置部20和收听设置部30有关的布置信息，混合处理部50生成相对于由收听设置部30的位置和高度限定的收听点所表示的视点为收听设置部30指定的自由视点图像信号。混合处理部50将生成的自由视点图像信号输出至输出装置90的图像显示部92。
此外，在图像显示部92通知混合处理部50呈现给观看者/收听者的图像的视点已被重定位的情况下，混合处理部50可以生成表示由观看者/收听者在视点重定位之后收听的声音的声音信号并且将生成的声音信号输出至声音输出部91。在这种情况下，混合处理部50生成反映视点重定位的收听点重定位信号并且将生成的收听点重定位信号输出至收听设置部30。因此，混合处理部50使收听设置部30以与呈现给观看者/收听者的图像的重定位的视点一致地重定位。
图6图示了混合处理部的通常功能配置。混合处理部50包括通信部51、混合控制部52、效果器部53、混合器部54、效果器部55、图像生成部56和用户接口(I/F)部57。
通信部51与声源设置部20、收听设置部30和放置台40通信，以获取与声源和收听点有关的设置参数信息、布置信息和声学环境信息。通信部51将获取的设置参数信息、布置信息和声学环境信息输出至混合控制部52。此外，通信部51将由混合控制部52生成的声源重定位信号和适用参数信息发送至声源设置部20。此外，通信部51将由混合控制部52生成的收听点重定位信号和适用参数信息发送至收听设置部30。
混合控制部52基于从声源设置部20和收听设置部30获取的设置参数信息和布置信息以及从放置台40获取的声学环境信息，来生成效果器设置信息和混合器设置信息。混合控制部52将效果器设置信息输出至效果器部53和55，并且将混合器设置信息输出至混合器部54。例如，混合控制部52基于声学环境信息以及由每个声源设置部20设置或改变的混合参数来生成效果器设置信息。混合控制部52将生成的效果器设置信息输出至对与声源设置部20相关联的声源数据执行效果处理的效果器部53。此外，混合控制部52基于声源设置部20和收听设置部30的布置来生成混合器设置信息，并且将所生成的混合器设置信息输出至混合器部54。此外，混合控制部52基于由收听设置部30设置或改变的收听参数来生成效果器设置信息，并且将生成的效果器设置信息输出至效果器部55。此外，混合控制部52根据所生成的效果器设置信息和混合器设置信息来生成适用参数信息，并且将所生成的适用参数信息输出至通信部51。此外，在关于由收听点表示的视点显示图像的情况下，混合控制部52将与声源设置部20和收听设置部30有关的布置信息输出至图像生成部56。
在辨别出已经基于来自用户接口部57的操作信号执行混合改变操作(即，改变声源和收听点的布置或参数的操作)时，混合控制部52根据混合改变操作来改变效果器设置信息和混合器设置信息。同样与混合改变操作一致，混合控制部52生成声源重定位信号、收听点重定位信号和适用参数信息。混合控制部52将生成的声源重定位信号、收听点重定位信号和适用参数信息输出至通信部51，以便以反映改变操作的方式布置声源设置部20和收听设置部30。
混合控制部52将从声源设置部20和收听设置部30获取的布置信息、从放置台40获取的声学环境信息和在混合处理中使用的适用参数信息连同经过时间一起存储到信息存储部60中。当以这种方式存储布置信息和适用参数信息时，稍后可以按时间顺序使用所存储的信息来再现混合处理和混合设置操作。顺便提及，信息存储部60还可以存储设置参数信息。
此外，混合控制部52可以从信息存储部60获取与声源有关的元数据，以初始化声源设置部20和收听设置部30。混合控制部52根据声源和麦克风的位置、方向和高度来生成声源重定位信号和收听点重定位信号。混合控制部52还基于诸如记录电平和记录时设置的声音效果的信息生成适用参数信息。通过经由通信部51发送所生成的声源重定位信号、收听点重定位信号和参数信号，混合控制部52可以以与声源和麦克风的位置对应的方式来布置声源设置部20和收听设置部30。声源设置部20和收听设置部30可以显示记录时的记录电平和效果设置。
例如，为每个声源提供效果器部53。基于从混合控制部52提供的效果器设置信息，效果器部53对对应的声源数据执行效果处理(例如，在音乐制作期间应用延迟或混响和频率特性的均衡)。效果器部53将经过效果处理的声源数据输出至混合器部54。
混合器部54基于从混合控制部52提供的混合器设置信息来混合效果处理之后的声源数据。例如，混合器部54通过以下方式来生成声音数据：出于增强的目的，使用由混合器设置信息指定的每个声源的增益来调整经过效果处理的声源数据的电平。混合器部54将所生成的声音数据输出至效果器部55。
基于从混合控制部52提供的效果器设置信息，效果器部55对声音数据执行效果处理(例如，在收听点处应用延迟或混响和频率特性的均衡)。例如，效果器部55将经过效果处理的声音数据作为声音输出数据输出至输出装置90的声音输出部91。
基于声源设置部20和收听设置部30的布置状态，图像生成部56辨别声源设置部20相对于收听设置部30的位置关系。根据辨别结果，图像生成部56生成具有纹理的图像，该纹理表示分配给位于相对于收听设置部30的虚拟空间中的声源设置部20的声源。图像生成部56从信息存储部60获取诸如三维模型数据的图像信息。接下来，图像生成部56基于从混合控制部52提供的布置信息，来辨别声源设置部20相对于收听设置部30的位置关系，即，声源相对于收听点的位置关系。此外，图像生成部56通过将与声源相关联的纹理附加到声源位置来生成相对于视点的图像输出数据，所附加的纹理构成从表示视点的收听点观看的图像。例如，图像生成部56将所生成的图像输出数据输出至输出装置90的图像显示部92。此外，图像生成部56可以在虚拟空间中可视地显示空间内声音。此外，图像生成部56可以以墙壁亮度(wall brightness)或纹理的形式显示反射声音的强度。
用户接口部57生成反映操作的设置和要由混合处理部50执行的选择操作的操作信号。用户接口部57将生成的操作信号输出至混合控制部52。基于操作信号，混合控制部52控制所涉及的部件的操作，以使得混合处理部50将执行用户期望的操作。
<2.信息处理装置的操作>
2-1.混合设置操作
下面说明由信息处理装置执行的混合设置操作。图7是图示混合设置处理的流程图。在步骤ST1中，混合处理部获取来自放置台的信息。例如，通过与放置台40的通信，混合处理部50获取放置台信息比如放置台40的放置表面的大小和形状以及指示墙壁安装状态的声学环境信息。然后，混合处理部50进行到步骤ST2。
在步骤ST2中，混合处理部辨别声源设置部和收听设置部。混合处理部50与声源设置部20和收听设置部30通信或与放置台40通信。在进行通信时，混合处理部50辨别出与声源对应的声源设置部20和收听设置部30被布置在放置台40的放置表面上。然后，混合处理部50进行到步骤ST3。
在步骤ST3中，混合处理部50基于元数据来辨别是否要执行自动布置处理。在选择要自动布置声源设置部20和收听设置部30的操作模式的情况下，混合处理部50进行到步骤ST4。在选择要手动布置声源设置部20和收听设置部30的操作模式的情况下，混合处理部50进行到步骤ST5。
在步骤ST4中，混合处理部执行自动布置处理。混合处理部50基于元数据来辨别声源设置部20和收听设置部30的布置，并且基于辨别的结果，生成针对每个声源的声源重定位信号。混合处理部50将声源重定位信号发送至对应的声源设置部20，以根据元数据改变声源的位置和方向。因此，在放置台40的放置表面上，以反映与元数据相关联的声源的位置和方向的方式布置与声源对应的声源设置部20。然后，混合处理部50进行到步骤ST6。
在步骤ST5中，混合处理部执行手动布置处理。混合处理部50与声源设置部20和收听设置部30通信或与放置台40通信。在进行通信时，混合处理部50辨别布置有收听设置部30和放置台40的放置表面上的与声源对应的声源设置部20的位置和方向。然后，混合处理部50进行到步骤ST6。
在步骤ST6中，混合处理部基于元数据辨别是否要执行自动参数设置处理。在选择要自动设置混合参数和收听参数的操作模式的情况下，混合处理部50进行到步骤ST7。在选择要手动设置混合参数和收听参数的操作模式的情况下，混合处理部50进行到步骤ST8。
在步骤ST7中，混合处理部执行自动参数设置处理。混合处理部50基于元数据来设置声源设置部20和收听设置部30的参数，从而设置要在与每个声源有关的混合处理中使用的参数。混合处理部50还针对每个声源生成指示在混合处理中使用的参数的适用参数信息。混合处理部50将适用参数信息发送至对应的声源设置部20。这使声源设置部20的显示部22显示要在混合处理中使用的混合参数。因此，基于元数据的混合参数显示在被布置在放置台40的放置表面上的声源设置部20的显示部22上。此外，混合处理部50基于元数据将与收听点对应的适用参数信息发送至收听设置部30，使收听设置部30的显示部32显示参数。因此，基于元数据的收听参数被显示在布置在放置台40的放置表面上的收听设置部30的显示部32上。在使基于元数据的参数被显示之后，混合处理部50进行到步骤ST9。
在步骤ST8中，混合处理部执行手动参数设置处理。混合处理部50与每个声源设置部20通信，以获取由此设置或改变的混合参数。混合处理部50还与收听设置部30通信，以获取由此设置或改变的收听参数。由声源设置部20和收听设置部30设置或改变的参数显示在其显示部上。以这种方式，在进行到步骤ST9之前，混合处理部50从声源设置部20和收听设置部30获取参数。
在步骤ST9中，混合处理部辨别是否要终止设置。在混合处理部50不辨别设置的终止的情况下，混合处理部50返回到步骤ST3。在辨别设置的结束的情况下，例如，在用户已经执行设置终止操作或者元数据已经结束的情况下，混合处理部50执行混合设置处理。
当利用选择用于手动布置或手动设置的操作模式执行上述处理时，手动操作声源设置部20以改变其位置或其混合参数。以这种方式，在生成混合声音时，根据需要设置声源的位置和混合参数。当重复从步骤ST3到步骤ST9的处理时，声源的位置和混合参数可以随时间改变。此外，在选择用于自动布置或自动设置的操作模式的情况下，根据元数据来自动重定位声源设置部20和收听设置部30的位置和方向。这允许在生成与元数据相关联的混合声音时再现声源的布置和参数。
在期望同时改变多个声源设置部20的混合参数的情况下，例如，重复混合参数同时改变的时间范围。在重复时间范围时，仅需要一个接一个地切换混合参数要被改变的声源设置部20。
上述处理假设针对每个声源设置部20设置了混合参数。然而，可能存在一些没有为其设置混合参数的声源设置部20的情况。因此，在存在没有为其设置混合参数的声源设置部20的情况下，混合处理部可以对该声源设置部20执行插值处理以设置其混合参数。
图8是图示混合参数插值处理的流程图。在步骤ST11中，混合处理部使用插值算法来生成参数。混合处理部50基于预定算法从针对其他声源设置部设置的混合参数来对没有为其设置混合参数的声源设置部的混合参数进行计算。例如，混合处理部50可以根据针对其他声源设置部设置的音量对没有为其设置混合参数的声源设置部的音量进行计算，使得基于收听点与声源设置部的位置关系适当地确定收听点处的音量。作为另一示例，混合处理部50可以根据声源设置部之间的位置关系，根据针对其他声源设置部设置的延迟值对没有为其设置混合参数的声源设置部的延迟值进行计算。作为又一示例，混合处理部50可以根据墙壁与一方面布置在放置台40上的声源设置部和另一方面收听点之间的位置关系，根据为其他声源设置部设置的混响特性对没有为其设置混合参数的声源设置部的混响特性进行计算。在对没有为其设置混合参数的声源设置部的混合参数进行计算之后，混合处理部50进行到步骤ST12。
在步骤ST12中，混合处理部根据计算的混合参数建立数据库。混合处理部50将计算的混合参数与对应的声源设置部连同其他声源设置部的混合参数关联在一起，并且根据计算的混合参数建立数据库。例如，混合处理部50将数据库存储到信息存储部60中。混合处理部50还可以使用存储的插值处理算法，根据其他声源设置部的混合参数对没有为其设置混合参数的声源设置部的混合参数进行计算。
在执行上述处理的情况下，即使存在没有为其设置混合参数的声源设置部20，也可以对和与缺少混合参数的该声源设置部20相关联的声源有关的声源数据执行基于混合参数的效果处理。此外，在不直接操作声源设置部20的情况下，可以根据针对其他声源设置部20设置的混合参数来改变给定声源设置部20的混合参数。
在声源的数量很大的情况下，如在管弦乐队的情况下，为每个声源准备声源设置部20将使混合设置不必要得复杂。在这种情况下，在混合设置中一个声源设置部可以被布置成表示多个声源。可以根据代表性声源设置部的混合参数自动生成除由声源设置部表示的声源之外的声源的混合参数。例如，可以提供表示小提琴组的声源设置部和表示长笛组的声源设置部。然后，可以自动生成单独的小提琴和长笛的混合参数。在自动生成中，参考与声源设置部20和收听设置部30有关的布置和声学环境信息以及与已经手动设置了混合参数的声源设置部20有关的设置参数信息来生成给定位置的混合参数。
顺便提及，在混合参数插值处理时，混合参数不仅可以针对没有为其设置混合参数的声源设置部进行插值，而且可以针对任何期望的收听点进行插值。
<2-2.混合声音再现操作>
下面说明由信息处理装置执行的混合声音再现操作。图9是图示混合声音再现操作的流程图。在步骤ST21中，混合处理部辨别收听点。混合处理部50与收听设置部30或放置台40通信，以辨别放置台40的放置表面上的收听设置部30的布置。混合处理部50在进行到步骤ST22之前将辨别的位置和方向视为表示收听点。
在步骤ST22中，混合处理部辨别混合参数是否随时间改变。在混合参数随时间改变的情况下，混合处理部50进行到步骤ST23。在混合参数不随时间改变的情况下，混合处理部50进行到步骤ST24。
在步骤ST23中，混合处理部获取与再现时间对应的参数。混合处理部50从存储在信息存储部60中的混合参数中获取与再现时间对应的混合参数。然后，混合处理部50进行到步骤ST25。
在步骤ST24中，混合处理部获取固定参数。在进行到步骤ST25之前，混合处理部50获取存储在信息存储部60中的固定参数。在已经获取固定混合参数的情况下，可以跳过步骤ST24。
在步骤ST25中，混合处理部执行混合处理。混合处理部50基于混合参数生成效果器设置信息和混合器设置信息，以使用与声源设置部20对应的声源数据执行效果处理和混合处理。通过该处理，在进行到步骤ST26之前，混合处理部50生成声音输出信号。
在步骤ST26中，混合处理部执行参数显示处理。混合处理部50生成指示与再现时间结合使用的参数的适用参数信息。混合处理部50将所生成的适用参数信息发送至声源设置部20和收听设置部30，使声源设置部20和收听设置部30显示参数。然后，混合处理部50进行到步骤ST27。
在步骤ST27中，混合处理部执行图像生成处理。混合处理部50生成与再现时间和混合参数对应的图像输出信号，其中收听点被视为视点。然后，混合处理部50进行到步骤ST28。
在步骤ST28中，混合处理部执行图像/声音输出处理。混合处理部50将在步骤ST25中生成的声音输出信号和在步骤ST27中生成的图像输出信号输出至输出装置90。然后，混合处理部50进行到步骤ST29。
在步骤ST29中，混合处理部辨别是否要终止再现。在尚未执行再现终止操作的情况下，混合处理部50返回到步骤ST22。在执行再现终止操作或者声源数据或图像信息已经结束的情况下，混合处理部50终止混合声音再现处理。
上述处理在被执行时允许在自由收听点处输出声音。如果在将收听点设置成与视点对应的情况下执行混合处理，则可以以与自由视点图像相关联的方式输出声音。
<2-3.声源设置部的自动布置操作>
下面说明的是基于混合参数自动布置声源设置部的自动布置操作。图10是图示自动布置操作的流程图。在步骤ST31中，混合处理部使用声源数据来生成期望的混合声音。混合处理部50基于用户对用户接口部57执行的操作来生成效果设置信息和混合器设置信息。此外，混合处理部50通过基于生成的效果设置信息和混合器设置信息执行混合处理，来生成期望的混合声音。例如，用户执行布置声源并调整声音效果的操作，以针对每个声源获取期望的声像。根据用户的操作，混合处理部50生成声源布置信息和效果设置信息。用户还执行调整和组合各个声源的音量的操作，以获得期望的混合声音。混合处理部50基于用户的操作来生成混合器设置信息。根据生成的效果设置信息和混合器设置信息，混合处理部50执行混合处理，以生成期望的混合声音。然后，混合处理部50进行到步骤ST32。替选地，可以使用除上述方法以外的方法来生成期望的混合声音。
在步骤ST32中，混合处理部生成声源重定位信号和适用参数信息。基于在步骤ST31中生成期望的混合声音时的声源布置信息，混合处理部50生成用于使与声源相关联的声源设置部20以反映声源的布置的方式重定位的声源重定位信号。此外，基于在步骤ST31中生成期望的混合声音时的效果设置信息和混合器设置信息，混合处理部50针对每个声源生成适用参数信息。在生成期望的混合声音时不生成声源布置信息、效果设置信息和混合器设置信息的情况下，混合处理部50执行对期望的混合声音的音频分析或其他适当分析，以估计一组或多组的声源布置、效果设置和混合器设置。此外，混合处理部50基于估计的结果来生成声源重定位信号和适用参数信息。因此，在进行到步骤ST33之前，混合处理部50针对每个声源生成声源重定位信号和适用参数信息。
在步骤ST33中，混合处理部控制声源设置部。混合处理部50将针对每个声源生成的声源重定位信号发送至与每个声源相关联的声源设置部20，从而使声源设置部20以反映生成期望的混合声音时的声源的布置的方式重定位。此外，混合处理部50将针对每个声源生成的适用参数信息发送至与声源相关联的声源设置部20。因此，混合处理部50使每个声源设置部20的显示部22根据发送的适用参数信息显示在混合处理中使用的混合参数。以这种方式，混合处理部50控制声源设置部20的布置和显示。
在生成期望的混合声音的操作中控制混合处理部50的情况下，执行上述处理使得放置台40的放置表面上的声源设置部20可以在视觉上识别提供期望的混合声音的声源布置。
在完成步骤ST33时，混合处理部50可以获取每个声源设置部20的布置和混合参数，以基于所获取的信息来生成混合声音。这使得能够验证声源设置部20是否以提供期望的混合声音的方式被布置并且具有为其设置的混合参数。在基于所获取的信息生成的混合声音与期望的混合声音不同的情况下，可以手动或自动地调整声源设置部20的布置和混合参数以生成期望的混合声音。上面参照图10说明的是自动布置声源设置部20的情况。替选地，可以根据在自由视点图像中重定位的视点来自动重定位收听设置部30。
当如上所述使用本技术的信息处理装置时，以三维直观的方式识别自由收听点处的声音混合的状态。还可以容易地验证自由收听点处的声音。此外，因为自由收听点处的声音是可验证的，所以可以识别例如音量过大的收听点、声音平衡不理想的收听点或听到由内容提供者不期望的声音的收听点。当存在听到由内容提供者不期望的声音的收听点时，可以抑制不期望的声音或者在该收听点的位置处用预定的声音替换不期望的声音。在由混合处理生成的混合声音未能满足预定容许条件的情况下，例如，在音量超过可接受水平或声音平衡恶化超过可接受水平的情况下，指示未能满足容许条件的通知信号可以被发送至声源设置部或收听设置部。
<3.信息处理装置的其他配置和操作>
上面说明了信息处理装置在执行混合处理时使用收听设置部的情况。替选地，可以不使用收听设置部。例如，可以在出现在图像显示部92上的虚拟空间图像中显示收听点。在允许收听点在虚拟空间中自由移动的情况下，可以基于虚拟空间中的收听点位置来设置混合参数，并且可以相应地生成混合声音。
不需要仅从声源设置部20的操作部21输入混合参数。替选地，可以从诸如移动终端装置的外部设备输入混合参数。此外，可以针对每种类型的声音效果准备附件。当附件固定到声源设置部20时，可以相应地设置与固定的附件对应的效果处理的混合参数。
<4.信息处理装置的操作示例>
下面说明信息处理装置的操作示例。图11图示了信息处理装置的操作示例。图11中的子图(a)示出了声源设置部和收听设置部的布置。图11中的子图(b)指示图像显示部的显示示例。例如，假设与声源设置部20-1对应的声源是吉他，与声源设置部20-2对应的声源是小号，并且与声源设置部20-3对应的声源是单簧管。
混合处理部50基于声源设置部20-1、20-2和20-3以及收听设置部30的布置、混合参数和收听参数来生成混合声音。混合处理部50还生成与所生成的混合声音对应的适用参数信息。图12图示了声源设置部的显示部上的显示示例。例如，声源设置部20-1的显示部22基于适用参数信息给出吉他音量显示221和吉他声音参数显示222(例如，在水平轴代表时间并且垂直轴代表信号电平的坐标系中的混响特性的显示)。此外，声源设置部20-2和20-3的显示部22和收听设置部30的显示部32分别以类似的方式给出音量显示和参数显示。这使得可以关于所生成的混合声音来验证声源和收听点中的每一个处的音量设置状态和参数设置状态。在给定声源设置部的音量被设置为零的情况下，与该声源设置部对应的声源的纹理被配置成不被显示，这是因为不需要使用声源数据。以这种方式，在混合处理中未使用的声源的纹理不显示在屏幕上。
混合处理部50从信息存储部60获取例如与声源设置部20-1、20-2和20-3对应的三维模型数据，并且基于与声源设置部20-1、20-2和20-3以及收听设置部30有关的布置信息来辨别收听点与声源之间的位置关系。此外，混合处理部50生成图像输出数据，该图像输出数据指示与从由收听点表示的视点观看的声源位置处的声源对应的对象。混合处理部50将所生成的图像输出数据输出至输出装置90的图像显示部92。因此，如图11中的子图(b)所示，在将收听设置部30的位置视为收听者AP的位置的情况下，以反映声源设置部20-1的位置和方向的方式显示吉他的图像MS-1。此外，以反映声源设置部20-2和20-3的位置和方向的方式显示小号的图像MS-2和单簧管的图像MS-3。此外，给定基于声音输出信号的混合声音，在图像MS-1的位置处显示吉他的声像，在图像MS-2的位置处显示小号的声像，并且在图像MS-3的位置处显示单簧管的声像。在图11的子图(b)中，每个声像的位置由虚线圆指示。
如上所述，本技术允许在真实空间中容易地验证声源相对于混合声音的布置状态。此外，可以显示与收听点对应的视点的自由视点图像。
图13图示了在重定位收听点的情况下的通常操作。例如，如果用户如图13中的子图(a)所示的那样重定位收听设置部30，则相应地根据图11中所图示的状态来重定位收听点。
混合处理部50基于声源设置部20-1、20-2和20-3以及收听设置部30的布置、混合参数和收听参数来生成混合声音。此外，混合处理部50根据与声源设置部20-1、20-2和20-3以及收听设置部30有关的布置信息来辨别收听点和声源之间的位置关系。此外，混合处理部50生成用于显示以下图像的图像输出数据，该图像指示与从由重定位的收听点表示的视点观看的声源位置处的声源对应的对象。混合处理部50将所生成的图像输出数据输出至输出装置90的图像显示部92。因此，如图13中的子图(b)所示，在将重定位的收听设置部30的位置视为收听者AP的位置的情况下，以反映声源设置部20-1的位置和方向的方式显示吉他的图像MS-1。此外，以反映声源设置部20-2和20-3的位置和方向的方式显示小号的图像MS-2和单簧管的图像MS-3。此外，给定基于声音输出信号的混合声音，吉他的声像在图像MS-1的位置处，小号的声像在图像MS-2的位置处，并且单簧管的声像在图像MS-3的位置处。因为在图13中向右重定位收听设置部30，所以与图11中的子图(b)的图像相比，图13中的子图(b)的图像具有相应地向右重定位的视点。
在由混合处理生成的混合声音由于重定位的收听设置部30靠近声源设置部20-2而未能满足预定容许条件的情况下，例如，在小号的音量变得高于预定的可接受水平的情况下，混合处理部50可以生成并且发送用于使收听设置部30的显示部32给出警告显示的通知信号以及用于使声源设置部20-2给出指示音量的下降的指示器显示的通知信号。
图14图示了在重定位声源的情况下的操作示例。例如，如果用户如图14中的子图(a)所示的那样重定位声源设置部20-3，则相应地根据图11中所图示的状态重定位对应的声源。图14给出了声源设置部20-3向后重定位并伸长以向后和向上重定位对应的声源的示例。
混合处理部50基于声源设置部20-1、20-2和20-3以及收听设置部30的布置、混合参数和收听参数来生成混合声音。此外，混合处理部50根据与声源设置部20-1、20-2和20-3以及收听设置部30有关的布置信息来辨别收听点与声源之间的位置关系。此外，混合处理部50生成图像输出数据，该图像输出数据指示与从由收听点表示的视点观看的声源位置处的声源对应的对象。混合处理部50将生成的图像输出数据输出至输出装置90的图像显示部92。因此，如图14中的子图(b)所示，以反映声源设置部20-3的位置和方向的方式重定位单簧管的图像MS-3的位置。此外，给定基于声音输出信号的混合声音，单簧管的声像在重定位的图像MS-3的位置处。因为声源设置部20-3在图14中被向后重定位并伸长，所以与图11中的子图(b)的图像相比，图14中的子图(b)的图像MS-3呈现出像从下面看的对应声源。
图15图示了在自动布置声源设置部的情况下的操作示例。在混合处理部50通过用户接口部57执行向左重定位小号的操作的情况下，混合处理部50基于声源设置部20-1和20-3以及收听设置部30的布置、重定位的声源的位置以及混合参数和收听参数来生成混合声音。此外，混合处理部50根据与声源设置部20-1和20-3以及收听设置部30有关的布置信息以及通过重定位操作重定位的声源的位置，来辨别收听点与声源之间的位置关系。混合处理部50生成图像输出数据，该图像输出数据指示与从由收听点表示的视点观看的声源位置处的声源对应的对象。混合处理部50将生成的图像输出数据输出至输出装置90的图像显示部92。因此，如图15中的子图(b)所示，小号的图像MS-2被显示在通过如图15中的子图(a)所示的重定位操作重定位的声源设置部20-2的位置处，该图像与重定位之后的视点有关。此外，给定基于声音输出信号的混合声音，小号的声像在重定位的图像MS-2的位置处。此外，混合处理部50生成反映向左重定位小号的位置的操作的声源重定位信号，并且将生成的声源重定位信号发送至与小号相关联的声源设置部20-2。
给定从混合处理部50发送的声源重定位信号，布置重定位部24使声源设置部20-2相应地重定位并且以反映从混合处理部50输出的混合声音的方式来布置声源设置部20-2。
执行上述处理允许在视觉上辨别生成从混合处理部50输出的混合声音的声源布置。
对于图像显示，可以实现空间中的声音可视地显示在虚拟空间中的用户体验。图16图示了在虚拟空间中可视地显示空间内声音的通常情况。在虚拟空间中，例如利用在视觉上表达的声音的辐射角度以表演者的姿态(guise)来表示声源。在这种情况下，难以呈现给定声音的准确辐射角度，使得通过利用该音量的方向相关性来给出显示。例如，在音量低的情况下，辐射角度变窄；在音量较高的情况下，辐射角度变大。在图16中，例如，三角形和闪电形式用于表达声音被输出的方向。形状的大小或长度表示音量。具有高方向相关性的声源由锐角形状表示，并且具有低方向相关性的声源被图示为具有广角形状。不同的乐器由不同的颜色表示。声音的不同频带由颜色密度或颜色饱和度的差异表示。图16使用具有不同粗度和倾斜度的阴影线图示颜色和密度的差异。尽管图16给出了二维图像，但是可以替选地在虚拟空间中呈现三维图像。
当如上所述在虚拟空间中可视地显示空间中的声音时，可以在视觉上在虚拟空间中验证基于声源设置部20和收听设置部30的真实空间布置并且根据为其设置的参数生成的混合声音，而不必实际输出混合声音。
同样对于图像显示，可以在虚拟空间中可视地显示从声源输出的声音的反射声音。图17图示了在虚拟空间中可视地显示反射声音的通常情况。通常可以使用墙壁的亮度和纹理或背景图像来识别反射声音的强度。例如，通过指示虚拟空间建筑物或音乐会场地内的表演的图像的背景显示来可视地表达间接声音的强度。由于间接声音的强度呈现在虚拟空间中，因此不必提供准确的表达；给出允许识别间接声音的强度的说明性图像就足够了。图17中的子图(a)图示了使用具有许多混响分量的长混响效果的声音混合的示例。在这种情况下，例如，图像被合成为指示好像在高天花板大厅中给出表演一样。图17中的子图(b)示出了使用具有很少混响分量的短混响效果的声音混合的示例。在这种情况下，例如，图像被合成为指示好像在小型音乐会场地上给出表演一样。
此外，在显示反射声音的强度时，可以在虚拟空间中图示墙壁以使其纹理在视觉上表示反射声音。图17中的子图(c)图示了显示砖墙以允许识别强烈的间接声音的示例。图17中的子图(d)示出了显示木墙以使得能够识别不如子图(c)中的示例强烈的间接声音的示例。
当如上所述使用墙壁的亮度或纹理表达反射声音的强度时，可以在视觉上在虚拟空间中识别根据在真实空间中针对声源设置部20设置并且与来自放置台40的声学环境信息一致的混合参数生成的混合声音，而不必输出混合声音。
上述一系列处理可以由硬件、软件或两者的组合来执行。在要执行基于软件的处理的情况下，可以将记录处理序列的程序安装到用于程序执行的专用硬件中的计算机的内部存储器中。替选地，程序可以安装到能够执行用于执行程序的各种处理的通用计算机中。
例如，程序可以预先记录在诸如硬盘、SSD(固态驱动器)和ROM(只读存储器)的记录介质上。替选地，程序可以临时或永久记录在可移除记录介质上，包括软盘、CD-ROM(致密盘只读存储器)、MO(磁光盘)、DVD(数字多功能光盘)、BD(蓝光盘；注册商标)、磁盘和半导体存储卡。这样的可移除记录介质可以作为所谓的封装软件被提供。
除了从可移除记录介质安装到计算机中以外，程序还可以以有线或无线方式经由诸如LAN(局域网)和因特网的网络从下载站点传送至计算机。计算机可以接收所传送的程序并且将接收到的程序安装到诸如内部硬盘的内部记录介质上。
在本说明书中描述的有益效果仅是示例，并不限制本技术。可能存在源自本说明书但本说明书未涵盖的其他有益效果。本技术在被解释时不应限于上面讨论的实施方式。使用示例和图示公开了本技术的实施方式。因此，明显的是，在不脱离本技术的精神和范围的情况下，实施方式的许多替换、修改和变化对于本领域技术人员而言将变得明显。因此，本技术的范围应由所附权利要求书及其合法等同方案确定，而不是由给出的示例确定。
根据本技术的信息处理装置可以优选地配置如下：
(1)一种信息处理装置，包括：
混合处理部，被配置成基于与分配有声源的声源设置部有关的布置信息、来自所述声源设置部的设置参数信息以及与分配有收听点的收听设置部有关的布置信息，并且通过使用与所述声源有关的数据来执行混合处理。
(2)根据(1)所述的信息处理装置，其中，
所述混合处理部将在所述混合处理中使用的关于所述声源的适用参数信息发送至与所述声源对应的声源设置部。
(3)根据(1)或(2)所述的信息处理装置，其中，
所述混合处理部基于与所述声源相关联的元数据来设置所述声源设置部的参数。
(4)根据(1)至(3)中的任意一项所述的信息处理装置，其中，
所述混合处理部将所述布置信息和在所述混合处理中使用的适用参数信息与经过时间一起存储到信息存储部中。
(5)根据(4)所述的信息处理装置，其中，
当使用存储在所述信息存储部中的信息执行所述混合处理时，所述混合处理部将重定位信号发送至所述声源设置部或所述收听设置部，所述重定位信号用于以反映从所述信息存储部获取的布置信息的方式重定位所述声源设置部和所述收听设置部。
(6)根据(4)或(5)所述的信息处理装置，其中，
所述混合处理部使用存储在所述信息存储部中的布置信息和适用参数信息，生成与收听点有关的布置信息和适用参数信息，关于该收听点的布置信息和适用参数信息未被存储。
(7)根据(1)至(6)中的任意一项所述的信息处理装置，其中，
当接收到改变所述声源相对于所述收听点的布置的改变操作时，所述混合处理部基于改变操作之后的布置来执行所述混合处理，并且将重定位信号发送至所述声源设置部或所述收听设置部，所述重定位信号用于以反映所述改变操作之后的布置的方式重定位所述声源设置部和所述收听设置部。
(8)根据(1)至(7)中的任意一项所述的信息处理装置，其中，
当由所述混合处理生成的混合声音不满足预定的容许条件时，所述混合处理部将表示不满足所述容许条件的通知信号发送至所述声源设置部或所述收听设置部。
(9)根据(1)至(8)中的任意一项所述的信息处理装置，其中，
所述声源设置部和所述收听设置部是放置在真实空间中设置的放置台上的物理设备。
(10)根据(9)所述的信息处理装置，其中，
所述声源设置部或所述收听设置部具有参数设置部、显示部以及用于在所述放置台的放置表面上重定位的布置重定位部。
(11)根据(9)或(10)所述的信息处理装置，其中，
所述声源设置部或所述收听设置部被配置成在形状上可变并且根据形状生成布置信息或设置参数信息。
(12)根据(9)至(11)中的任意一项所述的信息处理装置，还包括：
反射构件，被配置成能够放置在所述放置台上；其中，
所述混合处理部使用与所述反射构件有关的布置信息和分配给所述反射构件的反射特性来执行所述混合处理。
(13)根据(1)至(12)中的任意一项所述的信息处理装置，其中，
所述混合处理部包括图像生成部，所述图像生成部被配置成基于所述声源设置部和所述收听设置部的布置状态来辨别所述声源设置部相对于所述收听设置部的位置关系，所述图像生成部还基于辨别结果在所述声源设置部在虚拟空间中相对于所述收听设置部的位置处生成具有表示分配给所述声源设置部的声源的纹理的图像。
(14)根据(13)所述的信息处理装置，其中，
所述图像生成部生成从由所述收听点表示的视点观看的图像。
(15)根据(13)或(14)所述的信息处理装置，其中，
所述图像生成部将使从所述声源输出的声音视觉化的图像叠加到具有表示所述声源的纹理的图像中的对应的声源的位置上。
(16)根据(13)至(15)中的任意一项所述的信息处理装置，其中，
所述图像生成部将使从所述声源输出的声音的反射声音视觉化的图像叠加在通过所述混合处理在具有表示所述声源的纹理的图像中设置的声音反射位置上。
工业应用
根据本技术的信息处理装置、信息处理方法和程序，基于与分配有声源的声源设置部的布置信息、来自声源设置部的设置参数信息以及与分配有收听点的收听设置部的布置信息，使用声源数据来执行声音混合。因此，容易关于自由收听点混合声音。这允许实现如下系统，该系统被配置成输出关于被重定位以反映例如在正被显示的自由视点图像中移动的视点的收听点的声音。
附图标记列表
10 信息处理装置
20,20-1,20-2,20-3 声源设置部
21,31 操作部
22,32 显示部
23,33,43,51 通信部
24,34 布置重定位部
25 声源设置控制部
30 收听设置部
35 收听设置控制部
40 放置台
41 声学环境信息生成部
50 混合处理部
52 混合控制部
53,55 效果器部
54 混合器部
56 图像生成部
57 用户接口部
60 信息存储部
90 输出装置
91 声音输出部
92 图像显示部
221 音量显示
222 参数显示
401 放置表面
402 反射构件

Claims (18)

1.一种信息处理装置，包括：
混合处理部，被配置成基于与分配有声源的声源设置部有关的布置信息、来自所述声源设置部的设置参数信息以及与分配有收听点的收听设置部有关的布置信息，并且通过使用与所述声源有关的数据来执行混合处理，
其中，所述混合处理部包括图像生成部，所述图像生成部被配置成基于所述声源设置部和所述收听设置部的布置状态来辨别所述声源设置部相对于所述收听设置部的位置关系。
2.根据权利要求1所述的信息处理装置，其中，
所述混合处理部将在所述混合处理中使用的关于所述声源的适用参数信息发送至与所述声源对应的声源设置部。
3.根据权利要求1所述的信息处理装置，其中，
所述混合处理部基于与所述声源相关联的元数据来设置所述声源设置部的参数。
4.根据权利要求1所述的信息处理装置，其中，
所述混合处理部将所述布置信息和在所述混合处理中使用的适用参数信息与经过时间一起存储到信息存储部中。
5.根据权利要求4所述的信息处理装置，其中，
当使用存储在所述信息存储部中的信息执行所述混合处理时，所述混合处理部将重定位信号发送至所述声源设置部或所述收听设置部，所述重定位信号用于以反映从所述信息存储部获取的布置信息的方式重定位所述声源设置部和所述收听设置部。
6.根据权利要求4所述的信息处理装置，其中，
所述混合处理部使用存储在所述信息存储部中的布置信息和适用参数信息，生成与收听点有关的布置信息和适用参数信息，关于该收听点的布置信息和适用参数信息未被存储。
7.根据权利要求1所述的信息处理装置，其中，
当接收到改变所述声源相对于所述收听点的布置的改变操作时，所述混合处理部基于改变操作之后的布置来执行所述混合处理，并且将重定位信号发送至所述声源设置部或所述收听设置部，所述重定位信号用于以反映所述改变操作之后的布置的方式重定位所述声源设置部和所述收听设置部。
8.根据权利要求1所述的信息处理装置，其中，
当由所述混合处理生成的混合声音不满足预定的容许条件时，所述混合处理部将表示不满足所述容许条件的通知信号发送至所述声源设置部或所述收听设置部。
9.根据权利要求1所述的信息处理装置，其中，
所述声源设置部和所述收听设置部是放置在真实空间中设置的放置台上的物理设备。
10.根据权利要求9所述的信息处理装置，其中，
所述声源设置部或所述收听设置部具有参数设置部、显示部以及用于在所述放置台的放置表面上重定位的布置重定位部。
11.根据权利要求9所述的信息处理装置，其中，
所述声源设置部或所述收听设置部被配置成在形状上可变并且根据形状生成布置信息或设置参数信息。
12.根据权利要求9所述的信息处理装置，还包括：
反射构件，被配置成能够放置在所述放置台上；其中，
所述混合处理部使用与所述反射构件有关的布置信息和分配给所述反射构件的反射特性来执行所述混合处理。
13.根据权利要求1所述的信息处理装置，其中，
所述图像生成部还基于辨别结果在所述声源设置部在虚拟空间中相对于所述收听设置部的位置处生成具有表示分配给所述声源设置部的声源的纹理的图像。
14.根据权利要求13所述的信息处理装置，其中，
所述图像生成部生成从由所述收听点表示的视点观看的图像。
15.根据权利要求13所述的信息处理装置，其中，
所述图像生成部将使从所述声源输出的声音视觉化的图像叠加到具有表示所述声源的纹理的图像中的对应的声源的位置上。
16.根据权利要求13所述的信息处理装置，其中，
所述图像生成部将使从所述声源输出的声音的反射声音视觉化的图像叠加在通过所述混合处理在具有表示所述声源的纹理的图像中设置的声音反射位置上。
17.一种信息处理方法，包括：
使混合处理部获取与分配有声源的声源设置部有关的布置信息和设置参数信息；
使所述混合处理部获取与分配有收听点的收听设置部有关的布置信息；
基于所述声源设置部和所述收听设置部的布置状态来辨别所述声源设置部相对于所述收听设置部的位置关系；以及
使所述混合处理部基于所获取的所述布置信息和所述设置参数信息并且通过使用与所述声源有关的数据来执行混合处理。
18.一种计算机可读存储介质，其上存储有计算机可执行指令，当所述计算机可执行指令被执行时，执行一种信息处理方法，包括：
获取与分配有声源的声源设置部有关的布置信息和设置参数信息；
获取与分配有收听点的收听设置部有关的布置信息；
基于所述声源设置部和所述收听设置部的布置状态来辨别所述声源设置部相对于所述收听设置部的位置关系；以及
基于所获取的所述布置信息和所述设置参数信息，并且通过使用与所述声源有关的数据来执行混合处理。
CN201780056464.6A 2016-09-20 2017-06-23 信息处理装置、信息处理方法及计算机可读存储介质 Active CN109716794B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-182741 2016-09-20
JP2016182741 2016-09-20
PCT/JP2017/023173 WO2018055860A1 (ja) 2016-09-20 2017-06-23 情報処理装置と情報処理方法およびプログラム

Publications (2)

Publication Number Publication Date
CN109716794A CN109716794A (zh) 2019-05-03
CN109716794B true CN109716794B (zh) 2021-07-13

Family

ID=61690228

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780056464.6A Active CN109716794B (zh) 2016-09-20 2017-06-23 信息处理装置、信息处理方法及计算机可读存储介质

Country Status (4)

Country Link
US (1) US10701508B2 (zh)
JP (2) JP7003924B2 (zh)
CN (1) CN109716794B (zh)
WO (1) WO2018055860A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3576417B1 (en) * 2018-05-28 2021-05-26 Honda Research Institute Europe GmbH Method and system for reproducing visual and/or audio content synchronously by a group of devices
WO2021124680A1 (ja) * 2019-12-18 2021-06-24 ソニーグループ株式会社 情報処理装置及び情報処理方法
IT202100010547A1 (it) * 2021-04-27 2022-10-27 Wisycom S R L Sistema di localizzazione e comunicazione per microfoni
JP2024006611A (ja) * 2022-07-04 2024-01-17 ヤマハ株式会社 音処理方法、音処理装置、およびプログラム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0961523B1 (en) 1998-05-27 2010-08-25 Sony France S.A. Music spatialisation system and method
EP1134724B1 (en) 2000-03-17 2008-07-23 Sony France S.A. Real time audio spatialisation system with high level control
US20030007648A1 (en) 2001-04-27 2003-01-09 Christopher Currell Virtual audio system and techniques
JP2005150993A (ja) * 2003-11-13 2005-06-09 Sony Corp オーディオデータ処理装置、およびオーディオデータ処理方法、並びにコンピュータ・プログラム
JP2005286903A (ja) 2004-03-30 2005-10-13 Pioneer Electronic Corp 音響再生装置、音響再生システム、音響再生方法及び制御プログラム並びにこのプログラムを記録した情報記録媒体
US7636448B2 (en) 2004-10-28 2009-12-22 Verax Technologies, Inc. System and method for generating sound events
WO2008066364A1 (en) 2006-12-01 2008-06-05 Lg Electronics Inc. Apparatus and method for inputting a command, method for displaying user interface of media signal, and apparatus for implementing the same, apparatus for processing mix signal and method thereof
JP5071290B2 (ja) * 2008-07-23 2012-11-14 ヤマハ株式会社 電子音響システム
JP4900406B2 (ja) * 2009-02-27 2012-03-21 ソニー株式会社 情報処理装置および方法、並びにプログラム
US8908874B2 (en) * 2010-09-08 2014-12-09 Dts, Inc. Spatial audio encoding and reproduction
NL2006997C2 (en) 2011-06-24 2013-01-02 Bright Minds Holding B V Method and device for processing sound data.
TWI543642B (zh) * 2011-07-01 2016-07-21 杜比實驗室特許公司 用於適應性音頻信號的產生、譯碼與呈現之系統與方法
JP2014093697A (ja) * 2012-11-05 2014-05-19 Yamaha Corp 音響再生システム
JP6111045B2 (ja) 2012-11-06 2017-04-05 Ｐｉｏｎｅｅｒ ＤＪ株式会社 音響制御装置、ミキサー、ｄｊコントローラー、音響制御装置の制御方法、プログラム
US9154877B2 (en) * 2012-11-28 2015-10-06 Qualcomm Incorporated Collaborative sound system
JP6515087B2 (ja) * 2013-05-16 2019-05-15 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． オーディオ処理装置及び方法
DE102013105375A1 (de) * 2013-05-24 2014-11-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Tonsignalerzeuger, Verfahren und Computerprogramm zum Bereitstellen eines Tonsignals
EP2866227A1 (en) * 2013-10-22 2015-04-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method for decoding and encoding a downmix matrix, method for presenting audio content, encoder and decoder for a downmix matrix, audio encoder and audio decoder
JP2016019086A (ja) 2014-07-07 2016-02-01 ヤマハ株式会社 ビーム方向設定装置およびビーム方向設定システム
KR101645515B1 (ko) * 2015-05-19 2016-08-05 인하대학교 산학협력단 3차원 입체 음원 평가장치 및 방법

Also Published As

Publication number Publication date
JP2022034041A (ja) 2022-03-02
US20190174247A1 (en) 2019-06-06
CN109716794A (zh) 2019-05-03
JPWO2018055860A1 (ja) 2019-07-04
US10701508B2 (en) 2020-06-30
JP7003924B2 (ja) 2022-01-21
WO2018055860A1 (ja) 2018-03-29

Similar Documents

Publication Publication Date Title
CN109716794B (zh) 信息处理装置、信息处理方法及计算机可读存储介质
JP4674505B2 (ja) 音声信号処理方法、音場再現システム
JP5430242B2 (ja) スピーカ位置検出システム及びスピーカ位置検出方法
KR102548644B1 (ko) 신호 처리 장치 및 방법, 그리고 프로그램
CN105812991A (zh) 音频信号处理设备
JP2022065175A (ja) 音響処理装置および方法、並びにプログラム
KR102508815B1 (ko) 오디오와 관련하여 사용자 맞춤형 현장감 실현을 위한 컴퓨터 시스템 및 그의 방법
WO2017135194A1 (ja) 情報処理装置、情報処理システム、制御方法およびプログラム
US8311400B2 (en) Content reproduction apparatus and content reproduction method
JP5703807B2 (ja) 信号処理装置
JP2020528245A (ja) 音声再生方法及びマルチスクリーン端末
JP4464064B2 (ja) 残響付与装置および残響付与プログラム
EP2660815B1 (en) Methods and apparatus for audio processing
US20040184617A1 (en) Information apparatus, system for controlling acoustic equipment and method of controlling acoustic equipment
WO2020045126A1 (ja) 情報処理装置および方法、並びにプログラム
CN115119103A (zh) 声音信号处理方法、声音信号处理装置以及记录介质
JP4426159B2 (ja) ミキシング装置
JP6220576B2 (ja) 複数人による通信デュエットに特徴を有する通信カラオケシステム
JP2005150993A (ja) オーディオデータ処理装置、およびオーディオデータ処理方法、並びにコンピュータ・プログラム
KR20210151792A (ko) 정보 처리 장치 및 방법, 재생 장치 및 방법, 그리고 프로그램
JP2020167471A (ja) 情報処理装置、情報処理方法、及びプログラム
JP4288891B2 (ja) データ送信装置、データ送信システム、データ送信管理装置、データ送信方法、データ送信管理方法、プログラムおよび記録媒体
TWI836711B (zh) 使用早期反射型樣之用於聽覺化之概念
JP2005115291A (ja) 音響機器配置支援装置、プログラムおよび音響システム
JP2017102253A (ja) 音響効果付与装置及び音響効果付与プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant