CN104756525B - 信号处理装置和信号处理方法 - Google Patents

信号处理装置和信号处理方法 Download PDF

Info

Publication number
CN104756525B
CN104756525B CN201380055937.2A CN201380055937A CN104756525B CN 104756525 B CN104756525 B CN 104756525B CN 201380055937 A CN201380055937 A CN 201380055937A CN 104756525 B CN104756525 B CN 104756525B
Authority
CN
China
Prior art keywords
sound
unit
signal processing
signal
place
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201380055937.2A
Other languages
English (en)
Other versions
CN104756525A (zh
Inventor
浅田宏平
佐古曜郎
佐古曜一郎
迫田和之
丹下明
甲贺有希
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN104756525A publication Critical patent/CN104756525A/zh
Application granted granted Critical
Publication of CN104756525B publication Critical patent/CN104756525B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/162—Interface to dedicated audio devices, e.g. audio drivers, interface to CODECs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/13—Application of wave-field synthesis in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Stereophonic System (AREA)

Abstract

[问题]为了提供与当仅进行对图像信息的呈现时相比能够增强用户的沉浸感的技术。[解决方案]将对应于根据指定位置信息确定的位置的图像显示在显示单元上。接下来，通过以围绕用户的方式布置的多个麦克风获取用户发出的声音，借助于在根据指定位置信息确定的位置处测量的传递函数来处理所获取的声音信号，并且从以围绕用户的方式布置的多个扬声器输出处理后信号，并且由此将声场再现成使用户发出的声音被感知为如同声音在根据位置信息确定的位置处回响。

Description

信号处理装置和信号处理方法
技术领域
本技术涉及给用户极好的在给定地点的沉浸感的信号处理装置及其方法。
背景技术
近年来，针对因特网上和应用软件中提供的地图信息服务，除了用图形符号等表示的鸟瞰地图以外，提出了以下新型服务：显示来自卫星的照片的组合、在地图上的各位置处显示通过实际对地面上的街道的场景和状态进行拍摄而记录的图像，等等。特别地，使用在地面上拍摄的图像信息的服务对于检查用户以前未到访过的地点非常有用。
另一方面，广泛地研究了通过覆盖用户(观看者)视场而给他或她“感觉就像我在那个地点”的感觉的沉浸感技术(沉浸现实)。这些技术中的大部分技术通过以下方式实现：将用户自身置于箱状地点的中间，该箱状地点由五个或六个面(包括天花板和地板)覆盖，图像可以被显示(投影)在这些面上。
认为使用这样的沉浸感显示器获得了临场感，例如在该沉浸感显示器上显示链接至前述地图信息的实际照片(例如，以进行使人成为等身大小的处理)。
引用列表
专利文献
专利文献1：JP 4674505B
专利文献2：JP 4775487B
专利文献3：JP 4725234B
专利文献4：JP 4883197B
专利文献5：JP 4735108B
发明内容
技术问题
然而，为了获得更高的临场感和沉浸感，要求用于表达除图像以外的空间信息的系统。
本技术考虑到这些情况并且致力于提供一种能够比仅呈现图像信息时更多地增强用户的沉浸感的技术。
问题的解决方案
为了解决此问题，根据本公开技术，提供了一种信号处理装置，包括：
显示控制单元，被配置成使必要显示单元显示与根据指定位置信息确定的地点相对应的图像；
声音采集信号输入单元，被配置成输入声音采集单元的声音采集信号，声音采集单元使用被布置成围绕用户的多个麦克风来采集用户发出的声音；
声学信号处理单元，被配置成基于第一传递函数对由声音采集信号输入单元输入的信号进行用于再现声场的第一声学信号处理，在声场中，用户发出的声音被感知为如同声音正在根据位置信息确定的地点回响，其中第一传递函数是在根据指定位置信息确定的地点测量的，以指示在该地点内的闭合表面上发出的声音如何在该地点回响，以及然后如何被传递到闭合表面侧；以及
发声控制单元，被配置成使得从布置成围绕用户的多个扬声器发出基于已经被声学信号处理单元进行了第一声学信号处理的信号的声音。
此外，根据本技术，提供了一种使用显示单元、声音采集单元以及发声单元的信号处理方法，该声音采集单元用被布置成围绕用户的多个麦克风来采集用户发出的声音，该发声单元用被布置成围绕用户的多个扬声器来进行发声，该方法包括:
显示控制过程，在显示控制过程中，使对应于根据指定位置信息确定的地点的图像显示在显示单元上；
声学信号处理过程，在声学信号处理过程中，基于第一传递函数对声音采集单元的声音采集信号进行用于再现声场的第一声学信号处理，在声场中，用户发出的声音被感知为如同声音正在根据位置信息确定的地点回响，其中第一传递函数是在根据指定位置信息确定的地点测量的，以指示从该地点内的闭合表面发出的声音如何在该地点回响，以及然后如何被传递到闭合表面侧；以及
发声控制过程，在发声控制过程中，使得从发声单元发出基于经过了声学信号处理过程中的第一声学信号处理的信号的声音。
根据本技术，呈现对应于根据指定位置信息确定的地点的图像，并且给用户提供如下声场，在该声场中，用户产生的声音被感知为如同该声音在根据指定位置信息确定的地点回响。
这里，为了增强临场感和沉浸感，图像以及表示空间信息的“声音”的存在很重要。从而，根据本技术，能够比在仅呈现图像信息时更多地增强用户的沉浸感。
发明的有益效果
根据以上所述的本技术，能够比在仅呈现图像信息时更多地增强用户的沉浸感。
附图说明
图1是描述实施方式的信号处理系统中实现的再现技术的概述的图。
图2是描述用于实施方式中的声场再现的技术的图。
图3是描述用于实施方式的声场再现的技术的概述的图。
图4是描述用于实现实施方式的声场再现的传递函数的测量技术的图。
图5是示出布置在再现环境中的多个扬声器及其闭合表面以及多个麦克风及其闭合表面的图。
图6是关于作为测量1的用于测量传递函数的具体技术的示意图。
图7也是关于作为测量1的用于测量传递函数的具体技术的示意图。
图8是关于用于进行传递函数测量的系统配置的示意图。
图9是示出脉冲响应测量数据的示例的图。
图10是关于用于抑制除混响声成分以外的其他成分(直达声或早期反射声)引起的不利影响的配置的示意图。
图11是关于作为测量2的用于测量传递函数的具体技术的示意图。
图12是描述作为实施方式的用于实现信号处理技术的信号处理系统的配置的图。
图13是关于对应关系信息的内容的示意图。
图14是示出矩阵卷积单元的具体内部配置示例的图。
图15是示出作为实施方式的要在该系统中执行以实现再现操作的处理的内容的流程图。
图16是示出技术2的渲染处理被设定成在云上进行的系统配置示例的图。
图17是例示在再现环境中通过扬声器的布置形成的闭合表面与通过麦克风的布置形成的闭合表面之间的关系的图。
图18是关于闭合表面的形状的示意图。
图19是示出在再现环境中通过布置麦克风形成的闭合表面被设定在通过布置扬声器形成的闭合表面内的情况的图。
图20是示出对应于图19中所示的情况的测量环境中的闭合表面之间的关系的图。
图21是例示用于使用全向麦克风获得与定向麦克风的输出等同的输出的配置的图。
图22是例示用于使用全向扬声器获得与定向扬声器的输出等同的输出的配置的图。
图23是示出在测量环境和再现环境中闭合表面的尺寸和形状不同的示例的图。
图24是关于在测量环境和再现环境中闭合表面的尺寸和形状不同时用于变换传递函数的技术的示意图。
图25是关于使用运动物体的测量示例1的示意图。
图26是关于使用运动物体的测量示例2的示意图。
图27是关于使用运动物体的测量示例3和测量示例4的示意图。
具体实施方式
在下文中，描述了与本技术相关的实施方式。注意，将以以下顺序提供描述。
<1.在实施方式的信号处理系统中实现的再现技术的概述>
<2.用于声场再现的技术>
<3.用于声场再现的测量技术>
(3-1.测量技术的概述)
(3-2.关于测量1)
(3-3.关于测量2)
<4.基于传递函数的声场再现>
(4-1.基于第一传递函数的声场再现)
(4-2.基于第二传递函数的声场再现)
<5.信号处理系统的配置>
<6.修改示例>
(6-1.关于闭合表面)
(6-2.关于方向性)
(6-3.针对在测量环境和再现环境中闭合表面的尺寸和形状不同的情况的解决方案)
(6-4.使用运动物体的测量技术)
(6-5.其他修改示例)
<1.在实施方式的信号处理系统中实现的再现技术的概述>
首先，使用图1来描述在本实施方式的信号处理系统中实现的再现技术的概述。
在图1中，场所A指代用户0要被沉浸的地点，即，期望再现其场景、声音的传播等的地点(要再现的地点)。
此外，附图中的场所B指代这样的地点：要在该地点再现所要再现的地点的场景和声音的传播。可以将该场所B认为是例如用户A的房间等。
在场所B中，如附图中所示，安装了显示图像的显示装置3和被布置成围绕用户0的多个扬声器2B。
本实施方式的信号处理系统中实现的再现方法广义地包括：使用布置在场所B中的显示装置3来显示对应于场所A的图像信息，以及使用也布置在场所B中的多个扬声器2B来再现场所A的声场100。
通过将用户0希望被沉浸的地点的声场100连同该地点的图像一起呈现给该用户，能够进一步增强用户0在该地点中的沉浸感。
注意，尽管在图1中例示了显示装置3仅具有一个表面作为显示表面，但是理想的是，布置如图2中所示在前、左、右、上和下具有至少五个显示表面的显示装置3来增强沉浸感。
此处，在实际系统中，可以从多个候选中选择要被再现为场所A的地点。
例如，由用户0来指定要被再现的地点。例如，当享受在本系统中提供的服务时，从显示在显示装置3上的地图图像指定任意位置。根据所指定的位置的位置信息确定对应于该位置的地点，然后通过如上所述的图像和声音来再现该地点。
此处，图1中所示的场所B中的多个扬声器2B形成围绕用户0的空间。
如后面描述的，在本实施方式中，除如上所述的由多个扬声器围绕的空间以外，还存在通过由多个麦克风围绕而形成的空间。
在本说明书中，将如上所述的通过由多个扬声器或麦克风围绕而形成的空间的界面，换言之，通过将多个扬声器或麦克风彼此连接而形成的空间的界面称为“声学闭合表面”或简称为“闭合表面”。
如图1中所示，用闭合表面1B来表示由场所B中的多个扬声器2B形成的声学闭合表面。
注意，在以下描述中会将麦克风简称为麦克。
<2.用于声场再现的技术>
在本实施方式中，如上所述在场所B中再现场所A的声场；然而，在本实施方式中主要提出图3中示出的两种技术(技术1和技术2)作为声场再现的具体技术。
首先，在技术1中，由多个扬声器2B来再现声场100，在声场100中，将位于场所B中的闭合表面1B中的用户0产生的声音(例如，用户0产生的语音、当物体掉落时产生的碰撞声、当进餐期间器具接触时产生的声音)感知为如同该声音在场所A中回响。如稍后详细描述的，为了实现技术1，由被布置成围绕用户0的多个麦克5B采集用户0产生的声音，并且用相应传递函数对该声音进行处理，并且由此生成用于声场再现的声学信号(要由扬声器2B输出的声学信号)。
此处，如在普通“回声定位”中，可以通过对人自己产生的声音如何行进的听觉感知和识别来经验地获知适当的空间结构。从而，根据以上所述的技术1的声场再现，用户0不仅能够用图像而且能够用基于他或她产生的声音的声学因素来感知空间的印象。因此，能够由此增添高沉浸感。
此外，在技术2中，使位于闭合表面1B内的用户0感知作为再现目标的场所A的环境声音，包括场所A中的声音的回声。
此处，当假定闭合表面1B位于场所A内并且声音被设定成从场所A内的闭合表面1B外的给定位置发出时，还存在下述情况：声音除直接到达闭合表面1B的成分以外，还伴随有经由存在于场所A中的构造物或障碍物而制造的反射声或混响声(这样的声音根据每个物体的材料或结构而不同)的成分。在技术2中，感知到场所A的环境声音以及这样的回声声音。
通过实现以上所述的技术2连同技术1，能够进一步增强用户0在场所A中的沉浸感。
<3.用于声场再现的测量技术>
(3-1.测量技术的概述)
图4是描述用于实现实施方式的声场再现的传递函数的测量技术的图。
图4A示意性地示出了布置在场所A内的用于测量的多个麦克5A。
图4B示意性地示出了对应于技术1(表示为测量1)的测量技术，图4C示意性地示出了对应于技术2(表示为测量2)的测量技术，图4D示意性地示出了使用布置在场所A中的多个麦克5A无改变地记录场所A的环境声音的技术。
此处，如图4A中所示，将由布置在场所A中用于测量的多个麦克5A围绕的空间的界面称为闭合表面1A。理想的是，将该闭合表面1A设定为与用户0存在的场所B的闭合表面1B的尺寸和形状相同。此外，希望的是，将闭合表面1A上的麦克5A设定成与闭合表面1B上的扬声器2B在数量和位置关系上具有相同状况。
首先，在图4B中所示的测量1中，测量当在图3中所示的技术1中处理位于闭合表面1B内的用户0产生的声音时要使用的传递函数。
具体地，在测量1中，测量传递函数(脉冲响应)，该传递函数表示从布置在场所A中用于测量的扬声器2A朝外发出的声音(用于测量的信号)如何被场所A中的回声影响并且然后到达也被布置在场所A中的麦克5A中的每个麦克。
从而，通过使用该传递函数处理由场所B的麦克5B采集的信号(用户0产生的声音)并且从扬声器2B输出信号，能够在场所B中构建声场100，在声场100中，用户0产生的声音被感知为如同该声音正在场所A中回响。
注意，尽管附图的示例示出了通过将用于测量的扬声器2A布置在其上布置有多个麦克5A的闭合表面1A内来进行测量，但是该示例也对应于下述情况：(闭合表面1B上的)用于再现的多个扬声器2B被布置在作为再现环境的场所B中的(闭合表面4B上的)采集用户产生的声音的多个麦克5B内。如稍后描述的，闭合表面1B与闭合表面4B的位置关系可以颠倒，并且在这种情况下，在测量1中将用于测量的扬声器2A布置在闭合表面1A外(参照图5等)。
另一方面，在图4C中所示的对应于以上技术2的测量2中，测量要用于对基于必须被定位在闭合表面1B外的任意位置处的声源的声学信号进行处理的传递函数。
此处，可以通过下述方式来实现以上所述的技术2：使用如图4D中所示布置在场所A中的多个麦克5A采集场所A的环境声音，以及从与闭合表面1B上的扬声器以最简单的方式(具体地，当布置在场所B中的扬声器2A和布置在场所A中的麦克5A被设定成在数量和位置关系上相同)对应的位置处的扬声器2B中的每个扬声器输出声音采集的信号。
然而，在被如上所述简单地记录的环境声音被设定成流动的情况下，当要在一个场所中再现两种或更多种环境声音时，存在下述问题：在该场所中必须进行多次记录等。
因此，在本实施方式中，采用了所谓的“基于对象的音频”的概念来实现技术2。
此处，将简要描述“基于对象的音频”。
为了实现声音质量和声场，制作者通常针对每个声道提供被记录在现有介质例如光盘(CD)、数字多功能光盘(DVD)上的完整的声音封装，并且播放在每个封装中包含的每个声道的声学信号来对应于对应扬声器的声道。
然而，近年来，出现了下述“基于对象的音频(或声场表达)”的想法，其中认为制作者想要人们听见的声场、声音质量等具有多组“每个声源的声学流信号”的“元信息”与“声源的运动和位置”(暂时称为对象)的交叠，并且将根据重放环境的实现(渲染)委托给重放环境侧。
使用以上所述的基于对象的技术，不仅在重放环境多元化继续发展的当前状态下而且在将来重放环境的性能突飞猛进地提高时，均能够根据满足制作者的意向的重放环境的特征和性能来重现声场和声音质量。
注意，作为实现以上所述的“渲染”的渲染器，根据重放环境存在各种类型的渲染器，从用于耳机的渲染器到使用用于22.2声道系统或沉浸环境的多个扬声器的声场渲染器。注意，作为用于沉浸环境的声场渲染器，当前已提出了多种技术，并且已知各种技术例如波场合成(WFS)、边界表面控制原理(BoSC)、通过简化基尔霍夫积分定理获得的技术(JP4775487B、JP 4674505B等)等。
在图4C中所示的测量2为对传递函数的测量，该传递函数用于使用户0以下述方式感知声音：当采用如上所述的基于对象的声场再现技术时，将要被定位在闭合表面1B外的任意位置处的声源定位在该位置处并且以被场所A中的回声影响的形式感知从该位置发出的声音。
具体地，在测量2中，对下述传递函数进行测量，该传递函数指示从布置在其上布置有多个麦克5A的闭合表面1A外的任意位置处的用于测量的扬声器2A发出的声音(用于测量的信号)如何在包括场所A中的回声的影响(脉冲响应)的情况下到达麦克5A中的每个麦克。
此处，在本实施方式中，将使用在测量1和测量2中测量的传递函数进行的声场再现设定成基于以下想法来实现。
换言之，当假定将到达闭合表面1B的声音与闭合表面1B相交的波表面时，多个扬声器2B进行重放使得所假定的波表面被创建在闭合表面1B内。
(3-2.关于测量1)
下文中，参照图5至图7描述测量1的传递函数测量技术的具体示例。
首先，图5示出了在用户0存在于其中的场所B(再现环境)中布置的多个扬声器2B和闭合表面1B以及多个麦克5B和闭合表面4B。如根据以上描述理解的，布置在场所B中的麦克5B被设置以实时采集用户0产生的声音。
在这种情况下，麦克5B必须具有向内方向性(沿闭合表面4B的向内方向)来实现这样的系统：其中位于闭合表面4B内的用户0产生的声音被场所A中的回声影响并且被从扬声器2B输出。为此，将定向麦克风用作麦克5B中的每个并且将其安装成使得定向麦克风的方向性的方向面向闭合表面4B的向内方向。
此外，扬声器2B被安装成使得其声音发送的方向面向闭合表面1B的向内方向。换言之，将定向扬声器用作扬声器2B并且将其方向性设定成向内。
注意，希望的是，将那时的方向性的方向设定成垂直于闭合表面。
此处，在以下描述中，将布置在场所B中的扬声器2B的数量设定为N，将布置在场所B中的麦克5B的数量设定为M。如附图中所示，将麦克5B设定成被布置在闭合表面4B上的位置V1、V2、V3、……以及VM中的每个位置处，并且将扬声器2B设定成布置在闭合表面1B上的位置W1、W2、W3、……以及WN中的每个位置处。
注意，在下文中会将布置在以上所述的位置中的每个位置处的麦克5B标记为对应于其相应布置位置的麦克V1、V2、V3、……以及VM。同样地，将扬声器2B标记为对应于其相应布置位置的扬声器W1、W2、W3、……以及WN。
图6和图7是关于测量1的具体传递函数测量技术的示意图。
在图6和图7中，示出了场所A(测量环境)的多个扬声器2A、闭合表面1A、多个麦克5A以及闭合表面4A。
从附图中可看出，在本文的描述中将场所A的闭合表面4A上的扬声器2A的布置位置的数量设定成M。如附图中所示用Q1、Q2、Q3、……以及QM来标记布置位置。
此外，将布置在场所A的闭合表面1A上的麦克5A的数量设定为N，并且如附图中所示用R1、R2、R3、……以及RN来标记其布置位置。
注意，在场所A中，也可以将布置在以上所述的位置中的每个位置中的扬声器2A标记为对应于其相应布置信息的扬声器Q1、Q2、Q3、……以及QM，并且也可以将麦克5A标记为对应于其相应布置信息的麦克R1、R2、R3、……以及RN。
此处，针对场所A的扬声器2A和麦克5A，为了获得用于使用户0感知用户0已产生的并且被场所A中的回声影响的声音的传递函数，扬声器2A和麦克5A必须具有向外方向性。由于这一点，通过使用定向扬声器将扬声器2A设定成具有向外方向性，并且还通过使用定向麦克风将麦克5A设定成如附图中所示具有向外方向性。在这种情况下也希望将方向性的方向设定成垂直于闭合表面。
此处，出于本描述方便的目的，将场所A的闭合表面4A设定成与场所B的闭合表面4B具有相同尺寸和形状，并且将闭合表面4A上的相应的扬声器2A的位置关系(Q1、Q2、Q3、……以及QM的排列顺序和布置间隔)设定成与闭合表面4B上的相应的麦克5B的位置关系(V1、V2、V3、……以及VM的排列顺序和布置间隔)相同。
此外，将场所A的闭合表面1A设定成与场所B的闭合表面1B具有相同尺寸和形状，并且将闭合表面1A上的相应的麦克5A的位置信息(R1、R2、R3、……以及RN的排列顺序和布置间隔)设定成与闭合表面1B上的相应的扬声器2B的位置关系(W1、W2、W3、……以及WN的排列顺序和布置间隔)相同。
基于以上所述的前提，在测量1中，从闭合表面4A上的位置(Q1至QM)中的每个位置的扬声器2A顺序地输出测量声音，并且顺序地获得从输出了测量声音的扬声器2A到闭合表面1A上的相应麦克5A(R1至RN)的位置的相应传递函数。
在图6中，示出了下述情况：从位置Q1处的扬声器2A输出测量声音并且由相应的麦克5A R1至RN来采集被场所A中的反射等影响的测量声音。
基于如上所述获得的相应麦克5A的声音采集信号，能够获得从位置Q1处的扬声器2A至相应的麦克5A R1至RN的N个传递函数。
在本文中的本示例中，将基于时间延展脉冲(TSP；扫描正弦也具有相同含义)信号的声音输出为以上所述的测量声音，并且根据声音采集信号来测量脉冲响应。该脉冲响应的数据为指示从给定扬声器2A输出的声音如何被场所A的回声影响然后到达给定麦克5A的传递函数。
此外，在图7中，示出了下述情况：从位置Q2处的扬声器2A输出测量声音并且由相应的麦克5A R1至RN来采集已被场所A上的反射等影响的测量声音。
基于以这样的方式获得的相应的麦克5A的声音采集信号，测量从位置Q2处的扬声器2A至相应麦克5A R1至RN的脉冲响应。因此，能够获得从位置Q2处的扬声器2A至相应麦克5A R1至RN的N个传递函数。
通过顺序地改变输出测量声音的扬声器2A来将以上所述的基于相应麦克5A R1至RN的声音采集信号对传递函数的测量执行至位置QM。因此，能够获得共M×N个传递函数作为传递函数，包括从扬声器2A Q1至麦克5A R1至RN的N个传递函数(用QR11至QR1N标记)、从扬声器2A Q2至麦克5A R1至RN的N个传递函数(用QR21至QR2N标记)、……从扬声器2A QM至麦克5A R1至RN的N个传递函数(用QRM1至QRMN标记)。
可以用如以下表达式1示出的矩阵来表示M×N个传递函数。
[数学式1]
···[式1]
注意，在获得M×N个传递函数时，可以在Q1至QM的每个位置处顺序地输出测量声音，并且该输出所需的扬声器2A的数量可以为最小值1。换言之，通过将一个扬声器2A顺序地布置在Q1、Q2、Q3、……以及QM中的每个位置处并且使扬声器发出声音，可以进行获得M×N个传递函数所需的测量。
然而，针对每个测量移动扬声器2A很麻烦，因而在本示例中，将对M×N个传递函数的测量设定成通过将各扬声器2A布置在Q1至QM中的每个位置处并且顺序地选择从其输出测量声音的扬声器2A来进行。
此处，也将在测量1中测量的指示用户0产生的声音如何被场所A中的回声影响以及如何被传递的传递函数称为第一传递函数。
图8是关于用于测量上述测量1的传递函数的系统配置的示意图。
如图8中所示，设置了M个扬声器2A、N个麦克5A以及测量装置10来实现测量1。
在测量装置10中，设置了用于将M个扬声器2A连接至该装置的M个端子单元11(11-1至11-M)以及用于将N个麦克5A连接至该装置的N个端子单元12(12-1至12-N)。
此外，在测量装置10内设置了AD转换器(ADC)和放大单元13、传递函数测量单元14、控制单元15、测量信号输出单元16、DA转换器(DAC)和放大单元17以及选择器18。
测量信号输出单元16基于控制单元15的控制将TSP信号作为测量信号输出至DAC和放大单元17。DAC和放大单元17对所输入的测量信号进行DA转换和放大，然后将该信号输出至选择器18。
选择器18在端子单元11-1至11-M中选择由控制单元15指示的一个端子单元11(即扬声器2A)然后将从DAC和放大单元17输入的测量信号输出至所选择的端子单元11。
ADC和放大单元13对从每个麦克5A接收并且从每个端子单元12输入的声音采集信号进行放大并进行AD转换，然后将该信号输出至传递函数测量单元14。
传递函数测量单元14根据来自控制单元15的指令基于从每个麦克5A接收并且从ADC和放大单元13输入的声音采集信号进行脉冲响应(传递函数)的测量。
控制单元15被配置为例如设置有中央处理单元(CPU)、只读存储器(ROM)以及随机存取存储器(RAM)的微型计算机，并且通过根据存储在ROM等中的程序执行处理来对测量装置10进行整体控制。
特别地，这种情况下的控制单元15对测量信号输出单元16、选择器18以及传递函数测量单元14进行控制，使得实现以上所述的测量1的测量操作。具体地，控制单元基于测量信号控制测量信号输出单元16和选择器18使得由相应的扬声器2A Q1、Q2、Q3、……以及QM顺序地发出声音，并且控制传递函数测量单元14的测量定时使得基于与每个扬声器2A发出声音的定时同步的每个麦克5A的声音采集信号来进行对传递函数的测量。
因此，实现了以上所述的对M×N个传递函数的测量。
此处，以实际的角度，如图9中所示，由于扬声器和麦克的方向性，作为传递函数的时间轴的表达的脉冲响应除了包括混响声成分以外还包括直达声或早期反射声，根据情况其也可能是产生临场感的阻碍因素。
注意，为了澄清的目的，直达声为从扬声器2A发出并且直接地到达麦克5A(没有经历场所A上的反射)的声音。
从而，在本示例中，在时间轴上将所测量的脉冲响应分解成直达声成分、早期反射声成分以及混响声成分，并且改变成分的平衡然后再次对其进行合成。
图10中示出了用于该处理的配置。
附图中的脉冲响应测量数据为基于由麦克5A采集的声音采集信号而测量的脉冲响应测量数据(时间轴波形数据)。
如附图中所示，该脉冲响应测量数据被信号成分分解处理单元19在时间轴上分解成直达声、早期反射声以及混响声。
针对直达声和早期反射声，乘法单元20和21分别改变声音的平衡(调节等级)。由加法单元22将平衡已被以这种方式调节的直达声和早期反射声的成分以及由信号成分分解处理单元19获得的混响声加在一起。
将在本示例中使用的传递函数设定成是通过对所测量的(原始)脉冲响应数据进行上述成分分解和平衡调节而获得的。
(3-3.关于测量2)
图11是关于对测量2的传递函数进行测量的具体技术的示意图。
以上描述的测量2涉及将必须被定位在闭合表面1B外的任意位置处的声源定位在该位置处并且然后测量传递函数(脉冲响应)，每个传递函数指示：从布置在闭合表面1A外的任意位置处的用于测量的扬声器2A发出的声音如何在包括场所A中的回声的影响的情况下到达麦克5A中的每个麦克，其中扬声器2A的布置使得从该位置发出的声音被设定成以场所A中的回声的形式被用户0感知。
具体地，在测量2中，将扬声器2A布置在期望在场所A中定位要再现的声源的位置处，由闭合表面1A上的麦克5A中的每个麦克采集从扬声器2A输出的测量声音，然后测量相应脉冲响应。因此，可以将声源定位在布置扬声器2A的位置处并且可以获得使基于声源的声音被感知为被场所A中的回声影响的声音的一组传递函数。
此处，当存在期望将声源定位在其处的多个位置时，在场所A中的这些多个位置处进行对传递函数的相同测量。例如，在通过在图11中用实线表示的扬声器2A的位置处发出测量声音以及由麦克5A中的每个麦克进行声音采集来测量传递函数之后，通过在用虚线表示的扬声器2A的位置处发出测量声音以及由麦克5A中的每个麦克进行声音采集来测量传递函数。
当如上所述存在多个“期望将声源定位在其处的位置”时，针对“期望将声源定位在其处的位置”中的每个位置进行对传递函数的测量。
此处，在下文中将在测量2中测量的传递函数也称为第二传递函数，该传递函数指示从闭合表面1A外的任意位置发出的声音如何在也包括场所A中的回声的影响的情况下到达闭合表面1A侧。
注意，出于澄清的目的，在测量2中，可以根据发出测量声音的扬声器2A面向闭合表面1A的方向获得也可以指示声源的方向性的传递函数。
也可以使用以上如图8中所示的测量装置10来实现上述测量2。
然而，在这种情况下，被连接的扬声器2A的数量取决于期望将声源定位在其处的位置的数量。具体地，当扬声器2A以与期望将声源定位在其处的位置相同的数量被连接时，控制单元15控制选择器18顺序地选择要输出测量声音的扬声器2A并且控制传递函数测量单元14以与测量声音的输出定时同步的方式执行传递函数测量处理。
<4.基于传递函数的声场再现>
(4-1.基于第一传递函数的声场再现)
如上所述，第一传递函数的数量为总共M×N个，包括从扬声器2A Q1至麦克5A R1至RN中的每个麦克的N个传递函数(QR11至QR1N)、从扬声器2A Q2至麦克5A R1至RN中的每个麦克的N个传递函数(QR21至QR2N)、……以及从扬声器2A QM至麦克5A R1至RN中的每个麦克的N个传递函数(QRM1至QRMN)。
此处，确定的是，在图5中所示的场所B(再现环境)中，布置在闭合表面1B上的扬声器2B的数量为N，从而必须被最终获得的声学信号的声道的数量为N。
当基于以上前提考虑必须从位置W1输出的声学信号时，例如，沿闭合表面4B上的方向V1至VM中的每个方向从用户0发出的，被场所A中的回声影响并且返回至位置W1的声音必须从位置W1输出。
换言之，当把要从位置W1处的扬声器2B输出的声学信号设定成信号W1时，信号W1可以表示为如下。
W1＝V1×QR11+V2×QR21+V3×QR31+…+VM×QRM1
然而，在以上公式中，V1至VM被设定成麦克V1至VM的声音采集信号。
对通过使用W1(R1)的传递函数(QR11，QR21，……，以及QRM1)中的一个对应传递函数来处理沿方向V1至VM(Q1至QM)中的每个方向输出的相应声音而获得的M个信号求和，作为以上信号W1。
同样地，对于位置W2和W3，从用户0沿方向V1至VM中的每个方向发出的，被场所A中的回声影响然后返回至位置W2和W3的声音必须被输出，并且必须从位置W2和W3处的扬声器2B输出的信号W2和W3可以表示为如下。
W2＝V1×QR12+V2×QR22+V3×QR32+…+VM×QRM2
W3＝V1×QR13+V2×QR23+V3×QR33+…+VM×QRM3
换言之，对通过使用W2(R2)的传递函数(QR12，QR22，……，以及QRM2)中的一个对应传递函数来处理沿方向V1至VM(Q1至QM)中的每个方向输出的相应声音而获得的M个信号求和，作为信号W2。对通过使用W3(R3)的传递函数(QR13，QR23，……，以及QRM3)中的一个对应传递函数来处理沿方向V1至VM(Q1至QM)中的每个方向输出的相应声音而获得的M个信号求和，作为信号W3。
当获得其他信号W4至WN时，适用同样的方式。
基于以上描述，当将信号W1至WN的算术表达式表示为矩阵时可以获得以下表达式2。
[数学式2]
···［式2]
当进行表达式2所表示的算术操作时，能够获得必须从扬声器2B W1至WN中的每个扬声器输出以使用户0感知到下述声场的信号W1至WN，该声场被感觉为如同闭合表面1B中的用户0产生的声音正在场所A中回响。
(4-2.基于第二传递函数的声场再现)
如根据以上描述所理解的，使用第二传递函数的技术2使用户0感知场所A的还包括场所A中的回声的环境声音，但是不像技术1，技术2未使用传递函数对麦克5B的声音采集信号进行处理。
在技术2中，使用第二传递函数对预先记录的预定声源进行处理而非对麦克5B的声音采集信号进行处理。
具体地，在技术2中，通过使用在以上所述的技术2中针对一个扬声器2A的布置位置而测量的N个第二传递函数来对预定声源进行处理，获得必须从布置在作为再现环境的场所B中的每个扬声器2B输出的信号。
作为最简单的示例，当一个给定声源被定位在一个给定位置时，例如，通过使用基于R1至RN中的每个位置的声音采集信号测量的第二传递函数对基于声源的声学信号进行处理来获得N个信号，并且这些信号可以从再现环境中的扬声器2B W1至WN中的一个对应扬声器2B输出。
或者，当声源A被定位在位置a而声源B被定位在位置b时，通过使用已在位置a处的测量中获得的N个第二传递函数对基于声源A的声学信号进行处理来针对声源A获得N个信号，通过使用已在位置b处的测量中获得的N个第二传递函数对基于声源B的声学信号进行处理来针对声源B获得N个信号。然后将声源A侧和声源B侧中的每个声源上获得的N个信号加至扬声器2B的位置(W1至WN)中的每个位置，并且由此获得必须从位置W1至WN中的每个位置处的扬声器2B输出的信号。
<5.信号处理系统的配置>
图12是描述用于实现以上所述的作为实施方式的信号处理技术的信号处理系统的配置的图。
如图12中所示，根据本实施方式的信号处理系统被配置成至少具有M个麦克5B、信号处理装置30、N个扬声器2B、显示装置3以及服务器装置25。
首先，作为前提，假定下述内容被存储在服务器装置25中：与必须被显示用于用户0对位置信息的指定的地图信息有关的数据，必须与根据所指定的位置信息确定的位置相对应地显示的图像数据，要在技术1的声场再现中使用的第一传递函数的信息，以及要在技术2中的声场再现中使用的基于对象的数据。
具体地，服务器装置25存储地图数据25A、图像数据25B、第一传递函数信息25C、对应关系信息25D以及基于对象的数据25E。
地图数据25A为用于显示地图信息(地图图像)而提供的数据。此外，图像数据25B为针对作为再现目标的地点的图像数据，例如针对每个再现目标地点通过拍摄该地点的图而获得的图像数据。
此外，第一传递函数信息25C指示在以上所述的测量1中针对再现目标地点中的每个地点测量的第一传递函数的信息。
此外，基于对象的数据25E综合地表示在技术2的声场再现中使用的基于对象的数据。作为该基于对象的数据25E，包括作为在以上测量2中针对再现目标地点中的每个地点测量的第二传递函数的信息的第二传递函数信息25E1和对象分离的声源25E2。
对象分离的声源25E2为存在于再现目标地点中的声源，可以将其认为是例如从再现目标地点处记录的信号提取出的必要声源。作为提取该声源的处理，对该记录数据进行噪声去除、回响抑制等。因此，能够获得具有有利的S/N(信噪比)还有被抑制的回响感的声源数据。换言之，可以获得适于基于对象的声场再现的声源数据。
对应关系信息25D为用于根据指定位置信息来显示地点的图像以及用于对实现与该地点的声场相对应的本系统操作进行实现的信息，并且具体为如图13中所示地将下述信息关联在一起的信息：地点、对应于该地点的要显示的图像、对应于该地点的要在技术1的声场再现中使用的第一传递函数、对应于该地点的要在技术2的声场再现中使用的对象分离的声源(附图中的对象声源)、以及第二传递函数。
在本示例中，用相应的ID来管理图像数据、第一传递函数、第二传递函数以及对象分离的声源。
在对应关系信息25D中，描述了必须对应于地点使用的图像数据的ID、第一传递函数的ID、第二传递函数的ID以及对象分离的声源的ID，并且通过使用这些ID可以根据被存储为图像数据25B、第一传递函数信息25C、第二传递函数信息25E1以及对象分离的声源25E2的实际数据确定实际要使用的实际数据。
注意，在附图中所示的对应关系信息25D中，针对要在技术2的声场再现中使用的数据，将两个，即对象分离的声源和第二传递函数中的每个，与一个地点关联；然而，这对应于用于将两个相应的声源定位在一个地点中的不同位置处的技术。
返回至图12，信号处理装置30设置有通信单元44，并且能够使用通信单元44经由网络26例如因特网与服务器装置25进行数据通信。
信号处理装置30设置有用于将M个麦克5B连接至该装置的M个端子单元31(31-1至31-M)以及用于将N个扬声器2B连接至该装置的N个端子单元39(39-1至39-N)。
此外，信号处理装置30还设置有端子单元43用于连接也示出在以上图1中的显示装置3。
此外，在信号处理装置30内设置了ADC和放大单元32、加法单元33-1至33-M、啸声控制和回声消除单元34和36、矩阵卷积单元35、加法单元37-1至37-M、DAC和放大单元38、控制单元40、操作单元41、显示控制单元42、通信单元44、存储器45、参考声音重放单元46以及总线48。
此处，矩阵卷积单元35、控制单元40、显示控制单元42、通信单元44、存储器45、参考声音重放单元46以及渲染单元47中的每个单元连接至总线48，并且从而这些单元能够经由总线48与彼此进行数据通信。
在信号处理装置30内，通过ADC和放大单元32针对每个声道对通过端子单元31-1至31-M输入的来自麦克5B中的每个麦克的声音采集信号进行AD转换并放大。
将由ADC和放大单元32针对每个声道AD转换并放大的来自麦克5B中的每个麦克的声音采集信号输入到加法单元33-1至33-M中对应声道的相应加法单元33中。
加法单元33-1至33-M将声学信号作为已由参考声音重放单元46重放的参考声音加至声道V1至VM中的每个声道的声音采集信号，稍后将再次描述这一点。
通过加法单元33-1至33-M的声音采集信号被供应至啸声控制和回声消除单元34。
设置了啸声控制和回声消除单元34以连同被设置在矩阵卷积单元35后级中的啸声控制和回声消除单元36一起防止由反馈引起的啸声。啸声控制和回声消除单元34和36彼此连接以进行附图中所示的链接的处理。
此处，在本系统中，麦克5B和扬声器2B被布置在再现环境中，然而，因为麦克5B和扬声器2B被布置成彼此较相邻，所以担心在一些情况下由于这两个部件的动作而发生过度振荡操作。从而，本示例试图通过提供啸声控制和回声消除单元34和36来防止发生这样的过度振荡操作。
矩阵卷积单元35基于第一传递函数对由麦克5B中的每个麦克采集，并经由啸声控制和回声消除单元34输入的声音的信号中的每个信号进行处理，并且由此生成必须从扬声器2B中的每个扬声器输出来实现作为技术1的声场再现的信号。
具体地，矩阵卷积单元35基于由控制单元40指示的第一传递函数(QR11至QRMN)对从啸声控制和回声消除单元34输入的M个信号(V1至VM)进行处理，然后生成必须从扬声器2B中的每个扬声器输出来实现作为技术1的声场再现的N个信号。
本文中，图14示出了矩阵卷积单元35的具体内部配置示例。
注意，该附图示出了使用将第一传递函数关于时间轴的表达(脉冲响应)作为系数的有限脉冲响应(FIR)数字滤波器的配置示例。
此外，在该附图中，如同也从以上图12中理解的，将信号V1至VM设定成指示经由啸声控制和回声消除单元34输入至矩阵卷积单元35的信号，并且将信号W1至WN设定成指示从矩阵卷积单元35输入至啸声控制和回声消除单元36的信号。
首先，作为前提，将这种情况的滤波器50假定为FIR数字滤波器。
这种情况的矩阵卷积单元35设置有用于信号V1至VM中的每个信号的N个滤波器50(其中的每个滤波器以1至N结尾)。在该附图中，作为代表示例示出了信号V1被输入至的滤波器50-11至50-1N、信号V2被输入至的滤波器50-21至50-2N以及信号VM被输入至的滤波器50-M1至50-MN。
针对信号V1被输入至的滤波器50-11至50-1N，设定基于对应于位置V1(Q1)的第一传递函数QR11至QR1N的滤波器系数。
此外，针对信号V2被输入至的滤波器50-21至50-2N，设定基于对应于位置V2(Q2)的第一传递函数QR21至QR2N的滤波器系数，以及针对信号VM被输入至的滤波器50-M1至50-MN，设定基于对应于位置VM(QM)的第一传递函数QRM1至QRMN的滤波器系数。
尽管附图中未示出，但是还针对其他信号(V3至VM-1)被输入至的N个滤波器50设定基于与采集信号的声音的麦克5B的位置对应的N个第一传递函数的滤波器系数。
此外，矩阵卷积单元35设置有N个加法单元51(51-1至51-N)。加法单元51-1至51-N接收经历了基于对应于每个滤波器50的第一传递函数的滤波处理的信号中的信号输入，然后进行加法以获得信号W1至WN。
具体地，将从滤波器50中以1结尾的滤波器50获得的信号输入至加法单元51-1，以及将从以2结尾的滤波器50获得的信号输入至加法单元51-2。此外，将从以N结尾的滤波器50获得的信号输入至加法单元51-N。
换言之，将W1至WN(R1至RN)的位置中根据结尾处的数字值用该位置的第一传递函数处理的M个信号输入至加法单元51-1至51-N。
加法单元51-1至51-N对如上所述输入的M个信号进行相加(组合)。
使用以上所述的配置，可以实现以上表达式2中示出的对信号W1至WN的算术操作。
注意，尽管本文中示出了时间轴算术操作的示例，但是可以进行卷积操作作为时间轴算术操作。或者，在频率操作的情况下，可以进行使用传递函数的乘法。
返回至图12提供描述。
在矩阵卷积单元35中获得的N个信号(W1至WN)经历由啸声控制和回声消除单元36针对每个声道进行的处理，然后被分别输入至加法单元37-1至37-N中的对应声道的加法单元37。
加法单元37-1至37-N将从渲染单元47输入的信号加至从啸声控制和回声消除单元36输入的信号，然后将信号输出至DAC和放大单元38。
DAC和放大单元38对来自用于每个声道的加法单元37-1至37-N的输出信号进行DA转换和放大，然后将信号输出至端子单元39-1至39-N。因此，每个声道的扬声器2B W1至WN根据对应声道的声学信号发声。
设置渲染单元47以进行用于实现作为技术2的声场再现的信号处理。
渲染单元47根据控制单元40的指令，基于第二传递函数对经由网络26从服务器装置25发送的对象分离的声源进行处理(其中第二传递函数也是经由网络26从服务器装置25发送的)，并且由此生成必须从扬声器2B中的每个扬声器输出的N个声道的声学信号来使用户0感知场所A的还包括场所A中的回声的环境声音。
注意，如根据以上描述理解的，当多个声源被定位在不同位置时，渲染单元47将通过用针对每个声道的对应的(N个)第二传递函数对声源中的每个声源进行处理而获得的N个声道的声学信号进行相加，并且由此获得必须从扬声器2B中的每个扬声器输出的N个声道的声学信号。
显示控制单元42对经由端子单元43连接的显示装置3进行显示控制。具体地，这种情况的显示控制单元42使显示装置3根据控制单元40的指令来显示下述图像：基于经由网络26从服务器装置25传送的地图数据的图像，以及基于也经由网络26从服务器装置25发送的图像数据的图像。
存储器45存储各种数据。特别地，这种情况的存储器45用于暂时积累(缓冲)从服务器装置25传送的数据。
控制单元40由设置有例如CPU、ROM、RAM等的微型计算机构成，并且控制单元40通过根据存储在例如ROM等中的程序执行处理来对信号处理装置30进行整体控制。
操作单元41连接至控制单元40，并且控制单元40通过接收根据用户0对操作单元41进行的操作的操作信息并且根据该操作信息执行处理来根据用户0的操作实现操作。
特别地，这种情况的控制单元40通过执行接下来在图15中示出的处理来实现作为实施方式的再现操作。
图15是示出要在本系统中执行以实现作为实施方式的再现操作的处理的内容的流程图。
注意，在图15中，由设置在信号处理装置30中的控制单元40来执行信号处理装置的处理，以及由设置在服务器装置25中的控制单元(未示出)来执行服务器装置的处理。
此外，当要开始附图中所示的处理时，假定装置处于下述状态：已基于用户0通过操作单元41输入的操作指定了必要位置信息。
在图15中，信号处理装置30的控制单元40在步骤S101中进行将指定位置信息传送至服务器装置25的处理。换言之，通过通信单元44经由网络26将指定位置信息传送至服务器装置25。
服务器装置25的控制单元在步骤S201中根据对从信号处理装置30侧传送的指定位置信息的接收来确定对应于指定位置信息的地点。例如参照预定位置信息与该地点之间的对应关系信息来进行对地点的确定。
在步骤S201中确定地点后，服务器装置25的控制单元在步骤S202中将根据所确定的地点的图像数据、第一传递函数、第二传递函数以及对象分离的声源传送至信号处理装置30。
具体地，在基于对应关系信息25D被分别存储为图像数据25B、第一传递函数信息25C、第二传递函数信息25E1以及对象分离的声源25E2的图像数据、第一传递函数、第二传递函数以及对象分离的声源中，将对应于所确定的地点的图像数据、第一传递函数、第二传递函数以及对象分离的声源传送至信号处理装置30。
在信号处理装置30侧，在根据如上所述从服务器装置25对图像数据、第一传递函数、第二传递函数以及对象分离的声源的传送，在步骤102中对使用图像显示和第一传递函数和第二传递函数的处理进行执行控制。换言之，针对从服务器装置25侧传送的图像数据，给显示控制单元42指令以使显示装置3显示该图像数据。此外，针对从服务器装置25侧传送的第一传递函数，给矩阵卷积单元35指令以基于第一传递函数执行以上表达式2的算术操作。此外，针对从服务器装置25侧传送的第二传递函数和对象分离的声源，给渲染单元47指令以使渲染单元47基于第二传递函数和对象分离的声源执行渲染处理。
因此，可以将与根据指定位置信息确定的地点对应的图像呈现给用户0，可以提供这样的声场，在该声场中将用户0发出的声音感知为如同该声音正在根据指定位置信息确定的地点中回响，并且可以使用户0感知该地点的包括该地点的回响声音的环境声音。
根据以上所述的本实施方式的信号处理系统，能够比仅呈现图像信息时更多地增强用户的沉浸感。
此处，如以上所涵盖的，在本实施方式中设置参考声音重放单元46以输出参考声音。
使用预先准备的声音数据(可以使用采集的声音作为源，或者可以是人造声音)而不是使用在场所B中实时记录的声音作为该参考声音。
这根据一个意图类似于技术1中的回声定位法，并且可以通过即使在再现目标地点不同时也连续地输出相同声源材料来使用声学信息呈现该地点的空间类型。在这种情况下，与用第一传递函数对仅实时采集的声音进行处理然后输出相比，可以基于具有更高的再现性的声学信息来获知地点的结构等。
如图12中所示，通过加法单元33-1至33-M将由参考声音重放单元46重放的参考声音加至由麦克5B采集的声音采集信号中的每个声音采集信号(经历了由ADC和放大单元32进行的AD转换和放大)。
矩阵卷积单元35基于如上所述与参考声音相加的相应声道的声音采集信号(V1至VM)来使用以上表达式2进行算术操作。在由矩阵卷积单元35以这种方式进行的处理中获得的N个声道的信号(W1至WN)通过啸声控制和回声消除单元36、加法单元37、DAC和放大单元38以及端子单元39，然后被从对应扬声器2B输出。
因此，增强了回声定位的效果并且由此还可以增加用户0的沉浸感。
此处，在以上描述中，例示了下述情况：由布置在用户0所在的再现环境侧的信号处理装置30来执行用于实现技术2的渲染处理；然而，也可以将渲染处理设定成在与再现环境隔离的网络26上的必要服务器装置中进行(换言之，在所谓的云上进行)。
图16是示出技术2的渲染处理被设定成在云上进行的系统配置示例的图。
注意，该附图示出了在服务器装置25中进行渲染处理的配置示例；然而，存储数据例如地图数据25A、第一传递函数信息25C等的服务器装置可以形成在与执行渲染处理的服务器装置分开的体中。
如附图中所示，在这种情况下服务器装置25设置有渲染单元52。此外，在这种情况下信号处理装置30设置有输出控制单元53来代替渲染单元47。
根据基于指定位置信息对地点的确定，这种情况的服务器装置25使用对应于该地点的第二传递函数和对象分离的声源在渲染单元52中进行渲染处理。
在这种情况下，服务器装置25将经历了由渲染单元52进行的渲染处理的(N个声道的)声学信号传送至信号处理装置30。
这种情况的信号处理装置30的控制单元40使输出控制单元53将如上所述的从服务器装置25传送的N个声道的相应声学信号输出至加法单元37-1至37-N中的对应声道的加法单元37。
当渲染处理被设定成以这种方式在云上执行时，可以有效地减轻信号处理装置30上的处理负担。
注意，可以根据网络速度、云与本地侧之间的处理能力之比来适当地切换渲染处理是要在信号处理装置30侧(本地侧)进行还是在云上进行。
此外，尽管将第一传递函数信息25C和基于对象的数据25E全部设定成存储在以上图12中的服务器装置25中，然而也可以将信息中的至少一些信息存储在信号处理装置30侧。在这种情况下，在信号处理装置30中，从信号处理装置30内的存储单元获取根据指定位置信息确定的地点的第一传递函数、对象分离的声源以及第二传递函数的信息并且在处理中使用这些信息。
<6.修改示例>
(6-1.关于闭合表面)
此处，尽管以上描述中未特别提及，考虑以上所述的实施方式的声场再现技术，可以将其上布置有再现环境中的多个扬声器2B的闭合表面1B和其上布置有也在再现环境中的多个麦克5B的闭合表面4B设定成围绕用户0，并且闭合表面1B和闭合表面4B可以彼此相交。
图17是例示闭合表面1B与闭合表面4B之间的关系的图。
图17A是闭合表面1B被设定成围绕用户0并且闭合表面1B被设定成在闭合表面4B内的示例。图17B是闭合表面1B更接近图17A中示出的示例中的闭合表面4B的示例。此外，图17C是闭合表面1B和闭合表面4B二者都被设定成围绕用户0但是闭合表面1B的一部分从闭合表面4A突出的示例。
此外，在图17D所示的示例中，在图17C的示例中仅闭合表面4B被设定成围绕用户0。此外，在图17E所示的示例中，闭合表面1B被设定成位于闭合表面4B内并且闭合表面4B被设定成围绕用户0，但闭合表面1B未被设定成围绕用户0。
在图17A至图17E的示例中，适当地应用本技术的示例为图17A至图17C中示出的示例。
可以将闭合表面1B和闭合表面4B设定成被形成为具有两个闭合表面的部分交叠的至少一个区域，并且如果用户0存在于交叠区域，则适当地应用本技术。
此外，由麦克和扬声器形成的闭合表面的形状并未被特别限制，只要该形状为可以围绕用户0的形状即可，例如如图18中所示的椭圆形闭合表面1B-1的形状、圆柱形闭合曲面形状1B-2或多边形闭合表面1B-3是可以的。
注意，图18中例示了由多个扬声器2B形成的闭合表面1B的形状，并且也将其应用到由多个麦克5B形成的闭合表面4B的形状。
此处，针对扬声器和麦克在闭合表面上的理想布置位置，理想的是以目标频率的半波长的间隔或更小间隔来布置扬声器和麦克。然而，如果完全实现这一点，则还存在有下述可能性：要安装的扬声器和麦克的数量变得庞大。
实际上，希望将扬声器和麦克的实际数量设定在能够体验到效果的数量。
此外，在以上描述中例示了闭合表面1B在闭合表面4B内并且闭合表面4B的尺寸大于闭合表面1B的情况；然而，闭合表面1B的尺寸可以大于闭合表面4B。
作为示例，图19示出了闭合表面4B被设定在闭合表面1B内的情况。
当闭合表面4B像这样被布置在闭合表面1B内时，如图20中所示，其上布置有扬声器2A的闭合表面4A被设定成位于作为测量环境的场所A中其上布置有麦克5A的闭合表面1A内。
(6-2.关于方向性)
对于麦克5A和5B，在以上描述中例示了使用定向麦克的情况；然而，麦克5A和5B无需作为单个装置具有方向性，也可以使用全向麦克。
在这样的情况下，通过使用多个全向麦克形成所谓的麦克阵列，可以获得与定向麦克的输出等同的输出。
图21示出了用于使用全向麦克风获得与定向麦克风的输出等同的输出的配置示例。
麦克5A或5B被设定成以附图中所示的顺序从1号至5号布置在边缘处。此外，连同1号至5号麦克5A或5B一起，设定在这种情况下要设置两组延迟电路(一组延迟电路54-11至54-13以及另一组延迟电路54-21至54-23)，每组延迟电路具有三个电路。如附图中所示，通过加法单元55-1来对来自延迟电路54-11至54-13的输出进行相加并且通过加法单元55-2对来自延迟电路54-21至54-23的输出进行相加然后将其输出。
1号麦克5A或5B的输出、2号麦克5A或5B的输出以及3号麦克5A或5B的输出被分别输入至延迟电路54-11、延迟电路54-12以及延迟电路54-13。此外，2号麦克5A或5B的输出、3号麦克5A或5B的输出以及4号麦克5A或5B的输出被分别输入至延迟电路54-21、延迟电路54-22以及延迟电路54-23。
在以上所述的配置中，例如，通过适当地设定延迟电路54-11至54-13的延迟量，可以获得可以用1号至3号麦克5A或5B的声音采集信号实现的预定第一方向的声音采集信号作为加法单元55-1的输出。同样地，通过适当地设定延迟电路54-21至54-23的延迟量，可以获得可以用2号至4号麦克5A或5B的声音采集信号实现的预定第二方向的声音采集信号作为加法单元55-2的输出。
通过将适当的延迟施加至多个排列的全向麦克的声音采集信号并且如上所述将其相加(组合)在一起，可以形成麦克阵列并且可以获得与定向麦克的输出等同的输出。
注意，尽管在图21的示例中将来自三个麦克的声音采集信号设定成被延迟并且被相加以实现方向性的一个方向，然而可以在来自至少两个或更多个麦克的声音采集信号被延迟并且被相加时表示方向性。
此外，对于扬声器，通过以相同方式形成阵列扬声器，即使在装置本身为全向时也能够实现方向性的功能。
图22示出了用于使用全向扬声器2A或2B获得与定向扬声器的输出等同的输出的配置示例。
在这种情况下扬声器2A或2B也以附图中所示的顺序从1号至5号布置在边缘处。此外，连同1号至5号扬声器2A或2B一起还设置两组延迟电路(一组延迟电路56-11至56-13以及另一组延迟电路56-21至56-23)，每组延迟电路具有三个电路。如附图中所示，将必须沿第一方向输出的声学信号给至延迟电路56-11至56-13，以及将必须沿第二方向输出的声学信号给至延迟电路56-21至56-23。
将延迟电路56-11的输出给至1号扬声器2A或2B。此外，由加法单元57-1对延迟电路56-12的输出和延迟电路56-21的输出进行相加并且给至2号扬声器2A或2B。此外，由加法单元57-2对延迟电路56-13的输出和延迟电路56-22的输出进行相加并且给至3号扬声器2A或2B。此外，将延迟电路56-23的输出给至4号扬声器2A或2B。
在以上所述的配置中，例如，通过适当地设定延迟电路56-11至56-13的延迟量，可以获得沿预定第一方向的输出的声音作为1号至3号扬声器2A或2B的输出声音。类似地，通过适当地设定延迟电路56-21至56-23的延迟量，可以获得沿预定第二方向的输出的声音作为2号至4号扬声器2A或2B的输出声音。
注意，出于澄清的目的，当考虑在测量环境中测量声音按顺序沿方向(Q1至QM)中的每个方向输出的应用时，必须沿第一方向输出的声学信号和必须沿第二方向输出的声学信号未同时给至延迟电路56，而是以偏离的定时给出。当测量声音沿第一方向输出时，例如，测量信号仅给至延迟电路56-11至56-13而未给至延迟电路56-21至56-23，另一方面，当测量声音沿第二方向输出时，测量信号仅给至延迟电路56-21至56-23而未给至延迟电路56-11至56-13。
通过对给至如上所述的以多个排列的全向扬声器的声学信号施加延迟，能够形成扬声器阵列并且能够获得与定向扬声器的动作等同的动作。
(6-3.针对测量环境中和再现环境中闭合表面的尺寸和形状不同的情况的解决方案)
在以上描述中出于方便起见例示了下述情况：闭合表面1B和1A的组与闭合表面4B和4A的组在场所B与场所A的关系中分别具有相同尺寸和形状；然而，现实中难以将测量环境中的扬声器和麦克的位置与再现环境中的扬声器和麦克的位置准确地匹配。
图23示出了上文所述情况的示例。
在图23所示的场所B中，假定要设定与以上图5中所示相同的闭合表面1B和闭合表面4B。
在这种情况下，理想的是在用作测量环境的场所A中，必须以与闭合表面1B和闭合表面4B的位置关系相同的位置关系来设定与闭合表面1B具有相同尺寸和形状的闭合表面1A以及与闭合表面4B具有相同尺寸和形状的闭合表面4A，但是这在实际中难以实现。
在该附图的示例中，如附图中所示，假定要在场所A中设定与闭合表面1A具有不同尺寸和形状的闭合表面1A'以及与闭合表面4A具有不同尺寸和形状的闭合表面4A'。
此处，如图24中所示，将布置在闭合表面4A'上的扬声器2A设定为A序列的测量扬声器。此外，将布置在闭合表面1A'上的麦克5A设定为B序列的测量麦克。注意，如目前为止所描述的，将布置在原始闭合表面4A上的扬声器2A设定为Q序列，以及将布置在原始闭合表面1A上的麦克5A设定为R序列。
在这种情况下，因为闭合表面4A'和闭合表面4A具有不同尺寸和形状，所以布置的扬声器2A的数量不相同。尽管如上所述布置在原始闭合表面4A上的扬声器2A的数量为M，然而布置在闭合表面4A'上的扬声器2A的数量被设定为K。
同样地，因为闭合表面1A'和闭合表面1A具有不同尺寸和形状，所以布置的麦克5A的数量不相同，并且尽管如上所述布置在原始闭合表面1A上的麦克5A的数量为N，然而布置在闭合表面4A'上的麦克5A的数量被设定为L。
在这种情况下，在场所B中，V序列的M个麦克5B布置在闭合表面4B上，W序列的N个扬声器2B布置在闭合表面1B上。
在此前提上，为了实现技术1的正确声场再现，可以通过进行如以下表达式3示出的伴随有对传递函数的变换的算术操作来获得必须从扬声器2B中的每个扬声器输出的声学信号。
[数学式3]
···[式3]
然而，在表达式3中，AB11至ABKL表示从A序列的扬声器的相应位置(A1至AK)至B序列的麦克的相应位置(B1至BL)的传递函数。类似以上传递函数QR11至QRMN，根据在扬声器的位置中的每个位置(在该情况下为K个点)处对测量声音的顺序输出的结果以及由测量环境中的麦克5A中的每个麦克(在该情况下为L个麦克)对声音的顺序采集的结果来测量传递函数AB11至ABKL。
此外，在表达式3中，BR11至BRLN表示从B序列的麦克的相应位置(B1至BL)至R序列的麦克的相应位置(R1至RN)的传递函数。
可以在预定环境中例如无回声室等中测量传递函数BR11至BRLN，而不需要在用作测量环境的场所A中实际构建处于附图中示出的位置关系的闭合表面1A'和闭合表面1A。具体地，当将与闭合表面1A'和闭合表面1A具有相同尺寸和形状的闭合表面分别设定为闭合表面1a'和闭合表面1a时，在例如无回声室中将闭合表面1a'和闭合表面1a设定成与附图中所示的闭合表面1A'和闭合表面1A的位置关系相同，然后从作为闭合表面1a'的B序列的位置(B1至BL)中的每个位置的扬声器顺序地输出测量声音，然后可以根据通过用作闭合表面1a的布置在R序列的位置(R1至RN)中的每个位置处的麦克顺序地采集声音所获得的结果来测量传递函数。
此外，在表达式3中，QA11至QAMK表示从Q序列扬声器的相应位置(Q1至QM)至A序列扬声器的相应位置(A1至AK)的传递函数。
也可以在例如无回声室等中测量传递函数QA11至QAMK。具体地，当将与闭合表面4A和闭合表面4A'具有相同尺寸和形状的闭合表面分别设定为闭合表面4a和闭合表面4a'时，在例如无回声室中将闭合表面4a和闭合表面4a'设定成与附图中所示的闭合表面4A和闭合表面4A'的位置关系相同，然后从作为闭合表面4a的Q序列的位置(Q1至QM)中的每个位置的扬声器顺序地输出测量声音，然后可以根据通过用作闭合表面4a'的布置在A序列的位置(A1至AK)中的每个位置处的麦克顺序地采集声音所获得的结果来测量传递函数。
如上所述，通过分开地测量从Q序列至A序列的一组传递函数以及从B序列至R序列的一组传递函数，即使在测量环境中和再现环境中闭合表面的尺寸和形状不同时，仍能够适当地变换在测量环境中所获得的传递函数，并且从而能够实现适当的声场再现。
注意，出于澄清的目的，以上所述的表达式3意味着即使在再现环境中和测量环境中要使用的麦克和扬声器的数量不同时仍能够实现适当的声场再现。作为极端示例，例如，即使在使用再现环境中的两个声道L/R的耳机装置时，通过以如上所述的相同方式对从Q序列至A序列的一组传递函数以及从B序列至R序列的一组传递函数进行测量，可以使用如表达式3中的一组传递函数来对测量环境中获得的一组传递函数进行变换，并且从而实现声场。
此处，尽管以上描述了实现技术1所需的一组第一传递函数，然而即使针对在技术2中使用的一组第二传递函数，仍可以通过基于相同原理来对在测量环境中获得的一组传递函数进行变换来解决在测量环境中和再现环境中闭合表面的形状和尺寸不同的情况。
在JP 4775487B中基于本发明者的提议也公开了上述的具体技术；然而，出于澄清的目的，在下文中描述该技术的概述。参照以上图11来提供描述。
例如，在再现环境(场所B)中，假定仅能够设定小于图11中所示的闭合表面1A的闭合表面(例如用闭合表面1A'标记)。在这种情况下，将闭合表面1A设定为Q序列(从Q1至QM的M个点)，以及将闭合表面1A'设定为P序列(从P1至PJ的J个点)。
例如，如果存在期望将给定声源S定位在其处的一个点，则在作为该情况的测量环境的场所A中测量的传递函数为从该位置到麦克的相应位置Q1至QM的传递函数。将传递函数设定为Q1至QM。如果测量环境的闭合表面与再现环境的闭合表面具有相同尺寸和形状，则可以通过用传递函数Q1至QM处理声源S来实现适当的声场再现。
在这种情况下，在与闭合表面1A和闭合表面1A'具有不同尺寸和形状的情况相关联的环境例如无回声室等下测量从Q序列至P序列的一组传递函数。具体地，将闭合表面1A和闭合表面1A'设定在无回声室中，从作为闭合表面1A的Q序列的位置(Q1至QM)中的每个位置处的扬声器顺序地输出测量声音，然后从通过使用作闭合表面1A'的P序列的布置在位置(P1至PJ)中的每个位置的麦克来顺序地采集声音所获得的结果来测量传递函数QP11至QPMJ。
此外，使用以下表达式4来获得必须从布置在再现环境中的J个扬声器(X1至XJ)输出的声学信号(X1至XJ)。
[数学式4]
···[式4]
以这种方式，也可以解决技术2中在测量环境中和再现环境中闭合表面具有不同尺寸和形状(测量环境中的麦克的数量不同于再现环境中的扬声器的数量)的情况。
(6-4.使用运动物体的测量技术)
为了实现作为实施方式的再现操作，希望在许多地点进行对传递函数的测量。这是为了增加可以被再现的地点。
使用运动物体例如在其上安装有扬声器或麦克的车辆对于在许多地点有效地测量传递函数是有效的。
在下文中，描述使用运动物体的测量技术的示例。
图25是关于使用运动物体的测量示例1的示意图。
在测量示例1中，在其上安装有多个扬声器2A和多个麦克5A的车辆60中，如图25A中所示测量传递函数。以以上图6中示出的布置将多个扬声器2A和多个麦克5A安装在车辆60上。测量示例1最有利于测量技术1所需的第一传递函数。
通过使用如上所述的车辆60来重复测量和移动，在每个地点顺序地获取传递函数。
图25B例示了在测量示例1中测量的传递函数的数据库的内容。
如附图中所示，在数据库中，传递函数ID、声音发出位置、声音接收位置、测量日期和时间以及数据(脉冲响应测量数据)被彼此关联。在这种情况下，将安装在车辆60上的全球定位系统(GPS)接收装置的位置信息用于声音发出位置的信息。此外，将安装在车辆60上的麦克5A的标识号设定为这种情况的声音接收位置的信息。
图26是关于使用运动物体的测量示例2的示意图。
如图26A中所示，在测量示例2中将多个麦克5A以固定或半固定方式安装在街道上。例如，可以例示地面、电线杆、墙壁、招牌等作为麦克5A在街道上的安装位置。此外，还考虑将麦克安装在监视摄像机上。
在这种情况下，也使用(其上安装有扬声器2A和麦克5A的)在测量示例1中使用的车辆60作为运动物体。
使用安装在车辆60上的麦克5A，能够测量第一传递函数。
为了在这种情况下测量第二传递函数，由安装在街道上的麦克5A(也可以使用安装在车辆60上的麦克A)来接收从安装在车辆60上的扬声器2A发出的测量声音。因为在测量示例2中将许多麦克5A安装在街道上，所以在一个测量中能够获得许多传递函数。
通过将以这种方式测量的许多传递函数存储在如图26B所示的数据库中，可以从数据库中适当地选择必要传递函数并且稍后使用。
图26B中示出的数据库与以上图25B中示出的数据库的不同在于将声音接收位置的信息设定为绝对位置信息。这有利于在每次从数据库选择必要传递函数时对声音发出位置之间的位置关系的确定。
图27是关于使用运动物体的测量示例3和测量示例4的示意图。
测量示例3和测量示例4为使用多个运动物体的示例。
在图27A中所示的测量示例3中，将车辆60、车辆60前方的车辆61以及车辆60后方的车辆62用作运动物体。
此处，当将车辆用作运动物体时，具体地在街道上的测量中车辆被驾驶在道路上。在这种情况下，难以将麦克5A固定地安装在道路上，并且如果仅使用一个车辆，则问题是形成了车辆前方和后方的未测量传递函数的空白段。在测量示例3和4中，可以填充这样的空白段。
在如图27A所示的测量示例3中，仅将麦克5A而未将扬声器2A设定成安装在最前面的车辆61和最后面的车辆62中。在该示例中，将如以上图26B所示的数据库构建成包括车辆61和62上的麦克5A的位置(声音接收位置)。
此外，在图27B的测量示例4中，将仅安装有扬声器2A的车辆63设定成代替图27A中所示的测量示例3中的车辆60被使用。
在这种情况下，使用街道上的麦克5A以及车辆61和62上的麦克5A来测量第一传递函数。
此外，针对这种情况的第二传递函数，可以使用街道上的麦克5A以及车辆61和62上的麦克5A一次测量许多传递函数。
此处，当在测量示例3和4中使用多个车辆时，通过使用每种情况的多个车辆的不同距离、方向等，还能够以更多声音发出位置和声音接收位置的组合形式获得传递函数。
注意，在使用车辆的测量中，还假定在车辆不是停止而是运动时采集信号。在该实例中，通过在声音采集时也将车辆运动速度记录在数据库中，可以随后通过信号处理降低多普勒效应。
此外，当麦克5A被设置在街道上时，如果麦克5A为定向麦克，则很难在安装之后改变麦克5A的方向性的方向，从而相应地阻碍了测量中的自由度。考虑到这一点，通过将安装在街道上的麦克5A准备为全向麦克，能够通过以上所述的麦克阵列的处理改变方向性。因此，能够增强测量中的自由度，这对于以更多模式获得传递函数非常有效。
(6-5.其他修改示例)
本文中，本技术的以下修改示例是可以的。
在以上描述中，例示了将对象分离的声源用于技术2的声场再现的情况；然而，在技术1的声场再现中也可以对麦克5B的声音采集信号实现诸如噪声去除或回响抑制的处理。
此处，在技术1中，从布置在场所B中的扬声器2B输出用于声场再现的声音。此刻，在场所B中将采集用户0产生的声音的麦克5B布置成相对靠近扬声器2B，并且由麦克5B采集来自扬声器2B的声音用于声场再现。这意味着：尽管必须初始地仅对用户0发出的声音进行使用第一传递函数的处理，然而也对与用于声场再现的声音相加的声音进行使用第一传递函数的处理。
从而，通过对如上所述的麦克5B的声音采集信号进行与对于对象分离的声源相同的噪声去除或回响抑制处理，提取出从用户0发出的声音的成分。换言之，以这种方式对对象分离的声源进行使用第一传递函数的处理。因此，在技术1的声场再现中，能够增强S/N并且能够进一步提高声场再现的质量。
注意，可以将以上描述的噪声去除或回响抑制处理设定成例如在以上图12中所示的配置中的ADC和放大单元32与加法单元33之间进行。
此外，以对应于一个地点显示一个图像的前提提供了以上描述；然而，也可以显示例如针对各个时区的不同图像。例如，针对再现目标地点的各个时区拍摄并存储多个图像。在图像中，选择并显示例如根据由放置在再现环境中的信号处理装置30定时的当前时间信息的时区的图像、或者根据再现目标地点的当前时间的时区(例如根据由信号处理装置30定时的当前时间的计算获得)的图像。或者，可以选择并显示由用户0指定的任意时区的图像。
注意，以上描述的根据时区的再现也可以应用至技术2的声场再现。具体地，针对一个地点准备各个时区的多个对象分离的声源，并且将根据再现环境或再现目标地点的当前时间的时区的声源或由用户0指定的任意时区的声源输出为再现声音。
通过以这种方式实现根据时区的再现，能够进一步提高临场感。
此外，在以上描述中，例示了对基于地图上指定的位置信息的地点进行再现的情况；然而，可以将在例如GPS上检测的当前位置的信息用作指定位置信息。换言之，针对根据在GPS上检测的当前位置信息而确定的地点进行再现。
这对于下述系统有利：例如在再现环境中的用户0的呼叫伙伴存在于远处地点并且对呼叫伙伴所位于的地点的视场进行再现。在这种情况下，将通过由呼叫伙伴使用的移动电话等检测的当前位置信息传送至服务器装置25并且服务器装置25基于当前位置信息确定对应地点。
此外，尽管在以上描述中例示了使用TSP信号作为测量信号来进行测量的情况，然而可以改为使用M序列进行测量。
此外，当假定以如上图26和27中所示的在街道上的各种声音发出位置和声音接收位置的组合的形式测量许多传递函数以及从这些传递函数中选择必要传递函数并且稍后使用的系统时，存在下述情况：必要传递函数的数据未包括在数据库中。当必要传递函数以这种方式未包括在数据库中时，可以通过用其他存在的传递函数进行插值来估计必要传递函数。
此外，当麦克5A以固定或半固定的方式安装在街道上时，可以使用麦克5A实时采集再现目标地点的声音，并且经由网络26将其传送至再现环境的信号处理装置30，然后从扬声器2B输出。
此外，还可以将本技术配置为如下。
(1)一种信号处理装置，包括：
显示控制单元，被配置成使必要显示单元显示与根据指定位置信息确定的地点相对应的图像；
声音采集信号输入单元，被配置成输入声音采集单元的声音采集信号，所述声音采集单元使用被布置成围绕用户的多个麦克风来采集所述用户发出的声音；
声学信号处理单元，被配置成基于第一传递函数对由所述声音采集信号输入单元输入的所述信号进行用于再现声场的第一声学信号处理，在所述声场中，所述用户发出的所述声音被感知为如同所述声音正在根据所述位置信息确定的所述地点回响，其中所述第一传递函数是在根据所述指定位置信息确定的所述地点测量的，以指示在所述地点内的闭合表面上发出的声音如何在所述地点回响，以及然后如何被传递到所述闭合表面侧；以及
发声控制单元，被配置成使得从布置成围绕所述用户的多个扬声器发出基于已经被所述声学信号处理单元进行了所述第一声学信号处理的所述信号的声音。
(2)根据(1)所述的信号处理装置，还包括：
加法单元，被配置成将基于在根据所述指定位置信息确定的所述地点记录的声源的声学信号加至经过了所述第一声学信号处理的所述信号上。
(3)根据(2)所述的信号处理装置，
其中，所述声源被设定为经对象分解的声源，并且
其中，所述加法单元将通过基于第二传递函数对基于所述声源的所述声学信号进行第二声学信号处理而获得的声学信号加至经过了所述第一声学信号处理的所述信号上，其中，所述第二声学信号处理用于使基于所述声源的声音被感知为如同正在作为声场再现目标的所述地点发出所述声音，所述第二传递函数是在根据所述指定位置信息确定的所述地点测量的，以指示从所述地点内的所述闭合表面外发出的声音如何被传递到所述闭合表面侧。
(4)根据(1)至(3)中任一项所述的信号处理装置，其中，所述声学信号处理单元将必要声学信号加至尚未经过所述第一声学信号处理的所述声音采集信号上。
(5)根据(1)至(4)中任一项所述的信号处理装置，其中，所述声学信号处理单元对声源进行基于所述第一传递函数的所述第一声学信号处理，其中所述声源是通过对所述声音采集信号进行对象分解而获得的。
(6)根据(1)至(5)中任一项所述的信号处理装置，
其中，针对作为声场再现目标的每个地点测量的所述第一传递函数被存储在外部装置中，并且
其中，还设置有获取单元，所述获取单元被配置成基于所述指定位置信息从所述外部装置获取所述声学信号处理单元在所述第一声学信号处理中要使用的传递函数。
(7)根据(3)至(6)中任一项所述的信号处理装置，
其中，作为声场再现目标的每个地点的所述第二传递函数和所述经对象分解的声源被存储在外部装置中，
其中，还设置有渲染单元，所述渲染单元被配置成执行所述第二声学信号处理，
其中，还设置有了获取单元，所述获取单元被配置成基于所述指定位置信息从所述外部装置获取所述渲染单元在所述第二声学信号处理中要使用的所述第二传递函数和基于所述经对象分解的声源的声学信号，并且
其中，所述加法单元将通过所述渲染单元基于由所述获取单元获取的所述声学信号和所述第二传递函数进行所述第二声学信号处理而获得的所述声学信号加至经过了所述第一声学信号处理的所述信号上。
(8)根据(3)至(6)中任一项所述的信号处理装置，
其中，执行所述第二声学信号处理的渲染单元被设置在外部装置中，
其中，还设置有获取单元，所述获取单元被配置成获取通过所述外部装置进行所述第二声学信号处理而获得的所述声学信号，并且
其中，所述加法单元将由所述获取单元获取的所述声学信号加至经过了所述第一声学信号处理的所述信号上。
附图标记列表
0 用户
1A,1B,4A,4B 闭合表面(声学闭合表面)
2A,2B 扬声器
3 显示装置
5A,5B 麦克风
10 测量装置
11-1至11-M,1201至12-N,39-1至39-N,43 端子单元
13,32 ADC和放大单元
14 传递函数测量单元
15,40 控制单元
16 测量信号输出单元
17,38 DAC和放大单元
18 选择器
19 信号成分分解处理单元19
20,21 乘法单元
22,31-1至31-M,37-1至37-N,51-1至51-N,55-1,55-2,57-1,57-2 加法单元
25 服务器装置
26 网络
30 信号处理装置
34,36 啸声控制和回声消除单元
41 操作单元
42 显示控制单元
44 通信单元
45 存储器
46 参考声音重放单元
47,52 渲染单元
50-11至50-1N,50-21至50-2N,50-M1至50-MN 滤波器
53 输出控制单元
54-11至54-13,54-21至54-23,56-11至56-13,56-21至56-23 延迟电路

Claims (9)

1.一种信号处理装置，包括：
显示控制单元，被配置成使显示单元显示与根据指定位置信息确定的地点相对应的图像；
声音采集信号输入单元，被配置成输入声音采集单元的声音采集信号，所述声音采集单元使用被布置成围绕用户的多个麦克风来采集所述用户发出的声音；
声学信号处理单元，被配置成基于第一传递函数对由所述声音采集信号输入单元输入的所述信号进行用于再现声场的第一声学信号处理，在所述声场中，所述用户发出的所述声音被感知为如同所述声音正在根据所述位置信息确定的所述地点回响，其中所述第一传递函数是在根据所述指定位置信息确定的所述地点测量的，以指示在所述地点内的闭合表面上发出的声音如何在所述地点回响，以及然后如何被传递到所述闭合表面侧；以及
发声控制单元，被配置成使得从布置成围绕所述用户的多个扬声器发出基于已经被所述声学信号处理单元进行了所述第一声学信号处理的所述信号的声音。
2.根据权利要求1所述的信号处理装置，还包括：
加法单元，被配置成将基于在根据所述指定位置信息确定的所述地点记录的声源的声学信号加至经过了所述第一声学信号处理的所述信号上。
3.根据权利要求2所述的信号处理装置，
其中，所述声源被设定为经对象分解的声源，并且
其中，所述加法单元将通过基于第二传递函数对基于所述声源的所述声学信号进行第二声学信号处理而获得的声学信号加至经过了所述第一声学信号处理的所述信号上，其中，所述第二声学信号处理用于使基于所述声源的声音被感知为如同正在作为声场再现目标的所述地点发出所述声音，所述第二传递函数是在根据所述指定位置信息确定的所述地点测量的，以指示从所述地点内的所述闭合表面外发出的声音如何被传递到所述闭合表面侧。
4.根据权利要求1所述的信号处理装置，其中，所述声学信号处理单元将声学信号加至尚未经过所述第一声学信号处理的所述声音采集信号上。
5.根据权利要求1所述的信号处理装置，其中，所述声学信号处理单元对声源进行基于所述第一传递函数的所述第一声学信号处理，其中所述声源是通过对所述声音采集信号进行对象分解而获得的。
6.根据权利要求1所述的信号处理装置，
其中，针对作为声场再现目标的每个地点测量的所述第一传递函数被存储在外部装置中，并且
其中，还设置有获取单元，所述获取单元被配置成基于所述指定位置信息从所述外部装置获取所述声学信号处理单元在所述第一声学信号处理中要使用的传递函数。
7.根据权利要求3所述的信号处理装置，
其中，作为声场再现目标的每个地点的所述第二传递函数和所述经对象分解的声源被存储在外部装置中，
其中，还设置有渲染单元，所述渲染单元被配置成执行所述第二声学信号处理，
其中，还设置有了获取单元，所述获取单元被配置成基于所述指定位置信息从所述外部装置获取所述渲染单元在所述第二声学信号处理中要使用的所述第二传递函数和基于所述经对象分解的声源的声学信号，并且
其中，所述加法单元将通过所述渲染单元基于由所述获取单元获取的所述声学信号和所述第二传递函数进行所述第二声学信号处理而获得的所述声学信号加至经过了所述第一声学信号处理的所述信号上。
8.根据权利要求3所述的信号处理装置，
其中，执行所述第二声学信号处理的渲染单元被设置在外部装置中，
其中，还设置有获取单元，所述获取单元被配置成获取通过所述外部装置进行所述第二声学信号处理而获得的所述声学信号，并且
其中，所述加法单元将由所述获取单元获取的所述声学信号加至经过了所述第一声学信号处理的所述信号上。
9.一种使用显示单元、声音采集单元以及发声单元的信号处理方法，所述声音采集单元用布置成围绕用户的多个麦克风来采集所述用户发出的声音，所述发声单元用布置成围绕所述用户的多个扬声器进行发声，所述方法包括:
显示控制过程，在所述显示控制过程中，使对应于根据指定位置信息确定的地点的图像显示在所述显示单元上；
声学信号处理过程，在所述声学信号处理过程中，基于第一传递函数对所述声音采集单元的声音采集信号进行用于再现声场的第一声学信号处理，在所述声场中，所述用户发出的声音被感知为如同所述声音正在根据所述位置信息确定的所述地点回响，其中所述第一传递函数是在根据所述指定位置信息确定的所述地点测量的，以指示从所述地点内的闭合表面发出的声音如何在所述地点回响，以及然后如何被传递到所述闭合表面侧；以及
发声控制过程，在所述发声控制过程中，使得从所述发声单元发出基于经过了所述声学信号处理过程中的所述第一声学信号处理的所述信号的声音。
CN201380055937.2A 2012-11-02 2013-09-12 信号处理装置和信号处理方法 Expired - Fee Related CN104756525B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012242874 2012-11-02
JP2012-242874 2012-11-02
PCT/JP2013/074744 WO2014069112A1 (ja) 2012-11-02 2013-09-12 信号処理装置、信号処理方法

Publications (2)

Publication Number Publication Date
CN104756525A CN104756525A (zh) 2015-07-01
CN104756525B true CN104756525B (zh) 2017-04-12

Family

ID=50627029

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380055937.2A Expired - Fee Related CN104756525B (zh) 2012-11-02 2013-09-12 信号处理装置和信号处理方法

Country Status (5)

Country Link
US (3) US10175931B2 (zh)
EP (1) EP2916568B1 (zh)
JP (2) JP6202003B2 (zh)
CN (1) CN104756525B (zh)
WO (1) WO2014069112A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104756525B (zh) 2012-11-02 2017-04-12 索尼公司 信号处理装置和信号处理方法
JP6281493B2 (ja) 2012-11-02 2018-02-21 ソニー株式会社 信号処理装置、信号処理方法、測定方法、測定装置
JPWO2015194075A1 (ja) * 2014-06-18 2017-06-01 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
CN108141693B (zh) * 2015-10-09 2021-10-29 索尼公司 信号处理设备、信号处理方法和计算机可读存储介质
JP6882785B2 (ja) * 2016-10-14 2021-06-02 国立研究開発法人科学技術振興機構 空間音響生成装置、空間音響生成システム、空間音響生成方法、および、空間音響生成プログラム
KR20190113778A (ko) 2017-01-31 2019-10-08 소니 주식회사 신호 처리 장치, 신호 처리 방법 및 컴퓨터 프로그램
WO2018182274A1 (ko) * 2017-03-27 2018-10-04 가우디오디오랩 주식회사 오디오 신호 처리 방법 및 장치
JP6977772B2 (ja) 2017-07-07 2021-12-08 ヤマハ株式会社 音声処理方法、音声処理装置、ヘッドセット、および、遠隔会話システム
CN110738992B (zh) * 2018-07-20 2022-01-07 珠海格力电器股份有限公司 语音信息的处理方法及装置、存储介质、电子装置
GB2590906A (en) * 2019-12-19 2021-07-14 Nomono As Wireless microphone with local storage
WO2022113289A1 (ja) * 2020-11-27 2022-06-02 ヤマハ株式会社 ライブデータ配信方法、ライブデータ配信システム、ライブデータ配信装置、ライブデータ再生装置、およびライブデータ再生方法
WO2024065256A1 (en) * 2022-09-28 2024-04-04 Citrix Systems, Inc. Positional and echo audio enhancement

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006085214A (ja) * 2004-09-14 2006-03-30 Noritsu Koki Co Ltd 写真処理装置
JP2007124023A (ja) * 2005-10-25 2007-05-17 Sony Corp 音場再現方法、音声信号処理方法、音声信号処理装置
CN101222786A (zh) * 2006-12-27 2008-07-16 索尼株式会社 声音输出设备、方法、处理程序和系统
JP2008227773A (ja) * 2007-03-09 2008-09-25 Advanced Telecommunication Research Institute International 音響空間共有装置
CN101529930A (zh) * 2006-10-19 2009-09-09 松下电器产业株式会社 声像定位装置、声像定位系统、声像定位方法、程序及集成电路
JP2011138151A (ja) * 2011-02-15 2011-07-14 Sony Corp 音声信号処理方法、音場再現システム

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL8800745A (nl) 1988-03-24 1989-10-16 Augustinus Johannes Berkhout Werkwijze en inrichting voor het creeren van een variabele akoestiek in een ruimte.
JP2828543B2 (ja) 1991-08-02 1998-11-25 シャープ株式会社 スピーカ駆動回路
JPH08272380A (ja) * 1995-03-30 1996-10-18 Taimuuea:Kk 仮想３次元空間音響の再生方法および装置
ES2377391T3 (es) 1998-04-23 2012-03-27 Industrial Research Limited Sistema de mejora de la reflexión temprana en línea para mejorar la acústica
JP2000099061A (ja) 1998-09-25 2000-04-07 Sony Corp 効果音付加装置
JP3584800B2 (ja) 1999-08-17 2004-11-04 ヤマハ株式会社 音場再現方法およびその装置
JP2003323179A (ja) 2002-02-27 2003-11-14 Yamaha Corp インパルス応答測定方法、音場再生方法、インパルス応答測定装置および音場再生装置
US20080056517A1 (en) * 2002-10-18 2008-03-06 The Regents Of The University Of California Dynamic binaural sound capture and reproduction in focued or frontal applications
US7636448B2 (en) * 2004-10-28 2009-12-22 Verax Technologies, Inc. System and method for generating sound events
JP4426484B2 (ja) * 2005-03-11 2010-03-03 株式会社日立製作所 音声会議システム、会議端末および音声サーバ
JP4735108B2 (ja) 2005-08-01 2011-07-27 ソニー株式会社 音声信号処理方法、音場再現システム
JP4674505B2 (ja) * 2005-08-01 2011-04-20 ソニー株式会社 音声信号処理方法、音場再現システム
JP4725234B2 (ja) 2005-08-05 2011-07-13 ソニー株式会社 音場再現方法、音声信号処理方法、音声信号処理装置
GB2437772B8 (en) 2006-04-12 2008-09-17 Wolfson Microelectronics Plc Digital circuit arrangements for ambient noise-reduction.
JP4882773B2 (ja) 2007-02-05 2012-02-22 ソニー株式会社 信号処理装置、信号処理方法
JP5439707B2 (ja) 2007-03-02 2014-03-12 ソニー株式会社 信号処理装置、信号処理方法
US8094046B2 (en) 2007-03-02 2012-01-10 Sony Corporation Signal processing apparatus and signal processing method
DE102007031677B4 (de) * 2007-07-06 2010-05-20 Sda Software Design Ahnert Gmbh Verfahren und Vorrichtung zum Ermitteln einer raumakustischen Impulsantwort in der Zeitdomäne
JP4967894B2 (ja) 2007-07-25 2012-07-04 ソニー株式会社 信号処理装置、信号処理方法、プログラム、ノイズキャンセリングシステム
US8396226B2 (en) 2008-06-30 2013-03-12 Costellation Productions, Inc. Methods and systems for improved acoustic environment characterization
JP5092974B2 (ja) * 2008-07-30 2012-12-05 富士通株式会社 伝達特性推定装置、雑音抑圧装置、伝達特性推定方法及びコンピュータプログラム
US8189799B2 (en) 2009-04-09 2012-05-29 Harman International Industries, Incorporated System for active noise control based on audio system output
JP4775487B2 (ja) 2009-11-24 2011-09-21 ソニー株式会社 音声信号処理方法、音声信号処理装置
US8848935B1 (en) 2009-12-14 2014-09-30 Audience, Inc. Low latency active noise cancellation system
JP4883197B2 (ja) 2010-02-15 2012-02-22 ソニー株式会社 音声信号処理方法、音場再現システム
US8767968B2 (en) * 2010-10-13 2014-07-01 Microsoft Corporation System and method for high-precision 3-dimensional audio for augmented reality
EP2461323A1 (en) 2010-12-01 2012-06-06 Dialog Semiconductor GmbH Reduced delay digital active noise cancellation
US20120155667A1 (en) 2010-12-16 2012-06-21 Nair Vijayakumaran V Adaptive noise cancellation
US20120155666A1 (en) 2010-12-16 2012-06-21 Nair Vijayakumaran V Adaptive noise cancellation
US9084068B2 (en) * 2011-05-30 2015-07-14 Sony Corporation Sensor-based placement of sound in video recording
NL2006997C2 (en) * 2011-06-24 2013-01-02 Bright Minds Holding B V Method and device for processing sound data.
EP2766904A4 (en) * 2011-10-14 2015-07-29 Nokia Corp DEVICE FOR ASSIGNING AUDIO SCENES
EP2834995B1 (en) * 2012-04-05 2019-08-28 Nokia Technologies Oy Flexible spatial audio capture apparatus
US9495591B2 (en) * 2012-04-13 2016-11-15 Qualcomm Incorporated Object recognition using multi-modal matching scheme
JP6102923B2 (ja) 2012-07-27 2017-03-29 ソニー株式会社 情報処理システムおよび記憶媒体
US9264799B2 (en) * 2012-10-04 2016-02-16 Siemens Aktiengesellschaft Method and apparatus for acoustic area monitoring by exploiting ultra large scale arrays of microphones
JP6281493B2 (ja) 2012-11-02 2018-02-21 ソニー株式会社 信号処理装置、信号処理方法、測定方法、測定装置
CN104756525B (zh) 2012-11-02 2017-04-12 索尼公司 信号处理装置和信号处理方法
KR20190113778A (ko) 2017-01-31 2019-10-08 소니 주식회사 신호 처리 장치, 신호 처리 방법 및 컴퓨터 프로그램

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006085214A (ja) * 2004-09-14 2006-03-30 Noritsu Koki Co Ltd 写真処理装置
JP2007124023A (ja) * 2005-10-25 2007-05-17 Sony Corp 音場再現方法、音声信号処理方法、音声信号処理装置
CN101529930A (zh) * 2006-10-19 2009-09-09 松下电器产业株式会社 声像定位装置、声像定位系统、声像定位方法、程序及集成电路
CN101222786A (zh) * 2006-12-27 2008-07-16 索尼株式会社 声音输出设备、方法、处理程序和系统
JP2008227773A (ja) * 2007-03-09 2008-09-25 Advanced Telecommunication Research Institute International 音響空間共有装置
JP2011138151A (ja) * 2011-02-15 2011-07-14 Sony Corp 音声信号処理方法、音場再現システム

Also Published As

Publication number Publication date
JPWO2014069112A1 (ja) 2016-09-08
US20200301656A1 (en) 2020-09-24
JP2017225182A (ja) 2017-12-21
US10175931B2 (en) 2019-01-08
EP2916568A1 (en) 2015-09-09
US20190114136A1 (en) 2019-04-18
WO2014069112A1 (ja) 2014-05-08
US20150286463A1 (en) 2015-10-08
JP6202003B2 (ja) 2017-09-27
EP2916568B1 (en) 2021-01-27
CN104756525A (zh) 2015-07-01
US10795639B2 (en) 2020-10-06
JP6361809B2 (ja) 2018-07-25
EP2916568A4 (en) 2016-07-06

Similar Documents

Publication Publication Date Title
CN104756525B (zh) 信号处理装置和信号处理方法
EP2916567B1 (en) Signal processing device and signal processing method
CN104904236B (zh) 声音处理系统以及声音处理方法
US6990205B1 (en) Apparatus and method for producing virtual acoustic sound
US8005244B2 (en) Apparatus for implementing 3-dimensional virtual sound and method thereof
CN1762178B (zh) 用于处理电声音信号的方法
JP4620468B2 (ja) オーディオ信号を再生するためのオーディオ再生システムおよび方法
CN100481921C (zh) 声音产生方法和设备、声音再现方法和设备
CN106664501A (zh) 基于所通知的空间滤波的一致声学场景再现的系统、装置和方法
CN102450000A (zh) 具有基于目标的位置坐标效果的声音输出用透音性显示装置
JP2015198413A (ja) 収音システム及び放音システム
JP6993433B2 (ja) 集音方法、装置及び媒体
JP7443973B2 (ja) 音響振動再現システム及び音響振動再現方法
JP2017143406A (ja) バイノーラル音生成装置、マイクロホンアレイ、バイノーラル音生成方法、プログラム
CN112188382A (zh) 一种声音信号处理方法、装置、设备和存储介质
JP7029031B2 (ja) 時間的に変化する再帰型フィルタ構造による仮想聴覚レンダリングのための方法およびシステム
Kokabi et al. Prediction of speech intelligibility using pseudo-binaural room impulse responses
JP2017028494A (ja) 音場収音再生装置、その方法及びプログラム
JP5660665B2 (ja) 反射音情報推定装置、反射音情報推定方法、プログラム
CN118590579A (zh) 控制方法及电子设备
JP6445407B2 (ja) 音生成装置、音生成方法、プログラム
JP2022034267A (ja) バイノーラル再生装置およびプログラム
JP2013115681A (ja) マルチチャネルエコー消去方法、マルチチャネルエコー消去装置、およびプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170412

Termination date: 20210912

CF01 Termination of patent right due to non-payment of annual fee