CN108370487A - 声音处理设备、方法和程序 - Google Patents

声音处理设备、方法和程序 Download PDF

Info

Publication number
CN108370487A
CN108370487A CN201680070757.5A CN201680070757A CN108370487A CN 108370487 A CN108370487 A CN 108370487A CN 201680070757 A CN201680070757 A CN 201680070757A CN 108370487 A CN108370487 A CN 108370487A
Authority
CN
China
Prior art keywords
sound
sound source
frequency spectrum
unit
spatial frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680070757.5A
Other languages
English (en)
Other versions
CN108370487B (zh
Inventor
前野悠
光藤祐基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN108370487A publication Critical patent/CN108370487A/zh
Application granted granted Critical
Publication of CN108370487B publication Critical patent/CN108370487B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/02—Spatial or constructional arrangements of loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/401—2D or 3D arrays of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/11—Application of ambisonics in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本技术涉及能够更适当地再现声场的声音处理设备、方法以和程序。声源位置校正单元基于听到声音的听取位置来对指示每个对象声源的位置的声源位置信息进行校正，并且获得校正后声源位置信息。再现区域控制单元基于来自对象声源的声音的对象声源信号、听取位置以及校正后声源位置信息来计算空间频谱，以使得再现区域与球形或环形扬声器阵列内部的听取位置匹配。例如，本技术可以应用于声音处理设备。

Description

声音处理设备、方法和程序
技术领域
本技术涉及声音处理设备、方法和程序，具体地，涉及能够更适当地再现声场的声音处理设备、方法和程序。
背景技术
例如，当使用环形或球形扬声器阵列、通过高阶高保真度立体声响复制(HOA，高阶高保真度立体声响复制)来重放全方位声场(omnidirectional acoustic field)时，正确再现期望声场的区域(下文中称为再现区域)被限制于扬声器阵列的中心附近。因此，可以同时听见正确再现的声场的人数被限制为较少数量。
另外，在重放全方位内容的情况下，认为听者在享受内容的同时转动他的或她的头部。然而，在这种情况下，当再现区域具有与人的头的大小相似的大小时，听者的头可能处于再现区域之外，并且可能无法获得预期的体验。
此外，如果听者在除了转动头部之外还进行平移(移动)时可以听到内容的声音，则听者可以更好地感受到声像的定位感，并且可以体验到逼真的声场。然而，同样地在这种情况下，当听者的头部位置偏离扬声器阵列的中心附近时，逼真感可能被削弱。
鉴于上述状况，提出了在环形或球形扬声器阵列内部根据听者的位置移动声场的再现区域的技术(例如，参考非专利文献1)。如果使用该技术来根据听者的头部的移动来移动再现区域，则听者可以始终体验到正确再现的声场。
引用文件列表
非专利文献
非专利文献1：Jens Ahrens,Sascha Spors,“An Analytical Approach to SoundField Reproduction with a Movable Sweet Spot Using Circular Distributions ofLoudspeakers,”ICASSP,2009。
发明内容
技术问题
然而，在上述技术中，随着再现区域的移动，整个声场跟随该移动。因此，当听者移动时，声像也移动。
在这种情况下，当要重放的声音是例如从远处传递的平面波时，即使整个声场移动，波面的到达方向也不会改变。因此，对声场再现不会产生重大影响。然而，在要重放的声音是来自相对靠近听者的声源的球面波的情况下，球面波听起来像是声源跟随听者一样。
以这种方式，同样在移动再现区域的情况下，当声源靠近听者时，难以适当地再现声场。
鉴于这种情况而想出了本技术，并且本技术实现了对声场的更适当的再现。
针对问题的解决方案
根据本技术的一方面，一种声音处理设备包括：声源位置校正单元，其被配置为基于声音的听取位置来对指示对象声源的位置的声源位置信息进行校正；以及再现区域控制单元，其被配置为基于对象声源的声音的对象声源信号、听取位置以及通过校正而获得的校正后声源位置信息来计算空间频谱，以使得根据设置在球形或环形扬声器阵列内部的听取位置调整再现区域。
再现区域控制单元可以基于对象声源信号、与对象声源不同的声源的声音的信号、听取位置以及校正后声源位置信息来计算空间频谱。
声音处理设备还可以包括：声源分离单元，其被配置为通过执行声源分离来将声音的信号分离成对象声源信号和与对象声源不同的声源的声音的信号。
对象声源信号可以是声音的时间信号或空间频谱。
声源位置校正单元可以执行校正，使得对象声源的位置移动与听取位置的移动量相对应的量。
再现区域控制单元可以计算再现区域被移动了听取位置的移动量后的空间频谱。
再现区域控制单元可以通过在球面坐标系上移动再现区域来计算空间频谱。
声音处理设备还可以包括：空间频率合成单元，其被配置成通过对再现区域控制单元计算出的空间频谱执行空间频率合成来计算时间频谱；以及时间频率合成单元，其被配置成通过对时间频谱执行时间频率合成来计算扬声器阵列的驱动信号。
根据本技术的一方面，一种声音处理方法或程序包括以下步骤：基于声音的听取位置来对指示对象声源的位置的声源位置信息进行校正；以及基于对象声源的声音的对象声源信号、听取位置以及通过校正而获得的校正后声源位置信息来计算空间频谱，以使得根据设置在球形或环形扬声器阵列内部的听取位置调整再现区域。
根据本技术的一方面，基于声音的听取位置对指示对象声源的位置的声源位置信息进行校正，并且基于对象声源的声音的对象声源信号、听取位置以及通过校正而获得的校正后声源位置信息来计算空间频谱，以使得根据设置在球形或环形扬声器阵列内部的听取位置调整再现区域。
本发明的有益效果
根据本技术的一方面，可以更适当地再现声场。
另外，本文中所描述的效果不一定受限制，并且可以包括本公开内容中描述的任何效果。
附图说明
图1是用于描述本技术的图。
图2是示出声场控制器的配置示例的图。
图3是用于描述麦克风布置信息的图。
图4是用于描述校正声源位置信息的图。
图5是用于描述声场再现处理的流程图。
图6是示出声场控制器的配置示例的图。
图7是用于描述声场再现处理的流程图。
图8是示出计算机的配置示例的图。
具体实施方式
下文中，将参照附图描述应用了本技术的实施方式。
<第一实施方式.
<关于本技术>
本技术通过如下方式来实现对声场的更适当的再现：在再现声场时使用听者的位置信息和对象声源的位置信息来使得再现区域跟随听者的位置的同时，与听者的移动无关地在空间内固定对象声源的位置。
例如，将考虑如图1中的箭头A11所示那样在重放空间中再现声场的情况。应注意，图1中的重放空间中的对比密度代表通过扬声器阵列重放的声音的声压。另外，在重放空间中的十字标记(“×”标记)代表包括在扬声器阵列中的每个扬声器。
在由箭头A11所示的示例中，声场被正确再现的区域(即，被称为所谓的最佳听音位置(sweet spot)的再现区域R11)位于环形扬声器阵列的中心附近。另外，听到再现的声场(即，通过扬声器阵列重放的声音)的听者U11存在于再现区域R11的大致中心位置。
当此时通过扬声器阵列再现声场时，假定听者U11感觉到听者U11听到来自声源OB11的声音。在该示例中，声源OB11处于相对靠近听者U11的位置处，并且声像被定位在声源OB11的位置处。
例如，当正在进行这样的声场再现时，假定听者U11在重放空间中进行向右平移(朝向附图中的右方移动)。另外，此时，假定基于移动再现区域的技术、根据听者U11的移动而移动再现区域R11。
因此，例如，如箭头A12所示，再现区域R11也根据听者U11的移动而移动，并且即使在移动之后，听者U11也可以听到再现区域R11内的声音。
然而，在这种情况下，声源OB11的位置也与再现区域R11一起移动，并且在移动之后获得的、听者U11与声源OB11之间的相对位置关系仍与移动之前获得的、听者U11与声源OB11之间的相对位置关系相同。因此，由于尽管听者U11移动、但从听者U11看到的声源OB11的位置并未移动，因而听者U11感到奇怪。
鉴于上述状况，在本技术中，通过如下方式来使更适当的声场再现变得可行：基于移动再现区域的技术、根据听者U11的移动来移动再现区域R11，并且还在移动再现区域R11时适当地执行对声源OB11的位置的校正。
这不仅使得听者U11即使在移动之后也能够在再现区域R11内听到正确再现的声场(声音)，而且使得在重放空间内声源OB11的位置能够固定不变，例如，如箭头A13所示。
在这种情况下，由于即使听者U11移动，在重放空间内声源OB11的位置也保持不变，因此可以向听者U11提供更逼真的声场再现。换言之，可以实现在使得再现区域R11跟随听者U11的移动的同时声源OB11的位置仍然固定的声场再现。
这里，可以通过使用指示听者U11的位置的听者位置信息以及指示声源OB11的位置(即，对象声源的位置)的声源位置信息来执行在再现区域R11移动时对声源OB11的位置的校正。
应注意，例如，可以通来使用某种方法将诸如加速度传感器的传感器附接至听者U11、或者通过使用摄像装置执行图像处理而检测听者U11的位置，实现听者位置信息的获取。
另外，可想到的、获取声源OB11(即，对象声源)的声源位置信息的方法根据要重放何种声音而变化。
例如，在对象声音重放的情况下，可以获取并使用被当作元数据的对象声源的声源位置信息。
与此相反，在再现通过使用例如麦克风阵列来记录波面而获得的声场的情况下，可以使用分离对象声源的技术来获得声源位置信息。
应注意的是，例如，在2015年日本春季声学学会会议的技术论文中的ShoichiKoyama、Naoki Murata、Hiroshi Saruwatari的“Group sparse signal representationand decomposition algorithm for super-resolution in sound field recording andreproduction”(下文中，被称为参考文献1)等中详细描述了分离对象声源的技术。
另外，考虑使用耳机替代扬声器阵列来再现声场。
例如，作为通用技术，可以使用从对象声源到听者的头相关传递函数(HRTF)。在这种情况下，可以通过根据对象声源与听者的相对位置切换HRTF来执行声场再现。然而，当对象声源的数量增大，计算量相应地增加了与数量的增大相对应的量。
鉴于上述状况，在本技术中，在使用耳机来再现声场的情况下，扬声器阵列中包括的扬声器被视为虚拟扬声器，并且对与这些虚拟扬声器相对应的HRTF进行卷积以驱动各个虚拟扬声器的信号。这可以再现与使用扬声器阵列重放的声场相似的声场。另外，可以与对象声源的数量无关地将HRTF的卷积计算的次数设置为确定的数量。
此外，在如上所述的本技术中，如果在将靠近听者且需要对声源位置的校正的声源视为对象声源时执行对声源位置的校正，而在将远离听者且不需要对声源位置的校正的声源视为周围环境声源时不执行对声源位置的校正，则可以进一步减小计算量。
这里，对象声源的声音可以被称为包括在内容中的主要声音，并且环境声源的声音可以被称为周围环境声音(诸如，包括在内容中的环境声音)。下文中，对象声源的声音信号也将被称为对象声源信号，并且周围环境声源的声音信号也被称为周围环境信号。
应注意的是，根据本技术，同样在将HRTF卷积成每个声源的声音信号并且使用耳机来再现声场的情况下，即使当仅针对对象声源而对HRTF进行卷积而不针对周围环境声源对HRTF进行卷积时，也可以减小计算量。
根据如上所述的本技术，由于可以根据听者的运动而移动再现区域，因此可以与听者的位置无关地向听者呈现正确再现的声场。另外，即使听者进行平移运动，空间中的对象声源的位置也不会改变。因此，可以增强声源的定位感。
<声场控制器的配置示例>
接下来，作为将本技术应用于声场控制器的示例，将描述应用了本技术的具体实施方式。
图2是示出应用了本技术的声场控制器的配置示例的图。
图2所示的声场控制器11包括布置在记录空间内的记录装置21以及布置在重放空间内的重放装置22。
记录装置21对记录空间的声场进行记录，并且将作为记录结果而获得的信号提供至重放装置22。重放装置22从记录装置21接收对信号的提供，并且基于该信号再现记录空间的声场。
记录装置21包括麦克风阵列31、时间频率分析单元32、空间频率分析单元33以及通信单元34。
麦克风阵列31包括例如环形麦克风阵列或球形麦克风阵列，将记录空间的声音(声场)记录为内容，并且将作为记录结果而获得的、为多通道声音信号的记录信号提供至时间频率分析单元32。
时间频率分析单元32对从麦克风阵列31提供的记录信号执行时间频率变换，并且将作为时间频率变换的结果而获得的时间频谱提供至空间频率分析单元33。
空间频率分析单元33使用从外部提供的麦克风布置信息来对从时间频率分析单元32提供的时间频谱执行空间频率变换，并且将作为空间频率变换的结果而获得的空间频谱提供至通信单元34。
这里，麦克风布置信息是指示记录装置21(即，麦克风阵列31)的方向的角度信息。麦克风布置信息是指示在预定时间(例如，记录装置21开始记录声场(即，记录声音)的时间点)定向的麦克风阵列31的方向的信息，并且更具体地，麦克风布置信息是指示在预定时间定向的、包括在麦克风阵列31中的每个麦克风的方向的信息。
通信单元34以有线或无线方式将从空间频率分析单元33提供的空间频谱传送至重放装置22。
另外，重放装置22包括通信单元41,、声源分离单元42、听取位置检测单元43、声源位置校正单元44、再现区域控制单元45、空间频率合成单元46、时间频率合成单元47以及扬声器阵列48。
通信单元41接收从记录装置21的通信单元34传送的空间频谱，并且将该空间频谱提供至声源分离单元42。
通过执行声源分离，声源分离单元42将从通信单元41提供的空间频谱分离成对象声源信号和环境信号，并且得到指示每个对象声源的位置的声源位置信息。
声源分离单元42将对象声源信号和声源位置信息提供至声源位置校正单元44，并且将周围环境信息提供至再现区域控制单元45。
基于从外部提供的传感器信息，听取位置检测单元43检测重放空间中的听者的位置，并且将从检测结果获得的听者的移动量Δx提供至声源位置校正单元44和再现区域控制单元45。
这里，传感器信息的示例包括从附接至听者的加速度传感器或陀螺仪传感器输出的信息等。在这种情况下，听取位置检测单元43基于已作为传感器信息提供的听者的加速度或位移量来检测听者的位置。
另外，例如，可以获取由图像传感器获得的图像信息作为传感器信息。在这种情况下，获取包括作为被摄体的听者的图像的数据(图像信息)或者从听者看到的周围环境图像的数据作为传感器信息，并且听取位置检测单元43通过对传感器信息执行图像识别等来检测听者的位置。
此外，例如，假定移动量Δx为从扬声器阵列48的中心位置(即，由扬声器阵列48中包括的扬声器围绕的区域的中心位置)到再现区域的中心位置的移动量。例如，在存在一个听者的情况下，听者的位置被视为再现区域的中心位置。换言之，听者距扬声器阵列48的中心位置的移动量被直接用作移动量Δx。应注意，假定再现区域的中心位置为由扬声器阵列48中包括的扬声器围绕的区域中的位置。
基于从听取位置检测单元43提供的移动量Δx，声源位置校正单元44对从声源分离单元42提供的声源位置信息进行校正，并且将作为校正结果而获得的校正后声源位置信息和从声源分离单元42提供的对象声源信号提供至再现区域控制单元45。
基于从听取位置检测单元43提供的移动量Δx、已从声源位置校正单元44提供的校正后声源位置信息和对象声源信号、以及从声源分离单元42提供的周围环境信号，再现区域控制单元45得到再现区域移动了移动量Δx的空间频谱，并且将空间频谱提供至空间频率合成单元46。
基于从外部提供的扬声器布置信息，空间频率合成单元46对从再现区域控制单元45提供的空间频谱执行空间频率合成，并且将作为空间频率合成的结果而获得的时间频谱提供至时间频率合成单元47。
这里，扬声器布置信息是指示扬声器阵列48的方向的角度信息，更具体地，扬声器布置信息是指示扬声器阵列48中包括的每个扬声器的方向的角度信息。
时间频率合成单元47对从空间频率合成单元46提供的空间频谱的时间频谱执行时间频率合成，并且将作为时间频率合成的结果而获得的时间信号作为扬声器驱动信号提供至扬声器阵列48。
扬声器阵列48包括包含多个扬声器的环形扬声器阵列或球形扬声器阵列，并且基于从时间频率合成单元47提供的扬声器驱动信号来重放声音。
随后，将更详细地描述声场控制器11中包括的各单元。
(时间频率分析单元)
时间频率分析单元32通过执行下列公式(1)的计算、使用离散傅里叶变换(DFT)来对由记录声音的麦克风阵列31中包括的每个麦克风(下文中，也称为麦克风单元)获得的多通道记录信号s(i,nt)执行时间频率变换，并且得到时间频谱S(i,ntf)。
[数学公式1]
应注意的是，在公式(1)中，i表示用于标识麦克风阵列31中包括的麦克风单元的麦克风索引(index)，并且获得了麦克风索引i＝0,1,2,…,I-1。另外，I表示麦克风阵列31中包括的麦克风单元的数量，并且nt表示时间索引。
此外，在公式(1)中，ntf表示时间频率索引，Mt表示DFT的样本数量，以及j表示纯虚数。
时间频率分析单元32将通过时间频率变换而获得的时间频谱S(i,ntf)提供至频率分析单元33。
(空间频率分析单元)
空间频率分析单元33使用从外部提供的麦克风布置信息来对从时间频率分析单元32提供的时间频谱S(i,ntf)执行空间频率变换。
例如，在空间频率变换中，使用球谐级数展开(spherical harmonics seriesexpansion)来将时间频谱S(i,ntf)变换成空间频谱应注意的是，空间频谱中的ntf表示时间频率索引，并且n和m表示球谐区域的阶数。
另外，例如，假定麦克风布置信息为包括指示每个麦克风单元的方向的仰角和方位角的角度信息。
更具体地，例如，将考虑如图3所示的、基于原点O且具有与x轴、y轴和z轴相对应的轴的三维正交坐标系统。
此时，连接麦克风阵列31中包括的预定麦克风单元MU11与原点O的直线被视为直线LN，并且通过从z轴方向将直线LN投影到xy平面上而获得的直线被视为直线LN’。
此时，由x轴和直线LN’形成的角度被视为指示从xy平面上的原点O看到的麦克风单元MU11的方向的方位角，另外，由xy平面和直线LN形成的角度θ被视为指示从垂直于xy平面的平面上的原点O看到的麦克风单元MU11的方向的仰角。
下文中将假定麦克风布置信息包括指示麦克风阵列31中包括的每个麦克风单元的方向的信息。
更具体地，例如，假定指示麦克风索引为i的麦克风单元的方向为指示麦克风单元相对于参考方向的相对方向的角度这里，θi表示从参考方向看到的麦克风单元的方向的仰角，并且表示从参考方向看到的麦克风单元的方向的方位角。
因此，例如，在图3所示的示例中，当x轴方向是参考方向时，麦克风单元MU11的角度变为仰角θi＝θ和方位角
这里，将描述空间频谱的具体计算方法。
通常，在特定球面上的声场S可以被表示为通过下列公式(2)所示的那样。
[数学公式2]
S＝YWS’…(2)
应注意的是，在公式(2)中，Y表示球谐函数矩阵(spherical harmonics matrix)，W表示基于球面的半径和空间频率的阶数的权重系数，以及S’表示空间频谱。公式(2)的这种计算与空间频率逆变换相对应。
另外，通过计算下列公式(3)，可以通过空间频率变换来得到空间频谱S’。
[数学公式3]
S’＝W-1Y+S…(3)
应注意的是，在公式(3)中，Y+表示球谐函数矩阵Y的伪逆矩阵，并且是使用球谐函数矩阵Y的转置矩阵作为YT、通过下列公式(4)而获得的。
[数学公式4]
Y+＝(YTY)-1YT…(4)
从以上可知，基于包括时间频谱S(i,ntf)的向量S，通过以下公式(5)获得包括空间频谱的向量S’。空间频谱分析单元33通过计算公式(5)并执行空间频率变换来得到空间频谱
[数学公式5]
应注意的是，在公式(5)中，S’表示包括空间频谱的向量，并且通过下列公式(6)来表示向量S’。另外，在公式(5)中，S表示包括每个时间频谱S(i,ntf)的向量，以及通过下列公式(7)来表示向量S。
另外，在公式(5)中，Ymic表示球谐函数矩阵，并且通过下列公式(8)来表示球谐函数矩阵Ymic。另外，在公式(5)中，Ymic T表示球谐函数矩阵Ymic的转置矩阵。
这里，在公式(5)中，球谐函数矩阵Ymic对应于公式(4)中的球谐函数矩阵Y。另外，在公式(5)中，省略了与通过公式(3)表示的权重系数W相对应的权重系数。
[数学公式6]
[数学公式7]
[数学公式8]
另外，公式(8)中的是通过下列公式(9)来表示的球谐函数(spherical harmonics)。
[数学公式9]
在公式(9)中，n和m表示球谐区域(spherical harmonics region)，也就是说，球谐函数的阶数，j表示纯虚数，以及ω表示角频率。
另外，公式(8)的球谐函数中的θi和分别表示包括在由麦克风布置信息指示的麦克风单元的角度中的仰角θi和方位角
当通过上述计算而获得了空间频谱时，空间频率分析单元33经由通信单元34和通信单元41将空间频谱提供至声源分离单元42。
应注意的是，在例如“Jerome Daniel,Rozenn Nicol,Sebastien Moreau,“Further Investigations of High Order Ambisonics and Wavefield Synthesis forHolophonic Sound Imaging”AES 114th Convention,Amsterdam,Netherlands,2003”等中描述了通过空间频率变换来得到空间频谱的方法。
(声源分离单元)
通过执行声源分离，声源分离单元42将从通信单元41提供的空间频谱分离为对象声源和周围环境信号，并且得到指示每个对象声源的位置的声源位置信息。
应注意的是，声源分离方法可以是任何方法。例如，可以通过上述的参考文献1中描述的方法来执行声源分离。
在这种情况下，假定在记录空间中，作为点声源的若干对象声源存在于麦克风阵列31附近，并且其他声源是周围环境声源，则对声音的信号(即，空间频谱)进行建模并将其分离成各个声源的信号。换言之，在这种技术中，通过稀疏信号处理来执行声源分离。在这样的声源分离中，还标识每个声源的位置。
应注意的是，在执行声源分离时，要被分离的声源的数量可能受到某种参考的限制。例如，该参考被认为是声源自身的数量、距再现区域的中心的距离等。换言之，例如，可以预定义被分离为对象声源的声源的数量，或者可以将距再现区域的中心的距离(即，距麦克风阵列31的中心的距离)等于或小于预定距离的声源分离为对象声源。
声源分离单元42将指示已作为声源分离的结果而获得的每个对象声源的位置的声源位置信息、以及被分离为这些声源的对象声源信号的空间频谱提供至声源位置校正单元44。
另外，声源分离单元42将作为声源分离的结果而被分离为周围环境信号的空间频谱提供至再现区域控制单元45。
(听取位置检测单元)
听取位置检测单元43检测重放空间中的听者的位置，并且基于检测结果而得到听者的移动量Δx。
具体地，例如，扬声器阵列48的中心位置是如图4所示的二维平面上的位置x0，并且中心位置的坐标将被称为中心坐标x0。
应注意的是，出于便于描述的目而仅考虑二维平面，并且例如假定中心坐标x0为球面坐标系的坐标。
另外，在二维平面上，基于听者的位置而得到的再现区域的中心位置是位置xc，并且指示再现区域的中心位置的坐标将被称为中心坐标xc。应注意的是，中心位置xc被设置在扬声器阵列48内部，也就是说，设置在由扬声器阵列48中包括的扬声器单元围绕的区域中。另外，与中心坐标x0类似地，还假定中心坐标xc为球形坐标系的坐标。
例如，在重放空间内仅存在一个听者的情况下，听取位置检测单元43检测听者的头部的位置，并且听者的头部位置被直接用作再现区域的中心位置xc。
与此相反，在重放空间内存在多个听者的情况下，听取位置检测单元43检测这些听者的头部的位置，并且包含所有这些听者的头部的位置且具有最小半径的圆圈的中心位置被用作再现区域的中心位置xc。
应注意的是，在重放空间内存在多个听者的情况下，可以通过其他方法来定义再现区域的中心位置xc。例如，每个听者的头部的位置的重心位置可以被用作再现区域的中心位置xc。
当以这种方式得到再现区域的中心位置xc时，听取位置检测单元43通过计算下列公式(10)而得到移动量Δx。
[数学公式10]
Δx＝xc-x0…(10)
图4示出了具有与位置xo相对应的起点和与位置xc相对应的终点的向量rc指示移动量Δx，并且在公式(10)的计算中，得到了由球面坐标表示的移动量Δx。因此，当假定听者在声场再现的开始时间处于位置x0时，移动量Δx可以被认为是听者的头部的移动量，并且也可以被认为是再现区域的中心位置的移动量。
另外，当再现区域的中心位置在声场再现的开始时间处于位置x0并且预定的对象声源处于二维平面上的位置x时，在声场再现的开始时间从再现区域的中心位置看到的对象声源是由向量r表示的位置。
与此相反，当再现区域的中心位置从原始位置x0移动到位置xc时，在移动后从再现区域的中心位置看到的对象声源的位置变为由向量r’表示的位置。
在这种情况下，在移动后从再现区域的中心位置看到的对象声源的位置从在移动前所获得的位置变化了与向量rc相对应的量，即，变化了与移动量Δx相对应的量。因此，为了仅在重放空间内移动再现区域而使对象声源的位置固定不变，需要适当地校正对象声源的位置x，并且由声源位置校正单元44执行该校正。
应注意的是，使用作为图4中所示的向量r的大小的半径r以及方位角通过球面坐标来表示从位置x0看到的对象声源的位置x，如x＝(r,)。以类似的方式，使用作为图4中所示的向量r’的大小的半径r’以及方位角通过球面坐标来表示在移动后从位置xc看到的对象声源的位置x，如
另外，还可以使用作为向量rc的大小的半径rc以及方位角通过球面坐标来表示移动量Δx，如应注意的是，虽然这里描述了使用球面坐标来表示每个位置和移动量的示例，但可以使用正交坐标来表示每个位置和移动量。
听取位置检测单元43将通过上述计算而获得的移动量Δx提供至声源位置校正单元44和再现区域控制单元45。
(声源位置校正单元)
基于从听取位置检测单元43提供的移动量Δx，声源位置校正单元44对从声源分离单元42提供的声源位置信息进行校正，以获得校正后声源位置信息。换言之，在声源位置校正单元44中，根据听者的声音听取位置来对每个对象声源的位置进行校正。
具体地，例如，假定指示由声源位置信息指示的对象声源的位置的坐标为Xobj(下文中，也被称为声源位置坐标Xobj)，并且假定指示由校正后声源位置信息指示的校正后的对象声源的位置的坐标为X’obj(下文中，也被称为校正后声源位置坐标X’obj)。应注意的是，声源位置坐标Xobj以及校正后声源位置坐标X’obj例如由球面坐标来表示。
声源位置校正单元44通过根据声源位置坐标Xobj和移动量Δx计算下列公式(11)来计算校正后声源位置坐标X’obj。
[数学公式11]
x’obj＝xobj-Δx…(11)
基于此，以与移动量Δx相对应的量(即，以与听者的声音听取位置的移动相对应的量)移动对象声源的位置。
声源位置坐标Xobj以及校正后声源位置坐标X’obj用作分别基于在移动前后设置的再现区域的中心位置的信息，即，指示从听者的位置看到的每个对象声源的位置的信息。以这种方式，如果以与重放空间上的移动量Δx相对应的量校正指示对象声源的位置的声源位置坐标Xobj以获得校正后声源位置坐标X’obj，则当在重放空间内查看时，在校正之后设置的对象声源的位置仍然处于与在校正之前设置的位置相同的位置。
另外，声源位置校正单元44直接使用已通过公式(11)的计算而获得的由球面坐标表示的校正后声源位置坐标X’obj作为校正后声源位置信息。
例如，在仅考虑图4所示的二维平面的情况下，当假定对象声源的位置为位置x时，在球面坐标系中，可以将校正后声源位置坐标X’obj表示为其中，向量r’的大小由r’表示，并且向量r’的方位角由表示。因此，校正后声源位置坐标X’obj变为指示从在移动之后设置的再现区域的中心位置看到的对象声源的相对位置的坐标。
声源位置校正单元44将以这种方式得到的校正后声源位置信息以及从声源分离单元42提供的对象声源信号提供至再现区域控制单元45。
(再现区域控制单元)
基于从听取位置检测单元43提供的移动量Δx、从声源位置校正单元44提供的校正后声源位置信息和对象声源信号以及从声源分离单元42提供的周围环境信号，再现区域控制单元45得到当再现区域移动了移动量Δx时获得的空间频谱换言之，相对于空间频谱通过在声像(声源)位置固定的状态下将再现区域移动了移动量Δx而获得空间频谱
然而，出于简化描述的目的，现在将给出对如下情况的描述：扬声器阵列48中包括的扬声器环形地布置在二维坐标系上，并且使用环谐函数(annular harmonics)替代球谐函数来计算空间频谱。下文中，通过使用与空间频谱相对应的环谐函数而计算出的空间频谱将被描述为空间频谱S'n(ntf)。
可以通过下列公式(12)所示的那样对空间频谱S'n(ntf)进行求解。
[数学公式12]
S’n(ntf)＝S”n(ntf)Jn(ntf，r)…(12)
应注意的是，在公式(12)中，S”n(ntf)表示空间频谱，以及Jn(ntf,r)表示n阶贝塞尔函数(Bessel function)。
另外，可以通过下列公式(13)所示的那样表示当在移动之后设置的再现区域的中心位置xc被当作中心时获得的时间频谱S(ntf)。
[数学公式13]
应注意的是，在公式(13)中，j表示纯虚数，以及r’和分别表示指示从中心位置xc看到的声源的位置的半径和方位角。
通过如由下列公式(14)所示的那样对公式(13)进行变形，可以得到当在移动之前设置的再现区域的中心位置x0被当作中心时获得的空间频谱。
[数学公式14]
应注意的是，在公式(14)中，r和分别表示指示从中心位置x0看到的声源的位置的半径和方位角，以及rc和分别表示移动量Δx的半径和方位角。
例如，在“Jens Ahrens,Sascha Spors,“An Analytical Approach to SoundField Reproduction with a Movable Sweet Spot Using Circular Distributions ofLoudspeakers,”ICASSP,2009.”等中详细描述了通过公式(12)执行的空间频谱的求解、由公式(14)所示的变形等。
另外，根据上述的公式(12)至(14)，要得到的空间频谱S'n(ntf)可以如以下列公式(15)来表示。该公式(15)的计算与在球面坐标系上移动声场的处理相对应。
[数学公式15]
再现区域控制单元45基于移动量用作校正后声源位置信息的校正后声源位置坐标X’obj、对象声源信号以及周围环境信号、通过计算公式(15)而得到空间频谱S'n(ntf)。
然而，在计算公式(15)时，再现区域控制单元45使用通过将用作对象声源信号的空间频谱乘以由下列公式(16)所示的由校正声源位置坐标X’obj表示的球面波模型S”n',SW而获得的值作为对象声源信号的空间频谱S”n'(ntf)。
[数学公式16]
应注意的是，在公式(16)中，r'S和分别表示预定对象声源的校正后声源位置坐标X’obj的半径和方位角，并且与上述的校正后声源位置坐标相对应。换言之，为了区分对象声源，以用于标识对象声源的字符S标记半径r’和方位角从而被描述为r'S和另外，Hn' (2)(ntf,r'S)表示第二类n’阶Hankel函数。
可以根据校正后声源位置坐标X’obj获得由公式(16)所示的球面波模型S”n',SW。
与此相反，在计算公式(15)时，再现区域控制单元45使用通过将用作周围环境信号的空间频谱乘以由下列公式(17)所示的球面波模型S”n',PW而获得的值作为周围环境信号的空间频谱S”n'(ntf)。
[数学公式17]
应注意的是，在公式(17)中，表示平面波到达方向，以及例如假设到达方向为在声源分离单元42中进行声源分离时通过某种到达方向估计技术来识别的方向、由外部输入指定的方向等。可以根据到达方向获得由公式(17)所示的球面波模型S”n',PW。
通过上述计算，可以获得如下空间频谱S'n(ntf)，其中，再现区域的中心位置在重放空间中移动了移动量Δx并且使得再现区域跟随听者的移动。换言之，可以获得根据听者的声音听取位置调整的再现区域的空间频谱S'n(ntf)。在这种情况下，通过空间频谱S'n(ntf)再现的声场的再现区域的中心位置变成设置在环形或球形扬声器阵列48内部的、在移动后设置的听取位置。
另外，尽管在本文中在二维坐标系中的情况被描述为示例，但也可以如在三维坐标系中的情况下使用球谐函数来执行相似的计算。换言之，可以使用球谐函数来在球面坐标系上移动声场(再现区域)。
例如，在“Jens Ahrens,Sascha Spors,“An Analytical Approach to 2.5DSound Field Reproduction Employing Circular Distributions of Non-Omnidirectional Loudspeakers,”EUSIPCO,2009.”等中详细描述了在使用球谐函数的情况下执行的计算。
再现区域控制单元45将使用球谐函数、通过将声像固定在球面坐标系上的同时移动再现区域而获得的空间频谱提供至空间频率合成单元46。
(空间频率合成单元)
空间频率合成单元46使用基于指示扬声器阵列48中包括的每个扬声器的方向的角度(ξl,ψl)的球谐函数矩阵来对从再现区域控制单元45提供的空间频谱执行空间频率逆变换，并且得到时间频谱。换言之，作为空间频率合成，执行空间频率逆变换。
应注意的是，在下文中，扬声器阵列48中包括的每个扬声器将被称为扬声器单元。这里，扬声器阵列48中包括的扬声器单元的数量由扬声器单元的数量L表示，以及指示每个扬声器单元的扬声器单元索引由l表示。在这种情况下，获得扬声器单元索引l＝0,1,2,…,L-1。
此时，假设从外部向空间频率合成单元46提供的扬声器布置信息为指示由扬声器单元索引l表示的每个扬声器单元的方向的角度(ξl,ψl)。
这里，包括在扬声器单元的角度(ξl,ψl)中的ξl和ψl是分别指示扬声器单元的分别与上述的仰角θi和方位角对应的仰角和方位角的角度，并且是来自预定参考方向的角度。
通过基于针对指示由扬声器单元索引l表示的扬声器单元的方向的角度(ξl,ψl)而获得的球谐函数Yn m(ξl,ψl)以及空间频谱来计算下列公式(18)，空间频率合成单元46执行空间频率逆变换，并且得到时间频谱D(l,ntf)。
[数学公式18]
D＝YspSsp…(18)
应注意的是，在公式(18)中，D表示包括每个时间频谱D(l,ntf)的向量，并且通过下列公式(18)表示向量D。另外，在公式(18)中，SSP表示包括每个空间频谱的向量，并且向量SSP通过下列公式(20)来表示。
另外，在公式(18)中，YSP表示包括每个球谐函数Yn m(ξl,ψl)的球谐函数矩阵，并且通过下列公式(21)表示球谐函数矩阵YSP。
[数学公式19]
[数学公式20]
[数学公式21]
空间频率合成单元46将以这种方式获得的时间频谱D(l,ntf)提供至时间频率合成单元47。
(时间频率合成单元)
通过计算下列公式(22)，时间频率合成单元47使用逆离散傅里叶变换(IDFT)来对从空间频率合成单元46提供的时间频谱D(l,ntf)执行时间频率合成，并且计算作为时间信号的扬声器驱动信号d(l,nd)。
[数学公式22]
应注意的是，在公式(22)中，nd表示时间索引，以及Mdt表示IDFT的样本数量。另外，在公式(22)中，j表示纯虚数。
时间频率合成单元47将以这种方法获得的扬声器驱动信号d(l,nd)提供至扬声器阵列48中包括的每个扬声器单元，并且使得扬声器单元对声音进行再现。
<声场再现处理的描述>
接下来，将描述声场控制器11的操作。当指示记录并再现声场时，声场控制器11执行声场再现处理，以在重放空间中再现记录空间的声场。下面将参照图5中的流程图来描述声场控制器11执行的声场再现处理。
在步骤S11中，麦克风阵列31在记录空间中记录内容的声音，并且将作为记录的结果而获得的多通道记录信号s(i,nt)提供至时间频率分析单元32。
在步骤S12中，时间频率分析单元32分析从麦克风阵列31提供的记录信号s(i,nt)的时间频率信息。
具体地，时间频率分析单元32对记录信号s(i,nt)执行时间频率变换，并且将作为时间频率变换的结果而获得的时间频谱S(i,ntf)提供至空间频率分析单元33。例如，在步骤S12中，执行上述公式(1)的计算。
在步骤S13中，空间频率分析单元33使用从外部提供的麦克风布置信息来对从时间频率分析单元32提供的时间频谱S(i,ntf)执行空间频率变换。
具体地，通过基于麦克风布置信息和时间频谱S(i,ntf)计算上述公式(5)，空间频率分析单元33执行空间频率变换。
空间频率分析单元33将通过空间频率变换而获得的空间频谱提供至通信单元34。
在步骤S14中，通信单元34发送从空间频率分析单元33提供的空间频谱
在步骤S15中，通信单元41接收通信单元34发送的空间频谱并且将空间频谱提供至声源分离单元42。
在步骤S16中，声源分离单元42基于从通信单元41提供的空间频谱执行声源分离，并且将空间频谱分离为用作对象声源信号的信号以及用作周围环境信号的信号。
声源分离单元42将作为声源分离的结果而获得的指示每个对象声源的位置的声源位置信息以及用作对象声源信息的空间频谱提供至声源位置校正单元44。另外，声源分离单元42将用作周围环境信号的空间频谱提供至再现区域控制单元45。
在步骤S17中，听取位置检测单元43基于从外部提供的传感器信息而检测重放空间中的听者的位置，并且基于检测结果得到听者的移动量Δx。
具体地，听取位置检测单元43基于传感器信息得到听者的位置，并且根据听者的位置计算在移动之后设置的再现区域的中心位置xc。然后，听取位置检测单元43根据中心位置xc以及预先得到的扬声器阵列48的中心位置x0，使用公式(10)来计算移动量Δx。
听取位置检测单元43将以这种方式获得的移动量Δx提供至声源位置校正单元44和再现区域控制单元45。
在步骤S18中，声源位置校正单元44基于从听取位置检测单元43提供的移动量Δx来对从声源分离单元42提供的声源位置信息进行校正。
换言之，声源位置校正单元44根据用作声源位置信息的声源位置坐标xobj以及移动量Δx执行公式(11)的计算，并且计算用作校正后声源位置信息的校正后声源位置坐标x’obj。
声源位置校正单元44将所获得的校正后声源位置坐标x’obj以及从声源分离单元42提供的对象声源信息提供至再现区域控制单元45。
在步骤S19中，基于来自听取位置检测单元43的移动量Δx、来自声源位置校正单元44的校正后声源位置信息和对象声源信号、以及来自声源分离单元42的周围环境信号，再现区域控制单元45得到再现区域被移动了移动量Δx后的空间频谱
换言之，再现区域控制单元45通过使用球谐函数执行与公式(15)相似的计算来得到空间频谱并且将所获得的空间频谱提供至空间频率合成单元46。
在步骤S20中，基于从再现区域控制单元45提供的空间频谱以及从外部提供的扬声器布置信息，空间频率合成单元46计算上述公式(18)，并且执行空间频率逆变换。空间频率合成单元46将通过空间频率逆变换而获得的时间频谱D(l,ntf)提供至时间频率合成单元47。
在步骤S21中，通过计算上述公式(22)，时间频率合成单元47对从空间频率合成单元46提供的时间频谱D(l,ntf)执行时间频率合成，并且计算扬声器驱动信号d(l,nd)。
时间频率合成单元47将所获得的扬声器驱动信号d(l,nd)提供至扬声器阵列48中包括的每个扬声器单元。
在步骤S22中，扬声器阵列48基于从时间频率合成单元47提供的扬声器驱动信号d(l,nd)而重放声音。由此，再现了内容的声音，即，记录空间的声场。
当以这种方式在重放空间中再现记录空间的声场时，声场再现处理结束。
以上述方式，声场控制器11对对象声源的声源位置信息进行校正，并且使用校正后的声源位置信息来得到再现区域被移动后的空间频谱。
采用这种配置，可以根据听者的移动而移动再现区域，并且对象声源的位置在重放空间中可以固定。因此，可以向听者呈现正确再现的声场，此外，可以增强声源的定位感，从而更适当地再现声场。此外，在声场控制器11中，声源被分离为对象声源和周围环境声源，并且仅针对对象声源而执行声源位置的校正。因此，可以减少计算量。
<第二实施方式>
<声场控制器的配置示例>
应注意的是，尽管描述了通过使用麦克风阵列31再现通过记录波面而获得的声场的情况，但是由于声源位置信息被当作元数据，因此声源分离在执行对象声音重放的情况下变得不是必需的。
在这种情况下，例如，应用了本技术的声场控制器具有图6所示的配置。应注意的是，在图6中，与在图2中的情况下的部分相对应的部分被赋予相同的附图标记，并且将适当地省略描述。
图6中所示的声场控制器71包括听取位置检测单元43、声源位置校正单元44、再现区域控制单元45、空间频率合成单元46、时间频率合成单元47以及扬声器阵列48。
在该示例中，声场控制器71从外部获取每个对象的音频信号以及该对象的元数据，并且例如基于包括在元数据中的对象的重要程度等而将对象分离成对象声源和周围环境声源。
然后，声场控制器71将被分离为对象声源的对象的音频信号作为对象声源信号提供至声源位置校正单元44，并且还将包括在对象声源的元数据中的声源位置信息提供至声源位置校正单元44。
另外，声场控制器71将被分离为周围环境声源的对象的音频信号作为周围环境信号提供至再现区域控制单元45，并且还在需要时将包括在周围环境声源的元数据中的声源位置信息提供至再现区域控制单元45。
应注意，在该实施方式中，作为对象声源信号或周围环境信号提供的音频信号与被提供至图2中的声场控制器11中的声源位置校正单元44等的情况类似地可以是空间频谱、或者时间信号或时间频谱、或者它们的组合。
例如，在假设音频信号为时间信号或时间频谱的情况下，在再现区域控制单元45中，在时间信号或时间频谱被转换成空间频谱之后，得到再现区域被移动后的空间频谱。
<声场再现处理的描述>
接下来，将参照图7中的流程图来描述由图6所示的声场控制器71执行的声场再现处理。应注意的是，步骤S51中的处理与图5中的步骤17的处理类似，将省略该描述。
在步骤S52中，声源位置校正单元44基于从听取位置检测单元43提供的移动量Δx对从声场控制器71提供的声源位置信息进行校正。
换言之，声源位置校正单元44根据用作已作为元数据提供的声源位置信息的声源位置坐标xobj以及移动量Δx来执行公式(11)的计算，并且计算用作校正后声源位置信息的校正后声源位置坐标x’obj。
声源位置校正单元44将所获得的校正后声源位置信息以及从声场控制器71提供的对象声源信号提供至再现区域控制单元45。
在步骤53中，基于来自听取位置检测单元43的移动量Δx、来自声源位置校正单元44的校正后声源位置信息和对象声源信号、以及来自声场控制器71的周围环境信号，再现区域控制单元45得到再现区域被移动了移动量Δx的空间频谱
例如，在步骤S53中，与图5中的步骤S10的情况类似，通过使用球谐函数进行计算，得到声场(再现区域)被移动后的空间频谱并且将其提供至空间频率合成单元46。此时，在对象声源信号和周围环境信号是时间信号或时间频谱的情况下，在适当地转换成空间频谱之后，执行与公式(15)相似的计算。
当得到空间频谱时，此后，执行步骤S54至S56中的处理，然后声场再现处理结束。处理与图5中的步骤S20至S22的处理类似。因此，将省略描述。
以上述方式，声场控制器71对对象声源的声源位置信息进行校正，并且使用校正后的声源位置信息得到再现区域被移动后的空间频谱。因此，在声场控制器71中，也可以更适当地再现声场。
应注意的是，尽管以上已描述环形麦克风阵列或球形麦克风阵列作为麦克风阵列31的示例，但是直线型麦克风阵列也可以用作麦克风阵列31。同样在这种情况下，可以通过与上述处理类似的处理来再现声场。
另外，扬声器阵列48也不限于环形扬声器阵列或球形扬声器阵列，并且可以为诸如直线型扬声器阵列的任何扬声器阵列。
顺便提及，上述的一系列处理可以通过硬件来执行或者可以通过软件来执行。当这一系列处理通过软件来执行时，构成该软件的程序被安装到计算机中。计算机的示例包括并入专用硬件中的计算机或者可以通过安装各种类型的程序来执行各种类型的功能的通用计算机。
图8是示出利用程序执行上述一系列处理的计算机的硬件的配置示例的框图。
在计算机中，中央处理单元(CPU)501、只读存储器(ROM)502和随机存取存储器(RAM)503通过总线504相互连接。
另外，输入/输出接口505连接至总线504。输入单元506、输出单元507、记录单元508、通信单元509和驱动器510连接至输入/输出接口505。
输入单元506包括键盘、鼠标、麦克风、图像传感器等。输出单元507包括显示器、扬声器等。记录单元508包括硬盘、非易失性存储器等。通信单元509包括网络接口等。驱动器510驱动可移动记录介质511，诸如磁盘、光盘、磁光盘和半导体存储器)。
在如上所述那样配置的计算机中，CPU 501通过输入/输出接口505和总线504将例如记录在记录单元508中的程序加载到RAM 503中，并且执行程序，从而执行上述的一系列处理。
例如，要由计算机(CPU)501执行的程序可以记录在作为封装介质等的可移动记录介质511中并被提供。另外，可以通过有线或无线传输介质(例如，局域网、因特网和数字卫星广播)提供程序。
在计算机中，通过将可移动记录介质511安装到驱动器510上，可以通过输入/输出接口505将程序安装到记录单元508中。程序还可以经由有线或无线传输介质由通信单元509接收，并且被安装到记录单元508中。另外，可以预先将程序安装到ROM 502或记录单元508中。
应注意的是，由计算机执行的程序可以是按本文中描述的时序、按时间顺序执行处理的程序，或者可以是并行地或在必要时(例如，当调用处理时)执行处理的程序。
另外，本公开内容的实施方式不限于上述实施方式，并且可以在各种改变落入本公开内容的范围内的情况下进行各种改变。
例如，本技术可以采用云计算的配置，其中，多个装置通过网络共有单个功能并且协作地执行处理。
此外，上述流程图中的每个步骤可以由单个装置执行或者由多个装置分担且执行。
另外，当单个步骤包括多个处理时，单个步骤中包括的多个处理可以由单个装置执行或者由多个装置分担且执行。
本文描述的有益效果并非限制性的，而是仅仅作为示例。还可以获得任何其他有益效果。
另外，本技术还可以如下配置。
(1)一种声音处理设备，包括：
声源位置校正单元，其被配置为基于声音的听取位置来对指示对象声源的位置的声源位置信息进行校正；以及
再现区域控制单元，其被配置为基于所述对象声源的声音的对象声源信号、所述听取位置以及通过校正而获得的校正后声源位置信息来计算空间频谱，以使得根据设置在球形或环形扬声器阵列内部的所述听取位置调整再现区域。
(2)根据(1)所述的声音处理设备，其中，所述再现区域控制单元基于所述对象声源信号、与所述对象声源不同的声源的声音的信号、所述听取位置以及所述校正后声源位置信息来计算空间频谱。
(3)根据(2)所述的声音处理设备，还包括：
声源分离单元，其被配置为通过执行声源分离来将声音的信号分离成所述对象声源信号和与所述对象声源不同的声源的声音的信号。
(4)根据(1)至(3)中任一项所述的声音处理设备，其中，所述对象声源信号是声音的时间信号或空间频谱。
(5)根据(1)至(4)中任一项所述的声音处理设备，其中，所述声源位置校正单元执行校正，使得所述对象声源的位置移动与所述听取位置的移动量相对应的量。
(6)根据(5)所述的声音处理设备，其中，所述再现区域控制单元计算所述再现区域被移动了所述听取位置的移动量后的所述空间频谱。
(7)根据(6)所述的声音处理设备，其中，所述再现区域控制单元通过在球面坐标系上移动再现区域来计算所述空间频谱。
(8)根据(1)至(7)中任一项所述的声音处理设备，还包括：
空间频率合成单元，其被配置成通过对所述再现区域控制单元计算出的所述空间频谱执行空间频率合成来计算时间频谱；以及
时间频率合成单元，其被配置成通过对所述时间频谱执行时间频率合成来计算所述扬声器阵列的驱动信号。
(9)一种声音处理方法，包括下列步骤：
基于声音的听取位置来对指示对象声源的位置的声源位置信息进行校正；以及
基于所述对象声源的声音的对象声源信号、所述听取位置以及通过校正而获得的校正后声源位置信息来计算空间频谱，以使得根据设置在球形或环形扬声器阵列内部的所述听取位置调整再现区域。
(10)一种程序，用于使得计算机执行包括以下步骤的处理，所述下列步骤包括：
基于声音的听取位置来对指示对象声源的位置的声源位置信息进行校正；以及
基于所述对象声源的声音的对象声源信号、所述听取位置以及通过校正而获得的校正后声源位置信息来计算空间频谱，以使得根据设置在球形或环形扬声器阵列内部的所述听取位置调整再现区域。
附图标记列表
11 声场控制器
42 声源分离单元
43 听取位置检测单元
44 声源位置校正单元
45 再现区域控制单元
46 空间频率合成单元
47 时间频率合成单元
48 扬声器阵列

Claims (10)

1.一种声音处理设备，包括：
声源位置校正单元，其被配置为基于声音的听取位置来对指示对象声源的位置的声源位置信息进行校正；以及
再现区域控制单元，其被配置为基于所述对象声源的声音的对象声源信号、所述听取位置以及通过校正而获得的校正后声源位置信息来计算空间频谱，以使得根据设置在球形或环形扬声器阵列内部的所述听取位置调整再现区域。
2.根据权利要求1所述的声音处理设备，其中，所述再现区域控制单元基于所述对象声源信号、与所述对象声源不同的声源的声音的信号、所述听取位置以及所述校正后声源位置信息来计算所述空间频谱。
3.根据权利要求2所述的声音处理设备，还包括：
声源分离单元，其被配置为通过执行声源分离来将声音的信号分离成所述对象声源信号和与所述对象声源不同的声源的声音的信号。
4.根据权利要求1所述的声音处理设备，其中，所述对象声源信号是声音的时间信号或空间频谱。
5.根据权利要求1所述的声音处理设备，其中，所述声源位置校正单元执行校正，使得所述对象声源的位置移动与所述听取位置的移动量相对应的量。
6.根据权利要求5所述的声音处理设备，其中，所述再现区域控制单元计算所述再现区域被移动了所述听取位置的移动量后的所述空间频谱。
7.根据权利要求6所述的声音处理设备，其中，所述再现区域控制单元通过在球面坐标系上移动所述再现区域来计算所述空间频谱。
8.根据权利要求1所述的声音处理设备，还包括：
空间频率合成单元，其被配置成通过对所述再现区域控制单元计算出的所述空间频谱执行空间频率合成来计算时间频谱；以及
时间频率合成单元，其被配置成通过对所述时间频谱执行时间频率合成来计算所述扬声器阵列的驱动信号。
9.一种声音处理方法，包括以下步骤：
基于声音的听取位置来对指示对象声源的位置的声源位置信息进行校正；以及
基于所述对象声源的声音的对象声源信号、所述听取位置以及通过校正而获得的校正后声源位置信息来计算空间频谱，以使得根据设置在球形或环形扬声器阵列内部的所述听取位置调整再现区域。
10.一种程序，用于使得计算机执行包括以下步骤的处理，所述步骤包括：
基于声音的听取位置来对指示对象声源的位置的声源位置信息进行校正；以及
基于所述对象声源的声音的对象声源信号、所述听取位置以及通过校正而获得的校正后声源位置信息来计算空间频谱，以使得根据设置在球形或环形扬声器阵列内部的所述听取位置调整再现区域。
CN201680070757.5A 2015-12-10 2016-11-29 声音处理设备、方法和程序 Active CN108370487B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-241138 2015-12-10
JP2015241138 2015-12-10
PCT/JP2016/085284 WO2017098949A1 (ja) 2015-12-10 2016-11-29 音声処理装置および方法、並びにプログラム

Publications (2)

Publication Number Publication Date
CN108370487A true CN108370487A (zh) 2018-08-03
CN108370487B CN108370487B (zh) 2021-04-02

Family

ID=59014079

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680070757.5A Active CN108370487B (zh) 2015-12-10 2016-11-29 声音处理设备、方法和程序

Country Status (5)

Country Link
US (1) US10524075B2 (zh)
EP (1) EP3389285B1 (zh)
JP (1) JP6841229B2 (zh)
CN (1) CN108370487B (zh)
WO (1) WO2017098949A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109495800A (zh) * 2018-10-26 2019-03-19 成都佳发安泰教育科技股份有限公司 一种音频动态采集系统及方法

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10477309B2 (en) 2014-04-16 2019-11-12 Sony Corporation Sound field reproduction device, sound field reproduction method, and program
US10674255B2 (en) 2015-09-03 2020-06-02 Sony Corporation Sound processing device, method and program
WO2018042791A1 (ja) 2016-09-01 2018-03-08 ソニー株式会社 情報処理装置、情報処理方法及び記録媒体
US10659906B2 (en) 2017-01-13 2020-05-19 Qualcomm Incorporated Audio parallax for virtual reality, augmented reality, and mixed reality
US10182303B1 (en) * 2017-07-12 2019-01-15 Google Llc Ambisonics sound field navigation using directional decomposition and path distance estimation
WO2019012133A1 (en) 2017-07-14 2019-01-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. CONCEPT OF GENERATING AN ENHANCED AUDIO FIELD DESCRIPTION OR A MODIFIED AUDIO FIELD DESCRIPTION USING A MULTILAYER DESCRIPTION
AU2018298874C1 (en) 2017-07-14 2023-10-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Concept for generating an enhanced sound field description or a modified sound field description using a multi-point sound field description
KR102568365B1 (ko) 2017-07-14 2023-08-18 프라운 호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 깊이-확장형 DirAC 기술 또는 기타 기술을 이용하여 증강된 음장 묘사 또는 수정된 음장 묘사를 생성하기 위한 개념
US20200280815A1 (en) * 2017-09-11 2020-09-03 Sharp Kabushiki Kaisha Audio signal processing device and audio signal processing system
US10469968B2 (en) * 2017-10-12 2019-11-05 Qualcomm Incorporated Rendering for computer-mediated reality systems
US10587979B2 (en) * 2018-02-06 2020-03-10 Sony Interactive Entertainment Inc. Localization of sound in a speaker system
CA3168578A1 (en) * 2018-04-09 2019-10-17 Dolby International Ab Methods, apparatus and systems for three degrees of freedom (3dof+) extension of mpeg-h 3d audio
US11375332B2 (en) 2018-04-09 2022-06-28 Dolby International Ab Methods, apparatus and systems for three degrees of freedom (3DoF+) extension of MPEG-H 3D audio
US10887717B2 (en) * 2018-07-12 2021-01-05 Sony Interactive Entertainment Inc. Method for acoustically rendering the size of sound a source
JP7234555B2 (ja) 2018-09-26 2023-03-08 ソニーグループ株式会社 情報処理装置、および情報処理方法、プログラム、情報処理システム
JP2022017880A (ja) * 2020-07-14 2022-01-26 ソニーグループ株式会社 信号処理装置および方法、並びにプログラム
CN112379330B (zh) * 2020-11-27 2023-03-10 浙江同善人工智能技术有限公司 一种多机器人协同的3d声源识别定位方法
WO2022249594A1 (ja) * 2021-05-24 2022-12-01 ソニーグループ株式会社 情報処理装置、情報処理方法、情報処理プログラム、及び情報処理システム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101065990A (zh) * 2004-09-16 2007-10-31 松下电器产业株式会社 声像定位装置
EP2061279A2 (en) * 2007-11-14 2009-05-20 Yamaha Corporation Virtual sound source localization apparatus
US20100098274A1 (en) * 2008-10-17 2010-04-22 University Of Kentucky Research Foundation Method and system for creating three-dimensional spatial audio
JP2010251916A (ja) * 2009-04-13 2010-11-04 Nec Casio Mobile Communications Ltd 音データ処理装置、及び、プログラム
US20120237037A1 (en) * 2011-03-18 2012-09-20 Dolby Laboratories Licensing Corporation N Surround
US20130170678A1 (en) * 2007-04-04 2013-07-04 At&T Intellectual Property I, L.P. Methods and systems for synthetic audio placement
CN104010265A (zh) * 2013-02-22 2014-08-27 杜比实验室特许公司 音频空间渲染设备及方法
CN104041081A (zh) * 2012-01-11 2014-09-10 索尼公司 声场控制装置、声场控制方法、程序、声场控制系统和服务器

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL8800745A (nl) 1988-03-24 1989-10-16 Augustinus Johannes Berkhout Werkwijze en inrichting voor het creeren van een variabele akoestiek in een ruimte.
JP3047613B2 (ja) 1992-04-03 2000-05-29 松下電器産業株式会社 超指向性マイクロホン
JP2005333211A (ja) 2004-05-18 2005-12-02 Sony Corp 音響収録方法、音響収録再生方法、音響収録装置および音響再生装置
WO2007091850A1 (en) 2006-02-07 2007-08-16 Lg Electronics Inc. Apparatus and method for encoding/decoding signal
JP5315865B2 (ja) 2008-09-02 2013-10-16 ヤマハ株式会社 音場伝送システムおよび音場伝送方法
JP2010193323A (ja) 2009-02-19 2010-09-02 Casio Hitachi Mobile Communications Co Ltd 録音装置、再生装置、録音方法、再生方法、及びコンピュータプログラム
EP2355559B1 (en) 2010-02-05 2013-06-19 QNX Software Systems Limited Enhanced spatialization system with satellite device
EP2540094B1 (en) 2010-02-23 2018-04-11 Koninklijke Philips N.V. Audio source localization
WO2013186593A1 (en) 2012-06-14 2013-12-19 Nokia Corporation Audio capture apparatus
JP5983313B2 (ja) * 2012-10-30 2016-08-31 富士通株式会社 情報処理装置、音像定位強調方法、及び音像定位強調プログラム
JP2014215461A (ja) 2013-04-25 2014-11-17 ソニー株式会社 音声処理装置および方法、並びにプログラム
CN105191354B (zh) * 2013-05-16 2018-07-24 皇家飞利浦有限公司 音频处理装置及其方法
JP6087760B2 (ja) 2013-07-29 2017-03-01 日本電信電話株式会社 音場収音再生装置、方法及びプログラム
DE102013218176A1 (de) * 2013-09-11 2015-03-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und verfahren zur dekorrelation von lautsprechersignalen
JP2015095802A (ja) 2013-11-13 2015-05-18 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
JP6458738B2 (ja) 2013-11-19 2019-01-30 ソニー株式会社 音場再現装置および方法、並びにプログラム
EP2884489B1 (en) 2013-12-16 2020-02-05 Harman Becker Automotive Systems GmbH Sound system including an engine sound synthesizer
WO2015097831A1 (ja) * 2013-12-26 2015-07-02 株式会社東芝 電子機器、制御方法およびプログラム
BR112016015971B1 (pt) * 2014-01-16 2022-11-16 Sony Corporation Dispositivo e método de processamento de áudio, e, mídia de armazenamento legível por computador
US10477309B2 (en) 2014-04-16 2019-11-12 Sony Corporation Sound field reproduction device, sound field reproduction method, and program
CN106797526B (zh) 2014-10-10 2019-07-12 索尼公司 音频处理装置、方法和计算机可读记录介质
US9508335B2 (en) 2014-12-05 2016-11-29 Stages Pcs, Llc Active noise control and customized audio system
WO2016167138A1 (ja) 2015-04-13 2016-10-20 ソニー株式会社 信号処理装置および方法、並びにプログラム
US10674255B2 (en) 2015-09-03 2020-06-02 Sony Corporation Sound processing device, method and program
WO2018042791A1 (ja) 2016-09-01 2018-03-08 ソニー株式会社 情報処理装置、情報処理方法及び記録媒体

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101065990A (zh) * 2004-09-16 2007-10-31 松下电器产业株式会社 声像定位装置
US20130170678A1 (en) * 2007-04-04 2013-07-04 At&T Intellectual Property I, L.P. Methods and systems for synthetic audio placement
EP2061279A2 (en) * 2007-11-14 2009-05-20 Yamaha Corporation Virtual sound source localization apparatus
US20100098274A1 (en) * 2008-10-17 2010-04-22 University Of Kentucky Research Foundation Method and system for creating three-dimensional spatial audio
JP2010251916A (ja) * 2009-04-13 2010-11-04 Nec Casio Mobile Communications Ltd 音データ処理装置、及び、プログラム
US20120237037A1 (en) * 2011-03-18 2012-09-20 Dolby Laboratories Licensing Corporation N Surround
CN104041081A (zh) * 2012-01-11 2014-09-10 索尼公司 声场控制装置、声场控制方法、程序、声场控制系统和服务器
CN104010265A (zh) * 2013-02-22 2014-08-27 杜比实验室特许公司 音频空间渲染设备及方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109495800A (zh) * 2018-10-26 2019-03-19 成都佳发安泰教育科技股份有限公司 一种音频动态采集系统及方法

Also Published As

Publication number Publication date
US10524075B2 (en) 2019-12-31
CN108370487B (zh) 2021-04-02
JP6841229B2 (ja) 2021-03-10
WO2017098949A1 (ja) 2017-06-15
EP3389285B1 (en) 2021-05-05
US20180359594A1 (en) 2018-12-13
EP3389285A4 (en) 2019-01-02
JPWO2017098949A1 (ja) 2018-09-27
EP3389285A1 (en) 2018-10-17

Similar Documents

Publication Publication Date Title
CN108370487A (zh) 声音处理设备、方法和程序
US20210368248A1 (en) Capturing Sound
JP6933215B2 (ja) 音場形成装置および方法、並びにプログラム
US9357306B2 (en) Multichannel audio calibration method and apparatus
WO2018008396A1 (ja) 音場形成装置および方法、並びにプログラム
KR20220038478A (ko) 공간 변환 도메인에서 음장 표현을 처리하기 위한 장치, 방법 또는 컴퓨터 프로그램
JP2017046322A (ja) 信号処理装置及びその制御方法
US10582329B2 (en) Audio processing device and method
US10412531B2 (en) Audio processing apparatus, method, and program
CN114173256B (zh) 一种还原声场空间及姿态追踪的方法、装置和设备
US10595148B2 (en) Sound processing apparatus and method, and program
WO2017038543A1 (ja) 音声処理装置および方法、並びにプログラム
CN114270877A (zh) 非重合视听捕获系统
JP2020522189A (ja) インコヒーレント冪等アンビソニックスレンダリング
JP7099456B2 (ja) スピーカアレイ、および信号処理装置
US11304021B2 (en) Deferred audio rendering

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant