CN112970269A - 信号处理设备、方法和程序 - Google Patents

信号处理设备、方法和程序 Download PDF

Info

Publication number
CN112970269A
CN112970269A CN201980073518.9A CN201980073518A CN112970269A CN 112970269 A CN112970269 A CN 112970269A CN 201980073518 A CN201980073518 A CN 201980073518A CN 112970269 A CN112970269 A CN 112970269A
Authority
CN
China
Prior art keywords
speaker
reproduction
sound source
virtual sound
listening area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980073518.9A
Other languages
English (en)
Inventor
池宫由乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN112970269A publication Critical patent/CN112970269A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/403Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers loud-speakers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/22Arrangements for obtaining desired frequency or directional characteristics for obtaining desired frequency characteristic only 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/12Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/02Spatial or constructional arrangements of loudspeakers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/13Application of wave-field synthesis in stereophonic audio systems

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Abstract

本技术涉及信号处理设备、方法和程序,利用该信号处理设备、方法和程序可以减少波前合成的计算量。该信号处理设备包括:再现扬声器选择部,用于基于虚拟声源的位置和收听区域的范围,从构成扬声器阵列的多个扬声器中选择用于基于虚拟声源的音频信号再现声音的多个再现扬声器。本技术适用于信号处理设备。

Description

信号处理设备、方法和程序
技术领域
本技术涉及信号处理设备、信号处理方法和程序,并且更具体地,涉及能够减少波前合成的计算量的信号处理设备、信号处理方法和程序。
背景技术
近年来,基于对象的音频作为音频内容递送方法正引起关注。基于对象的音频递送方法用于递送音频对象数据,该音频对象数据是具有位置信息的音频信号。
关于音频对象的位置信息可以指示空间内的位置。通过使收听者感知到来自指示位置的声音,可以提供具有高真实感的内容。
可以通过在家庭影院或电影院中使用多声道扬声器或者通过将双耳技术应用于耳机来再现在这样的音频对象位置处的声源(虚拟声源)。
顺便提及,波前合成技术是被应用作为再现音频对象的方法的新技术。波前合成是通过使用多声道扬声器阵列实现的声音再现方法。通过从真实空间中的音频对象的位置物理地合成波前,可以创建在宽区域中三维地弹出的声像。因此,可以向收听者呈现具有高真实感的声学内容。
例如,这样的波前合成技术可以用于主题公园中的景点使用周围飞舞的不可见声像的情况,或者用于使家庭影院系统的用户三维地感知音频对象的情况。
应当注意,作为波前合成方法,例如提出了WFS(波场合成)、HOA(高阶高保真立体声)和SDM(光谱分割法)(例如,参考非专利文献1至非专利文献3)。这些波前合成方法通过根据特定标准计算用于合成对应于各个扬声器的波前的滤波器并且将音频对象的音频信号与这些滤波器卷积(执行滤波)来实现波前合成。
此外,作为关于波前合成的技术而提出的方法抑制由特定位置处的波前合成引起的伪像,而不驱动从收听者的位置观看时位于与虚拟声源相反的方向的扬声器(例如,参考专利文献1)。
引用列表
专利文献
专利文献1:JP 2007-507121T。
非专利文献
非专利文献1:A.J.Berkhout,D.de Vries,P.Vogel“Acoustic Control by WaveField Synthesis”,J.Acoust.Soc.Am.,1993;
非专利文献2:M.A.Poletti“Three-Dimensional Surround Sound SystemsBased on Spherical Harmonics”,J.Audio Eng.Soc.,2005;
非专利文献3:S.Spors,J.Ahres“Reproduction of Focused Sources by theSpectral Division Method”,ISCCSP,2010。
发明内容
技术问题
顺便提及,在要实现大规模波前合成系统的情况下,需要根据波前合成系统的规模增加扬声器的数量。
当在以上情况下执行一般波前合成时,需要对每个扬声器执行计算适当的扬声器驱动信号的处理。因此,扬声器数量的增加增加了要由计算机执行的计算量。
此外,需要对每个音频对象执行上述计算处理。因此,音频对象数量的增加增加了计算处理量。
具体地,在通过波前合成实时执行渲染的情况下,根据同时再现的音频对象的数量和扬声器的数量,存在超过所使用的计算机可执行的计算量的上限的风险。因此,需要减少计算量。在这种情况下,也需要尽可能避免破坏收听者的真实感。
例如,当采用非专利文献1至非专利文献3中描述的波前合成方法时,需要执行驱动所有扬声器的计算处理,即,将所有扬声器与滤波器进行卷积的计算处理。因此,扬声器或音频对象数量的增加导致计算量成比例地增加。
此外,专利文献1中描述的技术选择不被驱动的扬声器,但是不选择考虑到在宽范围内收听的扬声器。因此,可能丢失用于在宽范围中合成波前的信号,或者相反地,可能再现不必要的信号。这可能由于除指定点之外的点处的波前合成而导致再现精度的显著降低,或者由于不必要的冗余计算而导致计算量的增加。
鉴于以上情况而提出本技术,并且使得可以减少波前合成的计算量。
问题的解决方案
根据本技术的一个方面的信号处理设备包括再现扬声器选择部。根据虚拟声源的位置和收听区域的范围,再现扬声器选择部从包括在扬声器阵列中的多个扬声器中选择用于基于虚拟声源的音频信号再现声音的多个再现扬声器。
根据本技术的一个方面的信号处理方法或程序包括以下步骤:根据虚拟声源的位置和收听区域的范围,从包括在扬声器阵列中的多个扬声器中选择用于基于虚拟声源的音频信号再现声音的多个再现扬声器。
根据虚拟声源的位置和收听区域的范围,本技术的一个方面从包括在扬声器阵列中的多个扬声器中选择用于基于虚拟声源的音频信号再现声音的多个再现扬声器。
附图说明
[图1]是示出内容再现系统的配置示例的示图。
[图2]是示出扬声器选择处理部的配置示例的示图。
[图3]是示出扬声器选择直线的确定的示图。
[图4]是示出扬声器选择直线的确定的另一示图。
[图5]是示出扬声器选择直线的确定的又一示图。
[图6]是示出扬声器选择直线的确定的又一示图。
[图7]是示出扬声器选择直线的确定的进一步示图。
[图8]是示出再现扬声器的选择的示图。
[图9]是示出再现扬声器的选择的另一示图。
[图10]是示出再现处理部的配置示例的示图。
[图11]是示出再现处理的流程图。
[图12]是示出再现处理部的配置示例的另一示图。
[图13]是示出再现处理的另一流程图。
[图14]是示出再现扬声器的选择的又一示图。
[图15]是示出错误处理过程的示图。
[图16]是示出内容再现系统的配置示例的另一示图。
[图17]是示出再现处理的又一流程图。
[图18]是示出计算机的配置示例的示图。
具体实施方式
现在将参考附图描述应用了本技术的实施例。
<第一实施例>
<关于本技术的说明>
在通过波前合成在收听区域中形成声场的情况下,本技术使得可以在保持声场再现精度的同时减少波前合成所需的计算量。此外,本技术使得可以减少保持在计算机中的波前合成滤波器容量(存储器消耗)。
更具体地,基于波前合成的精度如何受到扬声器阵列的扬声器驱动信号与相对于虚拟声源具有特定范围(大小)的收听区域的相对位置之间的关系的影响的知识,本技术在保持收听区域中的波前合成的精度的同时选择性地仅使用最小需要的扬声器。因此,仅通过驱动最小数量的扬声器,就可以使收听者的真实感最大化。
在此处,波前合成的精度就是声场再现的精度。换句话说,当波前合成的精度高时,即声场再现的精度高时,在由波前合成实际形成的声场与要再现的理想声场之间存在小误差。
本技术选择用于内容再现的扬声器,同时避免波前合成精度的降低。从包括在扬声器阵列中的多个扬声器中选择的用于内容再现的扬声器在下文中被具体称为再现扬声器。
例如,本技术在被配置为执行波前合成以再现包括音频对象(虚拟声源)的内容的内容再现系统中指定具有长度、面积或体积(即,大小)的真实空间中的收听区域。然后,通过在尽可能避免收听区域内的波前合成的精度降低的同时减少再现扬声器的数量来减少波前合成的计算量。
应当注意,虚拟声源可以是点声源或具有面积(大小)的声源。
此外,当选择再现扬声器时,本技术绘制例如既不与虚拟声源也不与收听区域重叠(相交)并且在虚拟声源与收听区域之间彼此相交的两条直线,并且检测直线与扬声器阵列相交的位置(相交位置)。然后,本技术选择两个相交位置之间的扬声器作为再现扬声器,并且执行用于波前合成的滤波处理。
以上基于本申请的申请人的独特知识,该申请人已经发现从以上述方式选择的再现扬声器输出的声音(信号)在收听区域内的波前合成中显著占主导。
此外,在收听区域或虚拟声源的位置和大小随时间变化的情况下,本技术根据这种时间变化来重新选择再现扬声器。因此,在每个时间点,针对收听区域和虚拟声源的位置和大小选择最佳扬声器。
此外,本技术能够预先计算用于波前合成的波前合成滤波器。在这种情况下,预先保持对应于包括在扬声器阵列中的所有扬声器的波前合成滤波器,并且在波前合成时仅用于对再现扬声器执行滤波处理就足够了。在这种情况下,因为不对除了再现扬声器之外的扬声器执行滤波处理,因此可以减少计算量。
同时,在没有预先保持波前合成滤波器的情况下,本技术能够执行计算以确定仅用于再现扬声器的波前合成滤波器。在这种情况下,波前合成滤波器可以通过现有的方法(诸如WFS、HOA和SDM)来确定。
在预先不保持波前合成滤波器的情况下确定仅用于再现扬声器的波前合成滤波器的情况下,不需要为除了再现扬声器之外的扬声器保持波前合成滤波器。因此,可以相应地减少波前合成的存储器消耗量。
另外,本技术适用于存在多个收听区域和多个虚拟声源的情况。在这种情况下,本技术执行针对多个收听区域中的每一个和多个虚拟声源中的每一个的所有组合选择(确定)再现扬声器的处理。随后,从包括在扬声器阵列中的扬声器中针对任何这样的组合选择的再现扬声器都被视为最终再现扬声器,并且经受每个虚拟声源的波前合成滤波器的滤波处理。
此外,可能存在收听区域的位置和大小对于内容是预定的(即,固定的)情况。在这种情况下,只要预先计算并保持对应于各个虚拟声源的位置的波前合成滤波器,则波前合成滤波器可以仅被保持用于再现扬声器。以这种方式,用于保持波前合成滤波器的存储量可以减少除了再现扬声器之外的扬声器的波前合成滤波器所需的存储量。
此外,在收听区域与虚拟声源之间的位置关系被判断为无效(即不适当)的情况下,当选择再现扬声器时,存在通过使用某种方法来抑制再现内容或使收听区域与虚拟声源之间的位置关系有效(适当)的选项。
<内容再现系统的配置示例>
以下给出了上述本技术的更详细的实施例描述。
图1是示出应用本技术的内容再现系统的配置示例的示图。
图1所示的内容再现系统包括信号处理设备11和扬声器阵列12。内容再现系统再现具有包括音频对象的一个或多个音频信号的音频内容。
基于从外部提供的输入信息,信号处理设备11执行波前合成以生成用于再现音频内容的扬声器驱动信号,并且将所生成的扬声器驱动信号提供给扬声器阵列。
扬声器阵列12被配置为例如线性扬声器阵列、环形扬声器阵列或球形扬声器阵列。扬声器阵列12通过基于从信号处理设备11提供的扬声器驱动信号输出声音来再现音频内容。
应当注意,扬声器阵列12不必总是线性扬声器阵列、环形扬声器阵列或球形扬声器阵列。扬声器阵列12可以是任何扬声器阵列,包括例如通过以矩形形式布置多个扬声器而配置的扬声器阵列。
此外,信号处理设备11包括扬声器选择处理部21和再现处理部22。
扬声器选择处理部21接收虚拟声源范围信息、扬声器位置信息和收听区域范围信息作为输入信息。
虚拟声源范围信息指示在设置以音频内容再现为目标的收听区域和扬声器阵列12的空间内具有特定大小(诸如虚拟声源的位置和大小(区域大小))的虚拟声源的区域的范围。
在此处,虚拟声源是基于音频对象的声音的虚拟声源,即音频内容的音频信号。虚拟声源的范围是基于音频信号的声像的区域的范围。尽管以下描述假设虚拟声源具有一定大小,但是,虚拟声源可以可选地是没有大小的点声源。在这种情况下,虚拟声源范围信息指示用作虚拟声源的点声源的位置。
扬声器位置信息指示包括在扬声器阵列12中并设置在空间内的各个扬声器的位置。收听区域范围信息指示收听区域的范围,诸如空间内的收听区域的位置和大小(区域大小)。
此外,再现处理部22接收虚拟声源范围信息和音频内容的音频信号的提供。为了简化说明,以下描述假设基本上提供一个音频对象(即,一个音频信号)作为音频内容。换句话说,音频内容用于再现一个虚拟声源的声音。
基于所提供的虚拟声源范围信息、扬声器位置信息和收听区域范围信息,扬声器选择处理部21从包括在扬声器阵列12中的多个扬声器中选择两个或更多个扬声器(即多个扬声器)作为用于再现音频内容的再现扬声器。扬声器选择处理部21将再现扬声器选择的结果(即指示所选择的扬声器的所选择的扬声器信息)提供给再现处理部22。
基于从扬声器选择处理部21提供的所选择的扬声器信息以及所提供的音频信号和虚拟声源范围信息,再现处理部22通过使用波前合成滤波器对每个再现扬声器执行滤波处理来生成扬声器驱动信号。
再现处理部22通过将从滤波处理导出的每个再现扬声器的扬声器驱动信号提供给扬声器阵列12来再现音频内容。因此,执行波前合成以再现收听区域中的虚拟声源的声音。
应当注意,在再现处理部22未预先保持每个扬声器的波前合成滤波器的情况下,再现处理部22基于从扬声器选择处理部21提供的所选择的扬声器信息和所提供的虚拟声源范围信息来执行计算以确定每个再现扬声器的波前合成滤波器。
<扬声器选择处理部的配置示例>
此外,信号处理设备11中的扬声器选择处理部21被配置为例如图2所示。
在图2所示的示例中,扬声器选择处理部21包括扬声器选择直线确定部51和再现扬声器选择部52。
基于所提供的虚拟声源范围信息、扬声器位置信息和收听区域范围信息,扬声器选择直线确定部51确定用于确定再现扬声器的扬声器选择直线,并且将指示这种确定的结果的扬声器选择直线信息提供给再现扬声器选择部52。在扬声器选择直线确定部51中,基于空间内的虚拟声源、收听区域和扬声器阵列12之间的位置关系来确定两条不同的扬声器选择直线。即,扬声器选择直线是相对于虚拟声源、收听区域和扬声器阵列12之间的位置关系确定的直线。
基于从扬声器选择直线确定部51提供的扬声器选择直线信息和所提供的扬声器位置信息,再现扬声器选择部52选择再现扬声器,并且将指示这种选择的结果的所选择的扬声器信息提供给再现处理部22。
现在将描述确定扬声器选择直线和再现扬声器的具体示例。应当注意,为了简化说明,包括在扬声器阵列12中的扬声器被假设为设置在空间内的二维平面上。
首先,将描述确定扬声器选择直线的具体示例。
在此处,假设例如如图3所示,椭圆形收听区域ER11位于用作扬声器阵列12的线性扬声器阵列的前面,并且虚拟声源VS11位于收听区域ER11与扬声器阵列12之间。即,当从收听区域ER11观看时,假设虚拟声源VS11位于扬声器阵列12的前面。
在这种情况下,扬声器选择直线确定部51将两条直线L11和L12确定为扬声器选择直线。两条直线L11和L12被确定为使得它们既不与虚拟声源VS11的区域的范围也不与收听区域ER11的范围重叠,并且在虚拟声源VS11与收听区域ER11之间彼此相交。因此,直线L11与L12之间的交点位于虚拟声源VS11与收听区域ER11之间。
应当注意,被视为扬声器选择直线的直线L11和L12可以与收听区域ER11或虚拟声源VS11的区域接触。即,例如,虚拟声源VS11的区域的切线可以用作扬声器选择直线。
此外,在虚拟声源VS11是点声源的情况下,虚拟声源VS11可以位于两条扬声器选择直线之间的交点处。此外,即使在虚拟声源VS11不是点声源的情况下,两个扬声器选择直线之间的交点也可以位于虚拟声源VS11的区域内或者位于虚拟声源VS11附近的收听区域ER11。
此外,例如如图4所示,现在假设椭圆形收听区域ER21位于用作扬声器阵列12的线性扬声器阵列的前面,并且当从收听区域ER21观看时,虚拟声源VS21位于扬声器阵列12的后面(远侧)。即,假设扬声器阵列12位于收听区域ER21与虚拟声源VS21之间。
在这种情况下,扬声器选择直线确定部51将两条直线L21和L22确定为扬声器选择直线。两条直线L21和L22被确定为使得它们既不与虚拟声源VS21的区域的范围也不与收听区域ER21的范围重叠并且彼此相交以将虚拟声源VS21和收听区域ER21定位在直线L21和L22内。
换句话说,当从收听区域ER21观看时,直线L21与L22之间的交点位于虚拟声源VS21的后面(远侧),并且虚拟声源VS21和收听区域ER21位于由直线L21和L22包围的区域中。
另外,例如如图5所示,现在假设圆形收听区域ER31位于用作扬声器阵列12的线性扬声器阵列的前面,并且形成圆形区域的虚拟声源VS31位于收听区域ER31与扬声器阵列12之间。
在这种情况下,扬声器选择直线确定部51将两条直线L31和L32确定为扬声器选择直线。两条直线L31和L32被确定为使得它们与虚拟声源VS31和收听区域ER31两者都接触,并且在虚拟声源VS31与收听区域ER31之间的位置处彼此相交。
因此,以上示例中的直线L31和L32不仅与虚拟声源VS31相切,而且与收听区域ER31相切。当在虚拟声源的区域和收听区域两者都是圆形(形状为真圆形)的情况下,以上述方式确定扬声器选择直线时,可以在保持足够的声场再现性的同时使再现扬声器的数量最小化。
此外,例如,在如图6所示的收听区域ER41所表示的,收听区域被成形为线段的情况下,接触线段的端部和虚拟声源VS41的区域的切线可以被确定为扬声器选择直线。
在以上示例中,用作收听区域ER41的线段位于用作扬声器阵列12的线性扬声器阵列的前面,并且形成圆形区域的虚拟声源VS41位于收听区域ER41与扬声器阵列12之间。
扬声器选择直线确定部51确定如图6所示触摸收听区域ER41的左端并触摸虚拟声源VS41的直线L41作为扬声器选择直线,并且确定如图6所示触摸收听区域ER41的右端并触摸虚拟声源VS41的直线L42作为扬声器选择直线。这些直线L41和L42在虚拟声源VS41与收听区域ER41之间的位置处彼此相交。
此外,例如如图7所示,现在假设扬声器阵列12是环形扬声器阵列,并且收听区域ER51和虚拟声源VS51位于环形扬声器阵列内部。在图7所示的示例中,收听区域ER51和虚拟声源VS51被包括在扬声器阵列12中的扬声器包围,并且收听区域ER51和虚拟声源VS51两者都被成形为圆形区域。
在这种情况下,扬声器选择直线确定部51确定两条直线L51和L52作为扬声器选择直线。两条直线L51和L52被确定为使得它们与虚拟声源VS51和收听区域ER51两者都接触,并且在虚拟声源VS51与收听区域ER51之间的位置处彼此相交。
当以上述方式确定扬声器选择直线时,再现扬声器选择部52基于扬声器选择直线确定的结果和扬声器位置信息来选择再现扬声器。
例如,再现扬声器选择部52搜索扬声器选择直线与扬声器阵列12之间的交点,并且选择位于通过搜索检索的两个交点之间的扬声器作为再现扬声器。更具体地,选择扬声器阵列12的范围中从一个交点附近的扬声器到另一交点附近的扬声器的所有扬声器作为再现扬声器。
具体地,例如如图8所示,现在假设圆形收听区域ER31位于用作扬声器阵列12的线性扬声器阵列的前面,并且形状为圆形的虚拟声源VS31位于收听区域ER31与扬声器阵列12之间。应当注意,图8所示的元件以及对应于图5所示的元件由与相应元件相同的参考标记表示,并且将不重复描述。
在以上示例中,扬声器阵列12包括七个扬声器,包括线性布置的扬声器SP11-1至SP11-5。在不需要特别彼此区分扬声器SP11-1至SP11-5的情况下,它们在下文中被简称为扬声器SP11。
在图8所示的示例中,再现扬声器选择部52从用作扬声器阵列12的线性扬声器阵列的一端到另一端依次选择彼此相邻的一对扬声器作为处理目标扬声器对。图8所示的示例假设从左端到右端依次选择处理目标扬声器对。
因此,在图8所示的扬声器阵列12的示例中,选择最左边的扬声器SP11-1和与扬声器SP11-1向右相邻的扬声器SP11-2作为第一处理目标扬声器对,并且然后选择扬声器SP11-2和扬声器SP11-3作为第二处理目标扬声器对。
当确定了处理目标扬声器对时,再现扬声器选择部52基于扬声器选择直线确定的结果和扬声器位置信息确定连接形成处理目标扬声器对的两个扬声器的线段是否与扬声器选择直线相交。在以上情况中确定连接两个扬声器的线段与扬声器选择直线相交的情况下,扬声器阵列12与扬声器选择直线之间的交点存在于两个扬声器之间。
如上所述,再现扬声器选择部52通过依次确定连接扬声器的线段是否与扬声器选择直线相交来搜索扬声器阵列12与扬声器选择直线之间的交点。
在图8的示例中,连接扬声器SP11-2和SP11-3的线段与直线L32相交。因此,可以理解扬声器SP11-2与SP11-3之间存在一个交点。类似地,连接扬声器SP11-4和SP11-5的线段与直线L31相交。因此,可以理解扬声器SP11-4与SP11-5之间存在另一交点。
当通过以上处理确定两个交点时,再现扬声器选择部52选择扬声器阵列12的范围从与一个交点外部相邻的扬声器(即,位于扬声器阵列12的更靠近端部的扬声器)到与另一交点外部相邻的扬声器的所有扬声器作为再现扬声器。在本示例中,选择扬声器SP11-2至SP11-5作为再现扬声器。
应当注意,上述示例表示选择位于包括分别与两个交点外部相邻的扬声器的扬声器之间的扬声器作为再现扬声器的情况。然而,可以可选地选择位于交点内的扬声器作为再现扬声器。在这种情况下,选择扬声器SP11-3和SP11-4作为再现扬声器。另一可选方案是选择位于交点外部的第二扬声器作为再现扬声器,而不考虑与交点相邻的扬声器。又一可选方案是选择位于图8中的直线L32的交点右侧的扬声器(即,位于扬声器阵列12的更远端的扬声器)作为再现扬声器,该直线L32是仅一条扬声器选择直线。
如上所述,再现扬声器选择部52选择范围从位于扬声器选择直线与扬声器阵列12之间的一个交点附近的扬声器到位于另一交点附近的扬声器的所有扬声器作为再现扬声器。这是基于本申请的申请人的知识,申请人已经进行了实验和其他类型的研究工作,并且发现尽管范围从位于一个交点附近的扬声器到位于另一交点附近的扬声器的扬声器显著地促进虚拟声源的波前的再现,但是其他扬声器未显著地促进虚拟声源的波前的再现,并且可以以高再现性地再现虚拟声源的波前,而不使用未显著地促进波前的再现的扬声器。
此外,例如如图9所示,现在假设扬声器阵列12是环形扬声器阵列,并且收听区域ER51和虚拟声源VS51位于环形扬声器阵列内部。应当注意,图9所示的元件和对应于图7所示的元件由与相应元件相同的参考标记表示,并且将不重复描述。
在图9所示的示例中,扬声器阵列12是由包括扬声器SP21-1至SP21-4的十二个环形布置的扬声器构成的环形扬声器阵列。应当注意,在不需要特别彼此区分扬声器SP21-1至SP21-4的情况下,它们在下文中被简称为扬声器SP21。
在这种情况下,类似于图8所示的情况,再现扬声器选择部52沿顺时针或逆时针方向依次选择扬声器阵列12中的两个相邻扬声器作为处理目标扬声器对,并且确定连接处理目标扬声器对中的扬声器的线段是否与扬声器选择直线相交。
在图9的示例中,确定在扬声器SP21-1与SP21-2之间存在扬声器阵列12与直线L51(作为扬声器选择直线)之间的交点,并且在扬声器SP21-3与SP21-4之间存在扬声器阵列12与直线L52(作为扬声器选择直线)之间的交点。顺便提及,在该示例中,在一条扬声器选择直线与扬声器阵列12之间存在两个交点。然而,当从收听区域ER51观看时,朝向虚拟声源VS51定位的两个交点中仅一个被视为扬声器选择直线与扬声器阵列12之间的交点。
当如上所述确定两个交点时,再现扬声器选择部52选择范围从与扬声器阵列12的一个交点外部相邻的扬声器(即,位于远离另一交点的一侧的扬声器)到与另一交点外部相邻的扬声器的扬声器作为再现扬声器。在这种情况下,再现扬声器被特别选择为使得由再现扬声器配置的弧的长度更短。换句话说,当从收听区域ER51观看时,选择朝向虚拟声源VS51定位的扬声器作为再现扬声器。因此,在图9所示的示例中,选择扬声器SP21-1至SP21-4作为再现扬声器。
当以上述方式选择再现扬声器时,指示这种选择的结果的所选择的扬声器信息从再现扬声器选择部52被提供给再现处理部22。
<再现处理部的配置示例>
此外,图1所示的再现处理部22被配置为例如图10所示。
图10所示的再现处理部22包括再现信号计算部81和扬声器驱动部82。在图10的示例中,对应于包括在扬声器阵列12中的各个扬声器的波前合成滤波器对于每个虚拟声源范围是预定的,并且由再现处理部22保持。更具体地,再现处理部22针对每个虚拟声源范围保持波前合成滤波器组。波前合成滤波器组包括对应于包括在扬声器阵列12中的各个扬声器的波前合成滤波器。
基于所提供的虚拟声源范围信息,再现信号计算部81从由再现处理部22保持的波前合成滤波器组中选择对应于由虚拟声源范围信息指示的虚拟声源范围的波前合成滤波器组,并且获取所选择的波前合成滤波器组。更具体地,再现信号计算部81读取所选择的波前合成滤波器组。
此外,再现信号计算部81从所选择的波前合成滤波器组中选择用于由从再现扬声器选择部52提供的所选择的扬声器信息指示的再现扬声器的波前合成滤波器。
随后,再现信号计算部81通过使用对应于再现扬声器的波前合成滤波器,或者更具体地,通过使用配置波前合成滤波器的滤波器因子,对提供给虚拟声源(音频对象)的音频信号执行滤波处理来生成用于每个再现扬声器的扬声器驱动信号。再现信号计算部81然后将所生成的扬声器驱动信号提供给扬声器驱动部82。以这种方式,仅针对由所选择的扬声器信息指示的再现扬声器获取扬声器驱动信号。
扬声器驱动部82对从再现信号计算部81提供的扬声器驱动信号执行DA(数模)转换,将数模转换后的扬声器驱动信号提供给包括在扬声器阵列12中的再现扬声器,并且允许再现扬声器输出音频内容的声音,即虚拟声源的声音。以这种方式,作为波前合成的结果,在收听区域中再现音频内容的声音。
<再现处理的描述>
现在将描述内容再现系统的操作。更具体地,下面将参考图11的流程图描述由内容再现系统执行的再现处理。
在步骤S11中,扬声器选择直线确定部51基于所提供的虚拟声源范围信息、扬声器位置信息和收听区域范围信息来确定扬声器选择直线,并且将指示这种确定的结果的扬声器选择直线信息提供给再现扬声器选择部52。在步骤S11中,以参考例如图3至图7描述的方式确定扬声器选择直线。
在步骤S12中,再现扬声器选择部52基于从扬声器选择直线确定部51提供的扬声器选择直线信息和所提供的扬声器位置信息来选择再现扬声器,并且将指示这种选择的结果的所选择的扬声器信息提供给再现处理部22中的再现信号计算部81。在步骤S12中,以参考例如图8和图9描述的方式选择再现扬声器。
在步骤S13中,再现信号计算部81基于所提供的虚拟声源范围信息和从再现扬声器选择部52提供的所选择的扬声器信息来选择波前合成滤波器。
换句话说,再现信号计算部81从由再现处理部22保持的波前合成滤波器组中选择对应于由虚拟声源范围信息指示的虚拟声源范围的波前合成滤波器组,并且读取所选择的波前合成滤波器组。此外,再现信号计算部81从所读取的波前合成滤波器组中选择用于由所选择的扬声器信息指示的再现扬声器的波前合成滤波器。
在步骤S14中,再现信号计算部81通过使用在步骤S13中选择的波前合成滤波器的滤波器因子对提供给音频对象的音频信号执行滤波处理来生成每个再现扬声器的扬声器驱动信号。再现信号计算部81然后将所生成的扬声器驱动信号提供给扬声器驱动部82。
随后,扬声器驱动部82通过对从再现信号计算部81提供的扬声器驱动信号执行DA转换来获取模拟扬声器驱动信号。
在步骤S15中,扬声器驱动部82将通过DA转换获得的扬声器驱动信号提供给包括在扬声器阵列12中的再现扬声器,并且允许每个再现扬声器输出音频内容的声音。
因此,作为波前合成的结果,在收听区域中再现音频内容(虚拟声源)的声音。当以上述方式再现音频内容的声音时,再现处理终止。
如上所述,内容再现系统选择再现扬声器,生成仅用于所选择的扬声器的扬声器驱动信号,并且再现音频内容。因此,仅对再现所需的扬声器执行滤波处理。这使得可以在避免波前合成的精度降低的同时减少波前合成的计算量。
<第二实施例>
<再现处理部的配置示例>
应当注意,上述情况涉及预先确定波前合成滤波器的情况。然而,可以可选地根据虚拟声源范围信息生成波前合成滤波器。
在这种情况下,信号处理设备11中的再现处理部22被配置为如图12所示。应当注意,图12所示的元件和对应于图10所示的元件由与相应元件相同的参考标记表示,并且将不重复描述。
图12所示的再现处理部22包括滤波器计算部111、再现信号计算部81和扬声器驱动部82。
滤波器计算部111基于所提供的虚拟声源范围信息和从再现扬声器选择部52提供的所选择的扬声器信息来计算配置波前合成滤波器的滤波器因子,并且将所计算的滤波器因子提供给再现信号计算部81。即,滤波器计算部111计算对应于由虚拟声源范围信息指示的虚拟声源范围的由所选择的扬声器信息指示的每个再现扬声器的波前合成滤波器的滤波器因子。
根据扬声器阵列12的形状,即扬声器布置的形状,通过现有的方法(诸如WFS、HOA或SDM)计算滤波器因子就足够了。以这种方式获得的滤波器因子用于基于由虚拟声源范围信息指示的虚拟声源范围内的音频信号定位声音的声像的波前合成滤波器。
再现信号计算部81通过使用从滤波器计算部111提供的滤波器因子对提供给音频对象的音频信号执行滤波处理来生成用于再现扬声器的扬声器驱动信号。再现信号计算部81然后将所生成的扬声器驱动信号提供给扬声器驱动部82。
<再现处理的描述>
下面描述在如图12所示配置再现处理部22的情况下由内容再现系统执行的再现处理。更具体地,下面参考图13的流程图描述由内容再现系统执行的再现处理。
应当注意,步骤S41和S42中的处理类似于图11所示的步骤S11和S12中的处理,并且将不重复描述。然而,在步骤S42中,指示再现扬声器选择的结果的所选择的扬声器信息从再现扬声器选择部52提供给再现处理部22中的滤波器计算部111。
在步骤S43中,滤波器计算部111计算对应于由所提供的虚拟声源范围信息指示的虚拟声源范围的由从再现扬声器选择部52提供的所选择的扬声器信息指示的再现扬声器的波前合成滤波器的滤波器因子。滤波器计算部111将所计算的各个再现扬声器的波前合成滤波器的滤波器因子提供给再现信号计算部81。
在计算滤波器因子之后,执行步骤S44和S45以终止再现处理。然而,步骤S44和S45中的处理类似于图11所示的步骤S14和S15中的处理,并且将不重复描述。然而,在步骤S44中,再现信号计算部81通过使用从滤波器计算部111提供的滤波器因子来执行滤波处理。
如上所述,内容再现系统选择再现扬声器,计算所选择的再现扬声器的滤波器因子,仅对所选择的再现扬声器执行滤波处理以生成扬声器驱动信号并再现音频内容。
执行以上操作使得可以在避免波前合成的精度降低的同时减少波前合成的计算量。此外,由于不需要保持波前合成滤波器,因此可以相应地减少再现处理部22使用的存储量。因此,即使在虚拟声源范围改变的情况下,也可以计算适当的波前合成滤波器来生成扬声器驱动信号。此外,即使在滤波处理期间,除了再现扬声器之外的扬声器也不需要波前合成滤波器。因此,可以相应地减少存储器消耗量。
<修改>
应当注意,前述描述涉及存在一个虚拟声源和一个收听区域的示例。然而,可选地,可以存在两个或更多个虚拟声源和两个或更多个收听区域,即多个虚拟声源和多个收听区域。
在存在两个虚拟声源和两个收听区域的情况下,例如,如图14所示,针对虚拟声源和收听区域的每个组合执行选择再现扬声器的处理,并且根据这种选择的结果,选择最终再现扬声器。
在图14所示的示例中,当从扬声器阵列12观看时,两个虚拟声源VS71和VS72存在于扬声器阵列12的前面,并且两个收听区域ER71和ER72存在于虚拟声源VS71和VS72的前面。此外,扬声器阵列12由包括扬声器SP71-1至SP71-6的多个线性布置的扬声器配置。
在这种情况下,扬声器选择直线确定部51将两条直线L71和L72确定为扬声器选择直线。两条直线L71和L72被确定为使得它们既不与虚拟声源VS71的区域的范围也不与收听区域ER71的范围重叠,并且在虚拟声源VS71与收听区域ER71之间的位置处彼此相交。
类似地,在图8所示的情况下,再现扬声器选择部52识别扬声器阵列12与作为扬声器选择直线的直线L71和L72之间的交点。此外,再现扬声器选择部52选择属于扬声器阵列12并且范围从位于图14所示的所识别的左交点之外的扬声器SP71-2到位于图14所示的所识别的右交点之外的扬声器SP71-5的扬声器作为用于收听区域ER71和虚拟声源VS71的组合的再现扬声器。
此外,扬声器选择直线确定部51确定直线L73和L74作为用于虚拟声源VS71和收听区域ER72的组合的扬声器选择直线,并且再现扬声器选择部52选择范围从扬声器SP71-1到扬声器SP71-3的扬声器作为用于收听区域ER72和虚拟声源VS71的组合的再现扬声器。
类似地,扬声器选择直线确定部51确定直线L75和L76作为用于虚拟声源VS72和收听区域ER71的组合的扬声器选择直线,并且再现扬声器选择部52选择范围从扬声器SP71-4到扬声器SP71-6的扬声器作为用于收听区域ER71和虚拟声源VS72的组合的再现扬声器。
此外,扬声器选择直线确定部51确定直线L77和L78作为用于虚拟声源VS72和收听区域ER72的组合的扬声器选择直线,并且再现扬声器选择部52选择范围从扬声器SP71-2到扬声器SP71-5的扬声器作为用于收听区域ER72和虚拟声源VS72的组合的再现扬声器。
随后,再现扬声器选择部52基于虚拟声源和收听区域的所有组合(即虚拟声源VS71和收听区域ER71的组合、虚拟声源VS71和收听区域ER72的组合、虚拟声源VS72和收听区域ER71的组合以及虚拟声源VS72和收听区域ER72的组合)的选择的结果来选择最终再现扬声器。
例如,选择被选为用于四个不同组合中的至少一个的再现扬声器的扬声器作为最终再现扬声器。因此,在以上示例中,范围从扬声器SP71-1到扬声器SP71-6的总共九个扬声器用作再现扬声器。
应当注意,以上描述处理了基于虚拟声源和收听区域的每个组合的选择的结果来选择最终再现扬声器的情况。然而,可以可选地基于各个虚拟声源来选择再现扬声器。
在以上情况下,例如,再现扬声器选择部52根据与收听区域ER71组合的选择的结果并根据与收听区域ER72组合的选择的结果,最终为虚拟声源VS71选择范围从扬声器SP71-1到扬声器SP71-5的总共六个扬声器。即,选择被选择用于与收听区域ER71组合的再现扬声器和被选择用于与收听区域ER72组合的再现扬声器作为虚拟声源VS71的再现扬声器。
当以上述方式选择再现扬声器时,再现信号计算部81通过使用对应于虚拟声源VS71的各个再现扬声器的波前合成滤波器的滤波器因子对虚拟声源VS71的音频信号执行滤波处理来生成所选择的再现扬声器的扬声器驱动信号。在本示例中,针对虚拟声源VS71生成范围从扬声器SP71-1到扬声器SP71-6的总共九个再现扬声器的扬声器驱动信号。
类似地,再现信号计算部81通过使用对应于虚拟声源VS72的各个再现扬声器的波前合成滤波器的滤波器因子对虚拟声源VS72的音频信号执行滤波处理来生成总共九个再现扬声器的扬声器驱动信号。
最终,再现信号计算部81通过将针对同一再现扬声器生成的虚拟声源VS71的扬声器驱动信号和虚拟声源VS72的扬声器驱动信号相加来获得再现扬声器的最终扬声器驱动信号。
在如上所述存在多个虚拟声源和多个收听区域的情况下,为虚拟声源和收听区域的各种组合中的每一个选择再现扬声器,并且然后,基于这种选择的结果来选择最终再现扬声器。
<第三实施例>
<关于错误处理过程的说明>
顺便提及,在信号处理设备11中,再现扬声器选择部52选择再现扬声器。然而,在某些情况下,根据虚拟声源范围、收听区域和扬声器阵列12之间的位置关系可能无法适当地选择再现扬声器。
例如,在以下两个示例情况下,可能无法适当地选择再现扬声器。
更具体地,在第一示例情况下,可以设想虚拟声源范围和收听区域彼此重叠。在第二示例情况下,可以设想扬声器选择直线不与扬声器阵列12相交,即,扬声器选择直线经过远离设置扬声器阵列12的位置的位置。
鉴于以上情况,可以认为在无法适当地选择再现扬声器的情况下发生错误。因此,可以执行用于处理这种错误的错误处理过程。
可以基于虚拟声源范围、收听区域和扬声器阵列12之间的位置关系(即虚拟声源范围信息、收听区域范围信息和扬声器位置信息)来确定是否已经发生这种错误。
错误处理过程的具体示例是例如减小、扩大或移动虚拟声源范围和收听区域中的至少一个以避免错误或限制虚拟声源在时间方向上的移动。错误处理过程的另一具体示例是将错误的发生反馈给内容再现系统以避免再现音频内容。
现在将参考图15描述错误处理过程的具体示例。
如图15中的箭头Q11所示,现在假设在扬声器阵列12的前面存在虚拟声源VS91,并且当从扬声器阵列12观看时,在虚拟声源VS91的前面存在收听区域ER91。
在这种情况下,进一步假设扬声器选择直线确定部51根据虚拟声源VS91的范围与收听区域ER91之间的位置关系确定两条直线L91和L92作为扬声器选择直线。两条直线L91和L92在虚拟声源VS91与收听区域ER91之间的位置处彼此相交。
然而,尽管直线L91与扬声器阵列12相交,但是直线L92不与扬声器阵列12相交。因此,确定已经发生了错误。
因此,如箭头Q12所示,执行减小收听区域ER91的减小处理作为错误处理过程,并且然后根据收听区域ER91’和虚拟声源VS91的范围确定扬声器选择直线。收听区域ER91’是通过减小收听区域ER91而获得的收听区域。
在以上情况下,直线L91和直线L93被视为通过重新定义而获得的扬声器选择直线。可以理解,直线L91和直线L93与扬声器阵列12相交。
应当注意,虚拟声源范围信息、扬声器位置信息和收听区域范围信息可以用于确定如何减小收听区域ER91,以避免错误,即,使扬声器选择直线与扬声器阵列12相交。
在执行错误处理过程之后,选择再现扬声器。以图15的示例中指示的方式执行错误处理过程使得可以适当地选择再现扬声器并减少波前合成的计算量。
此外,例如,当虚拟声源和收听区域彼此重叠时,另一示例将是执行错误处理过程以移动虚拟声源和收听区域中的至少一个直到虚拟声源和收听区域不再重叠。
可以说,上述错误处理过程是根据虚拟声源、收听区域和扬声器阵列12之间的位置关系来放大、缩小或移动虚拟声源和收听区域中的至少一个以改变位置或范围(区域)的改变处理。在执行改变处理(错误处理过程)之后,基于改变后的虚拟声源范围(位置)和收听区域范围来选择再现扬声器。
<内容再现系统的配置示例>
在以上述方式按需执行错误处理过程的情况下,内容再现系统被配置为例如如图16所示。应当注意,图16所示的元件和对应于图1所示的元件由与相应元件相同的参考标记表示,并且将不重复描述。
图16所示的内容再现系统包括信号处理设备11和扬声器阵列12。此外,信号处理设备11包括扬声器选择处理部21、错误处理部141和再现处理部22。
应当注意,再现处理部22可以被配置为如图10所示,或者被配置为如图12所示。然而,下面给出的描述假设再现处理部22被配置为如图10所示。
尽管扬声器选择处理部21确定扬声器选择直线并选择再现扬声器,但是现在假设在例如扬声器选择处理部21不能适当地选择再现扬声器的情况下已经发生错误。然后,扬声器选择处理部21不仅将指示错误发生的错误信息而且还将虚拟声源范围信息、扬声器位置信息和收听区域范围信息提供给错误处理部141。在这种情况下,扬声器选择直线信息可以另外被提供给错误处理部141。
同时,在尚未发生错误的情况下,扬声器选择处理部21中的再现扬声器选择部52将指示再现扬声器选择的结果的所选择的扬声器信息提供给再现处理部22。
在从扬声器选择处理部21提供指示错误发生的错误信息的情况下,错误处理部141基于从扬声器选择处理部21提供的虚拟声源范围信息、扬声器位置信息、收听区域范围信息和扬声器选择直线信息来执行错误处理过程。
此外,错误处理部141根据错误处理过程的结果选择再现扬声器,并且将指示这种选择的结果的所选择的扬声器信息提供给再现处理部22。
当所选择的扬声器信息从再现扬声器选择部52或错误处理部141提供给再现处理部22时,再现处理部22基于所提供的所选择的扬声器信息生成用于再现扬声器的扬声器驱动信号,并且将所生成的扬声器驱动信号提供给扬声器阵列12。
<再现处理的描述>
现在将描述图16所示的内容再现系统的操作。更具体地,下面参考图17的流程图描述由内容再现系统执行的再现处理。
应当注意,步骤S71和S72中的处理类似于图11所示的步骤S11和S12中的处理,并且将不重复描述。
在步骤S73中,扬声器选择处理部21确定是否已经发生错误。在步骤S73中,例如,在由于虚拟声源范围与收听区域之间的重叠而在步骤S71中未适当地确定扬声器选择直线或者由于在扬声器选择直线与扬声器阵列12之间不存在交点而在步骤S72中未适当地选择再现扬声器的情况下,扬声器选择处理部21确定已经发生错误。
在步骤S73中确定尚未发生错误的情况下,扬声器选择处理部21中的再现扬声器选择部52将所选择的扬声器信息提供给再现处理部22中的再现信号计算部81。随后,处理进行到步骤S77。
同时,在步骤S73中确定已经发生错误的情况下,扬声器选择处理部21不仅将指示错误发生的错误信息而且还将虚拟声源范围信息、扬声器位置信息、收听区域范围信息和扬声器选择直线信息提供给错误处理部141。随后,处理进行到步骤S74。
在步骤S74中,错误处理部141根据从扬声器选择处理部21提供的错误信息执行错误处理过程。
更具体地,错误处理部141基于从扬声器选择处理部21提供的虚拟声源范围信息、扬声器位置信息、收听区域范围信息和扬声器选择直线信息来减小或扩大虚拟声源范围和收听区域中的至少一个。
可选地,可以执行移动虚拟声源范围和收听区域中的至少一个的处理、限制虚拟声源的移动的处理、或者包括上述缩小、放大和虚拟声源移动限制处理中的两个或更多个的处理作为错误处理过程。此外,错误处理部141可以控制再现处理部22以执行抑制再现音频内容的处理作为错误处理过程。
在执行错误处理过程之后,错误处理部141执行步骤S75和S76以选择再现扬声器,并且将指示选择的结果的所选择的扬声器信息提供给再现处理部22中的再现信号计算部81。
应当注意,步骤S75和S76中的处理类似于步骤S71和S72中的处理,并且将不重复描述。然而,在步骤S75中,基于在错误处理过程之后出现的虚拟声源范围和收听区域来确定扬声器选择直线。
此外,步骤S75和S76中的处理可以可选地由扬声器选择直线确定部51和再现扬声器选择部52而不是错误处理部141来执行。
在执行步骤S76中的处理以选择再现扬声器之后,处理进行到步骤S77。
当执行步骤S76中的处理或者在步骤S73中确定尚未发生错误时,执行步骤S77至S79以终止再现处理。然而,这样的步骤中的处理类似于图11所示的步骤S13至S15中的处理,并且将不重复描述。
然而,在步骤S77中,再现信号计算部81通过使用从再现扬声器选择部52或错误处理部141提供的所选择的扬声器信息来选择波前合成滤波器。此外,在再现处理部22被配置为如图12所示的情况下,滤波器计算部111在步骤S77中计算滤波器因子。
如上所述,内容再现系统根据需要执行错误处理过程以选择再现扬声器,并且通过生成仅用于所选择的再现扬声器的扬声器驱动信号来再现音频内容。如上所述根据需要执行错误处理过程使得不仅可以在避免波前合成的精度降低的同时减少波前合成的计算量,而且可以适当地选择再现扬声器以明确地减少计算量。
此外,为了简化说明,作为示例,前述描述假设包括在扬声器阵列12中的扬声器设置在二维平面上。然而,即使在包括在扬声器阵列12中的扬声器设置在三维空间中的情况下,即,扬声器阵列12例如是球形扬声器阵列,也可以类似地减少计算量。
在以上情况下,可选方案是例如使用扬声器选择直线来选择再现扬声器,或者使用例如圆锥或四棱锥或两个或更多个平面的曲面来代替扬声器选择直线。
例如,在使用扬声器选择直线的情况下,扬声器选择处理部21以类似于包括在扬声器阵列12中的扬声器设置在二维平面上的情况的方式确定两条扬声器选择直线。随后,扬声器选择处理部21将通过扬声器选择直线之间的交点的直线视为旋转轴,旋转两条扬声器选择直线中的任一条以获得圆锥,并且选择位于圆锥内部的扬声器作为再现扬声器。
此外,在例如使用两个或更多个平面的情况下,扬声器选择处理部21基于虚拟声源范围信息、扬声器位置信息和收听区域范围信息来确定两个或更多个平面。两个或更多个平面被确定为使得它们既不与虚拟声源的区域的范围也不与收听区域的范围重叠,并且在虚拟声源与收听区域之间的位置处彼此相交。随后,扬声器选择处理部21选择包括在扬声器阵列12中并且位于由所确定的两个或更多个平面包围的区域中的扬声器作为再现扬声器。
<计算机的配置示例>
顺便提及,可以通过硬件或软件来执行上述一系列处理。在要由软件执行一系列处理的情况下,包括在软件中的程序被安装在计算机上。在此处,计算机可以是包含在专用硬件中的计算机或通用个人计算机或只要各种程序安装在计算机上就能够执行各种功能的其他计算机。
图18是示出通过执行程序来执行上述一系列处理的计算机的硬件的配置示例的框图。
在计算机中,CPU(中央处理器)501、ROM(只读存储器)502和RAM(随机存取存储器)503通过总线504互连。
总线504进一步连接到输入/输出接口505。输入/输出接口505连接到输入部506、输出部507、记录部508、通信部509和驱动器510。
输入部506包括例如键盘、鼠标、麦克风和成像元件。输出部507包括例如显示器和扬声器。记录部508包括例如硬盘和非易失性存储器。通信部509包括例如网络接口。驱动器510驱动可移动记录介质511,诸如磁盘、光盘、磁光盘或半导体存储器。
如上所述配置的计算机通过允许CPU 501通过输入/输出接口505和总线504将例如记录在记录部508中的程序加载到RAM 503中并执行所加载的程序来执行上述一系列处理。
可以在例如作为封装介质等的可移动记录介质511上记录和提供要由计算机(CPU501)执行的程序。此外,可以通过有线或无线传输介质(诸如局域网、因特网或数字卫星广播系统)来提供程序。
计算机被配置为使得当可移动记录介质511被插入驱动器510中时,程序可以通过输入/输出接口505安装在记录部508上。此外,程序可以由通信部509通过有线或无线传输介质接收,并且安装在记录部508中。此外,程序可以预先安装在ROM 502或记录部508中。
应当注意,要由计算机执行的程序可以按照本说明书中描述的时间顺序来执行处理,或者以并行方式或者响应于例如程序调用在所需的时间点执行处理。
此外,本技术的实施例不限于上述实施例,并且可以在不脱离本技术的精神和范围的情况下进行各种修改。
例如,本技术可以被配置用于云计算,其中,一个功能由多个设备通过网络共享以便以协作方式执行处理。
此外,参考前述流程图描述的每个步骤不仅可以由一个设备执行,而且还可以由多个设备以共享的方式执行。
此外,在单个步骤中包括多个处理的情况下,包括在这样的单个步骤中的多个处理不仅可以由一个设备执行,而且还可以由多个设备以共享的方式执行。
另外,本技术可以采用以下配置。
(1)
一种信号处理设备,包括:
再现扬声器选择部,其根据虚拟声源的位置和收听区域的范围,从包括在扬声器阵列中的多个扬声器中选择用于基于虚拟声源的音频信号再现声音的多个再现扬声器。
(2)
根据(1)所述的信号处理设备,其中,
在虚拟声源具有大小的情况下,再现扬声器选择部基于虚拟声源的区域和收听区域的范围来选择再现扬声器。
(3)
根据(1)或(2)所述的信号处理设备,其中,
再现扬声器选择部根据相对于虚拟声源与收听区域之间的位置关系确定的直线来选择再现扬声器。
(4)
根据(3)所述的信号处理设备,其中,
再现扬声器选择部根据彼此不同的两条直线来选择再现扬声器。
(5)
根据(4)所述的信号处理设备,其中,
直线与收听区域接触。
(6)
根据(4)或(5)所述的信号处理设备,其中,
再现扬声器选择部选择位于直线与扬声器阵列之间的交点附近的扬声器作为再现扬声器。
(7)
根据(4)至(6)中任一项所述的信号处理设备,其中,
再现扬声器选择部选择包括在扬声器阵列的多个扬声器中并且位于一条直线与扬声器阵列之间的交点附近的位置与另一直线与扬声器阵列之间的交点附近的位置之间的扬声器作为再现扬声器。
(8)
根据(4)至(7)中任一项所述的信号处理设备,其中,
当从收听区域观看时,在虚拟声源位于扬声器阵列前面的情况下,再现扬声器选择部根据在收听区域与虚拟声源之间的位置处彼此相交的两条直线来选择再现扬声器。
(9)
根据(1)至(8)中任一项所述的信号处理设备,进一步包括:
处理部,其根据虚拟声源、收听区域与扬声器阵列之间的位置关系,执行改变虚拟声源范围和收听区域中的至少任一个的位置或范围的改变处理,其中,
再现扬声器选择部根据虚拟声源的改变位置和收听区域的改变范围来选择再现扬声器。
(10)
根据(1)至(9)中任一项所述的信号处理设备,进一步包括:
再现处理部,其通过对音频信号执行滤波处理来为每个再现扬声器生成扬声器驱动信号,该扬声器驱动信号由波前合成生成并用于在收听区域中再现虚拟声源的声音。
(11)
根据(1)至(10)中任一项所述的信号处理设备,其中,
再现扬声器选择部为多个虚拟声源的位置中的每一个位置和收听区域的范围的每个组合选择再现扬声器,并且基于每个组合的再现扬声器的选择结果,做出再现扬声器的最终选择。
(12)
根据(1)至(10)中任一项所述的信号处理设备,其中,
再现扬声器选择部为虚拟声源的位置和多个收听区域的范围中的每一个范围的每个组合选择再现扬声器,并且基于每个组合的再现扬声器的选择结果,做出再现扬声器的最终选择。
(13)
根据(1)至(12)中任一项所述的信号处理设备,其中,
扬声器阵列是线性扬声器阵列或环形扬声器阵列。
(14)
一种信号处理方法,包括以下步骤:
根据虚拟声源的位置和收听区域的范围,使信号处理设备从包括在扬声器阵列中的多个扬声器中选择用于基于虚拟声源的音频信号再现声音的多个再现扬声器。
(15)
一种程序,用于使计算机执行包括以下步骤的处理:
根据虚拟声源的位置和收听区域的范围,从包括在扬声器阵列中的多个扬声器中选择用于基于虚拟声源的音频信号再现声音的多个再现扬声器。
参考标记列表
11 信号处理设备
12 扬声器阵列
21 扬声器选择处理部
22 再现处理部
51 扬声器选择直线确定部
52 再现扬声器选择部
81 再现信号计算部
82 扬声器驱动部
111 滤波器计算部
141 错误处理部。

Claims (15)

1.一种信号处理设备,包括:
再现扬声器选择部,根据虚拟声源的位置和收听区域的范围,从包括在扬声器阵列中的多个扬声器中选择用于基于所述虚拟声源的音频信号再现声音的多个再现扬声器。
2.根据权利要求1所述的信号处理设备,其中,
在所述虚拟声源具有大小的情况下,所述再现扬声器选择部基于所述虚拟声源的区域和所述收听区域的范围来选择再现扬声器。
3.根据权利要求1所述的信号处理设备,其中,
所述再现扬声器选择部根据相对于所述虚拟声源与所述收听区域之间的位置关系确定的直线来选择再现扬声器。
4.根据权利要求3所述的信号处理设备,其中,
所述再现扬声器选择部根据彼此不同的两条直线来选择再现扬声器。
5.根据权利要求4所述的信号处理设备,其中,
所述直线与所述收听区域接触。
6.根据权利要求4所述的信号处理设备,其中,
所述再现扬声器选择部选择位于所述直线与所述扬声器阵列之间的交点附近的扬声器作为所述再现扬声器。
7.根据权利要求4所述的信号处理设备,其中,
所述再现扬声器选择部选择包括在所述扬声器阵列的所述多个扬声器中并且位于一条直线与所述扬声器阵列之间的交点附近的位置与另一直线与所述扬声器阵列之间的交点附近的位置之间的所述扬声器作为所述再现扬声器。
8.根据权利要求4所述的信号处理设备,其中,
当从所述收听区域观看时,在所述虚拟声源位于所述扬声器阵列前面的情况下,所述再现扬声器选择部根据在所述收听区域与所述虚拟声源之间的位置处彼此相交的所述两条直线来选择所述再现扬声器。
9.根据权利要求1所述的信号处理设备,进一步包括:
处理部,根据所述虚拟声源、所述收听区域与所述扬声器阵列之间的位置关系,执行改变虚拟声源范围和所述收听区域中的至少任一个的位置或范围的改变处理,其中,
所述再现扬声器选择部根据所述虚拟声源的改变位置和所述收听区域的改变范围来选择所述再现扬声器。
10.根据权利要求1所述的信号处理设备,进一步包括:
再现处理部,通过对所述音频信号执行滤波处理来为每个再现扬声器生成扬声器驱动信号,所述扬声器驱动信号由波前合成生成并用于在所述收听区域中再现所述虚拟声源的声音。
11.根据权利要求1所述的信号处理设备,其中,
所述再现扬声器选择部为多个所述虚拟声源的位置中的每一个位置和所述收听区域的范围的每个组合选择再现扬声器,并且基于每个组合的所述再现扬声器的选择结果,做出所述再现扬声器的最终选择。
12.根据权利要求1所述的信号处理设备,其中,
所述再现扬声器选择部为所述虚拟声源的位置和多个所述收听区域的范围中的每一个范围的每个组合选择再现扬声器,并且基于每个组合的所述再现扬声器的选择结果,做出所述再现扬声器的最终选择。
13.根据权利要求1所述的信号处理设备,其中,
所述扬声器阵列是线性扬声器阵列或环形扬声器阵列。
14.一种信号处理方法,包括以下步骤:
根据虚拟声源的位置和收听区域的范围,使信号处理设备从包括在扬声器阵列中的多个扬声器中选择用于基于所述虚拟声源的音频信号再现声音的多个再现扬声器。
15.一种程序,用于使计算机执行包括以下步骤的处理:
根据虚拟声源的位置和收听区域的范围,从包括在扬声器阵列中的多个扬声器中选择用于基于所述虚拟声源的音频信号再现声音的多个再现扬声器。
CN201980073518.9A 2018-11-15 2019-11-06 信号处理设备、方法和程序 Pending CN112970269A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018214284 2018-11-15
JP2018-214284 2018-11-15
PCT/JP2019/043378 WO2020100670A1 (ja) 2018-11-15 2019-11-06 信号処理装置および方法、並びにプログラム

Publications (1)

Publication Number Publication Date
CN112970269A true CN112970269A (zh) 2021-06-15

Family

ID=70730669

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980073518.9A Pending CN112970269A (zh) 2018-11-15 2019-11-06 信号处理设备、方法和程序

Country Status (6)

Country Link
US (1) US20220014864A1 (zh)
EP (1) EP3883262A4 (zh)
JP (1) JPWO2020100670A1 (zh)
KR (1) KR102650846B1 (zh)
CN (1) CN112970269A (zh)
WO (1) WO2020100670A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102643151B1 (ko) * 2022-12-06 2024-03-04 주식회사 샵캐스트 음악 종류를 이용한 음악 제공 시스템 및 그 방법

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1826838A (zh) * 2003-06-24 2006-08-30 弗兰霍菲尔运输应用研究公司 用于驱动扬声器阵列的波场合成装置和方法
JP2008147840A (ja) * 2006-12-07 2008-06-26 Sony Corp 音声信号生成装置、音場再生装置、音声信号生成方法およびコンピュータプログラム
JP2008219562A (ja) * 2007-03-06 2008-09-18 Sony Corp 音声信号生成装置、音場再生装置、音声信号生成方法およびコンピュータプログラム
CN101874414A (zh) * 2007-10-30 2010-10-27 索尼克埃莫申股份公司 改善最佳收听区域内的声场渲染精度的方法和设备
JP2014220614A (ja) * 2013-05-07 2014-11-20 日本放送協会 音響信号処理装置、音響再生装置及び音響信号処理プログラム
CN105392102A (zh) * 2015-11-30 2016-03-09 武汉大学 用于非球面扬声器阵列的三维音频信号生成方法及系统
WO2018008396A1 (ja) * 2016-07-05 2018-01-11 ソニー株式会社 音場形成装置および方法、並びにプログラム
CN107980225A (zh) * 2015-04-17 2018-05-01 华为技术有限公司 使用驱动信号驱动扬声器阵列的装置和方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5540374B2 (ja) * 2009-08-11 2014-07-02 国立大学法人金沢大学 デジタル音響信号処理装置
EP3484184A4 (en) * 2016-07-05 2019-06-19 Sony Corporation Sound field generation device, method and program

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1826838A (zh) * 2003-06-24 2006-08-30 弗兰霍菲尔运输应用研究公司 用于驱动扬声器阵列的波场合成装置和方法
JP2008147840A (ja) * 2006-12-07 2008-06-26 Sony Corp 音声信号生成装置、音場再生装置、音声信号生成方法およびコンピュータプログラム
JP2008219562A (ja) * 2007-03-06 2008-09-18 Sony Corp 音声信号生成装置、音場再生装置、音声信号生成方法およびコンピュータプログラム
CN101874414A (zh) * 2007-10-30 2010-10-27 索尼克埃莫申股份公司 改善最佳收听区域内的声场渲染精度的方法和设备
JP2014220614A (ja) * 2013-05-07 2014-11-20 日本放送協会 音響信号処理装置、音響再生装置及び音響信号処理プログラム
CN107980225A (zh) * 2015-04-17 2018-05-01 华为技术有限公司 使用驱动信号驱动扬声器阵列的装置和方法
CN105392102A (zh) * 2015-11-30 2016-03-09 武汉大学 用于非球面扬声器阵列的三维音频信号生成方法及系统
WO2018008396A1 (ja) * 2016-07-05 2018-01-11 ソニー株式会社 音場形成装置および方法、並びにプログラム
CN109417668A (zh) * 2016-07-05 2019-03-01 索尼公司 声场形成装置和方法、以及程序

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ETIENNE CORTEEL ET-AL: "Wave Field Synthesis Rendering with Increased Aliasing Frequency", AES CONVENTION 124, 1 May 2008 (2008-05-01), pages 1 - 5 *
ETIENNE CORTEEL ET-AL: "Wave Field Synthesis Rendering with Increased Aliasing Frequency", AES CONVENTION 124, pages 1 - 9 *

Also Published As

Publication number Publication date
WO2020100670A1 (ja) 2020-05-22
US20220014864A1 (en) 2022-01-13
KR102650846B1 (ko) 2024-03-26
KR20210092200A (ko) 2021-07-23
EP3883262A1 (en) 2021-09-22
JPWO2020100670A1 (ja) 2021-10-07
EP3883262A4 (en) 2022-01-05

Similar Documents

Publication Publication Date Title
EP3272134B1 (en) Apparatus and method for driving an array of loudspeakers with drive signals
US8488796B2 (en) 3D audio renderer
US11516616B2 (en) System for and method of generating an audio image
CN109196884B (zh) 声音再现系统
US8041040B2 (en) Sound image control apparatus and sound image control method
CN111434126A (zh) 信号处理装置和方法以及程序
US11627427B2 (en) Enabling rendering, for consumption by a user, of spatial audio content
CN108476365B (zh) 音频处理装置和方法以及存储介质
JP6834985B2 (ja) 音声処理装置および方法、並びにプログラム
WO2017119321A1 (ja) 音声処理装置および方法、並びにプログラム
Villegas Locating virtual sound sources at arbitrary distances in real-time binaural reproduction
CN112970269A (zh) 信号处理设备、方法和程序
CN110191745B (zh) 利用空间音频的游戏流式传输
EP4118523A1 (en) Representation and rendering of audio objects
Zotter et al. XY, MS, and first-order Ambisonics
WO2020044244A1 (en) System for and method of controlling a three-dimensional audio engine
WO2018200176A1 (en) Progressive streaming of spatial audio
JP2014127967A (ja) 仮想空間中の音声再生装置及び方法、並びにプログラム
WO2022034805A1 (ja) 信号処理装置および方法、並びにオーディオ再生システム
CN118678286A (zh) 音频数据处理方法、装置、系统、电子设备及存储介质
Sladeczek et al. Object-Based Audio as Platform Technology in Vehicles
KR20150005438A (ko) 오디오 신호 처리 방법 및 장치
KR20230060502A (ko) 신호 처리 장치 및 방법, 학습 장치 및 방법, 그리고 프로그램

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination