CN105144753A - 声音处理设备和方法以及程序 - Google Patents

声音处理设备和方法以及程序 Download PDF

Info

Publication number
CN105144753A
CN105144753A CN201480022318.8A CN201480022318A CN105144753A CN 105144753 A CN105144753 A CN 105144753A CN 201480022318 A CN201480022318 A CN 201480022318A CN 105144753 A CN105144753 A CN 105144753A
Authority
CN
China
Prior art keywords
gain
sound
loud speaker
unit
voice output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480022318.8A
Other languages
English (en)
Other versions
CN105144753B (zh
Inventor
山本优树
知念彻
史润宇
畠中光行
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to CN201810155322.1A priority Critical patent/CN108430031B/zh
Publication of CN105144753A publication Critical patent/CN105144753A/zh
Application granted granted Critical
Publication of CN105144753B publication Critical patent/CN105144753B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/02—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo four-channel type, e.g. in which rear channel signals are derived from two-channel stereo signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/005—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo five- or more-channel type, e.g. virtual surround
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G3/00—Gain control in amplifiers or frequency changers
    • H03G3/20—Automatic control
    • H03G3/30—Automatic control in amplifiers having semiconductor devices
    • H03G3/3005—Automatic control in amplifiers having semiconductor devices in amplifiers suitable for low-frequencies, e.g. audio amplifiers
    • H03G3/301—Automatic control in amplifiers having semiconductor devices in amplifiers suitable for low-frequencies, e.g. audio amplifiers the gain being continuously variable
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本技术涉及一种使得可以使声音定位更稳定的声音处理设备、方法和程序。虚拟扬声器被认为沿着球面上的四边形的底边而布置，所述四边形的顶点是包围目标声音位置的四个扬声器的位置。使用虚拟扬声器以及左上扬声器和右上扬声器的三维VBAP用于计算将声音定位在目标声音位置处所需的左上扬声器增益和右上扬声器增益以及虚拟扬声器增益。使用左下扬声器和右下扬声器的二维VBAP用于计算将声音定位在虚拟扬声器处所需的左下扬声器增益和右下扬声器增益，并且将所述增益与上述虚拟扬声器增益相乘以获得将声音定位在目标声音位置处所需的左下扬声器增益和右下扬声器增益。该技术可以应用于声音处理设备。

Description

声音处理设备和方法以及程序
技术领域
本技术涉及一种声音处理设备和方法以及程序，更具体地，涉及一种用于实现声音图像的更稳定定位的声音处理设备和方法以及程序。
背景技术
作为用于控制使用扬声器对声音图像的定位的技术，已知VBAP(矢量基幅度平移)(参见例如非专利文献1)。
通过VBAP，声音图像的目标定位位置由朝向位于定位位置周围的两个或三个扬声器延伸的矢量的线性和来表示。各个矢量以线性和与其相乘的系数用作要从各个扬声器输出的声音的增益，并且执行增益调整以使得声音图像固定在目标位置。
引用列表
非专利文献
非专利文献1：VillePulkki,"VirtualSoundSourcePositioningUsingVectorBaseAmplitudePanning",JournalofAES,vol.45,no.6,pp.456-466,1997
发明内容
本发明要解决的问题
然而，通过上述技术，声音图像可以固定在目标位置，但是声音图像的定位可能根据声音图像的定位位置而变得不稳定。
通过用于使用三个扬声器执行VBAP的三维VBAP，存在如下情况：根据声音图像的目标定位位置，三个扬声器当中的仅两个扬声器输出声音，并且控制剩余一个扬声器不输出声音。
在这样的情况下，当用户在收听声音的同时移动时，声音图像可能在与移动方向不同的方向上移动，并且用户可能感觉到声音图像的定位不稳定。如果声音图像的定位变得不稳定，则作为最优收听位置的最佳听音位置(sweetspot)的范围变得较窄。
本技术是鉴于这样的状况而开发的，并且用于实现声音图像的更稳定定位。
问题的解决方案
根据本技术的一方面的声音处理设备包括：增益计算单元，通过针对靠近作为目标位置的声音图像定位位置设置的四个或更多个声音输出单元之中的两个或三个声音输出单元的组合当中的每个不同组合、基于声音输出单元之间的位置关系而计算要从声音输出单元输出的声音的增益，确定要从四个或更多个声音输出单元输出的声音的输出增益，该输出增益要用于将声音图像固定在声音图像定位位置；以及增益调整单元，基于输出增益而对要从声音输出单元输出的声音执行增益调整。
输出增益中的至少四个均具有不同于0的值。
增益计算单元可包括：第一增益计算单元，基于虚拟声音输出单元和两个声音输出单元与声音图像定位位置之间的位置关系而计算虚拟声音输出单元和两个声音输出单元的输出增益；第二增益计算单元，基于与两个声音输出单元不同的其它两个声音输出单元与虚拟声音输出单元之间的位置关系而计算其它两个声音输出单元的增益，其它两个声音输出单元的增益要用于将声音图像固定在虚拟声音输出单元的位置处；以及计算单元，基于其它两个声音输出单元的增益和虚拟声音输出单元的输出增益而计算其它两个声音输出单元的输出增益。
计算单元可通过将其它两个声音输出单元的增益与虚拟声音输出单元的输出增益相乘来计算其它两个声音输出单元的输出增益。
虚拟声音输出单元的位置可设置在以四个或更多个声音输出单元为顶点的多边形的边上。
增益计算单元可包括：虚拟增益计算单元，基于三个声音输出单元与声音图像定位位置之间的位置关系而计算三个声音输出单元的输出增益；以及计算单元，基于由虚拟增益计算单元针对组合当中的不同组合计算输出增益而计算出的输出增益来计算声音输出单元的最终输出增益。
计算单元可通过确定针对同一个声音输出单元所确定的输出增益的和来计算同一个声音输出单元的最终输出增益。
根据本技术的一方面的声音处理方法或程序包括以下步骤：通过针对靠近作为目标位置的声音图像定位位置设置的四个或更多个声音输出单元之中的两个或三个声音输出单元的组合当中的每个不同组合、基于声音输出单元之间的位置关系而计算要从声音输出单元输出的声音的增益，确定要从四个或更多个声音输出单元输出的声音的输出增益，该输出增益要用于将声音图像固定在声音图像定位位置处；以及基于输出增益而对要从声音输出单元输出的声音执行增益调整。
在本技术的一方面，通过针对靠近作为目标位置的声音图像定位位置设置的四个或更多个声音输出单元之中的两个或三个声音输出单元的组合当中的每个不同组合、基于声音输出单元之间的位置关系而计算要从声音输出单元输出的声音的增益，确定要从四个或更多个声音输出单元输出的声音的输出增益，该输出增益要用于将声音图像固定在声音图像定位位置处；以及基于输出增益而对要从声音输出单元输出的声音执行增益调整。
本发明的效果
根据本技术的一方面，可以以更稳定的方式固定声音图像。
附图说明
图1是用于说明二维VBAP的图。
图2是用于说明三维VBAP的图。
图3是用于说明扬声器布置的图。
图4是用于说明在设置四个扬声器的情况下要使用的增益计算方法的图。
图5是用于说明声音图像的移动的图。
图6是用于说明在应用本技术的情况下的声音图像的移动的图。
图7是用于说明根据本技术的增益计算的图。
图8是用于说明根据本技术的增益计算的图。
图9是示出声音处理设备的示例结构的图。
图10是示出增益计算单元的示例结构的图。
图11是用于说明声音定位控制处理的流程图。
图12是用于说明计算扬声器的增益的另一方法的图。
图13是示出增益计算单元的另一示例结构的图。
图14是用于说明声音定位控制处理的流程图。
图15是用于说明计算扬声器的增益的方法的图。
图16是示出计算机的示例配置的图。
具体实施方式
以下是参照附图对应用本技术的实施例的描述。
<第一实施例>
<本技术的概况>
参照图1至图8，描述了本技术的概况。在图1至图8中，相同的部件以相同的附图标记来表示，并且将不会不必要地重复其说明。
如图1所示，例如，要观看或收听诸如伴随声音或乐曲的运动图像的内容的用户U11正收听正从两个扬声器SP1和SP2输出作为内容的声音的两个声道的声音。
在该情况下，可以使用关于输出各个声道的声音的两个扬声器SP1和SP2的位置信息而将声音图像固定在虚拟声音源VSP1的位置处。
例如，在将用户U11的头部的位置作为原点0的情况下，具有垂直方向和水平方向作为x轴方向和y轴方向的二维坐标系中的虚拟声音源VSP1的位置由图中以原点0作为其起始点的矢量P来表示。
由于矢量P是二维矢量，因此矢量P可以由以原点0作为起始点分别在扬声器SP1的方向和扬声器SP2的方向上延伸的矢量L1和矢量L2的线性和来表示。即，矢量P可以由使用矢量L1和矢量L2的以下等式(1)来表示。
[数学式1]
P＝g1L1+g2L2...(1)
计算在等式(1)中与矢量L1和矢量L2相乘的系数g1和系数g2。以这些系数g1和g2分别作为从扬声器SP1和SP2输出的声音的增益，声音图像可以固定在虚拟声音源VSP1的位置处。即，声音图像可以固定在由矢量P指示的位置处。
通过根据关于两个扬声器SP1和SP2的位置信息计算系数g1和g2来控制声音图像的定位位置的方法称为二维VBAP。
在图1所示的示例中，声音图像可以固定在将扬声器SP1和扬声器SP2连接的弧AR11上的任意位置处。这里，弧AR11是以原点O为中心、穿过扬声器SP1和SP2的各个位置的圆的一部分。
由于矢量P是二维矢量，因此如果矢量L1与矢量L2之间的角度大于0度但是小于180度，则唯一地确定要作为增益的系数g1和g2。在上述非专利文献1中详细描述了计算这些系数g1和g2的方法。
然而，在要再现三个声道的声音的情况下，输出声音的扬声器的数量例如如图2所示是三个。
在图2所示的示例中，各个声道的声音从三个扬声器SP1、SP2和SP3输出。
在这样的情况下，除了要从扬声器SP1至SP3输出的各个声道的声音的增益的数量或者要被计算为增益的系数的数量是三个之外，构思与上述二维VBAP相同。
具体地，在声音图像要固定在虚拟声音源VSP2的位置处的情况下，虚拟声音源VSP2的位置由在三维坐标系中以原点O作为其起始点的三维矢量P来表示，在该三维坐标系中，用户U11的头部的位置是原点O。
在从作为起始点的原点O朝向扬声器SP1至SP3的各个位置的方向上延伸的三维矢量是矢量L1至L3的情况下，矢量P可以如以下等式(2)所示由矢量L1至L3的线性和来表示：
[数学式2]
P＝g1L1+g2L2+g3L3...(2)
计算等式(2)中与矢量L1至L3相乘的系数g1至g3。在这些系数g1至g3作为分别从扬声器SP1至SP3输出的声音的增益的情况下，声音图像可以固定在虚拟声音源VSP2的位置处。
通过根据关于三个扬声器SP1至SP3的位置信息计算系数g1至g3来控制声音图像的定位位置的方法称为三维VBAP。
在图2所示的示例中，声音图像可以固定在包括扬声器SP1、扬声器SP2和扬声器SP3的位置的球面上的三角区域TR11内的任意位置处。这里，区域TR11是如下区域：其在球体的平面上，以原点O作为其中心，并且包括扬声器SP1至SP3的各个位置，并且区域TR11是由球面上的扬声器SP1至SP3包围的三角区域。
利用这样的三维VBAP，声音图像可以固定在空间中的任意位置处。
如图3所示，输出声音的扬声器的数量增加，并且在空间中设置了均等同于图2所示的三角区域TR11的区域，以使得声音图像可以固定在例如这些区域中的任意位置处。
在图3所示的示例中，设置了五个扬声器SP1至SP5，并且扬声器SP1至SP5输出各个声道的声音。这里，扬声器SP1至SP5设置在其中心在原点O处的球面上，该原点O位于用户U11的头部。
在该情况下，在从原点O朝向扬声器SP1至SP5的各个位置的方向上延伸的三维矢量是矢量L1至L5，并且执行与上述根据等式(2)的计算相同的计算以确定从各个扬声器输出的声音的增益。
这里，在其中心在原点O处的球面上的区域中，由扬声器SP1、SP4和SP5包围的三角区域是区域TR21。同样，在其中心在原点O处的球面上的区域中，由扬声器SP3、SP4和SP5包围的三角区域是区域TR22，并且由扬声器SP2、SP3和SP5包围的三角区域是区域TR23。
这些区域TR21至TR23中的每个区域是等同于图2所示的区域TR11的区域。在指示要固定声音图像的位置的三维矢量是矢量P的情况下，矢量P指示图3所示的示例中的区域TR21中的位置。
因此，在该示例中，以指示扬声器SP1、SP4和SP5的位置的矢量L1、L4和L5来执行与根据等式(2)的计算相同的计算，并且计算从各个扬声器SP1、SP4和SP5输出的声音的增益。在该情况下，从其它扬声器SP2和SP3输出的声音的增益是0。即，没有声音从这些扬声器SP2和SP3输出。
在以此方式在空间中设置五个扬声器SP1至SP5的情况下，声音图像可以固定在由区域TR21至TR23形成的区域中的任意位置处。
如图4所示，四个扬声器SP1至SP4可设置在空间中，并且声音图像要固定在位于这些扬声器SP1至SP4当中的中心位置处的虚拟声音源VSP3的位置处。
在图4所示的示例中，扬声器SP1至SP4设置在其中心在原点O(未示出)处的球体的平面上，并且作为该平面上的区域的并且由扬声器SP1至SP3包围的三角区域是区域TR31。在其中心在原点O处的球面上的区域中，由扬声器SP2至SP4包围的三角区域是区域TR32。
虚拟声音源VSP3位于区域TR31的右下侧。虚拟声音源VSP3也位于区域TR32的左上侧。
因此，在该情况下，应该对扬声器SP1至SP3执行三维VBAP，或者应该对扬声器SP2至SP4执行三维VBAP。在任一情况下，获得相同的三维VBAP计算结果，并且确定增益以使得仅两个扬声器SP2和SP3输出声音，并且剩余扬声器SP1和SP4不输出任何声音。
通过三维VBAP，在要固定声音图像的位置在连接三个扬声器的球面上的三角区域之间的边界线上或者在该球面上的三角形的边上的情况下，仅位于该边的两端的两个扬声器输出声音。
在如上那样仅两个扬声器SP2和SP3输出声音的情况下，例如，如图5所示，位于作为最优收听点的最佳听音位置的用户U11可如箭头A11所指示的那样朝向图中的左侧移动。
结果，用户U11的头部变得更靠近扬声器SP3，并且正从扬声器SP3输出的声音变得对于用户U11更大声。因此，用户U11感觉好像是虚拟声音源VSP3或声音图像如图中的箭头A12所指示的那样移动到左下侧。
通过三维VBAP，在如图5所示仅两个扬声器输出声音的情况下，如果用户U11仅移动远离最佳听音位置短距离，则声音图像在垂直于用户U11的移动的方向上移动。在这样的情况下，用户U11感觉好像是声音图像在与他的/她的移动的方向不同的方向上移动，因此，具有奇怪的感觉。即，用户U11感觉到声音图像的定位位置是不稳定的，并且最佳听音位置范围变得较窄。
鉴于此，根据与上述VBAP相对的本技术，使得比三个更大数量的扬声器或者四个或更多个扬声器输出声音，以使得声音图像的定位位置变得更稳定，并且最佳听音位置范围相应地变得较宽。
尽管使得输出声音的扬声器的数量可以是等于或大于四的任何数字，但是在以下描述中继续对使得四个扬声器输出声音的示例情况进行说明。
例如，如在图4所示的示例中，声音图像要固定在四个扬声器SP1至SP4当中的中心位置处的虚拟声音源VSP3的位置。
根据本技术，在这样的情况下选择两个或三个扬声器作为组合，并且对不同的扬声器组合执行VBAP，以计算从四个扬声器SP1至SP4输出的声音的增益。
因此，根据本技术，例如，如图6所示，所有四个扬声器SP1至SP4都输出声音。
在这样的情况下，如果用户U11如图6中的箭头A21所示那样从最佳听音位置向左移动，则虚拟声音源VSP3的位置或声音图像的定位位置仅如图中的箭头A22所示那样向左移动。即，声音图像不是如在图5所示的示例中一样向下移动或者在垂直于用户U11的移动方向的方向上移动，而是仅在与用户U11的移动方向相同的方向上移动。
这是由于当用户U11向左移动时，用户U11变得更靠近扬声器SP3，但是扬声器SP1还存在于扬声器SP3上方。在该情况下，声音从相对于用户U11的左上侧和左下侧到达用户U11的耳朵，因此用户U11几乎感觉不到声音图像向下移动。
因此，与传统VBAP技术相比，可以使得声音图像的定位位置更稳定，结果，可以使得最佳听音位置范围更宽。
接下来，更详细地描述根据本技术的对声音的定位的控制。
在本技术中，指示要固定声音图像的位置的矢量是其起始点在三维坐标系的原点O(未示出)处的矢量P，并且矢量P由以下等式(3)来表示：
[数学式3]
P＝g1L1+g2L2+g3L3+g4L4...(3)
在等式(3)中，矢量L1至L4指示朝向扬声器SP1至SP4的位置延伸的三维矢量，扬声器SP1至SP4位于声音图像的定位位置附近并且被布置成包围声音图像的定位位置。另外，在等式(3)中，g1至g4表示要被计算作为要从扬声器SP1至SP4输出的各个声道的声音的增益的系数。
在等式(3)中，矢量P被表示为四个矢量L1至L4的线性和。由于矢量P是三维矢量，因此四个系数g1至g4不是被唯一确定的。
因此，根据本技术，通过以下描述的方法来计算要作为增益的各个系数g1至g4。
声音图像要被固定在图4所示的四个扬声器SP1至SP4包围的球面上的四边形的中心位置处，或者固定在虚拟声音源VSP3的位置处。
首先，选择以扬声器SP1至SP4作为顶点的球面上的四边形的一条边，并且假设虚拟扬声器(下文中称为“虚拟扬声器”)存在于该边上。
如图7所示，在球面上的以扬声器SP1至SP4为顶点的四边形中，例如，选择连接位于图中的左下角和右下角的扬声器SP3和SP4的边。例如，假设虚拟扬声器VSP’存在于连接扬声器SP3和SP4的边与从虚拟声音源VSP3的位置延伸的垂线之间的交叉点位置处。
然后，对如下三个扬声器执行三维VBAP：虚拟扬声器VSP’以及在图中的左上角和右上角的扬声器SP1和SP2。具体地，根据与上述等式(2)相同的等式来执行计算，以确定要作为要从扬声器SP1、扬声器SP2和虚拟扬声器VSP’输出的声音的增益的系数g1、系数g2和系数g’。
在图7中，矢量P被表示为从原点O延伸的三个矢量的线性和，或者朝向扬声器SP1延伸的矢量L1、朝向扬声器SP2延伸的矢量L2和朝向虚拟扬声器VSP’延伸的矢量L’的线性和。即，矢量P被表示为P＝g1L1+g2L2+g’L’。
这里，为了将声音图像固定在虚拟声音源VSP3的位置处，虚拟扬声器VSP’需要输出具有增益g’的声音，但是虚拟扬声器VSP’实际上不存在。因此，如图8所示，四边形中虚拟扬声器VSP’所处的边的两端处的两个扬声器SP3和SP4用于将声音图像固定在根据本技术的虚拟扬声器VSP’的位置处。以此方式，实现了虚拟扬声器VSP’。
具体地，对位于球面上的虚拟扬声器VSP’所处的边的两端的两个扬声器SP3和SP4执行二维VBAP。即，根据与上述等式(1)相同的等式来执行计算，以计算要作为分别要从扬声器SP3和扬声器SP4输出的声音的增益的系数g3’和g4’。
在图8所示的示例中，朝向虚拟扬声器VSP’延伸的矢量L’被表示为朝向扬声器SP3延伸的矢量L3和朝向扬声器SP4延伸的矢量L4的线性和。即，矢量L’被表示为L'＝g3’L3+g4’L4。
通过将所计算出的系数g3’与系数g’相乘而获得的值g’g3’被设置为要从扬声器SP3输出的声音的增益，并且通过将所计算出的系数g4’与系数g’相乘而获得的值g’g4’被设置为要从扬声器SP4输出的声音的增益。以此方式，由扬声器SP3和SP4来实现输出具有增益g’的声音的虚拟扬声器VSP’。
这里，要作为增益值的g’g3’的值是上述等式(3)中的系数g3的值，并且要作为增益值的g’g4’的值是上述等式(3)中的系数g4的值。
如上获得的并且不为0的值g1、g2、g’g3’和g’g4’被设置为要从扬声器SP1至SP4输出的各个声道的声音的增益。以此方式，使得四个扬声器输出声音，并且声音图像可以固定在目标位置处。
当通过如上那样使得四个扬声器输出声音而将声音图像固定在一定位置处时，与通过传统VBAP技术固定在一定位置的声音图像相比，可以使得声音图像的定位位置更稳定。因此，可以加宽最佳听音位置范围。
<声音处理设备的示例结构>
接下来，描述应用上述的本技术的具体示例。图9是示出应用本技术的声音处理设备的实施例的示例结构的图。
声音处理设备11对从各个声道外部提供的单耳声音信号执行增益调整。这样，声音处理设备11生成N个声道(N≥5)的声音信号，并且将声音信号提供到对应于N个声道的扬声器12-1至12-N。
扬声器12-1至12-N基于从声音处理设备11提供的声音信号而输出各个声道的声音。即，扬声器12-1至12-N是用作输出各个声道的声音的声音源的声音输出单元。在下文中，当不特别需要将扬声器12-1至12-N彼此区分开时，扬声器12-1至12-N也将简称为扬声器12。虽然扬声器12没有包括在图9的声音处理设备11中，但是扬声器12可包括在声音处理设备11中。另外，构成声音处理设备11和扬声器12的各个部件可设置在多个设备中，以形成包括声音处理设备11和扬声器12的各个部件的声音处理系统。
扬声器12被布置为包围当观看和收听内容等时假设用户存在的位置(该位置在下文中也将简称为用户位置)。例如，各个扬声器12布置在其中心在用户位置处的球体的平面上的位置处。换言之，各个扬声器12布置在距用户相同距离的位置处。另外，声音信号可以以有线或无线方式从声音处理设备11提供到扬声器12。
声音处理设备11包括扬声器选择单元21、增益计算单元22、增益确定单元23、增益输出单元24和增益调整单元25。
由附于诸如移动对象的对象的麦克风收集的声音的声音信号和关于对象的位置信息被提供到声音处理设备11。
基于从外部提供的对象的位置信息，扬声器选择单元21识别要固定要从包括扬声器12的空间中的对象发出的声音的声音图像的位置(该要识别的位置在下文中也将被称为目标声音图像位置)，并且将识别结果提供到增益计算单元22。
基于目标声音图像位置，扬声器选择单元21从N个扬声器12当中选择用于输出声音的四个扬声器12作为处理目标扬声器12，并且将指示选择结果的选择信息提供到增益计算单元22、增益确定单元23和增益输出单元24。
增益计算单元22基于从扬声器选择单元21提供的选择信息和目标声音图像位置而计算处理目标扬声器12的增益，并且将该增益提供到增益输出单元24。增益确定单元23基于从扬声器选择单元21提供的选择信息而确定除处理目标扬声器之外的扬声器12的增益，并且将该增益提供到增益输出单元24。例如，不是处理目标的扬声器12的增益被设置为“0”。即，不是处理目标的扬声器12被控制为不输出对象的任何声音。
增益输出单元24将从增益计算单元22和增益确定单元23提供的N个增益提供到增益调整单元25。此时，增益输出单元24基于从扬声器选择单元21提供的选择信息而确定增益调整单元25中的从增益计算单元22和增益确定单元23提供的N个增益的提供目的地。
基于从增益输出单元24提供的各个增益，增益调整单元25对从外部提供的对象的声音信号执行增益调整，并且将所得到的N个声道的声音信号提供到扬声器12，以使得扬声器12输出声音。
增益调整单元25包括放大器31-1至31-N。基于从增益输出单元24提供的增益，放大器31-1至31-N对从外部提供的声音信号执行增益调整，并且将所得到的声音信号提供到扬声器12-1至12-N。
在下文中，当不需要将放大器31-1至31-N彼此区分开时，放大器31-1至31-N也将被简称为放大器31。
<增益计算单元的示例结构>
图9所示的增益计算单元22具有例如图10所示的结构。
图10所示的增益计算单元22包括虚拟扬声器位置确定单元61、三维增益计算单元62、二维增益计算单元63、乘法器64和乘法器65。
虚拟扬声器位置确定单元61基于从扬声器选择单元21提供的指示目标声音图像位置的信息和选择信息而确定虚拟扬声器的位置。虚拟扬声器位置确定单元61将指示目标声音图像位置的信息、选择信息和指示虚拟扬声器的位置的信息提供到三维增益计算单元62，并且将选择信息和指示虚拟扬声器的位置的信息提供到二维增益计算单元63。
基于从虚拟扬声器位置确定单元61提供的各条信息，三维增益计算单元61对处理目标扬声器12的两个扬声器12和虚拟扬声器执行三维VBAP。三维增益计算单元62然后将通过三维VBAP获得的两个扬声器12的增益提供到增益输出单元24，并且将虚拟扬声器的增益提供到乘法器64和乘法器65。
基于从虚拟扬声器位置确定单元61提供的各条信息，二维增益计算单元63对处理目标扬声器12的两个扬声器执行二维VBAP，并且将所得到的扬声器12的增益提供到乘法器64和乘法器65。
乘法器64通过将从二维增益计算单元63提供的增益与从三维增益计算单元62提供的增益相乘来获得扬声器12的最终增益，并且将最终增益提供到增益输出单元24。乘法器65通过将从二维增益计算单元63提供的增益与从三维增益计算单元62提供的增益相乘而获得扬声器12的最终增益，并且将最终增益提供到增益输出单元24。
<声音定位控制处理的描述>
同时，当对象的位置信息和对象的声音信号被提供到声音处理设备11并且发出用于输出对象的声音的指令时，声音处理设备11开始声音定位控制处理以使得输出对象的声音，并且将声音图像固定在适当的位置处。
现在参照图11中的流程图，描述了声音处理设备11要执行的声音定位控制处理。
在步骤S11中，扬声器选择单元21基于从外部提供的对象的位置信息而选择处理目标扬声器12。
具体地，扬声器选择单元21例如基于对象的位置信息而识别目标声音图像位置，并且从N个扬声器12当中选择处理目标扬声器12，这些处理目标扬声器12是位于目标声音图像位置附近并且被布置成包围目标声音图像位置的四个扬声器12。
例如，在图7所示的虚拟声音源VSP3的位置被设置为目标声音图像位置的情况下，等同于包围虚拟声音源VSP3的四个扬声器SP1至SP4的扬声器12被选作处理目标扬声器12。
扬声器选择单元21将指示目标声音图像位置的信息提供到虚拟扬声器位置确定单元61，并且将指示四个处理目标扬声器12的选择信息提供到虚拟扬声器位置确定单元61、增益确定单元23和增益输出单元24。
在步骤S12中，虚拟扬声器位置确定单元61基于从扬声器选择单元21提供的指示目标声音图像位置的信息和选择信息而确定虚拟扬声器的位置。如在图7所示的示例中，例如，球面上的连接处理目标扬声器12当中的相对于用户位于左下角和右下角的扬声器12的边与从目标声音图像位置朝向该边延伸的垂线之间的交叉点的位置被设置为虚拟扬声器的位置。
在确定了虚拟扬声器的位置之后，虚拟扬声器位置确定单元61将指示目标声音图像位置的信息、选择信息和指示虚拟扬声器的位置的信息提供到三维增益计算单元62，并且将选择信息和指示虚拟扬声器的位置的信息提供到二维增益计算单元63。
虚拟扬声器的位置可以是任意位置，只要其位于以四个处理目标扬声器12为各个顶点的、球面上的四边形的边上即可。甚至在处理目标扬声器12的数量是五个或更多个的情况下，虚拟扬声器的位置可以是以这些处理目标扬声器12为顶点的、球面上的多边形的边上的任意位置。
在步骤S13中，三维增益计算单元62基于指示目标声音图像位置的信息、选择信息和关于虚拟扬声器的位置的信息而计算虚拟扬声器和两个处理目标扬声器12的增益，关于虚拟扬声器的位置的信息是从虚拟扬声器位置确定单元61提供的。
具体地，三维增益计算单元62将矢量P确定为指示目标声音图像位置的三维矢量，并且将矢量L’确定为朝向虚拟扬声器延伸的三维矢量。三维增益计算单元62还将矢量L1确定为朝向处理目标扬声器12当中的具有与图7所示的扬声器SP1相同的位置关系的扬声器12延伸的矢量，并且将矢量L2确定为朝向具有与扬声器SP2相同的位置关系的扬声器12延伸的矢量。
三维增益计算单元62然后将表示矢量P的等式确定为矢量L’、矢量L1和矢量L2的线性和，并且根据该等式来执行计算，以计算分别作为矢量L’、矢量L1和矢量L2的系数g’、系数g1和系数g2的增益。即，执行与根据等式(2)的上述计算相同的计算。
三维增益计算单元62将所计算出的具有与扬声器SP1和SP2相同的位置关系的扬声器12的系数g1和g2作为要从这些扬声器12输出的声音的增益提供到增益输出单元24。
三维增益计算单元62还将所计算出的虚拟扬声器的系数g’作为要从虚拟扬声器输出的声音的增益提供到乘法器64和乘法器65。
在步骤S14中，二维增益计算单元63基于选择信息和关于虚拟扬声器的位置的信息而计算两个处理目标扬声器12的增益，关于虚拟扬声器的位置的信息是从虚拟扬声器位置确定单元61提供的。
具体地，二维增益计算单元63将矢量L’确定为指示虚拟扬声器的位置的三维矢量。二维增益计算单元63还将矢量L3确定为朝向处理目标扬声器12当中的具有与图8所示的扬声器SP3相同的位置关系的扬声器12延伸的矢量，并且将矢量L4确定为朝向具有与扬声器SP4相同的位置关系的扬声器12延伸的矢量。
二维增益计算单元63然后将表示矢量L’的等式确定为矢量L3和矢量L4的线性和，并且根据该等式执行计算，以计算分别作为矢量L3和矢量L4的系数g3’和系数g4’的增益。即，执行与根据等式(1)的上述计算相同的计算。
二维增益计算单元63将所计算出的具有与扬声器SP3和SP4相同的位置关系的扬声器12的系数g3’和g4’作为要从这些扬声器12输出的声音的增益提供到乘法器64和乘法器65。
在步骤S15中，乘法器64和乘法器65将从二维增益计算单元63提供的增益g3’和g4’与从三维增益计算单元62提供的虚拟扬声器的增益g’相乘，并且将所得到的增益提供到增益输出单元24。
因此，作为四个处理目标扬声器12当中的具有与图8所示的扬声器SP3相同的位置关系的扬声器12的最终增益，增益g3＝g’g3’被提供到增益输出单元24。同样，作为四个处理目标扬声器12当中的具有与图8所示的扬声器SP4相同的位置关系的扬声器12的最终增益，增益g4＝g’g4’被提供到增益输出单元24。
在步骤S16中，增益确定单元23基于从扬声器选择单元21提供的选择信息而确定除处理目标扬声器之外的扬声器12的增益，并且将增益提供到增益输出单元24。例如，不是处理目标的所有扬声器12的增益被设置为“0”。
在来自增益计算单元22的增益g1、g2、g’g3’和g’g4’以及来自增益确定单元23的增益“0”被提供到增益输出单元24之后，增益输出单元24基于从扬声器选择单元21提供的选择信息而将这些增益提供到增益调整单元25的放大器31。
具体地，增益输出单元24将增益g1、g2、g’g3’和g’g4’提供到放大器31，放大器31将声音信号提供到各个处理目标扬声器12或者等同于图7所示的扬声器SP1至SP4的各个扬声器12。例如，在等同于扬声器SP1的扬声器12是扬声器12-1的情况下，增益输出单元24将增益g1提供到放大器31-1。
增益输出单元24还向将声音信号提供到不是处理目标的扬声器12的放大器31提供从增益确定单元23提供的增益“0”。
在步骤S17中，增益调整单元25的放大器31基于从增益输出单元24提供的增益而对从外部提供的对象的声音信号执行增益调整，并且将所得到的声音信号提供到扬声器12，以使得扬声器12输出声音。
各个扬声器12基于从放大器31提供的声音信号而输出声音。更具体地，仅四个处理目标扬声器12输出声音。因此，声音图像可以固定在目标位置处。随着从扬声器12输出声音，声音定位控制处理结束。
如上所述，声音处理设备11基于关于对象的位置信息而选择四个扬声器12作为处理目标，并且对这些扬声器12和虚拟扬声器当中的两个或三个扬声器的组合而执行VBAP。声音处理设备11然后基于各个处理目标扬声器12的增益而对声音信号执行增益调整，这些增益是通过对不同组合执行的VBAP而获得的。
因此，可以从包围目标声音图像位置的四个扬声器12输出声音，并且可以使得声音的定位更稳定。结果，可以使得最佳听音位置范围更宽。
<第二实施例>
<增益计算>
在上述示例中，从包括虚拟扬声器的五个扬声器当中选择两个或三个扬声器以形成一种扬声器组合，并且对不止一种组合执行VBAP，以计算处理目标扬声器12的增益。然而，根据本技术，还可以通过从四个处理目标扬声器12当中选择组合以及对每种组合执行VBAP来计算增益，而无需确定任何虚拟扬声器。
在这样的情况下，例如如图12所示，应执行VBAP的次数根据目标声音图像位置而变化。在图12中，与图7所示的部件等同的部件以与图7中使用的附图标记相同的附图标记来表示，并且将不会不必要地重复其说明。
例如，在虚拟声音源的位置或目标声音图像位置是由箭头Q11指示的位置的情况下，由箭头Q11指示的位置在球面上由扬声器SP1、扬声器SP2和扬声器SP4包围的三角区域中。因此，如果对包括扬声器SP1、SP2和SP4的扬声器组合(该组合在下文中也将被称为第一组合)执行三维VBAP，则确定要从三个扬声器SP1、SP2和SP4输出的声音的增益。
同时，由箭头Q11指示的位置也是球面上的由扬声器SP2、扬声器SP3和扬声器SP4包围的三角区域中的位置。因此，如果对包括扬声器SP2、SP3和SP4的扬声器组合(该组合在下文中也将称为第二组合)执行三维VBAP，则确定要从三个扬声器SP2、SP3和SP4输出的声音的增益。
这里，没有用在第一组合和第二组合中的扬声器的增益中的每一个被设置为“0”，以使得可以获得两组增益作为第一组合和第二组合中的四个扬声器SP1至SP4的各个增益。
对于每个扬声器，在第一组合和第二组合中获得的扬声器的增益的和被获得作为增益和。例如，在第一组合中的扬声器SP1的增益是g1(1)并且第二组合中的扬声器SP1的增益是g1(2)的情况下，则扬声器SP1的增益和gs1被表示为增益和gs1＝g1(1)+g1(2)。
由于扬声器SP1不包括在第二组合中，因此g1(2)为0。由于扬声器SP1包括在第一扬声器组合中，因此g1(1)不为0。结果，扬声器SP1的增益和gs1不为0。这同样适用于其它扬声器SP2至SP4的增益和。
在以上述方式确定各个扬声器的增益和时，通过以这些增益和的平方和对各个扬声器的增益和进行归一化而获得的值被设置为这些扬声器的最终增益，或者更具体地，被设置为要从这些扬声器输出的声音的增益。
在以上述方式来确定各个扬声器SP1至SP4的增益时，不变地获得不为0的增益。因此，可以使得四个扬声器SP1至SP4中的每一个输出声音，并且可以将声音图像固定在期望位置。
在以下描述中，第m个组合(1≤m≤4)中的扬声器SPk(1≤k≤4)的增益以gk(m)来表示。扬声器SPk(1≤k≤4)的增益和以gsk来表示。
此外，在目标声音图像位置是以箭头Q12指示的位置或者是球面上的、连接扬声器SP2和扬声器SP3的线与连接扬声器SP1和扬声器SP4的线之间的交叉点位置的情况下，存在三个扬声器的四种组合。
具体地，在存在扬声器SP1、扬声器SP2和扬声器SP3的组合(该组合在下文中也将被称为第一组合)的情况下，扬声器SP1、扬声器SP2和扬声器SP4的组合(该组合在下文中将被称为第二组合)是可能的。另外，在存在扬声器SP1、扬声器SP3和扬声器SP4的组合(该组合在下文中将被称为第三组合)的情况下，扬声器SP2、扬声器SP3和扬声器SP4的组合(该组合在下文中将被称为第四组合)是可能的。
在该情况下，对第一至第四组合中的每一个执行三维VBAP，以确定各个扬声器的增益。针对同一扬声器获得的四个增益的和被设置为增益和，并且通过以针对各个扬声器确定的四个增益和的平方和对各个扬声器的增益和进行归一化而获得的值被设置为这些扬声器的最终增益。
在目标声音图像位置是由箭头Q12指示的位置的情况下，如果球面上由扬声器SP1至SP4形成的四边形是矩形等的情况下，例如根据第一组合和第四组合获得与三维VBAP相同的计算结果。因此，如果对适当的两个组合(在该情况下诸如为第一组合和第二组合)执行三维VBAP，则可以获得各个扬声器的增益。然而，在球面上由扬声器SP1至SP4形成的四边形不是矩形等而是不对称四边形的情况下，需要对四个组合中的每一个执行三维VBAP。
<增益计算单元的示例结构>
在通过从四个处理目标扬声器12当中选择扬声器的组合以及对这些组合中的每一个执行VBAP来计算增益而无需确定任何虚拟扬声器的情况下，图9所示的增益计算单元22具有例如图13所示的结构。
图13所示的增益计算单元13包括选择单元91、三维增益计算单元92-1、三维增益计算单元92-2、三维增益计算单元92-3、三维增益计算单元92-4和加法器93。
基于从扬声器选择单元21提供的指示目标声音图像位置的信息和选择信息，选择单元91从被选择作为处理目标的四个扬声器12当中确定包围目标声音图像位置的三个扬声器12的组合。选择单元91将指示扬声器12的组合的信息和指示目标声音图像位置的信息提供到三维增益计算单元92-1至92-4。
三维增益计算单元92-1至92-4基于从选择单元91提供的指示扬声器12的组合的信息和指示目标声音图像位置的信息而执行三维VBAP，并且将所得到的各个扬声器12的增益提供到加法器93。在以下描述中，在不特别需要将三维增益计算单元92-1至92-4彼此区分开的情况下，三维增益计算单元92-1至92-4也将被简称为三维增益计算单元92。
加法器93基于从三维增益计算单元92-1至92-4提供的各个处理目标扬声器12的增益而确定增益和，并且通过对这些增益和进行归一化来计算各个处理目标扬声器12的最终增益。加法器93然后将最终增益提供到增益输出单元24。
<声音定位控制处理的描述>
现在参照图14中的流程图，描述在增益计算单元22具有图13所示的结构的情况下要执行的声音定位控制处理。
步骤S41中的过程与图11的步骤S11中的过程相同，因此，这里不重复其说明。
在步骤S42中，选择单元91基于从扬声器选择单元21提供的指示目标声音图像位置的信息和选择信息而确定扬声器12的组合，并且将指示扬声器12的组合的信息和指示目标声音图像位置的信息提供到三维增益计算单元92。
在目标声音图像位置是由例如图12中的箭头Q11指示的位置的情况下，确定包括等同于扬声器SP1、SP2和SP4的三个扬声器12的扬声器12的组合(第一组合)。另外，确定包括等同于扬声器SP2、SP3和SP4的三个扬声器12的扬声器12的组合(第二组合)。
在该情况下，选择单元91将指示扬声器12的第一组合的信息和指示目标声音图像位置的信息提供到三维增益计算单元92-1，并且将指示扬声器12的第二组合的信息和指示目标声音图像位置的信息提供到三维增益计算单元92-2。在该情况下，指示扬声器12的组合的信息等没有被提供到三维增益计算单元92-3和92-4，并且三维增益计算单元92-3和92-4也不执行三维VBAP的任何计算。
在步骤S43中，基于从选择单元91提供的指示扬声器12的组合的信息和指示目标声音图像位置的信息，三维增益计算单元92计算扬声器12的组合中的各个扬声器12的增益，并且将增益提供到加法器93。
具体地，三维增益计算单元92通过对由指示扬声器12的组合的信息指示的三个扬声器12执行与图11中的步骤S13中的过程相同的过程来确定各个扬声器12的增益。即，执行与根据等式(2)的上述计算相同的计算。四个处理目标扬声器12当中的除了由指示扬声器12的组合的信息指示的三个扬声器12之外的剩余一个扬声器12的增益被设置为“0”。
例如，在步骤S42中确定了两个组合(即，第一组合和第二组合)的情况下，三维增益计算单元92-1通过针对第一组合的三维VBAP而计算各个扬声器12的增益。三维增益计算单元92-2通过针对第二组合的三维VBPA而计算各个扬声器12的增益。
具体地，包括等同于图12所示的扬声器SP1、SP2和SP4的三个扬声器12的扬声器的组合被确定为第一组合。在该情况下，三维增益计算单元92-1计算等同于扬声器SP1的扬声器12的增益g1(1)、等同于扬声器SP2的扬声器12的增益g2(1)和等同于扬声器SP4的扬声器12的增益g4(1)。同时，等同于扬声器SP3的扬声器12的增益g3(1)被设置为“0”。
在步骤S44中，加法器93基于从三维增益计算单元92提供的各个扬声器12的增益而计算处理目标扬声器12的最终增益，并且将最终增益提供到增益输出单元24。
例如，加法器93通过确定从三维增益计算单元92提供的扬声器12的增益g1(1)、g1(2)、g1(3)和g1(4)之和来计算等同于扬声器SP1的扬声器12的增益和gs1。同样，加法器93还计算等同于扬声器SP2的扬声器12的增益和gs2、等同于扬声器SP3的扬声器12的增益和gs3以及等同于扬声器SP4的扬声器12的增益和gs4。
加法器93然后通过以增益和gs1至gs4的平方和对等同于扬声器SP1的扬声器12的增益和gs1进行归一化来确定等同于扬声器SP1的扬声器12的最终增益g1(系数g1)。加法器93还通过与上述相同的计算来确定等同于扬声器SP2至SP4的扬声器12的最终增益g2至g4。
在以上述方式确定处理目标扬声器12的增益之后，执行步骤S45和S46中的过程，并且声音定位控制处理然后结束。然而，这些过程与图11中的步骤S16和S17中的过程相同，因此这里不重复其说明。
如上所述，声音处理设备11基于关于对象的位置信息而选择四个扬声器12作为处理目标，并且对作为四个处理目标扬声器12当中的三个扬声器12的扬声器12的组合执行VBAP。声音处理设备11然后通过确定通过对不同组合执行的VBAP而获得的各个扬声器12的增益之和来确定各个处理目标扬声器12的最终增益，并且对声音信号执行增益调整。
因此，可以从包围目标声音图像位置的四个扬声器12输出声音，并且可以使得声音的定位更稳定。结果，可以使得最佳听音位置范围更宽。
虽然在该实施例中描述了包围目标声音图像位置的四个扬声器12是处理目标扬声器12的示例情况，但是要被选择作为处理目标的扬声器12的数量可以是四个或更大。
例如，在五个扬声器12被选择作为处理目标扬声器12的情况下，包括包围目标声音图像位置的三个扬声器12的扬声器12的组合被选择作为五个扬声器12当中的一种组合。
具体地，如图15所示，等同于五个扬声器SP1至SP5的扬声器12被选择作为处理目标扬声器12，并且目标声音图像位置是由箭头Q21指示的位置。
在该情况下，扬声器SP1、SP2和SP3的组合被选择作为第一组合，并且扬声器SP1、SP2和SP4的组合被选择作为第二组合。另外，扬声器SP1、SP2和SP5的组合被选择作为第三组合。
针对第一至第三组合来确定各个扬声器的增益，并且根据各个扬声器的增益和来计算最终增益。即，针对第一至第三组合，执行图14中的步骤S43的过程，然后执行步骤S44至S46的过程。
如上所述，在五个或更多个扬声器12被选择作为处理目标扬声器12的情况下，还从全部处理目标扬声器12输出声音，以使得可以固定声音图像。
上述一系列处理可由硬件来执行或者可由软件来执行。在这系列处理由软件来执行的情况下，构成该软件的程序被安装到计算机中。这里，计算机可以是并入专用硬件中的计算机，或者可以是可以在其中安装各种程序时执行各种功能的通用计算机。
图16是示出根据程序执行上述一系列处理的计算机的硬件的示例结构的框图。
在计算机中，CPU801、ROM802和RAM803通过总线804彼此连接。
输入/输出接口805还连接到总线804。输入单元806、输出单元807、记录单元808、通信单元809和驱动器810连接到输入/输出接口805。
输入单元806由键盘、鼠标、麦克风、成像装置等构成。输出单元807由显示器、扬声器等构成。记录单元808由硬盘、非易失性存储器等构成。通信单元809由网络接口等构成。驱动器810驱动诸如磁盘、光盘、磁光盘或半导体存储器的可移动介质811。
在具有上述结构的计算机中，CPU801经由例如输入/输出接口805和总线804而将记录在记录单元808中的程序加载到RAM803中，并且执行该程序，从而执行上述一系列处理。
要由计算机(CPU801)执行的程序可例如记录在作为封装介质的可移动介质811中来提供。替选地，程序可以经由有线或无线传输介质(诸如局域网、互联网或数字卫星广播)来提供。
在该计算机中，当可移动介质811安装在驱动器810上时，程序可以经由输入/输出接口805而被安装在记录单元808中。程序也可以由通信单元805经由有线或无线传输介质来接收，并且可以被安装到记录单元808中。替选地，程序可预先安装到ROM802或记录单元808中。
计算机要执行的程序可以是用于根据该说明书中描述的次序以时间顺序执行处理的程序，或者可以是用于并行执行处理或者在必要时(诸如当存在呼叫时)执行处理的程序。
应注意，本技术的实施例不限于上述实施例，并且可在不背离本技术的范围的情况下对其进行各种修改。
例如，本技术可以在云计算结构中来实施，在该云计算结构中，经由网络在设备之间共享一个功能，并且由相互协作的设备来执行处理。
参考上述流程图描述的各个步骤可以由一个装置来实施或者在多个装置之间共享。
在多于一种处理包括在一个步骤中的情况下，包括在该步骤中的处理可以由一个装置来执行或者可以在多个装置之间共享。
此外，本技术可采取以下形式。
[1]一种声音处理设备，包括：
增益计算单元，通过针对靠近作为目标位置的声音图像定位位置设置的四个或更多个声音输出单元之中的两个或三个声音输出单元的多个组合当中的每个不同组合、基于所述声音输出单元之间的位置关系而计算要从所述声音输出单元输出的声音的增益，确定要从所述四个或更多个声音输出单元输出的声音的输出增益，所述输出增益要用于将声音图像固定在所述声音图像定位位置处；以及
增益调整单元，基于所述输出增益而对要从所述声音输出单元输出的声音执行增益调整。
[2]根据[1]所述的声音处理设备，其中，所述输出增益中的至少四个均具有不同于0的值。
[3]根据[1]或[2]所述的声音处理设备，其中，所述增益计算单元包括：
第一增益计算单元，基于虚拟声音输出单元和两个声音输出单元与所述声音图像定位位置之间的位置关系而计算所述虚拟声音输出单元和所述两个声音输出单元的输出增益；
第二增益计算单元，基于与所述两个声音输出单元不同的其它两个声音输出单元和所述虚拟声音输出单元之间的位置关系而计算所述其它两个声音输出单元的增益，所述其它两个声音输出单元的增益要用于将声音图像固定在所述虚拟声音输出单元的位置处；以及
计算单元，基于所述其它两个声音输出单元的增益和所述虚拟声音输出单元的输出增益而计算所述其它两个声音输出单元的输出增益。
[4]根据[3]所述的声音处理设备，其中，所述计算单元通过将所述其它两个声音输出单元的增益与所述虚拟声音输出单元的输出增益相乘来计算所述其它两个声音输出单元的输出增益。
[5]根据[3]或[4]所述的声音处理设备，其中，所述虚拟声音输出单元的位置在以所述四个或更多个声音输出单元为顶点拐角的多边形的边上。
[6]根据[1]或[2]所述的声音处理设备，其中，所述增益计算单元包括：
虚拟增益计算单元，基于三个声音输出单元和所述声音图像定位位置之间的位置关系而计算所述三个声音输出单元的输出增益；以及
计算单元，基于由所述虚拟增益计算单元针对所述组合当中的不同组合计算输出增益而计算出的输出增益来计算所述声音输出单元的最终输出增益。
[7]根据[6]所述的声音处理设备，其中，所述计算单元通过确定针对同一个声音处理单元所确定的输出增益的和而计算所述同一个声音输出单元的最终输出增益。
附图标记列表
11声音处理设备
12-1至12-N和12扬声器
21扬声器选择单元
22增益计算单元
25增益调整单元
61虚拟扬声器位置确定单元
62三维增益计算单元
63二维增益计算单元
64乘法器
65乘法器
91选择单元
92-1至92-4和92三维增益计算单元
93加法器

Claims (9)

1.一种声音处理设备，包括：
增益计算单元，被配置成通过针对靠近作为目标位置的声音图像定位位置设置的至少四个声音输出单元之中的两个或三个声音输出单元的多个组合当中的每个不同组合、基于所述声音输出单元之间的位置关系而计算要从所述声音输出单元输出的声音的增益，确定要从所述至少四个声音输出单元输出的声音的输出增益，所述输出增益要用于将声音图像固定在所述声音图像定位位置处；以及
增益调整单元，被配置成基于所述输出增益而对要从所述声音输出单元输出的声音执行增益调整。
2.根据权利要求1所述的声音处理设备，其中，所述输出增益中的至少四个均具有不同于0的值。
3.根据权利要求2所述的声音处理设备，其中，所述增益计算单元包括：
第一增益计算单元，被配置成基于虚拟声音输出单元和两个声音输出单元与所述声音图像定位位置之间的位置关系而计算所述虚拟声音输出单元和所述两个声音输出单元的输出增益；
第二增益计算单元，被配置成基于与所述两个声音输出单元不同的其它两个声音输出单元和所述虚拟声音输出单元之间的位置关系而计算所述其它两个声音输出单元的增益，所述其它两个声音输出单元的增益要用于将声音图像固定在所述虚拟声音输出单元的位置处；以及
计算单元，被配置成基于所述其它两个声音输出单元的增益和所述虚拟声音输出单元的输出增益而计算所述其它两个声音输出单元的输出增益。
4.根据权利要求3所述的声音处理设备，其中，所述计算单元通过将所述其它两个声音输出单元的增益与所述虚拟声音输出单元的输出增益相乘来计算所述其它两个声音输出单元的输出增益。
5.根据权利要求3所述的声音处理设备，其中，所述虚拟声音输出单元的位置在以所述至少四个声音输出单元为顶点的多边形的边上。
6.根据权利要求2所述的声音处理设备，其中，所述增益计算单元包括：
虚拟增益计算单元，被配置成基于三个声音输出单元和所述声音图像定位位置之间的位置关系而计算所述三个声音输出单元的输出增益；以及
计算单元，被配置成基于由所述虚拟增益计算单元针对所述组合当中的不同组合计算输出增益而计算出的输出增益来计算所述声音输出单元的最终输出增益。
7.根据权利要求6所述的声音处理设备，其中，所述计算单元通过确定针对同一个声音处理单元所确定的输出增益的和而计算所述同一个声音输出单元的最终输出增益。
8.一种声音处理方法，包括以下步骤：
通过针对靠近作为目标位置的声音图像定位位置设置的至少四个声音输出单元之中的两个或三个声音输出单元的多个组合当中的每个不同组合、基于所述声音输出单元之间的位置关系而计算要从所述声音输出单元输出的声音的增益，确定要从所述至少四个声音输出单元输出的声音的输出增益，所述输出增益要用于将声音图像固定在所述声音图像定位位置处；以及
基于所述输出增益而对要从所述声音输出单元输出的声音执行增益调整。
9.一种用于使得计算机执行包括以下步骤的处理的程序：
通过针对靠近作为目标位置的声音图像定位位置设置的至少四个声音输出单元之中的两个或三个声音输出单元的多个组合当中的每个不同组合，基于所述声音输出单元之间的位置关系而计算要从所述声音输出单元输出的声音的增益，确定要从所述至少四个声音输出单元输出的声音的输出增益，所述输出增益要用于将声音图像固定在所述声音图像定位位置处；以及
基于所述输出增益而对要从所述声音输出单元输出的声音执行增益调整。
CN201480022318.8A 2013-04-26 2014-04-11 声音处理设备和方法以及程序 Active CN105144753B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810155322.1A CN108430031B (zh) 2013-04-26 2014-04-11 声音处理设备和方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013094268 2013-04-26
JP2013-094268 2013-04-26
PCT/JP2014/060459 WO2014175075A1 (ja) 2013-04-26 2014-04-11 音声処理装置および方法、並びにプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201810155322.1A Division CN108430031B (zh) 2013-04-26 2014-04-11 声音处理设备和方法

Publications (2)

Publication Number Publication Date
CN105144753A true CN105144753A (zh) 2015-12-09
CN105144753B CN105144753B (zh) 2018-04-06

Family

ID=51791655

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201480022318.8A Active CN105144753B (zh) 2013-04-26 2014-04-11 声音处理设备和方法以及程序
CN201810155322.1A Active CN108430031B (zh) 2013-04-26 2014-04-11 声音处理设备和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201810155322.1A Active CN108430031B (zh) 2013-04-26 2014-04-11 声音处理设备和方法

Country Status (9)

Country Link
US (3) US9681249B2 (zh)
EP (3) EP3860155B1 (zh)
JP (6) JP6515802B2 (zh)
KR (5) KR102160519B1 (zh)
CN (2) CN105144753B (zh)
BR (1) BR112015026504B1 (zh)
RU (2) RU2769677C2 (zh)
TW (1) TWI692254B (zh)
WO (1) WO2014175075A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109479177A (zh) * 2015-12-21 2019-03-15 夏普株式会社 扬声器的配置位置提示装置

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112015026504B1 (pt) 2013-04-26 2021-12-21 Sony Corporation Aparelho e método de processamento de som, e, mídia legível por computador
JP6384735B2 (ja) 2013-04-26 2018-09-05 ソニー株式会社 音声処理装置および方法、並びにプログラム
CN105379311B (zh) 2013-07-24 2018-01-16 索尼公司 信息处理设备以及信息处理方法
RU2708441C2 (ru) * 2015-06-24 2019-12-06 Сони Корпорейшн Устройство, способ и программа аудиообработки
US9820073B1 (en) 2017-05-10 2017-11-14 Tls Corp. Extracting a common signal from multiple audio signals
KR101993585B1 (ko) * 2017-09-06 2019-06-28 주식회사 에스큐그리고 실시간 음원 분리 장치 및 음향기기
US10609485B2 (en) 2017-09-29 2020-03-31 Apple Inc. System and method for performing panning for an arbitrary loudspeaker setup

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100084332A (ko) * 2009-01-16 2010-07-26 연세대학교 산학협력단 3차원 오디오 음상 정위 방법과 장치 및 이와 같은 방법을 구현하는 프로그램이 기록되는 기록매체
CN102694517A (zh) * 2011-03-24 2012-09-26 哈曼贝克自动系统股份有限公司 空间不变的环绕声
CN102711032A (zh) * 2012-05-30 2012-10-03 蒋憧 一种声音处理再现装置
CN102823277A (zh) * 2010-03-26 2012-12-12 汤姆森特许公司 解码用于音频回放的音频声场表示的方法和装置
JP2013510481A (ja) * 2009-11-04 2013-03-21 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 仮想音源に関連するオーディオ信号についてスピーカ設備のスピーカの駆動係数を計算する装置および方法
CN105122846A (zh) * 2013-04-26 2015-12-02 索尼公司 声音处理装置及声音处理系统

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9307934D0 (en) * 1993-04-16 1993-06-02 Solid State Logic Ltd Mixing audio signals
US7231054B1 (en) * 1999-09-24 2007-06-12 Creative Technology Ltd Method and apparatus for three-dimensional audio display
KR100663729B1 (ko) * 2004-07-09 2007-01-02 한국전자통신연구원 가상 음원 위치 정보를 이용한 멀티채널 오디오 신호부호화 및 복호화 방법 및 장치
KR100608002B1 (ko) * 2004-08-26 2006-08-02 삼성전자주식회사 가상 음향 재생 방법 및 그 장치
WO2007028094A1 (en) * 2005-09-02 2007-03-08 Harman International Industries, Incorporated Self-calibrating loudspeaker
JP5010185B2 (ja) 2006-06-08 2012-08-29 日本放送協会 ３次元音響パンニング装置
JP4928177B2 (ja) * 2006-07-05 2012-05-09 日本放送協会 音像形成装置
JP5021809B2 (ja) * 2007-06-08 2012-09-12 ドルビー ラボラトリーズ ライセンシング コーポレイション アンビエンス信号成分とマトリックスデコードされた信号成分とを制御可能に結合することによるサラウンドサウンドオーディオチャンネルのハイブリッド導出
JP4530007B2 (ja) 2007-08-02 2010-08-25 ヤマハ株式会社 音場制御装置
JP5050721B2 (ja) 2007-08-06 2012-10-17 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
WO2009046460A2 (en) * 2007-10-04 2009-04-09 Creative Technology Ltd Phase-amplitude 3-d stereo encoder and decoder
JP4780119B2 (ja) 2008-02-15 2011-09-28 ソニー株式会社 頭部伝達関数測定方法、頭部伝達関数畳み込み方法および頭部伝達関数畳み込み装置
JP2009206691A (ja) 2008-02-27 2009-09-10 Sony Corp 頭部伝達関数畳み込み方法および頭部伝達関数畳み込み装置
JP5401864B2 (ja) 2008-08-01 2014-01-29 ヤマハ株式会社 音響装置及びプログラム
JP4735993B2 (ja) 2008-08-26 2011-07-27 ソニー株式会社 音声処理装置、音像定位位置調整方法、映像処理装置及び映像処理方法
KR101542233B1 (ko) * 2008-11-04 2015-08-05 삼성전자 주식회사 화면음원 정위장치, 화면음원 정위를 위한 스피커 셋 정보 생성방법 및 정위된 화면음원 재생방법
JP5540581B2 (ja) 2009-06-23 2014-07-02 ソニー株式会社 音声信号処理装置および音声信号処理方法
KR101268779B1 (ko) * 2009-12-09 2013-05-29 한국전자통신연구원 라우드 스피커 어레이를 사용한 음장 재생 장치 및 방법
US8718290B2 (en) 2010-01-26 2014-05-06 Audience, Inc. Adaptive noise reduction using level cues
JP5361766B2 (ja) * 2010-02-26 2013-12-04 日本電信電話株式会社 音信号擬似定位システム、方法及びプログラム
DE102010003225A1 (de) * 2010-03-24 2011-09-29 Sennheiser Electronic Gmbh & Co. Kg In-Ear-Monitor-System und Verfahren zum Steuern eines In-Ear-Monitor-Systems
JP5533248B2 (ja) 2010-05-20 2014-06-25 ソニー株式会社 音声信号処理装置および音声信号処理方法
JP2012004668A (ja) 2010-06-14 2012-01-05 Sony Corp 頭部伝達関数生成装置、頭部伝達関数生成方法及び音声信号処理装置
KR20120004909A (ko) * 2010-07-07 2012-01-13 삼성전자주식회사 입체 음향 재생 방법 및 장치
KR101843834B1 (ko) 2011-07-01 2018-03-30 돌비 레버러토리즈 라이쎈싱 코오포레이션 향상된 3d 오디오 오서링과 렌더링을 위한 시스템 및 툴들
JP5845760B2 (ja) 2011-09-15 2016-01-20 ソニー株式会社 音声処理装置および方法、並びにプログラム
WO2013181272A2 (en) 2012-05-31 2013-12-05 Dts Llc Object-based audio system using vector base amplitude panning
CN102984642A (zh) * 2012-12-18 2013-03-20 武汉大学 一种五个扬声器的三维平移方法
US9913064B2 (en) 2013-02-07 2018-03-06 Qualcomm Incorporated Mapping virtual speakers to physical speakers
BR112015026504B1 (pt) 2013-04-26 2021-12-21 Sony Corporation Aparelho e método de processamento de som, e, mídia legível por computador
CN105379311B (zh) 2013-07-24 2018-01-16 索尼公司 信息处理设备以及信息处理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100084332A (ko) * 2009-01-16 2010-07-26 연세대학교 산학협력단 3차원 오디오 음상 정위 방법과 장치 및 이와 같은 방법을 구현하는 프로그램이 기록되는 기록매체
JP2013510481A (ja) * 2009-11-04 2013-03-21 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 仮想音源に関連するオーディオ信号についてスピーカ設備のスピーカの駆動係数を計算する装置および方法
CN102823277A (zh) * 2010-03-26 2012-12-12 汤姆森特许公司 解码用于音频回放的音频声场表示的方法和装置
CN102694517A (zh) * 2011-03-24 2012-09-26 哈曼贝克自动系统股份有限公司 空间不变的环绕声
CN102711032A (zh) * 2012-05-30 2012-10-03 蒋憧 一种声音处理再现装置
CN105122846A (zh) * 2013-04-26 2015-12-02 索尼公司 声音处理装置及声音处理系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
VILLE PULKKI: "virtual sound source positioning using vector base amplitude panning", 《JOURNAL OF AES》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109479177A (zh) * 2015-12-21 2019-03-15 夏普株式会社 扬声器的配置位置提示装置

Also Published As

Publication number Publication date
EP4329338A3 (en) 2024-05-22
JP2020099093A (ja) 2020-06-25
EP3860155A1 (en) 2021-08-04
KR20210134068A (ko) 2021-11-08
RU2018131347A3 (zh) 2021-10-19
US10225677B2 (en) 2019-03-05
KR20230163585A (ko) 2023-11-30
US9681249B2 (en) 2017-06-13
EP3860155B1 (en) 2024-02-07
RU2015144910A3 (zh) 2018-03-30
BR112015026504B1 (pt) 2021-12-21
JP2019092207A (ja) 2019-06-13
CN105144753B (zh) 2018-04-06
EP2991384A1 (en) 2016-03-02
EP2991384B1 (en) 2021-06-02
JP7464085B2 (ja) 2024-04-09
RU2015144910A (ru) 2017-04-26
RU2667377C2 (ru) 2018-09-19
BR112015026504A2 (pt) 2017-07-25
CN108430031A (zh) 2018-08-21
KR102160519B1 (ko) 2020-09-28
US20160073213A1 (en) 2016-03-10
KR20220070342A (ko) 2022-05-30
EP2991384A4 (en) 2016-12-14
JP2022160599A (ja) 2022-10-19
JP2021158699A (ja) 2021-10-07
RU2769677C2 (ru) 2022-04-04
CN108430031B (zh) 2021-02-26
WO2014175075A1 (ja) 2014-10-30
JP2024075689A (ja) 2024-06-04
TW201507493A (zh) 2015-02-16
KR102319766B1 (ko) 2021-11-01
JP6908146B2 (ja) 2021-07-21
US10587976B2 (en) 2020-03-10
KR102401350B1 (ko) 2022-05-24
KR20200111832A (ko) 2020-09-29
RU2018131347A (ru) 2019-03-20
US20190149935A1 (en) 2019-05-16
KR102606599B1 (ko) 2023-11-29
EP4329338A2 (en) 2024-02-28
JPWO2014175075A1 (ja) 2017-02-23
JP6515802B2 (ja) 2019-05-22
TWI692254B (zh) 2020-04-21
JP6669289B2 (ja) 2020-03-18
US20170245086A1 (en) 2017-08-24
KR20160003658A (ko) 2016-01-11

Similar Documents

Publication Publication Date Title
JP7060048B2 (ja) 音声処理装置および情報処理方法、並びにプログラム
CN105144753A (zh) 声音处理设备和方法以及程序

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant