CN107071688A - 用于处理音频信号的方法及装置 - Google Patents

用于处理音频信号的方法及装置 Download PDF

Info

Publication number
CN107071688A
CN107071688A CN201710188697.3A CN201710188697A CN107071688A CN 107071688 A CN107071688 A CN 107071688A CN 201710188697 A CN201710188697 A CN 201710188697A CN 107071688 A CN107071688 A CN 107071688A
Authority
CN
China
Prior art keywords
vdi1
signal
audio signal
audio
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710188697.3A
Other languages
English (en)
Other versions
CN107071688B (zh
Inventor
A·埃罗南
P·奥雅拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Oyj
Nokia Technologies Oy
Original Assignee
Nokia Technologies Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Technologies Oy filed Critical Nokia Technologies Oy
Priority to CN201710188697.3A priority Critical patent/CN107071688B/zh
Publication of CN107071688A publication Critical patent/CN107071688A/zh
Application granted granted Critical
Publication of CN107071688B publication Critical patent/CN107071688B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/568—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities audio processing specific to telephonic conferencing, e.g. spatial distribution, mixing of participants
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2227/00—Details of public address [PA] systems covered by H04R27/00 but not provided for in any of its subgroups
    • H04R2227/003—Digital PA systems using, e.g. LAN or internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R27/00—Public address systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/027—Spatial or constructional arrangements of microphones, e.g. in dummy heads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03—Application of parametric coding in stereophonic audio systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

一种装置(300)包含：用以接收两个或更多个不同音频信号(S1，S2)的一个或多个输入端(IN1，IN2)；用以接收方向信号(SVDI1)的输入端(INVDI1)；以及布置成从所述两个或更多个不同音频信号(S1，S2)中生成经过处理的音频信号(SAUDIO1)的信号处理单元(100)，所述经过处理的音频信号(SAUDIO1)包含与源自由所述方向信号(SVDI1)所指的位置(x2,y2)的声音(SND2)相对应的增强音频信号(SENC1)。

Description

用于处理音频信号的方法及装置
本申请是申请日为2009年6月23日、申请号为200980160095.0、发明名称为“用于处理音频信号的方法及装置”的发明专利申请的分案申请。
技术领域
本发明涉及音频信号的处理。
背景技术
音频处理系统可以包含布置成捕获若干音频信号的若干麦克风。为了以高比特率经由传输路径进行传输，可以对音频信号加以处理。但是，可能需要减少发送音频信号所需的带宽。音频处理系统可以用作例如远程会议系统的一部分。
众所周知，参数编码技术例如双耳线索编码(binaural cue coding，BCC)可以用于降低多声道音频传输中的比特率。
发明内容
本发明的目的是提供用于处理音频信号的装置。本发明的进一步目的是提供用于处理音频信号的方法。
按照本发明的第一方面，提供了按照权利要求1所述的装置。
按照本发明的第二方面，提供了按照权利要求14所述的方法。
按照本发明的第三方面，提供了按照权利要求19所述的计算机程序。
按照本发明的第四方面，提供了按照权利要求20所述的计算机可读介质。
按照本发明的装置(300)可以包含：
-用以接收两个或更多个不同音频信号(S1，S2)的一个或多个输入端(IN1，IN2)；
-用以接收方向信号(SVDI1)的输入端(INVDI1)；以及
-布置成从所述两个或更多个不同音频信号(S1，S2)中生成经过处理的音频信号(SAUDIO1)的信号处理单元(100)，所述经过处理的音频信号(SAUDIO1)包含与源自由所述方向信号(SVDI1)所指的位置(x2,y2)的声音(SND2)相对应的增强音频信号(SENC1)。
由于根据由方向指示器提供的方向信号增强了音频信号，所以可以降低音频传输所需的总比特率。所希望的到达方向的信息可以用于提高空间音频编码和表示的质量。
传统空间音频编码方案平等地对待整个音频场景，其目的是在给定比特率下以最佳可能的感知质量来表示整个声像。但是，例如对于会话服务，可能只需要表示感兴趣的关键性内容，而把其余音频场景当作环境声音，以便以感兴趣的方向优化音频质量。
听像内的感兴趣方向可以通过使用方向检测单元来确定。例如，所述方向检测单元可以是注视方向检测设备。
听像可以通过集中在所确定的感兴趣方向上、例如通过使用定向麦克风阵列来捕获。
听像在所确定的感兴趣方向上的音频信号成分可以使用较高比特率来编码，而其余音频成分可以以较低比特率来编码。换句话说，源自所选到达方向的音频信号可以比声像的其余部分更精确地被编码。
在一个实施例中，方向信号可以由注视方向跟踪设备提供。因此，可以增强感兴趣方向上的音频信号。举一个例子来说，远程会话的参与者可以简单地通过看着最相关扬声器或通过看着所述扬声器的显示图像来增强所述扬声器的声音。
在一个实施例中，由方向指示器提供的方向信号可以用于指引定向麦克风阵列的最大灵敏度的方向。
按照本发明的系统和方法可以提供周围音频场景中集中朝向感兴趣方向的空间音频内容的高效和灵活的编码。空间音频参数化可以从由注视方向检测设备或用于指出感兴趣方向的其它部件所指的感兴趣方向中提取。在一个实施例中，可以利用较粗糙参数化和编码来处理音频场景的其余部分。在一个实施例中，可以利用最少数量参数和利用低比特率将音频场景的其余部分当作环境噪声来处理。
本领域的技术人员可以通过下文给出的描述和例子，以及也通过所附权利要求书更清楚地了解本发明的实施例以及它们的益处。
附图说明
在如下例子中，将参考附图更详细地描述本发明的实施例，在附图中：
图1a示出了方向选择单元位于系统的发送侧的音频处理系统；
图1b示出了方向选择单元位于系统的接收侧的音频处理系统；
图2示出了眼睛的注视方向；
图3示出了注视方向检测设备；
图4示出了如由注视方向检测设备的图像传感器所捕获的眼睛的图像；
图5a示出了看着真实物体的眼睛，其中眼睛的注视方向由注视方向检测设备监视；
图5b示出了看着物体的图像的眼睛，其中眼睛的注视方向由注视方向检测设备监视；
图5c示出了看着物体的虚像的眼睛，其中眼睛的注视方向由注视方向检测设备监视；
图6示出了一种音频处理系统；
图7a示出了包含定向麦克风阵列的音频处理系统；
图7b示出了包含定向麦克风阵列的音频处理系统；
图7c示出了包含定向麦克风阵列和滤波单元的音频处理系统；
图8a示出了参数音频编码器；
图8b示出了布置成根据由附加麦克风捕获的音频信号提供空间音频参数的参数音频编码器；
图8c示出了布置用于为参数音频编码提供缩混(downmixed)信号的定向麦克风阵列；
图8d示出了根据方向信号调整空间音频参数；以及
图9示出了根据听众的位置和取向创建到所述听众的虚拟声场。
所有图形都是示意性的。
具体实施方式
参照图1a，音频处理系统300可以包含两个或更多个麦克风M1，M2，M3、方向选择单元VD1、信号处理单元100、和一个或多个电声换能器SPK1，SPK2。
声音可以源自处在不同空间位置(x1,y1)，(x2,y2)和(x3,y3)上的声源A1，A2，A3。声源A1，A2，A3可以是听觉场景中的任何声源，例如参加会议的参与者。
从声源A1，A2，A3发出的声音SND1，SND2，SND3可以被麦克风M1，M2，M3捕获，以便分别提供音频信号S1，S2，S3。
例如由于声源与麦克风之间的不同距离，由于声源的定向发射模式，和/或由于麦克风的定向灵敏度，麦克风M1，M2，M3对于从源A1，A2，A3发出的声音可以具有不同灵敏度。
例如，第一麦克风M1可能主要对从第一声源A1发出的声音灵敏，并且第一麦克风M1可能对从第二声源A2和第三声源A3发出的声音较不灵敏。第二麦克风M2可能对从第二声源A2发出的声音灵敏，以及第三麦克风可能对从第三声源A3发出的声音灵敏等。
音频信号S1，S2，S3可以被转换成数字形式并且加以处理以供发送和/或存储在例如存储设备中。如果需要的话，可以经由传输路径400发送与所述音频信号S1，S2，S3相对应的经过处理的音频信号SAUDIO1。为了降低传输所需的总比特率，可以将信号处理单元100布置用于为源自由方向选择单元VDI1所指的所选空间位置的音频信号分配较高比特率，以及可以将信号处理单元100布置用于为源自其它位置的音频信号指定较低比特率。
具体地，可以将信号处理单元100布置成增强源自由方向选择单元VDI1所指的空间位置的音频信号。换句话说，可以将信号处理单元100布置成抑制源自其它位置的音频信号。
方向选择单元VDI1提供信号SVDI1，信号SVDI1可以包含有关所选空间位置相对于基准方向的方向的信息。该方向可以例如通过方向SY与从方向选择单元VDI1画到所选位置的直线SELD之间的水平角度α来表达。信号SVDI1还可以包含有关方向SY与直线SELD之间的垂直角度的信息。
方向选择单元VDI1可以由用户A5操作。方向选择单元VDI1可以是例如注视方向检测设备、卫星导航设备、电子罗盘、陀螺罗盘或集成加速度计。电子罗盘可以包含例如基于霍尔效应的磁场传感器。
可以将方向选择单元VDI1布置成检测用户A5的注视方向，或用户可以手动地使罗盘或加速度计指向所选位置。可以沿着所希望的方向移动卫星导航设备例如GPS设备(全球定位系统)，以便提供方向信号SVDI1。
信号处理单元100可以包含滤波单元20。滤波单元20可以包含一组滤波器F1，F3，F3。第一麦克风M1捕获的音频信号S1可以由第一滤波器F1滤波，第二麦克风M2捕获的音频信号S2可以由第二滤波器F2滤波，以及第三麦克风M3捕获的音频信号S3可以由第三滤波器F3滤波。
可以将滤波单元20的滤波器F1，F2，F3布置成改变音频信号的至少一个(例如，S2)相对于其它音频信号(例如，S1，S3)的电平，以便可以增强源自由方向选择单元VDI1所指的空间位置的音频信号。滤波器可以按照由方向选择单元VDI1提供的方向信号SVDI1改变音频信号S1，S2，S3的至少一个的电平。
每个滤波器F1，F2，F3可以包含一个或多个滤波系数k1，k2，k3。符号k1可以表示单个标量乘数。系数k1，k2，k3可以是标量乘数。例如，可以将音频信号S1乘以第一滤波系数k1，可以将音频信号S2乘以第二滤波系数k2，以及可以将音频信号S3乘以第三滤波系数k3，以便增强所选音频信号。
每个符号k1，k2，k3也可以表示滤波系数的集合。具体地，符号k1可以表示代表数字滤波器F1的系数的阵列。例如，当选择了与第二声源A2的位置(x2,y2)相对应的方向时，则可以将信号处理单元100布置成将第二滤波系数k2的值设置得大于第一滤波系数k1和第三滤波系数k3的值。因此，可以有选择地提高第二麦克风M2的音频信号S2的电平，以便提供增强音频信号SENC。
音频信号的电平可以在它们处在模拟形式或数字形式下时加以调整。
信号处理单元100可以包含编码器30。编码器30可以是参数编码器(参见图8a)。具体地，可以将编码器布置成提供双耳线索编码信号(BCC)。可以将编码器30布置成将时域信号转换到频域中。音频信号的电平也可以在频域中加以改变，而不是在时域中调整电平。例如，可以在频域中将经傅立叶变换的信号乘以系数k1，k3，k3，...，而不是在时域中乘以音频信号S1，S2，S3。
可以将信号处理单元100布置成提供经过处理的音频信号SAUDIO1，经过处理的音频信号SAUDIO1包含与源自由方向信号所指的位置的声音相对应的增强音频信号SENC。例如，增强音频信号SENC可以对应于源自位置(x2,y2)的声音SND2。
经过处理的音频信号SAUDIO1可以是例如单声道(monophonic)音频信号。单声道音频信号SC2可以经由单个换能器SPK1再生。但是，在那种情况下，在系统300的接收端上不再生听像。
当接收器只解码和再现缩混信号时，听众可以只专注于方向选择单元VDI1已选择的声源。
为了再生空间效果，系统300可以包含布置成根据编码音频信号SAUDIO1提供两个或更多个音频信号的解码器200。分离的音频信号可以经由两个或更多个电声换能器SPK1，SPK2再生，从而在系统300的接收端的听众A4可以听到再生的声像。换能器SPK1，SPK2可以是例如扬声器或耳机。
编码音频信号SAUDIO1可以是双耳线索编码(BCC)的，并且可以将解码器200布置成将编码音频信号SAUDIO1转换成两个不同声道，以便经由SPK1，SPK2再生立体声。
经过处理的音频信号SAUDIO1可以是双耳线索编码(BCC)的，并且可以将解码器200布置成将音频信号SAUDIO1转换成三个或更多个声道，以便经由扬声器再生。例如，可以将解码器200布置成将音频信号SAUDIO1转换成5.1环绕声或7.1环绕声。5.1环绕声系统具有相对于听众处在不同方向上的五个扬声器、和一个低频音效声道(LFE)。7.1环绕声系统具有相对于听众处在不同方向上的七个扬声器、和一个低频音效声道(LFE)。
一般说来，可以将解码器200布置成根据经过处理的音频信号SAUDIO1提供1，2，3，4，5，6，7，8，9，10个或更多不同音频声道。
如果需要的话，也可以经由传输路径400发送方向选择单元VDI1所提供的信号SVDI1。可以将方向信号SVDI耦合到解码器200。因此，如果需要的话，可以按照由方向信号SVDI所指的方向再现再生的音频信号。
可以将麦克风M1，M2，M3所捕获的音频信号S1，S2，S3耦合到信号处理单元100的各自输入端IN1，IN2，IN3。信号处理单元100可以包含接口IF1，用于提供经过处理的音频信号SAUDIO1以供发送器(未示出)进行发送和/或从接收器(未示出)接收方向信号SVDI1。但是，信号处理单元100可以包含发送器，和/或解码器200可以包含接收器。
信号处理设备100可以包含用于例如存储用于操作所述信号处理设备100的计算机程序代码的存储器MEM1。
如果与声源A1，A2，A3和麦克风M1，M2，M3之间的最小距离L1相比，方向指示器VDI1与麦克风M1，M2，M3之间的距离WVM较大，则可以将数据处理单元100布置成考虑到方向指示器VDI1相对于麦克风M1，M2，M3的位置和/或声源A1，A2，A3与麦克风之间的距离。
方向指示器VDI1与麦克风M1，M2，M3之间的距离WVM优选地比声源A1，A2，A3与麦克风M1，M2，M3之间的最小距离L1的25％更小。
如果需要的话，也可以在经由单个输入端IN1耦合到信号处理设备100之前多路复用音频信号S1，S2，S3。信号处理设备100可以包含布置成将音频信号S1，S2，S3分别分配给不同滤波器F1，F2，F3的解多路复用器。
SX，SY和SZ表示正交方向。方向SY可以解释为例如基准方向。方向SX可以解释为例如水平方向，以及方向SZ可以解释为例如垂直方向。
参照图1b，方向信号SVDI1也可以经由传输路径400发送。具体地，方向选择单元VDI1可以由听众A4在系统300的接收端上操作。
方向指示器VDI1可以位于系统300的接收端上，以及方向信号SVDI1可以经由传输路径400发送到发送端，以便控制信号处理单元100。
信号300可以进一步包含用于捕获与声源A1，A2，A3相对应的视觉图像的相机CAM1。可以将相机CAM1布置成经由传输路径400将图像信号SIMG1发送到接收侧。可以将与声源相对应的各自图像显示在例如屏幕上(参见图6)。
信号SAUDIO1，SIMG1，SVDI1也可以经由不同传输路径400发送。例如，视觉图像信号SIMG1和经过处理的音频信号SAUDIO1可以经由电视广播网络发送，而方向信号SVDI1可以经由移动电话网络从远程听众A4发送到TV演播室。
参照图2，方向信号SVDI1可以例如通过使用注视方向检测设备来提供。图2示出了任意眼睛E1的注视方向GZD。通过监视注视方向GZD，可以确定眼睛E1看着物体A1、A2还是A3。具体地，该物体可以是声源。注视方向GZD可以例如通过注视方向GZD与基准方向REF1之间的水平角度α，以及通过注视方向GZD与基准方向REF1之间的垂直角度β来定义。基准方向REF1可以例如与方向SY对齐。
图3示出了注视方向检测设备700。注视方向检测设备700可以包含一个或多个光源710，720和成像单元730。可以将光源710，720布置成发出光束LB1，LB2。
注视方向检测设备700可以进一步包含图像分析单元750，以便根据成像单元730捕获的图像IMGE1确定注视方向GZD。注视方向检测设备700可以进一步包含阻尼单元770，以便降低方向信号SVDI1的起伏。
光源710，720、图像分析单元750和/或阻尼单元770也可以是外部组件。例如，也可以将太阳或其它外部基本上点状的光源用作光源710。
具体地，光源710，720提供的光束LB1，LB2可以基本上准直在眼睛E1的位置，以便有助于精确确定注视方向GZD。
图4示出了注视方向检测设备700的成像单元730捕获的眼睛E1的图像IMGE1。从光源710，720发出的光从眼睛E1的表面反射。因此，图像IMGE1可以包含称为Purkinje图像的一个或多个反射点G1，G2。可以根据瞳孔P相对于Purkinje图像G1，G2的位置确定水平注视角α和/或垂直注视角β。
两个或更多个Purkinje图像G1，G2的使用提高了精度，并且可以基本上与眼睛E1和跟踪设备700之间的距离无关地作出注视角α和β的确定。但是，在本发明的一些实施例中，可以容忍较低精确度，并且只使用一个Purkinje图像G1或G2来估计注视角α和β就足够了。
一些移动电话包含相机单元。如果将信号处理设备布置成根据所述相机单元所捕获的图像IMGE1确定注视方向，则即使移动电话的相机单元也可以用作注视方向检测设备700的成像单元。所述移动电话或外部便携式计算机的信号处理能力可以用于分析注视方向。
参照图5a，可以将注视方向检测设备700布置成检测眼睛E1看着光源A1、A2还是A3的位置。方向选择单元VDI1可以位于音频传输系统300的发送端上。方向选择单元VDI1可以是布置成监视用户A5(图1)的注视方向的注视方向检测设备700。
方向选择单元VDI1或信号处理单元100可以包含阻尼单元770，以便消除方向信号SVDI1的快速起伏，因为听众A4感受的音像中的快速起伏可能相当令人不悦。例如，可以将方向选择单元VDI1布置成使得至少在改变方向信号SVDI1的值之前的预定时段内眼睛E1必须看着新的位置。该预定时段可以是例如10秒。可以将信号处理单元100布置成使得至少在变更滤波单元20的滤波系数k1，k2，k3的值之前的预定时段内眼睛E1必须看着新的位置。
可替代的是，系统300可以包含由若干用户操作的若干方向选择单元VDI1，并且可以通过表决确定方向信号SVDI1。换句话说，可以将可能方向的总范围划分成一组相邻扇区，并可以对指示每个范围内的方向的方向选择单元的数量进行计数。可以将与计数最高的扇区相对应的方向用于指示所选位置。例如，可以监视例如十个参与者的注视方向，并且如果例如其中六个看着某个位置，则可以将信号处理单元100布置成增强源自所述位置的音频信号。为了监视注视方向，如果可以提高足够高的图像分辨率，可以由单个相机同时捕获若干参与者的眼睛的图像。
参照图5b，也可以将与声源A1，A2，A3相对应的视觉图像IMG1，IMG2，IMG3显示在屏幕SCR1上，并且可以通过注视方向检测设备700确定注视方向。
参照图5c，也可以通过虚拟显示器800显示与声源A1，A2，A3相对应的虚拟图像IMG1，IMG2，IMG3。听众A4可以将虚拟显示器放置在他的眼睛E1附近，从而当虚拟显示器提供的光入射在他的眼睛上时，他感知到有大虚拟图像显示在无限远距离上的印象。
例如，人可以戴着包含注视方向检测设备700和虚拟显示器800的目镜900。该目镜可以进一步包含换能器SPK1，SPK2。
专利公布WO2007/085682和专利申请PCT/FI2008/050065公开了适合这种用途的注视方向检测设备。PCT/FI2008/050065还公开了包含注视方向检测设备和虚拟显示器的目镜。
图6示出了包含第一侧P1、第二侧P2、和数据传输路径400的音频处理系统300。从声源A1，A2，A3发出的声音可以由两个或更多个麦克风M1，M2，M3捕获。声源A1，A2，A3可以是例如会议的参与者。系统300可以是例如远程会议系统。
可以将信号处理单元100布置成增强源自由方向选择单元VDI1所指的空间位置的音频信号。音频信号SAUDIO1可以经由传输路径400发送到第二侧P2，在该第二侧P2它可以经由一个或多个换能器K1，K2再生。
方向指示器VDI1可以位于系统300的第二侧P2。方向指示器VDI1可以是例如布置成根据听众A4的注视方向提供方向信号SVDI1的注视方向检测设备700。可以将方向信号SVDI1从第二侧P2发送到第一侧P1，在该第一侧P1它可以耦合到信号处理单元100。
第一侧P1的相机CAM1可以捕获视频或静止图像，并且可以经由传输路径400将相应图像信号SIMG1发送到第二侧P2。可以将与声源A1，A2，A3相对应的视频或静止图像IMG1，IMG2，IMG3显示在第二侧P2的屏幕或虚拟显示器SCR1上。
因此，可以将注视方向检测设备布置成确定听众A4是否看着图像IMG1，IMG2，IMG3，并且可以分别设置音频增强的方向角α。
系统300可以包含编码器以便提供例如参数编码音频信号SAUDIO1。音频信号SAUDIO1可以由第二侧P2的解码器200解码并经由换能器SPK1，SPK2再生。
系统300可以进一步包含用于捕获听众A4的图像的第二相机CAM4。可以经由传输路径400将相应图像信号SIMG4从第二侧P2发送到第一侧P1。可以将听众A4的图像IMG4显示在第一侧P1的屏幕SCR1上。
第二相机CAM4也可以用作注视方向检测设备的成像单元。
此外，可以将音频信号SAUDIO4从第二侧P2发送到第一侧P1。音频信号SAUDIO4可以由麦克风M4捕获并由换能器SPK4再生。
参照图7a，可以将多个麦克风M1，M2，M3布置成作为定向麦克风阵列ARR1而操作。定向麦克风阵列ARR1的最大灵敏度方向可以通过方向选择单元VDI1来控制，以便增强源自所选位置的音频信号。具体地，定向麦克风阵列ARR1的最大灵敏度方向可以通过注视方向检测设备700来控制。
定向麦克风阵列ARR1的麦克风也可以是双耳麦克风。
信号处理单元100可以包含延迟组(delay bank)52和求和单元53。可以将第一麦克风M1捕获的音频信号S1延迟第一时段τ1。可以将第二麦克风M2捕获的音频信号S2延迟第二时段τ2。可以将第三麦克风M3捕获的音频信号S3延迟第三时段τ3。可以将延迟τ1，τ2，τ3调整成使得源自所选位置并且由麦克风M1，M2，M3捕获的音频信号当它们在求和单元53中组合时处在同相上。延迟的音频信号可以例如通过求和或求平均来组合。所选位置由方向信号SVDI1指示。
定向麦克风阵列ARR1可以包含例如两个或更多个麦克风M1，M2，M3。声源A1，A2，A3与麦克风M1，M2，M3之间的最小距离L1可以大于麦克风M1，M2，M3之间的最大距离W13。例如，三个或更多个麦克风的使用可以提供改进的方向选择性。
求和单元53的输出可以是增强音频信号SENC。如果单声道声音可接受，则求和单元53的输出可以用作经由传输路径发送到系统300的接收侧的信号SAUDIO1。
可以不相对声源A1，A2，A3移动麦克风M1，M2，M3而改变定向麦克风阵列ARR1的最大灵敏度方向。最大灵敏度方向MAXD可以例如通过所述方向MAXD与基准方向SY之间的角度γ来定义。因此，可以将装置300布置成使得最大灵敏度的角度γ取决于注视角α。
参照图7b，可以通过使用波束成形滤波器H1，H2，H3来处理由定向阵列ARR1的各个麦克风M1，M2，M3提供的音频信号S1，S2，S3。
图7b的阵列ARR1的输出由如下方程给出：
其中，n表示离散时间指数，M表示音频信号S1，S2，S3的数量，而L表示波束成形滤波器H1，H2，H3的长度。
如图7a所示，滤波器H1，H2，H3，...的最平凡选择是延迟线。在那种情况下，阵列ARR1的输出由如下方程给出：
其中，τ1，τ2，τ3，...表示每个信号S1，S2，S3...的时间延迟。
定向性也可以在子频带域中，或例如在DFT(离散傅立叶变换)变换域中实现。在那种情况下，每个音频信号A1，A2，A3的延迟可以是频率相关的。
参照图7c，可以将定向麦克风阵列ARR1的输出与各个麦克风M1，M2，M3的输出S1，S2，S3一起加权。具体地，所述各个麦克风M1，M2，M3中的一个或多个可以是所述定向麦克风阵列ARR1的一部分。
可以相对各个麦克风的输出增强定向麦克风阵列ARR1的输出，以便提供增强的音频信号SENC。定向麦克风阵列ARR1的输出和各个麦克风M1，M2，M3的音频信号S1，S2，S3可以使用各自的滤波器F0，F1，F2，F3来滤波。具体地，可以将定向麦克风阵列ARR1的输出和各个麦克风M1，M2，M3的音频信号S1，S2，S3乘以各自的滤波系数k0，k1，k2，k3。
由定向麦克风阵列ARR1捕获的增强的音频信号SENC可以以高比特率发送，而由各个麦克风M1，M2，M3中的一个或多个捕获的音频信号S1，S2，S3可以以较低比特率发送。
定向麦克风阵列捕获的音频信号可以传达主要音频信息，例如所说的话或直接从乐器发出的声音。各个麦克风捕获的音频信号可以传达在再生声像时可以利用的次要信息，例如背景噪声、来自墙壁的回声或掌声。
图8a示出了参数编码器30。参数音频编码方法使得能够实现多声道和空间音频编码和表示。可以将原始音频信号表示成缩混信号SSUM以及描述空间声像的参数的比特流。缩混信号包含数量减少的声道。例如，缩混信号可以是单声道和信号或双声道(立体声)和信号。
参数可以包含描述例如声道间水平差(ILD)、声道间时间差(ITD)和声道间相干性(ICC)的参数。
这种类型的编码方案可以允许多声道信号的极高效压缩。而且，给定所提取的空间信息足够，则可以允许解码成任何其它空间混合格式，即，用于任何其它扬声器装置的任何其它空间混合格式。例如，可以通过例如5.1扬声器系统来再生利用双耳麦克风捕获的音乐或谈话。
编码器30可以包含缩混单元31、单声道音频编码器32、空间分析单元33、参数编码器34和位流格式化单元35。具体地，可以将编码器30布置成提供双耳线索编码(BCC)信号SAUDIO1。
对于BCC方法的详细描述，参考：F.Baumgarte and C.Faller:"Binaural CueCoding-Part I:Psychoacoustic Fundamentals and Design Principles"；IEEETransactions on Speech and Audio Processing,Vol.11,No.6,November 2003，以及参考：C.Faller and F.Baumgarte:"Binaural Cue Coding-Part II:Schemes andApplications",IEEE Transactions on Speech and Audio Processing,Vol.11,No.6,November2003。
参照图8b，空间音频参数ILD，ITD和/或ICC也可以从附加麦克风MLEFT，MRIGHT提供的进一步音频信号SL，SR中确定。换句话说，空间音频参数也可以从不用于缩混的信号中确定。
具体地，附加麦克风MLEFT，MRIGHT可以构成一组双耳麦克风。可以将附加麦克风MLEFT，MRIGHT附在例如移动电话的不同侧或耳机上。耳机可以由用户A5佩戴。
参照图8c，定向麦克风阵列ARR1的增强的单声道输出SENC也可以这样用作缩混信号SSUM，即在那种情况下，不必利用显示在图8b中的缩混单元31。
空间音频参数ILD，ITD和/或ICC也可以从附加麦克风MLEFT，MRIGHT提供的音频信号SL，SR中确定。
可替代的是，空间音频参数ILD，ITD和/或ICC可以从定向麦克风阵列ARR1的各个麦克风M1，M2，M3提供的两个或更多个音频信号S1，S2，S3中确定(图7c)。
听众A4感受的声像可以按照方向信号SVDI1来修改。
如在图1a的上下文中所注意到的那样，方向信号SVDI1也可以发送给解码器200以供在再现中利用。
如果在接收端提供方向信号SVDI1，则也可以通过使用平移法则在所选方向再现定向麦克风阵列ARR1所提供的单声道增强信号SENC。在那种情况下，甚至可以完全省略BCC再现，并且用户可以只专注于捕获用户专注的声源。
参照图8d，可以在系统300的发送端中按照方向信号SVDI1修改编码器300提供的空间参数。因此，即使不经由传输路径400发送方向信号SVDI1，也可以调整再生的声音的表观方向。
修改空间音频参数使得能够实现再现的两种不同的可能性，即，可以将声像再现到所希望的到达方向，或可以将声像再现到声像的中心。
在BCC编码信号SAUDIO1的情况下，例如通过修改声道间时间差(ITD)参数，以及通过修改声道间水平差(ILD)参数，可以调整再生的声音的表观方向。
编码器30可以进一步包含布置成根据方向信号SVDI1修改参数ILD，ITD和/或ICC的值的参数修改单元37。因此，可以将参数修改单元37布置成从空间分析单元33提供的声道间水平差参数ILD中计算修改的声道间水平差参数ILDN。可以将参数修改单元37布置成从空间分析单元33提供的声道间时间差参数ITD中计算修改的声道间时间差参数ITDN。可以将参数修改单元37布置成从空间分析单元33提供的声道间相干性参数ICC中计算修改的声道间相干性参数ICCN。
与ITD参数相联系的时间延迟可以按照如下方程来调整：
τq，NEW＝τq-τm (3)
其中，τq表示与第q子频带相联系的声道间时间差参数的时域变换，τq,NEW表示与第q子频带相联系的新的修改的声道间时间差参数的时域变换，并且τm表示与由方向信号SVDI1所指的方向相对应的时间延迟。
声道间水平差(ILD)参数可以通过如下计算增益系数gLEFT和gRIGHT来修改：
其中，φ表示与方向信号SVDI1相对应的方向角，θLEFT表示与左换能器SPK1的角度，并且θRIGHT表示与右换能器SPK2的角度。如果将换能器的位置选择成与头戴麦克风的左声道和右声道相对应，则θLEFT＝-π/2和θRIGHT＝π/2。现在可以如下修改声道间水平差(ILD)参数：
其中，ΔLq表示与第q子频带相联系的声道间水平差参数，并且ΔLq,NEW表示与第q子频带相联系的新的修改的声道间水平差参数。
此外，可以修改声道间相干性参数ICC。但是，这不是必需的。换句话说，参数ICCN可以等于ICC。
现在可以量化和提供修改的参数ILDN和ITDN，以便经由传输路径400发送到解码器200，或可以将它们存储在例如存储器中，以便随后使用或发送。
在BCC编码的情况下，可以将编码器30布置成操作以使得与由方向信号SVDI1所指的最重要声源相对应的声道间水平差参数和声道间时间差参数基本等于零。与次要声源相对应的声道间水平差参数和声道间时间差参数可以分别显著地偏离零。因此，可以在编码单元34中通过使用相对粗糙的量化来量化声道间水平差参数和/或声道间时间差参数，而不显著降低与最相关声源相对应的再生音频信号的质量。可以降低与次要声源相对应的再生音频信号的质量，因为它们是次要的。
经过处理的音频信号SAUDIO1也可以包含描述从声源A1，A2，A3发出的每个声音SND1，SND2，SND3的估计到达方向的参数。因此，可以用方向信息取代或强化BCC参数化。例如，可以将缩混信号的每个子频带和时间帧与方向参数DOFq相联系，并且经过处理的音频信号SAUDIO1可以包含缩混信号以及所确定的方向参数DOFq。缩混信号可以是例如音频信号S1，S2，S3之和。
在定向参数的情况下，可以将参数修改单元布置成例如通过如下方程确定修改的方向参数DOFq,NEW：
DOFq，NEW＝DOFq-φ (6)
其中，DOFq,NEW表示与第q子频带相联系的修改的方向参数，DOFq表示空间分析单元提供的与第q子频带相联系的方向参数，并且φ表示与由方向信号SVDI1所指的方向相对应的方向角。
经过处理的音频信号SAUDIO1可以包含空间音频参数ILD，ITD，ICC和/或DOFq。但是，也可以分离地存储或经由传输路径400发送空间音频参数。
参数ILD，ITD和/或DOFq确定再生听像中声源的位置，即，这些参数确定经过处理的音频信号SAUDIO1的随后解码步骤中声源的位置。
空间音频参数ILD，ITD和/或DOFq的修改使得在随后解码步骤中可以控制声源位置。由于修改了空间音频参数，所以即使在麦克风M1，M2，M3相对于声源A1，A2，A3保持静止时，也可以调整再生声像中声源的位置。例如，即使在所选方向发生变化时，源自所选方向的声音也可以保持在再生听像的预定位置上。换句话说，可以将参数ILD，ITD调整成使得当由方向信号SVDI1指示所述第一声源的方向时，源自所述第一声源A1的第一声音SND1似乎来自再生听像的预定位置，而当由方向信号SVDI1指示第二声源的方向时，源自所述第二声源A2的第二声音SND2似乎来自再生听像的同一预定位置。源自所选方向的声音可以保持在例如再生听像的中心上。再生听像也可以例如按照方向信号SVDI1而旋转。
取代增强，也可以将由方向指示器VDI1所指的方向用于抑制源自与所述所指方向相对应的位置的音频信号。因此，可以从经由传输路径400发送的音像中抑制或甚至完全消除源自特定位置的干扰声音。
可以将信号处理单元100布置成增强源自第一所选位置的声音或基本上消除源自第二位置的声音。这些位置通过注视方向检测设备700指示，并且可以将数据处理单元100布置成通过经由用户界面输入的命令同时考虑第一位置和第二位置。例如，注视方向检测设备700可以包含“增强”按钮和“消除”按钮。如果用户A4希望增强源自第一方向的声音，他就可以看着所述第一方向并按下“增强”按钮。如果用户A4希望抑制源自第二位置的声音，他就可以看着所述第二位置并按下“消除”按钮。
传输路径400可以是例如因特网、无线电链路、移动电话网络或卫星通信系统。
可以在再生之前或与再生同时地将音频信号存储在存储器中。
信号处理单元100可以实现在可编程数据处理单元中，例如在计算机中。信号处理单元100可以包含计算机可读介质(MEM1)，该计算机可读介质(MEM1)包含当被数据处理器执行时用于按照上面给出的例子增强和/或抑制声音的程序代码。
麦克风M1，M2，M3提供的音频信号和方向选择单元VDI1提供的方向信号SVDI1可以经由一个或多个输入端IN1，IN2，IN3耦合到数据处理单元，并且可以将数据处理单元100布置成例如经由因特网和/或经由移动电话网络发送经过处理的音频信号SAUDIO1。
当声源与麦克风之间的距离L1与麦克风之间的距离W13相比较大时，以及当方向确定单元VDI1与麦克风之间的距离WVM与声源与麦克风之间的距离L1相比较小时，由方向确定单元VDI1所指的方向与最大灵敏度的方向之间的关系是无关紧要的。当注视方向检测设备被用在定向麦克风附近时，这些条件通常都能满足。
如果方向检测单元VDI1与麦克风之间的距离较大，则可以在使用之前初始化信号处理单元100。
该初始化包含找出描述如何可以将方向选择单元VDI1提供的信号SVDI1的值映射到音频捕获装置的最大灵敏度的实际方向或位置的函数。
数据处理单元100可以例如通过校准来初始化。例如，在方向选择单元VDI1总是跟随测试声源的位置的同时，在房间中或在电视演播室中移动所述声源。可以将数据处理单元布置成根据校准确定和存储滤波单元20的系数和/或延迟组52的延迟的值，从而在每种情况下都可以将最大灵敏度的方向与由方向选择单元VDI1所指的方向相联系。
可替代地，可以通过包含如下的方法初始化信号处理单元100：
-从声源发出声音；
-改变麦克风阵列的最大灵敏度的位置；
-看着所述声源或与所述声源相对应的图像；以及
-当所述声源的再生声音的强度达到最大时，经由用户界面向信号处理单元100发送命令。
例如，在扫描定向麦克风阵列ARR1的灵敏度方向的同时，可以请参与者A2讲话。在将注视方向检测设备700布置成监视观众A4的注视方向的同时，听众A4可以看着参与者A2或所述参与者的所显示图像。当参与者A2的声音似乎达到最响音量时，听众可以按下校准按钮。为了完全校准，也可以对参与者A1和参与者A3重复相同过程。
可替代地，可以经由键盘或图形用户界面将麦克风M1，M2，M3的位置、声源A1，A2，A3的估计位置、方向选择单元VDI1的位置、和方向选择单元VDI1的基准方向输入到数据处理单元中。可以将数据处理单元布置成根据所述位置而为由方向选择单元VDI1所指的每个方向计算滤波单元20的系数和/或延迟组52的延迟。
在一个实施例中，甚至不必在系统300的接收端上向听众A4显示视觉图像。听众A4可以例如根据再生听像而检测最感兴趣声源处在听像的左部、中部还是右部。因此，听众A4可以操作方向指示器VDI1，从而选择最感兴趣声源的位置。
如果需要的话，所发送的信号可以在系统300的发送端上多路复用并且在系统300的接收端解多路复用。系统300可以包括两个或更多个换能器SPK1，SPK2以便再生音像。
如果需要的话，也可以在系统300的接收端上滤波解码音频信号，以便恢复增强音频信号相对于其它音频信号的电平。解码器200可以包含滤波器组(未示出)。例如，如果已经通过使用滤波器F2在发送端提高了音频信号S2的电平，则可以在接收端抑制相应的解码音频信号。因此，在换能器SPK1，SPK2再生的声音的声级分布可以基本上对应于原始声音SND1，SND2，SND3的声级分布的同时，可以为源自最相关方向的音频信号分配较高比特率。例如，可以根据方向信号SVDI1在接收端确定新的滤波系数组。可替代地，可以经由传输路径400将滤波系数k1，k2，k3的值从信号处理单元100发送到解码器200，在其中可以将解码音频信号乘以例如倒数值1/k1，1/k2，1/k3，以便恢复不同音频声道之间的原始声级分布。
系统300可以包含用于确定方向确定单元VDI1的绝对位置的位置检测单元。例如，方向确定单元VDI1可以包含GPS导航器(全球定位系统)。此外，可以将方向确定单元VDI1的位置存储在存储器中或经由传输路径400发送。
进一步的实施例可以有助于将发声物体与它们的物理位置相联系，即使当从一定距离记录它们时。
图9示出了根据听众A4的位置和取向创建到所述听众A4的虚拟声场。声源A2可以位于坐标(x2,y2)上。用户A5可以操作坐标(x5,y5)上的方向检测单元VDI1。听众A4可以位于坐标(x4,y4)上。坐标(x4,y4)和坐标(x5,y5)可以例如通过用户A5和听众携带的卫星导航设备确定。听众A4的取向角δ1可以通过例如磁罗盘确定。
用户A5可以操作方向检测单元VDI1，从而知道声源A2相对基准方向(例如，方向SY)的方向角α。
在一些实施例中，声源A2相对基准方向的方向角α也可以通过对第一角和第二角求和来确定。所述第一角可以例如通过罗盘确定，而所述第二角可以例如通过方向检测单元VDI1确定。
因此，可以根据坐标(x5,y5)，根据方向角α，并且根据用户A5与声源A2之间的距离估计声源A2的坐标(x2,y2)。该距离可以被估计和输入到信号处理设备中。
方向检测单元VDI1也可以包含用以监视用户A5的两只眼睛的注视方向的两个注视方向检测单元，即，注视方向检测设备可以是立体的。用户A5与声源A2之间的距离可以从立体注视方向检测设备提供的信号中确定。
从声源A2发出的声音可以被捕获，编码，以及发送到听众A4的解码器200，从而可以经由换能器SPK1，SPK2再生声源A2的声音。具体地，听众A4可以佩戴耳机SPK1，SPK2。
声源A2的估计坐标可以作为辅助信息发送给听众A4的解码器200。声源A2相对于听众A4的取向的方向角δ2可以根据听众的取向角δ1以及根据坐标(x2,y2)和(x4,y4)来确定。
现在可以通过将角度δ2用作到达角度而再现经过处理的音频信号SAUDIO1，来为听众A4创建虚拟声场。
听众A4可以物理地存在于坐标(x4,y4)上，其中声像可以由被经由传输路径发送的声音加强了的实际环境声音形成。
即使真实声源未激活，也可以通过将虚拟发声体加在真实声源的实际位置上而加强听众A4感受的声场。换句话说，可以将换能器SPK1，SPK2布置成再生以前记录的声音。
听众A4与声源A2之间的距离可以用于控制再现声音的音量。因此，如果当记录声音时听众A4比用户A5更远离声源A2，则听众A4可能听到音量比用户A5原始听到的音量低的声音。
按照所检测注视方向的声源增强可以用在TV或电台播音室中，以便迅速地为有限带宽传输选择最相关声源。
按照所检测注视方向的声源增强可以应用于例如电话、音频共享或自由视点视频服务。所述服务可以例如经由因特网或经由移动电话网络提供。
对于本领域的技术人员来说，能够想到可以对按照本发明的设备和方法加以修改和改变。上面参考附图所述的特定实施例只是例示性的，而不是意图限制由所附权利要求书限定的本发明的范围。

Claims (11)

1.一种用于处理音频信号的装置(300)，其包含：
-用以接收两个或更多个不同音频信号(S1，S2)的一个或多个输入端(IN1，IN2)；
-用以提供方向信号(SVDI1)的方向选择单元(VDI1)，所述方向选择单元(VDI1)是包括两个光源(710、720)的注视方向检测设备(700)并且被配置为根据瞳孔与所述两个光源(710、720)的反射点而确定所述方向信号(SVDI1)；
-用以接收所述方向信号(SVDI1)的输入端(INVDI1)；以及
-布置成从所述两个或更多个不同音频信号(S1，S2)中生成经过处理的音频信号(SAUDIO1)的包括编码器(30)的信号处理单元(100)，所述经过处理的音频信号(SAUDIO1)包含与源自由所述方向信号(SVDI1)所指的位置(x2，y2)的声音(SND2)相对应的增强音频信号(SENC1)，所述信号处理单元(100)被进一步布置成提供用于在所述经过处理的音频信号(SAUDIO1)的随后解码中控制声源位置的一个或多个空间音频参数(ILD，ITD，DOFq)，其中所述经过处理的音频信号(SAUDIO1)是双耳线索编码(BCC)的，并且其中所述空间音频参数包含声道间时间差参数(ITD)和/或声道间水平差(ILD)参数，并且其中所述编码器(30)包括被布置成基于所述方向信号(SVDI1)调整所述空间音频参数(ILD，ITD，DOFq)的值的参数修改单元(37)。
2.如权利要求1所述的装置(300)，其中所述方向选择单元(VDI1)是电子罗盘、加速度计或陀螺仪。
3.按照权利要求1或2所述的装置(300)，包含用于接收经由传输路径(400)发送的所述方向信号(SVDI1)的接口(IF1)。
4.按照权利要求1或2所述的装置(300)，包含用以减少所述方向信息(SVDI1)中的起伏的阻尼单元(770)。
5.按照权利要求1或2所述的装置(300)，包含布置成作为定向麦克风阵列(ARR1)操作的两个或更多个麦克风(M1，M2，M3)，其中所述定向麦克风阵列(ARR1)的最大灵敏度的方向(MAXD)被布置成根据所述方向信号(SVDI1)来调整。
6.按照权利要求1或2所述的装置(300)，进一步包含用以确定所述方向选择单元(VDI1)的位置的位置检测单元(780)。
7.如权利要求6所述的装置(300)，其中所述位置检测单元(780)基于卫星导航系统(GPS)。
8.按照权利要求1或2所述的装置(300)，其中所述空间音频参数包含描述声音(SND1，SND2，SND3)的到达方向的参数。
9.一种用于提供音频信号的方法，所述方法包含：
-从两个或更多个麦克风(M1，M2)接收两个或更多个音频信号(S1，S2)；
-接收从方向选择单元(VDI1)发送的方向信号(SVDI1)，所述方向选择单元(VDI1)是包括两个光源(710、720)的注视方向检测设备(700)并且被配置为根据瞳孔与所述两个光源(710、720)的反射点而确定所述方向信号(SVDI1)；
-从所述两个或更多个不同音频信号(S1，S2)中生成经过处理的音频信号(SAUDIO1)，所述经过处理的音频信号(SAUDIO1)包含与源自由所述方向信号(SVDI1)所指的位置(x2,y2)的声音(SND2)相对应的增强音频信号(SENC1)
-提供用于在所述经过处理的音频信号(SAUDIO1)的随后解码中控制声源位置的一个或多个空间音频参数(ILD，ITD，DOFq)，其中所述经过处理的音频信号(SAUDIO1)是双耳线索编码(BCC)的，并且其中所述空间音频参数包含声道间时间差参数(ITD)和/或声道间水平差(ILD)参数，以及
-根据所述方向信号(SVDI1)调整所述空间音频参数(ILD，ITD，DOFq)的值。
10.按照权利要求9所述的方法，进一步包含接收经由所述传输路径(400)发送的所述方向信号(SVDI1)。
11.一种用于处理音频信号的部件(300)，其包含：
-用于接收音频信号的部件(IN1，IN2)，布置成接收两个或更多个不同音频信号(S1，S2)；
-用于接收从方向选择单元(VDI1)发送的方向信号(SVDI1)的部件(INVDI1)，所述方向选择单元(VDI1)是包括两个光源(710、720)的注视方向检测设备(700)并且被配置为根据瞳孔与所述两个光源(710、720)的反射点而确定所述方向信号(SVDI1)；
-包括编码器部件(30)的用于信号处理的部件(100)，布置成从所述两个或更多个不同音频信号(S1，S2)中生成经过处理的音频信号(SAUDIO1)，所述经过处理的音频信号(SAUDIO1)包含与源自由所述方向信号(SVDI1)所指的位置(x2,y2)的声音(SND2)相对应的增强音频信号(SENC1)，其中所述用于信号处理的部件(100)被进一步布置成提供用于在所述经过处理的音频信号(SAUDIO1)的随后解码中控制声源位置的一个或多个空间音频参数(ILD，ITD，DOFq)，其中所述经过处理的音频信号(SAUDIO1)是双耳线索编码(BCC)的，并且其中所述空间音频参数包含声道间时间差参数(ITD)和/或声道间水平差(ILD)参数，以及
-用于根据所述方向信号(SVDI1)修改所述空间音频参数(ILD，ITD，DOFq)的值的部件(37)。
CN201710188697.3A 2009-06-23 2009-06-23 用于处理音频信号的方法及装置 Active CN107071688B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710188697.3A CN107071688B (zh) 2009-06-23 2009-06-23 用于处理音频信号的方法及装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
PCT/FI2009/050559 WO2010149823A1 (en) 2009-06-23 2009-06-23 Method and apparatus for processing audio signals
CN201710188697.3A CN107071688B (zh) 2009-06-23 2009-06-23 用于处理音频信号的方法及装置
CN2009801600950A CN102804806A (zh) 2009-06-23 2009-06-23 用于处理音频信号的方法及装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN2009801600950A Division CN102804806A (zh) 2009-06-23 2009-06-23 用于处理音频信号的方法及装置

Publications (2)

Publication Number Publication Date
CN107071688A true CN107071688A (zh) 2017-08-18
CN107071688B CN107071688B (zh) 2019-08-23

Family

ID=43386066

Family Applications (2)

Application Number Title Priority Date Filing Date
CN2009801600950A Pending CN102804806A (zh) 2009-06-23 2009-06-23 用于处理音频信号的方法及装置
CN201710188697.3A Active CN107071688B (zh) 2009-06-23 2009-06-23 用于处理音频信号的方法及装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN2009801600950A Pending CN102804806A (zh) 2009-06-23 2009-06-23 用于处理音频信号的方法及装置

Country Status (5)

Country Link
US (1) US9888335B2 (zh)
EP (1) EP2446642B1 (zh)
CN (2) CN102804806A (zh)
CA (1) CA2765116C (zh)
WO (1) WO2010149823A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107493546A (zh) * 2017-09-25 2017-12-19 南京律智诚专利技术开发有限公司 基于音量传感器的会议室音响控制系统
CN109525929A (zh) * 2018-10-29 2019-03-26 中国传媒大学 一种录音定位方法及装置
CN112055974A (zh) * 2018-03-02 2020-12-08 诺基亚技术有限公司 音频处理

Families Citing this family (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DK2202609T3 (en) 2004-06-18 2016-04-25 Tobii Ab Eye control of computer equipment
US8488246B2 (en) 2010-02-28 2013-07-16 Osterhout Group, Inc. See-through near-eye display glasses including a curved polarizing film in the image source, a partially reflective, partially transmitting optical element and an optically flat film
US9229227B2 (en) 2010-02-28 2016-01-05 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US9097891B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment
US8477425B2 (en) 2010-02-28 2013-07-02 Osterhout Group, Inc. See-through near-eye display glasses including a partially reflective, partially transmitting optical element
US9091851B2 (en) 2010-02-28 2015-07-28 Microsoft Technology Licensing, Llc Light control in head mounted displays
US9182596B2 (en) 2010-02-28 2015-11-10 Microsoft Technology Licensing, Llc See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light
AU2011220382A1 (en) 2010-02-28 2012-10-18 Microsoft Corporation Local advertising content on an interactive head-mounted eyepiece
US10180572B2 (en) 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
US9341843B2 (en) 2010-02-28 2016-05-17 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a small scale image source
US9129295B2 (en) 2010-02-28 2015-09-08 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear
US9134534B2 (en) 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
US9366862B2 (en) 2010-02-28 2016-06-14 Microsoft Technology Licensing, Llc System and method for delivering content to a group of see-through near eye display eyepieces
US9285589B2 (en) 2010-02-28 2016-03-15 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered control of AR eyepiece applications
US20150309316A1 (en) 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US8482859B2 (en) 2010-02-28 2013-07-09 Osterhout Group, Inc. See-through near-eye display glasses wherein image light is transmitted to and reflected from an optically flat film
US9223134B2 (en) 2010-02-28 2015-12-29 Microsoft Technology Licensing, Llc Optical imperfections in a light transmissive illumination system for see-through near-eye display glasses
US8472120B2 (en) 2010-02-28 2013-06-25 Osterhout Group, Inc. See-through near-eye display glasses with a small scale image source
US8467133B2 (en) 2010-02-28 2013-06-18 Osterhout Group, Inc. See-through display with an optical assembly including a wedge-shaped illumination system
US9759917B2 (en) 2010-02-28 2017-09-12 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered AR eyepiece interface to external devices
US9097890B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc Grating in a light transmissive illumination system for see-through near-eye display glasses
US8831761B2 (en) * 2010-06-02 2014-09-09 Sony Corporation Method for determining a processed audio signal and a handheld device
JP5198530B2 (ja) * 2010-09-28 2013-05-15 株式会社東芝 音声付き動画像呈示装置、方法およびプログラム
US8520080B2 (en) 2011-01-31 2013-08-27 Hand Held Products, Inc. Apparatus, system, and method of use of imaging assembly on mobile terminal
EP2508945B1 (en) 2011-04-07 2020-02-19 Sony Corporation Directional sound capturing
US9973848B2 (en) * 2011-06-21 2018-05-15 Amazon Technologies, Inc. Signal-enhancing beamforming in an augmented reality environment
US8175297B1 (en) 2011-07-06 2012-05-08 Google Inc. Ad hoc sensor arrays
WO2013093565A1 (en) 2011-12-22 2013-06-27 Nokia Corporation Spatial audio processing apparatus
US11714487B2 (en) 2013-03-04 2023-08-01 Tobii Ab Gaze and smooth pursuit based continuous foveal adjustment
US10895908B2 (en) 2013-03-04 2021-01-19 Tobii Ab Targeting saccade landing prediction using visual history
US9898081B2 (en) 2013-03-04 2018-02-20 Tobii Ab Gaze and saccade based graphical manipulation
CN104065798B (zh) * 2013-03-21 2016-08-03 华为技术有限公司 声音信号处理方法及设备
CA2908654C (en) 2013-04-10 2019-08-13 Nokia Technologies Oy Audio recording and playback apparatus
CN108235192B (zh) * 2013-04-10 2021-10-15 诺基亚技术有限公司 音频记录和回放装置
KR101984356B1 (ko) 2013-05-31 2019-12-02 노키아 테크놀로지스 오와이 오디오 장면 장치
US9143880B2 (en) * 2013-08-23 2015-09-22 Tobii Ab Systems and methods for providing audio to a user based on gaze input
ES2633016T3 (es) 2013-08-23 2017-09-18 Tobii Ab Sistemas y métodos para proveer audio a un usuario según una entrada de mirada
KR101926942B1 (ko) 2013-09-03 2019-03-07 토비 에이비 휴대용 눈 추적 디바이스
US10310597B2 (en) 2013-09-03 2019-06-04 Tobii Ab Portable eye tracking device
US10686972B2 (en) 2013-09-03 2020-06-16 Tobii Ab Gaze assisted field of view control
US9894454B2 (en) * 2013-10-23 2018-02-13 Nokia Technologies Oy Multi-channel audio capture in an apparatus with changeable microphone configurations
US9402095B2 (en) * 2013-11-19 2016-07-26 Nokia Technologies Oy Method and apparatus for calibrating an audio playback system
US9271077B2 (en) * 2013-12-17 2016-02-23 Personics Holdings, Llc Method and system for directional enhancement of sound using small microphone arrays
US9952883B2 (en) 2014-08-05 2018-04-24 Tobii Ab Dynamic determination of hardware
CN106999710B (zh) * 2014-12-03 2020-03-20 Med-El电气医疗器械有限公司 基于测量的itd的ild的听力植入双侧匹配
US9530426B1 (en) 2015-06-24 2016-12-27 Microsoft Technology Licensing, Llc Filtering sounds for conferencing applications
GB2540224A (en) * 2015-07-08 2017-01-11 Nokia Technologies Oy Multi-apparatus distributed media capture for playback control
CN106535060B (zh) * 2015-09-14 2018-08-10 中国移动通信集团公司 一种拾音控制方法、音频播放方法及装置
US9905244B2 (en) * 2016-02-02 2018-02-27 Ebay Inc. Personalized, real-time audio processing
JP6786816B2 (ja) * 2016-02-29 2020-11-18 ヤマハ株式会社 接続ケーブル、マイクおよび信号処理システム
US10089063B2 (en) * 2016-08-10 2018-10-02 Qualcomm Incorporated Multimedia device for processing spatialized audio based on movement
EP3287868B1 (en) * 2016-08-26 2020-10-14 Nokia Technologies Oy Content discovery
EP3293733A1 (en) * 2016-09-09 2018-03-14 Thomson Licensing Method for encoding signals, method for separating signals in a mixture, corresponding computer program products, devices and bitstream
GB201615538D0 (en) 2016-09-13 2016-10-26 Nokia Technologies Oy A method , apparatus and computer program for processing audio signals
US10122956B2 (en) * 2016-09-16 2018-11-06 Gopro, Inc. Beam forming for microphones on separate faces of a camera
GB201718341D0 (en) 2017-11-06 2017-12-20 Nokia Technologies Oy Determination of targeted spatial audio parameters and associated spatial audio playback
CN107801125A (zh) * 2017-12-04 2018-03-13 深圳市易探科技有限公司 一种具有微波雷达感应的智能音箱控制系统
US10356362B1 (en) * 2018-01-16 2019-07-16 Google Llc Controlling focus of audio signals on speaker during videoconference
GB2572650A (en) 2018-04-06 2019-10-09 Nokia Technologies Oy Spatial audio parameters and associated spatial audio playback
GB2574239A (en) 2018-05-31 2019-12-04 Nokia Technologies Oy Signalling of spatial audio parameters
CN109660911A (zh) * 2018-11-27 2019-04-19 Oppo广东移动通信有限公司 录音音效处理方法、装置、移动终端及存储介质
US11212631B2 (en) 2019-09-16 2021-12-28 Gaudio Lab, Inc. Method for generating binaural signals from stereo signals using upmixing binauralization, and apparatus therefor
US11290837B1 (en) * 2020-10-23 2022-03-29 Facebook Technologies, Llc Audio system using persistent sound source selection for audio enhancement
US20220256303A1 (en) * 2021-02-11 2022-08-11 Nuance Communicarions, Inc Multi-channel speech compression system and method
WO2022173980A1 (en) 2021-02-11 2022-08-18 Nuance Communications, Inc. Multi-channel speech compression system and method
JP7464927B2 (ja) 2022-09-12 2024-04-10 公立大学法人公立はこだて未来大学 通信システム、通信装置、プログラム、及び制御方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6937272B1 (en) * 2000-11-08 2005-08-30 Xerox Corporation Display device for a camera
US20080232601A1 (en) * 2007-03-21 2008-09-25 Ville Pulkki Method and apparatus for enhancement of audio reconstruction
CN101384105A (zh) * 2008-10-27 2009-03-11 深圳华为通信技术有限公司 三维声音重现的方法、装置及系统

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5360971A (en) * 1992-03-31 1994-11-01 The Research Foundation State University Of New York Apparatus and method for eye tracking interface
SE501989C2 (sv) 1992-10-22 1995-07-10 Henrys Innovation Ab Ram och upphängningsbeslag för AV-system
US5335011A (en) * 1993-01-12 1994-08-02 Bell Communications Research, Inc. Sound localization system for teleconferencing using self-steering microphone arrays
US5742264A (en) * 1995-01-24 1998-04-21 Matsushita Electric Industrial Co., Ltd. Head-mounted display
US6118888A (en) * 1997-02-28 2000-09-12 Kabushiki Kaisha Toshiba Multi-modal interface apparatus and method
US5940118A (en) * 1997-12-22 1999-08-17 Nortel Networks Corporation System and method for steering directional microphones
JP3195920B2 (ja) * 1999-06-11 2001-08-06 科学技術振興事業団 音源同定・分離装置及びその方法
JP3789685B2 (ja) 1999-07-02 2006-06-28 富士通株式会社 マイクロホンアレイ装置
AU772400B2 (en) 2000-04-28 2004-04-29 Swisscom Mobile Ag Method and system for video conferences
US6973184B1 (en) * 2000-07-11 2005-12-06 Cisco Technology, Inc. System and method for stereo conferencing over low-bandwidth links
US6894714B2 (en) * 2000-12-05 2005-05-17 Koninklijke Philips Electronics N.V. Method and apparatus for predicting events in video conferencing and other applications
WO2002071770A1 (en) * 2001-03-06 2002-09-12 Beamreach Networks, Inc. Adaptive communications methods for multiple user packet radio wireless networks
EP1410678A2 (en) * 2001-03-22 2004-04-21 D-Start Advanced Technologies Ltd. A method and system for transmitting and/or receiving audio signals with a desired direction
US7116787B2 (en) 2001-05-04 2006-10-03 Agere Systems Inc. Perceptual synthesis of auditory scenes
US7333622B2 (en) * 2002-10-18 2008-02-19 The Regents Of The University Of California Dynamic binaural sound capture and reproduction
EP1817767B1 (en) * 2004-11-30 2015-11-11 Agere Systems Inc. Parametric coding of spatial audio with object-based side information
US20060140420A1 (en) 2004-12-23 2006-06-29 Akihiro Machida Eye-based control of directed sound generation
JP5123843B2 (ja) 2005-03-16 2013-01-23 コクス，ジェイムズ マイクロフォンアレイおよびデジタル信号処理システム
JP4674505B2 (ja) * 2005-08-01 2011-04-20 ソニー株式会社 音声信号処理方法、音場再現システム
DE102005057406A1 (de) * 2005-11-30 2007-06-06 Valenzuela, Carlos Alberto, Dr.-Ing. Verfahren zur Aufnahme einer Tonquelle mit zeitlich variabler Richtcharakteristik und zur Wiedergabe sowie System zur Durchführung des Verfahrens
WO2007080211A1 (en) * 2006-01-09 2007-07-19 Nokia Corporation Decoding of binaural audio signals
EP1983884B1 (en) 2006-01-26 2016-10-26 Nokia Technologies Oy Eye tracker device
CN101390440B (zh) * 2006-02-27 2012-10-10 松下电器产业株式会社 可穿戴终端、控制可穿戴终端的处理器及方法
US20080252595A1 (en) 2007-04-11 2008-10-16 Marc Boillot Method and Device for Virtual Navigation and Voice Processing
US8180062B2 (en) 2007-05-30 2012-05-15 Nokia Corporation Spatial sound zooming
US8159519B2 (en) * 2007-05-31 2012-04-17 Eastman Kodak Company Personal controls for personal video communications
US8509454B2 (en) 2007-11-01 2013-08-13 Nokia Corporation Focusing on a portion of an audio scene for an audio signal
EP2242419B1 (en) 2008-02-14 2016-01-13 Nokia Technologies Oy Device and method for determining gaze direction
US8150063B2 (en) * 2008-11-25 2012-04-03 Apple Inc. Stabilizing directional audio input from a moving microphone array

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6937272B1 (en) * 2000-11-08 2005-08-30 Xerox Corporation Display device for a camera
US20080232601A1 (en) * 2007-03-21 2008-09-25 Ville Pulkki Method and apparatus for enhancement of audio reconstruction
CN101384105A (zh) * 2008-10-27 2009-03-11 深圳华为通信技术有限公司 三维声音重现的方法、装置及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107493546A (zh) * 2017-09-25 2017-12-19 南京律智诚专利技术开发有限公司 基于音量传感器的会议室音响控制系统
CN112055974A (zh) * 2018-03-02 2020-12-08 诺基亚技术有限公司 音频处理
US11516615B2 (en) 2018-03-02 2022-11-29 Nokia Technologies Oy Audio processing
CN109525929A (zh) * 2018-10-29 2019-03-26 中国传媒大学 一种录音定位方法及装置

Also Published As

Publication number Publication date
CN102804806A (zh) 2012-11-28
CN107071688B (zh) 2019-08-23
WO2010149823A1 (en) 2010-12-29
EP2446642A4 (en) 2015-11-18
US20120163606A1 (en) 2012-06-28
EP2446642B1 (en) 2017-04-12
CA2765116A1 (en) 2010-12-29
CA2765116C (en) 2020-06-16
EP2446642A1 (en) 2012-05-02
US9888335B2 (en) 2018-02-06

Similar Documents

Publication Publication Date Title
CN107071688B (zh) 用于处理音频信号的方法及装置
JP5340296B2 (ja) 復号化装置、符号化復号化装置および復号化方法
JP5281575B2 (ja) オーディオオブジェクトのエンコード及びデコード
KR101358700B1 (ko) 오디오 인코딩 및 디코딩
CN111316354B (zh) 目标空间音频参数和相关联的空间音频播放的确定
US7602921B2 (en) Sound image localizer
CN110537221A (zh) 用于空间音频处理的两阶段音频聚焦
JP2019530389A (ja) 適応型キャプチャを利用した、マイクアレイからの空間オーディオ信号フォーマット生成
CN113597776B (zh) 参数化音频中的风噪声降低
WO2013176890A2 (en) Three-dimensional sound compression and over-the-air-transmission during a call
WO2013156818A1 (en) An audio scene apparatus
JP2008543143A (ja) 音響変換器のアセンブリ、システムおよび方法
JP2008543144A (ja) 音響信号用装置、システム、方法
WO2010125228A1 (en) Encoding of multiview audio signals
CN113170274B (zh) 环境音频表示和相关联的渲染
WO2014053875A1 (en) An apparatus and method for reproducing recorded audio with correct spatial directionality
JP2023515968A (ja) 空間メタデータ補間によるオーディオレンダリング
Rafaely et al. Spatial audio signal processing for binaural reproduction of recorded acoustic scenes–review and challenges
WO2012161089A1 (ja) テレビ会議装置
JP7070910B2 (ja) テレビ会議システム
US11483669B2 (en) Spatial audio parameters
US20230188924A1 (en) Spatial Audio Object Positional Distribution within Spatial Audio Communication Systems
JP2006270649A (ja) 音声・音響信号処理装置およびその方法
CN115376528A (zh) 三维音频信号编码方法、装置和编码器
Ritz et al. Backward compatible spatialized teleconferencing based on squeezed recordings

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant