CN104272137B - 用于映射源位置的系统和方法 - Google Patents

用于映射源位置的系统和方法 Download PDF

Info

Publication number
CN104272137B
CN104272137B CN201380019298.4A CN201380019298A CN104272137B CN 104272137 B CN104272137 B CN 104272137B CN 201380019298 A CN201380019298 A CN 201380019298A CN 104272137 B CN104272137 B CN 104272137B
Authority
CN
China
Prior art keywords
electronic installation
microphone
source
doa
audio signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380019298.4A
Other languages
English (en)
Other versions
CN104272137A (zh
Inventor
金莱轩
E·维瑟
P·L·通
J·P·托曼
J·C·邵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN104272137A publication Critical patent/CN104272137A/zh
Application granted granted Critical
Publication of CN104272137B publication Critical patent/CN104272137B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/87Combinations of sonar systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/87Combinations of sonar systems
    • G01S15/876Combination of several spaced transmitters or receivers of known location for determining the position of a transponder or a reflector
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/8006Multi-channel systems specially adapted for direction-finding, i.e. having a single aerial system capable of giving simultaneous indications of the directions of different signals
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/18Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/18Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
    • G01S5/186Determination of attitude
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • G06F16/432Query formulation
    • G06F16/433Query formulation using audio data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/08Mouthpieces; Microphones; Attachments therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/40Visual indication of stereophonic sound image
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802Systems for determining direction or deviation from predetermined direction
    • G01S3/808Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems
    • G01S3/8083Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems determining direction of source
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166Microphone arrays; Beamforming

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Otolaryngology (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明描述一种用于通过电子装置映射源位置的方法。所述方法包含获得传感器数据。所述方法还包含基于所述传感器数据将源位置映射到电子装置坐标。所述方法进一步包含将所述源位置从电子装置坐标映射到物理坐标。所述方法另外包含基于映射而执行操作。

Description

用于映射源位置的系统和方法
相关申请案
本申请案涉及2012年10月12日申请的第61/713,447号美国临时专利申请案“用于映射坐标的系统和方法(SYSTEMS AND METHODS FOR MAPPING COORDINATES)”、2012年10月15日申请的第61/714,212号美国临时专利申请案“用于映射坐标的系统和方法(SYSTEMSAND METHODS FOR MAPPING COORDINATES)”、2012年4月13日申请的第61/624,181号美国临时专利申请案“用于估计到达方向的系统、方法及设备(SYSTEMS,METHODS,AND APPARATUSFOR ESTIMATING DIRECTION OF ARRIVAL)”、2012年5月4日申请的第61/642,954号美国临时专利申请案“用于估计到达方向的系统、方法及设备(SYSTEMS,METHODS,AND APPARATUSFOR ESTIMATING DIRECTION OF ARRIVAL)”,及2012年11月14日申请的第61/726,336号美国临时专利申请案“用于估计到达方向的系统、方法及设备(SYSTEMS,METHODS,ANDAPPARATUS FOR ESTIMATING DIRECTION OF ARRIVAL)”且主张所述申请案的权益。
技术领域
本发明大体上涉及电子装置。更具体来说,本发明涉及用于映射源位置的系统和方法。
背景技术
在过去几十年中,电子装置的使用已变得常见。具体来说,电子技术的进步已减少越来越复杂且有用的电子装置的成本。成本减少和消费者需求已使电子装置的使用激增,使得电子装置在现代社会中几乎无所不在。随着电子装置的使用已扩大,对电子装置的新的和改进型特征的需求也扩大。更特定来说,较快速、较有效地执行功能或具有较高质量的电子装置常常广受欢迎。
一些电子装置(例如,蜂窝式电话、智能电话、计算机等等)使用音频或话语信号。这些电子装置可译码话语信号以用于存储或发射。举例来说,蜂窝式电话使用麦克风俘获用户的语音或话语。麦克风将声信号转换为电子信号。此电子信号可接着经格式化(例如,经译码)以用于发射到另一装置(例如,蜂窝式电话、智能电话、计算机等等)以用于回放或用于存储。
有噪声的音频信号可引起特定挑战。举例来说,计算音频信号可能降低所要的音频信号的质量。如从本论述可看出,提高电子装置中的音频信号质量的系统和方法可为有益的。
发明内容
描述一种用于通过电子装置映射源位置的方法。所述方法包含获得传感器数据。所述方法还包含基于所述传感器数据将源位置映射到电子装置坐标。所述方法进一步包含将所述源位置从所述电子装置坐标映射到物理坐标。所述方法另外包含基于映射而执行操作。所述传感器数据可从一或多个麦克风、加速度计、陀螺仪、罗盘、红外线传感器、接近度传感器、相机和/或超声传感器获得。所述源位置可对应于音频源。
执行所述操作可包含将所述源位置从所述物理坐标映射到三维显示空间中。所述物理坐标可包含对应于地球坐标的二维平面。执行所述操作可包含在三维显示空间中维持源定向而不管装置定向如何。
所述方法可包含基于所述传感器数据而确定电子装置定向。所述方法可包含基于所述传感器数据而检测电子装置定向中的任何变化。所述方法可包含检测在电子装置定向与参考定向之间是否存在差异。
执行操作可包含切换到将所述物理坐标中的源的空间分辨率最大化的电子装置麦克风配置。执行操作可包含基于所述映射而在三个维度中跟踪源。执行操作可包含独立于电子装置定向而执行非静态噪声抑制。
所述方法可包含将所述源位置投影到二维空间中。所述方法可包含切换到在所述二维空间中在两个维度中进行跟踪。
所述电子装置可包含三个麦克风且可能够区别360度内的音频信号。所述电子装置可包含两个麦克风且可能够区别180度内的音频信号。
还描述一种用于通过电子装置映射源位置的电子装置。所述电子装置包含获得传感器数据的至少一个传感器。所述电子装置还包括耦合到至少一个传感器的映射器电路。所述映射器电路基于所述传感器数据将源位置映射到电子装置坐标且将所述源位置从所述电子装置坐标映射到物理坐标。所述电子装置进一步包含耦合到所述映射器电路的操作电路。所述操作电路基于映射而执行操作。
还描述一种用于映射源位置的计算机程序产品。所述计算机程序产品包括具有指令的非暂时性有形计算机可读媒体。所述指令包含用于致使电子装置获得传感器数据的代码。所述指令还包含用于致使所述电子装置基于所述传感器数据将源位置映射到电子装置坐标的代码。所述指令进一步包含用于致使所述电子装置将所述源位置从所述电子装置坐标映射到物理坐标的代码。所述指令另外包含用于致使所述电子装置基于映射而执行操作的代码。
还描述一种用于映射源位置的设备。所述设备包含用于获得传感器数据的装置。所述设备还包含用于基于所述传感器数据将源位置映射到电子装置坐标的装置。所述设备进一步包含用于将所述源位置从所述电子装置坐标映射到物理坐标的装置。所述设备另外包含用于基于映射而执行操作的装置。
附图说明
图1展示多麦克风手持机的多个视图;
图2A展示相对于麦克风对的平面波传播的远场模型;
图2B展示线性阵列中的多个麦克风对;
图3A展示针对四个不同到达方向(DOA)的解开的相位延迟对频率的曲线图;
图3B展示针对图3A中所描绘的相同的四个不同到达方向的缠绕的相位延迟对频率的曲线图;
图4A展示两个DOA候选者的所测量的相位延迟值及所计算的值的实例;
图4B展示沿着电视屏幕的顶部边缘布置的麦克风的线性阵列;
图5A展示计算帧的DOA差的实例;
图5B展示计算DOA估计的实例;
图5C展示识别每一频率的DOA估计的实例;
图6A展示使用所计算的似然度来识别针对给定频率的最佳麦克风对及最佳DOA候选者的实例;
图6B展示似然度计算的实例;
图7展示偏压去除的实例;
图8展示偏压去除的另一实例;
图9展示在帧及频率上绘制所估计的DOA处的源活动性似然度的角度图的实例;
图10A展示扬声器电话应用的实例;
图10B展示在麦克风阵列的平面中逐对DOA估计到360°范围的映射;
图11A到B展示DOA估计中的模糊性;
图11C展示所观测的DOA的正负号与x-y平面的象限之间的关系;
图12A到12D展示其中源位于麦克风平面上方的实例;
图13A展示沿着非正交轴的麦克风对的实例;
图13B展示使用图13A的阵列获得相对于正交的x及y轴的DOA估计的实例;
图13C说明针对两个不同DOA的实例的不同阵列的麦克风处的并行波前到达之间的关系;
图14A到14B展示两对麦克风阵列的逐对归一化的波束成形器/零限波束成形器(BFNF)的实例;
图15A展示两对麦克风阵列;
图15B展示逐对归一化的最小方差无失真响应(MVDR)BFNF的实例;
图16A展示其中矩阵AHA不处于病态的频率的逐对BFNF的实例;
图16B展示导向向量的实例;
图17展示如本文所描述的源方向估计的一体化方法的一个实例流程图;
图18到31展示如本文所描述的DOA估计、源鉴别及源跟踪的实际结果的实例;
图32A展示电话设计,且图32B到32D展示与对应的可视化显示器一起在各种模式中使用此类设计。
图33A展示根据一般配置的方法M10的流程图;
图33B展示任务T10的实施方案T12;
图33C展示任务T10的实施方案T14;
图33D展示方法M10的实施方案M20的流程图;
图34A展示方法M20的实施方案M25的流程图;
图34B展示方法M10的实施方案M30的流程图;
图34C展示方法M30的实施方案M100的流程图;
图35A展示方法M100的实施方案M110的流程图;
图35B展示根据一般配置的设备A5的框图;
图35C展示设备A5的实施方案A10的框图;
图35D展示设备A10的实施方案A15的框图;
图36A展示根据一般配置的设备MF5的框图;
图36B展示设备MF5的实施方案MF10的框图;
图36C展示设备MF10的实施方案MF15的框图;
图37A说明使用装置来表示在所述装置的平面中的三维到达方向;
图37B说明表示具有与定位在轴平面外部的点源非正交的轴的麦克风阵列的相应响应的混淆锥的交叉点;
图37C说明图37B的圆锥的相交的线;
图38A展示音频预处理级的框图;
图38B展示音频预处理级的三通道实施方案的框图;
图39A展示包含用于指示到达方向的装置的设备的实施方案的框图;
图39B展示由来自线性阵列的DOA估计的单向度产生的模糊性的实例;
图39C说明混淆锥的一个实例;
图40展示其中三个源相对于具有线性麦克风阵列的装置位于不同相应方向上的扬声器电话应用中的源混淆的实例;
图41A展示包含具有正交轴的两个麦克风对的2-D麦克风阵列;
图41B展示包含多个任务的根据一般配置的方法的流程图;
图41C展示在显示器上展示的DOA估计的实例;
图42A展示1-D估计的正负号与由阵列轴界定的平面的对应象限之间的对应关系的一个实例;
图42B展示1-D估计的正负号与由阵列轴界定的平面的对应象限之间的对应关系的另一实例;
图42C展示元组(sign(θx),sign(θy))的四个值与平面的象限之间的对应关系;
图42D展示根据替代性映射的360度显示器;
图43A展示类似于图41A但描绘其中源位于x-y平面上方的更一般的情况的实例;
图43B展示其轴界定x-y平面的2-D麦克风阵列及位于x-y平面上方的源的另一实例;
图43C展示其中点源在由阵列轴界定的平面上方升高的此一般情况的实例;
图44A到44D展示(θxy)转换为阵列平面中的角度的推导;
图44E说明投影p及仰角的角度的一个实例;
图45A展示通过应用替代性映射而获得的曲线图;
图45B展示与具有与共同点源非正交的轴x及r的线性麦克风阵列的响应相关联的相交的混淆锥的实例;
图45C展示圆锥的交叉点的线;
图46A展示麦克风阵列的实例;
图46B展示使用来自图46A中所示的阵列的观测(θxr)相对于正交轴x及y获得x-y平面中的组合方向性估计的实例;
图46C说明投影的一个实例;
图46D说明从投影向量的维度确定值的一个实例;
图46E说明从投影向量的维度确定值的另一实例;
图47A展示根据包含任务的实例的另一一般配置的方法的流程图;
图47B展示包含子任务的任务的实施方案的流程图;
图47C说明具有用于执行对应于图47A的功能的组件的设备的一个实例;
图47D说明包含用于执行对应于图47A的功能的装置的设备的一个实例;
图48A展示包含任务的方法的一个实施方案的流程图;
图48B展示另一方法的实施方案的流程图;
图49A展示方法的另一实施方案的流程图;
图49B说明相对于显示平面的仰角的所估计的角度的指示的一个实例;
图49C展示包含任务的另一方法的此实施方案的流程图;
图50A及50B展示在旋转之前及之后的显示器的实例;
图51A及51B展示在旋转之前及之后的显示器的其它实例;
图52A展示其中装置坐标系E与世界坐标系对准的实例;
图52B展示其中旋转装置的实例及对应于定向的矩阵F;
图52C展示DOA到世界参考平面上的投影的到装置的显示平面上的透视映射;
图53A展示投射到世界参考平面上的DOA的映射显示器的实例;
图53B展示方法的此类另一实施方案的流程图;
图53C说明包含线性滑块电位计、摇臂开关及轮或旋钮的接口的实例;
图54A说明用户接口的一个实例;
图54B说明用户接口的另一实例;
图54C说明用户接口的另一实例;
图55A及55B展示其中使用定向传感器来跟踪装置的定向的另一实例;
图56是说明其中可实施用于映射源位置的系统和方法的电子装置的一个配置的框图;
图57是说明用于映射源位置的方法的一个配置的流程图;
图58是说明其中可实施用于映射源位置的系统和方法的电子装置的更特定的配置的框图;
图59是说明用于映射源位置的方法的更特定的配置的流程图;
图60是说明用于基于所述映射执行操作的方法的一个配置的流程图;
图61是说明用于基于所述映射执行操作的方法的另一配置的流程图;
图62是说明其中可实施用于在电子装置上显示用户接口的系统和方法的用户接口的一个配置的框图;
图63是说明用于在电子装置上显示用户接口的方法的一个配置的流程图;
图64是说明其中可实施用于在电子装置上显示用户接口的系统和方法的用户接口的一个配置的框图;
图65是说明用于在电子装置上显示用户接口的方法的更特定的配置的流程图;
图66说明用于显示至少一个音频信号的方向性的用户接口的实例;
图67说明用于显示至少一个音频信号的方向性的用户接口的另一实例;
图68说明用于显示至少一个音频信号的方向性的用户接口的另一实例;
图69说明用于显示至少一个音频信号的方向性的用户接口的另一实例;
图70说明用于显示至少一个音频信号的方向性的用户接口的另一实例;
图71说明用户接口的扇区选择特征的实例;
图72说明用户接口的扇区选择特征的另一实例;
图73说明用户接口的扇区选择特征的另一实例;
图74说明用户接口的扇区选择特征的更多实例;
图75说明用户接口的扇区选择特征的更多实例;
图76是说明用于编辑扇区的方法的一个配置的流程图;
图77说明用户接口的扇区编辑特征的实例;
图78说明用户接口的扇区编辑特征的更多实例;
图79说明用户接口的扇区编辑特征的更多实例;
图80说明用户接口的扇区编辑特征的更多实例;
图81说明用户接口的扇区编辑特征的更多实例;
图82说明具有独立于电子装置定向而定向的坐标系的用户接口的实例;
图83说明具有独立于电子装置定向而定向的坐标系的用户接口的另一实例;
图84说明具有独立于电子装置定向而定向的坐标系的用户接口的另一实例;
图85说明具有独立于电子装置定向而定向的坐标系的用户接口的另一实例;
图86说明具有独立于电子装置定向而定向的坐标系的用户接口的更多实例;
图87说明具有独立于电子装置定向而定向的坐标系的用户接口的另一实例;
图88是说明其中可实施用于在电子装置上显示用户接口的系统和方法的用户接口的另一配置的框图;
图89是说明用于在电子装置上显示用户接口的方法的另一配置的流程图;
图90说明耦合到数据库的用户接口的实例;
图91是说明用于在电子装置上显示用户接口的方法的另一配置的流程图;
图92是说明其中可实施用于映射源位置的系统和方法的无线通信装置的一个配置的框图;
图93说明可在电子装置中利用的各种组件;及
图94说明用户接口的另一实例。
具体实施方式
第三代合作伙伴计划(3GPP)是旨在界定在全球范围内可适用的第三代(3G)移动电话规范的电信协会团体之间的合作。3GPP长期演进(LTE)是旨在提高全球移动电信系统(UMTS)移动电话标准的3GPP计划。所述3GPP可界定下一代移动网络、移动系统及移动装置的规范。
应注意,在一些情况下,可关于一或多个规范来描述本文中揭示的系统和方法,例如3GPP版本8(Rel-8)、3GPP版本9(Rel-9)、3GPP版本10(Rel-10)、LTE、LTE高级(LTE-A)、全球移动通信系统(GSM)、通用分组无线电服务(GPRS)、GSM演进增强数据速率(EDGE)、时分长期演进(TD-LTE)、时分同步码分多址(TD-SCDMA)、频分双工长期演进(FDD-LTE)、UMTS、GSMEDGE无线电接入网络(GERAN)、全球定位系统(GPS)等。然而,本文中所描述的所述概念中的至少一些可应用于其它无线通信系统。举例来说,术语电子装置可用于指代用户设备(UE)。此外,术语基站可用于指代术语节点B、演进型节点B(eNB)、归属演进型节点B(HeNB)等中的至少一者。
除非受其上下文明确地限制,否则术语“信号”在本文中用以指示其普通意义中的任一者,包含如在导线、总线或其它传输媒体上表达的存储器位置(或存储器位置集合)的状态。除非受其上下文明确地限制,否则本文中使用术语“产生”来指示其普通意义中的任一者,例如计算或以其它方式产生。除非受其上下文明确地限制,否则术语“计算”在本文中用以指示其普通意义中的任一者,例如计算、评估、估计和/或从多个值中进行选择。除非受其上下文明确地限制,否则使用术语“获得”来指示其普通意义中的任一者,例如推算、导出、接收(例如,从外部装置)和/或检索(例如,从存储元件阵列)。除非受其上下文明确地限制,否则使用术语“选择”来指示其普通意义中的任一者,例如识别、指示、应用和/或使用一组两者或两者以上中的至少一者和少于全部。除非受其上下文明确地限制,否则本文中使用术语“确定”来指示其普通意义中的任一者,例如决定、建立、推断、推算、选择和/或评估。在术语“包括”用于本描述及权利要求书中的情况下,其不排除其它元件或操作。使用术语“基于”(如在“A是基于B”中)来指示其普通意义中的任一者,包含以下情况(i)“从中导出”(例如,“B是A的前驱体”),(ii)“至少基于”(例如,“A至少基于B”)以及,在特定上下文中在适当的情况下,(iii)“等于”(例如,“A等于B”或“A与B相同”)。类似地,使用术语“响应于”来指示其普通意义中的任一者,包含“至少响应于”。除非另有指示,否则术语“A、B及C中的至少一者”及“A、B及C中的一或多者”指示“A和/或B和/或C”。
对多麦克风音频感测装置的麦克风的“位置”的参考指示所述麦克风的声敏感面的中心的位置,除非上下文另有指示。根据特定上下文,有时使用术语“通道”来指示信号路径且在其它时候指示由此路径载运的信号。除非另有指示,否则使用术语“系列”来指示两个或两个以上项目的序列。使用术语“对数”来指示基数为十的对数,但将此运算扩展到其它基数在本发明的范围内。使用术语“频率分量”来指示信号的一组频率或频带中的一者,例如(例如,由快速傅里叶变换产生非)信号的频域表示的样本(或“二进位”)或信号的子带(例如,巴克(Bark)尺度或梅尔(mel)尺度子带)。
除非另有指示,否则对具有特定特征的设备的操作的任何揭示内容还明确地希望揭示具有类似特征的方法(且反之亦然),且对根据特定配置的设备的操作的任何揭示内容还明确地希望揭示根据类似配置的方法(且反之亦然)。术语“配置”可参考由其特定上下文指示的方法、设备和/或系统来使用。术语“方法”、“过程”、“程序”和“技术”通用地且可互换地使用,除非特定上下文另有指示。具有多个子任务的“任务”也是方法。术语“设备”和“装置”也通用地且可互换地使用,除非特定上下文另有指示。术语“元件”和“模块”通常用以指示较大配置的一部分。除非由其上下文明确限制,否则术语“系统”在此用以指示其普通意义中的任一者,包含“交互以用于共同目的的元件群组”。
通过参考文献的一部分的任何并入也应理解为并入了在所述部分内参考的术语或变量的定义,其中此些定义出现在文献中的其它地方,以及并入了在所并入部分中参考的任何图。除非起初通过定冠词引入,否则用于修饰权利要求元素的序数术语(例如,“第一”、“第二”、“第三”等)本身不指示所述权利要求元素相对于另一权利要求元素的任何优先级或次序,而是仅区别所述权利要求元素与具有同一名称(如果没有序数术语)的另一权利要求元素。除非通过其上下文明确地限制,否则术语“多个”及“集合”中的每一者在本文中用以指示大于一的整数数量。
A.用于估计到达方向的系统、方法和设备
一种处理多通道信号的方法包含对于所述多通道信号的多个不同频率分量中的每一者,计算所述多通道信号的第一对通道中的每一者中的频率分量的相位之间的差,以获得多个相位差。此方法还包含对于多个候选方向中的每一者,估计候选方向与基于所述多个相位差的向量之间的误差。此方法还包含从所述多个候选方向当中选择对应于所估计误差当中的最小误差的候选方向。在此方法中,所述第一对通道中的每一者是基于由第一对麦克风中的对应麦克风产生的信号,且不同频率分量中的至少一者具有小于所述第一对麦克风中的麦克风之间的距离的两倍的波长。
可假设,在发射声场的近场和远场区中,波前分别为球面的和平面的。可将近场定义为距声接收器(例如,麦克风阵列)小于一个波长的空间区。在此定义下,到区边界的距离与频率成反比地变化。在200、700和2000赫兹的频率下,例如,到一个波长边界的距离分别为约170厘米、49厘米和17厘米。改为考虑近场/远场边界处于距麦克风阵列特定距离处(例如,距阵列的麦克风或距阵列的质心50厘米,或距阵列的麦克风或距阵列的质心1米或1.5米)可为有用的。
现参看图描述各种配置,在各图中,相似参考数字可指示功能上类似的元件。可以广泛多种不同配置来布置及设计如本文中在各图中所大体描述及说明的系统和方法。因此,对如各图中所表示的若干配置的以下更详细描述并不希望限制如所主张的范围,而仅表示系统和方法。图中所描绘的特征和/或元素可组合至少一个其它图中所描绘的至少一个特征和/或元素。
图1展示多麦克风手持机H100(例如,多麦克风装置)的实例,所述多麦克风手持机包含轴线在装置的正面的左右方向上的第一麦克风对MV10-1、MV10-3,和轴线在前后方向上(即,正交于正面)的第二麦克风对MV10-1、MV10-2。此类布置可用以确定用户何时在装置的正面说话(例如,浏览-通话模式)。前后对可用以解决左右对通常无法就其本身来解决的前后方向之间的模糊性。在一些实施方案中,手持机H100可包含一或多个扩音器LS10、LS20L、LS20R、触摸屏TS10、镜头L10和/或一或多个额外麦克风ME10、MR10。
除如图1中所展示的手持机之外,可实施以包含多麦克风阵列及执行如本文中所描述的方法的音频感测装置的其它实例还包含便携式计算装置(例如,膝上型计算机、笔记型计算机、上网本计算机、超便携式计算机、平板计算机、移动因特网装置、智能笔记本、智能电话等)、音频或视频会议装置,及显示屏幕(例如,计算机监视器、电视机)。
如图1中所展示的装置可经配置以通过以下操作来确定源信号的到达方向(DOA):测量每一频段的麦克风通道之间的差异(例如,相位差)以获得方向指示,及将所有频段内的方向指示平均化以确定所估计方向是否在所有频段上一致。可用于跟踪的频段的范围通常受麦克风对的空间混叠频率约束。可将此上限定义为信号的波长为麦克风之间的距离d的两倍所在的频率。此类方法可能不支持对超出一米的源DOA的准确跟踪且通常可能仅支持低DOA分辨率。此外,对依赖前后对解决模糊性的相依性可能为对麦克风放置几何布置的显著约束,这是因为将装置放置在表面上可有效地遮挡前麦克风或后麦克风。此类方法通常还仅使用一个固定对来用于跟踪。
可能需要提供一种通用扬声器电话应用,以使得可任意地放置多麦克风装置(例如,放置在电话会议的表格上、放置在汽车座椅上等)且跟踪及/或提高个人说话者的话音。此类方法可能能够关于可用麦克风的任意定向处置任意目标说话者位置。还可能需要此类方法提供瞬时多说话者跟踪/分离能力。不幸的是,当前现有技术水平为单麦克风方法。
还可能需要支持远场应用中的源跟踪,所述源跟踪可用以提供用于跟踪处于大距离处且关于多麦克风装置定向未知的源的解决方案。此类应用中的多麦克风装置可包含安装于电视机或机顶盒上的可用以支持电话的阵列。实例包含Kinect装置阵列(微软公司,雷蒙德华盛顿州)和Skype阵列(微软Skype分部)及三星电子(韩国汉城)。除大的源到装置距离之外,此类应用通常还遭受不良信号对干扰加噪声比(SINR)和房间混响。
挑战是提供一种用于针对同时发生的多个声音事件估计音频信号的每一帧的三维到达方向(DOA)的方法,所述音频信号在背景噪声和混响下足够稳健。可通过将可靠频段的数目最大化来获得稳健性。可能需要此类方法适合于任意成形的麦克风阵列几何布置,以使得可避免对麦克风几何布置的特定约束。可将如本文所描述的成对1-D方法适当地并入到任何几何布置中。
本文中所揭示的系统和方法可针对此类通用扬声器电话应用或远场应用来实施。可实施此类方法以在无麦克风放置约束的情况下操作。还可实施此类方法以使用上达尼奎斯特频率及下到较低频率的可用频段来跟踪源(例如,通过支持使用具有较大麦克风间距离的麦克风对)。不是限于单对用于跟踪,而是,可实施此类方法以在所有可用对当中选择最好的对。此类方法可用以支持甚至远场情境(高达3米到5米或大于5米的距离)中的源跟踪,及提供高得多的DOA分辨率。其它可能的特征包含获得作用中源的确切2-D表示。对于最好的结果,可能需要每一源为稀疏宽带音频源,且每一频段大部分受不超过一个源支配。
图33A展示根据一般配置的包含任务T10、T20和T30的方法M10的流程图。任务T10计算多通道信号的一对通道之间的差异(例如,其中每一通道是基于由对应麦克风产生的信号)。对于多个(K个)候选方向当中的每一者,任务T20计算基于所计算的差异的对应方向误差。基于K个方向误差,任务T30选择候选方向。
方法M10可经配置以将多通道信号作为一连串片段来处理。典型片段长度的范围为从约5或10毫秒到约40或50毫秒,且所述片段可为重叠的(例如,与邻近片段重叠达25%或50%)或非重叠的。在一个特定实例中,将多通道信号划分成一连串非重叠片段或“帧”,每一者的长度为10毫秒。在另一特定实例中,每一帧的长度为20毫秒。如通过方法M10处理的片段还可为如通过不同操作处理的较大片段(即,子帧),或反过来也是一样。
通道之间的差异的实例包含增益差或比率、到达时间差和相位差。举例来说,可实施任务T10以将一对通道之间的差异计算为所述通道的对应增益值之间的差或比率(例如,量值或能量差)。图33B展示任务T10的此类实施方案T12。
可实施任务T12以计算时域(例如,对于信号的多个子带中的每一者)或频域(例如,对于变换域中的信号的多个频率分量中的每一者,例如,快速傅里叶变换(FFT)、离散余弦变换(DCT)或经修改的DCT(MDCT)域)中的多通道信号的片段的增益的量度。此类增益量度的实例包含(不限于)以下各者:总量值(例如,样本值的绝对值总和)、平均量值(例如,每一样本)、均方根(RMS)幅度、中值量值、峰值量值、峰值能量、总能量(例如,样本值的平方总和),及平均能量(例如,每一样本)。
为了在增益差技术情况下获得准确结果,可能需要将两个麦克风通道的响应相对于彼此进行校准。可能需要将低通滤波器应用于多通道信号以使得增益量度的计算限于多通道信号的音频频率分量。
可实施任务T12以将增益之间的差计算为对数域(例如,以分贝来计的值)中的每一通道的对应增益量度值之间的差或等效地计算为线性域中的增益量度值之间的比率。对于经校准的麦克风对,可采用零增益差来指示源距每一麦克风等距(即,位于所述对的边射方向),可采用具有较大正值的增益差来指示源更接近一个麦克风(即,位于所述对的一个端射方向),且可采用具有较大负值的增益差来指示源更接近另一麦克风(即,位于所述对的另一端射方向)。
在另一实例中,可实施图33A的任务T10以执行通道的相交相关以确定距离(例如,基于多通道信号的通道之间的滞后计算到达时间差)。
在另一实例中,实施任务T10以将一对通道之间的差异计算为每一通道的相位之间的差(例如,信号的特定频率分量下)。图33C展示任务T10的此类实施方案T14。如下文所论述,可对于多个频率分量当中的每一者执行此类计算。
对于由一对麦克风直接从相对于麦克风对的轴线的特定到达方向(DOA)的点源接收的信号,对于每一频率分量,相位延迟不同,而且取决于麦克风之间的间隔。可将特定频率分量(或“频段”)下的相位延迟的所观测值计算为复数FFT系数的虚数项与复数FFT系数的实数项的比率的反正切(还被称为反正切(arctangent))。
如图2A中所展示,特定频率f下的至少一个麦克风MC10、MC20的源S01的相位延迟值可与远场(即,平面波)假设下的源DOA相关,如其中d表示麦克风MC10、MC20之间的距离(以米来计),θ表示相对于正交于阵列轴线的方向的到达角(以弧度来计),f表示频率(以赫兹来计),且c表示声速(例如,以米/秒来计)。如下文将描述,本文中所描述的DOA估计原理可扩展到线性阵列中的多个麦克风对(例如,如图2B中所展示)。对于不具有混响的单个点源的理想情况,相位延迟与频率的比率将在所有频率内具有相同值如下文更详细论述,相对于麦克风对的DOA θ为一维测量结果,其界定空间锥的表面(例如,使得锥的轴线为阵列的轴线)。
此类方法通常实际上受麦克风对的空间混叠频率限制,所述空间混叠频率可被定义为信号的波长为麦克风之间的距离d的两倍所在的频率。空间混叠造成相位缠绕,所述情形对可用以提供对特定麦克风对的可靠相位延迟测量结果的频率范围给出上限。
图3A展示针对四个不同DOA D10、D20、D30、D40的解缠相位延迟对频率的曲线图。图3B展示针对相同的DOA D10、D20、D30、D40的缠绕的相位延迟对频率的曲线图,其中每一曲线图的初始部分(即,在发生第一次缠绕之前)以粗体展示。通过解缠所测量的相位来扩展相位延迟测量结果的可用频率范围的尝试通常为不可靠的。
可实施任务T20以依据相位差来计算方向误差。举例来说,可实施任务T20以对于K个DOA候选者存量中的每一者(其中1≤k≤K),将频率f下的方向误差计算为所观测到的相位差与对应于DOA候选者的相位差之间的平方差(或者,绝对差)。
不是相位解缠,而是,所提议的方法对于DOA候选者存量中的每一者比较如所测量的(例如,缠绕的)相位延迟与缠绕的相位延迟的预先计算的值。图4A展示此类实例,所述实例包含(有噪声的)所测量的相位延迟值MPD10与存量的两个DOA候选者的相位延迟值PD10、PD20(实线和虚线)的角度对频率曲线图,其中相位缠绕到π到-π的范围。可接着通过计算每一DOA候选者的对应方向误差θi且识别对应于这些方向误差当中的最小者的DOA候选者来确定最佳地匹配如所观测到的信号的DOA候选者。可将此类方向误差计算为(例如)第k个DOA候选者的相位延迟值与所观测到的相位延迟值之间的误差eph_k。在一个实例中,将误差eph_k表达为所要范围或其它组F频率分量内的即,表达为在F内的所观测到的值与候选相位延迟值之间的平方差的总和可在运行时间之前(例如,在设计或制造期间)根据c和d的已知值和频率分量f的所要范围计算每一DOA候选者θk的相位延迟值且在使用装置期间从存储装置中检索所述相位延迟值。此类预先计算的存量可经配置以支持所要角度范围和分辨率(例如,均匀分辨率,例如1度、2度、5度、6度、10度或12度;或所要非均匀分辨率)以及所要频率范围和分辨率(其还可为均匀的或非均匀的)。
可能需要计算跨越尽可能多的频段的方向误差(例如,eph_f,eph_k)以增加抵抗噪声的稳健性。举例来说,可能需要误差计算包含来自超出空间混叠频率的频段的项。在实际应用中,最大频段可受其它因素限制,其它因素可包含可用存储器、计算复杂度、高频下来自刚体(例如,环境中的物体、装置的外壳)的强反射等。
语音信号在时间频域中通常为稀疏的。如果源在频域中不相交,那么可同时跟踪两个源。如果源在时域中不相交,那么可在相同频率下跟踪两个源。可能需要阵列包含数目至少等于在任何一个时间应区分的不同源方向的数目个麦克风。麦克风可为全向的(例如,如可为蜂窝式电话或专用会议装置典型的)或方向性的(例如,如可为例如机顶盒等装置典型的)。
此类多通道处理一般可适用于(例如)用于扬声器电话应用的源跟踪。此类技术可用以计算对所接收的多通道信号的帧的DOA估计。此类方法可在每一频段下计算每一候选角度关于所观测到的角度的误差(其通过相位延迟来指示)。所述频段下的目标角度为具有最小误差的候选者。在一个实例中,接着跨越频段将误差加总以获得候选者的似然度的量度。在另一实例中,将跨越所有频段最频繁出现的目标DOA候选者中的一或多者识别为对给定帧的DOA估计(或估计)。
可应用此类方法以获得瞬时跟踪结果(例如,具有小于一帧的延迟)。所述延迟取决于FFT大小和重叠度。举例来说,对于具有50%重叠和16千赫兹(kHz)的取样频率的512点FFT,所得256样本延迟对应于16毫秒。此类方法可用以支持通常高达2到3米或甚至高达5米的源阵列距离的源方向的辨别。
还可将误差考虑为方差(即,个别误差偏离预期值的程度)。所接收信号从时域到频域的转换(例如,通过应用FFT)具有将每一频段中的频谱平均化的效果。如果使用子带表示(例如,梅尔尺度或巴克尺度),那么此平均化更明显。另外,可能需要对DOA估计执行时域平滑(例如,通过应用递归平滑滤波器,例如,一阶无限脉冲响应滤波器)。可能需要降低误差计算操作的计算复杂度(例如,通过使用搜索策略,例如二叉树,及/或应用已知信息,例如来自一或多个先前帧的DOA候选者选择)。
即使可依据相位延迟来测量方向信息,通常也需要获得指示源DOA的结果。因此,可能需要实施任务T20以对于K个DOA候选者的存量中的每一者依据DOA而不是依据相位延迟计算频率f下的方向误差。
依据DOA的方向误差的表达式可通过表达频率f下的缠绕相位延迟(例如,所观测到的相位延迟其为信号的DOA,θ的函数Ψf_wr,例如来导出。假设此表达式等效于用于解缠相位延迟的为DOA的函数的对应表达式,例如除了归因于相位缠绕产生的几乎不连续性之外。可接着依据所观测到的DOA,θob和候选DOA,θk将方向误差eph_f_k表达为eph_f_k=|Ψf_wrob)-Ψf_wrk)|≡|Ψf_unob)-Ψf_unk)|或eph_f_k=(Ψf_wrob)-Ψf_wrk))2≡(Ψf_unob)-Ψf_unk))2,其中频率f下所观测到的相位延迟与候选相位延迟之间的差依据频率f下所观测到的DOA,θob_f和候选DOA,θk表达为可接着依据所观测到的DOA,θob和候选DOA,θk将跨越F的方向误差eph_k表达为
对此结果执行泰勒级数扩充以获得以下一阶近似:其用以获得如在频率f下观测到的DOAθob_f与DOA候选者θk之间的差的表达式:在假设所观测到的缠绕相位延迟与解缠相位延迟等值的情况下,可使用此表达式(例如,在任务T20中)以依据DOA(eDOA_f_k,eDOA_k)而不是相位延迟(eph_f_k,eph_k)来表达方向误差: 其中的值经定义为
为了避免在端射方向上(θ=+/-90°)除以零,可能需要实施任务T20以改为使用二阶近似执行此扩充,如以下等式中:其中A=(πfdsinθk)/c,B=(-2πfd cosθk)/c,且C=-(Ψf_unob)-Ψf_unk))。如在上述一阶实例中,在假设所观测到的缠绕相位延迟与解缠相位延迟等值的情况下,可使用此表达式来将依据DOA的方向误差表达为所观测到的和候选缠绕相位延迟值的函数。
图5A到5C描绘多个帧502。如图5A中所展示,可以此方式(例如,通过任务T20)在所接收麦克风信号的多个频率f中的每一者下(例如,)且对于多个DOA候选者θk中的每一者,计算针对所接收信号的给定帧的基于所观测到的DOA与候选DOA之间的差的方向误差。可能需要实施任务T20以根据例如es(n)=βes(n+1)+(1-β)e(n)等表达式(还被称为一阶IIR或递归滤波器)对每一方向误差e执行时间平滑操作,其中es(n-1)表示先前帧的经平滑化的方向误差,es(n)表示方向误差的当前未经平滑化的值,es(n)表示方向误差的当前经平滑化的值,且β为平滑因子,其值可选自在零(无平滑化)到一(无更新)之间的范围。用于平滑因子β的典型值包含0.1、0.2、0.25、0.3、0.4和0.5。以下情形为典型的但并非必要的:对于任务T20的此实施方案,使用β的相同值来使对应于不同频率分量的方向误差平滑化。类似地,以下情形为典型的但并非必要的:对于任务T20的此实施方案,使用β的相同值来使对应于不同候选方向的方向误差平滑化。如图5B中所演示,可通过将帧中的跨越所有频段的每一候选者的平方差加总以获得方向误差(例如,eph_k或eDOA_k)且选择具有最小误差的DOA候选者来确定用于给定帧的DOA估计。替代地,如图5C中所演示,此类差可用以识别每一频率下的最佳匹配(即,最小平方差)的DOA候选者。可接着将用于帧的DOA估计确定为跨越所有频段的最频繁的DOA。
基于方向误差,任务T30选择频率分量的候选方向。举例来说,可实施任务T30以选择与由任务T20产生的K个方向误差当中的最低者相关联的候选方向。在另一实例中,实施任务T30以基于每一方向误差计算似然度且选择与最高似然度相关联的候选方向。
如图6B中所展示,可对于每一候选角度606I和每一帧608的一组F频率中的每一者k计算误差项604。可能需要依据所计算的DOA差或误差项604来指示源活动的似然度。可将针对特定帧、频率和角度的此类似然度L的一个实例表达为
对于此表达式,特定频率下极好的匹配可致使对应似然度支配所有其它似然度。为了减小此易感性,可能需要包含正则项λ,如以下表达式中:
在时间和频率两者中,语音往往为稀疏的,使得一组频率F内的总和可包含来自受噪声支配的频段的结果。可能需要包含偏差项β,如以下表达式中:可随频率和/或时间变化的偏差项可基于噪声的假设分布(例如,高斯)。另外或替代地,偏差项可基于噪声的初始估计(例如,来自仅噪声初始帧)。另外或替代地,可基于来自仅噪声帧的信息(如(例如)通过话音活动检测模块指示)动态地更新偏差项。图7和8分别展示偏差项去除之前及之后的似然度的曲线图的实例。在图7中,说明信号的帧号710、到达角712和振幅714。类似地,在图8中,说明信号的帧号810、到达角812和振幅814。
可将频率特定似然度结果投影到(帧、角度)平面上(例如,如图8中所展示)以获得每一帧的DOA估计其对噪声和混响来说为稳健的,这是因为仅目标占优势频段促成所述估计。在此加总中,其中误差较大的项可具有接近零的值且因此变得对于估计来说为不显著的。如果方向性源在一些频段中占优势,那么对于所述角度,在那些频段下的误差值可更接近于零。而且,如果另一方向性源在其它频段中占优势,那么对于另一角度,在其它频段下的误差值可能更接近于零。
还可将似然度结果投影到(帧、频率)平面上(如图9的底部面板918中所展示)以基于方向从属关系指示每一频段的似然度信息(例如,用于话音活动检测)。底部面板918展示针对每一频率和帧的用于所估计DOA的对应似然度(例如,)。此似然度可用以指示语音活动的似然度。另外或替代地,此信息可用以(例如)通过根据到达方向将帧和/或频率分量分类来支持所接收信号的时间和/或频率选择性掩蔽。
如图9的底部面板918中所展示的角度图表示类似于光谱图表示。如图9的顶部面板916中所展示,可通过在每一帧处绘制每一频率分量的量值来获得光谱图。可通过在每一帧处绘制每一频率下的当前DOA候选者的似然度来获得角度图。
图33D展示包含任务T100、T200和T300的方法M10的实施方案M20的流程图。此类方法可用以(例如)基于来自多通道信号的一对通道的信息对于多通道信号的多个(F个)频率分量中的每一者选择源信号的候选到达方向。对于所述多个(F个)频率分量当中的每一者,任务T100计算所述对通道之间的差异。可实施任务T100以(例如)对于所述多个(F个)频率分量当中的每一者执行任务T10的对应实例(例如,任务T12或T14)。
对于所述多个(F个)频率分量当中的每一者,任务T200计算多个方向误差。可实施任务T200以计算每一频率分量的K个方向误差。举例来说,可实施任务T200以对于所述多个(F个)频率分量当中的每一者执行任务T20的对应实例。替代地,可实施任务T200以对于所述频率分量中的一或多者当中的每一者计算K个方向误差,且对于所述频率分量当中的不同的一或多者当中的每一者计算不同数目(例如,大于或小于K)个方向误差。
对于所述多个(F个)频率分量当中的每一者,任务T300选择候选方向。可实施任务T300以对于所述多个(F个)频率分量当中的每一者执行任务T30的对应实例。
有声语音(例如,元音声音)的能量谱往往在音调频率的谐波下具有局部峰值。另一方面,背景噪声的能量谱往往为相对非结构化的。因此,可预期在音调频率的谐波下的输入通道的分量具有比其它分量高的信噪比(SNR)。可能需要配置方法M20以仅考虑对应于所估计音调频率的倍数的频率分量。
典型音调频率的范围是从男性说话者的约70到100赫兹到女性说话者的约150到200赫兹。可通过将音调周期计算为邻近音调峰值(例如,主麦克风通道中)之间的距离来估计当前音调频率。可基于输入通道的样本的能量的量度(例如,基于样本能量与帧平均能量之间的比率)和/或基于样本的相邻者与已知音调峰值的类似相邻者相关的程度的量度将输入通道的样本识别为音调峰值。音调估计程序描述于(例如)在www.3gpp.org处在线提供使用的增强型可变速率编码解码器(EVRC)文档C.S0014-C的第4.6.3章节(第4-44到4-49页)中。在包含语音编码及/或解码的应用中(例如,使用编码解码器进行的包含音调估计的话音通信,例如,码激励线性预测(CELP)和技术原型波形内插(PWI)),音调频率的当前估计(例如,呈音调周期或“音调滞后”的估计的形式)通常将已经可得到。
可能需要(例如)配置任务T100以使得所计算的通道差异(例如,相位差)的至少25%、50%或75%对应于所估计的音调频率的倍数。相同原理同样可应用于其它所要谐波信号。在相关方法中,实施任务T100以对于通道对的至少一子带的频率分量中的每一者计算相位差,且实施任务T200以仅基于对应于所估计音调频率的倍数的那些相位差计算方向误差。
图34A展示包含任务T400的方法M20的实施方案M25的流程图。此类方法可用以(例如)基于来自多通道信号的一对通道的信息指示源信号的到达方向。基于由任务T300产生的F个候选方向选择,任务T400指示到达方向。举例来说,可实施任务T400以指示所述F个候选方向当中最频繁选择的候选方向作为到达方向。对于其中源信号在频率上不相交的情况,可实施任务T400以指示一个以上到达方向(例如,以针对一个以上源当中的每一者指示一方向)。可随着时间反复进行方法M25以指示多通道信号的一序列帧中的每一者的一或多个到达方向。
具有大间隔的麦克风对通常不适合于高频,这是因为对于此类对来说,空间混叠是以低频开始。然而,如本文中所描述的DOA估计方法允许使用超出相位缠绕开始所在的频率且甚至高达尼奎斯特频率(即,取样率的一半)的相位延迟测量结果。通过放松空间混叠约束,此类方法使得能够使用具有较大麦克风间间隔的麦克风对。因为具有大麦克风间距离的阵列在低频下通常提供更好的方向性(与具有小麦克风间距离的阵列相比较),所以较大阵列的使用通常同样将可用相位延迟测量结果的范围扩展到较低频率。
可将本文中所描述的DOA估计原理扩展到线性阵列中的多个麦克风对MC10a、MC10b、MC10c(例如,如图2B中所展示)。用于远场情况的此类应用的一个实例是沿着电视机TV10或其它大幅面视频显示屏幕(例如,如图4B中所展示)的界限布置的线性麦克风阵列MC10a到MC10e。可能需要将此类阵列配置为麦克风之间具有非均匀(例如,对数)间隔,如图2B和4B的实例中。
对于远场源,线性阵列的多个麦克风对将基本上具有相同DOA。因此,一个选项是将DOA估计为来自阵列中的两对或两个以上对的DOA估计的平均值。然而,平均化方案可受所述对中的甚至单个的错配影响,此情形可降低DOA估计准确性。替代地,可能需要从阵列的两对或两个以上对麦克风当中选择用于每一频率的最好的麦克风对(例如,在所述频率下给出最小误差ei的对),以使得可针对不同频带选择不同麦克风对。在麦克风对的空间混叠频率下,误差将较大。因此,此类方法将倾向于在频率接近于其缠绕频率时自动避免麦克风对,从而避免DOA估计中的相关不确定性。对于较高频段,麦克风之间具有较短距离的对通常将提供更好的估计且可自动地受到喜爱,而对于较低频段,麦克风之间具有较大距离的对通常将提供更好的估计且可自动地受到喜爱。在图2B中所展示的四麦克风实例中,六对不同的麦克风是可能的(即,)。
在一个实例中,通过针对每一频率f计算PxI值来选择用于每一轴线的最好的对,其中P为对的数目,I为存量的大小,且每一值epi为所观测到的角度θpf(对于对p和频率f)与候选角度θif之间的平方绝对差。对于每一频率f,选择对应于最低误差值epi的对p。此误差值还指示频率f下最好的DOA候选者θif(如图6A中所展示)。
图34B展示包含任务T10的实施方案T150和任务T20的实施方案T250的方法M10的实施方案M30的流程图。方法M30可用以(例如)指示多通道信号的频率分量的候选方向(例如,特定帧处)。
对于多通道信号的多个(P个)通道对当中的每一者,任务T250计算多个方向误差。可实施任务T250以计算每一通道对的K个方向误差。举例来说,可实施任务T250以对于所述多个(P个)通道对当中的每一者执行任务T20的对应实例。替代地,可实施任务T250以对于所述通道对中的一或多者当中的每一者计算K个方向误差,且对于所述通道对当中的不同的一或多者当中的每一者计算不同数目(例如,大于或小于K)个方向误差。
方法M30还包含基于多个方向误差选择候选方向的任务T35。举例来说,可实施任务T35以选择对应于所述方向误差当中的最低者的候选方向。
图34C展示包含任务T100和T150的实施方案T170、任务T200和T250的实施方案T270及任务T35的实施方案T350的方法M30的实施方案M100的流程图。方法M100可用以(例如)对于多通道信号的多个(F个)频率分量当中的每一者选择候选方向(例如,在特定帧处)。
对于所述多个(F个)频率分量当中的每一者,任务T170计算多个(P个)差异,其中所述多个(P个)差异当中的每一者对应于多通道信号的不同对通道且所述差异为21个通道之间的差异(例如,增益差或相位差)。对于所述多个(F个)频率分量当中的每一者,任务T270计算所述多个(P个)对当中的每一者的多个方向误差。举例来说,可实施任务T270以对于所述频率分量中的每一者计算所述P对中的每一者的K个方向误差,或对于每一频率分量计算总共P×K个方向误差。对于所述多个(F个)频率分量当中的每一者,且基于所述多个对应方向误差,任务T350选择对应候选方向。
图35A展示方法M100的实施方案M110的流程图。实施方案M110可包含任务T170、T270、T350和T400,所述任务可为结合图34A和图34C中的至少一者描述的对应元件的实例。
图35B展示根据一般配置的包含误差计算器200和选择器300的设备A5的框图。误差计算器200经配置以对于多通道信号的一对通道之间的所计算的差异及对于多个(K个)候选方向当中的每一者,计算基于所计算的差异的对应方向误差(例如,如本文中参考任务T20的实施方案所描述)。选择器300经配置以基于对应方向误差选择候选方向(例如,如本文中参考任务T30的实施方案所描述)。
图35C展示包含差异计算器100的设备A5的实施方案A10的框图。设备A10可经实施以(例如)执行如本文所描述的方法M10、M20、M30和/或M100的实例。计算器100经配置以计算多通道信号的一对通道之间的差异(例如,增益差或相位差)(例如,如本文参考任务T10的实施方案所描述)。计算器100可经实施以(例如)对于多通道信号的多个(F个)频率分量当中的每一者计算此类差异。在此情况下,计算器100还可经实施以在计算差异之前将子带滤波器组应用于信号及/或计算每一通道的频率变换(例如,快速傅里叶变换(FFT)或经修改的离散余弦变换(MDCT))。
图35D展示包含指示器400的设备A10的实施方案A15的框图。指示器400经配置以基于由选择器300产生的多个候选方向选择指示到达方向(例如,如本文参考任务T400的实施方案所描述)。可实施设备A15以(例如)执行如本文中所描述的方法M25和/或M110的实例。
图36A展示根据一般配置的设备MF5的框图。设备MF5包含用于对于多通道信号的一对通道之间的所计算的差异及对于多个(K个)候选方向中的每一者计算对应方向误差或适应性量度的装置F20,所述对应方向误差或适应性量度是基于所计算的差异(例如,如本文参考任务T20的实施方案所描述)。设备MF5还包含用于基于对应方向误差选择候选方向的装置F30(例如,如本文参考任务T30的实施方案所描述)。
图36B展示设备MF5的实施方案MF10的框图,所述设备包含用于计算多通道信号的一对通道之间的差异(例如,增益差或相位差)的装置F10(例如,如本文参考任务T10的实施方案所描述)。装置F10可经实施以(例如)对于多通道信号的多个(F个)频率分量当中的每一者计算此类差异。在此情况下,装置F10还可经实施以包含用于在计算差异之前执行子带分析及/或计算每一通道的频率变换(例如,快速傅里叶变换(FFT)或经修改的离散余弦变换(MDCT))的装置。设备MF10可经实施以(例如)执行如本文所描述的方法M10、M20、M30和/或M100的实例。
图36C展示设备MF10的实施方案MF15的框图,所述设备包含用于基于由装置F30产生的多个候选方向选择(例如,如本文中参考任务T400的实施方案所描述)指示到达方向的装置F40。可实施设备MF15以(例如)执行如本文中所描述的方法M25和/或M110的实例。
可如本文中所描述来处理由麦克风对接收的信号以提供关于麦克风对的轴线的在高达180度的范围内的所估计DOA。在所述范围内,所要角度跨度和分辨率可为任意的(例如,均匀的(线性的)或非均匀的(非线性的)、限于所选定的所关注扇区,等等)。另外或替代地,所要频率跨度和分辨率可为任意的(例如,线性的、对数的、梅尔尺度、巴克尺度等)。
在如图2B中所展示的模型中,来自麦克风对的在0与+/-90度之间的每一DOA估计指示相对于正交于所述对的轴线的平面的角度。此类估计描述围绕所述对的轴线的锥,且沿着此锥的表面的源的实际方向为不确定的。举例来说,来自单个麦克风对的DOA估计并不指示源是在麦克风对的前方还是后方(或上方还是下方)。因此,虽然可在线性阵列中使用两个以上麦克风来改善跨越一频率范围的DOA估计性能,但线性阵列所支持的DOA估计范围通常限于180度。
本文中所描述的DOA估计原理还可扩展到麦克风的二维(2-D)阵列。举例来说,2-D阵列可用以将源DOA估计的范围扩展到高达完整360°(例如,提供与例如雷达和生物医学扫描等应用中类似的范围)。可在扬声器电话应用中使用此类阵列来(例如)支持良好性能,甚至针对电话相对于一或多个源的任意放置也如此。
2-D阵列的多个麦克风对通常将不会共享相同DOA,甚至对于远场点源也如此。举例来说,相对于阵列的平面的源高度(例如,z轴上)可在2-D跟踪中起到重要作用。图10A展示扬声器电话应用的实例,其中如通过麦克风轴线界定的x-y平面平行于电话所放置的表面(例如,桌面)。在此实例中,源1001为从沿着x轴1010但在z轴1014的方向上偏移的位置说话的人(例如,说话者的嘴在桌面上方)。关于如通过麦克风阵列界定的x-y平面,源1001的方向是沿着x轴1010,如图10A中所展示。沿着y轴1012的麦克风对将源的DOA估计为距x-z平面零度。然而,归因于说话者在x-y平面上方的高度,沿着x轴的麦克风对将源的DOA估计为距x轴1010达30°(即,距y-z平面60度),而不是沿着x轴1010。图11A和11B展示与此DOA估计相关联的混淆锥CY10的两个视图,此DOA估计造成相对于麦克风轴线的所估计说话者方向的模糊性。图37A展示升高高于装置H100的平面(例如,显示平面和/或通过麦克风阵列轴线界定的平面)的点源3720(即,说话者的嘴)的另一实例。
可使用例如等表达式将所有对DOA投影到三个麦克风所位于的平面中的360°范围,其中θ1和θ2分别为对1和对2的所估计DOA。此类投影可用于实现跟踪在围绕麦克风阵列的360°范围内的作用中说话者的方向,而不管高度差。应用上述表达式将图10A的DOA估计(0°,60°)投影到x-y平面中会产生可将所述值映射为如图10B中所展示的270°的组合方向估计1022(例如,方位角)。
在典型使用情况下,源将位于未被投影到麦克风轴线上的方向上。图12A到12D展示其中源S01位于麦克风MC10、MC20、MC30的平面上方的此类实例。在此实例中,源信号的DOA穿过点(x,y,z)=(5,2,5),图12A展示如从+z方向观看的x-y平面。图12B和12D展示如从麦克风MC30的方向观看的x-z平面,且图12C展示如从麦克风MC10的方向观看的y-z平面。图12A中的阴影区域指示与如通过y轴麦克风对MC20-MC30观测到的DOA θ1相关联的混淆锥CY,且图12B中的阴影区域指示与如通过x轴麦克风对MC10-MC20观测到的DOA S01,θ2相关联的混淆锥CX。在图12C中,阴影区域指示锥CY,且虚线圆指示锥CX与穿过源且正交于x轴的平面的相交点。此圆上指示其与锥CY的相交点的两个点为源的候选位置。同样,在图12D中,阴影区域指示锥CX,虚线圆指示锥CY与穿过源且正交于y轴的平面的相交点,且此圆上指示其与锥CX的相交点的两个点为源的候选位置。可见,在此2-D情况下,仍存在关于源是在x-y平面上方还是下方的模糊性。
对于图12A到12D中所展示的实例,通过x轴麦克风对MC10-MC20观测到的DOA为且通过y轴麦克风对MC20-MC30观测到的DOA为使用表达式将这些方向投影到x-y平面中会分别产生相对于x轴和y轴的所要角度的量值(21.8°,68.2°),其对应于给定源位置(x,y,z)=(5,2,5)。所观测到的角度的正负号指示其中源(例如,如通过麦克风MC10、MC20和MC30指示)所位于的x-y象限,如图11C中所展示。
实际上,除了上下混淆以外,3D信息几乎是通过2D麦克风阵列来给出。举例来说,由麦克风对MC10-MC20和MC20-MC30观测到的到达方向还可用以估计源相对于x-y平面的仰角角度的量值。如果d表示从麦克风MC20到源的向量,那么向量d到x轴、y轴和x-y平面上的投影的长度可分别表达为d sin(θ2)、d sin(θ1)和可接着将仰角角度的量值估计为
尽管图10A到10B和12A到12D的特定实例中的麦克风对具有正交轴线,但应注意,对于具有非正交轴线的麦克风对,可使用表达式来将DOA估计投影到那些非正交轴线上,且从那点简单明了地获得关于正交轴线的组合方向估计的表示。图37B展示与具有与共用点源非正交的轴线(如所展示)的麦克风阵列的响应相关联的相交混淆锥C1、C2的实例。图37C展示这些锥C1、C2的相交线L1中的一者,所述相交线以三维形式界定点源相对于阵列轴线的两个可能方向中的一者。
图13A展示麦克风阵列MC10、MC20、MC30的实例,其中对MC20、MC30的轴线1位于x-y平面中且相对于y轴偏斜达偏斜角θ0。图13B展示通过来自如图13A中所展示的麦克风阵列MC10、MC20、MC30的观测结果(θ12)获得x-y平面中关于正交轴线x和y的组合方向估计的实例。如果d表示从麦克风MC20到源的向量,那么向量d到x轴和轴线1上的投影的长度可分别表达为d sin(θ2)、d sin(θ1)。向量(x,y)表示向量d到x-y平面上的投影。x的所估计值为已知的,且其留待估计y的值。
可使用向量(x,y)到轴线1上的投影p1=(d sinθ1sinθ0,d sinθ1cosθ0)来执行y的估计。观测到向量(x,y)与向量p1之间的差正交于p1,因此将y计算为可接着分别将x-y平面中相对于正交x轴和y轴的所要到达角表达为
DOA估计到2-D阵列的扩展通常非常适合于扬声器电话应用且对于扬声器电话应用来说为足够的。然而,到N维阵列的进一步扩展也是可能的且可以简单明了的方式来执行。对于其中一个目标占优势的跟踪应用,可能需要选择N对用于表示N维。一旦通过特定麦克风对获得2-D结果,便可利用另一可用对来增加自由度。举例来说,图12A到12D和图13A、13B说明使用x-y平面中的来自不同麦克风对的所观测到的DOA估计来获得投影到x-y平面中的源方向的估计。以相同方式,可使用来自x轴麦克风对和z轴麦克风对(或x-z平面中的其它对)的所观测到的DOA估计来获得投影到x-z平面中的源方向的估计,且对于y-z平面或与麦克风中的三者或三者以上相交的任何其它平面,同样如此。
可使用来自不同维度的DOA误差的估计来获得组合似然度估计,例如,使用例如等表达式,其中θ0,i表示针对对i选择的DOA候选者。可能需要使用不同误差当中的最大值来促成较之于接近于混淆锥中的仅一者且因而可能指示假峰值的估计优先选择接近于两个观测结果的混淆锥的估计。可使用此类组合结果来获得(帧,角度)平面(如图8中所示且如本文所述)和/或(帧,频率)曲线图(如图9的底部所示且如本文所述)。
本文所述的DOA估计原理可用以支持在多个扬声器当中进行选择。举例来说,可将多个源的位置与特定扬声器的手动选择(例如,推动特定按钮以选择特定对应用户)或特定扬声器的自动选择(例如,通过扬声器辨识)组合。在一个此类应用中,电话经配置以辨识其拥有者的话音,且优先于其它源的方向而自动地选择对应于所述话音的方向。
对于麦克风的一维(1-D)阵列,可容易地在(例如)-90°到90°的范围内界定源的到达方向DOA10。举例来说,容易依据由阵列的各种麦克风产生的信号当中的相位差获得跨越一角度范围的到达方向DOA10的闭式解(例如,如图13C的情况1和2中所展示)。
对于在任意相对位置处包含两个以上麦克风的阵列(例如,非同轴阵列),可能需要使用如上文所描述的一维原理的简单明了的扩展,例如,二维形式的两对情况下的(θ1,θ2)、三维形式的三对情况下的(θ1,θ2,θ3),等等。关键问题是如何将空间滤波应用于成对1-D到达方向DOA10估计的此类组合。举例来说,依据由阵列的各种麦克风产生的信号当中的相位差获得针对非同轴阵列(例如,如图13C中的情况3和4中所展示)的跨越一角度范围的到达方向DOA10的闭式解可能为困难的或不切实际的。
图14A展示用于基于稳健1-D DOA估计的空间选择性滤波的简单明了的一维(1-D)成对波束成形-零点形成(BFNF)BF10配置的实例。在此实例中,记法表示对内的麦克风对编号ⅰ、麦克风编号j,和源编号k,因此每一对表示相应源和麦克风对的导向向量(椭圆指示源1和麦克风对1的导向向量),且λ表示正则因子。源的数目不大于麦克风对的数目。此类配置避免了对同时使用所有麦克风界定DOA的需要。
可通过增大每一对的导向向量来应用波束成形器/零点波束成形器(BFNF)BF10(如图14A中所展示)。在此图中,AH表示A的共轭转置,x表示麦克风通道且y表示经空间滤波的通道。使用如图14A中所展示的伪逆操作A+=(AHA)-1AH允许使用非正方形矩阵。对于如图15A中所说明的三麦克风MC10、MC20、MC30情况(即,两个麦克风对),例如,行的数目2×2=4,而不是3,因此额外行使得矩阵为非正方形。
因为图14A中所展示的方法是基于稳健1-D DOA估计,所以无需完全了解麦克风几何布置,且也不需要同时使用所有麦克风进行DOA估计。此类方法非常适合于供如本文中所描述的基于角度图的DOA估计使用,但还可使用任何其它1-D DOA估计方法。图14B展示如图14A中所展示的BFNF BF10的实例,其还包含归一化N10(即,除以分母)以防止在空间混叠频率(即,为麦克风之间的距离的两倍的波长)下出现处于病态反转。
图15B展示成对(PW)归一化的最小方差无失真响应(MVDR)BFNF BF10的实例,其中获得导向向量(阵列流形向量)的方式不同于常规方法。在此情况下,归因于两对之间共享麦克风(例如,图15A中加标号为x1,2和x2,1的麦克风)而使得消除了共用通道。噪声相干矩阵Γ可通过测量或通过使用sinc函数进行理论计算来获得。应注意,可将图14A、14B和15B的实例一般化到任意数目个源N,使得N<=M,其中M为麦克风的数目。
图16A展示在矩阵AHA并非处于病态的情况下可使用的BFNF BF10的另一实例,所述情形可使用矩阵的条件数或决定因素来确定。在此实例中,记法如图14A中,且源的数目N不大于麦克风对的数目M。如果矩阵处于病态,那么可能需要绕过用于用作源通道的那个频段的一个麦克风信号,同时继续应用方法以对其中矩阵AHA并非处于病态的其它频段进行空间滤波。此选项节省了用于计算用于归一化的分母的计算。图14A到16A中的方法演示了可独立地在每一频段应用的BFNF BF10技术。使用如本文所描述的每一频率和麦克风对的DOA估计建构导向向量。举例来说,可将针对对p和源n、针对DOA θi、频率f和麦克风编号m(1或2)的导向向量的每一元素计算为其中lp指示对p的麦克风之间的距离,ω指示频段编号,且fs指示取样频率。图16B展示如图15A中所展示的阵列的导向向量SV10a到SV10b的实例。
PWBFNF方案可用于抑制高达可用自由度的干扰源的直接路径(在无平滑轨迹假设的情况下的瞬时抑制,使用方向性掩蔽的额外噪声抑制增益,使用带宽扩展的额外噪声抑制增益)。象限框架的单个通道后处理可用于静态噪声和噪声参考处置。
可能需要获得瞬时抑制,而且提供例如音乐噪声等伪影的最小化。可能需要最大限度地使用用于BFNF的可用自由度。一个DOA可跨越所有频率固定,或可准许跨越频率稍微错配的对准。仅当前帧可用,或可实施前馈网络。可针对高达尼奎斯特速率的范围中的所有频率(除了处于病态的频率以外)设置BFNF。可使用自然掩蔽方法(例如,获得积极性的平滑自然无缝转变)。图31展示针对如图21B和22中所展示的情境的用于目标和移动干扰源的DOA跟踪的实例。在图31中,指示D处的固定源S10,且还指示移动源S20。
图17展示用于如本文所描述的集成方法1700的一个实例的流程图。此方法包含用于相位延迟估计的存量匹配任务T10、用以获得DOA误差值的误差计算任务T20、维度匹配及/或对选择任务T30,和用以将所选定的DOA候选者的DOA误差映射为源活动似然度估计的任务T40。成对DOA估计结果还可用以跟踪一或多个作用中说话者,执行成对空间滤波操作,及/或执行时间和/或频率选择性掩蔽。还可使用活动似然度估计和/或空间滤波操作来获得噪声估计以支持单通道噪声抑制操作。图18和19展示使用2-D麦克风布置跟踪源(例如,人类说话者)在如图21A中所展示的方向A-B-C-D当中的移动获得的观测结果的实例。如图21A中所描绘,可使用三个麦克风MC10、MC20、MC30记录音频信号。在此实例中,图18展示通过y轴对MC20-MC30获得的观测结果A到D,其中距离dx为3.6厘米;图19展示通过x轴对MC10-MC20获得的观测结果A到D,其中距离dy为7.3厘米;且DOA估计的存量以五度的分辨率涵盖-90度到+90度的范围。
可以理解,当源处于麦克风对的端射方向上时,源在麦克风上方或下方的仰角限制所观测到的角度。因此,当源在麦克风的平面外部时,通常不会观测到实际端射。在图18和19中可见,归因于源相对于麦克风平面的仰角,所观测方向即使在源穿过对应端射方向(即,用于x轴对MC10-MC20的方向A和用于y轴对MC20-MC30的方向B)时也不会达到-90度。
图20展示其中针对如图21A中所展示的情境来自正交轴线的+/-90度观测结果A到D(如图18和19中所展示)经组合以产生在0到360度的范围内的麦克风平面中的DOA估计的实例。在此实例中,使用1度分辨率。图22展示在方向D上存在另一源(例如,静止的人类说话者)的情况下使用2-D麦克风布置(其中距离dx为3.6厘米且距离dy为7.3厘米)通过麦克风MC10、MC20、MC30跟踪源(例如,人类说话者)在如图21B中所展示的方向A-B-C当中的移动获得的组合观测结果A到D的实例。
如上文所描述,可基于似然度的总和计算DOA估计。当组合来自不同麦克风轴线的观测结果时(例如,如图20中所展示),可能需要在计算似然度的总和之前执行每一个别频段的组合,尤其是在可能存在一个以上方向性源的情况下(例如,两个说话者,或说话者与干扰源)。假设在每一频段只有一个源占优势,那么对于每一频率分量计算组合观测结果保留了不同源在不同对应频率下的优势之间的区分。如果在组合观测结果之前对观测结果执行受不同源支配的频段内的加总,那么可丢失此区分,且组合观测结果可指示不对应于任何实际源的位置的方向上的杂散峰值。举例来说,对来自45度处的第一源与225度处的第二源的正交麦克风对的观测结果进行加总且接着组合经加总的观测结果可能在135度和315度处产生杂散峰值(除45度和225度处的所要峰值之外)。
图23和24展示针对如图25中所展示的电话会议情境的组合观测结果的实例,其中电话静止在桌面上。在图25中,装置可包含三个麦克风MC10、MC20、MC30。在图23中,说明信号的帧号2310、到达角2312和振幅2314。在大约帧5500处,说话者1站起来,且说话者1的移动对于大约帧9000为明显的。说话者3在帧9500附近的移动也是可见的。图24中的矩形指示目标扇区选择TSS10,使得从此扇区外部各方向到达的频率分量可被拒绝或以其它方式衰减,或以与从所选扇区内各方向到达的频率分量不同的其它方式加以处理。在此实例中,目标扇区为180度到270度的象限,且是由用户从麦克风平面的四个象限当中选择的。此实例还包含来自空调系统的声学干扰。
图26和27展示针对如图28A中所展示的动态情境的组合观测结果的实例。在图28A中,装置可定位于第一扬声器S10、第二扬声器S20和第三扬声器S30之间。在图26中,说明信号的帧号2610、到达角2612和振幅2614。在此情境中,说话者1在约帧800处拿起电话且在约帧2200处将电话放回桌面上。尽管在电话处于此浏览-通话位置中时角度跨度较宽,但可看见,空间响应仍然居中位于指明的DOA中。在约帧400之后,说话者2的移动也是明显的。如图24中,图27中的矩形指示用户选择180度到270度的象限作为目标扇区TSS10。图29和30展示针对如图28B中所展示的具有道路噪声的动态情境的组合观测结果的实例。在图28B中,电话可从扬声器S10接收音频信号。在图29中,说明信号的帧号2910、到达角2912和振幅2914。在此情境中,说话者在约帧200与100之间拿起电话且再次在约帧1400与2100之间拿起电话。在此实例中,图30中的矩形指示用户选择270度到360度的象限作为干扰扇区IS10。
(VAD)可使用如本文中所描述的基于角度图的技术来支持话音活动检测(VAD),可在各种使用情况(例如,扬声器电话)中应用所述话音活动检测来进行噪声抑制。可实施为基于扇区的方法的此类技术可包含基于所有扇区的最大似然度(likelihood_max)的“vadall”统计。举例来说,如果最大值显著大于仅噪声阈值,那么vadall统计的值为1(否则为零)。可能需要仅在仅噪声周期期间更新仅噪声阈值。可(例如)通过单通道VAD(例如,来自主麦克风通道)和/或基于语音起始和/或偏移的检测(例如,基于一组频率分量中的每一者的能量的时间导数)的VAD来指示此类周期。
另外或替代地,此类技术可包含基于每一扇区的最大似然度的每扇区“vad[扇区]”统计。此类统计可经实施以仅在单通道VAD和起始-偏移VAD为1、vadall为1且扇区的最大值大于likelihood_max的某一部分(例如,95%)时,具有值1。可使用此信息来选择具有最大似然度的扇区。可适用的情境包含用户选择的目标扇区与移动干扰源,和用户选择的干扰扇区与移动目标。
可能需要选择瞬时跟踪(PWBFNF性能)与防止干扰扇区的太频繁切换之间的取舍。举例来说,可能需要组合vadall统计与一或多个其它VAD统计。vad[扇区]可用以指定干扰扇区及/或触发非静态噪声参考的更新。还可能需要使用(例如)基于最小统计的归一化技术(例如,如2012年5月24日公布的第2012/0130713号美国专利申请公开案中所描述)将vadall统计和/或vad[扇区]统计归一化。
可使用如本文中所描述的基于角度图的技术来支持方向性掩蔽,可在各种使用情况(例如,扬声器电话)中应用所述方向性掩蔽来进行噪声抑制。此类技术可用以通过使用DOA估计控制方向性掩蔽技术(例如,使目标象限通过及/或阻断干扰象限)来获得额外噪声抑制增益。此类方法可用于处置混响且可产生额外的6到12分贝增益。可提供来自角度图的接口用于象限掩蔽(例如,通过根据每一频段指配具有最大似然度的角度)。可能需要基于如通过角度图指示的目标优势来控制掩蔽积极性。此类技术可经设计以获得自然掩蔽响应(例如,积极性的平滑自然无缝转变)。
可能需要提供多视角图形用户接口(GUI)以用于源跟踪及/或用于具有方向性掩蔽的PW BFNF扩展。本文中呈现可应用于桌上型免提扬声器电话使用情况的三麦克风(两对)二维(例如,360°)源跟踪和增强方案的各种实例。然而,可能需要实践通用方法以提供对范围为从桌上型免提到手持式免提或甚至到手持机使用情况的使用情况的无缝涵盖。虽然三麦克风方案可用于手持式免提使用情况,但可能还需要在装置的背面上使用第四麦克风(如果已经存在)。举例来说,可能需要至少四个麦克风(三个麦克风对)来用以表示(x,y,z)维度。如图1所示的设计具有此特征,图32A中所展示的设计也具有此特征,具有三个正面麦克风MC10、MC20、MC30和背面麦克风MC40(阴影圆)。
可能需要在此类装置的显示屏幕上提供作用中源的可视化。可应用本文中所描述的扩展原理来通过使用前-后麦克风对获得从2D到3D的简单明了的扩展。为了支持多视角GUI,可通过利用多种位置检测方法中的任一者确定用户的握持模式,多种检测方法例如加速度计、陀螺测试仪、接近度传感器和/或通过按每一握持模式的2D角度图给出的似然度方差。取决于当前握持模式,可切换到如适于此类握持模式的两个非同轴麦克风对,且还可在显示器上提供对应的360°2D表示(如果用户想要看见360°2D表示的话)。
举例来说,此类方法可经实施以支持在一模式范围当中进行切换,所述模式范围可包含桌上型免提(例如,扬声器电话)模式、肖像浏览-通话模式和风景浏览-通话模式。图32B展示具有三个正面麦克风MC10、MC20、MC30的桌上型免提模式的实例和装置的显示屏幕上的对应可视化。图32D展示手持式免提(肖像)模式的实例,其中两个正面麦克风MC10、MC20和一个背面麦克风MC40(阴影圆)经激活,及对应显示。图32C展示手持式免提(风景)模式的实例,其中一对不同的正面麦克风MC10、MC20和一个背面麦克风MC40(阴影圆)经激活,及对应显示。在一些配置中,背面麦克风MC40可位于装置的背面上,大致在正面麦克风MC10中的一者的后方。
可能需要提供目标源的增强。可应用本文中所描述的扩展原理来通过还使用前-后麦克风对获得从2D到3D的简单明了的扩展。不是仅两个DOA估计(θ1,θ2),而是从另一维度获得额外估计以实现总共三个DOA估计(θ1,θ2,θ3)。在此情况下,如图14A和14B中所展示的PWBFNF系数矩阵从4×2扩充到6×2(通过添加的麦克风对),且掩蔽增益函数从f(θ1)f(θ2)扩充到f(θ1)f(θ2)f(θ3)。通过使用如上文所描述的位置敏感选择,可最佳地使用所有三个麦克风对(而不管当前握持模式),以依据源增强性能获得模式当中的无缝转变。当然,同样可一次使用三对以上。
如本文中所论述的用于方向估计的麦克风中的每一者(例如,参考一或多个用户或其它源的位置及跟踪)可具有全向的、双向的或单向的(例如,心形)响应。可使用的各种类型的麦克风包含(不限于)压电麦克风、动态麦克风和驻极体麦克风。明确地指出,可更一般化地将麦克风实施为对辐射或发射(不同于声音)敏感的换能器。在一个此类实例中,麦克风阵列经实施以包含一或多个超声波换能器(例如,对大于15、20、25、30、40或50赫兹或50赫兹以上的声频敏感的换能器)。
可将如本文中所揭示的设备实施为硬件(例如,处理器)与软件和/或与固件的组合。此类设备还可包含如图38A中所示的音频预处理级AP10,其对由麦克风MC10和MC20(例如,一或多个麦克风阵列的实施方案中的麦克风)中的每一者产生的信号执行一或多个预处理操作,以产生经预处理的麦克风信号(例如,左麦克风信号和右麦克风信号中的对应者)以用于输入到任务T10或差异计算器100。此类预处理操作可包含(不限于)阻抗匹配、模数转换、增益控制,和/或模拟域和/或数字域中的滤波。
图38B展示包含模拟预处理级P10a、P10b和P10c的音频预处理级AP10的三通道实施方案AP20的框图。在一个实例中,级P10a、P10b和P10c各自经配置以对对应麦克风信号执行高通滤波操作(例如,具有50、100或200赫兹的截止频率)。通常,级P10a、P10b和P10c经配置以对每一信号执行相同功能。
可能需要音频预处理级AP10将每一麦克风信号产生为数字信号,也就是说,产生为一序列样本。音频预处理级AP20(例如)包含各自经布置以对对应模拟信号进行取样的模/数转换器(ADC)C10a、C10b和C10c。用于声学应用的典型取样率包含8赫兹、12赫兹、16赫兹和从约8赫兹到约16赫兹的范围内的其它频率,但还可使用高达约44.1赫兹、48赫兹或192赫兹的取样率。通常,转换器C10a、C10b和C10c经配置以按相同速率对每一信号进行取样。
在此实例中,音频预处理级AP20还包含数字预处理级P20a、P20b和P20c,其各自经配置以对对应的数字化通道执行一或多个预处理操作(例如,频谱整形)以产生左麦克风信号AL10、中心麦克风信号AC10和右麦克风信号AR10中的对应者以用于输入到任务T10或差异计算器100。通常,级P20a、P20b和P20c经配置以对每一信号执行相同功能。还应注意,预处理级AP10可经配置以产生来自麦克风中的至少一者的信号的不同版本(例如,以不同取样率及/或通过不同频谱整形)以用于内容使用,例如,提供话音通信(例如,电话呼叫)中的近端语音信号。尽管图38A和38B分别展示两通道和三通道实施方案,但应理解,相同原理可扩展到任意数目个麦克风。
图39A展示设备MF10的实施方案MF15的框图,所述设备包含用于基于由装置F30产生的多个候选方向选择(例如,如本文中参考任务T400的实施方案所描述)指示到达方向的装置F40。可实施设备MF15以(例如)执行如本文中所描述的方法M25和/或M110的实例。
可如本文中所描述来处理由麦克风对或其它线性麦克风阵列接收的信号,以提供指示参考阵列的轴线的角度的所估计DOA。如上文所描述(例如,参考方法M20、M25、M100和M110),可在线性阵列中使用两个以上麦克风来改善跨越频率范围的DOA估计性能。然而,甚至在此类情况下,线性(即,一维)阵列所支持的DOA估计的范围通常限于180度。
图2B展示一维DOA估计指示相对于正交于阵列的轴线的平面的角度(在+90度到-90度的180度范围内)的测量模型。尽管下文参考如图2B中所展示的上下文描述方法M200和M300和任务TB200的实施方案,但将认识到,此类实施方案不限于此上下文且明确地预期并在此揭示参考其它上下文的对应实施方案(例如,其中DOA估计指示在麦克风MC10的方向上或替代地在远离麦克风MC10的方向上相对于轴线的0到180度的角度)。
所要角度跨度可任意地在180度范围内。举例来说,DOA估计可限于所述范围内的所关注的选定扇区。所要角度分辨率还可以为任意的(例如,均匀地分布在范围内或非均匀地分布)。另外或替代地,所要频率跨度可为任意的(例如,限于话音范围)及/或所要频率分辨率可为任意的(例如,线性的、对数的、梅尔尺度、巴克尺度等)。
图39B展示由来自线性阵列的DOA估计的单向度产生的模糊性的实例。在此实例中,来自麦克风对MC10、MC20的DOA估计(例如,作为如由选择器300产生的候选方向,或如由指示器400产生的DOA估计)指示参考阵列轴线的角度θ。然而,即使此估计非常准确,其也不会指示源是沿着线d1还是沿着线d2定位。
来自线性麦克风阵列的DOA估计(由于其单向度)实际上描述空间中的围绕阵列轴线的正确的圆锥表面(假设麦克风的响应为极佳地全向的)而不是空间中的任何特定方向。此圆锥表面(还被称为“混淆锥”)上的源的实际位置是不确定的。图39C展示此类表面的一个实例。
图40展示扬声器电话应用中的源混淆的实例,其中三个源(例如,人类说话者的嘴)位于相对于具有线性麦克风阵列的装置D100(例如,智能电话)的不同的相应方向上。在此实例中,源方向d1、d2和d3皆碰巧位于混淆锥上,所述混淆锥是在麦克风MC20处通过在麦克风MC10的方向上相对于阵列轴线的角度(θ+90度)来界定。因为所有三个源方向具有相对于阵列轴线的相同角度,所以麦克风对针对每一源产生相同的DOA估计且未能区分所述源。
为了提供具有较高维数的估计,可能需要将本文中所描述的DOA估计原理扩展到麦克风的二维(2-D)阵列。图41A展示包含具有正交轴线的两个麦克风对的2-D麦克风阵列。在此实例中,第一对MC10、MC20的轴线为x轴,且第二对MC20、MC30的轴线为y轴。可针对第一对执行方法M10的实施方案的实例以产生对应1-D DOA估计θx,且可针对第二对执行方法M10的实施方案的实例以产生对应1-D DOA估计θy。对于从位于通过麦克风轴线界定的平面中的源到达的信号,通过θx和θy描述的混淆锥在信号的到达方向d上重合以指示平面中的独特方向。
图41B展示根据一般配置的包含任务TB100a、TB100b和TB200的方法M200的流程图。任务TB100a计算对多通道信号的关于麦克风的第一线性阵列的轴线的第一DOA估计,且任务TB100b计算对多通道信号的关于麦克风的第二线性阵列的轴线的第二DOA估计。可将任务TB100a和TB100b中的每一者实施为(例如)如本文中所描述的方法M10的实施方案的实例(例如,方法M20、M30、M100或M110)。基于第一和第二DOA估计,任务TB200计算组合DOA估计。
组合DOA估计的范围可大于第一和第二DOA估计中的任一者的范围。举例来说,可实施任务TB200以组合由任务TB100a和TB100b产生的且具有高达180度的个别范围的1-DDOA估计,以产生指示DOA为高达360度的范围内的角度的组合DOA估计。可实施任务TB200以通过应用映射,例如,
将1-D DOA估计θxy映射到较大角度范围内的方向,以组合一个角度与来自另一角度的信息(例如,正负号信息)。对于如图41A中所展示的1-D估计(θxy)=(45°,45°),例如,可实施TB200以应用此类映射以获得相对于x轴45度的组合估计θc。对于DOA估计的范围为0到180度而不是-90到+90度的情况,将理解,表达式(1)中的轴向极性(即,正或负)条件将依据被测试DOA估计是小于还是达与90度来表达。
可能需要在360度范围显示上展示组合DOA估计θc。举例来说,可能需要将DOA估计显示为平面极坐标图上的角度。举例来说,在例如雷达和生物医学扫描等应用中,平面极坐标图显示是熟悉的。图41C展示在此类显示器上展示的DOA估计的实例。在此实例中,线的方向指示DOA估计且线的长度指示从所述方向到达的分量的当前强度。如此实例中所展示,极坐标图还可包含一或多个同心圆以指示线性或对数(例如,分贝)尺度的方向分量的强度。对于一次一个以上DOA估计可用的情况(例如,对于在频率上不相交的源),可显示用于每一DOA估计的对应线。替代地,可在矩形坐标系(例如,笛卡耳坐标)上显示DOA估计。
图42A和42B分别展示1-D估计θx和θy的正负号与通过阵列轴线界定的平面的对应象限之间的对应关系。图42C展示元组(sign(θx),sign(θy))的四个值与平面的象限之间的对应关系。图42D展示根据替代映射的360度显示(例如,相对于y轴)
应注意,图41A说明特殊情况,其中源位于通过麦克风轴线界定的平面中,使得通过θx和θy描述的混淆锥指示此平面中的独特方向。对于大部分实际应用,可能预期2-D阵列的非线性麦克风对的混淆锥通常不在通过阵列界定的平面中重合,甚至对于远场点源也如此。举例来说,源相对于阵列的平面的高度(例如,源沿着z轴的位移)可在2-D跟踪中起到重要作用。
可能需要产生从三维空间中的任意位置的源接收的信号的到达方向的准确的2-D表示。举例来说,可能需要由任务TB200产生的组合DOA估计在不包含DOA的平面(例如,如通过麦克风阵列或通过装置的显示表面界定的平面)上指示源信号的DOA。此类指示可用以(例如)支持音频感测装置相对于源的任意放置和/或装置和源的任意相对移动(例如,用于扬声器电话和/或源跟踪应用)。
图43A展示类似于图41A但描绘其中源位于x-y平面上方的更一般的情况的实例。在此情况下,阵列的混淆锥的相交点指示两个可能的到达方向:在x-y平面上方延伸的方向d1,和在x-y平面下方延伸的方向d2。在许多应用中,可通过假设方向d1为正确的且忽略第二方向d2来解决此模糊性。对于装置放置在桌面上的扬声器电话应用,例如,可假设无任何源位于装置下方。在任何情况下,方向d1和d2在x-y平面上的投影为相同的。
虽然在源位于麦克风平面中时,1-D估计θx和θy到360度范围的映射(例如,如表达式(1)或(2)中)可产生适当DOA指示,但所述映射对于并不位于所述平面中的源的更一般情况可产生不准确结果。对于如图41B中所展示的θx=θy的情况,例如,可理解,x-y平面中的对应方向为相对于x轴的45度。然而,将表达式(1)的映射应用于值(θxy)=(30°,30°)会产生相对于x轴的30度的组合估计θc,其并不对应于如投影在平面上的源方向。
图43B展示2-D麦克风阵列的另一实例,所述2-D麦克风阵列的轴线界定x-y平面和位于x-y平面上方的源(例如,其中说话者的嘴在桌面上方的扬声器电话应用)。关于x-y平面,源沿着y轴定位(例如,呈相对于x轴90度的角度)。x轴对MC10、MC20指示相对于y-z平面零度的DOA(即,向所述对轴线边射),其与如投影到x-y平面上的源方向一致。尽管源位于y轴正上方,但其常常在z轴方向上偏移30度的仰角角度。源距x-y平面的此仰角致使y轴对MC20、MC30指示60度(即,相对于x-z平面)而不是90度的DOA。将表达式(1)的映射应用于值(θxy)=(0°,60°)会产生相对于x轴的60度的组合估计θc,其并不对应于如投影在平面上的源方向。
在典型使用情况下,源将位于既不在通过阵列轴线界定的平面内也不在阵列轴线正上方的方向上。图43C展示其中点源(即,说话者的嘴)升高高于通过阵列轴线界定的平面的此类一般情况的实例。为了获得在平面外的源方向的阵列平面中的正确指示,可能需要实施任务TB200以将1-D DOA估计转换成阵列平面中的角度以获得平面中的对应DOA估计。
图44A到44D展示此类(θxy)转换为阵列平面中的角度的推导。在图44A和44B中,分别将源向量d投影到x轴上及投影到y轴上。这些投影的长度(分别为d sinθx和d sinθy)为源向量d到x-y平面上的投影p的尺寸,如图44C中所展示。这些尺寸足以确定DOA估计(θxy)分别到x-y平面中的p相对于y轴及相对于x轴的角度的转换,如图44D中所展示:
其中ε为如可包含以避免除以零误差的小值。(应注意,参看图43B、43C、44A到44E,且还参看如下文所论述的图46A到46E,如所展示的相对量值d仅是为了便于说明,且针对平面波前保持有效的远场假设,d的量值应相对于麦克风阵列的尺寸足够大。)
可实施任务TB200以将根据此类表达式的DOA估计转换成阵列平面中的对应角度且将映射(例如,如表达式(1)或(2))应用于经转换的角度以获得所述平面中的组合DOA估计θc。应注意,任务TB200的此类实施方案可省略如表达式(3)中包含的(替代地,)的计算,这是因为值θc可如结合(例如,如表达式(1)和(2)中所展示)根据来确定。对于也需要值的此类情况,可将其计算为(且对于同样)。
图43C展示其中源信号的DOA通过点(x,y,z)=(5,2,5)的实例。在此情况下,由x轴麦克风对MC10-MC20观测到的DOA为且由y轴麦克风对MC20-MC30观测到的DOA为使用表达式(3)将这些角度转换成x-y平面中的对应角度将产生经转换的DOA估计其对应于给定源位置(x,y)=(5,2)。
将表达式(3)应用于值(θxy)=(30°,30°)(如图41B中所展示)将产生经转换的估计通过表达式(1)将所述估计映射为相对于x轴45度的预期值。将表达式(3)应用于值(θxy)=(0°,60°)(如图43B中所展示)将产生经转换的估计通过表达式(1)将所述估计映射为相对于x轴90度的期望值。
可实施任务TB200以应用如上文所描述的转换及映射以将如通过来自2-D正交阵列的任何此类对DOA估计指示的DOA投影到阵列所位于的平面上。此类投影可用于实现跟踪在围绕麦克风阵列的360°范围内的作用中说话者的方向,而不管高度差。图45A展示通过将替代映射应用于图43B的经转换的估计以获得270度的组合方向估计(例如,方位角)获得的曲线图。在此图中,同心圆上的标号指示以分贝来计的相对量值。
还可在计算组合DOA估计之前实施任务TB200以包含关于所观测到的DOA估计的合法性检查。可能需要(例如)验证值(|θx|+|θy|)是否至少等于90度(例如,验证与两个所观测到的估计相关联的混淆锥是否将沿着至少一条线相交)。
实际上,除了上下混淆以外,由来自2D麦克风阵列的此类DOA估计提供的信息几乎完全呈三维形式。举例来说,由麦克风对MC10-MC20和MC20-MC30观测到的到达方向还可用以估计源相对于x-y平面的仰角角度的量值。如果d表示从麦克风MC20到源的向量,那么向量d到x轴、y轴和x-y平面上的投影的长度可分别表达为d sin(θx),d sin(θy)和(例如,如图44A到44E中所展示)。可接着将仰角角度的量值估计为
尽管在一些特定实例中线性麦克风阵列具有正交轴线,但可能需要针对其中麦克风阵列的轴线并非正交的更一般情况实施方法M200。图45B展示与具有与共用点源非正交的轴x及r的线性麦克风阵列的响应相关联的相交混淆锥的实例。图45C展示这些锥的相交线,所述线界定点源相对于三维中的阵列轴线的两个可能方向d1和d2。
图46A展示麦克风阵列MC10-MC20-MC30的实例,其中MC10-MC20对的轴线为x轴,且MC20-MC30对的轴线r位于x-y平面中且相对于y轴偏斜达偏斜角α。图46B展示使用来自如图46A中所示的阵列的观测结果(θxr)相对于正交轴线x及y获得x-y平面中的组合方向估计的实例。如果d表示从麦克风MC20到源的向量,那么向量d到x轴上及到轴线r上的投影(dx)和(dr)的长度可分别表达为d sin(θx)和d sin(θr),,如图46B和46C中所展示。向量p=(px,py)表示向量d到x-y平面上的投影。所估计的值px=d sinθx为已知的,且其留待确定py的值。
假设α值在范围(-90°,+90°)内,关于具有任何其它α值的阵列,可容易地将其映射为此类情况。py的值可从如图46D和46E中所展示的投影向量dr=(d sinθr sinα,d sinθrcosα)的尺寸来确定。观测到向量p与向量dr之间的差正交于dr(即,内积<(p-dr),dr>等于零),因此将py计算为(对于α=0,其缩减为py=d sinθr)。可接着分别将x-y平面中相对于正交x轴和y轴的所要到达角表达为
应注意,表达式(3)为表达式(4)的特殊情况,其中α=0。投影p的维度(px,py)还可用以估计源相对于x-y平面的仰角角度θh(例如,以与上文参看图44E所描述的方式类似的方式)。
图47A展示根据一般配置的包含任务TB100a和TB100b的实例的方法M300的流程图。方法M300还包含任务TB200的实施方案TB300:计算到达方向到不包含所述到达方向的平面(例如,由阵列轴线界定的平面)的投影。以此方式,2-D阵列可用以将源DOA估计的范围从线性180度估计扩展到平面360度估计。图47C说明具有用于执行对应于图47A的功能的组件(例如,第一DOA估计器B100a、第二DOA估计器B100b和投影计算器B300)的设备A300的一个实例。图47D说明包含用于执行对应于图47A的功能的装置(例如,用于计算关于第一阵列的轴线的第一DOA估计的装置FB100a、用于计算关于第二阵列的轴线的第二DOA估计的装置FB100b,和用于计算DOA到不包含所述DOA的平面上的投影的装置FB300)的设备MF300的一个实例。
图47B展示包含子任务TB310和TB320的任务TB300的实施方案TB302的流程图。任务TB310将第一DOA估计(例如,θx)转换为投影平面中的角度(例如,)。举例来说,任务TB310可执行如在例如表达式(3)或(4)中所示的转换。任务TB320组合所转换的角度与来自第二DOA估计的信息(例如,正负号信息)以获得到达方向的投影。举例来说,任务TB320可根据例如表达式(1)或(2)执行映射。
如上文所描述,源DOA估计到两个维度的扩展还可包含估计DOA在90度范围内的仰角角度(例如,以提供描述在阵列平面上的范围的测量范围)。图48A展示包含任务TB400的方法M300的此实施方案M320的流程图。任务TB400参考包含阵列轴线的平面计算DOA的仰角角度的估计(例如,如本文参考图44E所描述)。还可实施方法M320以组合所投影DOA估计与估计的仰角角度以产生三维向量。
可能需要在具有包含两个或两个以上线性麦克风阵列的2-D阵列的音频感测装置内执行方法M300的实施方案。可经实施以包含此类2-D阵列且可用以执行用于音频记录和/或话音通信应用的此类方法的便携式音频感测装置的实例包含电话手持机(例如,蜂窝式电话手持机);有线或无线耳机(例如,蓝牙耳机);手持式音频和/或视频记录器;经配置以记录音频和/或视频内容的个人媒体播放器;个人数字助理(PDA)或其它手持式计算装置;以及笔记本计算机、膝上型计算机、上网本计算机、平板计算机,或其它便携式计算装置。所述类别的便携式计算装置当前包含具有如下名称的装置:膝上型计算机、笔记型计算机、上网本计算机、超便携式计算机、平板计算机、移动因特网装置、智能本,和智能电话。此类装置可具有包含显示屏幕的顶部面板和可包含键盘的底部面板,其中所述两个面板可以蛤壳或其它铰接关系连接。此类装置可类似地实施为在顶表面上包含触摸屏显示器的平板计算机。
DOA估计到2-D阵列的扩展(例如,如本文参考方法M200的实施方案和方法M300的实施方案所描述)通常非常适合于扬声器电话应用且足以满足扬声器电话应用。然而,此些原理到N维阵列(其中N>=2)的进一步扩展也是可能的,且可以简单明了的方式执行。举例来说,图41A到46E说明使用来自x-y平面中的不同麦克风对的所观测到的DOA估计来获得投影到x-y平面中的源方向的估计。以相同方式,可实施方法M200或M300的实例以组合来自x轴麦克风对与z轴麦克风对(或x-z平面中的其它对)的所观测到的DOA估计以获得投影到x-z平面中的源方向的估计,且对于y-z平面或与麦克风中的三者或三者以上相交的任何其它平面为同样情况。可接着组合2-D投影估计从而以三维形式获得所估计DOA。举例来说,用于投影到x-y平面上的源的DOA估计可与用于投影到x-z平面上的源的DOA估计组合以获得组合的DOA估计作为(x,y,z)空间中的向量。
对于其中一个目标占优势的跟踪应用,可能需要选择N个线性麦克风阵列(例如,对)用于表示N个相应维度。可实施方法M200或M300以组合用此些线性阵列中的一对特定线性阵列获得的2-D结果与来自其它平面中的一或多个线性阵列中的每一者的DOA估计以提供额外自由度。
可使用来自不同维度的DOA误差的估计来例如使用例如下式等表达式获得组合的似然度估计:
其中θ0,i表示针对对i选择的DOA候选者。可能需要使用不同误差当中的最大值来促成较之于接近于混淆锥中的仅一者且因而可能指示假峰值的估计优先选择接近于两个观测结果的混淆锥的估计。可使用此类组合结果来获得(帧,角度)平面(如图8中所示且如本文所述)和/或(帧,频率)曲线图(如图9的底部所示且如本文所述)。
图48B展示用于包含任务TB100c和任务T400的实施方案TB410的方法M320的实施方案M325的流程图。任务TB100c计算关于第三麦克风阵列的轴线的到达方向的第三估计。任务TB410基于来自得自任务TB100a、TB100b和TB100c的DOA估计的信息估计仰角角度。
应明确地指出,可实施方法M200和M300而使得任务TB100a基于对应麦克风通道之间的一种类型的差异(例如,相位差)计算其DOA估计,且任务TB100b(或TB100c)基于对应麦克风通道之间的另一类型的差异(例如,增益差)计算其DOA估计。在方法M325的此类实例的一个应用中,界定x-y平面的阵列扩充到包含前-后对(例如,沿着z轴相对于麦克风MC10、MC20或MC30偏移的第四麦克风)。通过任务TB100c针对此对产生的DOA估计用于任务TB400中以解析仰角角度中的前-后模糊性,使得所述方法提供完整的球形测量范围(例如,在任何平面中都是360度)。在此情况下,可实施方法M325,使得通过任务TB100a和TB100b产生的DOA估计是基于相位差,且通过任务TB100c产生的DOA估计是基于增益差。在特定实例(例如,用于跟踪仅一个源)中,通过任务TB100c产生的DOA估计具有两个状态:第一状态,其指示所述源在平面上方;以及第二状态,其指示所述源在平面下方。
图49A展示方法M300的实施方案M330的流程图。方法M330包含任务TB500:将所计算的投影显示给音频感测装置的用户。任务TB500可经配置以例如以极坐标图的形式(例如,如图41C、42D和45A中所示)在装置的显示屏幕上显示所计算的投影。此类显示屏幕(其可为如图1所示的触摸屏)的实例包含液晶显示器(LCD)、有机发光二极管(OLED)显示器、电润湿显示器、电泳显示器,和干涉式调制器显示器。此类显示器还可包含所估计的仰角角度的指示(例如,如图49B中所示)。
可实施任务TB500以相对于装置的参考方向(例如,装置的主轴)显示所投影的DOA。在此情况下,如所指示的方向将随着装置相对于固定源旋转而改变,即使所述源的位置不改变也是这样。图50A和50B分别展示此类显示器在此旋转之前和之后的实例。
或者,可能需要实施任务TB500以相对于外部参考方向显示所投影的DOA,使得如所指示的方向随着装置相对于固定源旋转而保持恒定。图51A和51B分别展示此类显示器在此旋转之前和之后的实例。
为支持任务TB500的此实施方案,装置D100可经配置以包含定向传感器(未展示),所述定向传感器参考外部参考方向(例如,重力轴线(例如,正交于地球表面的轴线)或磁轴(例如,地球的磁轴))指示装置的当前空间定向。定向传感器可包含一或多个惯性传感器,例如陀螺仪和/或加速度计。陀螺仪使用角动量的原理来检测绕着一轴线或绕着两个或三个(通常正交)轴线中的每一者的定向改变(例如,俯仰、横滚和/或扭转的改变)。陀螺仪(其可制造为微机电系统(MEMS)装置)的实例包含振动陀螺仪。加速度计检测沿着一轴线或沿着两个或三个(通常正交)轴线中的每一者的加速度。加速度计也可制造为MEMS装置。还可能将陀螺仪和加速度计组合到单个传感器中。另外或替代地,定向传感器可包含一或多个磁场传感器(例如,磁力计),其测量沿着一轴线或沿着两个或三个(通常正交)轴线中的每一者的磁场强度。在一个实例中,装置D100包含磁场传感器,所述磁场传感器指示装置相对于磁轴(例如,地球的磁轴)的当前定向。在此情况下,可实施任务TB500以在旋转成与那一轴线对准的栅格(例如,当作罗盘)上显示所投影的DOA。
图49C展示包含任务TB600和任务TB500的实施方案TB510的方法M330的此实施方案M340的流程图。任务TB600参考外部参考轴线(例如,重力轴线或磁轴)确定音频感测装置的定向。任务TB510基于所确定的定向显示所计算的投影。
可实施任务TB500以将DOA显示为投影到阵列平面上的角度。对于许多便携式音频感测装置,用于DOA估计的麦克风将位于装置的与显示器相同的表面处(例如,图1中的麦克风ME10、MV10-1和MV10-3)或与彼此间相比更为接近于那一表面(例如,图1中的麦克风ME10、MR10和MV10-3)。举例来说,平板计算机或智能电话的厚度相对于显示表面的尺寸通常为小的。在此些情况下,预期可忽略投影到阵列平面上的DOA与投影到显示平面上的DOA之间的任何误差,且配置任务TB500以显示投影到阵列平面上的DOA可为可接受的。
对于其中显示平面与阵列平面显著不同的情况,可实施任务TB500以将所估计的DOA从麦克风阵列的轴线所界定的平面投影到显示表面的平面中。举例来说,任务TB500的此实施方案可显示将投影矩阵应用到所估计DOA的结果,其中投影矩阵描述从阵列平面到显示器的表面平面上的投影。或者,可实施任务TB300以包含此类投影。
如上文所描述,音频感测装置可包含定向传感器,所述定向传感器参考外部参考方向指示装置的当前空间定向。可能需要组合如本文所描述的DOA估计与此类定向信息以参考外部参考方向指示DOA估计。图53B展示包含任务TB600的实例和任务TB300的实施方案TB310的方法M300的此实施方案M350的流程图。还可实施方法M350以包含如本文所描述的显示任务TB500的实例。
图52A展示其中装置坐标系E与世界坐标系对准的实例。图52A还展示对应于此定向(例如,如由定向传感器所指示)的装置定向矩阵F。图52B展示其中装置经旋转(例如,供用于浏览-通话模式)且矩阵F(例如,如由定向传感器所指示)对应于此新定向的实例。
可实施任务TB310以使用装置定向矩阵F来将DOA估计投影到参考世界坐标系界定的任何平面中。在一个此类实例中,DOA估计为装置坐标系中的向量g。在第一操作中,通过与装置定向矩阵F求内积而将向量g转换为世界坐标系中的向量h。可例如根据例如等表达式执行此类转换。在第二操作中,通过投影将向量h投影到参考世界坐标系而界定的平面P中,其中A为世界坐标系中的平面P的基础矩阵。
在典型实例中,平面P平行于世界坐标系的x-y平面(即,“世界参考平面”)。图52C展示如可通过任务TB500执行的将DOA到世界参考平面上的投影透视映射到装置的显示平面上,其中显示平面相对于世界参考平面的定向由装置定向矩阵F指示。图53A展示投影到世界参考平面上的DOA的此类映射显示的实例。
在另一实例中,任务TB310经配置以在投影到平面P中的分量向量g当中使用较少复数内插而将DOA估计向量g投影到平面P中。在此情况下,可根据例如下式等表达式计算所投影的DOA估计向量Pg
Pg=αgx-y(p)+βgx-z(p)+γgy-z(p)
其中表示装置坐标系的基础向量;θα、θβ、θγ表示平面P与分别由横跨的平面之间的角度,且α、β、γ表示其相应余弦(α222=1);并且gx-y(p)、gx-z(p)、gy-z(p)分别表示到分量向量 的平面P中的投影。对应于α、β和γ当中的最小值的平面为最接近于P的平面,且任务TB310的替代实施方案识别此最小值且将所投影分量向量中的对应一者产生为Pg的近似值。
可能需要配置音频感测装置以在具有不同DOA的源信号当中进行鉴别。举例来说,可能需要配置音频感测装置以对多通道信号执行方向选择性滤波操作以使从在一角度通过范围(angular pass range)内的方向到达的方向分量通过和/或阻断或以其它方式衰减从角度停止范围(angular stop range)内的方向到达的方向分量。
可能需要使用如本文所描述的显示器来支持图形用户接口以使得音频感测装置的用户能够配置方向选择性处理操作(例如,如本文所描述的波束成形操作)。图54A展示此类用户接口的实例,其中圆的无阴影部分指示将通过的方向范围,且阴影部分指示将被阻断的方向范围。圆圈指示触摸屏上的点,用户可以在所述圆圈的外围四周滑动以改变所选范围。所述触摸点可联系起来,使得移动一个点致使其它点在相同角方向或者在相反角方向上移动相等角度。替代地,触摸点可为可独立选择的(例如,如图54B中所展示)。还可能提供一或多对额外触摸点以支持对一个以上角范围的选择(例如,如图54C中所示)。
作为对如图54A到54C中所示的触摸点的替代,用户接口可包含其它物理或虚拟选择接口(例如,屏幕上的可点选或可触摸图标)以获得用于选择通过/停止带位置和/或宽度的用户输入。此些接口的实例包含如图53C中所示的线性滑块式电位计(linear sliderpotentiometer)、拨动开关(用于二元输入以指示例如上下、左右、顺时针/逆时针),以及转轮或旋钮。
对于其中预期音频感测装置在使用期间保持固定(例如,装置放置在供扬声器电话使用的平坦表面上)的使用情况,指示相对于装置固定的所选方向范围可能就足够了。然而,如果装置相对于所要源的定向在使用期间改变,那么可能不再允许从那一源的方向到达的分量进入。图55A和55B展示其中使用定向传感器来跟踪装置的定向的另一实例。在此情况下,使用装置的方向位移(例如,如由定向传感器所指示)来更新如由用户选择的方向滤波配置(且更新对应显示),使得可维持所要方向响应而不管装置的定向的改变。
可能需要阵列包含的麦克风数目至少等于在任何一个时间有待区分的不同源方向的数目(例如,待形成的波束的数目)。麦克风可为全向的(例如,如可为蜂窝式电话或专用会议装置典型的)或方向性的(例如,如可为例如机顶盒等装置典型的)。
本文所述的DOA估计原理可用以支持在多个扬声器当中进行选择。举例来说,多个源的位置可与特定扬声器的手动选择(例如,推动特定按钮,或触摸特定屏幕区域以选择特定对应扬声器或作用中源方向)或特定扬声器的自动选择(例如,通过扬声器辨识)加以组合。在一个此类应用中,音频感测装置(例如,电话)经配置以辨识其拥有者的话音,且优先于其它源的方向而自动地选择对应于所述话音的方向。
B.用于映射源位置的系统和方法
应注意,上文所描述的功能、设备、方法和/或算法中的一或多者可根据本文中所揭示的系统和方法来实施。本文中所揭示的系统和方法的一些配置描述用于无缝音频处理的多模传感器融合。举例来说,本文中所描述的系统和方法能够使用传感器数据和位于3D装置上的一组麦克风将来自通过麦克风俘获的3D声源的多个DOA信息投影到物理2D平面中,其中麦克风信号可基于从麦克风检索的将2D物理平面中的声源的空间分辨率最大化的DOA信息来选择,且其中传感器数据提供3D装置相对于物理2D平面的定向的参考。存在可受益于例如加速度计、接近度传感器等传感器与多麦克风的融合的许多使用情况。一个实例(例如,“使用情况1”)可包含稳健手持机智能开关(IS)。另一实例(例如,“使用情况2”)可包含对于各种扬声器电话握持模式的稳健支持。另一实例(例如,“使用情况3”)可包含无缝扬声器电话-手持机握持模式支持。又一实例(例如,“使用情况4”)可包含作用中源和协调传递的多视角可视化。
本文中所揭示的系统和方法的一些配置在必要时可包含用于通过可预先获得的传感器数据鉴别所要使用情况的至少一个统计模型。可跟踪可用传感器数据以及多麦克风数据,且可将其用于所述使用情况中的至少一者。本文中所揭示的系统和方法的一些配置可另外或替代地针对至少一使用情况跟踪传感器数据以及其它传感器数据(例如,摄像机数据)。
现参看图描述各种配置,在各图中,相似参考数字可指示功能上类似的元件。可以广泛多种不同配置来布置及设计如本文中在各图中所大体描述及说明的系统和方法。因此,对如各图中所表示的若干配置的以下更详细描述并不希望限制如所主张的范围,而仅表示系统和方法。图中所描绘的特征和/或元素可组合至少一个其它图中所描绘的至少一个特征和/或元素。
图56是说明其中可实施用于映射源位置的系统和方法的电子装置5602的一个配置的框图。本文中所揭示的系统和方法可适用于多种电子装置5602。电子装置5602的实例包含蜂窝式电话、智能电话、话音记录器、视频摄像机、音频播放器(例如,MPEG-1标准(MPEG-1)或MPEG-2音频层3(MP3)播放器)、视频播放器、音频记录器、桌上型计算机、膝上型计算机、个人数字助理(PDA)、游戏系统等。一种电子装置5602是通信装置,其可与另一装置通信。通信装置的实例包含电话、膝上型计算机、桌上型计算机、蜂窝式电话、智能电话、无线或有线调制解调器、电子阅读器、平板装置、游戏系统、蜂窝式电话基站或节点、接入点、无线网关和无线路由器等。
电子装置5602(例如,通信装置)可根据某些业界标准操作,例如国际电信联盟(ITU)标准和/或电气电子工程师学会(IEEE)标准(例如,802.11无线保真或“Wi-Fi”标准,例如802.11a、802.11b、802.11g、802.11n、802.11ac等)。通信装置可遵守的标准的其它实例包含IEEE 802.16(例如,全球微波接入互操作性或“WiMAX”)、3GPP、3GPP LTE、第三代移动通信标准化伙伴项目2(3GPP2)、GSM等等(其中通信装置可被称作用户装备(UE)、NodeB、演进的NodeB(eNB)、移动装置、移动站、订户站、远程站、接入终端、移动终端、终端、用户终端和/或订户单元等,举例来说)。虽然本文中所揭示的系统和方法中的一些系统和方法可能依据至少一个标准来描述,但此情形不应限制本发明的范围,这是因为所述系统和方法可适用于许多系统和/或标准。
电子装置5602可包含至少一个传感器5604、映射器5610和/或操作块/模块5614。如本文所使用,短语“块/模块”指示特定组件可以硬件(例如,电路)、软件或两者的组合来实施。举例来说,操作块/模块5614可用例如电路等硬件组件和/或例如指令或代码等软件组件来实施。另外,电子装置5602的组件或元件中的一或多者可以硬件(例如,电路)、软件、固件或其任何组合来实施。举例来说,映射器5610可以电路(例如,以专用集成电路(ASIC)、现场可编程门阵列(FPGA)和/或一或多个处理器等)来实施。
所述至少一个传感器5604可收集关于电子装置5602的数据。所述至少一个传感器5604可包含于电子装置5602中及/或耦合到电子装置5602。传感器5604的实例包含麦克风、加速度计、陀螺仪、罗盘、红外传感器、倾斜传感器、全球定位系统(GPS)接收器、接近度传感器、摄像机、超声波传感器等。在一些实施方案中,所述至少一个传感器5604可将传感器数据5608提供到映射器5610。传感器数据5608的实例包含音频信号、加速度计读数、陀螺仪读数、位置信息、定向信息、位置信息、接近性信息(例如,不论物体是否接近于电子装置5602检测到)、图像等。
在一些配置中(下文更详细地描述),映射器5610可使用传感器数据5608来改善音频处理。举例来说,用户可针对扬声器使用情况(例如,肖像、风景或甚至桌上型免提)以不同定向来握持电子装置5602(例如,电话)。取决于握持模式(例如,电子装置5602定向),电子装置5602可选择适当麦克风配置(包含单个麦克风配置)以改善空间音频处理。通过添加加速度计/接近度传感器数据5608,电子装置5602可无缝地作出切换。
传感器5604(例如,多麦克风)可接收一或多个音频信号(例如,多通道音频信号)。在一些实施方案中,麦克风可位于电子装置5602的各种位置处,此取决于配置。举例来说,麦克风可定位于电子装置5602的正面、侧面和/或背面上,如上文图1中所说明。另外或替代地,麦克风可定位于电子装置5602的顶部和/或底部附近。在一些情况下,麦克风可经配置为停用的(例如,不接收音频信号)。举例来说,电子装置5602可包含在一些情况下停用至少一个麦克风的电路。在一些实施方案中,可基于电子装置5602定向停用一或多个麦克风。举例来说,如果电子装置5602在表面上呈水平的面向上定向(例如,桌面模式),那么电子装置5602可停用位于电子装置5602的背面上的至少一个麦克风。类似地,如果电子装置5602定向改变(例如,改变达较大量),那么电子装置5602可停用至少一个麦克风。
给出各种麦克风配置的几个实例如下。在一个实例中,电子装置5602可经设计以在可能时使用双麦克风配置。除非用户以使得显示器的法向向量与地平行或几乎平行的方式握持电子装置5602(例如,电话)(例如,电子装置5602看来似乎为垂直定向(可基于传感器数据5608来确定所述情形)),否则电子装置5602可在类别A配置中使用双麦克风配置。在一些实施方案中,在类别A配置中,电子装置5602可包含双麦克风配置,其中一个麦克风可位于电子装置5602的背面顶部附近,且另一麦克风可位于电子装置5602的正面底部附近。在此配置中,电子装置5602可能能够鉴别含有通过麦克风的位置形成的行的平面中的音频信号源(例如,确定音频信号的到达方向)。基于此配置,电子装置5602可能能够鉴别呈180度的音频信号源。因此,可基于类别A配置中的两个麦克风鉴别在180度跨度内到达的音频信号的到达方向。举例来说,可辨别从电子装置5602的显示器的左侧接收的音频信号和从右侧接收的音频信号。在一些配置中,可如上文章节A中所描述来确定一或多个音频信号的方向性。
在另一实例中,除非用户以使得显示器的法向向量与地垂直或几乎垂直的方式握持电子装置5602(例如,电话)(例如,电子装置5602看来似乎为水平定向(可通过传感器数据5608来告知)),否则电子装置5602可与类别B配置一起使用双麦克风配置。在此配置中,电子装置5602可包含双麦克风配置,其中一个麦克风可位于电子装置5602的背面底部附近,且另一麦克风可位于电子装置5602的正面底部附近。在一些实施方案中,在类别B配置中,一个麦克风可位于电子装置5602的背面顶部附近,且另一麦克风可位于电子装置5602的正面顶部附近。
在类别B配置中,可鉴别在含有通过麦克风的位置形成的行的平面中的音频信号(例如,可确定音频信号的到达方向)。基于此配置,可存在180度的音频源鉴别。因此,可基于类别B配置中的两个麦克风鉴别在180度跨度内到达的音频信号的到达方向。举例来说,可辨别从电子装置5602的显示器的顶部接收的音频信号和从底部接收的音频信号。然而,无法鉴别在电子装置5602的显示器的左侧或右侧上的两个音频信号。应注意,如果电子装置定向102改变,使得电子装置5602经垂直定向而不是经水平定向,那么可辨别来自电子装置的显示器的左侧和右侧的音频信号。对于三麦克风配置(类别C),电子装置5602可使用前-后对麦克风用于垂直定向且可使用顶部-底部对麦克风用于水平定向。使用如类别C中的配置,电子装置5602可能能够鉴别360度内的音频信号源(例如,鉴别不同音频信号的到达方向)。
映射器5610可基于传感器数据5608确定源位置到电子装置5602的坐标和从电子装置5602的坐标到物理坐标(例如,对应于真实世界或地球坐标的二维平面)的映射5612。映射5612可包含指示源位置到电子装置坐标和/或到物理坐标的映射(例如,投影)的数据。举例来说,映射器5610可实施至少一个算法来将源位置映射到物理坐标。在一些实施方案中,物理坐标可为二维物理坐标。举例来说,映射器5610可使用来自至少一个传感器5604的传感器数据5608(例如,集成加速度计、接近性和麦克风数据)来确定电子装置5602定向(例如,握持模式)及导引电子装置5602执行操作(例如,显示源位置、切换麦克风配置和/或配置噪声抑制设置)。
映射器5610可检测电子装置5602定向的改变。在一些实施方案中,可通过传感器5604(例如,加速度计和/或接近度传感器)来检测电子装置5602(例如,电话)移动。映射器5610可利用这些移动,且电子装置5602可基于旋转程度调整麦克风配置和/或噪声抑制设置。举例来说,映射器5610可从至少一个传感器5604接收指示电子装置5602已从水平定向(例如,桌面模式)改变为垂直定向(例如,浏览-通话模式)的传感器数据5608。在一些实施方案中,映射器5610可指示电子装置5602(例如,无线通信装置)已将定向从手持机模式(例如,用户的头部的侧面)改变为浏览-通话模式(例如,在用户的眼睛水平的前方)。
电子装置还可包含基于映射5612执行至少一个操作的操作块/模块5614。举例来说,操作块/模块5614可耦合到至少一个麦克风且可基于映射5612切换麦克风配置。举例来说,如果映射5612指示电子装置5602已从垂直定向(例如,浏览-通话模式)改变为在平坦表面上水平面向上定向(例如,桌面模式),那么操作块/模块5614可停用位于电子装置的背面上的至少一个麦克风。类似地,如下文将描述,操作块/模块5614可从多麦克风配置切换到单麦克风配置。操作的其它实例包含跟踪两个或三个维度上的源,将源投影到三维显示空间中,及执行非静态噪声抑制。
图57为说明用于映射电子装置5602坐标的方法5700的一个配置的流程图。方法5700可由电子装置5602来执行。电子装置5602可获得5702传感器数据5608。耦合到电子装置5602的至少一个传感器5604可将传感器数据5608提供到电子装置5602。传感器数据5608的实例包含音频信号(例如,来自一或多个麦克风)、加速度计读数、位置信息、定向信息、位置信息、接近性信息(例如,不论物体是否是接近于电子装置5602检测到)、图像等。在一些实施方案中,电子装置5602可使用先前针对每一经指明的电子装置5602定向(例如,握持模式)和对应麦克风识别所获取的数据获得5702传感器数据5608(例如,加速度计x-y-z坐标)。
电子装置5602可基于传感器数据将源位置映射5704到电子装置坐标。此操作可如上文结合图41到48中的一或多者所描述般来实现。举例来说,电子装置5602可基于多通道信号(例如,来自两个或两个以上麦克风的多个音频信号)估计源相对于电子装置坐标的到达方向(DOA)。在一些方法中,将源位置映射5704到电子装置坐标可包含将到达方向投影到如上文所描述的平面(例如,投影平面和/或阵列平面等)上。在一些配置中,电子装置坐标可为对应于装置的麦克风阵列平面。在其它配置中,电子装置坐标可为对应于电子装置5602的另一坐标系,可由电子装置5602来将源位置(例如,DOA)映射(例如,转译及/或旋转)到所述另一坐标系。
电子装置5602可将源位置从电子装置坐标映射5706到物理坐标(例如,二维物理坐标)。此操作可如上文结合图49到53中的一或多者所描述般来实现。举例来说,电子装置可利用定向矩阵将DOA估计投影到参考世界(或地球)坐标系界定的平面中。
在一些配置中,电子装置5602中所包含的映射器5610可实施至少一个算法以将源位置映射5704到电子装置坐标及将源位置从电子装置坐标(电子装置5602坐标)映射5706到物理坐标。在一些配置中,可将映射5612应用于“3D音频映射”。举例来说,在一些配置中,罗盘(例如,传感器5604)可将罗盘数据(例如,传感器数据5608)提供到映射器5610。在此实例中,电子装置5602可获得在4π方向(例如,球)上的声音分布图,所述声音分布图经转译为物理(例如,真实世界或地球)坐标。此情形可允许电子装置5602描述三维音频空间。可利用此种仰角信息来经由位于升高位置中的扩音器(例如,如22.2环绕声系统中)再生升高声音。
在一些实施方案中,将源位置从电子装置坐标映射5706到物理坐标可包含检测电子装置5602定向及/或检测电子装置5602定向的任何改变。举例来说,映射器5610可使用来自至少一个传感器5604的传感器数据5608(例如,集成加速度计、接近性和麦克风数据)确定电子装置5602定向(例如,握持模式)。类似地,映射器5610可从至少一个传感器5604接收指示电子装置5602已从水平定向(例如,桌面模式)改变为垂直定向(例如,浏览-通话模式)的传感器数据5608。
电子装置5602可基于映射5612执行5708操作。举例来说,电子装置5602可基于电子装置5602定向(例如,如通过映射5612指示)执行5708至少一个操作。类似地,电子装置5602可基于电子装置5602定向的所检测到的改变(例如,如通过映射5612指示)执行5708操作。操作的特定实例包含切换电子装置5602麦克风配置,跟踪音频源(例如,呈二维或三维),将源位置从物理坐标映射到三维显示空间中、非静态噪声抑制、滤波、基于音频信号显示图像等。
给出将源位置从电子装置坐标映射5706到物理坐标的实例如下。根据此实例,电子装置5602(例如,映射器5610)可监视传感器数据5608(例如,加速度计坐标数据),使传感器数据5608平滑化(简单递归加权或卡尔曼平滑),且操作块/模块5614可基于映射5612执行操作(例如,映射或投影音频信号源)。
电子装置5602可获得通过借助于外观尺寸(例如,流体)(例如,通过使用陀螺仪传感器)给出的坐标系中的x-y-z基础向量界定的三维(3D)空间。电子装置5602还可基于x-y-z位置传感器数据5608指定物理(例如,真实世界)坐标系中的基础向量电子装置5602可接着获得其为用以获得坐标系中的任何二维平面的基础向量空间。在给出搜索网格的情况下,电子装置5602可通过采用投影操作的前两个元素将基础向量空间向下投影到平面(x",y"),所述投影操作的前两个元素是通过采用前两个元素(x",y")界定的,其中
举例来说,假设装置(例如,电话)是以浏览-通话模式握持,那么E=([1 0 0]T,[01 0]T,[0 0 1]T)且E′=([0 0 1]T,[0 1 0]T,[1 0 0]T)。那么,在装置(例如,电话)坐标系中,为了将其向下投影到A=([1 0 0]T,[0 1 0]T)(其为真实x-y平面(例如,物理坐标)),应注意,可在投影操作之后采用前两个元素[1 0]T。因此,现在可将E中的投影到A上为[1 0]T。因此,在装置(例如,电话)x-y-z几何布置中的浏览-通话模式下的[0 0 1]T对应于真实世界x-y平面的[1 0]T
对于用于投影的不太复杂的近似,电子装置5602可在三个设置表示当中应用简单内插方案,所述三个设置表示经界定为P(x',y')=αPx-y(x',y')+βPx-z(x',y')+γPy-z(x',y'),其中α+β+γ=1且其为真实x-y平面与每一设置平面之间的角度的函数。替代地,电子装置5602可使用通过P(x',y')=min(Px-y(x',y;),Px-z(z',y'),Py-z(x',y,))给出的表示。在映射的实例中,在投影操作之前说明坐标改变部分。
另外或替代地,执行5708操作可包含将源位置从物理坐标映射到三维显示空间中。此操作可如结合图52到53中的一或多者所描述般来实现。下文提供额外实例。举例来说,电子装置5602可在三维显示空间中显现对应于源位置的声源表示。在一些配置中,电子装置5602可显现曲线图(例如,极坐标图、矩形曲线图),所述曲线图包含对应于三维显示空间中的物理坐标的二维平面上的声源表示,其中所述平面是基于装置定向来显现。以此方式,执行5708操作可包含维持三维显示空间中的源定向,而不管装置定向(例如,旋转、倾斜、俯仰、偏航、横滚等)。举例来说,曲线图将与物理坐标对准,而不管装置是如何定向。换句话说,电子装置5602可补偿装置定向改变以便维持曲线图相对于物理坐标的定向。在一些配置中,显示三维显示空间可包含将三维显示空间投影到二维显示器上(例如,以用于显示在二维像素网格上)。
图58为说明可在其中实施用于映射电子装置5802坐标的系统和方法的电子装置5802的更特定配置的框图。电子装置5802可为结合图56所描述的电子装置5602的实例。电子装置5802可包含至少一个传感器5804、至少一个麦克风、映射器5810和操作块/模块5814,所述各者可为结合图56所描述的对应元件的实例。在一些实施方案中,所述至少一个传感器5804可将传感器数据5808提供到映射器5810,所述传感器数据5808可为结合图56所描述的传感器数据5608的实例。
操作块/模块5814可接收参考定向5816。在一些实施方案中,参考定向5816可存储在电子装置5802中所包含的及/或耦合到电子装置5802的存储器中。参考定向5816可指示参考电子装置5602定向。举例来说,参考定向5816可指示最优电子装置5602定向(例如,最优握持模式)。最优电子装置5602定向可对应于可在其中实施双麦克风配置的定向。举例来说,参考定向5816可为其中电子装置5602定位于垂直定向与水平定向之间的定向。在一些实施方案中,为水平定向和垂直定向的电子装置5602(例如,电话)定向为非典型握持模式(例如,非最优电子装置5602定向)。这些位置(例如,垂直和/或水平)可使用传感器5804(例如,加速度计)来识别。在一些实施方案中,中间位置(其可包含参考定向5816)可为用于端射双麦克风噪声抑制的位置。比较起来,水平和/或垂直定向可通过边射/单个麦克风噪声抑制来处置。
在一些实施方案中,操作块/模块5814可包含三维源投影块/模块5818、二维源跟踪块/模块5820、三维源跟踪块/模块5822、麦克风配置开关5824和/或非静态噪声抑制块/模块5826。
三维源跟踪块/模块5822可跟踪三维形式的音频信号源。举例来说,当音频信号源相对于电子装置5602移动时,或当电子装置5602相对于音频信号源移动时,三维源跟踪块/模块5822可以三维形式跟踪音频信号源相对于电子装置5802的位置。在一些实施方案中,三维源跟踪块/模块5822可基于映射5812跟踪音频信号源。换句话说,三维源跟踪块/模块5822可基于如映射5812中所指示的电子装置5802定向确定音频信号源相对于电子装置的位置。在一些实施方案中,三维源投影块/模块5818可将源(例如,以三维形式跟踪的源)投影到二维空间中。举例来说,三维源投影块/模块5818可使用至少一个算法将以三维形式跟踪的源以二维形式投影到显示器。
在此实施方案中,二维源跟踪块/模块5820可以二维形式跟踪源。举例来说,当音频信号源相对于电子装置5602移动时,或当电子装置5602相对于音频信号源移动时,二维源跟踪块/模块5820可以二维形式跟踪音频信号源相对于电子装置5802的位置。在一些实施方案中,二维源跟踪块/模块5820可基于映射5812跟踪音频信号源。换句话说,二维源跟踪块/模块5820可基于如映射5812中所指示的电子装置5802定向确定音频信号源相对于电子装置的位置。
麦克风配置开关5824可切换电子装置5802麦克风配置。举例来说,麦克风配置开关5824可启用/停用麦克风中的至少一者。在一些实施方案中,麦克风配置开关5824可基于映射5812和/或参考定向5816切换麦克风配置306。举例来说,当映射5812指示电子装置5802在平坦表面上水平面向上时(例如,桌面模式),麦克风配置开关5824可停用位于电子装置5802的背面上的至少一个麦克风。类似地,当映射5812指示电子装置5802定向不同于参考定向5816(例如,不同量达某一量)时,麦克风配置开关5824可从多麦克风配置(例如,双麦克风配置)切换到单麦克风配置。
另外或替代地,非静态噪声抑制块/模块5826可基于映射5812执行非静态噪声抑制。在一些实施方案中,非静态噪声抑制块/模块5826可独立于电子装置5802定向执行非静态噪声抑制。举例来说,非静态噪声抑制可包含上文所论述的空间处理,例如波束零点形成和/或方向性掩蔽。
图59是说明用于映射电子装置5802坐标的方法5900的更特定的配置的流程图。方法5900可由电子装置5802执行。电子装置5802可获得5902传感器数据5808。在一些实施方案中,此可如结合图57中所描述那样进行。
电子装置5802可基于传感器数据5808确定5904电子装置5802坐标从多麦克风配置到物理坐标的映射5812。在一些实施方案中,此可如结合图57中所描述那样进行。
电子装置5802可基于映射5812确定5906电子装置定向。举例来说,映射器5810可从传感器5804(例如加速度计)接收传感器数据5808。在此实例中,映射器5810可使用传感器数据5808来确定电子装置5802定向。在一些实施方案中,电子装置5802定向可基于参考平面。举例来说,电子装置5802可使用极坐标来界定电子装置5802定向。如下文将描述,电子装置5802可基于电子装置5802定向执行至少一个操作。
在一些实施方案中,电子装置5802可向用户提供实时源活动性图。在此实例中,电子装置5802可通过利用传感器5804(例如,加速度计和/或陀螺仪)来确定5906电子装置5802定向(例如,用户的握持模式)。可通过根据每一电子装置5802定向(例如,握持模式)的二维(2D)角度图(或极坐标图)来给出似然度(方向性)的方差。在一些情况下,如果电子装置5802面向由两对正交形成的平面,那么所述方差可变得显著大(全向)。
在一些实施方案中,电子装置5802可基于映射5812检测5908电子装置5802定向中的任何变化。举例来说,映射器5810可随时间监视电子装置5802定向。在此实例中,电子装置5802可检测5908电子装置5802定向中的任何变化。举例来说,映射器5810可指示电子装置5802(例如,无线通信装置)已将定向从手持机模式(例如,用户的头部的侧面)改变为浏览-通话模式(例如,在用户的眼睛水平的前方)。如下文将描述,电子装置5802可基于电子装置5802定向的任何变化而执行至少一个操作。
任选地,电子装置5802(例如,操作块/模块5814)可确定5910在电子装置5802定向与参考定向5816之间是否存在差异。举例来说,电子装置5802可接收指示电子装置5802定向的映射5812。电子装置5802还可接收参考定向5816。如果电子装置5802定向及参考定向5816不相同,那么电子装置5802可确定在电子装置5802定向与参考定向5816之间存在差异。如下文将描述,电子装置5802可基于电子装置5802定向与参考定向5816之间的差异而执行至少一个操作。在一些实施方案中,确定5910在电子装置5802定向与参考定向5816之间是否存在差异可包含确定任何差异是否大于阈值量。在此实例中,电子装置5802可基于在所述差异大于所述阈值量时的所述差异而执行操作。
在一些实施方案中,电子装置5802可基于电子装置5802定向来切换5912麦克风配置。举例来说,电子装置5802可基于将物理坐标(例如,2D物理平面)中的一或多个声音源的空间分辨率最大化的DOA信息来选择麦克风信号。切换5912麦克风配置可包含启用/停用位于电子装置5802上的各种位置处的麦克风。
切换5912麦克风配置可基于映射5812和/或参考定向5816。在一些配置中,可执行在不同麦克风配置之间的切换5912,但常常如在从双麦克风配置切换5912到单麦克风配置的情况下可包含一定的系统延迟。举例来说,在存在电子装置5802定向的突然改变时,系统延迟可为三秒左右。通过使切换5912基于映射5812(例如,及传感器数据5808),可无缝地进行双麦克风配置到单麦克风配置的切换5912。在一些实施方案中,基于映射5812和/或参考定向5816切换5912麦克风配置可包含基于以下各者中的至少一者来切换5912麦克风配置:电子装置5802定向、电子装置5802定向中的任何变化及电子装置5802定向与参考定向5816之间的任何差异。
如下给出切换5912麦克风配置的几个实例。在一个实例中,电子装置5802可在参考定向5816(例如,最佳握持模式)中。在此实例中,电子装置5802可学习传感器数据5808(例如,加速度计x-y-z坐标)。此可基于(例如)简单的加权平均(例如,alpha*history+(1-alpha)*current)或更复杂的卡尔曼平滑。如果电子装置5802从跟踪的加速度计统计及参考定向5816确定5910存在显著大的差异,那么电子装置5802可从多麦克风配置切换5912到单麦克风配置。
在另一实例中,假设用户改变姿势(例如,从坐在椅子上改变为躺在床上)。如果用户在可接受的握持模式中(例如,电子装置5802处于参考定向5816)握持电子装置5802(例如,电话),那么电子装置5802可继续处于多麦克风配置中(例如,双麦克风配置),且学习加速度计坐标(例如,获得5902传感器数据5808)。此外,电子装置5802可通过检测电子装置5802定向而在用户在电话交谈的同时检测用户的姿势。假设用户在他/她将电子装置5802(例如,电话)移动远离嘴的同时不说话。在此情况下,电子装置5802可从多麦克风配置切换5912到单麦克风配置,且电子装置5802可保持在单麦克风配置中。然而,用户一在最佳握持模式中(例如,在参考定向5816中)握持电子装置5802的同时讲话,电子装置5802就将切换回到多麦克风配置(例如,双麦克风配置)。
在另一实例中,电子装置5802可在水平面向下定向中(例如,用户躺在床上握持着电子装置,同时电子装置5802的显示器朝向床的顶部面向下)。可容易地检测电子装置5802定向,因为z坐标是负的,如由传感器5804(例如,加速度计)所感测。另外或替代地,对于用户从坐到躺在床上的姿态变化,电子装置5802还可使用相位和水平差异使用帧学习用户的姿态。用户一在参考定向5816中使用电子装置5802(例如,在最佳握持模式中握持电子装置5802),电子装置5802就可执行最佳噪声抑制。可随后在映射器5810中使用传感器5804(例如,集成的加速度计及麦克风数据)以确定电子装置5802定向(例如,电子装置5802的握持模式),且电子装置5802可执行操作(例如,选择适当的麦克风配置)。更具体来说,可启用前面及背面的麦克风,或可启用前面的麦克风,同时可停用背面的麦克风。在电子装置5802处于水平定向(例如,扬声器电话或桌面模式)时,这些配置中的任一者可有效。
在另一实例中,用户可将电子装置5802(例如,电话)握持模式(例如,电子装置5802定向)从手持机使用改变为扬声器电话或反之亦然。通过添加加速度计/接近度传感器数据5808,电子装置5802可使麦克风配置无缝切换,且调整麦克风增益及扬声器音量(或将听筒调整到较大的扩音器开关)。举例来说,假设用户将电子装置5802(例如,电话)面向下。在一些实施方案中,电子装置5802还可跟踪传感器5804,使得电子装置5802可跟踪电子装置5802(例如,电话)是面向下还是面向上。如果电子装置5802(例如,电话)是面向下,那么电子装置5802可提供扬声器电话功能性。在一些实施方案中,电子装置可区分接近度传感器结果的优先级。换句话说,如果传感器数据5808指示物体(例如,手或桌子)靠近耳朵,那么电子装置可不切换5912到扬声器电话。
任选地,电子装置5802可基于映射5812在三个维度中跟踪5914源。举例来说,电子装置5802可在音频信号源相对于电子装置5802移动时在三个维度中跟踪所述音频信号源。在此实例中,电子装置5802可将所述源(例如,源位置)投影5916到二维空间中。举例来说,电子装置5802可将在三个维度中跟踪的源投影5916到电子装置5802中的二维显示器上。另外,电子装置5802可切换5918为在两个维度中跟踪所述源。举例来说,电子装置5802可在音频信号源相对于电子装置5802移动时在两个维度中跟踪所述音频信号源。取决于电子装置5802定向,电子装置5802可选择麦克风的对应非线性对且用恰当的二维投影提供360度的二维表示。举例来说,电子装置5802可提供二维的360度源活动性的可视化而不管电子装置5802定向(例如,握持模式(扬声器电话模式、肖像浏览-通话模式,及风景浏览-通话模式,或在其任何组合之间)。电子装置5802可将所述可视化内插到二维表示以用于每一握持模式之间。实际上,电子装置5802可甚至使用三组二维表示来再现三维可视化。
在一些实施方案中,电子装置5802可执行5920非静态噪声抑制。执行5920非静态噪声抑制可抑制来自目标音频信号的噪音音频信号以改进空间音频处理。在一些实施方案中,电子装置5802可在噪声抑制期间移动。在这些实施方案中,电子装置5802可独立于电子装置5802定向而执行5920非静态噪声抑制。举例来说,如果用户错误地旋转电话但仍想要集中某一目标方向,那么维持所述目标方向而不管装置定向如何可为有益的。
图60是说明用于基于映射5812执行5708操作的方法6000的一个配置的流程图。方法6000可由电子装置5802执行。电子装置5802可检测6002传感器数据5808中的任何变化。在一些实施方案中,检测6002传感器数据5808中的任何变化可包含检测传感器数据5808中的变化是否大于一定量。举例来说,电子装置5802可检测6002加速度计数据中是否存在大于所确定的阈值量的变化。
电子装置5802可确定6004传感器数据5808指示电子装置5802是处于水平或垂直位置中的一者还是电子装置5802处于中间位置。举例来说,电子装置5802可确定传感器数据5808指示电子装置5802是处于桌面模式(例如,在表面上水平面向上)或浏览-通话模式(例如,在眼睛水平处垂直)还是电子装置5802处于除垂直或水平之外的位置(例如,其可包含参考定向5816)。
如果电子装置5802确定6004传感器数据5808指示电子装置5802处于中间位置,那么电子装置5802可使用6006双麦克风配置。如果电子装置5802先前未使用双麦克风配置,那么使用6006双麦克风配置可包含切换到双麦克风配置。相比而言,如果电子装置5802先前使用双麦克风配置,那么使用6006双麦克风配置可包含维持双麦克风配置。
如果电子装置5802确定6004传感器数据5808指示电子装置5802处于水平或垂直位置,那么电子装置5802可确定6008近场相位/增益话音活动性检测器(VAD)是否在作用中。换句话说,电子装置5802可确定电子装置5802定位成靠近音频信号源(例如,用户的嘴)。如果电子装置5802确定6008近场相位/增益话音活动性检测器在作用中(例如,电子装置5802接近用户的嘴),那么电子装置5802可使用6006双麦克风配置。
如果电子装置5802确定6008近场相位/增益话音活动性检测器不在作用中(例如,电子装置5802不是定位成靠近音频信号源),那么电子装置5802可使用6010单麦克风配置。如果电子装置5802先前未使用单麦克风配置,那么使用6010单麦克风配置可包含切换到单麦克风配置。相比而言,如果电子装置5802先前使用单麦克风配置,那么使用6010单麦克风配置可包含维持单麦克风配置。在一些实施方案中,使用6010单麦克风配置可包含使用宽边/单麦克风噪声抑制。
图61是说明用于基于映射5812执行5708操作的方法6100的另一配置的流程图。方法6100可由电子装置5802执行。电子装置5802可检测6102传感器数据5808中的任何变化。在一些实施方案中,此可如结合图60中所描述那样进行。
电子装置5802可确定6104传感器数据5808指示电子装置5802是处于桌面位置还是处于中间或垂直位置。举例来说,电子装置5802可确定6104传感器数据5808指示电子装置5802是否在一表面(例如,桌面位置)上水平面向上或是电子装置5802是垂直的(例如,浏览-通话位置)还是处于除垂直或水平之外的位置(例如,其可包含参考定向5816)。
如果电子装置5802确定6104传感器数据5808指示电子装置5802处于中间位置,那么电子装置5802可使用6106前面及背面的麦克风。在一些实施方案中,使用6106前面及背面的麦克风可包含启用/停用至少一个麦克风。
如果电子装置5802确定6104传感器数据5808指示电子装置5802处于桌面位置,那么电子装置5802可确定6108电子装置5802是否面向上。在一些实施方案中,电子装置5802可基于传感器数据5808确定6108电子装置5802面向上。如果电子装置5802确定6108电子装置5802面向上,那么电子装置5802可使用6110前面的麦克风。举例来说,电子装置可使用6110位于电子装置5802的前面的至少一个麦克风。在一些实施方案中,使用6110前面的麦克风可包含启用/停用至少一个麦克风。举例来说,使用6110前面的麦克风可包含停用位于电子装置5802的背面上的至少一个麦克风。
如果电子装置5802确定6108电子装置5802未面向上(例如,电子装置5802面向下),那么电子装置5802可使用6112背面的麦克风。举例来说,电子装置可使用6112位于电子装置5802的背面上的至少一个麦克风。在一些实施方案中,使用6112背面的麦克风可包含启用/停用至少一个麦克风。举例来说,使用6112背面的麦克风可包含停用位于电子装置5802的前面上的至少一个麦克风。
图62是说明其中可实施用于在电子装置6202上显示用户接口6228的系统和方法的用户接口6228的一个配置的框图。在一些实施方案中,用户接口6228可在可为结合图56所描述的电子装置5602的实例的电子装置6202上显示。可结合本文中所描述的多麦克风配置和/或独立于所述多麦克风配置而使用用户接口6228。用户接口6228可呈现在电子装置6202的显示器6264(例如,屏幕)上。显示器6264还可呈现扇区选择特征6232。在一些实施方案中,用户接口6228可提供可编辑模式及固定模式。在可编辑模式中,用户接口6228可对用以操纵用户接口6228的至少一个特征(例如,扇区选择特征)的输入作出响应。在固定模式中,用户接口6228可不对用以操纵用户接口6228的至少一个特征的输入作出响应。
用户接口6228可包含信息。举例来说,用户接口6228可包含坐标系6230。在一些实施方案中,坐标系6230可为用于音频信号源位置的参考。坐标系6230可对应于物理坐标。举例来说,可使用传感器数据5608(例如,加速度计数据、陀螺仪数据、罗盘数据等)将电子装置6202坐标映射到如图57中所描述的物理坐标。在一些实施方案中,坐标系6230可对应于独立于地球坐标的物理空间。
用户接口6228可显示音频信号的方向性。举例来说,用户接口6228可包含指示音频信号源的方向的音频信号指示符。还可在用户接口6228中指示音频信号源的角度。音频信号可为话音信号。在一些实施方案中,音频信号可由至少一个麦克风俘获。在此实施方案中,用户接口6228可耦合到至少一个麦克风。用户接口6228可显示所俘获的音频信号的2D角度图。在一些实施方案中,用户接口6228可在3D透视图中显示2D曲线图以传达曲线图与基于现实世界中的物理坐标的平面(例如,水平平面)的对准。在此实施方案中,用户接口6228可独立于电子装置6202定向而显示信息。
在一些实施方案中,用户接口6228可显示不同类型的音频信号的音频信号指示符。举例来说,用户接口6228可包含话音信号及噪声信号的角度图。在一些实施方案中,用户接口6228可包含对应于音频信号的图标。举例来说,如下文将描述,显示6264可包含对应于所显示的音频信号的类型的图标。类似地,如下文将描述,用户接口6228可包含对应于音频信号的源的图标。这些图标在极坐标图中的位置可及时被平滑。如下文将描述,用户接口6228可包含一或多个元件以实行本文中所描述的功能。举例来说,用户接口6228可包含所选择的扇区的指示符和/或可显示用于编辑所选择的扇区的图标。
扇区选择特征6232可允许选择物理坐标系6230的至少一个扇区。扇区选择特征6232可由用户接口6228中包含的至少一个元件实施。举例来说,用户接口6228可包含指示所选择的扇区的所选择的扇区指示符。在一些实施方案中,扇区选择特征6232可基于触摸输入而操作。举例来说,扇区选择特征6232可允许基于单一触摸输入(例如,触摸、滑动和/或圈出用户接口6228的对应于扇区的区域)选择扇区。在一些实施方案中,扇区选择特征6232可允许同时选择多个扇区。在此实例中,扇区选择特征6232可允许基于多个触摸输入选择多个扇区。应理解,电子装置6202可包含用于产生用户接口6228的电路、处理器和/或指令。
图63是说明用于在电子装置6202上显示用户接口6228的方法6300的一个配置的流程图。方法6300可由电子装置6202执行。电子装置6202可获得6302对应于物理坐标的传感器数据(例如,加速度计数据、倾斜传感器数据、定向数据等)。
电子装置6202可例如在电子装置6202的显示器6264上呈现6304用户接口6228。在一些实施方案中,用户接口6228可包含坐标系6230。如上文所描述,坐标系6230可为用于音频信号源位置的参考。坐标系6230可对应于物理坐标。举例来说,可使用传感器数据5608(例如,加速度计数据、陀螺仪数据、罗盘数据等)将电子装置6202坐标映射到如上文所描述的物理坐标。
在一些实施方案中,呈现6304可包含坐标系6230的用户接口6228可包含在独立于电子装置6202定向的定向中呈现6304用户接口6228及坐标系6230。换句话说,在电子装置6202定向改变(例如,电子装置6202旋转)时,坐标系6230可维持定向。在一些实施方案中,坐标系6230可对应于独立于地球坐标的物理空间。
电子装置6202可提供6306允许选择坐标系6230的至少一个扇区的扇区选择特征6232。如上文所描述,电子装置6202可经由用户接口6228提供6306扇区选择特征。举例来说,用户接口6228可包含允许选择坐标系6230的至少一个扇区的至少一个元件。举例来说,用户接口6228可包含指示所选择的扇区的指示符。
电子装置6202还可包含允许对至少一个扇区的触摸输入选择的触摸传感器。举例来说,电子装置6202可基于一或多个触摸输入来选择(和/或编辑)一或多个扇区和/或一或多个音频信号指示符。触摸输入的一些实例包含一或多个敲击、滑动、图案(例如,符号、形状等)、夹捏、伸展、多点触摸旋转等。在一些配置中,电子装置6202(例如,用户接口6228)可在一或多个敲击、滑动、图案等与所显示的音频信号指示符(和/或扇区)相交时选择所述所显示的音频信号指示符(和/或扇区)。另外或替代地,电子装置6202(例如,用户接口6228)可在图案(例如,圆形区域、矩形区域或图案内的区域)等充分或部分包围或包含所显示的音频信号指示符(和/或扇区)时选择所述所显示的音频信号指示符(和/或扇区)。应注意,可一次选择所述一或多个音频信号指示符和/或扇区。
在一些配置中,电子装置6202(例如,用户接口6228)可基于一或多个触摸输入来编辑一或多个扇区和/或音频信号指示符。举例来说,用户接口6228可呈现一或多个选项(例如,一或多个按钮、下拉菜单等),其提供用于编辑音频信号指示符或所选择的音频信号指示符的选项(例如,选择用于标记音频信号指示符的图标或图像、选择或改变所述音频信号指示符的色彩、图案和/或图像、设定对应的音频信号是否应被滤波(例如,阻断或通过)、放大或缩小所显示的音频信号指示符等)。另外或替代地,用户接口6228可呈现一或多个选项(例如,一或多个按钮、下拉菜单等),其提供用于编辑扇区的选项(例如,选择或改变扇区的色彩、图案和/或图像、设定扇区中的音频信号是否应被滤波(例如,阻断或通过)、放大或缩小所述扇区、调整扇区大小(例如,通过扩展或收缩所述扇区)等等)。举例来说,夹捏触摸输入可对应于减小或窄化扇区大小,而伸展可对应于增大或扩展扇区大小。
电子装置6202可提供6308允许编辑至少一个扇区的扇区编辑特征。举例来说,扇区编辑特征可使得能够调整(例如,增大、减小、移动等)所述扇区,如本文中所描述。
在一些配置中,电子装置6202(例如,显示器6264)可另外或替代地在用户接口上显示目标音频信号及干扰音频信号。电子装置6202(例如,显示器6264)可显示由一或多个麦克风俘获的目标音频信号和/或干扰音频信号的方向性。目标音频信号可包含话音信号。
图64是说明其中可实施用于在电子装置6402上显示用户接口6428的系统和方法的用户接口6428的一个配置的框图。在一些实施方案中,可在可为结合图62描述的对应元件的实例的电子装置6402的显示器6464上包含用户接口6428。电子装置6402可包含用户接口6428、至少一个麦克风6406、操作块/模块6414、显示器6464和/或扇区选择特征6432,其可为图56及62中的一或多者中描述的对应元件的实例。
在一些实施方案中,用户接口6428可呈现扇区编辑特征6436和/或用户接口对准块/模块6440。扇区编辑特征6436可允许编辑至少一个扇区。举例来说,扇区编辑特征6436可允许编辑物理坐标系6430的至少一个所选择的扇区。扇区编辑特征6436可由显示器6464中包含的至少一个元件实施。举例来说,用户接口6428可包含允许用户调整所选择的扇区的大小的至少一个触摸点。在一些实施方案中,扇区编辑特征6436可基于触摸输入而操作。举例来说,扇区编辑特征6436可允许基于单一触摸输入来编辑所选择的扇区。在一些实施方案中,扇区编辑特征6436可允许以下各者中的至少一者:调整扇区的大小、调整扇区的形状、调整扇区的边界和/或放大扇区。在一些实施方案中,扇区编辑特征6436可允许同时编辑多个扇区。在此实例中扇区编辑特征6436可允许基于多个触摸输入来编辑多个扇区。
如上文所描述,在某些实施方案中,扇区选择特征6432及扇区编辑特征6436中的至少一者可基于单一触摸输入或多个触摸输入而操作。举例来说,扇区选择特征6432可基于一或多个滑动输入。举例来说,一或多个滑动输入可指示圆形区。在一些配置中,一或多个滑动输入可为单一滑动。扇区选择特征6432可基于单点或多点触摸输入。另外或替代地,电子装置6402可基于单点或多点触摸输入来调整扇区。
在这些实例中,显示器6464可包含可接收选择扇区的触摸输入(例如,点击、滑动或圆形运动)的触摸传感器6438。触摸传感器6438还可(例如)通过移动在显示器6464上显示的触摸点来接收编辑扇区的触摸输入。在一些配置中,触摸传感器6438可与显示器6464集成。在其它配置中,触摸传感器6438可单独地实施在电子装置6402中或可耦合到电子装置6402。
用户接口对准块/模块6440可使用户接口6428的全部或一部分与参考平面对准。在一些实施方案中,所述参考平面可为水平的(例如,平行于地面或地板)。举例来说,用户接口对准块/模块6440可对准显示坐标系6430的用户接口6428的一部分。在一些实施方案中,用户接口对准块/模块6440可实时地对准用户接口6428的全部或一部分。
在一些配置中,电子装置6402可包含至少一个图像传感器6434。举例来说,若干图像传感器6434可包含在电子装置6402内(作为多个麦克风6406的补充或替代物)。至少一个图像传感器6434可收集与电子装置6402相关的数据(例如,图像数据)。举例来说,相机(例如,图像传感器)可产生图像。在一些实施方案中,至少一个图像传感器6434可将图像数据5608提供给显示器6464。
电子装置6402可传递包含在至少一个扇区内的音频信号(例如,目标音频信号)。举例来说,电子装置6402可传递音频信号至操作块/模块6414。操作块/模块可传递在至少一个扇区内指示的一或多个音频信号。在一些实施方案中,操作块/模块6414可包含衰减音频信号的衰减器6442。举例来说,操作块/模块6414(例如,衰减器6442)可衰减(例如,阻断、减弱和/或抑制)未包含在至少一个所选择的扇区内的音频信号(例如,干扰音频信号)。在一些情况下,音频信号可包含话音信号。举例来说扇区选择特征可允许衰减除用户话音信号以外的不合需要的音频信号。
在一些配置中,电子装置(例如,显示器6464和/或操作块/模块6414)可指示来自图像传感器6434的图像数据。在一个配置中,电子装置6402(例如,操作块/模块6414)可基于至少一个扇区传递来自至少一个图像传感器6434的图像数据(且例如,对其它图像数据进行滤波)。换句话说,可将本文关于用户接口6428所描述的技术中的至少一者应用于作为音频信号替代物或补充的图像数据。
图65是说明用于在电子装置6402上显示用户接口6428的方法6500的更特定的配置的流程图。所述方法可由电子装置6402执行。电子装置6402可获得6502对应于物理坐标的坐标系6430。在一些实施方案中,此可如结合图63中所描述那样进行。
电子装置6402可呈现6504包含坐标系6430的用户接口6428。在一些实施方案中,此可如结合图63中所描述那样进行。
电子装置6402可显示6506由至少一个麦克风俘获的至少一个音频信号的方向性。换句话说,电子装置6402可显示音频信号源相对于电子装置的位置。电子装置6402还可在显示器6464中显示音频信号源的角度。如上文所描述,电子装置6402可显示所俘获的音频信号的2D角度图。在一些实施方案中,用户接口6464可在3D透视图中显示2D曲线图以传达曲线图与基于现实世界中的物理坐标的平面(例如,水平平面)的对准。
电子装置6402可显示6508对应于至少一个音频信号(例如,对应于在用户接口6428上显示的波图案)的图标。根据某一配置,电子装置6402(例如,显示器6464)可显示6508将音频信号识别为目标音频信号(例如,话音信号)的图标。另外或替代地,电子装置6402(例如,显示器6464)可显示6508将音频信号识别为噪声和/或干扰(例如,干扰性或干扰音频信号)的图标(例如,不同图标)。
在一些实施方案中,电子装置6402可显示6508对应于音频信号的源的图标。举例来说,电子装置6402可显示6508指示话音信号的源((例如)个人的图像)的图像图标。电子装置6402可显示6508对应于至少一个音频信号的多个图标。举例来说,电子装置可显示将音频信号识别为噪声/干扰信号或话音信号的至少一个图像图标和/或若干图标。
电子装置6402(例如,用户接口6428)可使用户接口6428的全部或部分与参考平面对准6510。举例来说,电子装置6402可使坐标系6430与参考平面对准6510。在一些配置中,对准6510用户接口6428的全部或一部分可包含将二维曲线图(例如,极坐标图)映射(例如,投影)到三维显示空间中。另外或替代地,电子装置6402可使扇区选择特征6432及扇区编辑特征6436中的一或多者与参考平面对准。参考平面可为水平的(例如,对应于地球坐标)。在一些实施方案中,用户接口6428的与参考平面对准的一部分可独立于电子装置6402定向与所述参考平面对准。换句话说,在电子装置6402平移和/或旋转时,用户接口6428的与参考平面对准的全部或一部分可与所述参考平面保持对准。在一些实施方案中,电子装置6402可实时地对准6510用户接口6428的全部或一部分。
电子装置6402可提供6512允许选择坐标系6430的至少一个扇区的扇区选择特征6432。在一些实施方案中,此可如结合图63中所描述那样进行。
在一些实施方案中,电子装置6402(例如,用户接口6428和/或扇区选择特征6432)可填补6514所选择的扇区。举例来说,电子装置6402可包含具有音频信号的额外信息来改进空间音频处理。举例来说,填补可指提供作为用于所选择的扇区的突出显示的(例如,明亮的色彩)填补而提供的视觉反馈。举例来说,图71中所说明的所选择的扇区7150(例如,所述扇区的轮廓)可被突出显示以使得能够容易识别所选择的扇区。
电子装置6402(例如,显示器6464、用户接口6428等)可提供6516允许编辑至少一个扇区的扇区编辑特征6436。如上文所描述,电子装置6402可经由用户接口6428提供6516扇区编辑特征6436。在一些实施方案中,扇区编辑特征6436可基于触摸输入而操作。举例来说,扇区编辑特征6436可允许基于单点或多点触摸输入来编辑所选择的扇区。举例来说,用户接口6428可包含允许用户调整所选择的扇区的大小的至少一个触摸点。在此实施方案中,电子装置6402可提供接收允许编辑至少一个扇区的触摸输入的触摸传感器6438。
电子装置6402可提供6518固定模式及可编辑模式。在可编辑模式中,用户接口6428可对用以操纵用户接口6428的至少一个特征(例如,扇区选择特征6432)的输入作出响应。在固定模式中,用户接口6428可不对用以操纵用户接口6428的至少一个特征的输入作出响应。在一些实施方案中,电子装置6402可允许在固定模式与可编辑模式之间进行选择。举例来说,用户接口6428的单选按钮可允许在可编辑模式与固定模式之间进行选择。
电子装置6402可传递6520至少一个扇区内指示的音频信号。举例来说,电子装置6402可传递6520所选择的扇区中指示的音频信号。在一些实施方案中,电子装置6402可衰减6522音频信号。举例来说,电子装置6402可衰减6522(例如,减弱和/或抑制)未包含在至少一个所选择的扇区内的音频信号。举例来说,所述音频信号可包含话音信号。在此实例中电子装置6402可衰减6522除用户话音信号以外的不合需要的音频信号。
图66说明用于显示至少一个音频信号的方向性的用户接口6628a到b的实例。在一些实施方案中,用户接口6628a到b可为结合图62所描述的用户接口6228的实例。用户接口6628a到b可包含可为结合图62所描述的坐标系6230的实例的坐标系6630a到b。
在图66中,电子装置6202(例如,电话)可平放。此可出现(例如)在桌面模式中。在图66中,坐标系6630a到b可包含可指示至少一个音频信号的方向性((例如)根据角度或角度的范围)的至少一个音频信号指示符6646a到b。所述至少一个音频信号可源自个人、扬声器或可产生音频信号的任何东西。在第一用户接口6628a中,第一音频信号指示符6646a可指示第一音频信号处于大致180度。相比而言,在第二用户接口6628b中,第二音频信号指示符6646b可指示第二音频信号处于大致270度。在一些实施方案中,音频信号指示符6646a到b可指示音频信号的强度。举例来说,音频信号指示符6646a到b可包含指示音频信号的强度的至少一个色彩的梯度。
第一用户接口6628a提供可包含于本文中所描述的用户接口中的一或多者中的一或多个特性的实例。举例来说,第一用户接口6628a包含标题部分6601。标题部分6601可包含用户接口或提供所述用户接口的应用的标题。在图66中所说明的实例中,所述标题是“SFAST”。可利用其它标题。一般来说标题部分6601是任选的:用户接口的某一配置可不包含标题部分。此外,应注意,标题部分可位于用户接口上的任何地方(例如,顶部、底部、中心、左边、右边和/或覆盖等)。
在图66中所说明的实例中,第一用户接口6628a包含控制部分6603。控制部分6603包含交互式控制的实例。在一些配置中,这些交互式控制中的一或多者可包含于本文中所描述的用户接口中。一般来说,控制部分6603可为任选的:用户接口的某一配置可不包含控制部分6603。此外,控制部分可被或可不被如图66中所说明那样分组。举例来说,交互式控制中的一或多者可位于用户接口的不同区段中(例如,顶部、底部、中心、左边、右边和/或覆盖等)。
在图66中所说明的实例中,第一用户接口6628a包含激活/去活按钮6607、复选框6609、目标扇区指示符6611、单选按钮6613、平滑滑块6615、复位按钮6617及噪声抑制(NS)启用按钮6619。然而,应注意可在广泛多种配置中实施交互式控制。举例来说,可在用户接口中实施滑块、单选按钮、按钮、双态切换按钮、复选框、列表、拨号盘、标签、文本框、下拉表、链接、图像、栅格、表、标记等中的一或多者和/或其组合来控制各种功能。
激活/去活按钮6607可一般激活或去活与第一用户接口6628a相关的功能性。举例来说,在出现对应于激活/去活按钮6607的事件(例如,触摸事件)时,用户接口6628a可在激活的情况下启用用户接口交互性且显示音频信号指示符6646a或可在去活的情况下停用用户接口交互性且暂停或中断显示音频信号指示符6646a。
复选框6609可启用或停用目标音频信号和/或干扰源音频信号的显示。举例来说,展示干扰源及展示目标复选框分别启用在所检测到的/计算出的干扰源及目标音频信号的所检测到的角度上的视觉反馈。举例来说,“展示干扰源”元件可与“展示目标”元件成对,其使得能够将用户接口6628a中的目标及干扰位置的点可视化。在一些配置中,“展示干扰源”及“展示目标”元件可启用/停用在由所述装置检测到的角度位置上对目标源或干扰源的某一实际图片(例如,其实际表面、图标等)的显示。
目标扇区指示符6611可提供所选择的或目标扇区的指示。在此实例中,所有扇区被指示为目标扇区。下文结合图71提供另一实例。
单选按钮6613可启用对固定或可编辑扇区模式的选择。在固定模式中,一或多个扇区(例如,所选择的扇区)可不被调整。在可编辑模式中,一或多个扇区(例如,所选择的扇区)可被调整。
平滑滑块6615可提供对用于对输入进行滤波的值的选择。举例来说,值0指示不存在滤波器,而值25可指示积极滤波。在一些配置中,平滑滑块6615表示用于显示源活动性极坐标图的平滑的量。举例来说,平滑的量可基于由平滑滑块6615指示的值,其中执行递归式平滑(例如,polar=(1-alpha)*polar+(alpha)*polar_current_frame,因此较小的alpha意味着更多的平滑)。
复位按钮6617可启用对一或多个当前用户接口6628a设定的清除。举例来说,在出现对应于复位按钮6617的触摸事件时,用户接口6628a可清除任何扇区选择,可清除是否显示目标和/或干扰源音频信号和/或可将平滑滑块复位到默认值。噪声抑制(NS)启用按钮6619可启用或停用对输入音频信号的噪声抑制处理。举例来说,电子装置可基于噪声抑制(NS)启用按钮6619来启用或停用对干扰音频信号进行滤波。
用户接口6628a可包含坐标系部分6605(例如,曲线图部分)。在一些配置中,坐标系部分6605可占据整个用户接口6628a(和/或整个装置显示器)。在其它配置中,坐标系可占据用户接口6628a的子区段。虽然极坐标系在本文中作为实例给出,但应注意,例如矩形坐标系等替代的坐标系可包含于用户接口6628a中。
图94说明用户接口9428的另一实例。在此实例中,用户接口9428包含矩形(例如,笛卡耳)坐标系9430。还展示音频信号指示符9446的一个实例。如上文所描述,坐标系9430可占据整个用户接口9428(和/或电子装置6202中包含的整个显示器9464),如图94中所说明。在其它配置中,坐标系9430可占据用户接口9428(和/或显示器9464)的子区段。应注意,可对本文中所描述的极坐标系中的任一者替代地实施矩形坐标系。
图67说明用于显示至少一个音频信号的方向性的用户接口6728的另一实例。在一些实施方案中,用户接口6728可为结合图62所描述的用户接口6228的实例。用户接口可包含坐标系6730及至少一个音频信号指示符6746a到b,其可为结合图62及66中的一或多者所描述的对应元件的实例。在图67中,用户接口6728可包含多个音频信号指示符6746a到b。举例来说,第一音频信号指示符6746a可指示第一音频信号源6715a处于约90度且第二音频信号源6715b处于约270度。举例来说,图67说明在包含用户接口6728的电子装置的左边及右边的话音检测的一个实例。更具体来说,用户接口6728可指示从电子装置的左边及右边检测到的话音。举例来说,用户接口6728可在同时显示不同位置中的多个(例如,两个)不同源。在一些配置中,下文结合图78所描述的程序可使得能够选择对应于音频信号指示符6746a到b(及(例如)音频信号源6715a到b)的两个扇区。
图68说明用于显示至少一个音频信号的方向性的用户接口6828的另一实例。在一些实施方案中,用户接口6828可为结合图62所描述的用户接口6228的实例。用户接口可包含坐标系6830及音频信号指示符6846,其可为结合图62及66中的一或多者所描述的对应元件的实例。图68说明二维坐标系6830投影到三维显示空间中的一个实例,其中坐标系6830显得朝内延伸到用户接口6828中。举例来说,电子装置6202(例如,电话)可在用户手的手掌中。具体来说,电子装置6202可在水平面向上定向中。在此实例中,用户接口6828的一部分可与如早先所描述的水平参考平面对准。图68中的音频信号可源自将电子装置6202握持在他们的手中且在其前方说话((例如)处于大致180度)的用户。
图69说明用于显示至少一个音频信号的方向性的用户接口6928的另一实例。在一些实施方案中,用户接口6928可为结合图62所描述的用户接口6228的实例。用户接口可包含坐标系6930及音频信号指示符6946,其可为结合图62及66中的一或多者所描述的对应元件的实例。在图69中,电子装置6202(例如,电话)可在用户手的手掌中。举例来说,电子装置6202可在水平面向上定向中。在此实例中,用户接口6928的一部分可与如早先所描述的水平参考平面对准。图69中的音频信号可源自电子装置6202的后方((例如)处于大致0度)。
图70说明用于显示至少一个音频信号的方向性的用户接口7028的另一实例。在一些实施方案中,用户接口7028可为结合图62所描述的用户接口6228的实例。用户接口可包含坐标系7030及至少一个音频信号指示符7046a到b,其可为结合图62及66中的一或多者所描述的对应元件的实例。在一些配置中,用户接口7028可包含对应于所显示的音频信号指示符7046a到b的类型的至少一个图标7048a到b。举例来说,用户接口7028可在对应于目标音频信号(例如,说话者的或用户的话音)的第一音频信号指示符7046a附近显示三角形图标7048a。类似地,用户接口7028可在对应于干扰(例如,干扰音频信号或噪声)的第二音频信号指示符7046b附近显示菱形图标7048b。
图71说明用户接口7128的扇区选择特征6232的实例。在一些实施方案中,用户接口7128可为结合图62所描述的用户接口6228的实例。用户接口7128可包含坐标系7130和/或音频信号指示符7146,其可为结合图62及66中的一或多者所描述的对应元件的实例。如上文所描述,用户接口7128可包含允许通过(例如)触摸输入来选择至少一个扇区的扇区选择特征6232。在图71中,所选择的扇区7150由虚线指示。在一些实施方案中,还可显示所选择的扇区7150的角度范围(例如,约225度到约315度,如图71中所示)。如早先所描述,在一些实施方案中,电子装置6202可传递在所选择的扇区7150内指示的音频信号(例如,由音频信号指示符7146表示)。在此实例中,音频信号源在电话的侧面(处于约270度)。在一些配置中,在所选择的扇区7150外部的另一扇区可为噪声被抑制和/或衰减的。
在图71中所说明的实例中,用户接口7128包含目标扇区指示符。在此情况下,所述目标扇区指示符指示在225度与315度之间的所选择的扇区。应注意,可用在其它配置中的其它参数指示所述扇区。举例来说,目标扇区指示符可指示根据扇区数目等的以弧度计的所选择的扇区。
图72说明用户接口7228的扇区选择特征6232的另一实例。在一些实施方案中,用户接口7228可为结合图62所描述的用户接口6228的实例。用户接口7228可包含坐标系7230、音频信号指示符7246及至少一个所选择的扇区7250a到b,其可为结合图62、66及71中的至少一者所描述的对应元件的实例。如上文所描述。扇区选择特征6232可允许同时选择多个扇区。在图72中,已选择两个扇区7250a到b(如由虚线指示,举例来说)。在此实例中,音频信号处于大致270度。在所选择的扇区7250a到b外部的另一扇区可为噪声被抑制和/或衰减的。因此,本文中揭示的系统和方法可使得能够一次选择两个或更多个扇区7250。
图73说明用户接口7328的扇区选择特征6232的另一实例。在一些实施方案中,用户接口7328可为结合图62所描述的用户接口6228的实例。用户接口7328可包含坐标系7330、至少一个音频信号指示符7346a到b及至少一个所选择的扇区7350a到b,其可为结合图62、66及71中的至少一者所描述的对应元件的实例。在图73中,已选择两个扇区7350a到b(如由虚线指示,举例来说)。在此实例中,说话者在电子装置6202的侧面。在所选择的扇区7250a到b外部的另一扇区可为噪声被抑制和/或衰减的。
图74说明用户接口7428a到f的扇区选择特征6232的更多实例。在一些实施方案中,用户接口7428a到f可为结合图62所描述的用户接口6228的实例。用户接口7428a到f可包含坐标系7430a到f、至少一个音频信号指示符7446a到f及至少一个所选择的扇区7450a到c,其可为结合图62、66及71中的至少一者所描述的对应元件的实例。在此实例中,所选择的扇区7450a到c可基于触摸输入7452来确定。举例来说,可基于手指滑动来选择扇区和/或扇区角度。举例来说,用户可输入圆形触摸输入7452。可随后基于圆触摸输入7452来确定所选择的扇区7150b。换句话说,用户可通过绘制关注区而不是手动地调整((例如)基于触摸点或“句柄”)来使扇区变窄。在一些实施方案中,如果基于触摸输入7452选择多个扇区,那么“最佳”扇区7450c可被选择且重新调整以匹配关注区。在一些实施方案中,术语“最佳”可指示具有最强的至少一个音频信号的扇区。此可为用以选择扇区及使扇区变窄的一种用户友好的方式。应注意,为了放大或收缩扇区,可在屏幕上或上方同时使用多根手指(例如,两根或更多根)。触摸输入7452的其它实例可包含来自用户的点击输入。在此实例中,用户可点击坐标系的一部分且可选择在点击位置上居中(或对准于预设的度数范围)的扇区。在此实例中,用户可随后通过切换到可编辑模式且调整触摸点来编辑所述扇区,如下文将描述。
图75说明用户接口7528a到f的扇区选择特征6232的更多实例。在一些实施方案中,用户接口7528a到f可为结合图62所描述的用户接口6228的实例。用户接口7528a到f可包含坐标系7530a到f、至少一个音频信号指示符7546a到f及至少一个所选择的扇区7550a到c,其可为结合图62、66及71中的至少一者所描述的对应元件的实例。在此实例中,所选择的扇区7550a到c可基于触摸输入7552来确定。举例来说,可基于手指滑动来选择扇区和/或扇区角度。举例来说,用户可输入滑动触摸输入7552。换句话说,用户可通过绘制关注区而不是手动地调整((例如)基于触摸点或“句柄”)来使扇区变窄。在此实例中,可仅基于滑动触摸输入7552(而不是(例如)圆形绘制)来选择和/或调整扇区。可随后基于滑动触摸输入7552来确定所选择的扇区7150b。在一些实施方案中,如果基于触摸输入7552选择多个扇区,那么“最佳”扇区7550c可被选择且重新调整以匹配关注区。在一些实施方案中,术语“最佳”可指示具有最强的至少一个音频信号的扇区。此可为用以选择扇区及使扇区变窄的一种用户友好的方式。应注意,为了放大或收缩扇区,可在屏幕上或上方同时使用多根手指(例如,两根或更多根)。应注意,可根据本文中所描述的扇区选择和/或调整技术中的任一者来感测单根手指或多根手指。
图76是说明用于编辑扇区的方法7600的一个配置的流程图。方法7600可由电子装置6202执行。电子装置6202(例如,显示器6264)可显示7602对应于至少一个扇区的至少一个点(例如,触摸点)。在一些实施方案中,所述至少一个触摸点可由扇区编辑特征6436实施以允许编辑至少一个扇区。举例来说,用户接口6228可包含允许用户调整所选择的扇区的大小(例如,展开或变窄)的至少一个触摸点。可在所述扇区的边界周围显示所述触摸点。
电子装置6202(例如,触摸传感器)可接收7604对应于至少一个点(例如,触摸点)的触摸输入。举例来说,电子装置6202可接收编辑扇区(例如,调整其大小和/或形状)的触摸输入。举例来说,用户可通过触摸至少一个触摸点来选择所述至少一个触摸点。在此实例中,用户可移动在用户接口6228上显示的触摸点。在此实施方案中,接收7604触摸输入可包含基于触摸输入来调整所述触摸点。举例来说,在用户经由触摸传感器6438移动触摸点时,电子装置6202可相应地移动所述触摸点。
电子装置6202(例如,用户接口6228)可基于触摸输入来编辑7606至少一个扇区。举例来说,电子装置6202可基于单点或多点触摸输入来调整所述扇区的大小和/或形状。类似地,电子装置6202可基于所述触摸输入改变所述扇区相对于坐标系6230的位置。
图77说明用户接口7728a到b的扇区编辑特征6436的实例。在一些实施方案中,用户接口7728a到b可为结合图62所描述的用户接口6228的实例。用户接口7728a到b可包含坐标系7730a到b,其可为结合图62所描述的对应元件的实例。用户接口7728a到b可包含至少一个触摸点7754a到h。如上文所描述,触摸点7754a到h可为允许编辑至少一个扇区的句柄。触摸点7754a到h可定位在扇区的顶点处。在一些实施方案中,扇区编辑可独立于扇区选择而进行。因此,可在一些配置中调整未被选择的扇区。
在一些实施方案中,用户接口7728a到b可提供交互式控制,所述交互式控制启用用户接口7728a到b的固定模式及编辑模式。举例来说,用户接口7728a到b可各自包含控制用户接口7728a到b是否可操作的激活/去活按钮7756a到b。激活/去活按钮按钮7756a到b可双态切换用户接口7728a到b的经激活/经去活状态。当在可编辑模式中时,用户接口7728a到b可显示对应于至少一个扇区(例如,扇区边缘处的圆圈)的至少一个触摸点7754a到f(例如,句柄)。
图78说明用户接口7828a到c的扇区编辑特征6436的更多实例。在一些实施方案中,用户接口7828a到c可为结合图62所描述的用户接口6228的实例。用户接口7828a到c可包含坐标系7830a到c、至少一个音频信号指示符7846a到b、至少一个所选择的扇区7850a到e及至少一个触摸点7854a到l,其可为结合图62、66及71中的至少一者所描述的对应元件的实例。在图78中,已选择至少一个扇区((例如)如由虚线所说明)。如图78中所描绘,可使所选择的扇区7850a到e变窄以用于更高的精度。举例来说,用户可使用触摸点7854a到l调整(例如,展开及变窄)所选择的扇区7850a到e。在所选择的扇区7850a到e外部的另一扇区可为噪声被抑制和/或衰减的。
图79说明用户接口7928a到b的扇区编辑特征6436的更多实例。在一些实施方案中,用户接口7928a到b可为结合图62所描述的用户接口6228的实例。用户接口7928a到b可包含坐标系7930a到b、至少一个音频信号指示符7946a到b、至少一个所选择的扇区7950a到b及至少一个触摸点7954a到h,其可为结合图62、66及71中的至少一者所描述的对应元件的实例。在图79中,电子装置6202(例如,电话)可在用户手的手掌中。举例来说,电子装置6202可朝上倾斜。在此实例中,用户接口7928a到b的一部分(例如,坐标系7930a到b)可与如早先所描述的水平参考平面对准。因此,坐标系7930a到b在三维透视图中显得延伸到用户接口7928a到b中。图79中的音频信号可源自将电子装置6202握持在他们的手中且在其前方说话((例如)处于大致180度)的用户。图79还说明至少一个扇区可实时地变窄或加宽。举例来说,可在进行中的交谈或电话呼叫期间调整所选择的扇区7950a到b。
图80说明用户接口8028a到c的扇区编辑特征6436的更多实例。在一些实施方案中,用户接口8028a到c可为结合图62所描述的用户接口6228的实例。用户接口8028a到c可包含坐标系8030a到c、至少一个音频信号指示符8046a到c、至少一个所选择的扇区8050a到b及至少一个触摸点8054a到b,其可为结合图62、66及71中的至少一者所描述的对应元件的实例。第一图示描绘指示处于约270度的音频信号的存在的音频信号指示符8046a。中间图示展示具有所选择的扇区8050a的用户接口8028b。右边图示描绘编辑所选择的扇区8050b的一个实例。在此情况下,所选择的扇区8050b变窄。在此实例中,电子装置6202可传递具有与所选择的扇区8050b相关联的到达方向的音频信号且衰减具有与所选择的扇区8050b外部相关联的到达方向的其它音频信号。
图81说明用户接口8128a到d的扇区编辑特征6436的更多实例。在一些实施方案中,用户接口8128a到d可为结合图62所描述的用户接口6228的实例。用户接口8128a到d可包含坐标系8130a到d、至少一个音频信号指示符8146a到d、至少一个所选择的扇区8150a到c及至少一个触摸点8154a到h,其可为结合图62、66及71中的至少一者所描述的对应元件的实例。第一图示描绘指示处于约270度的音频信号的存在的音频信号指示符8146a。第二图示展示具有所选择的扇区8150a的用户接口8128b。第三图示展示用于编辑扇区的至少一个触摸点8154a到d。第四图示描绘编辑所选择的扇区8150d的一个实例。在此情况下,所选择的扇区8150d变窄。在此实例中,电子装置6202可传递具有与所选择的扇区8150d相关联的到达方向的音频信号(例如,其可基于用户输入)且衰减具有与所选择的扇区8150d外部相关联的到达方向的其它音频信号。
图82说明具有独立于电子装置6202定向而定向的坐标系8230的用户接口8228的实例。在一些实施方案中,用户接口8228可为结合图62所描述的用户接口6228的实例。用户接口包含坐标系8230及音频信号指示符8246,其可为结合图62及66中的至少一者所描述的对应元件的实例。在图82中,电子装置6202(例如,电话)朝上倾斜(例如,在用户手的手掌中)。用户接口8228的坐标系8230(例如,极图)展示或显示音频信号源位置。在此实例中,用户接口8228的一部分与如早先所描述的水平参考平面对准。图82中的音频信号源自处于大致180度的源8215。如上文所描述,源8215可包含用户(例如,其将电子装置6202握持在他们的手中且在其前方说话)、扬声器或能够产生音频信号的任何东西。
图83说明具有独立于电子装置6202定向而定向的坐标系8330的用户接口8328的另一实例。在一些实施方案中,用户接口8328可为结合图62所描述的用户接口6228的实例。用户接口8328包含坐标系8330及音频信号指示符8346,其可为结合图62及66中的至少一者所描述的对应元件的实例。在图83中,电子装置6202(例如,电话)处于仰角从电子装置6202的底部到电子装置6202的顶部(朝向声音源8315)递增的倾斜或斜置定向(例如在用户的手的手掌中)。用户接口8328的坐标系8330(例如,极图)显示音频信号源位置。在此实例中,用户接口8328的一部分与如早先所描述的水平参考平面对准。图83中的音频信号源自朝向电子装置6202(例如,电话)的背面(或后方)的源8315。图83说明与3D世界的物理平面(例如,水平)对准的用户接口8328的参考平面。应注意,在图83中,用户接口8328平面变成所述屏幕,即使电子装置6202被半垂直地握持也如此。因此,即使电子装置6202相对于地板的物理平面处于约45度,用户接口8328坐标系8330平面相对于地板的物理平面也处于0度。举例来说,用户接口8328上的参考平面对应于物理坐标系中的参考平面。
图84说明具有独立于电子装置6202定向而定向的坐标系8430的用户接口8428的另一实例。在一些实施方案中,用户接口8428可为结合图62所描述的用户接口6228的实例。用户接口8428包含坐标系8430及音频信号指示符8446,其可为结合图62及66中的至少一者所描述的对应元件的实例。在图84中,电子装置6202(例如,电话)处于垂直定向(例如在用户的手的手掌中)。用户接口8428的坐标系8430(例如,极图)显示音频信号源位置。在此实例中,用户接口8428的一部分与如早先所描述的水平参考平面对准。图84中的音频信号源自朝向电子装置6202(例如,电话)的左后方(例如,后方)的源8415。
图85说明具有独立于电子装置6202定向而定向的坐标系8530的用户接口8528的另一实例。在一些实施方案中,用户接口8528可为结合图62所描述的用户接口6228的实例。用户接口8528包含坐标系8530及音频信号指示符8546,其可为结合图62及66中的至少一者所描述的对应元件的实例。在图85中,电子装置6202(例如,电话)处于水平面向上定向(例如,桌面模式)。用户接口8528的坐标系8530(例如,极图)显示音频信号源位置。图85中的音频信号可源自朝向电子装置6202(例如,电话)的左上方的源8515。在一些实例中,音频信号源被跟踪。举例来说,在启用噪声抑制时,电子装置6202可跟踪最大声的说话者或声音源。举例来说电子装置6202(例如,电话)可在抑制来自其它区域(例如,区或扇区)的其它声音(例如,噪声)的同时跟踪最大声的说话者的移动。
图86说明具有独立于电子装置6202定向而定向的坐标系8630a到c的用户接口8628a到c的更多实例。换句话说,坐标系8630a到c和/或音频信号指示符8646a到c保持处于相对于物理空间的相同定向,与如何旋转电子装置6202无关。在一些实施方案中,用户接口8628a到c可为结合图62所描述的用户接口6228的实例。用户接口8628a到c可包含坐标系8630a到c及音频信号指示符8646a到c,其可为结合图62及66中的至少一者所描述的对应元件的实例。在没有罗盘的情况下,扇区选择特征6232可不具有与现实世界的物理坐标系(例如,北、南、东、西等)的关联。因此,如果电子装置6202(例如,电话)处于面向用户的垂直定向(例如,浏览-通话模式),那么电子装置6202的顶部可指定为“0度”及沿着垂直轴线延伸。在电子装置6202在顺时针方向上旋转(例如)90度时,“0度”现在位于水平轴线上。因此,在选择扇区时,电子装置6202的旋转会影响所选择的扇区。通过添加可检测方向的另一组件(例如罗盘),用户接口8628a到c的扇区选择特征6232可与物理空间且不与电话相关。换句话说,通过添加罗盘,在电话选自垂直竖立位置到水平位置时,“0度”仍保持在面向用户的电话的顶侧上。举例来说,在图86的第一图像中,用户接口8628a说明为不倾斜(或例如具有0度倾角)。举例来说,坐标系8630a与用户接口8628a和/或电子装置6202对准。相比而言,在图86的第二图像中,用户接口8628b和/或电子装置6202向左边倾斜。然而,可维持坐标系8630b(及现实世界与电子装置6202之间的映射)。此可例如基于倾斜传感器数据5608来进行。在图86的第三图像中,用户接口8628c和/或电子装置6202向右边倾斜。然而,可维持坐标系8630c(及现实世界与电子装置6202之间的映射)。
应注意,如本文所使用,术语“物理坐标”可表示或可不表示地理坐标。在一些配置中,举例来说,在电子装置6202不包含罗盘的情况下,电子装置6202可仍基于传感器数据5608将坐标从多麦克风配置映射到物理坐标。在此情况下,映射5612可与电子装置6202相关且可不直接对应于地球坐标(例如,北、南、东、西)。无论如何,电子装置6202可能够辨别物理空间中相对于电子装置6202的声音的方向。然而,在一些配置中,电子装置6202可包含罗盘(或其它导航仪器)。在此情况下电子装置6202可将坐标从多麦克风配置映射到对应于地球坐标(例如,北、南、东、西)的物理坐标。可根据本文中揭示的系统和方法利用不同类型的坐标系6230。
图87说明具有独立于电子装置6202定向而定向的坐标系8730的用户接口8728的另一实例。在一些实施方案中,用户接口8728可为结合图62所描述的用户接口6228的实例。用户接口8728可包含坐标系8730及音频信号指示符8746,其可为结合图62及66中的至少一者所描述的对应元件的实例。在一些实施方案中,用户接口8728还包含结合坐标系8730(如上文所描述)的罗盘8756。在此实施方案中,罗盘8756可检测方向。罗盘8756部分可显示相对于现实世界坐标的电子装置6202定向。经由罗盘8756,用户接口8728上的扇区选择特征6232可与物理空间且不与电子装置6202相关。换句话说,通过添加罗盘8756,在电子装置6202选自垂直位置到水平位置时,“0度”仍保持在面向用户的电子装置6202的顶侧附近。应注意,确定物理电子装置6202定向可用罗盘8756进行。然而,如果罗盘8756不存在,那么其还可替代地基于GPS和/或陀螺仪传感器来确定。因此,可对罗盘8756替代地使用可用于确定电子装置6202的物理定向的任何传感器5604或系统或作为所述罗盘的补充。因此,可用本文中所描述的配置中的任一者中的另一传感器5604或系统来取代罗盘8756。因此,存在可提供截屏的多个传感器5604,其中定向相对于用户保持固定。
在其中在电子装置6202中包含GPS接收器的情况下,可利用GPS数据来提供额外的功能性(除了仅传感器之外)。在一些配置中,举例来说,电子装置6202(例如,移动装置)可包含具有地图软件的GPS功能性。在一个方法中,坐标系8730可经对准以使得(例如)零度始终向下指向街道。在具有罗盘8756的情况下,举例来说,电子装置6202(例如,坐标系8730)可根据物理北和/或南来定向,然而可利用GPS功能性提供更多选项。
图88是说明其中可实施用于在电子装置8802上显示用户接口8828的系统和方法的用户接口8828的另一配置的框图。用户接口8828可为结合图62所描述的用户接口6228的实例。在一些实施方案中,可在可为结合图62描述的对应元件的实例的电子装置8802的显示器8864上呈现用户接口8828。用户接口8828可包含坐标系8830和/或扇区选择特征8832,其可为结合图62及66中的至少一者所描述的对应元件的实例。用户接口8828可耦合到至少一个麦克风8806和/或操作块/模块8814,其可为结合图56及66中的至少一者所描述的对应元件的实例。
在一些实施方案中,用户接口8828可耦合到数据库8858,所述数据库可被包含和/或耦合到电子装置8802。举例来说,数据库8858可存储在位于电子装置8802上的存储器中。数据库8858可包含一或多个音频签名。举例来说,数据库8858可包含关于一或多个音频信号源(例如,个别用户)的一或多个音频签名。数据库8858还可包含基于所述音频签名的信息。举例来说,数据库8858可包含对应于所述音频签名的用户的识别信息。识别信息可包含音频信号源的图像(例如,对应于音频签名的人的图像)和/或联系信息,例如姓名、电子邮件地址、电话号码等。
在一些实施方案中,用户接口8828可包含音频签名辨识块/模块8860。所述音频签名辨识块/模块8860可辨识由至少一个麦克风8806接收的音频签名。举例来说,麦克风8806可接收音频信号。音频签名辨识块/模块8860可获得音频信号且将其与数据库8858中包含的音频签名进行比较。在此实例中,音频签名辨识块/模块8860可从数据库8858获得音频签名和/或关于音频签名的识别信息且将所述识别信息传递到显示器8864。
图89是说明用于在电子装置8802上显示用户接口8828的方法8900的另一配置的流程图。方法8900可由电子装置8802执行。电子装置8802可获得8902对应于物理坐标的坐标系8830。在一些实施方案中,此可如结合图63中所描述那样进行。
电子装置8802可呈现8904可包含坐标系8830的用户接口8828。在一些实施方案中,此可如结合图63中所描述那样进行。
电子装置8802可辨识8906音频签名。音频签名可为对应于特定音频信号源的表征。举例来说,个别用户可具有对应于个别话音的音频签名。音频签名的实例包含话音辨识参数、音频信号分量、音频信号样本和/或用于表征音频信号的其它信息。在一些实施方案中,电子装置8802可从至少一个麦克风8806接收音频信号。电子装置8802可随后(例如)通过与噪声信号进行比较来确定所述音频信号是否来自例如个别用户的音频信号源而辨识8906所述音频签名。此可通过测量所述音频信号的至少一个特性(例如,调和性、音调等)来进行。在一些实施方案中,辨别8906音频签名可包含识别来自特定音频源的音频信号。
电子装置8802可随后在数据库8858中查找8908音频签名。举例来说,电子装置8802可在音频签名的数据库8858中寻找所述音频签名。电子装置8802可获得8910对应于所述音频签名的识别信息。如上文所描述,数据库8858可包含基于所述音频签名的信息。举例来说,数据库8858可包含对应于所述音频签名的用户的识别信息。识别信息可包含音频信号源(例如,用户)的图像和/或联系信息,例如,姓名、电子邮件地址、电话号码等。在获得8910对应于音频签名的识别信息(例如,图像)之后,电子装置8802可在用户接口8828上显示8912识别信息。举例来说,电子装置8802可在显示器6264上在音频信号指示符6646附近显示8912用户的图像。在其它实施方案中,电子装置8802可显示8912至少一个识别信息元素以作为识别显示的一部分。举例来说,用户接口8828的一部分可包含关于所述音频签名的识别信息(例如,图像、姓名、电子邮件地址等)。
电子装置8802可提供8914允许选择坐标系8830的至少一个扇区的扇区选择特征6232。在一些实施方案中,此可如结合图63中所描述那样进行。
图90说明耦合到数据库9058的用户接口9028的实例。在一些实施方案中,用户接口9028可为结合图62所描述的用户接口6228的实例。用户接口9028可包含坐标系9030及音频信号指示符9046,其可为结合图62及66中的至少一者所描述的对应元件的实例。如上文在一些实施方案中所描述,用户接口9028可耦合到数据库9058,所述数据库包含至少一个音频签名9064和/或对应于音频签名9064的识别信息9062a,其可为结合图88及89中的至少一者所描述的对应元件的实例。在一些配置中,电子装置6202可辨识音频签名9064且在数据库9058中查找音频签名9064。电子装置6202可随后获得(例如,检索)对应于由电子装置6202辨识的音频签名9064的对应识别信息9062a。举例来说,电子装置6202可获得说话者或人的图片,且通过音频信号指示符9046显示所述说话者或人的图片(及其它识别信息9062b)。以此方式,用户可容易地识别音频信号的源。应注意,数据库9058可为本地的或可为远程的(例如,在跨网络(例如LAN或因特网)的服务器上)。另外或替代地,电子装置6202可将识别信息9062发送到另一装置。举例来说,电子装置6202可将一或多个用户姓名(和/或图像、识别符等)发送到另一装置(例如,智能电话、服务器、网络、计算机等),所述另一装置呈现识别信息9062以使得向远端用户通知当前说话者。举例来说,当有多个用户在扬声器电话上谈话时,此可为有用的。
任选地,在一些实施方案中,用户接口9028可与坐标系9030分开地显示识别信息9062。举例来说,用户接口9028可在坐标系9030下方显示识别信息9062c。
图91是说明用于在电子装置6402上显示用户接口6428的方法9100的更特定的配置另一配置的流程图。所述方法9100可由电子装置6402执行。电子装置6402可获得9102对应于物理坐标的坐标系6430。在一些实施方案中,此可如结合图63中所描述那样进行。
电子装置6402可呈现9104可包含坐标系6430的用户接口6428。在一些实施方案中,此可如结合图63中所描述那样进行。
电子装置6402可提供9106允许选择坐标系6430的至少一个扇区的扇区选择特征6432。在一些实施方案中,此可如结合图63中所描述那样进行。
电子装置6402可指示9108来自至少一个扇区的图像数据。如上文所描述,电子装置6402可包含至少一个图像传感器6434。举例来说,收集与电子装置6402相关的数据的若干图像传感器6434可包含在电子装置6402上。更具体来说,至少一个图像传感器6434可收集图像数据。举例来说,相机(例如,图像传感器6434)可产生图像。在一些实施方案中,至少一个图像传感器6434可将图像数据提供给用户接口6428。在一些实施方案中,电子装置6402可指示9108来自至少一个图像传感器6434的图像数据。换句话说,电子装置6402可在显示器6464上显示来自至少一个图像传感器6434的图像数据(例如,静态照片或视频)。
在一些实施方案中,电子装置6402可传递9110基于至少一个扇区的图像数据。举例来说,电子装置6402可传递9110所选择的扇区中指示的图像数据。换句话说,可将本文关于用户接口6428所描述的技术中的至少一者应用于作为音频信号的替代物或补充的图像数据。
图92为说明可在其中实施用于映射源位置的系统和方法的无线通信装置9266的一个配置的框图。图92中所说明的无线通信装置9266可为本文中所描述的电子装置中的至少一者的实例。无线通信装置9266可包括应用处理器9278。应用处理器9278一般处理用以在无线通信装置9266上执行功能的指令(例如,运行程序)。应用处理器9278可耦合到音频译码器/解码器(编解码器)9276。
音频编解码器9276可为用于译码和/或解码音频信号的电子装置(例如,集成电路)。音频编解码器9276可耦合到至少一个扬声器9268、听筒9270、输出插口9272和/或一或多个麦克风9206。扬声器9268可包含将电信号或电子信号转换成声学信号的一或多个电-声换能器。举例来说,扬声器9268可用以播放音乐或输出扬声器电话对话,等等。听筒9270可为可用以向用户输出声学信号(例如,话语信号)的另一扬声器或电-声换能器。举例来说,可使用听筒9270以使得仅用户可可靠地听到声学信号。输出插口9272可用于将其它装置(例如,头戴式耳机)耦合到无线通信装置9266以用于输出音频。扬声器9268、听筒9270和/或输出插口9272可一般用于输出来自音频编解码器9276的音频信号。至少一个麦克风9206可为将声学信号(例如,用户的语音)转换成电信号或电子信号(其被提供到音频编解码器9276)的一或多个声-电换能器。
坐标映射块/模块9217a可任选地实施为音频编解码器9276的一部分。举例来说,坐标映射块/模块9217a可根据本文中所描述的功能和/或结构中的一或多者来实施。举例来说,可根据结合图57、59、60及61所描述的功能和/或结构中的一或多者来实施坐标映射块/模块9217a。
另外或替代地,坐标映射块/模块9217b可实施于应用程序处理器9278中。举例来说,坐标映射块/模块9217b可根据本文中所描述的功能和/或结构中的一或多者来实施。举例来说,可根据结合图57、59、60及61所描述的功能和/或结构中的一或多者来实施坐标映射块/模块9217b。
应用处理器9278还可耦合到电力管理电路9280。电力管理电路9280的一个实例为可用以管理无线通信装置9266的电力消耗的电力管理集成电路(PMIC)。电力管理电路9280可耦合到电池9282。电池9282可一般将电力提供到无线通信装置9266。举例来说,电池9282和/或电力管理电路9280可耦合到无线通信装置9266中所包含的元件中的至少一者。
应用处理器9278可耦合到至少一个输入装置9286以用于接收输入。输入装置9286的实例包含红外线传感器、图像传感器、加速度计、触摸传感器、小键盘,等等。输入装置9286可允许与无线通信装置9266的用户交互。应用程序处理器9278还可耦合到一或多个输出装置9284。输出装置9284的实例包括打印机、投影机、屏幕、触觉装置,等等。输出装置9284可允许无线通信装置9266产生可由用户体验的输出。
应用处理器9278可耦合到应用存储器9288。应用存储器9288可为能够存储电子信息的任何电子装置。应用存储器9288的实例包含双倍数据速率同步动态随机存取存储器(DDRAM)、同步动态随机存取存储器(SDRAM)、快闪存储器,等等。应用存储器9288可提供用于应用处理器9278的存储。举例来说,应用存储器9288可存储用于使在应用处理器9278上运行的程序起作用的数据和/或指令。
应用处理器9278可耦合到显示器控制器9290,显示器控制器9290又可耦合到显示器9292。显示器控制器9290可为用以在显示器9292上产生图像的硬件块。举例来说,显示器控制器9290可将来自应用处理器9278的指令和/或数据转译成可呈现于显示器9292上的图像。显示器9292的实例包含液晶显示器(LCD)面板、发光二极管(LED)面板、阴极射线管(CRT)显示器、等离子体显示器,等等。
应用处理器9278可耦合到基带处理器9294。基带处理器9294一般处理通信信号。举例来说,基带处理器9294可解调和/或解码所接收的信号。另外或替代地,基带处理器9294可编码和/或调制信号以准备发射。
基带处理器9294可耦合到基带存储器9296。基带存储器9296可为能够存储电子信息的任何电子装置,例如,SDRAM、DDRAM、快闪存储器,等等。基带处理器9294可从基带存储器9296读取信息(例如,指令和/或数据)和/或将信息写入到基带存储器9296。另外或替代地,基带处理器9294可使用存储于基带存储器9296中的指令和/或数据以执行通信操作。
基带处理器9294可耦合到射频(RF)收发器9298。RF收发器9298可耦合到功率放大器9201和一或多个天线9203。RF收发器9298可发射和/或接收射频信号。举例来说,RF收发器9298可使用功率放大器9201和至少一个天线9203发射RF信号。RF收发器9298还可使用所述一或多个天线9203接收RF信号。
图93说明可用于电子装置9302中的各种组件。所说明的组件可位于同一物理结构中或位于单独的外壳或结构中。结合图93所描述的电子装置9302可根据本文中所描述的电子装置及无线通信装置中的至少一者来实施。电子装置9302包含处理器9311。处理器9311可为通用单芯片或多芯片微处理器(例如,ARM)、专用微处理器(例如,数字信号处理器(DSP))、微控制器、可编程门阵列等。处理器9311可被称作中央处理单元(CPU)。虽然在图93的电子装置9302中仅展示单一处理器9311,但在替代配置中,可使用处理器(例如,ARM与DSP)的组合。
电子装置9302还包含与处理器9311电子通信的存储器9305。即,处理器9311可从存储器9305读取信息和/或将信息写入到存储器9305。存储器9305可为能够存储电子信息的任何电子组件。存储器9305可为随机存取存储器(RAM)、只读存储器(ROM)、磁盘存储媒体、光学存储媒体、RAM中的快闪存储器装置、与处理器包含在一起的板载存储器、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除PROM(EEPROM)、寄存器等等,包含其组合。
数据9309a和指令9307a可存储于存储器9305中。指令9307a可包含至少一个程序、例程、子例程、函数、程序,等等。指令9307a可包含单一计算机可读语句或许多计算机可读语句。指令9307a可由处理器9311执行以实施上文所描述的方法中的至少一者。执行指令9307a可涉及使用存储于存储器9305中的数据9309a。图93展示一些指令9307b和数据9309b被加载到处理器9311中(指令9307b和数据9309b可来自指令9307a和数据9309a)。
电子装置9302还可包含用于与其它电子装置通信的至少一个通信接口9313。通信接口9313可基于有线通信技术、无线通信技术,或以上两者。不同类型的通信接口9313的实例包含串行端口、并行端口、通用串行总线(USB)、以太网适配器、IEEE 1394总线接口、小型计算机系统接口(SCSI)总线接口、红外线(IR)通信端口、蓝牙无线通信适配器,等等。
电子装置9302还可包含至少一个输入装置9386及至少一个输出装置9384。不同种类的输入装置9386的实例包含键盘、鼠标、麦克风、远程控制装置、按钮、操纵杆、跟踪球、触摸板、光笔,等等。举例来说,电子装置9302可包含用于俘获声学信号的至少一个麦克风9306。在一个配置中,麦克风9306可为将声学信号(例如,语音、话语)转换成电信号或电子信号的换能器。不同种类的输出装置9384的实例包含扬声器、打印机,等等。举例来说,电子装置9302可包含至少一个扬声器9368。在一个配置中,扬声器9368可为将电信号或电子信号转换成声学信号的换能器。可通常包含于电子装置9302中的一个特定类型的输出装置为显示装置9392。与本文中所揭示的配置一起使用的显示装置9392可利用任何合适的图像投影技术,所述显示装置例如为阴极射线管(CRT)、液晶显示器(LCD)、发光二极管(LED)、气体等离子体、电致发光,等等。还可提供用于将存储于存储器9305中的数据转换成在显示装置9392上展示的文本、图形和/或移动图像(在适当时)的显示器控制器9390。
电子装置9302的各种组件可通过至少一个总线而耦合在一起,所述至少一个总线可包含电力总线、控制信号总线、状态信号总线、数据总线,等等。为简单起见,在图93中将各种总线说明为总线系统9315。应注意,图93仅说明电子装置9302的一个可能的配置。可利用各种其它架构和组件。
下文给出说明如本文所描述的功能性和/或用户接口的实例的某些图。在一些配置中,可结合短语“声音集中及源跟踪”、“SoFAST”或“SFAST”来参考所述功能性和/或用户接口。
在以上描述中,有时结合各种术语使用参考数字。在结合参考数字使用术语时,这可能打算指代在各图中的至少一者中展示的特定元件。在无参考数字的情况下使用术语时,这可能打算大体上指代不限于任何特定图的术语。
术语“耦合”及其任何变化可指示元件之间的直接或间接连接。举例来说,耦合到第二元件的第一元件可直接耦合到第二元件,或通过另一元件间接地连接到第二元件。
术语“处理器”应广义上解释为涵盖通用处理器、中央处理单元(CPU)、微处理器、数字信号处理器(DSP)、控制器、微控制器、状态机等。在某些情形下,“处理器”可指代专用集成电路(ASIC)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)等。术语“处理器”可指代计算装置的组合,例如,数字信号处理器(DSP)与微处理器的组合、多个微处理器的组合、至少一个微处理器与数字信号处理器(DSP)核心的联合,或任何其它此类配置。
术语“存储器”应广义上解释为涵盖能够存储电子信息的任何电子组件。术语存储器可指代各种类型的处理器可读媒体,例如随机存取存储器(RAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除PROM(EEPROM)、快闪存储器、磁性或光学数据存储装置、寄存器等。如果处理器可从存储器读取信息和/或将信息写入到存储器,那么称所述存储器与处理器进行电子通信。与处理器成一体的存储器与处理器进行电子通信。
术语“指令”和“代码”应广义上解释为包含任何类型的计算机可读语句。举例来说,术语“指令”和“代码”可指代至少一个程序、例程、子例程、函数、程序,等等。“指令”和“代码”可包括单一计算机可读语句或许多计算机可读语句。
应注意,在相容的情况下,结合本文中所描述的配置中的任一者所描述的特征、功能、程序、组件、元件、结构等中的至少一者可与结合本文中所描述的其它配置中的任一者所描述的功能、程序、组件、元件、结构等中的至少一者进行组合。换句话说,可根据本文中揭示的系统和方法来实施本文中所描述的所述功能、程序、组件、元件等的任何相容的组合。
一般可在任何收发和/或音频感测应用中,尤其在此类应用的移动或其它便携实例中应用本文中所揭示的方法和设备。举例来说,本文中所揭示的配置的范围包含驻留于经配置以使用码分多址(CDMA)空中接口的无线电话通信系统中的通信装置。然而,所属领域的技术人员将理解,具有本文中所描述的特征的方法及设备可驻留于使用所属领域的技术人员所已知的广泛范围的技术的各种通信系统中的任一者中,例如经由有线及/或无线(例如,CDMA、时分多址(TDMA)、频分多址(FDMA)及/或时分同步码分多址(TDSCDMA))发射通道使用IP话音(VoIP)的系统。
明确预期且在此揭示,本文中所揭示的通信装置可适于在包交换(例如,经布置以根据例如VoIP等协议载运音频传输的有线和/或无线网络)和/或电路交换的网络中使用。还明确预期且在此揭示,本文中所揭示的通信装置可适于在窄带译码系统(例如,对约四千赫兹或五千赫兹的音频频率范围进行编码的系统)中使用和/或在宽带译码系统(例如,对大于五千赫兹的音频频率进行编码的系统)中使用,包含全频带宽带译码系统和分裂频带宽带译码系统。
可与如本文中所描述的通信装置的发射器和/或接收器一起使用或适于与其一起使用的编解码器的实例包含:增强型可变速率编解码器,如2007年2月的标题为“用于宽带展频数字系统的增强型可变速率编解码器,语音服务选项3、68和70(Enhanced VariableRate Codec,Speech Service Options 3,68,and 70for Wideband Spread SpectrumDigital Systems)”的第三代合作伙伴计划2(3GPP2)文献C.S0014-C,vl.0中所描述(可在www.3gpp.org处在线得到);可选择模式声码器语音编解码器,如2004年1月的标题为“用于宽带展频通信系统的可选择模式声码器(SMV)服务选项(Selectable Mode Vocoder(SMV)Service Option for Wideband Spread Spectrum Communication Systems)”的3GPP2文献C.S0030-0,v3.0中所描述(可在www.3gpp.org处在线得到);自适应多速率(AMR)语音编解码器,如文献ETSI TS 126 092 V6.0.0(欧洲电信标准协会(ETSI),法国索菲亚安迪波利斯西德克斯,2004年12月)中所描述;以及AMR宽带语音编解码器,如文献ETSI TS 126 192V6.0.0(ETSI,2004年12月)中所描述。可使用此编解码器(例如)以从所接收的无线通信信号恢复所再现的音频信号。
提供所描述的配置的呈现以使所属领域的技术人员能够制作或使用本文中所揭示的方法和其它结构。本文中所展示和描述的流程图、框图和其它结构仅是实例,且这些结构的其它变体也在本发明的范围内。对这些配置的各种修改是可能的,且本文中所呈现的一般原理还可应用于其它配置。因此,本发明不希望限于上文所展示的配置,而是将赋予其与在本文中(包含在形成原始揭示内容的一部分的所申请的所附权利要求书中)以任何方式揭示的原理及新颖特征一致的最广范围。
所属领域的技术人员将了解,可使用多种不同技术和技法中的任一者来表示信息和信号。举例来说,可通过电压、电流、电磁波、磁场或磁性粒子、光场或光学粒子或者其任何组合来表示可在整个以上描述中所参考的数据、指令、命令、信息、信号、位及符号。
实施如本文中所揭示的配置的重要设计要求可包含使处理延迟和/或计算复杂性(通常以每秒百万指令或MIPS来测量)最小化,对于计算密集型应用(例如,压缩音频或视听信息(例如,根据压缩格式编码的文件或流,例如本文中所识别的实例中的一者)的回放)或用于宽带通信的应用(例如,在高于八千赫兹(例如,12kHz、16kHz、32kHz、44.1kHz、48kHz或192kHz)的取样速率下的话音通信)尤其如此。
如本文中所揭示的设备(例如,经配置以执行如本文中所描述的技术的任何装置)可实施于对于既定应用视为合适的硬件与软件和/或与固件的任何组合中。举例来说,此类设备的元件可被制造为驻留于(例如)同一芯片上或芯片组中的两个或两个以上芯片中的电子及/或光学装置。此装置的一个实例为固定或可编程逻辑元件(例如,晶体管或逻辑门)阵列,且这些元件中的任一者可实施为一或多个此类阵列。这些元件中的任何两者或两者以上乃至全部可实施于相同阵列内。此阵列或此些阵列可实施于一或多个芯片内(例如,包含两个或两个以上芯片的芯片组内)。
本文中所揭示的设备的各种实施方案的一或多个元件可全部或部分实施为一或多组指令,所述一或多组指令经布置以在一或多个固定或可编程逻辑元件阵列上执行,例如,微处理器、嵌入式处理器、知识产权(IP)核心、数字信号处理器、FPGA(现场可编程门阵列)、ASSP(专用标准产品)和ASIC(专用集成电路)。本文中所揭示的设备的实施方案的各种元件中的任一者还可体现为一或多个计算机(例如,包含经编程以执行一或多个组指令或指令序列的一或多个阵列的机器,还称为“处理器”),且这些元件中的任何两者或两者以上乃至全部可实施于同一此计算机或此些计算机内。
如本文中所揭示的处理器或其它用于处理的装置可被制造成驻留于(例如)同一芯片上或芯片组中的两个或两个以上芯片中的一或多个电子及/或光学装置。此装置的一个实例为固定或可编程逻辑元件(例如,晶体管或逻辑门)阵列,且这些元件中的任一者可实施为一或多个此类阵列。此阵列或此些阵列可实施于一或多个芯片内(例如,包含两个或两个以上芯片的芯片组内)。此些阵列的实例包含固定或可编程逻辑元件阵列,例如微处理器、嵌入式处理器、IP核心、DSP、FPGA、ASSP和ASIC。如本文中所揭示的处理器或其它用于处理的装置还可体现为一或多个计算机(例如,包含经编程以执行一或多个指令集或序列的一或多个阵列的机器)或其它处理器。如本文中所描述的处理器可能用来执行任务或执行不与本文揭示的方法的实施的程序直接相关的其它指令集,例如与其中嵌入了处理器的装置或系统(例如,音频感测装置)的另一操作相关的任务。还可能由音频感测装置的处理器执行如本文中所揭示的方法的部分,且在一或多个其它处理器的控制下执行所述方法的另一部分。
所属领域的技术人员将了解,结合本文中所揭示的配置而描述的各种说明性模块、逻辑块、电路和测试以及其它操作可实施为电子硬件、计算机软件,或两者的组合。可用通用处理器、数字信号处理器(DSP)、ASIC或ASSP、FPGA或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件或其经设计以产生如本文中所揭示的配置的任何组合来实施或执行所述模块、逻辑块、电路和操作。举例来说,可将此配置至少部分实施为硬连线电路,实施为制造到专用集成电路中的电路配置,或实施为加载到非易失性存储装置中的固件程序或者作为机器可读代码从数据存储媒体加载或被加载到数据存储媒体中的软件程序,所述代码是可由例如通用处理器或其它数字信号处理单元等逻辑元件阵列执行的指令。通用处理器可为微处理器,但在替代方案中,处理器可为任何常规的处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合,例如,DSP与微处理器的组合、多个微处理器的组合、一或多个微处理器与DSP核心的联合,或任何其它此配置。软件模块可驻留于非暂时性存储媒体中,例如RAM(随机存取存储器)、ROM(只读存储器)、非易失性RAM(NVRAM)(例如,快闪RAM),可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、寄存器、硬盘、可装卸磁盘,或CD-ROM;或此项技术中已知的任何其它形式的存储媒体。说明性存储媒体耦合到处理器,使得处理器可从存储媒体读取信息及将信息写入到存储媒体。在替代方案中,存储媒体可与处理器成一体式。处理器及存储媒体可驻留于ASIC中。ASIC可驻留于用户终端中。在替代方案中,处理器及存储媒体可作为离散组件驻留于用户终端中。术语“计算机程序产品”指代与可由计算装置或处理器执行、处理或计算的代码或指令(例如,“程序”)组合的计算装置或处理器。
应注意,本文中所揭示的各种方法可由例如处理器等逻辑元件阵列执行,且如本文中所描述的设备的各种元件可实施为经设计以在此阵列上执行的模块。如本文中所使用,术语“模块”或“子模块”可指代以软件、硬件或固件的形式包含计算机指令(例如,逻辑表达式)的任何方法、设备、装置、单元或计算机可读数据存储媒体。应理解,多个模块或系统可组合为一个模块或系统,且一个模块或系统可被分离成多个模块或系统以执行相同功能。当以软件或其它计算机可执行指令实施时,过程的要素本质上为用以执行例如与例程、程序、对象、组件、数据结构等有关任务的代码段。术语“软件”应理解为包含源代码、汇编语言代码、机器代码、二进制代码、固件、宏码、微码、可由逻辑元件阵列执行的任何一或多个指令集或序列以及此类实例的任何组合。程序或代码段可存储于处理器可读媒体中或由体现在载波中的计算机数据信号经由传输媒体或通信链路进行传输。
本文中所揭示的方法、方案和技术的实施方案还可有形地体现为(例如,在本文中所列举的一或多个计算机可读存储媒体的有形计算机可读特征中)可由包含逻辑元件阵列(例如,处理器、微处理器、微控制器或其它有限状态机)的机器执行的一或多个指令集。术语“计算机可读媒体”可包含可存储或传递信息的任何媒体,包含易失性、非易失性、可装卸以及非可装卸存储媒体。计算机可读媒体的实例包含电子电路、半导体存储器装置、ROM、快闪存储器、可擦除ROM(EROM)、软盘或其它磁性存储装置、CD-ROM/DVD或其它光学存储装置、硬盘或可用于存储所要信息的任何其它媒体、光纤媒体、射频(RF)链路,或可用于携载所要信息且可被存取的任何其它媒体。计算机数据信号可包含可经由传输媒体(例如电子网络通道、光纤、空气、电磁、RF链路等)传播的任何信号。代码段可经由例如因特网或内联网等计算机网络来下载。在任何情况下,本发明的范围不应被解释为受此些实施例限制。本文中所描述的方法的任务中的任一者可直接体现于硬件中,由处理器执行的软件模块中,或以上两者的组合中。在如本文中所揭示的方法的实施方案的典型应用中,逻辑元件(例如,逻辑门)阵列经配置以执行所述方法的各个任务中的一者、一者以上或甚至全部。所述任务中的一或多者(可能全部)还可实施为在计算机程序产品(例如,一或多个数据存储媒体,例如磁盘、快闪或其它非易失性存储器卡、半导体存储器芯片等)中体现的代码(例如,一或多个指令集),所述计算机程序产品可由包含逻辑元件阵列(例如,处理器、微处理器、微控制器或其它有限状态机)的机器(例如,计算机)读取且/或执行。本文中所揭示的方法的实施方案的任务还可由一个以上此类阵列或机器执行。在这些或其它实施方案中,所述任务可在用于无线通信的装置内执行,所述装置例如为蜂窝式电话或具有此通信能力的其它装置。此装置可经配置以与电路交换及/或包交换网络通信(例如,使用一或多个协议(例如VoIP))。举例来说,此装置可包含经配置以接收和/或发射经编码帧的RF电路。
明确揭示,本文中所揭示的各种方法可由例如手持机、耳机或便携式数字助理(PDA)等便携式通信装置执行,且本文中所描述的各种设备可包含于此类装置内。典型的实时(例如,在线)应用是使用此类移动装置进行的电话会话。
在一或多个示范性实施例中,可以硬件、软件、固件或其任何组合来实施本文中所描述的操作。如果以软件实施,则可将此些操作作为一或多个指令或代码而存储在计算机可读媒体上或经由计算机可读媒体进行传输。术语“计算机可读媒体”包含计算机可读存储媒体和通信(例如,传输)媒体两者。举例来说而非限制,计算机可读存储媒体可包括存储元件阵列,例如半导体存储器(其可包含(非限制)动态或静态RAM、ROM、EEPROM和/或快闪RAM),或铁电、磁阻、双向、聚合或相变存储器;CD-ROM或其它光盘存储装置;和/或磁盘存储装置或其它磁性存储装置。此类存储媒体可以指令或数据结构的形式存储可由计算机存取的信息。通信媒体可包括可用于以指令或数据结构的形式携载所要程序代码且可由计算机存取的任何媒体,包含促进将计算机程序从一处传递到另一处的任何媒体。同样,可恰当地将任何连接称作计算机可读媒体。举例来说,如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或例如红外线、无线电和/或微波的无线技术从网站、服务器或其它远程源传输软件,则同轴电缆、光纤电缆、双绞线、DSL或例如红外线、无线电和/或微波的无线技术包含于媒体的定义中。如本文中所使用,磁盘及光盘包括压缩光盘(CD)、激光光盘、光盘、数字多功能光盘(DVD)、软盘及Blu-ray DiscTM(蓝光光盘协会,加利福尼亚州全球影城(UniversalCity,CA)),其中磁盘通常以磁性方式再现数据,而光盘用激光以光学方式再现数据。以上各者的组合也应包含在计算机可读媒体的范围内。
如本文中所描述的声信号处理设备可并入到电子装置中,所述电子装置接收语音输入以便控制某些操作,或可另外受益于所需噪声与背景噪声的分离,所述电子装置例如为通信装置。许多应用可受益于增强清晰的所要声音或分离清晰的所要声音与源自多个方向的背景声音。此些应用可包含电子或计算装置中的人机接口,其并入有例如话音辨识及检测、语音增强及分离、话音激活式控制等能力。可能需要在仅提供有限处理能力的装置中合适地实施此类声信号处理设备。
本文中所描述的模块、元件和装置的各种实施方案的元件可被制造成驻留于(例如)同一芯片上或芯片组中的两个或两个以上芯片中的电子和/或光学装置。此装置的一个实例为固定或可编程逻辑元件(例如,晶体管或门)的阵列。本文中所描述的设备的各种实施方案的一或多个元件还可全部地或部分地实施为经布置以在一或多个固定或可编程逻辑元件阵列(例如,微处理器、嵌入式处理器、IP核心、数字信号处理器、FPGA、ASSP及ASIC)上执行的一或多个指令集。
有可能使如本文中所描述的设备的实施方案的一或多个元件用于执行任务或执行并非与所述设备的操作直接相关的其它指令集,例如与嵌入有所述设备的装置或系统的另一操作相关的任务。还有可能使此设备的实施方案的一个或一个以上元件具有共同结构(例如,用于在不同时间执行对应于不同元件的代码部分的处理器、经执行以在不同时间执行对应于不同元件的任务的指令集,或在不同时间对不同元件执行操作的电子及/或光学装置的布置)。
应理解,权利要求书不限于上文所说明的精确配置及组件。在不偏离权利要求书的范围的情况下,可在本文中所描述的系统、方法及设备的配置、操作及细节方面进行各种修改、改变及变更。

Claims (41)

1.一种用于通过电子装置映射源位置的方法,其包括:
获得包括来自源位置的话音信号的传感器数据;
基于所述传感器数据将所述源位置映射到电子装置坐标;
将所述源位置从所述电子装置坐标映射到物理坐标;
在相对于第一麦克风对配置的第一180度跨度内鉴别音频信号的所述源位置;及
基于映射而执行操作,其中执行所述操作包括切换到第二麦克风对配置以在相对于第二麦克风对配置的第二180度跨度内进行鉴别。
2.根据权利要求1所述的方法,其进一步包括将所述源位置从所述物理坐标映射到三维显示空间中。
3.根据权利要求1所述的方法,其进一步包括在三维显示空间中维持源定向而不管装置定向如何。
4.根据权利要求1所述的方法,其中所述物理坐标包括对应于地球坐标的二维平面。
5.根据权利要求1所述的方法,其中所述传感器数据是从多个麦克风以及由以下各者组成的群组中的一者或多者获得:一加速度计、陀螺仪、罗盘、红外线传感器、接近度传感器、相机、全球定位系统接收器,及超声传感器。
6.根据权利要求1所述的方法,其进一步包括基于所述传感器数据而确定电子装置定向。
7.根据权利要求1所述的方法,其进一步包括基于所述传感器数据而检测电子装置定向中的任何变化。
8.根据权利要求1所述的方法,其进一步包括检测在电子装置定向与参考定向之间是否存在差异。
9.根据权利要求1所述的方法,其中切换到所述第二麦克风对配置提高了所述物理坐标中的所述源位置的空间分辨率。
10.根据权利要求1所述的方法,其中执行操作包括基于所述映射而在三个维度中跟踪源。
11.根据权利要求10所述的方法,其中所述电子装置包括三个麦克风且能鉴别三个维度中的360度内的音频信号。
12.根据权利要求10所述的方法,其进一步包括将所述源位置投影到二维空间中。
13.根据权利要求12所述的方法,其进一步包括切换到在所述二维空间中在两个维度中进行跟踪。
14.根据权利要求1所述的方法,其中执行操作包括独立于电子装置定向而执行非静态噪声抑制。
15.根据权利要求1所述的方法,其中所述电子装置包括三个麦克风且能够鉴别两个维度平面内的360度内的音频信号。
16.根据权利要求1所述的方法,其中所述电子装置包括两个麦克风且能够鉴别180度内的音频信号。
17.一种用于通过电子装置映射源位置的电子装置,其包括:
至少一个传感器,其经配置以获得包括来自源位置的话音信号的传感器数据;
映射器电路,其耦合到所述至少一个传感器,其中所述映射器电路经配置以基于所述传感器数据将所述源位置映射到电子装置坐标且将所述源位置从所述电子装置坐标映射到物理坐标;及
操作电路,其耦合到所述映射器电路,其中所述操作电路经配置以在相对于第一麦克风对配置的第一180度跨度之内鉴别音频信号的所述源位置以及切换到第二麦克风对配置以在相对于第二麦克风对配置的第二180度跨度内进行鉴别。
18.根据权利要求17所述的电子装置,其中所述操作电路经配置以将所述源位置从所述物理坐标映射到三维显示空间中。
19.根据权利要求17所述的电子装置,其中所述操作电路经配置以在三维显示空间中维持源定向而不管装置定向如何。
20.根据权利要求17所述的电子装置,其中所述物理坐标包括对应于地球坐标的二维平面。
21.根据权利要求17所述的电子装置,其中所述传感器数据是从多个麦克风以及由以下各者组成的群组中的一者或多者获得:加速度计、陀螺仪、罗盘、红外线传感器、接近度传感器、相机、全球定位系统接收器,及超声传感器。
22.根据权利要求17所述的电子装置,其中所述映射器电路基于所述传感器数据而确定电子装置定向。
23.根据权利要求17所述的电子装置,其中所述映射器电路基于所述传感器数据而检测电子装置定向中的任何变化。
24.根据权利要求17所述的电子装置,其中所述操作电路检测在电子装置定向与参考定向之间是否存在差异。
25.根据权利要求17所述的电子装置,其中切换到所述第二麦克风对配置提高了所述物理坐标中的所述源位置的空间分辨率。
26.根据权利要求17所述的电子装置,其中所述操作电路经配置以维持基于所述映射而在三个维度中跟踪源。
27.根据权利要求26所述的电子装置,其中所述电子装置包括三个麦克风且能鉴别三个维度中的360度内的音频信号。
28.根据权利要求26所述的电子装置,其中所述操作电路将所述源位置投影到二维空间中。
29.根据权利要求28所述的电子装置,其中所述操作电路切换到在所述二维空间中在两个维度中进行跟踪。
30.根据权利要求17所述的电子装置,其中所述操作电路经配置以独立于电子装置定向而执行非静态噪声抑制。
31.根据权利要求17所述的电子装置,其中所述电子装置包括三个麦克风且能够鉴别两个维度平面中的360度内的音频信号。
32.根据权利要求17所述的电子装置,其中所述电子装置包括两个麦克风且能够鉴别180度内的音频信号。
33.一种用于映射源位置的设备,其包括:
用于获得包括来自源位置的话音信号的传感器数据的装置;
用于基于所述传感器数据将所述源位置映射到电子装置坐标的装置;
用于将所述源位置从所述电子装置坐标映射到物理坐标的装置;
用于在相对于第一麦克风对配置的第一180度跨度之内鉴别音频信号的所述源位置的装置;及
用于基于映射而执行操作的装置,其包括用于切换到第二麦克风对配置以在相对于第二麦克风对配置的第二180度跨度内进行鉴别的装置。
34.根据权利要求33所述的设备,其进一步包括用于将所述源位置从所述物理坐标映射到三维显示空间中的装置。
35.根据权利要求33所述的设备,其进一步包括用于在三维显示空间中维持源定向而不管装置定向如何的装置。
36.根据权利要求33所述的设备,其中所述物理坐标包括对应于地球坐标的二维平面。
37.根据权利要求33所述的设备,其中所述传感器数据是从多个麦克风以及由以下各者组成的群组中的一者或多者获得:加速度计、陀螺仪、罗盘、红外线传感器、接近度传感器、相机、全球定位系统接收器,及超声传感器。
38.根据权利要求33所述的设备,其进一步包括用于基于所述传感器数据而确定电子装置定向的装置。
39.根据权利要求33所述的设备,其进一步包括用于基于所述传感器数据而检测电子装置定向中的任何变化的装置。
40.根据权利要求33所述的设备,其进一步包括用于检测在电子装置定向与参考定向之间是否存在差异的装置。
41.根据权利要求33所述的设备,其中切换到所述第二麦克风对配置提高了所述物理坐标中的所述源位置的空间分辨率。
CN201380019298.4A 2012-04-13 2013-04-10 用于映射源位置的系统和方法 Active CN104272137B (zh)

Applications Claiming Priority (13)

Application Number Priority Date Filing Date Title
US201261624181P 2012-04-13 2012-04-13
US61/624,181 2012-04-13
US201261642954P 2012-05-04 2012-05-04
US61/642,954 2012-05-04
US201261713447P 2012-10-12 2012-10-12
US61/713,447 2012-10-12
US201261714212P 2012-10-15 2012-10-15
US61/714,212 2012-10-15
US201261726336P 2012-11-14 2012-11-14
US61/726,336 2012-11-14
US13/833,867 US9857451B2 (en) 2012-04-13 2013-03-15 Systems and methods for mapping a source location
US13/833,867 2013-03-15
PCT/US2013/035916 WO2013155148A1 (en) 2012-04-13 2013-04-10 Systems and methods for mapping a source location

Publications (2)

Publication Number Publication Date
CN104272137A CN104272137A (zh) 2015-01-07
CN104272137B true CN104272137B (zh) 2017-05-24

Family

ID=49324959

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201380019683.9A Expired - Fee Related CN104220896B (zh) 2012-04-13 2013-03-19 用于估计到达方向的系统、方法和设备
CN201380019519.8A Active CN104246531B (zh) 2012-04-13 2013-04-10 用于显示用户接口的系统和方法
CN201380019298.4A Active CN104272137B (zh) 2012-04-13 2013-04-10 用于映射源位置的系统和方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201380019683.9A Expired - Fee Related CN104220896B (zh) 2012-04-13 2013-03-19 用于估计到达方向的系统、方法和设备
CN201380019519.8A Active CN104246531B (zh) 2012-04-13 2013-04-10 用于显示用户接口的系统和方法

Country Status (6)

Country Link
US (7) US9291697B2 (zh)
EP (3) EP2836851A1 (zh)
JP (1) JP6400566B2 (zh)
CN (3) CN104220896B (zh)
IN (2) IN2014MN02283A (zh)
WO (6) WO2013154792A1 (zh)

Families Citing this family (241)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8908877B2 (en) 2010-12-03 2014-12-09 Cirrus Logic, Inc. Ear-coupling detection and adjustment of adaptive response in noise-canceling in personal audio devices
JP5937611B2 (ja) 2010-12-03 2016-06-22 シラス ロジック、インコーポレイテッド パーソナルオーディオデバイスにおける適応ノイズキャンセラの監視制御
CN103069468A (zh) * 2011-01-18 2013-04-24 松下电器产业株式会社 车辆方向确定装置、车辆方向确定方法及其程序
US9076431B2 (en) 2011-06-03 2015-07-07 Cirrus Logic, Inc. Filter architecture for an adaptive noise canceler in a personal audio device
US9824677B2 (en) 2011-06-03 2017-11-21 Cirrus Logic, Inc. Bandlimiting anti-noise in personal audio devices having adaptive noise cancellation (ANC)
US9214150B2 (en) 2011-06-03 2015-12-15 Cirrus Logic, Inc. Continuous adaptation of secondary path adaptive response in noise-canceling personal audio devices
US9318094B2 (en) 2011-06-03 2016-04-19 Cirrus Logic, Inc. Adaptive noise canceling architecture for a personal audio device
US8948407B2 (en) 2011-06-03 2015-02-03 Cirrus Logic, Inc. Bandlimiting anti-noise in personal audio devices having adaptive noise cancellation (ANC)
US8958571B2 (en) * 2011-06-03 2015-02-17 Cirrus Logic, Inc. MIC covering detection in personal audio devices
US8848936B2 (en) 2011-06-03 2014-09-30 Cirrus Logic, Inc. Speaker damage prevention in adaptive noise-canceling personal audio devices
US9325821B1 (en) * 2011-09-30 2016-04-26 Cirrus Logic, Inc. Sidetone management in an adaptive noise canceling (ANC) system including secondary path modeling
US9291697B2 (en) 2012-04-13 2016-03-22 Qualcomm Incorporated Systems, methods, and apparatus for spatially directive filtering
US9142205B2 (en) 2012-04-26 2015-09-22 Cirrus Logic, Inc. Leakage-modeling adaptive noise canceling for earspeakers
US9014387B2 (en) 2012-04-26 2015-04-21 Cirrus Logic, Inc. Coordinated control of adaptive noise cancellation (ANC) among earspeaker channels
US9318090B2 (en) 2012-05-10 2016-04-19 Cirrus Logic, Inc. Downlink tone detection and adaptation of a secondary path response model in an adaptive noise canceling system
US9319781B2 (en) 2012-05-10 2016-04-19 Cirrus Logic, Inc. Frequency and direction-dependent ambient sound handling in personal audio devices having adaptive noise cancellation (ANC)
US9082387B2 (en) 2012-05-10 2015-07-14 Cirrus Logic, Inc. Noise burst adaptation of secondary path adaptive response in noise-canceling personal audio devices
US9123321B2 (en) 2012-05-10 2015-09-01 Cirrus Logic, Inc. Sequenced adaptation of anti-noise generator response and secondary path response in an adaptive noise canceling system
US9076427B2 (en) 2012-05-10 2015-07-07 Cirrus Logic, Inc. Error-signal content controlled adaptation of secondary and leakage path models in noise-canceling personal audio devices
US20130304476A1 (en) 2012-05-11 2013-11-14 Qualcomm Incorporated Audio User Interaction Recognition and Context Refinement
US9746916B2 (en) 2012-05-11 2017-08-29 Qualcomm Incorporated Audio user interaction recognition and application interface
US9497544B2 (en) 2012-07-02 2016-11-15 Qualcomm Incorporated Systems and methods for surround sound echo reduction
USD732555S1 (en) * 2012-07-19 2015-06-23 D2L Corporation Display screen with graphical user interface
USD733167S1 (en) * 2012-07-20 2015-06-30 D2L Corporation Display screen with graphical user interface
WO2014022280A1 (en) * 2012-08-03 2014-02-06 The Penn State Research Foundation Microphone array transducer for acoustic musical instrument
US9264524B2 (en) 2012-08-03 2016-02-16 The Penn State Research Foundation Microphone array transducer for acoustic musical instrument
KR20140029931A (ko) * 2012-08-31 2014-03-11 삼성전자주식회사 스피커에서 출력되는 음성을 소멸시켜 에코 발생을 차단하는 전자 장치 및 방법
US9532139B1 (en) 2012-09-14 2016-12-27 Cirrus Logic, Inc. Dual-microphone frequency amplitude response self-calibration
KR101978688B1 (ko) * 2012-10-22 2019-05-15 삼성전자주식회사 마이크로폰 장치를 갖는 전자 장치 및 그 운용 방법
US9779596B2 (en) 2012-10-24 2017-10-03 Apple Inc. Devices and methods for locating accessories of an electronic device
US10606546B2 (en) * 2012-12-05 2020-03-31 Nokia Technologies Oy Orientation based microphone selection apparatus
TWI471788B (zh) * 2012-12-14 2015-02-01 Egalax Empia Technology Inc 用於量測表面聲波觸控模塊的感應區尺寸的系統、處理裝置、與其量測方法
US9107010B2 (en) 2013-02-08 2015-08-11 Cirrus Logic, Inc. Ambient noise root mean square (RMS) detector
US9460732B2 (en) 2013-02-13 2016-10-04 Analog Devices, Inc. Signal source separation
US9535858B2 (en) 2013-03-07 2017-01-03 Mediatek Inc. Signal processing system and associated method
US9369798B1 (en) 2013-03-12 2016-06-14 Cirrus Logic, Inc. Internal dynamic range control in an adaptive noise cancellation (ANC) system
US9106989B2 (en) 2013-03-13 2015-08-11 Cirrus Logic, Inc. Adaptive-noise canceling (ANC) effectiveness estimation and correction in a personal audio device
US9215749B2 (en) 2013-03-14 2015-12-15 Cirrus Logic, Inc. Reducing an acoustic intensity vector with adaptive noise cancellation with two error microphones
US9414150B2 (en) 2013-03-14 2016-08-09 Cirrus Logic, Inc. Low-latency multi-driver adaptive noise canceling (ANC) system for a personal audio device
US9635480B2 (en) 2013-03-15 2017-04-25 Cirrus Logic, Inc. Speaker impedance monitoring
US9467776B2 (en) 2013-03-15 2016-10-11 Cirrus Logic, Inc. Monitoring of speaker impedance to detect pressure applied between mobile device and ear
US9208771B2 (en) 2013-03-15 2015-12-08 Cirrus Logic, Inc. Ambient noise-based adaptation of secondary path adaptive response in noise-canceling personal audio devices
US9502020B1 (en) 2013-03-15 2016-11-22 Cirrus Logic, Inc. Robust adaptive noise canceling (ANC) in a personal audio device
CN103227863A (zh) * 2013-04-05 2013-07-31 瑞声科技(南京)有限公司 自动切换通话方向系统、方法及应用该系统的移动终端
US10206032B2 (en) 2013-04-10 2019-02-12 Cirrus Logic, Inc. Systems and methods for multi-mode adaptive noise cancellation for audio headsets
US9066176B2 (en) 2013-04-15 2015-06-23 Cirrus Logic, Inc. Systems and methods for adaptive noise cancellation including dynamic bias of coefficients of an adaptive noise cancellation system
US9462376B2 (en) 2013-04-16 2016-10-04 Cirrus Logic, Inc. Systems and methods for hybrid adaptive noise cancellation
US9478210B2 (en) 2013-04-17 2016-10-25 Cirrus Logic, Inc. Systems and methods for hybrid adaptive noise cancellation
US9460701B2 (en) 2013-04-17 2016-10-04 Cirrus Logic, Inc. Systems and methods for adaptive noise cancellation by biasing anti-noise level
US9578432B1 (en) 2013-04-24 2017-02-21 Cirrus Logic, Inc. Metric and tool to evaluate secondary path design in adaptive noise cancellation systems
EP2992687B1 (en) 2013-04-29 2018-06-06 University Of Surrey Microphone array for acoustic source separation
CN104142791A (zh) * 2013-05-09 2014-11-12 腾讯科技(深圳)有限公司 资源更换方法、装置及终端
WO2014193373A1 (en) * 2013-05-30 2014-12-04 Intel IP Corporation Device, system and method of determining whether a mobile device is located in an indoor location or an outdoor location
US9264808B2 (en) 2013-06-14 2016-02-16 Cirrus Logic, Inc. Systems and methods for detection and cancellation of narrow-band noise
EP2819430A1 (en) * 2013-06-27 2014-12-31 Speech Processing Solutions GmbH Handheld mobile recording device with microphone characteristic selection means
CN105409241B (zh) * 2013-07-26 2019-08-20 美国亚德诺半导体公司 麦克风校准
US9392364B1 (en) 2013-08-15 2016-07-12 Cirrus Logic, Inc. Virtual microphone for adaptive noise cancellation in personal audio devices
KR20150024650A (ko) * 2013-08-27 2015-03-09 삼성전자주식회사 전자 장치에서 사운드를 시각적으로 제공하기 위한 방법 및 장치
CN104427049A (zh) * 2013-08-30 2015-03-18 深圳富泰宏精密工业有限公司 便携式电子装置
JP6030032B2 (ja) * 2013-08-30 2016-11-24 本田技研工業株式会社 音響処理装置、音響処理方法、及び音響処理プログラム
US9666176B2 (en) 2013-09-13 2017-05-30 Cirrus Logic, Inc. Systems and methods for adaptive noise cancellation by adaptively shaping internal white noise to train a secondary path
US10132626B2 (en) * 2013-09-18 2018-11-20 Infineon Technologies Ag Adaptive distance estimation
US9420368B2 (en) 2013-09-24 2016-08-16 Analog Devices, Inc. Time-frequency directional processing of audio signals
US9620101B1 (en) 2013-10-08 2017-04-11 Cirrus Logic, Inc. Systems and methods for maintaining playback fidelity in an audio system with adaptive noise cancellation
US9392353B2 (en) * 2013-10-18 2016-07-12 Plantronics, Inc. Headset interview mode
US9888317B2 (en) * 2013-10-22 2018-02-06 Nokia Technologies Oy Audio capture with multiple microphones
US10146299B2 (en) 2013-11-08 2018-12-04 Qualcomm Technologies, Inc. Face tracking for additional modalities in spatial interaction
US10382864B2 (en) 2013-12-10 2019-08-13 Cirrus Logic, Inc. Systems and methods for providing adaptive playback equalization in an audio device
US9704472B2 (en) 2013-12-10 2017-07-11 Cirrus Logic, Inc. Systems and methods for sharing secondary path information between audio channels in an adaptive noise cancellation system
US10219071B2 (en) 2013-12-10 2019-02-26 Cirrus Logic, Inc. Systems and methods for bandlimiting anti-noise in personal audio devices having adaptive noise cancellation
WO2015117919A1 (en) * 2014-02-04 2015-08-13 Tp Vision Holding B.V. Handheld device with microphone
US9282399B2 (en) 2014-02-26 2016-03-08 Qualcomm Incorporated Listen to people you recognize
EP2916241A1 (en) * 2014-03-03 2015-09-09 Nokia Technologies OY Causation of rendering of song audio information
US9369557B2 (en) 2014-03-05 2016-06-14 Cirrus Logic, Inc. Frequency-dependent sidetone calibration
US9479860B2 (en) 2014-03-07 2016-10-25 Cirrus Logic, Inc. Systems and methods for enhancing performance of audio transducer based on detection of transducer status
US9648410B1 (en) 2014-03-12 2017-05-09 Cirrus Logic, Inc. Control of audio output of headphone earbuds based on the environment around the headphone earbuds
CN103957440B (zh) * 2014-04-01 2017-09-29 京东方科技集团股份有限公司 一种信号处理设备及其方法、显示系统
US9319784B2 (en) 2014-04-14 2016-04-19 Cirrus Logic, Inc. Frequency-shaped noise-based adaptation of secondary path adaptive response in noise-canceling personal audio devices
US10540979B2 (en) 2014-04-17 2020-01-21 Qualcomm Incorporated User interface for secure access to a device using speaker verification
US9609416B2 (en) 2014-06-09 2017-03-28 Cirrus Logic, Inc. Headphone responsive to optical signaling
US10181315B2 (en) 2014-06-13 2019-01-15 Cirrus Logic, Inc. Systems and methods for selectively enabling and disabling adaptation of an adaptive noise cancellation system
US20150363157A1 (en) * 2014-06-17 2015-12-17 Htc Corporation Electrical device and associated operating method for displaying user interface related to a sound track
US10051364B2 (en) 2014-07-03 2018-08-14 Qualcomm Incorporated Single channel or multi-channel audio control interface
US10282057B1 (en) * 2014-07-29 2019-05-07 Google Llc Image editing on a wearable device
JP6460676B2 (ja) * 2014-08-05 2019-01-30 キヤノン株式会社 信号処理装置および信号処理方法
CN105451151B (zh) 2014-08-29 2018-09-21 华为技术有限公司 一种处理声音信号的方法及装置
KR102262853B1 (ko) 2014-09-01 2021-06-10 삼성전자주식회사 복수의 마이크를 포함하는 전자 장치 및 이의 운용 방법
US9478212B1 (en) 2014-09-03 2016-10-25 Cirrus Logic, Inc. Systems and methods for use of adaptive secondary path estimate to control equalization in an audio device
US20160084937A1 (en) * 2014-09-22 2016-03-24 Invensense Inc. Systems and methods for determining position information using acoustic sensing
US10009676B2 (en) * 2014-11-03 2018-06-26 Storz Endoskop Produktions Gmbh Voice control system with multiple microphone arrays
US10575117B2 (en) * 2014-12-08 2020-02-25 Harman International Industries, Incorporated Directional sound modification
US9622013B2 (en) * 2014-12-08 2017-04-11 Harman International Industries, Inc. Directional sound modification
US9549254B2 (en) 2014-12-09 2017-01-17 Intel Corporation Method and system of acoustic signal mixing
CN107113496B (zh) * 2014-12-18 2020-12-08 华为技术有限公司 移动设备的环绕声记录
US9552805B2 (en) 2014-12-19 2017-01-24 Cirrus Logic, Inc. Systems and methods for performance and stability control for feedback adaptive noise cancellation
JP6188105B2 (ja) * 2015-02-03 2017-08-30 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 信号源の位置及び速度を決定するシステム、方法、コンピュータプログラム、回避する方法、及び無人航空機
US9712936B2 (en) * 2015-02-03 2017-07-18 Qualcomm Incorporated Coding higher-order ambisonic audio data with motion stabilization
US9650039B2 (en) * 2015-03-20 2017-05-16 Ford Global Technologies, Llc Vehicle location accuracy
US9734845B1 (en) * 2015-06-26 2017-08-15 Amazon Technologies, Inc. Mitigating effects of electronic audio sources in expression detection
GB2540224A (en) * 2015-07-08 2017-01-11 Nokia Technologies Oy Multi-apparatus distributed media capture for playback control
KR102688257B1 (ko) 2015-08-20 2024-07-26 시러스 로직 인터내셔널 세미컨덕터 리미티드 피드백 적응적 잡음 소거(anc) 제어기 및 고정 응답 필터에 의해 부분적으로 제공되는 피드백 응답을 갖는 방법
US9578415B1 (en) 2015-08-21 2017-02-21 Cirrus Logic, Inc. Hybrid adaptive noise cancellation system with filtered error microphone signal
US10244317B2 (en) 2015-09-22 2019-03-26 Samsung Electronics Co., Ltd. Beamforming array utilizing ring radiator loudspeakers and digital signal processing (DSP) optimization of a beamforming array
US9995647B2 (en) * 2015-09-30 2018-06-12 General Monitors, Inc. Ultrasonic gas leak location system and method
CN105223551B (zh) * 2015-10-12 2017-09-01 吉林大学 一种可穿戴的声源定位跟踪系统及方法
US9595248B1 (en) * 2015-11-11 2017-03-14 Doug Classe Remotely operable bypass loop device and system
US20180324511A1 (en) * 2015-11-25 2018-11-08 Sony Corporation Sound collection device
WO2017106862A1 (en) * 2015-12-18 2017-06-22 Ppip Llc Enpoint security appliance/sensor platform
US10379534B2 (en) 2016-01-28 2019-08-13 Qualcomm Incorporated Drone flight control
US11234072B2 (en) 2016-02-18 2022-01-25 Dolby Laboratories Licensing Corporation Processing of microphone signals for spatial playback
US10667723B2 (en) 2016-02-19 2020-06-02 Covidien Lp Systems and methods for video-based monitoring of vital signs
US10013966B2 (en) 2016-03-15 2018-07-03 Cirrus Logic, Inc. Systems and methods for adaptive active noise cancellation for multiple-driver personal audio device
JP1572569S (zh) * 2016-04-19 2020-03-09
JP1622397S (ja) * 2016-04-19 2019-01-21 生体情報モニター機能付き電子計算機
CN105788607B (zh) * 2016-05-20 2020-01-03 中国科学技术大学 应用于双麦克风阵列的语音增强方法
USD813884S1 (en) * 2016-06-01 2018-03-27 Innovation 360 Group AB Display screen with graphical user interface
US11032660B2 (en) * 2016-06-07 2021-06-08 Philip Schaefer System and method for realistic rotation of stereo or binaural audio
US11589181B1 (en) * 2016-06-07 2023-02-21 Philip Raymond Schaefer System and method for realistic rotation of stereo or binaural audio
EP3267697A1 (en) * 2016-07-06 2018-01-10 Oticon A/s Direction of arrival estimation in miniature devices using a sound sensor array
US10621992B2 (en) * 2016-07-22 2020-04-14 Lenovo (Singapore) Pte. Ltd. Activating voice assistant based on at least one of user proximity and context
EP3285500B1 (en) * 2016-08-05 2021-03-10 Oticon A/s A binaural hearing system configured to localize a sound source
CN106896356B (zh) 2016-08-17 2019-11-19 阿里巴巴集团控股有限公司 确定距离变化的方法、位置提示方法及其装置和系统
WO2018037643A1 (ja) * 2016-08-23 2018-03-01 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
EP3297236A1 (en) * 2016-09-15 2018-03-21 Mitsubishi Electric R & D Centre Europe B.V. Efficient sparse channel estimation based on compressed sensing
US10444887B2 (en) 2016-09-20 2019-10-15 Cypress Semiconductor Corporation Force sensing
WO2018054467A1 (en) * 2016-09-22 2018-03-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus for estimating a direction of arrival and corresponding method
US10709422B2 (en) * 2016-10-27 2020-07-14 Clarius Mobile Health Corp. Systems and methods for controlling visualization of ultrasound image data
WO2018088450A1 (ja) * 2016-11-08 2018-05-17 ヤマハ株式会社 音声提供装置、音声再生装置、音声提供方法及び音声再生方法
GB2556093A (en) * 2016-11-18 2018-05-23 Nokia Technologies Oy Analysis of spatial metadata from multi-microphones having asymmetric geometry in devices
CN109923430B (zh) * 2016-11-28 2023-07-18 杜塞尔多夫华为技术有限公司 用于进行相位差展开的装置及方法
US11041952B2 (en) * 2016-12-27 2021-06-22 Texas Instruments Incorporated Phase-based ultrasonic ranging
US10771898B2 (en) 2017-01-09 2020-09-08 Apple Inc. Locating wireless devices
US20220238134A1 (en) * 2017-02-27 2022-07-28 VTouch Co., Ltd. Method and system for providing voice recognition trigger and non-transitory computer-readable recording medium
KR101893768B1 (ko) * 2017-02-27 2018-09-04 주식회사 브이터치 음성 인식 트리거를 제공하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
JP6819368B2 (ja) * 2017-03-07 2021-01-27 株式会社リコー 装置、システム、方法およびプログラム
US11133011B2 (en) * 2017-03-13 2021-09-28 Mitsubishi Electric Research Laboratories, Inc. System and method for multichannel end-to-end speech recognition
US11994604B2 (en) * 2017-03-15 2024-05-28 Cypress Semiconductor Corporation System and methods for improving secure phase-based positioning accuracy
US10481236B2 (en) * 2017-03-15 2019-11-19 Cypress Semiconductor Corporation Systems and methods for estimating angle of arrival in a wireless device
JP6932981B2 (ja) * 2017-04-27 2021-09-08 セイコーエプソン株式会社 表示装置および表示装置の制御方法
CN108709542B (zh) * 2017-05-18 2020-11-17 金钱猫科技股份有限公司 基于坐标变换的快速测量方法、系统及装置
US10664533B2 (en) 2017-05-24 2020-05-26 Lenovo (Singapore) Pte. Ltd. Systems and methods to determine response cue for digital assistant based on context
US10334360B2 (en) * 2017-06-12 2019-06-25 Revolabs, Inc Method for accurately calculating the direction of arrival of sound at a microphone array
GB2563670A (en) 2017-06-23 2018-12-26 Nokia Technologies Oy Sound source distance estimation
GB201710085D0 (en) 2017-06-23 2017-08-09 Nokia Technologies Oy Determination of targeted spatial audio parameters and associated spatial audio playback
GB201710093D0 (en) * 2017-06-23 2017-08-09 Nokia Technologies Oy Audio distance estimation for spatial audio processing
WO2019002831A1 (en) 2017-06-27 2019-01-03 Cirrus Logic International Semiconductor Limited REPRODUCTIVE ATTACK DETECTION
GB2563953A (en) 2017-06-28 2019-01-02 Cirrus Logic Int Semiconductor Ltd Detection of replay attack
GB201713697D0 (en) 2017-06-28 2017-10-11 Cirrus Logic Int Semiconductor Ltd Magnetic detection of replay attack
US10264186B2 (en) * 2017-06-30 2019-04-16 Microsoft Technology Licensing, Llc Dynamic control of camera resources in a device with multiple displays
GB201801527D0 (en) 2017-07-07 2018-03-14 Cirrus Logic Int Semiconductor Ltd Method, apparatus and systems for biometric processes
GB201801526D0 (en) 2017-07-07 2018-03-14 Cirrus Logic Int Semiconductor Ltd Methods, apparatus and systems for authentication
GB201801528D0 (en) 2017-07-07 2018-03-14 Cirrus Logic Int Semiconductor Ltd Method, apparatus and systems for biometric processes
GB201801532D0 (en) 2017-07-07 2018-03-14 Cirrus Logic Int Semiconductor Ltd Methods, apparatus and systems for audio playback
GB201801530D0 (en) 2017-07-07 2018-03-14 Cirrus Logic Int Semiconductor Ltd Methods, apparatus and systems for authentication
CN107479029A (zh) * 2017-08-10 2017-12-15 中国计量大学 伞式水下声源检测装置及其校准与检测方法
WO2019035835A1 (en) * 2017-08-17 2019-02-21 Nuance Communications, Inc. DETECTION WITH LOW SPEECH COMPLEXITY AND ESTIMATED HEIGHT
CN111052766B (zh) * 2017-09-07 2021-07-27 三菱电机株式会社 噪音去除装置及噪音去除方法
US10609479B2 (en) * 2017-09-14 2020-03-31 Fujitsu Limited Device and method for determining a sound source direction
CN111133774B (zh) * 2017-09-26 2022-06-28 科利耳有限公司 声学点识别
GB201801663D0 (en) 2017-10-13 2018-03-21 Cirrus Logic Int Semiconductor Ltd Detection of liveness
GB201801664D0 (en) 2017-10-13 2018-03-21 Cirrus Logic Int Semiconductor Ltd Detection of liveness
GB201804843D0 (en) 2017-11-14 2018-05-09 Cirrus Logic Int Semiconductor Ltd Detection of replay attack
GB2567503A (en) 2017-10-13 2019-04-17 Cirrus Logic Int Semiconductor Ltd Analysing speech signals
GB201801874D0 (en) 2017-10-13 2018-03-21 Cirrus Logic Int Semiconductor Ltd Improving robustness of speech processing system against ultrasound and dolphin attacks
GB201801661D0 (en) 2017-10-13 2018-03-21 Cirrus Logic International Uk Ltd Detection of liveness
GB201803570D0 (en) 2017-10-13 2018-04-18 Cirrus Logic Int Semiconductor Ltd Detection of replay attack
WO2019094893A1 (en) 2017-11-13 2019-05-16 Covidien Lp Systems and methods for video-based monitoring of a patient
GB201801659D0 (en) 2017-11-14 2018-03-21 Cirrus Logic Int Semiconductor Ltd Detection of loudspeaker playback
EP3713486A1 (en) 2018-01-08 2020-09-30 Covidien LP Systems and methods for video-based non-contact tidal volume monitoring
US11735189B2 (en) 2018-01-23 2023-08-22 Cirrus Logic, Inc. Speaker identification
US11264037B2 (en) 2018-01-23 2022-03-01 Cirrus Logic, Inc. Speaker identification
US11475899B2 (en) 2018-01-23 2022-10-18 Cirrus Logic, Inc. Speaker identification
CN108257605B (zh) * 2018-02-01 2021-05-04 Oppo广东移动通信有限公司 多通道录音方法、装置及电子设备
EP3534596B1 (en) * 2018-03-02 2022-10-26 Nokia Technologies Oy An apparatus and associated methods for telecommunications
US10674305B2 (en) * 2018-03-15 2020-06-02 Microsoft Technology Licensing, Llc Remote multi-dimensional audio
CN108519576B (zh) * 2018-03-21 2021-07-20 华南理工大学 基于夹角可调非均匀线阵的水下波达方向估计方法与装置
GB2572368A (en) * 2018-03-27 2019-10-02 Nokia Technologies Oy Spatial audio capture
US11347801B2 (en) 2018-05-07 2022-05-31 Google Llc Multi-modal interaction between users, automated assistants, and other computing services
US12125486B2 (en) 2018-05-07 2024-10-22 Google Llc Multi-modal interaction between users, automated assistants, and other computing services
US10984786B2 (en) * 2018-05-07 2021-04-20 Google Llc Multi-modal interaction between users, automated assistants, and other computing services
US11200893B2 (en) * 2018-05-07 2021-12-14 Google Llc Multi-modal interaction between users, automated assistants, and other computing services
US10529356B2 (en) 2018-05-15 2020-01-07 Cirrus Logic, Inc. Detecting unwanted audio signal components by comparing signals processed with differing linearity
KR102638672B1 (ko) * 2018-06-12 2024-02-21 하만인터내셔날인더스트리스인코포레이티드 지향성 음향 변경
US10871543B2 (en) 2018-06-12 2020-12-22 Kaam Llc Direction of arrival estimation of acoustic-signals from acoustic source using sub-array selection
US11510584B2 (en) 2018-06-15 2022-11-29 Covidien Lp Systems and methods for video-based patient monitoring during surgery
US10692490B2 (en) 2018-07-31 2020-06-23 Cirrus Logic, Inc. Detection of replay attack
WO2020033613A1 (en) 2018-08-09 2020-02-13 Covidien Lp Video-based patient monitoring systems and associated methods for detecting and monitoring breathing
US10915614B2 (en) 2018-08-31 2021-02-09 Cirrus Logic, Inc. Biometric authentication
US11037574B2 (en) 2018-09-05 2021-06-15 Cirrus Logic, Inc. Speaker recognition and speaker change detection
US11641563B2 (en) 2018-09-28 2023-05-02 Apple Inc. System and method for locating wireless accessories
US11012774B2 (en) * 2018-10-29 2021-05-18 Apple Inc. Spatially biased sound pickup for binaural video recording
US11394437B2 (en) * 2018-12-14 2022-07-19 Qualcomm Incorporated Beamforming codebook adaptation for flexible wireless devices
US11617520B2 (en) 2018-12-14 2023-04-04 Covidien Lp Depth sensing visualization modes for non-contact monitoring
CN109709509B (zh) * 2018-12-24 2022-01-11 成都爱科特科技发展有限公司 一种信号方位趋势的判断方法
US10595129B1 (en) * 2018-12-26 2020-03-17 Motorola Solutions, Inc. Methods and apparatus for configuring multiple microphones in an electronic communication device
USD916890S1 (en) * 2018-12-31 2021-04-20 Andritz Inc. Display panel portion with a computer icon
KR102232045B1 (ko) * 2019-01-08 2021-03-25 삼성전자주식회사 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능 매체.
US11315275B2 (en) 2019-01-28 2022-04-26 Covidien Lp Edge handling methods for associated depth sensing camera devices, systems, and methods
KR20200097101A (ko) 2019-02-07 2020-08-18 현대모비스 주식회사 차량용 레이더 장치 및 그 제어 방법
CN110082712B (zh) * 2019-03-14 2022-12-13 哈尔滨工程大学 一种声矢量圆阵相干目标方位估计方法
CN113812175A (zh) * 2019-04-17 2021-12-17 苹果公司 为无线附件共享密钥
US11023114B2 (en) * 2019-04-29 2021-06-01 Rohde & Schwarz Gmbh & Co. Kg Measurement apparatus and measurement method
CN110471026B (zh) * 2019-07-22 2021-08-24 西安电子科技大学 一种相位增强的米波雷达目标低仰角doa估计方法
KR20210032826A (ko) * 2019-09-17 2021-03-25 삼성전자주식회사 전자 장치 및 전자 장치의 정보 제공 방법
US12120498B2 (en) * 2019-09-19 2024-10-15 Qualcomm Incorporated 3D sound orientation adaptability
EP4042181A4 (en) * 2019-10-01 2023-11-15 Prosaris Solutions ULTRASONIC DETECTOR
TW202123220A (zh) 2019-10-30 2021-06-16 美商杜拜研究特許公司 使用方向性元資料之多通道音頻編碼及解碼
CN110954866B (zh) * 2019-11-22 2022-04-22 达闼机器人有限公司 声源定位方法、电子设备及存储介质
KR20210068953A (ko) * 2019-12-02 2021-06-10 삼성전자주식회사 전자 장치 및 그 제어 방법
US10951981B1 (en) * 2019-12-17 2021-03-16 Northwestern Polyteclmical University Linear differential microphone arrays based on geometric optimization
US11468904B2 (en) * 2019-12-18 2022-10-11 Audio Analytic Ltd Computer apparatus and method implementing sound detection with an image capture system
USD921655S1 (en) * 2020-01-13 2021-06-08 Stryker European Operations Limited Display screen with animated graphical user interface
CN113223544B (zh) * 2020-01-21 2024-04-02 珠海市煊扬科技有限公司 音频的方向定位侦测装置及方法以及音频处理系统
IL272380B2 (en) * 2020-01-30 2023-08-01 Kramer Electronics Ltd Configurable microphone assembly
US11484208B2 (en) 2020-01-31 2022-11-01 Covidien Lp Attached sensor activation of additionally-streamed physiological parameters from non-contact monitoring systems and associated devices, systems, and methods
WO2021167318A1 (en) * 2020-02-20 2021-08-26 Samsung Electronics Co., Ltd. Position detection method, apparatus, electronic device and computer readable storage medium
US11460531B2 (en) 2020-02-27 2022-10-04 The Boeing Company Systems and methods for enhanced direction of arrival detection and calculation
CN111398900B (zh) * 2020-03-09 2022-07-26 华南理工大学 基于事件驱动的传声器网络分布式滤波方法及系统
CN111417054B (zh) * 2020-03-13 2021-07-20 北京声智科技有限公司 多音频数据通道阵列生成方法、装置、电子设备和存储介质
US11276388B2 (en) * 2020-03-31 2022-03-15 Nuvoton Technology Corporation Beamforming system based on delay distribution model using high frequency phase difference
US11335361B2 (en) 2020-04-24 2022-05-17 Universal Electronics Inc. Method and apparatus for providing noise suppression to an intelligent personal assistant
US11796562B2 (en) * 2020-05-29 2023-10-24 Aivs Inc. Acoustic intensity sensor using a MEMS triaxial accelerometer and MEMS microphones
CN112269826B (zh) * 2020-08-25 2022-11-08 帝杰曼科技股份有限公司 一种基于大数据的可视化加工处理系统及方法
US11889302B2 (en) 2020-08-28 2024-01-30 Apple Inc. Maintenance of wireless devices
US12119004B2 (en) * 2020-09-17 2024-10-15 Zhejiang Tonghuashun Intelligent Technology Co., Ltd. Systems and methods for voice audio data processing
US11624803B2 (en) * 2020-10-21 2023-04-11 GM Global Technology Operations LLC System for detecting direction of a vehicle honk and determining location of honking vehicle
US11694692B2 (en) 2020-11-11 2023-07-04 Bank Of America Corporation Systems and methods for audio enhancement and conversion
US20220159374A1 (en) * 2020-11-18 2022-05-19 Shure Acquisition Holdings, Inc. Audio Devices Having Multiple States
TWI755941B (zh) * 2020-11-20 2022-02-21 英業達股份有限公司 階層式時間序列預測方法
CN112788482B (zh) * 2021-03-01 2021-07-30 北京电信易通信息技术股份有限公司 一种麦克风阵列定位与云台联动的方法、装置
NO346569B1 (en) 2021-03-08 2022-10-17 Elliptic Laboratories As Proximity detection for computers or screens
CN115224488B (zh) * 2021-04-16 2024-10-18 中电科航空电子有限公司 一种机载相控阵天线的功率谱密度控制方法及系统
US12073705B2 (en) 2021-05-07 2024-08-27 Apple Inc. Separation alerts for notification while traveling
CN113365190B (zh) * 2021-06-08 2022-07-08 湖南普奇水环境研究院有限公司 一种测漏设备的抗干扰检测方法、电路及电子设备
EP4152321A1 (en) * 2021-09-16 2023-03-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for narrowband direction-of-arrival estimation
US11689841B2 (en) 2021-09-29 2023-06-27 Microsoft Technology Licensing, Llc Earbud orientation-based beamforming
US12117524B1 (en) * 2022-02-15 2024-10-15 The United States Of America As Represented By The Secretary Of The Navy Method to localize an underwater object
GB202204269D0 (en) * 2022-03-25 2022-05-11 Nokia Technologies Oy An apparatus for mapping sound source direction
CN116700659B (zh) * 2022-09-02 2024-03-08 荣耀终端有限公司 一种界面交互方法及电子设备
WO2024172658A1 (en) 2023-02-13 2024-08-22 Elliptic Laboratories Asa Proximity sensing keyboard
CN117031290A (zh) * 2023-06-12 2023-11-10 国网湖北省电力有限公司电力科学研究院 基于无迹卡尔曼滤波算法的锂电池热失控预警方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105073073A (zh) * 2013-01-25 2015-11-18 胡海 用于声音可视化及声源定位的设备与方法

Family Cites Families (93)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4982375A (en) 1989-11-13 1991-01-01 The United States Of America As Represented By The Secretary Of The Navy Acoustic intensity probe
JP3088174B2 (ja) 1992-02-06 2000-09-18 古野電気株式会社 水中探知装置
JPH05333988A (ja) 1992-05-30 1993-12-17 Ricoh Co Ltd 画像形成装置
JP3622094B2 (ja) 1995-10-05 2005-02-23 株式会社日立製作所 地図更新支援装置および地図情報の編集方法
US5774562A (en) 1996-03-25 1998-06-30 Nippon Telegraph And Telephone Corp. Method and apparatus for dereverberation
JP4163294B2 (ja) 1998-07-31 2008-10-08 株式会社東芝 雑音抑圧処理装置および雑音抑圧処理方法
US6549219B2 (en) 1999-04-09 2003-04-15 International Business Machines Corporation Pie menu graphical user interface
US6850496B1 (en) 2000-06-09 2005-02-01 Cisco Technology, Inc. Virtual conference room for voice conferencing
JP4815661B2 (ja) * 2000-08-24 2011-11-16 ソニー株式会社 信号処理装置及び信号処理方法
WO2002029432A1 (en) 2000-10-02 2002-04-11 Chubu Electric Power Co., Inc., Sound source probing system
DE10133126A1 (de) 2001-07-07 2003-01-16 Philips Corp Intellectual Pty Richtungssensitives Audioaufnahmesystem mit Anzeige von Aufnahmegebiet und/oder Störquelle
EP1403863A3 (de) 2002-05-31 2006-09-27 Heidelberger Druckmaschinen Aktiengesellschaft Vorrichtung und Verfahren zum Auffinden und Darstellen von Informationen
US7613310B2 (en) 2003-08-27 2009-11-03 Sony Computer Entertainment Inc. Audio input system
US7895536B2 (en) 2003-01-08 2011-02-22 Autodesk, Inc. Layer editor system for a pen-based computer
US8849185B2 (en) * 2003-04-15 2014-09-30 Ipventure, Inc. Hybrid audio delivery system and method therefor
US7668285B2 (en) 2004-02-16 2010-02-23 Kabushiki Kaisha Toshiba X-ray computed tomographic apparatus and image processing apparatus
US7774707B2 (en) * 2004-12-01 2010-08-10 Creative Technology Ltd Method and apparatus for enabling a user to amend an audio file
US7983720B2 (en) 2004-12-22 2011-07-19 Broadcom Corporation Wireless telephone with adaptive microphone array
US8509703B2 (en) 2004-12-22 2013-08-13 Broadcom Corporation Wireless telephone with multiple microphones and multiple description transmission
JP4539385B2 (ja) 2005-03-16 2010-09-08 カシオ計算機株式会社 撮像装置、撮像制御プログラム
US20070016875A1 (en) 2005-07-12 2007-01-18 International Business Machines Corporation Method and system for partial sizing adjacency constraint in a multi-pane window frame
US7788607B2 (en) 2005-12-01 2010-08-31 Navisense Method and system for mapping virtual coordinates
US20100226210A1 (en) 2005-12-13 2010-09-09 Kordis Thomas F Vigilante acoustic detection, location and response system
US8826133B2 (en) 2006-03-06 2014-09-02 Razer (Asia-Pacific) Pte. Ltd. Enhanced 3D sound
KR100790177B1 (ko) 2006-04-28 2008-01-02 삼성전자주식회사 휴대단말기에서 이미지 디스플레이 방법 및 장치
US9646415B2 (en) 2006-05-16 2017-05-09 Underground Imaging Technologies, Inc. System and method for visualizing multiple-sensor subsurface imaging data
KR100776801B1 (ko) 2006-07-19 2007-11-19 한국전자통신연구원 화상 처리 시스템에서의 제스처 인식 장치 및 방법
JP5070873B2 (ja) 2006-08-09 2012-11-14 富士通株式会社 音源方向推定装置、音源方向推定方法、及びコンピュータプログラム
US8310656B2 (en) 2006-09-28 2012-11-13 Sony Computer Entertainment America Llc Mapping movements of a hand-held controller to the two-dimensional image plane of a display screen
US20080101624A1 (en) 2006-10-24 2008-05-01 Motorola, Inc. Speaker directionality for user interface enhancement
JP4823030B2 (ja) 2006-11-27 2011-11-24 株式会社ソニー・コンピュータエンタテインメント 音声処理装置および音声処理方法
US20090017910A1 (en) 2007-06-22 2009-01-15 Broadcom Corporation Position and motion tracking of an object
US7626889B2 (en) 2007-04-06 2009-12-01 Microsoft Corporation Sensor array post-filter for tracking spatial distributions of signals and noise
US20080259731A1 (en) 2007-04-17 2008-10-23 Happonen Aki P Methods and apparatuses for user controlled beamforming
US8594338B2 (en) 2007-05-09 2013-11-26 Savox Communications Oy Ab (Ltd) Display apparatus
US8005237B2 (en) 2007-05-17 2011-08-23 Microsoft Corp. Sensor array beamformer post-processor
ATE504010T1 (de) 2007-06-01 2011-04-15 Univ Graz Tech Gemeinsame positions-tonhöhenschätzung akustischer quellen zu ihrer verfolgung und trennung
US8144939B2 (en) 2007-11-08 2012-03-27 Sony Ericsson Mobile Communications Ab Automatic identifying
JP4500845B2 (ja) 2007-11-13 2010-07-14 シャープ株式会社 情報表示装置、情報表示方法、プログラム及び記録媒体
US20090149202A1 (en) 2007-12-07 2009-06-11 Christian Steele System and method for determination of position
JP2009246827A (ja) 2008-03-31 2009-10-22 Nippon Hoso Kyokai <Nhk> 音源及び仮想音源の位置特定装置、方法及びプログラム
US8971565B2 (en) 2008-05-29 2015-03-03 Hie-D Technologies, Llc Human interface electronic device
JP5195652B2 (ja) 2008-06-11 2013-05-08 ソニー株式会社 信号処理装置、および信号処理方法、並びにプログラム
GB2461315B (en) * 2008-06-27 2011-09-14 Wolfson Microelectronics Plc Noise cancellation system
EP2159593B1 (en) 2008-08-26 2012-05-02 Nuance Communications, Inc. Method and device for locating a sound source
CN101350931B (zh) 2008-08-27 2011-09-14 华为终端有限公司 音频信号的生成、播放方法及装置、处理系统
CA2681778A1 (en) * 2008-10-07 2010-04-07 Research In Motion Limited Multi-touch motion simulation using a non-touchscreen computer input device
US8724829B2 (en) 2008-10-24 2014-05-13 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for coherence detection
US20100123785A1 (en) * 2008-11-17 2010-05-20 Apple Inc. Graphic Control for Directional Audio Input
US7880668B1 (en) 2008-12-08 2011-02-01 Lockheed Martin Corproation Automated radar elevation angle configuration
KR101313218B1 (ko) 2008-12-08 2013-09-30 삼성메디슨 주식회사 휴대형 초음파 시스템
US8369184B2 (en) 2009-01-26 2013-02-05 Shotspotter, Inc. Systems and methods with improved three-dimensional source location processing including constraint of location solutions to a two-dimensional plane
US8548176B2 (en) * 2009-02-03 2013-10-01 Nokia Corporation Apparatus including microphone arrangements
US8620672B2 (en) 2009-06-09 2013-12-31 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for phase-based processing of multichannel signal
US8171401B2 (en) 2009-06-19 2012-05-01 Microsoft Corporation Resizing an editable area in a web page
CN101592728B (zh) 2009-06-24 2011-08-24 南京大学 基于空气中声传感器阵列的水下低频声源定位方法
FR2948484B1 (fr) * 2009-07-23 2011-07-29 Parrot Procede de filtrage des bruits lateraux non-stationnaires pour un dispositif audio multi-microphone, notamment un dispositif telephonique "mains libres" pour vehicule automobile
US8121618B2 (en) 2009-10-28 2012-02-21 Digimarc Corporation Intuitive computing methods and systems
US9058314B2 (en) 2009-11-04 2015-06-16 International Business Machines Corporation Dynamic editing of data representations using cascading weights
CN106851525B (zh) 2009-12-23 2018-11-20 诺基亚技术有限公司 用于音频信号的处理的方法和装置
US8385559B2 (en) 2009-12-30 2013-02-26 Robert Bosch Gmbh Adaptive digital noise canceller
EP2362381B1 (en) 2010-02-25 2019-12-18 Harman Becker Automotive Systems GmbH Active noise reduction system
US8988970B2 (en) 2010-03-12 2015-03-24 University Of Maryland Method and system for dereverberation of signals propagating in reverberative environments
JP2011191383A (ja) * 2010-03-12 2011-09-29 Panasonic Corp 騒音低減装置
US9218119B2 (en) * 2010-03-25 2015-12-22 Blackberry Limited System and method for gesture detection and feedback
JP5575977B2 (ja) 2010-04-22 2014-08-20 クゥアルコム・インコーポレイテッド ボイスアクティビティ検出
US20110271186A1 (en) 2010-04-30 2011-11-03 John Colin Owens Visual audio mixing system and method thereof
US9053697B2 (en) 2010-06-01 2015-06-09 Qualcomm Incorporated Systems, methods, devices, apparatus, and computer program products for audio equalization
US8515089B2 (en) 2010-06-04 2013-08-20 Apple Inc. Active noise cancellation decisions in a portable audio device
EP2395501B1 (en) 2010-06-14 2015-08-12 Harman Becker Automotive Systems GmbH Adaptive noise control
US8583428B2 (en) 2010-06-15 2013-11-12 Microsoft Corporation Sound source separation using spatial filtering and regularization phases
US20110317848A1 (en) 2010-06-23 2011-12-29 Motorola, Inc. Microphone Interference Detection Method and Apparatus
FR2962235A1 (fr) 2010-06-30 2012-01-06 France Telecom Dispositif et procede d'affichage d'informations dans un champ de vision
US9025782B2 (en) 2010-07-26 2015-05-05 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for multi-microphone location-selective processing
US8174934B2 (en) * 2010-07-28 2012-05-08 Empire Technology Development Llc Sound direction detection
US8812014B2 (en) 2010-08-30 2014-08-19 Qualcomm Incorporated Audio-based environment awareness
WO2012032409A2 (en) * 2010-09-08 2012-03-15 Telefonaktiebolaget L M Ericsson (Publ) Gesture-based control of iptv system
US8750853B2 (en) 2010-09-21 2014-06-10 Cellepathy Ltd. Sensor-based determination of user role, location, and/or state of one or more in-vehicle mobile devices and enforcement of usage thereof
US8861756B2 (en) * 2010-09-24 2014-10-14 LI Creative Technologies, Inc. Microphone array system
US9100734B2 (en) 2010-10-22 2015-08-04 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for far-field multi-source tracking and separation
US8898058B2 (en) 2010-10-25 2014-11-25 Qualcomm Incorporated Systems, methods, and apparatus for voice activity detection
US20120117470A1 (en) 2010-11-10 2012-05-10 Microsoft Corporation Learning Tool for a Ribbon-Shaped User Interface
US10726861B2 (en) 2010-11-15 2020-07-28 Microsoft Technology Licensing, Llc Semi-private communication in open environments
US8908877B2 (en) 2010-12-03 2014-12-09 Cirrus Logic, Inc. Ear-coupling detection and adjustment of adaptive response in noise-canceling in personal audio devices
US8660978B2 (en) 2010-12-17 2014-02-25 Microsoft Corporation Detecting and responding to unintentional contact with a computing device
US8525868B2 (en) 2011-01-13 2013-09-03 Qualcomm Incorporated Variable beamforming with a mobile platform
JP2012150237A (ja) 2011-01-18 2012-08-09 Sony Corp 音信号処理装置、および音信号処理方法、並びにプログラム
US9354310B2 (en) 2011-03-03 2016-05-31 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for source localization using audible sound and ultrasound
JP2012234150A (ja) 2011-04-18 2012-11-29 Sony Corp 音信号処理装置、および音信号処理方法、並びにプログラム
US10154361B2 (en) 2011-12-22 2018-12-11 Nokia Technologies Oy Spatial audio processing apparatus
US9291697B2 (en) 2012-04-13 2016-03-22 Qualcomm Incorporated Systems, methods, and apparatus for spatially directive filtering
US9069065B1 (en) 2012-06-27 2015-06-30 Rawles Llc Audio source localization
US9615176B2 (en) 2012-12-28 2017-04-04 Nvidia Corporation Audio channel mapping in a portable electronic device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105073073A (zh) * 2013-01-25 2015-11-18 胡海 用于声音可视化及声源定位的设备与方法

Also Published As

Publication number Publication date
EP2836996A1 (en) 2015-02-18
US20190139552A1 (en) 2019-05-09
WO2013155154A1 (en) 2013-10-17
IN2014MN02195A (zh) 2015-09-11
US20130275873A1 (en) 2013-10-17
US9360546B2 (en) 2016-06-07
US10909988B2 (en) 2021-02-02
JP2015520884A (ja) 2015-07-23
WO2013154790A1 (en) 2013-10-17
CN104246531A (zh) 2014-12-24
WO2013154791A1 (en) 2013-10-17
CN104246531B (zh) 2017-11-14
US9857451B2 (en) 2018-01-02
EP2836851A1 (en) 2015-02-18
JP6400566B2 (ja) 2018-10-03
WO2013155251A1 (en) 2013-10-17
WO2013155148A1 (en) 2013-10-17
WO2013154792A1 (en) 2013-10-17
US20130272097A1 (en) 2013-10-17
CN104220896A (zh) 2014-12-17
US20130272538A1 (en) 2013-10-17
CN104220896B (zh) 2017-04-05
US9291697B2 (en) 2016-03-22
EP2836852B1 (en) 2020-07-29
CN104272137A (zh) 2015-01-07
US20130275077A1 (en) 2013-10-17
EP2836852A1 (en) 2015-02-18
US20130275872A1 (en) 2013-10-17
US9354295B2 (en) 2016-05-31
IN2014MN02283A (zh) 2015-08-07
US20130272539A1 (en) 2013-10-17
US10107887B2 (en) 2018-10-23

Similar Documents

Publication Publication Date Title
CN104272137B (zh) 用于映射源位置的系统和方法
US9532140B2 (en) Listen to people you recognize
JP2015518207A (ja) 音場のジェスチャー操作のためのシステム、方法、装置、およびコンピュータ可読媒体
CN107464564A (zh) 语音交互方法、装置及设备
CN109164414A (zh) 基于麦克风阵列的定位方法、装置和存储介质
US9500739B2 (en) Estimating and tracking multiple attributes of multiple objects from multi-sensor data
CN109804559A (zh) 空间音频系统中的增益控制
CN108353244A (zh) 差分头部追踪装置
WO2022105571A1 (zh) 语音增强方法、装置、设备及计算机可读存储介质
US11895466B2 (en) Methods and systems for determining parameters of audio devices
CN111356932B (zh) 管理多个设备的方法和电子设备
CN109545217B (zh) 语音信号接收方法、装置、智能终端及可读存储介质
US9733714B2 (en) Computing system with command-sense mechanism and method of operation thereof
JP6993433B2 (ja) 集音方法、装置及び媒体
CN114420082A (zh) 混响测试方法、系统、计算机设备和存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant