CN110569016A - 单声道或多声道音频控制接口 - Google Patents

单声道或多声道音频控制接口 Download PDF

Info

Publication number
CN110569016A
CN110569016A CN201910690711.9A CN201910690711A CN110569016A CN 110569016 A CN110569016 A CN 110569016A CN 201910690711 A CN201910690711 A CN 201910690711A CN 110569016 A CN110569016 A CN 110569016A
Authority
CN
China
Prior art keywords
audio
user
noise
channel
signals
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910690711.9A
Other languages
English (en)
Inventor
金莱轩
埃里克·维瑟
拉格胡佛·沛瑞
蓬·拉姆·托恩
杰里米·帕特里克·托曼
特洛伊·舒尔茨
郑吉蒙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN110569016A publication Critical patent/CN110569016A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/008—Visual indication of individual signal levels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/40—Visual indication of stereophonic sound image
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/155—Musical effects
    • G10H2210/265—Acoustic effect simulation, i.e. volume, spatial, resonance or reverberation effects added to a musical sound, usually by appropriate filtering or delays
    • G10H2210/295—Spatial effects, musical uses of multiple audio channels, e.g. stereo
    • G10H2210/305—Source positioning in a soundscape, e.g. instrument positioning on a virtual soundstage, stereo panning or related delay or reverberation changes; Changing the stereo width of a musical source
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/091—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith
    • G10H2220/096—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith using a touch screen
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/091—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith
    • G10H2220/101—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith for graphical creation, edition or control of musical data or parameters
    • G10H2220/106—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith for graphical creation, edition or control of musical data or parameters using icons, e.g. selecting, moving or linking icons, on-screen symbols, screen regions or segments representing musical elements or parameters
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/211—User input interfaces for electrophonic musical instruments for microphones, i.e. control of musical parameters either directly from microphone signals or by physically associated peripherals, e.g. karaoke control switches or rhythm sensing accelerometer within the microphone casing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/351—Environmental parameters, e.g. temperature, ambient light, atmospheric pressure, humidity, used as input for musical purposes
    • G10H2220/355—Geolocation input, i.e. control of musical parameters based on location or geographic position, e.g. provided by GPS, WiFi network location databases or mobile phone base station position databases
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2230/00—General physical, ergonomic or hardware implementation of electrophonic musical tools or instruments, e.g. shape or architecture
    • G10H2230/005—Device type or category
    • G10H2230/015—PDA [personal digital assistant] or palmtop computing devices used for musical purposes, e.g. portable music players, tablet computers, e-readers or smart phones in which mobile telephony functions need not be used
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/01—Aspects of volume control, not necessarily automatic, in sound systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Otolaryngology (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Stereophonic System (AREA)

Abstract

本申请涉及单声道或多声道音频控制接口。一种处理音频的方法可包含通过计算装置接收以通信方式耦合到所述计算装置的多个麦克风所输出的多个实时音频信号。所述计算装置可向显示器输出呈现与所述所接收的音频信号相关联的音频信息的图形用户接口GUI。可基于与经由所述GUI呈现的所述音频信息相关联的用户输入来处理一或多个所接收的音频信号，以产生一或多个经处理音频信号。可例如将所述一或多个经处理音频信号输出到一或多个输出装置，例如扬声器、头戴式耳机等。

Description

单声道或多声道音频控制接口
分案申请的相关信息
本案是分案申请。该分案的母案是申请日为2015年07月02日、申请号为201580035448.X、发明名称为“单声道或多声道音频控制接口”的发明专利申请案。
相关案例
本申请案主张2014年7月3日申请的第62/020,928号美国临时申请案的权益，所述申请案以全文引用的方式并入本文中。
技术领域
本发明大体上涉及单声道或多声道音频产生，且更明确地说，涉及用于用计算装置来记录音频的技术。
背景技术
技术的进步已经产生了更小且更强大的计算装置。举例来说，当前存在多种便携式个人计算装置，包含无线电话，例如移动和智能电话、平板计算机和膝上型计算机，其体积小，重量轻，且便于用户携带。这些裝置可经由无线网络传送话音和数据包。另外，许多此类装置并入有额外功能性，例如数字静态相机、数码摄像机、数字记录器和音频文件播放器。并且，此类装置可处理可执行指令，包含软件应用程序，例如可用以接入因特网的网络浏览器应用程序。由此，这些裝置可包含大量计算能力。举例来说，例如无线电话等计算装置可包含一或多个麦克风来捕获音频信号以供存储和重放。作为另一实例，一种计算装置可实时地同时记录音频的多个声道。计算装置的用户可选择何时开始捕获所述音频信号以及何时停止捕获所述音频信号。
发明内容
例如智能电话、平板计算机、膝上型计算机、“平板手机”、敞篷车以及可穿戴计算装置等移动计算装置越来越并入有实时记录音频的多个声道的能力。这些移动计算装置可包含麦克风阵列，其实现多个不同音频通道的模拟捕获。本发明大体上涉及用于使用移动计算设备来实时记录单声道或多声道音频的技术。本发明还大体上涉及用于在重放期间向用户提供关于音频的反馈或在正记录所述音频时实时地提供反馈。通过提供实时反馈或在重放期间提供反馈，可增强用户的体验，可增强所述重放的质量，或可增强所捕获的音频的质量。举例来说，本发明描述用于使移动计算装置的用户能够实时地调整与音频声道相关联的参数。
在一个实例中，一种方法可包含通过计算装置来接收由以通信方式耦合到所述计算装置的多个麦克风所输出的多个实时音频信号。所述方法可包含向显示器输出图形用户接口(GUI)，其用于呈现与所接收的音频信号相关联的音频信息；基于与经由GUI呈现的音频信息相关联的用户输入来处理所接收的音频信号中的一或多者，以产生一或多个经处理音频信号；以及输出所述一或多个经处理音频信号。
在另一实例中，一种方法可包含通过计算装置来接收由以通信方式耦合到计算装置的多个麦克风输出的多个实时音频信号。所述方法可包含向显示器输出用于呈现与所接收的音频信号中的一或多者相关联的噪声信息的图形用户接口(GUI)。所述方法可包含：基于与经由GUI呈现的噪声信息相关联的用户输入来处理所接收的音频信号中的一或多者以产生一或多个经处理音频信号；以及输出所述一或多个经处理音频信号。
在另一实例中，一种设备可包含：存储器；以及一或多个处理器，其经配置以接收由多个麦克风输出的多个实时音频信号，且产生与所接收的音频信号相关联的音频信息以存储在所述存储器中。所述一或多个处理器可经配置以为显示器输出图形用户接口(GUI)的图形内容以用于呈现与所接收的音频信号相关联的音频信息；基于与经由GUI呈现的音频信息相关联的用户输入来处理所接收的音频信号中的一或多者以产生一或多个经处理音频信号；以及输出所述一或多个经处理的音频信号。
在另一实例中，一种设备可包含：存储器；以及一或多个处理器，其经配置以接收多个麦克风所输出的多个实时音频信号；以及产生与所接收的音频信号相关联的噪声信息以供存储在所述存储器中。所述一或多个处理器可经配置以：为显示器输出图形用户接口(GUI)的图形内容以呈现与所接收的音频信号中的一或多者相关联的噪声信息；基于与经由GUI呈现的噪声信息相关联的用户输入来处理所接收的音频信号中的一或多者以产生一或多个经处理音频信号；以及输出所述一或多个经处理音频信号。
在另一实例中，一种装置可包含：用于接收以通信方式耦合到计算装置的多个麦克风所输出的多个实时音频信号的装置；用于输出呈现与所接收的音频信号相关联的音频信息的图形用户接口(GUI)的装置；用于基于与经由GUI呈现的音频信息相关联的用户输入来处理所接收的音频信号中的一或多者以产生一或多个经处理音频信号的装置；以及用于输出所述一或多个经处理音频信号的装置。
在另一实例中，一种装置可包含：用于接收以通信方式耦合到所述计算装置的多个麦克风所输出的多个实时音频信号的装置；用于输出呈现与所接收的音频信号中的一或多者相关联的噪声信息的图形用户接口(GUI)的装置；用于基于与经由GUI呈现的噪声信息相关联的用户输入来处理所接收的音频信号中的一或多者以产生一或多个经处理音频信号的装置；以及用于输出所述一或多个经处理音频信号的装置。
在另一实例中，一种上面存储有指令的非暂时性计算机可读存储媒体，所述指令在被执行时，可致使计算装置的一或多个处理器：接收多个麦克风所输出的多个实时音频信号；向显示器输出所述显示器的图形用户接口(GUI)的图形内容，以呈现与所接收的音频信号中的一或多者相关联的噪声信息；基于与经由GUI呈现的噪声信息相关联的用户输入来处理所接收的音频信号中的一或多者以产生一或多个经处理音频信号；以及输出所述一或多个经处理音频信号。
在另一实例中，一种非暂时性计算机可读存储媒体上面存储有指令，所述指令在被执行时，可致使计算装置的一或多个处理器：接收多个麦克风所输出的多个实时音频信号；向显示器输出显示器的图形用户接口(GUI)的图形内容，以呈现与所接收的音频信号相关联的音频信息；基于与经由GUI呈现的音频信息相关联的用户输入来处理所接收的音频信号中的一或多者以产生一或多个经处理音频信号；以及输出所述一或多个经处理音频信号。
附图和以下描述中陈述一或多个实例的细节。本发明的其它特征、目标和优点将从所述描述、图式以及所附权利要求书而显而易见。
附图说明
图1是根据本发明的一或多种技术的计算环境的图。
图2A到C在一起观看时是用于执行多声道音频产生的装置的多个视图的实例的图；
图3A到G是根据本发明的一或多种技术的图形用户接口的各种实例。
图4是说明根据本发明的一或多种技术的实例操作的流程图。
图5是说明根据本发明的一或多种技术的实例操作的流程图。
图6是说明根据本发明的一或多种技术的实例操作的流程图。
具体实施方式
本发明描述经配置以实时地记录单声道或多声道音频且实时地或在重放期间调整与所述多声道音频相关联的参数的计算装置(例如通信装置和其它装置)的各种实例。当前，许多计算装置，例如膝上型计算机、智能电话、平板手机、可穿戴计算装置、平板计算机，能够记录单声道或多声道音频。记录多声道音频还可被称作环绕录音，其可例如使用高级音频编码(AAC)或其它编解码器来实现。环绕录音可具有若干不同的声道配置和格式，例如5.1、7.1和9.1声道音频格式或其它环绕声音音频记录格式。这些计算装置还可能够进行所记录的环绕声音音频的环绕声音音频重放(例如实时重放或非实时重放)。所述重放可涉及使用输出接口(例如使用蓝牙、HDMI(高清媒体接口)或另一输出接口)来将音频信息发射到输出装置，例如扬声器。
为了执行环绕录音(SSR或多声道记录)，计算装置可使用多个物理麦克风。所述多个麦克风可被称为“麦克风阵列”。每一麦克风可记录用于音频的一或多个声道的音频信号。举例来说，一个麦克风可记录中心音频声道的声音，且另一麦克风可记录左音频声道的声音。
然而，常规SSR系统和具有SSR功能的裝置在记录期间或重放期间并不实时地向所述装置的用户提供反馈。具有SSR功能的裝置也并不允许记录期间的实时用户输入，以实时地实现对记录的改变。在一些实例中，本发明的一或多种技术使装置(例如具有SSR功能的装置)能够在用一或多个麦克风来记录音频时(例如在执行SSR时)实时地接收用户输入。在其它实例中，本发明的一或多种技术使装置(例如具有SSR功能的装置)能够在先前记录的音频的重放期间接收用户输入。在其它实例中，本发明的一或多种技术使装置(例如具有SSR功能的装置)能够在用一或多个麦克风记录音频(例如在执行SSR时)实时地接收用户输入，且随后将所得实时音频存储为经修改或未经修改的，以除呈现所得实时视频之外或代替于呈现所得实时视频而稍后重放。
在一些实例中，本发明的一或多种技术使计算装置(例如具有SSR功能的装置)能够在用一或多个麦克风记录音频时或在先前记录的音频的重放期间，实时地经由所述装置的显示器上所呈现的图形用户接口(GUI)来向用户输出信息。举例来说，所述装置可响应于接收到请求激活多媒体应用程序的用户输入而显示GUI。经由GUI(例如，或通过GUI或通过GUI)呈现给用户的信息可涉及音频记录或重放的任何面等等。举例来说，所述信息可为音频相关反馈。所述GUI可包含关于或以其它方式与任何麦克风、任何输出装置、任何声道、麦克风所输出的任何音频信号以及所记录的音频的任何处理有关的信息。所述GUI可包含一或多个图形表示，因此用户可在显示器上可视化与记录音频相关的音频信息。所述音频相关反馈可告知用户与所述记录、实时重放或先前所录制内容的重放相关的各个方面)。所述用户或在如此配置时的装置可基于音频信息来做出确定，以更改、修改以其它方式改变重放期间的音频(实时还是非实时)。
根据特定上下文，有时使用术语“声道”来指示信号路径，且在其它时候指示由此路径运载的信号。
取决于上下文，对“音频信号”的参考可表示不同的事物。举例来说，可将麦克风接收到、转换或以其它方式捕获的音频信号视为音频信号，或更具体地说一或多个声波。作为另一实例，麦克风的输出可为表示声音的音频信号，例如接收到的声波或声波的组合。取决于麦克风的复杂性，麦克风所输出的模拟信号可为接收到的声波或声波的组合的模拟或数字表示。所述模拟或数字表示可为模拟或数字信号，使得麦克风所输出的音频信号可呈模拟或数字信号的形式。举例来说，麦克风可经配置以接收呈一或多个声波的形式的音频信号，且在模拟或数字域中输出音频信号。
如贯穿本发明所揭示，实时音频将从先前记录的音频的重放突出表示。取决于上下文，实时音频或重放可指音频的记录或实时记录的音频的实时呈现。取决于上下文，重放可指先前实时记录但保存或以其它方式存储在存储器中以供后来重放的音频。应理解，使用一或多个麦克风来记录音频可导致使用装置的一或多个处理器可存取的临时存储空间(例如缓冲空间)、永久性存储空间(例如硬盘驱动器空间)或其组合来提供所记录的音频的实时呈现的装置。在一些实例中，当记录音频时，装置可处理所述音频，以立即或相对立即输出到一或多个扬声器。虽然所述装置的存储空间可用于所记录音频的各种处理，但处理延迟无意表示相对于重放，不存在所记录音频的实时呈现。在一些实例中，术语“所记录”及其变化可表示“转换”或以其它方式“捕获”，连同其相应变化。在其它实例中，术语“所记录”及其变化可表示“转换”或以其它方式“捕获”及其变化；且“所记录”音频存储在存储空间以供后来重放，尽管可能也经处理来用于实时呈现。换句话说，所记录视频的实时呈现意在指代当记录音频时所应用的技术。取决于所述上下文，重放是指其中已经记录音频的情况，且通常在重放之前。
对多麦克风音频感测装置的麦克风的“位置”的参考指示所述麦克风的声敏感面的中心的位置，除非上下文另有指示。除非另有指示，否则使用术语“系列”来指示两个或两个以上项目的序列。使用术语“对数”来指示基数为十的对数，但此类运算到其它基数的扩展在本发明的范围内。使用术语“频率分量”来指示信号的一组频率或频带中的一者，例如(例如，由快速傅里叶变换产生的)信号的频域表示的样本，或信号的子带(例如，巴克(Bark)比例或梅尔(mel)比例子带)。
在一些实例中，本发明的一或多种技术同等适用于单声道音频。举例来说，取决于上下文，包含多声道的实例可同等地适用于单声道。因此，虽然术语单声道可能贯穿本发明未出现，但本文所述的一或多种技术可在涉及单声道音频的实例中实施，例如当装置具有一个麦克风时，或当多声道信号向下混合到单个声道时。
除非另有指示，否则对具有特定特征的设备的操作的任何揭示内容还明确地希望揭示具有类似特征的方法(且反之亦然)，且对根据特定配置的设备的操作的任何揭示内容还明确地希望揭示根据类似配置的方法(且反之亦然)。术语“配置”可参考由其特定上下文指示的方法、设备和/或系统来使用。除非特定上下文另有指示，否则术语“方法”、“过程”、“程序”和“技术”通用地且可互换地使用。除非特定上下文另有指示，否则术语“设备”与“装置”也通用地且可互换地使用。术语“元件”和“模块”可用于指示较大配置的一部分。除非通过其上下文明确地限制，否则术语“系统”在此用以指示其一般含义中的任一者，包含“相互作用以用于共同目的的一组元件”。通过参考文献的一部分的任何并入也应理解为并入有在所述部分内参考的术语或变量的定义，其中此些定义出现在文献中的其它地方，以及所并入部分中参考的任何图。
参看图1，揭示可操作以执行单声道或多声道音频产生的装置的一个实例，且通常表示为102。在其它实例中，装置102可具有比图1中说明的组件多或少的组件。
装置102包含一或多个处理器103，以及可由一或多个处理器103存取的数据存储媒体109(例如临时或永久性存储空间)。装置102的一或多个处理器103经配置以执行指令来实施对应进程。因此，如本文所使用，当执行或以其它方式实施进程时，是指装置102的一或多个处理器103(或其它实例中的其它装置的其它处理器)执行对应于所述过程的一或多个指令或运算。举例来说，装置102可包含操作系统。在一些实例中，所述操作系统可为在个人计算装置(例如膝上型计算机、桌上型计算机、平板计算机、智能电话等)上找到的典型操作系统，例如图形操作系统。所述操作系统可存储在数据存储媒体109上。
一或多个处理器103的实例可包含(但不限于)中央处理单元(CPU)、图形处理单元(GPU)、数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)，或其它等效集成或离散逻辑电路。一或多个处理器103可包含这些实例中的一或多者以及任何组合中的其它类型的处理器。一或多个处理器103可为单核或多核。
数据存储媒体109的实例可包含(但不限于)一或多个计算机可读存储媒体，例如但不限于随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪存储器或任何其它媒体，其可用以运载或存储呈指令和/或数据结构的形式且可由计算机或处理器存取的所要程序代码。在一些实例中，数据存储媒体109可被视为非暂时性存储媒体。术语“非暂时性”可指示存储媒体未体现于载波或所传播信号中。然而，术语“非暂时性”不应被解释为表示数据存储媒体109是不可移动的。数据存储媒体109可包含这些实例中的一或多者，以及任何组合中的其它类型的数据存储媒体。
装置102可包含或耦合到一或多个输入装置105。输入装置105可包含键盘、鼠标、触摸屏显示器或其它输入装置。虽然与一或多个输入装置105分开描绘，但应理解，在显示器106是触摸屏显示器的实例中，显示器106构成输入装置。类似地，虽然与一或多个输入装置105分开描绘，应理解，一或多个麦克风104a到c构成输入装置。
装置102可包含或耦合到一或多个音频输出装置107。一或多个音频输出装置107可包含一或多个扬声器。虽然与一或多个输出装置107分开描绘，应理解，头戴式耳机112构成音频输出装置。
装置102可包含或耦合到多个麦克风(例如多麦克风阵列)。举例来说，所述多麦克风阵列可包含第一麦克风104a、第二麦克风104b和第三麦克风104c。尽管图1说明三个麦克风，但在其它实例中，装置102可耦合到多于或少于三个麦克风。可使用多个麦克风来支持两个或三个维度中的空间音频编码。可用多麦克风阵列来支持的空间音频编码方法的实例可包含5.1环绕、7.1环绕、杜比环绕、杜比定向逻辑或任何其它相幅矩阵立体声格式；杜比数字、DTS或任何离散多声道格式；以及波场合成。五声道编码的一个实例包含前-左、前-右、中心、后-左和后-右声道。
装置102可包含或耦合到显示器106、头戴式耳机112或这两者。装置102可包含音频分析器114和GUI 120。音频分析器114可包括软件、硬件、固件或其组合。音频分析器114可存储在装置102的一或多个处理器103存取的数据存储媒体109。在此些实例中，与音频分析器114相关联的任何过程可起因于从存储器109加载以由一或多个处理器103执行的与音频分析器114相关联的一或多个指令的执行。如图1中所示，音频分析器114由虚线环绕，以说明一或多个处理器103可执行对应于存储在存储器109中的音频分析器114的指令。在一些实例中，音频分析器114可为在由装置102的一或多个处理器103执行时可产生GUI 120、GUI数据150或这两者的应用程序。
装置102的一或多个处理器103产生GUI 120以供显示。将GUI 120传送到显示器106以供在其上呈现。存储在存储器109中的GUI数据150可包含可执行指令，其在被执行时可产生GUI 120以供显示器106呈现。GUI数据150可为音频分析器114的一部分。在其中音频分析器114是应用程序的实例中，GUI数据150可为所述应用程序的一部分，并且因此，到音频分析器114的对应图形数据。在一些实例中，音频分析器114可为在由一或多个处理器103执行时可导致产生、存取或执行GUI数据150的应用程序。举例来说，根据一些实例，音频分析器114可在执行时使用图形数据150产生图形用户接口(GUI)120。作为另一实例，音频分析器114可致使装置102渲染用户接口，例如GUI 120。音频分析器114可将GUI 120提供到显示器106。
GUI数据150可包含与一或多个输入信号108a到c、一或多个音频信号110或其组合相关的数据。如上文所识别，音频分析器114可将GUI数据150存储在耦合到或包含于装置102中的存储器中。在一特定实例中，音频信号110可经压缩，且可占用比输入信号108a到c少的存储器。
GUI 120可包含一或多个图形表示，因此用户可在显示器上可视化与记录音频相关的音频信息。所述音频相关反馈可告知用户与所述记录、实时重放或先前所录制内容的重放相关的各个方面)。所述用户或在如此配置时的装置可基于音频信息来做出确定，以更改、修改以其它方式改变重放期间的音频(实时还是非实时)。举例来说，用户或装置可在记录音频时或在重放期间调整音频参数、应用滤波器或更实时地调整，这可改进所记录的音频(例如环绕声音频)的质量。作为另一实例，经由所述装置呈现给用户的音频相关反馈可使用户能够选择适当的选项来更改或以其它方式调整所记录音频的质量，不管是实时地还是在重放期间。举例来说，用户可基于呈现给用户的音频反馈信息与GUI 120交互，以在正记录音频时或在重放期间，实时地调整音频的音频声道音量等级或其它特性/参数。
在一些实例中，GUI 120可包含对应于为装置102记录音频的麦克风104a到c的一或多个图形表示(例如麦克风图标)。GUI 120可包含对应于用于输出所记录音频的音频输出装置的一或多个图形表示(例如扬声器图标)。在一些实例中，GUI 120可包含三个图形音频声道表示(例如三个扬声器图标)，麦克风104a、104b和104c中的每一者一个，因为音频分析器114可基于麦克风的数目来自动配置环绕声音声道的数目。在其它实例中，可显示三个扬声器图标，因为用户使用GUI 120从多个选项选择三声道环绕设置选项。贯穿本发明提供GUI 120可包含的音频信息的其它实例，因为GUI 120可包含本文所揭示的任何音频信息。
在装置102的操作期间，音频分析器114可从多个麦克风(例如麦克风104a、104b和104c)接收多个输入信号(例如输入信号108a、108b和108c)。举例来说，音频分析器114可从麦克风104a接收输入信号108a，从麦克风104b接收第二输入信号108b，且从麦克风104c接收第三输入信号108c。输入信号108a到c可对应于一或多个声音源。麦克风104a、104b和104c中的每一者可将接收到的声波转换为模拟或数字音频信号。在此些实例中，可将第一输入信号108a、108b和108c中的每一者视为音频信号，不管是模拟还是数字。
用户118可经由所呈现的GUI 120和用户输入装置105(例如在其中显示器是触摸屏的实例中，显示器106)与装置102交互。举例来说，GUI 120可包含描绘为140的一或多个可选选项。用户118可选择可选选项140中的至少一者，且音频分析器114可基于所述选择从输入信号108a到c产生音频信号110。举例来说，可选选项140可包含与任何特征或过程相关联的任何图形表示，所述特征或过程与音频分析器114、麦克风104a到c、输出装置107、输入信号108a到c、音频信号110、其它音频相关信息等相关联。
在一些实例中，音频分析器114可被称为音频产生应用程序，因为音频分析器114可输出经处理的信号(即，音频分析器在其上进行处理的信号)。在其它实例中，如本文所述，音频分析器114可不仅产生音频，但还可使用装置102来控制音频何时存储在存储器109中，如果真会发生的话。在此些实例中，音频分析器114还可被称作音频存储应用程序。举例来说，音频分析器114可存储分别从麦克风104a、104b和104c接收的输入信号108a、108b和108c。作为另一实例，音频分析器114可不存储如从麦克风104a、104b和104c接收的输入信号108a、108b和108c。实情为，音频分析器114可存储音频信号110(即，音频分析器114输出的信号，不管是经修改还是未经修改的)。在又另一实例中，音频分析器114可存储如从麦克风104a、104b和104c接收到的输入信号108a、108b和108c；以及音频分析器114还可存储音频信号110。所存储的信号，不管是输入信号108a到c还是音频信号110，可用于重放。在此些实例中，在重放期间，音频分析器可或可不接收所存储的信号。在涉及音频分析器114接收所存储的信号的实例中，音频分析器114可以与实时信号(例如输入信号108a到c)相同的方式处理所存储的信号。
用户118可使用装置102的任何输入装置(包含例如显示器106)来选择可选选项140。举例来说，音频分析器114可从输入装置接收选择130(或以其它方式被称为表示选择的输入数据130)。在一个实例中，音频分析器114可将音频信号110输出到音频输出装置107，例如头戴式耳机112或一或多个扬声器。对应于输出装置的声道的数目(例如用于立体声头戴式耳机的两个声道：左和右)可与装置102从中接收到输入的麦克风104a到c的数目相同，小于所述数目或大于所述数目，以产生音频信号110。用户118可使用能够播放音频信号110(或在音频信号110包含用于多个声道的信号时，包含在其中的信号的子集)的任何输出装置，例如头戴式耳机112或扬声器，来监视或收听音频信号110。举例来说，用户118可检测音频信号110的静止噪声等级，且可使用GUI 120来选择噪声抑制(衰减)选项(例如可选选项140)，以减小随后所产生的音频信号110的静止噪声等级。在此实例和其它实例中，可基于从用户118接收到的基于音频分析器114输出的过去音频信号110而输入的实时地对音频分析器114随后接收到的音频信号作出实时地或以其它方式动态校正或改变。应了解，在用户118提供任何输入以影响音频分析器114所进行的任何处理时，过去的音频信号110可能那时已经是当前(或实时)音频信号110。以此方式，音频分析器114可使用户能够在音频被接收到且使用一或多个输出装置输出以供呈现时对所述音频进行实时调整，以基于用户118的偏好来改变(例如通过增强)质量。
在其它实例中，GUI 120可使用户能够修改存储在存储器109中的规则集合，其中装置102根据所述规则，基于由规则定义的触发事件的出现率来自动影响对所记录的音频的改变(例如如果事件，那么动作(if EVENT，then ACTION))。规则中的事件可为对所定义的音频信息的存在的真或假确定。规则中的动作可响应于所述事件出现(或不出现)的确定。举例来说，用户118可定义规则，使得所述装置可基于使用中的麦克风和使用中的音频输出装置的数目来自动下混或上混。如果数目相等，那么不需要发生改变。然而，如果在记录期间，例如结合五扬声器环绕设置使用五麦克风阵列，那么可处理规则，使得在一或多个扬声器变为不可操作或以其它方式断电的情况下，所述装置自动下混多声道音频。类似地，如果在记录期间，例如结合五扬声器环绕设置使用五麦克风阵列，那么可处理规则，使得在一或多个扬声器变为可操作或以其它方式通电的情况下，所述装置自动上混多声道音频。
音频分析器114可基于接收可选选项140的选择130，来从输入信号108a到c产生多个音频信号(例如音频信号110)，如参考图1所描述。换句话说，音频分析器114可产生经修改或未经修改的输入信号(称为音频信号110)。默认地，音频分析器114可输出未经修改的输入信号108a到c，而不是音频信号110。音频分析器可根据对应于输入数据130所表示的选定选项的过程来产生音频信号。经修改的输入信号(即，音频信号110)是指在根据对应于输入数据130的过程来接收输入数据130之后，正由音频分析器114修改的一或多个随后接收到的输入信号108a到c。经修改的输入信号可指正修改的声音数据本身(例如使用滤波器或将与两个不同声道相关联的两个或更多个信号110一起混合在多声道信号中)，或对应于或以其它方式与音频信号110相关联的数据，例如改变声道信息，使得可将任何信号重新投送到不同的输出装置，等等。举例来说，用户可通过使用GUI 120且选择适当的选项140移动从中心扬声器发射到另一扬声器的声音，以在中心扬声器周围形成空的空间。作为另一实例，GUI 120可使用户能够调整声道音量等级(例如通过向上或向下调整声道增益)、音频位置、扬声器位置以及其它记录参数。在第一修改(例如基于由输入数据130表示的一或多个用户指令的接收)之后，可进一步发生一或多个修改。每当作出影响音频处理的可选选项140时，音频分析器114可相应地调整一或多个输入信号108a到c的处理，使得根据用户偏好来输出后续音频信号110。应理解，虽然图1描绘正由音频分析器114输出的音频信号110，但音频分析器可经配置来为一或多个声道输出未经修改的输入信号108a到c，且为一或多个其它声道输出经修改的输入信号(即，音频信号110)。
音频分析器114可处理输入信号108a到c，以产生音频信号110。音频分析器114可从输入信号108a到c产生若干不同定向声道(例如音频信号110)，以便上混合输入信号108a到c。举例来说，输入信号108a到c可对应于与第一数目(例如三个)麦克风(例如麦克风104a到c)相关联的第一数目的声道。音频信号110可对应于第二数目的声道，且所述第二数目可高于第一数目或低于第一数目，后者与下混合输入信号108a到c的实例相关，与上混合输入信号108a到c形成对比。举例来说，对于5.1环绕声音方案，音频信号110可对应于五个声道。音频分析器114可上混合输入信号108a到c以产生音频信号110，使得可使用具有第二数目的扬声器的扬声器阵列中的不同扬声器来重放(即，输出)音频信号110的每一信号(或声道)。
在一些实例中，音频分析器114可通过基于使用GUI 120接收表示用户选择的输入数据130对输入信号108a到c进行滤波来产生经滤波(例如经修改)的信号，如本文所述。举例来说，分析器可处理输入信号108a到c，如参考图1所描述。
参看图2A到C，图2A到C中示出装置的多个视图的实例。所述视图可对应于图1中所示的装置102。
所述视图包含图2A中所描绘的正视图220、图2B中所描绘的后视图230，以及图2C中所描绘的侧视图240。正视图220可对应于装置102的包含显示器106的第一侧。所述第一侧可包含第一麦克风104a、第二麦克风104b、第三麦克风104c、耳机208、第一扩音器210a和第二扩音器210b。
图2B中的后视图230可对应于装置102的与第一侧相对的第二侧。所述第二侧可包含相机206、第四麦克风204d和第五麦克风204e。图2C中的侧视图240可对应于装置102的连接第一侧和第二侧的第三侧。
图3A到G各自为图1的GUI 120的实例。参看图3A，示出GUI 120的实例。在图3A中所示的实例中，GUI 120可包含坐标地图301以及多个可选选项，例如一或多个扇区(例如302a到e)，扇区再成形器/再定大小器305。GUI 120还可包含一或多个声道图标(例如304a到e)。所述声道图标可以图形方式表示每一音频输出装置107，其经配置以从音频分析器114接收的音频信号。用户可选择扇区，且以一或多个选项呈现。在其它实例中，用户可选择一或多个选项，并且接着选择选定选项将应用于的一或多个扇区。所述选项可包含音频分析器114可经配置以执行的任何处理。
不管在此实例中还是其它实例中，坐标地图301的扇区302a到e中的每一者可对应于相对于装置102的特定方向上的特定区域，坐标地图301的中心表示装置102的位置(或收听者位置，不管是虚拟的还是真实的)。扇区302a到e中的每一者可互相或独占地对应于相对于装置102的特定方向上的特定音频输出装置107，由每一扇区到声道图标的关系表示。举例来说，扇区302a到302e可分别对应于或以其它方式与声道304a到e有关。声道304a到e可分别涉及右后、左后、左前、中心和右前声道。扇区302a到e可分别涉及与麦克风104a到e相关联的输入信号108a到c。
在一些实例中，音频分析器114可确定对应于输入信号108a到c的到达方向信息，且可产生坐标地图，使得示出声音的存在的扇区302a到e中的每一者与所述特定方向上的麦克风有关。举例来说，音频分析器114可确定输入信号108a到c的至少一部分是从特定方向接收的。在示出的实例中，坐标地图301包含五个扇区。坐标地图301可对应于输入信号108a到c的一或多个来源的一个或多个位置的物理坐标。坐标地图301可指示输入信号108a到c的来源相对于装置102所位于的位置。举例来说，音频分析器114可确定输入信号108a到c不是从特定方向接收的。坐标地图301的对应于特定方向的特定扇区可指示不存在输入信号108a到c的来源(例如因为不存在对应于所述特定方向的声音)。举例来说，特定扇区可在GUI 120中显示为具有特定色彩、特定阴影、特定文本、特定图像等，其可指示所述特定方向上输入信号108a到c的来源的不存在或存在，针对所述特定扇区是否接收到输入信号，对应于与所述特定扇区相关联的任何扬声器的音量级，与所述特定扇区相关联的任何麦克风的饱和度，以及任何其它音频信息。作为另一实例，音频分析器114可确定音频信号的强度(例如音量)。音频分析器114可通过GUI 120中的图形表示(例如扇区或声道/扬声器图标)的特定阴影来指示音频信号的强度。举例来说，较暗的阴影可指示较高强度。
在一些实例中，音频信号110的计数可对应于所述多个声道图标的计数。音频信号110的计数可对应于坐标地图301的所述多个扇区的计数。所述多个声道图标中的每一者可与音频信号110的特定音频信号相关联。举例来说，音频分析器114可产生对应于所述多个声道图标中的每一者的特定音频信号。
在一些实例中，声道304a到e中的每一者不是独占地与扇区相关。举例来说，可使用三个麦克风来记录环绕声音，这可意味着坐标地图301具有三个扇区，其中五个声道图标在所述三个扇区周围隔开。在此实例中，图形表示可用来告知用户音频分析器114可如何上混合到五声道输出。举例来说，选择特定声道图标可导致GUI 120突出显示扇区，且因此所述扬声器与之相关联麦克风和输入信号。
在操作期间，用户118可使用输入装置105来选择扇区302a到e中的特定扇区。在一些实例中，用户118可通过移动一或多个扇区再定大小器/再成形器305来修改所选择的扇区的大小或形状。
用户118可选择一或多个扇区302a到e来停用来自与所选择的扇区相关联的任何麦克风的声音的捕获或记录，同时与所选择的扇区无关的其它麦克风继续捕获或记录声音。在其中坐标地图301的扇区具有与音频声道(例如，由声道图标表示)的一一对应性的实例中，停用扇区可导致停用对应声道。在其中坐标地图301的两个或更多个扇区共享与音频声道(例如由声道图标表示)的对应性的实例中，停用扇区可导致影响对应音频声道，而不全部停用所述声道，使得不再处理与所停用的扇区相关联的噪声，并且因此音频分析器114不将其与和也与同一声道相关联的经启用扇区相关联的声音混合。
音频分析器114可响应于接收到扇区的选择，基于所选择的扇区的扇区方向对一或多个输入信号108a到c进行滤波，以产生音频信号110，如本文所述。在一个实例中，音频分析器114可响应于扇区的选择且根据用户选定的处理选项(例如移动或再定位信号、删除或去除信号、对信号进行滤波等)对一或多个输入信号108a到c进行滤波。对音频信号108a到c执行的任何滤波、处理或运算可被视为对音频信号108a到c或任何对应音频声道的操纵。举例来说，用户可通过选择与每一声道相关联的任何图形表示，借助于与GUI 210交互来操纵每一音频声道。
参看图3B，示出GUI 120的实例。在此实例中，描绘声道配置菜单320的实例。图3A中所描绘的GUI 120可为用户118使用声道配置菜单来配置音频输出通道的结果。声道配置菜单320可包含多个数目的声道选项，以使用户118能够指定待重放(例如由音频分析器114产生)的若干音频信号110。
所述数目的声道选项中的每一选项可指示将针对多声道信号产生的若干音频信号。举例来说，第一数目的声道选项(例如5.1)可指示将产生第一数目(例如5加1低音炮)的音频信号，第二数目的声道选项(例如7.1)可指示将产生第二数目(例如7加1低音炮)的音频信号，等等。在选择声道选项5.1的数目时，例如5个输出通道(例如扬声器)的图形表示可看起来在GUI 120中的坐标地图301周围。在其它实例中，任何对应低音炮声道还可看起来在GUI 120中的坐标地图301上。如果选定声道的数目比物理麦克风的数目高或低，那么音频分析器114可分别上混或下混所述输入信号。举例来说，如果选定声道的数目超过物理麦克风的数目，那么音频分析器114可内插或产生额外音频声道。响应于用户的选择，音频分析器114可确定音频输出装置107的数目是否与麦克风104a到c的数目匹配；以及如果不匹配，那么可经由GUI 120警告所述用户。
在一些实例中，图1的GUI数据150可存储所述数目的声道选项(例如2.1、5.1、7.1、22.2，或任何其它声道选项)的中的每一者与对应计数(例如在不存在对应低音炮的情况下，2、5、7和22)之间的映射。包含低音炮，此类实例的对应计数可分别为3、6、8和24。所述映射可包含默认值。在此实例中，音频分析器114可使用所述映射来确定对应于声道选项的特定数目(例如7.1)的计数(例如7)。在特定实例中，所述映射还可指示所述数目的对应于声道选项(例如7)中的每一者的一或多个方向(例如左、右、中心、左-环绕、右-环绕、左后和右后)。所述映射还可指示对应于所述一或多个方向中的每一者的角度(例如45度、135度、90度、225度、315度、180度和0度)。
参看图3C，示出GUI 120的实例。在此实例中，示出噪声抑制(衰减)选项330的实例。噪声抑制(衰减)选项330可为扇区、声道或麦克风特定的。噪声抑制选项330可响应于用户118选择扇区302a到e中的一者或声道/扬声器表示304a到e中的一者而出现在GUI 120中。噪声抑制(衰减)选项330可实现一或多个等级的噪声抑制(例如0％到100％)。举例来说，用户118可使用输入装置105(例如包含显示器106)来选择噪声抑制的量。音频分析器114可响应于接收到正调用的噪声抑制选项330，通过基于选定噪声抑制的等级抑制输入信号108a到c中存在的静止噪声来产生音频信号110。举例来说，音频分析器114可基于噪声抑制的等级来选择特定噪声滤波器(例如静止噪声滤波器)，且音频分析器114可通过将所述特定静噪滤波器应用于输入信号108a到c来产生音频信号110。如本文所使用，术语抑制可对衰减或其等效物求平均。
噪声抑制选项330可使用户能够致使音频分析器114产生对应于选定噪声抑制等级的音频信号110。具有用户可选噪声抑制等级可使用户能够选择静止噪声是否捕获(例如，主要记录噪声的麦克风可取决于用户118选定的噪声抑制而停用)，由音频分析器114输出，或如何对静止噪声进行滤波。举例来说，用户可捕获沙滩上的波浪的声音，且可减少在语音期间捕获的风的声音。
噪声可为任何不必要的声音，例如任何频率组合下的一或多个不必要的声波/音频信号。举例来说，噪声可包含运输系统和车辆所导致的噪声污染、城市噪声的刺耳声音，或涉及相比于无用信号(例如将被拒绝或抑制或以其它方式滤波的信号)的有用信号(例如将处理和输出的信号)的音频系统中的任何不必要的噪声。在一个实例中，可将沙滩上的波浪的声音视为不必要的噪声，并从记录中滤除。在另一实例中，可不将沙滩上的波浪的声音视为不必要的噪声，且因此不从记录中滤除。
声音是否构成噪声可取决于与不想要的声音相比的想要的声音，以及其在振幅和频率中的关系。在一些实例中，噪声可为任何声音或音频信号或用户所定义的类似物。举例来说，本文所述的GUI可使用户能够选择一或多个声音(例如城市声音、狗叫声等)，从而导致音频分析器114输出音频信号110，使得音频信号110已经滤波来去除或抑制选定声音。在另一实例中，本文所述的GUI可使用户能够记录一或多个声音(例如狗叫声、猫叫声、海浪等)来定义对应滤波器，使得音频分析器114输出音频信号110，使得音频信号110已经滤波而去除或抑制所记录的声音。
在一些实例中，噪声抑制选项330可构成“空”出选项。响应于选择所述空出选项，音频分析器114可抑制与一或多个选定扇区相关联的音频。举例来说，用户可选择扇区来空出。空出的区对应于所述音频声道内的区，音频分析器抑制在所述音频声道处抑制对应于所述区的音频。在一些实例中，用户可推动和拖拽以再定大小或再成形一或多个扇区，来输入空出指令(即，噪声抑制/抵消指令)。在其它实例中，用户可选择扇区，且除其它选项之外，被呈现空出选项，其在被选定时致使音频分析器114根据针对将抑制的选定扇区的选定抑制等级(或滤波器的类型)来抑制音频，这影响音频信号110，且因此影响经由任何相关联扬声器107呈现给用户的声音。
在一些实例中，坐标地图301可指示输入信号108a到c中的静止噪声的来源相对于装置102位于何处。音频分析器114可确定与输入信号108a到c相关联的静止噪声等级。举例来说，音频分析器114可基于输入信号108a到c的噪度度量(例如线性预测译码(LPC)预测增益)来确定静止噪声等级。在特定实例中，较低LPC预测增益可指示输入信号108a到c的较高静止噪声等级。可依据输入信号108a到c的变化或依据输入信号108a到c的功率或能量来定义噪度度量。在特定实例中，音频分析器114可确定与输入信号108a到c中的每一者相关联的特定静止噪声等级，且GUI 120可指示与对应麦克风相关联的方向上的特定静止噪声等级。举例来说，音频分析器114可确定输入信号108a的第一静止噪声等级。GUI 120接着可指示与第一麦克风104a相关联的静止噪声等级。举例来说，GUI 120可在坐标地图301上指示对应于麦克风104a的第一方向上的静止噪声等级。GUI 120可因此向用户118指示静止噪声的来源相对于装置102所位于的位置，从而使用户118能够基于此音频信息(即，噪声信息)采取动作。举例来说，用户118可移动离开静止噪声的来源，或调用音频分析器114所提供的某些处理选项。
音频分析器114可基于噪声抑制的等级来修改(例如增加或减少)噪声参考等级。音频分析器114可通过将噪声滤波器应用于输入信号108a到c以对具有满足(例如高于或低于)噪声参考等级的振幅的输入信号108a到c的一或多个频带进行滤波，来产生音频信号110。噪声参考等级可基于用户所选择的特定噪声滤波器。因为参考对其应用一或多个滤波器而使用“输入信号”，因此应理解，音频分析器114可选择性将噪声滤波器(或任何其它滤波器)应用于包含噪声的一或多个输入信号。在其它实例中，音频分析器114可基于每一输入信号与扇区之间的关系或不管所述关系如何而应用特定噪声滤波器。
在一些实例中，在将噪声滤波器(例如静止噪声滤波器)应用于输入信号108a到c之前，音频分析器114可将频域修改应用于输入信号108a到c。为了说明，音频分析器114可通过将特定低通滤波器、特定高通滤波器或特定带通滤波器应用于输入信号108a到c来产生中间信号。音频分析器114可通过将特定静止噪声滤波器应用于中间信号以对具有满足(例如高于或低于)特定噪声参考等级的中间信号的一或多个频带进行滤波来产生音频信号110。
音频分析器114可将所产生的音频信号110提供到头戴式耳机112或其它输出装置107，例如扬声器。用户118可使用头戴式耳机112来监视或收听所产生的音频信号110，且可通过选择(例如移动)噪声抑制选项330来调整噪声抑制的等级。举例来说，用户118可在沙滩上，且可能想要捕获波浪的声音。在此实例中，用户118可在第一方向(例如左)上移动噪声抑制选项330来降低噪声抑制的等级。在另一实例中，用户118可在户外会议上，且可能想要捕获特定扬声器的语音。用户118可经由头戴式耳机112来收听音频信号110，且可认识到音频信号110具有对应于触摸麦克风104a到c的风的高噪声等级。在此实例中，用户118可通过在第二方向(例如右)上移动噪声抑制选项330来增加噪声抑制的等级。或者或另外，用户118可基于接收到关于所记录的音频的图形反馈，来将装置102移动到风较小的位置。
音频分析器114可基于表示使用例如基于音频分析器114所输出的过去音频信号110而输入的GUI的用户选择的用户输入数据，实现可对音频分析器114随后接收到的音频信号实时进行的实时或另外的动态校正或改变。应了解，在用户118提供任何输入来致使音频分析器114进行随后接收到的输入信号108a到c的任何处理时，过去音频信号110那时可能已经成为当前(或实时)音频信号110。以此方式，音频分析器114可使用户能够在接收到音频时对所述音频作出实时调整。音频分析器114对随后接收到的输入信号(或单个输入信号)作出调整，并使用一或多个输出装置107来输出以供呈现。
参看图3D，示出GUI 120的实例。在此实例中，示出噪声抑制选项330的另一实例。在此实例中，噪声抑制选项330由噪声指示符331补充，所述噪声指示符指示音频分析器114基于处理对应于麦克风104a到c的输入信号108a到c而检测到的静止噪声(例如背景噪声)的量。如上文所指出，用户可与噪声抑制选项330交互，以指示音频分析器114将要在一或多个输入信号108a到c中抑制的背景噪声(例如静止噪声)的量。在一些实例中，GUI 120针对麦克风104a到c中的每一者包含噪声抑制选项330和噪声指示符。
在一些实例中，为了估计噪声等级，其可以噪声331表示，音频分析器114可计算：
其中SNR＝静止噪声参考，Nref＝静止噪声参考的量值谱，i＝频段(1到512，如果使用512大小FFT)，且比例＝将用于GUI表示的比例因子。音频分析器114可按比例缩放此最终噪声参考的总能量，并使用所述最终噪声作为GUI中的噪声等级，例如噪声指示符331中所描绘的值。
在一些实例中，可针对噪声指示符331使用显示单一色彩(例如绿色)的单个条来描绘噪声等级。在此些实例中，绿色条相对于其底座越高，存在的静止噪声越多；且绿色条相对于其底座较低，存在的静止噪声越少。响应于应用噪声抑制，用于噪声指示符331的单一条可在同一条内包含第二色彩(例如蓝色)，以示出抑制的噪声的量。举例来说，假定测得静止噪声等级(或参考)将处于一定的量。噪声指示符331可爬升到对应于测得噪声的量的第一高度。在应用噪声抑制后，噪声指示符331的高度将保持相同，但绿色条的顶部将降低，以显示噪声抑制之后的噪声量小于噪声抑制之前的噪声量。绿色条上方可为在绿色条的顶部开始用噪声指示符331极爱能够所述条填充到顶部的另一彩色条(例如蓝色)。此蓝色条使用户能够快速地理解去除多少噪声。
举例来说，如图3D中示出，所描绘的白色条可对应于“绿色”条，且带影线的条可对应于“蓝色”条。通过检查绿色条与蓝色条之间的增量(即，改变)，用户可通知正抑制多少静止噪声。在噪声指示符331的绿色/蓝色条实例中，抑制之前的绿色条可基于使用上文的等式所计算的噪声的量。
抑制之后的绿色条可基于使用以下等式计算的噪声的量：其中Nref＝静止噪声参考的量值谱，i＝频段(1到512，如果使用512大小的FFT)，NSgain＝静止噪声的增益，且比例＝将用于GUI表示的比例因子。以此方式，如果应用25％噪声抑制，那么在抑制之后，绿色条的高度可减少25％。举例来说，在图3C中，示出50％抑制；然而，在图3D中，示出35％抑制。
在一些实例中，装置102的相机111可用于基于例如所捕获的照片且接着用音频分析器114分析所捕获的图像，来执行场景或对象检测。基于检测到的场景或对象，装置102可经由GUI 120向所述用户推荐或不推荐噪声抑制。图3D示出检测到的场景或对象指示以及噪声抑制推荐335的一个实例。在图3D中所示的实例中，音频分析器114检测海岸，其对应音频具有翻滚的波浪的声音作为静止噪声。音频分析器114可通过使用当前或先前记录的声音辅助音频分析器确定和识别特定图像的场景或对象，来增加场景或对象检测的准确性。在图3D中所示的实例中，音频分析器可能已基于捕获图像(例如沙滩)、当前记录的声音(例如波浪)或这两者而确定场景(或装置102的当前位置，如果处理正实时进行)是海岸。基于所述场景，音频分析器114可不推荐静止噪声抑制，如图所示。可不推荐抑制，因为宛如其它噪声的海浪可能不被视为噪声(例如可考虑将此类声音添加到所记录音频的周围环境)。在另一实例中，例如具有有噪声的空调或风扇的室内环境，场景检测算法可推荐静止噪声抑制。
另外，如图1中所说明，计算装置可能够使用计算装置的相机来执行场景或对象检测。基于检测到的场景或对象，计算装置可向用户推荐或不推荐噪声抑制。在图1的实例中，计算装置检测海岸，其对应音频具有翻滚的波浪的声音作为静止噪声。基于所述检测到的海岸场景，计算装置可不推荐静止噪声抑制。在另一实例中，例如具有有噪声的空调或风扇的室内环境，场景检测算法可推荐静止噪声抑制。
在一些实例中，位置定位可用于执行场景检测，不管是单独还是结合本文的场景检测的其它实例(例如分析图像)。举例来说，位置定位可指装置102的坐标或一或多个麦克风104a到c的坐标。装置102可为具有GPS功能的装置，其例如具有GPS接收器，所述GPS接收器经配置以在接收到必需的信号(例如一或多个卫星信号)后，即刻计算或确定2D位置(例如经纬度)或3D位置(例如纬度、经度以及海拔高度)。一或多个麦克风104a到c可具有GPS功能，其具有例如GPS接收器，所述GPS接收器经配置以在接收到必需的信号(例如一或多个卫星信号)后，即刻计算或确定2D位置(例如经纬度)或3D位置(例如纬度、经度和海拔高度)。音频分析器114可经配置以从装置102或者一或多个麦克风104a到c接收GPS数据(例如GPS坐标)。
音频分析器114可经配置以基于例如装置102或一或多个麦克风104a到c的一或多个GPS坐标来执行检测。基于检测到的场景，例如装置102基于在记录音频之前、期间或之后计算或确定的一或多个GPS坐标而确定其位置是在沙滩上，音频分析器114可推荐或不推荐静止噪声抑制。作为另一实例，音频分析器114可基于装置102的GPS坐标，基于使用所述GPS坐标计算的行进速率来确定所述装置在汽车、火车还是飞机上。在此实例中，音频分析器114可例如自动应用道路噪声滤波器、轨道滤波器或空中行进滤波器。此类滤波器可分别滤除与此类行进模式相关联的常见的不想要噪声，例如分别是道路噪声、轨道噪声和响亮的火车汽笛声，以及引擎噪声。在又其它实例中，GUI 120使用户能够输入位置(例如地址、城市、城市和州、国家，或任何其它识别信息)，来使音频分析器114能够执行场景选择，或以其它方式增强音频分析器114所执行的任何场景检测(例如增加其准确性)。
参看图3E，示出GUI 120的实例。在此实例中示出重新定位选项340的实例。在操作期间，用户118可选择扇区302a到e中的一者。在选择扇区之后，GUI 120可在其它可选选项140列表当中呈现重新定位选项340。举例来说，重新定位选项340可在GUI 120中表示为虚拟按钮的菜单或矩阵的一部分。作为关联选项340的一个实例使用，用户118可能想要改变解说员话音从中输出的音频输出装置107。解说员可相对于装置102从特定方向(例如用户118后面)说话。用户118可能想要产生音频信号110，使得解说员的所记录话音对应于特定信号或声道(例如中心声道)。用户118可选择解说员的话音与之相关联的一或多个扇区302a到e，且反过来选择重新定位选项340。接着，用户118可选择对应于所述解说员的话音的后续音频信号110将传送或重定位到的扇区或声道。其它实例可涉及关于何时告知音频分析器114所述选择对应于重定位信号或与重定位信号有关的不同次序的操作。
GUI 120可因此使用户能够产生多声道音频信号，使得对应于特定声道的音频信号对应于从对应于坐标地图的特定扇区的特定方向接收到的输入信号。举例来说，使用GUI120和重新定位选项340，用户可将正输出到与第一音频声道相关联的第一音频输出装置107的音频移动或再定位到第二不同位置，使得来自第一音频声道的音频移动到与第二音频声道相关联的第二音频输出装置107。作为一实例，如果解说员的话音来源于背声道，那么用户可使用GUI 120来将解说员的话音从后声道推动、拖曳或以其它方式移动到中心声道。在一些实例中，GUI 120使用户能够通过选择解说员的话音与之相关联的扇区来移动/再定位音频，且接着选定的下一扇区将致使音频分析器114将音频从第一扇区传送到第二扇区，从而有效地将所述音频移动到与所述第二扇区相关联的输出装置107。在其它实例中，GUI 120使用户能够通过选择音频声道(例如描绘为声道图标)的图形表示来移动/再定位音频，且接着另一音频声道的下一图形表示将致使音频分析器114将音频从第一音频声道传送到第二音频声道。由此，音频分析器114可将音频从第一区(例如扇区或声道)移动或再定位到第二区(例如扇区或声道)。在其它实例中，音频的移动可包含将音频移动到扇区或声道，同时使所述音频保持在发起扇区或声道。举例来说，解说员的话音可仅与背声道相关联。使用重新定位选项340，解说员的话音可移动成也与一或多个其它声道相关联。
用户可确定定向噪声应从与用户在扇区302a到e中的一者中的选择点“C”相关联的区重定位到另一区(例如一或多个其它扇区302a到e)。举例来说，如图3E中示出，用户可使用示出为从选择点“C”的箭头的向上拖曳示意动作来指示应将所述第一区重定位到与中心声道相关联的区。以此方式，GUI 120可使用户能够选择性地混合两个或更多个扇区以及任何对应音频声道。
参看图3F和3G，示出GUI 120的两个实例。在此实例中，示出音频等级(例如音量/振幅等级)指示符350的实例。图3F和3G是类似的，但示出不同等级的细节。
在操作期间，音频分析器114可确定与音频信号110中的每一者相关联的输出音频等级，所述音频信号110中的每一者与每一声道相关联(例如在5声道环绕设置中，音频信号110可包含五个信号，每一声道一个)。举例来说，音频分析器114可测量对应于声道/扬声器图标304a的第一音频信号的第一输出音频等级、对应于声道/扬声器图标304b的第二音频信号的第二输出音频等级，等等。音频分析器114可通过将特定度量(例如均方根)应用于与对应于声道/扬声器图标304a到c中的每一者的音频信号110相关联的声波的振幅来测量特定输出音频等级。
GUI 120可指示与音频信号110中的每一者相关联的输出音频等级。在一特定实例中，每一声道图标(例如声道图标304a到e)的色彩或其它图形表示可指示对应的输出音频等级(例如音量/振幅等级)。举例来说，第一色彩的声道图标304d可指示第一输出音频等级(例如音量/振幅等级)，第二色彩的声道图标304e可指示第二输出音频等级(例如音量级)，等等。在一个实例中，与可指示较低输出音频等级(例如音量/振幅等级)的较浅或较强烈的色彩(例如淡黄色)相比，较暗或较强烈的色彩(例如亮红色)可指示较高输出音频等级(例如音量/振幅等级)。在一些实例中，GUI 120可包含三维(3D)曲线图(例如3D网格曲线图)，其指示与音频信号110中的每一者相关联的输出音频等级。在另一实例中，图形音量条可位于声道/扬声器图标304a到e中的每一者的上方，以指示与每一音频信号110相关联的输出等级。
音频分析器114可确定与输入信号108a到c中的每一者相关联的输入音频等级(例如音量/振幅等级)。举例来说，音频分析器114可确定与第一输入信号108a相关联的第一输入音频等级、与第二输入信号108b相关联的第二输入音频等级、与第三输入信号108c相关联的第三输入音频等级，等等。将输入音频等级描绘为音频等级指示符350。音频分析器114可通过将特定度量(例如均方根)应用于与麦克风相关联的输入信号(即，例如，正从麦克风接收到的一或多个声波转换的输入信号)的振幅，来测量特定输入音频等级。音频分析器114可响应于确定对应输入信号与特定麦克风相关联，而确定特定输入音频等级(例如音量/振幅)与特定麦克风相关联。举例来说，第一输入音频等级可与第一麦克风104a相关联，第二输入音频等级可与第二麦克风104b相关联，第三输入音频等级可与第三麦克风104c相关联，等等。
GUI 120可指示与每一音频声道相关联的噪声等级。在特定实例中，每一声道图标(例如声道图标304a到e)的色彩或其它图形表示可指示对应噪声等级。举例来说，第一色彩的声道图标304d可指示第一噪声等级，第二色彩的声道图标304e可指示第二噪声等级，等等。在一个实例中，与可指示较低噪声等级的较浅或较不强烈的色彩(例如淡黄色)相比，较暗或较强烈的色彩(例如亮红色)可指示较高噪声等级。在一些实例中，噪声信息(例如噪声电平)由GUI经由一或多个音频声道的动态图形表示来在空间上呈现。举例来说，图形表示可基于对应于所述图形表示与之相关联的音频声道的噪声的量而改变。
GUI 120可显示器对应于每一麦克风的输入音频等级。举例来说，输入音频指示符350可包含输入音频等级的对应于第一输入音频等级的第一图形表示，输入音频等级的对应于第二输入音频等级的第二图形表示，输入音频等级的对应于第三输入音频等级的第三图形表示，等等。在特定实例中，特定输入音频等级指示符或图形表示的大小、色彩或这两者可指示对应的输入音频等级(例如音量/振幅)。举例来说，第一色彩(例如白色)的输入音频等级图标可指示对应的输入音频等级未能满足(例如低于)第一音频等级阈值。第二色彩(例如绿色)的输入音频等级图标可指示对应的输入音频等级满足(例如大于)第一音频等级阈值，且满足(例如小于)第二音频等级阈值。第三色彩(例如黄色)的输入音频等级图标可指示对应的输入音频等级未能满足(例如大于)第二音频等级阈值，且满足(例如小于)第三音频等级阈值。第四色彩(例如红色)的输入音频等级图标可指示对应的输入音频等级未能满足(例如大于)第三音频等级阈值。出于说明性目的而描述三个音频等级阈值。在特定实例中，输入音频等级指示符350可对应于少于三个或多于三个音频等级阈值。输入音频等级指示符350可指示麦克风饱和度告警。举例来说，特定色彩(例如红色)可对应于麦克风饱和度告警(即，特定输入信号的音量/振幅接近或已超出麦克风的饱和度，意味着输入信号将要或正被削波)。
在一些实例中，GUI 120包含用于用户的滑件或其它选择选项，使得可避免麦克风饱和度(例如麦克风削波)。举例来说，输入音频等级指示符350可各自与麦克风等级调整滑件相关联。通过向下或向上调整滑件，用户可降低或增加特定麦克风的麦克风增益或音频声道的增益。举例来说，如图3G中示出，GUI 120可包含增益调整器352。通过使用户能够调整增益，用户可能够避免麦克风饱和度，或能够增加低音量音频声道的音量，这可改进用户正记录的音频的质量。
GUI 120可因此向用户提供关于从麦克风接收到的输入信号108a到c的音频等级以及对应于所产生的多声道信号的声道的音频信号110的反馈。用户可基于所述反馈来采取动作。举例来说，用户可确定基于输入信号的音频等级来停用所述麦克风中的一或多者，且可因此启用所述麦克风。因此可改进用户体验。作为另一实例，所述用户可基于输入信号的音频等级来确定所述麦克风中的一或多者正削波或以其它方式饱和，且可停用任何进攻麦克风，或调整任何进攻麦克风的增益。因此可改进用户体验。在其它实例中，音频分析器114可认识到麦克风停用，并自动输出表示麦克风在错误状态下停用或以其它方式不工作的通知音频信号。此通知音频信号将使装置102能够在记录期间告知所述装置的用户一或多个麦克风在错误状态下停用或以其它方式不工作。可将通知信号输出到表示为通知声道的一或多个音频声道，其可能或可能不是在记录装置本地(即，所述记录装置的扬声器或所述装置外部的扬声器)。在其它实例中，所述通知可另外或替代地为所述装置能够提供给用户的另一输出，例如触觉反馈或选择图形信息。在其它实例中，所述通知可包含于音频信号110中的任一者中。
参看图3G，在操作期间，用户可使用输入装置(例如鼠标、触摸屏等)来选择头戴式耳机图标354，以使用头戴式耳机112作为输出装置107中的一者。音频分析器114可响应于接收到头戴式耳机图标354的选择而将音频信号110提供到头戴式耳机112。由于头戴式耳机可为立体声的，因此高于2声道的多声道信号可向下混合成具有2个声道的多声道信号。音频分析器114可响应于接收到头戴式耳机图标354的另一(即，第二或后续)选择而制止将音频信号110提供到头戴式耳机112。在特定实例中，第一色彩(例如绿色)的头戴式耳机图标354可指示音频分析器114正将音频信号110提供到头戴式耳机112，且第二色彩(例如白色)的头戴式耳机图标354可指示音频分析器114不在(或制止)将音频信号110提供到头戴式耳机112。
对应于声道图标304a到c中的每一者的特定图像可指示对应的输出音频等级，如本文所述。举例来说，对应于声道图标304a到e中的具有特定色彩(例如蓝色)的第一部分(例如所述第一图像的大部分)的第一者的第一图像可指示第一输出音频等级(例如高)，对应于声道图标304a到e中的具有所述特定色彩(例如蓝色)的第二部分(例如约所述第二图像的一半)的第二者的第二图像可指示第二输出音频等级(例如中等)，且对应于声道图标304a到e中的具有所述特定色彩(例如蓝色)的第三部分(例如无所述第二图像)的第三者可指示第三输出音频等级(例如无或低)。
音频分析器114可确定音频信号110的静止噪声等级，如图3G中示出。在一些实例中，在选择扇区302a到e或声道304a到e中的一者后，图3G中所示的静止噪声等级可即刻填充在GUI 120中。在此些实例中，静止噪声等级对应于特定扇区或声道。在其它实例中，图3G中所示的静止噪声等级可对应于所有音频信号110(或输入信号108a到c)上的噪声等级。举例来说，音频分析器114可基于音频信号110(或输入信号108a到c)的噪度度量(例如线性预测译码(LPC)预测增益)来确定静止噪声等级。在特定实例中，较低LPC预测增益可指示音频信号110的较高静止噪声等级。可依据音频信号110的变化或依据音频信号110的功率或能量来定义噪度度量。输出噪声等级指示符356可指示一或多个音频信号110(或输入信号108a到c中的一或多者)的静止噪声等级。作为一个实例，输出噪声等级指示符356的特定色彩(例如红色)的高度可指示音频信号110的静止噪声等级。
用户118可在第一方向上(例如向下)移动噪声抑制选项330以降低噪声抑制等级，或可在第二方向上(例如向上)移动噪声抑制选项330以增加噪声抑制等级。用户118可移动噪声抑制选项330来调整噪声抑制等级。音频分析器114可基于所述噪声抑制等级来产生音频信号110。输出噪声等级指示符356可指示音频信号110或输入信号108a到c的静止噪声等级。输出噪声等级图标356可因而向用户118提供关于选定噪声抑制等级对音频信号110或输入信号108a到c的静止噪声等级的影响的反馈。可实时呈现噪声等级指示符356，使得其指示当前记录的音频内存在的背景噪声的量(又称为静止噪声)。在一些实例中，噪声等级指示符356可相同，或以其它方式类似于噪声指示符331而呈现。举例来说，噪声等级指示符356可类似地包含绿色/蓝色条布置，以与噪声抑制之后剩余的噪声量相比，增强测得噪声的可视化。
一或多个增益调节器(或增益选项)352中的每一者可与特定麦克风相关联。举例来说，一或多个增益选项352中的第一增益选项可对应于图1的第一麦克风104a，所述一或多个增益选项352中的第二增益选项可对应于第二麦克风104b，等等。用户118可选择特定增益选项来调整与对应麦克风相关联的增益的等级。举例来说，用户118可在第一方向上(例如向上)移动第一增益选项，以增加与第一麦克风104a相关联的第一增益等级。在特定实例中，特定增益选项可对应于可选选项140。举例来说，音频分析器114可接收指示用户118选择了特定增益选项的选择130。选择130还可指示对应于所述特定增益选项的增益的等级。举例来说，选择130可指示用户118在第一方向上将所述特定增益选项移动了第一距离。所述第一距离可对应于第一改变量，且所述第一方向可指示对应的增益等级将增加(或减少)。音频分析器114可基于选择130来确定对应于特定增益选项的第一增益等级将增加(或减少)第一改变量。音频分析器114可使对应麦克风的增益等级增加(或减少)第一改变量。随后，可更新输入音频等级指示符350，以指示对应于增益已改变的麦克风的输入音频等级。输入音频等级指示符350可因而向用户118提供关于选定增益等级对对应于麦克风的第一输入音频等级的影响的反馈。
GUI 120可因此在多声道音频产生期间向用户提供反馈。用户可基于所述反馈作出选择来修改多声道音频产生，从而改进所产生的多声道音频的用户体验和质量。
本发明的图中说明的每一GUI 120可包含比所说明的组件少的组件或多的组件(例如图形表示、可选图形表示等)。
参看图4，示出多声道音频产生的方法400的特定说明性实例的流程图。在示出的实例中，音频分析器114可执行一或多个步骤。
方法400包含在第一装置处从多个麦克风接收(402)第一多个输入信号。举例来说，装置102的音频分析器114可从麦克风104a到c接收输入信号108a到c。
方法400还包含在第一装置处显示(404)图形用户接口。所述图形用户接口可包含可选选项来使所述用户能够与音频分析器114交互。举例来说，用户可与如显示器106上呈现的图形音频声道的表示交互，以尤其调整音频记录参数或音频处理参数。装置102的音频分析器114可显示GUI 120，如本文所述。
方法400进一步包含接收(406)可选选项的选择。举例来说，装置102的音频分析器114可接收选择130，如本文所述。
方法400还包含基于接收到所述选择，从所述第一多个输入信号产生(408)第二多个音频信号。举例来说，音频分析器114可基于接收到选择130从输入信号108a到c产生音频信号110，如本文所述。第二多个音频信号中的每一者可与特定方向相关联。音频信号110中的每一者可与特定方向(例如左、右、中心、左-环绕或右-环绕)相关联，如本文所述。
方法400进一步包含将第二多个音频信号发送(410)到头戴式耳机(或其它输出装置107)。举例来说，音频分析器114可将音频信号110发送到头戴式耳机112(或其它输出装置107)，如本文所述。
方法400还包含将第二多个音频信号存储(412)在存储器中。举例来说，音频分析器114可将音频信号110存储在GUI数据150中，或将与音频信号110相关联或以其它方式对应于所述音频信号的信息存储在GUI数据150中。GUI数据150可存储在耦合到装置102或包含于装置102中的存储器中。
方法400可基于接收到GUI的可选选项的选择而实现从第一多个输入信号产生多声道音频信号(例如第二多个音频信号)。方法400可因此实现多声道音频信号的交互式产生，从而改进所产生的多声道音频信号的用户体验和质量。
图5是说明根据本发明的一或多种技术的实例操作的流程图。在图5中所示的实例中，一种计算装置可接收(500)以通信方式耦合到计算装置的多个麦克风所输出的多个实时音频信号。举例来说，所述多个麦克风中的一或多者可以通信方式耦合到计算装置，使得它们建构到所述装置中。作为另一实例，所述多个麦克风中的一或多者可以通信方式耦合到计算装置，使得它们不建构到所述装置中(例如外围麦克风)。
所述计算装置可向显示器输出(502)呈现与所接收到的音频信号相关联的音频信息的图形用户接口(GUI)。举例来说，所述音频信息可为实时音频信息。作为可以任何组合一起使用或彼此分开使用的一些额外实例，音频信息可包含与实时音频信号中的每一者、所述多个麦克风中的每一者、一或多个输出装置、与一或多个输出装置有关的音量等级、一或多个麦克风的饱和度等级或噪声电平有关的信息。本发明中识别其它实例。
可基于与经由GUI呈现的音频信息相关联的用户输入来处理(504)所接收的音频信号中的一或多者，以产生一或多个经处理音频信号。举例来说，所述计算装置的一或多个处理器可处理所接收的音频信号。作为一个实例，所述计算装置的一或多个处理器可处理所接收的音频信号，以上混或下混所接收的音频信号。所述上混或下混可基于从经由GUI呈现的所述多个声道配置选项的声道配置选择。作为另一实例，如果存在两个麦克风，且声道配置选择指示三个输出装置(例如三个扬声器)，那么所述一或多个处理器可将来自所述两个麦克风的两个音频信号上混成经配置以用于结合三个输出装置使用的三声道多声道信号。作为另一实例，如果存在三个麦克风，且声道配置选择指示两个输出装置(例如两个扬声器)，所述一或多个处理器可将来自所述三个麦克风的三个音频信号下混成经配置以用于结合两个输出装置使用的双通道多声道信号。
作为另一实例，所述计算装置的一或多个处理器可处理所接收的音频信号，以对所接收的音频信号进行滤波。所述滤波可基于从经由GUI呈现的一或多个噪声抑制选项的噪声抑制选择。
作为另一实例，所述计算装置的一或多个处理器可处理所接收的音频信号，以处理所述多个音频信号中的第一音频信号，使得在处理之前，所述第一音频信号与第一音频声道相关联，且在处理之后，所述第一音频信号与第二音频声道相关联。作为又一实例，所述计算装置的一或多个处理器可处理所接收的音频信号，以处理所述多个音频信号中的第一音频信号，使得在处理之前，所述第一音频信号仅与第一音频声道相关联，且在处理之后，所述第一音频信号仅与第二音频声道相关联。
可输出一或多个经处理音频信号(506)。举例来说，可将一或多个经处理的音频信号输出到输出装置，例如扬声器或头戴式耳机。
图6是说明根据本发明的一或多种技术的实例操作的流程图。在图6中所示的实例中，一种计算装置可接收(600)以通信方式耦合到计算装置的多个麦克风所输出的多个实时音频信号。举例来说，所述多个麦克风中的一或多者可以通信方式耦合到计算装置，使得它们建构到所述装置中。作为另一实例，所述多个麦克风中的一或多者可以通信方式耦合到计算装置，使得它们不建构到所述装置中(例如外围麦克风)。在一些实例中，所述计算装置可产生与所接收的音频信号相关联的音频信息，以存储在存储器中。举例来说，所述存储器可为本文所揭示的任何存储器，例如与所述多个麦克风中的一或多者相关联的存储器，与和所述多个麦克风中的一或多者相关联的接口相关联的存储器，与CPU、GPU或其它处理器相关联的存储器、系统存储器等等。所述存储器可为本发明中所描述的一或多个存储器的组合。所述存储器可为内部或外部的。举例来说，所述存储器可在CPU、GPU或其它处理器内部，或所述存储器可在CPU、GPU或其它处理器外部。所述存储器可构成临时存储空间、永久性存储空间或其组合。
计算装置可向显示器输出(602)呈现与所接收的音频信号中的一或多者相关联的噪声信息的图形用户接口(GUI)。举例来说，所述噪声信息可为与所接收的音频信号中的一或多者相关联的实时音频信息。作为另一实例，经由GUI呈现的噪声信息包含与对应于所接收的音频信号中的一或多者的噪声量有关的信息，且其中所述GUI包含一或多个噪声抑制选项。
可基于与经由GUI呈现的噪声信息相关联的用户输入来处理(604)所接收到的音频信号中的一或多者，以产生一或多个经处理音频信号。举例来说，所述计算装置的一或多个处理器可处理所接收的音频信号。作为一个实例，所述计算装置的一或多个处理器可处理所接收的音频信号，以计算对应于所接收的音频信号中的一或多者的噪声量。作为另一实例所述计算装置的一或多个处理器可基于从经由GUI呈现的一或多个噪声抑制选项的噪声抑制选择来处理所接收的音频信号，以对所接收的音频信号进行滤波。在一些实例中，滤波可包含使所接收的音频信号中的一或多者中的噪声衰减。
在一些实例中，所述计算装置的一或多个处理器可检测对应于计算装置所位于的位置类型的场景，基于所述检测到的对应于所述位置类型的场景来确定是否推荐噪声抑制，经由GUI呈现所述所确定的噪声抑制推荐，或其任何组合。在一个实例中，检测场景可基于以下各项中的一或多者：计算装置使用相机所捕获的图像，或所接收的音频信号中的一或多者。
可输出一或多个经处理音频信号(606)。举例来说，可将一或多个经处理的音频信号输出到输出装置，例如扬声器或头戴式耳机。
根据本发明，在上下文并无其它指示的情况下，可将术语“或”推断为“和/或”。另外，虽然例如“一或多个”或“至少一个”等短语可能已用于本文所揭示的一些特征而不是其它特征；但在上下文并无其它指示的情况下，未针对其使用此类语言的特征可解释为暗含此类含义。
本发明中所描述的技术可至少部分在硬件、软件、固件或其任何组合中实施。举例来说，所描述技术的各种方面可实施于一或多个处理器中，包含一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)，或任何其它等效集成或离散逻辑电路，以及这些组件的任何组合。术语“处理器”或“处理电路”可通常指代前述逻辑电路中的任一者，单独或结合其它逻辑电路，或任何其它等效电路。包含硬件的控制单元也可执行本发明的技术中的一或多者。
此类硬件、软件和固件可在同一装置内或在单独裝置内实施，以支持本发明中描述的各种技术。另外，所描述的单元、模块或组件中的任一者可一起或单独作为离散但可互操作逻辑装置而实施。将不同特征描绘为模块或单元意图强调不同功能方面且未必暗示此类模块或单元必须由单独硬件、固件或软件组件实现。实际上，与一或多个模块或单元相关联的功能性可由单独硬件、固件和/或软件组件执行，或集成在共用或单独硬件、固件或软件组件内。
本发明中所描述的技术在包含编码有指令的计算机可读存储媒体的制品中体现或编码。嵌入或编码在包含经编码的计算机可读存储媒体的制品中的指令可致使一或多个可编程处理器或其它处理器实施本文所述的技术中的一或多者，例如在包含或编码在计算机可读存储媒体中的指令由一或多个处理器执行时。计算机可读存储媒体可包含随机存取存储器(RAM)、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、快闪存储器、硬盘、压缩光盘ROM(CD-ROM)、软盘、盒式磁带、磁性媒体、光学媒体或其它计算机可读媒体。在一些实例中，一种制品可包含一或多个计算机可读存储媒体。
在一些实例中，一种计算机可读存储媒体可包含非暂时性媒体。术语“非暂时性”可指示存储媒体未体现于载波或所传播信号中。在某些实例中，非暂时性存储媒体可存储可随时间而改变(例如，在RAM或高速缓冲存储器中)的数据。
所属领域的技术人员将了解，可使用一或多个电路、处理器和/或软件来实施本文所描述的方法和过程。电路是指任何电路，不管是集成的还是在处理单元外部。软件是指可由处理单元执行以实现所要结果的代码或指令。此软件可本地存储在所述装置的存储媒体上，例如处理单元的存储器、系统存储器或其它存储器上。
提供对所揭示实例的先前描述是为了使所属领域的技术人员能够制作或使用所揭示的实例。所属领域的技术人员将容易明白对这些实例的各种修改，且在不脱离本发明的范围的情况下，本文中所界定的原理可应用于其它实例。因此，本发明无意限于本文中示出的实例，而是应被赋予与如所附权利要求书所界定的原理和新颖特征一致的可能的最广范围。

Claims (1)

1.一种处理音频的方法，所述方法包括：
通过计算装置接收以通信方式耦合到所述计算装置的多个麦克风所输出的多个实时音频信号；
确定与所述所接收的音频信号相关联的位置类型；
向显示器输出用于呈现与所述所接收的音频信号中的一或多者相关联的噪声信息的图形用户接口GUI，其中所述噪声信息包含基于与所述所接收的音频信号相关联的所述位置类型的噪声抑制推荐；
基于与经由所述GUI呈现的所述噪声信息相关联的用户输入来处理所述所接收的音频信号中的一或多者，以产生一或多个经处理音频信号；以及
输出所述一或多个经处理音频信号。
CN201910690711.9A 2014-07-03 2015-07-02 单声道或多声道音频控制接口 Pending CN110569016A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462020928P 2014-07-03 2014-07-03
US62/020,928 2014-07-03
US14/789,766 US10051364B2 (en) 2014-07-03 2015-07-01 Single channel or multi-channel audio control interface
US14/789,766 2015-07-01
CN201580035448.XA CN106664484B (zh) 2014-07-03 2015-07-02 单声道或多声道音频控制接口

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201580035448.XA Division CN106664484B (zh) 2014-07-03 2015-07-02 单声道或多声道音频控制接口

Publications (1)

Publication Number Publication Date
CN110569016A true CN110569016A (zh) 2019-12-13

Family

ID=53783304

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201910690711.9A Pending CN110569016A (zh) 2014-07-03 2015-07-02 单声道或多声道音频控制接口
CN201580035622.0A Active CN106664490B (zh) 2014-07-03 2015-07-02 单声道或多声道音频控制接口
CN201580035448.XA Active CN106664484B (zh) 2014-07-03 2015-07-02 单声道或多声道音频控制接口

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN201580035622.0A Active CN106664490B (zh) 2014-07-03 2015-07-02 单声道或多声道音频控制接口
CN201580035448.XA Active CN106664484B (zh) 2014-07-03 2015-07-02 单声道或多声道音频控制接口

Country Status (4)

Country Link
US (2) US10073607B2 (zh)
EP (2) EP3165003B1 (zh)
CN (3) CN110569016A (zh)
WO (2) WO2016004345A1 (zh)

Families Citing this family (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
EP3809407A1 (en) 2013-02-07 2021-04-21 Apple Inc. Voice trigger for a digital assistant
WO2015103439A1 (en) * 2014-01-03 2015-07-09 Harman International Industries, Incorporated Gesture interactive wearable spatial audio system
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10073607B2 (en) 2014-07-03 2018-09-11 Qualcomm Incorporated Single-channel or multi-channel audio control interface
USD762663S1 (en) * 2014-09-02 2016-08-02 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
US10552009B2 (en) 2014-09-02 2020-02-04 Apple Inc. Stopwatch and timer user interfaces
USD766267S1 (en) * 2014-09-02 2016-09-13 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
WO2016052876A1 (en) * 2014-09-30 2016-04-07 Samsung Electronics Co., Ltd. Display apparatus and controlling method thereof
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
JP6236748B2 (ja) * 2015-03-25 2017-11-29 ヤマハ株式会社 音処理装置
KR102386309B1 (ko) * 2015-06-04 2022-04-14 삼성전자주식회사 전자 장치 및 전자 장치에서의 입출력 제어 방법
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10013996B2 (en) 2015-09-18 2018-07-03 Qualcomm Incorporated Collaborative audio processing
US9706300B2 (en) * 2015-09-18 2017-07-11 Qualcomm Incorporated Collaborative audio processing
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US11929088B2 (en) * 2015-11-20 2024-03-12 Synaptics Incorporated Input/output mode control for audio processing
WO2017098525A1 (en) * 2015-12-09 2017-06-15 Smartron India Private Limited A system and method for controlling miracast content with hand gestures and audio commands
CN105741861B (zh) * 2016-02-05 2017-12-15 京东方科技集团股份有限公司 智能播放系统、方法、可穿戴设备、主体单元和播放单元
CN109313465A (zh) * 2016-04-05 2019-02-05 惠普发展公司，有限责任合伙企业 用于多个麦克风和扬声器系统与主机对接的音频接口
US10419455B2 (en) * 2016-05-10 2019-09-17 Allstate Insurance Company Cyber-security presence monitoring and assessment
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
US10409552B1 (en) * 2016-09-19 2019-09-10 Amazon Technologies, Inc. Speech-based audio indicators
US11431836B2 (en) 2017-05-02 2022-08-30 Apple Inc. Methods and interfaces for initiating media playback
US10992795B2 (en) 2017-05-16 2021-04-27 Apple Inc. Methods and interfaces for home media control
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK201770429A1 (en) 2017-05-12 2018-12-14 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770411A1 (en) * 2017-05-15 2018-12-20 Apple Inc. MULTI-MODAL INTERFACES
US20220279063A1 (en) 2017-05-16 2022-09-01 Apple Inc. Methods and interfaces for home media control
CN111343060B (zh) 2017-05-16 2022-02-11 苹果公司 用于家庭媒体控制的方法和界面
WO2018220947A1 (ja) 2017-05-29 2018-12-06 株式会社オーディオテクニカ 信号処理装置
US10012691B1 (en) * 2017-11-07 2018-07-03 Qualcomm Incorporated Audio output diagnostic circuit
CN108200515B (zh) * 2017-12-29 2021-01-22 苏州科达科技股份有限公司 多波束会议拾音系统及方法
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
CN114845122B (zh) 2018-05-07 2024-04-30 苹果公司 用于查看实况视频馈送和录制视频的用户界面
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
JP7314130B2 (ja) * 2018-06-06 2023-07-25 ＡｌｐｈａＴｈｅｔａ株式会社 音量操作装置
US20210368267A1 (en) * 2018-07-20 2021-11-25 Hewlett-Packard Development Company, L.P. Stereophonic balance of displays
US11432071B2 (en) * 2018-08-08 2022-08-30 Qualcomm Incorporated User interface for controlling audio zones
US11240623B2 (en) 2018-08-08 2022-02-01 Qualcomm Incorporated Rendering audio data from independently controlled audio zones
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US10887467B2 (en) * 2018-11-20 2021-01-05 Shure Acquisition Holdings, Inc. System and method for distributed call processing and audio reinforcement in conferencing environments
US11264029B2 (en) 2019-01-05 2022-03-01 Starkey Laboratories, Inc. Local artificial intelligence assistant system with ear-wearable device
US11264035B2 (en) 2019-01-05 2022-03-01 Starkey Laboratories, Inc. Audio signal processing for automatic transcription using ear-wearable device
US11463615B2 (en) * 2019-03-13 2022-10-04 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11010121B2 (en) 2019-05-31 2021-05-18 Apple Inc. User interfaces for audio media control
KR102436985B1 (ko) 2019-05-31 2022-08-29 애플 인크. 오디오 미디어 제어를 위한 사용자 인터페이스
US10904029B2 (en) 2019-05-31 2021-01-26 Apple Inc. User interfaces for managing controllable external devices
US11363071B2 (en) 2019-05-31 2022-06-14 Apple Inc. User interfaces for managing a local network
US11468890B2 (en) 2019-06-01 2022-10-11 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11038934B1 (en) 2020-05-11 2021-06-15 Apple Inc. Digital assistant hardware abstraction
US11079913B1 (en) 2020-05-11 2021-08-03 Apple Inc. User interface for status indicators
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
US11922949B1 (en) * 2020-08-17 2024-03-05 Amazon Technologies, Inc. Sound detection-based power control of a device
KR20230054308A (ko) * 2020-08-21 2023-04-24 엘지전자 주식회사 복수의 오디오 기기를 이용하여 다채널 오디오를 출력하는 단말기 및 그 방법
US11392291B2 (en) 2020-09-25 2022-07-19 Apple Inc. Methods and interfaces for media control with dynamic feedback
KR20220065370A (ko) * 2020-11-13 2022-05-20 삼성전자주식회사 전자장치 및 그 제어방법
CN114567840B (zh) * 2020-11-27 2024-02-06 北京小米移动软件有限公司 音频输出方法及装置、移动终端及存储介质
US11741983B2 (en) * 2021-01-13 2023-08-29 Qualcomm Incorporated Selective suppression of noises in a sound signal
JP2022134182A (ja) * 2021-03-03 2022-09-15 ヤマハ株式会社 映像出力方法、映像出力装置および映像出力システム
WO2023192046A1 (en) * 2022-03-29 2023-10-05 Dolby Laboratories Licensing Corporation Context aware audio capture and rendering
US20240070110A1 (en) * 2022-08-24 2024-02-29 Dell Products, L.P. Contextual noise suppression and acoustic context awareness (aca) during a collaboration session in a heterogenous computing platform

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102007532A (zh) * 2008-04-16 2011-04-06 Lg电子株式会社 用于处理音频信号的方法和装置
US20110289410A1 (en) * 2010-05-18 2011-11-24 Sprint Communications Company L.P. Isolation and modification of audio streams of a mixed signal in a wireless communication device
US20140163982A1 (en) * 2012-12-12 2014-06-12 Nuance Communications, Inc. Human Transcriptionist Directed Posterior Audio Source Separation

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR930007376B1 (ko) 1991-07-19 1993-08-09 삼성전자 주식회사 음향레벨 자동 조절장치
US7499969B1 (en) 2004-06-25 2009-03-03 Apple Inc. User interface for multiway audio conferencing
WO2007021923A2 (en) * 2005-08-11 2007-02-22 Sokol Anthony B System and method of adjusting audiovisual content to improve hearing
WO2007072467A1 (en) 2005-12-19 2007-06-28 Thurdis Developments Limited An interactive multimedia apparatus
US8587723B2 (en) * 2006-11-07 2013-11-19 Sony Corporation Electronic equipment, control information transmission and reception methods having bidirecitonal communication using predetermined lines
US20080253592A1 (en) 2007-04-13 2008-10-16 Christopher Sanders User interface for multi-channel sound panner
US20080259731A1 (en) 2007-04-17 2008-10-23 Happonen Aki P Methods and apparatuses for user controlled beamforming
JP5555987B2 (ja) 2008-07-11 2014-07-23 富士通株式会社 雑音抑圧装置、携帯電話機、雑音抑圧方法及びコンピュータプログラム
US20100040217A1 (en) 2008-08-18 2010-02-18 Sony Ericsson Mobile Communications Ab System and method for identifying an active participant in a multiple user communication session
CN102461208B (zh) 2009-06-19 2015-09-23 杜比实验室特许公司 用于可升级介质内核和引擎的用户特定特征
JP2011030180A (ja) 2009-06-29 2011-02-10 Sony Corp 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
TW201116041A (en) * 2009-06-29 2011-05-01 Sony Corp Three-dimensional image data transmission device, three-dimensional image data transmission method, three-dimensional image data reception device, three-dimensional image data reception method, image data transmission device, and image data reception
US8265928B2 (en) 2010-04-14 2012-09-11 Google Inc. Geotagged environmental audio for enhanced speech recognition accuracy
US9661428B2 (en) 2010-08-17 2017-05-23 Harman International Industries, Inc. System for configuration and management of live sound system
EP2460464A1 (en) * 2010-12-03 2012-06-06 Koninklijke Philips Electronics N.V. Sleep disturbance monitoring apparatus
US8903722B2 (en) 2011-08-29 2014-12-02 Intel Mobile Communications GmbH Noise reduction for dual-microphone communication devices
US8712076B2 (en) 2012-02-08 2014-04-29 Dolby Laboratories Licensing Corporation Post-processing including median filtering of noise suppression gains
US20150296247A1 (en) 2012-02-29 2015-10-15 ExXothermic, Inc. Interaction of user devices and video devices
EP2642407A1 (en) * 2012-03-22 2013-09-25 Harman Becker Automotive Systems GmbH Method for retrieving and a system for reproducing an audio signal
US10107887B2 (en) 2012-04-13 2018-10-23 Qualcomm Incorporated Systems and methods for displaying a user interface
US9161149B2 (en) 2012-05-24 2015-10-13 Qualcomm Incorporated Three-dimensional sound compression and over-the-air transmission during a call
US9966067B2 (en) 2012-06-08 2018-05-08 Apple Inc. Audio noise estimation and audio noise reduction using multiple microphones
EP2680616A1 (en) 2012-06-25 2014-01-01 LG Electronics Inc. Mobile terminal and audio zooming method thereof
US8989552B2 (en) 2012-08-17 2015-03-24 Nokia Corporation Multi device audio capture
WO2014032709A1 (en) 2012-08-29 2014-03-06 Huawei Technologies Co., Ltd. Audio rendering system
US20140105411A1 (en) 2012-10-16 2014-04-17 Peter Santos Methods and systems for karaoke on a mobile device
US20140115470A1 (en) 2012-10-22 2014-04-24 Apple Inc. User interface for audio editing
US9412375B2 (en) 2012-11-14 2016-08-09 Qualcomm Incorporated Methods and apparatuses for representing a sound field in a physical space
US20140191759A1 (en) * 2012-11-14 2014-07-10 Mark S. Olsson Multi-frequency locating systems and methods
US10073607B2 (en) 2014-07-03 2018-09-11 Qualcomm Incorporated Single-channel or multi-channel audio control interface
US9778899B2 (en) 2015-02-25 2017-10-03 Intel Corporation Techniques for setting volume level within a tree of cascaded volume controls with variating operating delays

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102007532A (zh) * 2008-04-16 2011-04-06 Lg电子株式会社 用于处理音频信号的方法和装置
US20110289410A1 (en) * 2010-05-18 2011-11-24 Sprint Communications Company L.P. Isolation and modification of audio streams of a mixed signal in a wireless communication device
US20140163982A1 (en) * 2012-12-12 2014-06-12 Nuance Communications, Inc. Human Transcriptionist Directed Posterior Audio Source Separation

Also Published As

Publication number Publication date
EP3165004B1 (en) 2021-08-18
US20160004499A1 (en) 2016-01-07
US10073607B2 (en) 2018-09-11
WO2016004356A1 (en) 2016-01-07
US20160004405A1 (en) 2016-01-07
EP3165003B1 (en) 2018-08-29
EP3165004A1 (en) 2017-05-10
EP3165003A1 (en) 2017-05-10
CN106664490A (zh) 2017-05-10
WO2016004345A1 (en) 2016-01-07
CN106664484A (zh) 2017-05-10
US10051364B2 (en) 2018-08-14
CN106664490B (zh) 2019-05-14
CN106664484B (zh) 2019-08-23

Similar Documents

Publication Publication Date Title
US10051364B2 (en) Single channel or multi-channel audio control interface
US11064310B2 (en) Method, apparatus or systems for processing audio objects
US9361898B2 (en) Three-dimensional sound compression and over-the-air-transmission during a call
CN109644314B (zh) 渲染声音程序的方法、音频回放系统和制造制品
US10136240B2 (en) Processing audio data to compensate for partial hearing loss or an adverse hearing environment
KR101820224B1 (ko) 믹싱 데스크, 사운드 신호 생성기, 사운드 신호를 제공하기 위한 방법 및 컴퓨터 프로그램
JP2020025310A (ja) 見かけのサイズをもつオーディオ・オブジェクトの任意のラウドスピーカー・レイアウトへのレンダリング
EP2997573A1 (en) Spatial object oriented audio apparatus
US20220232340A1 (en) Indication of responsibility for audio playback

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191213

WD01 Invention patent application deemed withdrawn after publication