CN103905960B - 手持装置中的增强立体声音频记录 - Google Patents

手持装置中的增强立体声音频记录 Download PDF

Info

Publication number
CN103905960B
CN103905960B CN201310554009.2A CN201310554009A CN103905960B CN 103905960 B CN103905960 B CN 103905960B CN 201310554009 A CN201310554009 A CN 201310554009A CN 103905960 B CN103905960 B CN 103905960B
Authority
CN
China
Prior art keywords
microphone
stereo
sound
processing
electronic device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310554009.2A
Other languages
English (en)
Other versions
CN103905960A (zh
Inventor
A·赫尔曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DSP Group Ltd
Original Assignee
DSP Group Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DSP Group Ltd filed Critical DSP Group Ltd
Publication of CN103905960A publication Critical patent/CN103905960A/zh
Application granted granted Critical
Publication of CN103905960B publication Critical patent/CN103905960B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/027—Spatial or constructional arrangements of microphones, e.g. in dummy heads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Stereophonic System (AREA)
  • Telephone Function (AREA)
  • Stereophonic Arrangements (AREA)

Abstract

本申请涉及手持装置中的增强立体声音频记录。提供了用于电子装置中的增强立体声音频记录的方法和系统。可以评估在所述电子装置中使用第一麦克风和第二麦克风的立体声记录性能；和可以基于所评估的立体声记录性能，配置对由第一麦克风和第二麦克风产生的信号的处理。所述配置可以包括自适应地修改所述处理以增强立体声记录性能，以匹配或接近理想性能。可以基于第一麦克风和第二麦克风中的每一个的类型和/或基于第一麦克风与第二麦克风之间的间距来评估所述电子装置中的立体声记录。可以自适应地修改所述处理，以在麦克风是全向麦克风时模拟第一麦克风和第二麦克风对信号的方向性接收。

Description

手持装置中的增强立体声音频记录
优先权声明
本专利申请参考在2012年11月8日提交的标题为“Enhanced Stereo AudioRecordings in Handheld Devices”的美国临时专利申请No.61/723,797，并且要求其优先权，通过引用将上述申请的全部内容并入于此。
技术领域
本申请的方面涉及音频处理。更具体来说，本公开的某些实现涉及手持装置中的增强立体声音频记录。
背景技术
用于管理电子设备中的音频输入/输出组件（例如扬声器和麦克风）的现有方法和系统可能是低效和/或昂贵的。本领域技术人员通过将常规和传统方案与本公开的以下部分参照附图阐述的本方法和装置的一些方面相比较，将清楚传统方案的更多限制和缺点。
发明内容
提供了一种系统和/或方法，用于手持装置中的增强立体声音频记录，基本上如至少一幅附图中所示和/或联系至少一幅附图所描述，如权利要求中更完整阐述。
通过以下描述和附图将更充分理解本公开的这些和其他优点、方面和新颖特征以及所例示的其（一个或多个）实现方式的细节。
附图说明
图1示出了带有面向同一方向的两个麦克风的示例电子装置。
图2示出了带有面向同一方向并且彼此靠近地隔开的两个麦克风的示例手持装置。
图3示出了带有多个麦克风的示例电子装置的架构，可配置成支持增强立体声音频记录。
图4示出了带有面向同一方向的两个全向麦克风的电子装置中的示例记录情形。
图5是示出增强立体声音频记录的示例处理的流程图。
具体实施方式
在用于电子装置（尤其是手持装置）中的增强立体声音频记录的方法和系统中可找到某些实现方式。这里使用的术语“电路”指的是物理电子组件（即硬件）和可配置硬件、被硬件执行和/或以其他方式与硬件相关联的任何软件和/或固件（“代码”）。例如，就这里使用的而言，特定处理器和存储器在执行第一多行代码时可包括第一“电路”，并且在执行第二多行代码时可包括第二“电路”。这里使用的“和/或”指的是由“和/或”联接的列表中的项目中的任何一个或多个。作为示例，“x和/或y”指的是三元素集合{(x),(y),(x,y)}的任何元素。作为另一示例，“x、y和/或z”指的是七元素集合{(x),(y),(z),(x,y),(x,z),(y,z),(x,y,z)}的任何元素。这里使用的术语“方框”和“模块”指的是可由一个或多个电路执行的功能。这里使用的术语“示例”指的是用作非限制性示例、实例或例示。这里使用的术语“例如”和“比如”引出一个或多个非限制性示例、实例或例示的列表。就这里使用的而言，每当电路包括执行一功能所必要的硬件和代码（如果必需任何代码的话）时，该电路就“可操作来”执行该功能，无论该功能的执行是否被某种用户可配置设定所禁止或未使能。
图1示出了带有面向同一方向的两个麦克风的示例电子装置。参考图1，示出了电子设备100。
电子设备100可包括用于执行或支持各种功能、操作、应用和/或服务的适当电路。电子设备100所执行或支持的功能、操作、应用和/或服务可基于用户指令和/或预配置的指令来运行或被控制。
在一些情况中，电子设备100可根据一个或多个支持的无线和/或有线协议或标准支持数据的通信，例如经由有线和/或无线连接。
在一些情况下，电子装置100可以是手持装置，即，打算由用户在使用该装置的过程中手持，允许在移动过程中并且/或者在不同的位置处使用该装置。在这个方面，电子装置100可以被设计成和/或配置成易于移动，如在由用户移动时用户手持该装置的同时该装置易于移动，并且电子装置100可以被配置成在移动时执行该装置所支持的操作、功能、应用和/或服务中的至少一些。作为手持装置的示例电子装置包括通信移动装置（例如，蜂窝电话、智能电话和/或平板装置）、计算机（例如，膝上型计算机）、媒体装置（例如，便携式媒体播放器和照相机）等。电子装置100设置可以是可佩戴装置，即，可以由装置的用户佩戴，而不是由用户的手保持。可佩戴电子装置的示例可以包括数字手表和手表式装置（例如，iWatch）。不过本公开并不限于任何特定类型的电子装置。
电子装置100可以支持音频的输入和/或输出。电子装置100可以包括例如用于输出和/或输入（捕获）音频的多个扬声器和麦克风，以及用于驱动、控制和/或使用扬声器和麦克风的合适的电路。如图1所示，例如，电子装置100可以包括扬声器110和一对麦克风120和130。扬声器110可以用于从电子装置100输出音频（或其他声音）信号；而麦克风120和130可以用于将音频或其他声音信号输入（例如，采集到）电子装置中。使用两个麦克风(120和130)是合意的，因为这允许支持立体声效果。在这个方面，当两个耳朵以振幅和相位的一些差别接收和/或捕获到普通信号时，人类大脑会体验到立体声效果。由于如下事实，会产生立体声效果：两个耳朵彼此相隔一定距离，并且它们的选择性灵敏度的方向相反，即，取决于信号源的位置，一个耳朵会比另一个耳朵更早并且更强地捕获到声音。相位差通常对立体声体验的影响有限（它限于较低的频域），而振幅差可以是影响该体验的更重要的属性。因此，为了在记录过程中（例如，利用电子装置，如电子装置100）保留立体声效果，可以使用专门为此目的布置的两个麦克风。具体来说，可以将麦克风布置成使得它们可以从同一声源接收信号（例如，通过将它们放置在电子装置或其壳体的同一侧或表面），并且/或者将它们放置成在它们之间相隔足以模仿人耳（对音频）的接收的一定距离（分隔距离140）。为了实现最优立体声记录性能，需要以特定方式布置麦克风（例如，相隔有效距离，例如15cm，和/或具有方向性接收特性）。
在一些情况下，希望将麦克风布置成使得它们彼此靠近。例如，在移动通信装置中，打算用于音频记录的麦克风也可以用于支持诸如减噪之类的功能。移动通信装置中的高级减噪技术的使用包括例如使用两个可用于拾取环境噪声的麦克风。在一些情况下，当两个麦克风被放置成彼此靠近（例如，在1-2cm的范围内），以确保在两个麦克风中拾取的噪声之间的相关性显著较高时，减噪性能通常会最佳，因而使用两个麦克风的减噪的性能会显著较好。在某些类型的电子装置，例如移动通信装置和其他手持电子装置中，尤其会以这种方式布置麦克风（例如将麦克风布置成彼此靠近），无论是要增强例如减噪的其他功能，还是由于空间限制。例如图2示出了这种装置的示例。
然而，麦克风的这种布置会劣化立体声记录的性能—例如，这是因为，由于对于立体声记录的目的来说两个麦克风被放置成彼此太靠近，因而它们之间的差异很小。因此，在根据本公开的各种实现中，在麦克风不被最优布置（例如，被布置成彼此太靠近，如在1-2cm的范围内）的装置中可以增强立体声记录。通过例如利用自适应处理可以实现立体声记录的增强，该自适应处理允许模拟使用最优布置（例如，彼此隔开和/或具有方向性接收特性）的麦克风通常会获得的结果。参照之后的附图更详细地描述这一点。
图2示出了带有面向同一方向并且彼此靠近地隔开的两个麦克风的示例手持装置。参见图2，示出了智能电话200和手持照相机250。
智能电话200和手持照相机250都可以包括多个（例如两个）麦克风以支持立体声音频记录。例如，智能电话200包括一对麦克风210和220（分别布置成右麦克风和左麦克风），手持照相机250包括一对麦克风260和270（分别布置成右麦克风和左麦克风）。然而，虽然智能电话200和手持照相机250中的每一个中的两个麦克风被示出为位于同一侧，但是本公开并不限于此。相反，应当明白，例如，这两个麦克风可以位于装置的不同侧，例如，布置成使得一个麦克风（例如，麦克风210）位于智能电话200的正面，而另一个麦克风（例如，麦克风220）位于智能电话200的背面，但是这两个麦克风仍然彼此靠近（例如，都在电话机的底部处）。麦克风（智能电话210中的麦克风210和220以及手持照相机250中的麦克风260和270）可以用于产生意图采集可能来自各种声源（例如，在0到几米的距离上）的环境声音的音频记录。可以连同装置中的其他操作一起（例如，在视频拍摄过程中）进行这种记录。
在一些情况下，不过，某些手持装置的相对小的尺寸以及设计上的考虑会限制麦克风之间的物理间距，需要将麦克风布置成彼此靠近。由于在诸如智能电话和便携式手持照相机之类的手持装置中的有限物理空间和/或优化特定功能（例如，降噪）的需要，智能电话200和照相机250中的麦克风之间的间距（例如，智能电话210中的麦克风210和220之间的间隔230，和手持照相机250中的麦克风260和270之间的间隔280）会相对较小。例如，在智能电话200和照相机250中，包括在其中的麦克风可以是以小的彼此之间的水平距离位于装置的正面的相同全向麦克风。例如，智能电话200的麦克风210和220可以位于正面的底部，在它们之间以1cm的分隔距离(230)沿水平线对准；而照相机250的麦克风260和270可以位于对角方向上，使得在人像和风景拍摄模式下它们之间都具有1cm的水平分隔距离(280)。智能电话200和照相机250中的每一个的两个麦克风之间的小的间距（以及它们的类型，即，作为“全向”麦克风）会导致在这两个麦克风之间的小的差异。
因此，在各种实现中，支持立体声记录但是具有会劣化立体声记录性能的麦克风布置的装置可以包括自适应架构和/或用于增强立体声记录的功能。可以通过利用可以应用于来自靠近的麦克风对的信号的自适应修改数字处理，以产生具有增强立体声效果的两个新的输出信号，来实现立体声记录增强。这样，按此方式使用自适应修改数字处理允许使用被布置成彼此太靠近（例如，约1-2cm）的两个麦克风来获得立体声效果可以与使用对于立体声记录来说两个最优地（例如，15cm）相隔开的麦克风的立体声记录效果相当的音频。在一个示例实现中，从不同方向到达并且由靠近的麦克风对采集的音频信号可以具有取决于两个输出信号中的每一个的到达方向的合适的强度。这样，在重放过程中人耳可以清楚地识别各个方向。由于麦克风之间的小的距离，两个原始输入信号的振幅不会彼此显著不同。因此，可以利用自适应处理，将输入信号的小的相位差转换成两个输出信号之间的显著的振幅差。参照图3和4更详细地描述示例架构（和由此可应用的自适应处理）。
图3示出了带有多个麦克风的示例电子装置的架构，可配置成支持增强立体声音频记录。参照图3，示出了电子装置300。
电子装置300可以类似于图1的电子装置100。在这个方面，可以将电子装置300配置成支持音频输入和/或输出操作。电子装置300可以包括例如多个音频输入和/或输出组件。例如，电子装置300可以包括麦克风3301和3302。此外，电子装置300还可以包括用于支持音频相关处理和/或操作的电路。例如，电子装置300可以包括处理器310和音频编解码器320。
处理器310可以包括能够被配置成处理数据、控制或管理操作（例如，电子装置300或其组件的操作）、执行任务和/或功能（或控制任何这种任务/功能）的合适的电路。处理器310可以运行和/或执行可以存储在例如存储器（未示出）中的应用、程序和/或代码。此外，处理器310可以使用一个或多个控制信号来控制电子装置300（或其组件或子系统）的操作。处理器310可以包括通用处理器，其可被配置成执行或支持特定类型的操作（例如，音频相关操作）。处理器310还可以包括专用处理器。例如，处理器310可以包括数字信号处理器(DSP)、基带处理器和/或应用处理器（例如ASIC）。
音频编解码器320可以包括能够被配置成执行语音编码/解码操作的合适的电路。例如，音频编解码器320可以包括一个或多个模数转换器(ADC)、一个或多个数模转换器(DAC)以及一个或多个复用器（mux），它们可以用于将在音频编解码器320中处理的信号引导到合适的输入和输出端口。
在操作中，电子装置300可以支持音频信号的输入和/或输出。例如，麦克风3301和3302可以采集音频，产生对应的模拟音频输入信号（例如，模拟信号342和344），该模拟音频输入信号可被转发到音频编解码器320。音频编解码器320可以（例如通过ADC）将模拟音频输入转换成数字音频信号（例如，信号352和354），数字音频信号可以（例如通过I2S连接）被转发给处理器310。在一些情况下，不过，可以省去模数转换（因此省去音频编解码器320，如果音频编解码器320仅用于此目的的话），信号从麦克风3301和3302直接被馈送给处理器310，例如，如果麦克风3301和3302是数字麦克风的话。然后处理器310可以对数字音频信号应用数字处理。
在一些情况下，可以将处理器310配置成支持立体声记录。因此，在一些情况下，处理器310可以基于对麦克风3301和3302生成的音频输入信号的处理，生成左侧信号362和右侧信号364（即，分别要给听者的左耳和右耳的信号，当耳朵听到所述信号时，所述信号可以在大脑中产生立体声效果）。然而，在电子装置300中执行的立体声记录会由于其上使用的麦克风布置而劣化。例如，可能将麦克风3301和3302实现成全向麦克风（即，被配置成接收来自宽范围的环境音频，而不是窄波束的环境音频），并且/或者例如由于在电子装置300中缺少空间和/或为了实现最优降噪处理，可能将麦克风3301和3302布置成彼此太靠近（例如，仅相隔1-2cm）。
因此，在各种实现中，可以将电子装置300配置成支持增强音频记录。增强立体声记录可以用于克服可能由于麦克风(例如麦克风3301和3302)的次最优布置或其特性导致的立体声记录的缺点或缺陷。可以利用例如在处理输入音频信号（即，由麦克风采集的信号）的过程中（例如在处理器310中）执行的自适应增强功能来实现增强立体声记录。这样，可以特别地修改电子装置300的架构，以启用或支持这些功能，和/或允许在需要时执行这些功能。以下参照图4更详细地描述可以在电子装置中（例如，通过处理器310）执行的自适应处理的示例。
在具有在立体声记录方面导致类似的缺点的麦克风布置因而需要增强立体声记录的装置（例如，具有靠近地布置（并且通常是全向）的麦克风的手持装置，如智能电话200和照相机250）中，可以使用如针对电子装置300所描述的类似的架构和/或功能。
图4示出了带有面向同一方向的两个全向麦克风的电子装置中的示例记录情形。参见图4，示出了一对靠近地相隔开的全向麦克风410和420。
全向麦克风410和420可以对应于手持装置中的麦克风（例如，智能电话200的麦克风210和220）。由于为了进行最优立体声记录，全向麦克风410和420可能相隔太近，因此由这些麦克风从单个声源（例如声源400）接收的信号之间的差异在经受普通处理时可能不会得到满意的立体声效果。因此，可以使用处理器(例如，处理器310)对信号进行处理，该处理器可以被配置成包括被修改以提供增强立体声记录的处理。
例如，如图4所示，麦克风410和420可以采集与音频对应的信号，该音频例如是声音S(t)，源自位于两个麦克风前方的特定空间点（P）处的声源400。由于系统可以是相加性的，因此在系统中并不将声源400限制为单个声源。取决于由麦克风410和420观察点P的角度，在从点P到各个麦克风的各个距离（如图4所示，距离R_left和R_right）之间存在一定的差值。距离R_left和R_right之间的差值会导致延迟D_left与D_right之间的适当的差值，以及每个麦克风410和420接收到的信号的增益G_left与G_right之间的微小差值。可以将这两个延迟和两个增益完全地确定为声源距离R、麦克风之间的间距h以及声源的观察角θ的函数。G0表示声源位置处的初始增益。例如，可以基于以下公式确定增益(G_left和G_right)和延迟(D_left和D_right):
G=G0/R (1)
D=R/V (2)
其中‘R’对应于与声源之间的实际距离（即，R对应于左右麦克风410和420中的每一个的R_right和R_left中的每一个），V是声音的适用传播速率。
因此，可以将与由左右麦克风410和420中的每一个采集的信号对应的声道（audiochannel）表示为：
S_left(t)=G_left*S(t–D_left) (3)
S_right(t)=G_right*S(t–D_right) (4)
处理器(例如处理器310)然后可以应用增强立体声记录处理。处理器310可以利用麦克风410与420之间的小的相位差来产生两个输出信号之间的能够察觉的增益差，其可以取决于声音的到达方向。这样，在重放过程中人耳可以清楚地识别各个方向。可以利用各种增强处理方案。例如，在图4所示的示例实现中，可以执行产生左声道和右声道（即，信号362和364）之间的增益差的处理，使得可以使两个全向麦克风中的每一个都变成非平衡方向性麦克风（un-balanced directional microphone）。可以利用针对左输出声道和右输出声道的以下公式来实现这一目的。
S_left(t)=G0*M_left(t)–G1*M_right(t-d) (5)
S_right(t)=G0*M_right(t)–G1*M_left(t-d) (6)
其中M_left(t)和M_right(t)是由两个麦克风同时采集的信号；并且常数G0,G1以及d可以与来自右侧（即，当θ=-90○时）的虚拟声源有关。
例如，在此情况下的延迟d仅取决于两个麦克风之间的间距h，并且可以被预先计算并用作一个常数。值G0和G1也是常数，并且被预先计算，假设远大于h的某个“期望”距离h'（例如100cm）。在示例使用情形中，可以将d确定为h/V（其中V是声音速率）。这样，对于h=1cm(并且假设V是343.2m/s)，d会是≈29us。可以将G0设定为1，而可以将G1设定为h'/(h+h')。这样，在h为1cm并且将h'设定为100cm的情况下，G1将为≈0.99。按上述方式执行的处理会在每个声道中得到方向性效果（如图4所示）。例如，位于与声道的相反侧的声源会充分衰减，而位于适合的声道侧的声源会放大。从声道记录增益方面来说，自适应处理的实际效果会类似于要是麦克风位于彼此多达假设的“期望”距离h'(即，100cm)的间隔上的话会达到的效果。
上述处理可以在时域中或谱域中执行。在时域中，通过对采样的信号应用插值处理来实现延迟值d。这使得能够实现子采样的延迟（例如，在8000次采样/秒的采样速率下，h=1cm需要～0.25个采样的延迟）。在频域中，将时间帧内的每个频率段（bin of frequency）ω乘以Exp-(ω*T)，以引入时间延迟T。
上述处理的一个优点是输出立体声声道对几乎具有相同的延迟。通过将左右声道简单地求和，可以将零延迟立体声对容易地改变成单声道。这在引入了两个声道之间的显著延迟的立体声声道对中（例如，当麦克风之间的间距大于10cm时）是不可能的，在这种情况下，简单的求和通常会导致音频信号中的某些频率的衰减。上述处理的另一优点是多个声源不需要分开处理。也就是说，在记录的情形中，单个处理应对所有同时的音频源。例如，利用共同的处理，左侧的声源会得到左声道的增强增益（和右声道的较低增益），而右侧的同时的第二声源会得到右声道的增强增益。
图5是示出增强立体声音频记录的示例处理的流程图。参见图5，示出了流程图500，包括多个示例步骤，其可以在电子系统（例如，图3的电子装置300）中执行，以利用包含在该电子系统中的两个靠近地相隔的并且类似地朝向的全向麦克风来便于进行增强立体声音频记录。
在开始的步骤502中，可以将电子装置（例如，电子装置300）上电并对其进行初始化。这可以包括上电、激活和/或初始化电子装置的各个部件，使得电子装置可以准备好执行或实现由此支持的功能或应用。
在步骤504中，可以评估，例如尤其是在立体声记录方面，电子装置中的麦克风布置。在这个方面，某些麦克风布置（例如，彼此相隔太近的两个全向麦克风）会劣化立体声记录的性能。因此，评估麦克风布置可以包括确定（或估计）使用麦克风进行的立体声记录的性能。可以在基于通过麦克风采集的信号所产生的音频内容的立体声效果的预期质量方面来估计所估计的性能。
可以在步骤506中检查评估的结果。在这个方面，所述检查可以包括相对于一个或多个预定义阈值比较所评估的性能，这些阈值可以与预期的输出音频的立体声效果的质量相关（或者可以基于预期的输出音频的立体声效果的质量来计算）。例如，可以将立体声效果的质量表示为百分比（100%对应于理想的立体声效果质量），将阈值设定为特定百分比（例如，50%,75%,90%等）。这样，可以将最低“可接受”质量设定为例如90%，以表示只有质量低于90%的立体声效果的记录才被认为存在劣化。在一些实现中，不过，可以一直执行自适应处理，动态调节以始终确保实现（或试图实现）理想性能。在确定麦克风布置不会劣化立体声记录的情况下，处理可以进行到步骤510。或者，在确定麦克风布置会劣化立体声记录的情况下，处理可以进行到步骤508。
在步骤508中，可以自适应地配置（或修改）信号处理，以实现增强立体声记录，例如，以模拟与间隔的麦克风和/或方向性接收对应的性能。例如，类似于参照图4描述的处理，可以自适应地修改对麦克风采集的输入信号的处理。
在步骤510中，可以处理麦克风采集（或产生）的输入信号。要么基于合适的麦克风布置，要么作为在麦克风布置不是最优时执行的自适应处理的结果，所得到的信号（对应于左右声道）可以提供所需立体声效果。
在一些实现中，可以在可以包括电子装置(例如，电子装置300)的系统中使用用于增强立体声记录的方法，该电子装置可以包括一个或多个电路(例如，处理器310和音频编解码器320)和第一麦克风和第二麦克风(例如，麦克风3301和3302)。该方法可以包括评估在所述电子装置中使用第一麦克风和第二麦克风的立体声记录性能；和基于所评估的立体声记录性能，配置对由第一麦克风和第二麦克风产生的信号的处理，其中所述配置包括自适应地修改所述处理以增强立体声记录性能，以匹配或接近理想性能。所述方法还可以包括基于所述对由第一麦克风和第二麦克风产生的信号的处理，生成左声道信号和右声道信号，以供分别输出到收听者的左耳和右耳。所述方法可以包括在所评估的立体声记录性能下降到低于预定阈值时自适应地修改所述处理。所述方法可以包括基于第一麦克风和第二麦克风中的每一个的类型和/或基于第一麦克风与第二麦克风之间的间距来评估所述电子装置中的立体声记录。所述电子装置可以包括手持装置。所述方法可以包括基于第一麦克风与第二麦克风之间的距离、到第一麦克风和第二麦克风采集的信号的来源的距离、信号的来源的位置处的初始增益和/或声音传播速率来自适应地修改所述处理。所述方法可以包括基于对所述处理的自适应修改，产生与由第一麦克风和第二麦克风中的每一个所采集的信号对应的两个输出信号之间的能够察觉的增益差。所述方法可以包括自适应地修改所述处理，以在麦克风是全向麦克风时模拟第一麦克风和第二麦克风对信号的方向性接收。对方向性接收的模拟会导致放大位于适合的声道一侧的声源。对方向性接收的模拟会导致位于声道的相反侧的声源充分衰减。
在一些实现中，可以在一种系统中增强立体声记录，该系统可以包括电子装置（例如电子装置300），该电子装置包括一个或多个电路（例如，处理器310和音频编解码器320）和第一麦克风以及第二麦克风(例如麦克风3301和3302)。所述一个或多个电路能够操作以评估在所述电子装置中使用第一麦克风和第二麦克风的立体声记录性能；和基于所评估的立体声记录性能，配置对由第一麦克风和第二麦克风产生的信号的处理，其中所述配置包括自适应地修改所述处理以增强立体声记录性能，以匹配或接近理想性能。所述处理包括生成左声道信号和右声道信号，以供分别输出到收听者的左耳和右耳。所述一个或多个电路能够操作以在所评估的立体声记录性能下降到低于预定阈值时自适应地修改所述处理。所述一个或多个电路能够操作以基于第一麦克风和第二麦克风中的每一个的类型和/或基于第一麦克风与第二麦克风之间的间距来评估所述电子装置中的立体声记录。所述电子装置包括手持装置(例如智能电话200或照相机250)。所述一个或多个电路能够操作以基于第一麦克风与第二麦克风之间的距离、到第一麦克风和第二麦克风采集的信号的来源的距离、信号的来源的位置处的初始增益和/或声音传播速率来自适应地修改所述处理。所述一个或多个电路能够操作以自适应地修改所述处理，以产生与由第一麦克风和第二麦克风中的每一个所采集的信号对应的两个输出信号之间的能够察觉的增益差。所述一个或多个电路能够操作以自适应地修改所述处理，以在麦克风是全向麦克风时模拟第一麦克风和第二麦克风对信号的方向性接收。对方向性接收的模拟会导致放大位于适合的声道一侧的声源。对方向性接收的模拟会导致位于声道的相反侧的声源充分衰减。
其他实现方式可提供非暂态计算机可读介质和/或存储介质，和/或非暂态机器可读介质和/或存储介质，其上存储有具有可由机器和/或计算机执行的至少一个代码段的机器代码和/或计算机程序，从而使得机器和/或计算机执行如这里描述的用于手持装置中的增强立体声音频记录的步骤。
因此，本方法和/或系统可以用硬件、软件或者硬件和软件的组合来实现。本方法和/或系统可以以集中方式实现在至少一个计算机系统中，或者以分布方式实现，其中不同的元件散布在若干个互连的计算机系统上。任何种类的适用于执行这里描述的方法的计算机系统或其他系统都是合适的。硬件和软件的典型组合可以是通用计算机系统，该通用计算机系统具有计算机程序，该计算机程序当被加载和执行时控制计算机系统，以使其执行这里描述的方法。另一种典型实现方式可包括专用集成电路或芯片。
本方法和/或系统也可被嵌入在计算机程序产品中，该计算机程序产品包括使能实现这里描述的方法的所有特征，并且当在计算机系统中加载时能够执行这些方法。本上下文中的计算机程序指的是打算直接地或者在以下的任一者或两者之后使得具有信息处理能力的系统执行特定功能的一组指令的采取任何语言、代码或符号的任何表达：a）转换成另一种语言、代码或符号；b）以不同的材料形式再现。因此，一些实现方式可包括非暂态机器可读（例如计算机可读）介质（例如，闪存、光盘、磁存储盘等），其中存储有一行或多行可由机器执行的代码，从而使得机器执行这里描述的过程。
虽然已参照某些实现方式描述了本方法和/或系统，但本领域技术人员将会理解，在不脱离本方法和/或系统的范围的情况下，可作出各种改变，并且可进行等同替换。此外，在不脱离本公开的范围的情况下，可作出许多修改来使特定情形或材料适应于本公开的教导。因此，希望本方法和/或系统不限于所公开的特定实现方式，而是本方法和/或系统将包括落在所附权利要求的范围内的所有实现方式。

Claims (20)

1.一种增强立体声音频记录的系统，包括：
电子装置，包括一个或多个电路和第一麦克风以及第二麦克风，所述一个或多个电路能够操作以评估在所述电子装置中使用第一麦克风和第二麦克风的立体声记录性能，并且基于所评估的立体声记录性能，配置对由第一麦克风和第二麦克风产生的信号的处理，其中所述配置包括自适应地修改所述处理以增强立体声记录性能，从而匹配或接近通过增大第一麦克风和第二麦克风之间的间距获得的立体声记录性能。
2.根据权利要求1所述的系统，其中所述一个或多个电路用于增强立体声记录性能以匹配或接近通过将第一麦克风和第二麦克风之间的间距增大到所需距离而获得的立体声记录性能，所述所需距离超过第一麦克风和第二麦克风之间的当前距离。
3.根据权利要求1所述的系统，其中所述一个或多个电路能够操作以在所评估的立体声记录性能下降到低于预定阈值时自适应地修改所述处理。
4.根据权利要求1所述的系统，其中所述一个或多个电路能够操作以基于第一麦克风和第二麦克风中的每一个的类型和/或基于第一麦克风与第二麦克风之间的间距来评估所述电子装置中的立体声记录。
5.根据权利要求1所述的系统，其中所述一个或多个电路可操作以通过将第一麦克风和第二麦克风中的每一个从全向麦克风调整成非平衡方向性麦克风来引入第一声道和第二声道之间的增益差。
6.根据权利要求1所述的系统，其中所述一个或多个电路能够操作以基于第一麦克风与第二麦克风之间的距离、到第一麦克风和第二麦克风采集的信号的来源的距离、信号的来源的位置处的初始增益和/或声音传播速率来自适应地修改所述处理。
7.根据权利要求1所述的系统，其中所述一个或多个电路能够操作以(i)通过从(b)第一增益因子乘以由第一麦克风接收的左声道减去(a)第二增益因子乘以由第二麦克风接收的延迟右声道，生成左输出声道；以及能够操作以(ii)通过从(b)第一增益因子乘以由第二麦克风接收的右声道减去(a)第二增益因子乘以由第一麦克风接收的延迟左声道，生成右输出声道。
8.根据权利要求1所述的系统，其中所述一个或多个电路能够操作以自适应地修改所述处理，以在麦克风是全向麦克风时模拟第一麦克风和第二麦克风对信号的方向性接收。
9.根据权利要求8所述的系统，其中对方向性接收的模拟会导致放大位于适合的声道一侧的声源。
10.根据权利要求8所述的系统，其中对方向性接收的模拟会导致位于声道的相反侧的声源充分衰减。
11.一种增强立体声音频记录的方法，包括：
在包括第一麦克风和第二麦克风的电子装置中：
评估在所述电子装置中使用第一麦克风和第二麦克风的立体声记录性能；和
基于所评估的立体声记录性能，配置对由第一麦克风和第二麦克风产生的信号的处理，其中所述配置包括自适应地修改所述处理以增强立体声记录性能，从而匹配或接近通过增大第一麦克风和第二麦克风之间的间距获得的立体声记录性能。
12.根据权利要求11所述的方法，其中所述立体声记录性能是通过将第一麦克风和第二麦克风之间的间距增大到所需距离而获得的，所述所需距离超过第一麦克风和第二麦克风之间的当前距离。
13.根据权利要求11所述的方法，包括在所评估的立体声记录性能下降到低于预定阈值时自适应地修改所述处理。
14.根据权利要求11所述的方法，包括通过将第一麦克风和第二麦克风中的每一个从全向麦克风调整成非平衡方向性麦克风来引入第一声道和第二声道之间的增益差。
15.根据权利要求11所述的方法，包括增强立体声记录性能以匹配或接近通过增大第一麦克风和第二麦克风中的至少一个的方向性接收特性而获得的立体声记录性能。
16.根据权利要求11所述的方法，包括基于第一麦克风与第二麦克风之间的距离、到第一麦克风和第二麦克风采集的信号的来源的距离、信号的来源的位置处的初始增益和/或声音传播速率来自适应地修改所述处理。
17.根据权利要求11所述的方法，包括通过从(b)第一增益因子乘以由第一麦克风接收的左声道减去(a)第二增益因子乘以由第二麦克风接收的延迟右声道，生成左输出声道；以及
通过从(b)第一增益因子乘以由第二麦克风接收的右声道减去(a)第二增益因子乘以由第一麦克风接收的延迟左声道，生成右输出声道。
18.根据权利要求11所述的方法，包括自适应地修改所述处理，以在麦克风是全向麦克风时模拟第一麦克风和第二麦克风对信号的方向性接收。
19.根据权利要求18所述的方法，其中对方向性接收的模拟会导致放大位于适合的声道一侧的声源。
20.根据权利要求18所述的方法，其中对方向性接收的模拟会导致位于声道的相反侧的声源充分衰减。
CN201310554009.2A 2012-11-08 2013-11-08 手持装置中的增强立体声音频记录 Active CN103905960B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261723797P 2012-11-08 2012-11-08
US61/723,797 2012-11-08

Publications (2)

Publication Number Publication Date
CN103905960A CN103905960A (zh) 2014-07-02
CN103905960B true CN103905960B (zh) 2018-12-18

Family

ID=49554098

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310554009.2A Active CN103905960B (zh) 2012-11-08 2013-11-08 手持装置中的增强立体声音频记录

Country Status (5)

Country Link
US (1) US9271076B2 (zh)
EP (1) EP2731352A2 (zh)
JP (1) JP2014112830A (zh)
KR (1) KR20140061256A (zh)
CN (1) CN103905960B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9916836B2 (en) * 2015-03-23 2018-03-13 Microsoft Technology Licensing, Llc Replacing an encoded audio output signal
CN105407443B (zh) * 2015-10-29 2018-02-13 小米科技有限责任公司 录音方法及装置
US9820042B1 (en) 2016-05-02 2017-11-14 Knowles Electronics, Llc Stereo separation and directional suppression with omni-directional microphones
JP6988889B2 (ja) * 2017-05-09 2022-01-05 株式会社ソシオネクスト 音声処理装置及び音声処理方法
EP4047939A1 (en) 2021-02-19 2022-08-24 Nokia Technologies Oy Audio capture in presence of noise

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101065989A (zh) * 2004-11-29 2007-10-31 诺基亚公司 双扬声器的立体声扩展网络
CN101641871A (zh) * 2007-04-10 2010-02-03 Sk电信有限公司 移动通信终端中的语音处理装置和方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3710034A (en) * 1970-03-06 1973-01-09 Fibra Sonics Multi-dimensional sonic recording and playback devices and method
EP1091615B1 (en) * 1999-10-07 2003-01-08 Zlatan Ribic Method and apparatus for picking up sound
WO2004084176A1 (ja) * 2000-08-15 2004-09-30 Yoichi Ando 音響評価方法およびそのシステム
US7577262B2 (en) * 2002-11-18 2009-08-18 Panasonic Corporation Microphone device and audio player
US7953233B2 (en) * 2007-03-20 2011-05-31 National Semiconductor Corporation Synchronous detection and calibration system and method for differential acoustic sensors
WO2008123721A1 (en) * 2007-04-10 2008-10-16 Sk Telecom Co., Ltd. Apparatus and method for voice processing in mobile communication terminal
DE102008029352A1 (de) * 2008-06-20 2009-12-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Verfahren und Computerprogramm zum Lokalisieren einer Schallquelle
CN101350931B (zh) * 2008-08-27 2011-09-14 华为终端有限公司 音频信号的生成、播放方法及装置、处理系统
CN101437094A (zh) * 2008-12-04 2009-05-20 中兴通讯股份有限公司 移动终端立体声背景噪声抑制方法及装置
US9552840B2 (en) * 2010-10-25 2017-01-24 Qualcomm Incorporated Three-dimensional sound capturing and reproducing with multi-microphones
US20120155666A1 (en) * 2010-12-16 2012-06-21 Nair Vijayakumaran V Adaptive noise cancellation
CN102348151B (zh) * 2011-09-10 2015-07-29 歌尔声学股份有限公司 噪声消除系统和方法、智能控制方法和装置、通信设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101065989A (zh) * 2004-11-29 2007-10-31 诺基亚公司 双扬声器的立体声扩展网络
CN101641871A (zh) * 2007-04-10 2010-02-03 Sk电信有限公司 移动通信终端中的语音处理装置和方法

Also Published As

Publication number Publication date
EP2731352A2 (en) 2014-05-14
KR20140061256A (ko) 2014-05-21
US9271076B2 (en) 2016-02-23
JP2014112830A (ja) 2014-06-19
CN103905960A (zh) 2014-07-02
US20140126726A1 (en) 2014-05-08

Similar Documents

Publication Publication Date Title
US11729572B2 (en) Systems and methods for calibrating speakers
US10262650B2 (en) Earphone active noise control
CN105122847B (zh) 利用扬声器阵列的稳健串扰消除
EP3111670B1 (en) Method of and apparatus for determining an equalization filter
CN103905960B (zh) 手持装置中的增强立体声音频记录
CN109804559A (zh) 空间音频系统中的增益控制
US20140294193A1 (en) Transducer apparatus with in-ear microphone
CN107079219A (zh) 面向用户体验的音频信号处理
CN108370486A (zh) 音频输出装置以及用于控制音频输出装置的方法
CN112567766B (zh) 信号处理装置、信号处理方法和介质
KR20220043171A (ko) 귓속형 마이크로폰 어레이들을 위한 부분적인 hrtf 보상 또는 예측
CN216414579U (zh) 一种自动切换声道的一体式音箱
WO2021004067A1 (zh) 一种显示装置
CN113316066A (zh) 一种自动切换声道的一体式音箱及其控制方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant