CN102771141A - 一种装置 - Google Patents

一种装置 Download PDF

Info

Publication number
CN102771141A
CN102771141A CN2009801634711A CN200980163471A CN102771141A CN 102771141 A CN102771141 A CN 102771141A CN 2009801634711 A CN2009801634711 A CN 2009801634711A CN 200980163471 A CN200980163471 A CN 200980163471A CN 102771141 A CN102771141 A CN 102771141A
Authority
CN
China
Prior art keywords
variation
audio
signal
ambisonics
depend
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2009801634711A
Other languages
English (en)
Other versions
CN102771141B (zh
Inventor
K·因哈
P·斯莱登
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of CN102771141A publication Critical patent/CN102771141A/zh
Application granted granted Critical
Publication of CN102771141B publication Critical patent/CN102771141B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
    • H04N5/602—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals for digital sound signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/11—Application of ambisonics in stereophonic audio systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Physics & Mathematics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Environmental & Geological Engineering (AREA)
  • Environmental Sciences (AREA)
  • Remote Sensing (AREA)
  • Emergency Management (AREA)
  • Ecology (AREA)
  • Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

一种装置，包括至少一个处理器和至少一个包括计算机程序代码的存储器，将至少一个存储器和计算机程序代码配置为，利用至少一个处理器，促使所述装置至少执行：确定装置的位置和/或方向的变化，以及依赖于位置和/或方向的变化处理至少两个音频信号以生成至少一个输出信号，其中依赖于位置和/或方向的变化处理两个音频信号产生包括来自第一方向的声能的表示的输出信号。

Description

一种装置
本发明涉及一种用于音频信号的处理的装置。本发明进一步涉及，但不局限于，用于在音频设备中处理音频和语音信号的装置。
在便携式电子装置中，用户能够记录社交事件的视频和音频捕获应用是受欢迎的。在这样的环境下，背景声源或噪声能够容易地对目标声源进行干扰。例如在聚会或直播音乐会，可能存在大量的背景噪声，其中为了将音频捕获“聚焦”到目标声源上，装置的用户不希望捕获背景噪声或至少对背景噪声进行抑制。
这样的装置可使用定向麦克风或麦克风阵列来从设置方向或利用定义的轮廓（profile）捕获声波，并输出它们以作为表示音频信号的电信号，其中于是可对电信号进行处理并传送给其它设备或进行存储以用于稍后回放。
例如，利用来自每个麦克风的自适应过滤（以应用于音频信号的可变增益和延迟因素的形式）可使用具有两个或多个麦克风的装置，以尝试对麦克风阵列接收模式进行波束形成（beamform）以直接聚焦于装置前面的活动，并且从而避免捕获噪声或设备外部的不希望的音频源。
相似地，还有背景噪声抑制/目标源增强，装置的用户会希望根据相对于目标音频源的装置原始方向，从捕获的音频信号产生音频通道（channel）的期望的稳定混音。
然而，可能存在用户不能保持装置方向的情况。例如，装置的用户可能希望对周围环境进行录像并保持捕获声源。例如，在婚礼过程中，用户会希望捕获在婚礼上由夫妇所说的誓言，并避免捕获人群的音频源，并且将夫妇保持在音频阶段的中央，而同时移动摄影机的焦点以捕获教堂内部的视频。典型地，在用户移动装置和摄影机时，麦克风阵列也在移动，并且丢失音频捕获焦点和在夫妇上的音频混音平衡。
此外，可能存在用户在身体上不能维持在原始指向的方向上支撑装置的情况，例如为了避免潜在的危险情况或用户因在固定位置持有装置而导致的身体疲劳。典型地，在这样的情况下，焦点和音频混音平衡随着装置的方向来移动，并会对捕获的音频信号重新进行混音，无论设备指向哪里，即使该新的方向不是目标声源。
本发明源自于使用诸如传感器信息的进一步信息的考虑，可有助于装置对音频捕获进行控制，并因此例如有助于捕获的音频信号噪声或正确的音频混音的噪声的减小。
本发明的实施方式旨在解决上述问题。
根据本发明的第一方面，提供一种方法，包括：确定装置的位置和/或方向的变化；和处理依赖于位置和/或方向的变化的至少两个音频信号以生成至少一个输出信号，其中处理依赖于位置和/或方向的变化的两个音频信号产生输出信号，所述输出信号包括来自第一方向的声能的表示。
位置和/或方向的变化优选地为以下内容中的至少一个：位置和/或方向相对于目标音频源的相对变化；以及位置和/或方向的绝对变化。
位置和/或方向的变化可以包括旋转位置的变化。
该方法可进一步包括：为每个音频信号生成依赖于装置的第一位置的至少一个信号处理参数；以及，处理至少两个音频信号以产生原始输出信号，所述原始输出信号包括来自第一方向的声能的表示。
确定装置的位置和/或方向的变化优选地包括：确定装置的位置和/或方向的变化是否大于至少一个预定值；并且产生依赖于至少一个预定值的至少一个信号处理参数。
该方法可进一步包括：将至少四个高保真度立体声响复制（ambisonic）类型A格式信号转换为至少四个高保真度立体声响复制类型B格式信号；以及其中处理依赖于位置和/或方向的变化的至少两个音频信号以生成至少一个输出信号包括：将旋转矢量应用于至少一个高保真度立体声响复制类型B格式信号，以及所述旋转矢量进一步包括依赖于装置的位置的变化的偏移分量（offset component）。
所述至少一个音频信号可包括下列内容中的至少一个：至少四个高保真度立体声响复制（ambisonic）类型A格式信号；至少四个高保真度立体声响复制类型B格式信号；以及从至少一个麦克风捕获的至少一个音频信号。
优选地，通过方向和增益轮廓来定义所述第一方向。
确定装置的位置和/或方向的变化可包括使用下列内容中的至少一个确定从第一时间段到第二时间段的位置和/或方向的变化：数字指南针；加速度计；陀螺仪；照相机（camera）；和声学特性确定器（determiner）。
利用照相机确定装置的位置和/或方向的变化包括：在第一时间段中检测第一图像中的感兴趣对象；以及在第二时间段中检测后来（later）的图像中感兴趣对象的移动（displacement）。
根据本发明的第二方面，提供一种装置，包括至少一个处理器和至少一个包括计算机程序代码的存储器，将至少一个存储器和计算机程序代码配置为，利用至少一个处理器促使装置至少执行：确定装置的位置和/或方向的变化；以及处理依赖于位置和/或方向的变化的至少两个音频信号以生成至少一个输出信号，其中处理依赖于位置和/或方向的变化的两个音频信号产生输出信号，所述输出信号包括来自第一方向的声能的表示。
优选地，位置和/或方向的变化为以下内容中的至少一个：位置和/或方向相对于目标音频源的相对变化；以及位置和/或方向的绝对变化。
优选地，位置和/或方向的变化包括旋转位置的变化。
将至少一个存储器和计算机程序代码配置为，利用至少一个处理器，促使装置优选地进一步执行：为每个音频信号生成依赖于装置的第一位置的至少一个信号处理参数；处理至少两个音频信号以产生原始输出信号，所述原始输出信号包括来自第一方向的声能的表示。
确定装置的位置和/或方向的变化可促使所述装置至少执行：确定装置的位置和/或方向的变化是否大于至少一个预定值；以及生成依赖于所述至少一个预定值的至少一个信号处理参数。
将至少一个存储器和计算机程序代码配置为，利用至少一个处理器，促使装置进一步执行：将至少四个高保真度立体声响复制类型A格式信号转换为至少四个高保真度立体声响复制类型B格式信号；以及其中处理依赖于位置和/或方向的变化的至少两个音频信号，以生成至少一个输出信号，所述输出信号可促使所述装置至少执行将旋转矢量应用于至少一个高保真度立体声响复制类型B格式信号的至少一个输出音频，以及旋转矢量进一步包括依赖于装置位置和/或方向的变化的偏移分量。
所述至少一个音频信号可包括下列内容中的至少一个：至少四个高保真度立体声响复制类型A格式信号；至少四个高保真度立体声响复制类型B格式信号；以及从至少一个麦克风捕获的至少一个音频信号。
优选地，通过方向和增益轮廓来定义所述第一方向。
确定装置的位置和/或方向的变化可促使所述装置进一步执行使用下列内容中的至少一个确定从第一时间段到第二时间段的位置和/或方向的变化：数字指南针；加速度计；陀螺仪；摄影机；声学特性确定器。
利用摄影机确定所述装置的位置和/或方向的变化可促使装置进一步执行：在第一时间段中检测第一图像中的感兴趣对象；以及在第二时间段中检测最新图像中感兴趣对象的移动。
根据本发明的第三方面，提供一种装置，包括：传感器，被配置为确定装置的位置和/或方向的变化；以及处理器，被配置为依赖于位置和/或方向的变化处理至少两个音频信号，以生成至少一个输出信号，其中依赖于位置和/或方向的变化处理两个音频信号产生输出信号，所述输出信号包括来自第一方向的声能的表示。
优选地，将传感器配置为确定位置和/或方向的变化以作为装置的旋转位置的变化。
优选地，将处理器进一步配置为：依赖于装置的第一位置和/或方向，为每个音频信号生成至少一个信号处理参数；以及处理至少两个音频信号以产生原始输出信号，所述原始输出信号包括来自第一方向的声学能量的表示。
优选地，处理器包括：高保真度立体声响复制转换器，被配置为将至少四个高保真度立体声响复制类型A格式信号转换为至少四个高保真度立体声响复制类型B格式信号；以及矢量旋转器，被配置为依赖于位置和/或方向的变化处理至少两个音频信号，以将旋转矢量应用于至少一个高保真度立体声响复制类型B格式信号，并且旋转矢量进一步包括依赖于装置的位置和/或方向的变化的偏移分量。
所述装置可包括麦克风阵列，其被配置为捕获如以下内容中的至少一个的至少一个音频信号：至少四个高保真度立体声响复制类型A格式信号；至少四个高保真度立体声响复制类型B格式信号；以及从麦克风阵列的至少一个麦克风捕获的至少一个音频信号。
优选地，通过方向和增益轮廓来定义所述第一方向。
所述装置可进一步包括以下内容中的至少一个：数字指南针；加速度计；陀螺仪；照相机；声学跟踪器；和声学特性确定器。
可进一步通过以下内容来配置照相机，以确定装置的位置和/或方向的变化：在第一时间段中检测第一图像中的感兴趣对象；以及在第二时间段内检测后来的图像中感兴趣对象的移动。
声学特性确定器可通过以下配置来进一步确定装置的位置和/或方向的变化：在第一时间段中检测用于感兴趣对象的声学特性；以及在第二时间段中检测后来的图像中感兴趣对象的声学特性的移动。
根据本发明的第四方面，提供一种装置，包括：用于确定装置的位置和/或方向的变化的传感设备；以及用于依赖于位置和/或方向的变化处理至少两个音频信号以生成至少一个输出信号的处理设备，其中依赖于位置和/或方向的变化处理两个音频信号产生输出信号，所述输出信号包括来自第一方向的声能的表示。
根据本发明的第五方面，提供一种利用指令进行编码的计算机可读媒介，当由计算机执行时实现：确定装置的位置和/或方向的变化；以及依赖于位置和/或方向的变化处理至少两个音频信号以生成至少一个输出信号，其中依赖于位置和/或方向的变化处理两个音频信号产生输出信号，所述输出信号包括来自第一方向的声能的表示。
电子设备，可包括上述的装置。
芯片组，可包括上述的装置。
附图说明
为了更好地理解本发明，现在将通过实例的方式对附图进行参考，其中：
图1示意性地描述了利用本申请的实施方式的装置；
图2a和2b示意性地描述了适于在例如图1所示的实现本申请一些实施方式的装置中使用的两个麦克风配置安排；
图3更详细地示意性描述了根据一些实施方式的图1中所示的装置；以及
图4描述了说明根据本申请一些实施方式的装置操作的流程图。
下面描述了为具有麦克风阵列的装置提供增强音频捕获和记录灵活性的装置和方法。在这一点上首先参照图1，其中图1描述了可结合增强的音频信号捕获性能组件和方法的示例性电子设备10或装置的示意性框图。尽管下面的实施例关于音频捕获装置进行描述，但是可以了解的是，所描述的实施方式可用作音频/视频捕获装置音频子系统的一部分。本申请的实施方式尝试使用传感器信息以增强装置的音频信号捕获，通过能够控制通道选择或波束形成操作以便维持独立于装置实际方向或角度的目标音频方向或‘焦点（focus）’。换句话说，在下面描述的这样的实施方式中，可以维持音频目标方向或波束形成，或甚至相对于绝对方向并独立于装置的通道提取。在一些实施方式中，如果目标声源移动，该绝对方向可以改变。
装置10例如可以是用于无线通信系统的移动终端或用户设备。在其它实施方式中，装置可以是任何音频记录器/播放器，例如配备有下面描述的合适的麦克风阵列和传感器的mp3播放器、媒体播放器、数字或音频记录器、数字视频记录器。
在一些实施方式中，装置10包括音频处理器21。可将音频处理器21配置为执行各种程序代码。执行的程序代码可包括音频捕获增强代码。
执行的程序代码例如可存储在存储器中，用于由音频处理器在需要时获取。存储器可进一步提供用于存储数据的部分，例如根据实施方式对数据进行处理。
在实施方式中，音频捕获增强代码可至少部分在硬件或固件中执行。
音频处理器21可与用户接口（UI）链接。
用户接口15会能够使用户将命令输入给电子设备10，例如通过键盘、按钮或开关和/或从装置10获得信息，例如通过显示器（在图中没有示出）。可以理解的是，在一些实施方式中，用户接口15可进一步是输入和显示技术的任何合适的组合，例如适于从用户接收输入并将信息显示给用户的触摸屏显示器。
在一些实施方式中，装置10可进一步包括：麦克风阵列11中的至少两个麦克风，用于输入或捕获声波并输出音频或语音信号以根据本申请的实施方式进行处理。根据一些实施方式，音频或语音信号可存储在存储器的数据部分中以用于以后的处理。
使用至少两个麦克风控制音频信号的捕获的相应程序代码或硬件为此可由用户通过用户接口15来激活。
在这样的实施方式中，装置10可进一步包括模拟-数字转换器（ADC）14，被配置为将来自麦克风阵列11的输入模拟音频信号转换为数字音频信号，并将数字音频信号提供给处理器21。在一些实施方式中，麦克风元件自身包括合适的模拟-数字转换器，并因此将数字音频信号直接输出给处理器21。
关于图2a和2b，进一步详细地描述了两个示例性麦克风阵列配置。关于图2a，描述了二维全向（omniorientation）麦克风阵列配置。这样的麦克风配置使得每个麦克风的主坐标轴以120°偏离其它两个麦克风主坐标轴。在这种配置中，仅需要3个麦克风来覆盖全部360°的二维平面，并从非全向轮廓的麦克风提供可能的全向覆盖。因此第一麦克风101a具有沿着以120°偏离第二麦克风101b增益轮廓（gain profile）103b基本轴和以同样120°偏离第三麦克风101c增益轮廓103c基本轴定向的基本轴的增益轮廓103a给出的覆盖或轮廓。相似地，第二麦克风101b的增益轮廓103b的基本轴也与第三麦克风101c的增益轮廓103c的基本轴相差120°。在这样的麦克风配置中，全向麦克风（2-D全向麦克风）可通过将全部3个麦克风输出一起相加和通过三个麦克风输出的加权合并的定向X轴和Y轴的麦克风来进行仿真。
关于图2b，描述了三位“全向”麦克风阵列配置，其中每个麦克风被认为是定向垂直于四面体表面。因此仅利用4个麦克风，可提供全部360°的立体角度覆盖或轮廓。换句话说，可结合4个麦克风以产生合成的全向音频信号，即使它们自己不具有全向音频信号捕获轮廓。在下面的实施方式中，所描述的4麦克风阵列配置可用于增强音频记录，然而可以理解的是，可使用具有相似效果的任何合适的麦克风配置。
可将麦克风的音频输出认为是等价于高保真度立体声响复制A格式编码。在该编码格式中，根据在高保真度立体声响复制A格式编码中使用的标记习惯，第一麦克风111a可以是左、前、上（LFU）麦克风，第二麦克风111b可以是左、后、下（LBD）麦克风，第三麦克风111c可以是右、前、下（RFD）麦克风，并且第四麦克风111d可以是右、后、上（RBU）麦克风。
在一些实施方式中，装置10可从没有在电子设备上物理实现的麦克风阵列11接收音频信号。例如，麦克风阵列可实现为独立的设备，例如麦克风架（microphone boom）。麦克风架从而可通过收发器将音频信号传送给装置10。
在一些实施方式中，接收的音频数据可存储在存储器的数据区域中，例如用于稍后进行处理和呈现或转发给另一电子设备，而不是立即进行处理。在这样的实施方式中，装置可存储与音频数据相关联的传感器信息，并可根据离线模式进行处理。
此外，装置10可包括传感器或传感器库（bank）16。传感器库16接收有关环境的信息，其中装置10在该环境中进行操作，并将该信息传递给处理器21，以便影响音频信号的处理，并且特别是在音频捕获/记录应用中影响处理器21。传感器库16可至少包括下列传感器集中的一个。
在一些实施方式中，传感器库16可包括照相机模块。在一些实施方式中，照相机模块可包括至少一个照相机，其具有用于将图像聚焦到诸如电荷耦合器件（CCD）的数字图像捕获设备上的镜头。在其它实施方式中，数字图像捕获设备可以是任何合适的图像捕获设备，例如互补金属氧化物半导体（CMOS）图像传感器。在一些实施方式中，照相机模块进一步包括用于在捕获对象图像前照亮对象的灯或光源。在其它实施方式中，可将照相机配置为执行用于低环境光感应的红外和近红外感应。在一些实施方式中，传感器库16包括位置/方向传感器。在一些实施方式中，位置/方向传感器可由3-D数字指南针或固态指南针来实现，所述3-D数字指南针或固态指南针被配置为相对于水平轴确定装置方向和相对于垂直轴确定方位角。在一些实施方式中，位置/方向传感器可以是被配置为仅相对于水平轴确定装置方向的2-D指南针。
在一些其它实施方式中，位置/方向传感器可以是被配置确定为在至少一个轴上的加速度变化的至少一个加速度计或陀螺仪。
还可以理解的是，装置10的结构可以按许多方式进行补充和改变。
可以理解的是，在图3中描述的示意性结构和图4中的方法步骤仅表示全部音频捕获/记录链的操作的一部分，所述全部音频捕获/记录链包括如在图1中描述的装置实施中示例性示出的一些实施方式。关于图3，参照本申请的一些实施方式，进一步详细地描述处理器的示意性视图。
参照图4，下面将详细描述图3中描述的装置的操作。
在一些实施方式中，处理器可包括目标选择器/跟踪器305。将目标选择器/跟踪器305被配置为根据传感器输入对音频捕获过程进行初始化。在一些实施方式中，目标选择器/跟踪器305从用户接口接收输入以开始捕获过程，或者在其它实施方式中选择对象，其中装置可为所述目标产生‘声锁（sound lock）’。在一些实施方式中，来自用户接口的输入可以是由装置开始记录音频和视频数据的‘录制（rec）’或记录功能。
在检测到有效的捕获初始化输入时，目标选择器/跟踪器305可传送信号以对高保真度立体声响复制转换器301和通道提取器/波束形成器303进行初始化。在一些实施方式中，目标选择器/跟踪器305可将包含有关装置初始方向的信息或数据的信号传送给通道提取器。
如前所述，在一些实施方式中，将麦克风阵列配置为从阵列中的每个麦克风捕获音频信号。对于此后描述的实施例，在图2b中描述的3D麦克风阵列支持所捕获的音频信号。然而可以理解的是，可利用不同于图2b中所示的3D四面体结构的更少或更多的麦克风及配置。
在一些实施方式中，将麦克风音频信号传递给模拟-数字转换器14，其将麦克风音频信号转换为被称为原始麦克风数据格式或高保真度立体声响复制A格式信号的数字格式。
将音频处理器21配置为在高保真度立体声响复制A格式（或原始麦克风格式）至B格式转换器处接收数字音频。
将高保真度立体声响复制A格式至B格式转换器301配置为从如在图2b中配置所示的麦克风阵列中的每个麦克风接收数字麦克风阵列数据，并根据来自目标选择器/跟踪器305的初始化信号示出合成的音频信号集，其中合成的音频信号集表示全部的声压水平、W数字信号、和一系列正交投影声压水平、X，Y和Z数字信号。
在B格式编码中，也就是通常所说的第一级高保真度立体声响复制中，将声音信号编码到4个通道中：W、X、Y和Z。W通道是信号的非定向的单通道分量，对应于全向麦克风的输出。X、Y和Z通道是3维中的定向分量。它们对应于分别面向前、左和上的3个8字形的麦克风的输出。
B格式信号从而取决于声场的球形谐波分解，并对应于声压（W），和在空间中点上的压力梯度（X、Y和Z）的3个分量。同时，它们接近麦克风周围球形的声场；正式的是多极展开式的第一级截断（truncation）。这被称为“第一级”，是因为W（单通道信号）是对应于球形（球形上的常数函数）的零级信息，且X、Y和Z是对应于作为函数、作为在半球上为正、在另一半上为负的特定函数的8字形麦克风的响应的第一级项（双极）。该第一级截断是全部声场的近似值。
B格式回音环绕（ambisound）信号的任何回放可通过利用这四个通道的线性组合来获得，其中相对于虚球中心，每个信号取决于扬声器的实际位置，其中虚球表面通过全部可使用的扬声器。在更先进的解码方案中，在一些实施方式中，将空间均衡应用于信号以说明人类听觉中高频和低频声音定位机制中的区别。进一步的细化可说明听众离扬声器的距离。
在一些实施方式中，A格式至B格式转换器301可因此从使用下列公式捕获LFU、FBD、RBU和RFD的麦克风可生成W、X、Y和Z格式的数字音频信号：
W=-（LFU+LBD+RBU+RFD）
X=2.83（-LFU+LBD+RBU-RFD）
Y=2.83（-LFU-LBD+RBU+RFD）
Z=2.83（-LFU+LBD-RBU+RFD）
从而，可将转换的B格式数字音频信号传递给通道提取器303。
在从目标选择器/跟踪器接收到高保真度立体声响复制B格式音频信号和初始化信号时，通道提取器/波束形成器303于是执行波束形成或通道提取，以产生所要求数量的音频输出通道。
在一些实施方式中，通道提取器303从预定的扬声器方向列表确定所要求数量的音频通道的每一个的位置，其中预定的扬声器方向列表包含与所要求的音频输出通道是关于装置的有关的数据。
通道提取器303从而可以使用下列公式（假设扬声器在X-Y平面上，没有Z通道分量）输出反映所要求方向的音频信号：
Pn=W+Xcos(θn)+Ysin(θn)
其中θn是扬声器（或通道）相对于原始装置方向的方位/方向。
换句话说，通道提取器303通过计算前后（Ｘ轴或装置的原始方向）和所要求的通道方向之间的角度来产生每个通道。
在一些实施方式中，通过利用用于每个通道的单一计算，可对其进行计算。
在这样的实施方式中，固定点处理应当足以生成通道音频信号，并且因此可在不需要浮点计算的情况下进行快速计算。例如在一些实施方式中，可使用查找表，其中查找表总共仅要求720比特以存储用于1度的方向步长大小的正确的余弦值和正弦值。
在一些实施方式中，通道提取器可进一步具有用于预定音频格式配置的余弦值和正弦值。例如下列值表可用于6通道音频系统：
  O/P   W   X   Y
  L   0.5018   0.6218   0.4406
  R   0.5018   0.6218   -0.4406
  SL   0.8392   -0.3692   0.5757
  SR   0.8392   -0.3692   -0.5757
  SL′   0.4465   -0.1964   0.3063
  SR′   0.4465   -0.1964   -0.3063
其中L是左前通道，R是右前通道，SL是左环绕（左后）通道，SR是右环绕（右后），SL′是第二左环绕（左后中）通道，以及SR′是第二右环绕（右后中）通道。
音频信号的初始化处理在图4中由步骤403描述。
此外，将目标选择器/跟踪器305配置为通过监测传感器库16的输出，将轨迹维持在目标位置/方向上。在一些实施方式中，目标选择器/跟踪器305从该信息确定装置是否已经移动（与音阶相关）。
例如在传感器库16包括诸如3-D或2-D指南针的指南针的情况下，目标选择器/跟踪器305可接收传感器数据以作为X-Y平面方向的数字表示。可将传感器输入中的任何差异转换为合适的角度格式，并用于确定装置是否已经移动。
此外在一些实施方式中，在传感器库16包括加速度计或陀螺仪的情况下，可通过目标选择器/跟踪器305监测来自加速度计或陀螺仪的输出。目标选择器/跟踪器305可利用相关的查找表或处理，以检测装置的方向或移动中的任何变化。
此外在一些实施方式中，在传感器库16包括照相机的情况下，可通过目标选择器/跟踪器305监测照相机的输出。在这样的实施方式中，对在第一实例捕获的一系列图像进行处理以确定图像中位于远离和靠近装置到装置的原始轴的任何感兴趣点。例如在视频/音频记录乐队（orchestra）事件时，例如来自舞台的固定光带（light pattern）或来自诸如柱子、门或类似物的稳定结构的光反射，照相机可确定感兴趣点。目标选择器/跟踪器305从而可进一步监控捕获的图像以确定感兴趣点从图像到图像的移动，以确定记录波束的方向或音频捕获的移动近似角度。
在一些实施方式中，目标源的选择可与特定声学特性相关联。例如在一些实施方式中，目标选择器/跟踪器可执行源的声学指纹。声学指纹例如可识别目标源的基本频率和谐波频率之间的特定关系。在一些实施方式中，目标选择器/跟踪器从而可通过监测来自麦克风的信号的声学属性中的任何移动来跟踪目标源。
在一些实施方式中，这样的声学特性确定器可通过以下配置来确定装置的位置和/或方向的变化：在第一时间段，检测用于感兴趣对象的声学特性；以及在第二时间段，检测后来的图像中感兴趣对象的声学特性的移动。在其它实施方式中，可利用任何合适的声学跟踪操作或部件来帮助感兴趣对象的跟踪。
在一些实施方式中，移动的确定是门限事件。换句话说，仅当检测到充分大的移动时，才触发目标选择器/跟踪器将任何进一步的信息输出给通道提取器/波束形成器303。在一些其它实施方式中，继续对移动进行确定，检测任何改变并影响被传递给通道提取器/波束形成器303的位置/角度输出中的变化。
在图4中由步骤405描述对移动的确定。
如果没有检测到移动或检测到不充分的移动，则目标跟踪器继续监测传感器，并且通道提取器/波束形成器303继续使用相同的扬声器方向处理B格式音频信号。
如果目标选择器/跟踪器305没有检测到移动或检测到不充分的移动，则目标选择器/跟踪器305将方向偏移值或方向绝对值传递给通道提取器/波束形成器303。从而，通道提取器/波束形成器会利用具有方向偏移值或新绝对扬声器方向值的扬声器方向来处理B格式音频信号。
例如在这样的实施方式中，于是可将装置的角度中任何检测的变化δθ传递给通道提取器，并且利用θ的新值θnew=θ+δθ重新计算通道的值。
因此在这样的实施方式中，即使在装置移动时，装置也可产生声阶的精确和连续地表示。因此在一些实施方式中，在独立于装置移动来稳定声阶的情况下，可实现音频“图像”稳定。
在一些实施方式中，音频处理器21可进一步输出音频通道数据以进一步根据任何合适的音频处理算法对音频信号进行处理，以产生适于存储或传输的更有效的编码数据流。例如在一些实施方式中，音频处理器21可进一步处理高保真度立体声响复制格式信号，以将其转换为其它格式。
尽管上述实施例关于2D目标选择和跟踪进行描述，但是可以理解的是，相似的方法可用于3D目标选择和跟踪，例如目标跟踪器503输出表示X-Y方向的方向角θ，以及表示Z方向的φ。换句话说，2D或3D指南针或加速度计可同时使用或单独使用，以产生用于音频目标补偿的补偿数据。
此外，尽管上述实施例使用高保真度立体声响复制音频格式，但是可使用任何合适的数字音频格式以进行合适的波束形成处理。例如波束形成/通道提取操作可对每个麦克风输入信号应用有限脉冲响应（FIR）或无线脉冲响应（IIR）数字滤波器。
有限脉冲数字滤波器可以是数字麦克风音频信号的纯增益（换句话说没有存储器）或增益和延迟滤波。
尽管上述实例描述了在电子设备10或装置中操作的本发明实施方式，但是可以理解的是，下面描述的本发明还可实施为任何音频处理器的一部分。
因此，例如，本发明的实施方式可在固定或有线通信路径上实现音频处理的音频处理器上实施。
因此用户设备可包括诸如在上述的本发明实施方式中描述的音频处理器。
可以理解的是，术语用户设备旨在涵盖任何合适类型的无线用户设备，例如移动电话、便携式数据处理设备或便携式网络浏览器。
通常，本发明的各实施方式可在硬件或专用电路、软件、逻辑或其任何组合中实现。例如，一些方面可在硬件中实现，而其它方面可在固件或由控制器、微处理器或其它计算设备执行的软件中实现，尽管本发明不局限于此。尽管本发明的各方面可描述和说明为框图、流程图、或使用一些其它图示表示，但是公知的是，作为非限制性的实例，这里描述的这些框、装置、系统、技术或方法可在硬件、软件、固件、专用电路或逻辑、通用硬件或控制器、或其它计算设备、或一些其组合中实现。
因此，总之，在至少一个实施方式中，存在一种装置包括：传感器，被配置为确定装置的位置和/或方向变化；以及处理器，被配置为依赖于位置和/或方向的变化处理至少两个音频信号，以生成生至少一个输出信号，其中可将处理器配置为依赖于位置和/或方向的变化处理两个个音频信号，以产生包括来自第一方向的声学能量的表示的输出信号。
或者在一些实施方式中，可以存在一种包括至少一个处理器和至少一个包括计算机程序代码的存储器的装置，其中将至少一个存储器和计算机程序代码配置为，利用至少一个存储器，促使装置至少执行：确定装置的位置和/或方向的变化；以及依赖于位置和/或方向的变化处理至少两个音频信号以生成至少一个输出信号，其中依赖于位置和/或方向的变化处理两个音频信号产生包括来自第一方向的声学能量的表示的输出信号。
本发明的实施方式可由诸如处理器实体的移动设备的数据处理器、或由硬件、或由软件和硬件的组合可执行的计算机软件实现。此外在这一点上需要说明的是，图中所示的逻辑流的任何块可表示程序步骤、或互连逻辑电路、块和功能、或程序步骤和逻辑电路、块和功能的组合。软件可存储在这样的物理媒介上，例如存储器芯片、在处理器内实现的存储块，诸如硬盘或软盘的磁媒介，诸如DVD和其数据变量、以及CD的光介质。
因此至少一个实施方式包括利用指令进行编码的计算机可读介质，当由计算机执行时：确定装置的位置和/或方向的变化；以及依赖于位置和/或方向的变化处理至少两个音频信号以生成至少一个输出信号，其中依赖于位置和/或方向的变化处理两个音频信号产生包括来自第一方向的声学能量的表示的输出信号。
存储器可以是适于本地技术环境的任何类型，并可以使用任何合适的数据存储技术实现，例如基于半导体的存储器设备，磁存储器设备和系统，光存储器设备和系统，固定存储器和可移动存储器。作为非限制性的实施例，数据处理器可以是适于本地技术环境的任何类型，并可包括以下内容中的一个或多个：通用计算机、专用计算机、微处理器、数字信号处理器（DSP）、专用集成电路（ASIC）、门级别电路和基于多核处理器架构的处理器。
本发明的实施方式可在诸如集成电路模块的各种部件中实现。集成电路的设计由并且主要由高度自动过程进行。复杂和强大的软件工具可用于将逻辑级设计转换为易于在半导体基底上蚀刻并在半导体基底上形成的半导体电路设计。
诸如那些由加利福尼亚州的山景（Mountain View）的Synopsis有限公司和加利福尼亚州的圣何塞的Cadence设计公司提供的程序利用已经建立的设计规则以及预存储设计模块的库自动地确定导线在半导体芯片上的路线并且半导体芯片上对组件继续定位。一旦半导体电路设计完成，可将以标准化电子格式（例如，Opus、GDSII等）的作为结果的设计传送给半导体制造设备或用于制造的“加工”。
如在该申请中所使用的，术语“电路”涉及下面的全部内容：
(a)仅通过硬件电路实现（例如仅以模拟和/或数字电路实现）和
(b)电路和软件（和/或固件）的组合，例如：(i)处理器的组合，或(ii)一起工作的处理器/软件部分（包括数字信号处理器）、软件、存储器以促使诸如移动电话或服务器的装置执行各种功能，以及
(c)要求用于操作的软件或固件的诸如微处理器或微处理器的一部分的电路，即使软件或固件没有物理呈现。
在本申请中，该“电路”的定义应用于该术语的所有使用，包括任何权利要求。作为进一步的实例，如在本申请中所使用的，术语“电路”还会涵盖仅仅是处理器（或多个处理器）或处理器的一部分和其（它们的）伴随软件和/或固件的实现。术语“电路”还会涵盖（例如，以及如果可应用于特定权利要求元素）用于移动电话的基带集成电路或应用处理器集成电路，或服务器、蜂窝网络设备或其它网络设备中的相似集成电路。
作为示例性和非限制性的实施例，前述描述已经对本发明的示例性实施方式进行全面和说明性的描述。然而，对于本领域技术人员来说，在结合附图和所附权利要求进行阅读时，根据前面的描述可更加容易地进行各种修改和调整。然而，对本发明的教导的所有这些和相似的修改仍将会落入本发明的范围内，其中本发明的范围由所附权利要求限定。

Claims (20)

1.一种方法，包括：
确定装置的位置和/或方向的变化；以及
依赖于位置和/或方向的变化处理至少两个音频信号以生成至少一个输出信号，其中依赖于位置和/或方向的变化处理两个音频信号产生包括来自第一方向的声能的表示的输出信号。
2.根据权利要求1所述的方法，其中位置和/或方向的变化为以下内容的至少一个：
相对于目标音频源的位置和/或方向的相对变化；以及
位置和/或方向的绝对变化。
3.根据权利要求1和2所述的方法，其中位置和/或方向的变化包括旋转位置的变化。
4.根据权利要求1至3所述的方法，进一步包括：
依赖于装置的第一位置，为每个音频信号生成至少一个信号处理参数；
处理至少两个音频信号，以产生包括来自第一方向的声能的表示的原始输出信号。
5.根据权利要求1至4所述的方法，其中确定装置的位置和/或方向的变化包括：
确定装置的位置和/或方向的变化是否大于至少一个预定值；以及
依赖于至少一个预定值，生成至少一个信号处理参数。
6.根据权利要求1至5所述的方法，进一步包括：
将至少四个高保真度立体声响复制类型A格式信号转换为至少四个高保真度立体声响复制类型B格式信号；以及
其中依赖于位置和/或方向的变化处理至少两个音频信号以生成至少一个输出信号包括：将旋转矢量应用于至少一个高保真度立体声响复制类型B格式信号，并且旋转矢量进一步包括依赖于装置的位置的变化的偏移分量。
7.根据权利要求1至6所述的方法，其中至少一个音频信号包括下列内容的至少一个：
至少四个高保真度立体声响复制类型A格式信号；
至少四个高保真度立体声响复制类型B格式信号；以及
从至少一个麦克风捕获的至少一个音频信号。
8.根据权利要求1至7所述的方法，其中由方向和增益轮廓定义第一方向。
9.根据权利要求1至8所述的方法，其中确定装置的位置和/或方向的变化包括，使用下列内容的至少一个确定位置和/或方向从第一时间段到第二时间段的变化：
数字指南针；
加速度计；
陀螺仪；
声学跟踪器；以及
照相机。
10.根据权利要求9所述的方法，其中利用照相机确定装置的位置和/或方向的变化包括：
在第一时间段检测第一图像中的感兴趣对象；以及
在第二时间段检测后来的图像中感兴趣对象的移动。
11.一种装置，包括至少一个处理器和至少一个包括计算机程序代码的存储器，将至少一个存储器和计算机程序代码配置为，利用至少一个处理器，促使所述装置至少执行：
确定装置的位置和/或方向的变化；以及
依赖于位置和/或方向的变化处理至少两个音频信号以生成至少一个输出信号，其中依赖于位置和/或方向的变化处理两个音频信号产生包括来自第一方向的声能的表示的输出信号。
12.根据权利要求11所述的装置，其中位置和/或方向的变化为以下内容的至少一个：
相对于目标音频源的位置和/或方向的相对变化；以及
位置和/或方向的绝对变化。
13.根据权利要求11和12所述的装置，其中位置和/或方向的变化包括旋转位置的变化。
14.根据权利要求11至13所述的装置，其中将至少一个存储器和计算机程序代码配置为，利用至少一个处理器，促使装置进一步执行：
依赖于装置的第一位置和/或方向，为每个音频信号生成至少一个信号处理参数；
处理至少两个音频信号以产生包括来自第一方向的声能的表示的原始输出信号。
15.根据权利要求11至14所述的装置，其中确定装置的位置和/或方向的变化促使所述装置至少执行：
确定装置的位置和/或方向的变化是否大于至少一个预定值；以及
依赖于所述至少一个预定值，生成至少一个信号处理参数。
16.根据权利要求11至15所述的装置，其中将至少一个存储器和计算机程序代码配置为，利用至少一个处理器，促使装置进一步执行：
将至少四个高保真度立体声响复制类型A格式信号转换为至少四个高保真度立体声响复制类型B格式信号；以及
其中依赖于位置和/或方向的变化处理至少两个音频信号以生成至少一个输出音频促使所述装置至少执行：将旋转矢量应用于至少一个高保真度立体声响复制类型B格式信号，并且旋转矢量进一步包括依赖于装置的位置和/或方向的变化的偏移分量。
17.根据权利要求11至16所述的装置，其中至少一个音频信号包括下列内容的至少一个：
至少四个高保真度立体声响复制类型A格式信号；
至少四个高保真度立体声响复制类型B格式信号；以及
从至少一个麦克风捕获的至少一个音频信号。
18.根据权利要求11至17所述的装置，其中由方向和增益轮廓定义第一方向。
19.根据权利要求11至18所述的装置，其中确定所述装置的位置和/或方向的变化促使所述装置进一步执行：使用下列内容的至少一个确定位置和/或方向从第一时间段到第二时间段的变化：
数字指南针；
加速度计；
陀螺仪；
声学跟踪器；以及
照相机。
20.根据权利要求19所述的装置，其中利用照相机确定装置的位置和/或方向的变化促使所述装置进一步执行：
在第一时间段检测第一图像中的感兴趣对象；以及
在第二时间段检测后来的图像中感兴趣对象的移动。
CN200980163471.1A 2009-12-24 2009-12-24 一种电子装置及用于电子装置的方法 Active CN102771141B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2009/067930 WO2011076290A1 (en) 2009-12-24 2009-12-24 An apparatus

Publications (2)

Publication Number Publication Date
CN102771141A true CN102771141A (zh) 2012-11-07
CN102771141B CN102771141B (zh) 2016-01-20

Family

ID=42122905

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980163471.1A Active CN102771141B (zh) 2009-12-24 2009-12-24 一种电子装置及用于电子装置的方法

Country Status (5)

Country Link
US (1) US9196238B2 (zh)
EP (2) EP3217653B1 (zh)
CN (1) CN102771141B (zh)
CA (1) CA2785080C (zh)
WO (1) WO2011076290A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104219603A (zh) * 2014-08-26 2014-12-17 北京智谷技术服务有限公司 声道配置方法和装置
CN105451139A (zh) * 2014-06-24 2016-03-30 索尼公司 声音信号处理方法、装置和移动终端
CN106486147A (zh) * 2015-08-26 2017-03-08 华为终端（东莞）有限公司 指向性录音方法、装置及录音设备
CN107113527A (zh) * 2014-09-30 2017-08-29 苹果公司 确定扬声器位置变化的方法
CN107430791A (zh) * 2015-09-04 2017-12-01 迈克尔·J·科斯塔比莱 用于在具有多个不同激活信号的环境中远程地起始及停止计时时钟的系统
CN108475511A (zh) * 2015-12-17 2018-08-31 亚马逊技术公司 用于创建参考信道的自适应波束形成
CN109963249A (zh) * 2017-12-25 2019-07-02 北京京东尚科信息技术有限公司 数据处理方法及其系统、计算机系统和计算机可读介质

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8525868B2 (en) * 2011-01-13 2013-09-03 Qualcomm Incorporated Variable beamforming with a mobile platform
US9066169B2 (en) * 2011-05-06 2015-06-23 Etymotic Research, Inc. System and method for enhancing speech intelligibility using companion microphones with position sensors
WO2013028393A1 (en) 2011-08-23 2013-02-28 Dolby Laboratories Licensing Corporation Method and system for generating a matrix-encoded two-channel audio signal
US10048933B2 (en) * 2011-11-30 2018-08-14 Nokia Technologies Oy Apparatus and method for audio reactive UI information and display
WO2013186593A1 (en) 2012-06-14 2013-12-19 Nokia Corporation Audio capture apparatus
WO2014046916A1 (en) * 2012-09-21 2014-03-27 Dolby Laboratories Licensing Corporation Layered approach to spatial audio coding
SG2012072146A (en) * 2012-09-27 2014-04-28 Creative Tech Ltd An electronic device
US9131041B2 (en) 2012-10-19 2015-09-08 Blackberry Limited Using an auxiliary device sensor to facilitate disambiguation of detected acoustic environment changes
US9286898B2 (en) 2012-11-14 2016-03-15 Qualcomm Incorporated Methods and apparatuses for providing tangible control of sound
US9426573B2 (en) * 2013-01-29 2016-08-23 2236008 Ontario Inc. Sound field encoder
US9979829B2 (en) * 2013-03-15 2018-05-22 Dolby Laboratories Licensing Corporation Normalization of soundfield orientations based on auditory scene analysis
CN105284129A (zh) * 2013-04-10 2016-01-27 诺基亚技术有限公司 音频记录和回放装置
US9729994B1 (en) * 2013-08-09 2017-08-08 University Of South Florida System and method for listener controlled beamforming
EP3029563B1 (en) * 2013-08-30 2018-06-27 Huawei Technologies Co., Ltd. Stereophonic sound recording method, apparatus, and terminal
US9942659B2 (en) 2014-02-06 2018-04-10 Bang & Olufsen A/S Loudspeaker transducer arrangement for directivity control
US9338575B2 (en) * 2014-02-19 2016-05-10 Echostar Technologies L.L.C. Image steered microphone array
US9432768B1 (en) 2014-03-28 2016-08-30 Amazon Technologies, Inc. Beam forming for a wearable computer
CN105448312B (zh) * 2014-06-12 2019-02-19 华为技术有限公司 音频同步播放方法、装置及系统
US9508386B2 (en) 2014-06-27 2016-11-29 Nokia Technologies Oy Method and apparatus for synchronizing audio and video signals
US9570113B2 (en) 2014-07-03 2017-02-14 Gopro, Inc. Automatic generation of video and directional audio from spherical content
CN105763956B (zh) * 2014-12-15 2018-12-14 华为终端（东莞）有限公司 视频聊天中录音的方法和终端
US9747068B2 (en) 2014-12-22 2017-08-29 Nokia Technologies Oy Audio processing based upon camera selection
US9787846B2 (en) 2015-01-21 2017-10-10 Microsoft Technology Licensing, Llc Spatial audio signal processing for objects with associated audio content
US9565493B2 (en) * 2015-04-30 2017-02-07 Shure Acquisition Holdings, Inc. Array microphone system and method of assembling the same
US10033928B1 (en) 2015-10-29 2018-07-24 Gopro, Inc. Apparatus and methods for rolling shutter compensation for multi-camera systems
US9973696B1 (en) 2015-11-23 2018-05-15 Gopro, Inc. Apparatus and methods for image alignment
US9792709B1 (en) 2015-11-23 2017-10-17 Gopro, Inc. Apparatus and methods for image alignment
US9848132B2 (en) 2015-11-24 2017-12-19 Gopro, Inc. Multi-camera time synchronization
US9973746B2 (en) 2016-02-17 2018-05-15 Gopro, Inc. System and method for presenting and viewing a spherical video segment
US9602795B1 (en) 2016-02-22 2017-03-21 Gopro, Inc. System and method for presenting and viewing a spherical video segment
US9743060B1 (en) 2016-02-22 2017-08-22 Gopro, Inc. System and method for presenting and viewing a spherical video segment
US9922398B1 (en) 2016-06-30 2018-03-20 Gopro, Inc. Systems and methods for generating stabilized visual content using spherical visual content
JP2018037944A (ja) * 2016-09-01 2018-03-08 ソニーセミコンダクタソリューションズ株式会社 撮像制御装置、撮像装置および撮像制御方法
GB201615538D0 (en) * 2016-09-13 2016-10-26 Nokia Technologies Oy A method , apparatus and computer program for processing audio signals
US9934758B1 (en) 2016-09-21 2018-04-03 Gopro, Inc. Systems and methods for simulating adaptation of eyes to changes in lighting conditions
US10268896B1 (en) 2016-10-05 2019-04-23 Gopro, Inc. Systems and methods for determining video highlight based on conveyance positions of video content capture
US9916822B1 (en) * 2016-10-07 2018-03-13 Gopro, Inc. Systems and methods for audio remixing using repeated segments
US10043552B1 (en) 2016-10-08 2018-08-07 Gopro, Inc. Systems and methods for providing thumbnails for video content
US10684679B1 (en) 2016-10-21 2020-06-16 Gopro, Inc. Systems and methods for generating viewpoints for visual content based on gaze
US10194101B1 (en) 2017-02-22 2019-01-29 Gopro, Inc. Systems and methods for rolling shutter compensation using iterative process
US10278001B2 (en) 2017-05-12 2019-04-30 Microsoft Technology Licensing, Llc Multiple listener cloud render with enhanced instant replay
US10469818B1 (en) 2017-07-11 2019-11-05 Gopro, Inc. Systems and methods for facilitating consumption of video content
US10182303B1 (en) * 2017-07-12 2019-01-15 Google Llc Ambisonics sound field navigation using directional decomposition and path distance estimation
JP6742535B2 (ja) * 2017-11-15 2020-08-19 三菱電機株式会社 収音再生装置並びにプログラム及び記録媒体
US10587807B2 (en) 2018-05-18 2020-03-10 Gopro, Inc. Systems and methods for stabilizing videos
US10432864B1 (en) 2018-09-19 2019-10-01 Gopro, Inc. Systems and methods for stabilizing videos
KR102232045B1 (ko) 2019-01-08 2021-03-25 삼성전자주식회사 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능 매체.
EP3731541B1 (en) * 2019-04-23 2024-06-26 Nokia Technologies Oy Generating audio output signals

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4653102A (en) 1985-11-05 1987-03-24 Position Orientation Systems Directional microphone system
JPH0795698A (ja) * 1993-09-21 1995-04-07 Sony Corp オーディオ再生装置
US5717767A (en) 1993-11-08 1998-02-10 Sony Corporation Angle detection apparatus and audio reproduction apparatus using it
US6021206A (en) * 1996-10-02 2000-02-01 Lake Dsp Pty Ltd Methods and apparatus for processing spatialised audio
FI114422B (fi) 1997-09-04 2004-10-15 Nokia Corp Lähteen puheaktiviteetin tunnistus
JP2000066568A (ja) * 1998-08-20 2000-03-03 Sony Corp 視差画像列撮像装置
US6243683B1 (en) * 1998-12-29 2001-06-05 Intel Corporation Video control of speech recognition
DE60010457T2 (de) 2000-09-02 2006-03-02 Nokia Corp. Vorrichtung und Verfahren zur Verarbeitung eines Signales emittiert von einer Zielsignalquelle in einer geräuschvollen Umgebung
JP4722347B2 (ja) * 2000-10-02 2011-07-13 中部電力株式会社 音源探査システム
WO2002041664A2 (en) * 2000-11-16 2002-05-23 Koninklijke Philips Electronics N.V. Automatically adjusting audio system
GB2374507B (en) * 2001-01-29 2004-12-29 Hewlett Packard Co Audio user interface with audio cursor
AU2003223359A1 (en) 2002-03-27 2003-10-13 Aliphcom Nicrophone and voice activity detection (vad) configurations for use with communication systems
US7424118B2 (en) * 2004-02-10 2008-09-09 Honda Motor Co., Ltd. Moving object equipped with ultra-directional speaker
CN101132839B (zh) * 2005-05-05 2011-09-07 索尼计算机娱乐公司 结合计算机交互处理的选择性声源监听
FI20055261A0 (fi) 2005-05-27 2005-05-27 Midas Studios Avoin Yhtioe Akustisten muuttajien kokoonpano, järjestelmä ja menetelmä akustisten signaalien vastaanottamista tai toistamista varten
NO323434B1 (no) * 2005-09-30 2007-04-30 Squarehead System As System og metode for a produsere et selektivt lydutgangssignal
CN101479782B (zh) 2006-05-04 2011-08-03 美国索尼电脑娱乐公司 多输入游戏控制混合器
US8509454B2 (en) 2007-11-01 2013-08-13 Nokia Corporation Focusing on a portion of an audio scene for an audio signal
US8515106B2 (en) * 2007-11-28 2013-08-20 Qualcomm Incorporated Methods and apparatus for providing an interface to a processing engine that utilizes intelligent audio mixing techniques
TW200948165A (en) 2008-05-15 2009-11-16 Asustek Comp Inc Sound system with acoustic calibration function
US8150063B2 (en) * 2008-11-25 2012-04-03 Apple Inc. Stabilizing directional audio input from a moving microphone array
CN112019976A (zh) 2009-11-24 2020-12-01 诺基亚技术有限公司 用于处理音频信号的设备和方法
CN106231501B (zh) * 2009-11-30 2020-07-14 诺基亚技术有限公司 用于处理音频信号的方法和装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105451139A (zh) * 2014-06-24 2016-03-30 索尼公司 声音信号处理方法、装置和移动终端
CN104219603A (zh) * 2014-08-26 2014-12-17 北京智谷技术服务有限公司 声道配置方法和装置
CN107113527A (zh) * 2014-09-30 2017-08-29 苹果公司 确定扬声器位置变化的方法
US10567901B2 (en) 2014-09-30 2020-02-18 Apple Inc. Method to determine loudspeaker change of placement
CN112929788A (zh) * 2014-09-30 2021-06-08 苹果公司 确定扬声器位置变化的方法
CN106486147A (zh) * 2015-08-26 2017-03-08 华为终端（东莞）有限公司 指向性录音方法、装置及录音设备
CN107430791A (zh) * 2015-09-04 2017-12-01 迈克尔·J·科斯塔比莱 用于在具有多个不同激活信号的环境中远程地起始及停止计时时钟的系统
CN108475511A (zh) * 2015-12-17 2018-08-31 亚马逊技术公司 用于创建参考信道的自适应波束形成
CN108475511B (zh) * 2015-12-17 2023-02-21 亚马逊技术公司 用于创建参考信道的自适应波束形成
CN109963249A (zh) * 2017-12-25 2019-07-02 北京京东尚科信息技术有限公司 数据处理方法及其系统、计算机系统和计算机可读介质

Also Published As

Publication number Publication date
EP2517478A1 (en) 2012-10-31
EP3217653B1 (en) 2023-12-27
US9196238B2 (en) 2015-11-24
EP3217653A1 (en) 2017-09-13
CN102771141B (zh) 2016-01-20
EP2517478B1 (en) 2017-11-01
WO2011076290A1 (en) 2011-06-30
CA2785080C (en) 2017-01-17
US20130177168A1 (en) 2013-07-11
CA2785080A1 (en) 2011-06-30

Similar Documents

Publication Publication Date Title
CN102771141A (zh) 一种装置
CN111025233B (zh) 一种声源方向定位方法和装置、语音设备和系统
CN111724823B (zh) 一种信息处理方法及装置
US11435429B2 (en) Method and system of acoustic angle of arrival detection
EP3550853B1 (en) Apparatus for processing audio signals
RU2559520C2 (ru) Устройство и способ для пространственно избирательного получения звука с помощью акустической триангуляции
KR20130084298A (ko) 원거리 다중 음원 추적 및 분리 시스템, 방법, 장치 및 컴퓨터-판독가능 매체
CN110089131A (zh) 分布式音频捕获和混合控制
US10424314B2 (en) Techniques for spatial filtering of speech
CN102668601A (zh) 一种装置
WO2015168901A1 (en) Audio signal beam forming
US8705319B2 (en) Apparatus and method for resolving an ambiguity from a direction of arrival estimate
CN111916102B (zh) 电子设备的录音方法及录音装置
US20210266665A1 (en) Apparatus, Method and Computer Program for Obtaining Audio Signals
TW202143750A (zh) 使用自我調整網路來對全景聲係數進行變換
CN114333831A (zh) 信号处理的方法和电子设备
JP2019103011A (ja) 変換装置、変換方法、およびプログラム
RU2732854C1 (ru) Способ для сбора звука, устройство и носитель
TW202226823A (zh) 影音通訊系統及其控制方法
CN111863012B (zh) 一种音频信号处理方法、装置、终端及存储介质
US20240236587A1 (en) Hearing aid and method
CN118098260A (zh) 一种语音信号处理方法及相关设备
CN117880697A (zh) 用于生成声场的有限脉冲响应滤波器的插值
CN117981352A (zh) 会议终端及回声消除方法
CN117854525A (zh) 用于使用数据集进行音频信号增强的装置、方法和计算机程序

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20151218

Address after: Espoo, Finland

Applicant after: Technology Co., Ltd. of Nokia

Address before: Espoo, Finland

Applicant before: Nokia Oyj

C14 Grant of patent or utility model
GR01 Patent grant