CN103329568A - 用移动平台进行的可变波束成形 - Google Patents

用移动平台进行的可变波束成形 Download PDF

Info

Publication number
CN103329568A
CN103329568A CN2012800053351A CN201280005335A CN103329568A CN 103329568 A CN103329568 A CN 103329568A CN 2012800053351 A CN2012800053351 A CN 2012800053351A CN 201280005335 A CN201280005335 A CN 201280005335A CN 103329568 A CN103329568 A CN 103329568A
Authority
CN
China
Prior art keywords
sound source
mobile platform
beam forming
audio
moves
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012800053351A
Other languages
English (en)
Other versions
CN103329568B (zh
Inventor
B·福坦普尔
A·G·P·舒赫威茨
E·维斯
B·莫姆耶尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Priority to CN201510707317.3A priority Critical patent/CN105263085B/zh
Publication of CN103329568A publication Critical patent/CN103329568A/zh
Application granted granted Critical
Publication of CN103329568B publication Critical patent/CN103329568B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2410/00Microphones
    • H04R2410/01Noise reduction using microphones having different directional characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H04R2430/25Array processing for suppression of unwanted side-lobes in directivity characteristics, e.g. a blocking matrix
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10General applications
    • H04R2499/11Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10General applications
    • H04R2499/15Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops

Abstract

一种移动平台包括话筒阵列并且能够实现波束成形以放大或抑制来自声源的音频信息。通过诸如将移动平台指向声源方向之类的用户输入或者通过触摸屏显示器界面来指示声源。移动平台进一步包括能够检测移动平台的移动的取向传感器。当移动平台关于声源移动时,基于来自取向传感器的数据来调整波束成形,以使得在声源的方向上继续实现波束成形。来自声源的音频信息可被加入到电话或视频电话通话中或者从电话或视频电话通话抑制。来自相机的图像或视频可类似地基于来自取向传感器的数据来控制。

Description

用移动平台进行的可变波束成形
背景
诸如膝上型计算机、桌面计算机之类的当前计算机以及智能电话和平板计算机不具有容易地加入除了呼叫中的主用户之外的人员(若其他人位于房间中的不同位置处)的能力,即使在该设备包括定向话筒或话筒阵列的情况下亦是如此。简单地放大房间中的所有声源通常会产生大量不希望的背景噪声。希望参与电话或视频电话呼叫的个人通常被要求物理地移动并且坐在话筒附近或者相机前面。因此,可能坐着的或者舒适地休息的、但是希望在呼叫上说几句话的人被迫移动靠近话筒和/或相机或者将不能清楚地听见或看见。
虽然使用话筒阵列的波束成形技术是已知的(诸如高噪声抑制技术)并且能够在语音呼叫(网际协议上语音(VOIP)等)期间减少分心的环境噪声和比特率要求,但是这些技术一般依赖基于若干基于时间、空间、频率和振幅的线索来尝试标识单个说话者的波束转向算法,该算法会在说话者之间快速切换期间导致衰减并且阻止诸如所描述的这种多个说话者情景。另外,在较差的信噪比(SNR)状况下,抵达方向标识任务会变得困难,从而导致语音消声、背景噪声调制和其他假象。另外,在诸如计算机平板电脑或智能电话之类的移动设备的情况下,设备有可能在通话期间移动,从而使抵达方向标识任务甚至变得更加困难。
因此,开发一种系统以使得用户能够以最小的努力将房间中的其他人加入在电话或视频电话通话(或其他此类应用)中将是有益的。
概述
一种移动平台包括话筒阵列并且实现波束成形以放大或抑制来自声源方向的音频信息。该移动平台进一步包括被用于检测移动平台的移动的取向传感器,该移动被用于在移动平台关于声源移动时调整波束成形以继续放大或抑制来自声源方向的音频信息。声源方向可通过用户输入来提供。例如,移动平台可指向声源以标识声源方向。补充地或替换地,声源的位置可使用话筒阵列来标识并向用户显示。用户可随后使用例如触摸屏显示器来标识声源方向。当移动平台关于声源移动时,取向传感器检测该移动。波束成形被实现的方向可随后基于移动平台的如由取向传感器检测的测得移动来调整。因此,可在期望的声源方向上连续地实现波束成形,而不管移动平台关于声源的移动。来自相机的图像或视频可类似地基于来自取向传感器的数据来控制。
附图简述
图1A和1B分别解说了移动平台的正面和背面。
图2A和2B解说了具有关于两个声源的不同取向而同时连续地实现关于这两个声源的波束成形的移动平台。
图2C解说了执行波束成形而不补偿移动平台关于声源的移动的移动平台。
图3解说了在移动平台关于声源移动时实现波束成形的流程图。
图4A、4B和4C解说了通过将移动平台指向声源来指示声源方向。
图5解说了使用触摸屏显示器上的图形用户界面来指示声源方向。
图6解说了诸如图1中所解说的话筒阵列的音频响应与方向的关系。
图7解说了响应于移动平台关于声源的移动而控制相机。
图8解说了能够基于来自取向传感器的数据来调整执行波束成形的方向的移动平台的框图。
具体描述
图1A和1B分别解说了移动平台100的正面和背面,该移动平台100可以是诸如蜂窝电话、智能电话、平板计算机、或可以具有电话或视频电话能力的其他无线通信设备之类的任何便携式电子设备。移动平台100包括外壳101、可以是触摸屏显示器的显示器102、以及耳机扬声器104和两个扩音器106L和106R。移动平台100还包括话筒108A、108B、108C、108D和108E的阵列(有时统称为话筒阵列108)以及连接至话筒阵列108的波束成形系统(例如,话筒阵列控制器192),该波束成形系统可实现波束成形以抑制或放大来自特定方向的声音。在美国专利申请序列号12/605,158和12/796,566中描述了波束成形,这两个申请已转让给本申请受让人并且由此通过援引全部纳入于此。话筒可以例如是压电式微机电系统(MEMS)类型话筒。移动平台100还包括取向传感器110,诸如与3轴陀螺仪和/或数字罗盘耦合的3轴加速计。使用取向传感器,移动平台100可在其关于声源移动时使所形成的波束转向以放大或抑制声源。所形成的抑制(即,拒绝)声源的波束有时可被称为空波束,而放大声源的波束有时在本文中可被简称为波束。然而,应当理解,除非另外专门指出,术语“波束”和“波束成形”既可被用于表示放大,也可被用于表示抑制(即,“空波束”和“空波束成形”)。
移动平台100还可包括无线收发机112和一个或多个相机,诸如移动平台100的正面上的相机114和移动平台100的背面上的相机116(图1B中示出)。应当理解,若希望,则可改变个体元件的精确位置和数目。例如,话筒阵列108可包括附加的或较少的话筒,这些话筒可定位在移动平台100的不同位置处,诸如外壳101的侧面上。
如本文中所使用的,移动平台是指任何便携式电子设备,诸如,蜂窝电话、智能电话、平板计算机、或其他无线通信设备、个人通信系统(PCS)设备、个人导航设备(PND)、个人信息管理器(PIM)、个人数字助理(PDA)、或者其他合适的移动设备。移动平台可以能够传送和接收无线通信。术语“移动平台”还旨在包括诸如藉由短程无线、红外、有线连接、或其他连接与个人导航设备(PND)通信的设备,不管卫星信号接收、辅助数据接收、和/或与位置有关的处理是发生在该设备处还是在PND处。另外,“移动平台”旨在包括所有能够(诸如经由因特网、Wi-Fi、或其它网络)与服务器通信的设备,包括无线通信设备、计算机等,而不管卫星信号接收、辅助数据接收、和/或与位置有关的处理是发生在该设备处、服务器处、还是与网络相关联的另一设备处。以上的任何可操作的组合也被认为是“移动平台”。
另外,移动平台100可经由收发机112诸如通过蜂窝塔台和从无线通信接入点接入任何无线通信网络(诸如无线广域网(WWAN)、无线局域网(WLAN)、无线个域网(WPAN)等或其任何组合)。术语“网络”和“系统”常被可互换地使用。WWAN可以是码分多址(CDMA)网络、时分多址(TDMA)网络、频分多址(FDMA)网络、正交频分多址(OFDMA)网络、单载波频分多址(SC-FDMA)网络、长期演进(LTE)等等。CDMA网络可实现诸如cdma2000、宽带CDMA(W-CDMA)等一种或多种无线电接入技术(RAT)。cdma2000包括IS-95、IS-2000和IS-856标准。TDMA网络可实现全球移动通信系统(GSM)、数字高级移动电话系统(D-AMPS)、或其它某种RAT。GSM和W-CDMA在来自名为“第三代伙伴项目”(3GPP)的联盟的文献中描述。Cdma2000在来自名为“第三代伙伴项目2”(3GPP2)的联盟的文献中描述。3GPP和3GPP2文献是公众可获取的。WLAN可以是IEEE802.11x网络,并且WPAN可以是蓝牙网络、IEEE802.15x、或其他某种类型的网络。
在使用话筒阵列108和取向传感器110的情况下,移动平台100能够实现一个或多个声源的波束成形,而不管移动平台100的移动改变移动平台关于声源的取向。如本文中所使用的,声源包括产生音频信息的任何事物,包括人、动物或物体。作为示例,图2A和2B解说了具有关于两个声源(声源A和声源B)的不同取向而同时连续地实现关于这两个声源的波束成形的移动平台100。声源A可以例如是人并且由话筒阵列108放大,以使得来自声源A的音频信息经由移动平台100被加入到电话或视频电话通话中,如由曲线122所解说的。另一方面,声源B可能是要被话筒阵列108抑制的噪声物体,以使得来自声源B的音频信息经由移动平台100被排除在电话或视频电话通话之外或者至少在电话或视频电话通话中被减少,如由阴影曲线124所解说的。如图2B中可见,尽管移动平台100关于声源A和B的取向发生变化,仍维持声源A的放大和声源B的抑制,这是因为使用来自图1A中所示的取向传感器110的数据。因此,移动平台100将空波束转向要被拒绝的声源B(有时称为空波束成形)并且将主瓣转向期望的声源A(有时简称为波束成形)。藉由比较,图2C解说了执行波束成形但是不补偿移动设备100关于声源A和B的移动的移动平台100。如在图2C中可见,在不调整移动平台100的旋转的情况下,移动平台100将不再在声源A和B的方向上实现波束成形。
图3解说了在移动平台关于声源移动时连续地在声源方向上实现波束成形的流程图。如所解说的,例如,当主用户希望在电话或视频电话通话中加入或者至少部分地排除来自声源的音频信息时,指示声源关于移动平台的方向(202)。对声源方向的指示可例如通过将移动平台指向期望的方向并且按下按钮或者通过使用触摸屏显示器上的图形用户界面、或者其他相似类型的界面来执行。
图4A、4B和4C解说了通过将移动平台指向声源来指示声源方向。作为示例,图4A解说了指向声源A的方向的移动平台100,如由显示器102中的声源A的图像所指示的。在移动平台A指向声源A的情况下,用户可例如通过按下按钮或者轻叩触摸屏显示器102或者通过诸如手势或移动平台100的快速移动之类的其他恰适的用户界面来为波束成形选择声源A的方向。如图4A中所解说的,选择声源A以进行放大(由箭头130指示),例如,以使得来自声源A的音频信息连同来自主用户的音频信息一起可被加入在电话或视频电话通话中。在指示声源A的方向之后,移动平台100可如图4B中所解说的那样移至或旋转至不同的位置,这可涉及将移动平台放置在主用户的舒适位置中。如由箭头130所解说的,移动平台100将继续补偿移动平台100的移动,以使得来自声源A的音频信息将继续由波束成形系统放大。另外,如图4C中所解说的,移动平台100可被移动以指向声源B的方向,如由显示器102中出现的声源B的图像所指示的。在图4C中例如通过按下不同的按钮、以不同的方式轻叩显示器102、或者通过其他恰适的用户界面来选择声源B以进行抑制(如由符号132所指示的)。声源B可被选择以进行抑制,以使得来自声源B的音频信息在电话或视频电话通话中被至少部分地减少。
图5解说了主用户250的手通过使用触摸屏显示器102上的图形用户界面260来指示声源A关于移动平台的方向。例如,图形用户界面解说了位于移动平台100的中心处的“雷达”地图262上的声源A和B。这些声源可以例如通过使用话筒阵列108来拾取预定增益水平以上的声音并且确定至声源的方向和距离的方式进行检测,该方向和距离可随后显示在地图262上。在美国专利申请序列号12/605,158和12/796,566中描述了确定至声源的方向和距离,这两个申请已转让给本申请受让人并且由此通过援引全部纳入于此。用户250可选择一个或多个声源以进行放大(例如,如由暗条块264所指示的声源A),并且选择一个或多个声源以进行抑制(例如,如由阴影线指示的声源B)。当然,其他类型的图形也可用于图形用户界面260。
回到图3,在声源的方向上实现波束成形(204)。由改变话筒阵列108中的每个个体话筒的延迟和增益的话筒阵列控制器192来实现波束成形以放大来自某些期望方向的声音并且抑制来自其他方向的声音。在美国专利申请序列号12/605,158和12/796,566中描述了使用话筒阵列的波束成形,这两个申请已转让给本申请受让人并且由此通过援引全部纳入于此。一般而言,波束成形会改变话筒阵列108中每个个体话筒的延迟和增益以在要被抑制的声音的方向上产生“空波束”或者放大来自另一方向的声源。话筒阵列108产生多信道信号,在该多信道信号中,每个信道基于话筒中相应的一个话筒对声音环境的响应。基于相位或者基于相位相关的方案可被用于标识呈现不希望的相位差特性(例如,与频率不相关和/或与频率相关但是指示不希望的方向上的相干性的相位差)的时间-频率点。此类标识可包括对所记录的多信道信号执行定向遮罩操作。定向遮罩操作可包括例如对多信道信号的相位分析的结果应用定向遮罩函数(或“遮罩”)以丢弃该信号的较大数目的时间-频率点。作为示例,图6解说了诸如图1中所解说的话筒阵列的音频响应与方向的关系。如可见的,话筒阵列108可以拾取来自任何期望方向上的期望角度的波束宽度的音频为目标。
在常规的基于多话筒阵列的噪声抑制系统中,算法通过处理在这些话筒中的每个话筒处抵达的一系列基于时间、空间、频率和振幅的声音信息来尝试标识说话者的方向。平板计算机和上网本中的话筒在大多数使用情形中远离嘴扬声器,以使得声能路径损耗可能比嘴参考点大30dB。此路径损耗要求在数字转换之前较高的CODEC增益。因此,可被用于平板计算机和上网本的常规的噪声抑制算法必须克服背景噪声也被放大与期望语音相同的增益因子的事实。因此,常规的噪声消除算法计算期望的扬声器的方向并且将狭窄的波束转向该扬声器。波束宽度基于频率和话筒阵列108配置,其中较窄的波束宽度伴随较强的旁瓣。不同宽度的波束的数据库可被设计和存储在移动平台100中,并且自动地或者通过用户界面来选择,以使得波束具有恰适的宽度以加入或排除声源。
使用诸如罗盘、陀螺仪之类的取向传感器110或者从静止的噪声源生成的参考抵达角来确定移动平台100的移动(206)。一般而言,可以假设移动平台100关于声源移动。确定移动(包括取向或位置的变化)、使用取向传感器或静止的噪声源在本领域中是公知的。
在移动设备已移动之后,基于所确定的移动来调整波束成形以继续在声源方向上实现波束成形(208)。因此,例如,如图4A和4B中所解说的,在例如通过将移动平台100指向声源A的方向并且按下按钮或其他恰适的选择机构来指示声源A的方向之后,实现声源A的方向上的波束成形,如由箭头130所解说的。用户可随后改变移动平台100关于声源A的取向,例如以将移动平台放置在舒适位置中(如图4B中所解说的)。取向传感器110检测移动平台100的移动。例如,取向传感器110可确定移动平台100已旋转50度。随后,使用测得的移动来调整波束成形,例如,通过控制话筒阵列108改变波束成形的方向(在此情形中改变-50度),以继续拾取来自声源A的音频信息。话筒阵列108可被类似地控制以通过基于移动平台100的测量移动来调整波束成形的方向的方式继续抑制来自声源B的音频信息。换言之,基于移动平台的测得移动来调整定向遮罩操作,以使得可在声源的当前方向上继续实现波束成形。因此,用户能够加入可能处于不同位置的多个人(或其他声源),并且用移动的移动平台来抑制电话或视频电话通话中不希望的声源。
另外,在视频电话通话期间,可能希望期望的声源的图像连同用户一起被显示和传送。虽然移动平台100可能关于持握移动平台100的用户相对静止,但是用户的移动可能导致移动平台100相对于其他声源移动。因此,其他声源的图像可能是摇晃的或者带有充分的用户移动,相机可能平扫离开其他声源。因此,相机116可被控制以使用例如来自取向传感器110的测得运动、通过控制相机116从声源的指示方向捕捉视频或图像并且在移动平台已移动之后使用所确定的移动来调整对相机的控制以继续在声源方向上捕捉图像或视频的方式补偿移动平台100的移动。
相机116可例如通过在移动平台的移动之后调整相机116的PTZ(平扫倾斜变焦)指向经调整方向以继续捕捉声源的视频或图像的方式来控制。作为示例,图7解说了相机116的包括声源A和B的全视野302。然而,移动平台100仅显示全视野302中的经裁剪部分304,如由虚线所解说的。换言之,全视野302被裁剪,以使得在视频电话通话期间可在经裁剪部分304中显示声源A。当移动平台100移动时(如由取向传感器110所检测的),经裁剪部分304在全视野302内移动(如由箭头306所指示的)以补偿该移动。因此,例如,如果移动平台100向右旋转2度,则经裁剪部分304就向左移位2度,以使得声源A保留在图像中。当然,经裁剪部分304的移位可以是垂直的、也可以是水平的。
另外,话筒阵列108可被用于拾取来自指定方向的音频信息,该音频信息被用于除了电话或视频电话类型应用之外的应用。例如,音频信息可被简单地记录和存储。替换地,音频信息可被实时地或者接近实时地例如通过移动平台100本身或者通过经由收发机112向诸如服务器之类的分开的设备传送该音频信息的方式来转换,其中音频信息被转换和被传送回移动平台100并且被诸如移动技术有限责任公司(Mobile Technologies,LLC)的Jibbigo之类的收发机112接收。
图8是能够基于来自取向传感器的数据在移动平台移动时连续地在声源方向上实现波束成形的移动平台100的框图。移动平台100包括用于响应于收到声音信号而产生多信道信号的装置,诸如可包括多个压电式微机电系统(MEMS)类型话筒的话筒阵列108。移动平台100进一步包括用于确定移动平台的移动的装置,诸如可以是与3轴陀螺仪和/或数字罗盘耦合的3轴加速计的取向传感器110。替换地或补充地,移动平台100可使用从静止的噪声源生成的参考抵达角来确定移动。移动平台100可进一步包括能够经由天线172分别向和从蜂窝塔台或无线接入点发送和接收通信的无线收发机112,例如,蜂窝调制解调器或无线网络无线电接收机/发射机。移动平台还可包括一个或多个相机114、116。
移动平台100进一步包括用户接口160,该用户接口160可包括例如扬声器104、和扩音器106L和106R以及可以例如是LCD(液晶显示器)技术或LPD(发光聚合物显示器)技术的显示器102,并且可包括诸如电容式或电阻式触摸传感器之类的用于检测显示器的触摸的装置。用户接口160还可包括按键板162或其他输入设备,用户可通过该按键板162或其他输入设备将信息输入移动平台100。若期望,可通过将虚拟按键板整合到带有触摸传感器的显示器102中来省去按键板162。用户接口160还包括话筒阵列108中的一个或多个话筒,诸如图1中所示的话筒108B。另外,取向传感器110可通过检测移动平台100的移动形式的手势而被用作用户接口160的一部分。移动平台100包括用于在用户将移动平台100指向声源或者触摸屏显示器102上的图形用户界面时指示声源相对于移动平台的方向的装置,该装置可以例如是取向传感器。
移动平台100包括控制单元150,该控制单元150被连接以接受和处理来自取向传感器110、话筒阵列108、收发机112、相机114、116和用户接口160的数据。控制单元150还控制包括话筒阵列108在内的设备的操作,并且由此充当用于实现波束成形和在移动平台已关于声源移动之后使用由取向传感器检测的移动来调整波束成形以继续在声源方向上实现波束成形的装置。控制单元150可由处理器152以及相关联的存储器154、硬件156、软件158和固件157来提供。控制单元150包括被解说为话筒阵列控制器192的用于实现波束成形的装置,以及被解说为取向传感器控制器194的用于测量移动平台的移动的装置。在基于从静止的噪声源生成的参考抵达角来确定移动的情况下,话筒阵列控制器192可被用于确定移动。话筒阵列控制器192和取向传感器控制器194可被植入为清楚起见而分开来解说的处理器152、硬件156、固件157、或软件158(即存储在存储器154中并由处理器152执行的计算机可读介质)中,、或其组合。
将理解,如本文中所使用的,处理器152可以但无需必然包括一个或多个微处理器、嵌入式处理器、控制器、专用集成电路(ASIC)、数字信号处理器(DSP)、及类似物。术语“处理器”旨在描述由系统实现的功能而非专门的硬件。此外,如本文所使用的术语“存储器”是指任何类型的计算机存储介质,包括与移动平台相关联的长期、短期、或其他存储器,且并不被限定于任何特定类型的存储器或特定数目的存储器、或记忆存储在其上的介质的类型。
本文中所描述的方法体系取决于应用可藉由各种手段来实现。例如,这些方法体系可在硬件156、固件157、软件158、或其任何组合中实现。对于硬件实现,这些处理单元可以在一个或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理器件(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、电子器件、设计成执行本文中所描述功能的其他电子单元、或其组合内实现。
对于固件和/或软件实现,这些方法体系可用执行本文中描述的功能的模块(例如,规程、函数等等)来实现。任何有形地实施指令的机器可读介质可被用来实现本文中所描述的方法体系。例如,软件代码可被存储在存储器154中并由处理器152执行。存储器可以实现在处理器单元内或在处理器单元外部。如本文所使用的,术语“存储器”是指任何类型的长期、短期、易失性、非易失性、或其他存储器,且并不限于任何特定类型的存储器或特定数目的存储器、或记忆存储在其上的类型的介质。
例如,软件158可包括被存储在存储器154中并由处理器152执行的程序代码,并且可如本文中所描述地用来控制移动平台100的操作。存储在诸如存储器154之类的计算机可读介质中的程序代码可包括用于基于用户输入来标识声源的方向的程序代码;用于实现波束成形以放大或抑制由话筒阵列在声源的方向上接收的音频信息的程序代码;用于确定话筒阵列的移动的程序代码;以及用于在话筒阵列已关于声源移动之后使用所确定的移动来调整波束成形以继续在声源的方向上实现波束成形的程序代码。存储在计算机可读介质中的程序代码可还包括用于使得处理器如本文所描述的控制移动平台100的任何操作的程序代码。
如果在固件和/或软件中实现,则各功能可以作为一条或更多条指令或代码存储在计算机可读介质上。示例包括用数据结构编码的计算机可读介质和用计算机程序编码的计算机可读介质。计算机可读介质包括物理计算机存储介质并且不是指瞬态的传播信号。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定,此类计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁存储设备、或能被用来存储以指令或数据结构形式的期望程序代码且能被计算机访问的任何其他介质;如本文中所使用的盘(disk)和碟(disc)包括压缩碟(CD)、激光碟、光碟、数字多用碟(DVD)、软盘和蓝光碟,其中盘常常磁学地再现数据,而碟用激光光学地再现数据。以上的组合也应被包括在计算机可读介质的范围内。
尽管出于指导目的结合具体实施例解说了本发明,但是本发明并不被限定于此。可作出各种适应性改编和改动而不会脱离本发明的范围。因此,所附权利要求的精神和范围不应当被限定于前面的描述。

Claims (20)

1.一种方法,包括:
指示声源关于移动平台的方向;
用所述移动平台在所述声源的所述方向上实现波束成形以放大或抑制来自所述声源的音频信息;
确定所述移动平台关于所述声源的移动;以及
在所述移动平台已关于所述声源移动之后,使用所确定的移动来调整所述波束成形以在所述声源的所述方向上继续实现波束成形。
2.如权利要求1所述的方法,其特征在于,进一步包括:
指示第二声源关于移动平台的第二方向;
用所述移动平台在所述第二声源的所述第二方向上实现波束成形以放大或抑制来自所述第二声源的音频信息;以及
在所述移动平台已关于所述第二声源移动之后,使用所确定的移动来调整所述波束成形以在所述第二声源的所述第二方向上继续实现波束成形。
3.如权利要求1所述的方法,其特征在于,指示所述声源关于所述移动平台的方向包括移动所述移动平台以指向所述声源的所述方向。
4.如权利要求1所述的方法,其特征在于,指示所述声源关于所述移动平台的方向包括使用所述移动平台上的显示器来选择所述声源的所述方向。
5.如权利要求1所述的方法,其特征在于,实现波束成形包括在所述移动平台上处理来自话筒阵列的多信道信号。
6.如权利要求1所述的方法,其特征在于,进一步包括在实现波束成形之后无线地传送来自所述声源的所述方向的音频信息。
7.如权利要求6所述的方法,其特征在于,所述音频信息是在电话呼叫中无线地传送的。
8.如权利要求1所述的方法,其特征在于,进一步包括在实现波束成形之后获得来自所述声源的所述方向的对音频信息的转换。
9.如权利要求1所述的方法,其特征在于,进一步包括:
控制所述移动平台上的相机以从所述声源的所述方向捕捉视频和图形中的至少一者;以及
在所述移动平台已关于所述声源移动之后,使用所确定的移动来调整对所述相机的控制以继续从所述声源的所述方向捕捉视频和图像中的至少一者。
10.一种移动平台,包括:
话筒阵列;
取向传感器;
处理器,其连接到所述话筒阵列和所述取向传感器;
存储器,其连接到所述处理器;以及
保存在所述存储器中并且在所述处理器中运行的软件,所述软件使所述处理器基于用户输入来标识声源的方向,实现波束成形以放大或抑制由所述话筒阵列在所述声源的所述方向上接收的音频信息,使用由所述取向传感器提供的数据来确定所述移动平台的移动,并且在所述移动平台已关于所述声源移动之后使用所确定的移动来调整所述波束成形以继续在所述声源的所述方向上实现波束成形。
11.如权利要求10所述的移动平台,其中所述保存在所述存储器中并且在所述处理器中运行的软件进一步使所述处理器基于用户输入来标识第二声源的方向,实现波束成形以放大或抑制由所述话筒阵列在所述第二声源的所述第二方向上接收的音频信息,并且在所述移动平台已关于所述声源移动之后使用所确定的移动来调整所述波束成形以继续在所述第二声源的所述第二方向上实现波束成形。
12.如权利要求10所述的移动平台,其特征在于,保存在所述存储器中并且在所述处理器中运行的所述软件进一步使所述处理器使用来自所述取向传感器的数据基于用户输入来标识声源的方向。
13.如权利要求10所述的移动平台,其特征在于,进一步包括耦合至所述处理器的触摸屏显示器,其中保存在所述存储器中并且在所述处理器中运行的所述软件进一步使所述处理器使用由所述触摸屏显示器提供的数据来标识声源的方向。
14.如权利要求10所述的移动平台,其特征在于,保存在所述存储器中并且在所述处理器中运行的所述软件进一步使所述处理器通过处理来自所述话筒阵列的多信道信号来实现波束成形。
15.如权利要求10所述的移动平台,其特征在于,进一步包括耦合至所述处理器的无线收发机,其中保存在所述存储器中并且在所述处理器中运行的软件进一步使所述处理器在波束成形被实现之后控制所述无线收发机传送从所述声源的所述方向获得的音频信息。
16.如权利要求15所述的移动平台,其特征在于,所述音频信息是在电话呼叫中传送的。
17.如权利要求15所述的移动平台,其特征在于,响应于所传送的音频信息,所述无线收发机接收对所述音频信息的转换。
18.如权利要求10所述的移动平台,其特征在于,进一步包括耦合至所述处理器的相机,其中保存在所述存储器中并且在所述处理器中运行的所述软件进一步使所述处理器控制所述相机从所述声源的所述方向捕捉视频和图像中的至少一者,以及在所述移动平台已关于所述声源移动之后调整对所述相机的控制以继续从所述声源的所述方向捕捉视频和图像中的至少一者。
19.一种系统,包括:
用于指示声源关于移动平台的方向的装置;
用于用所述移动平台在所述声源的所述方向上实现波束成形以放大或抑制来自所述声源的音频信息的装置;
用于确定所述移动平台关于所述声源的移动的装置;以及
用于在所述移动平台已关于所述声源移动之后使用所确定的移动来调整所述波束成形以在所述声源的所述方向上继续实现波束成形的装置。
20.一种包括存储在其上的程序代码的计算机可读介质,包括:
用于基于用户输入来标识声源的方向的程序代码;
用于实现波束成形以放大或抑制由话筒阵列在所述声源的所述方向上接收的音频信息的程序代码;
用于确定所述话筒阵列的移动的程序代码;以及
用于在所述话筒阵列已关于所述声源移动之后使用所确定的移动来调整所述波束成形以在所述声源的所述方向上继续实现波束成形的程序代码。
CN201280005335.1A 2011-01-13 2012-01-13 用移动平台进行的可变波束成形 Expired - Fee Related CN103329568B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510707317.3A CN105263085B (zh) 2011-01-13 2012-01-13 用移动平台进行的可变波束成形

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/006,303 2011-01-13
US13/006,303 US8525868B2 (en) 2011-01-13 2011-01-13 Variable beamforming with a mobile platform
PCT/US2012/021340 WO2012097314A1 (en) 2011-01-13 2012-01-13 Variable beamforming with a mobile platform

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201510707317.3A Division CN105263085B (zh) 2011-01-13 2012-01-13 用移动平台进行的可变波束成形

Publications (2)

Publication Number Publication Date
CN103329568A true CN103329568A (zh) 2013-09-25
CN103329568B CN103329568B (zh) 2016-08-10

Family

ID=45582030

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201280005335.1A Expired - Fee Related CN103329568B (zh) 2011-01-13 2012-01-13 用移动平台进行的可变波束成形
CN201510707317.3A Active CN105263085B (zh) 2011-01-13 2012-01-13 用移动平台进行的可变波束成形

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201510707317.3A Active CN105263085B (zh) 2011-01-13 2012-01-13 用移动平台进行的可变波束成形

Country Status (6)

Country Link
US (2) US8525868B2 (zh)
EP (1) EP2664160B1 (zh)
JP (2) JP2014510430A (zh)
KR (1) KR101520564B1 (zh)
CN (2) CN103329568B (zh)
WO (1) WO2012097314A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106486147A (zh) * 2015-08-26 2017-03-08 华为终端(东莞)有限公司 指向性录音方法、装置及录音设备
CN107211206A (zh) * 2015-01-20 2017-09-26 3M创新有限公司 用于测定声学信号起源的可安装的声音捕捉和重现装置
CN107925817A (zh) * 2015-07-27 2018-04-17 索诺瓦公司 夹式麦克风组件
CN112513976A (zh) * 2018-05-16 2021-03-16 多特瑞尔技术有限公司 用于音频捕获的系统和方法
CN112534395A (zh) * 2018-08-08 2021-03-19 高通股份有限公司 用于控制音频区域的用户界面

Families Citing this family (139)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9037468B2 (en) * 2008-10-27 2015-05-19 Sony Computer Entertainment Inc. Sound localization for user in motion
US9838784B2 (en) 2009-12-02 2017-12-05 Knowles Electronics, Llc Directional audio capture
JP5528856B2 (ja) * 2010-03-10 2014-06-25 オリンパスイメージング株式会社 撮影機器
US8798290B1 (en) 2010-04-21 2014-08-05 Audience, Inc. Systems and methods for adaptive signal equalization
US9558755B1 (en) 2010-05-20 2017-01-31 Knowles Electronics, Llc Noise suppression assisted automatic speech recognition
US10353495B2 (en) 2010-08-20 2019-07-16 Knowles Electronics, Llc Personalized operation of a mobile device using sensor signatures
US9313306B2 (en) 2010-12-27 2016-04-12 Rohm Co., Ltd. Mobile telephone cartilage conduction unit for making contact with the ear cartilage
KR101489612B1 (ko) 2010-12-27 2015-02-04 로무 가부시키가이샤 휴대 전화
US8525868B2 (en) 2011-01-13 2013-09-03 Qualcomm Incorporated Variable beamforming with a mobile platform
JP5783352B2 (ja) 2011-02-25 2015-09-24 株式会社ファインウェル 会話システム、会話システム用指輪、携帯電話用指輪、指輪型携帯電話、及び、音声聴取方法
US9264553B2 (en) 2011-06-11 2016-02-16 Clearone Communications, Inc. Methods and apparatuses for echo cancelation with beamforming microphone arrays
GB2493327B (en) * 2011-07-05 2018-06-06 Skype Processing audio signals
GB2495472B (en) 2011-09-30 2019-07-03 Skype Processing audio signals
GB2495129B (en) 2011-09-30 2017-07-19 Skype Processing signals
GB2495278A (en) 2011-09-30 2013-04-10 Skype Processing received signals from a range of receiving angles to reduce interference
GB2495130B (en) 2011-09-30 2018-10-24 Skype Processing audio signals
GB2495131A (en) * 2011-09-30 2013-04-03 Skype A mobile device includes a received-signal beamformer that adapts to motion of the mobile device
GB2495128B (en) 2011-09-30 2018-04-04 Skype Processing signals
GB2496660B (en) 2011-11-18 2014-06-04 Skype Processing audio signals
GB201120392D0 (en) 2011-11-25 2012-01-11 Skype Ltd Processing signals
GB2497343B (en) 2011-12-08 2014-11-26 Skype Processing audio signals
WO2013093187A2 (en) 2011-12-21 2013-06-27 Nokia Corporation An audio lens
CN104247453B (zh) 2012-01-20 2018-06-05 罗姆股份有限公司 移动电话
JP6162386B2 (ja) * 2012-11-05 2017-07-12 株式会社ファインウェル 携帯電話
US9583259B2 (en) 2012-03-20 2017-02-28 Qualcomm Incorporated Wireless power transfer device and method of manufacture
US9160205B2 (en) 2012-03-20 2015-10-13 Qualcomm Incorporated Magnetically permeable structures
US9431834B2 (en) 2012-03-20 2016-08-30 Qualcomm Incorporated Wireless power transfer apparatus and method of manufacture
US9653206B2 (en) 2012-03-20 2017-05-16 Qualcomm Incorporated Wireless power charging pad and method of construction
US10107887B2 (en) * 2012-04-13 2018-10-23 Qualcomm Incorporated Systems and methods for displaying a user interface
TWI571133B (zh) 2012-06-29 2017-02-11 Rohm Co Ltd stereophone
JP5949311B2 (ja) * 2012-08-15 2016-07-06 富士通株式会社 推定プログラム、推定装置、及び推定方法
US9690334B2 (en) 2012-08-22 2017-06-27 Intel Corporation Adaptive visual output based on change in distance of a mobile device to a user
US9640194B1 (en) 2012-10-04 2017-05-02 Knowles Electronics, Llc Noise suppression for speech processing based on machine-learning mask estimation
US9131041B2 (en) * 2012-10-19 2015-09-08 Blackberry Limited Using an auxiliary device sensor to facilitate disambiguation of detected acoustic environment changes
US9286898B2 (en) * 2012-11-14 2016-03-15 Qualcomm Incorporated Methods and apparatuses for providing tangible control of sound
US9183829B2 (en) * 2012-12-21 2015-11-10 Intel Corporation Integrated accoustic phase array
US9525938B2 (en) * 2013-02-06 2016-12-20 Apple Inc. User voice location estimation for adjusting portable device beamforming settings
JP6221258B2 (ja) * 2013-02-26 2017-11-01 沖電気工業株式会社 信号処理装置、方法及びプログラム
US9462379B2 (en) 2013-03-12 2016-10-04 Google Technology Holdings LLC Method and apparatus for detecting and controlling the orientation of a virtual microphone
US9472844B2 (en) * 2013-03-12 2016-10-18 Intel Corporation Apparatus, system and method of wireless beamformed communication
CN104065798B (zh) * 2013-03-21 2016-08-03 华为技术有限公司 声音信号处理方法及设备
KR102127640B1 (ko) 2013-03-28 2020-06-30 삼성전자주식회사 휴대 단말 및 보청기와 휴대 단말에서 음원의 위치를 제공하는 방법
EP2982139A4 (en) * 2013-04-04 2016-11-23 Nokia Technologies Oy AUDIOVISUAL PROCESSING APPARATUS
CA2908654C (en) * 2013-04-10 2019-08-13 Nokia Technologies Oy Audio recording and playback apparatus
EP3950433A1 (en) * 2013-05-23 2022-02-09 NEC Corporation Speech processing system, speech processing method, speech processing program and vehicle including speech processing system on board
US9984675B2 (en) 2013-05-24 2018-05-29 Google Technology Holdings LLC Voice controlled audio recording system with adjustable beamforming
US9269350B2 (en) 2013-05-24 2016-02-23 Google Technology Holdings LLC Voice controlled audio recording or transmission apparatus with keyword filtering
WO2015025829A1 (ja) 2013-08-23 2015-02-26 ローム株式会社 携帯電話
CN104427049A (zh) * 2013-08-30 2015-03-18 深圳富泰宏精密工业有限公司 便携式电子装置
JP6030032B2 (ja) 2013-08-30 2016-11-24 本田技研工業株式会社 音響処理装置、音響処理方法、及び音響処理プログラム
US9705548B2 (en) 2013-10-24 2017-07-11 Rohm Co., Ltd. Wristband-type handset and wristband-type alerting device
KR20150050693A (ko) * 2013-10-30 2015-05-11 삼성전자주식회사 컨텐츠 재생 방법 및 그 방법을 처리하는 전자 장치
US9432768B1 (en) 2014-03-28 2016-08-30 Amazon Technologies, Inc. Beam forming for a wearable computer
US9500739B2 (en) 2014-03-28 2016-11-22 Knowles Electronics, Llc Estimating and tracking multiple attributes of multiple objects from multi-sensor data
US9990939B2 (en) 2014-05-19 2018-06-05 Nuance Communications, Inc. Methods and apparatus for broadened beamwidth beamforming and postfiltering
US9331760B2 (en) 2014-05-28 2016-05-03 Qualcomm Incorporated Method and apparatus for leveraging spatial/location/user interaction sensors to aid in transmit and receive-side beamforming in a directional wireless network
US9986075B2 (en) * 2014-06-04 2018-05-29 Qualcomm Incorporated Mobile device including a substantially centrally located earpiece
US9904851B2 (en) * 2014-06-11 2018-02-27 At&T Intellectual Property I, L.P. Exploiting visual information for enhancing audio signals via source separation and beamforming
US9686467B2 (en) * 2014-08-15 2017-06-20 Sony Corporation Panoramic video
JP6551919B2 (ja) 2014-08-20 2019-07-31 株式会社ファインウェル 見守りシステム、見守り検知装置および見守り通報装置
DE112015003945T5 (de) 2014-08-28 2017-05-11 Knowles Electronics, Llc Mehrquellen-Rauschunterdrückung
US9978388B2 (en) 2014-09-12 2018-05-22 Knowles Electronics, Llc Systems and methods for restoration of speech components
US10283114B2 (en) * 2014-09-30 2019-05-07 Hewlett-Packard Development Company, L.P. Sound conditioning
US10609475B2 (en) 2014-12-05 2020-03-31 Stages Llc Active noise control and customized audio system
US20160165338A1 (en) * 2014-12-05 2016-06-09 Stages Pcs, Llc Directional audio recording system
US9747367B2 (en) 2014-12-05 2017-08-29 Stages Llc Communication system for establishing and providing preferred audio
US9654868B2 (en) 2014-12-05 2017-05-16 Stages Llc Multi-channel multi-domain source identification and tracking
CN110312181B (zh) 2014-12-18 2020-12-15 株式会社精好 自行车行驶用接听装置及自行车系统
US9747068B2 (en) 2014-12-22 2017-08-29 Nokia Technologies Oy Audio processing based upon camera selection
US20160198499A1 (en) 2015-01-07 2016-07-07 Samsung Electronics Co., Ltd. Method of wirelessly connecting devices, and device thereof
JP6613503B2 (ja) * 2015-01-15 2019-12-04 本田技研工業株式会社 音源定位装置、音響処理システム、及び音源定位装置の制御方法
US9794685B2 (en) 2015-01-23 2017-10-17 Ricoh Company, Ltd. Video audio recording system, video audio recording device, and video audio recording method
DE112016000545B4 (de) 2015-01-30 2019-08-22 Knowles Electronics, Llc Kontextabhängiges schalten von mikrofonen
US9844077B1 (en) * 2015-03-19 2017-12-12 Sprint Spectrum L.P. Secondary component carrier beamforming
US9716944B2 (en) 2015-03-30 2017-07-25 Microsoft Technology Licensing, Llc Adjustable audio beamforming
US9554207B2 (en) 2015-04-30 2017-01-24 Shure Acquisition Holdings, Inc. Offset cartridge microphones
US9565493B2 (en) 2015-04-30 2017-02-07 Shure Acquisition Holdings, Inc. Array microphone system and method of assembling the same
CN106205628B (zh) 2015-05-06 2018-11-02 小米科技有限责任公司 声音信号优化方法及装置
DE102015210405A1 (de) * 2015-06-05 2016-12-08 Sennheiser Electronic Gmbh & Co. Kg Audioverarbeitungssystem und Verfahren zum Verarbeiten eines Audiosignals
KR102362121B1 (ko) 2015-07-10 2022-02-11 삼성전자주식회사 전자 장치 및 그 입출력 방법
EP3323567B1 (en) 2015-07-15 2020-02-12 FINEWELL Co., Ltd. Robot and robot system
JP6551929B2 (ja) 2015-09-16 2019-07-31 株式会社ファインウェル 受話機能を有する腕時計
WO2017049441A1 (en) * 2015-09-21 2017-03-30 Motorola Solutions, Inc. Converged communications device and method of controlling the same
CN108496345B (zh) 2016-01-19 2021-02-26 株式会社精好 笔型呼入呼出通话装置
JP6847581B2 (ja) * 2016-02-12 2021-03-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 無線通信装置、及び無線通信装置における表示方法
CN107404684A (zh) * 2016-05-19 2017-11-28 华为终端(东莞)有限公司 一种采集声音信号的方法和装置
US9980042B1 (en) 2016-11-18 2018-05-22 Stages Llc Beamformer direction of arrival and orientation analysis system
US9980075B1 (en) 2016-11-18 2018-05-22 Stages Llc Audio source spatialization relative to orientation sensor and output
US10945080B2 (en) 2016-11-18 2021-03-09 Stages Llc Audio analysis and processing system
KR102534768B1 (ko) 2017-01-03 2023-05-19 삼성전자주식회사 오디오 출력 장치 및 제어방법
EP3566468B1 (en) 2017-01-09 2021-03-10 Sonova AG Microphone assembly to be worn at a user's chest
US10367948B2 (en) 2017-01-13 2019-07-30 Shure Acquisition Holdings, Inc. Post-mixing acoustic echo cancellation systems and methods
JP7196399B2 (ja) 2017-03-14 2022-12-27 株式会社リコー 音響装置、音響システム、方法およびプログラム
US10863399B2 (en) * 2017-05-04 2020-12-08 Qualcomm Incorporated Predictive beamforming and subarray selection
US11711125B2 (en) 2017-06-16 2023-07-25 Interdigital Ce Patent Holdings Performing enhanced sounding procedures using beamforming techniques
US10580411B2 (en) * 2017-09-25 2020-03-03 Cirrus Logic, Inc. Talker change detection
US10459076B2 (en) 2017-11-15 2019-10-29 Cognitive Systems Corp. Motion detection based on beamforming dynamic information
CN109873933A (zh) * 2017-12-05 2019-06-11 富泰华工业(深圳)有限公司 多媒体数据处理装置及方法
US10852411B2 (en) 2017-12-06 2020-12-01 Cognitive Systems Corp. Motion detection and localization based on bi-directional channel sounding
US10339949B1 (en) 2017-12-19 2019-07-02 Apple Inc. Multi-channel speech enhancement
US10979805B2 (en) * 2018-01-04 2021-04-13 Stmicroelectronics, Inc. Microphone array auto-directive adaptive wideband beamforming using orientation information from MEMS sensors
EP3528509B9 (en) * 2018-02-19 2023-01-11 Nokia Technologies Oy Audio data arrangement
GB2573537A (en) * 2018-05-09 2019-11-13 Nokia Technologies Oy An apparatus, method and computer program for audio signal processing
WO2019231632A1 (en) 2018-06-01 2019-12-05 Shure Acquisition Holdings, Inc. Pattern-forming microphone array
US11297423B2 (en) 2018-06-15 2022-04-05 Shure Acquisition Holdings, Inc. Endfire linear array microphone
US11240623B2 (en) 2018-08-08 2022-02-01 Qualcomm Incorporated Rendering audio data from independently controlled audio zones
EP3854108A1 (en) 2018-09-20 2021-07-28 Shure Acquisition Holdings, Inc. Adjustable lobe shape for array microphones
JP2020053948A (ja) 2018-09-28 2020-04-02 株式会社ファインウェル 聴取装置
CN109257682B (zh) * 2018-09-29 2020-04-24 歌尔科技有限公司 拾音调节方法、控制终端及计算机可读存储介质
US11089402B2 (en) * 2018-10-19 2021-08-10 Bose Corporation Conversation assistance audio device control
US10795638B2 (en) 2018-10-19 2020-10-06 Bose Corporation Conversation assistance audio device personalization
KR102607863B1 (ko) 2018-12-03 2023-12-01 삼성전자주식회사 음원 분리 장치 및 음원 분리 방법
US11558693B2 (en) 2019-03-21 2023-01-17 Shure Acquisition Holdings, Inc. Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition and voice activity detection functionality
CN113841419A (zh) 2019-03-21 2021-12-24 舒尔获得控股公司 天花板阵列麦克风的外壳及相关联设计特征
JP2022526761A (ja) 2019-03-21 2022-05-26 シュアー アクイジッション ホールディングス インコーポレイテッド 阻止機能を伴うビーム形成マイクロフォンローブの自動集束、領域内自動集束、および自動配置
EP3731541A1 (en) 2019-04-23 2020-10-28 Nokia Technologies Oy Generating audio output signals
US10798529B1 (en) 2019-04-30 2020-10-06 Cognitive Systems Corp. Controlling wireless connections in wireless sensing systems
US10743143B1 (en) 2019-05-15 2020-08-11 Cognitive Systems Corp. Determining a motion zone for a location of motion detected by wireless signals
CN114051738A (zh) 2019-05-23 2022-02-15 舒尔获得控股公司 可操纵扬声器阵列、系统及其方法
EP3977449A1 (en) 2019-05-31 2022-04-06 Shure Acquisition Holdings, Inc. Low latency automixer integrated with voice and noise activity detection
JP2022545113A (ja) 2019-08-23 2022-10-25 シュアー アクイジッション ホールディングス インコーポレイテッド 指向性が改善された一次元アレイマイクロホン
JP7191793B2 (ja) * 2019-08-30 2022-12-19 株式会社東芝 信号処理装置、信号処理方法、及びプログラム
CN110530510B (zh) * 2019-09-24 2021-01-05 西北工业大学 一种利用线性声阵列波束形成的声源辐射声功率测量方法
US10924889B1 (en) 2019-09-30 2021-02-16 Cognitive Systems Corp. Detecting a location of motion using wireless signals and differences between topologies of wireless connectivity
CA3152905A1 (en) 2019-10-31 2021-05-06 Christopher Beg Using mimo training fields for motion detection
CN114599991A (zh) 2019-10-31 2022-06-07 认知系统公司 引发来自无线通信装置的mimo传输
US11570712B2 (en) 2019-10-31 2023-01-31 Cognitive Systems Corp. Varying a rate of eliciting MIMO transmissions from wireless communication devices
US11082769B2 (en) 2019-11-15 2021-08-03 Bose Corporation Audio visualization in telecommunications applications
US11055533B1 (en) * 2020-01-02 2021-07-06 International Business Machines Corporation Translating sound events to speech and AR content
US11552611B2 (en) 2020-02-07 2023-01-10 Shure Acquisition Holdings, Inc. System and method for automatic adjustment of reference gain
US10928503B1 (en) 2020-03-03 2021-02-23 Cognitive Systems Corp. Using over-the-air signals for passive motion detection
USD944776S1 (en) 2020-05-05 2022-03-01 Shure Acquisition Holdings, Inc. Audio device
CN111688580B (zh) * 2020-05-29 2023-03-14 阿波罗智联(北京)科技有限公司 智能后视镜进行拾音的方法以及装置
WO2021243368A2 (en) 2020-05-29 2021-12-02 Shure Acquisition Holdings, Inc. Transducer steering and configuration systems and methods using a local positioning system
WO2022040817A1 (en) 2020-08-31 2022-03-03 Cognitive Systems Corp. Controlling motion topology in a standardized wireless communication network
US11070399B1 (en) 2020-11-30 2021-07-20 Cognitive Systems Corp. Filtering channel responses for motion detection
US11297434B1 (en) * 2020-12-08 2022-04-05 Fdn. for Res. & Bus., Seoul Nat. Univ. of Sci. & Tech. Apparatus and method for sound production using terminal
US11513762B2 (en) 2021-01-04 2022-11-29 International Business Machines Corporation Controlling sounds of individual objects in a video
WO2022165007A1 (en) 2021-01-28 2022-08-04 Shure Acquisition Holdings, Inc. Hybrid audio beamforming system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060271370A1 (en) * 2005-05-24 2006-11-30 Li Qi P Mobile two-way spoken language translator and noise reduction using multi-directional microphone arrays
US20080199025A1 (en) * 2007-02-21 2008-08-21 Kabushiki Kaisha Toshiba Sound receiving apparatus and method
JP2009296232A (ja) * 2008-06-04 2009-12-17 Casio Hitachi Mobile Communications Co Ltd 音入力装置、音入力方法およびプログラム
US20100123785A1 (en) * 2008-11-17 2010-05-20 Apple Inc. Graphic Control for Directional Audio Input
US20100128892A1 (en) * 2008-11-25 2010-05-27 Apple Inc. Stabilizing Directional Audio Input from a Moving Microphone Array

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07321574A (ja) * 1994-05-23 1995-12-08 Nec Corp 音量および音量比の表示/調整方法
GB2294854B (en) 1994-11-03 1999-06-30 Solid State Logic Ltd Audio signal processing
GB9813973D0 (en) * 1998-06-30 1998-08-26 Univ Stirling Interactive directional hearing aid
US20020149672A1 (en) * 2001-04-13 2002-10-17 Clapp Craig S.K. Modular video conferencing system
US7783061B2 (en) 2003-08-27 2010-08-24 Sony Computer Entertainment Inc. Methods and apparatus for the targeted sound detection
US8270647B2 (en) 2003-05-08 2012-09-18 Advanced Bionics, Llc Modular speech processor headpiece
US7717629B2 (en) * 2004-10-15 2010-05-18 Lifesize Communications, Inc. Coordinated camera pan tilt mechanism
JP4934968B2 (ja) * 2005-02-09 2012-05-23 カシオ計算機株式会社 カメラ装置、カメラ制御プログラム及び記録音声制御方法
US20080101624A1 (en) * 2006-10-24 2008-05-01 Motorola, Inc. Speaker directionality for user interface enhancement
US20080259731A1 (en) * 2007-04-17 2008-10-23 Happonen Aki P Methods and apparatuses for user controlled beamforming
JP5029986B2 (ja) * 2007-05-07 2012-09-19 Necカシオモバイルコミュニケーションズ株式会社 情報処理装置、プログラム
US8154583B2 (en) 2007-05-31 2012-04-10 Eastman Kodak Company Eye gazing imaging for video communications
US8825468B2 (en) * 2007-07-31 2014-09-02 Kopin Corporation Mobile wireless display providing speech to speech translation and avatar simulating human attributes
US9113240B2 (en) * 2008-03-18 2015-08-18 Qualcomm Incorporated Speech enhancement using multiple microphones on multiple devices
US8724829B2 (en) 2008-10-24 2014-05-13 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for coherence detection
US8620672B2 (en) 2009-06-09 2013-12-31 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for phase-based processing of multichannel signal
EP2517486A1 (en) * 2009-12-23 2012-10-31 Nokia Corp. An apparatus
CN102771141B (zh) * 2009-12-24 2016-01-20 诺基亚技术有限公司 一种电子装置及用于电子装置的方法
TWI415117B (zh) * 2009-12-25 2013-11-11 Univ Nat Chiao Tung 使用在麥克風陣列之消除殘響與減低噪音方法及其裝置
US8525868B2 (en) 2011-01-13 2013-09-03 Qualcomm Incorporated Variable beamforming with a mobile platform

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060271370A1 (en) * 2005-05-24 2006-11-30 Li Qi P Mobile two-way spoken language translator and noise reduction using multi-directional microphone arrays
US20080199025A1 (en) * 2007-02-21 2008-08-21 Kabushiki Kaisha Toshiba Sound receiving apparatus and method
JP2009296232A (ja) * 2008-06-04 2009-12-17 Casio Hitachi Mobile Communications Co Ltd 音入力装置、音入力方法およびプログラム
US20100123785A1 (en) * 2008-11-17 2010-05-20 Apple Inc. Graphic Control for Directional Audio Input
US20100128892A1 (en) * 2008-11-25 2010-05-27 Apple Inc. Stabilizing Directional Audio Input from a Moving Microphone Array

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107211206A (zh) * 2015-01-20 2017-09-26 3M创新有限公司 用于测定声学信号起源的可安装的声音捕捉和重现装置
CN107925817A (zh) * 2015-07-27 2018-04-17 索诺瓦公司 夹式麦克风组件
CN107925817B (zh) * 2015-07-27 2021-01-08 索诺瓦公司 夹式麦克风组件
CN106486147A (zh) * 2015-08-26 2017-03-08 华为终端(东莞)有限公司 指向性录音方法、装置及录音设备
CN112513976A (zh) * 2018-05-16 2021-03-16 多特瑞尔技术有限公司 用于音频捕获的系统和方法
CN112534395A (zh) * 2018-08-08 2021-03-19 高通股份有限公司 用于控制音频区域的用户界面

Also Published As

Publication number Publication date
JP2014510430A (ja) 2014-04-24
KR101520564B1 (ko) 2015-05-14
US20130316691A1 (en) 2013-11-28
CN103329568B (zh) 2016-08-10
US8525868B2 (en) 2013-09-03
WO2012097314A1 (en) 2012-07-19
EP2664160B1 (en) 2023-09-13
US20120182429A1 (en) 2012-07-19
JP2015167408A (ja) 2015-09-24
CN105263085B (zh) 2019-03-01
CN105263085A (zh) 2016-01-20
JP6174630B2 (ja) 2017-08-02
KR20130114721A (ko) 2013-10-17
US9066170B2 (en) 2015-06-23
EP2664160A1 (en) 2013-11-20

Similar Documents

Publication Publication Date Title
CN103329568A (zh) 用移动平台进行的可变波束成形
CN203406910U (zh) 移动终端的麦克风安装结构
US8965400B2 (en) Apparatus and method for displaying a position of mobile terminal
US20110086626A1 (en) Speaker activation for mobile communication device
CN106550126B (zh) 移动终端及其屏幕亮度的控制装置和方法
US9479704B2 (en) Apparatus and method for supporting zoom microphone functional in mobile terminal
US10027785B2 (en) Method for switching screen state of terminal, terminal thereof, and computer-readable medium thereof
CN111669208B (zh) 天线选择方法及第一电子设备、存储介质
WO2016188379A1 (zh) 一种信息处理方法及装置、终端、存储介质
CN106789575B (zh) 一种信息发送装置、方法
WO2018133341A1 (zh) 发射上行信号的方法及装置
CN106657782B (zh) 一种图片处理方法和终端
WO2019019164A1 (zh) 无人机管理方法及装置、通信连接建立方法及装置
WO2018032917A1 (zh) 一种移动终端、获取对焦值的方法以及计算机可读存储介质
CN104811540A (zh) 一种移动终端及其语音通信的声音设置方法和装置
CN106375843A (zh) 一种无线投影装置、系统及方法
WO2019183853A1 (zh) 信息上报、配置方法及装置、用户设备和基站
CN107071275B (zh) 一种图像合成方法及终端
CN109473117B (zh) 音频特效叠加方法、装置及其终端
CN105100405A (zh) 一种通讯提醒方法及装置
CN114006971B (zh) 一种投屏窗口音频控制方法、设备及计算机可读存储介质
WO2021253178A1 (zh) 一种随机接入方法、随机接入装置及存储介质
WO2022133645A1 (zh) 信息发送方法和装置、关系确定方法和装置
CN107105163B (zh) 一种视频拍摄方法、播放方法及装置
CN106506855B (zh) 一种实现平衡立体声的方法、装置及移动终端

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160810

Termination date: 20220113