CN103329568A - 用移动平台进行的可变波束成形 - Google Patents
用移动平台进行的可变波束成形 Download PDFInfo
- Publication number
- CN103329568A CN103329568A CN2012800053351A CN201280005335A CN103329568A CN 103329568 A CN103329568 A CN 103329568A CN 2012800053351 A CN2012800053351 A CN 2012800053351A CN 201280005335 A CN201280005335 A CN 201280005335A CN 103329568 A CN103329568 A CN 103329568A
- Authority
- CN
- China
- Prior art keywords
- sound source
- mobile platform
- beam forming
- audio
- moves
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
- H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2410/00—Microphones
- H04R2410/01—Noise reduction using microphones having different directional characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2430/00—Signal processing covered by H04R, not provided for in its groups
- H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
- H04R2430/25—Array processing for suppression of unwanted side-lobes in directivity characteristics, e.g. a blocking matrix
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
- H04R2499/10—General applications
- H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
- H04R2499/10—General applications
- H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops
Abstract
一种移动平台包括话筒阵列并且能够实现波束成形以放大或抑制来自声源的音频信息。通过诸如将移动平台指向声源方向之类的用户输入或者通过触摸屏显示器界面来指示声源。移动平台进一步包括能够检测移动平台的移动的取向传感器。当移动平台关于声源移动时,基于来自取向传感器的数据来调整波束成形,以使得在声源的方向上继续实现波束成形。来自声源的音频信息可被加入到电话或视频电话通话中或者从电话或视频电话通话抑制。来自相机的图像或视频可类似地基于来自取向传感器的数据来控制。
Description
背景
诸如膝上型计算机、桌面计算机之类的当前计算机以及智能电话和平板计算机不具有容易地加入除了呼叫中的主用户之外的人员(若其他人位于房间中的不同位置处)的能力,即使在该设备包括定向话筒或话筒阵列的情况下亦是如此。简单地放大房间中的所有声源通常会产生大量不希望的背景噪声。希望参与电话或视频电话呼叫的个人通常被要求物理地移动并且坐在话筒附近或者相机前面。因此,可能坐着的或者舒适地休息的、但是希望在呼叫上说几句话的人被迫移动靠近话筒和/或相机或者将不能清楚地听见或看见。
虽然使用话筒阵列的波束成形技术是已知的(诸如高噪声抑制技术)并且能够在语音呼叫(网际协议上语音(VOIP)等)期间减少分心的环境噪声和比特率要求,但是这些技术一般依赖基于若干基于时间、空间、频率和振幅的线索来尝试标识单个说话者的波束转向算法,该算法会在说话者之间快速切换期间导致衰减并且阻止诸如所描述的这种多个说话者情景。另外,在较差的信噪比(SNR)状况下,抵达方向标识任务会变得困难,从而导致语音消声、背景噪声调制和其他假象。另外,在诸如计算机平板电脑或智能电话之类的移动设备的情况下,设备有可能在通话期间移动,从而使抵达方向标识任务甚至变得更加困难。
因此,开发一种系统以使得用户能够以最小的努力将房间中的其他人加入在电话或视频电话通话(或其他此类应用)中将是有益的。
概述
一种移动平台包括话筒阵列并且实现波束成形以放大或抑制来自声源方向的音频信息。该移动平台进一步包括被用于检测移动平台的移动的取向传感器,该移动被用于在移动平台关于声源移动时调整波束成形以继续放大或抑制来自声源方向的音频信息。声源方向可通过用户输入来提供。例如,移动平台可指向声源以标识声源方向。补充地或替换地,声源的位置可使用话筒阵列来标识并向用户显示。用户可随后使用例如触摸屏显示器来标识声源方向。当移动平台关于声源移动时,取向传感器检测该移动。波束成形被实现的方向可随后基于移动平台的如由取向传感器检测的测得移动来调整。因此,可在期望的声源方向上连续地实现波束成形,而不管移动平台关于声源的移动。来自相机的图像或视频可类似地基于来自取向传感器的数据来控制。
附图简述
图1A和1B分别解说了移动平台的正面和背面。
图2A和2B解说了具有关于两个声源的不同取向而同时连续地实现关于这两个声源的波束成形的移动平台。
图2C解说了执行波束成形而不补偿移动平台关于声源的移动的移动平台。
图3解说了在移动平台关于声源移动时实现波束成形的流程图。
图4A、4B和4C解说了通过将移动平台指向声源来指示声源方向。
图5解说了使用触摸屏显示器上的图形用户界面来指示声源方向。
图6解说了诸如图1中所解说的话筒阵列的音频响应与方向的关系。
图7解说了响应于移动平台关于声源的移动而控制相机。
图8解说了能够基于来自取向传感器的数据来调整执行波束成形的方向的移动平台的框图。
具体描述
图1A和1B分别解说了移动平台100的正面和背面,该移动平台100可以是诸如蜂窝电话、智能电话、平板计算机、或可以具有电话或视频电话能力的其他无线通信设备之类的任何便携式电子设备。移动平台100包括外壳101、可以是触摸屏显示器的显示器102、以及耳机扬声器104和两个扩音器106L和106R。移动平台100还包括话筒108A、108B、108C、108D和108E的阵列(有时统称为话筒阵列108)以及连接至话筒阵列108的波束成形系统(例如,话筒阵列控制器192),该波束成形系统可实现波束成形以抑制或放大来自特定方向的声音。在美国专利申请序列号12/605,158和12/796,566中描述了波束成形,这两个申请已转让给本申请受让人并且由此通过援引全部纳入于此。话筒可以例如是压电式微机电系统(MEMS)类型话筒。移动平台100还包括取向传感器110,诸如与3轴陀螺仪和/或数字罗盘耦合的3轴加速计。使用取向传感器,移动平台100可在其关于声源移动时使所形成的波束转向以放大或抑制声源。所形成的抑制(即,拒绝)声源的波束有时可被称为空波束,而放大声源的波束有时在本文中可被简称为波束。然而,应当理解,除非另外专门指出,术语“波束”和“波束成形”既可被用于表示放大,也可被用于表示抑制(即,“空波束”和“空波束成形”)。
移动平台100还可包括无线收发机112和一个或多个相机,诸如移动平台100的正面上的相机114和移动平台100的背面上的相机116(图1B中示出)。应当理解,若希望,则可改变个体元件的精确位置和数目。例如,话筒阵列108可包括附加的或较少的话筒,这些话筒可定位在移动平台100的不同位置处,诸如外壳101的侧面上。
如本文中所使用的,移动平台是指任何便携式电子设备,诸如,蜂窝电话、智能电话、平板计算机、或其他无线通信设备、个人通信系统(PCS)设备、个人导航设备(PND)、个人信息管理器(PIM)、个人数字助理(PDA)、或者其他合适的移动设备。移动平台可以能够传送和接收无线通信。术语“移动平台”还旨在包括诸如藉由短程无线、红外、有线连接、或其他连接与个人导航设备(PND)通信的设备,不管卫星信号接收、辅助数据接收、和/或与位置有关的处理是发生在该设备处还是在PND处。另外,“移动平台”旨在包括所有能够(诸如经由因特网、Wi-Fi、或其它网络)与服务器通信的设备,包括无线通信设备、计算机等,而不管卫星信号接收、辅助数据接收、和/或与位置有关的处理是发生在该设备处、服务器处、还是与网络相关联的另一设备处。以上的任何可操作的组合也被认为是“移动平台”。
另外,移动平台100可经由收发机112诸如通过蜂窝塔台和从无线通信接入点接入任何无线通信网络(诸如无线广域网(WWAN)、无线局域网(WLAN)、无线个域网(WPAN)等或其任何组合)。术语“网络”和“系统”常被可互换地使用。WWAN可以是码分多址(CDMA)网络、时分多址(TDMA)网络、频分多址(FDMA)网络、正交频分多址(OFDMA)网络、单载波频分多址(SC-FDMA)网络、长期演进(LTE)等等。CDMA网络可实现诸如cdma2000、宽带CDMA(W-CDMA)等一种或多种无线电接入技术(RAT)。cdma2000包括IS-95、IS-2000和IS-856标准。TDMA网络可实现全球移动通信系统(GSM)、数字高级移动电话系统(D-AMPS)、或其它某种RAT。GSM和W-CDMA在来自名为“第三代伙伴项目”(3GPP)的联盟的文献中描述。Cdma2000在来自名为“第三代伙伴项目2”(3GPP2)的联盟的文献中描述。3GPP和3GPP2文献是公众可获取的。WLAN可以是IEEE802.11x网络,并且WPAN可以是蓝牙网络、IEEE802.15x、或其他某种类型的网络。
在使用话筒阵列108和取向传感器110的情况下,移动平台100能够实现一个或多个声源的波束成形,而不管移动平台100的移动改变移动平台关于声源的取向。如本文中所使用的,声源包括产生音频信息的任何事物,包括人、动物或物体。作为示例,图2A和2B解说了具有关于两个声源(声源A和声源B)的不同取向而同时连续地实现关于这两个声源的波束成形的移动平台100。声源A可以例如是人并且由话筒阵列108放大,以使得来自声源A的音频信息经由移动平台100被加入到电话或视频电话通话中,如由曲线122所解说的。另一方面,声源B可能是要被话筒阵列108抑制的噪声物体,以使得来自声源B的音频信息经由移动平台100被排除在电话或视频电话通话之外或者至少在电话或视频电话通话中被减少,如由阴影曲线124所解说的。如图2B中可见,尽管移动平台100关于声源A和B的取向发生变化,仍维持声源A的放大和声源B的抑制,这是因为使用来自图1A中所示的取向传感器110的数据。因此,移动平台100将空波束转向要被拒绝的声源B(有时称为空波束成形)并且将主瓣转向期望的声源A(有时简称为波束成形)。藉由比较,图2C解说了执行波束成形但是不补偿移动设备100关于声源A和B的移动的移动平台100。如在图2C中可见,在不调整移动平台100的旋转的情况下,移动平台100将不再在声源A和B的方向上实现波束成形。
图3解说了在移动平台关于声源移动时连续地在声源方向上实现波束成形的流程图。如所解说的,例如,当主用户希望在电话或视频电话通话中加入或者至少部分地排除来自声源的音频信息时,指示声源关于移动平台的方向(202)。对声源方向的指示可例如通过将移动平台指向期望的方向并且按下按钮或者通过使用触摸屏显示器上的图形用户界面、或者其他相似类型的界面来执行。
图4A、4B和4C解说了通过将移动平台指向声源来指示声源方向。作为示例,图4A解说了指向声源A的方向的移动平台100,如由显示器102中的声源A的图像所指示的。在移动平台A指向声源A的情况下,用户可例如通过按下按钮或者轻叩触摸屏显示器102或者通过诸如手势或移动平台100的快速移动之类的其他恰适的用户界面来为波束成形选择声源A的方向。如图4A中所解说的,选择声源A以进行放大(由箭头130指示),例如,以使得来自声源A的音频信息连同来自主用户的音频信息一起可被加入在电话或视频电话通话中。在指示声源A的方向之后,移动平台100可如图4B中所解说的那样移至或旋转至不同的位置,这可涉及将移动平台放置在主用户的舒适位置中。如由箭头130所解说的,移动平台100将继续补偿移动平台100的移动,以使得来自声源A的音频信息将继续由波束成形系统放大。另外,如图4C中所解说的,移动平台100可被移动以指向声源B的方向,如由显示器102中出现的声源B的图像所指示的。在图4C中例如通过按下不同的按钮、以不同的方式轻叩显示器102、或者通过其他恰适的用户界面来选择声源B以进行抑制(如由符号132所指示的)。声源B可被选择以进行抑制,以使得来自声源B的音频信息在电话或视频电话通话中被至少部分地减少。
图5解说了主用户250的手通过使用触摸屏显示器102上的图形用户界面260来指示声源A关于移动平台的方向。例如,图形用户界面解说了位于移动平台100的中心处的“雷达”地图262上的声源A和B。这些声源可以例如通过使用话筒阵列108来拾取预定增益水平以上的声音并且确定至声源的方向和距离的方式进行检测,该方向和距离可随后显示在地图262上。在美国专利申请序列号12/605,158和12/796,566中描述了确定至声源的方向和距离,这两个申请已转让给本申请受让人并且由此通过援引全部纳入于此。用户250可选择一个或多个声源以进行放大(例如,如由暗条块264所指示的声源A),并且选择一个或多个声源以进行抑制(例如,如由阴影线指示的声源B)。当然,其他类型的图形也可用于图形用户界面260。
回到图3,在声源的方向上实现波束成形(204)。由改变话筒阵列108中的每个个体话筒的延迟和增益的话筒阵列控制器192来实现波束成形以放大来自某些期望方向的声音并且抑制来自其他方向的声音。在美国专利申请序列号12/605,158和12/796,566中描述了使用话筒阵列的波束成形,这两个申请已转让给本申请受让人并且由此通过援引全部纳入于此。一般而言,波束成形会改变话筒阵列108中每个个体话筒的延迟和增益以在要被抑制的声音的方向上产生“空波束”或者放大来自另一方向的声源。话筒阵列108产生多信道信号,在该多信道信号中,每个信道基于话筒中相应的一个话筒对声音环境的响应。基于相位或者基于相位相关的方案可被用于标识呈现不希望的相位差特性(例如,与频率不相关和/或与频率相关但是指示不希望的方向上的相干性的相位差)的时间-频率点。此类标识可包括对所记录的多信道信号执行定向遮罩操作。定向遮罩操作可包括例如对多信道信号的相位分析的结果应用定向遮罩函数(或“遮罩”)以丢弃该信号的较大数目的时间-频率点。作为示例,图6解说了诸如图1中所解说的话筒阵列的音频响应与方向的关系。如可见的,话筒阵列108可以拾取来自任何期望方向上的期望角度的波束宽度的音频为目标。
在常规的基于多话筒阵列的噪声抑制系统中,算法通过处理在这些话筒中的每个话筒处抵达的一系列基于时间、空间、频率和振幅的声音信息来尝试标识说话者的方向。平板计算机和上网本中的话筒在大多数使用情形中远离嘴扬声器,以使得声能路径损耗可能比嘴参考点大30dB。此路径损耗要求在数字转换之前较高的CODEC增益。因此,可被用于平板计算机和上网本的常规的噪声抑制算法必须克服背景噪声也被放大与期望语音相同的增益因子的事实。因此,常规的噪声消除算法计算期望的扬声器的方向并且将狭窄的波束转向该扬声器。波束宽度基于频率和话筒阵列108配置,其中较窄的波束宽度伴随较强的旁瓣。不同宽度的波束的数据库可被设计和存储在移动平台100中,并且自动地或者通过用户界面来选择,以使得波束具有恰适的宽度以加入或排除声源。
使用诸如罗盘、陀螺仪之类的取向传感器110或者从静止的噪声源生成的参考抵达角来确定移动平台100的移动(206)。一般而言,可以假设移动平台100关于声源移动。确定移动(包括取向或位置的变化)、使用取向传感器或静止的噪声源在本领域中是公知的。
在移动设备已移动之后,基于所确定的移动来调整波束成形以继续在声源方向上实现波束成形(208)。因此,例如,如图4A和4B中所解说的,在例如通过将移动平台100指向声源A的方向并且按下按钮或其他恰适的选择机构来指示声源A的方向之后,实现声源A的方向上的波束成形,如由箭头130所解说的。用户可随后改变移动平台100关于声源A的取向,例如以将移动平台放置在舒适位置中(如图4B中所解说的)。取向传感器110检测移动平台100的移动。例如,取向传感器110可确定移动平台100已旋转50度。随后,使用测得的移动来调整波束成形,例如,通过控制话筒阵列108改变波束成形的方向(在此情形中改变-50度),以继续拾取来自声源A的音频信息。话筒阵列108可被类似地控制以通过基于移动平台100的测量移动来调整波束成形的方向的方式继续抑制来自声源B的音频信息。换言之,基于移动平台的测得移动来调整定向遮罩操作,以使得可在声源的当前方向上继续实现波束成形。因此,用户能够加入可能处于不同位置的多个人(或其他声源),并且用移动的移动平台来抑制电话或视频电话通话中不希望的声源。
另外,在视频电话通话期间,可能希望期望的声源的图像连同用户一起被显示和传送。虽然移动平台100可能关于持握移动平台100的用户相对静止,但是用户的移动可能导致移动平台100相对于其他声源移动。因此,其他声源的图像可能是摇晃的或者带有充分的用户移动,相机可能平扫离开其他声源。因此,相机116可被控制以使用例如来自取向传感器110的测得运动、通过控制相机116从声源的指示方向捕捉视频或图像并且在移动平台已移动之后使用所确定的移动来调整对相机的控制以继续在声源方向上捕捉图像或视频的方式补偿移动平台100的移动。
相机116可例如通过在移动平台的移动之后调整相机116的PTZ(平扫倾斜变焦)指向经调整方向以继续捕捉声源的视频或图像的方式来控制。作为示例,图7解说了相机116的包括声源A和B的全视野302。然而,移动平台100仅显示全视野302中的经裁剪部分304,如由虚线所解说的。换言之,全视野302被裁剪,以使得在视频电话通话期间可在经裁剪部分304中显示声源A。当移动平台100移动时(如由取向传感器110所检测的),经裁剪部分304在全视野302内移动(如由箭头306所指示的)以补偿该移动。因此,例如,如果移动平台100向右旋转2度,则经裁剪部分304就向左移位2度,以使得声源A保留在图像中。当然,经裁剪部分304的移位可以是垂直的、也可以是水平的。
另外,话筒阵列108可被用于拾取来自指定方向的音频信息,该音频信息被用于除了电话或视频电话类型应用之外的应用。例如,音频信息可被简单地记录和存储。替换地,音频信息可被实时地或者接近实时地例如通过移动平台100本身或者通过经由收发机112向诸如服务器之类的分开的设备传送该音频信息的方式来转换,其中音频信息被转换和被传送回移动平台100并且被诸如移动技术有限责任公司(Mobile Technologies,LLC)的Jibbigo之类的收发机112接收。
图8是能够基于来自取向传感器的数据在移动平台移动时连续地在声源方向上实现波束成形的移动平台100的框图。移动平台100包括用于响应于收到声音信号而产生多信道信号的装置,诸如可包括多个压电式微机电系统(MEMS)类型话筒的话筒阵列108。移动平台100进一步包括用于确定移动平台的移动的装置,诸如可以是与3轴陀螺仪和/或数字罗盘耦合的3轴加速计的取向传感器110。替换地或补充地,移动平台100可使用从静止的噪声源生成的参考抵达角来确定移动。移动平台100可进一步包括能够经由天线172分别向和从蜂窝塔台或无线接入点发送和接收通信的无线收发机112,例如,蜂窝调制解调器或无线网络无线电接收机/发射机。移动平台还可包括一个或多个相机114、116。
移动平台100进一步包括用户接口160,该用户接口160可包括例如扬声器104、和扩音器106L和106R以及可以例如是LCD(液晶显示器)技术或LPD(发光聚合物显示器)技术的显示器102,并且可包括诸如电容式或电阻式触摸传感器之类的用于检测显示器的触摸的装置。用户接口160还可包括按键板162或其他输入设备,用户可通过该按键板162或其他输入设备将信息输入移动平台100。若期望,可通过将虚拟按键板整合到带有触摸传感器的显示器102中来省去按键板162。用户接口160还包括话筒阵列108中的一个或多个话筒,诸如图1中所示的话筒108B。另外,取向传感器110可通过检测移动平台100的移动形式的手势而被用作用户接口160的一部分。移动平台100包括用于在用户将移动平台100指向声源或者触摸屏显示器102上的图形用户界面时指示声源相对于移动平台的方向的装置,该装置可以例如是取向传感器。
移动平台100包括控制单元150,该控制单元150被连接以接受和处理来自取向传感器110、话筒阵列108、收发机112、相机114、116和用户接口160的数据。控制单元150还控制包括话筒阵列108在内的设备的操作,并且由此充当用于实现波束成形和在移动平台已关于声源移动之后使用由取向传感器检测的移动来调整波束成形以继续在声源方向上实现波束成形的装置。控制单元150可由处理器152以及相关联的存储器154、硬件156、软件158和固件157来提供。控制单元150包括被解说为话筒阵列控制器192的用于实现波束成形的装置,以及被解说为取向传感器控制器194的用于测量移动平台的移动的装置。在基于从静止的噪声源生成的参考抵达角来确定移动的情况下,话筒阵列控制器192可被用于确定移动。话筒阵列控制器192和取向传感器控制器194可被植入为清楚起见而分开来解说的处理器152、硬件156、固件157、或软件158(即存储在存储器154中并由处理器152执行的计算机可读介质)中,、或其组合。
将理解,如本文中所使用的,处理器152可以但无需必然包括一个或多个微处理器、嵌入式处理器、控制器、专用集成电路(ASIC)、数字信号处理器(DSP)、及类似物。术语“处理器”旨在描述由系统实现的功能而非专门的硬件。此外,如本文所使用的术语“存储器”是指任何类型的计算机存储介质,包括与移动平台相关联的长期、短期、或其他存储器,且并不被限定于任何特定类型的存储器或特定数目的存储器、或记忆存储在其上的介质的类型。
本文中所描述的方法体系取决于应用可藉由各种手段来实现。例如,这些方法体系可在硬件156、固件157、软件158、或其任何组合中实现。对于硬件实现,这些处理单元可以在一个或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理器件(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、电子器件、设计成执行本文中所描述功能的其他电子单元、或其组合内实现。
对于固件和/或软件实现,这些方法体系可用执行本文中描述的功能的模块(例如,规程、函数等等)来实现。任何有形地实施指令的机器可读介质可被用来实现本文中所描述的方法体系。例如,软件代码可被存储在存储器154中并由处理器152执行。存储器可以实现在处理器单元内或在处理器单元外部。如本文所使用的,术语“存储器”是指任何类型的长期、短期、易失性、非易失性、或其他存储器,且并不限于任何特定类型的存储器或特定数目的存储器、或记忆存储在其上的类型的介质。
例如,软件158可包括被存储在存储器154中并由处理器152执行的程序代码,并且可如本文中所描述地用来控制移动平台100的操作。存储在诸如存储器154之类的计算机可读介质中的程序代码可包括用于基于用户输入来标识声源的方向的程序代码;用于实现波束成形以放大或抑制由话筒阵列在声源的方向上接收的音频信息的程序代码;用于确定话筒阵列的移动的程序代码;以及用于在话筒阵列已关于声源移动之后使用所确定的移动来调整波束成形以继续在声源的方向上实现波束成形的程序代码。存储在计算机可读介质中的程序代码可还包括用于使得处理器如本文所描述的控制移动平台100的任何操作的程序代码。
如果在固件和/或软件中实现,则各功能可以作为一条或更多条指令或代码存储在计算机可读介质上。示例包括用数据结构编码的计算机可读介质和用计算机程序编码的计算机可读介质。计算机可读介质包括物理计算机存储介质并且不是指瞬态的传播信号。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定,此类计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁存储设备、或能被用来存储以指令或数据结构形式的期望程序代码且能被计算机访问的任何其他介质;如本文中所使用的盘(disk)和碟(disc)包括压缩碟(CD)、激光碟、光碟、数字多用碟(DVD)、软盘和蓝光碟,其中盘常常磁学地再现数据,而碟用激光光学地再现数据。以上的组合也应被包括在计算机可读介质的范围内。
尽管出于指导目的结合具体实施例解说了本发明,但是本发明并不被限定于此。可作出各种适应性改编和改动而不会脱离本发明的范围。因此,所附权利要求的精神和范围不应当被限定于前面的描述。
Claims (20)
1.一种方法,包括:
指示声源关于移动平台的方向;
用所述移动平台在所述声源的所述方向上实现波束成形以放大或抑制来自所述声源的音频信息;
确定所述移动平台关于所述声源的移动;以及
在所述移动平台已关于所述声源移动之后,使用所确定的移动来调整所述波束成形以在所述声源的所述方向上继续实现波束成形。
2.如权利要求1所述的方法,其特征在于,进一步包括:
指示第二声源关于移动平台的第二方向;
用所述移动平台在所述第二声源的所述第二方向上实现波束成形以放大或抑制来自所述第二声源的音频信息;以及
在所述移动平台已关于所述第二声源移动之后,使用所确定的移动来调整所述波束成形以在所述第二声源的所述第二方向上继续实现波束成形。
3.如权利要求1所述的方法,其特征在于,指示所述声源关于所述移动平台的方向包括移动所述移动平台以指向所述声源的所述方向。
4.如权利要求1所述的方法,其特征在于,指示所述声源关于所述移动平台的方向包括使用所述移动平台上的显示器来选择所述声源的所述方向。
5.如权利要求1所述的方法,其特征在于,实现波束成形包括在所述移动平台上处理来自话筒阵列的多信道信号。
6.如权利要求1所述的方法,其特征在于,进一步包括在实现波束成形之后无线地传送来自所述声源的所述方向的音频信息。
7.如权利要求6所述的方法,其特征在于,所述音频信息是在电话呼叫中无线地传送的。
8.如权利要求1所述的方法,其特征在于,进一步包括在实现波束成形之后获得来自所述声源的所述方向的对音频信息的转换。
9.如权利要求1所述的方法,其特征在于,进一步包括:
控制所述移动平台上的相机以从所述声源的所述方向捕捉视频和图形中的至少一者;以及
在所述移动平台已关于所述声源移动之后,使用所确定的移动来调整对所述相机的控制以继续从所述声源的所述方向捕捉视频和图像中的至少一者。
10.一种移动平台,包括:
话筒阵列;
取向传感器;
处理器,其连接到所述话筒阵列和所述取向传感器;
存储器,其连接到所述处理器;以及
保存在所述存储器中并且在所述处理器中运行的软件,所述软件使所述处理器基于用户输入来标识声源的方向,实现波束成形以放大或抑制由所述话筒阵列在所述声源的所述方向上接收的音频信息,使用由所述取向传感器提供的数据来确定所述移动平台的移动,并且在所述移动平台已关于所述声源移动之后使用所确定的移动来调整所述波束成形以继续在所述声源的所述方向上实现波束成形。
11.如权利要求10所述的移动平台,其中所述保存在所述存储器中并且在所述处理器中运行的软件进一步使所述处理器基于用户输入来标识第二声源的方向,实现波束成形以放大或抑制由所述话筒阵列在所述第二声源的所述第二方向上接收的音频信息,并且在所述移动平台已关于所述声源移动之后使用所确定的移动来调整所述波束成形以继续在所述第二声源的所述第二方向上实现波束成形。
12.如权利要求10所述的移动平台,其特征在于,保存在所述存储器中并且在所述处理器中运行的所述软件进一步使所述处理器使用来自所述取向传感器的数据基于用户输入来标识声源的方向。
13.如权利要求10所述的移动平台,其特征在于,进一步包括耦合至所述处理器的触摸屏显示器,其中保存在所述存储器中并且在所述处理器中运行的所述软件进一步使所述处理器使用由所述触摸屏显示器提供的数据来标识声源的方向。
14.如权利要求10所述的移动平台,其特征在于,保存在所述存储器中并且在所述处理器中运行的所述软件进一步使所述处理器通过处理来自所述话筒阵列的多信道信号来实现波束成形。
15.如权利要求10所述的移动平台,其特征在于,进一步包括耦合至所述处理器的无线收发机,其中保存在所述存储器中并且在所述处理器中运行的软件进一步使所述处理器在波束成形被实现之后控制所述无线收发机传送从所述声源的所述方向获得的音频信息。
16.如权利要求15所述的移动平台,其特征在于,所述音频信息是在电话呼叫中传送的。
17.如权利要求15所述的移动平台,其特征在于,响应于所传送的音频信息,所述无线收发机接收对所述音频信息的转换。
18.如权利要求10所述的移动平台,其特征在于,进一步包括耦合至所述处理器的相机,其中保存在所述存储器中并且在所述处理器中运行的所述软件进一步使所述处理器控制所述相机从所述声源的所述方向捕捉视频和图像中的至少一者,以及在所述移动平台已关于所述声源移动之后调整对所述相机的控制以继续从所述声源的所述方向捕捉视频和图像中的至少一者。
19.一种系统,包括:
用于指示声源关于移动平台的方向的装置;
用于用所述移动平台在所述声源的所述方向上实现波束成形以放大或抑制来自所述声源的音频信息的装置;
用于确定所述移动平台关于所述声源的移动的装置;以及
用于在所述移动平台已关于所述声源移动之后使用所确定的移动来调整所述波束成形以在所述声源的所述方向上继续实现波束成形的装置。
20.一种包括存储在其上的程序代码的计算机可读介质,包括:
用于基于用户输入来标识声源的方向的程序代码;
用于实现波束成形以放大或抑制由话筒阵列在所述声源的所述方向上接收的音频信息的程序代码;
用于确定所述话筒阵列的移动的程序代码;以及
用于在所述话筒阵列已关于所述声源移动之后使用所确定的移动来调整所述波束成形以在所述声源的所述方向上继续实现波束成形的程序代码。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510707317.3A CN105263085B (zh) | 2011-01-13 | 2012-01-13 | 用移动平台进行的可变波束成形 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/006,303 | 2011-01-13 | ||
US13/006,303 US8525868B2 (en) | 2011-01-13 | 2011-01-13 | Variable beamforming with a mobile platform |
PCT/US2012/021340 WO2012097314A1 (en) | 2011-01-13 | 2012-01-13 | Variable beamforming with a mobile platform |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510707317.3A Division CN105263085B (zh) | 2011-01-13 | 2012-01-13 | 用移动平台进行的可变波束成形 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103329568A true CN103329568A (zh) | 2013-09-25 |
CN103329568B CN103329568B (zh) | 2016-08-10 |
Family
ID=45582030
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201280005335.1A Expired - Fee Related CN103329568B (zh) | 2011-01-13 | 2012-01-13 | 用移动平台进行的可变波束成形 |
CN201510707317.3A Active CN105263085B (zh) | 2011-01-13 | 2012-01-13 | 用移动平台进行的可变波束成形 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510707317.3A Active CN105263085B (zh) | 2011-01-13 | 2012-01-13 | 用移动平台进行的可变波束成形 |
Country Status (6)
Country | Link |
---|---|
US (2) | US8525868B2 (zh) |
EP (1) | EP2664160B1 (zh) |
JP (2) | JP2014510430A (zh) |
KR (1) | KR101520564B1 (zh) |
CN (2) | CN103329568B (zh) |
WO (1) | WO2012097314A1 (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106486147A (zh) * | 2015-08-26 | 2017-03-08 | 华为终端(东莞)有限公司 | 指向性录音方法、装置及录音设备 |
CN107211206A (zh) * | 2015-01-20 | 2017-09-26 | 3M创新有限公司 | 用于测定声学信号起源的可安装的声音捕捉和重现装置 |
CN107925817A (zh) * | 2015-07-27 | 2018-04-17 | 索诺瓦公司 | 夹式麦克风组件 |
CN112513976A (zh) * | 2018-05-16 | 2021-03-16 | 多特瑞尔技术有限公司 | 用于音频捕获的系统和方法 |
CN112534395A (zh) * | 2018-08-08 | 2021-03-19 | 高通股份有限公司 | 用于控制音频区域的用户界面 |
Families Citing this family (139)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9037468B2 (en) * | 2008-10-27 | 2015-05-19 | Sony Computer Entertainment Inc. | Sound localization for user in motion |
US9838784B2 (en) | 2009-12-02 | 2017-12-05 | Knowles Electronics, Llc | Directional audio capture |
JP5528856B2 (ja) * | 2010-03-10 | 2014-06-25 | オリンパスイメージング株式会社 | 撮影機器 |
US8798290B1 (en) | 2010-04-21 | 2014-08-05 | Audience, Inc. | Systems and methods for adaptive signal equalization |
US9558755B1 (en) | 2010-05-20 | 2017-01-31 | Knowles Electronics, Llc | Noise suppression assisted automatic speech recognition |
US10353495B2 (en) | 2010-08-20 | 2019-07-16 | Knowles Electronics, Llc | Personalized operation of a mobile device using sensor signatures |
US9313306B2 (en) | 2010-12-27 | 2016-04-12 | Rohm Co., Ltd. | Mobile telephone cartilage conduction unit for making contact with the ear cartilage |
KR101489612B1 (ko) | 2010-12-27 | 2015-02-04 | 로무 가부시키가이샤 | 휴대 전화 |
US8525868B2 (en) | 2011-01-13 | 2013-09-03 | Qualcomm Incorporated | Variable beamforming with a mobile platform |
JP5783352B2 (ja) | 2011-02-25 | 2015-09-24 | 株式会社ファインウェル | 会話システム、会話システム用指輪、携帯電話用指輪、指輪型携帯電話、及び、音声聴取方法 |
US9264553B2 (en) | 2011-06-11 | 2016-02-16 | Clearone Communications, Inc. | Methods and apparatuses for echo cancelation with beamforming microphone arrays |
GB2493327B (en) * | 2011-07-05 | 2018-06-06 | Skype | Processing audio signals |
GB2495472B (en) | 2011-09-30 | 2019-07-03 | Skype | Processing audio signals |
GB2495129B (en) | 2011-09-30 | 2017-07-19 | Skype | Processing signals |
GB2495278A (en) | 2011-09-30 | 2013-04-10 | Skype | Processing received signals from a range of receiving angles to reduce interference |
GB2495130B (en) | 2011-09-30 | 2018-10-24 | Skype | Processing audio signals |
GB2495131A (en) * | 2011-09-30 | 2013-04-03 | Skype | A mobile device includes a received-signal beamformer that adapts to motion of the mobile device |
GB2495128B (en) | 2011-09-30 | 2018-04-04 | Skype | Processing signals |
GB2496660B (en) | 2011-11-18 | 2014-06-04 | Skype | Processing audio signals |
GB201120392D0 (en) | 2011-11-25 | 2012-01-11 | Skype Ltd | Processing signals |
GB2497343B (en) | 2011-12-08 | 2014-11-26 | Skype | Processing audio signals |
WO2013093187A2 (en) | 2011-12-21 | 2013-06-27 | Nokia Corporation | An audio lens |
CN104247453B (zh) | 2012-01-20 | 2018-06-05 | 罗姆股份有限公司 | 移动电话 |
JP6162386B2 (ja) * | 2012-11-05 | 2017-07-12 | 株式会社ファインウェル | 携帯電話 |
US9583259B2 (en) | 2012-03-20 | 2017-02-28 | Qualcomm Incorporated | Wireless power transfer device and method of manufacture |
US9160205B2 (en) | 2012-03-20 | 2015-10-13 | Qualcomm Incorporated | Magnetically permeable structures |
US9431834B2 (en) | 2012-03-20 | 2016-08-30 | Qualcomm Incorporated | Wireless power transfer apparatus and method of manufacture |
US9653206B2 (en) | 2012-03-20 | 2017-05-16 | Qualcomm Incorporated | Wireless power charging pad and method of construction |
US10107887B2 (en) * | 2012-04-13 | 2018-10-23 | Qualcomm Incorporated | Systems and methods for displaying a user interface |
TWI571133B (zh) | 2012-06-29 | 2017-02-11 | Rohm Co Ltd | stereophone |
JP5949311B2 (ja) * | 2012-08-15 | 2016-07-06 | 富士通株式会社 | 推定プログラム、推定装置、及び推定方法 |
US9690334B2 (en) | 2012-08-22 | 2017-06-27 | Intel Corporation | Adaptive visual output based on change in distance of a mobile device to a user |
US9640194B1 (en) | 2012-10-04 | 2017-05-02 | Knowles Electronics, Llc | Noise suppression for speech processing based on machine-learning mask estimation |
US9131041B2 (en) * | 2012-10-19 | 2015-09-08 | Blackberry Limited | Using an auxiliary device sensor to facilitate disambiguation of detected acoustic environment changes |
US9286898B2 (en) * | 2012-11-14 | 2016-03-15 | Qualcomm Incorporated | Methods and apparatuses for providing tangible control of sound |
US9183829B2 (en) * | 2012-12-21 | 2015-11-10 | Intel Corporation | Integrated accoustic phase array |
US9525938B2 (en) * | 2013-02-06 | 2016-12-20 | Apple Inc. | User voice location estimation for adjusting portable device beamforming settings |
JP6221258B2 (ja) * | 2013-02-26 | 2017-11-01 | 沖電気工業株式会社 | 信号処理装置、方法及びプログラム |
US9462379B2 (en) | 2013-03-12 | 2016-10-04 | Google Technology Holdings LLC | Method and apparatus for detecting and controlling the orientation of a virtual microphone |
US9472844B2 (en) * | 2013-03-12 | 2016-10-18 | Intel Corporation | Apparatus, system and method of wireless beamformed communication |
CN104065798B (zh) * | 2013-03-21 | 2016-08-03 | 华为技术有限公司 | 声音信号处理方法及设备 |
KR102127640B1 (ko) | 2013-03-28 | 2020-06-30 | 삼성전자주식회사 | 휴대 단말 및 보청기와 휴대 단말에서 음원의 위치를 제공하는 방법 |
EP2982139A4 (en) * | 2013-04-04 | 2016-11-23 | Nokia Technologies Oy | AUDIOVISUAL PROCESSING APPARATUS |
CA2908654C (en) * | 2013-04-10 | 2019-08-13 | Nokia Technologies Oy | Audio recording and playback apparatus |
EP3950433A1 (en) * | 2013-05-23 | 2022-02-09 | NEC Corporation | Speech processing system, speech processing method, speech processing program and vehicle including speech processing system on board |
US9984675B2 (en) | 2013-05-24 | 2018-05-29 | Google Technology Holdings LLC | Voice controlled audio recording system with adjustable beamforming |
US9269350B2 (en) | 2013-05-24 | 2016-02-23 | Google Technology Holdings LLC | Voice controlled audio recording or transmission apparatus with keyword filtering |
WO2015025829A1 (ja) | 2013-08-23 | 2015-02-26 | ローム株式会社 | 携帯電話 |
CN104427049A (zh) * | 2013-08-30 | 2015-03-18 | 深圳富泰宏精密工业有限公司 | 便携式电子装置 |
JP6030032B2 (ja) | 2013-08-30 | 2016-11-24 | 本田技研工業株式会社 | 音響処理装置、音響処理方法、及び音響処理プログラム |
US9705548B2 (en) | 2013-10-24 | 2017-07-11 | Rohm Co., Ltd. | Wristband-type handset and wristband-type alerting device |
KR20150050693A (ko) * | 2013-10-30 | 2015-05-11 | 삼성전자주식회사 | 컨텐츠 재생 방법 및 그 방법을 처리하는 전자 장치 |
US9432768B1 (en) | 2014-03-28 | 2016-08-30 | Amazon Technologies, Inc. | Beam forming for a wearable computer |
US9500739B2 (en) | 2014-03-28 | 2016-11-22 | Knowles Electronics, Llc | Estimating and tracking multiple attributes of multiple objects from multi-sensor data |
US9990939B2 (en) | 2014-05-19 | 2018-06-05 | Nuance Communications, Inc. | Methods and apparatus for broadened beamwidth beamforming and postfiltering |
US9331760B2 (en) | 2014-05-28 | 2016-05-03 | Qualcomm Incorporated | Method and apparatus for leveraging spatial/location/user interaction sensors to aid in transmit and receive-side beamforming in a directional wireless network |
US9986075B2 (en) * | 2014-06-04 | 2018-05-29 | Qualcomm Incorporated | Mobile device including a substantially centrally located earpiece |
US9904851B2 (en) * | 2014-06-11 | 2018-02-27 | At&T Intellectual Property I, L.P. | Exploiting visual information for enhancing audio signals via source separation and beamforming |
US9686467B2 (en) * | 2014-08-15 | 2017-06-20 | Sony Corporation | Panoramic video |
JP6551919B2 (ja) | 2014-08-20 | 2019-07-31 | 株式会社ファインウェル | 見守りシステム、見守り検知装置および見守り通報装置 |
DE112015003945T5 (de) | 2014-08-28 | 2017-05-11 | Knowles Electronics, Llc | Mehrquellen-Rauschunterdrückung |
US9978388B2 (en) | 2014-09-12 | 2018-05-22 | Knowles Electronics, Llc | Systems and methods for restoration of speech components |
US10283114B2 (en) * | 2014-09-30 | 2019-05-07 | Hewlett-Packard Development Company, L.P. | Sound conditioning |
US10609475B2 (en) | 2014-12-05 | 2020-03-31 | Stages Llc | Active noise control and customized audio system |
US20160165338A1 (en) * | 2014-12-05 | 2016-06-09 | Stages Pcs, Llc | Directional audio recording system |
US9747367B2 (en) | 2014-12-05 | 2017-08-29 | Stages Llc | Communication system for establishing and providing preferred audio |
US9654868B2 (en) | 2014-12-05 | 2017-05-16 | Stages Llc | Multi-channel multi-domain source identification and tracking |
CN110312181B (zh) | 2014-12-18 | 2020-12-15 | 株式会社精好 | 自行车行驶用接听装置及自行车系统 |
US9747068B2 (en) | 2014-12-22 | 2017-08-29 | Nokia Technologies Oy | Audio processing based upon camera selection |
US20160198499A1 (en) | 2015-01-07 | 2016-07-07 | Samsung Electronics Co., Ltd. | Method of wirelessly connecting devices, and device thereof |
JP6613503B2 (ja) * | 2015-01-15 | 2019-12-04 | 本田技研工業株式会社 | 音源定位装置、音響処理システム、及び音源定位装置の制御方法 |
US9794685B2 (en) | 2015-01-23 | 2017-10-17 | Ricoh Company, Ltd. | Video audio recording system, video audio recording device, and video audio recording method |
DE112016000545B4 (de) | 2015-01-30 | 2019-08-22 | Knowles Electronics, Llc | Kontextabhängiges schalten von mikrofonen |
US9844077B1 (en) * | 2015-03-19 | 2017-12-12 | Sprint Spectrum L.P. | Secondary component carrier beamforming |
US9716944B2 (en) | 2015-03-30 | 2017-07-25 | Microsoft Technology Licensing, Llc | Adjustable audio beamforming |
US9554207B2 (en) | 2015-04-30 | 2017-01-24 | Shure Acquisition Holdings, Inc. | Offset cartridge microphones |
US9565493B2 (en) | 2015-04-30 | 2017-02-07 | Shure Acquisition Holdings, Inc. | Array microphone system and method of assembling the same |
CN106205628B (zh) | 2015-05-06 | 2018-11-02 | 小米科技有限责任公司 | 声音信号优化方法及装置 |
DE102015210405A1 (de) * | 2015-06-05 | 2016-12-08 | Sennheiser Electronic Gmbh & Co. Kg | Audioverarbeitungssystem und Verfahren zum Verarbeiten eines Audiosignals |
KR102362121B1 (ko) | 2015-07-10 | 2022-02-11 | 삼성전자주식회사 | 전자 장치 및 그 입출력 방법 |
EP3323567B1 (en) | 2015-07-15 | 2020-02-12 | FINEWELL Co., Ltd. | Robot and robot system |
JP6551929B2 (ja) | 2015-09-16 | 2019-07-31 | 株式会社ファインウェル | 受話機能を有する腕時計 |
WO2017049441A1 (en) * | 2015-09-21 | 2017-03-30 | Motorola Solutions, Inc. | Converged communications device and method of controlling the same |
CN108496345B (zh) | 2016-01-19 | 2021-02-26 | 株式会社精好 | 笔型呼入呼出通话装置 |
JP6847581B2 (ja) * | 2016-02-12 | 2021-03-24 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 無線通信装置、及び無線通信装置における表示方法 |
CN107404684A (zh) * | 2016-05-19 | 2017-11-28 | 华为终端(东莞)有限公司 | 一种采集声音信号的方法和装置 |
US9980042B1 (en) | 2016-11-18 | 2018-05-22 | Stages Llc | Beamformer direction of arrival and orientation analysis system |
US9980075B1 (en) | 2016-11-18 | 2018-05-22 | Stages Llc | Audio source spatialization relative to orientation sensor and output |
US10945080B2 (en) | 2016-11-18 | 2021-03-09 | Stages Llc | Audio analysis and processing system |
KR102534768B1 (ko) | 2017-01-03 | 2023-05-19 | 삼성전자주식회사 | 오디오 출력 장치 및 제어방법 |
EP3566468B1 (en) | 2017-01-09 | 2021-03-10 | Sonova AG | Microphone assembly to be worn at a user's chest |
US10367948B2 (en) | 2017-01-13 | 2019-07-30 | Shure Acquisition Holdings, Inc. | Post-mixing acoustic echo cancellation systems and methods |
JP7196399B2 (ja) | 2017-03-14 | 2022-12-27 | 株式会社リコー | 音響装置、音響システム、方法およびプログラム |
US10863399B2 (en) * | 2017-05-04 | 2020-12-08 | Qualcomm Incorporated | Predictive beamforming and subarray selection |
US11711125B2 (en) | 2017-06-16 | 2023-07-25 | Interdigital Ce Patent Holdings | Performing enhanced sounding procedures using beamforming techniques |
US10580411B2 (en) * | 2017-09-25 | 2020-03-03 | Cirrus Logic, Inc. | Talker change detection |
US10459076B2 (en) | 2017-11-15 | 2019-10-29 | Cognitive Systems Corp. | Motion detection based on beamforming dynamic information |
CN109873933A (zh) * | 2017-12-05 | 2019-06-11 | 富泰华工业(深圳)有限公司 | 多媒体数据处理装置及方法 |
US10852411B2 (en) | 2017-12-06 | 2020-12-01 | Cognitive Systems Corp. | Motion detection and localization based on bi-directional channel sounding |
US10339949B1 (en) | 2017-12-19 | 2019-07-02 | Apple Inc. | Multi-channel speech enhancement |
US10979805B2 (en) * | 2018-01-04 | 2021-04-13 | Stmicroelectronics, Inc. | Microphone array auto-directive adaptive wideband beamforming using orientation information from MEMS sensors |
EP3528509B9 (en) * | 2018-02-19 | 2023-01-11 | Nokia Technologies Oy | Audio data arrangement |
GB2573537A (en) * | 2018-05-09 | 2019-11-13 | Nokia Technologies Oy | An apparatus, method and computer program for audio signal processing |
WO2019231632A1 (en) | 2018-06-01 | 2019-12-05 | Shure Acquisition Holdings, Inc. | Pattern-forming microphone array |
US11297423B2 (en) | 2018-06-15 | 2022-04-05 | Shure Acquisition Holdings, Inc. | Endfire linear array microphone |
US11240623B2 (en) | 2018-08-08 | 2022-02-01 | Qualcomm Incorporated | Rendering audio data from independently controlled audio zones |
EP3854108A1 (en) | 2018-09-20 | 2021-07-28 | Shure Acquisition Holdings, Inc. | Adjustable lobe shape for array microphones |
JP2020053948A (ja) | 2018-09-28 | 2020-04-02 | 株式会社ファインウェル | 聴取装置 |
CN109257682B (zh) * | 2018-09-29 | 2020-04-24 | 歌尔科技有限公司 | 拾音调节方法、控制终端及计算机可读存储介质 |
US11089402B2 (en) * | 2018-10-19 | 2021-08-10 | Bose Corporation | Conversation assistance audio device control |
US10795638B2 (en) | 2018-10-19 | 2020-10-06 | Bose Corporation | Conversation assistance audio device personalization |
KR102607863B1 (ko) | 2018-12-03 | 2023-12-01 | 삼성전자주식회사 | 음원 분리 장치 및 음원 분리 방법 |
US11558693B2 (en) | 2019-03-21 | 2023-01-17 | Shure Acquisition Holdings, Inc. | Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition and voice activity detection functionality |
CN113841419A (zh) | 2019-03-21 | 2021-12-24 | 舒尔获得控股公司 | 天花板阵列麦克风的外壳及相关联设计特征 |
JP2022526761A (ja) | 2019-03-21 | 2022-05-26 | シュアー アクイジッション ホールディングス インコーポレイテッド | 阻止機能を伴うビーム形成マイクロフォンローブの自動集束、領域内自動集束、および自動配置 |
EP3731541A1 (en) | 2019-04-23 | 2020-10-28 | Nokia Technologies Oy | Generating audio output signals |
US10798529B1 (en) | 2019-04-30 | 2020-10-06 | Cognitive Systems Corp. | Controlling wireless connections in wireless sensing systems |
US10743143B1 (en) | 2019-05-15 | 2020-08-11 | Cognitive Systems Corp. | Determining a motion zone for a location of motion detected by wireless signals |
CN114051738A (zh) | 2019-05-23 | 2022-02-15 | 舒尔获得控股公司 | 可操纵扬声器阵列、系统及其方法 |
EP3977449A1 (en) | 2019-05-31 | 2022-04-06 | Shure Acquisition Holdings, Inc. | Low latency automixer integrated with voice and noise activity detection |
JP2022545113A (ja) | 2019-08-23 | 2022-10-25 | シュアー アクイジッション ホールディングス インコーポレイテッド | 指向性が改善された一次元アレイマイクロホン |
JP7191793B2 (ja) * | 2019-08-30 | 2022-12-19 | 株式会社東芝 | 信号処理装置、信号処理方法、及びプログラム |
CN110530510B (zh) * | 2019-09-24 | 2021-01-05 | 西北工业大学 | 一种利用线性声阵列波束形成的声源辐射声功率测量方法 |
US10924889B1 (en) | 2019-09-30 | 2021-02-16 | Cognitive Systems Corp. | Detecting a location of motion using wireless signals and differences between topologies of wireless connectivity |
CA3152905A1 (en) | 2019-10-31 | 2021-05-06 | Christopher Beg | Using mimo training fields for motion detection |
CN114599991A (zh) | 2019-10-31 | 2022-06-07 | 认知系统公司 | 引发来自无线通信装置的mimo传输 |
US11570712B2 (en) | 2019-10-31 | 2023-01-31 | Cognitive Systems Corp. | Varying a rate of eliciting MIMO transmissions from wireless communication devices |
US11082769B2 (en) | 2019-11-15 | 2021-08-03 | Bose Corporation | Audio visualization in telecommunications applications |
US11055533B1 (en) * | 2020-01-02 | 2021-07-06 | International Business Machines Corporation | Translating sound events to speech and AR content |
US11552611B2 (en) | 2020-02-07 | 2023-01-10 | Shure Acquisition Holdings, Inc. | System and method for automatic adjustment of reference gain |
US10928503B1 (en) | 2020-03-03 | 2021-02-23 | Cognitive Systems Corp. | Using over-the-air signals for passive motion detection |
USD944776S1 (en) | 2020-05-05 | 2022-03-01 | Shure Acquisition Holdings, Inc. | Audio device |
CN111688580B (zh) * | 2020-05-29 | 2023-03-14 | 阿波罗智联(北京)科技有限公司 | 智能后视镜进行拾音的方法以及装置 |
WO2021243368A2 (en) | 2020-05-29 | 2021-12-02 | Shure Acquisition Holdings, Inc. | Transducer steering and configuration systems and methods using a local positioning system |
WO2022040817A1 (en) | 2020-08-31 | 2022-03-03 | Cognitive Systems Corp. | Controlling motion topology in a standardized wireless communication network |
US11070399B1 (en) | 2020-11-30 | 2021-07-20 | Cognitive Systems Corp. | Filtering channel responses for motion detection |
US11297434B1 (en) * | 2020-12-08 | 2022-04-05 | Fdn. for Res. & Bus., Seoul Nat. Univ. of Sci. & Tech. | Apparatus and method for sound production using terminal |
US11513762B2 (en) | 2021-01-04 | 2022-11-29 | International Business Machines Corporation | Controlling sounds of individual objects in a video |
WO2022165007A1 (en) | 2021-01-28 | 2022-08-04 | Shure Acquisition Holdings, Inc. | Hybrid audio beamforming system |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060271370A1 (en) * | 2005-05-24 | 2006-11-30 | Li Qi P | Mobile two-way spoken language translator and noise reduction using multi-directional microphone arrays |
US20080199025A1 (en) * | 2007-02-21 | 2008-08-21 | Kabushiki Kaisha Toshiba | Sound receiving apparatus and method |
JP2009296232A (ja) * | 2008-06-04 | 2009-12-17 | Casio Hitachi Mobile Communications Co Ltd | 音入力装置、音入力方法およびプログラム |
US20100123785A1 (en) * | 2008-11-17 | 2010-05-20 | Apple Inc. | Graphic Control for Directional Audio Input |
US20100128892A1 (en) * | 2008-11-25 | 2010-05-27 | Apple Inc. | Stabilizing Directional Audio Input from a Moving Microphone Array |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07321574A (ja) * | 1994-05-23 | 1995-12-08 | Nec Corp | 音量および音量比の表示/調整方法 |
GB2294854B (en) | 1994-11-03 | 1999-06-30 | Solid State Logic Ltd | Audio signal processing |
GB9813973D0 (en) * | 1998-06-30 | 1998-08-26 | Univ Stirling | Interactive directional hearing aid |
US20020149672A1 (en) * | 2001-04-13 | 2002-10-17 | Clapp Craig S.K. | Modular video conferencing system |
US7783061B2 (en) | 2003-08-27 | 2010-08-24 | Sony Computer Entertainment Inc. | Methods and apparatus for the targeted sound detection |
US8270647B2 (en) | 2003-05-08 | 2012-09-18 | Advanced Bionics, Llc | Modular speech processor headpiece |
US7717629B2 (en) * | 2004-10-15 | 2010-05-18 | Lifesize Communications, Inc. | Coordinated camera pan tilt mechanism |
JP4934968B2 (ja) * | 2005-02-09 | 2012-05-23 | カシオ計算機株式会社 | カメラ装置、カメラ制御プログラム及び記録音声制御方法 |
US20080101624A1 (en) * | 2006-10-24 | 2008-05-01 | Motorola, Inc. | Speaker directionality for user interface enhancement |
US20080259731A1 (en) * | 2007-04-17 | 2008-10-23 | Happonen Aki P | Methods and apparatuses for user controlled beamforming |
JP5029986B2 (ja) * | 2007-05-07 | 2012-09-19 | Necカシオモバイルコミュニケーションズ株式会社 | 情報処理装置、プログラム |
US8154583B2 (en) | 2007-05-31 | 2012-04-10 | Eastman Kodak Company | Eye gazing imaging for video communications |
US8825468B2 (en) * | 2007-07-31 | 2014-09-02 | Kopin Corporation | Mobile wireless display providing speech to speech translation and avatar simulating human attributes |
US9113240B2 (en) * | 2008-03-18 | 2015-08-18 | Qualcomm Incorporated | Speech enhancement using multiple microphones on multiple devices |
US8724829B2 (en) | 2008-10-24 | 2014-05-13 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for coherence detection |
US8620672B2 (en) | 2009-06-09 | 2013-12-31 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for phase-based processing of multichannel signal |
EP2517486A1 (en) * | 2009-12-23 | 2012-10-31 | Nokia Corp. | An apparatus |
CN102771141B (zh) * | 2009-12-24 | 2016-01-20 | 诺基亚技术有限公司 | 一种电子装置及用于电子装置的方法 |
TWI415117B (zh) * | 2009-12-25 | 2013-11-11 | Univ Nat Chiao Tung | 使用在麥克風陣列之消除殘響與減低噪音方法及其裝置 |
US8525868B2 (en) | 2011-01-13 | 2013-09-03 | Qualcomm Incorporated | Variable beamforming with a mobile platform |
-
2011
- 2011-01-13 US US13/006,303 patent/US8525868B2/en active Active
-
2012
- 2012-01-13 EP EP12703635.8A patent/EP2664160B1/en active Active
- 2012-01-13 CN CN201280005335.1A patent/CN103329568B/zh not_active Expired - Fee Related
- 2012-01-13 WO PCT/US2012/021340 patent/WO2012097314A1/en active Application Filing
- 2012-01-13 JP JP2013549592A patent/JP2014510430A/ja active Pending
- 2012-01-13 KR KR1020137021174A patent/KR101520564B1/ko active IP Right Grant
- 2012-01-13 CN CN201510707317.3A patent/CN105263085B/zh active Active
-
2013
- 2013-07-30 US US13/954,536 patent/US9066170B2/en active Active
-
2015
- 2015-06-18 JP JP2015122711A patent/JP6174630B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060271370A1 (en) * | 2005-05-24 | 2006-11-30 | Li Qi P | Mobile two-way spoken language translator and noise reduction using multi-directional microphone arrays |
US20080199025A1 (en) * | 2007-02-21 | 2008-08-21 | Kabushiki Kaisha Toshiba | Sound receiving apparatus and method |
JP2009296232A (ja) * | 2008-06-04 | 2009-12-17 | Casio Hitachi Mobile Communications Co Ltd | 音入力装置、音入力方法およびプログラム |
US20100123785A1 (en) * | 2008-11-17 | 2010-05-20 | Apple Inc. | Graphic Control for Directional Audio Input |
US20100128892A1 (en) * | 2008-11-25 | 2010-05-27 | Apple Inc. | Stabilizing Directional Audio Input from a Moving Microphone Array |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107211206A (zh) * | 2015-01-20 | 2017-09-26 | 3M创新有限公司 | 用于测定声学信号起源的可安装的声音捕捉和重现装置 |
CN107925817A (zh) * | 2015-07-27 | 2018-04-17 | 索诺瓦公司 | 夹式麦克风组件 |
CN107925817B (zh) * | 2015-07-27 | 2021-01-08 | 索诺瓦公司 | 夹式麦克风组件 |
CN106486147A (zh) * | 2015-08-26 | 2017-03-08 | 华为终端(东莞)有限公司 | 指向性录音方法、装置及录音设备 |
CN112513976A (zh) * | 2018-05-16 | 2021-03-16 | 多特瑞尔技术有限公司 | 用于音频捕获的系统和方法 |
CN112534395A (zh) * | 2018-08-08 | 2021-03-19 | 高通股份有限公司 | 用于控制音频区域的用户界面 |
Also Published As
Publication number | Publication date |
---|---|
JP2014510430A (ja) | 2014-04-24 |
KR101520564B1 (ko) | 2015-05-14 |
US20130316691A1 (en) | 2013-11-28 |
CN103329568B (zh) | 2016-08-10 |
US8525868B2 (en) | 2013-09-03 |
WO2012097314A1 (en) | 2012-07-19 |
EP2664160B1 (en) | 2023-09-13 |
US20120182429A1 (en) | 2012-07-19 |
JP2015167408A (ja) | 2015-09-24 |
CN105263085B (zh) | 2019-03-01 |
CN105263085A (zh) | 2016-01-20 |
JP6174630B2 (ja) | 2017-08-02 |
KR20130114721A (ko) | 2013-10-17 |
US9066170B2 (en) | 2015-06-23 |
EP2664160A1 (en) | 2013-11-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103329568A (zh) | 用移动平台进行的可变波束成形 | |
CN203406910U (zh) | 移动终端的麦克风安装结构 | |
US8965400B2 (en) | Apparatus and method for displaying a position of mobile terminal | |
US20110086626A1 (en) | Speaker activation for mobile communication device | |
CN106550126B (zh) | 移动终端及其屏幕亮度的控制装置和方法 | |
US9479704B2 (en) | Apparatus and method for supporting zoom microphone functional in mobile terminal | |
US10027785B2 (en) | Method for switching screen state of terminal, terminal thereof, and computer-readable medium thereof | |
CN111669208B (zh) | 天线选择方法及第一电子设备、存储介质 | |
WO2016188379A1 (zh) | 一种信息处理方法及装置、终端、存储介质 | |
CN106789575B (zh) | 一种信息发送装置、方法 | |
WO2018133341A1 (zh) | 发射上行信号的方法及装置 | |
CN106657782B (zh) | 一种图片处理方法和终端 | |
WO2019019164A1 (zh) | 无人机管理方法及装置、通信连接建立方法及装置 | |
WO2018032917A1 (zh) | 一种移动终端、获取对焦值的方法以及计算机可读存储介质 | |
CN104811540A (zh) | 一种移动终端及其语音通信的声音设置方法和装置 | |
CN106375843A (zh) | 一种无线投影装置、系统及方法 | |
WO2019183853A1 (zh) | 信息上报、配置方法及装置、用户设备和基站 | |
CN107071275B (zh) | 一种图像合成方法及终端 | |
CN109473117B (zh) | 音频特效叠加方法、装置及其终端 | |
CN105100405A (zh) | 一种通讯提醒方法及装置 | |
CN114006971B (zh) | 一种投屏窗口音频控制方法、设备及计算机可读存储介质 | |
WO2021253178A1 (zh) | 一种随机接入方法、随机接入装置及存储介质 | |
WO2022133645A1 (zh) | 信息发送方法和装置、关系确定方法和装置 | |
CN107105163B (zh) | 一种视频拍摄方法、播放方法及装置 | |
CN106506855B (zh) | 一种实现平衡立体声的方法、装置及移动终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160810 Termination date: 20220113 |