CN102355748A - 用于确定经处理的音频信号的方法及手持设备 - Google Patents

用于确定经处理的音频信号的方法及手持设备 Download PDF

Info

Publication number
CN102355748A
CN102355748A CN201110195279XA CN201110195279A CN102355748A CN 102355748 A CN102355748 A CN 102355748A CN 201110195279X A CN201110195279X A CN 201110195279XA CN 201110195279 A CN201110195279 A CN 201110195279A CN 102355748 A CN102355748 A CN 102355748A
Authority
CN
China
Prior art keywords
handheld device
audio signal
audio signals
handheld
microphone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201110195279XA
Other languages
English (en)
Other versions
CN102355748B (zh
Inventor
托马斯·坎普
艾尔特弗里德·迪尔利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102355748A publication Critical patent/CN102355748A/zh
Application granted granted Critical
Publication of CN102355748B publication Critical patent/CN102355748B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72475—User interfaces specially adapted for cordless or mobile telephones specially adapted for disabled users
    • H04M1/72478—User interfaces specially adapted for cordless or mobile telephones specially adapted for disabled users for hearing-impaired users
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W84/00—Network topologies
    • H04W84/18—Self-organising networks, e.g. ad-hoc networks or sensor networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Telephone Function (AREA)

Abstract

本发明公开了一种用于确定经处理的音频信号的方法及手持设备。确定经处理的音频信号的方法包括：在多个手持设备之间建立ad-hoc网络，每个手持设备具有麦克风；通过多个手持设备的每个麦克风拾取多个音频信号；在ad-hoc网络中分发多个音频信号使得在至少一个手持设备中多个音频信号中的至少两个可用；在所述至少一个手持设备中，组合多个音频信号中的至少两个以获得所述经处理的音频信号。

Description

用于确定经处理的音频信号的方法及手持设备
技术领域
本发明的一个实施例涉及一种确定经处理的音频信号的方法。本发明又一个实施例涉及一种手持设备。本发明又一个实施例涉及用于确定经处理的音频信号的系统。
背景技术
许多音频应用基于拾取的音频信号和处理信号以传输经处理的音频信号。
发明内容
本发明的一个目的是提供一种确定改进的经处理的音频信号的方法。本发明的另一个目的是提供一种能够确定改进的经处理音频信号的手持设备。另一个目的是提供相应的系统。
这些目的通过依据独立权利要求的方法、手持设备和系统实现。
本发明的进一步细节从对附图和所附描述的考虑中是显见的。
附图说明
附图用于提供对实施例的进一步理解，并包含于且构成说明书的一部分。附图示出实施例，并且与说明书一同阐述实施例的原理。其他实施例以及实施例的许多设想优点，通过参考下面的详细描述更易理解。附图的每个元素无需相对缩放。相似参考标记指示相应的相似部分。
图1示出用于确定经处理的音频信号的方法的一个实施例的框图；
图2示出用于确定经处理的音频信号的方法的进一步的实施例；
图3示出阐明根据本发明一个实施例的方法和相应的手持设备的示例；
图4示出用于阐明根据本发明一个实施例的音频信号的对准和相加以确定改进的经处理音频信号的示图；
图5示出根据本发明一个实施例的手持设备的用户接口；
图6示出手持设备的一个实施例。
具体实施方式
在下文中，描述了发明的实施例。应当注意的是，下面描述的所有实施例能够以任何方式组合，即没有任何某个描述的实施例不能与其他结合的限制。进一步，应当注意的是附图中相同的参考标记表示相同或相似的元素。
应当理解的是，在不脱离本发明范围的条件下，能够利用其他实施例以及作出结构或逻辑改变。因此，下面的详细描述不以限制的方式理解，本发明的范围通过所附权利要求定义。
应当理解的是，这里描述的各种实施例的特征能够互相结合，除非另有表述。
在图1中S100处，在多个手持设备，例如智能手机、PDA和便携电脑之间建立ad-hoc网络。每个手持设备可具有用于拾取音频信号的麦克风。
每个手持设备可以，例如运行预定义的应用以便能建立ad-hoc网络。在手持设备或至少部分手持设备是智能手机或其他合适的手机的情况中，ad-hoc网络可以通过相应的应用建立。在智能手机环境中，这种应用称为“App”。
一旦相应应用在手持设备上运行，该手持设备之一的用户能够通过按下手持设备用户接口的相应按钮或类似物来建立ad-hoc网络。通过这样做，该特定用户的手持设备能够请求其他手持设备来建立与该特定用户的手持设备的相应连接。
如图1中S102所示，然后音频信号然后通过多个手持设备的麦克风拾取，手持设备通过ad-hoc网络相互连接。由于手持设备位于不同位置，例如在一个房间中，多个手持设备的麦克风将形成麦克风阵列。
然后，在S104拾取的音频信号通过ad-hoc网络分发。分发可以是每个手持设备接收到分别在每个手持设备的麦克风拾取的所有音频信号。或者，限制拾取音频信号分发的手持设备的数量也是可能的。例如，仅有一个用户，例如发起建立ad-hoc网络的用户或者请求此的另一用户，在其手持设备接收所有的音频信号，这是足够的。用户是否想要接收每个手持设备的音频信号能够通过手持设备上运行的程序控制。同样，请求接收在其他手持设备拾取的音频信号的用户接收所有的音频信号是不必要的。例如如果请求用户仅接收另一个音频信号使得他具有至少两个可用音频信号是足够的，即其自身通过其麦克风/手持设备拾取的音频信号以及另一个手持设备的音频信号。哪个信号被传输到请求用户取决于，例如音频信号质量、SNR、波束形成算法(如下所示)、ad-hoc网络中的可用带宽和/或当前用户手持设备上运行的应用类型。例如，对立体声录音，仅具有两个可用音频信号就足够了，而对于环绕声应用的录音和/或再现，需要更多音频信号。
因此，在进一步的实施例中，手持设备并非接收在每个麦克风处拾取的所有多个音频信号的全部，而是选择性地接收仅是手持设备的某些选定麦克风的音频信号，这也是可能的。例如，仅靠近目标声源，例如扬声器的两个麦克风的两个声音信号，传输(分发)其声音信号到某个手持设备是足够的。
如所示，根据图1中示出的实施例，在S106音频信号被组合到至少一个手持设备。这可以是请求通过ad-hoc网络接收其他音频信号的手持设备。因此，能够确定经处理的音频信号。
经处理的音频信号相对于在一个手持设备接收的音频信号被改进，因为其包含已经由多个麦克风(麦克风阵列)拾取的多个音频信号的信息。利用这种配置，确定具良好信噪比(SNR)的经处理音频信号是可能的。在与仅由单个麦克风拾取的信号的SNR相比时，SNR是有改进的。经处理的音频信号也可以是立体音频信号或包含在多个位置拾取的声音信号的环绕声音信号。
根据图2示出的进一步的实施例，还可以如S200描述的确定位置信息。如果位置信息可用，则音频信号依赖于位置信息进行组合，如图2中标注为S202和S200的块之间的箭头所示，其中音频信号被组合到至少一个手持设备，例如请求接收另一个音频信号的用户的手持设备。
此外，音频信号如S204所指示的对准和/或相加是可能的。对准和/或相加也依赖于位置信息。
位置信息可如下确定：与音频信号(麦克风数据)一起，每个运行在连接到ad-hoc网络的手持设备上的应用也发送其本地时间戳。然后，在开始时，所有时钟可同步到示例精度(例如，对于CD质量音频拾取1/44100秒足够)。此后，音频信号可以相互对准。例如，如果存在较强噪声(噪声事件)，例如啤酒瓶摔在地面上或大笑声，该信号被所有麦克风拾取，然后利用该噪声事件相互对准信号。对准时，从声源到每个麦克风对之间距离的差异能够利用共同时间推知。例如，如果第一个麦克风在t＝22.500ms检测到声音并且第二个麦克风在24.700ms检测到该声音，在这种情况下检测时间的差异是2.200ms，指示出第一个麦克风相比于第二个麦克风，其距离声源近了330m/s×2.2ms或73cm。
对本领域技术人员清楚的是，通过三个麦克风，每个声源存在三个距离测量(第一对第二声源，第一对第三声源，以及第二对第三声源)，但是对于每个新声源仅有两个新的未知位置参数被引入系统(假设所有声源都在一个平面中)。因此，如果从足够的不同位置始终存在足够的噪声并且所有噪声都限制于二维平面，则能够确定所有麦克风彼此的相对位置。此外，一旦知道这种几何关系，声源相对于三个麦克风的位置也能够确定。
在完全不知道声源位置的情况下，通过多个噪声源的噪声事件的多个测量来确定几何关系，四个麦克风可能是有帮助的。如果仅应当使用一个单独的噪声源，则可能需要八个或更多麦克风。然而，取决于用于源位置测量的算法和/或取决于几何或其他限制的可用性，使用更少的麦克风是可能的。
在进一步的实施例中，每个手持设备，例如智能手机，能够通过其自身发出噪声事件以确定相互的相对初始位置是可能的。如果这种对准是允许的，再次地，四个手持设备/麦克风足以相互对准自身并确定相互的相对位置，无需任何外部声源(噪声事件)。
在任何情况下，基于噪声事件确定手持设备/麦克风的相对位置对本领域技术人员是已知的。现有技术中的许多算法能够用于确定手持设备的相对距离。这类算法通常依赖于第N个麦克风将为系统增加N-1个新等式的事实(从源到其他麦克风的距离差)，但是仅增加3个新未知数(其自己的坐标)。因此，如果存在足够的麦克风，全部几何关系能够唯一地确定。
在进一步的实施例中，为改变而定期地检查相对位置并适应/更新以反映当前状态。因此，用户以及手持设备的麦克风可以改变其位置(用户可能周围漫步)。这种运动能够通过包含在手持设备中的陀螺传感器检测。
根据进一步的实施例，选择目标位置也是可能的，其中组合的步骤(图2中S202和图1中S106)包括将关注选择目标位置的声音拾取的波束形成。
例如在一个房间中或户外，目标讲话者在目标位置讲话。然后，通过手持设备建立的麦克风阵列，利用波束形成技术获得关注目标位置(目标讲话者)的改进的经处理的音频信号。这样，能够获得改进的信噪比(SNR)。因为麦克风信号彼此相互延迟，使得来自目标位置的所有声音同相相加而来自其他位置的所有声音在随机相位相加，所以能够例如实现波束形成。相位相加的信号然后播放给用户和/或被记录。
这种手持设备的一个应用是用于听力受损者。实际上，许多人聚集的情况中存在相当多的噪声。一个例子是许多人参加的会议，例如会议或鸡尾酒会。由于声环境条件恶化，沟通可能受到各种程度的阻碍，取决于噪声水平以及个人的听力能力。对于听力受损者，情况可能很快会变得难以控制，然而在一些情况下即使是具有正常听力能力的人也可能沟通困难。从上文显而易见的是，根据本发明的实施例，目标讲话者能够，例如通过波束形成两个或多个合适的，例如相近的麦克风信号而从混合信号中被拾取出来，因此获得改进极大的SNR。
相位相加的信号(经处理的音频信号)能够例如通过耳机，播放给用户，例如给听力受损用户。在本发明的实施例中，耳机能够通过线缆连接到用户的手持设备。在进一步的实施例中，耳机也能够通过无线连接来连接到手持设备。在听力受损用户的助听器支持无线声音传输的情况下，手持设备也能够与用户经常使用的助听器建立连接。
手持设备和助听器之间的这种无线通信能够通过无线身体局域网(WBAN)完成。
还应当注意的是，如果房间中没有其他智能手机(作为手持设备的例子)，系统可以工作在单个麦克风模式。在这种模式中，其反映了传统助听器的功能。由于普通便宜手机麦克风的质量可能不太好，因此推荐听力受损用户为自己使用特定的智能手机，即后备模式提供良好的听觉体验。一旦在周围发现具有合适应用、通过ad-hoc网络使能连接建立的额外智能手机，发生波束形成。因此，通信质量被改进。如果在房间能够分布的智能手机(手持设备)越多，改进更大。
根据进一步的实施例，上面描述的方法不单能够用于听力受损者。另一种应用能够确定对应于周围声音信号的经处理的音频信号。例如，如果在房间中的多个位置拾取声音，然后这一信息用于控制使能周围声音再现的相应回放设备。
同时，选择麦克风阵列中的两个麦克风使能立体声录音也是可能的。
因此，根据进一步的实施例，上面和下面描述的手持设备能够用于改进的音频拾取。这种拾取对于例如录制音乐是有用的。例如在音乐会的情况下，环绕声音和/或立体声音可以被拾取。
在任何情况下，使得多个位置的录音在某个手持设备处可用对许多其他应用是有用的。
如上所述，本发明的一个实施例基于手持设备上运行的应用。这种应用可通过专用市场容易地分发。然而，通过ad-hoc网络向房间中的其他手持设备分发应用也是可能的。例如，一个用户想要建立ad-hoc网络和麦克风阵列。然后这个用户想要接收到在其周围分布的其他手持设备拾取的音频信号。为了能够完成这件事，用户可以向其想要包含在ad-hoc网络中的其他用户传输需要的应用。因此，不需要每个个人用户下载/购买应用。一个用户在其手持设备上具有该应用就足够了，然后将应用分发给房间中的手持设备的其他用户。
当然，无需限制手持设备必须位于一个房间中。户外或其他场景也是可能的。
图3示出阐述本发明进一步的实施例的示例。在该例中，三个手机(手持设备)301、302和303通过ad-hoc网络310连接。第一个手机301包括第一麦克风305。进一步第二手机302包括第二麦克风307并且第三手机303包括第三麦克风309。
在图3的例子中，假设第二手机302的用户是听力受损者。因此他将耳机312连接到他的手机302并将耳机312放入其耳朵314中。
为了确定将通过耳机312再现的改进的音频信号(经处理的音频信号)，第二手机302的用户可选择目标位置。例如，第二手机302的用户想要听到目标位置的讲话者320。选择目标位置的一个实施例将结合图5在下面进一步详细描述。
在图3的例子中，假设在目标位置的讲话者说了一句话“喂，你好”。因此，相应的声波325通过空气从他的嘴巴传播到第一到第三手机301、302和303的麦克风305、307和309。
图3中，假设第一手机301距离讲话者320有1.5m远。进一步第二手机302距离讲话者320有2m远并且第三手机303距离讲话者320有2.5m远。
因此，对应于讲出的句子“喂，你好”的声学信号在不同时间被麦克风305、307和309拾取。
这在图4中描述。
图4中的上图400示出三个信号401、402和403。信号401对应于图3中第一手机301的麦克风305拾取的信号。进一步，第二信号402对应于图3中第二手机302的麦克风307拾取的信号。更进一步，第三信号403对应于图3中第三手机303的麦克风309拾取的信号。
如箭头410和412所示，在不同麦克风/手机接收的信号401、402和403具有由于如图3所示相应手机和讲话者320之间不同距离造成的一定延迟。
为了获得改进的(处理的)音频信号，三个信号401、402和403能够被对准和相加。因此，经处理的信号420能够获得相比信号401、402和403任一的改进的信噪比。
对准可基于图3中手机301、302和303的位置信息。如上所述，这种位置信息能够指示手机301、302和303彼此的相对位置。这种相对距离能够基于噪声事件确定。如上所述，这里噪声事件能够，例如是啤酒瓶落到地面上或者大笑。在没有这样的噪声事件可用的情况下，或者替代地使用自然噪声事件，一个或所有手持设备通过省略相应声音产生人造噪声事件也是可能的。例如，手持设备上的应用能够触发一个手机的短铃音。当然，为了获得更高精度，每个手机交替发出相应的声音信号。
在进一步的实施例中，噪声事件在人可听的频率范围(或者非常不稳定)但能够为麦克风所拾取是可能的。因此，对准可以更精确和/或其不会干扰该系统的用户。
图5示出具有用户接口504的手机500的实施例。用户接口504基于使用手机500的触摸屏。在用户接口504中，通过ad-hoc网络连接到手机500的手机位置将显示在对应于连接的手机的位置。手机500的用户的自身位置能够通过503中描述的特殊符号指示。这有利于帮助用户获得更好方位。
用户接口504使得手机500的用户能够通过触摸手机500的触摸屏的相应位置选择目标位置510。例如，如果手机500的用户触摸屏幕区域510则手机500基于对应于触摸屏上示出的符号501、502和503的手机拾取的音频信号的波束形成输出经处理的音频信号。当手机500的用户从对应于符号501和502的手机接收到音频信号，他可以确定具有很好SNR的，例如在目标位置讲话的讲话者。
在进一步的实施例中(未示出)，目标位置也可以自动确定，波束形成基于该目标位置执行。例如，如果系统确定了单个用户在其发出声音的区域，自动发生波束形成以产生关注相应位置的经处理信号。
图6示出手持设备600的进一步的实施例。手持设备600包括麦克风602，无线接口604和微处理器606。
麦克风602可以适于拾取音频信号。进一步，无线接口604可以适于通过ad-hoc网络与至少一个其他手持设备通信，其中无线接口604可进一步适于接收至少一个被所述至少一个其他手持设备拾取的其他音频信号。
进一步，微处理器606可以适于组合音频信号和至少一个其他音频信号以获得经处理的音频信号。
微处理器606可以进一步适于确定位置信息并依赖于位置信息组合音频信号和至少一个其他音频信号。
可选地，根据进一步的实施例，手机600可以包括陀螺传感器608。陀螺传感器608可以用于更新位置信息。换句话说，可以有多种方式确定位置信息。一种方式是使用被连接到手持设备600的其他手持设备检测/拾取的噪声事件。一旦完成，陀螺传感器608可以用作更新位置信息的信息的其他源，可以与另外的噪声事件组合。例如，如果手持设备600的用户在周围漫步，陀螺传感器608可以检测到此并向微处理器606发送相应信号，该微处理器606随后可以依次更新位置信息。
作为增强位置信息精度的信息的其他源，也可以包括关于位置的信息，该信息来自基于卫星的位置确定系统，例如GPS/dGPS或者Galileo(欧洲卫星位置确定系统)。例如，手持设备600可以具有内置的位置确定功能和/或模块(未示出)。然后位置确定功能和/或模块确定的信息可以用于确定位置信息。

Claims (16)

1.一种确定经处理的音频信号的方法，包括
在多个手持设备之间建立ad-hoc网络，每个手持设备具有麦克风；
利用多个手持设备的每个麦克风拾取多个音频信号；
在ad-hoc网络中分发所述多个音频信号，使得在至少一个手持设备中所述多个音频信号中的至少两个音频信号可用；
在所述至少一个手持设备中，组合所述多个音频信号中的所述至少两个音频信号，以获得所述经处理的音频信号。
2.如权利要求1所述的方法，包括：
为所述多个手持设备中的每个确定位置信息，其中所述组合的步骤依赖于位置信息。
3.如权利要求2所述的方法，其中，所述组合的步骤包括对准和/或相加所述多个音频信号，其中所述对准和/或相加依赖于所述位置信息。
4.如权利要求2所述的方法，包括：
选择目标位置，其中所述组合的步骤包括汇聚于所述目标位置的所述多个音频信号中的所述至少两个音频信号的波束形成。
5.如权利要求2所述的方法，其中，所述位置信息是基于通过所有所述多个手持设备拾取的噪声事件而确定的。
6.如权利要求5所述的方法，其中，所述噪声事件是手持设备之一发出的噪声，所述噪声事件是人可听的，或者在人不可听的频率范围中，或者对人并不干扰。
7.如权利要求2所述的方法，其中，通过使用包含在所述至少一个手持设备中的陀螺传感器，所述位置信息被定期地更新。
8.如权利要求1所述的方法，其中，所述组合的步骤包括进一步的信号处理，使得经处理的音频信号对应于基于所述多个音频信号中的所述至少两个音频信号的立体声音频信号。
9.如权利要求1所述的方法，其中，所述经处理的音频信号对应于环绕声音信号。
10.如权利要求1所述的方法，其中，所述手持设备是手机，每个手机运行应用，所述应用用于控制建立ad-hoc网络、拾取多个音频信号、在ad-hoc网络中分发多个音频信号，和/或在所述至少一个手持设备中组合所有多个音频信号的步骤。
11.一种手持设备，包括：
适于拾取音频信号的麦克风；
适于通过ad-hoc网络与至少一个其他手持设备通信的无线接口，其中，所述无线接口进一步适于接收被所述至少一个其他手持设备拾取的至少一个其他音频信号；
微处理器，所述微处理器适于组合音频信号和所述至少一个其他音频信号以获得经处理的音频信号。
12.如权利要求11所述的手持设备，其中，所述微处理器进一步适于确定位置信息，并依赖于所述位置信息而组合所述音频信号和所述至少一个其他音频信号。
13.如权利要求12所述的手持设备，其中，所述微处理器进一步适于依赖于所述位置信息而对准和/或相加所述多个音频信号。
14.如权利要求12所述的手持设备，包括：适于允许用户选择目标位置的用户接口，其中，所述微处理器进一步适于基于所述音频信号和所述其他音频信号和/或连接到所述ad-hoc网络的另外手持设备的另外音频信号执行波束形成，所述波束形成汇聚于所述目标位置。
15.一种适于确定经处理的音频信号的系统，包括：
多个手持设备，其包括：
适于拾取音频信号的麦克风；
适于通过ad-hoc网络与至少一个其他手持设备通信的无线接口，其中，所述无线接口进一步适于接收被所述至少一个其他手持设备拾取的至少一个其他音频信号；
微处理器，所述微处理器适于组合所述音频信号和所述至少一个其他音频信号以获得经处理的音频信号。
16.一种用于确定经处理的音频信号的方法，包括：
在多个手持设备之间建立ad-hoc网络，每个手持设备具有麦克风；
利用多个手持设备的每个麦克风拾取多个音频信号；
在至少一个手持设备中，通过所述ad-hoc网络接收所有其他手持设备的音频信号，其他手持设备包括除了所述至少一个手持设备以外的多个手持设备；
在所述至少一个手持设备中，通过处理其他手持设备的音频信号以及由所述至少一个手持设备拾取的音频信号，来确定经处理的音频信号。
CN201110195279.XA 2010-06-02 2011-06-02 用于确定经处理的音频信号的方法及手持设备 Active CN102355748B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP10005770 2010-06-02
EP10005770.2 2010-06-02

Publications (2)

Publication Number Publication Date
CN102355748A true CN102355748A (zh) 2012-02-15
CN102355748B CN102355748B (zh) 2016-08-03

Family

ID=45065078

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110195279.XA Active CN102355748B (zh) 2010-06-02 2011-06-02 用于确定经处理的音频信号的方法及手持设备

Country Status (3)

Country Link
US (1) US8831761B2 (zh)
JP (1) JP2011254464A (zh)
CN (1) CN102355748B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103811013A (zh) * 2012-11-07 2014-05-21 中国移动通信集团公司 噪声抑制方法、装置、电子设备和通信处理方法
CN104581512A (zh) * 2014-11-21 2015-04-29 广东欧珀移动通信有限公司 一种立体声录制方法及装置
CN104796815A (zh) * 2015-02-12 2015-07-22 络达科技股份有限公司 分散式系统的音效增益方法
CN104869502A (zh) * 2015-03-19 2015-08-26 络达科技股份有限公司 音效增益方法
CN105654960A (zh) * 2015-09-21 2016-06-08 宇龙计算机通信科技(深圳)有限公司 一种对终端声音消噪的处理方法及装置
CN105940679A (zh) * 2014-01-31 2016-09-14 汤姆逊许可公司 用于同步两个电子设备处的回放的方法和装置
CN106063283A (zh) * 2014-01-31 2016-10-26 汤姆逊许可公司 用于同步两个电子设备处的回放的方法和装置
CN108111952A (zh) * 2017-12-26 2018-06-01 上海展扬通信技术有限公司 一种录音方法、装置、终端及计算机可读存储介质
CN109936798A (zh) * 2017-12-19 2019-06-25 展讯通信（上海）有限公司 基于分布式mic阵列实现拾音的方法、装置及服务器
CN112735462A (zh) * 2020-12-30 2021-04-30 科大讯飞股份有限公司 分布式麦克风阵列的降噪方法和语音交互方法

Families Citing this family (109)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11106424B2 (en) 2003-07-28 2021-08-31 Sonos, Inc. Synchronizing operations among a plurality of independently clocked digital data processing devices
US8234395B2 (en) 2003-07-28 2012-07-31 Sonos, Inc. System and method for synchronizing operations among a plurality of independently clocked digital data processing devices
US11106425B2 (en) 2003-07-28 2021-08-31 Sonos, Inc. Synchronizing operations among a plurality of independently clocked digital data processing devices
US8290603B1 (en) 2004-06-05 2012-10-16 Sonos, Inc. User interfaces for controlling and manipulating groupings in a multi-zone media system
US11650784B2 (en) 2003-07-28 2023-05-16 Sonos, Inc. Adjusting volume levels
US11294618B2 (en) 2003-07-28 2022-04-05 Sonos, Inc. Media player system
US9207905B2 (en) 2003-07-28 2015-12-08 Sonos, Inc. Method and apparatus for providing synchrony group status information
US9977561B2 (en) 2004-04-01 2018-05-22 Sonos, Inc. Systems, methods, apparatus, and articles of manufacture to provide guest access
US8868698B2 (en) 2004-06-05 2014-10-21 Sonos, Inc. Establishing a secure wireless network with minimum human intervention
US8326951B1 (en) 2004-06-05 2012-12-04 Sonos, Inc. Establishing a secure wireless network with minimum human intervention
US8923997B2 (en) 2010-10-13 2014-12-30 Sonos, Inc Method and apparatus for adjusting a speaker system
JP5699749B2 (ja) * 2011-03-31 2015-04-15 富士通株式会社 携帯端末装置の位置判定システムおよび携帯端末装置
US9313336B2 (en) * 2011-07-21 2016-04-12 Nuance Communications, Inc. Systems and methods for processing audio signals captured using microphones of multiple devices
WO2013088208A1 (en) * 2011-12-15 2013-06-20 Nokia Corporation An audio scene alignment apparatus
US9541422B2 (en) * 2012-01-09 2017-01-10 Packsize Llc Cable-based measuring system
US9119012B2 (en) 2012-06-28 2015-08-25 Broadcom Corporation Loudspeaker beamforming for personal audio focal points
WO2014016645A1 (en) * 2012-07-25 2014-01-30 Nokia Corporation A shared audio scene apparatus
US9729993B2 (en) 2012-10-01 2017-08-08 Nokia Technologies Oy Apparatus and method for reproducing recorded audio with correct spatial directionality
CN103856884B (zh) * 2012-11-29 2017-07-07 中国电信股份有限公司 利用手机终端收藏音响设备播放的音乐的方法和系统
US9621991B2 (en) 2012-12-18 2017-04-11 Nokia Technologies Oy Spatial audio apparatus
US20150332034A1 (en) * 2012-12-21 2015-11-19 Nokia Corporation Spatial Audio Apparatus
US9237384B2 (en) 2013-02-14 2016-01-12 Sonos, Inc. Automatic configuration of household playback devices
US9319409B2 (en) 2013-02-14 2016-04-19 Sonos, Inc. Automatic configuration of household playback devices
US9431014B2 (en) * 2013-07-25 2016-08-30 Haier Us Appliance Solutions, Inc. Intelligent placement of appliance response to voice command
US9933920B2 (en) 2013-09-27 2018-04-03 Sonos, Inc. Multi-household support
US9241355B2 (en) 2013-09-30 2016-01-19 Sonos, Inc. Media system access via cellular network
EP2916241A1 (en) * 2014-03-03 2015-09-09 Nokia Technologies OY Causation of rendering of song audio information
JP6193800B2 (ja) * 2014-04-25 2017-09-06 日本電信電話株式会社 音声収音システム、音声再生システム
US9521212B2 (en) 2014-09-30 2016-12-13 Sonos, Inc. Service provider user accounts
EP3202160B1 (en) * 2014-10-02 2018-04-18 Sonova AG Method of providing hearing assistance between users in an ad hoc network and corresponding system
TWI590666B (zh) * 2015-02-12 2017-07-01 絡達科技股份有限公司 分散式系統之音效增益方法
US20160249132A1 (en) * 2015-02-23 2016-08-25 Invensense, Inc. Sound source localization using sensor fusion
TWI579835B (zh) * 2015-03-19 2017-04-21 絡達科技股份有限公司 音效增益方法
US10313976B2 (en) * 2015-04-03 2019-06-04 Newracom, Inc. OFDMA sounding for WLAN system
GB2543276A (en) 2015-10-12 2017-04-19 Nokia Technologies Oy Distributed audio capture and mixing
GB2543275A (en) * 2015-10-12 2017-04-19 Nokia Technologies Oy Distributed audio capture and mixing
US9823893B2 (en) * 2015-07-15 2017-11-21 International Business Machines Corporation Processing of voice conversations using network of computing devices
US10013996B2 (en) 2015-09-18 2018-07-03 Qualcomm Incorporated Collaborative audio processing
US9706300B2 (en) * 2015-09-18 2017-07-11 Qualcomm Incorporated Collaborative audio processing
CN105242556A (zh) * 2015-10-28 2016-01-13 小米科技有限责任公司 智能设备的语音控制方法、装置、控制设备及智能设备
US10303422B1 (en) 2016-01-05 2019-05-28 Sonos, Inc. Multiple-device setup
US9811314B2 (en) 2016-02-22 2017-11-07 Sonos, Inc. Metadata exchange involving a networked playback system and a networked microphone system
US10097939B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Compensation for speaker nonlinearities
US9772817B2 (en) 2016-02-22 2017-09-26 Sonos, Inc. Room-corrected voice detection
US9965247B2 (en) 2016-02-22 2018-05-08 Sonos, Inc. Voice controlled media playback system based on user profile
US10264030B2 (en) 2016-02-22 2019-04-16 Sonos, Inc. Networked microphone device control
US9947316B2 (en) 2016-02-22 2018-04-17 Sonos, Inc. Voice control of a media playback system
US10095470B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Audio response playback
US10228445B2 (en) * 2016-03-30 2019-03-12 International Business Machines Corporation Signal propagating positioning system
GB201607455D0 (en) * 2016-04-29 2016-06-15 Nokia Technologies Oy An apparatus, electronic device, system, method and computer program for capturing audio signals
US9978390B2 (en) 2016-06-09 2018-05-22 Sonos, Inc. Dynamic player selection for audio signal processing
US10134399B2 (en) 2016-07-15 2018-11-20 Sonos, Inc. Contextualization of voice inputs
US10152969B2 (en) 2016-07-15 2018-12-11 Sonos, Inc. Voice detection by multiple devices
US10115400B2 (en) 2016-08-05 2018-10-30 Sonos, Inc. Multiple voice services
US9693164B1 (en) 2016-08-05 2017-06-27 Sonos, Inc. Determining direction of networked microphone device relative to audio playback device
US9794720B1 (en) 2016-09-22 2017-10-17 Sonos, Inc. Acoustic position measurement
US9942678B1 (en) 2016-09-27 2018-04-10 Sonos, Inc. Audio playback settings for voice interaction
US9743204B1 (en) 2016-09-30 2017-08-22 Sonos, Inc. Multi-orientation playback device microphones
US10181323B2 (en) 2016-10-19 2019-01-15 Sonos, Inc. Arbitration-based voice recognition
EP3530001A1 (en) * 2016-11-22 2019-08-28 Huawei Technologies Co., Ltd. A sound processing node of an arrangement of sound processing nodes
US11183181B2 (en) 2017-03-27 2021-11-23 Sonos, Inc. Systems and methods of multiple voice services
US10475449B2 (en) 2017-08-07 2019-11-12 Sonos, Inc. Wake-word detection suppression
US10048930B1 (en) 2017-09-08 2018-08-14 Sonos, Inc. Dynamic computation of system response volume
US10446165B2 (en) 2017-09-27 2019-10-15 Sonos, Inc. Robust short-time fourier transform acoustic echo cancellation during audio playback
US10051366B1 (en) 2017-09-28 2018-08-14 Sonos, Inc. Three-dimensional beam forming with a microphone array
US10621981B2 (en) 2017-09-28 2020-04-14 Sonos, Inc. Tone interference cancellation
US10482868B2 (en) 2017-09-28 2019-11-19 Sonos, Inc. Multi-channel acoustic echo cancellation
US10466962B2 (en) 2017-09-29 2019-11-05 Sonos, Inc. Media playback system with voice assistance
US10880650B2 (en) 2017-12-10 2020-12-29 Sonos, Inc. Network microphone devices with automatic do not disturb actuation capabilities
US10818290B2 (en) 2017-12-11 2020-10-27 Sonos, Inc. Home graph
WO2019152722A1 (en) 2018-01-31 2019-08-08 Sonos, Inc. Device designation of playback and network microphone device arrangements
US11175880B2 (en) 2018-05-10 2021-11-16 Sonos, Inc. Systems and methods for voice-assisted media content selection
US10847178B2 (en) 2018-05-18 2020-11-24 Sonos, Inc. Linear filtering for noise-suppressed speech detection
US10959029B2 (en) 2018-05-25 2021-03-23 Sonos, Inc. Determining and adapting to changes in microphone performance of playback devices
US10681460B2 (en) 2018-06-28 2020-06-09 Sonos, Inc. Systems and methods for associating playback devices with voice assistant services
US10461710B1 (en) 2018-08-28 2019-10-29 Sonos, Inc. Media playback system with maximum volume setting
US11076035B2 (en) 2018-08-28 2021-07-27 Sonos, Inc. Do not disturb feature for audio notifications
US10878811B2 (en) 2018-09-14 2020-12-29 Sonos, Inc. Networked devices, systems, and methods for intelligently deactivating wake-word engines
US10587430B1 (en) 2018-09-14 2020-03-10 Sonos, Inc. Networked devices, systems, and methods for associating playback devices based on sound codes
US11024331B2 (en) 2018-09-21 2021-06-01 Sonos, Inc. Voice detection optimization using sound metadata
US10811015B2 (en) 2018-09-25 2020-10-20 Sonos, Inc. Voice detection optimization based on selected voice assistant service
US11100923B2 (en) 2018-09-28 2021-08-24 Sonos, Inc. Systems and methods for selective wake word detection using neural network models
US10692518B2 (en) 2018-09-29 2020-06-23 Sonos, Inc. Linear filtering for noise-suppressed speech detection via multiple network microphone devices
US11899519B2 (en) 2018-10-23 2024-02-13 Sonos, Inc. Multiple stage network microphone device with reduced power consumption and processing load
EP3654249A1 (en) 2018-11-15 2020-05-20 Snips Dilated convolutions and gating for efficient keyword spotting
US11183183B2 (en) 2018-12-07 2021-11-23 Sonos, Inc. Systems and methods of operating media playback systems having multiple voice assistant services
US11132989B2 (en) 2018-12-13 2021-09-28 Sonos, Inc. Networked microphone devices, systems, and methods of localized arbitration
US10602268B1 (en) 2018-12-20 2020-03-24 Sonos, Inc. Optimization of network microphone devices using noise classification
US10867604B2 (en) 2019-02-08 2020-12-15 Sonos, Inc. Devices, systems, and methods for distributed voice processing
US11315556B2 (en) 2019-02-08 2022-04-26 Sonos, Inc. Devices, systems, and methods for distributed voice processing by transmitting sound data associated with a wake word to an appropriate device for identification
US11120794B2 (en) 2019-05-03 2021-09-14 Sonos, Inc. Voice assistant persistence across multiple network microphone devices
US10586540B1 (en) 2019-06-12 2020-03-10 Sonos, Inc. Network microphone device with command keyword conditioning
US11200894B2 (en) 2019-06-12 2021-12-14 Sonos, Inc. Network microphone device with command keyword eventing
US11361756B2 (en) 2019-06-12 2022-06-14 Sonos, Inc. Conditional wake word eventing based on environment
US11968268B2 (en) 2019-07-30 2024-04-23 Dolby Laboratories Licensing Corporation Coordination of audio devices
US11138975B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US11138969B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US10871943B1 (en) 2019-07-31 2020-12-22 Sonos, Inc. Noise classification for event detection
CN114424283A (zh) * 2019-09-27 2022-04-29 日本电气株式会社 音频信号处理设备、音频信号处理方法和存储介质
US11189286B2 (en) 2019-10-22 2021-11-30 Sonos, Inc. VAS toggle based on device orientation
US11200900B2 (en) 2019-12-20 2021-12-14 Sonos, Inc. Offline voice control
US11562740B2 (en) 2020-01-07 2023-01-24 Sonos, Inc. Voice verification for media playback
US11556307B2 (en) 2020-01-31 2023-01-17 Sonos, Inc. Local voice data processing
US11308958B2 (en) 2020-02-07 2022-04-19 Sonos, Inc. Localized wakeword verification
US11482224B2 (en) 2020-05-20 2022-10-25 Sonos, Inc. Command keywords with input detection windowing
US11308962B2 (en) 2020-05-20 2022-04-19 Sonos, Inc. Input detection windowing
US11698771B2 (en) 2020-08-25 2023-07-11 Sonos, Inc. Vocal guidance engines for playback devices
US11984123B2 (en) 2020-11-12 2024-05-14 Sonos, Inc. Network device interaction by range
US11551700B2 (en) 2021-01-25 2023-01-10 Sonos, Inc. Systems and methods for power-efficient keyword detection

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050078172A1 (en) * 2003-10-09 2005-04-14 Michael Harville Method and system for coordinating communication devices to create an enhanced representation of an ongoing event
CN101091412A (zh) * 2004-09-07 2007-12-19 森塞尔有限公司 用于声音增强的装置和方法
CN100525101C (zh) * 2005-01-14 2009-08-05 三星电子株式会社 使用波束形成算法来记录信号的方法和设备
WO2009117471A1 (en) * 2008-03-18 2009-09-24 Qualcomm Incorporated Speech enhancement using multiple microphones on multiple devices

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3541339B2 (ja) 1997-06-26 2004-07-07 富士通株式会社 マイクロホンアレイ装置
US6975991B2 (en) * 2001-01-31 2005-12-13 International Business Machines Corporation Wearable display system with indicators of speakers
US20070035612A1 (en) * 2005-08-09 2007-02-15 Korneluk Jose E Method and apparatus to capture and compile information perceivable by multiple handsets regarding a single event
WO2007017810A2 (en) 2005-08-11 2007-02-15 Koninklijke Philips Electronics N.V. A headset, a communication device, a communication system, and a method of operating a headset
US20070137462A1 (en) * 2005-12-16 2007-06-21 Motorola, Inc. Wireless communications device with audio-visual effect generator
US20090118849A1 (en) * 2007-11-02 2009-05-07 Shimon Dery Automated vending-type studio recording facility
JP2009141560A (ja) * 2007-12-05 2009-06-25 Sony Corp 音声信号処理装置、音声信号処理方法
US8457328B2 (en) * 2008-04-22 2013-06-04 Nokia Corporation Method, apparatus and computer program product for utilizing spatial information for audio signal enhancement in a distributed network environment
US20090296966A1 (en) 2008-05-28 2009-12-03 Yat Yiu Cheung Hearing Kit
CN107071688B (zh) * 2009-06-23 2019-08-23 诺基亚技术有限公司 用于处理音频信号的方法及装置
CA2781702C (en) * 2009-11-30 2017-03-28 Nokia Corporation An apparatus for processing audio and speech signals in an audio device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050078172A1 (en) * 2003-10-09 2005-04-14 Michael Harville Method and system for coordinating communication devices to create an enhanced representation of an ongoing event
CN101091412A (zh) * 2004-09-07 2007-12-19 森塞尔有限公司 用于声音增强的装置和方法
CN100525101C (zh) * 2005-01-14 2009-08-05 三星电子株式会社 使用波束形成算法来记录信号的方法和设备
WO2009117471A1 (en) * 2008-03-18 2009-09-24 Qualcomm Incorporated Speech enhancement using multiple microphones on multiple devices

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103811013B (zh) * 2012-11-07 2017-05-03 中国移动通信集团公司 噪声抑制方法、装置、电子设备和通信处理方法
CN103811013A (zh) * 2012-11-07 2014-05-21 中国移动通信集团公司 噪声抑制方法、装置、电子设备和通信处理方法
US10250927B2 (en) 2014-01-31 2019-04-02 Interdigital Ce Patent Holdings Method and apparatus for synchronizing playbacks at two electronic devices
CN105940679A (zh) * 2014-01-31 2016-09-14 汤姆逊许可公司 用于同步两个电子设备处的回放的方法和装置
CN106063283A (zh) * 2014-01-31 2016-10-26 汤姆逊许可公司 用于同步两个电子设备处的回放的方法和装置
CN106063283B (zh) * 2014-01-31 2019-06-11 汤姆逊许可公司 用于同步两个电子设备处的回放的方法和装置
CN104581512A (zh) * 2014-11-21 2015-04-29 广东欧珀移动通信有限公司 一种立体声录制方法及装置
CN104796815A (zh) * 2015-02-12 2015-07-22 络达科技股份有限公司 分散式系统的音效增益方法
CN104869502A (zh) * 2015-03-19 2015-08-26 络达科技股份有限公司 音效增益方法
CN105654960A (zh) * 2015-09-21 2016-06-08 宇龙计算机通信科技(深圳)有限公司 一种对终端声音消噪的处理方法及装置
CN109936798A (zh) * 2017-12-19 2019-06-25 展讯通信（上海）有限公司 基于分布式mic阵列实现拾音的方法、装置及服务器
CN108111952A (zh) * 2017-12-26 2018-06-01 上海展扬通信技术有限公司 一种录音方法、装置、终端及计算机可读存储介质
CN108111952B (zh) * 2017-12-26 2020-07-31 上海展扬通信技术有限公司 一种录音方法、装置、终端及计算机可读存储介质
CN112735462A (zh) * 2020-12-30 2021-04-30 科大讯飞股份有限公司 分布式麦克风阵列的降噪方法和语音交互方法
CN112735462B (zh) * 2020-12-30 2024-05-31 科大讯飞股份有限公司 分布式麦克风阵列的降噪方法和语音交互方法

Also Published As

Publication number Publication date
US8831761B2 (en) 2014-09-09
CN102355748B (zh) 2016-08-03
US20110301730A1 (en) 2011-12-08
JP2011254464A (ja) 2011-12-15

Similar Documents

Publication Publication Date Title
CN102355748A (zh) 用于确定经处理的音频信号的方法及手持设备
CN106797519B (zh) 在自组织网络和对应系统中在用户之间提供听力辅助的方法
US11304013B2 (en) Assistive listening device systems, devices and methods for providing audio streams within sound fields
AU2007354781B2 (en) A system and a method for establishing a conversation group among a number of hearing aids
US20150358768A1 (en) Intelligent device connection for wireless media in an ad hoc acoustic network
US20110255702A1 (en) Signal dereverberation using environment information
WO2004093488A2 (en) Directional speakers
US20140003619A1 (en) Audio Processing Device
Kim et al. A review of assistive listening device and digital wireless technology for hearing instruments
JP6193844B2 (ja) 選択可能な知覚空間的な音源の位置決めを備える聴覚装置
US20150358767A1 (en) Intelligent device connection for wireless media in an ad hoc acoustic network
US20230114196A1 (en) Hearing protector systems
EP3198721B1 (en) Mobile cluster-based audio adjusting method and apparatus
US20160142834A1 (en) Electronic communication system that mimics natural range and orientation dependence
US10687157B2 (en) Head direction hearing assist switching
WO2007017810A2 (en) A headset, a communication device, a communication system, and a method of operating a headset
US20070165866A1 (en) Method and apparatus to facilitate conveying audio content
US20070036281A1 (en) Audio and data communications system
JP3217231U (ja) 多機能スマートヘッドフォン装置の設定システム
US20230099728A1 (en) System for locating an electronic accessory device
EP3416403B1 (en) Smart headphone device personalization system with directional conversation function and method for using same
US10083600B1 (en) Mobile computing device wireless data transmission
EP2339765A1 (en) Flush mounted bluetooth audio interface and method for connecting the same to a mobile device provided with a bluetooth peripheral device
CN111986715A (zh) 一种录音系统及录音方法
CN109218875B (zh) 具定向交谈功能的智能型耳机装置个人化系统及使用方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant