CN111261184B - 声源分离装置和声源分离方法 - Google Patents

声源分离装置和声源分离方法 Download PDF

Info

Publication number
CN111261184B
CN111261184B CN201910474590.4A CN201910474590A CN111261184B CN 111261184 B CN111261184 B CN 111261184B CN 201910474590 A CN201910474590 A CN 201910474590A CN 111261184 B CN111261184 B CN 111261184B
Authority
CN
China
Prior art keywords
sound source
directional
sound
vibrator
directional vibrator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910474590.4A
Other languages
English (en)
Other versions
CN111261184A (zh
Inventor
姜诚赞
金载兴
尹容燮
李忠镐
洪赫基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN111261184A publication Critical patent/CN111261184A/zh
Application granted granted Critical
Publication of CN111261184B publication Critical patent/CN111261184B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G10L21/028—Voice signal separating using properties of sound source
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/90—Pitch determination of speech signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R17/00—Piezoelectric transducers; Electrostrictive transducers
    • H04R17/02—Microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/401—2D or 3D arrays of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/13—Acoustic transducers and sound field adaptation in vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Otolaryngology (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Abstract

提供了一种声源分离装置和声源分离方法。声源分离装置包括多个定向振动器，其被配置为使得所述多个定向振动器中的一个或多个定向振动器基于声音的方向对声音作出反应。声源分离装置被配置为基于所述多个定向振动器的输出信号的强度来确定彼此不同的第一声源和第二声源的方向，并从所述多个定向振动器中选择彼此不同的第一定向振动器和第二定向振动器，以分别获得来自第一声源的声音和来自第二声源的声音。

Description

声源分离装置和声源分离方法
相关申请的相交引用
本申请基于并且要求于2018年12月3日在韩国知识产权局提交的韩国专利申请No.10-2018-0153726的优先权，该申请的公开内容通过全文引用的方式并入本文中。
技术领域
所公开的实施例涉及声源分离装置和声源分离方法，更具体地，涉及其中可以通过使用多个定向振动器来分离来自两个声源的声音的声源分离装置和声源分离方法。
背景技术
近来，使用安装在家用电器、图像显示装置、虚拟现实装置、增强现实装置、人工智能扬声器等中的传感器的声音方向检测和语音识别在增加。特别地，使用声学传感器分别识别来自位于两个不同方向上的声源的声音也在增加。
相关技术的声源分离方法包括例如独立分量分析(ICA)、几何源分离(GSS)等。ICA或GSS涉及通过时频域转换分析被输入到多个麦克风的信号并提取声源的特性以供分离来估计位置。最近，还开发了在使用深度神经网络技术训练多个声源之后基于学习结果来分离声源的方法。
发明内容
根据本公开的一个方面，提供了一种声源分离装置，包括：声音入口，被配置为接收声音；声音出口，被配置为输出通过所述声音入口接收的所述声音；多个定向振动器，被布置在所述声音入口和所述声音出口之间的平面上，所述平面垂直于所述声音入口的中心轴线，并且所述多个定向振动器以使得所述多个定向振动器中的一个或多个定向振动器被配置为基于通过所述声音入口接收的所述声音的方向选择性地作出反应的方式围绕所述平面上与所述声音入口的所述中心轴线相对应的中心点来布置；以及控制电路，被配置为：基于所述多个定向振动器的输出信号的强度，确定第一声源的第一方向和与所述第一声源不同的第二声源的第二方向，并且从所述多个定向振动器中选择第一定向振动器和第二定向振动器，以分别获得来自所述第一声源的第一声音以及来自所述第二声源的第二声音，其中，所述第一定向振动器与所述第二定向振动器不同。
所述控制电路还可以被配置为基于所述第一定向振动器的第一输出信号获得与来自所述第一声源的所述第一声音有关的第一信息，并基于所述第二定向振动器的第二输出信号获得与来自所述第二声源的所述第二声音有关的第二信息。
所述控制电路可以被配置为从所述多个定向振动器中选择对所述第一声源的所述第一方向具有最高灵敏度的定向振动器作为所述第一定向振动器，并从所述多个定向振动器中选择对所述第二声源的所述第二方向具有最高灵敏度的定向振动器作为所述第二定向振动器。
所述控制电路还可以被配置为从所述多个定向振动器中选择被布置在所述第一声源的所述第一方向上的定向振动器作为所述第一定向振动器，并从所述多个定向振动器中选择被布置在所述第二声源的所述第二方向上的定向振动器作为所述第二定向振动器。
所述控制电路还可以被配置为通过基于所述第二声源的所述第二声音对所述第一定向振动器的第一输出信号的第一贡献比率和所述第一声源的所述第一声音对所述第二定向振动器的第二输出信号的第二贡献比率计算所述第一输出信号和所述第二输出信号来获得与来自所述第一声源的所述第一声音有关的所述第一信息和与来自所述第二声源的所述第二声音有关的所述第二信息。
在所述第一定向振动器的所述第一输出信号是C1，所述第二定向振动器的所述第二输出信号是C2，所述第一声源的第一声音信号是S1，所述第二声源的第二声音信号是S2，所述第二声源的所述第二声音对所述第一定向振动器的所述第一输出信号的所述第一贡献比率是α，并且所述第一声源的所述第一声音对所述第二定向振动器的所述第二输出信号的所述第二贡献比率是β的情况下，则C1＝S1+αS2且C2＝S2+βS1，并且S1＝(C1-αC2)/(1-αβ)且S2＝(C2-βC1)/(1-αβ)。
所述第二声源的所述第二声音对所述第一定向振动器的所述第一输出信号的所述第一贡献比率可以由所述第一定向振动器和所述第二声源之间的第一角度来确定，并且所述第一声源的所述第一声音对所述第二定向振动器的所述第二输出信号的所述第二贡献比率可以由所述第二定向振动器和所述第一声源之间的第二角度来确定。
所述声源分离装置可以包括：存储器，被配置为存储每个定向振动器针对入射到每个定向振动器的声音的方向的灵敏度信息。
所述控制电路还可以被配置为从被布置在围绕所述第一声源的所述第一方向的第一角度范围中的多个定向振动器中选择对所述第二声源的所述第二方向具有最低灵敏度的定向振动器作为所述第一定向振动器，并且从被布置在围绕所述第二声源的所述第二方向的第二角度范围中的多个定向振动器中选择对所述第一声源的所述第一方向具有最低灵敏度的定向振动器作为所述第二定向振动器。
所述控制电路还可以被配置为在来自所述第一声源的所述第一声音减小的第一时间期间确定所述第二声源的所述第二方向，并且在来自所述第二声源的所述第二声音减小的第二时间期间确定所述第一声源的所述第一方向。
所述控制电路还可以被配置为在被布置在180度范围内的多个定向振动器的输出信号的强度具有两个或更多个峰值的情况下确定存在两个或更多个声源，并且在被布置在180度范围内的所述多个定向振动器的输出信号的强度具有一个峰值的时间期间确定声源的方向。
所述控制电路还可以被配置为将所述多个定向振动器当中具有最高输出信号强度的定向振动器的布置方向确定为所述第一声源的所述第一方向或所述第二声源的所述第二方向。
所述控制电路还可以被配置为将与所述多个定向振动器当中具有最低输出信号强度的定向振动器的布置方向垂直的方向确定为所述第一声源的所述第一方向或所述第二声源的所述第二方向。
所述控制电路还可以被配置为将被布置在相对于具有最低输出信号强度的定向振动器成+90°处的定向振动器的振动强度与被布置在相对于具有所述最低输出信号强度的所述定向振动器成-90°处的定向振动器的振动强度进行比较，并将被布置在+90°处的所述定向振动器和被布置在-90°处的所述定向振动器当中具有较高输出信号强度的定向振动器的布置方向确定为所述第一声源的所述第一方向或所述第二声源的所述第二方向。
所述声源分离装置还可以包括全向振动器，所述全向振动器被配置为无论输入声音的方向如何都对所述输入声音作出反应。
所述控制电路还可以被配置为将被布置在相对于具有最低输出信号强度的定向振动器成+90°处的定向振动器的相位与所述全向振动器的相位进行比较，将被布置在相对于具有所述最低输出信号强度的所述定向振动器成-90°处的定向振动器的相位与所述全向振动器的相位进行比较，并将被布置在+90°处的所述定向振动器和被布置在-90°处的所述定向振动器当中具有与所述全向振动器的相位最接近的相位的定向振动器的布置方向确定为所述第一声源或所述第二声源的方向。
所述多个定向振动器和所述全向振动器可以被布置在相同平面上，并且所述多个定向振动器可以被布置成围绕所述全向振动器。
所述多个定向振动器可以被布置成相对于所述中心点具有对称性。
所述声音出口可以被设置为面向所有的所述多个定向振动器。
所述声音出口可以包括分别面向所述多个定向振动器的多个声音出口。
所述多个定向振动器可以具有相同的谐振频率。
所述多个定向振动器可以包括具有不同谐振频率的多个定向振动器。
根据本公开的另一方面，提供了一种声源分离方法，包括：通过声源分离装置的声音入口接收声音；通过声音出口输出通过所述声音入口接收的所述声音；基于多个定向振动器的输出信号的强度来确定第一声源的第一方向和与所述第一声源不同的第二声源的第二方向，所述多个定向振动器被布置在所述声音入口和所述声音出口之间的平面上，所述平面垂直于所述声音入口的中心轴线，并且所述多个定向振动器以使得所述多个定向振动器中的一个或多个定向振动器被配置为基于通过所述声音入口接收的所述声音的方向选择性地作出反应的方式围绕所述平面上与所述声音入口的所述中心轴线相对应的中心点来布置；从所述多个定向振动器中选择第一定向振动器和第二定向振动器，以分别获得来自所述第一声源的第一声音以及来自所述第二声源的第二声音；并且通过使用所述第一定向振动器和所述第二定向振动器来获得声音信息，其中，所述第一定向振动器与所述第二定向振动器不同。
确定所述第一声源的所述第一方向和所述第二声源的所述第二方向可以包括：在来自所述第一声源的所述第一声音减小的第一时间期间确定所述第二声源的所述第二方向；并且在来自所述第二声源的所述第二声音减小的第二时间期间确定所述第一声源的所述第一方向。
确定所述第一声源的所述第一方向和所述第二声源的所述第二方向可以包括：在被布置在180度范围内的多个定向振动器的输出信号的强度具有两个或更多个峰值的情况下，确定存在两个或更多个声源；并且在被布置在180度范围内的所述多个定向振动器的输出信号的强度具有一个峰值的时间期间确定声源的方向。
确定所述第一声源的所述第一方向和所述第二声源的所述第二方向可以包括：将所述多个定向振动器当中具有最高输出信号强度的定向振动器的布置方向确定为所述第一声源的所述第一方向或所述第二声源的所述第二方向。
确定所述第一声源的所述第一方向和所述第二声源的所述第二方向可以包括：将与所述多个定向振动器当中具有最低输出信号强度的定向振动器的布置方向垂直的方向确定为所述第一声源的所述第一方向或所述第二声源的所述第二方向。
确定所述第一声源的所述第一方向和所述第二声源的所述第二方向可以包括：将被布置在相对于具有最低输出信号强度的定向振动器成+90°处的定向振动器的振动强度与被布置在相对于具有所述最低输出信号强度的所述定向振动器成-90°处的定向振动器的振动强度进行比较；并且将被布置在+90°处的所述定向振动器和被布置在-90°处的所述定向振动器当中具有较高输出信号强度的定向振动器的布置方向确定为所述第一声源或所述第二声源的方向。
所述声源分离方法还可以包括：通过使用全向振动器接收输入声音，其中无论所述输入声音的方向如何所述全向振动器都对所述声音作出反应。
确定所述第一声源的所述第一方向和所述第二声源的所述第二方向可以包括：将被布置在相对于具有最低输出信号强度的定向振动器成+90°处的定向振动器的相位与所述全向振动器的相位进行比较；将被布置在相对于具有所述最低输出信号强度的所述定向振动器成-90°处的定向振动器的相位与所述全向振动器的相位进行比较；并且将被布置在+90°处的所述定向振动器和被布置在-90°处的所述定向振动器当中具有与所述全向振动器的相位最接近的相位的定向振动器的布置方向确定为所述第一声源的所述第一方向或所述第二声源的所述第二方向。
通过使用所述第一定向振动器和所述第二定向振动器获得声音信息可以包括：基于所述第一定向振动器的第一输出信号获得与来自所述第一声源的所述第一声音有关的第一信息；并且基于所述第二定向振动器的第二输出信号获得与来自所述第二声源的所述第二声音有关的第二信息。
选择所述第一定向振动器和所述第二定向振动器可以包括：在所述多个定向振动器中，选择对所述第一声源的所述第一方向具有最高灵敏度的定向振动器作为所述第一定向振动器；并且在所述多个定向振动器中，选择对所述第二声源的所述第二方向具有最高灵敏度的定向振动器作为所述第二定向振动器。
选择所述第一定向振动器和所述第二定向振动器可以包括：在所述多个定向振动器中，选择被布置在所述第一声源的方向上的定向振动器作为所述第一定向振动器；并且在所述多个定向振动器中，选择被布置在所述第二声源的方向上的定向振动器作为所述第二定向振动器。
通过使用所述第一定向振动器和所述第二定向振动器获得声音信息可以包括：确定所述第二声源的所述第二声音对所述第一定向振动器的所述第一输出信号的第一贡献比率和所述第一声源的所述第一声音对所述第二定向振动器的所述第二输出信号的第二贡献比率；并且通过基于所述第二声源的所述第二声音对所述第一定向振动器的所述第一输出信号的所述第一贡献比率和所述第一声源的所述第一声音对所述第二定向振动器的所述第二输出信号的所述第二贡献比率计算所述第一输出信号和所述第二输出信号来获得与来自所述第一声源的所述第一声音有关的所述第一信息和与来自所述第二声源的所述声音有关的所述第二信息。
在所述第一定向振动器的所述第一输出信号是C1，所述第二定向振动器的所述第二输出信号是C2，所述第一声源的第一声音信号是S1，所述第二声源的第二声音信号是S2，所述第二声源的所述第二声音对所述第一定向振动器的所述第一输出信号的所述第一贡献比率是α，并且所述第一声源的所述第一声音对所述第二定向振动器的所述第二输出信号的所述第二贡献比率是β的情况下，则C1＝S1+αS2且C2＝S2+βS1，并且S1＝(C1-αC2)/(1-αβ)且S2＝(C2-βC1)/(1-αβ)。
所述第二声源的所述第二声音对所述第一定向振动器的所述第一输出信号的所述第一贡献比率可以由所述第一定向振动器和所述第二声源之间的第一角度来确定，并且所述第一声源的所述第一声音对所述第二定向振动器的所述第二输出信号的所述第二贡献比率由所述第二定向振动器和所述第一声源之间的第二角度来确定。
选择所述第一定向振动器和所述第二定向振动器可以包括：从被布置在围绕所述第一声源的所述第一方向的第一角度范围中的多个定向振动器中选择对所述第二声源的所述第二方向具有最低灵敏度的定向振动器作为所述第一定向振动器；并且从被布置在围绕所述第二声源的所述第二方向的第二角度范围中的多个定向振动器中选择对所述第一声源的所述第一方向具有最低灵敏度的定向振动器作为所述第二定向振动器。
根据本公开的另一方面，提供了一种声源分离装置，包括：具有第一开口以及一个或多个第二开口的壳体，所述第一开口被配置为接收声音，并且所述一个或多个第二开口被配置为输出通过所述第一开口接收的所述声音；支撑构件，被设置在所述壳体的内表面上并且在中心部分具有孔；多个定向振动器，被布置在所述支撑构件上以围绕所述支撑构件的所述孔中与所述第一开口的中心轴线相对应的中心点，所述多个定向振动器以使得所述多个定向振动器中的一个或多个定向振动器被配置为基于通过所述第一开口接收的所述声音的方向选择性地作出反应的方式来布置。
所述多个定向振动器中的每个定向振动器可以包括：可移动部分，被配置为基于所述声音移动，以及感测部分，被配置为检测所述可移动部分的移动。
所述多个定向振动器中的每个定向振动器还可以包括根据谐振频率形成在所述可移动部分上的质量体。
根据本公开的另一方面，提供了一种声源分离装置，包括：存储器，被配置为存储一个或多个指令；以及处理器，被配置为执行所述一个或多个指令以进行下列操作：基于从多个定向振动器接收的输出信号的强度来确定第一声源的第一方向和与所述第一声源不同的第二声源的第二方向，所述多个定向振动器被布置在所述声源分离装置的声音入口和声音出口之间的平面上，所述平面垂直于所述声音入口的中心轴线，并且所述多个定向振动器以使得所述多个定向振动器中的一个或多个定向振动器被配置为基于通过所述声音入口接收的所述声音的方向选择性地作出反应的方式围绕所述平面上与所述声音入口的所述中心轴线相对应的中心点来布置；从所述多个定向振动器中选择第一定向振动器和第二定向振动器，以分别获得来自所述第一声源的第一声音以及来自所述第二声源的第二声音；并且通过使用所述第一定向振动器和所述第二定向振动器来获得声音信息，其中，所述第一定向振动器与所述第二定向振动器不同。
附图说明
根据下面结合附图对本公开的实施例的描述，这些和/或其他方面将变得明确并且更容易理解，在附图中：
图1是示出了根据本公开的实施例的声源分离装置的示意结构的平面图；
图2是沿图1中所示的声源分离装置的线A-A’截取的截面图；
图3A是详细示出了图1中所示的声源分离装置中包括的多个定向振动器中的一个定向振动器的结构的截面图；
图3B是详细示出了图1中所示的声源分离装置中包括的多个定向振动器中的一个定向振动器的结构的平面图；
图4是示出了根据本公开的另一实施例的声源分离装置的示意结构的平面图；
图5是沿图4中所示的声源分离装置的线A-A’截取的截面图；
图6是用于描述多个定向振动器的操作原理和定向增益特性的多个定向振动器中的一些定向振动器的平面图；
图7是示出了多个定向振动器中的一个定向振动器的定向特性的示例的图；
图8是示出了在声音是从一个方向输入的情况下声源分离装置中包括的所有定向振动器的输出的图；
图9是示出了在声音是从两个不同方向输入的情况下声源分离装置中包括的所有定向振动器的输出的图；
图10示出了从两个不同声源输出的声音的波形；
图11A至图11D示出了在各种情形下选择定向振动器用于声音分离的示例；
图12是示出了针对所选择的定向振动器的组合的语音识别测试结果的图；
图13是示出了根据本公开的另一实施例的声源分离装置的示意结构的平面图；
图14是沿图13中所示的声源分离装置的线A-A’截取的截面图；
图15是示出了在声音是从一个方向输入的情况下一个全向振动器和面向彼此的两个定向振动器的振动相位的示例的图；
图16是示出了根据本公开的实施例的物联网(IOT)装置的示意结构的框图；
图17是用于描述日常生活中图16的IoT装置的操作的示例的示意图；
图18是示出了根据本公开的实施例的车辆语音接口装置的示意结构的框图；
图19示出了在根据本公开的实施例的车辆语音接口装置被应用于车辆的情况下的操作；
图20是示出了根据本公开的实施例的空间记录装置的示意结构的框图；以及
图21是根据本公开的实施例的全向相机的框图。
具体实施方式
现在将详细参考本公开的实施例，其示例在附图中示出，其中贯穿附图，类似的附图标记指代类似的元件。在这点上，本公开的实施例可以具有不同形式，并且不应当被解释为受限于本文所阐明的描述。因此，下面仅通过参考附图描述本公开的实施例，以解释各个方面。将理解：当层被称为在另一层或基板“上”时，其可以直接在该另一层或基板上，或者还可以存在中间层。诸如“......中的至少一个”之类的表述在元件列表之后时修饰整个元件列表，而不是修饰列表中的单独元件。
图1是示出了根据本公开的实施例的声源分离装置的示意结构的平面图。图2是沿图1中所示的声源分离装置的线A-A’截取的截面图。参照图1和图2，根据本公开的实施例的声源分离装置100可以包括接收输入声音的声音入口134、输出通过声音入口134接收的输入声音的声音出口135以及被布置在声音入口134和声音出口135之间的多个定向振动器110_k。本文中，假设定向振动器110_k的数量是N，k是从1到N的整数。
根据实施例，可以基于定向振动器110_k的数量N来确定声源分离装置100的物理角分辨率。例如，声源分离装置100的物理角分辨率可以表示为360°/N。声源分离装置100可以通过比较多个定向振动器110_k的输出信号的强度来检测声音的输入方向，并且当使用更大数量的要比较输出信号的强度的定向振动器110_k时可以实现更高的角分辨率。
多个定向振动器110_k以这样的方式布置：至少一个定向振动器110_k基于通过声音入口134输入的声音的方向而选择性地作出反应。多个定向振动器110_k可以布置成围绕声音入口134。多个定向振动器110_k可以布置在彼此不重叠的平面上，并且所有的多个定向振动器110_k可以通过声音入口134暴露出来。如图1所示，多个定向振动器110_k可以布置在同一平面上。另外，多个定向振动器110_k可以布置成围绕与声音入口134的中心轴线垂直的平面上的中心点C。多个定向振动器110_k在图1中以圆形形状围绕中心点C，但是以上描述仅是示例。多个定向振动器110_k不限于上述布置，并且还可以布置成相对于中心点C具有对称性的各种形状。例如，多个定向振动器110_k可以布置成多边形或椭圆形形状。根据实施例，多个定向振动器110_k可以根据待检测的声音的频率特性布置在不同平面上以提供不同的配置。
声音出口135的数量可以等于定向振动器110_k的数量，并且可以分别面向多个定向振动器110_k。声音入口134和声音出口135不限于任何特定尺寸或形状，并且还可以具有能够均等地暴露出多个定向振动器110_k的任意尺寸和形状。
根据实施例，具有与声音入口134和声音出口135的形状对应的开口的壳体130可以用作声音入口134和声音出口135。壳体130可以由能够阻挡声音的各种材料制成。例如，壳体130可以由诸如铝之类的材料制成。设置在壳体130中的声音入口134和声音出口135不限于图1中所示的形状。
根据实施例，被配置为支撑多个定向振动器110_k的支撑件120可以设置在壳体130内部。而且，支撑件120可以提供对声音作出反应而振动的多个定向振动器110_k可以位于其中的空间。根据实施例，可以通过在基板中形成孔来设置支撑件120。如图1所示，孔可以是基板中的通孔TH。多个定向振动器110_k可以在其端部由支撑件120支撑，并且定位成面向通孔TH。通孔TH提供了定向振动器110_k由于外力而振动的空间，并且不限于任何特定形状或尺寸，只要通孔TH提供这样的空间即可。支撑件120可以由各种材料制成，例如硅基板。
声源分离装置100还可以包括控制电路140，其通过比较多个定向振动器110_k的输出信号的强度在方位角方向上检测位于不同位置的两个或更多个声源的方向，并基于检测到的声源方向来选择要获得声音信息的定向振动器110_k。声源分离装置100还可以包括存储器141，其存储诸如每个定向振动器110_k的与声音入射方向对应的灵敏度之类的数据。
图3A是图1的声源分离装置100中包括的多个定向振动器110_k中的一个定向振动器的截面图，图3B是图1的声源分离装置100中包括的多个定向振动器110_k中的一个定向振动器的平面图。参照图3A和图3B，定向振动器110_k可以包括被固定到支撑件120的固定部分10、响应于声音信号而可移动的可移动部分30以及被配置为检测可移动部分30的移动的感测部分20。定向振动器110_k还可以包括质量体40，其被配置为向可移动部分30提供一定质量m。
可移动部分30可以由例如弹性膜制成。弹性膜可以具有长度L和宽度W，并且确定定向振动器110_k的谐振特性以及质量体40的质量m。弹性膜可以由诸如硅、金属或聚合物之类的材料制成。根据实施例，可以使用质量体40的不同重量和/或通过改变定向振动器110_k的长度来改变定向振动器110_k的谐振频率。
感测部分20可以包括被配置为检测可移动部分30的移动的传感器层。感测部分20可以包括例如压电元件。在这种情况下，感测部分20可以具有其中电极层、压电材料层和另一电极层彼此堆叠的结构。压电材料可以包括例如氧化锌(ZnO)、氧化锡(SnO)、锆钛酸铅(PZT)、锡酸锌(ZnSnO3)、聚偏二氟乙烯(PVDF)、聚(偏二氟乙烯-三氟乙烯)P(VDF-TrFE)、氮化铝(AlN)或铌酸铅镁-钛酸铅(PMN-PT)。电极层可以由金属材料或各种其他导电材料制成。
可以考虑定向振动器110_k所需的谐振频率来确定定向振动器110_k的宽度、厚度等的值。例如，每个定向振动器110_k可以具有在约几μm到几百μm之间的宽度、等于或小于几μm的厚度、以及等于或小于约几mm的长度，但是不限于此。可以使用微机电系统(MEMS)工艺来生产微小尺寸的定向振动器110_k。
定向振动器110_k响应于外部声音信号在Z方向上竖直振动，并且具有与位移z成比例的输出。位移z满足以下运动方程。
Figure BDA0002080453630000131
在上面的方程中，c表示阻尼系数，k表示弹性系数。F0cosωt表示驱动力并且指示对被输入到定向振动器110_k的声音信号的反应。基于可移动部分30的物理属性和形状来确定k的值。
定向振动器110_k示出了针对作为中心频率的谐振频率f0的特定带宽的频率响应特性。中心频率f0定义如下。
Figure BDA0002080453630000132
这样，声源分离装置100中包括的定向振动器110_k可以检测针对设计的中心频率具有特定频带的声音。因此，当设计中心频率时，可以选择在给定环境中具有高可用性的频带，并且可以根据所选择的频带来实现定向振动器110_k。
在根据本公开的实施例的声源分离装置100中，位于不同位置的定向振动器110_k可以被设置到相同的长度以具有相同的谐振频率。然而，多个定向振动器110_k不限于此，并且可以被修改为具有不同的谐振频率。
图4是根据本公开的另一实施例的声源分离装置的平面图。图5是沿图4的声源分离装置的线A-A’截取的截面图。参照图4和图5，声源分离装置101可以包括接收输入声音的声音入口134、输出通过声音入口134输入的声音的声音出口137以及被布置在声音入口134和声音出口137之间的多个定向振动器110_k。本文中，假设定向振动器110_k的数量是N，k是从1到N的整数。
除了声音出口137的形状之外，图4和图5的声源分离装置101的元件与图1和图2的声源分离装置100的元件相同。例如，并非以与定向振动器110_k的数量对应的数量设置声音出口137，而是多个定向振动器110_k共享单个声音出口137。换言之，单个声音出口137可以面对所有的多个定向振动器110_k。图4和图5中示出的声音出口137的尺寸是示例，并且可以小于图示的尺寸。
具有与声音入口134和声音出口137的形状对应的开口的壳体131可以用于声音入口134和声音出口137。可以不指定声音出口137的尺寸。例如，相对于多个定向振动器110_k与声音入口134相对的整个空间可以是开放的。该开放空间可以用作声音出口137。
根据本公开的前述实施例，在声源分离装置100和101中，被放置在定向声音的输入路径上的多个定向振动器110_k中的一个或多个定向振动器响应于声音而振动。例如，如图2所示，当沿路径①输入声音时，位于该路径上的第一定向振动器110_1和与之相邻的一个或多个定向振动器可以振动。否则，当沿路径②输入声音时，被放置在该路径上的第九定向振动器110_9和与之相邻的一个或多个定向振动器可以振动。因此，可以基于输入声音的方向考虑多个定向振动器110_k的输出来检测声音的输入方向。
根据实施例，定向振动器的位移可以基于声音入口134的尺寸与声音出口135的尺寸之间的关系。例如，当声音出口135大于声音入口134时，定向振动器110_9的位移(即，与声音输入的方向成180°)可以大于定向振动器110_1响应于从0°方向输入的声音的位移。根据另一实施例，如果声音入口134的尺寸与声音出口135的尺寸相同，则响应于从0°方向(即，定向振动器110_1)和180°方向(即，定向振动器110_9)输入的声音而产生的输出可以是相同的。
图6是用于描述多个定向振动器110_k的操作原理和定向增益特性的多个定向振动器110_k中的一些定向振动器的平面图。参照图6，多个定向振动器A、B和C用作单元声学传感器，其具有与围绕声音入口134的圆的半径方向对应的方向角。每个单元声学传感器的定向增益曲线具有8字形。由于定向增益曲线，声源分离装置100或101具有如下输出：其中选择性地对从所有方向输入的信号作出反应的定向振动器110_k的输出被叠加。
根据布置定向振动器110_k的位置，每个定向振动器110_k具有作为主方向的优选角度。来自主方向的声音的贡献多于来自其他方向的声音的贡献。因此，可以通过仅比较多个定向振动器110_k的输出的幅度来估计来自所有任意方向的声音的输入方向。
图7是示出了多个定向振动器110_k中的一个定向振动器的定向特性的示例的图。在图7中，假设六十四个定向振动器110_k以圆形形状布置在单个平面上并且朝向与声音入口134的中心轴线垂直的平面上的中心点C对准。然而，定向振动器110_k的数量不限于64，并且实际上，可以使用64个或更多个定向振动器110_k。参照图7，位于180°方向上的定向振动器响应于从180°和0°方向输入的声音的输出最高，并且响应于从-90°和+90°方向输入的声音的输出最低，由此呈现8字形增益特性。特别地，响应于从180°方向输入的声音而产生的输出略高于响应于从0°方向输入的声音而产生的输出。
图8是示出了在声音是从一个方向输入的情况下声源分离装置100或101中包括的所有定向振动器110_k的输出的图。在图8中，假设布置了64个定向振动器110_k，从0°方向起沿顺时针方向布置第一定向振动器至第六十四定向振动器，并且声音在位于180°方向上的第三十三定向振动器的纵向方向上朝向第三十三定向振动器入射。参考图8，示出了峰值输出在第一定向振动器附近并且在位置与第一定向振动器相对的第三十三定向振动器附近。另外，示出了最低输出在位于与第一定向振动器成+90°的方向上的第十七定向振动器附近，并且在位于与第一定向振动器成-90°的方向上的第四十九定向振动器附近。特别是，输出在第三十三定向振动器附近最高。
因此，在多个定向振动器110_k当中，位于输入声音方向上的定向振动器具有最高输出，并且位于与输入声音方向成±90°的方向上的定向振动器具有最低输出。因此，声源分离装置100或101的控制电路140可以通过使用具有最高输出的定向振动器或具有最低输出的定向振动器来确定输入声音的方向，即声源的方向。
例如，控制电路140可以将多个定向振动器110_k当中具有最高输出信号强度的定向振动器的布置方向确定为声源的方向。备选地，控制电路140可以将与多个定向振动器110_k当中具有最低输出信号强度的定向振动器的布置方向垂直的方向确定为声源的方向。特别地，控制电路140可以将相对于具有最低输出信号强度的定向振动器被布置在+90°处的定向振动器的振动强度与相对于具有最低输出信号强度的定向振动器被布置在-90°处的定向振动器的输出信号的强度进行比较，并将具有较高输出信号强度的定向振动器的布置方向确定为声源的方向。
在声音同时从方位角方向上位于不同位置的两个声源入射的情况下，可以通过使用两个声源的输出随时间不同的点来获知两个声源的方向。例如，在第一声源的输出减小并且第二声源的输出增大的时间段期间，可以使用上述方法来确定第二声源的方向。在第一声源的输出增大并且第二声源的输出减小的时间段期间，可以使用上述方法来确定第一声源的方向。
例如，图9是示出了在声音是从两个不同方向输入的情况下声源分离装置100或101中包括的所有定向振动器110_k的输出的图。在图9中，假设布置了64个定向振动器110_k，并且从0°方向起沿顺时针方向布置第一定向振动器至第六十四定向振动器。还假设声音在位于180°方向上的第三十三定向振动器的纵向方向上从第一声源朝向第三十三定向振动器入射，同时另一声音在位于90°方向上的第十七定向振动器的纵向方向上从第二声源朝向第十七定向振动器入射。换言之，假设第一声源位于180°方向上，第二声源位于90°方向上。
参照图9，在示出定向振动器110_k针对第一声源的输出的曲线I中，示出了峰值输出分别在第一定向振动器附近和位置与第一定向振动器相对的第三十三定向振动器附近，并示出了最低输出分别在第十七定向振动器和第四十九定向振动器附近。在示出定向振动器110_k针对第二声源的输出的曲线II中，示出了峰值输出分别在第十七定向振动器附近和位置与第十七定向振动器相对的第四十九定向振动器附近，并示出了最低输出分别在第一定向振动器和第三十三定向振动器附近。
一旦从第一声源和第二声源同时输入具有相同强度的声音，则定向振动器110_k的输出如曲线III所示，该曲线III组合了曲线I和曲线II。结果，在180°的角度范围内形成多个峰值。因此，控制电路140可以分析定向振动器110_k的输出，并且在被布置在180°的角度范围内的多个定向振动器110_k的输出信号的强度具有两个或更多个峰值的情况下确定存在两个或更多个声源。备选地，在定向振动器110_k的输出中未找到明确的峰值和明确的最低点的情况下，控制电路140可以确定存在两个或更多个声源。
分别来自第一声源和第二声源的声音的强度可以相对于时间增大或减小。例如，图10示出了从两个不同声源输出的声音的波形。如图10所示，来自第一声源的声音和来自第二声源的声音随时间重复地增大或减小。还有来自第一声源的声音减小并且同时来自第二声源的声音增大的时刻或者来自第二声源的声音减小并且同时来自第一声源的声音增大的时刻。例如，在图10中，在时间T1期间，来自第一声源的声音弱并且来自第二声源的声音强。在时间T2期间，来自第二声源的声音弱并且来自第一声源的声音强。
控制电路140可以在时间T1期间确定第二声源的方向，并且在时间T2期间确定第一声源的方向。例如，控制电路140可以分析定向振动器110_k的输出，并且在被布置在180°的角度范围内的多个定向振动器110_k的输出信号的强度具有一个明确的峰值和一个明确的最低点的时间期间确定一个声源的方向。参照图9的曲线，在定向振动器110_k的输出从曲线III变为曲线I的时刻，控制电路140可以确定第一声源的方向。在定向振动器110_k的输出从曲线III变为曲线II的时刻，控制电路140可以确定第二声源的方向。
在控制电路140确定第一声源的方向和第二声源的方向之后，控制电路140可以从多个定向振动器110_k中选择用于获得与来自第一声源的声音有关的信息的定向振动器和用于获得与来自第二声源的声音有关的信息的定向振动器。具体地，控制电路140可以选择两个定向振动器以有效地分离和获得来自第一声源的声音和来自第二声源的声音。
如图7所示，定向振动器对在其纵向方向上到达的声音最敏感。随着定向振动器的纵向方向与声音方向之间的角度差增大，定向振动器的灵敏度逐渐降低，并且针对在与定向振动器的纵向方向垂直的方向上到达的声音，定向振动器的灵敏度变得最小。在图7的示例中，定向振动器的灵敏度没有大幅降低，直至相对于定向振动器的纵向方向成±30度，并且灵敏度在约±60度处降低至约-5dB。在约±90度处灵敏度降低到小于约-15dB。可以基于定向振动器的这种定向特性来选择定向振动器以使串扰最小化。
例如，图11A至图11D示出了在各种情形下选择定向振动器用于声音分离的示例。在图11A至图11D中，被标记为扇形的区域A和B指示所选择的定向振动器能够很好地获得声音的角度范围。
首先，图11A示出了一个声源被布置在0°方向上的情况。在这种情况下，可以从多个定向振动器110_k中简单地选择被布置在声源方向上的定向振动器，以获得声音信息。在图11A中，在径向方向上延伸的多条线指示多个定向振动器110_k，在该多个定向振动器110_k当中用虚线指示所选择的定向振动器。
图11B示出了第一声源和第二声源彼此分开约90度的情况。此外，在这种情况下，可以从多个定向振动器110_k中选择被布置在第一声源的方向上的第一定向振动器，以基于第一定向振动器的输出信号从第一声源获得声音信息。可以从多个定向振动器110_k中选择被布置在第二声源的方向上的第二定向振动器，以基于第二定向振动器的输出信号从第二声源获得声音信息。在这种情况下，因为来自第一声源的声音的方向垂直于第二定向振动器的纵向方向，所以来自第一声源的声音对第二定向振动器的影响很小。同样，因为来自第二声源的声音的方向垂直于第一定向振动器的纵向方向，所以来自第二声源的声音对第一定向振动器的影响很小。因此，当第一声源和第二声源彼此分开约90度或更大时，控制电路140可以从多个定向振动器110_k中选择对第一声源的方向具有最高灵敏度的定向振动器作为第一定向振动器，并从多个定向振动器110k中选择对第二声源的方向具有最高灵敏度的定向振动器作为第二定向振动器。
图11C示出了第一声源和第二声源彼此分开小于90度的情况。例如，在图11C中，第一声源和第二声源之间的角度可以是约60度。在图11C的示例中，与在图11B的示例中一样，从多个定向振动器110_k中选择被布置在第一声源的方向上的第一定向振动器，以获得第一声源的声音信息，并且选择被布置在第二声源的方向上的第二定向振动器，以获得第二声源的声音信息。换言之，从多个定向振动器110_k中选择对第一声源的方向具有最高灵敏度的定向振动器作为第一定向振动器，并且从多个定向振动器110k中选择对第二声源的方向具有最高灵敏度的定向振动器作为第二定向振动器。
然而，在即使当第一声源和第二声源之间的角度小于约90度时也选择具有最高灵敏度的定向振动器的情况下，干扰可能会增加，从而阻碍了充分的声源分离。例如，由所选择的第一定向振动器接收的第二声源的声音可能增大，并且由所选择的第二定向振动器接收的第一声源的声音可能增大。于是，在分别由第一定向振动器和第二定向振动器接收的声音中，噪声可能增加。
图11D示出了在第一声源和第二声源之间的角度是60度的情况下以与图11C中使用的方式不同的方式选择定向振动器的示例。在图11D中，选择针对除目标声源之外的声源具有最低灵敏度的定向振动器。例如，在多个定向振动器110_k中，可以选择对第二声源具有最低灵敏度同时足以从第一声源获得声音的定向振动器，以获得第一声源的声音信息，并且选择对第一声源具有最低灵敏度同时足以从第二声源获得声音的定向振动器，以获得第二声源的声音信息。
换言之，控制电路140可以从被布置在围绕第一声源的方向的角度范围内的多个定向振动器110_k中选择针对第二声源的方向具有最低灵敏度的定向振动器作为第一定向振动器。控制电路140可以从被布置在围绕第二声源的方向的角度范围内的多个定向振动器110_k中选择针对第一声源的方向具有最低灵敏度的定向振动器作为第二定向振动器。在图11D的示例中，选择位于+30度方向上的定向振动器作为第一定向振动器，并且选择位于-120度方向上的定向振动器作为第二定向振动器。第一定向振动器与第二声源分开90度，并且第二定向振动器与第一声源分开90度。
在选择第一定向振动器和第二定向振动器之后，可以分别使用第一定向振动器和第二定向振动器获得第一声源的声音和第二声源的声音。令第一定向振动器的输出信号为C1，第二定向振动器的输出信号为C2，第一声源的声音信号为S1，并且第二声源的声音信号为S2；那么，在图11A中，C1＝S1。
在图11B中，C1＝S1+1/10×S2且C2＝1/10×S1+S2。本文中，可以基于图7中所示的示例中的定向振动器的定向特性而确定1/10作为示例，并且其可以根据定向振动器的定向特性而改变。在图11B中，在第一定向振动器中接收的第二声源的声音是第一声源的声音的约1/10，使得可以进行充分的声源分离。
在图11C中，C1＝S1+1/2×S2且C2＝1/2×S1+S2。本文中，可以基于图7中所示的示例中的定向振动器的定向特性而确定1/2作为示例，并且其可以根据定向振动器的定向特性而改变。在图11C中，因为C1中S1与S2的比是2：1，所以可能无法充分地执行声源分离。
在图11D中，C1＝4/5×S1+1/10×S2且C2＝1/10×S1+4/5×S2。本文中，可以基于图7中所示的示例中的定向振动器的定向特性而确定4/5和1/10作为示例，并且其可以根据定向振动器的定向特性而改变。在图11D中，因为C1中S1与S2的比是8∶1，所以可以充分地执行声源分离。
图12是示出了针对所选择的定向振动器的组合的语音识别测试结果的图。已经以分别从第一声源和第二声源输出包括多个单词的声音的方式进行了语音识别测试，并且测量了由所选择的定向振动器不准确地识别的单词的数量的比率。最左边的图对应于图11A的情况，其中不准确识别率为约25.5％。由于使用了一个声源，所以在使用两个声源时存在干扰影响的情况下，图11A的情况可以用作参考(Ref.)。左起第二个图对应于图11B的情况，其中不准确识别率为约29.7％，其从参考值略微增大。左起第三个图对应于图11C的情况，其中不准确识别率为约67.9％，其与参考值相比大大增大。最右边的图对应于图11D的情况，其中不准确识别率为约31.1％，显示出与图11B的情况类似的结果。因此，通过选择针对除目标声源之外的声源具有最低灵敏度的定向振动器，可以充分地实现声源分离。
声源分离装置100和101可以简单地在硬件方面仅仅利用多个定向振动器110_k分离来自两个不同声源的声音，而不需要复杂的计算处理。因此，声源分离装置100和101可以小型化并因此安装在小尺寸电子产品上。其上安装有根据本公开的当前实施例的声源分离装置100或101的电子产品即使在嘈杂的环境中也可以相对准确地分离出用户的声源。
已经进行了前述描述，其中针对一个声源选择一个定向振动器以获得声音信息，但是本公开不限于此。根据需要，可以选择用于一个声源的一个或多个相邻的定向振动器，例如两个或三个连续相邻的定向振动器，以获得声音信息。同样在这种情况下，当存在两个或更多个声源时，可以选择对除目标声源之外的声源具有最低灵敏度的一组定向振动器。
到目前为止，已经进行了描述，其中仅仅利用所选择的定向振动器的输出信号来分离声源，而在软件方面无需单独的信号处理，以获得声音信息。例如，可以利用针对第一声源选择的第一定向振动器的输出信号来获得第一声源的声音信息，并且可以利用针对第二声源选择的第二定向振动器的输出信号来获得第二声源的声音信息。然而，可以通过在软件方面计算第一定向振动器的输出信号和第二定向振动器的输出信号来执行声源分离。例如，在图11C的示例中，C1＝S1+1/2×S2且C2＝1/2×S1+S2，使得通过求解联立方程，C1可以用S1表示，C2可以用S2表示。更具体地，C1’＝C1-1/2×C2＝3/4×S1且C2′＝C2-1/2×C1＝3/4×S2。
因此，当给定第二声源的声音对针对第一声源选择的第一定向振动器的输出信号的贡献比率和第一声源的声音对针对第二声源选择的第二定向振动器的输出信号的贡献比率时，控制电路140可以通过计算第一定向振动器的输出信号和第二定向振动器的输出信号来获得第一声源的声音信息和第二声源的声音信息。更一般地，令第一定向振动器的输出信号为C1，第二定向振动器的输出信号为C2，第一声源的声音信号为S1，第二声源的声音信号为S2，第二声源的声音对第一定向振动器的输出信号的贡献比率为α，并且第一声源的声音对第二定向振动器的输出信号的贡献比率为β；
则C1＝S1+αS2且
C2＝S2+βS1，且
S1和S2可以用C1和C2表示为
S1＝(C1-αC2)/(1-αβ)和
S2＝(C2-βC1)/(1-αβ)。
这里，α和β指示第一定向振动器和第二定向振动器针对入射声音方向独特的灵敏度特性，并且可以通过测量预先知道。例如，可以基于第一定向振动器和第二声源之间的角度来确定α，并且可以基于第二定向振动器和第一声源之间的角度来确定β。在声源分离装置100和101中包括的所有定向振动器110_k具有相同的定向特性的情况下，α和β可以具有相同的值。然而，当定向振动器110_k具有不同的定向特性时，α和β可以具有不同的值。
预先测量的每个定向振动器针对入射到每个定向振动器的声音的方向的灵敏度值可以存储在存储器141中。例如，入射到每个定向振动器的声音的入射角和对应的灵敏度的配对可以存储在存储器141中。然后，控制电路140可以根据存储在存储器141中的定向振动器的灵敏度特性来获得α和β，并且基于α和β来计算第一定向振动器的输出信号和第二定向振动器的输出信号，从而获得第一声源的声音信息和第二声源的声音信息。因此，可以从多个定向振动器110_k中选择针对目标声源的方向具有最高灵敏度的定向振动器，然后可以通过软件信号处理来执行声源分离。
图13是根据本公开的另一实施例的声源分离装置的平面图，以及图14是沿图13的声源分离装置的线A-A’截取的截面图。参照图13和图14，声源分离装置103还可以包括全向振动器115，该全向振动器115对输入声音作出反应，而无论其方向如何。图13和图14的声源分离装置103的其他元件可以与图4和图5的声源分离装置101的元件相同。
全向振动器115可以位于例如声音出口137中，并且可以位于与多个定向振动器110_k相同的平面上。在这种情况下，多个定向振动器110_k可以布置成围绕全向振动器115。然而，全向振动器115不限于上述位置，还可以具有各种其他位置。例如，全向振动器115可以位于壳体131的外部。
与定向振动器110_k不同，全向振动器115可以响应于从所有方向输入的声音而具有几乎相同的输出。为此，全向振动器115可以具有圆形薄膜的形式。当全向振动器115位于声音出口137中时，全向振动器115可以以使得圆形全向振动器115的中心与声音出口137的中心点对准的方式定位。
尽管无论输入声音的方向如何，全向振动器115的输出都是恒定的，但是全向振动器115的振动相位可以根据输入声音的方向而变化。例如，如图14中示意性所示，全向振动器115的振动相位可以与定向振动器110_k当中位于输入声音方向上的定向振动器110_1的振动相位相同。另外，全向振动器115的振动相位可以与定向振动器110_k当中位于与输入声音的方向相反的方向上的定向振动器110_9的振动相位相反。
图15是示出了在声音是从一个方向输入的情况下全向振动器115和面向彼此的两个定向振动器110_1和110_9的振动相位的示例的图。例如，假设定向振动器110_1和110_9被定位成面向彼此，并且在从定向振动器110_1朝向定向振动器110_9的方向上输入声音。如图15所示，定向振动器110_1的振动相位与定向振动器110_9的振动相位相反180°。全向振动器115的振动相位与定向振动器110_1的振动相位相同，并且与定向振动器110_9的振动相位相反180°。
因此，可以参考全向振动器115和定向振动器110_k的振动相位来准确地检测声源的方向。例如，控制电路140可以从多个定向振动器110_k中选择具有最低输出信号强度的定向振动器。控制电路140可以将被布置在相对于具有最低输出信号强度的定向振动器成+90°处的定向振动器的相位和被布置在相对于具有最低输出信号强度的定向振动器成-90°处的定向振动器的相位与全向振动器115的相位进行比较。然后，控制电路140可以将具有与全向振动器115的相位最接近的相位的定向振动器的布置方向确定为声源的方向。
根据本公开的前述实施例的声源分离装置100、101、102和103可以应用于各种电子装置中。声源分离装置100、101、102和103可以实现为芯片解决方案传感器，并且可以在移动设备、信息技术(IT)、家用电器和车辆领域中执行多个声源的跟踪、噪声消除和空间记录，或者可以用于全景拍摄、增强现实和虚拟现实领域。
在下文中，现在将描述使用上述声源分离装置100、101、102和103的电子装置。
图16是示出了根据本公开的实施例的物联网(IoT)装置的示意结构的框图，以及图17是用于描述日常生活中图16的IoT装置的操作的示例的示意图。
IoT装置200可以包括：声源分离装置210，其接收由用户提供的语音信号；存储器230，其中存储将通过声源分离装置210接收到的信号用作输入变量的一个或多个应用模块232；以及处理器220，其执行应用模块232。IoT装置200还可以包括通信器250。
IoT装置200还可以包括能够旋转或移动的可移动设备240。可以基于使用声源分离装置210接收的信号作为输入变量执行应用模块232的执行结果，沿一定方向在旋转或移动方面控制可移动设备240。旋转方向或移动方向可以是例如面向或避开声源分离装置210检测到的声音方向的方向。可移动设备240可以被实现为具有能够向用户输出应用模块232的执行结果的输出功能。可移动设备240可以是输出设备，例如扬声器或显示器。声源分离装置210可以包括根据本公开的前述实施例的声源分离装置100、101、102和103中的任何一个、对其的修改或其组合。
处理器220可以控制IoT装置200的所有操作。处理器220可以控制声源分离装置210、可移动设备240和通信器250的操作，使用相关控制信号，并执行存储在存储器230中的程序。存储器230可以包括可移动设备控制模块234，其被编程为基于控制信号在特定方向上旋转或移动可移动设备240。可移动设备控制模块234可以通过使用由声源分离装置210检测到的信号和与该信号相关联的应用的执行结果来控制可移动设备240在面向或避开由声源分离装置210检测到的声音方向的方向上旋转或移动。然而，这仅是示例，并且基于反映由声源分离装置210感测到的信号的应用执行结果的可移动设备控制方向可以是各种各样的。
存储器230还可以包括学习模块236，其被编程为结合声音的方向来学习由声源分离装置210接收到的信号是否是有效输入信号。例如，学习模块236可以重复地生成和累积由声源分离装置210检测到的声音的方向以及确定信号是否是有效信号的结果作为学习数据，并从累积的学习数据中提取统计特征，从而将从特定方向输入的声音处理为无效信号。例如，来自与用户的语音不同的方向的声音可以被处理为噪声，或者可以分别识别在不同方向上的多个用户的语音。存储器230还可以存储处理器220控制IoT装置200的整体操作所需的各种其他程序和数据。
存储器230可以包括以下至少一种类型的存储介质：例如，闪存存储器、硬盘、多媒体卡微型存储器、卡型存储器(例如，安全数字(SD)或极限数字(XD)存储器)、随机存取存储器(RAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、电可擦除可编程ROM(EEPROM)、可编程ROM(PROM)、磁性存储器、磁盘和光盘。
通信器250可以通过使用但不限于蓝牙通信、蓝牙低功耗(BLE)通信、近场通信(NFC)、无线局域网(WLAN)通信、Zigbee通信、红外数据协会(IrDA)通信、WiFi直连(WFD)、超宽带(UWB)通信、Ant+通信、WiFi通信等与外部设备进行通信。
参考图17，IoT装置200中包括的可移动设备240被示为可旋转扬声器。以下将描述扬声器作为可移动设备240的示例，但是可移动设备240不限于此。IoT装置200可以确定输入声音信号S1或S2的方向并且使扬声器旋转以面向所确定的方向。IoT装置200可以识别同时输入的两个声音信号S1和S2中的有效信号。
IoT装置200可以识别输入声音信号S1和S2中的有效信号。例如，IoT装置200可以单独识别来自用户U的声音信号S1和来自不是用户的声源NU的声音信号S2。IoT装置200可以通过结合输入声音的方向学习输入信号是否是有效信号来区分声音信号S1和S2。这样，例如，在学习并确定从某个固定方向(例如，电视(TV))连续地输入无效信号之后，IoT装置200可以使扬声器朝向输入声音信号S1和S2当中被确定为有效信号的声音信号S2的方向旋转，并执行与声音信号S2有关的应用。IoT装置200可以用作人工智能(AI)扬声器，并且还可以应用于各种其他对象以增强对对象的固有功能的利用。
图18是根据实施例的车辆语音接口装置300的框图，以及图19是用于描述车辆400中的车辆语音接口装置300的操作的示例的示意图。
参考图18，车辆语音接口装置300可以包括声源分离装置310和有效信号提取模块350。有效信号提取模块350可以包括：存储器，被配置为存储用于提取有效信号的程序；以及处理器，被配置为执行该程序。声源分离装置310可以包括根据本公开的前述实施例的声源分离装置100、101、102和103中的任何一个、对其的修改或其组合。
有效信号提取模块350可以基于由声源分离装置310接收的信号的方向来确定该信号是否是有效信号，并且当确定该信号是有效信号时向车辆控制模块发送该信号。有效信号提取模块350可以从各个方向输入的声音信号中分离并且然后移除来自除驾驶员方向之外的方向的声音信号，并且向车辆控制模块发送声音信号。
参考图19，车辆400中包括的声源分离装置310分别检测来自驾驶员DR的声音信号S1和来自乘客PA的声音信号S2、S3和S4。声源分离装置310可以检测接收的声音信号S1、S2、S3和S4的方向，并向有效信号提取模块350发送分别检测声音信号S1、S2、S3和S4的结果。有效信号提取模块350可以仅向车辆控制模块420发送来自驾驶员DR的声音信号S1。
图20是根据本公开的实施例的空间记录装置的框图。参考图20，根据本公开的实施例的空间记录装置500可以包括：声源分离装置510；处理器520，被配置为通过分析由声源分离装置510检测到的信号来确定输入到声源分离装置510的声音的方向；以及存储器530，被配置为存储用于处理器520的信号处理操作的程序。此外，存储器可以存储由处理器520执行的操作的结果。声源分离装置510可以包括根据本公开的前述实施例的声源分离装置100、101、102和103中的任何一个、对其的修改或其组合。声源分离装置510可以与声音的方向相关联地记录环境声音。声源分离装置510可以以高分辨率估计声音的输入方向。
空间记录装置500可以通过使用声音的输入方向的估计结果，选择性地记录期望的声源或者分别记录不同方向上的声源的声音。空间记录装置500还可以包括多声道扬声器550，以根据声音的方向再现所记录的声音。处理器520控制多声道扬声器550，使得可以适当地针对一个方向播放存储在存储器530中的声音信号。通过针对特定方向适当地播放所记录的声源，可以增强所记录内容的真实感，并且可以改善沉浸感和现实感。空间记录装置500可以用在增强现实(AR)或虚拟现实(VR)装置中。
图21是根据本公开的实施例的全向相机600的框图。参考图21，根据本公开的实施例的全向相机600是能够在所有方向上捕捉对象的全景图像的相机。全向相机600可以包括：声源分离装置610；全向拍摄模块640；处理器620，被配置为控制声源分离装置610和全向拍摄模块640，使得由声源分离装置610检测的定向声音信号与由全向拍摄模块640捕捉的全向图像信号相匹配；以及存储器630，被配置为存储定向声音信号和全向图像信号。声源分离装置610可以包括根据本公开的前述实施例的声源分离装置100、101、102和103中的任何一个、对其的修改或其组合，并且可以检测来自所有方向的声音并将来自不同方向的声音分离。
一般的全景拍摄模块可以用作全向拍摄模块640。例如，全向拍摄模块640可以在360°可旋转体中包括光学透镜、图像传感器等。在处理器620的控制下，在声源分离装置610感测到的信号当中，在与全向拍摄模块640的拍摄方向相对应的方向上的声音可以被分离并选择性地存储在存储器630中。这样，全向相机600可以在存储器630中存储360°全景图像信号和与该图像信号匹配的声音信号。图像和声音信号可以由包括多声道扬声器的显示设备再现，可以最大化真实感，并且可以用在AR/VR设备中。
根据实施例，一种混合技术，其中本公开的声音分离设备和方法与ICA、GSS或DNN的技术相结合。例如，根据实施例，可以结合ICA、GSS和DNN的分析方法使用来自本公开的声源分离设备的第一结果，以进一步提高诸如准确度等可测量特性。
根据本公开的前述实施例的电子装置可以包括：处理器；存储器，被配置为存储和执行程序数据；永久存储装置，例如磁盘驱动器；通信端口，被配置为与外部设备通信；以及用户接口设备，例如触摸板、按键或按钮。
在根据本公开的前述实施例的电子装置中使用软件模块或算法实现的方法可以作为计算机可读代码或处理器可执行的程序指令而记录在计算机可读记录介质上。计算机可读记录介质的示例包括磁存储介质(例如，只读存储器(ROM)、随机存取存储器(RAM)、软盘和硬盘)和光学记录介质(例如，紧凑盘-ROM(CD-ROM)和数字多功能盘(DVD))。计算机可读记录介质也可以分布在联网的计算机系统上，使得按照分布方式存储和执行计算机可读代码。介质可以被计算机读取，存储在存储器中，并被处理器执行。
尽管已经参考附图中所示的本公开的实施例描述了声源分离装置和声源分离方法，但是它们也可以用具有如上所述的一个谐振器的谐振结构来代替。应当理解的是，应仅以描述性意义而不是限制性目的来考虑本文中描述的本公开的实施例。对每个实施例中的特征或方面的描述一般应当被看作可用于本公开的其他实施例中的其他类似特征或方面。本公开的实施例的范围将在所附权利要求中，并且应当理解在其等效范围内的所有差异都包括在本公开的实施例中。

Claims (38)

1.一种声源分离装置，包括：
声音入口，被配置为接收声音；
声音出口，被配置为输出通过所述声音入口接收的所述声音；
多个定向振动器，被布置在所述声音入口和所述声音出口之间的平面上，所述平面垂直于所述声音入口的中心轴线，并且所述多个定向振动器以使得所述多个定向振动器中的一个或多个定向振动器被配置为基于通过所述声音入口接收的所述声音的方向选择性地作出反应的方式围绕所述平面上与所述声音入口的所述中心轴线相对应的中心点来布置；以及
控制电路，被配置为：
基于所述多个定向振动器的输出信号的强度，确定第一声源的第一方向和与所述第一声源不同的第二声源的第二方向，并且
从所述多个定向振动器中选择第一定向振动器和第二定向振动器，以分别获得来自所述第一声源的第一声音以及来自所述第二声源的第二声音，
其中，所述第一定向振动器与所述第二定向振动器不同。
2.根据权利要求1所述的声源分离装置，其中，所述控制电路还被配置为：基于所述第一定向振动器的第一输出信号获得与来自所述第一声源的所述第一声音有关的第一信息，并基于所述第二定向振动器的第二输出信号获得与来自所述第二声源的所述第二声音有关的第二信息。
3.根据权利要求2所述的声源分离装置，其中，所述控制电路被配置为：从所述多个定向振动器中选择对所述第一声源的所述第一方向具有最高灵敏度的定向振动器作为所述第一定向振动器，并从所述多个定向振动器中选择对所述第二声源的所述第二方向具有最高灵敏度的定向振动器作为所述第二定向振动器。
4.根据权利要求2所述的声源分离装置，其中，所述控制电路还被配置为：从所述多个定向振动器中选择被布置在所述第一声源的所述第一方向上的定向振动器作为所述第一定向振动器，并从所述多个定向振动器中选择被布置在所述第二声源的所述第二方向上的定向振动器作为所述第二定向振动器。
5.根据权利要求4所述的声源分离装置，其中，所述控制电路还被配置为：通过基于所述第二声源的所述第二声音对所述第一定向振动器的第一输出信号的第一贡献比率和所述第一声源的所述第一声音对所述第二定向振动器的第二输出信号的第二贡献比率计算所述第一输出信号和所述第二输出信号，来获得与来自所述第一声源的所述第一声音有关的所述第一信息和与来自所述第二声源的所述第二声音有关的所述第二信息。
6.根据权利要求5所述的声源分离装置，其中，在所述第一定向振动器的所述第一输出信号是C1，所述第二定向振动器的所述第二输出信号是C2，所述第一声源的第一声音信号是S1，所述第二声源的第二声音信号是S2，所述第二声源的所述第二声音对所述第一定向振动器的所述第一输出信号的所述第一贡献比率是α，并且所述第一声源的所述第一声音对所述第二定向振动器的所述第二输出信号的所述第二贡献比率是β的情况下，
则C1＝S1+αS2，且
C2＝S2+βS1，且
S1＝(C1-αC2)/(1-αβ)，且
S2＝(C2-βC1)/(1-αβ)。
7.根据权利要求5所述的声源分离装置，其中，所述第二声源的所述第二声音对所述第一定向振动器的所述第一输出信号的所述第一贡献比率由所述第一定向振动器和所述第二声源之间的第一角度来确定，并且所述第一声源的所述第一声音对所述第二定向振动器的所述第二输出信号的所述第二贡献比率由所述第二定向振动器和所述第一声源之间的第二角度来确定。
8.根据权利要求7所述的声源分离装置，还包括：存储器，被配置为存储每个定向振动器针对入射到每个定向振动器的声音的方向的灵敏度信息。
9.根据权利要求2所述的声源分离装置，其中，所述控制电路还被配置为：从被布置在围绕所述第一声源的所述第一方向的第一角度范围中的多个定向振动器中选择对所述第二声源的所述第二方向具有最低灵敏度的定向振动器作为所述第一定向振动器，并且从被布置在围绕所述第二声源的所述第二方向的第二角度范围中的多个定向振动器中选择对所述第一声源的所述第一方向具有最低灵敏度的定向振动器作为所述第二定向振动器。
10.根据权利要求1所述的声源分离装置，其中，所述控制电路还被配置为：在来自所述第一声源的所述第一声音减小的第一时间期间确定所述第二声源的所述第二方向，并且在来自所述第二声源的所述第二声音减小的第二时间期间确定所述第一声源的所述第一方向。
11.根据权利要求10所述的声源分离装置，其中，所述控制电路还被配置为：在被布置在180度范围内的多个定向振动器的输出信号的强度具有两个或更多个峰值的情况下确定存在两个或更多个声源，并且在被布置在180度范围内的所述多个定向振动器的输出信号的强度具有一个峰值的时间期间确定声源的方向。
12.根据权利要求1所述的声源分离装置，其中，所述控制电路还被配置为：将所述多个定向振动器当中具有最高输出信号强度的定向振动器的布置方向确定为所述第一声源的所述第一方向或所述第二声源的所述第二方向。
13.根据权利要求1所述的声源分离装置，其中，所述控制电路还被配置为：将与所述多个定向振动器当中具有最低输出信号强度的定向振动器的布置方向垂直的方向确定为所述第一声源的所述第一方向或所述第二声源的所述第二方向。
14.根据权利要求13所述的声源分离装置，其中，所述控制电路还被配置为：将被布置在相对于具有最低输出信号强度的定向振动器成+90°处的定向振动器的振动强度与被布置在相对于具有所述最低输出信号强度的所述定向振动器成-90°处的定向振动器的振动强度进行比较，并将被布置在+90°处的所述定向振动器和被布置在-90°处的所述定向振动器当中具有较高输出信号强度的定向振动器的布置方向确定为所述第一声源的所述第一方向或所述第二声源的所述第二方向。
15.根据权利要求13所述的声源分离装置，还包括全向振动器，所述全向振动器被配置为无论输入声音的方向如何都对所述输入声音作出反应。
16.根据权利要求15所述的声源分离装置，其中，所述控制电路还被配置为：将被布置在相对于具有最低输出信号强度的定向振动器成+90°处的定向振动器的相位与所述全向振动器的相位进行比较，将被布置在相对于具有所述最低输出信号强度的所述定向振动器成-90°处的定向振动器的相位与所述全向振动器的相位进行比较，并将被布置在+90°处的所述定向振动器和被布置在-90°处的所述定向振动器当中具有与所述全向振动器的相位最接近的相位的定向振动器的布置方向确定为所述第一声源或所述第二声源的方向。
17.根据权利要求15所述的声源分离装置，其中，所述多个定向振动器和所述全向振动器被布置在相同平面上，并且所述多个定向振动器被布置成围绕所述全向振动器。
18.根据权利要求1所述的声源分离装置，其中，所述多个定向振动器被布置为相对于所述中心点具有对称性。
19.根据权利要求1所述的声源分离装置，其中，所述声音出口被设置为面向所有的所述多个定向振动器。
20.根据权利要求1所述的声源分离装置，其中，所述声音出口包括分别面向所述多个定向振动器的多个声音出口。
21.根据权利要求1所述的声源分离装置，其中，所述多个定向振动器具有相同的谐振频率。
22.根据权利要求1所述的声源分离装置，其中，所述多个定向振动器包括具有不同谐振频率的多个定向振动器。
23.一种声源分离方法，包括：
通过声源分离装置的声音入口接收声音；
通过声音出口输出通过所述声音入口接收的所述声音；
基于多个定向振动器的输出信号的强度来确定第一声源的第一方向和与所述第一声源不同的第二声源的第二方向，所述多个定向振动器被布置在所述声音入口和所述声音出口之间的平面上，所述平面垂直于所述声音入口的中心轴线，并且所述多个定向振动器以使得所述多个定向振动器中的一个或多个定向振动器被配置为基于通过所述声音入口接收的所述声音的方向选择性地作出反应的方式围绕所述平面上与所述声音入口的所述中心轴线相对应的中心点来布置；
从所述多个定向振动器中选择第一定向振动器和第二定向振动器，以分别获得来自所述第一声源的第一声音以及来自所述第二声源的第二声音；并且
通过使用所述第一定向振动器和所述第二定向振动器来获得声音信息，
其中，所述第一定向振动器与所述第二定向振动器不同。
24.根据权利要求23所述的声源分离方法，其中，确定所述第一声源的所述第一方向和所述第二声源的所述第二方向包括：
在来自所述第一声源的所述第一声音减小的第一时间期间确定所述第二声源的所述第二方向；并且
在来自所述第二声源的所述第二声音减小的第二时间期间确定所述第一声源的所述第一方向。
25.根据权利要求24所述的声源分离方法，其中，确定所述第一声源的所述第一方向和所述第二声源的所述第二方向包括：
在被布置在180度范围内的多个定向振动器的输出信号的强度具有两个或更多个峰值的情况下，确定存在两个或更多个声源；并且
在被布置在180度范围内的所述多个定向振动器的输出信号的强度具有一个峰值的时间期间确定声源的方向。
26.根据权利要求23所述的声源分离方法，其中，确定所述第一声源的所述第一方向和所述第二声源的所述第二方向包括：将所述多个定向振动器当中具有最高输出信号强度的定向振动器的布置方向确定为所述第一声源的所述第一方向或所述第二声源的所述第二方向。
27.根据权利要求23所述的声源分离方法，其中，确定所述第一声源的所述第一方向和所述第二声源的所述第二方向包括：将与所述多个定向振动器当中具有最低输出信号强度的定向振动器的布置方向垂直的方向确定为所述第一声源的所述第一方向或所述第二声源的所述第二方向。
28.根据权利要求27所述的声源分离方法，其中，确定所述第一声源的所述第一方向和所述第二声源的所述第二方向包括：
将被布置在相对于具有最低输出信号强度的定向振动器成+90°处的定向振动器的振动强度与被布置在相对于具有所述最低输出信号强度的所述定向振动器成-90°处的定向振动器的振动强度进行比较；并且
将被布置在+90°处的所述定向振动器和被布置在-90°处的所述定向振动器当中具有较高输出信号强度的定向振动器的布置方向确定为所述第一声源或所述第二声源的方向。
29.根据权利要求27所述的声源分离方法，还包括：通过使用全向振动器接收输入声音，其中无论所述输入声音的方向如何所述全向振动器都对所述声音作出反应。
30.根据权利要求29所述的声源分离方法，其中，确定所述第一声源的所述第一方向和所述第二声源的所述第二方向包括：
将被布置在相对于具有最低输出信号强度的定向振动器成+90°处的定向振动器的相位与所述全向振动器的相位进行比较；
将被布置在相对于具有所述最低输出信号强度的所述定向振动器成-90°处的定向振动器的相位与所述全向振动器的相位进行比较；并且
将被布置在+90°处的所述定向振动器和被布置在-90°处的所述定向振动器当中具有与所述全向振动器的相位最接近的相位的定向振动器的布置方向确定为所述第一声源的所述第一方向或所述第二声源的所述第二方向。
31.根据权利要求23所述的声源分离方法，其中，通过使用所述第一定向振动器和所述第二定向振动器获得声音信息包括：
基于所述第一定向振动器的第一输出信号获得与来自所述第一声源的所述第一声音有关的第一信息；并且
基于所述第二定向振动器的第二输出信号获得与来自所述第二声源的所述第二声音有关的第二信息。
32.根据权利要求31所述的声源分离方法，其中，选择所述第一定向振动器和所述第二定向振动器包括：
在所述多个定向振动器中，选择对所述第一声源的所述第一方向具有最高灵敏度的定向振动器作为所述第一定向振动器；并且
在所述多个定向振动器中，选择对所述第二声源的所述第二方向具有最高灵敏度的定向振动器作为所述第二定向振动器。
33.根据权利要求31所述的声源分离方法，其中，选择所述第一定向振动器和所述第二定向振动器包括：
在所述多个定向振动器中，选择被布置在所述第一声源的方向上的定向振动器作为所述第一定向振动器；并且
在所述多个定向振动器中，选择被布置在所述第二声源的方向上的定向振动器作为所述第二定向振动器。
34.根据权利要求33所述的声源分离方法，其中，通过使用所述第一定向振动器和所述第二定向振动器获得声音信息包括：
确定所述第二声源的所述第二声音对所述第一定向振动器的所述第一输出信号的第一贡献比率和所述第一声源的所述第一声音对所述第二定向振动器的所述第二输出信号的第二贡献比率；并且
通过基于所述第二声源的所述第二声音对所述第一定向振动器的所述第一输出信号的所述第一贡献比率和所述第一声源的所述第一声音对所述第二定向振动器的所述第二输出信号的所述第二贡献比率计算所述第一输出信号和所述第二输出信号，来获得与来自所述第一声源的所述第一声音有关的所述第一信息和与来自所述第二声源的所述第二声音有关的所述第二信息。
35.根据权利要求34所述的声源分离方法，其中，在所述第一定向振动器的所述第一输出信号是C1，所述第二定向振动器的所述第二输出信号是C2，所述第一声源的第一声音信号是S1，所述第二声源的第二声音信号是S2，所述第二声源的所述第二声音对所述第一定向振动器的所述第一输出信号的所述第一贡献比率是α，所述第一声源的所述第一声音对所述第二定向振动器的所述第二输出信号的所述第二贡献比率是β的情况下，
则C1＝S1+αS2，且
C2＝S2+βS1，且
S1＝(C1-αC2)/(1-αβ)，且
S2＝(C2-βC1)/(1-αβ)。
36.根据权利要求34所述的声源分离方法，其中，所述第二声源的所述第二声音对所述第一定向振动器的所述第一输出信号的所述第一贡献比率由所述第一定向振动器和所述第二声源之间的第一角度来确定，并且所述第一声源的所述第一声音对所述第二定向振动器的所述第二输出信号的所述第二贡献比率由所述第二定向振动器和所述第一声源之间的第二角度来确定。
37.根据权利要求23所述的声源分离方法，其中，选择所述第一定向振动器和所述第二定向振动器包括：
从被布置在围绕所述第一声源的所述第一方向的第一角度范围中的多个定向振动器中选择对所述第二声源的所述第二方向具有最低灵敏度的定向振动器作为所述第一定向振动器；并且
从被布置在围绕所述第二声源的所述第二方向的第二角度范围中的多个定向振动器中选择对所述第一声源的所述第一方向具有最低灵敏度的定向振动器作为所述第二定向振动器。
38.一种声源分离装置，包括：
存储器，被配置为存储一个或多个指令；以及
处理器，被配置为执行所述一个或多个指令以进行下列操作：
基于从多个定向振动器接收的输出信号的强度来确定第一声源的第一方向和与所述第一声源不同的第二声源的第二方向，所述多个定向振动器被布置在所述声源分离装置的声音入口和声音出口之间的平面上，所述平面垂直于所述声音入口的中心轴线，并且所述多个定向振动器以使得所述多个定向振动器中的一个或多个定向振动器被配置为基于通过所述声音入口接收的声音的方向选择性地作出反应的方式围绕所述平面上与所述声音入口的所述中心轴线相对应的中心点来布置；
从所述多个定向振动器中选择第一定向振动器和第二定向振动器，以分别获得来自所述第一声源的第一声音以及来自所述第二声源的第二声音；并且
通过使用所述第一定向振动器和所述第二定向振动器来获得声音信息，
其中，所述第一定向振动器与所述第二定向振动器不同。
CN201910474590.4A 2018-12-03 2019-05-31 声源分离装置和声源分离方法 Active CN111261184B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180153726A KR102607863B1 (ko) 2018-12-03 2018-12-03 음원 분리 장치 및 음원 분리 방법
KR10-2018-0153726 2018-12-03

Publications (2)

Publication Number Publication Date
CN111261184A CN111261184A (zh) 2020-06-09
CN111261184B true CN111261184B (zh) 2023-07-14

Family

ID=68136161

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910474590.4A Active CN111261184B (zh) 2018-12-03 2019-05-31 声源分离装置和声源分离方法

Country Status (5)

Country Link
US (1) US10750281B2 (zh)
EP (1) EP3664468A1 (zh)
JP (1) JP7409833B2 (zh)
KR (1) KR102607863B1 (zh)
CN (1) CN111261184B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7387565B2 (ja) * 2020-09-16 2023-11-28 株式会社東芝 信号処理装置、学習済みニューラルネットワーク、信号処理方法及び信号処理プログラム
CN112382306B (zh) * 2020-12-02 2022-05-10 思必驰科技股份有限公司 分离说话人音频的方法及装置
CN114495974B (zh) * 2022-02-18 2024-02-23 腾讯科技（深圳）有限公司 音频信号处理方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007129511A (ja) * 2005-11-04 2007-05-24 Sony Corp 音声出力装置および方法、プログラム、並びに記録媒体
CN101330769A (zh) * 2007-06-21 2008-12-24 株式会社船井电机新应用技术研究所 声音输入输出装置及通话装置
CN102097099A (zh) * 2009-12-11 2011-06-15 冲电气工业株式会社 使用通过线性组合的频谱分析的源声分离器及其方法
CN104360309A (zh) * 2014-11-28 2015-02-18 北京智谷睿拓技术服务有限公司 移动声源信息确定方法及确定装置、用户设备
CN105191349A (zh) * 2013-05-15 2015-12-23 索尼公司 声音输出装置、声音输出方法和视频显示装置
CN105489227A (zh) * 2014-10-06 2016-04-13 奥迪康有限公司 包括低延时声源分离单元的听力装置
EP3279622A1 (en) * 2016-08-03 2018-02-07 Samsung Electronics Co., Ltd Audio spectrum analyzer and method of arranging resonators included therein
CN108293161A (zh) * 2015-11-17 2018-07-17 索尼公司 信息处理设备、信息处理方法和程序

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3789685B2 (ja) * 1999-07-02 2006-06-28 富士通株式会社 マイクロホンアレイ装置
WO2007072757A1 (ja) * 2005-12-19 2007-06-28 Yamaha Corporation 放収音装置
KR20080071287A (ko) 2007-01-30 2008-08-04 송영근 다양한 모양과 색상을 갖는 치킨 깍두기의 제조방법
KR20090104665A (ko) 2008-03-31 2009-10-06 후지필름 가부시키가이샤 필름 결함 검사 방법 및 장치
KR20090104638A (ko) 2008-03-31 2009-10-06 한국전자통신연구원 신원 선택기를 구비한 사용자 단말기 및 그의 신원 선택기를 이용한 신원 인증 방법
US20110023099A1 (en) 2008-03-31 2011-01-27 Seunghyun Kim User terminal with identity selector and method for identity authentication using identity selector of the same
CH699110A1 (fr) 2008-07-10 2010-01-15 Swatch Group Res & Dev Ltd Procédé de fabrication d'une pièce micromécanique.
KR101529647B1 (ko) 2008-07-22 2015-06-30 삼성전자주식회사 빔포밍 기술을 이용한 음원 분리 방법 및 시스템
US8577677B2 (en) 2008-07-21 2013-11-05 Samsung Electronics Co., Ltd. Sound source separation method and system using beamforming technique
JP5006364B2 (ja) * 2008-07-28 2012-08-22 アオイ電子株式会社 指向性マイクロフォン
US8041054B2 (en) * 2008-10-31 2011-10-18 Continental Automotive Systems, Inc. Systems and methods for selectively switching between multiple microphones
KR20100127332A (ko) 2009-05-26 2010-12-06 (주)부전 농수산물 건조 시스템
KR20110047852A (ko) 2009-10-30 2011-05-09 삼성전자주식회사 동작 환경에 적응 가능한 음원녹음장치 및 그 방법
KR101612704B1 (ko) 2009-10-30 2016-04-18 삼성전자 주식회사 다중음원 위치 추적장치 및 그 방법
KR20110076622A (ko) 2009-12-29 2011-07-06 주식회사 동부하이텍 반도체 메모리 소자의 제조 방법
KR101670313B1 (ko) 2010-01-28 2016-10-28 삼성전자주식회사 음원 분리를 위해 자동적으로 문턱치를 선택하는 신호 분리 시스템 및 방법
JP5756907B2 (ja) * 2010-07-02 2015-07-29 パナソニックＩｐマネジメント株式会社 指向性マイクロホン装置及びその指向性制御方法
KR101726737B1 (ko) 2010-12-14 2017-04-13 삼성전자주식회사 다채널 음원 분리 장치 및 그 방법
US8525868B2 (en) 2011-01-13 2013-09-03 Qualcomm Incorporated Variable beamforming with a mobile platform
US8929564B2 (en) 2011-03-03 2015-01-06 Microsoft Corporation Noise adaptive beamforming for microphone arrays
KR20130014895A (ko) 2011-08-01 2013-02-12 한국전자통신연구원 음원 분리 기준 결정 장치와 방법 및 음원 분리 장치와 방법
KR20130048075A (ko) * 2011-11-01 2013-05-09 삼성전자주식회사 다중 음원 위치추적장치 및 그 위치추적방법
US9029963B2 (en) * 2012-09-25 2015-05-12 Sand 9, Inc. MEMS microphone
KR101509342B1 (ko) 2013-10-01 2015-04-07 재단법인대구경북과학기술원 인공와우용 음향 센서 장치
US20150281834A1 (en) * 2014-03-28 2015-10-01 Funai Electric Co., Ltd. Microphone device and microphone unit
KR20150140500A (ko) 2014-06-05 2015-12-16 삼성디스플레이 주식회사 액정 디스플레이
KR102207928B1 (ko) 2014-08-13 2021-01-26 삼성전자주식회사 음향 센싱 소자 및 주파수 정보 획득 방법
KR101610145B1 (ko) * 2014-11-28 2016-04-08 현대자동차 주식회사 마이크로폰 모듈 및 그 제어방법
JP6365435B2 (ja) 2015-06-24 2018-08-01 株式会社村田製作所 弾性波装置
KR101673347B1 (ko) * 2015-07-07 2016-11-07 현대자동차 주식회사 마이크로폰
KR101825949B1 (ko) 2015-10-06 2018-02-09 전자부품연구원 음원 분리를 포함하는 음원 위치 추정 장치 및 방법
JP6567942B2 (ja) 2015-10-07 2019-08-28 株式会社マキタ 作業工具
KR102590887B1 (ko) 2017-01-03 2023-10-19 한국전자통신연구원 음원의 공간적 위치 및 비음수 행렬 분해를 이용한 음원 분리 방법 및 장치
US10771898B2 (en) 2017-01-09 2020-09-08 Apple Inc. Locating wireless devices
US10455321B2 (en) * 2017-04-28 2019-10-22 Qualcomm Incorporated Microphone configurations
KR102335774B1 (ko) * 2017-09-01 2021-12-06 삼성전자주식회사 다중 공진기 어레이를 포함하는 소리 방향 탐지 센서
KR102486395B1 (ko) 2017-11-23 2023-01-10 삼성전자주식회사 화자 인식을 위한 뉴럴 네트워크 장치, 및 그 동작 방법
KR102452952B1 (ko) 2017-12-06 2022-10-12 삼성전자주식회사 방향성 음향 센서 및 이를 포함하는 전자 장치
KR102477099B1 (ko) * 2018-08-21 2022-12-13 삼성전자주식회사 소리 방향 탐지 센서 및 이를 포함하는 전자 장치

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007129511A (ja) * 2005-11-04 2007-05-24 Sony Corp 音声出力装置および方法、プログラム、並びに記録媒体
CN101330769A (zh) * 2007-06-21 2008-12-24 株式会社船井电机新应用技术研究所 声音输入输出装置及通话装置
CN102097099A (zh) * 2009-12-11 2011-06-15 冲电气工业株式会社 使用通过线性组合的频谱分析的源声分离器及其方法
CN105191349A (zh) * 2013-05-15 2015-12-23 索尼公司 声音输出装置、声音输出方法和视频显示装置
CN105489227A (zh) * 2014-10-06 2016-04-13 奥迪康有限公司 包括低延时声源分离单元的听力装置
CN104360309A (zh) * 2014-11-28 2015-02-18 北京智谷睿拓技术服务有限公司 移动声源信息确定方法及确定装置、用户设备
CN108293161A (zh) * 2015-11-17 2018-07-17 索尼公司 信息处理设备、信息处理方法和程序
EP3279622A1 (en) * 2016-08-03 2018-02-07 Samsung Electronics Co., Ltd Audio spectrum analyzer and method of arranging resonators included therein

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A kind of method for direction of arrival estimation based on blind source separation demixing matrix;Chun-yu Kang;《2012 8th International Conference on Natural Computation》;全文 *
高强度宽频超声换能器研究及其探测系统设计;林海洋;《中国优秀硕士学位论文全文数据库》;全文 *

Also Published As

Publication number Publication date
KR102607863B1 (ko) 2023-12-01
KR20200067300A (ko) 2020-06-12
JP2020092420A (ja) 2020-06-11
US10750281B2 (en) 2020-08-18
CN111261184A (zh) 2020-06-09
EP3664468A1 (en) 2020-06-10
US20200177992A1 (en) 2020-06-04
JP7409833B2 (ja) 2024-01-09

Similar Documents

Publication Publication Date Title
US11540077B2 (en) Directional acoustic sensor and electronic device including the same
US10645493B2 (en) Sound direction detection sensor and electronic apparatus including the same
CN111261184B (zh) 声源分离装置和声源分离方法
CN109425847B (zh) 包括多谐振器阵列的声音方向检测传感器
CN109520608B (zh) 声音/振动频谱分析设备及获取和分析频率信息的方法
US9031256B2 (en) Systems, methods, apparatus, and computer-readable media for orientation-sensitive recording control
CN207968904U (zh) 微型扬声器组件以及电声换能器组件
KR102520858B1 (ko) 공진기를 이용한 화자 인식 방법 및 장치
EP3686622B1 (en) Vehicle driving control apparatus including sound sensor and vehicle driving control method using the vehicle driving control apparatus
WO2021064468A1 (en) Sound source localization with co-located sensor elements
CN114303175A (zh) 具有低频振动源的超声指纹传感器
KR20200077686A (ko) 공간 음향 녹음 소자, 공간 음향 녹음 방법 및 공간 음향 녹음 소자를 포함하는 전자 장치
Bakhoum et al. Advanced optical microphone

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant