CN107889040A - 用于识别运载工具中的听觉滋扰源的系统 - Google Patents

用于识别运载工具中的听觉滋扰源的系统 Download PDF

Info

Publication number
CN107889040A
CN107889040A CN201710909738.3A CN201710909738A CN107889040A CN 107889040 A CN107889040 A CN 107889040A CN 201710909738 A CN201710909738 A CN 201710909738A CN 107889040 A CN107889040 A CN 107889040A
Authority
CN
China
Prior art keywords
signal
camera
fov
sound spectrogram
microphone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710909738.3A
Other languages
English (en)
Other versions
CN107889040B (zh
Inventor
V·德切利斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gulfstream Aerospace Corp
Original Assignee
Gulfstream Aerospace Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gulfstream Aerospace Corp filed Critical Gulfstream Aerospace Corp
Publication of CN107889040A publication Critical patent/CN107889040A/zh
Application granted granted Critical
Publication of CN107889040B publication Critical patent/CN107889040B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R19/00—Electrostatic transducers
    • H04R19/04—Microphones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
    • H04R1/028—Casings; Cabinets ; Supports therefor; Mountings therein associated with devices performing functions other than acoustics, e.g. electric candles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/401—2D or 3D arrays of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H04R2430/23—Direction finding using a sum-delay beam-former
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/13—Acoustic transducers and sound field adaptation in vehicles

Abstract

提供一种用于识别运载工具中的听觉滋扰源的系统。该系统包括设备，该设备包括配置为接收可视数据集并且响应于此而产生照相机信号的照相机。该系统包括配置为可移除地耦合到该设备的基座。该基座包括配置为接收听觉滋扰并且响应于此而产生麦克风信号的麦克风阵列。该系统包括配置为与该设备和该基座通信地耦合的处理器模块。该处理器模块配置为响应于麦克风信号而产生原始声图信号。该处理器模块配置为组合照相机信号和原始声图信号并且响应于组合照相机信号和原始声图信号而产生照相机/声图叠加信号。

Description

用于识别运载工具中的听觉滋扰源的系统
技术领域
本发明一般涉及运载工具，更具体地涉及航空器制造、测试和维护。
背景技术
诸如航空器和机动车辆的运载工具通常包括产生听觉滋扰(即，不良噪音)的部件。听觉滋扰不仅使运载工具内的乘坐人员或运载工具外的人分心或烦恼，而且还可能表明部件发生故障。听觉滋扰源通常是由于运载工具的活动部件或固定部件产生的噪音、震动、吱吱声或咔哒声。确定听觉滋扰源可能是困难的。例如，诸如发动机噪声或道路噪声等其他噪声可能部分地掩盖了听觉滋扰，使得难以确定来源。此外，听觉滋扰可能仅偶尔发生，听觉滋扰的再现性使得确定来源很困难。
为了解决这个问题，经过培训以检测和定位听觉滋扰的技术人员和/或工程师在试图确定听觉滋扰源的试运行期间通常占用运载工具。这些试运行可能是昂贵和耗时的。例如，在试运行期间确定航空器中的滋扰噪声源通常需要使用额外的人员(例如技术人员、工程师和飞行员)，使用额外的燃料，以及使航空器脱离正常服务。虽然这个解决方案是足够的，但是还有改进的余地。
因此，期望提供一种用于识别运载工具中的听觉滋扰源的系统及其方法。此外，其它期望的特点和特征将从以下发明内容和具体实施方式以及所附权利要求书并结合附图和上述技术领域和背景技术而变得显而易见。
发明内容
本申请公开了用于识别运载工具中的听觉滋扰源的系统的各种非限制性实施例及其方法的各种非限制性实施例。
在一个非限制性实施例中，该系统包括但不限于设备，该设备包括照相机，该照相机配置为接收视觉数据集，并且响应于该视觉数据集而产生照相机信号。该系统还包括基座(dock)，该基座配置为可移除地耦合到该设备。该基座包括麦克风阵列，该麦克风阵列配置为接收听觉滋扰，并且响应于听觉滋扰而产生麦克风信号。该系统还包括处理器模块，该处理器模块配置为与该设备和该基座通信地耦合。该处理器模块还配置为响应于所述麦克风信号而产生原始声图(soundmap)信号。该处理器模块还配置为组合该照相机信号和该原始声图信号，并且响应于组合该照相机信号和该原始声图信号而产生照相机/声图叠加信号。
在另一个非限制性实施例中，该方法包括但不限于利用包括设备和基座的系统。该设备包括照相机和显示器，该基座包括麦克风阵列。该方法还包括但不限于使用该照相机接收视觉数据集。该方法还包括但不限于响应于该视觉数据集而产生照相机信号。该方法还包括但不限于使用该麦克风阵列接收听觉滋扰。该方法还包括但不限于响应于听觉滋扰而产生麦克风信号。该方法还包括但不限于响应于该麦克风信号而产生原始声图信号。该方法还包括但不限于组合该照相机信号和该原始声图信号。该方法还包括但不限于响应于组合该照相机信号和该原始声图信号而产生照相机/声图叠加信号。该方法还包括但不限于在显示器上显示该照相机/声图叠加信号。
附图说明
以下将结合附图描述本发明，其中相同的附图标记表示相同的元件，并且
图1是示出用于识别运载工具中的听觉滋扰源的系统的非限制性实施例的透视图；
图2是示出图1的系统的非限制性实施例的框图；
图3是示出图1的系统的另一非限制性实施例的框图；
图4是示出图1的系统的非限制性实施例的后视图的正视图；
图5是示出图1的系统的另一非限制性实施例的后视图的正视图；
图6是示出图1的系统的非限制性实施例的前视图的正视图；
图7是示出图1的系统的非限制性实施例的侧视图的透视图；
图8是示出使用图1的系统识别运载工具中的听觉滋扰源的方法的非限制性实施例的流程图。
具体实施方式
下面的详细描述本质上仅是示例性的，并且不意图限制本发明或本发明的应用和用途。此外，不打算受到前面背景技术或下面详细描述中给出的任何理论的约束。应当理解，在所有附图中，相应的附图标记表示相似或相应的部件和特征。如本文所使用的，术语模块是指单独的或任何组合的任何硬件、软件、固件、电子控制部件、处理逻辑和/或处理器设备，包括但不限于：专用集成电路(ASIC)、电子电路、执行一个或多个软件或固件程序的处理器(共享，专用或组)和存储器、组合逻辑电路和/或提供所述功能的其它合适部件。
本申请提出一种用于识别运载工具中的听觉滋扰源的系统。在示例性实施例中，该系统配置为包括诸如智能电话或平板电脑的设备以及基座。该系统可存放在航空器中，并且当出现听觉滋扰时由机组人员(或飞行期间航空器上的任何其他人员)使用。换句话说，该系统可以在当前航空器上的机组人员检测到存在听觉滋扰时立即被利用，而不是如传统上那样，等待由专门的机组人员和装备进行试飞行。在实施例中，该设备包括具有照相机视场(FOV)的照相机，并且该基座包括具有声学FOV的麦克风阵列，该照相机FOV和该声学FOV对准。
当检测到听觉滋扰时，机组人员可以从航空器中的储藏处取出该系统。接下来，机组人员可以将基座耦合到设备。然而，应当理解，在存放期间，基座可以已经耦合到设备。然后，机组人员可将麦克风阵列和照相机朝向接近听觉滋扰源的位置定向。该源可能位于被航空器中的墙壁隐藏的隔间内，使得照相机将拍摄接近该源的墙壁的图像，并且麦克风阵列将捕获从该源发出的听觉滋扰。在实施例中，从听觉滋扰产生声图信号，将声图信号叠加在该图像上以产生照相机/声图叠加信号。在实施例中，照相机/声图叠加信号的图像包括叠加在该位置上的多色阴影，存在与传播声音的位置的区域相对应的阴影和与来自声图信号的声音振幅相对应的阴影的着色。在实施例中，该设备包括显示器，用于显示可以由机组人员观看的照相机/声图叠加信号。
在产生照相机/声图叠加信号之后，机组人员可以将照相机/声图叠加信号保存在设备的存储器中，或者将照相机/声图叠加信号发送给地面人员。然后，机组人员可以从设备上移除基座并将系统存放在储藏处。然而，应当理解，在存放期间，基座可以耦合到设备。在飞行期间或航空器着陆时，地面技术人员可以检查照相机/声图叠加信号并识别听觉滋扰源，而不必在试飞行期间在航空器上进行。
通过阅读本申请的附图以及下面的详细描述，可以获得对上述系统以及用于识别运载工具中的听觉滋扰源的方法的更多理解。
图1是示出用于识别运载工具中的听觉滋扰14的源12的系统10的非限制性实施例的透视图。听觉滋扰14可以是任何声音。在一些实施例中，听觉滋扰14可具有20至20,000Hz的频率。应当理解，尽管将声音称为听觉“滋扰”，但是声音不一定必须是令人讨厌的。换句话说，听觉滋扰14可能是令人愉快的声音。听觉滋扰14的源12可能是由于运载工具的活动部件或固定部件产生的噪音、震动、吱吱声或咔哒声。源12可能被障碍物如墙壁、隔间、面板、地板、天花板等隐藏。
图2是示出系统10的非限制性实施例的框图。系统10包括设备16、基座18和处理器模块20。如下面将更详细地描述的，系统10还可以包括电池22、听音设备24、存储器26、显示器28或它们的组合。
设备16包括被配置为接收视觉数据集的照相机30。视觉数据集可以是图像，如静止图像或视频。继续参考图1，当使用系统10来识别听觉滋扰时，操作者可以使用设备16从接近听觉滋扰14的源12的位置32获得视觉数据集。接近源12的位置32可以包括隐藏源12的障碍物。作为一个非限制性例子，源12可以位于被航空器中的墙壁隐藏的隔间内。在该例子中，照相机30将拍摄接近源12的墙壁的图像。照相机30还配置为响应于视觉数据集而产生照相机信号34。
基座18包括配置为接收听觉滋扰14的麦克风阵列36。在实施例中，麦克风阵列36的频率响应为20至20,000Hz。麦克风阵列36还配置为响应于听觉滋扰14而产生麦克风信号38。在实施例中，由照相机30接收的视觉数据集对应于由麦克风阵列36产生的麦克风信号38。
麦克风阵列36可以包括至少两个麦克风40，如第一麦克风40'和第二麦克风40”。在实施例中，第一麦克风40'和第二麦克风40”各自配置为接收听觉滋扰14。此外，在实施例中，第一麦克风40'配置为响应于听觉滋扰14而产生第一麦克风信号，第二麦克风40”配置为响应于听觉滋扰14而产生第二麦克风信号。应当理解，每个麦克风40可以配置为分别接收听觉滋扰，并且分别响应于接收到听觉滋扰14而产生麦克风信号38。在实施例中，麦克风阵列36包括2至30个、3至20个、或5至15个的量的麦克风40。在某些实施例中，第一麦克风40'和第二麦克风40”彼此间隔0.1至10、0.3至5、或0.5至3英寸的距离。换句话说，在示例性实施例中，当麦克风阵列36包括十五个麦克风40时，十五个麦克风40中的至少两个，如第一麦克风40'和第二麦克风40”，彼此间隔0.1至10、0.3至5、或0.5至3英寸的距离。麦克风40的适当间隔导致原始声图信号48的分辨率增加。在各种实施例中，麦克风40被定向成任何合适的图案，如螺旋图案或五边形图案。
处理器模块20配置为与设备16和基座18通信地耦合。在某些实施例中，处理器模块20还配置为与照相机30和麦克风阵列36通信地耦合。在实施例中，处理器模块20执行计算操作并访问存储在存储器26中的电子数据。处理器模块20可以通过通信信道通信地耦合。通信信道可以是有线、无线或它们的组合。有线通信信道的例子包括但不限于电线、光纤和波导。无线通信信道的例子包括但不限于蓝牙、Wi-Fi、其他基于射频的通信信道和红外线。处理器模块20还可配置为与运载工具或远离运载工具的接收方，如地面人员，通信地耦合。在实施例中，处理器模块20包括波束形成(beamforming)处理器42、校正处理器44、叠加处理器46或它们的组合。应当理解，处理器模块20可以包括用于执行计算操作和访问存储在存储器26中的电子数据的附加处理器。
处理器模块20还配置为响应于麦克风信号38而产生原始声图信号48。更具体地，在某些实施例中，波束形成处理器42配置为响应于麦克风信号38而产生原始声图信号48。在实施例中，原始声图信号48是至少描述声音在环境中的定向传播的多维数据集。原始声图信号48可以进一步描述麦克风信号38的一个或多个量，如振幅、频率或它们的组合。在示例性实施例中，原始声图信号48还描述麦克风信号38的振幅。
在实施例中，麦克风阵列36具有声学视场(FOV)50。在实施例中，声学FOV 50具有从麦克风阵列36延伸的大致圆锥形状。在某些实施例中，处理器模块20还配置为接收声学FOV 50。更具体地，在某些实施例中，校正处理器44配置为接收声学FOV 50。声学FOV 50可以在存储器26中预定义，或者可以基于环境条件(例如，听觉滋扰的水平和/或类型、背景噪声的水平和/或类型、麦克风阵列36到位置32和/或源12的距离等)进行修改。在某些实施例中，处理器模块20配置为从原始声图信号48中去除声学FOV 50之外的麦克风信号38的任何部分，使得原始声图信号48没有声学FOV 50之外的麦克风信号38的任何部分。声学FOV 50具有从麦克风阵列36以1至180、50至165、或100至150度的量延伸的角度大小。
在实施例中，照相机30具有照相机FOV 52。在实施例中，照相机FOV 52具有从照相机30延伸的大致圆锥形状。在某些实施例中，处理器模块20还配置为接收照相机FOV 52。更具体地，在某些实施例中，校正处理器44配置为接收照相机FOV 52。照相机FOV 52具有从照相机30以1至180、50至150、或100至130度的量延伸的角度大小。在某些实施例中，声学FOV50和照相机FOV 52至少部分重叠。在各种实施例中，照相机FOV 52设置在声学FOV 50内。然而，应当理解，声学FOV 50和照相机FOV 52就可以具有任何空间关系，只要声学FOV 50和照相机FOV 52至少部分重叠即可。
在实施例中，处理器模块20还配置为将声学FOV50和照相机FOV 52对准，并且响应于声学FOV 50和照相机FOV 52对准而产生FOV校正信号。更具体地，在某些实施例中，校正处理器44配置为将声学FOV 50和照相机FOV 52对准，并且响应于声学FOV 50和照相机FOV52对准而产生FOV校正信号。在各种实施例中，声学FOV 50的角度大小会被增加或减小以使声学FOV 50和照相机FOV 52彼此对准。在一个示例性实施例中，当照相机FOV 52设置在声学FOV 50内时，声学FOV 50的角度大小被减小以与照相机FOV 52对准。在另一示例性实施例中，当声学FOV 50和照相机FOV 52部分重叠时，声学FOV50的角度大小被减小以使声学FOV 50与照相机FOV 52对准。应当理解，可以调节声学FOV 50和照相机FOV 52的任何属性和/或尺寸以使声学FOV 50和照相机FOV 52彼此对准。可以调节的属性和/或尺寸的例子包括但不限于分辨率、比特率、FOV的横向尺寸、FOV的纵向尺寸、FOV的周长等。
在实施例中，处理器模块20还配置为将FOV校正信号应用于原始声图信号48，并且响应于将FOV校正信号应用于原始声图信号48而产生校正的声图信号56。更具体地，在某些实施例中，校正处理器44配置为将FOV校正信号应用于原始声图信号48，并且响应于将FOV校正信号应用于原始声图信号48而产生校正的声图信号56。在某些实施例中，校正处理器44配置为去除照相机FOV 52之外的原始声图信号48的任何部分，以产生校正的声图信号56。
处理器模块20还配置为组合照相机信号34和原始声图信号48，并且响应于组合照相机信号34和原始声图信号48而产生照相机/声图叠加信号58。更具体地，在某些实施例中，叠加处理器46配置为组合照相机信号34和原始声图信号48，并且响应于组合照相机信号34和原始声图信号48而产生照相机/声图叠加信号58。在实施例中，照相机/声图叠加信号58是位置32的图像，原始声图信号48叠加在位置32上。具体地，在实施例中，照相机/声图叠加信号58的图像包括叠加在位置32上的多色阴影，存在与传播声音的位置32的区域相对应的阴影和与来自原始声图信号48的声音振幅相对应的阴影的着色。
在实施例中，当产生校正的声图信号时，处理器模块20还配置为组合照相机信号34和校正的声图信号56，并且响应于组合照相机信号34和校正的声图信号56而产生照相机/声图叠加信号58。更具体地，在某些实施例中，叠加处理器46配置为组合照相机信号34和校正的声图信号56，并且响应于组合照相机信号34和校正的声图信号56而产生照相机/声图叠加信号58。在实施例中，照相机/声图叠加信号58是位置32的图像，校正的声图信号56叠加在位置32上。具体地，在实施例中，照相机/声图叠加信号58的图像包括叠加在位置32上的多色阴影，存在与传播声音的位置32的区域相对应的阴影和与来自校正的声图信号56的声音振幅相对应的阴影的着色。
图3是示出图1的系统10的另一非限制性实施例的框图。在实施例中，处理器模块20与设备16、基座18或者与设备16和基座18二者相关联。然而，应当理解，处理器模块20可以与设备16和基座18两者分离。在某些实施例中，处理器模块20包括第一处理器模块20'和第二处理器模块20”。第一处理器模块20'可以包括波束形成处理器42和校正处理器44。第二处理器模块20”可以包括叠加处理器46。在一个示例性实施例中，第一处理器模块20'可以与基座18相关联，使得波束形成处理器42和校正处理器44与基座18相关联，并且第二处理器模块20”可以与设备16相关联，使得叠加处理器46与设备16相关联。波束形成处理器42、校正处理器44和叠加处理器46配置为与照相机30和麦克风阵列36彼此通信地耦合。
图4和图5是示出图1的系统10的非限制性实施例的后视图的正视图。基座18具有配置为接收设备16的第一面(未示出)和包括麦克风阵列36的第二面60，麦克风阵列36背对基座18。如图4所示，在某些实施例中，麦克风阵列36包括六个麦克风。如图5所示，在某些实施例中，麦克风阵列36包括十五个麦克风。
如图4和图5所示，设备16的照相机30从基座18露出。基座18可以限定一孔，以从基座18露出照相机30。在实施例中，照相机30偏离麦克风阵列36的中心。由于照相机30相对于麦克风阵列36的偏移布置，可能需要使用校正处理器44对原始声音信号48进行校正。照相机30可以是摄像机、静态照相机、热成像照相机或本领域已知的用于接收视觉数据集的任何其它类型的照相机。在示例性实施例中，照相机30是摄像机。
图6是示出图1的系统10的非限制性实施例的前视图的正视图。基座18配置为可移除地耦合到设备16。设备16具有第一面62和与第一面62相反的第二面(未示出)。设备16的第一面62和第二面可以延伸到设备边缘(未示出)。基座18可以配置为接收设备16并且延伸包围设备边缘，如智能电话的外壳。然而，应当理解，基座18可以仅部分地接收设备16。在某些实施例中，设备16被进一步限定为移动设备。移动设备的例子包括但不限于移动电话(例如，智能电话)、移动计算机(例如，平板电脑或笔记本电脑)、可穿戴设备(例如，智能手表或耳机)、全息投影仪或本领域中已知的包括照相机的任何其它类型的设备。在示例性实施例中，该移动设备是智能电话或平板电脑。
设备16可以包括其自己的处理器，除了执行与设备16本身相关的其他计算功能之外，还作为叠加处理器46。在实施例中，照相机30(图4和图5所示)与设备16的第二面相关联，使得在系统10的使用期间，设备16的第二面和照相机30面向接近听觉滋扰14的源12的位置32。设备16的第一面62可以进一步包括显示器28，显示器28配置为显示照相机/声图叠加信号58。应当理解，显示器28可以配置为显示由系统10产生的任何信号。
图7是示出图1的系统的非限制性实施例的侧视图的透视图。在实施例中，基座18包括第一部分64和与第一部分64相邻的第二部分66。第一部分64配置为可移除地耦合到设备16。第二部分66包括麦克风阵列36、波束形成处理器42和校正处理器44。
如上所述和图1所示，系统10还可以包括存储器26，存储器26配置为在存储器26中限定照相机/声图叠加信号58。然而，应当理解，存储器26可以被配置为限定由系统10产生的任何信号。在某些实施例中，如图2所示，设备16包括存储器26。然而，应当理解，存储器26可以与基座18相关联或者与设备16和基座18分离。
如上所述和图1所示，系统10还可以包括听音设备24，听音设备24配置为广播照相机/声图叠加信号58。然而，应当理解，听音设备24可以配置为广播由系统10产生的任何信号。在某些实施例中，如图2所示，设备16包括听音设备24。然而，应当理解，收听设备24可以与基座18相关联，或者与设备16和基座18分离。
如上所述和图1所示，系统10还可以包括电池22，电池22配置为向设备16和基座18中的至少一个供电。然而，应当理解，电池22可以配置为向系统10的任何部件供电。在某些实施例中，如图2所示，设备16包括电池22。然而，应当理解，电池22可以与基座18相关联或者与设备16和基座18分离。
设备16还可以包括数据端口，并且基座还可以包括数据连接器。数据端口可以配置为接收数据连接器并将数据端口电连接到数据连接器以形成数据连接。设备16和基座18可以配置为通过该数据连接彼此通信地耦合。此外，数据端口和数据连接器可以配置为将电力从设备16的电池22传送到基座18。
继续参考图1-7，图8是示出利用图1的系统10识别运载工具中的听觉滋扰14的源12的方法的非限制性实施例的流程图。在实施例中，该方法包括将基座18耦合到设备16的步骤。在实施例中，该方法包括将基座18朝向源12定向的步骤，使得基座18的第二面60面向源12。该方法还包括使用照相机30接收视觉数据集的步骤。可以从接近听觉滋扰14的源12的位置32接收视觉数据集。该方法还包括响应于视觉数据集产生照相机信号34的步骤。该方法还包括使用麦克风阵列36接收听觉滋扰14的步骤。该方法还包括响应于听觉滋扰14而产生麦克风信号38的步骤。该方法还包括响应于麦克风信号38而产生原始声图信号48的步骤。该方法还包括组合照相机信号34和原始声图信号48的步骤。该方法还包括响应于组合照相机信号34和原始声图形信号48而产生照相机/声图叠加信号58的步骤。该方法还包括在显示器28上显示照相机/声图叠加信号58的步骤。
在实施例中，当麦克风阵列36具有声学FOV 50并且照相机30具有照相机FOV 52时，该方法还包括接收声学FOV 50和照相机FOV 52的步骤。该方法还包括将声学FOV 50和照相机FOV 52对准的步骤。该方法还包括响应于声学FOV 50和照相机FOV 52对准而产生FOV校正信号的步骤。该方法还包括将FOV校正信号应用于原始声图信号48的步骤。该方法还包括响应于将FOV校正信号应用于原始声图信号48而产生校正的声图信号56的步骤。该方法还包括组合照相机信号34和校正的声图信号56的步骤。该方法还包括响应于组合照相机信号34和校正的声图信号56而产生照相机/声图叠加信号58的步骤。
在实施例中，当设备16包括听音设备24时，该方法还包括通过听音设备24广播照相机/声图叠加信号58的步骤。在实施例中，当设备16包括存储器26时，该方法还包括在存储器26中限定照相机/声图叠加信号58。在实施例中，当处理器模块20与位于远离运载工具的接收方，例如地面人员，通信地耦合时，该方法包括将照相机/声图叠加信号58发送给收件人的步骤。
尽管已经在本申请的以上详细描述中给出了至少一个示例性实施例，但是应当理解，存在大量的变型。还应当理解，所述一个或多个示例性实施例仅是例子，并且不意图以任何方式限制本发明的范围、适用性或配置。此外，以上详细描述为本领域技术人员提供用于实现本发明的示例性实施例的方便的路线图。应当理解，在不脱离所附权利要求中阐述的本发明的范围的情况下，可以对示例性实施例中描述的元件的功能和布置进行各种改变。

Claims (20)

1.一种用于识别运载工具中的听觉滋扰源的系统，所述系统包括：
设备，其包括照相机，该照相机配置为接收视觉数据集，并且响应于所述视觉数据集而产生照相机信号；
基座，其配置为可移除地耦合到所述设备，所述基座包括麦克风阵列，所述麦克风阵列配置为接收听觉滋扰，并且响应于所述听觉滋扰而产生麦克风信号；以及
处理器模块，其配置为与所述设备和所述基座通信地耦合，响应于所述麦克风信号而产生原始声图信号，组合所述照相机信号和所述原始声图信号，并且响应于组合所述照相机信号和所述原始声图信号而产生照相机/声图叠加信号。
2.根据权利要求1所述的系统，其中所述基座具有第一面和第二面，第一面配置为接收所述设备，第二面包括所述麦克风阵列，所述麦克风阵列背对所述基座。
3.根据权利要求1所述的系统，其中所述麦克风阵列具有声学视场FOV，所述照相机具有照相机FOV，并且所述声学FOV和所述照相机FOV至少部分重叠。
4.根据权利要求3所述的系统，其中所述处理器模块配置为从所述原始声图信号中去除所述声学FOV之外的所述麦克风信号的任何部分。
5.根据权利要求3所述的系统，其中所述处理器模块还包括校正处理器，所述校正处理器配置为接收所述声学FOV和所述照相机FOV，对准所述声学FOV和所述照相机FOV，响应于对准所述声学FOV和所述照相机FOV而产生FOV校正信号，将所述FOV校正信号应用于所述原始声图信号，并且响应于将所述FOV校正信号应用于所述原始声图信号而产生校正的声图信号。
6.根据权利要求5所述的系统，其中所述校正处理器与所述基座相关联。
7.根据权利要求5所述的系统，其中所述处理器模块包括叠加处理器，所述叠加处理器配置为组合所述照相机信号和所述校正的声图信号，并且响应于组合所述照相机信号和所述校正的声图信号而产生所述照相机/声图叠加信号。
8.根据权利要求7所述的系统，其中所述叠加处理器与所述设备相关联。
9.根据权利要求1所述的系统，其中所述处理器模块包括波束形成处理器，所述波束形成处理器配置为响应于所述麦克风信号而产生所述原始声图信号。
10.根据权利要求9所述的系统，其中所述波束形成处理器与所述基座相关联。
11.根据权利要求1所述的系统，其中所述麦克风阵列包括第一麦克风和第二麦克风，所述第一麦克风和所述第二麦克风各自配置为接收所述听觉滋扰，所述第一麦克风配置为响应于接收所述听觉滋扰而产生第一麦克风信号，所述第二麦克风配置为响应于接收所述听觉滋扰而产生第二麦克风信号。
12.根据权利要求1所述的系统，其中所述设备包括数据端口，并且所述基座包括数据连接器，所述数据端口配置为接收所述数据连接器并将所述数据端口电连接到所述数据连接器以形成数据连接，并且所述设备和所述基座配置为通过所述数据连接而彼此通信地耦合。
13.根据权利要求1所述的系统，其中所述设备还包括存储器，所述存储器配置为在所述存储器中限定所述照相机/声图叠加信号。
14.根据权利要求1所述的系统，其中所述设备还包括配置为显示所述照相机/声图叠加信号的显示器。
15.根据权利要求1所述的系统，其中所述设备被进一步限定为移动设备。
16.一种用于使用包括设备和基座的系统来识别运载工具中的听觉滋扰源的方法，所述设备包括照相机和显示器，所述基座包括麦克风阵列，所述方法包括：
使用所述照相机接收视觉数据集；
响应于所述视觉数据集而产生照相机信号；
使用所述麦克风阵列接收听觉滋扰；
响应于所述听觉滋扰而产生麦克风信号；
响应于所述麦克风信号而产生原始声图信号；
组合所述照相机信号和所述原始声图信号；
响应于组合所述照相机信号和所述原始声图信号而产生照相机/声图叠加信号；以及
在所述显示器上显示所述照相机/声图叠加信号。
17.根据权利要求16所述的方法，其中所述麦克风阵列具有声学视场FOV，所述照相机具有照相机FOV，所述声学FOV和所述照相机FOV至少部分重叠，并且其中所述方法还包括：
接收所述声学FOV和所述照相机FOV；
对准所述声学FOV和所述照相机FOV；
响应于对准所述声学FOV和所述照相机FOV而产生FOV校正信号；
将所述FOV校正信号应用于所述原始声图信号；和
响应于将所述FOV校正信号应用于所述原始声图信号而产生校正的声图信号。
18.根据权利要求17所述的方法，其中所述方法还包括：
组合所述照相机信号和所述校正的声图信号，和
响应于组合所述照相机信号和所述校正的声图信号而产生所述照相机/声图叠加信号。
19.根据权利要求16所述的方法，其中所述设备还包括存储器，并且其中所述方法还包括在所述存储器中限定所述照相机/声图叠加信号。
20.根据权利要求16所述的方法，还包括将所述基座耦合到所述设备。
CN201710909738.3A 2016-09-30 2017-09-29 用于识别运载工具中的听觉滋扰源的系统 Active CN107889040B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/281,560 2016-09-30
US15/281,560 US9883302B1 (en) 2016-09-30 2016-09-30 System for identifying a source of an audible nuisance in a vehicle

Publications (2)

Publication Number Publication Date
CN107889040A true CN107889040A (zh) 2018-04-06
CN107889040B CN107889040B (zh) 2020-09-15

Family

ID=61005600

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710909738.3A Active CN107889040B (zh) 2016-09-30 2017-09-29 用于识别运载工具中的听觉滋扰源的系统

Country Status (3)

Country Link
US (2) US9883302B1 (zh)
CN (1) CN107889040B (zh)
DE (1) DE102017121411A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10594987B1 (en) * 2018-05-30 2020-03-17 Amazon Technologies, Inc. Identifying and locating objects by associating video data of the objects with signals identifying wireless devices belonging to the objects
JP2022547253A (ja) * 2019-07-08 2022-11-11 ディーティーエス・インコーポレイテッド 不一致視聴覚捕捉システム
US20220237660A1 (en) * 2021-01-27 2022-07-28 Baüne Ecosystem Inc. Systems and methods for targeted advertising using a customer mobile computer device or a kiosk

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103941223A (zh) * 2013-01-23 2014-07-23 Abb技术有限公司 声源定位系统及其方法
WO2016148825A1 (en) * 2015-03-19 2016-09-22 Intel Corporation Acoustic camera based audio visual scene analysis

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8229134B2 (en) * 2007-05-24 2012-07-24 University Of Maryland Audio camera using microphone arrays for real time capture of audio images and method for jointly processing the audio images with video images
KR20140114238A (ko) * 2013-03-18 2014-09-26 삼성전자주식회사 오디오와 결합된 이미지 표시 방법
KR102127640B1 (ko) * 2013-03-28 2020-06-30 삼성전자주식회사 휴대 단말 및 보청기와 휴대 단말에서 음원의 위치를 제공하는 방법
JP6089948B2 (ja) 2013-05-14 2017-03-08 日産自動車株式会社 車両の異音判定装置および異音判定方法
CN104376849A (zh) * 2013-08-14 2015-02-25 Abb技术有限公司 区分声音的系统和方法及状态监控系统和移动电话机
US20150098577A1 (en) 2013-10-04 2015-04-09 Js Products, Inc. Systems and methods for identifying noises
US20160165341A1 (en) * 2014-12-05 2016-06-09 Stages Pcs, Llc Portable microphone array
US10028053B2 (en) * 2015-05-05 2018-07-17 Wave Sciences, LLC Portable computing device microphone array
US10909384B2 (en) * 2015-07-14 2021-02-02 Panasonic Intellectual Property Management Co., Ltd. Monitoring system and monitoring method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103941223A (zh) * 2013-01-23 2014-07-23 Abb技术有限公司 声源定位系统及其方法
WO2016148825A1 (en) * 2015-03-19 2016-09-22 Intel Corporation Acoustic camera based audio visual scene analysis

Also Published As

Publication number Publication date
CN107889040B (zh) 2020-09-15
DE102017121411A1 (de) 2018-04-05
US20190028823A1 (en) 2019-01-24
US9883302B1 (en) 2018-01-30
US10225673B2 (en) 2019-03-05

Similar Documents

Publication Publication Date Title
US10536791B2 (en) Vehicular sound processing system
US10279739B2 (en) Modifying an audio panorama to indicate the presence of danger or other events of interest
US20200336827A1 (en) Method and device for processing an audio signal in a vehicle
JP6216096B2 (ja) 雑音減衰のためのマイクロホン配置のシステムおよび方法
CN107889040A (zh) 用于识别运载工具中的听觉滋扰源的系统
CN104737558B (zh) 被供电的耳机配件设备
US20110193935A1 (en) Controlling a video window position relative to a video camera position
DE102018126721A1 (de) Systeme und verfahren zum liefern diskreter autonomer fahrzeuginterner benachrichtigungen
JP6615227B2 (ja) 音声の発生位置を特定するための方法及び端末デバイス
CN111970625B (zh) 录音方法和装置、终端和存储介质
CN108924715A (zh) 电子终端
CN103069843A (zh) Av系统
CN110244930A (zh) 用于使音频均衡以便在电子设备上播放的系统和方法
CN107251577A (zh) 用于汽车中三维声音再现的扬声器布置
CN110798775A (zh) 车辆的扬声器角度调节方法、系统及车辆
US9406310B2 (en) Vehicle voice interface system calibration method
US8965004B2 (en) Method for acquiring audio signals, and audio acquisition system thereof
US11061236B2 (en) Head-mounted display and control method thereof
CN111316665A (zh) 用于扬声器系统的非对称麦克风阵列
CN108632543A (zh) 图像显示方法、装置、存储介质及电子设备
JP2018006967A (ja) 収音制御装置、収音制御システム、収音制御方法およびプログラム
US20190139531A1 (en) Digital active road noise control method and system
JPH08221081A (ja) 音伝達装置
CN208597169U (zh) 电子终端
CN104935913A (zh) 处理多个装置采集的音频或视频信号

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant