CN106124040A - 噪声源可视化数据累积显示方法、数据处理装置及声学照相机系统 - Google Patents

噪声源可视化数据累积显示方法、数据处理装置及声学照相机系统 Download PDF

Info

Publication number
CN106124040A
CN106124040A CN201610564597.1A CN201610564597A CN106124040A CN 106124040 A CN106124040 A CN 106124040A CN 201610564597 A CN201610564597 A CN 201610564597A CN 106124040 A CN106124040 A CN 106124040A
Authority
CN
China
Prior art keywords
voice data
signal
data
noise source
acoustical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610564597.1A
Other languages
English (en)
Other versions
CN106124040B (zh
Inventor
金荣基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pehanorm Co Ltd
Original Assignee
Pehanorm Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pehanorm Co Ltd filed Critical Pehanorm Co Ltd
Publication of CN106124040A publication Critical patent/CN106124040A/zh
Application granted granted Critical
Publication of CN106124040B publication Critical patent/CN106124040B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H3/00—Measuring characteristics of vibrations by using a detector in a fluid
    • G01H3/10—Amplitude; Power
    • G01H3/12—Amplitude; Power by electric means
    • G01H3/125—Amplitude; Power by electric means for representing acoustic field distribution
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H11/00—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves by detecting changes in electric or magnetic properties
    • G01H11/06—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves by detecting changes in electric or magnetic properties by electric means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802—Systems for determining direction or deviation from predetermined direction
    • G01S3/808—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52023—Details of receivers
    • G01S7/52044—Scan converters
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B41/00—Special techniques not covered by groups G03B31/00 - G03B39/00; Apparatus therefor
    • G03B41/02—Special techniques not covered by groups G03B31/00 - G03B39/00; Apparatus therefor using non-intermittently running film
    • G03B41/04—Special techniques not covered by groups G03B31/00 - G03B39/00; Apparatus therefor using non-intermittently running film with optical compensator
    • G03B41/06—Special techniques not covered by groups G03B31/00 - G03B39/00; Apparatus therefor using non-intermittently running film with optical compensator with rotating reflecting member
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/10—Transforming into visible information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1083—Reduction of ambient noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B81—MICROSTRUCTURAL TECHNOLOGY
    • B81B—MICROSTRUCTURAL DEVICES OR SYSTEMS, e.g. MICROMECHANICAL DEVICES
    • B81B2201/00—Specific applications of microelectromechanical systems
    • B81B2201/02—Sensors
    • B81B2201/0292—Sensors not provided for in B81B2201/0207 - B81B2201/0285
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/003—Mems transducers or their use
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H04R2430/23—Direction finding using a sum-delay beam-former

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Otolaryngology (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Health & Medical Sciences (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Abstract

本发明涉及噪声源可视化数据累积显示方法，包括：步骤S10，提供声音及图像信号收集手段100；初始信号收集步骤S20；初始分析步骤S30；初始显现步骤S40；累积信号收集步骤S50；累积信号分析步骤S60；累积显现步骤S70，所述显示部50把所述累积声音数据在所述初始声音数据与图像数据重叠显示的影像上显现。

Description

噪声源可视化数据累积显示方法、数据处理装置及声学照相 机系统
技术领域
本发明涉及噪声源可视化数据累积显示方法及声学照相机系统。
背景技术
声学照相机作为使声音可视化的尖端测量装备，是多媒体信息通信设备、家电、汽车、建筑等多样的领域中需要的新技术装备。
麦克风阵列波束形成(Microphone Array Beamformer)作为噪声源位置探明方法之一，是利用多个麦克风传感器测量噪声源发生的声波，通过对其的信号处理，使噪声源的分布象照片一样可视化的方法。使用的方式是根据各麦克风接收的信号的特性，以在特定发信位置发生的信号进行再构成，测量其的声压大小，把测量的声压级图示成空间上的分布，测量噪声源的位置。虽然声学照相机的测量技法出于特殊领域的研究目的而进行了开发，但由于能够直观地确认噪声源分布的优点，因而正在扩大应用于产业各领域的研究/开发阶段。
发明内容
(要解决的技术问题)
本发明旨在提供一种声学照相机系统，能够有效发现在互不相同地点、不同瞬间发生的噪声、杂音，并使使用者可以轻松识别。
当使用单纯利用声压大小的触发方法时，成为测量分析对象的噪声源在无噪声发生的瞬间，在周围噪声导致的背景噪声增大时触发，发生分析对象噪声特性被不需要的噪声(背景噪声)埋没而不显示的问题，本发明旨在提供一种解决这种问题的噪声源可视化数据累积显示方法及声学照相机系统。
本发明旨在提供一种噪声源可视化数据累积显示方法及声学照相机系统，把机械类、电子装置类、汽车等在不同地点不同瞬间发生的噪声累积显示于一个画面，不仅能够明确掌握多个噪声源的位置，而且能够依次显示噪声源的噪声程度，可以借助于固有的触发或有效数据甄别法，把并非噪声源区域的外部噪声的影响从音场可视化画面上排除。
(解决问题的手段)
本发明的噪声源可视化数据累积显示方法，对使用多个麦克风阵列在互不相同瞬间取得的声音信号进行波束形成，生成至少两个以上的声场可视化数据后，将其映射于一个光学图像上进行累积显示。
本发明的噪声源可视化数据累积显示方法包括：步骤S10，提供声音及图像信号收集手段100，所述声音及图像信号收集手段100包括：MEMS声音感知传感器10，其在曲面上或平面上按均一间隔隔开配置，感知噪声源的声音信号；声音信号收集部20，其把从所述MEMS声音感知传感器10接收的声音信号变换成数字信号，传送给中央处理部40；摄影镜头30，其拍摄所述噪声源的光学影像；初始信号收集步骤S20，在第1时间帧T1期间，所述声音及图像信号收集手段100收集噪声源的声音信号和影像；初始分析步骤S30，所述中央处理部40以在第1时间帧T1期间收集的声音信号为基础，计算各地点的波束功率Pij，生成第1声音数据D1，以所述摄影镜头30的信号为基础，生成影像数据；初始显现步骤S40，显示部50对所述中央处理部40演算的第1声音数据D1与图像数据进行协调、覆盖，在视觉上显现；累积信号收集步骤S50，在比所述第1时间帧T1时间更以后的第2时间帧T2期间，所述声音信号收集部20收集噪声源的声音信号；累积信号分析步骤S60，所述中央处理部40以在第2时间帧T2期间收集的声音信号为基础，计算各地点的波束功率Pij，生成第2声音数据D2；累积显现步骤S70，所述显示部50把利用第2声音数据D2和初始声音数据D1或第2声音数据D2和初始声音数据D1演算的声音矩阵M3映射于图像数据，在视觉上显现。
优选在初始分析步骤或累积信号分析步骤中，中央处理部以在一个时间帧期间收集的声音信号为基础，计算各地点的波束功率值，在利用在其中选择的至少两个波束功率值计算差异值而计算的值大于预先设置的值的情况下，当作有效的声音数据进行处置，映射于图像数据，进行重叠显示，或当作数据存储的触发信号。
优选在初始分析步骤或累积信号分析步骤中，中央处理部在波束功率Pij值中最大值Pmax与最小值Pmin的差异大于预先设置的基准值△P1或最大值Pmax与平均值Pmean的差异大于预先设置的基准值△P2的情况下，当作有效的声音数据进行处置，映射于图像数据，进行重叠显示，或当作数据存储的触发信号。
以在一个时间帧期间收集的声音信号为基础计算的各地点的波束功率Pij值的标准偏差值大于预先设置的基准时，中央处理部判断为发生了有效的噪声，当作有效的声音数据进行处置，映射于图像数据，进行重叠显示，或当作数据存储的触发信号。
(发明效果)
根据本发明，提供一种声学照相机系统，能够有效发现在互不相同地点、不同瞬间发生的噪声、杂音，并使使用者可以轻松识别。
本发明的噪声源可视化数据累积显示方法及声学照相机系统，利用在一个时间段测量的一帧的声音数据矩阵的构成要素间的差异值，根据是否在对象噪声源发生有效的噪声而实施触发，或只有在该情况下才当作有效数据进行处置，解决了如下问题，即，成为测量分析对象的噪声源在无噪声发生的瞬间，在周围噪声导致的背景噪声增大时触发，发生分析对象噪声特性被不需要的噪声(背景噪声)埋没而不显示的问题。
本发明的噪声源可视化数据累积显示方法及声学照相机系统，把机械类、电子装置类、汽车等在不同地点不同瞬间发生的噪声累积显示于一个画面，不仅能够明确掌握多个噪声源的位置，而且能够依次显示噪声源的噪声程度，具有的有利效果是，可以借助于固有的触发或有效数据甄别法，把并非噪声源区域的外部噪声的影响从音场可视化画面上排除。
附图说明
图1a、图1b、图1c是波束形成概念说明图。
图2a、图2b是噪声源可视化数据累积显示声学照相机系统构成图。
图3是噪声源可视化数据累积显示方法流程图。
图4a(Over All Level:45.1dB)、图4b(Over All Level:57.7dB)是在相同位置不同时间测量分析的两个声音数据帧示意图。
图5a、图5b是从按行列显示的声音数据的波束功率电平值(行列要素值，Pij)中去除平均值的声音数据帧示意图。
图5c是对图5a、图5b的声音数据帧的各行列要素值进行平均而显示的声音数据帧示意图；
图5d是进行平均作业的Mij示意图。
符号说明
10:MEMS声音感知传感器
20:声音信号收集部
30:摄影镜头
40:中央处理部
50:显示部
100:声音及图像信号收集手段
具体实施方式
图1a、图1b、图1c是波束形成概念说明图。可以通过下面的数式说明波束形成方法。yi(t)是第i号麦克风测量的信号，z(t)是波束输出。在M个麦克风测量的各个信号中，给予向虚拟声源方向的时间迟延，按传感器乘以加权值后，如果加上信号，则可以获得波束功率。如果实际声源与虚拟声源方向一致，则信号被放大。通过这种方法，可以推定噪声源的位置。可以如下用数式表现波束功率。
b ( t ) = Σ j p m ( t - Δt j )
当在任意的位置存在虚拟噪声源时，可以如下用数式表现噪声源的大小。
s ( t ) = Σ j 1 r j e i [ kr j - ω ( t + Δt j ) ]
z ( t ) = 1 M Σ m = 1 M p m ( t - Δ m )
其中，M为麦克风数量，wM为振幅加权(＝1/M)。
通过下式定义声音压力水平(SPL(Sound Pressure Level)，LP)
S P L ( L p ) = 10 log 10 ( p r m s p r e f ) 2
pref：20μPa(20×10-6N/m2)
可以根据加权函数(考虑距离)表现为预想水平，波束功率水平BPL(Beam-PowerLevel)如下式：
B P L = 10 log 10 ( z r m s p r e f ) 2
如图2至图6所示，本发明的噪声源可视化数据累积显示方法包括提供声音及图像信号收集手段100的步骤S10、初始信号收集步骤S20、初始分析步骤S30、初始显现步骤S40、累积信号收集步骤S50、累积信号分析步骤S60和累积显现步骤S70构成。
<步骤S10、S20>
如图2(a,b)、图3所示，在提供声音及图像信号收集手段100的步骤S10中提供的装置包括：MEMS声音感知传感器10，其在曲面上或平面上按均一间隔隔开配置，感知噪声源的声音信号；声音信号收集部20，其把从所述MEMS声音感知传感器10接收的声音信号变换成数字信号，传送给中央处理部40；摄影镜头30，其拍摄所述噪声源的光学影像。
其中，与MEMS声音感知传感器10相关，微机电系统(MEMS,Micro ElectroMechanical System)是应用半导体制造工序，同时集成微米大小的超微机械部件与电子回路的技术。MEMS麦克风利用加装于薄膜传感器的电极之间的静电容量的变化，测量作用于薄膜的压力导致的薄膜的机械性变形，具有与普通电容器麦克风相同的工作原理。MEMS麦克风利用ADC，把模拟信号直接测量为数字PDM(Pulse Density Modulation)，因而具有不需要利用模拟传感器进行测量时所需的另外的昂贵ADC测量装置的优点。
在初始信号收集步骤S20中，在第1时间帧T1期间，声音及图像信号收集手段100收集噪声源的声音信号和影像。实际上，声音信号收集部20可以无休止期地按连续的时间间隔进行测量。随后根据中央处理部的分析判断，只显示、存储认定为有效数据的时间区间的数据。
<步骤S30、S40>
在一个实施例中，如图4a和图6a所示，在第1声音数据生成步骤中，中央处理部40生成如图4a所示的关于噪声源各地点的波束功率水平矩阵。在初始分析步骤S30中，中央处理部40以在第1时间帧T1期间收集的声音信号为基础，计算各地点的波束功率Pij，生成第1声音数据，以所述摄影镜头30的信号为基础，生成影像数据。
其中，所谓声音数据，可以是各地点的波束功率Pij水平自身，或以各地点的波束功率Pij水平为基础生成的矩阵形态的声音数值。其中，所谓以波束功率Pij水平为基础生成的矩阵形态的声音数值，例如，如图5(a,b)所示，可以是从各地点的波束功率Pij水平去除平均值后的值。或者，可以分为最大值、平均值、总水平等，或是利用最大值、平均值、总水平等进行规范化的值。
在一个实施例中，初始显现步骤S40显现第一个影像。在初始显现步骤S40中，显示部50对中央处理部40演算的第1声音数据与图像数据进行协调，重叠地覆盖，在视觉上显现。
<步骤S50>
在一个实施例中，在累积信号收集步骤S50中，MEMS声音感知传感器10与声音信号收集部20在比第1时间帧T1时间更以后的第2时间帧T2期间，收集噪声源的声音信号。实际上，声音信号收集部20是无休止期地按连续的时间间隔进行测量。随后根据中央处理部的分析判断，只显示或存储认定为有效数据的时间区间的数据。
<步骤S60>
在一个实施例，如图4b所示，在累积信号分析步骤S60中，中央处理部40生成如图4b所示的声音矩阵。中央处理部40以在第2时间帧T2期间收集的声音信号为基础，计算各地点的波束功率Pij，生成累积声音数据。其中，所谓声音数据，可以是各地点的波束功率Pij水平自身，或是以各地点的波束功率Pij水平为基础生成的矩阵形态的声音数值。其中，所谓以波束功率Pij水平为基础生成的矩阵形态的声音数值，例如，如图5(a,b)所示，可以是从各地点的波束功率Pij水平去除平均值后的值。或者，分为最大值、平均值、总水平等，或是利用最大值、平均值、总水平等进行规范化的值。
<步骤S70>
在一个实施例中，如图5c所示，在累积显现步骤S70中，显示部50把第2声音数据D2和初始声音数据D1或者把第5、4、3、2声音数据(D5,D4,D3,D2)和初始声音数据D1映射于一个光学图像上进行显示。
其中，如图5c所示，中央处理部40可以生成利用第2声音数据D2和初始声音数据D1演算的声音矩阵M3，可以将其映射于光学图像上进行显示。在图5c中，所谓利用第2声音数据D2和初始声音数据D1演算的声音矩阵M，是指对图5a和图5b的数据进行平均。此时，所谓演算意味着进行平均的作业的Mij，如图5d所示。
然后，步骤S50、S60、S70例如可以反复1次～10次，在某些情况下，反复远远更多的次数，把不同时段的噪声源发生程度显示于一个画面上。
<有效数据判断、触发>
在初始分析步骤S30或累积信号分析步骤S60中，中央处理部40可以以在一个时间帧期间收集的声音信号为基础，计算各地点的波束功率Pij值，在利用在其中选择至少两个波束功率值计算差异值而计算的值大于预先设置的值的情况下，当作有效的声音数据进行处置，映射于图像数据，进行重叠显示，或当作数据存储的触发信号。在初始分析步骤S30或累积信号分析步骤S60中，中央处理部40在波束功率Pij值中最大值Pmax与最小值Pmin的差异大于预先设置的基准值△P1或最大值Pmax与平均值Pmean的差异大于预先设置的基准值△P2的情况下，可以当作有效的声音数据进行处置，映射于图像数据，进行重叠显示，或当作数据存储的触发信号。以在一个时间帧期间收集的声音信号为基础计算的各地点的波束功率Pij值的标准偏差值大于预先设置的基准时，所述中央处理部40可以判断为发生了有效的噪声，当作有效的声音数据进行处置，映射于图像数据，进行重叠显示，或当作数据存储的触发信号。
如图2至图6所示，本发明的噪声源可视化数据累积显示方法包括MEMS声音感知传感器10、声音信号收集部20、摄影镜头30、中央处理部40和显示部50。如图2b所示，MEMS声音感知传感器10在曲面上或平面上(图中未示出)按均一间隔隔开配置，感知噪声源的声音信号。声音信号收集部20把从MEMS声音感知传感器10接收的声音信号变换成数字信号，传送给中央处理部40。
摄影镜头30拍摄所述噪声源的光学影像。中央处理部40以在时间帧期间收集的声音信号为基础，计算各地点的波束功率Pij，生成声音数据，以摄影镜头30的信号为基础，生成影像数据。显示部50对所述中央处理部40演算的声音数据与图像数据进行协调并重叠覆盖，在视觉上显现。
此时，中央处理部40对使用所述MEMS声音感知传感器10与声音信号收集部20而在互不相同瞬间取得的声音信号进行波束形成，生成至少两个以上的声场可视化影像后，映射于从摄影镜头30获得的一个光学图像上进行显示。中央处理部40可以对在互不相同瞬间取得的声音信号进行波束形成，生成至少两个以上的声音数据后，对其进行规范化后，映射于光学图像上进行累积显示。
本发明就以上言及的优选实施例进行了说明，但本发明的范围并非限定于这种实施例，本发明的范围根据以下的权利要求书而确定，包括属于与本发明均等范围的多样的修订及变形。
需要指出的是，下面的权利要求书中记载的附图符号单纯用于辅助发明的理解，不影响权利范围的解释，不得根据记载的附图符号，缩窄解释权利范围。

Claims (7)

1.一种噪声源可视化数据累积显示数据处理装置，其特征在于，
对使用多个麦克风阵列在互不相同瞬间取得的声音信号进行波束形成，生成至少两个以上的声音数据(D1,D2)后，
把在两个以上的声音数据或由其加工的声音数据(M3)中选择的一者，映射于一个光学图像上进行显示。
2.一种噪声源可视化数据累积显示方法，其特征在于，包括：
步骤(S10)，提供声音及图像信号收集手段(100)，所述声音及图像信号收集手段(100)包括：MEMS声音感知传感器(10)，其在曲面上或平面上按均一间隔隔开配置，感知噪声源的声音信号；声音信号收集部(20)，其把从所述MEMS声音感知传感器(10)接收的声音信号变换成数字信号，传送给中央处理部(40)；摄影镜头(30)，其拍摄所述噪声源的光学影像；
初始信号收集步骤(S20)，在第1时间帧(T1)期间，所述声音及图像信号收集手段(100)收集噪声源的声音信号和影像；
初始分析步骤(S30)，所述中央处理部(40)以在第1时间帧(T1)期间收集的声音信号为基础，计算各地点的波束功率(Pij)，生成第1声音数据(D1)，以所述摄影镜头(30)的信号为基础，生成影像数据；
初始显现步骤(S40)，显示部(50)对所述中央处理部(40)演算的第1声音数据(D1)与图像数据进行协调、覆盖，在视觉上显现；
累积信号收集步骤(S50)，在所述第1时间帧(T1)时间之后的第2时间帧(T2)期间，所述声音信号收集部(20)收集噪声源的声音信号；
累积信号分析步骤(S60)，所述中央处理部(40)以在第2时间帧(T2)期间收集的声音信号为基础，计算各地点的波束功率(Pij)，生成第2声音数据(D2)；
累积显现步骤(S70)，所述显示部(50)把利用第2声音数据(D2)和初始声音数据(D1)或第2声音数据(D2)和初始声音数据(D1)演算的声音矩阵(M3)映射于图像数据，在视觉上显现。
3.根据权利要求1或2所述的噪声源可视化数据累积显示方法，其特征在于，
在初始分析步骤(S30)或累积信号分析步骤(S60)中，
中央处理部(40)以在一个时间帧期间收集的声音信号为基础，计算各地点的波束功率(Pij)值，选择至少两个波束功率值计算差异值，计算的差异值大于预先设置的值的情况下，当作有效的声音数据进行处置，映射于图像数据，进行重叠显示，或当作数据存储的触发信号。
4.根据权利要求3所述的噪声源可视化数据累积显示方法，其特征在于，
在初始分析步骤(S30)或累积信号分析步骤(S60)中，
中央处理部(40)在波束功率(Pij)值中最大值(Pmax)与最小值(Pmin)的差异大于预先设置的基准值(△P1)，
或最大值(Pmax)与平均值(Pmean)的差异大于预先设置的基准值(△P2)的情况下，当作有效的声音数据进行处置，映射于图像数据，进行重叠显示，或当作数据存储的触发信号。
5.根据权利要求4所述的噪声源可视化数据累积显示方法，其特征在于，
以在一个时间帧期间收集的声音信号为基础计算的各地点的波束功率(Pij)值的标准偏差值大于预先设置的基准时，所述中央处理部(40)判断为发生了有效的噪声，当作有效的声音数据进行处置，映射于图像数据，进行重叠显示，或当作数据存储的触发信号。
6.一种噪声源可视化数据累积显示声学照相机系统，在声学照相机系统中，其特征在于，包括：
MEMS声音感知传感器(10)，其在曲面上或平面上，按均一间隔隔开配置，感知噪声源的声音信号；
声音信号收集部(20)，其把从所述MEMS声音感知传感器(10)接收的声音信号变换成数字信号，传送给中央处理部(40)；
摄影镜头(30)，其拍摄所述噪声源的光学影像；
中央处理部(40)，其以在时间帧期间收集的声音信号为基础，计算各地点的波束功率(Pij)，生成声音数据，以摄影镜头(30)的信号为基础，生成影像数据；
显示部(50)，其对所述中央处理部(40)演算的声音数据与图像数据进行协调并重叠覆盖，在视觉上显现；且
所述中央处理部(40)对使用所述MEMS声音感知传感器(10)与声音信号收集部(20)而在互不相同瞬间取得的声音信号进行波束形成，生成至少两个以上的声音数据后，在从所述摄影镜头(30)获得的一个光学图像上，映射并显示累积声音数据(D2)与初始声音数据(D1)或利用累积声音数据(D2)与初始声音数据(D1)演算的声音矩阵(M)。
7.根据权利要求6所述的噪声源可视化数据累积显示声学照相机系统，其特征在于，
所述中央处理部(40)对在互不相同瞬间取得的声音信号进行波束形成，生成至少两个以上的声音数据后，将其规范化后重叠映射于光学图像上进行显示。
CN201610564597.1A 2016-05-18 2016-07-18 噪声源可视化数据累积显示方法、数据处理装置及声学照相机系统 Active CN106124040B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160060542A KR20170130041A (ko) 2016-05-18 2016-05-18 소음원 가시화 데이터 누적 표시방법 및 음향 카메라 시스템
KR10-2016-0060542 2016-05-18

Publications (2)

Publication Number Publication Date
CN106124040A true CN106124040A (zh) 2016-11-16
CN106124040B CN106124040B (zh) 2020-11-13

Family

ID=57284159

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610564597.1A Active CN106124040B (zh) 2016-05-18 2016-07-18 噪声源可视化数据累积显示方法、数据处理装置及声学照相机系统

Country Status (4)

Country Link
US (1) US10446172B2 (zh)
KR (1) KR20170130041A (zh)
CN (1) CN106124040B (zh)
WO (1) WO2017200300A2 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108694937A (zh) * 2017-04-05 2018-10-23 陈荣伟 一种数字视音频监控系统中音频可视化监控的方法
CN109756720A (zh) * 2017-11-02 2019-05-14 弗兰克公司 使用距离信息的声学成像中的焦点和/或视差调整
CN110716526A (zh) * 2018-07-12 2020-01-21 发那科株式会社 噪声源监视装置以及噪声源监视方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180335503A1 (en) * 2017-05-19 2018-11-22 Magna Electronics Inc. Vehicle system using mems microphone module
KR20200032324A (ko) 2018-09-18 2020-03-26 한국철도기술연구원 소음특성 분석 시스템 및 이를 이용한 소음특성 분석 방법
KR102210041B1 (ko) * 2019-10-01 2021-02-01 (주)에스엠인스트루먼트 Cctv 연계형 음향 시각화 시스템
KR20210129942A (ko) * 2020-04-21 2021-10-29 현대자동차주식회사 이음 검사 장치 및 그 검사 방법
US11953592B2 (en) 2020-09-11 2024-04-09 Fluke Corporation System and method for acoustic imaging with an accumulated-time view
JP7459779B2 (ja) * 2020-12-17 2024-04-02 トヨタ自動車株式会社 音源候補抽出システムおよび音源探査方法
US20230012392A1 (en) * 2021-07-12 2023-01-12 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Exterior Microphone Camera System

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1874603A (en) * 1927-01-26 1932-08-30 Freeman H Owens Combined motion picture and sound camera
US3895339A (en) * 1974-03-29 1975-07-15 Westinghouse Electric Corp Acoustic camera apparatus
CN2821546Y (zh) * 2005-07-11 2006-09-27 中国船舶重工集团公司第七一一研究所 声像测量仪
KR20070068138A (ko) * 2005-12-26 2007-06-29 재단법인 포항산업과학연구원 동영상 방식 음향카메라
KR100838239B1 (ko) * 2007-04-17 2008-06-17 (주)에스엠인스트루먼트 음질 표시 장치, 음질 표시 방법, 음질 표시 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체
US20090033748A1 (en) * 2005-06-15 2009-02-05 Nikon Corporation Electronic camera system, electronic camera, cradle, image accumulation device, and program
WO2009030327A1 (de) * 2007-08-31 2009-03-12 Wacker Construction Equipment Ag Anordnung und verfahren zum überwachen eines betonverdichtungsprozesses mit einer schallkamera
KR20090122131A (ko) * 2008-05-22 2009-11-26 경희대학교 산학협력단 영상 및 음향 정보를 이용한 누설감시장치
KR20100013347A (ko) * 2010-01-20 2010-02-09 (주)테슬라시스템 촬영된 영상에 음원 정보를 표시하는 카메라 시스템
US20100272286A1 (en) * 2009-04-27 2010-10-28 Bai Mingsian R Acoustic camera
US20110261192A1 (en) * 2007-08-03 2011-10-27 Sm Instruments Co., Ltd. APPARATUS FOR MEASURING AND DISPLAYING A FACTOR, METHOD FOR MEASURING AND DISPLAYING A FACTOR, A PROGRAM FOR MEASURING AND DISPLAYING A FACTOR BEING CONFIGURED TO CAUSE A COMPUTER TO RUN A METHOD FOR MEASURING AND DISPLAYING A FACTOR, AND SOUND SCANNER (As Amended)
KR101203269B1 (ko) * 2011-11-16 2012-11-21 한국해양연구원 저주파 및 고주파를 선택적으로 운용하는 정밀수중탐사용 수중초음파카메라 및 그 작동방법
KR101213540B1 (ko) * 2011-08-18 2012-12-18 (주)에스엠인스트루먼트 멤스 마이크로폰 어레이를 이용한 음향감지 장치 및 음향카메라
CN103516969A (zh) * 2013-08-23 2014-01-15 Sm器械株式会社 移动式声学照相机及制造方法
KR101471299B1 (ko) * 2013-08-19 2014-12-10 (주)에스엠인스트루먼트 이동식 음향 카메라
JP5654402B2 (ja) * 2011-03-29 2015-01-14 株式会社日立製作所 設備異常経時変化判定装置、設備異常変化判定方法、およびプログラム
US20150123299A1 (en) * 2012-04-16 2015-05-07 Vestas Wind Systems A/S Method of fabricating a composite part and an apparatus for fabricating a composite part
CN104883482A (zh) * 2015-05-15 2015-09-02 萨姆株式会社 机械类状态监视用多频道超声波声学摄像机
US20160277863A1 (en) * 2015-03-19 2016-09-22 Intel Corporation Acoustic camera based audio visual scene analysis

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100217872B1 (ko) 1996-11-22 1999-09-01 윤덕용 이동음원의 홀로그램을 측정하여 음향특성을 영상화하는 시스템 및 방법
JP4115864B2 (ja) * 2003-03-20 2008-07-09 東日本旅客鉄道株式会社 移動体のノイズ測定装置、方法及びプログラム
KR101059081B1 (ko) 2009-05-29 2011-08-24 (주)에스엠인스트루먼트 이동 소음원 가시화 장치 및 가시화 방법
KR101282673B1 (ko) * 2011-12-09 2013-07-05 현대자동차주식회사 음원 위치 추정 방법
JP5367134B1 (ja) * 2012-07-19 2013-12-11 日東紡音響エンジニアリング株式会社 騒音識別装置及び騒音識別方法

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1874603A (en) * 1927-01-26 1932-08-30 Freeman H Owens Combined motion picture and sound camera
US3895339A (en) * 1974-03-29 1975-07-15 Westinghouse Electric Corp Acoustic camera apparatus
US20090033748A1 (en) * 2005-06-15 2009-02-05 Nikon Corporation Electronic camera system, electronic camera, cradle, image accumulation device, and program
CN2821546Y (zh) * 2005-07-11 2006-09-27 中国船舶重工集团公司第七一一研究所 声像测量仪
KR20070068138A (ko) * 2005-12-26 2007-06-29 재단법인 포항산업과학연구원 동영상 방식 음향카메라
KR100838239B1 (ko) * 2007-04-17 2008-06-17 (주)에스엠인스트루먼트 음질 표시 장치, 음질 표시 방법, 음질 표시 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체
US20110261192A1 (en) * 2007-08-03 2011-10-27 Sm Instruments Co., Ltd. APPARATUS FOR MEASURING AND DISPLAYING A FACTOR, METHOD FOR MEASURING AND DISPLAYING A FACTOR, A PROGRAM FOR MEASURING AND DISPLAYING A FACTOR BEING CONFIGURED TO CAUSE A COMPUTER TO RUN A METHOD FOR MEASURING AND DISPLAYING A FACTOR, AND SOUND SCANNER (As Amended)
WO2009030327A1 (de) * 2007-08-31 2009-03-12 Wacker Construction Equipment Ag Anordnung und verfahren zum überwachen eines betonverdichtungsprozesses mit einer schallkamera
KR20090122131A (ko) * 2008-05-22 2009-11-26 경희대학교 산학협력단 영상 및 음향 정보를 이용한 누설감시장치
US20100272286A1 (en) * 2009-04-27 2010-10-28 Bai Mingsian R Acoustic camera
KR20100013347A (ko) * 2010-01-20 2010-02-09 (주)테슬라시스템 촬영된 영상에 음원 정보를 표시하는 카메라 시스템
JP5654402B2 (ja) * 2011-03-29 2015-01-14 株式会社日立製作所 設備異常経時変化判定装置、設備異常変化判定方法、およびプログラム
KR101213540B1 (ko) * 2011-08-18 2012-12-18 (주)에스엠인스트루먼트 멤스 마이크로폰 어레이를 이용한 음향감지 장치 및 음향카메라
US9525926B2 (en) * 2011-08-18 2016-12-20 Sm Instrument Co., Ltd. Acoustic sensor apparatus and acoustic camera for using MEMS microphone array
KR101203269B1 (ko) * 2011-11-16 2012-11-21 한국해양연구원 저주파 및 고주파를 선택적으로 운용하는 정밀수중탐사용 수중초음파카메라 및 그 작동방법
US20150123299A1 (en) * 2012-04-16 2015-05-07 Vestas Wind Systems A/S Method of fabricating a composite part and an apparatus for fabricating a composite part
KR101471299B1 (ko) * 2013-08-19 2014-12-10 (주)에스엠인스트루먼트 이동식 음향 카메라
CN103516969A (zh) * 2013-08-23 2014-01-15 Sm器械株式会社 移动式声学照相机及制造方法
US20160277863A1 (en) * 2015-03-19 2016-09-22 Intel Corporation Acoustic camera based audio visual scene analysis
CN104883482A (zh) * 2015-05-15 2015-09-02 萨姆株式会社 机械类状态监视用多频道超声波声学摄像机

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
钱世锷: ""声学照相机"", 《国外电子测量技术》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108694937A (zh) * 2017-04-05 2018-10-23 陈荣伟 一种数字视音频监控系统中音频可视化监控的方法
CN109756720A (zh) * 2017-11-02 2019-05-14 弗兰克公司 使用距离信息的声学成像中的焦点和/或视差调整
CN109756720B (zh) * 2017-11-02 2022-02-11 弗兰克公司 使用距离信息的声学成像中的焦点和/或视差调整
CN110716526A (zh) * 2018-07-12 2020-01-21 发那科株式会社 噪声源监视装置以及噪声源监视方法
CN110716526B (zh) * 2018-07-12 2023-12-08 发那科株式会社 噪声源监视装置以及噪声源监视方法

Also Published As

Publication number Publication date
US10446172B2 (en) 2019-10-15
KR20170130041A (ko) 2017-11-28
US20170337938A1 (en) 2017-11-23
WO2017200300A3 (ko) 2018-01-04
CN106124040B (zh) 2020-11-13
WO2017200300A2 (ko) 2017-11-23

Similar Documents

Publication Publication Date Title
CN106124040A (zh) 噪声源可视化数据累积显示方法、数据处理装置及声学照相机系统
JP5452158B2 (ja) 音響監視システム、及び音声集音システム
US9103908B2 (en) Security monitoring system using beamforming acoustic imaging and method using the same
JP2014137323A (ja) 異常診断装置およびこれを用いた異常診断方法
US20140241548A1 (en) Acoustic sensor apparatus and acoustic camera for using mems microphone array
JP7021053B2 (ja) 監視システム、プログラム、及び記憶媒体
JP6429042B2 (ja) 地盤特性を自動校正する現地型地震早期警報システム及び関連方法
CN104407056A (zh) 吸声材料阻抗特性及扩容性能测试装置及测试方法
CN109997023A (zh) 用于工业设备的外部故障检测系统的内部故障检测
JPH1151300A (ja) リーク監視装置
KR101962198B1 (ko) 소음원 가시화 데이터 누적 표시방법 및 음향 카메라 시스템
KR101086304B1 (ko) 로봇 플랫폼에 의해 발생한 반사파 제거 신호처리 장치 및 방법
KR20160029252A (ko) 패턴 인식을 이용한 평판 구조물의 결함 위치 탐지 방법 및 그 장치
US11846567B2 (en) Method and apparatus for determining the sensitivity of an acoustic detector device
JP4912612B2 (ja) 音響計測装置
CN104596637A (zh) 利用压强采集次声波的葫芦形共振腔体传感器及演示装置
CN106153363A (zh) 一种基于声像监测的机械设备故障自动识别方法
CN105954653B (zh) 一种gis现场耐压试验击穿点定位方法及系统
CN204463610U (zh) 一种次声波演示装置
JP2007198926A (ja) 音響インテンシティ計測装置及び計測方法
KR20130065022A (ko) 이미지 왜곡 보정을 통한 음장 표시 방법
KR20110102989A (ko) 소음 모니터링 시스템, 소음 모니터링 방법 및 소음 모니터링 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체
CN112857560B (zh) 一种基于声音频率的声学成像方法
JPWO2019160070A1 (ja) 異常音検知装置および異常音検知方法
KR101046683B1 (ko) 음원의 크기를 추정하는 장치 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant