CN106124040B - 噪声源可视化数据累积显示方法、数据处理装置及声学照相机系统 - Google Patents

噪声源可视化数据累积显示方法、数据处理装置及声学照相机系统 Download PDF

Info

Publication number
CN106124040B
CN106124040B CN201610564597.1A CN201610564597A CN106124040B CN 106124040 B CN106124040 B CN 106124040B CN 201610564597 A CN201610564597 A CN 201610564597A CN 106124040 B CN106124040 B CN 106124040B
Authority
CN
China
Prior art keywords
sound
data
signal
noise source
central processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610564597.1A
Other languages
English (en)
Other versions
CN106124040A (zh
Inventor
金荣基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SMI Inc
Original Assignee
SM Instruments Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SM Instruments Co Ltd filed Critical SM Instruments Co Ltd
Publication of CN106124040A publication Critical patent/CN106124040A/zh
Application granted granted Critical
Publication of CN106124040B publication Critical patent/CN106124040B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/10—Transforming into visible information
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H3/00—Measuring characteristics of vibrations by using a detector in a fluid
    • G01H3/10—Amplitude; Power
    • G01H3/12—Amplitude; Power by electric means
    • G01H3/125—Amplitude; Power by electric means for representing acoustic field distribution
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802—Systems for determining direction or deviation from predetermined direction
    • G01S3/808—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H11/00—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves by detecting changes in electric or magnetic properties
    • G01H11/06—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves by detecting changes in electric or magnetic properties by electric means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52023—Details of receivers
    • G01S7/52044—Scan converters
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B41/00—Special techniques not covered by groups G03B31/00 - G03B39/00; Apparatus therefor
    • G03B41/02—Special techniques not covered by groups G03B31/00 - G03B39/00; Apparatus therefor using non-intermittently running film
    • G03B41/04—Special techniques not covered by groups G03B31/00 - G03B39/00; Apparatus therefor using non-intermittently running film with optical compensator
    • G03B41/06—Special techniques not covered by groups G03B31/00 - G03B39/00; Apparatus therefor using non-intermittently running film with optical compensator with rotating reflecting member
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1083—Reduction of ambient noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B81—MICROSTRUCTURAL TECHNOLOGY
    • B81B—MICROSTRUCTURAL DEVICES OR SYSTEMS, e.g. MICROMECHANICAL DEVICES
    • B81B2201/00—Specific applications of microelectromechanical systems
    • B81B2201/02—Sensors
    • B81B2201/0292—Sensors not provided for in B81B2201/0207 - B81B2201/0285
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/003—Mems transducers or their use
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H04R2430/23—Direction finding using a sum-delay beam-former

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Otolaryngology (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Health & Medical Sciences (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Abstract

本发明涉及噪声源可视化数据累积显示方法，包括：步骤S10，提供声音及图像信号收集手段100；初始信号收集步骤S20；初始分析步骤S30；初始显现步骤S40；累积信号收集步骤S50；累积信号分析步骤S60；累积显现步骤S70，所述显示部50把所述累积声音数据在所述初始声音数据与图像数据重叠显示的影像上显现。

Description

噪声源可视化数据累积显示方法、数据处理装置及声学照相 机系统
技术领域
本发明涉及噪声源可视化数据累积显示方法及声学照相机系统。
背景技术
声学照相机作为使声音可视化的尖端测量装备，是多媒体信息通信设备、家电、汽车、建筑等多样的领域中需要的新技术装备。
麦克风阵列波束形成(Microphone Array Beamformer)作为噪声源位置探明方法之一，是利用多个麦克风传感器测量噪声源发生的声波，通过对其的信号处理，使噪声源的分布象照片一样可视化的方法。使用的方式是根据各麦克风接收的信号的特性，以在特定发信位置发生的信号进行再构成，测量其的声压大小，把测量的声压级图示成空间上的分布，测量噪声源的位置。虽然声学照相机的测量技法出于特殊领域的研究目的而进行了开发，但由于能够直观地确认噪声源分布的优点，因而正在扩大应用于产业各领域的研究/开发阶段。
发明内容
(要解决的技术问题)
本发明旨在提供一种声学照相机系统，能够有效发现在互不相同地点、不同瞬间发生的噪声、杂音，并使使用者可以轻松识别。
当使用单纯利用声压大小的触发方法时，成为测量分析对象的噪声源在无噪声发生的瞬间，在周围噪声导致的背景噪声增大时触发，发生分析对象噪声特性被不需要的噪声(背景噪声)埋没而不显示的问题，本发明旨在提供一种解决这种问题的噪声源可视化数据累积显示方法及声学照相机系统。
本发明旨在提供一种噪声源可视化数据累积显示方法及声学照相机系统，把机械类、电子装置类、汽车等在不同地点不同瞬间发生的噪声累积显示于一个画面，不仅能够明确掌握多个噪声源的位置，而且能够依次显示噪声源的噪声程度，可以借助于固有的触发或有效数据甄别法，把并非噪声源区域的外部噪声的影响从音场可视化画面上排除。
(解决问题的手段)
本发明的噪声源可视化数据累积显示方法，对使用多个麦克风阵列在互不相同瞬间取得的声音信号进行波束形成，生成至少两个以上的声场可视化数据后，将其映射于一个光学图像上进行累积显示。
本发明的噪声源可视化数据累积显示方法包括：步骤S10，提供声音及图像信号收集手段100，所述声音及图像信号收集手段100包括：MEMS声音感知传感器10，其在曲面上或平面上按均一间隔隔开配置，感知噪声源的声音信号；声音信号收集部20，其把从所述MEMS声音感知传感器10接收的声音信号变换成数字信号，传送给中央处理部40；摄影镜头30，其拍摄所述噪声源的光学影像；初始信号收集步骤S20，在第1时间帧T1期间，所述声音及图像信号收集手段100收集噪声源的声音信号和影像；初始分析步骤S30，所述中央处理部 40以在第1时间帧T1期间收集的声音信号为基础，计算各地点的波束功率Pij，生成第1声音数据D1，以所述摄影镜头30的信号为基础，生成影像数据；初始显现步骤S40，显示部50对所述中央处理部40演算的第1声音数据D1与图像数据进行协调、覆盖，在视觉上显现；累积信号收集步骤S50，在比所述第1时间帧T1时间更以后的第2时间帧T2期间，所述声音信号收集部20收集噪声源的声音信号；累积信号分析步骤S60，所述中央处理部40以在第2时间帧T2 期间收集的声音信号为基础，计算各地点的波束功率Pij，生成第2声音数据D2；累积显现步骤S70，所述显示部50把利用第2声音数据D2和初始声音数据D1 或第2声音数据D2和初始声音数据D1演算的声音矩阵M3映射于图像数据，在视觉上显现。
优选在初始分析步骤或累积信号分析步骤中，中央处理部以在一个时间帧期间收集的声音信号为基础，计算各地点的波束功率值，在利用在其中选择的至少两个波束功率值计算差异值而计算的值大于预先设置的值的情况下，当作有效的声音数据进行处置，映射于图像数据，进行重叠显示，或当作数据存储的触发信号。
优选在初始分析步骤或累积信号分析步骤中，中央处理部在波束功率Pij值中最大值Pmax与最小值Pmin的差异大于预先设置的基准值△P1或最大值Pmax与平均值Pmean的差异大于预先设置的基准值△P2的情况下，当作有效的声音数据进行处置，映射于图像数据，进行重叠显示，或当作数据存储的触发信号。
以在一个时间帧期间收集的声音信号为基础计算的各地点的波束功率Pij值的标准偏差值大于预先设置的基准时，中央处理部判断为发生了有效的噪声，当作有效的声音数据进行处置，映射于图像数据，进行重叠显示，或当作数据存储的触发信号。
(发明效果)
根据本发明，提供一种声学照相机系统，能够有效发现在互不相同地点、不同瞬间发生的噪声、杂音，并使使用者可以轻松识别。
本发明的噪声源可视化数据累积显示方法及声学照相机系统，利用在一个时间段测量的一帧的声音数据矩阵的构成要素间的差异值，根据是否在对象噪声源发生有效的噪声而实施触发，或只有在该情况下才当作有效数据进行处置，解决了如下问题，即，成为测量分析对象的噪声源在无噪声发生的瞬间，在周围噪声导致的背景噪声增大时触发，发生分析对象噪声特性被不需要的噪声(背景噪声) 埋没而不显示的问题。
本发明的噪声源可视化数据累积显示方法及声学照相机系统，把机械类、电子装置类、汽车等在不同地点不同瞬间发生的噪声累积显示于一个画面，不仅能够明确掌握多个噪声源的位置，而且能够依次显示噪声源的噪声程度，具有的有利效果是，可以借助于固有的触发或有效数据甄别法，把并非噪声源区域的外部噪声的影响从音场可视化画面上排除。
附图说明
图1a、图1b、图1c是波束形成概念说明图。
图2a、图2b是噪声源可视化数据累积显示声学照相机系统构成图。
图3是噪声源可视化数据累积显示方法流程图。
图4a(Over All Level:45.1dB)、图4b(Over All Level:57.7dB)是在相同位置不同时间测量分析的两个声音数据帧示意图。
图5a、图5b是从按行列显示的声音数据的波束功率电平值(行列要素值， Pij)中去除平均值的声音数据帧示意图。
图5c是对图5a、图5b的声音数据帧的各行列要素值进行平均而显示的声音数据帧示意图；
图5d是进行平均作业的Mij示意图。
符号说明
10:MEMS声音感知传感器
20:声音信号收集部
30:摄影镜头
40:中央处理部
50:显示部
100:声音及图像信号收集手段
具体实施方式
图1a、图1b、图1c是波束形成概念说明图。可以通过下面的数式说明波束形成方法。yi(t)是第i号麦克风测量的信号，z(t)是波束输出。在M个麦克风测量的各个信号中，给予向虚拟声源方向的时间迟延，按传感器乘以加权值后，如果加上信号，则可以获得波束功率。如果实际声源与虚拟声源方向一致，则信号被放大。通过这种方法，可以推定噪声源的位置。可以如下用数式表现波束功率。
Figure BDA0001051862490000041
当在任意的位置存在虚拟噪声源时，可以如下用数式表现噪声源的大小。
Figure BDA0001051862490000051
Figure BDA0001051862490000052
其中，M为麦克风数量，wM为振幅加权(＝1/M)。
通过下式定义声音压力水平(SPL(Sound Pressure Level)，LP)
Figure BDA0001051862490000053
pref：20μPa(20×10-6N/m2)
可以根据加权函数(考虑距离)表现为预想水平，波束功率水平BPL (Beam-PowerLevel)如下式：
Figure BDA0001051862490000054
如图2至图5 所示，本发明的噪声源可视化数据累积显示方法包括提供声音及图像信号收集手段100的步骤S10、初始信号收集步骤S20、初始分析步骤 S30、初始显现步骤S40、累积信号收集步骤S50、累积信号分析步骤S60和累积显现步骤S70构成。
<步骤S10、S20>
如图2(a,b)、图3所示，在提供声音及图像信号收集手段100的步骤S10 中提供的装置包括：MEMS声音感知传感器10，其在曲面上或平面上按均一间隔隔开配置，感知噪声源的声音信号；声音信号收集部20，其把从所述MEMS 声音感知传感器10接收的声音信号变换成数字信号，传送给中央处理部40；摄影镜头30，其拍摄所述噪声源的光学影像。
其中，与MEMS声音感知传感器10相关，微机电系统(MEMS,Micro ElectroMechanical System)是应用半导体制造工序，同时集成微米大小的超微机械部件与电子回路的技术。MEMS麦克风利用加装于薄膜传感器的电极之间的静电容量的变化，测量作用于薄膜的压力导致的薄膜的机械性变形，具有与普通电容器麦克风相同的工作原理。MEMS麦克风利用ADC，把模拟信号直接测量为数字 PDM(Pulse Density Modulation)，因而具有不需要利用模拟传感器进行测量时所需的另外的昂贵ADC测量装置的优点。
在初始信号收集步骤S20中，在第1时间帧T1期间，声音及图像信号收集手段100收集噪声源的声音信号和影像。实际上，声音信号收集部20可以无休止期地按连续的时间间隔进行测量。随后根据中央处理部的分析判断，只显示、存储认定为有效数据的时间区间的数据。
<步骤S30、S40>
在一个实施例中，如图4a所示，在第1声音数据生成步骤中，中央处理部40生成如图4a所示的关于噪声源各地点的波束功率水平矩阵。在初始分析步骤S30中，中央处理部40以在第1时间帧T1期间收集的声音信号为基础，计算各地点的波束功率Pij，生成第1声音数据，以所述摄影镜头30的信号为基础，生成影像数据。
其中，所谓声音数据，可以是各地点的波束功率Pij水平自身，或以各地点的波束功率Pij水平为基础生成的矩阵形态的声音数值。其中，所谓以波束功率 Pij水平为基础生成的矩阵形态的声音数值，例如，如图5(a,b)所示，可以是从各地点的波束功率Pij水平去除平均值后的值。或者，可以分为最大值、平均值、总水平等，或是利用最大值、平均值、总水平等进行规范化的值。
在一个实施例中，初始显现步骤S40显现第一个影像。在初始显现步骤S40 中，显示部50对中央处理部40演算的第1声音数据与图像数据进行协调，重叠地覆盖，在视觉上显现。
<步骤S50>
在一个实施例中，在累积信号收集步骤S50中，MEMS声音感知传感器10 与声音信号收集部20在比第1时间帧T1时间更以后的第2时间帧T2期间，收集噪声源的声音信号。实际上，声音信号收集部20是无休止期地按连续的时间间隔进行测量。随后根据中央处理部的分析判断，只显示或存储认定为有效数据的时间区间的数据。
<步骤S60>
在一个实施例，如图4b所示，在累积信号分析步骤S60中，中央处理部40 生成如图4b所示的声音矩阵。中央处理部40以在第2时间帧T2期间收集的声音信号为基础，计算各地点的波束功率Pij，生成累积声音数据。其中，所谓声音数据，可以是各地点的波束功率Pij水平自身，或是以各地点的波束功率Pij水平为基础生成的矩阵形态的声音数值。其中，所谓以波束功率Pij水平为基础生成的矩阵形态的声音数值，例如，如图5(a,b)所示，可以是从各地点的波束功率 Pij水平去除平均值后的值。或者，分为最大值、平均值、总水平等，或是利用最大值、平均值、总水平等进行规范化的值。
<步骤S70>
在一个实施例中，如图5c所示，在累积显现步骤S70中，显示部50把第2 声音数据D2和初始声音数据D1或者把第5、4、3、2声音数据(D5,D4,D3,D2) 和初始声音数据D1映射于一个光学图像上进行显示。
其中，如图5c所示，中央处理部40可以生成利用第2声音数据D2和初始声音数据D1演算的声音矩阵M3，可以将其映射于光学图像上进行显示。在图 5c中，所谓利用第2声音数据D2和初始声音数据D1演算的声音矩阵M，是指对图5a和图5b的数据进行平均。此时，所谓演算意味着进行平均的作业的Mij，如图5d所示。
然后，步骤S50、S60、S70例如可以反复1次～10次，在某些情况下，反复远远更多的次数，把不同时段的噪声源发生程度显示于一个画面上。
<有效数据判断、触发>
在初始分析步骤S30或累积信号分析步骤S60中，中央处理部40可以以在一个时间帧期间收集的声音信号为基础，计算各地点的波束功率Pij值，在利用在其中选择至少两个波束功率值计算差异值而计算的值大于预先设置的值的情况下，当作有效的声音数据进行处置，映射于图像数据，进行重叠显示，或当作数据存储的触发信号。在初始分析步骤S30或累积信号分析步骤S60中，中央处理部40在波束功率Pij值中最大值Pmax与最小值Pmin的差异大于预先设置的基准值△P1或最大值Pmax与平均值Pmean的差异大于预先设置的基准值△P2的情况下，可以当作有效的声音数据进行处置，映射于图像数据，进行重叠显示，或当作数据存储的触发信号。以在一个时间帧期间收集的声音信号为基础计算的各地点的波束功率Pij值的标准偏差值大于预先设置的基准时，所述中央处理部 40可以判断为发生了有效的噪声，当作有效的声音数据进行处置，映射于图像数据，进行重叠显示，或当作数据存储的触发信号。
如图2至图5 所示，本发明的噪声源可视化数据累积显示方法包括MEMS 声音感知传感器10、声音信号收集部20、摄影镜头30、中央处理部40和显示部50。如图2b所示，MEMS声音感知传感器10在曲面上或平面上(图中未示出) 按均一间隔隔开配置，感知噪声源的声音信号。声音信号收集部20把从MEMS 声音感知传感器10接收的声音信号变换成数字信号，传送给中央处理部40。
摄影镜头30拍摄所述噪声源的光学影像。中央处理部40以在时间帧期间收集的声音信号为基础，计算各地点的波束功率Pij，生成声音数据，以摄影镜头 30的信号为基础，生成影像数据。显示部50对所述中央处理部40演算的声音数据与图像数据进行协调并重叠覆盖，在视觉上显现。
此时，中央处理部40对使用所述MEMS声音感知传感器10与声音信号收集部20而在互不相同瞬间取得的声音信号进行波束形成，生成至少两个以上的声场可视化影像后，映射于从摄影镜头30获得的一个光学图像上进行显示。中央处理部40可以对在互不相同瞬间取得的声音信号进行波束形成，生成至少两个以上的声音数据后，对其进行规范化后，映射于光学图像上进行累积显示。
本发明就以上言及的优选实施例进行了说明，但本发明的范围并非限定于这种实施例，本发明的范围根据以下的权利要求书而确定，包括属于与本发明均等范围的多样的修订及变形。
需要指出的是，下面的权利要求书中记载的附图符号单纯用于辅助发明的理解，不影响权利范围的解释，不得根据记载的附图符号，缩窄解释权利范围。

Claims (6)

1.一种噪声源可视化数据累积显示方法，其特征在于，包括：
步骤(S10)，提供声音及图像信号收集手段(100)，所述声音及图像信号收集手段(100)包括：MEMS声音感知传感器(10)，其在曲面上或平面上按均一间隔隔开配置，感知噪声源的声音信号；声音信号收集部(20)，其把从所述MEMS声音感知传感器(10)接收的声音信号变换成数字信号，传送给中央处理部(40)；摄影镜头(30)，其拍摄所述噪声源的光学影像；
初始信号收集步骤(S20)，在第1时间帧(T1)期间，所述声音及图像信号收集手段(100)收集噪声源的声音信号和影像；
初始分析步骤(S30)，所述中央处理部(40)以在第1时间帧(T1)期间收集的声音信号为基础，计算各地点的波束功率(Pij)，生成第1声音数据(D1)，以所述摄影镜头(30)的信号为基础，生成影像数据；
初始显现步骤(S40)，显示部(50)对所述中央处理部(40)演算的第1声音数据(D1)与图像数据进行协调、覆盖，在视觉上显现；
累积信号收集步骤(S50)，在所述第1时间帧(T1)时间之后的第2时间帧(T2)期间，所述声音信号收集部(20)收集噪声源的声音信号；
累积信号分析步骤(S60)，所述中央处理部(40)以在第2时间帧(T2)期间收集的声音信号为基础，计算各地点的波束功率(Pij)，生成第2声音数据(D2)；
累积显现步骤(S70)，所述显示部(50)把利用第2声音数据(D2)和初始声音数据(D1)或第2声音数据(D2)和初始声音数据(D1)演算的声音矩阵(M3)映射于图像数据，在视觉上显现。
2.根据权利要求1所述的噪声源可视化数据累积显示方法，其特征在于，
在初始分析步骤(S30)或累积信号分析步骤(S60)中，
中央处理部(40)以在一个时间帧期间收集的声音信号为基础，计算各地点的波束功率(Pij)值，选择至少两个波束功率值计算差异值，计算的差异值大于预先设置的值的情况下，当作有效的声音数据进行处置，映射于图像数据，进行重叠显示，或当作数据存储的触发信号。
3.根据权利要求2所述的噪声源可视化数据累积显示方法，其特征在于，
在初始分析步骤(S30)或累积信号分析步骤(S60)中，
中央处理部(40)在波束功率(Pij)值中最大值(Pmax)与最小值(Pmin)的差异大于预先设置的基准值(△P1)，
或最大值(Pmax)与平均值(Pmean)的差异大于预先设置的基准值(△P2)的情况下，当作有效的声音数据进行处置，映射于图像数据，进行重叠显示，或当作数据存储的触发信号。
4.根据权利要求3所述的噪声源可视化数据累积显示方法，其特征在于，
以在一个时间帧期间收集的声音信号为基础计算的各地点的波束功率(Pij)值的标准偏差值大于预先设置的基准时，所述中央处理部(40)判断为发生了有效的噪声，当作有效的声音数据进行处置，映射于图像数据，进行重叠显示，或当作数据存储的触发信号。
5.一种噪声源可视化数据累积显示声学照相机系统，在声学照相机系统中，其特征在于，包括：
MEMS声音感知传感器(10)，其在曲面上或平面上，按均一间隔隔开配置，感知噪声源的声音信号；
声音信号收集部(20)，其把从所述MEMS声音感知传感器(10)接收的声音信号变换成数字信号，传送给中央处理部(40)；
摄影镜头(30)，其拍摄所述噪声源的光学影像；
中央处理部(40)，其以在时间帧期间收集的声音信号为基础，计算各地点的波束功率(Pij)，生成声音数据，以摄影镜头(30)的信号为基础，生成影像数据；
显示部(50)，其对所述中央处理部(40)演算的声音数据与图像数据进行协调并重叠覆盖，在视觉上显现；且
所述中央处理部(40)对使用所述MEMS声音感知传感器(10)与声音信号收集部(20)而在互不相同瞬间取得的声音信号进行波束形成，生成至少两个以上的声音数据后，在从所述摄影镜头(30)获得的一个光学图像上，映射并显示累积声音数据(D2)与初始声音数据(D1)或利用累积声音数据(D2)与初始声音数据(D1)演算的声音矩阵(M)。
6.根据权利要求5所述的噪声源可视化数据累积显示声学照相机系统，其特征在于，
所述中央处理部(40)对在互不相同瞬间取得的声音信号进行波束形成，生成至少两个以上的声音数据后，将其规范化后重叠映射于光学图像上进行显示。
CN201610564597.1A 2016-05-18 2016-07-18 噪声源可视化数据累积显示方法、数据处理装置及声学照相机系统 Active CN106124040B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2016-0060542 2016-05-18
KR1020160060542A KR20170130041A (ko) 2016-05-18 2016-05-18 소음원 가시화 데이터 누적 표시방법 및 음향 카메라 시스템

Publications (2)

Publication Number Publication Date
CN106124040A CN106124040A (zh) 2016-11-16
CN106124040B true CN106124040B (zh) 2020-11-13

Family

ID=57284159

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610564597.1A Active CN106124040B (zh) 2016-05-18 2016-07-18 噪声源可视化数据累积显示方法、数据处理装置及声学照相机系统

Country Status (4)

Country Link
US (1) US10446172B2 (zh)
KR (1) KR20170130041A (zh)
CN (1) CN106124040B (zh)
WO (1) WO2017200300A2 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108694937A (zh) * 2017-04-05 2018-10-23 陈荣伟 一种数字视音频监控系统中音频可视化监控的方法
US20180335503A1 (en) * 2017-05-19 2018-11-22 Magna Electronics Inc. Vehicle system using mems microphone module
US11099075B2 (en) * 2017-11-02 2021-08-24 Fluke Corporation Focus and/or parallax adjustment in acoustic imaging using distance information
DE102019118379A1 (de) * 2018-07-12 2020-03-05 Fanuc Corporation Rauschquellenüberwachungsvorrichtung und Rauschquellenüberwachungsverfahren
KR20200032324A (ko) 2018-09-18 2020-03-26 한국철도기술연구원 소음특성 분석 시스템 및 이를 이용한 소음특성 분석 방법
KR102210041B1 (ko) * 2019-10-01 2021-02-01 (주)에스엠인스트루먼트 Cctv 연계형 음향 시각화 시스템
KR20210129942A (ko) * 2020-04-21 2021-10-29 현대자동차주식회사 이음 검사 장치 및 그 검사 방법
KR20230065299A (ko) 2020-09-11 2023-05-11 플루커 코포레이션 누적-시간 뷰에 의한 음향 영상화를 위한 시스템 및 방법
JP7459779B2 (ja) * 2020-12-17 2024-04-02 トヨタ自動車株式会社 音源候補抽出システムおよび音源探査方法
US20230012392A1 (en) * 2021-07-12 2023-01-12 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Exterior Microphone Camera System

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1874603A (en) * 1927-01-26 1932-08-30 Freeman H Owens Combined motion picture and sound camera
US3895339A (en) * 1974-03-29 1975-07-15 Westinghouse Electric Corp Acoustic camera apparatus
KR20070068138A (ko) * 2005-12-26 2007-06-29 재단법인 포항산업과학연구원 동영상 방식 음향카메라
KR100838239B1 (ko) * 2007-04-17 2008-06-17 (주)에스엠인스트루먼트 음질 표시 장치, 음질 표시 방법, 음질 표시 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체
WO2009030327A1 (de) * 2007-08-31 2009-03-12 Wacker Construction Equipment Ag Anordnung und verfahren zum überwachen eines betonverdichtungsprozesses mit einer schallkamera
KR20090122131A (ko) * 2008-05-22 2009-11-26 경희대학교 산학협력단 영상 및 음향 정보를 이용한 누설감시장치
KR20100013347A (ko) * 2010-01-20 2010-02-09 (주)테슬라시스템 촬영된 영상에 음원 정보를 표시하는 카메라 시스템
KR101203269B1 (ko) * 2011-11-16 2012-11-21 한국해양연구원 저주파 및 고주파를 선택적으로 운용하는 정밀수중탐사용 수중초음파카메라 및 그 작동방법
KR101213540B1 (ko) * 2011-08-18 2012-12-18 (주)에스엠인스트루먼트 멤스 마이크로폰 어레이를 이용한 음향감지 장치 및 음향카메라
CN103516969A (zh) * 2013-08-23 2014-01-15 Sm器械株式会社 移动式声学照相机及制造方法
KR101471299B1 (ko) * 2013-08-19 2014-12-10 (주)에스엠인스트루먼트 이동식 음향 카메라
JP5654402B2 (ja) * 2011-03-29 2015-01-14 株式会社日立製作所 設備異常経時変化判定装置、設備異常変化判定方法、およびプログラム
CN104883482A (zh) * 2015-05-15 2015-09-02 萨姆株式会社 机械类状态监视用多频道超声波声学摄像机

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100217872B1 (ko) 1996-11-22 1999-09-01 윤덕용 이동음원의 홀로그램을 측정하여 음향특성을 영상화하는 시스템 및 방법
JP4115864B2 (ja) * 2003-03-20 2008-07-09 東日本旅客鉄道株式会社 移動体のノイズ測定装置、方法及びプログラム
EP1892957A4 (en) * 2005-06-15 2010-02-17 Nikon Corp ELECTRONIC CAMERA SYSTEM, ELECTRONIC CAMERA, MEDIUM, IMAGE ACCUMULATION DEVICE, AND PROGRAM
CN2821546Y (zh) * 2005-07-11 2006-09-27 中国船舶重工集团公司第七一一研究所 声像测量仪
KR100903566B1 (ko) * 2007-08-03 2009-06-23 김영기 인자 측정 및 표시 방법, 인자 측정 및 표시 장치, 인자측정 및 표시 프로그램을 기록한 컴퓨터로 읽을 수 있는매체 및 음향 스캐너
TWI389579B (zh) * 2009-04-27 2013-03-11 Univ Nat Chiao Tung Acoustic camera
KR101059081B1 (ko) 2009-05-29 2011-08-24 (주)에스엠인스트루먼트 이동 소음원 가시화 장치 및 가시화 방법
KR101282673B1 (ko) * 2011-12-09 2013-07-05 현대자동차주식회사 음원 위치 추정 방법
EP2838711B1 (en) * 2012-04-16 2016-07-13 Vestas Wind Systems A/S A method of fabricating a composite part and an apparatus for fabricating a composite part
JP5367134B1 (ja) * 2012-07-19 2013-12-11 日東紡音響エンジニアリング株式会社 騒音識別装置及び騒音識別方法
US9736580B2 (en) * 2015-03-19 2017-08-15 Intel Corporation Acoustic camera based audio visual scene analysis

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1874603A (en) * 1927-01-26 1932-08-30 Freeman H Owens Combined motion picture and sound camera
US3895339A (en) * 1974-03-29 1975-07-15 Westinghouse Electric Corp Acoustic camera apparatus
KR20070068138A (ko) * 2005-12-26 2007-06-29 재단법인 포항산업과학연구원 동영상 방식 음향카메라
KR100838239B1 (ko) * 2007-04-17 2008-06-17 (주)에스엠인스트루먼트 음질 표시 장치, 음질 표시 방법, 음질 표시 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체
WO2009030327A1 (de) * 2007-08-31 2009-03-12 Wacker Construction Equipment Ag Anordnung und verfahren zum überwachen eines betonverdichtungsprozesses mit einer schallkamera
KR20090122131A (ko) * 2008-05-22 2009-11-26 경희대학교 산학협력단 영상 및 음향 정보를 이용한 누설감시장치
KR20100013347A (ko) * 2010-01-20 2010-02-09 (주)테슬라시스템 촬영된 영상에 음원 정보를 표시하는 카메라 시스템
JP5654402B2 (ja) * 2011-03-29 2015-01-14 株式会社日立製作所 設備異常経時変化判定装置、設備異常変化判定方法、およびプログラム
KR101213540B1 (ko) * 2011-08-18 2012-12-18 (주)에스엠인스트루먼트 멤스 마이크로폰 어레이를 이용한 음향감지 장치 및 음향카메라
US9525926B2 (en) * 2011-08-18 2016-12-20 Sm Instrument Co., Ltd. Acoustic sensor apparatus and acoustic camera for using MEMS microphone array
KR101203269B1 (ko) * 2011-11-16 2012-11-21 한국해양연구원 저주파 및 고주파를 선택적으로 운용하는 정밀수중탐사용 수중초음파카메라 및 그 작동방법
KR101471299B1 (ko) * 2013-08-19 2014-12-10 (주)에스엠인스트루먼트 이동식 음향 카메라
CN103516969A (zh) * 2013-08-23 2014-01-15 Sm器械株式会社 移动式声学照相机及制造方法
CN104883482A (zh) * 2015-05-15 2015-09-02 萨姆株式会社 机械类状态监视用多频道超声波声学摄像机

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"声学照相机";钱世锷;《国外电子测量技术》;20090222;第28卷(第2期);5-8页 *

Also Published As

Publication number Publication date
WO2017200300A3 (ko) 2018-01-04
WO2017200300A2 (ko) 2017-11-23
CN106124040A (zh) 2016-11-16
KR20170130041A (ko) 2017-11-28
US10446172B2 (en) 2019-10-15
US20170337938A1 (en) 2017-11-23

Similar Documents

Publication Publication Date Title
CN106124040B (zh) 噪声源可视化数据累积显示方法、数据处理装置及声学照相机系统
EP2677500B1 (en) Event-based image processing apparatus and method
JP6061693B2 (ja) 異常診断装置およびこれを用いた異常診断方法
JP5189536B2 (ja) 監視装置
KR101059081B1 (ko) 이동 소음원 가시화 장치 및 가시화 방법
JP2016086416A (ja) 監視方法及びデバイス
JP4689518B2 (ja) 火災検出装置
GB2560477A (en) Unattended object monitoring device, unattended object monitoring system equipped with same, and unattended object monitoring method
EP3627129A1 (en) Movable ultrasonic image facility diagnosis device
KR20120104711A (ko) 감시구역 상의 객체의 경로를 추적할 수 있는 스테레오 카메라 장치, 그를 이용한 감시시스템 및 방법
US8599278B2 (en) Method for estimating a plane in a range image and range image camera
KR101962198B1 (ko) 소음원 가시화 데이터 누적 표시방법 및 음향 카메라 시스템
CN102990225A (zh) 一种实时检测激光焊接质量的方法
JP2017022664A (ja) モニタリングシステム及びモニタリング方法
JP2007052072A5 (zh)
Buyukozturk et al. Smaller than the eye can see: Vibration analysis with video cameras
JP4912612B2 (ja) 音響計測装置
EP3627148A1 (en) Radiating ultrasonic wave visualization method, and electronic recording medium in which program for performing radiating ultrasonic wave visualization method is recorded
JP2005328236A (ja) 映像監視方法、映像監視装置、および映像監視プログラム
JP3754602B2 (ja) 斜面崩壊予測装置および斜面崩壊予測方法
KR20140109954A (ko) 타깃 사이즈를 추정하기 위한 시스템 및 방법
JP5826663B2 (ja) 音響計測装置
KR101268076B1 (ko) 소리발생 방향 감지에 따른 감시카메라 시스템 및 이를 이용한 위치추정 방법
JP2011188016A (ja) 音源方向推定機能付き監視カメラ装置
JP7463907B2 (ja) 騒音源特定支援システム、および騒音源特定支援方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 706 Zhineng Robot Industrialization Center, Qiutalidong, Yooseong, Daejeon, South Korea

Patentee after: SMI Inc.

Country or region after: Republic of Korea

Address before: 706 Zhineng Robot Industrialization Center, Qiutalidong, Yooseong, Daejeon, South Korea

Patentee before: SM INSTRUMENT CO.,LTD.

Country or region before: Republic of Korea

CP03 Change of name, title or address