CN109752721B - 具有扫描和分析能力的便携式声学成像工具 - Google Patents
具有扫描和分析能力的便携式声学成像工具 Download PDFInfo
- Publication number
- CN109752721B CN109752721B CN201811300836.8A CN201811300836A CN109752721B CN 109752721 B CN109752721 B CN 109752721B CN 201811300836 A CN201811300836 A CN 201811300836A CN 109752721 B CN109752721 B CN 109752721B
- Authority
- CN
- China
- Prior art keywords
- acoustic
- image data
- scene
- parameters
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 142
- 238000003384 imaging method Methods 0.000 title claims abstract description 109
- 238000000034 method Methods 0.000 claims abstract description 94
- 238000004891 communication Methods 0.000 claims abstract description 10
- 230000008859 change Effects 0.000 claims description 21
- 230000005670 electromagnetic radiation Effects 0.000 claims description 10
- 230000009471 action Effects 0.000 claims description 9
- 239000002245 particle Substances 0.000 claims description 4
- 238000003745 diagnosis Methods 0.000 claims description 3
- 238000006073 displacement reaction Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 description 56
- 238000003491 array Methods 0.000 description 48
- 238000012545 processing Methods 0.000 description 42
- 238000004422 calculation algorithm Methods 0.000 description 34
- 238000005259 measurement Methods 0.000 description 32
- 238000007689 inspection Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 238000001228 spectrum Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 230000000737 periodic effect Effects 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 8
- 238000001914 filtration Methods 0.000 description 8
- 230000001351 cycling effect Effects 0.000 description 6
- 238000002156 mixing Methods 0.000 description 6
- 230000004044 response Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000005672 electromagnetic field Effects 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 238000007619 statistical method Methods 0.000 description 3
- 238000001931 thermography Methods 0.000 description 3
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000002405 diagnostic procedure Methods 0.000 description 2
- 238000001093 holography Methods 0.000 description 2
- 230000001939 inductive effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013479 data entry Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 230000001976 improved effect Effects 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 229910052742 iron Inorganic materials 0.000 description 1
- 238000005461 lubrication Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 230000003071 parasitic effect Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000008093 supporting effect Effects 0.000 description 1
- 230000002459 sustained effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/88—Sonar systems specially adapted for specific applications
- G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
- G01H3/00—Measuring characteristics of vibrations by using a detector in a fluid
- G01H3/10—Amplitude; Power
- G01H3/12—Amplitude; Power by electric means
- G01H3/125—Amplitude; Power by electric means for representing acoustic field distribution
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
- G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
- G01S3/801—Details
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
- G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
- G01S3/802—Systems for determining direction or deviation from predetermined direction
- G01S3/808—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems
- G01S3/8083—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems determining direction of source
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R29/00—Monitoring arrangements; Testing arrangements
- H04R29/008—Visual indication of individual signal levels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2430/00—Signal processing covered by H04R, not provided for in its groups
- H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
Abstract
具有扫描和分析能力的便携式声学成像工具。针对声学分析的系统和方法可以包括包括多个声学传感器元件的声学传感器阵列、电磁成像工具以及与声学传感器阵列和电磁成像工具通信的处理器。处理器可以被配置成分析声学数据以提取表示声学场景中的一个或多个位置处的声学信号的一个或多个声学参数并生成包括电磁图像数据和声学图像数据的显示图像。显示图像可以进一步包括指示声学场景中的一个或多个位置处的一个或多个声学参数的信息,诸如包括一个或多个声学参数在其处满足预先确定的条件的场景中的位置处的显示图像中的声学图像数据。
Description
背景技术
目前可用的声学成像设备包括由于多种因素而具有各种频率灵敏度限制的声学传感器阵列配置。例如,一些声学成像设备被设计成响应于大致20 Hz与大致20 kHz之间的声学频率的范围。其他设备(例如,超声波设备)被设计成响应于大致38 kHz与大致45 kHz之间的声学频率的范围。
然而,通常被设计成在20 Hz至20 kHz频率范围内操作的声学成像设备不能有效地检测或成像较高频率,例如,高达或高于大致50 kHz。同样地,被设计成在20 kHz至50kHz频率范围内操作的声学或超声波设备不能有效地检测和/或成像较低频率,例如,处于20 kHz处或低于20 kHz。这可能是出于多种原因。例如,针对较低(例如,可听)频率优化的传感器阵列通常包含比针对较高(例如,超声波)频率优化的传感器阵列隔开更远的各个传感器。
除硬件忧虑以外或替代硬件忧虑,声学成像的不同计算算法和方法通常更好地适于具有不同频率和/或不同的到目标的距离的声学信号,从而使得难以确定如何最好地对场景进行声学成像,特别是对没有经验的用户。
成像不同声学频率范围中的此类差异部分是由于不同频率和波长的声波通过空气的传播的背后的物理性质。某些阵列取向、阵列大小和计算方法通常可以更好地适于具有不同频率特性(例如,可听频率、超声波频率等)的声学信号。
类似地,不同阵列性质和/或计算方法可以更好地适于不同的到目标的距离处的声学场景。例如,用于非常近距离处的目标的近场声学全息术,用于更大距离处的目标的各种声学波束成形方法。
因此,使用声学阵列(例如,用于声学成像)的声学检查可能需要广泛的设备,例如,用于对具有不同频率范围的声学信号的分析,以及理解不同硬件和计算技术何时适于执行声学分析时的专门技能。这可以使得声学检查耗费时间和成本,并且可能需要专家来执行此类检查。
例如,用户可能被迫手动选择各种硬件和/或软件,用于执行声学分析。然而,没有经验的分析师可能无法知道针对给定的声学分析和/或声学场景的硬件和软件的优选组合。另外,从场景内分离感兴趣的声音可以提供其自己的挑战,特别是在杂乱场景中,并且对没有经验的用户来说可能显得乏味和令人沮丧的。例如,给定的声学场景(尤其是在嘈杂环境中)可以包括声学信号,所述声学信号包括可能模糊感兴趣的声学信号的任何数量的频率、强度或其他特性。
传统系统通常需要用户在检查之前手动识别各种感兴趣的声学参数以便分析感兴趣的声音。然而,没有经验的用户可能不知道如何最好地分离和/或识别各种感兴趣的声音。
另外,当在检查相同对象或场景时协力使用多个成像技术(例如,可见光、红外、紫外、声学或其他成像技术)时,用于执行不同成像技术的工具的物理放置和/或其他设置(例如,焦点位置)可能影响分析。例如,每个成像设备的不同位置和/或焦点位置可能导致视差误差,其中得到的图像可能未对准。这可能导致无法正确地定位场景内的感兴趣的区和/或问题区、文档错误和问题的误诊。例如,关于声学图像数据,如果声学图像数据相对于来自其他成像技术(例如,可见光和/或红外图像数据)的图像数据未对准,则可能难以识别感兴趣的声学信号的位置或源。
发明内容
本公开的方面涉及用于执行声学成像并且生成和显示声学图像数据的系统和方法。示例性系统可以包括声学传感器阵列,所述声学传感器阵列包括多个被配置成从声学场景接收声学信号并基于接收的声学信号输出声学数据的声学传感器元件。
系统可以进一步包括电磁成像工具,所述电磁成像工具被配置成从目标场景接收电磁辐射并输出表示接收的电磁辐射的电磁图像数据。此类成像工具可以包括红外成像工具、可见光成像工具、紫外成像工具等等或其组合。
系统可以包括与声学传感器阵列和电磁成像工具通信的处理器。所述处理器可以被配置成接收来自电磁成像工具的电磁图像数据和来自声学传感器阵列的声学数据。所述处理器可以被进一步配置成例如经由反向传播计算基于接收的声学数据和接收的表示到目标的距离的距离信息来生成场景的声学图像数据。
处理器可以被配置成分析从声学传感器阵列接收的声学数据以提取表示声学场景中的一个或多个位置处的声学信号的一个或多个声学参数。处理器可以生成包括电磁图像数据、声学图像数据以及指示所述一个或多个声学参数的信息的显示图像,并且将显示图像传送到显示器,用于呈现给用户。在一些示例中,生成包括指示所述一个或多个声学参数的信息的显示图像包括将电磁图像数据与仅在所述一个或多个声学参数在其处满足预先确定的条件的声学场景中的位置处的声学图像数据组合。
在一些实施例中,系统可以包括存储器,所述存储器包括针对声学场景的一个或多个基线简档。基线简档可以包括声学场景的一个或多个声学参数。处理器可以被配置成将来自声学传感器阵列的声学图像数据和/或声学数据与从存储器取回的基线简档进行比较并基于所述比较向用户输出指示。所述输出可以包括例如通知用户来自声学场景的声音简档中的变化和/或诊断关于声学场景内的一个或多个对象的一个或多个潜在问题。
附图说明
图1是图示声学分析系统的示例的部件的功能框图。
图2A-2C示出了声学分析系统内的示例性声学传感器阵列配置的示意图。
图3A和图3B示出了可见光图像数据和声学图像数据的帧的生成中的视差误差的示意性图示。
图4A和4B示出了可见光图像与声学图像之间的视差校正。
图4C和4D是图4A和4B的彩色版本。
图5是示出了用于生成组合声学图像数据和电磁图像数据的最终图像的示例性方法的过程流程图。
图6是示出了用于由接收的声学信号生成声学图像数据的示例性过程的过程流程图。
图7示出了用于确定用于在声学成像过程期间使用的适当算法和传感器阵列的示例性查找表。
图8A是声学场景中接收的图像数据的频率含量随时间的示例性曲线图。
图8B示出了包括发射声学信号的多个位置的示例性场景。
图8C示出了多个预先定义的频率范围处的多个组合的声学和可见光图像数据。
图9A和9B是包括组合的可见光图像数据和声学图像数据的示例性显示图像。
图10A和10B示出了声学场景中声学数据的频率对时间的示例性曲线图。
图11A-11C示出了用于将声学图像数据与存储在数据库中的历史声学图像数据进行比较的多个示例性方式。
图12是示出了将接收的声学图像数据与数据库进行比较用于对象诊断的示例性操作的过程流程图。
具体实施方式
图1是图示声学分析系统100的示例的部件的功能框图。图1的示例性声学分析系统100可以包括布置在声学传感器阵列102中的多个声学传感器,诸如麦克风、MEMS、换能器等。此类阵列可以是一维、二维或三维的。在各种示例中,声学传感器阵列可以限定任何合适大小和形状。在一些示例中,声学传感器阵列102包括按网格图案布置的多个声学传感器,诸如例如,按垂直列和水平行布置的传感器元件的阵列。在各种示例中,声学传感器阵列102可以包括例如,8 x 8、16 x 16、32 x 32、64 x 64、128 x 128、256 x 256等的垂直列乘水平行的阵列。其他示例是可能的,并且各种传感器阵列不一定需要包括与列相同的行的数量。在一些实施例中,此类传感器可以被定位在衬底上,例如诸如印刷电路板(PCB)衬底。
在图1中所示的配置中,与声学传感器阵列102通信的处理器112可以从所述多个声学传感器中的每个接收声学数据。在声学分析系统100的示例性操作期间,处理器112可以与声学传感器阵列102通信以生成声学图像数据。例如,处理器112可以被配置成分析从布置在声学传感器阵列中的多个声学传感器中的每个接收的数据,并且通过将声学信号“反向传播”到声学信号的源来确定声学场景。在一些实施例中,处理器112可以通过跨越二维场景识别声学信号的各种源位置和强度来生成声学图像数据的数字“帧”。通过生成声学图像数据的帧,处理器112在基本上给定时间点时捕获目标场景的声学图像。在一些示例中,帧包括构成声学图像的多个像素,其中每个像素表示声学信号已经反向传播到其的源场景的一部分。
描述为声学分析系统100内处理器的部件(包括处理器112)可以单独或以任何合适组合被实现为一个或多个处理器,诸如一个或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、可编程逻辑电路系统等等。处理器112还可以包括存储程序指令和相关数据的存储器,所述程序指令和相关数据在由处理器112执行时,致使声学分析系统100和处理器112执行本公开中归因于其的功能。存储器可以包括任何固定或可移动磁性、光学或电介质,诸如RAM、ROM、CD-ROM、硬磁盘或软磁盘、EEPROM等等。存储器还可以包括可以被用于提供存储器更新或存储器容量的增加的可移动存储器部分。可移动存储器还可以允许声学图像数据被容易传递到另一计算设备,或者在声学分析系统100被用于另一应用中之前被移除。处理器112还可以被实现为片上系统,其将计算机或其他电子系统中的一些或所有部件集成到单个芯片中。处理器112(处理电路系统)可以被配置成将处理的数据传送到显示器114或其他输出/控制设备118。
在一些实施例中,声学传感器阵列102中的声学传感器生成对应于由每个声学传感器接收的声学信号的一系列信号以表示声学图像。在通过扫描构成声学传感器阵列102的所有的行来获得来自每个声学传感器的信号时生成声学图像数据的“帧”。在一些示例中,处理器112可以以足以生成声学图像数据的视频表示(例如30 Hz或60 Hz)的速率获取声学图像帧。独立于具体电路系统,声学分析系统100可以被配置成操纵表示目标场景的声学简档的声学数据,以便提供可以被显示、存储、传输或者由用户以其他方式利用的输出。
在一些实施例中,所接收声学信号的“反向传播”以便生成声学图像数据包括例如经由处理器分析声学传感器阵列102中的多个声学传感器处的所接收信号。在各种示例中,执行反向传播是一个或多个参数的函数,所述参数包括到目标的距离、频率、声音强度(例如,dB水平)传感器阵列尺寸/配置,包括例如一个或多个阵列内的各个传感器的间隔和布置等。在一些实施例中,此类参数可以被预编程到系统中,例如,被预编程在存储器中。例如,声学传感器阵列102性质可以被存储在存储器中,诸如内部存储器或特别地与声学传感器阵列102相关联的存储器。其他参数(诸如到目标的距离)可以以多种方式接收。例如,在一些示例中,声学分析系统100包括与处理器112通信的距离测量工具104。距离测量工具可以被配置成提供表示从距离测量工具104到目标场景中的特定位置的距离的距离信息。各种距离测量工具可以包括激光测距仪或其他已知的距离测量设备,诸如其他光学或音频距离测量设备。附加地或替代地,距离测量工具可以被配置成生成三维深度数据,使得目标场景的每个部分具有相关联的到目标的距离值。因此,在一些示例中,如本文中所使用的到目标的距离测量结果可以对应于到目标场景内的每个位置的距离。此类三维深度数据可以例如经由具有目标场景的不同视图的多个成像工具或者经由其他已知距离扫描工具生成。通常,在各种实施例中,可以使用距离测量工具来执行一个或多个距离测量功能,包括但不限于:激光距离测量、主动声波距离测量、被动超声波距离测量、LIDAR距离测量、RADAR距离测量、毫米波距离测量等等。
来自距离测量工具104的距离信息可以被用于反向传播计算中。附加地或替代地,系统100可以包括用户界面116,用户可以将到目标的距离参数手动键入到其中。例如,如果到怀疑产生声学信号的部件的距离是已知的或难以借助距离测量工具104测量,则用户可以将到目标的距离值键入到系统100中。
在所图示实施例中,声学分析系统100包括用于生成表示目标场景的图像数据的电磁成像工具103。示例性电磁成像工具可以被配置成从目标场景接收电磁辐射并生成表示所接收电磁辐射的电磁图像数据。在一些示例中,电磁成像工具103可以被配置成生成表示电磁光谱内的特定波长的范围(诸如红外辐射、可见光辐射和紫外辐射)的电磁图像数据。例如,在一些实施例中,电磁定时工具103可以包括被配置成生成表示电磁光谱中的特定波长的范围的图像数据的一个或多个相机模块,诸如例如,可见光相机模块106。
可见光相机模块通常是众所周知的。例如,各种可见光相机模块被包括在智能电话和许多其他设备中。在一些实施例中,可见光相机模块106可以被配置成从目标场景接收可见光能量并使所述可见光能量聚焦在可见光传感器上,用于例如可以以可见光图像的形式显示在显示器114上和/或存储在存储器中的可见光能量数据的生成。可见光相机模块106可以包括用于执行归因于本文中的模块的功能的任何合适部件。在图1的示例中,可见光相机模块106被图示为包括可见光透镜组件108和可见光传感器110。在一些此类实施例中,可见光透镜组件108包括至少一个透镜,其获取由目标场景发射的可见光能量并使所述可见光能量聚焦在可见光传感器110上。可见光传感器110可以包括多个可见光传感器元件,诸如例如,CMOS检测器、CCD检测器、PIN二极管、雪崩光电二极管等等。可见光传感器110通过生成可以被转换并作为可见光图像显示在显示器114上的电信号来对所聚焦能量作出响应。在一些示例中,可见光模块106可由用户配置,并且可以按多种格式例如向显示器114提供输出。可见光相机模块106可以包括用于改变照明或其他操作条件或用户偏好的补偿功能。可见光相机模块可以提供包括图像数据的数字输出,其可以包括多种格式(例如,RGB、CYMK、YCbCr等)的数据。
在一些示例性可见光相机模块106的操作中,从目标场景接收的光能可以通过可见光透镜组件108并且被聚焦在可见光传感器110上。当所述光能照射在可见光传感器110的可见光传感器元件上时,光电探测器内的光子可以被释放并转换成检测电流。处理器112可以处理此检测电流以形成目标场景的可见光图像。
在声学分析系统100的使用期间,处理器112可以控制可见光相机模块106从所捕获目标场景生成可见光数据,用于创建可见光图像。可见光数据可以包括指示与所捕获目标场景的不同部分相关联的(一种或多种)颜色和/或与所捕获目标场景的不同部分相关联的光的量值的光度数据。处理器112可以通过单次测量声学分析系统100的每个可见光传感器元件的响应来生成可见光图像数据的“帧”。通过生成可见光数据的帧,处理器112在给定时间点时捕获目标场景的可见光图像。处理器112还可以重复测量声学分析系统100的每个可见光传感器元件的响应,以便生成目标场景的动态可见光图像(例如,视频表示)。在一些示例中,可见光相机模块106可以包括其自己的专用处理器或能够操作可见光相机模块106的其他电路系统(例如,ASIC)。在一些此类实施例中,专用处理器与处理器112通信,用于向处理器112提供可见光图像数据(例如,RGB图像数据)。在替代实施例中,用于可见光相机模块106的专用处理器可以被集成到处理器112中。
在可见光相机模块106的每个传感器元件起传感器像素的作用的情况下,处理器112可以通过将每个传感器元件的电响应转换成可以被处理的时间复用电信号来生成来自目标场景的可见光的二维图像或图片表示,例如用于在显示器114上可视化和/或存储在存储器中。
处理器112可以控制显示器114以显示所捕获目标场景的可见光图像的至少一部分。在一些示例中,处理器112控制显示器114,使得可见光相机模块106的每个传感器元件的电响应与显示器114上的单个像素相关联。在其他示例中,处理器112可以增加或减小可见光图像的分辨率,使得显示器114上显示的像素多于或少于可见光相机模块106中的传感器元件。处理器112可以控制显示器114以显示整个可见光图像(例如,由声学分析系统100捕获的目标场景的所有部分)或小于整个可见光图像(例如,由声学分析系统100捕获的整个目标场景的较小端口)。
在一些实施例中,处理器112可以控制显示器114以同时显示由声学分析系统100捕获的可见光图像的至少一部分和经由声学传感器阵列102生成的声学图像的至少一部分。此类同时显示可能是有用的,因为操作员可以参考显示在可见光图像中的特征来帮助查看同时显示在声学图像中的声学信号的源。在各种示例中,处理器112可以控制显示器114按并排布置、按其中所述图像中的一个环绕图像中的其他图像的画中画布置或其中同时显示可见光和声学图像的任何其他合适布置显示可见光图像和声学图像。
例如,处理器112可以控制显示器114以按组合布置显示可见光图像和声学图像。在此类布置中,对于表示目标场景的一部分的可见光图像中的像素或像素的集合,在声学图像中存在表示目标场景的基本上相同部分的对应像素或像素的集合。在各种实施例中,声学和可见光图像的大小和/或分辨率无需相同。因此,在声学或可见光图像中的一个中可能存在对应于声学或可见光图像中的另一个中的单个像素的像素的集合,或具有不同大小的像素的集合。类似地,在可见光或声学图像中的一个中可能存在对应于另一图像中的像素的集合的像素。因此,如本文中所使用的那样,对应并不需要一对一像素关系,而是可以包括不匹配大小的像素或像素的组。可以执行图像的不匹配大小的区域的各种组合技术,诸如对所述图像中的一个向上或向下采样,或者将像素与对应的像素的集合的平均值组合。其他示例是已知的并且在本公开的范围内。
因此,对应像素无需具有直接一对一关系。而是,在一些实施例中,单个声学像素具有多个对应可见光像素,或者可见光像素具有多个对应声学像素。附加地或替代地,在一些实施例中,并非所有可见光像素都具有对应声学像素,或者反之亦然。此类实施例可以指示例如如先前讨论的画中画类型显示。因此,可见光像素将不一定在可见光图像内具有与对应声学像素相同的像素坐标。因此,如本文中所使用的那样,对应像素通常是指来自任何图像(例如,可见光图像、声学图像、组合图像、显示图像等)的像素,其包括来自目标场景的基本上相同部分的信息。此类像素无需具有图像之间的一对一关系,并且无需在它们的相应图像内具有类似坐标位置。
类似地,具有对应像素(即,表示目标场景的相同部分的像素)的图像可以称为对应图像。因此,在一些此类布置中,对应可见光图像和声学图像可以在对应像素处相互叠加。操作员可以与用户界面116交互以控制显示在显示器114上的图像中的一个或两者的透明度或不透明度。例如,操作员可以与用户界面116交互以在完全透明与完全不透明之间调整声学图像,并且还在完全透明与完全不透明之间调整可见光图像。可以被称为阿尔法混合布置的此类示例性组合布置可以允许操作员调整显示器114以显示在仅声学图像和仅可见光图像的极端之间的所述两个图像的任何重叠组合的仅声学图像、仅可见光图像。处理器112还可以将场景信息与其他数据(诸如警报数据等等)组合。通常,可见光和声学图像的阿尔法混合组合可以包括从100%声学和0%可见光到0%声学和100%可见光的任何地方。在一些实施例中,可以由相机的用户调整混合的量。因此,在一些实施例中,可以在100%可见光与100%声学之间调整混合图像。
另外,在一些实施例中,处理器112可以解释和执行来自用户界面116和/或输出/控制设备118的命令。此外,可以使用输入信号来改变发生在处理器112中的可见光和/或声学图像数据的处理。
操作员可以经由用户界面116与声学分析系统100交互,用户界面116可以包括按钮、键或用于从用户接收输入的另一机构。操作员可以经由显示器114从声学分析系统100接收输出。显示器114可以被配置成按任何可接受调色板或颜色方案显示声学-图像和/或可见光图像,并且调色板可以例如响应于用户控制来变化。在一些实施例中,声学图像数据可以按调色板呈现,以便表示来自场景中的不同位置的声学数据的变化量值。例如,在一些示例中,显示器114被配置成按单色调色板(诸如灰度级)显示声学图像。在其他示例中,显示器114被配置成按彩色调色板(诸如例如,琥珀色、铁弓色、蓝红色或其他高对比度颜色方案)显示声学图像。还考虑灰度级和彩色调色板显示的组合。在一些示例中,被配置成显示此类信息的显示器可以包括用于生成和呈现此类图像数据的处理能力。在其他示例中,被配置成显示此类信息的显示器可以包括从其他部件(诸如处理器112)接收图像数据的能力。例如,处理器112可以针对待显示的每个像素生成值(例如,RGB值、灰度级值或其他显示选项)。显示器114可以接收此类信息并将每个像素映射到视觉显示器中。
虽然处理器112可以控制显示器114来以任何合适布置同时显示声学图像的至少一部分和可见光图像的至少一部分,但是画中画布置可以通过按相邻对准显示相同场景的对应可视图像来帮助操作员容易聚焦和/或解释声学图像。
电源(未示出)将操作电力输送到声学分析系统100的各种部件。在各种示例中,电源可以包括可再充电或不可再充电电池以及发电电路、AC电力、感应电力拾取器、光伏电源或任何其他适当电力供应部件。电力供应部件的组合也是可能的,诸如可再充电电池和被配置成提供电力以操作设备和/或为可再充电电池充电的另一部件。
在声学分析系统100的操作期间,处理器112借助与被存储在存储器中的程序信息相关联的指令控制声学传感器阵列102和可见光相机模块106以生成目标场景的可见光图像和声学图像。处理器112进一步控制显示器114以显示由声学分析系统100生成的可见光图像和/或声学图像。
如指出的那样,在一些情况下,可能难以在声学图像中识别和区分目标场景的真实世界(可见)特征。除用可见光信息补充声学图像以外,在一些实施例中,强调目标场景内的可视边缘可能是有用的。在一些实施例中,可以对目标场景的可见光图像执行已知边缘检测方法。由于声学图像与可见光图像之间的对应关系,确定为表示目标场景中的可视边缘的可见光像素对应于也表示声学图像中的可视边缘的声学像素。将理解,如本文中所使用的那样,“边缘”无需指代对象的物理边界,而是可以指代可见光图像中的任何足够清晰的梯度。示例可以包括对象的物理边界、对象内的颜色变化、跨越场景的阴影等等。
虽然通常参考图1描述为包括可见光相机模块106,但是在一些示例中,声学分析系统100的电磁成像工具103可以附加地或替代地包括能够生成表示多种光谱的图像数据的成像工具。例如,在各种示例中,电磁成像工具103可以包括能够生成红外图像数据、可见光图像数据、紫外图像数据或任何其他有用波长或其组合的一个或多个工具。在一些实施例中,声学成像系统可以包括具有红外透镜组件和红外传感器阵列的红外相机模块。可以包括用于与例如红外相机模块对接的附加部件,诸如在2015年8月27日提交的并且题为“EDGE ENHANCEMENT FOR THERMAL-VISIBLE COMBINED IMAGES AND CAMERAS”的美国专利申请No. 14/837,757中描述的那些,所述美国专利申请被转让给本申请的受让人并且通过引用以其全文合并于此。
在一些示例中,可以混合两个或更多个数据流用于显示。例如,包括可见光相机模块106、声学传感器阵列102和红外相机模块(图1中未示出)的示例性系统可以被配置成产生包括可见光(VL)图像数据、红外(IR)图像数据和声学(Acoustic(声学))图像数据的混合的输出图像。在示例性混合方案中,显示图像可以由α × IR + β × VL + γ ×Acoustic表示,其中α + β + γ = 1。通常,可以组合任何数量的数据流用于显示。在各种实施例中,例如α、β和γ的混合比率可以由用户设置。附加地或替代地,所设置显示程序可以被配置成基于警报条件(例如,一个或多个数据流中的一个或多个值满足预先确定的阈值)或其他条件包括不同图像数据流,例如,如在题为“VISIBLE LIGHT AND IR COMBINED IMAGE CAMERAWITH A LASER POINTER”的美国专利No.7,538,326中描述的那样,所述美国专利被转让给本申请的受让人并且通过引用以其全文合并于此。
关于图1描述的声学分析系统100中的多个部件中的一个可以被包括在便携式(例如,手持式)声学分析工具中。例如,在一些实施例中,便携式声学分析工具可以包括被配置成容纳声学分析工具中的部件的壳体130。在一些示例中,系统100的一个或多个部件可以被定位在声学分析工具的壳体130的外部。例如,在一些实施例中,处理器112、显示器114、用户界面116和/或输出控制设备118可以被定位在声学分析工具的壳体的外部并且可以例如经由无线通信(例如,蓝牙通信、Wi-Fi等)与各种其他系统部件通信。在声学分析工具的外部的此类部件可以例如经由外部设备(诸如计算机、智能电话、平板计算机、可穿戴设备等等)提供。附加地或替代地,被配置成相对于声学分析工具充当主设备或从设备的其他测试和测量或数据获取工具可以类似地提供在声学分析工具的外部的声学分析系统的各种部件。外部设备可以经由有线和/或无线连接与便携式声学分析工具通信,并且可以被用于执行各种处理、显示和/或对接步骤。
在一些实施例中,此类外部设备可以提供冗余功能作为容纳在便携式声学分析工具中的部件。例如,在一些实施例中,声学分析工具可以包括用于显示声学图像数据的显示器并且可以被进一步配置成将图像数据传送到外部设备用于存储和/或显示。类似地,在一些实施例中,用户可以经由在智能电话、平板计算机、计算机等等上运行的应用(“app”)与声学分析工具对接,以便执行一个或多个功能,所述一个或多个功能也能够借助声学分析工具本身来执行。
图2A是声学分析系统内的声学传感器阵列的示例性配置的示意图。在所图示的示例中,声学传感器阵列202包括多个第一声学传感器(以白色示出)和多个第二声学传感器(加阴影)。第一声学传感器被布置成第一阵列220,并且第二声学传感器被布置成第二阵列222。在一些示例中,第一阵列220和第二阵列222可以被选择性地用于接收声学信号,用于生成声学图像数据。例如,在一些配置中,特定声学传感器阵列对特定声学频率的灵敏度是声学传感器元件之间的距离的函数。
在一些配置中,与更远间隔的传感器元件(例如,第一阵列220)相比,更紧挨间隔的传感器元件(例如,第二阵列222)能够更好地分辨高频声学信号(例如,具有大于20 kHz的频率的声音,诸如在20 kHz与100 kHz之间的超声信号)。类似地,与更紧密间隔的传感器元件(例如,第二阵列222)相比,更远间隔的传感器元件(例如,第一阵列220)可以更好地适于检测较低频率声学信号(例如,< 20 kHz)。可以提供各种声学传感器阵列,其具有彼此间隔开的传感器元件,用于检测各种频率范围(诸如次声频率(< 20 Hz)、可听频率(在大致20Hz与20 kHz之间)、超声频率(在20 kHz与100 kHz之间))的声学信号。在一些实施例中,可以使用部分阵列(例如,来自阵列220的每隔一个声学传感器元件)用于优化对特定频带的检测。
另外,在一些示例中,一些声学传感器元件可以更好地适于检测具有不同频率特性(诸如低或高频率)的声学信号。因此,在一些实施例中,被配置用于检测低频声学信号的阵列,诸如具有更远间隔的传感器元件的第一阵列220,可以包括更好地适于检测低频声学信号的第一声学传感器元件。类似地,被配置用于检测较高频率声学信号的阵列,诸如第二阵列222,可以包括更好地适于检测高频声学信号的第二声学传感器元件。因此,在一些示例中,声学传感器元件的第一阵列220和第二阵列222可以包括不同类型的声学传感器元件。替代地,在一些实施例中,第一阵列220和第二阵列222可以包括相同类型的声学传感器元件。
因此,在示例性实施例中,声学传感器阵列202可以包括多个声学传感器元件阵列,诸如第一阵列220和第二阵列222。在一些实施例中,阵列可以单独地或组合地使用。例如,在一些示例中,用户可以选择使用第一阵列220、使用第二阵列222或者同时使用第一阵列220和第二阵列222两者,用于执行声学成像过程。在一些示例中,用户可以经由用户界面选择要使用哪个或哪些阵列。附加地或替代地,在一些实施例中,声学分析系统可以基于对所接收声学信号或其他输入数据(诸如预期频率范围等等)的分析来自动选择要使用的(一个或多个)阵列。虽然图2A中所示的配置通常包括通常按矩形格子布置的两个阵列(第一阵列220和第二阵列222),但是将理解,多个声学传感器元件可以以任何形状来分组成任何数量的离散阵列。此外,在一些实施例中,一个或多个声学传感器元件可以被包括在可以被选择用于操作的多个不同阵列中。如在本文中其他地方描述的那样,在各种实施例中,用于反向传播声学信号以从场景建立声学图像数据的过程是基于声学传感器元件的布置来执行的。因此,声学传感器的布置可以是已知的或者以其他方式由处理器可访问以便执行声学图像生成技术。
图2A的声学分析系统进一步包括定位在声学传感器阵列202内的距离测量工具204和相机模块206。相机模块206可以表示电磁成像工具(例如,103)的相机模块,并且可以包括可见光相机模块、红外相机模块、紫外相机模块等等。另外,虽然图2A中未示出,但是声学分析系统可以包括与相机模块206相同类型的或不同类型的一个或多个附加相机模块。在所图示示例中,距离测量工具204和相机模块206被定位在第一阵列220和第二阵列222中的声学传感器元件的格子内。虽然示出为被布置在第一阵列220和第二阵列222内的格点之间,但是在一些实施例中,一个或多个部件(例如,相机模块206和/或距离测量工具204)可以被定位在第一阵列220和/或第二阵列222中的对应一个或多个格点处。在一些此类实施例中,(一个或多个)部件可以被定位在格点处代替根据格子布置通常将在此类位置中的声学传感器元件。
如在本文中其他地方描述的那样,声学传感器阵列可以包括按多种配置中的任和配置布置的声学传感器元件。图2B和2C是图示示例性声学传感器阵列配置的示意图。图2B示出了声学传感器阵列290,所述声学传感器阵列290包括多个按大致方形格子均匀间隔开的声学传感器元件。距离测量工具214和相机阵列216被定位在声学传感器阵列290内。在所图示的示例中,声学传感器阵列290中的声学传感器元件是相同类型的传感器,但是在一些实施例中,在阵列290中可以使用不同类型的声学传感器元件。
图2C示出了多个声学传感器阵列。声学传感器阵列292、294和296每个包括按不同形状的阵列布置的多个声学传感器元件。在图2C的示例中,声学传感器阵列292、294和296可以被单独或以任何组合一起使用以创建各种大小的传感器阵列。在所图示实施例中,阵列296的传感器元件比阵列292的传感器元件更紧挨在一起地间隔。在一些示例中,阵列296被设计用于感测高频声学数据,而阵列292被设计用于感测较低频率声学数据。
在各种实施例中,阵列292、294和296可以包括相同或不同类型的声学传感器元件。例如,声学传感器阵列292可以包括具有低于声学传感器阵列296的传感器元件的频率操作范围的频率操作范围的传感器元件。
如本文中其他地方描述的那样,在一些示例中,在各种操作的模式(例如,要成像的不同的所期望频谱)期间可以选择性地断开和接通不同的声学传感器阵列(例如,292、294、296)。附加地或替代地,可以根据所期望系统操作启用或禁用各种声学传感器元件(例如,一个或多个传感器阵列中的声学传感器元件中的一些或所有)。例如,在一些声学成像过程中,虽然来自大量的传感器元件(例如,按高密度布置在诸如传感器阵列296中的传感器元件)的数据稍微改善声学图像数据分辨率,但是其是以从在每个传感器元件处接收的数据提取声学图像数据所需处理为代价。即,在一些示例中,处理大量的输入信号(例如,来自大量的声学传感器元件)所需的增加的处理需求(例如,成本、处理时间、功耗等方面)与由附加数据流提供的任何附加信号分辨率相比是负的。因此,在一些实施例中,根据所期望声学成像操作禁用或忽略来自一个或多个声学传感器元件的数据可能是值得的。
类似于图2A和2B的系统,图2C的系统包括定位在声学传感器阵列292、294和296内的距离测量工具214和相机阵列216。在一些示例中,附加部件(诸如附加相机阵列(例如,用于成像来自相机阵列216的电磁光谱的不同部分))可以被类似地定位在声学传感器阵列292、294和296内。将理解,虽然在图2A-2C中示出为被定位在一个或多个声学传感器阵列内,但是距离测量工具和/或一个或多个成像工具(例如,可见光相机模块、红外相机模块、紫外传感器等)可以被定位在(一个或多个)声学传感器阵列的外部。在一些此类示例中,定位在(一个或多个)声学传感器阵列的外部的距离测量工具和/或一个或多个成像工具可以由声学成像工具(例如,通过容纳(一个或多个)声学传感器阵列的壳体)支撑,或者可以定位在声学成像工具的壳体的外部。
在一些示例中,声学传感器阵列和成像工具(诸如相机模块)的通常未对准可能导致由声学传感器阵列和成像工具生成的对应图像数据中的未对准。图3A示出可见光图像数据和声学图像数据的帧的生成中的视差误差的示意性图示。通常,视差误差可以是垂直的、水平的或两者。在所图示实施例中,声学传感器阵列320和包括可见光相机模块306的成像工具。可见光图像帧340被示出为根据可见光相机模块306的视场341捕获,而声学图像帧350被示出为根据声学传感器阵列320的视场351捕获。
如示出的那样,可见光图像帧340和声学成像帧350彼此未对准。在一些实施例中,处理器(例如,图1的处理器112)被配置成操纵可见光图像帧340和声学图像帧350中的一个或两者,以便对准可见光图像数据和声学图像数据。此类操纵可以包括相对于另一个图像帧移位一个图像帧。图像帧相对于彼此移位的量可以基于多种因素(包括例如从可见光相机模块306和/或声学传感器阵列320到目标的距离)确定。此类距离数据可以例如使用距离测量工具304或经由用户界面(例如,116)接收距离值来确定。
图3B是类似于图3A中的示意性图示的示意性图示,但是包括场景的可见光图像。在图3B的示例中,可见光图像342示出多个电力线和支撑塔的场景。声学图像352包括多个位置354、356、358,其指示来自此类位置的高量值声学数据。如示出的那样,可见光图像342和声学图像352两者被同时显示。然而,对两个图像的观察示出了位置358处的至少一个声学图像局部最大值,其看起来并不与可见光图像342中的任何特定结构重合。因此,观察两个图像的人可以得出在声学图像352与可见光图像342之间存在未对准(例如,视差误差)的结论。
图4A和4B示出可见光图像与声学图像之间的视差校正。图4A,类似于图3B,示出可见光图像442和声学图像452。声学图像452包括位置454、456和458处的局部最大值。如可以看到的那样,位置454和458处的最大值看起来并不与可见光图像中的任何结构重合。在图4B的示例中,可见光图像442和声学图像452相对于彼此配准。声学图像中位置454、456和458处的局部最大值现在看起来与可见光图像442内的各个位置重合。
在使用期间,操作员可以查看图4B中的表示(例如,经由显示器114)并确定可视场景442中很可能是所接收声学信号的源的近似位置。可以进一步处理此类信号以便确定关于场景中各种部件的声学特征的信息。在各种实施例中,可以关于声学图像中的各种位置分析声学参数,诸如频率含量、周期、振幅等等。当覆盖到可见光数据上使得此类参数可以与各种系统部件相关联时,可以使用声学图像数据来分析可见光图像中的对象的各种性质(例如,性能特性)。
图4C和4D是图4A和4B的彩色版本。如图4A和4B中所示,并且在图4C和4D的彩色表示中更容易看到,位置454、456和458显示圆形颜色梯度。如本文中其他地方描述的那样,可以根据其中基于对应位置处的声学强度着色声学图像数据的每个像素的调色方案视觉表示声学图像数据。因此,在图4A-4D的示例性表示中,位置454、456、458的圆形梯度通常表示基于反向传播的所接收声学信号的成像平面中的声学强度的梯度。
将理解,虽然图3A、3B和4A-4D中的示例性图示关于声学图像数据和可见光图像数据描述,但是此类过程可以类似地借助多种电磁图像数据来执行。例如,如本文中其他地方描述的那样,在各种实施例中,各种此类过程可以使用声学图像数据和可见光图像数据、红外图像数据、紫外图像数据等等中的一个或多个的组合来执行。
如本文中其他地方描述的那样,在一些实施例中,声学信号用以形成声学图像的反向传播可以基于到目标的距离值。即,在一些示例中,反向传播计算可以基于距离,并且可以包括确定距声学传感器阵列定位在该距离处的二维声学场景。给定二维成像平面,从所述平面中的源发出的球形声波通常将在横截面上呈圆形,其中强度方面径向衰减,如图4A-4D中所示。
在一些此类示例中,表示不位于在反向传播计算中使用的到目标的距离处的数据的声学场景的部分将导致声学图像数据中的误差,诸如场景中的一个或多个声音的位置方面的不准确性。当声学图像与其他图像数据(例如,电磁图像数据,诸如可见光、红外或紫外图像数据)同时(例如,混合、组合等)显示时,此类误差可能导致声学图像数据与其他图像数据之间的视差误差。因此,在一些实施例中,用于校正视差误差的一些技术(例如,如图4A和4B中所示)包括调整在用于生成声学图像数据的反向传播计算中使用的到目标的距离值。
在一些情况下,系统可以被配置成使用第一到目标的距离值执行反向传播过程并显示显示图像(诸如图4A中所示),其中声学图像数据和另一数据流可能未对准。随后,声学分析系统可以调整用于反向传播的到目标的距离值,再次执行反向传播,并用新声学图像数据更新显示图像。此过程可以重复,其中声学分析系统循环通过多个到目标的距离值,同时用户观察在显示器上的所得到的显示图像。当到目标的距离值改变时,用户可以观察从图4A中所示的显示图像到图4B中所示的显示图像的逐渐过渡。在一些此类情况下,用户可以在视觉上观察声学图像数据何时看起来与另一数据流(诸如电磁图像数据)正确配准。用户可以向声学分析系统发信号通知声学图像数据看起来正确配准,从而向系统指示用于执行最近反向传播的到目标的距离值大致正确,并且可以将该距离值保存到存储器作为正确的到目标的距离。类似地,当在更新的反向传播过程中使用新距离值更新显示图像时,用户可以手动调整到目标的距离值,直到用户观察到声学图像数据被正确配准。用户可以选择将当前的到目标的距离保存在声学分析系统中作为当前的到目标的距离。
在一些示例中,校正视差误差可以包括基于到目标的距离数据以预先确定的量并且在预先确定的方向上相对于其他图像数据(例如,电磁图像数据)调整声学图像数据的位置。在一些实施例中,此类调整独立于通过将声学信号反向传播到所识别的到目标的距离的声学图像数据的生成。
在一些实施例中,除了被用于生成声学图像数据并减少声学图像数据与其他图像数据之间的视差误差以外,到目标的距离值还可以被用于其他确定。例如,在一些示例中,处理器(例如,112)可以使用到目标的距离值以便聚焦或帮助用户聚焦图像,诸如红外图像,如在美国专利No.7,538,326中描述的那样,所述美国专利通过引用被合并。如其中描述的那样,这可以类似地被用于校正可见光图像数据与红外图像数据之间的视差误差。因此,在一些示例中,可以使用距离值来使声学图像数据与电磁成像数据(诸如红外图像数据和可见光图像数据)配准。
如本文中其他地方描述的那样,在一些示例中,距离测量工具(例如,104)被配置成提供可以由处理器(例如,112)使用用于生成和配准声学图像数据的距离信息。在一些实施例中,距离测量工具包括被配置成将光发射到在测量到其的距离的位置处的目标场景上的激光测距仪。在一些此类示例中,激光测距仪可以发射可见光谱中的光,使得用户可以查看物理场景中的激光光斑,以确保测距仪正在测量到场景的所期望部分的距离。附加地或替代地,激光测距仪被配置成发射一个或多个成像部件(例如,相机模块)对其敏感的光谱中的光。因此,经由分析工具(例如,经由显示器114)查看目标场景的用户可以观察场景中的激光光斑以确保激光正在测量到目标场景中的正确位置的距离。在一些示例中,处理器(例如,112)可以被配置成基于当前距离值(例如,基于激光测距仪与声学传感器阵列之间的已知的基于距离的视差关系)在所显示图像中生成表示激光光斑将在声学场景中定位的位置的参考标记。可以将参考标记位置与实际激光标记的位置比较(例如,在显示器上图形地和/或在目标场景中物理地),并且可以调整场景直到参考标记和激光重合。此类过程可以类似于在美国专利No.7,538,326中描述的红外配准和聚焦技术执行,所述美国专利通过引用被合并。
图5是示出用于生成组合声学图像数据和电磁图像数据的最终图像的示例性方法的过程流程图。所述方法包括经由声学传感器阵列接收声学信号(580)和接收距离信息(582)的步骤。距离信息可以例如经由距离测量设备和/或用户界面接收,诸如经由手动键入或作为通过其基于观察到的配准确定距离的距离调整过程的结果。
所述方法进一步包括反向传播所接收声学信号以确定表示声学场景的声学图像数据(584)。如本文中其他地方描述的那样,反向传播可以包括结合所接收距离信息分析在声学传感器阵列中的多个传感器元件处接收的多个声学信号以确定所接收声学信号的源图案。
图5的方法进一步包括捕获电磁图像数据(586)和将声学图像数据与电磁图像数据配准(588)的步骤。在一些实施例中,将声学图像数据与电磁图像数据配准是作为用于生成声学图像数据的反向传播步骤(584)的部分来进行的。在其他示例中,将声学图像数据与电磁图像数据配准是与声学图像数据的生成分开进行的。
图5的方法包括将声学图像数据与电磁图像数据组合以便生成显示图像(590)的步骤。如本文中其他地方描述的那样,组合电磁图像数据和声学图像数据可以包括阿尔法混合电磁图像数据和声学图像数据。组合图像数据可以包括将一个图像数据集重叠到另一个图像数据集上,诸如按画中画模式或者在其中满足某些条件(例如,警报条件)的位置中。显示图像可以例如经由由支撑声学传感器阵列的壳体支撑的显示器和/或经由与传感器阵列分开的显示器(诸如外部设备(例如,智能电话、平板计算机、计算机等)的显示器)呈现给用户。
附加地或替代地,显示图像可以保存在本地(例如,板上)存储器和/或远程存储器中用于将来查看。在一些实施例中,所保存显示图像可以包括允许显示图像性质(诸如混合比率、反向传播距离或用于生成图像的其他参数)的将来调整的元数据。在一些示例中,原始声学信号数据和/或电磁图像数据可以与显示图像一起保存,用于后续处理或分析。
虽然示出为用于生成组合声学图像数据和电磁图像数据的最终图像的方法,但是将理解,图5的方法还可以用于将声学图像数据与跨越电磁光谱的任何部分的图像数据(诸如可见光图像数据、红外图像数据、紫外图像数据等等)的一个或多个集合组合。在一些此类示例中,图像数据(诸如可见光图像数据和红外图像数据)的多个集合二者可以都与声学图像数据组合以经由类似于关于图5描述的方法生成显示图像。
在一些示例中,经由传感器阵列接收声学信号(580)可以包括选择借助其接收声学信号的声学传感器阵列的步骤。如例如关于图2A-C所描述的那样,声学分析系统可以包括多个可适于分析变化频率的声学信号的声学传感器阵列。附加地或替代地,在一些示例中,不同声学传感器阵列可能对于分析从不同距离传播的声学信号是有用的。在一些实施例中,不同阵列可以彼此嵌套。附加地或替代地,可以选择性地使用部分阵列来接收声学图像信号。
例如,图2A示出第一阵列220和嵌套在第一阵列内的第二阵列222。在示例性实施例中,第一阵列220可以包括被配置(例如,间隔)用于接收声学信号并针对第一频率范围中的频率生成声学图像数据的传感器阵列。第二阵列222可以包括例如第二传感器阵列,其被配置成单独或与第一阵列220中的全部或部分组合使用用于针对第二频率范围中的频率生成声学图像数据。
类似地,图2C示出第一阵列292、至少部分嵌套在第一阵列292内的第二阵列294以及至少部分嵌套在第一阵列292和第二阵列294内的第三阵列296。在一些实施例中,第一阵列292可以被配置用于接收声学信号并针对第一频率范围中的频率生成声学图像数据。第二阵列294可以与第一阵列292中的全部或部分一起使用用于接收声学信号并针对第二频率范围中的频率生成声学图像数据。第三阵列296可以单独、与第二阵列294中的全部或部分一起和/或与第一阵列292中的全部或部分一起用于接收声学信号并针对第三频率范围中的频率生成声学图像数据。
在一些实施例中,在嵌套阵列配置中,来自一个阵列的声学传感器元件可以被定位在声学传感器元件之间,诸如第三阵列296的元件通常在第一阵列292的元件之间。在一些此类示例中,嵌套阵列(例如,第三阵列296)中的声学传感器元件可以被定位在与其被嵌套到其中的阵列(例如,第一阵列292)中的声学传感器元件相同的平面中、定位在其前面或后面。
在各种实现中,用于感测较高频率声学信号的阵列通常需要在各个传感器之间的较少距离。因此,关于图2C,例如,第三阵列296可以更好地适于执行涉及高频声学信号的声学成像过程。其他传感器阵列(例如,第一阵列292)可以足以用于执行涉及较低频率信号的声学成像过程,并且当与阵列296相比时,可以被使用以便减少来自少量的声学传感器元件的处理信号的计算需求。因此,在一些示例中,高频传感器阵列可以被嵌套在低频传感器阵列内。如本文中其他地方描述的那样,此类阵列通常可以单独操作(例如,经由在有源阵列之间切换)或在一起操作。
除基于预期/期望频谱选择适当传感器阵列用于分析以外或替代基于预期/期望频谱选择适当传感器阵列用于分析,在一些示例中,不同传感器阵列可以更好地适于在到目标场景的不同距离处执行声学成像过程。例如,在一些实施例中,如果声学传感器阵列与目标场景之间的距离是小的,则声学传感器阵列中的外部传感器元件可以比更中心定位的传感器元件从目标场景接收显著更少的有用的声学信息。
另一方面,如果声学传感器阵列与目标场景之间的距离是大的,则紧密间隔的声学传感器元件可能不单独提供有用信息。即,如果第一和第二声学传感器元件靠近在一起,并且目标场景通常很远,则第二声学传感器元件可能不提供有意图地不同于第一声学传感器元件的任何信息。因此,来自此类第一和第二传感器元件的数据流可能是冗余的,并且不必要地消耗处理时间和资源用于分析。
除影响哪些传感器阵列可能最适于执行声学成像以外,如本文中其他地方描述的那样,到目标的距离还可以用于执行反向传播,用于从所接收声学信号确定声学图像数据。然而,除作为到反向传播算法中的输入值以外,到目标的距离还可以用于选择要使用的适当反向传播算法。例如,在一些示例中,在远距离处,与声学传感器阵列的大小相比,球形传播的声波可以被近似为是基本上平面的。因此,在一些实施例中,当到目标的距离是大的时,所接收声学信号的反向传播可以包括声学波束成形计算。然而,当靠近于声波源时,声波的平面近似可能是不适当的。因此,可以使用不同反向传播算法,诸如近场声学全息术。
如所描述的那样,可以在声学成像过程中以多种方式使用到目标的距离度量,诸如确定(一个或多个)有源传感器阵列、确定反向传播算法、执行反向传播算法和/或将所得到的声学图像与电磁图像数据(例如,可见光、红外等)配准。图6是示出用于由所接收声学信号生成声学图像数据的示例性过程的过程流程图。
图6的过程包括例如诸如经由用户界面从距离测量设备或所键入距离信息接收距离信息(680)。所述方法进一步包括基于所接收距离信息选择用于执行声学成像的一个或多个声学传感器阵列(682)的步骤。如所描述的那样,在各种示例中,选定的(一个或多个)阵列可以包括单个阵列、多个阵列的组合或者一个或多个阵列的部分。
图6的方法进一步包括基于接收的距离信息选择用于执行声学成像的处理方案(684)的步骤。在一些示例中,选择处理方案可以包括选择用于由声学信号生成声学图像数据的反向传播算法。
在选择用于执行声学成像的声学传感器阵列(682)和处理方案(684)之后,所述方法包括经由选定的声学传感器阵列接收声学信号(686)的步骤。然后使用距离和选定的处理方案反向传播接收的声学信号以确定声学图像数据(688)。
在各种实施例中,图6的步骤可以由用户、声学分析系统(例如,经由处理器112)或其组合执行。例如,在一些实施例中,处理器可以被配置成经由距离测量工具和/或用户输入接收距离信息(680)。在一些示例中,例如,如果到对象的距离是已知的和/或难以经由距离测量工具分析(例如,小的对象大小和/或大的到目标的距离等),则用户可以输入值以覆盖所测量距离以用作距离信息。处理器可以被进一步配置成例如使用查找表或其他数据库基于接收的距离信息自动选择用于执行声学成像的适当声学传感器阵列。在一些实施例中,选择声学传感器阵列包括启用和/或禁用一个或多个声学传感器元件,以便实现所期望声学传感器阵列。
类似地,在一些示例中,处理器可以被配置成基于接收的距离信息自动选择用于执行声学成像的处理方案(例如,反向传播算法)。在一些此类示例中,这可以包括从存储在存储器中的多个已知处理方案选择一个。附加地或替代地,选择处理方案可以相当于调整单个算法的部分以达到所期望处理方案。例如,在一些实施例中,单个反向传播算法可以包括多个项和变量(例如,基于距离信息)。在一些此类示例中,选择处理方案(684)可以包括在单个算法中定义一个或多个值,诸如调整针对一个或多个项的系数(例如,将各种系数设置为0或1等)。
因此,在一些实施例中,声学成像系统可以通过基于接收的距离数据建议和/或自动实现选定声学传感器阵列和/或处理方案(例如,反向传播算法)来使声学成像过程的若干步骤自动化。这可以加速、改进和简化声学成像过程,从而消除声学成像专家对执行声学成像过程的要求。因此,在各种示例中,声学成像系统可以自动实现此类参数、通知用户此类参数将要实现、要求用户准许实现此类参数、建议此类参数以由用户手动输入等等。
此类参数(例如,处理方案、传感器阵列)的自动选择和/或建议可能对优化声学图像数据相对于其他形式的图像数据的定位、处理速度和对声学图像数据的分析是有用的。例如,如本文中其他地方描述的那样,准确的反向传播确定(例如,使用适当算法和/或准确距离度量)可以减少声学图像数据与其他(例如,电磁,诸如可见光、红外等)图像数据之间的视差误差。另外,利用诸如可以由声学分析系统自动选择或建议的适当算法和/或传感器阵列可以优化热图像数据的准确度,从而允许对所接收声学数据的分析。
如所描述的那样,在一些示例中,声学分析系统可以被配置成基于所接收距离信息自动选择用于执行声学成像过程的算法和/或传感器阵列。在一些此类实施例中,系统包括例如存储在存储器中的查找表,用于确定要使用多个反向传播算法和声学传感器阵列中的哪个用于确定声学图像数据。图7示出用于确定用于在声学成像过程期间使用的适当算法和传感器阵列的示例性查找表。
在所图示的示例中,图7的查找表包括N个列,每个列表示不同阵列:阵列1、阵列2、…、阵列N。在各种示例中,每个阵列包括布置的声学传感器元件的唯一集合。不同阵列可以包括布置成格子的传感器元件(例如,图2C中的阵列292和阵列296)。查找表内的阵列还可以包括来自一个或多个此类格子的传感器元件的组合。通常,在一些实施例中,阵列阵列1、阵列2、…、阵列N中的每个对应于声学传感器元件的唯一组合。此类组合中的一些可以包括布置在特定格子中的传感器元件的整个集合,或者可以包括布置在特定格子中的传感器元件的子集。声学传感器元件的多种组合中的任一个是用于用作查找表中的传感器阵列的可能选项。
图7的查找表进一步包括M个行,每个行表示不同算法:算法1、算法2、…、算法M。在一些示例中,不同算法可以包括用于执行所接收声学信号的反向传播分析的不同过程。如本文中其他地方描述的那样,在一些示例中,一些不同算法可以彼此类似,同时具有用于修改反向传播结果的不同系数和/或项。
图7的示例性查找表包括M × N个条目。在一些实施例中,利用此类查找表的声学分析系统被配置成分析接收的距离信息并将距离信息分类到M × N个仓(bin)中的一个中,其中每个仓对应于图7的查找表中的条目。在此类示例中,当声学分析系统接收到距离信息时,系统可以在查找表中找到对应于所述距离信息位于其中的仓的条目(i, j),并且确定用于在声学成像过程期间使用的适当算法和传感器阵列。例如,如果接收的距离信息对应于与条目(i, j)相关联的仓,则声学分析系统可以自动利用或建议将算法i和阵列j用于声学成像过程。
在各种此类示例中,距离信息仓可以对应于均匀大小的距离范围,例如,第一仓对应于一英尺内的距离,第二仓对应于一英尺与二英尺之间的距离等等。在其他示例中,仓无需对应于均匀大小的距离跨度。另外,在一些实施例中,可以使用少于M × N个仓。例如,在一些实施例中,可能存在从未与特定阵列(例如,阵列y)一起使用的算法(例如,算法x)。因此,在此类示例中,将不存在对应于M × N查找表中的条目(x, y)的对应距离信息仓。
在一些实施例中,可以使用对填充距离仓的统计分析用于识别目标场景内的最常见距离或距离范围。在一些此类实施例中,可以使用具有最大数量的对应位置(例如,具有声学信号的最大数量的位置)的距离仓作为图6的过程中的距离信息。即,在一些实施例中,可以基于对目标场景中各种对象的距离分布的统计分析实现和/或推荐所利用的声学传感器阵列和/或处理方案。这可以增加用于场景的声学成像的传感器阵列和/或处理方案适于声学场景内的最大数量的位置的可能性。
附加地或替代地,可以使用除距离信息以外的参数来选择适当传感器阵列和/或处理方案以用于生成声学图像数据中。如本文中其他地方描述的那样,各种传感器阵列可以被配置成对某些频率和/或频带敏感。在一些示例中,可以根据不同声学信号频率含量使用类似不同反向传播计算。因此,在一些示例中,可以使用一个或多个参数来确定处理方案和/或声学传感器阵列。
在一些实施例中,声学分析系统可以用于初始分析接收的声学信号处理/分析的各种参数。参考回到图6,在接收声学信号(686)之后,用于生成声学图像数据的方法可以包括分析接收的信号的频率含量(690)的步骤。在一些此类示例中,如果已经选择了(一个或多个)声学传感器阵列和/或处理方案(例如,分别经由步骤682和/或684),则所述方法可以包括例如基于所分析的频率含量更新选定的(一个或多个)阵列和/或更新选定的处理方案(692)的步骤。
在更新(一个或多个)传感器阵列和/或处理方案之后,所述方法可以使用更新的参数执行各种动作。例如,如果基于所分析的频率含量(690)更新(692)选定的(一个或多个)传感器阵列,则可以从(新)选择的声学传感器阵列接收新声学信号(686),然后可以反向传播所述新声学信号以确定声学图像数据(688)。替代地,如果在692处更新了处理方案,则可以根据更新的处理方案反向传播已经捕获的声学信号以确定更新的声学图像数据。如果处理方案和(一个或多个)传感器阵列两者都被更新,则新声学信号可以使用更新的传感器阵列来接收并且可以根据更新的处理方案反向传播。
在一些实施例中,声学分析系统可以在不分析接收的声学信号的频率含量(690)的情况下接收频率信息(678)。例如,在一些示例中,声学分析系统可以接收关于用于将来声学分析的期望或预期频率范围的信息。在一些此类示例中,可以使用所述期望或预期频率信息来选择最好地适合所述频率信息的一个或多个传感器阵列和/或处理方案。在一些此类示例中,除接收的距离信息以外或替代接收的距离信息,选择(一个或多个)声学传感器阵列(682)和/或选择处理方案(684)的(一个或多个)步骤可以基于接收的频率信息。
在一些示例中,可以例如经由声学分析系统的处理器(例如,110)分析接收的声学信号(例如,经由声学传感器元件接收)。可以使用此类分析来确定声学信号的一个或多个性质,诸如频率、强度、周期、表观接近度(例如,基于接收的声学信号估计的距离)、所测量的接近度或其任何组合。在一些示例中,可以对声学图像数据滤波例如以仅示出表示具有特定频率含量、周期等等的声学信号的声学图像数据。在一些示例中,可以同时应用任何数量的此类滤波器。
如本文中其他地方描述的那样,在一些实施例中,可以随时间捕获声学图像数据的一系列帧,类似于声学视频数据。附加地或替代地,在一些示例中,即使不重复生成声学图像数据,也重复采样和分析声学信号。因此,在有或没有重复声学图像数据生成(例如,视频)的情况下,可以随时间监视声学数据的参数,诸如频率。
图8A是声学场景中接收的图像数据的频率含量随时间的示例性曲线图。如示出的那样,由图8A的曲线图表示的声学场景通常包括四个随时间的持续频率,标记为频率1、频率2、频率3和频率4。频率数据(诸如目标场景的频率含量)可以经由处理接收的声学信号例如使用快速傅里叶变换(FFT)或其他已知的频率分析的方法确定。
图8B示出包括发射声学信号的多个位置的示例性场景。在所图示的图像中,声学图像数据与可见光图像数据组合,并且示出出现在位置810、820、830和840处的声学信号。在一些实施例中,声学分析系统被配置成显示任何检测到的频率范围的声学图像数据。例如,在示例性实施例中,位置810包括包括频率1的声学图像数据,位置820包括包括频率2的声学图像数据,位置830包括包括频率3的声学图像数据,并且位置840包括包括频率4的声学图像数据。
在一些此类示例中,显示表示频率范围的声学图像数据是可选择的操作的模式。类似地,在一些实施例中,声学分析系统被配置成显示表示仅在预先确定的频带内的频率的声学图像数据。在一些此类示例中,显示表示预先确定的频率范围的声学图像数据包括选择用于接收声学信号的一个或多个声学传感器阵列,从所述声学信号生成声学图像数据。此类阵列可以被配置成接收选择性频率范围。类似地,在一些示例中,可以采用一个或多个滤波器来限制用于生成声学图像数据的频率含量。附加地或替代地,在一些实施例中,可以仅当声学图像数据满足预先确定的条件(例如,落入预先确定的频率范围)时,才在显示器上分析和示出包括表示宽的频率的范围的信息的声学图像数据。
图8C示出多个预先定义的频率范围处的多个组合的声学和可见光图像数据。第一图像包括第一位置810处的声学图像数据,其包括频率1的频率含量。第二图像包括第二位置820处的声学图像数据,其包括频率2的频率含量。第三图像包括第三位置830处的声学图像数据,其包括频率3的频率含量。第四图像包括第四位置840处的声学图像数据,其包括频率4的频率含量。
在示例性实施例中,用户可以选择各种频率范围,诸如包括频率1、频率2、频率3或频率4的范围,用于对表示除选定频率范围以外的频率含量的声学图像数据进行滤波。因此,在此类示例中,作为由用户选择所期望的频率范围的结果,可以显示第一、第二、第三或第四图像中的任何图像。
附加地或替代地,在一些示例中,声学分析系统可以在多个显示图像之间循环,每个显示图像具有不同频率含量。例如,关于图8C,在示例性实施例中,声学分析系统可以按顺序显示第一、第二、第三和第四图像,诸如由图8C中的箭头所示。
在一些示例中,显示图像可以包括表示在图像中显示的频率含量的文本或其他显示,使得用户可以观察图像中的哪些位置包括表示特定频率含量的声学图像数据。例如,关于图8C,每个图像可以示出在声学图像数据中表示的频率的文本表示。关于图8B,示出多个频率范围的图像可以包括对每个位置处的频率含量的指示,包括声学图像数据。在一些此类示例中,用户可以例如经由用户界面选择图像中的位置,针对其以查看在声学场景中的存在于该位置处的频率含量。例如,用户可以选择第一位置810,并且声学分析系统可以呈现第一位置的频率含量(例如,频率1)。因此,在各种示例中,用户可以诸如通过查看场景中哪个地方对应于特定频率含量和/或通过查看什么频率含量存在于各个位置处来使用声学分析系统以便分析声学场景的频率含量。
在示例性声学成像操作期间,通过频率对声学图像数据进行滤波可以帮助减少例如来自背景或其他不重要声音的图像杂乱。在示例性声学成像过程中,用户可能希望消除背景声音,诸如工业环境中的本底噪声。在一些此类情况下,背景噪声可能主要包括低频噪声。因此,用户可以选择以示出表示大于预先确定的频率(例如,10 kHz)的声学信号的声学图像数据。在另一示例中,用户可能希望分析通常发射特定范围内的声学信号的特定对象,诸如来自传输线的电晕放电(例如,如图4A-4D中所示)。在此类示例中,用户可以选择特定频率范围(例如,针对电晕放电,在11 kHz与14 kHz之间)用于声学成像。
在一些示例中,声学分析系统可以用于分析和/或呈现与接收的声学信号的强度相关联的信息。例如,在一些实施例中,反向传播接收的声学信号可以包括确定声学场景中的多个位置处的声学强度值。在一些示例中,类似于上述频率,如果声学信号的强度满足一个或多个预先确定的要求,则声学图像数据仅被包括在显示图像中。
在各种此类实施例中,显示图像可以包括表示高于预先确定的阈值(例如,15 dB)的声学信号、低于预先确定的阈值(例如,100 dB)的声学信号或在预先确定的强度范围内(例如,在15 dB与40 dB之间)的声学信号的声学图像数据。在一些实施例中,阈值可以基于声学场景的统计分析,诸如高于或低于与平均声学强度的标准偏差。
类似于如上文关于频率信息描述的那样,在一些实施例中,将声学图像数据限制为表示满足一个或多个强度要求的声学信号可以包括对接收的声学信号进行滤波,使得仅使用满足预先确定的条件的接收的信号来生成声学图像数据。在其他示例中,对声学图像数据滤波以调整显示哪个声学图像数据。
附加地或替代地,在一些实施例中,可以随时间监视声学场景内的位置处的声学强度(例如,结合视频声学图像表示或经由背景分析,而不必更新显示图像)。在一些此类示例中,对于显示声学图像数据的预先确定的要求可以包括图像中位置处的声学强度中的变化量或变化率。
图9A和9B是包括组合的可见光图像数据和声学图像数据的示例性显示图像。图9A示出包括示出在多个位置910、920、930、940、950、960、970、980和990处的声学图像数据的显示图像。在一些示例中,可以对强度值调色,例如,其中基于预先确定的调色方案给声学强度值指派颜色。在示例性实施例中,可以根据强度范围(例如,10 dB - 20 dB、20 dB –30 dB等)对强度值进行分类。根据调色方案,每个强度范围可以与特定颜色相关联。声学图像数据可以包括多个像素,其中每个像素用与由声学图像数据的像素表示的强度落入其中的强度范围相关联的颜色着色。除由颜色区分以外或替代由颜色区分,可以根据其他性质区分不同强度,其他性质诸如透明度(例如,在其中声学图像数据覆盖到其他图像数据上的图像覆盖图中)等等。
还可以对附加参数调色,诸如声学强度的变化率。类似于强度,可以对声学强度中的变化的变化率进行调色,使得以不同颜色显示展示不同的声学强度的变化率和/或变化量的场景的部分。
在所图示的示例中,声学图像数据根据强度调色板调色,使得以不同颜色和/或阴影示出表示不同声学信号强度的声学图像数据。例如,位置910和930处的声学图像数据示出第一强度的托盘化表示,位置940、960和980示出第二强度的托盘化表示,并且位置920、950、970和990示出第三强度的托盘化表示。如图9A中的示例性表示中所示,示出声学图像数据的调色表示的每个位置示出具有从中心向外延伸的颜色梯度的圆形图案。这可能是由于信号从声学信号的源传播时声学强度的衰减。
在图9A的示例中,声学图像数据与可见光图像数据组合以生成显示图像,所述显示图像可以例如经由显示器呈现给用户。用户可以查看图9A的显示图像,以便查看可视场景中的哪些位置正在产生声学信号以及此类信号的强度。因此,用户可以快速且容易地观察哪些位置正在产生声音并且比较来自场景中各个位置的声音的强度。
类似于本文中其他地方关于频率描述的那样,在一些实施例中,声学图像数据可以仅在对应声学信号满足预先确定的强度条件时呈现。图9B示出类似于图9A的显示图像的示例性显示图像并且包括可见光图像数据和表示高于预先确定的阈值的声学信号的声学图像。如示出的那样,关于包括声学图像数据的图9A中的位置910、920、930、940、950、960、970、980和990,仅位置920、950、970和990包括表示满足预先确定的条件的声学信号的声学图像数据。
在示例性场景下,图9A可以包括高于位置910-990中的每个处的噪声本底阈值的所有声学图像数据,而图9B示出与图9A相同的场景,但是仅示出具有大于40 dB的强度的声学图像数据。这可以帮助用户识别环境中(例如,图9A和9B的目标场景中)的哪些声音的源正在贡献某些声音(例如,场景中的最响亮声音)。
除与强度阈值(例如,40 dB)直接比较以外或替代与强度阈值(例如,40 dB)直接比较,如本文中其他地方描述的那样,在一些此类示例中,对显示声学图像数据的预先确定的要求可以包括图像中位置处的声学强度中的变化量或变化率。在一些此类示例中,声学图像数据可以仅在给定位置处的声学强度中的变化率或变化量满足预先确定的条件(例如,大于阈值、小于阈值、在预先确定的范围内等)时呈现。在一些实施例中,声学强度的变化量或变化率可以被调色并显示为强度声学图像数据或结合强度声学图像数据显示。例如,在示例性实施例中,当使用变化率作为阈值来确定要在哪些位置中包括声学图像数据时,声学图像数据可以包括调色的强度变化率度量以用于显示。
在一些示例中,用户可以手动设置对于待显示的声学图像数据的强度要求(例如,最小值、最大值、范围、变化率、变化量等)。如本文中其他地方讨论的那样,包括仅满足强度要求的声学图像数据可以在声学图像数据生成期间实现(例如,经由对接收的声学信号进行滤波)和/或可以通过不显示表示不满足所设置的(一个或多个)要求的声学信号的生成的声学图像数据来执行。在一些此类示例中,根据强度值对显示图像进行滤波可以在声学图像数据和可见光图像数据已经被捕获并存储在存储器中之后执行。即,存储在存储器中的数据可以用于生成包括任何数量的滤波参数的显示图像,诸如仅示出满足预先定义的强度条件的声学图像数据等等。
在一些示例中,在声学图像中设置针对强度的下限(例如,仅显示表示高于预先确定的强度的声学信号的声学图像数据)可以消除包括不期望背景或环境声音和/或来自声学图像数据的声音反射。在其他情况下,在声学图像中设置针对强度的上限(例如,仅显示表示低于预先确定的强度的声学信号的声学图像数据)可以消除在声学图像数据中包括预期的响亮声音,以便观察通常由此类响亮声音掩盖的声学信号。
若干显示功能是可能的。例如,类似于关于图8C讨论的频率分析/显示,在一些示例中,声学分析系统可以循环通过多个显示图像,每个显示图像示出满足不同强度要求的声学图像数据。类似地,在一些示例中,用户可以滚动通过一系列声学强度范围,以便查看具有给定范围内的声学强度的声学图像数据中的位置。
可以用于分析声学数据的另一参数是声学信号的周期值。图10A和10B示出了声学场景中的声学数据的频率对时间的示例性曲线图。如图10A的曲线图中所示,声学数据包括具有第一周期的频率X处的信号、具有第二周期的频率Y处的信号和具有第三周期的频率Z处的信号。在所图示的示例中,具有不同频率的声学信号还可以包括声学信号中的不同周期。
在一些此类示例中,除频率含量以外或替代频率含量,可以基于周期来对声学信号进行滤波。例如,在一些示例中,声学场景中的多个声学信号的源可以产生特定频率处的声学信号。如果用户希望分离一个此类声源用于声学成像,则用户可以基于与声学数据相关联的周期选择从最终显示图像包括或排除声学图像数据。
图10B显示声学信号的频率对时间的曲线图。如示出的那样,频率随时间大致线性增加。然而,如示出的那样,信号包括随时间大致恒定的周期。因此,根据选定的显示参数,此类信号可能出现或可能不出现在声学图像中。例如,所述信号可以在某些时间点时满足用于显示的频率标准,但是在其他时间点时,其在所显示的频率范围之外。然而,用户可以基于信号的周期选择从声学图像数据包括或排除此类信号,而不论频率含量如何。
在一些示例中,提取特定周期的声学信号可以有助于分析目标场景的特定部分(例如,通常以某个周期操作的特定件设备或特定类型的设备)。例如,如果感兴趣的对象以某个周期(例如,每秒一次)操作,则排除具有与此不同的周期的信号可以改善对感兴趣的对象的声学分析。例如,参考图10B,如果感兴趣的对象以周期4操作,则分离具有周期4的信号用于分析可以产生对感兴趣的对象的经改善分析。例如,感兴趣的对象可以发射具有周期4但频率增加的声音,诸如图10B中所示。这可能意味着对象的性质可能正在改变(例如,增加的扭矩或负载等)并且应该被检查。
在示例性声学成像过程中,背景噪声(例如,工业环境中的本底噪声、户外环境中的风等)通常不是周期的,而场景内的某些感兴趣的对象发射周期声学信号(例如,机器以有规律间隔操作)。因此,用户可以选择从声学图像排除非周期声学信号,以便移除背景信号并且更清楚地呈现感兴趣的声学数据。在其他示例中,用户可能正指望找到恒定音调的源,并且因此可以选择从声学图像数据排除可能使对恒定音调的查看模糊的周期信号。通常,用户可以选择在声学图像数据中包括高于某个周期、低于某个周期或在所期望的周期范围内的声学信号。在各种示例中,周期可以通过在周期信号之间的时间的长度或周期信号的出现频率来识别。类似于如图10B中所示的频率,给定周期处的强度的分析(例如,由于感兴趣的对象以该周期操作)可以类似用于追踪来自所述对象的声学信号如何随时间变化。通常,在一些实施例中,周期可以用于执行对多种参数(诸如频率、强度等等)的变化率分析。
如本文中其他地方描述的那样,在一些示例中,目标场景的各个部分可以与距声学成像传感器的不同距离相关联。例如,在一些实施例中,距离信息可以包括关于场景中的各个部分的三维深度信息。附加地或替代地,用户可能能够测量(例如,借助激光距离工具)或手动输入与场景中的多个位置相关联的距离值。在一些示例中,可以使用针对场景的各个部分的此类不同距离值来调整此类位置处的反向传播计算以适应该位置处的具体距离值。
附加地或替代地,如果场景的不同部分与不同距离值相关联,则与声学传感器阵列的接近度(例如,所测量的接近度和/或表观接近度)可以是此类部分之间的另一可区分参数。例如,关于图9B,位置920、950、970和990每个与不同距离值相关联。在一些示例中,类似于本文中其他地方讨论的频率或周期,用户可以选择特定的距离范围,从该距离范围将声学图像数据包括在显示器上。例如,用户可以选择仅显示表示比预先确定的距离更靠近、比预先确定的距离更远或在预先确定的距离的范围内的声学信号的声学图像数据。
另外,在一些实施例中,类似于如图8C中关于频率描述的那样,声学分析系统可以被配置成循环通过多个距离范围,仅显示表示从满足当前距离范围的目标场景中的位置发射的声学信号的声学图像数据。此类循环通过各种显示可以帮助用户在视觉上区分不同声学信号之间的信息。例如,在一些情况下,从来自相关联的电磁成像工具(例如,可见光相机模块)的视线来看,对象可能看起来紧挨在一起,并且因此可以难以区分与此类对象的电磁图像数据组合的声学图像数据。然而,如果对象通过深度差分开,则可以使用循环通过声学图像数据的不同深度范围来将声学数据的每个源与其他声学数据的源分离。
通常,声学分析系统可以被配置成应用各种设置,以便包括和/或排除表示满足一个或多个预先定义的参数的声学信号的声学图像数据。在一些示例中,可以使用声学分析系统来选择必须由声学信号满足的多个条件,以便例如在显示图像中显示表示此类信号的声学图像数据。
例如,关于图9A和9B,在图9B中仅示出在图9A的场景中高于阈值强度的声学信号。然而,附加或替代限制是可能的。例如,在一些实施例中,用户可以另外对声学图像数据进行滤波,使得仅针对具有在预先确定的频率范围内的频率含量和/或具有预先确定的周期的声学信号来显示声学图像数据。在示例性实施例中,限于预先确定的感兴趣的频率和/或周期,可以从附加位置(诸如920和990)消除声学图像数据。
通常,用户可以应用任何数量的声学数据要求来从显示图像包括或排除声学图像数据,包括诸如强度、频率、周期、表观接近度、测量的接近度、声压、质点速度、质点位移、声功率、声能、声能密度、声音暴露、音高、振幅、嘹亮度、谐波、任何此类参数的变化率等等的参数。另外,在一些实施例中,用户可以使用任何适当逻辑组合(诸如与(AND)、或(OR)、异或(XOR)等)来组合要求。例如,用户可能希望仅显示具有(高于预先确定的阈值的强度)与(在预先确定的范围内的频率)的声学信号。
附加地或替代地,声学分析系统可以被配置成循环通过一个或多个参数范围以图示目标场景的不同部分,诸如关于图8C中循环通常多个频率所示。通常,可以以此类方式循环通过一个或多个参数。例如,参数(例如,强度)可以被分成多个范围(例如,10 dB – 20dB和20 dB – 30 dB),并且声学分析系统可以循环通过此类范围,从而显示落入第一范围内的所有声学图像数据,然后显示落入第二范围内的所有声学图像数据等等。
类似地,在一些实施例中,声学分析系统可以被配置成通过循环通过嵌套范围来组合参数要求。例如,在示例性实施例中,可以显示满足第一强度范围与第一频率范围的声学图像数据。可以循环通过所显示的频率范围,同时将所显示的声学图像数据限于满足第一强度范围的声学信号。在循环通过频率范围之后,可以将强度范围更新为第二强度范围,使得所显示的声学图像数据满足第二强度范围与第一频率范围。类似于结合第一强度范围的过程,可以类似地循环通过所述频率范围,同时维持第二强度范围。可以继续此过程,直到已经满足频率范围与强度范围的所有组合。可以针对多个参数中的任何参数执行类似此类过程。
附加地或替代地,在一些实施例中,声学分析系统可以被配置成识别和区分声学场景中的多个声音。例如,关于图8B,声学分析系统可以被配置成识别位置810、820、830和840处的四个离散声音。所述系统可以被配置成循环通过多个显示,每个显示示出单个离散位置处的声学图像数据,类似于如图8C中所示,但是不一定取决于任何参数值。类似地,可以在一个或多个参数要求限制被显示的声学图像数据之后执行各个位置处的声学图像数据之间的此类循环。
例如,关于图9A和9B,在应用强度阈值之前,声学分析系统可以循环通过多个声学图像场景(例如,因为显示图像包括具有可见光图像数据的声学图像场景),其中每个场景包括单个位置处的声学图像数据。在一些实施例中,根据图9A的所图示的示例,9个单独图像的循环,每个图像包括位置910、920、930、940、950、960、970、980和990中的不同的一个处的图像数据。然而,根据一些实施例,在应用强度滤波器使得仅显示具有大于阈值的强度的位置(例如,如图9B中)之后,声学分析系统可以更新循环过程以仅循环通过对应于满足滤波阈值的位置的图像。即,关于图9B,循环过程可以更新为仅在四个图像之间循环,每个图像分别示出在位置920、950、970和990处的离散声学图像数据。
因此,在各种实施例中,在应用一个或多个滤波器来限制显示哪个声学图像数据之前或之后,包括声学图像数据的目标场景中位置中的每个被示出在多个循环通过的显示图像中的一个中。各个声学源位置的此类循环显示可以帮助用户在识别特定声音的源时查看图像。在一些实施例中,循环中的每个图像仅包括单个声学数据的源,并且在一些此类实施例中,进一步包括声学数据的一个或多个参数,诸如频率含量、强度、周期、表观接近度等等。
除在示出满足某些条件的声学图像数据的图像之间循环以外或替代在示出满足某些条件的声学图像数据的图像之间循环,在一些示例中,声学信号源的位置可以在声学图像数据中被检测到并且与其他声学信号分离地显示在声学图像数据中。例如,关于图9A,在一些实施例中,可以识别并循环通过表示从位置910-990中的每个发出的声学信号的声学图像数据。例如,在示例性操作过程中,可以自动地或在用户的指导下循环通过包括位置910-990中的一个处的声学图像数据的显示图像,用于对每个声学信号的源的各个分析。在各种实施例中,在循环时以其来显示声学图像数据的不同位置的次序可以取决于多种参数,诸如根据位置、接近度、强度、频率含量等等。
附加地或替代地,在一些示例中,可以在应用一个或多个滤波器来仅分离满足一个或多个预先确定的条件的声学图像数据之后循环通过来自各个位置的声学图像数据。例如,关于图9B,位置920、950、970和990被示出为包括表示满足预先确定的强度要求的声学信号的声学图像数据。在一些实施例中,此类显示要求可以被应用于声学信号的源位置的各个循环通过。例如,进一步参考图9B,可以针对每个位置处的各个分析来循环通过包括来自满足声学强度条件的位置920、950、970和990中的仅一个的图像数据的显示图像。
在参考图9A和9B的示例性过程中,从场景收集的声学图像数据通常可以在图9A中在位置910、920、930、940、950、960、970、980和990处示出。此类位置可以包括表示具有多种声学参数(诸如多种强度、频率含量、周期等等)的声学信号的声学图像数据。
如本文中其他地方描述的那样,用户可能希望分离具有一个或多个特定声学参数的声学信号,诸如具有最小声学强度的声学信号。可以从图像排除表示不满足此类条件的声学信号的声学图像数据,例如,从而留下位置920、950、970和990处的声学图像数据,如图9B中所示。然而,用户可能希望进一步识别满足显示条件(例如,具有高于阈值的强度)的特定声音的源。因此,用户可以选择以一个接一个地显示与位置920、950、970和990相关联的声学图像数据,以便单独查看每个声音的源位置并单独分析每个声音。在各种实施例中,用户可以选择以手动循环通过此类位置,或者处理器可以自动更新显示图像以顺序地显示各个位置的声学图像数据。这可以帮助用户进一步消除和忽略不感兴趣但是恰好满足应用于图像的一个或多个滤波参数的声学信号。
虽然关于强度以及图9A和9B描述,但是通常可以针对各个分析一个接一个地循环通过包括来自选自多个位置的单个位置的声学图像数据的显示图像。针对其包括代表性声学图像数据的多个位置可以是对应于声学场景中的声学信号的源的位置的整个集合,或者可以是此类位置的子集,例如,仅包括具有满足一个或多个条件的声学信号的位置。此类条件可以取决于任何一个或多个声学参数,诸如强度、频率含量、周期、接近度等等,并且可以基于各种参数低于预先确定的值、高于预先确定的值或在预先确定的值的范围内来满足。
在各种示例中,可以以多种方式进行修改显示图像以在显示图像中选择性地包括声学图像数据。在一些实施例中,显示图像(例如,包括电磁图像数据和声学图像数据)可以是实时图像,其中连续更新电磁图像数据和声学图像数据以反映场景中的变化。在一些示例中,当使用某些条件来确定声学图像数据是否被包括在显示图像中时,分析接收的声学信号以确定是否要在更新的实时图像中的各个位置处包括声学图像数据。即,当基于新接收的声学信号和电磁辐射生成新显示图像时,显示图像的构造可以取决于对所述声学信号的分析以确定哪些声学信号满足强加于显示图像的任何具体条件(例如,强度阈值等)。显示图像然后可以仅在适当情况下根据此类条件生成为包括声学图像数据。
在其他示例中,显示图像可以由存储在存储器中的数据(诸如先前捕获的声学数据和电磁图像数据)生成。在一些此类示例中,关于要强加于声学图像数据的各种条件分析先前获取的声学数据,并且将其与其中先前捕获的声学数据满足此类条件的位置中的电磁图像数据组合。在此类实施例中,可以以许多方式(例如,通过分析不同的声学参数)查看单个场景。可以针对是否要在显示图像中的各个位置中包括声学图像数据基于强加于显示图像的任何更新的条件来更新表示先前捕获的声学图像数据的显示图像。
在一些实施例中,可以使用用于在显示图像中选择性地包括声学图像数据的一个或多个声学参数来修改显示图像和/或图像捕获技术。例如,在实时成像示例中,用于确定是否要在显示中包括声学图像数据的各种条件可以包括到目标的距离(例如,表观距离或所测量的距离)和/或频率含量。如本文中其他地方描述的那样,一些此类参数可以用于选择用于生成声学图像数据的声学传感器阵列和/或处理方案中。因此,在一些此类示例中,当基于满足一个或多个预先确定的条件的此类参数仅表示声学图像数据时,可以基于此类条件选择用于生成声学图像数据的声学传感器阵列和/或处理方案。
例如,在示例性实施例中,如果声学图像数据仅要被包括在该处对应的声学信号包括第一频率范围内的频率含量的位置中的实时图像中,则可以选择一个或多个声学传感器阵列用于获取最好地适于第一频率范围的声学信号。类似地,如果声学图像数据仅要被包括在其中声学信号的源在第一距离范围内的位置处在实时图像中,则可以选择一个或多个声学传感器阵列用于获取最好地适于第一距离范围中的声学成像的声学信号。附加地或替代地,如例如关于图6所描述的那样,可以基于所期望的频率或距离条件来选择用于生成声学图像数据的处理方案。随后可以使用此类选定的(一个或多个)声学成像传感器阵列和处理方案来接收声学信号并针对更新的实时显示图像生成声学图像数据,以便优化被包括的声学图像数据。
类似地,在其中由先前存储在存储器中的历史数据生成显示图像的一些实施例中,可以使用确定显示图像中哪些位置中包括声学图像数据的各种条件来更新表示声学场景的声学图像数据。例如,在一些实施例中,存储在存储器中的数据包括由(一个或多个)声学传感器阵列从接收声学信号的时间开始接收的原始声学数据。基于用于确定声学图像数据是否被包括在显示图像中的各个位置处(例如,所期望的距离和/或频率范围)的条件,可以选择处理方案(例如,反向传播算法),用于与存储在存储器中的原始数据一起使用,用于生成针对要显示的所期望参数优化的声学图像数据。
将理解,虽然通常使用可见光图像数据和声学图像数据来描述和示出,但是可以使用包括多种电磁图像数据的任何电磁图像数据的关于图8A-C、9A和9B描述的过程。例如,在各种实施例中,类似过程可以借助红外图像数据或紫外图像数据而不是可见光图像数据来执行。附加地或替代地,在此类过程中可以使用电磁光谱的组合,诸如混合的红外图像数据和可见光图像数据。通常,在各种示例中,可以结合电磁图像数据的任何组合来选择性地示出(例如,在对应声学信号满足一个或多个预先确定的参数时包括)声学图像数据。
在一些实施例中,声学分析系统被配置成将一个或多个声学信号和/或声学图像数据存储在数据库中,例如,存储在本地存储器中和/或从外部或远程设备可访问。此类声学信号可以包括表示正常操作期间的声学场景的声学图像数据和/或与声学场景相关联的其他参数,诸如频率数据、强度数据、周期数据等等。在各种示例中,数据库场景可以包括声学图像数据和/或表示广阔场景(例如,工厂)和/或更具体场景(例如,特定对象)的其他声学参数(例如,强度、频率、周期等)。
在一些实施例中,数据库场景可以是对特定类型的设备(诸如特定型号的设备)所通用的。附加地或替代地,数据库场景可以是特定于各个对象的,即使不同的此类对象是相同对象的不同实例(例如,相同型号的两个单独机器)。类似地,数据库场景可以是更具体的,例如,包括对象的特定操作操作。例如,如果特定对象具有多种操作的模式,则数据库可以包括此类对象的多个场景,操作的模式中的每个模式一个。
在各种实施例中,数据库场景可以是单个声学图像和/或相关联声学参数。在其他示例中,数据库场景可以包括由多个先前捕获的声学图像和/或相关联参数形成的复合数据。通常,数据库场景(例如,声学图像和/或参数)可以包括正常操作期间的场景的声学表示。在一些示例中,数据库可以包括与场景相关联的其他元素,诸如例如对应的可见光图像、红外图像、紫外图像或其组合。在一些实施例中,数据库生成和/或比较可以类似于在2016年6月23日提交的并且题为“THERMAL ANOMALY DETECTION”的美国专利申请No. 15/190,792中描述的红外图像数据的数据库生成和比较来执行,所述美国专利申请被转让给本申请的受让人并且通过引用以其全文合并于此。在一些实施例中,可以通过在场景内的对象正在正确操作时捕获场景的声学图像数据和/或一个或多个相关联声学参数(例如,频率、强度、周期等)来生成数据库。在一些此类示例中,用户可以标记所捕获的数据库图像以将所述图像与一个或多个对象、位置、场景等等相关联,使得可以在将来识别所捕获的声学图像和/或相关联的(一个或多个)参数,用于数据库分析和比较。
可以将新生成的声学图像数据与存储在数据库中的声学图像数据进行比较以确定声学场景的声学简档是否在典型操作标准内。附加地或替代地,可以将来自实况声学场景和/或新生成的声学图像的声学参数(诸如强度、频率、周期等等)与数据库中的类似参数进行比较。
可以以多个方式进行当前声学图像数据与存储在数据库中的历史声学图像数据(例如,先前捕获的图像、由多个先前捕获的图像生成的复合图像、工厂提供的预期图像等)的比较。图11A-11C示出用于比较声学图像数据与存储在数据库中的历史声学图像数据的多个示例性方式。图11A示出包括具有声学视场1112的声学传感器阵列1102的声学成像工具1100和具有电磁视场1114的电磁成像工具1104。如示出的那样,电磁视场1114和声学视场1112包括目标场景1120,所述目标场景1120包括感兴趣的对象1122。在一些实施例中,声学成像工具1100被永久固定在使得感兴趣的对象1122在电磁视场1114和声学视场1112中的位置中。在一些实施例中,声学成像工具1100可以经由感应或寄生电源供电,可以被连线到建筑物中的AC主电源中或者被配置成连续监视对象1122。
固定声学成像工具1100可以被配置成周期地捕获对象1122的声学和/或电磁图像数据。因为声学成像工具1100通常被固定就位,所以在不同时间捕获的图像将来自大致相同的有利位置。在一些示例中,可以将经由声学成像工具1100捕获的声学图像数据与表示大致相同场景的声学图像数据的数据库进行比较,例如,以检测声学场景中的反常或异常。这可以例如如在美国专利申请No. 15/190,792中所述执行,所述美国专利申请以引用方式并入。
图11B示出了例如手持式声学成像工具上的示例性显示。显示1130包括两个部分1132和1134。在所图示的示例中,部分1134示出了感兴趣的对象的数据库图像1144,而部分1132包括对象的实时声学图像数据的实况显示1142。在此类并排视图中,用户可以比较实况图像1142与数据库图像1144,以便查看典型声学信号(例如,如数据库图像1144中所示)与当前实时图像1142之间的任何差别。类似地,用户可以比较实况图像1142是否大致匹配数据库图像1144。如果是,则用户可以捕获实况声学图像,用于进一步分析和/或与数据库图像1144比较。
图11C示出了例如手持式声学成像工具上的另一示例性显示。图11C的显示1150在相同显示1152上显示数据库图像1154和实况图像1156。在图11C的示例中,用户可以类似地将实况图像1156中的声学图像数据与数据库图像1154中的声学图像数据进行比较,以便查看差别。另外,用户可以调整声学成像工具的对准,以便将实况图像1156中的对象与数据库图像1154中的对象对准,用于进一步分析和比较。
作为图11A-11C中的过程的结果,可以将实况和/或最近捕获的声学图像与诸如来自数据库的先前声学图像数据进行比较。在一些示例中,可以使用此类过程来将实况和/或最近捕获的声学图像与数据库图像配准,用于自动比较。在2011年12月20日提交的并且题为“THERMAL IMAGING CAMERA FOR INFRARED REPHOTOGRAPHY”的美国专利申请No. 13/331,633、2011年12月20日提交的并且题为“THERMAL IMAGING CAMERA FOR INFRAREDREPHOTOGRAPHY”的美国专利申请No. 13/331,644以及2011年12月23日提交的并且题为“THERMAL IMAGING CAMERA FOR INFRARED REPHOTOGRAPHY”的美国专利申请No. 13/336,607中描述了可以用于从与数据库图像类似的有利位置“重新捕获”声学图像数据的其他过程,所述美国专利申请中的每个被转让给本申请的受让人并且通过引用以其全文被合并。
实时声学图像数据和/或声学特征与可比较的场景/对象的对应声学图像和/或声学特征比较可以用于提供对所述场景/对象的操作的状态的快速和简化的分析。例如,比较可以指示声学场景内的某些位置正在发射具有与典型操作期间不同的强度或频谱的声学信号,这可以指示问题。类似地,场景中的位置可以正在发射通常是静音的声学信号。附加地或替代地,实况场景与来自数据库的历史场景的整体声学特征的比较通常可以指示场景中的声学参数(诸如频率含量、声学强度等等)中的变化。
在一些示例中,声学分析系统被配置成将最近/实时声学场景与数据库进行比较。在一些实施例中,声学分析系统被配置成表征最近/实时场景与数据库场景之间的差别,并基于所述比较来诊断当前场景中的一个或多个可能问题。例如,在一些实施例中,用户可以预先选择感兴趣的对象或目标场景,用于与声学数据库进行比较。基于选定的对象/场景,声学分析系统可以将数据库图像和/或其他参数与最近/当前图像和/或其他参数进行比较以分析所述场景。基于来自数据库的选定对象/场景,声学分析系统可能能够识别数据库图像/参数与最近/当前图像/参数之间的一个或多个差别,并将所识别的(一个或多个)差别与所述差别的一个或多个可能原因相关联。
在一些示例中,声学分析系统可以预编程有多个诊断信息,例如,将数据库图像/参数与最近/当前图像/参数之间的各种差别与可能原因和/或对原因的解决方案相关联。附加地或替代地,用户可以例如从诊断数据的存储库加载此类诊断信息。此类数据可以例如由声学分析系统的制造商、感兴趣的对象的制造商等等提供。在再进一步的示例中,声学分析系统可以附加地或替代地例如经由一个或多个机器学习过程来学习诊断信息。在一些此类示例中,用户可以在观察到场景与典型的声学偏差之后诊断目标场景中的一个或多个问题,并且可以将表示所述一个或多个问题和/或一个或多个解决方案的数据输入到声学分析系统中。系统可以被配置成随时间并且经由多个数据条目来学习以将最近/当前图像和/或参数与存储在数据库中的那些图像和/或参数之间的不同差异与某些问题和/或解决方案相关联。在诊断问题和/或确定所提议的解决方案时,声学分析系统可以被配置成例如经由显示向用户输出可疑问题和/或所提议解决方案。此类显示可以在手持式声学检查工具或远程设备(例如,用户的智能电话、平板计算机、计算机等)上。附加地或替代地,指示潜在问题和/或解决方案的此类显示可以例如经由网络被传送到远程站点,诸如场外操作员/系统监视器。
在一些示例诊断表征中,声学分析系统可以观察到指示在操作机器上需要附加的润滑的特定周期吱吱声。类似地,恒定高音高信号可能指示目标场景中的气体或空气泄漏。其他问题可以类似地具有可辨识声学特征,诸如在分析中的对象内的断裂轴承,使得经由声学成像系统(例如,手持式声学成像工具)查看声学特征可以帮助诊断系统或对象中的任何异常。
能够比较接收的声学信号与基线(例如,来自数据库的声学图像数据和/或参数)并且执行诊断信息和/或建议校正动作的声学分析系统可以消除对经验丰富的专家分析场景的声学数据的需要。而是,声学检查和分析可以由在分析声学数据方面具有有限经验或没有经验的系统操作员来执行。
图12是示出了将接收的声学图像数据与数据库进行比较用于对象诊断的示例性操作的过程流程图。所述方法包括接收对感兴趣的目标的选择(1280)并从数据库取回感兴趣的目标的基线声学图像和/或声学参数(1282)。例如,用户可能希望执行特定感兴趣的对象的声学分析,并且可以从具有在数据库中可用的可用基线声学图像和/或参数的预先定义的对象的列表选择此类对象。
方法进一步包括例如使用手持式声学成像工具捕获表示感兴趣的目标的声学图像数据和相关联参数(1284)的步骤。在捕获声学图像数据和相关联参数(1284)之后,所述方法包括将所捕获的声学图像数据和/或相关联参数与取回的基线图像和/或参数进行比较(1286)。
图12的方法进一步包括,如果所捕获的声学图像数据和/或参数足够地偏离于基线(1288),则基于所述比较来诊断感兴趣的目标的操作问题(1290)。方法可以进一步包括向用户显示可能问题和/或校正动作的指示(1292)的步骤。在一些实施例中,比较显示(例如,示出当前声学图像数据与基线声学图像数据之间的差别的差别图像)可以附加地或替代地被显示给用户。
在一些此类示例中,确定是否存在与基线的偏差(1288)包括将所捕获的数据的一个或多个声学参数与基线数据中的相似参数进行比较,并确定所捕获的参数与基线参数之间的差是否超过预先确定的阈值。在各种示例中,不同参数可以包括不同阈值,并且此类阈值可以是绝对阈值、统计阈值等等。在一些实施例中,比较可以逐位置地进行,并且可以针对场景内的位置的子集执行。
例如,关于图8B,关于对象的操作来仅分析包括声学图像数据并出现在对象上的位置(例如,位置810和840)是可能的。在此示例中,在所捕获的图像与数据库图像之间单独地比较待比较的位置(例如,810和840)中的每个处的不同声学参数。例如,参考图8B,将所捕获的数据和/或相关联的参数与来自数据库的那些数据和/或相关联的参数进行比较可以包括将所捕获的图像中的位置810的频率、强度和周期分别与数据库图像中的位置810的频率、强度和周期进行比较。类似的比较可以在所捕获的图像与数据库图像之间在位置840处执行。如所描述的那样,每个比较可以包括用于确定是否存在与基线的足够的偏差的不同度量(1288)。
诊断操作问题(1290)和显示可能问题和/或校正动作的指示(1292)可以基于所捕获的图像数据和/或参数与基线图像数据和/或参数之间的比较的组合来执行。在一些示例中,此类诊断可以包括多维分析,诸如组合给定位置处的多个参数的比较。例如,在示例性实施例中,某个条件可能由大于第一阈值的与基线的频率中的偏差和大于第二阈值的与基线的强度中的偏差两者来指示。
在一些示例中,甚至在显示可能问题和/或校正动作的指示(1292)之后,所述过程也可以包括捕获新声学图像数据和相关联参数(1284)并重复比较和诊断过程。因此,用户可以观察任何所采取的校正动作是否正有效地改变对象的声学特征,以便纠正所识别的问题和/或使对象的声学特征与基线一致。
在一些实施例中,如果在将所捕获的数据与基线数据进行比较(1286)之后与基线没有足够的偏差(1288),则所述过程可以结束(1294),其中结论是:基于对象的当前声学特征,对象正在正常操作。附加地或替代地,可以捕获感兴趣的目标的新声学图像数据和相关联的参数(1284),并且可以重复比较和诊断过程。在一些示例中,连续重复分析可以使用例如包括图11A中的声学成像工具1100的固定声学分析系统执行。
声学数据(例如,图像数据和/或其他声学参数)的比较可以帮助用户更容易地识别对象是否正确运转,并且如果否,则诊断关于所述对象的问题。在一些示例中,与基线的比较可以帮助用户忽略场景中的“正常”声音,诸如可能与对象的操作问题无关的预期操作声音或本底/背景声音。
在操作期间,对声学图像数据和/或相关联的声学参数的观察或观察当前声学场景与数据库声学场景之间的比较的结果可以向用户指示感兴趣的位置,用于进一步检查。例如,示出与数据库图像的偏差的比较声学图像可以指示场景中正异常操作的一个或多个位置。类似地,查看在意想不到的一个或多个位置处具有声学特征的声学图像可以向用户指示感兴趣的位置。例如,参考图9B,在声学成像系统的显示器上观察图9B的用户可以意识到特定位置(例如,920)正意想不到的发射声学信号,或者类似地,与基线图像的比较指示该位置处的声学信号的意想不到的参数(例如,意想不到的频率、强度等等)。
在一些此类示例中,用户可以移动更靠近于此类位置,以便更仔细地针对异常检查所述位置。在移动更靠近于对象时,可以更新到目标的距离值以反映声学阵列与目标位置之间的新距离。声学传感器阵列和/或反向传播算法可以基于更新的到目标的距离来更新。附加地或替代地,来自更靠近位置的更新的声学分析可以产生对来自目标的声学信号的不同分析。例如,高频声学信号(例如,超声信号)倾向于在距声学信号源相对短距离上衰减。因此,当用户移动更靠近于目标用于进一步检查时,附加信号(例如,高频信号)可能对声学传感器阵列是可见的。可观察场景中的此类明显变化还可能导致调整用于声学成像的声学传感器阵列和/或反向传播算法。
因此,当用户移动更靠近于感兴趣的对象或区域时,可以更新用于声学成像的传感器阵列和/或反向传播算法一次或多次。每次更新可以使用不同的传感器阵列和/或反向传播算法提供关于可能无法从更远距离可观察的感兴趣的对象或区域的附加细节。例如基于对更广阔场景的初始观察来移动更靠近于感兴趣的对象或区域还可以相对于环境中的背景声音增加感兴趣的声学信号的声学强度。
在一些实施例中,声学分析系统(例如,手持式声学成像工具)可以提示用户移动更靠近于场景内的感兴趣的对象或区域。例如,在将当前声学图像与基线数据库图像进行比较时,声学分析系统可以识别与基线偏离的场景中一个或多个位置。声学分析系统可以例如经由显示器向用户突出显示此类一个或多个位置,并且建议用户移动更靠近于所识别的(一个或多个)位置,用于进一步分析。在一些示例中,声学分析系统可以将所识别的位置(诸如对象的子部件或环境内的特定对象)分类为具有存储在数据库中的其自己的基线简档。所述系统可以被配置成建议和/或实现所分类位置的此类简档,以促进在用户移动更靠近以进行附加检查时对所识别位置的进一步分析。
本文中描述的系统和过程可以用于提高声学检查的速度、效率、准确性和彻底性。各种自动化动作和/或建议(例如,传感器阵列、反向传播算法等的自动化动作和/或建议)可以将检查的容易性增加到没有经验的用户可以执行声学场景的彻底声学检查的程度。此外,此类过程可以用于分析广阔范围的场景,诸如整个系统、各个对象以及各个对象的子部件。声学场景的基线声学数据的预先定义的和/或用户生成的简档可以帮助甚至没有经验的用户识别所捕获的声学数据中的异常。
声学图像数据与其他数据流(诸如可见光、红外和/或紫外图像数据)的配准可以为哪些对象正在发射声学图像数据中表示的声学信号提供附加上下文和细节。组合声学传感器阵列和距离测量工具(例如,激光测距仪)可以帮助用户快速并且容易地确定用于在声学成像过程期间使用的适当的到目标的距离值。在各种示例中,声学传感器阵列、距离测量工具、处理器、存储器以及一个或多个附加成像工具(例如,可见光相机模块、红外相机模块等)可以由可以提供对多个场景的高效声学分析的手持式声学成像工具中的单个壳体支撑。此类手持式声学成像工具可以从一个场景移动到另一个场景,用于对多个感兴趣的对象的快速分析。类似地,使用手持式工具,用户可以移动更靠近于场景内的感兴趣的位置,用于进一步检查或分析。
如本文中描述的各种过程可以被实现为包括用于致使一个或多个处理器用于执行此类过程的可执行指令的非暂时性计算机可读介质。系统可以包括一个或多个处理器,所述处理器被配置成例如基于存储在集成到处理器或在处理器外部的存储器中的指令来执行此类过程。在一些情况下,各种部件可以被分布在整个系统中。例如,系统可以包括多个分布处理器,每个分布处理器被配置成执行由系统执行的整个过程的至少一部分。
已经描述各种实施例。此类示例是非限制性的,并且并不以任何方式限定或限制本发明的范围。而是,这些和其他示例在以下权利要求的范围内。
Claims (22)
1.一种声学分析系统,包括:
声学传感器阵列,其包括多个声学传感器元件,所述多个声学传感器元件中的每个被配置成从声学场景接收声学信号并基于接收的声学信号来输出声学数据;
电磁成像工具,其被配置成从目标场景接收电磁辐射并输出表示接收的电磁辐射的电磁图像数据;
显示器;以及
处理器,其与声学传感器阵列和显示器通信,所述处理器被配置成:
从声学传感器阵列接收声学数据并基于接收的声学数据生成声学图像数据;
分析声学数据以提取表示声学场景中的一个或多个位置处的声学信号的一个或多个声学参数,其中所述一个或多个声学参数包括以下各项中的至少一个:周期、表观接近度或测量的接近度;
生成包括电磁图像数据、声学图像数据以及指示声学场景中的一个或多个位置处的一个或多个声学参数的信息的显示图像;以及
将显示图像传送到显示器,用于呈现给用户。
2.根据权利要求1所述的系统,其中生成包括指示一个或多个声学参数的信息的显示图像包括将电磁图像数据与仅在所述一个或多个声学参数在其处满足预先确定的条件的声学场景中的位置处的声学图像数据组合。
3.根据权利要求1所述的系统,其中所述一个或多个声学参数还包括以下各项中的至少一个:强度、频率、声压、质点速度、质点位移、声功率、声能、声能密度、声音暴露、音高、振幅、嘹亮度或谐波。
4.根据权利要求2所述的系统,其中预先确定的条件包括预先确定的值的范围,使得满足预先确定的条件包括一个或多个声学参数中的一个或多个具有在预先确定的值的范围内的值。
5.根据权利要求2所述的系统,生成显示图像包括遍历多个预先确定的条件,使得显示图像被周期地更新以包括一个或多个声学参数在其处满足更新的预先确定的条件的位置处的声学图像数据。
6.根据权利要求5所述的系统,其中所述多个预先确定的条件包括一个声学参数的多个预先确定的范围。
7.根据权利要求1所述的系统,进一步包括存储器,所述存储器与处理器通信并且包括针对声学场景的一个或多个基线简档,基线简档包括声学场景的一个或多个声学参数,并且其中处理器被配置成:
从存储器取回基线简档;
将来自声学传感器阵列的声学图像数据和/或声学数据与取回的基线简档进行比较;以及
基于比较向用户输出指示。
8.根据权利要求7所述的系统,其中向用户输出指示包括通知用户来自声学场景的声音简档中的变化和/或诊断关于声学场景内的一个或多个对象的一个或多个潜在问题。
9.根据权利要求7所述的系统,其中基线简档包括声学场景中的感兴趣的对象的基线简档。
10.根据权利要求7所述的系统,其中处理器被配置成将声学图像数据和/或一个或多个相关联的声学参数保存到存储器作为基线简档。
11.一种用于分析声学场景的方法,包括:
从目标场景接收电磁辐射;
生成表示目标场景的电磁图像数据;
借助声学传感器阵列从声学场景接收声学信号;
生成表示接收的声学信号的声学图像数据;
分析接收的声学信号以提取表示声学场景中的一个或多个位置处的声学信号的一个或多个声学参数,其中所述一个或多个声学参数包括以下各项中的至少一个:周期、表观接近度或测量的接近度;
生成包括电磁图像数据和声学图像数据的显示图像,其中显示图像仅包括一个或多个声学参数在其处满足一个或多个预先确定的条件的位置处的声学图像数据。
12.根据权利要求11所述的方法,进一步包括:
从存储器接收声学场景的基线简档,基线简档包括与声学场景相关联的至少一个声学参数;以及
将接收的声学信号、一个或多个提取的声学参数和/或生成的声学图像数据与接收的基线简档进行比较;并且其中
满足预先确定的条件包括接收的声学信号的一个或多个声学参数与基线简档中的对应参数相差预先确定的量。
13.根据权利要求12所述的方法,其中基线简档包括声学图像数据和声学图像数据中的多个位置处的对应的声学参数。
14.根据权利要求12所述的方法,进一步包括,如果接收的声学信号的一个或多个声学参数与基线简档中的对应的参数相差预先确定的量,则输出警告。
15.根据权利要求14所述的方法,其中警告包括声学简档中的变化的通知、对来自简档的声学变化的分析、对声学参数中的变化的可能原因的诊断和/或用于解决一个或多个声学参数与基线中的差的推荐动作。
16.根据权利要求11所述的方法,进一步包括:
更新一个或多个预先确定的条件;以及
更新显示图像以仅包括一个或多个声学参数在其处满足一个或多个更新的预先确定的条件的位置处的声学图像数据。
17.根据权利要求11所述的方法,其中一个或多个声学参数包括以下各项中的一个或多个:频率、强度、周期或表观接近度。
18.一种手持式声学成像工具,包括:
声学传感器阵列,其包括多个声学传感器元件,所述多个声学传感器元件中的每个被配置成从声学场景接收声学信号并基于接收的声学信号输出声学数据;
电磁成像工具,其被配置成从目标场景接收电磁辐射并输出表示接收的电磁辐射的电磁图像数据;
显示器;以及
处理器,其与声学传感器阵列和显示器通信,所述处理器被配置成周期地:
从声学传感器阵列接收声学数据并基于接收的声学数据生成声学图像数据;
生成包括电磁图像数据、声学图像数据以及指示声学场景中的一个或多个位置处的一个或多个声学参数的信息的实时显示图像,其中所述一个或多个声学参数包括以下各项中的至少一个:周期、表观接近度或测量的接近度;以及
更新显示器上的实时显示图像。
19.根据权利要求18所述的手持式声学成像工具,其中处理器被进一步配置成分析声学数据以提取表示声学场景中的一个或多个位置处的声学信号的一个或多个声学参数,并且其中实时显示图像包括仅在一个或多个声学参数在其处满足预先确定的条件的声学场景中的位置处的声学图像数据,使得指示一个或多个声学参数的信息包括满足预先确定的条件的显示的声学图像数据。
20.根据权利要求19所述的手持式声学成像工具,其中处理器被进一步配置成更新预先确定的条件,使得满足预先确定的条件的声学参数随时间变化,并且更新包括在实时显示图像中的声学图像数据以表示更新的预先确定的条件。
21.根据权利要求19所述的手持式声学成像工具,进一步包括用户界面,并且其中预先确定的条件是经由用户界面由用户可选择的。
22.根据权利要求18所述的手持式声学成像工具,其中实时显示图像包括电磁图像数据和声学图像数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311345075.9A CN117348014A (zh) | 2017-11-02 | 2018-11-02 | 具有扫描和分析能力的便携式声学成像工具 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/802,177 US11209306B2 (en) | 2017-11-02 | 2017-11-02 | Portable acoustic imaging tool with scanning and analysis capability |
US15/802177 | 2017-11-02 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311345075.9A Division CN117348014A (zh) | 2017-11-02 | 2018-11-02 | 具有扫描和分析能力的便携式声学成像工具 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109752721A CN109752721A (zh) | 2019-05-14 |
CN109752721B true CN109752721B (zh) | 2023-11-07 |
Family
ID=64109796
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311345075.9A Pending CN117348014A (zh) | 2017-11-02 | 2018-11-02 | 具有扫描和分析能力的便携式声学成像工具 |
CN201811300836.8A Active CN109752721B (zh) | 2017-11-02 | 2018-11-02 | 具有扫描和分析能力的便携式声学成像工具 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311345075.9A Pending CN117348014A (zh) | 2017-11-02 | 2018-11-02 | 具有扫描和分析能力的便携式声学成像工具 |
Country Status (3)
Country | Link |
---|---|
US (3) | US11209306B2 (zh) |
EP (1) | EP3480567B1 (zh) |
CN (2) | CN117348014A (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11209306B2 (en) | 2017-11-02 | 2021-12-28 | Fluke Corporation | Portable acoustic imaging tool with scanning and analysis capability |
EP3827227A1 (en) | 2018-07-24 | 2021-06-02 | Fluke Corporation | Systems and methods for projecting and displaying acoustic data |
EP3891477A2 (en) * | 2018-12-03 | 2021-10-13 | Sonelite Inc. | Multi-wavefield flow sensing devices and related methods |
EP4018936B1 (en) * | 2019-08-19 | 2023-09-06 | FUJIFILM Corporation | Ultrasonic diagnostic apparatus and control method for ultrasonic diagnostic apparatus |
EP4211494A2 (en) | 2020-09-11 | 2023-07-19 | Fluke Corporation | System and method for generating panoramic acoustic images and virtualizing acoustic imaging devices by segmentation |
CN112285648B (zh) * | 2020-10-13 | 2022-11-01 | 西北工业大学 | 一种基于声源定位的增强现实系统与方法 |
KR102469484B1 (ko) * | 2021-01-29 | 2022-11-22 | 엘지전자 주식회사 | 디스플레이 장치 |
US11774614B2 (en) * | 2021-07-13 | 2023-10-03 | X Development Llc | Synthetic subterranean source |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0618446A1 (en) * | 1993-04-01 | 1994-10-05 | Hewlett-Packard Company | Method and device for separating acoustic wave-generated energy from directly coupled electromagnetic interference |
CN1636151A (zh) * | 2002-02-20 | 2005-07-06 | 皇家飞利浦电子股份有限公司 | 便携式三维超声系统 |
WO2006110630A2 (en) * | 2005-04-07 | 2006-10-19 | Safety Dynamics, Inc. | Real time acoustic event location and classification system with camera display |
JP2007535195A (ja) * | 2003-07-11 | 2007-11-29 | ブルービュー テクノロジーズ インコーポレイテッド | 2dおよび3d画像のための周波数ステアリング型音響アレイを実施する方法およびシステム |
WO2008030482A2 (en) * | 2006-09-06 | 2008-03-13 | Innurvation Inc | System and method for acoustic information exchange involving an ingestible low power capsule |
CN101203183A (zh) * | 2005-04-14 | 2008-06-18 | 维拉声学公司 | 利用面向像素处理的超声成像系统 |
CN102458258A (zh) * | 2009-06-23 | 2012-05-16 | 西格诺斯蒂克斯有限公司 | 改进的超声换能器 |
EP2469323A1 (en) * | 2010-12-24 | 2012-06-27 | Sony Corporation | Sound information display device, sound information display method, and program |
CN104995679A (zh) * | 2013-02-13 | 2015-10-21 | 美国亚德诺半导体公司 | 信号源分离 |
WO2016148825A1 (en) * | 2015-03-19 | 2016-09-22 | Intel Corporation | Acoustic camera based audio visual scene analysis |
WO2017070629A1 (en) * | 2015-10-23 | 2017-04-27 | Fluke Corporation | Imaging tool for vibration and/or misalignment analysis |
Family Cites Families (117)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3592534A (en) | 1969-04-07 | 1971-07-13 | Bell & Howell Co | Audiovisual display system |
US4662222A (en) | 1984-12-21 | 1987-05-05 | Johnson Steven A | Apparatus and method for acoustic imaging using inverse scattering techniques |
US4662722A (en) | 1985-05-23 | 1987-05-05 | Ford Aerospace & Communications Corp. | Polarization insensitive mirror |
NL9201787A (nl) | 1992-10-14 | 1994-05-02 | Jacobus Lambertus Van Merkstei | Lokalisatie van storingen. |
JP2830839B2 (ja) | 1996-05-10 | 1998-12-02 | 日本電気株式会社 | 距離計測装置 |
US7085387B1 (en) * | 1996-11-20 | 2006-08-01 | Metcalf Randall B | Sound system and method for capturing and reproducing sounds originating from a plurality of sound sources |
JP3678016B2 (ja) | 1998-09-01 | 2005-08-03 | いすゞ自動車株式会社 | 音源探索方法 |
DE19844870A1 (de) | 1998-09-30 | 2000-04-20 | Bruno Stieper | Verfahren zum Darstellen eines Schallfeldes |
US20040021031A1 (en) | 1998-11-16 | 2004-02-05 | Dan Klaus | Device for traversing a flexible linear product for spooling |
US6239348B1 (en) * | 1999-09-10 | 2001-05-29 | Randall B. Metcalf | Sound system and method for creating a sound event based on a modeled sound field |
US7092882B2 (en) * | 2000-12-06 | 2006-08-15 | Ncr Corporation | Noise suppression in beam-steered microphone array |
WO2003011139A1 (en) | 2001-07-31 | 2003-02-13 | Koninklijke Philips Electronics N.V. | Transesophageal and transnasal, transesophageal ultrasound imaging systems |
US6907799B2 (en) | 2001-11-13 | 2005-06-21 | Bae Systems Advanced Technologies, Inc. | Apparatus and method for non-destructive inspection of large structures |
DE10200561B4 (de) | 2002-01-09 | 2006-11-23 | Eads Deutschland Gmbh | Radarsystem mit einem phasengesteuerten Antennen-Array |
US6901028B2 (en) * | 2002-03-14 | 2005-05-31 | Input/Output, Inc. | Marine seismic survey apparatus with graphical user interface and real-time quality control |
WO2003096883A2 (en) | 2002-05-16 | 2003-11-27 | Barbara Ann Karmanos Cancer Institute | Combined diagnostic and therapeutic ultrasound system |
JP2004077277A (ja) | 2002-08-19 | 2004-03-11 | Fujitsu Ltd | 音源位置の可視化表示方法および音源位置表示装置 |
JP4368798B2 (ja) | 2002-08-30 | 2009-11-18 | 日東紡音響エンジニアリング株式会社 | 音源探査システム |
AU2003275290B2 (en) * | 2002-09-30 | 2008-09-11 | Verax Technologies Inc. | System and method for integral transference of acoustical events |
GB0229059D0 (en) * | 2002-12-12 | 2003-01-15 | Mitel Knowledge Corp | Method of broadband constant directivity beamforming for non linear and non axi-symmetric sensor arrays embedded in an obstacle |
ITMI20031196A1 (it) | 2003-06-13 | 2004-12-14 | Lpe Spa | Sistema per crescere cristalli di carburo di silicio |
US7538326B2 (en) | 2004-12-03 | 2009-05-26 | Fluke Corporation | Visible light and IR combined image camera with a laser pointer |
KR100677554B1 (ko) * | 2005-01-14 | 2007-02-02 | 삼성전자주식회사 | 비임형성 방식을 이용한 녹음 장치 및 그 방법 |
US20070189544A1 (en) * | 2005-01-15 | 2007-08-16 | Outland Research, Llc | Ambient sound responsive media player |
US8253619B2 (en) * | 2005-02-15 | 2012-08-28 | Techtronic Power Tools Technology Limited | Electromagnetic scanning imager |
DE102005030326B4 (de) * | 2005-06-29 | 2016-02-25 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung, Verfahren und Computerprogramm zur Analyse eines Audiosignals |
US7996212B2 (en) * | 2005-06-29 | 2011-08-09 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Device, method and computer program for analyzing an audio signal |
JP4983207B2 (ja) | 2006-01-30 | 2012-07-25 | 日産自動車株式会社 | 異音対策確認装置および異音対策確認方法 |
JP5286667B2 (ja) * | 2006-02-22 | 2013-09-11 | コニカミノルタ株式会社 | 映像表示装置、及び映像表示方法 |
US7532541B2 (en) | 2006-02-23 | 2009-05-12 | Fev Engine Technology, Inc | Object detection using acoustic imaging |
US20080119716A1 (en) * | 2006-05-17 | 2008-05-22 | Olga Boric-Lubecke | Determining presence and/or physiological motion of one or more subjects with quadrature doppler radar receiver systems |
EP1936404B1 (en) | 2006-12-18 | 2008-12-10 | Aloka Co., Ltd. | Ultrasound diagnosis apparatus |
US7798967B2 (en) | 2006-12-19 | 2010-09-21 | Aloka Co., Ltd. | Ultrasound diagnosis apparatus |
US8395496B2 (en) | 2007-03-29 | 2013-03-12 | Shiv P Joshi | Miniature modular wireless sensor |
US8638362B1 (en) | 2007-05-21 | 2014-01-28 | Teledyne Blueview, Inc. | Acoustic video camera and systems incorporating acoustic video cameras |
EP2063419B1 (en) | 2007-11-21 | 2012-04-18 | Nuance Communications, Inc. | Speaker localization |
JP5050935B2 (ja) | 2008-03-06 | 2012-10-17 | 日本電気株式会社 | ソーナー受信装置 |
EP2277021B1 (en) | 2008-04-25 | 2020-05-13 | Stichting voor de Technische Wetenschappen | Acoustic holography |
CN101290347B (zh) | 2008-06-13 | 2011-04-27 | 清华大学 | 用规则声阵列和单摄像机获取静止声源声场图像的方法 |
US8446254B2 (en) * | 2008-11-03 | 2013-05-21 | Thingmagic, Inc. | Methods and apparatuses for RFID tag range determination |
TWI389579B (zh) | 2009-04-27 | 2013-03-11 | Univ Nat Chiao Tung | Acoustic camera |
WO2010148141A2 (en) * | 2009-06-16 | 2010-12-23 | University Of Florida Research Foundation, Inc. | Apparatus and method for speech analysis |
JP2011015050A (ja) | 2009-06-30 | 2011-01-20 | Nittobo Acoustic Engineering Co Ltd | ビームフォーミング用のアレイ、及びそれを用いた音源探査測定システム |
US8121618B2 (en) | 2009-10-28 | 2012-02-21 | Digimarc Corporation | Intuitive computing methods and systems |
WO2011069964A1 (en) | 2009-12-11 | 2011-06-16 | Sorama Holding B.V. | Acoustic transducer assembly |
JP2011163776A (ja) | 2010-02-04 | 2011-08-25 | Ono Sokki Co Ltd | 音源モニタリング装置 |
US8707785B2 (en) | 2010-04-16 | 2014-04-29 | U.E. Systems, Inc. | On-board ultrasonic frequency spectrum and image generation |
JP2012021969A (ja) | 2010-06-18 | 2012-02-02 | Panasonic Electric Works Co Ltd | 部屋、配線器具 |
EP2413115A1 (en) | 2010-07-30 | 2012-02-01 | Technische Universiteit Eindhoven | Generating a control signal based on acoustic data |
KR101219746B1 (ko) | 2010-08-24 | 2013-01-10 | 서울대학교산학협력단 | 탄성 매질에서의 주파수 영역 역시간 구조보정을 이용한 지하구조의 영상화 장치 및 방법 |
EP2638694A4 (en) * | 2010-11-12 | 2017-05-03 | Nokia Technologies Oy | An Audio Processing Apparatus |
JP5702160B2 (ja) | 2011-01-20 | 2015-04-15 | 中部電力株式会社 | 音源推定方法及び音源推定装置 |
US9176990B2 (en) | 2011-03-04 | 2015-11-03 | Fluke Corporation | Visual image annotation, tagging of infrared images, and infrared image linking |
US20160025993A1 (en) | 2014-07-28 | 2016-01-28 | Apple Inc. | Overlapping pattern projector |
KR101213540B1 (ko) | 2011-08-18 | 2012-12-18 | (주)에스엠인스트루먼트 | 멤스 마이크로폰 어레이를 이용한 음향감지 장치 및 음향카메라 |
US20130155249A1 (en) | 2011-12-20 | 2013-06-20 | Fluke Corporation | Thermal imaging camera for infrared rephotography |
US20130155248A1 (en) | 2011-12-20 | 2013-06-20 | Fluke Corporation | Thermal imaging camera for infrared rephotography |
US20130162835A1 (en) | 2011-12-23 | 2013-06-27 | Fluke Corporation | Thermal imaging camera for infrared rephotography |
US9495591B2 (en) * | 2012-04-13 | 2016-11-15 | Qualcomm Incorporated | Object recognition using multi-modal matching scheme |
KR101204499B1 (ko) | 2012-05-25 | 2012-11-26 | 주식회사 서울산전 | 영상기능이 부가된 전력설비진단용 초음파 진단장치 |
JP2013250111A (ja) | 2012-05-31 | 2013-12-12 | Ono Sokki Co Ltd | 音源探査装置 |
US9599632B2 (en) * | 2012-06-22 | 2017-03-21 | Fitbit, Inc. | Fitness monitoring device with altimeter |
CN102879080B (zh) | 2012-09-11 | 2014-10-15 | 上海交通大学 | 基于图像识别定位和声学传感器阵列测量的声场分析方法 |
WO2014064689A1 (en) * | 2012-10-22 | 2014-05-01 | Tomer Goshen | A system and methods thereof for capturing a predetermined sound beam |
US9260958B2 (en) | 2012-12-20 | 2016-02-16 | Schlumberger Technology Corporation | System and method for acoustic imaging using a transducer array |
FR3000862B1 (fr) | 2013-01-08 | 2015-01-09 | ACB Engineering | Dispositifs passifs d'acquisition acoustique large bande et systemes passifs d'imagerie acoustique large bande. |
JP6061693B2 (ja) | 2013-01-18 | 2017-01-18 | 株式会社日立パワーソリューションズ | 異常診断装置およびこれを用いた異常診断方法 |
CN105229737B (zh) | 2013-03-13 | 2019-05-17 | 寇平公司 | 噪声消除麦克风装置 |
JP6586076B2 (ja) | 2013-03-15 | 2019-10-02 | フルークコーポレイションFluke Corporation | 分離した無線モバイル装置を用いて赤外線画像に可視的な視聴覚の注釈付け |
US20140267757A1 (en) | 2013-03-15 | 2014-09-18 | Fluke Corporation | Parallax correction in thermal imaging cameras |
US9729803B2 (en) | 2013-03-15 | 2017-08-08 | Infrared Integrated Systems, Ltd. | Apparatus and method for multispectral imaging with parallax correction |
US20140269163A1 (en) | 2013-03-15 | 2014-09-18 | Navico, Inc. | Sonar Multi-Function Display With Built-In Chirp Processing |
CN105191345B (zh) | 2013-03-29 | 2016-11-02 | 日产自动车株式会社 | 声源探测用麦克风支承装置 |
KR102080746B1 (ko) | 2013-07-12 | 2020-02-24 | 엘지전자 주식회사 | 이동 단말기 및 그것의 제어 방법 |
JP6342136B2 (ja) | 2013-10-15 | 2018-06-13 | 三菱重工業株式会社 | レーダ装置 |
GB2519347A (en) * | 2013-10-18 | 2015-04-22 | Pole Star Space Applic Ltd | Method and apparatus for tracking and checking compliance of vessels such as ships |
US9635456B2 (en) | 2013-10-28 | 2017-04-25 | Signal Interface Group Llc | Digital signal processing with acoustic arrays |
US9798030B2 (en) | 2013-12-23 | 2017-10-24 | General Electric Company | Subsea equipment acoustic monitoring system |
FR3018023B1 (fr) | 2014-02-25 | 2017-07-07 | Micro Db | Dispositif d’identification de sources acoustiques |
US9697465B2 (en) | 2014-04-30 | 2017-07-04 | Google Technology Holdings LLC | Drawing an inference of a usage context of a computing device using multiple sensors |
JP6218090B2 (ja) | 2014-05-09 | 2017-10-25 | パナソニックIpマネジメント株式会社 | 指向性制御方法 |
EP2958054B1 (en) | 2014-06-18 | 2024-07-03 | Mobileye Vision Technologies Ltd. | Hazard detection in a scene with moving shadows |
EP3172541A4 (en) | 2014-07-23 | 2018-03-28 | The Australian National University | Planar sensor array |
US20160073087A1 (en) | 2014-09-10 | 2016-03-10 | Lenovo (Singapore) Pte. Ltd. | Augmenting a digital image with distance data derived based on acoustic range information |
US20160076937A1 (en) | 2014-09-17 | 2016-03-17 | Fluke Corporation | Display of images from an imaging tool embedded or attached to a test and measurement tool |
EP3225280A4 (en) | 2014-11-26 | 2018-06-20 | Attibe Beauty Co., Ltd. | Ultrasonic wave generating device and procedure method using same |
US20160165341A1 (en) | 2014-12-05 | 2016-06-09 | Stages Pcs, Llc | Portable microphone array |
US10028053B2 (en) | 2015-05-05 | 2018-07-17 | Wave Sciences, LLC | Portable computing device microphone array |
WO2016176854A1 (en) | 2015-05-07 | 2016-11-10 | SZ DJI Technology Co., Ltd. | System and method for detecting an object |
KR101687825B1 (ko) * | 2015-05-18 | 2016-12-20 | 현대자동차주식회사 | 차량 및 그 제어 방법 |
US20170225033A1 (en) | 2015-06-23 | 2017-08-10 | Ipcomm Llc | Method and Apparatus for Analysis of Gait and to Provide Haptic and Visual Corrective Feedback |
GB2540226A (en) | 2015-07-08 | 2017-01-11 | Nokia Technologies Oy | Distributed audio microphone array and locator configuration |
US20170010359A1 (en) | 2015-07-09 | 2017-01-12 | Deca System, Inc. | Golf device with gps and laser rangefinder functionalities |
JP5939341B1 (ja) | 2015-07-14 | 2016-06-22 | パナソニックIpマネジメント株式会社 | モニタリングシステム及びモニタリング方法 |
US10152811B2 (en) | 2015-08-27 | 2018-12-11 | Fluke Corporation | Edge enhancement for thermal-visible combined images and cameras |
JP6543844B2 (ja) * | 2015-08-27 | 2019-07-17 | 本田技研工業株式会社 | 音源同定装置および音源同定方法 |
US10042038B1 (en) * | 2015-09-01 | 2018-08-07 | Digimarc Corporation | Mobile devices and methods employing acoustic vector sensors |
CN205067744U (zh) | 2015-10-23 | 2016-03-02 | 河海大学 | 一种范围可调式移动终端控制型障碍物探测系统 |
JP6665379B2 (ja) | 2015-11-11 | 2020-03-13 | 株式会社国際電気通信基礎技術研究所 | 聴覚支援システムおよび聴覚支援装置 |
US10008028B2 (en) | 2015-12-16 | 2018-06-26 | Aquifi, Inc. | 3D scanning apparatus including scanning sensor detachable from screen |
US10408933B1 (en) | 2016-01-08 | 2019-09-10 | Johnson Outdoors Inc. | Sonar imaging system with lateral target placement and multiple color display |
KR20170098089A (ko) | 2016-02-19 | 2017-08-29 | 삼성전자주식회사 | 전자 장치 및 그의 동작 방법 |
US9881619B2 (en) * | 2016-03-25 | 2018-01-30 | Qualcomm Incorporated | Audio processing for an acoustical environment |
US20170281982A1 (en) | 2016-03-31 | 2017-10-05 | Family Health International | Methods and systems for generating an occlusion using ultrasound |
JP2017207399A (ja) | 2016-05-19 | 2017-11-24 | 株式会社小野測器 | 音源探査装置及び音源探査方法 |
US10375325B2 (en) | 2016-06-23 | 2019-08-06 | Fluke Corporation | Thermal anomaly detection |
FI129137B (en) | 2016-09-22 | 2021-08-13 | Noiseless Acoustics Oy | ACOUSTIC CAMERA AND METHOD FOR DETECTING ACOUSTIC EMISSIONS FROM VARIOUS LOCATIONS AND EQUIPMENT |
JP6610640B2 (ja) | 2016-10-28 | 2019-11-27 | Jfeスチール株式会社 | 位置認識方法およびシステム、ならびに異常判定方法およびシステム |
EP3611933A1 (en) | 2017-01-05 | 2020-02-19 | Harman Becker Automotive Systems GmbH | Active noise reduction earphones |
CN110809804B (zh) | 2017-05-08 | 2023-10-27 | 梅西莫股份有限公司 | 使用适配器将医疗系统与网络控制器配对的系统 |
GB201710093D0 (en) | 2017-06-23 | 2017-08-09 | Nokia Technologies Oy | Audio distance estimation for spatial audio processing |
US20190129027A1 (en) | 2017-11-02 | 2019-05-02 | Fluke Corporation | Multi-modal acoustic imaging tool |
US11209306B2 (en) | 2017-11-02 | 2021-12-28 | Fluke Corporation | Portable acoustic imaging tool with scanning and analysis capability |
US11099075B2 (en) | 2017-11-02 | 2021-08-24 | Fluke Corporation | Focus and/or parallax adjustment in acoustic imaging using distance information |
US11494158B2 (en) | 2018-05-31 | 2022-11-08 | Shure Acquisition Holdings, Inc. | Augmented reality microphone pick-up pattern visualization |
EP3827227A1 (en) | 2018-07-24 | 2021-06-02 | Fluke Corporation | Systems and methods for projecting and displaying acoustic data |
US10694167B1 (en) | 2018-12-12 | 2020-06-23 | Verizon Patent And Licensing Inc. | Camera array including camera modules |
-
2017
- 2017-11-02 US US15/802,177 patent/US11209306B2/en active Active
-
2018
- 2018-11-01 EP EP18203998.2A patent/EP3480567B1/en active Active
- 2018-11-02 CN CN202311345075.9A patent/CN117348014A/zh active Pending
- 2018-11-02 CN CN201811300836.8A patent/CN109752721B/zh active Active
-
2021
- 2021-12-23 US US17/560,836 patent/US11913829B2/en active Active
-
2024
- 2024-01-16 US US18/414,199 patent/US20240151575A1/en active Pending
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0618446A1 (en) * | 1993-04-01 | 1994-10-05 | Hewlett-Packard Company | Method and device for separating acoustic wave-generated energy from directly coupled electromagnetic interference |
CN1636151A (zh) * | 2002-02-20 | 2005-07-06 | 皇家飞利浦电子股份有限公司 | 便携式三维超声系统 |
JP2007535195A (ja) * | 2003-07-11 | 2007-11-29 | ブルービュー テクノロジーズ インコーポレイテッド | 2dおよび3d画像のための周波数ステアリング型音響アレイを実施する方法およびシステム |
WO2006110630A2 (en) * | 2005-04-07 | 2006-10-19 | Safety Dynamics, Inc. | Real time acoustic event location and classification system with camera display |
CN101203183A (zh) * | 2005-04-14 | 2008-06-18 | 维拉声学公司 | 利用面向像素处理的超声成像系统 |
WO2008030482A2 (en) * | 2006-09-06 | 2008-03-13 | Innurvation Inc | System and method for acoustic information exchange involving an ingestible low power capsule |
CN102458258A (zh) * | 2009-06-23 | 2012-05-16 | 西格诺斯蒂克斯有限公司 | 改进的超声换能器 |
EP2469323A1 (en) * | 2010-12-24 | 2012-06-27 | Sony Corporation | Sound information display device, sound information display method, and program |
CN104995679A (zh) * | 2013-02-13 | 2015-10-21 | 美国亚德诺半导体公司 | 信号源分离 |
WO2016148825A1 (en) * | 2015-03-19 | 2016-09-22 | Intel Corporation | Acoustic camera based audio visual scene analysis |
CN107223332A (zh) * | 2015-03-19 | 2017-09-29 | 英特尔公司 | 基于声学相机的音频视觉场景分析 |
WO2017070629A1 (en) * | 2015-10-23 | 2017-04-27 | Fluke Corporation | Imaging tool for vibration and/or misalignment analysis |
Also Published As
Publication number | Publication date |
---|---|
CN117348014A (zh) | 2024-01-05 |
EP3480567B1 (en) | 2023-10-04 |
CN109752721A (zh) | 2019-05-14 |
EP3480567A1 (en) | 2019-05-08 |
US20190128730A1 (en) | 2019-05-02 |
US11913829B2 (en) | 2024-02-27 |
US20220170780A1 (en) | 2022-06-02 |
US11209306B2 (en) | 2021-12-28 |
US20240151575A1 (en) | 2024-05-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109752722B (zh) | 多模态声学成像工具 | |
CN109752721B (zh) | 具有扫描和分析能力的便携式声学成像工具 | |
CN112739997B (zh) | 用于可拆卸和可附接的声学成像传感器的系统和方法 | |
CN109756720B (zh) | 使用距离信息的声学成像中的焦点和/或视差调整 | |
WO2022056327A1 (en) | System and method for acoustic imaging with an accumulated-time view |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |