CN116249914A - 利用累积时间视图进行声学成像的系统和方法 - Google Patents
利用累积时间视图进行声学成像的系统和方法 Download PDFInfo
- Publication number
- CN116249914A CN116249914A CN202180062171.5A CN202180062171A CN116249914A CN 116249914 A CN116249914 A CN 116249914A CN 202180062171 A CN202180062171 A CN 202180062171A CN 116249914 A CN116249914 A CN 116249914A
- Authority
- CN
- China
- Prior art keywords
- acoustic
- image data
- signals
- image
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
- G01N29/14—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object using acoustic emission techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/88—Sonar systems specially adapted for specific applications
- G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
- G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
- G01S15/8909—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using a static transducer configuration
- G01S15/8915—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using a static transducer configuration using a transducer array
- G01S15/8925—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using a static transducer configuration using a transducer array the array being a two-dimensional transducer configuration, i.e. matrix or orthogonal linear arrays
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
- G01N29/04—Analysing solids
- G01N29/06—Visualisation of the interior, e.g. acoustic microscopy
- G01N29/0654—Imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
- G01N29/44—Processing the detected response signal, e.g. electronic circuits specially adapted therefor
- G01N29/449—Statistical methods not provided for in G01N29/4409, e.g. averaging, smoothing and interpolation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
- G01S15/06—Systems determining the position data of a target
- G01S15/08—Systems for measuring distance only
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
- G01S15/50—Systems of measurement, based on relative movement of the target
- G01S15/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2291/00—Indexing codes associated with group G01N29/00
- G01N2291/10—Number of transducers
- G01N2291/106—Number of transducers one or more transducer arrays
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
Abstract
一种声学分析系统包括声传感器阵列,该声传感器阵列从目标场景接收声学信号并基于接收到的声学信号输出声学数据。处理器从声传感器阵列接收表示在不同时间点的目标场景的多个声学数据集。该处理器确定由多个声学数据集表示的目标场景内的一个或多个位置,每个位置是从目标场景发射的声学信号的位置。对于每个声学信号,该处理器将声学信号分类为间歇性声学信号或连续性声学信号,基于多个声学数据集生成累积时间声学图像数据,并且生成累积时间显示图像以供在显示器上呈现。在累积时间显示图像内,被分类为间歇性声学信号的声学信号与被分类为连续性声学信号的声学信号区分开。
Description
背景技术
对于一些区域监视应用,可能需要对问题仅在一段时间后才变得明显的区域进行监视。有时,这些问题可能是间歇的,并且可能被周期性检查遗漏。
在一些情况下,声学成像系统的视场内的不同特征具有不同的声学特征,这可能使得难以分析视场的单个部分。例如,目标场景的第一部分可包括即使在正常操作时也通常噪声较大的第一台装备,而目标场景的第二部分可包括通常比第一台装备安静得多但在发生故障时变得噪声较大的第二台装备。由于预期存在从第一台装备发出的较大声音,所以检测故障可能存在困难。
附图说明
图1A和图1B示出了示例性声学成像设备的前视图和后视图。
图2是示出声学分析系统的示例的部件的功能框图。
图3A、图3B、图3C和图3D示出了声学分析系统内的示例性声传感器阵列配置的示意图。
图4A和图4B示出了在可见光图像数据和声学图像数据的帧的生成中的视差误差的示意性图示。
图5A和图5B示出了可见光图像与声学图像之间的视差校正。
图6是示出用于生成将声学图像数据和电磁图像数据组合的最终图像的示例性方法的过程流程图。
图7是示出用于根据接收到的声学信号生成声学图像数据的示例性过程的过程流程图。
图8示出了用于确定在声学成像过程期间使用的适当算法和传感器阵列的示例性查找表。
图9A是在声学场景中接收到的图像数据的频率内容随时间变化的示例性曲线图。
图9B示出了包括发射声学信号的多个位置的示例性场景。
图9C示出了多个预定义频率范围内的多个组合的声学和可见光图像数据。
图10A和图10B是包括组合的可见光图像数据和声学图像数据的示例性显示图像。
图11A和图11B示出了声学场景中的声学数据的频率相对于时间的示范性曲线图。
图12示出了目标声学场景中的声音的示例性可视化。
图13示出了目标声学场景中的声音的示例性可视化。
图14示出了目标声学场景中的声音的示例性可视化和注释。
具体实施方式
图1A和图1B示出了示例性声学成像设备的前视图和后视图。图1A示出了声学成像设备100的前侧,该声学成像设备具有支撑声传感器阵列104和电磁成像工具106的外壳102。在一些实施方案中,声传感器阵列104包括多个声传感器元件,多个声传感器元件中的每个声传感器元件被配置为(例如,被动地)接收从声学场景发射的声学信号,并且基于接收到的声学信号输出声学数据。电磁成像工具106可以被配置为从目标场景接收电磁辐射并且输出表示接收到的电磁辐射的电磁图像数据。电磁成像工具106可以被配置为检测多个波长范围中的一个或多个波长范围内的电磁辐射,诸如可见光、红外线、紫外线等。
在所示示例中,声学成像设备100包括环境光传感器108和位置传感器116,诸如GPS。设备100包括激光指示器110,该激光指示器在一些实施方案中包括激光测距仪。设备100包括可以被配置为向场景发射可见光辐射的手电筒112,以及可以被配置为向场景发射红外辐射的红外照明器118。在一些示例中,设备100可以包括用于在任何波长范围内照明场景的照明器。设备100还包括投影仪114,诸如可以被配置为将所生成的图像(诸如彩色图像)投影到场景上的图像重投影仪,和/或被配置为将一系列点投影到场景上(例如以确定场景的深度轮廓)的点投影仪。
图1B示出了声学成像设备100的后侧。如图所示,该设备包括可以呈现图像或其他数据的显示器120。在一些示例中,显示器120包括触摸屏显示器。声学成像设备100包括可以向用户提供音频反馈信号的扬声器,以及可以实现声学成像设备100与外部设备之间的无线通信的无线接口124。该设备还包括控件126,该控件可以包括一个或多个按钮、旋钮、拨号盘、开关或其他接口部件,以使得用户能够与声学成像设备100接口。在一些示例中,控件126和触摸屏显示器组合以提供声学成像设备100的用户界面。
在各种实施方案中,声学成像设备不需要包括图1A和图1B的实施方案中所示的每个元件。可以从声学成像设备中排除一个或多个所示部件。在一些示例中,图1A和图1B的实施方案中所示的一个或多个部件可以被包括作为声学成像系统的一部分,但是与外壳102分开地被包括。这种部件可经由有线或无线通信技术(例如,使用无线接口124)与声学成像系统的其他部件通信。
图2是示出声学分析系统200的示例的部件的功能框图。图2的示例性声学分析系统200可以包括布置在声传感器阵列202中以捕获穿过空气行进的声学信号的多个声传感器,诸如麦克风、MEMS、换能器等。这种阵列可以是一维、二维或三维的。在各种示例中,声传感器阵列可以限定任何合适的大小和形状。在一些示例中,声传感器阵列202包括以栅格图案布置的多个声传感器,例如以垂直列和水平行布置的传感器元件阵列。在各种示例中,声传感器阵列202可以包括例如8×8、16×16、32×32、64×64、128×128、256×256等的垂直列乘水平行的阵列。其他示例是可能的,并且各种传感器阵列不必一定包括与列相同数量的行。在一些实施方案中,这种传感器可定位在基板上,例如,诸如印刷电路板(PCB)基板。
在图2所示的配置中,与声传感器阵列202通信的处理器212可以从多个声传感器中的每个声传感器接收声学数据。在声学分析系统200的示例性操作期间,处理器212可以与声传感器阵列202通信以生成声学图像数据。举例来说,处理器212可被配置为分析从布置在声传感器阵列中的多个声传感器中的每个声传感器接收到的数据,并且通过将声学信号“反向传播”到声学信号的源来确定声学场景。在一些实施方案中,处理器212可以通过识别二维场景上的声学信号的各种源位置和强度来生成声学图像数据的数字“帧”。通过生成声学图像数据的帧,处理器212捕获目标场景在基本上给定时间点的声学图像。在一些示例中,帧包括组成声学图像的多个像素,其中每个像素表示声学信号已经被反向传播到的源场景的一部分。
声学分析系统200内的被描述为处理器的部件(包括处理器212)可以单独地或以任何合适的组合被实现为一个或多个处理器,诸如一个或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、可编程逻辑电路等。处理器212还可以包括存储程序指令和相关数据的存储器,该程序指令和相关数据在由处理器212执行时使得声学分析系统200和处理器212执行在本公开中归于它们的功能。存储器可以包括任何固定的或可移除的磁、光或电介质,诸如RAM、ROM、CD-ROM、硬磁盘或软磁盘、EEPROM等。存储器还可包括可用于提供存储器更新或存储器容量增加的可移除存储器部分。可移除存储器还可允许将声学图像数据容易地传送到另一计算设备,或在将声学分析系统200用于另一应用中之前被移除。处理器212还可以被实现为片上系统,该片上系统将计算机或另一电子系统的一些或所有部件集成到单个芯片中。处理器212(处理电路)可以被配置为将经处理的数据传达到显示器214或另一输出/控制设备218。
在一些实施方案中,声传感器阵列202中的声传感器生成与由每个声传感器通过空气接收的声学信号相对应的一系列信号以表示声学图像。当通过扫描组成声传感器阵列202的所有行来获得来自每个声传感器的信号时,生成声学图像数据的“帧”。在一些示例中,处理器212可以以足以生成声学图像数据的视频表示的速率(例如,30Hz或60Hz)采集声学图像帧。独立于特定电路,声学分析系统200可被配置为操纵表示目标场景的声学轮廓的声学数据以便提供可被显示、存储、传输或由用户以其他方式利用的输出。
在一些实施方案中,为了生成声学图像而对接收到的声学信号的“反向传播”包括例如经由处理器分析在声传感器阵列202中的多个声传感器处接收到的信号。在各种示例中,执行反向传播是一个或多个参数的函数,包括到目标的距离、频率、声音强度(例如,dB水平)、传感器阵列尺寸/配置,包括例如各个传感器在一个或多个阵列内的间距和布置等。在一些实施方案中,这种参数可以被预编程到系统中,例如存储器中。例如,声传感器阵列202性质可被存储在存储器中,诸如内部存储器或尤其是与声传感器阵列202相关联的存储器。
其他参数(诸如到目标的距离)可以以多种方式被接收。例如,在一些示例中,声学分析系统200包括与处理器212通信的距离测量工具204。距离测量工具可以被配置为提供表示从距离测量工具204到目标场景中的特定位置的距离的距离信息。各种距离测量工具可包括激光测距仪或其他已知的距离测量设备,诸如其他光学或音频距离测量设备。另外或替代地,距离测量工具可被配置为生成三维深度数据,使得目标场景的每一部分具有相关联的到目标距离值。因此,在一些示例中,如本文中所使用的到目标距离测量值可对应于到目标场景内的每一位置的距离。这种三维深度数据可以例如经由具有目标场景的不同视图的多个成像工具或者经由其他已知的距离扫描工具来生成。一般来说,在各种实施方案中,距离测量工具可用于执行一个或多个距离测量功能,包括但不限于:激光距离测量、主动声波距离测量、被动超声波距离测量、LIDAR距离测量、RADAR距离测量、毫米波距离测量等。
来自距离测量设备204的距离信息可以用于反向传播计算。另外或替代地,系统200可包括用户界面216,用户可手动地将到目标距离输入到该用户界面中。例如,如果到怀疑产生声学信号的部件的距离是已知的或者难以用距离测量工具204测量,则用户可以将到目标距离值输入到系统200中。
在所示实施方案中,声学分析系统200包括用于生成表示目标场景的图像数据的电磁成像工具203。示例性电磁成像工具可以被配置为从目标场景接收电磁辐射并且生成表示接收到的电磁辐射的电磁图像数据。在一些示例中,电磁成像工具203可被配置为生成表示电磁波谱内的特定波长范围(例如,红外辐射、可见光辐射和紫外辐射)的电磁图像数据。例如,在一些实施方案中,电磁定时工具203可包括被配置为生成表示电磁波谱中的特定波长范围的图像数据的一个或多个相机模块,诸如例如可见光相机模块206。
可见光相机模块通常是众所周知的。例如,各种可见光相机模块被包括在智能电话和众多其他设备中。在一些实施方案中,可见光相机模块206可被配置为从目标场景接收可见光能量,并且将该可见光能量聚焦在可见光传感器上以用于生成可见光能量数据,例如,该可见光能量数据可以可见光图像的形式显示在显示器214上和/或存储在存储器中。可见光相机模块206可包括用于执行归于本文的模块的功能的任何合适部件。在图2的示例中,可见光相机模块206被示为包括可见光透镜组件208和可见光传感器210。在一些这种实施方案中,可见光透镜组件208包括至少一个透镜,该至少一个透镜获取由目标场景发射的可见光能量并且将该可见光能量聚焦在可见光传感器210上。可见光传感器210可以包括多个可见光传感器元件,诸如例如CMOS检测器、CCD检测器、PIN二极管、雪崩光电二极管等。可见光传感器210通过生成电信号来响应聚焦的能量,该电信号可被转换并作为可见光图像显示在显示器214上。在一些示例中,可见光模块206可由用户配置,并且可以例如以各种格式向显示器214提供输出。可见光相机模块206可以包括用于改变照明或其他操作条件或用户偏好的补偿功能性。可见光相机模块可以提供包括图像数据的数字输出,该数字输出可以包括各种格式的数据(例如,RGB、CYMK、YCbCr等)。
在一些示例性可见光相机模块206的操作中,从目标场景接收到的光能可以穿过可见光透镜组件208并且聚焦在可见光传感器210上。当光能撞击在可见光传感器210的可见光传感器元件上时,光电检测器内的光子可以被释放并且被转换成检测电流。处理器212可以处理此检测电流以形成目标场景的可见光图像。
在使用声学分析系统200期间,处理器212可控制可见光相机模块206从所捕获的目标场景生成可见光数据以用于创建可见光图像。可见光数据可以包括指示与所捕获的目标场景的不同部分相关联的颜色和/或与所捕获的目标场景的不同部分相关联的光的幅度的亮度数据。处理器212可以通过单次测量声学分析系统200的每个可见光传感器元件的响应来生成可见光图像数据的“帧”。通过生成可见光数据的帧,处理器212捕获目标场景在给定时间点的可见光图像。处理器212还可以重复地测量声学分析系统200的每个可见光传感器元件的响应,以便生成目标场景的动态可见光图像(例如,视频表示)。在一些示例中,可见光相机模块206可以包括其自己的专用处理器或能够操作可见光相机模块206的另一电路(例如,ASIC)。在-些这种实施方案中,专用处理器与处理器212通信,以向处理器212提供可见光图像数据(例如,RGB图像数据)。在替代实施方案中,用于可见光相机模块206的专用处理器可集成到处理器212中。
在可见光相机模块206的每一传感器元件充当传感器像素的情况下,处理器212可通过将每一传感器元件的电响应转译为可经处理(例如以供在显示器214上可视化和/或存储在存储器中)的时分多路复用电信号而生成来自目标场景的可见光的二维图像或图片表示。
处理器212可控制显示器214显示所捕获的目标场景的可见光图像的至少一部分。在一些示例中,处理器212控制显示器214,使得可见光相机模块206的每一传感器元件的电响应与显示器214上的单个像素相关联。在其他示例中,处理器212可增大或减小可见光图像的分辨率,使得显示器214上显示的像素比可见光相机模块206中的传感器元件更多或更少。处理器212可以控制显示器214显示整个可见光图像(例如,由声学分析系统200捕获的目标场景的所有部分)或少于整个可见光图像(例如,由声学分析系统200捕获的整个目标场景的较小部分)。
在一些实施方案中,处理器212可控制显示器214同时显示由声学分析系统200捕获的可见光图像的至少一部分和经由声传感器阵列202生成的声学图像的至少一部分。这种同时显示可以是有用的,因为操作者可以参考在可见光图像中显示的特征来帮助查看在声学图像中同时显示的声学信号源。在一些情况下,处理器212被配置为识别电磁(例如,可见光)图像数据内的一个或多个特征,并且基于识别出的一个或多个特征指定(识别或描绘)声学图像数据的至少一部分。在各种示例中,处理器212可控制显示器214以并排布置、以画中画布置(其中图像中的一个图像围绕图像中的另一个图像)或以同时显示可见光和声学图像的任何其他合适布置来显示可见光图像和声学图像。
例如,处理器212可以控制显示器214以组合布置来显示可见光图像和声学图像。在这种布置中,对于表示目标场景的一部分的可见光图像中的像素或像素集合,在声学图像中存在表示目标场景的基本上相同的部分的对应像素或像素集合。在各种实施方案中,声学和可见光图像的大小和/或分辨率不需要相同。因此,在声学或可见光图像中的一个声学或可见光图像中可以存在对应于声学或可见光图像中的另一个声学或可见光图像中的单个像素的像素集合,或者不同大小的像素集合。类似地,在可见光或声学图像中的一个可见光或声学图像中可以存在对应于另一图像中的像素集合的像素。因此,如本文中所使用,对应不需要一对一像素关系,而是可包括大小不匹配的像素或像素群组。可执行图像的大小不匹配的区域的各种组合技术,例如对图像中的一个图像进行上采样或下采样,或将像素与对应像素集合的平均值组合。其他示例是已知的并且在本公开的范围内。
因此,对应的像素不需要具有直接的一对一关系。相反,在一些实施方案中,单个声学像素具有多个对应的可见光像素,或者可见光像素具有多个对应的声学像素。另外或替代地,在一些实施方案中,并非所有可见光像素都具有对应的声学像素,反之亦然。这种实施方案可指示例如如先前所讨论的画中画类型显示。因此,可见光像素在可见光图像内不一定具有与对应的声学像素相同的像素坐标。因此,如本文所使用的,对应像素通常是指来自包括来自目标场景的基本上同一部分的信息的任何图像(例如,可见光图像、声学图像、组合图像、显示图像等)的像素。这种像素不需要在图像之间具有一对一关系,并且不需要在该像素各自的图像内具有类似的坐标位置。
类似地,具有对应像素(即,表示目标场景的同一部分的像素)的图像可被称为对应图像。因此,在一些这种布置中,对应的可见光图像和声学图像可以在对应的像素处彼此叠加。操作者可与用户界面216交互以控制显示在显示器214上的图像中的一个或两个图像的透明度或不透明度。例如,操作者可以与用户界面216交互以在完全透明与完全不透明之间调整声学图像,并且还在完全透明与完全不透明之间调整可见光图像。这种示范性组合布置(其可被称为α混合布置)可允许操作者调整显示器214以显示仅声学图像、仅可见光图像、在仅声学图像与仅可见光图像的极端之间的两个图像的任何重叠组合。处理器212还可将场景信息与其他数据(诸如警报数据等)组合。一般来说,可见光与声学图像的α混合组合可以包括从100%声学和0%可见光到0%声学和100%可见光。在一些实施方案中,混合量可由相机的用户调整。因此,在一些实施方案中,混合图像可在100%可见光与100%声学之间调整。
另外,在一些实施方案中,处理器212可以解释和执行来自用户界面216和/或输出/控制设备218的命令。此外,输入信号可以用于改变在处理器212中发生的可见光和/或声学图像数据的处理。
操作者可经由用户界面216与声学分析系统200交互,该用户界面可包括按钮、按键或用于从用户接收输入的另一机构。操作者可以经由显示器214接收来自声学分析系统200的输出。显示器214可以被配置为以任何可接受的调色板或颜色方案显示声学图像和/或可见光图像,并且该调色板可以例如响应于用户控制而变化。在一些实施方案中,可在调色板中呈现声学图像数据以便表示来自场景中的不同位置的不同幅度的声学数据。例如,在一些示例中,显示器214被配置为以诸如灰度的单色调色板显示声学图像。在其他示例中,显示器214被配置为在诸如例如琥珀、铁红、蓝红或其他高对比度色彩方案的彩色调色板中显示声学图像。灰度和彩色调色板显示的组合也是可以预期的。在一些示例中,被配置为显示这种信息的显示器可包括用于生成并呈现这种图像数据的处理能力。在其他示例中,被配置为显示这种信息可包括从其他部件(诸如处理器212)接收图像数据的能力。举例来说,处理器212可以为待显示的每一像素生成值(例如,RGB值、灰度值或其他显示选项)。显示器214可接收这种信息并且将每一像素映射到视觉显示器中。
虽然处理器212可控制显示器214以任何合适布置同时显示声学图像的至少一部分和可见光图像的至少一部分,但画中画布置可通过以相邻对准显示同一场景的对应可见图像来帮助操作者容易地聚焦和/或解译声学图像。
电源(未示出)向声学分析系统200的各个部件输送操作功率。在各种示例中,电源可以包括可再充电或不可再充电电池和发电电路、AC电源、感应功率拾取器、光伏电源或任何其他适当的供电部件。供电部件的组合也是可能的,诸如可再充电电池和被配置为提供电力以操作设备和/或对可再充电电池进行充电的另一部件。
在声学分析系统200的操作期间,处理器212借助于与存储在存储器中的程序信息相关联的指令来控制声传感器阵列202和可见光相机模块206以生成目标场景的可见光图像和声学图像。处理器212还控制显示器214显示由声学分析系统200生成的可见光图像和/或声学图像。
如所指出,在一些情况下,可能难以在声学图像中的目标场景的真实世界(可见)特征之间进行识别和区分。除了用可见光信息补充声学图像之外,在一些实施方案中,强调目标场景内的可见边缘可能是有用的。在一些实施方案中,可对目标场景的可见光图像执行已知的边缘检测方法。由于声学图像与可见光图像之间的对应关系,被确定为表示目标场景中的可见边缘的可见光像素对应于也表示声学图像中的可见边缘的声学像素。应当理解,如本文所使用的,“边缘”不需要指对象的物理边界,而是可以指可见光图像中的任何足够尖锐的梯度。示例可包括对象的物理边界、对象内的颜色变化、场景中的阴影等。
虽然相对于图2一般描述为包括可见光相机模块206,但在一些示例中,声学分析系统200的电磁成像工具203可另外或替代地包括能够生成表示多种光谱的图像数据的成像工具。例如,在各种示例中,电磁成像工具203可包括能够生成红外图像数据、可见光图像数据、紫外图像数据或任何其他有用波长或它们的组合的一个或多个工具。在一些实施方案中,声学成像系统可以包括具有红外透镜组件和红外传感器阵列的红外相机模块。可以包括用于与例如红外相机模块接口的附加部件,诸如在2015年8月27日提交的名称为“EDGEENHANCEMENT FOR THERMAL-VISIBLE COMBINED IMAGES AND CAMERAS”的美国专利申请第14/837,757号中描述的那些部件,该专利申请已转让给本申请的受让人,并且其全部内容通过引用并入本文。
在一些示例中,可混合两个或更多个数据流以供显示。例如,包括可见光相机模块206、声传感器阵列202和红外相机模块(图2中未示出)的示例性系统可被配置为产生包括可见光(VL)图像数据、红外(IR)图像数据和声学(Acoustic)图像数据的混合的输出图像。在示例性混合方案中,显示图像可以表示为:α×IR+β×VL+γ×Acoustic,其中α+β+γ=1。一般来说,可组合任何数量的数据流以供显示。在各种实施方案中,诸如α、β和γ的混合比率可由用户设置。另外或替代地,设置显示程序可被配置为基于警报条件(例如,一个或多个数据流中的一个或多个值满足预定阈值)或其他条件而包括不同图像数据流,例如,如名称为“VISIBLE LIGHT AND IR COMBINED IMAGE CAMERA WITH A LASER POINTER”的美国专利第7,538,326号中所描述,该专利已转让给本申请的受让人,并且其全部内容通过引用并入本文。
图2的示例还包括附加传感器250。附加传感器250可被配置为将辅助数据提供到处理器。这种数据可以包括与关联于声学分析系统200的一个或多个环境或其他背景参数有关的信息。例如,在一些情况下,附加传感器250可包括湿度传感器、温度传感器、位置传感器(例如,GPS传感器)、一个或多个取向传感器、电流传感器、电压传感器或其他合适的传感器。虽然在图2中示出了传感器250,但是一般来说,声学分析系统可以包括与该声学分析系统相关联并且与处理器通信的任何数量的附加传感器。
相对于图2描述的声学分析系统200中的一个或多个部件可被包括在便携式(例如,手持式)声学分析工具中。例如,在一些实施方案中,便携式声学分析工具可以包括被配置为容纳声学分析工具中的部件的外壳230。在一些示例中,系统200的一个或多个部件可以位于声学分析工具的外壳230的外部。例如,在一些实施方案中,处理器212、显示器214、用户界面216和/或输出控制设备218可以位于声学分析工具的外壳外部,并且可以例如经由无线通信(例如,蓝牙通信、Wi-Fi等)与各种其他系统部件通信。声学分析工具外部的这种部件可例如经由外部设备(诸如计算机、智能电话、平板计算机、可穿戴设备等)提供。另外或替代地,被配置为相对于声学分析工具充当主设备或从属设备的其他测试和测量或数据采集工具可以类似地提供声学分析工具外部的声学分析系统的各种部件。外部设备可以经由有线和/或无线连接与便携式声学分析工具通信,并且可以用于执行各种处理、显示和/或接口步骤。例如,在一些实施方案中,一个或多个附加传感器(例如,附加传感器250)可以位于声学分析系统200的一个或多个部件外部(例如,外壳230的外部)并且与处理器212无线地通信。
在一些实施方案中,这种外部设备可提供作为容纳在便携式声学分析工具中的部件的冗余功能性。例如,在一些实施方案中,声学分析工具可以包括用于显示声学图像数据的显示器,并且可以进一步被配置为将图像数据传达到外部设备以用于存储和/或显示。类似地,在一些实施方案中,用户可经由在智能电话、平板计算机、计算机等上运行的应用程序(“app”)与声学分析工具接口,以便执行也能够用声学分析工具自身执行的一个或多个功能。
图3A是声学分析系统内的声传感器阵列的示例性配置的示意图。在所示示例中,声传感器阵列302包括多个第一声传感器(以白色示出)和多个第二声传感器(阴影)。第一声传感器被布置成第一阵列320,并且第二声传感器被布置成第二阵列322。在一些示例中,第一阵列320和第二阵列322可以被选择性地用于例如被动地通过空气接收声学信号并且生成对应的声学图像数据。例如,在一些配置中,特定声传感器阵列对特定声学频率的灵敏度是声传感器元件之间的距离的函数。
在一些配置中,间隔更近的传感器元件(例如,第二阵列322)能够比间隔更远的传感器元件(例如,第一阵列320)更好地分辨较高频率的声学信号(例如,具有大于20kHz的频率的声音,诸如20kHz与100kHz之间的超声信号)。类似地,间隔更远的传感器元件(例如,第一阵列320)可能比间隔更近的传感器元件(例如,第二阵列322)更适合于检测较低频率的声学信号(例如,<20kHz)。可以提供具有彼此间隔开的传感器元件的各种声传感器阵列,以用于检测各种频率范围的声学信号,该频率范围诸如次声频率(<20Hz)、可听频率(在大约20Hz与20kHz之间)、超声频率(在20kHz与100kHz之间)。在一些实施方案中,部分阵列(例如,来自阵列320的每隔一个声传感器元件)可用于优化特定频带的检测。
另外,在一些示例中,一些声传感器元件可能更适合于检测具有不同频率特性(诸如低频或高频)的声学信号。因此,在一些实施方案中,被配置用于检测低频声学信号的阵列(诸如具有进一步间隔开的传感器元件的第一阵列320)可以包括更适合于检测低频声学信号的第一声传感器元件。类似地,被配置用于检测较高频率声学信号的阵列(诸如第二阵列322)可以包括更适合于检测高频声学信号的第二声传感器元件。因此,在一些示例中,声传感器元件的第一阵列320和第二阵列322可以包括不同类型的声传感器元件。替代地,在一些实施方案中,第一阵列320和第二阵列322可以包括相同类型的声传感器元件。
因此,在示例性实施方案中,声传感器阵列302可以包括多个声传感器元件阵列,诸如第一阵列320和第二阵列322。在一些实施方案中,阵列可以单独或组合地使用。例如,在一些示例中,用户可以选择使用第一阵列320、使用第二阵列322或者同时使用第一阵列320和第二阵列322两者来执行声学成像过程。在一些示例中,用户可经由用户界面选择将使用哪一(哪些)阵列。另外或替代地,在一些实施方案中,声学分析系统可基于对接收到的声学信号或其他输入数据(诸如预期频率范围等)的分析来自动选择待使用的阵列。虽然图3A中示出的配置通常包括通常以矩形网格布置的两个阵列(第一阵列320和第二阵列322),但是应当理解,多个声传感器元件可以以任何形状分组为任何数量的离散阵列。此外,在一些实施方案中,一个或多个声传感器元件可以被包括在可以被选择用于操作的多个不同阵列中。如本文别处所描述,在各种实施方案中,基于声传感器元件的布置来执行用于反向传播声学信号以从场景建立声学图像数据的过程。因此,声传感器的布置可以是处理器已知的或可由处理器以其他方式访问以便执行声学图像生成技术。
图3A的声学分析系统还包括定位在声传感器阵列302内的距离测量工具304和相机模块306。相机模块306可以表示电磁成像工具(例如,203)的相机模块,并且可以包括可见光相机模块、红外相机模块、紫外相机模块等。另外,虽然未在图3A中示出,但是声学分析系统可以包括与相机模块306相同类型或不同类型的一个或多个附加相机模块。在所示示例中,距离测量工具304和相机模块306定位在第一阵列320和第二阵列322中的声传感器元件的网格内。虽然被示为设置在第一阵列320和第二阵列322内的格点之间,但是在一些实施方案中,一个或多个部件(例如,相机模块306和/或距离测量工具304可定位在第一阵列320和/或第二阵列322中的对应的一个或多个格点处。在一些这种实施方案中,部件可以定位在格点处,以代替根据网格布置通常将处于这种位置中的声传感器元件。
如本文别处所描述,声传感器阵列可包括以多种配置中的任一种配置布置以通过空气接收从位于目标场景中或附近的声源发射的声学信号的声传感器元件。图3B和图3C是示出示例性声传感器阵列配置的示意图。图3B示出了声传感器阵列390,该声传感器阵列包括以近似正方形网格均匀间隔开的多个声传感器元件。距离测量工具314和相机阵列316位于声传感器阵列390内。在所示示例中,声传感器阵列390中的声传感器元件是相同类型的传感器,但在一些实施方案中,可在阵列390中使用不同类型的声传感器元件。
图3C示出了多个声传感器阵列。声传感器阵列392、394和396各自包括以不同形状阵列布置的多个声传感器元件。在图3C的示例中,声传感器阵列392、394和396可单独使用或以任何组合一起使用以创造各种大小的传感器阵列。在所示实施方案中,阵列396的传感器元件比阵列392的传感器元件间隔得更近。在一些示例中,阵列396被设计用于感测较高频率的声学信号,而阵列392被设计用于感测较低频率的声学信号。
在各种实施方案中,阵列392、394和396可包括相同或不同类型的声传感器元件。例如,声传感器阵列392可以包括频率工作范围比声传感器阵列396的传感器元件的频率工作范围更低的传感器元件。
如本文别处所描述,在一些示例中,不同声传感器阵列(例如,392、394、396)可在各种操作模式(例如,待成像的不同期望频谱)期间选择性地关闭和开启。另外或替代地,可以根据期望的系统操作来启用或禁用各种声传感器元件(例如,一个或多个传感器阵列中的一些或全部声传感器元件)。例如,在一些声学成像过程中,虽然来自大量传感器元件(例如,诸如在传感器阵列396中以高密度布置的传感器元件)的数据在一定程度上提高了声学图像数据分辨率,但是其代价是从在每个传感器元件处接收到的数据中提取声学图像数据所需的处理。即,在一些示例中,处理(例如,来自大量声传感器元件的)大量输入信号所需的增加的处理需求(例如,在成本、处理时间、功耗等方面)与由附加数据流提供的任何附加信号分辨率相比是负面的。因此,在一些实施方案中,根据期望的声学成像操作来禁用或忽略来自一个或多个声传感器元件的数据可能是值得的。
类似于图3A和图3B的系统,图3C的系统包括定位在声传感器阵列392、394和396内的距离测量工具314和相机阵列316。在一些示例中,诸如附加相机阵列(例如,用于对来自相机阵列316的电磁波谱的不同部分进行成像)的附加部件可以类似地定位在声传感器阵列392、394和396内。将了解,虽然在图3A至图3C中示出为定位在一个或多个声传感器阵列内,但距离测量工具和/或一个或多个成像工具(例如,可见光相机模块、红外相机模块、紫外传感器等)可位于声传感器阵列外部。在一些这种示例中,位于声传感器阵列外部的距离测量工具和/或一个或多个成像工具可由声学成像工具支撑(例如,由容纳声传感器阵列的外壳支撑),或可位于声学成像工具的外壳外部。
图3A至图3C提供了示例性声传感器阵列配置,然而可以使用其他声传感器阵列配置。声传感器阵列配置可以包括多种形状和图案,诸如以栅格状图案、同心圆、向日葵阵列、有序圆形阵列等布置的声传感器。图3D提供了示例性实施方案,其中声传感器395以有序圆形阵列配置布置。如图3D所示的有序圆形阵列可以在声传感器之间提供各种距离,而不是在声传感器之间具有均匀的距离。这种确认可以通过使用声传感器阵列的各个部分来帮助声传感器阵列辨别更大范围的频率。例如,声传感器彼此越近,它检测较高频率的能力就越好;类似地,声传感器彼此越远,它检测较低频率的能力就越好。因此,在声传感器之间具有多种距离(一些距离更近并且一些距离更远)可以帮助为更大范围的频率提供更好的检测。此外,图3D的有序圆形阵列可为阵列的不同部分提供到达时间相对于声音位置的差,并且因此有助于聚焦声传感器阵列和/或确定正从何处发射声学信号。另外,有序圆形阵列可以帮助解决可能存在的空间混叠和旁瓣。
在-些示例中,声传感器阵列和成像工具(诸如相机模块)的一般未对准可能导致由声传感器阵列和成像工具生成的对应图像数据的未对准。图4A示出了在可见光图像数据和声学图像数据的帧的生成中的视差误差的示意性图示。一般来说,视差误差可以是垂直的、水平的或两者。在所示实施方案中,声传感器阵列420和成像工具包括可见光相机模块406。可见光图像帧440被示出为根据可见光相机模块406的视场441被捕获,而声学图像帧450被示出为根据声传感器阵列420的视场451被捕获。
如图所示,可见光图像帧440和声学成像帧450彼此不对准。在一些实施方案中,处理器(例如,图2的处理器212)被配置为操纵可见光图像帧440和声学图像帧450中的一者或两者,以便对准可见光图像数据和声学图像数据。这种操纵可以包括将一个图像帧相对于另一个图像帧移位。图像帧相对于彼此移位的量可基于多种因素来确定,包括例如从可见光相机模块406和/或声传感器阵列420到目标的距离。这种距离数据可以例如使用距离测量工具404或经由用户界面(例如,216)接收距离值来确定。
图4B是类似于图4A的示意性图示,但包括场景的可见光图像。在图4B的示例中,可见光图像442示出了多条电力线和支撑塔的场景。声学图像452包括多个位置454、456、458,该多个位置指示来自这些位置的高幅度声学数据。如图所示,可见光图像442和声学图像452都被同时显示。然而,对两个图像的观察示出了在位置458处的至少一个声学图像局部最大值,该至少一个声学图像局部最大值看起来与可见光图像442中的任何特定结构都不重合。因此,观察两个图像的人可以推断在声学图像452与可见光图像442之间存在未对准(例如,视差误差)。
图5A和图5B示出了可见光图像与声学图像之间的视差校正。类似于图4B,图5A示出了可见光图像542和声学图像552。声学图像552包括位置554、556和558处的局部最大值。可以看出,位置554和558处的最大值看起来与可见光图像中的任何结构都不重合。在图5B的示例中,可见光图像542和声学图像552相对于彼此被配准。声学图像中的位置554、556和558处的局部最大值现在看起来与可见光图像542内的各个位置重合。
在使用期间,操作者可(例如,经由显示器214)查看图5B中的表示并且确定可见场景542中的可能是接收到的声学信号的源的大致位置。这种信号可以被进一步处理以便确定关于场景中的各种部件的声学特征的信息。在各种实施方案中,可相对于声学图像中的各种位置来分析诸如频率内容、周期性、振幅等的声学参数。当被叠加到可见光数据上使得这种参数可以与各种系统部件相关联时,声学图像数据可以用于分析可见光图像中的对象的各种性质(例如,性能特性)。
如图5A和图5B所示,位置554、556和558示出了圆形梯度。如本文别处所描述,可根据调色方案在视觉上表示声学图像,其中基于对应位置处的声学强度对声学图像的每个像素进行着色。因此,在图5A和图5B的示例性表示中,位置554、556、558的圆形梯度通常表示基于反向传播的接收到的声学信号在成像平面中的声学强度的梯度。
应当理解,虽然相对于声学图像数据和可见光图像数据描述了图4A、图4B、图5A和图5B中的示例性图示,但是可以利用各种电磁图像数据类似地执行这种处理。例如,如本文别处所描述,在各种实施方案中,可使用声学图像数据与可见光图像数据、红外图像数据、紫外图像数据等中的一者或多者的组合来执行各种这种过程。
如本文别处所描述,在一些实施方案中,用于形成声学图像的声学信号的反向传播可以是基于到目标距离值。即,在一些示例中,反向传播计算可以是基于距离,并且可以包括确定位于离声传感器阵列该距离处的二维声学场景。在给定二维成像平面的情况下,从平面中的源发出的球形声波通常将呈现圆形横截面,具有如图5A至图5B所示的强度的径向衰减。
在一些这种示例中,表示不位于在反向传播计算中使用的到目标距离处的数据的声学场景的部分将导致声学图像数据中的误差,诸如场景中的一个或多个声音的位置的不准确性。当声学图像与其他图像数据(例如,电磁图像数据,诸如可见光、红外或紫外图像数据)同时显示(例如,混合、组合等)时,这种误差可能导致声学图像数据与其他图像数据之间的视差误差。因此,在一些实施方案中,用于校正视差误差的一些技术(例如,如图5A和图5B中所示)包括调整在用于生成声学图像数据的反向传播计算中使用的到目标距离值。
在一些情况下,系统可以被配置为使用第一到目标距离值来执行反向传播过程,并且显示诸如图5A所示的显示图像,其中声学图像数据和另一数据流可能不对准。随后,声学分析系统可以调整用于反向传播的到目标距离值,再次执行反向传播,并且用新的声学图像数据更新显示图像。此过程可重复,其中声学分析系统循环通过多个到目标距离值,同时用户观察显示器上的所得显示图像。随着到目标距离值改变,用户可观察到从图5A所示的显示图像到图5B所示的显示图像的逐渐转变。在一些这种情况下,用户可以在视觉上观察声学图像数据何时表现为与另一数据流(诸如电磁图像数据)适当地配准。用户可以向声学分析系统发信号通知声学图像数据看起来被正确地配准,向系统指示用于执行最近反向传播的到目标距离值大致正确,并且可以将该距离值作为正确的到目标距离保存到存储器。类似地,当在更新后的反向传播过程中使用新的距离值来更新显示图像时,用户可以手动地调整到目标距离值,直到用户观察到声学图像数据被正确地配准。用户可以选择将当前到目标距离保存在声学分析系统中作为当前到目标距离。
在一些示例中,校正视差误差可包括基于到目标距离数据将声学图像数据相对于其他图像数据(例如,电磁图像数据)的位置调整预定量并且在预定方向上调整。在一些实施方案中,这种调整独立于通过将声学信号反向传播到识别出的到目标距离而生成声学图像数据。
在一些实施方案中,除了用于生成声学图像数据和减少声学图像数据与其他图像数据之间的视差误差之外,到目标距离值还可以用于其他确定。例如,在一些示例中,处理器(例如,处理器212)可使用到目标距离值以便聚焦或辅助用户聚焦图像,诸如红外图像,如美国专利第7,538,326号中所描述,该专利通过引用并入。如其中所述,这可以类似地用于校正可见光图像数据与红外图像数据之间的视差误差。因此,在一些示例中,距离值可以用于将声学图像数据与电磁成像数据(诸如红外图像数据和可见光图像数据)配准。
如本文别处所描述,在一些示例中,距离测量工具(例如,距离测量工具204)被配置为提供可以由处理器(例如,处理器212)用于生成和配准声学图像数据的距离信息。在一些实施方案中,距离测量工具包括激光测距仪,该激光测距仪被配置为将光发射到目标场景上距离被测量到的位置处。在一些这种示例中,激光测距仪可发射可见光谱中的光,使得用户可查看物理场景中的激光点以确保测距仪正在测量到场景的期望部分的距离。另外或替代地,激光测距仪被配置为发射光谱中的光,一个或多个成像部件(例如,相机模块)对该光谱敏感。因此,经由分析工具(例如,经由显示器214)查看目标场景的用户可观察场景中的激光点以确保激光正在测量到目标场景中的正确位置的距离。在一些示例中,处理器(例如,212)可被配置为基于当前距离值(例如,基于激光测距仪与声传感器阵列之间的已知基于距离的视差关系)在所显示图像中生成表示激光点将位于声学场景中的位置的参考标记。可以将参考标记位置与实际激光标记的位置进行比较(例如,在显示器上以图形方式和/或在目标场景中以物理方式),并且可以调整该场景直到参考标记与激光重合。这种过程可以类似于美国专利第7,538,326号中所描述的红外配准和聚焦技术来执行,该专利通过引用并入本文。
图6是示出用于生成将声学图像数据和电磁图像数据组合的最终图像的示例性方法的过程流程图。该方法包括经由声传感器阵列接收声学信号(680)以及接收距离信息(682)的步骤。距离信息可以例如经由距离测量设备和/或用户界面(诸如经由手动输入或作为距离调整过程的结果)接收,通过该距离调整过程基于观察到的配准来确定距离。
该方法还包括反向传播接收到的声学信号以确定表示声学场景的声学图像数据(684)。如本文别处所描述,反向传播可以包括结合接收到的距离信息来分析在声传感器阵列中的多个传感器元件处接收到的多个声学信号,以确定接收到的声学信号的源模式。
图6的方法还包括捕获电磁图像数据(686)以及将声学图像数据与电磁图像数据配准(688)的步骤。在一些实施方案中,将声学图像数据与电磁图像数据配准作为用于生成声学图像数据(684)的反向传播步骤的一部分来完成。在其他示例中,将声学图像数据与电磁图像数据配准是与声学图像数据的生成分开进行的。
图6的方法包括将声学图像数据与电磁图像数据组合以生成显示图像(690)的步骤。如本文别处所描述,将电磁图像数据和声学图像数据组合可以包括α混合电磁图像数据和声学图像数据。组合图像数据可以包括将一个图像数据集叠加到另一个图像数据集上,诸如以画中画模式或者在满足某些条件(例如,警报条件)的位置中。显示图像可例如经由由支撑声传感器阵列的外壳支撑的显示器和/或经由与传感器阵列分开的显示器(诸如外部设备(例如,智能电话、平板计算机、计算机等)的显示器)呈现给用户。
另外或替代地,显示图像可以被保存在本地(例如,机载)存储器和/或远程存储器中以供将来查看。在一些实施方案中,所保存的显示图像可以包括允许显示图像性质的未来调整的元数据,该显示图像性质诸如混合比率、反向传播距离或用于生成图像的其他参数。在一些示例中,原始声学信号数据和/或电磁图像数据可与显示图像一起保存以用于后续处理或分析。
虽然被示为用于生成将声学图像数据和电磁图像数据组合的最终图像的方法,但是应当理解,图6的方法可以用于将声学图像数据与跨越电磁波谱的任何部分的一组或多组图像数据(诸如可见光图像数据、红外图像数据、紫外图像数据等)组合。在一些这种示例中,多组图像数据(诸如可见光图像数据和红外图像数据)都可与声学图像数据组合,以经由类似于相对于图6所描述的方法的方法生成显示图像。
在一些示例中,经由传感器阵列接收声学信号(680)可以包括选择用来接收声学信号的声传感器阵列的步骤。如所描述的,例如,相对于图3A至图3C,声学分析系统可以包括可适用于分析不同频率的声学信号的多个声传感器阵列。另外或替代地,在一些示例中,不同的声传感器阵列可用于分析从不同距离传播的声学信号。在一些实施方案中,不同阵列可嵌套在彼此内部。另外或替代地,部分阵列可以被选择性地用于接收声学图像信号。
例如,图3A示出了第一阵列320和嵌套在第一阵列内的第二阵列322。在示例性实施方案中,第一阵列320可以包括传感器阵列,该传感器阵列被配置(例如,间隔开)用于接收声学信号并且生成针对第一频率范围内的频率的声学图像数据。第二阵列322可包括例如第二传感器阵列,该第二传感器阵列被配置为单独使用或与第一阵列320的全部或一部分结合使用,以生成针对第二频率范围内的频率的声学图像数据。
类似地,图3C示出了第一阵列392、至少部分地嵌套在第一阵列392内的第二阵列394,以及至少部分地嵌套在第一阵列392和第二阵列394内的第三阵列396。在一些实施方案中,第一阵列392可以被配置用于接收声学信号并且生成针对第一频率范围内的频率的声学图像数据。第二阵列394可以与第一阵列392的全部或部分一起使用,以用于接收声学信号并且生成针对第二频率范围内的频率的声学图像数据。第三阵列396可以单独使用、与第二阵列394的全部或部分一起使用,和/或与第一阵列392的全部或部分一起使用,以用于接收声学信号并生成针对第三频率范围内的频率的声学图像数据。
在一些实施方案中,在嵌套阵列配置中,来自一个阵列的声传感器元件可定位在声传感器元件之间,诸如第三阵列396的元件通常在第一阵列392的元件之间。在一些这种示例中,嵌套阵列(例如,第三阵列396)中的声传感器元件可以定位在与该声传感器元件所嵌套到其中的阵列(例如,第一阵列392)中的声传感器元件相同的平面中、在该声传感器元件前面或后面。
在各种实施方式中,用于感测较高频率声学信号的阵列通常需要各个传感器之间的较小距离。因此,相对于图3C,例如,第三阵列396可能更适合于执行涉及较高频率声学信号的声学成像过程。其他传感器阵列(例如,第一阵列392)可足以执行涉及较低频率信号的声学成像过程,并且可用于在与阵列396相比时减少处理来自较少数量的声传感器元件的信号的计算需求。因此,在一些示例中,高频传感器阵列可以嵌套在低频传感器阵列内。如本文别处所描述,这种阵列通常可单独操作(例如,经由有源阵列之间的切换)或一起操作。
除了或代替基于用于分析的预期/期望的频谱来选择适当的传感器阵列,在一些示例中,不同的传感器阵列可以更适合于在到目标场景的不同距离处执行声学成像过程。举例来说,在一些实施方案中,如果声传感器阵列与目标场景之间的距离较小,则声传感器阵列中的外部传感器元件可能从目标场景接收比位于更中心的传感器元件少得多的有用声学信息。
另一方面,如果声传感器阵列与目标场景之间的距离较大,那么紧密间隔的声传感器元件可能不单独提供有用的信息。即,如果第一和第二声传感器元件靠近在一起,并且目标场景通常很远,则第二声传感器元件可能不提供与第一声传感器元件有意义地不同的任何信息。因此,来自这种第一和第二传感器元件的数据流可能是冗余的并且不必要地消耗处理时间和资源用于分析。
除了影响哪些传感器阵列可能最适合于执行声学成像之外,如本文别处所描述,到目标距离还可用于执行反向传播以根据接收到的声学信号确定声学图像数据。然而,除了作为反向传播算法的输入值之外,到目标距离还可用于选择要使用的适当反向传播算法。例如,在一些示例中,在远距离处,与声传感器阵列的大小相比,球形传播声波可近似为基本上平面的。因此,在一些实施方案中,当到目标距离较大时,接收到的声学信号的反向传播可以包括声学波束形成计算。然而,当更靠近声波源时,声波的平面近似可能不是适当的。因此,可以使用不同的反向传播算法,诸如近场声全息术。
如所描述,可在声学成像过程中以各种方式使用到目标距离度量,诸如确定有源传感器阵列、确定反向传播算法、执行反向传播算法和/或将所得声学图像与电磁图像数据(例如,可见光、红外线等)配准。图7是示出用于根据接收到的声学信号生成声学图像数据的示例性过程的过程流程图。
图7的过程包括例如从距离测量设备接收距离信息(780),或诸如经由用户界面输入的距离信息。该方法还包括基于接收到的距离信息选择用于执行声学成像的一个或多个声传感器阵列(782)的步骤。如所描述,在各种示例中,所选阵列可包括单个阵列、多个阵列的组合或一个或多个阵列的部分。
图7的方法还包括基于接收到的距离信息选择用于执行声学成像的处理方案(784)的步骤。在一些示例中,选择处理方案可以包括选择用于从声学信号生成声学图像数据的反向传播算法。
在选择声传感器阵列(782)和用于执行声学成像的处理方案(784)之后,该方法包括经由所选声传感器阵列接收声学信号(786)的步骤。然后使用该距离和所选处理方案反向传播接收到的声学信号以确定声学图像数据(788)。
在各种实施方案中,图7的步骤可由用户、声学分析系统(例如,经由处理器212)或它们的组合来执行。例如,在一些实施方案中,处理器可被配置为经由距离测量工具和/或用户输入来接收距离信息(780)。在一些示例中,例如,如果到对象的距离是已知的和/或难以经由距离测量工具分析(例如,较小对象大小和/或较大到目标距离等),则用户可以输入值来覆盖测量的距离以用作距离信息。处理器可被进一步配置为基于接收到的距离信息(例如使用查找表或其他数据库)自动选择用于执行声学成像的适当声传感器阵列。在一些实施方案中,选择声传感器阵列包括启用和/或禁用一个或多个声传感器元件以便实现期望的声传感器阵列。
类似地,在一些示例中,处理器可以被配置为基于接收到的距离信息自动选择用于执行声学成像的处理方案(例如,反向传播算法)。在一些这种示例中,这可包括从存储在存储器中的多个已知处理方案中选择一个处理方案。另外或替代地,选择处理方案可相当于调整单个算法的部分以达到期望处理方案。例如,在一些实施方案中,单个反向传播算法可以包括多个项和变量(例如,基于距离信息)。在一些这种示例中,选择处理方案(784)可包括在单个算法中定义一个或多个值,诸如调整一个或多个项的系数(例如,将各种系数设置为零或一等)。
因此,在一些实施方案中,声学成像系统可以通过基于接收到的距离数据建议和/或自动实施所选声传感器阵列和/或处理方案(例如,反向传播算法)来使声学成像过程的若干步骤自动化。这可以加速、改进和简化声学成像过程,消除声学成像专家执行声学成像过程的需要。因此,在各种示例中,声学成像系统可以自动实现这种参数,通知用户这种参数将要被实现,向用户请求实现这种参数的许可,建议这种参数供用户手动输入等。
这些参数(例如,处理方案、传感器阵列)的自动选择和/或建议可用于优化声学图像数据相对于其他形式的图像数据的定位、处理速度以及声学图像数据的分析。例如,如本文别处所描述,准确的反向传播确定(例如,使用适当的算法和/或准确的距离度量)可以减少声学图像数据与其他(例如,诸如可见光、红外等的电磁)图像数据之间的视差误差。另外,利用诸如可由声学分析系统自动选择或建议的适当算法和/或传感器阵列可优化热图像数据的准确性,从而允许分析接收到的声学数据。
如所描述,在一些示例中,声学分析系统可被配置为基于接收到的距离信息自动选择用于执行声学成像过程的算法和/或传感器阵列。在一些这种实施方案中,系统包括例如存储在存储器中的查找表,用于确定使用多个反向传播算法和声传感器阵列中的哪一者来确定声学图像数据。图8示出了用于确定在声学成像过程期间使用的适当算法和传感器阵列的示例性查找表。
在所示示例中,图8的查找表包括N个列,每一列表示不同阵列:阵列1、阵列2…阵列N。在各种示例中,每个阵列包括所布置的一组独特的声传感器元件的唯一集合。不同阵列可包括布置成网格的传感器元件(例如,图3C中的阵列392和阵列396)。查找表内的阵列还可以包括来自一个或多个这种网格的传感器元件的组合。一般来说,在一些实施方案中,阵列(阵列1、阵列2…阵列N)中的每一者对应于声传感器元件的独特组合。这种组合中的一些组合可以包括以特定网格布置的整组传感器元件,或者可以包括以特定网格布置的传感器元件的子集。声传感器元件的各种组合中的任何一个组合都是用作查找表中的传感器阵列的可能选项。
图8的查找表还包括M个行,每行表示不同的算法:算法1、算法2…算法M。在一些示例中,不同算法可包括用于执行接收到的声学信号的反向传播分析的不同过程。如本文别处所描述,在一些示例中,一些不同算法可彼此类似,同时具有用于修改反向传播结果的不同系数和/或项。
图8的示例性查找表包括M×N个条目。在一些实施方案中,利用这种查找表的声学分析系统被配置为分析接收到的距离信息并且将该距离信息分类到M×N个仓中的一个仓中,其中每一仓对应于图8的查找表中的条目。在这种示例中,当声学分析系统接收到距离信息时,系统可以在查找表中找到对应于距离信息所在的仓的条目(i,j),并且确定用于在声学成像过程期间使用的适当算法和传感器阵列。例如,如果接收到的距离信息对应于与条目(i,j)相关联的仓,则声学分析系统可以自动利用或建议使用算法i和阵列j来进行声学成像过程。
在各种这种示例中,距离信息仓可对应于统一大小的距离范围,例如,第一仓对应于一英尺内的距离、第二仓对应于一英尺与两英尺之间的距离等。在其他示例中,仓无需对应于统一大小的距离跨度。另外,在一些实施方案中,可以使用少于M×N个仓。例如,在一些实施方案中,可能存在从未与特定阵列(例如,阵列y)一起使用的算法(例如,算法x)。因此,在这种示例中,将不存在对应于M×N查找表中的条目(x,y)的对应距离信息仓。
在一些实施方案中,对填充的距离仓的统计分析可用于识别目标场景内最常见的距离或距离范围。在一些这种实施方案中,具有最高数量个对应位置(例如,具有声学信号的最高数量个位置)的距离仓可用作图7的过程中的距离信息。即,在一些实施方案中,可基于目标场景中的各种对象的距离分布的统计分析来实现和/或推荐所利用的声传感器阵列和/或处理方案。这可以增加用于场景的声学成像的传感器阵列和/或处理方案适用于声学场景内的最大数量的位置的可能性。
另外或替代地,除了距离信息之外的参数可以用于选择适当的传感器阵列和/或处理方案以用于生成声学图像数据。如本文别处所描述,各种传感器阵列可被配置为对某些频率和/或频带敏感。在一些示例中,可根据不同声学信号频率内容而使用类似的不同反向传播计算。因此,在一些示例中,可以使用一个或多个参数来确定处理方案和/或声传感器阵列。
在一些实施方案中,声学分析系统可用于初始分析接收到的声学信号处理/分析的各种参数。返回参考图7,用于生成声学图像数据的方法可以包括在接收到声学信号(786)之后分析接收到的信号的频率内容(790)的步骤。在一些这种示例中,如果已经(例如,分别经由步骤782和/或784)选择了声传感器阵列和/或处理方案,则该方法可以包括例如基于所分析的频率内容来更新所选阵列和/或更新所选处理方案(792)的步骤。
在更新传感器阵列和/或处理方案之后,该方法可使用更新后的参数执行各种动作。例如,如果基于所分析的频率内容(790)更新(792)所选传感器阵列,则可以从(新的)所选声传感器阵列接收新的声学信号(786),该新的声学信号然后可以被反向传播以确定声学图像数据(788)。或者,如果在792处更新了处理方案,则可以根据更新后的处理方案来反向传播已经捕获的声学信号以确定更新后的声学图像数据。如果处理方案和传感器阵列都被更新,则可以使用更新后的传感器阵列来接收新的声学信号,并且可以根据更新后的处理方案来反向传播该新的声学信号。
在一些实施方案中,声学分析系统可以接收频率信息(778)而不分析接收到的声学信号的频率内容(790)。例如,在一些示例中,声学分析系统可以接收关于用于未来声学分析的期望或预期频率范围的信息。在一些这种示例中,可使用期望或预期频率信息来选择最适合频率信息的一个或多个传感器阵列和/或处理方案。在一些这种示例中,选择声传感器阵列(782)和/或选择处理方案(784)的步骤可以是基于除了或代替接收到的距离信息的接收到的频率信息。
在一些示例中,可以例如经由声学分析系统的处理器(例如,210)分析接收到的声学信号(例如,经由声传感器元件接收到的)。这种分析可用于确定声学信号的一个或多个性质,诸如频率、强度、周期性、表观接近度(例如,基于接收到的声学信号估计的距离)、测量的接近度或它们的任何组合。在一些示例中,可以对声学图像数据进行滤波,例如以仅示出表示具有特定频率内容、周期性等的声学信号的声学图像数据。在一些示例中,可同时应用任何数量的这种滤波器。
如本文别处所描述,在一些实施方案中,类似于声学视频数据,可随时间变化捕获一系列声学图像数据帧。另外或替代地,即使不重复地生成声学图像数据,在一些示例中,也重复地对声学信号进行采样和分析。因此,在具有或不具有重复的声学图像数据生成(例如,视频)的情况下,都可以随时间变化监视声学数据的参数,诸如频率。
图9A是在声学场景中接收到的图像数据的频率内容随时间变化的示例性曲线图。如图所示,由图9A的曲线图表示的声学场景通常包括随时间变化的四个持续频率,标记为频率1、频率2、频率3和频率4。诸如目标场景的频率内容的频率数据可以经由例如使用快速傅里叶变换(FFT)或其他已知的频率分析方法处理接收到的声学信号来确定。
图9B示出了包括发射声学信号的多个位置的示例性场景。在所示图像中,声学图像数据与可见光图像数据组合,并且示出了存在于位置910、920、930和940处的声学信号。在一些实施方案中,声学分析系统被配置为显示任何检测到的频率范围的声学图像数据。例如,在示例性实施方案中,位置910包括包括频率1的声学图像数据,位置920包括包括频率2的声学图像数据,位置930包括包括频率3的声学图像数据,并且位置940包括包括频率4的声学图像数据。
在一些这种示例中,显示表示频率范围的声学图像数据是可选择的操作模式。类似地,在一些实施方案中,声学分析系统被配置为显示仅表示预定频带内的频率的声学图像数据。在一些这种示例中,显示表示预定频率范围的声学图像数据包括选择一个或多个声传感器阵列以用于接收声学信号,从该声学信号生成声学图像数据。这种阵列可被配置为接收选择性频率范围。类似地,在一些示例中,可以采用一个或多个滤波器来限制用于生成声学图像数据的频率内容。另外或替代地,在一些实施方案中,仅当声学图像数据满足预定条件(例如,落入预定频率范围内)时,才可以分析包括表示广泛频率范围的信息的声学图像数据并将该声学图像数据显示在显示器上。
图9C示出了多个预定义频率范围内的多个组合的声学和可见光图像数据。第一图像包括第一位置910处的声学图像数据,该声学图像数据包括频率1的频率内容。第二图像包括第二位置920处的声学图像数据,该声学图像数据包括频率2的频率内容。第三图像包括第三位置930处的声学图像数据,该声学图像数据包括频率3的频率内容。第四图像包括第四位置940处的声学图像数据,该声学图像数据包括频率4的频率内容。
在示例性实施方案中,用户可以选择各种频率范围,诸如包括频率1、频率2、频率3或频率4的范围,以用于对表示除所选频率范围之外的频率内容的声学图像数据进行滤波。因此,在这些示例中,第一、第二、第三或第四图像中的任一者可作为由用户选择的期望频率范围的结果而显示。
另外或替代地,在一些示例中,声学分析系统可以在多个显示图像之间循环,每个显示图像具有不同的频率内容。例如,相对于图9C,在示例性实施方案中,声学分析系统可以按顺序显示第一、第二、第三和第四图像,如图9C中的箭头所示。
在一些示例中,显示图像可以包括表示在图像中显示的频率内容的文本或其他显示,使得用户可以观察图像中的哪些位置包括表示特定频率内容的声学图像数据。例如,相对于图9C,每个图像可以示出在声学图像数据中表示的频率的文本表示。相对于图9B,示出多个频率范围的图像可以包括在包括声学图像数据的每个位置处的频率内容的指示。在一些这种示例中,用户可例如经由用户界面选择图像中的位置,针对该位置查看声学场景中存在于该位置处的频率内容。例如,用户可以选择第一位置910,并且声学分析系统可以呈现第一位置的频率内容(例如,频率1)。因此,在各种示例中,用户可使用声学分析系统以便分析声学场景的频率内容,诸如通过查看场景中对应于特定频率内容的位置和/或通过查看什么频率内容存在于各种位置处。
在示例性声学成像操作期间,按频率对声学图像数据进行滤波可以帮助减少例如来自背景或其他不重要声音的图像杂波。在示例性声学成像过程中,用户可能希望消除背景声音,诸如工业环境中的基底噪声(floor noise)。在一些这种情况下,背景噪声可以主要包括低频噪声。因此,用户可以选择示出表示大于预定频率(例如,10kHz)的声学信号的声学图像数据。在另一示例中,用户可能希望分析通常在一定范围内发射声学信号的特定对象,诸如来自传输线的电晕放电(例如,如图5A和图5B所示)。在这种示例中,用户可以选择用于声学成像的特定频率范围(例如,对于电晕放电,在11kHz与14kHz之间)。
在一些示例中,声学分析系统可以用于分析和/或呈现与接收到的声学信号的强度相关联的信息。例如,在一些实施方案中,反向传播接收到的声学信号可以包括确定声场景中的多个位置处的声学强度值。在一些示例中,类似于上述频率,如果声学信号的强度满足一个或多个预定要求,则仅在显示图像中包括声学图像数据。
在各种这种实施方案中,显示图像可以包括表示高于预定阈值(例如,15dB)的声学信号、低于预定阈值(例如,100dB)的声学信号或在预定强度范围内(例如,在15dB与40dB之间)的声学信号的声学图像数据。在一些实施方案中,阈值可以是基于声学场景的统计分析,诸如高于或低于平均声学强度的标准偏差。
类似于以上相对于频率信息所描述的,在一些实施方案中,限制声学图像数据以表示满足一个或多个强度要求的声学信号可以包括对接收到的声学信号进行滤波,使得仅满足预定条件的接收到的信号被用于生成声学图像数据。在其他示例中,对声学图像数据进行滤波以调整显示哪些声学图像数据。
另外或替代地,在一些实施方案中,可随时间变化监视声学场景内的位置处的声学强度(例如,结合视频声学图像表示或经由背景分析,而不必更新显示图像)。在一些这种示例中,用于显示声学图像数据的预定要求可以包括在图像中的位置处的声学强度的变化量或变化率。
图10A和图10B是包括组合的可见光图像数据和声学图像数据的示例性显示图像。图10A示出了包括在多个位置1010、1020、1030、1040、1050、1060、1070、1080和1090处示出的声学图像数据的显示图像。在一些示例中,强度值可以被调色,例如,其中基于预定的调色方案为声学强度值分配颜色。在示例性实施方案中,可以根据强度范围(例如,10dB-20dB、20dB-30dB等)对强度值进行分类。每个强度范围可以根据调色方案与特定颜色相关联。声学图像数据可以包括多个像素,其中每个像素以与由声学图像数据的像素表示的强度落入其中的强度范围相关联的颜色来着色。除了或代替通过颜色来区分,不同的强度还可以根据其他性质来区分,诸如透明度(例如,在图像叠加中,其中声学图像数据被叠加到其他图像数据上)等。
附加参数也可以被调色,诸如声学强度的变化率。类似于强度,声学强度的不同变化率可以被调色,使得场景的呈现不同速率和/或声学强度变化量的部分以不同颜色显示。
在所示示例中,根据强度调色板对声学图像数据进行调色,使得以不同的颜色和/或阴影示出表示不同声学信号强度的声学图像数据。例如,位置1010和1030处的声学图像数据示出了第一强度的调色表示,位置1040、1060和1080示出了第二强度的调色表示,并且位置1020、1050、1070和1090示出了第三强度的调色表示。如图10A中的示例性表示所示,示出声学图像数据的调色表示的每个位置示出具有从中心向外延伸的颜色梯度的圆形图案。这可能是由于当信号从声学信号源传播时声学强度的衰减。
在图10A的示例中,将声学图像数据与可见光图像数据组合以生成显示图像,该显示图像可例如经由显示器呈现给用户。用户可以查看图10A的显示图像,以便查看可见场景中的哪些位置正在产生声学信号,以及这种信号的强度。因此,用户可快速并容易地观察哪些位置正产生声音,并且比较来自场景中的各种位置的声音的强度。
类似于相对于本文别处的频率所描述,在一些实施方案中,仅当对应的声学信号满足预定强度条件时,才可以呈现声学图像数据。图10B示出类似于图10A的显示图像并且包括可见光图像数据和表示高于预定阈值的声学信号的声学图像的示例性显示图像。如图所示,在包括声学图像数据的图10A中的位置1010、1020、1030、1040、1050、1060、1070、1080和1090中,仅位置1020、1050、1070和1090包括表示满足预定条件的声学信号的声学图像数据。
在示例性场景中,图10A可以包括在位置1010-990中的每个位置处的高于噪声基底阈值的所有声学图像数据,而图10B示出与图10A相同的场景,但是仅示出具有大于40dB的强度的声学图像数据。这可以帮助用户识别环境中(例如,图10A和图10B的目标场景中)哪些声源正在贡献某些声音(例如,场景中最响亮的声音)。
除了或代替直接与强度阈值(例如,40dB)进行比较,如本文别处所描述,在一些这种示例中,用于显示声学图像数据的预定要求可以包括在图像中的位置处的声学强度的变化量或变化率。在一些这种示例中,仅当给定位置处的声学强度的变化率或变化量满足预定条件(例如,大于阈值、小于阈值、在预定范围内等)时,才可以呈现声学图像数据。在一些实施方案中,声学强度的变化量或变化率可被调色并显示为强度声学图像数据或与强度声学图像数据结合显示。例如,在示例性实施方案中,当变化率被用作阈值以确定在哪些位置中包括声学图像数据时,声学图像数据可以包括用于显示的经过调色的强度变化率度量。
在一些示例中,用户可以手动设置要显示的声学图像数据的强度要求(例如,最小值、最大值、范围、变化率、变化量等)。如本文别处所讨论,包括仅满足强度要求的声学图像数据可在声学图像数据生成期间实现(例如,经由对接收到的声学信号进行滤波)和/或可通过不显示表示不满足设置要求的声学信号的所生成的声学图像数据来执行。在一些这种示例中,可在已捕获声学图像数据和可见光图像数据并将该声学图像数据和可见光图像数据存储在存储器中之后执行根据强度值对显示图像进行滤波。即,存储在存储器中的数据可用于生成包括任何数量的滤波参数的显示图像,诸如仅示出满足预定义强度条件等的声学图像数据。
在一些示例中,为声学图像中的强度设置下限(例如,仅显示表示高于预定强度的声学信号的声学图像数据)可以消除对来自声学图像数据的不期望的背景或环境声音和/或声音反射的包括。在其他情况下,为声学图像中的强度设置上限(例如,仅显示表示低于预定强度的声学信号的声学图像数据)可以消除在声学图像数据中包括预期的响亮声音,以便观察通常被这种响亮声音掩蔽的声学信号。
几种显示功能是可能的。例如,类似于相对于图9C讨论的频率分析/显示,在一些示例中,声学分析系统可以循环通过多个显示图像,每个显示图像示出满足不同强度要求的声学图像数据。类似地,在一些示例中,用户可以滚动通过一系列声学强度范围,以便查看声学图像数据中具有给定范围内的声学强度的位置。
可用于分析声学数据的另一参数是声学信号的周期性值。图11A和图11B示出了声学场景中的声学数据的频率相对于时间的示范性曲线图。如图11A的曲线图中所示,声学数据包括频率X下的具有第一周期性的信号、频率Y下的具有第二周期性的信号以及频率Z下的具有第三周期性的信号。在所示示例中,具有不同频率的声学信号还可包括声学信号中的不同周期性。
在一些这种示例中,除了或代替频率内容,可基于周期性对声学信号进行滤波。例如,在一些示例中,声学场景中的多个声学信号源可产生特定频率的声学信号。如果用户希望隔离用于声学成像的一个这种声源,则用户可以基于与声学数据相关联的周期性来选择从最终显示图像中包括或排除声学图像数据。
图11B示出了声学信号的频率相对于时间的曲线图。如图所示,频率随时间变化近似线性地增加。然而,如图所示,该信号包括随时间变化近似恒定的周期性。因此,取决于所选显示参数,这种信号可能或可能不出现在声学图像中。例如,信号可能在一些时间点满足用于显示的频率标准,但是在其他时间点在显示的频率范围之外。然而,用户可以基于信号的周期性来选择从声学图像数据中包括或排除这种信号,而不考虑频率内容。
在一些示例中,提取特定周期性的声学信号可有助于分析目标场景的特定部分(例如,通常以某一周期性操作的特定一台装备或特定类型的装备)。例如,如果感兴趣对象以特定周期性(例如,每秒一次)操作,则排除具有与此不同的周期性的信号可以改进对感兴趣对象的声学分析。例如,参考图11B,如果感兴趣对象以周期性4操作,则隔离具有周期性4的信号用于分析可以产生对感兴趣对象的改进的分析。例如,感兴趣对象可以发出具有周期性4但频率增加的声音,如图11B所示。这可能意味着对象的性质可能正在改变(例如,扭矩或负载增加等)并且应当被检查。
在示例性声学成像过程中,背景噪声(例如,工业环境中的基底噪声、室外环境中的风等)通常不是周期性的,而场景内的某些感兴趣对象发射周期声学信号(例如,以规则间隔操作的机械)。因此,用户可以选择从声学图像中排除非周期声学信号,以便去除背景信号并且更清楚地呈现感兴趣声学数据。在其他示例中,用户可能希望找到恒定音调的源,并且因此可以选择从声学图像数据中排除可能模糊对恒定音调的查看的周期信号。一般来说,用户可以选择在声学图像数据中包括高于特定周期性、低于特定周期性或在期望的周期性范围内的声学信号。在各种示例中,可通过周期性信号之间的时间长度或周期性信号的出现频率来识别周期性。类似于如图11B所示的频率,可以类似地使用给定周期性下的强度分析(例如,由于感兴趣对象以该周期性操作)来跟踪来自对象的声学信号如何随时间变化。一般来说,在一些实施方案中,周期性可用于对各种参数(诸如频率、强度等)执行变化率分析。
在一些实施方案中,场景内的各种位置可以发射在捕获声学图像数据时连续/正在进行的声学信号。在这种实施方案中,声学分析系统(例如,声学成像设备100、声学分析系统200)可以捕获连续或正在进行的声学信号,并且经由声学图像数据将声学信号呈现给用户,诸如本文所描述的。图12提供包括发射连续性声学信号的两个位置(位置1220和1225)的示例性目标场景1210。在所示示例中,声学图像数据与电磁图像数据组合,并且示出了存在于位置1220和1225处的声学信号。
然而,在一些情况下,目标场景(例如,目标场景1210)内的一些位置可以发射间歇的并且可能不被声学分析系统定期捕获的声学信号。因此,当用户检查场景时,这种信号可能不在给定时间显示给用户的声学图像数据中表示。这可能导致未能检测到感兴趣声学信号,诸如表示否则可经由声学成像检测到的问题的声学信号,因为声学信号在检查时不存在。
在一些实施方案中,所有捕获的声学信号(例如,连续性声学信号和间歇性声学信号)可被分类,诸如被分类为连续性声学信号或间歇性声学信号。这种实施方案可以包括被配置为跟踪检测到的声学信号的系统,即使信号不再存在或当前不存在(例如,间歇性声学信号)也是如此。此外,即使在检查时不存在一个或多个声学信号,系统也可以生成包括指示间歇性声学信号的信息的声学图像。这种实施方案可以向用户提供附加数据并且减少例如由于在检查时不存在而未被检测到的感兴趣声学信号的数量。
图13提供了示例性实施方案,其中声学分析系统被配置为捕获和显示关于间歇性声学信号的信息。如图所示,目标场景1210另外包括发射间歇性声学信号的位置1330和1335。间歇性声学信号可以包括在发射之后不规律地、不频繁地和/或感兴趣的声学信号。例如,如果在电机中诸如在位置1335处存在叮当声或撞击噪声,则即使在噪声暂时停止之后和/或在噪声和/或操作的暂停期间,提供噪声的可视化也可能是有益的。在示例性场景中,从位置1335发射的声学信号可能在用户没有观察到声学目标场景时的一段时间期间发生(例如,过夜、午休期间、当用户以其他方式分心时等)并且否则会被错过。另外或替代地,间歇性声学信号可以包括具有声学参数的突然变化的声学信号,诸如装备(例如,电机或其他机械)的启动或关闭。
如本文别处所描述,在一些实施方案中,所有捕获的声学信号(例如,从位置1220、1225、1330、1335发射的声学信号)可根据信号是连续的还是间歇的来自动分类。在一些实施方案中,可基于声学信号的周期性和/或声学信号在目标场景内存在/不存在的时间比率而对声学信号进行自动分类。例如,如果声学信号(例如,从位置1220和1225发射的声学信号)已经存在于所捕获的所有或大部分声学图像数据(例如,声学图像帧)中,则这种声学信号可以被自动分类为连续性声学信号。类似地,少量地、间歇地和/或不规律地发生的声学信号可以被自动分类为间歇声音(例如,从位置1330和1335发射的声学信号)。声学信号也可以诸如由用户经由用户界面手动分类。在一些实施方案中,用户界面可以被包括在声学分析系统的外壳内,诸如在声传感器阵列上或附近。另外或替代地,用户界面可位于声学分析系统的外壳外部,诸如在中央服务器室处、在单独的智能设备(例如,计算机、电话、平板计算机)等上。
如本文所讨论的,声学分析系统可以包括存储器或者连接到用于存储声学数据等的外部存储器。这可以包括在一段时间内存储声学数据或声学图像数据,以对生成声学数据或声学图像数据的声学信号进行分类(例如,将声学信号分类为间歇性声学信号、连续性声学信号等)。在一些实施方案中,数据可以与诸如捕获时间、位置、关于目标场景的信息等的声学数据/声学图像数据一起被存储(例如,作为元数据)。另外或替代地,这种数据可以包括声学数据内的声学信号的进一步识别信息。例如,数据可以包括当正在接收声学信号时在特定位置或目标场景内发生的事件日志(例如,电机启动/关闭、通过管道的流速等)。在进一步的示例中,事件日志内包括的各种事件可以与声学数据内表示的声学信号相关联。在一些实施方案中,如本文所讨论,辅助数据可与声学数据一起被捕获和/或接收,该声学数据诸如来自额外传感器(例如,电磁传感器、电流传感器、电压传感器、温度传感器、湿度传感器、位置数据、天气数据等)的数据。在这种示例中,辅助数据或其子集可与事件日志一起存储或在分析期间使用,诸如当审查事件日志时。
在一些情况下,基于声学信号的分类(例如,连续性声学信号、间歇性声学信号等)来区分该声学信号可能是有利的。如图13所示,各种连续性声学信号(例如,从位置1220和1225发射的声学信号)以较浅色调示出,而各种间歇性声学信号(例如,从位置1330和1335发出的声学信号)以较深色调示出。可以使用各种其他区分特性来在视觉上区分连续性声学信号和间歇性声学信号,诸如使用不同的颜色、阴影、透明度、形状、大小、符号等。另外或替代地,声学信号可以通过其分类而被滤波,类似于本文描述的滤波器系统。例如,可以在显示器上显示分类为特定类型(例如,连续、间歇)的声学信号和/或可以省略(例如,不显示)分类为特定类型的声学信号。例如,在一些示例中,用户可在传统实时显示模式(其中如果当时不存在间歇声音,则间歇声音可能丢失)与累积时间视图(其中即使当时不存在间歇声音,间歇声音也可能可见)之间切换。
类似地,特定声学信号可以被放大或强调,诸如特定分类的声学信号(例如,连续的、间歇的)。在一些实施方案中,可以通过在排除其他声学信号的同时呈现声学信号,或者通过显示其他声学信号使得它们对用户而言更不分散注意力(例如,使用不同的调色方案(诸如使用较暗淡的颜色)使得这种信号的可视化更透明、使用示出这种信号的较小的指示器等)来强调声学信号。例如,从位置1335发射的声学信号可以具有与从位置1225发射的声学信号类似的属性(例如,类似的强度和/或频率)。然而,由于从位置1335发射的声学信号被分类为间歇性声学信号,所以与连续性声学信号相比,表示位置1335处的声学信号的声学图像数据可以以区别方式呈现。例如,当与连续性声学信号相比时,间歇性声学信号可以被调色以提供视觉优先级(例如,被示为更大、在不同的彩色调色板中、包括更鲜艳的颜色、与对应电磁图像的不同水平的混合等)。
另外或替代地,可基于声学信号持续的时间量将间歇性声学信号彼此区分开。例如,可以基于间歇性声学信号存在的时间量和/或间歇性声学信号存在的时间百分比将间歇性声学信号彼此区分开。例如,更频繁或更长时间(例如,在给定时间帧内)出现的间歇性声学信号可以用更鲜艳的颜色调色、示为更大、以不同水平与对应电磁图像混合等。
可使用分类类型(例如,连续的、间歇的)以及通过一个或多个其他声学参数(例如,强度、频率、周期性、表观接近度、测量的接近度、声压、粒子速度、粒子位移、声功率、声能、声能密度、声暴露、音高、振幅、亮度、谐波、任何这种参数的变化率、主频率、主频率的谐波等)来对声学信号进行滤波。此外,用户可以使用诸如AND、OR、XOR等的任何适当的逻辑组合来组合需求。例如,用户可能希望仅显示被分类为间歇性声学信号AND具有高于预定阈值的强度的声学信号。另外或替代地,声学分析系统可被配置为循环通过多个分类,诸如相对于图9C中的频率示出并且在本文别处所描述。一般来说,循环可以包括仅示出表示从目标场景中的位置发射的特定分类(例如,连续、间歇)的声学信号的声学图像数据。这种通过各种显示器的循环可以帮助用户在视觉上区分不同声学信号之间的信息。
在一些实施方案中,来自其他传感器(例如,电磁传感器、电流传感器、电压传感器、温度传感器、湿度传感器、位置数据、天气数据等)的辅助数据可用于增强对声学信号的检测和诊断。如本文所描述,辅助数据可以与声学图像数据同时显示,诸如与声学图像数据混合和/或与声学图像数据叠加。例如,在其中辅助数据包括电磁图像数据的实施方案中,电磁图像数据可以诸如使用本文所描述的技术与声学图像数据混合。另外或替代地,诸如湿度数据、位置数据、电压/电流数据等的其他数据可以叠加在显示器上和/或以其他方式与声学图像数据一起显示。此外,来自其他传感器的数据的变化可以与检测到的声学信号(例如,声学特征)的变化结合使用,以诊断场景内的事件或状况。
在一些情况下,声学分析系统可以包括用于检测来自目标场景的红外辐射和/或温度信息的红外相机模块。红外辐射数据和/或温度数据的变化可以与检测到的声学信号一起使用,以提供比仅从声学数据可获得的诊断更好的诊断。在一些实施方案中,温度的升高可以与从特定位置发射的声学信号相关。例如,一台旋转装备上的异常温度可表示轴、轴承或绕组问题。这种异常热特征与声学信号分析一起可以帮助确定问题是否存在和/或进一步识别问题。类似地,在一些情况下,声学分析系统可以包括用于检测来自目标场景的可见光谱内的电磁辐射的可见光相机模块。可见光图像数据的变化可以与检测到的声学信号一起使用,以提供更好的诊断。例如,声学信号可以与目标场景内的特定对象相关联,诸如已知的装备等。因此,可见光图像数据可以用于基于对可能潜在地遮挡或修改原始声学特征的对象的检测来调整声学信号的分析(例如,如果存在一台装备的声学信号特性,但是这种装备在电磁图像数据中被遮挡)。例如,为了分析的目的,系统可以被配置为从遮挡区域消除或修改声学图像数据。
声学分析系统可以被配置为确定目标场景内的感兴趣位置和/或不感兴趣位置。感兴趣位置可以包括目标场景内所包括的一个或多个对象和/或区域,诸如发射感兴趣声学信号的对象和/或区域。在一些示例中,声学分析系统可例如经由用户界面从用户接收关于目标场景内的感兴趣位置的信息。在一些实施方案中,用户可通过突出显示显示器的各个部分来标记感兴趣位置(例如,经由鼠标、小键盘、经由触摸屏的触笔/手指等)。在一些实施方案中,用户可以提供各种几何形状以确定感兴趣位置、使用自由形式方法等。在一些示例中,来自诸如电磁成像传感器(例如,红外相机模块、可见光相机模块等)的其他传感器的信息可被用来确定目标场景内的感兴趣位置或不感兴趣位置。例如,在一些实施方案中,用户可以通过在显示器上选择一个或多个感兴趣位置同时参考场景的电磁图像数据来识别场景内的一个或多个这种位置。在美国专利第9,232,142号中描述了识别场景的各部分的各种示例,该专利已转让给本申请的受让人并且通过引用并入本文。在一些示例中,用户可以选择任何大小的感兴趣位置,包括例如选择整个视场或整个图像数据跨度作为感兴趣位置。在一些情况下,用户或系统可定义小于整个视场的感兴趣位置。
在感兴趣位置发射的声学信号可以与在不感兴趣位置发射的声学信号区分开。在一些实施方案中,感兴趣位置的声学信号可以与不感兴趣位置不同地调色(例如,不同的颜色、不透明度、大小)。在进一步的示例中,声学分析系统可以被配置为向用户呈现感兴趣位置的声学图像数据并且不呈现不感兴趣位置的声学图像数据。例如,位置1220、1225、1330和1335可被认为是目标场景内的感兴趣位置。位置1225和1335可包括电机,并且位置1220和1330可包括管道和/或电气装备。(例如,经由所呈现的声学特征)确定在这种位置处是否存在任何异常对于用户而言可能是重要的,因为这种位置中的异常可能是有害的。相比之下,在所示示例中,位置1358包括通风孔。在一些实施方案中,从位置1358中的通风孔发出的噪声(例如,来自加热/冷却开启的咔嗒声、来自通风孔的下游/上游的回声)可能不是用户感兴趣的,并且因此从呈现给用户的声学图像数据中排除。
如所描述,在一些实施方案中,可基于来自用户的输入(诸如用户使用用户界面指定包括在声学目标场景内的位置)而将位置视为感兴趣的。另外或替代地,可基于是否满足一个或多个警报条件而将位置视为感兴趣的。
警报条件可以包括例如声学参数的各种阈值。例如,警报条件可以包括强度(例如,dB)阈值,使得具有高于预定义强度水平和/或低于预定义强度水平的强度的任何声学信号满足警报条件。另外或替代地,各种声学参数可以被包括在警报条件内,诸如强度、频率、周期性、表观接近度、测量的接近度、估计的距离、声压、粒子速度、粒子位移、声功率、声能、声能密度、声暴露、音高、振幅、亮度、谐波、任何这种参数的变化率等。
在一些实施方案中,警报条件可包括滞后分量。例如,在一些实施方案中,如果声学参数(例如,给定频率范围的强度)在给定时间帧内满足阈值(例如,以dB为单位)达预定次数,则满足警报条件。在示例性实施方案中,如果预定频率范围内的声学强度在一天中满足预定强度阈值超过10次,则声学分析系统可以检测到警报条件。其他数字和时间段也是可能的。在一些实施方案中,这种数字和时间段可以由用户选择。在一些示例中,可同时使用多个这种警报条件。例如,如果声学强度满足第一阈值达第一预定次数,并且如果声学强度满足第二阈值达第二预定次数,则可以满足警报条件。例如,除了警报条件每天满足预定强度阈值多于10次之外,如果该强度满足第二、更高的预定强度阈值每天5次,则也可以检测到警报条件。
在一些示例中,可将一个或多个警报条件应用于目标场景内的感兴趣位置。例如,在一些实施方案中,感兴趣位置可(例如,经由来自用户界面的输入)被定义并且一个或多个警报条件可被应用于该感兴趣位置。在一些这种示例中,这种警报条件不是在感兴趣位置之外的位置中的警报条件,但其他位置可类似地包括相关联的警报条件。
在-些实施方案中,可经由用户界面接收一个或多个警报条件。例如,用户可以设置与一个或多个对应声学参数相关联的一个或多个阈值条件,以定义一个或多个警报条件。另外或替代地,在一些示例中,声学分析系统可被配置为随时间变化对来自目标场景的信息(例如,声学信号)进行采样并且建立一个或多个警报条件。例如,系统可以对来自目标场景的信息进行采样以在目标场景内建立典型操作(例如,典型声学强度值)。这种典型值可用于建立一个或多个警报条件。在一些示例中,用户可以命令系统对目标场景进行采样并且建立一个或多个警报条件。
在一些示例中,警报条件可包括多个阈值或待满足的其他条件,诸如声学信号高于预定强度同时低于预定周期性、在一天的某一时间期间(例如,8pm到6am)低于预定强度等。在一些示例中,警报条件可以是相互依赖的。例如,在示例性实施方案中,阈值强度可以随频率增大和/或随距离减小。另外或替代地,警报条件可包括满足一个或多个阈值达某一段时间、在一段时间内的某一次数或某一时间百分比等。
在一些示例中,一个或多个阈值或条件可以确定警报的严重性。例如,在一些实施方案中,高于阈值强度(例如,dB水平)记录的任何声学信号都可满足警报条件,然而各种其他参数可确定警报的严重性,诸如所发射的声学信号的位置、频率、声特征、来自其他传感器的辅助数据等。在一些实施方案中,警报可以在向用户呈现时通过严重性来区分,如本文所讨论的。
此外,警报条件可以是基于模式检测、与声学特征的偏差、已知声学特征(例如,已知有问题的声学特征)的存在、机器学习算法等。例如,各台装备(例如,电机或其他机械)可以在各种事件期间发射声学信号,诸如在启动、关闭等时。在这种示例中,声学分析系统可以识别各种事件,并且对于这种事件与常规声学信号的偏差可以是警报条件。
在一些实施方案中,警报条件可以包括与附加数据相关联的一个或多个阈值,该附加数据诸如来自除声传感器阵列之外的传感器的辅助数据。本文讨论了一些这种可能的传感器。在一些实施方案中,当确定警报条件时,可使用声学数据与辅助数据之间的已知关系。例如,与电线中的电晕放电相关联的警报阈值可以是基于在一段时间期间检测到的电晕放电的数量。在一些这种示例中,满足阈值所需的检测到的电晕放电的数量可以取决于附加因素。例如,在一些实施方案中,满足警报条件的检测到的放电的数量可以是基于周围环境中的湿度和/或温度、与放电相关联的电压和/或电流等。在一些这种示例中,当湿度高时,一定数量的电晕放电事件可以是正常的或预期的,但是当湿度低时,相同数量的检测到的电晕放电事件可能指示装备发生故障。因此,使用多模态警报条件可帮助系统区分预期或非预期条件。多模态警报条件的其他示例包括例如基于一天和/或一年中的时间的警报条件。例如,在一些情况下,声学分析系统可以被编程为具有针对一天内的第一时间段(例如,每天、每工作日等)的第一警报条件,以及针对第一时间段之外的时间的第二警报条件。一般来说,可以在对应的时间段内应用任何数量的警报简档。
另外或替代地,在一些示例中,可基于来自一个或多个附加传感器的辅助数据来调整警报严重性。例如,相对于电晕放电示例,湿度可用于确定警报条件的严重性。在示例性实施方案中,增加的湿度可以降低警报的严重性并且/或者减少的湿度可以增加警报的严重性。
在一些示例中,新近度阈值可用于基于间歇信号生成警报条件,诸如本文别处所讨论。例如,如本文所描述,在一些示例中,声学分析系统可以生成并显示具有声学图像数据的显示图像,该声学图像数据示出并非实时存在而是在先前时间检测到的间歇性声学信号。在一些实施方案中,这种间歇信号可以满足例如已经在预定时间范围内发生的警报条件。系统可以被配置为包括表示这种声学信号的声学图像数据,例如,作为满足警报条件的信号,即使这种声学信号在生成或查看声学图像数据时不存在也是如此。类似地,这种定时(例如,新近度)阈值可以用作多模态警报中的参数。例如,在一些实施方案中,系统可被配置为如果声学信号满足新近度阈值内的阈值强度(例如,在过去一天内、在过去一小时内等),则检测到警报条件。
在一些示例中,警报条件可在目标场景内的位置上变化。可以针对特定目标场景、针对目标场景的部分、绑定到目标场景内的特定区域/对象等来概括警报条件的位置。
在一些实施方案中,警报条件可由用户诸如经由如本文中所讨论的用户界面指定。另外或替代地,可以由声学分析系统指定一个或多个警报条件。类似地,用户和/或声学分析系统可以指定应用一个或多个警报条件的一个或多个位置。在示例性实施方案中,用户可以识别场景内的对象(例如,电机、垫圈、风扇、管道等)并且为与每个这种对象相关联的位置提供对应的警报条件。类似地,在一些实施方案中,声学分析系统可以识别场景内的各种对象/区域并且相应地应用警报条件。另外或替代地,在一些示例中,用户可从用于各种对象的预定警报条件的列表选择一个或多个警报条件。
声学分析系统可以被配置为在满足警报条件时通知用户。在一些实施方案中,满足一个或多个警报条件的声学信号可以被认为是感兴趣声学信号并且经由显示器显示给用户。在这种实施方案中,声学分析系统可以被配置为显示感兴趣声学信号(例如,满足一个或多个警报条件的声学特征)并且不显示其他声音(例如,不满足一个或多个警报条件的声学特征)。另外或替代地,感兴趣声学信号可以以与表示不满足警报条件的声学信号的声学图像数据区分开的方式呈现在显示图像中。
在一些实施方案中,声学分析系统可以将感兴趣声学信号彼此区分开。例如,一个或多个警报条件可以对应于第一严重性级别,该第一严重性级别可以对应于可以是用户感兴趣的声学信号的声学信号。一个或多个其他警报条件可以对应于与可能有问题的声学信号相对应的第二严重性级别,和/或与非常有问题并且可能需要立即引起注意的声学信号相对应的第三严重性级别。在一些这种示例中,满足各种严重性级别的警报条件的声学信号可以以与满足不同警报条件或严重性级别的声学信号区分开的方式来呈现。
在一些实施方案中,声学分析系统可以被配置为在满足警报条件时(诸如在声学信号满足一个或多个警报条件时)通知用户。通知可包括视觉、听觉和/或战术通知,诸如显示器上的通知、音调和/或振动。在一些实施方案中,表示满足警报条件的声学信号的声学图像数据可以以与表示不满足警报条件的声学信号的声学图像数据区分开的方式呈现在显示图像上。在各种示例中,区分满足警报条件的声学信号可以包括提供不同的调色、不透明度、颜色强度、周期性闪烁等。另外或替代地,在一些示例中,满足警报条件的声学信号可以经由显示器上的声学图像数据来表示,而不满足警报条件的声学信号不在显示器上表示。如本文所讨论的,在一些实施方案中,用户可以经由与声学分析系统集成的用户界面、显示器等接收通知。另外或替代地,可使用其他通知机制,诸如通过操作管理系统、计算机化维护管理系统、智能设备(例如,平板计算机、电话、可穿戴者、计算机等)等发送到诸如中心站的远程位置的通知。
在一些实施方案中,警报条件的位置可以被标记为显示器,诸如在声学图像的用于警报条件的部分上或附近。另外或替代地,满足警报条件的声学信号可被标记在显示器、用户界面等上。图14示出了示出警报信息的示例性声学图像。如图14的示例中所示,标签1430和1435各自包括表示从感兴趣位置发射的声学信号的各种属性的标记。在各种示例中,类似的这种标签可包括诸如以下信息:标题/简要描述(例如,管道垫圈、电机1);声学参数(例如,dB水平、频率等)的一个或多个值;声学参数的历史最小值/最大值;一个或多个警报条件(例如,最小值、最大值等);以及警报历史,诸如满足警报条件时的一次或多次。在区域/对象包括多个警报条件的实施方案中,标签可以包括这种多个警报条件。另外或替代地,用户可以能够诸如经由用户界面来切换通过每个警报条件。类似地,在一些实施方案中,声学分析系统可以被配置为循环通过多个这种标签,从而按顺序向用户提供标签。
如本文所指出,在一些情况下,可将警报条件应用于目标场景内的感兴趣位置。例如,在一些实施方案中,声学分析系统被配置为仅当在与警报条件相关联的感兴趣位置内检测到警报条件时才向用户通知该警报条件。
可以组合本文所描述的部件的各种功能性。在一些实施方案中,本申请中所描述的特征可以与以下申请中所描述的特征组合,该申请中的每个申请都是在2019年7月24日提交的,并且已转让给本申请的受让人,并且通过引用并入本文:
名称为“SYSTEMS AND METHODS FOR PROJECTING AND DISPLAYING ACOUSTICDATA”的PCT专利申请,WIPO公开号为WO2020/023622;
名称为“SYSTEMS AND METHODS FOR TAGGING AND LINKING ACOUSTIC IMAGES”的PCT专利申请,WIPO公开号为WO2020/023633;
名称为“SYSTEMS AND METHODS FOR DETACHABLE AND ATTACHABLE ACOUSTICIMAGING SENSORS”的PCT专利申请,WIPO公开号为WO2020/023631;
名称为“SYSTEMS AND METHODS FOR ANALYZING AND DISPLAYING ACOUSTICDATA”的PCT专利申请,WIPO公开号为WO2020/023627;以及
名称为“SYSTEMS AND METHODS FOR REPRESENTING ACOUSTIC SIGNATURES FROMA TARGET SCENE”的PCT专利申请,WIPO公开号为WO2020/023629。
另外或替代地,本公开的特征可与以下专利申请中的任何一个或多个专利申请中所描述的特征结合使用,该专利申请与本申请同时提交并转让给本申请的受让人,该专利申请中的每个专利申请通过引用并入本文:
2020年9月11日提交的名称为SYSTEMS AND METHODS FOR GENERATING PANORAMICAND/OR SEGMENTED ACOUSTIC IMAGES的美国申请第63/077,441号;以及
2020年9月11日提交的名称为SYSTEMS AND METHODS FOR GENERATING PANORAMICAND/OR SEGMENTED ACOUSTIC IMAGES的美国申请第63/077,449号。
已经描述了各种实施方案。这种示例是非限制性的,并且不以任何方式限定或限制本发明的范围。
例如,本文所描述的声学分析系统的各种实施方案可以单独地或以任何组合包括以下特征中的任一个特征:声传感器阵列,所述声传感器阵列包括多个声传感器元件,所述多个声传感器元件中的每个声传感器元件被配置为从目标场景接收声学信号,并且基于接收到的声学信号输出声学数据;以及显示器;处理器,所述处理器与所述声传感器阵列和所述显示器通信;所述处理器被配置为:从所述声传感器阵列接收多个声学数据集,所述多个声学数据集中的每个声学数据集表示在不同时间点的所述目标场景;确定由所述多个声学数据集表示的所述目标场景内的一个或多个位置,所述一个或多个位置中的每个位置是从所述目标场景发射的声学信号的位置;对于所述声学信号中的每个声学信号,将所述声学信号分类为间歇性声学信号或连续性声学信号;基于所述多个声学数据集生成累积时间声学图像数据;生成包括所述累积时间声学图像数据的累积时间显示图像,其中被分类为间歇性声学信号的声学信号与被分类为连续性声学信号的声学信号区分开;并且在所述显示器上呈现所述累积时间显示图像。
在一些情况下,所述处理器被进一步配置为:对于所述被分类为间歇性声学信号的声学信号中的每个声学信号,通过对存在所述间歇性声学信号的所述多个声学数据集中的每个声学数据集中的所述间歇性声学信号的声学参数中的一个或多个声学参数求平均来计算归一化的间歇性声学信号。对所述声学参数中的一个或多个声学参数求平均可以包括对所述声学信号的强度水平求平均。
声学分析系统可以还单独地或以任何组合包括外壳;该外壳被配置为容纳该声传感器阵列和该处理器;其中该外壳还包括该显示器;其中该显示器在该外壳外部;其中所述处理器被进一步配置为:针对每个所述声学信号,确定所述声学信号的周期性,其中将声学信号分类为间歇性声学信号或连续性声学信号是基于所确定的所述声学信号的周期性。
所述声学分析系统可以被进一步配置为使得对于所述声学信号中的每个声学信号,所述处理器分析所述声学信号以确定在所述多个声学数据集中所述声学信号存在的时间与所述声学信号不存在的时间的比率,其中基于在所述多个声学数据集中所述声学信号存在的时间与所述声学信号不存在的时间的所述比率将所述声学信号分类为间歇性声学信号或连续性声学信号。在一些情况下,所述处理器被进一步配置为:接收事件日志,所述事件日志包括在所述声学数据集被捕获的时间期间在所述目标场景中发生的事件;并且将所述事件日志内的一个或多个事件与所述声学数据集中的声学信号相关联。所述事件日志可以还包括来自一个或多个附加传感器的数据。在一些情况下,所述声学分析系统的所述处理器可以被配置为:基于从所述声传感器阵列接收到的声学数据生成实时声学图像数据,生成包括所述实时声学图像数据的实时显示图像,并且在以下之间切换:在所述显示器上呈现所述累积时间显示图像与在所述显示器上呈现所述实时显示图像。所述声学分析系统可以还包括用户界面,其中所述处理器被配置为响应于从所述用户界面接收到的命令而在以下之间切换:在所述显示器上呈现所述累积时间显示图像与在所述显示器上呈现所述实时显示图像。
在各种实施方案中,一种生成声学图像的方法可以包括:接收多个声学数据集,所述多个声学数据集中的每个声学数据集表示在不同时间点的目标场景;确定所述目标内的一个或多个位置,所述一个或多个位置包括从所述目标场景内发射的声学信号;将所述声学信号分类为间歇性声学信号或连续性声学信号;基于所述多个声学数据集生成累积时间声学图像数据;以及生成包括所述累积时间声学图像数据的累积时间显示图像,其中被分类为间歇性声学信号的声学信号以与被分类为连续性声学信号的声学信号区分开的方式呈现在所述累积时间显示图像内。
附加特征单独地或以任何组合包括:其中生成累积时间声学图像数据还包括:对于所述被分类为间歇性声学信号的声学信号中的每个声学信号,通过在多个声学数据集上对所述间歇性声学信号的声学参数中的一个或多个声学参数求平均来计算归一化的间歇性声学信号;确定所述目标场景内的一个或多个感兴趣位置,其中生成所述累积时间显示图像包括在视觉上将所述一个或多个感兴趣位置与不被认为是感兴趣位置的位置区分开;还包括接收表示来自所述目标场景的电磁辐射的电磁图像数据,以及基于接收到的电磁图像数据确定一个或多个感兴趣位置;针对所述一个或多个声学信号中的每个声学信号确定所述声学信号的周期性,其中将声学信号分类为间歇性声学信号或连续性声学信号是基于所述声学信号的所述周期性。
各种实施方案可以还包括确定在所述多个声学数据集中每个声学信号存在的时间与所述声学信号不存在的时间的比率,其中将声学信号分类为间歇性声学信号或连续性声学信号是基于在所述多个声学数据集中所述声学信号存在的时间与所述声学信号不存在的时间的所述比率;确定一个或多个警报条件,所述一个或多个警报条件中的每个警报条件包括声学参数的阈值;将接收到的声学信号与所述一个或多个警报条件进行比较;以及如果接收到的声学信号满足警报条件,则提供通知;其中生成所述显示图像还包括:为所述目标场景内的位置创建一个或多个标签,其中所述一个或多个标签中的每个标签包括关于标题、所述位置的简要描述、声学参数的一个或多个当前值、所述位置的一个或多个警报条件和/或警报历史的信息;并且还包括基于所述多个声学图像数据集中的最近的声学图像数据集生成实时显示图像,以及在所述实时显示图像与所述累积时间显示图像之间切换。
可组合以上所述的各种实施方案来提供另外的实施方案。本说明书中提及和/或申请数据表,中列出的所有美国和外国专利、专利申请出版物和非专利出版物均通过引用整体并入本文。如果需要,可以修改实施方案的各个方面以采用各专利、申请和出版物的概念来提供进一步的实施方案。
鉴于上文的详细说明,可以对这些实施方案作出这些和其他改变。一般来说,在随后的权利要求中,使用的术语不应解释成将权利要求书限制在本说明书和权利要求书中披露的具体实施方案中,而应解释成包括所有可能的实施方案以及这类权利要求书赋予的等效物的全部范围。因此,权利要求并不受本公开内容所限定。
Claims (18)
1.一种声学分析系统,所述声学分析系统包括:
声传感器阵列,所述声传感器阵列被配置为从目标场景接收一个或多个声学信号,并且基于所述一个或多个声学信号输出声学数据;和
处理器,所述处理器与所述声传感器阵列通信,所述处理器被配置为:
从所述声传感器阵列接收多个声学数据集,所述多个声学数据集中的每个声学数据集表示在不同时间点的所述目标场景;
确定由所述多个声学数据集表示的所述目标场景内的一个或多个位置,所述一个或多个位置中的每个位置是从所述目标场景发射的声学信号的位置;
对于每个声学信号,将所述声学信号分类为间歇性声学信号或连续性声学信号;
基于所述多个声学数据集生成累积时间声学图像数据;以及
生成累积时间显示图像以供在显示器上呈现,所述累积时间显示图像包括所述累积时间声学图像数据,
其中在所述累积时间显示图像内,被分类为间歇性声学信号的声学信号与被分类为连续性声学信号的声学信号区分开。
2.根据权利要求1所述的声学分析系统,其中对于所述被分类为间歇性声学信号的声学信号中的每个声学信号,所述处理器被进一步配置为通过对存在所述间歇性声学信号的所述多个声学数据集中的每个声学数据集中的所述间歇性声学信号的声学参数中的一个或多个声学参数求平均来计算归一化的间歇性声学信号。
3.根据权利要求2所述的声学分析系统,其中对所述声学参数中的一个或多个声学参数求平均包括对所述声学信号的强度水平求平均。
4.根据权利要求1至3中任一项所述的声学分析系统,其中对于所述声学信号中的每个声学信号,所述处理器被进一步配置为:
确定所述声学信号的周期性;以及
基于所述声学信号的所述周期性将所述声学信号分类为间歇性声学信号或连续性声学信号。
5.根据权利要求1至4中任一项所述的声学分析系统,其中对于所述声学信号中的每个声学信号,所述处理器被进一步配置为:
分析所述声学信号以确定在所述多个声学数据集中所述声学信号存在的时间与所述声学信号不存在的时间的比率;以及
基于在所述多个声学数据集中所述声学信号存在的时间与所述声学信号不存在的时间的所述比率将所述声学信号分类为间歇性声学信号或连续性声学信号。
6.根据权利要求1至5中任一项所述的声学分析系统,其中所述处理器被进一步配置为:
接收事件日志,所述事件日志包括在所述声学数据集被捕获的时间期间在所述目标场景中发生的事件;以及
将所述事件日志内的一个或多个事件与所述声学数据集中的声学信号相关联。
7.根据权利要求6所述的声学分析系统,其中所述事件日志包括来自一个或多个附加传感器的数据,所述数据与关联于所述声学分析系统的一个或多个环境或背景参数有关。
8.根据权利要求1至7中任一项所述的声学分析系统,其中所述处理器被进一步配置为:
基于从所述声传感器阵列接收到的声学数据生成实时声学图像数据;
生成包括所述实时声学图像数据的实时显示图像;以及
在以下之间切换:在所述显示器上呈现所述累积时间显示图像与在所述显示器上呈现所述实时显示图像。
9.根据权利要求8所述的声学分析系统,所述声学分析系统还包括用户界面,其中所述处理器被配置为响应于从所述用户界面接收到的命令而在以下之间切换:在所述显示器上呈现所述累积时间显示图像与在所述显示器上呈现所述实时显示图像。
10.一种生成声学图像的方法,所述方法包括:
接收多个声学数据集,所述多个声学数据集中的每个声学数据集表示在不同时间点的目标场景;
确定所述目标场景内的一个或多个位置,从所述一个或多个位置发射声学信号;
将所述声学信号分类为间歇性声学信号或连续性声学信号;
基于所述多个声学数据集生成累积时间声学图像数据;以及
生成包括所述累积时间声学图像数据的累积时间显示图像,
其中被分类为间歇性声学信号的声学信号以与被分类为连续性声学信号的声学信号区分开的方式呈现在所述累积时间显示图像内。
11.根据权利要求10所述的方法,其中生成累积时间声学图像数据包括:
对于所述被分类为间歇性声学信号的声学信号中的每个声学信号,通过在多个声学数据集上对所述间歇性声学信号的声学参数中的一个或多个声学参数求平均来计算归一化的间歇性声学信号。
12.根据权利要求10或权利要求11所述的方法,所述方法还包括确定所述目标场景内的一个或多个感兴趣位置,其中生成所述累积时间显示图像包括在视觉上将所述一个或多个感兴趣位置与不是感兴趣位置的位置区分开。
13.根据权利要求12所述的方法,所述方法还包括:
接收表示来自所述目标场景的电磁辐射的电磁图像数据;以及
基于所述电磁图像数据确定所述目标场景内的所述一个或多个感兴趣位置。
14.根据权利要求10至13中任一项所述的方法,所述方法还包括:
针对所述声学信号中的每个声学信号确定所述声学信号的周期性,其中将声学信号分类为间歇性声学信号或连续性声学信号是基于所述声学信号的所述周期性。
15.根据权利要求10至14中任一项所述的方法,所述方法还包括:
确定在所述多个声学数据集中每个声学信号存在的时间与所述声学信号不存在的时间的比率,其中将声学信号分类为间歇性声学信号或连续性声学信号是基于在所述多个声学数据集中所述声学信号存在的时间与所述声学信号不存在的时间的所述比率。
16.根据权利要求10至15中任一项所述的方法,所述方法还包括:
确定一个或多个警报条件,所述一个或多个警报条件中的每个警报条件包括声学参数的阈值;
将所述声学信号与所述一个或多个警报条件中的阈值进行比较;以及
如果声学信号满足所述一个或多个警报条件中的警报条件,则提供通知。
17.根据权利要求16所述的方法,其中生成所述累积时间显示图像包括:为所述目标场景内的位置创建一个或多个标签,其中所述一个或多个标签中的每个标签包括关于标题、所述位置的简要描述、声学参数的一个或多个当前值、所述位置的一个或多个警报条件和/或警报历史的信息;以及将所述一个或多个标签包括在所述累积时间显示图像中以供在显示器上呈现。
18.根据权利要求10至17中任一项所述的方法,所述方法还包括:
基于所述多个声学图像数据集中的最近的声学图像数据集生成实时显示图像;以及
在显示器中呈现所述实时显示图像与所述累积时间显示图像之间切换。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063077445P | 2020-09-11 | 2020-09-11 | |
US63/077445 | 2020-09-11 | ||
PCT/US2021/049965 WO2022056327A1 (en) | 2020-09-11 | 2021-09-10 | System and method for acoustic imaging with an accumulated-time view |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116249914A true CN116249914A (zh) | 2023-06-09 |
Family
ID=78086931
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180062171.5A Pending CN116249914A (zh) | 2020-09-11 | 2021-09-10 | 利用累积时间视图进行声学成像的系统和方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US11953592B2 (zh) |
EP (1) | EP4211493A1 (zh) |
JP (1) | JP2023542645A (zh) |
KR (1) | KR20230065299A (zh) |
CN (1) | CN116249914A (zh) |
WO (1) | WO2022056327A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022056327A1 (en) * | 2020-09-11 | 2022-03-17 | Fluke Corporation | System and method for acoustic imaging with an accumulated-time view |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5778082A (en) | 1996-06-14 | 1998-07-07 | Picturetel Corporation | Method and apparatus for localization of an acoustic source |
CN1898720B (zh) | 2004-07-09 | 2012-01-25 | 日本电信电话株式会社 | 音响信号检测系统、音响信号检测服务器、影像信号搜索装置、影像信号搜索方法、影像信号搜索程序与记录介质、信号搜索装置、信号搜索方法、及信号搜索程序与记录介质 |
WO2006060746A2 (en) | 2004-12-03 | 2006-06-08 | Infrared Solutions, Inc. | Visible light and ir combined image camera with a laser pointer |
CN101945224B (zh) | 2009-07-01 | 2015-03-11 | 弗卢克公司 | 热成像方法 |
JP2012021969A (ja) | 2010-06-18 | 2012-02-02 | Panasonic Electric Works Co Ltd | 部屋、配線器具 |
JP5832182B2 (ja) | 2011-07-19 | 2015-12-16 | キヤノン株式会社 | 音響信号受信装置およびイメージング装置 |
JP5822667B2 (ja) | 2011-11-15 | 2015-11-24 | 株式会社インテック | 情報提供システム、音響信号出力装置、コンピュータ用プログラム、携帯機器用プログラム、データ伝送方法及び情報取得方法 |
US20130155249A1 (en) | 2011-12-20 | 2013-06-20 | Fluke Corporation | Thermal imaging camera for infrared rephotography |
US20130155248A1 (en) | 2011-12-20 | 2013-06-20 | Fluke Corporation | Thermal imaging camera for infrared rephotography |
US20130162835A1 (en) | 2011-12-23 | 2013-06-27 | Fluke Corporation | Thermal imaging camera for infrared rephotography |
JP6367691B2 (ja) | 2014-11-17 | 2018-08-01 | 日本電信電話株式会社 | 報知音感知・識別装置、報知音感知・識別方法、報知音感知・識別プログラム |
US10152811B2 (en) | 2015-08-27 | 2018-12-11 | Fluke Corporation | Edge enhancement for thermal-visible combined images and cameras |
KR20170130041A (ko) | 2016-05-18 | 2017-11-28 | (주)에스엠인스트루먼트 | 소음원 가시화 데이터 누적 표시방법 및 음향 카메라 시스템 |
SG10201703098TA (en) | 2017-04-13 | 2018-11-29 | Kent Microwave Devices | Indoor Positioning System |
US11099075B2 (en) * | 2017-11-02 | 2021-08-24 | Fluke Corporation | Focus and/or parallax adjustment in acoustic imaging using distance information |
US20190129027A1 (en) * | 2017-11-02 | 2019-05-02 | Fluke Corporation | Multi-modal acoustic imaging tool |
US11965958B2 (en) | 2018-07-24 | 2024-04-23 | Fluke Corporation | Systems and methods for detachable and attachable acoustic imaging sensors |
CN110082756A (zh) * | 2019-05-11 | 2019-08-02 | 王志东 | 基于本底做概率识别的区域智能监控系统及其识别方法 |
CN116113849A (zh) * | 2020-09-11 | 2023-05-12 | 福禄克公司 | 用于生成全景声学图像并通过分段使声学成像设备虚拟化的系统和方法 |
WO2022056327A1 (en) * | 2020-09-11 | 2022-03-17 | Fluke Corporation | System and method for acoustic imaging with an accumulated-time view |
-
2021
- 2021-09-10 WO PCT/US2021/049965 patent/WO2022056327A1/en unknown
- 2021-09-10 EP EP21790334.3A patent/EP4211493A1/en active Pending
- 2021-09-10 JP JP2023516148A patent/JP2023542645A/ja active Pending
- 2021-09-10 CN CN202180062171.5A patent/CN116249914A/zh active Pending
- 2021-09-10 KR KR1020237011687A patent/KR20230065299A/ko unknown
- 2021-09-10 US US17/472,430 patent/US11953592B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2023542645A (ja) | 2023-10-11 |
KR20230065299A (ko) | 2023-05-11 |
US11953592B2 (en) | 2024-04-09 |
WO2022056327A1 (en) | 2022-03-17 |
US20220082691A1 (en) | 2022-03-17 |
EP4211493A1 (en) | 2023-07-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11960002B2 (en) | Systems and methods for analyzing and displaying acoustic data | |
CN109752722B (zh) | 多模态声学成像工具 | |
CN109752721B (zh) | 具有扫描和分析能力的便携式声学成像工具 | |
CN109756720B (zh) | 使用距离信息的声学成像中的焦点和/或视差调整 | |
US11953592B2 (en) | System and method for acoustic imaging with an accumulated-time view | |
US20220082692A1 (en) | System and method for generating panoramic acoustic images and virtualizing acoustic imaging devices by segmentation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |