CN116113849A - 用于生成全景声学图像并通过分段使声学成像设备虚拟化的系统和方法 - Google Patents
用于生成全景声学图像并通过分段使声学成像设备虚拟化的系统和方法 Download PDFInfo
- Publication number
- CN116113849A CN116113849A CN202180062167.9A CN202180062167A CN116113849A CN 116113849 A CN116113849 A CN 116113849A CN 202180062167 A CN202180062167 A CN 202180062167A CN 116113849 A CN116113849 A CN 116113849A
- Authority
- CN
- China
- Prior art keywords
- acoustic
- image
- image data
- data
- analysis system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/88—Sonar systems specially adapted for specific applications
- G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
- G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
- G01S15/8909—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using a static transducer configuration
- G01S15/8915—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using a static transducer configuration using a transducer array
- G01S15/8925—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using a static transducer configuration using a transducer array the array being a two-dimensional transducer configuration, i.e. matrix or orthogonal linear arrays
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
- G01S11/14—Systems for determining distance or velocity not using reflection or reradiation using ultrasonic, sonic, or infrasonic waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
- G01S15/06—Systems determining the position data of a target
- G01S15/42—Simultaneous measurement of distance and other co-ordinates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
- G01S15/06—Systems determining the position data of a target
- G01S15/08—Systems for measuring distance only
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/88—Sonar systems specially adapted for specific applications
- G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
Abstract
一种声学分析系统包括声传感器阵列,该声传感器阵列从目标场景接收声学信号并基于一个或多个声学信号输出声学数据。处理器接收表示目标场景的第一部分并且具有第一视场(FOV)的第一组声学数据;基于第一组声学数据生成第一声学图像;接收表示目标场景的第二部分并且具有第二FOV的第二组声学数据,其中第二FOV不同于第一FOV;基于第二组声学数据生成第二声学图像;将第一声学图像和第二声学图像配准以形成对准的第一声学图像和第二声学图像;并且生成用于在显示器上呈现的包括对准的第一声学图像和第二声学图像的全景。
Description
背景技术
当使用各种声学成像技术监视一个区域时,可能需要或期望监视较大区域。在一些情况下,此区域可能大于现有系统和解决方案的视场(FOV)。另外或替代地,可能需要或期望在不同时间点监视区域的不同区。然而,安装多个声学成像系统以监视这种不同区可能是在技术上不可行的或在商业上行不通的。
对于一些区域监视应用,可能需要对问题仅在一段时间后才变得明显的区域进行监视。有时,这些问题可能是间歇的,并且可能被周期性检查遗漏。
另外或替代地,在一些情况下,从场景内的不同位置和/或在不同时间发出的声音可能具有不同声学参数,这可能导致难以对这种声音进行成像。对(例如,在第一频率范围内的)一个这种声音进行最优成像可能导致对(例如,在不同于第一频率范围的第二频率范围内的)具有不同声学参数的不同声音的次优检测和/或显示。
附图说明
图1A和图1B示出了示例性声学成像设备的前视图和后视图。
图2是示出声学分析系统的示例的部件的功能框图。
图3A、图3B、图3C和图3D示出了声学分析系统内的示例性声传感器阵列配置的示意图。
图4A和图4B示出了在可见光图像数据和声学图像数据的帧的生成中的视差误差的示意性图示。
图5A和图5B示出了可见光图像与声学图像之间的视差校正。
图6是示出用于生成将声学图像数据和电磁图像数据组合的最终图像的示例性方法的过程流程图。
图7是示出用于根据接收到的声学信号生成声学图像数据的示例性过程的过程流程图。
图8示出了用于确定在声学成像过程期间使用的适当算法和传感器阵列的示例性查找表。
图9A是在声学场景中接收到的图像数据的频率内容随时间变化的示例性曲线图。
图9B示出了包括发射声学信号的多个位置的示例性场景。
图9C示出了多个预定义频率范围内的多个组合的声学和可见光图像数据。
图10A和图10B是包括组合的可见光图像数据和声学图像数据的示例性显示图像。
图11A和图11B示出了声学场景中的声学数据的频率相对于时间的示范性曲线图。
图12示出了使用线性水平扫描系统的水平全景扫描的可视化。
图13提供了包括多个声学图像帧的声学图像的简化示例。
图14示出了声学图像视场和电磁图像视场的可视化。
图15示出了使用平移和倾斜系统的垂直全景扫描的可视化。
图16示出了使用组合水平全景扫描和垂直全景扫描的大面积全景扫描。
图17示出了使用信标声学信号来对准声学图像的示例性实施方案。
图18A、图18B和图18C提供了使用一个或多个信标声学信号来捕获目标场景中的多个声学图像的示例性实施方案。
图19示出了使用一个或多个信标声学信号来捕获目标场景中的多个声学图像的示例性实施方案。
图20A、图20B和图20C示出了示出当前视场之外的声学信号的指示的示例性实施方案。
图21示出了与提供虚拟化声学成像设备的多个声学图像部分相关联的分段视场(FOV)。
具体实施方式
图1A和图1B示出了示例性声学成像设备的前视图和后视图。图1A示出了声学成像设备100的前侧,该声学成像设备具有支撑声传感器阵列104和电磁成像工具106的外壳102。在一些实施方案中,声传感器阵列104包括多个声传感器元件,多个声传感器元件中的每个声传感器元件被配置为(例如,被动地)接收从声学场景发射的声学信号,并且基于接收到的声学信号输出声学数据。电磁成像工具106可以被配置为从目标场景接收电磁辐射并且输出表示接收到的电磁辐射的电磁图像数据。电磁成像工具106可以被配置为检测多个波长范围中的一个或多个波长范围内的电磁辐射,诸如可见光、红外线、紫外线等。
在所示示例中,声学成像设备100包括环境光传感器108和位置传感器116,诸如GPS。设备100包括激光指示器110,该激光指示器在一些实施方案中包括激光测距仪。设备100包括可以被配置为向场景发射可见光辐射的手电筒112,以及可以被配置为向场景发射红外辐射的红外照明器118。在一些示例中,设备100可以包括用于在任何波长范围内照明场景的照明器。设备100还包括投影仪114,诸如可以被配置为将所生成的图像(诸如彩色图像)投影到场景上的图像重投影仪,和/或被配置为将一系列点投影到场景上(例如以确定场景的深度轮廓)的点投影仪。
图1B示出了声学成像设备100的后侧。如图所示,该设备包括可以呈现图像或其他数据的显示器120。在一些示例中,显示器120包括触摸屏显示器。声学成像设备100包括可以向用户提供音频反馈信号的扬声器,以及可以实现声学成像设备100与外部设备之间的无线通信的无线接口124。该设备还包括控件126,该控件可以包括一个或多个按钮、旋钮、拨号盘、开关或其他接口部件,以使得用户能够与声学成像设备100接口。在一些示例中,控件126和触摸屏显示器组合以提供声学成像设备100的用户界面。
在各种实施方案中,声学成像设备不需要包括图1A和图1B的实施方案中所示的每个元件。可以从声学成像设备中排除一个或多个所示部件。在一些示例中,图1A和图1B的实施方案中所示的一个或多个部件可以被包括作为声学成像系统的一部分,但是与外壳102分开地被包括。这种部件可经由有线或无线通信技术(例如,使用无线接口124)与声学成像系统的其他部件通信。
图2是示出声学分析系统200的示例的部件的功能框图。图2的示例性声学分析系统200可以包括布置在声传感器阵列202中以捕获穿过空气行进的声学信号的多个声传感器,诸如麦克风、MEMS、换能器等。这种阵列可以是一维、二维或三维的。在各种示例中,声传感器阵列可以限定任何合适的大小和形状。在一些示例中,声传感器阵列202包括以栅格图案布置的多个声传感器,例如以垂直列和水平行布置的传感器元件阵列。在各种示例中,声传感器阵列202可以包括例如8x8、16x16、32x32、64x64、128x128、256x256等的垂直列乘水平行的阵列。其他示例是可能的,并且各种传感器阵列不必一定包括与列相同数量的行。在一些实施方案中,这种传感器可定位在基板上,例如,诸如印刷电路板(PCB)基板。
在图2所示的配置中,与声传感器阵列202通信的处理器212可以从多个声传感器中的每个声传感器接收声学数据。在声学分析系统200的示例性操作期间,处理器212可以与声传感器阵列202通信以生成声学图像数据。举例来说,处理器212可被配置为分析从布置在声传感器阵列中的多个声传感器中的每个声传感器接收到的数据,并且通过将声学信号“反向传播”到声学信号的源来确定声学场景。在一些实施方案中,处理器212可以通过识别二维场景上的声学信号的各种源位置和强度来生成声学图像数据的数字“帧”。通过生成声学图像数据的帧,处理器212捕获目标场景在基本上给定时间点的声学图像。在一些示例中,帧包括组成声学图像的多个像素,其中每个像素表示声学信号已经被反向传播到的源场景的一部分。
声学分析系统200内的被描述为处理器的部件(包括处理器212)可以单独地或以任何合适的组合被实现为一个或多个处理器,诸如一个或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、可编程逻辑电路等。处理器212还可以包括存储程序指令和相关数据的存储器,该程序指令和相关数据在由处理器212执行时使得声学分析系统200和处理器212执行在本公开中归于它们的功能。存储器可以包括任何固定的或可移除的磁、光或电介质,诸如RAM、ROM、CD-ROM、硬磁盘或软磁盘、EEPROM等。存储器还可包括可用于提供存储器更新或存储器容量增加的可移除存储器部分。可移除存储器还可允许将声学图像数据容易地传送到另一计算设备,或在将声学分析系统200用于另一应用中之前被移除。处理器212还可以被实现为片上系统,该片上系统将计算机或另一电子系统的一些或所有部件集成到单个芯片中。处理器212(处理电路)可以被配置为将经处理的数据传达到显示器214或另一输出/控制设备218。
在一些实施方案中,声传感器阵列202中的声传感器生成与由每个声传感器通过空气接收的声学信号相对应的一系列信号以表示声学图像。当通过扫描组成声传感器阵列202的所有行来获得来自每个声传感器的信号时,生成声学图像数据的“帧”。在一些示例中,处理器212可以以足以生成声学图像数据的视频表示的速率(例如,30Hz或60Hz)采集声学图像帧。独立于特定电路,声学分析系统200可被配置为操纵表示目标场景的声学轮廓的声学数据以便提供可被显示、存储、传输或由用户以其他方式利用的输出。
在一些实施方案中,为了生成声学图像而对接收到的声学信号的“反向传播”包括例如经由处理器分析在声传感器阵列202中的多个声传感器处接收到的信号。在各种示例中,执行反向传播是一个或多个参数的函数,包括到目标的距离、频率、声音强度(例如,dB水平)、传感器阵列尺寸/配置,包括例如各个传感器在一个或多个阵列内的间距和布置等。在一些实施方案中,这种参数可以被预编程到系统中,例如存储器中。例如,声传感器阵列202性质可被存储在存储器中,诸如内部存储器或尤其是与声传感器阵列202相关联的存储器。其他参数(诸如到目标的距离)可以以多种方式被接收。例如,在一些示例中,声学分析系统200包括与处理器212通信的距离测量工具204。距离测量工具可以被配置为提供表示从距离测量工具204到目标场景中的特定位置的距离的距离信息。各种距离测量工具可包括激光测距仪或其他已知的距离测量设备,诸如其他光学或音频距离测量设备。另外或替代地,距离测量工具可被配置为生成三维深度数据,使得目标场景的每一部分具有相关联的到目标距离值。因此,在一些示例中,如本文中所使用的到目标距离测量值可对应于到目标场景内的每一位置的距离。这种三维深度数据可以例如经由具有目标场景的不同视图的多个成像工具或者经由其他已知的距离扫描工具来生成。一般来说,在各种实施方案中,距离测量工具可用于执行一个或多个距离测量功能,包括但不限于:激光距离测量、主动声波距离测量、被动超声波距离测量、LIDAR距离测量、RADAR距离测量、毫米波距离测量等。
来自距离测量设备204的距离信息可以用于反向传播计算。另外或替代地,系统200可包括用户界面216,用户可手动地将到目标距离输入到该用户界面中。例如,如果到怀疑产生声学信号的部件的距离是已知的或者难以用距离测量工具204测量,则用户可以将到目标距离值输入到系统200中。
在所示实施方案中,声学分析系统200包括用于生成表示目标场景的图像数据的电磁成像工具203。示例性电磁成像工具可以被配置为从目标场景接收电磁辐射并且生成表示接收到的电磁辐射的电磁图像数据。在一些示例中,电磁成像工具203可被配置为生成表示电磁波谱内的特定波长范围(例如,红外辐射、可见光辐射和紫外辐射)的电磁图像数据。例如,在一些实施方案中,电磁定时工具203可包括被配置为生成表示电磁波谱中的特定波长范围的图像数据的一个或多个相机模块,诸如例如可见光相机模块206。
可见光相机模块通常是众所周知的。例如,各种可见光相机模块被包括在智能电话和众多其他设备中。在一些实施方案中,可见光相机模块206可被配置为从目标场景接收可见光能量,并且将该可见光能量聚焦在可见光传感器上以用于生成可见光能量数据,例如,该可见光能量数据可以可见光图像的形式显示在显示器214上和/或存储在存储器中。可见光相机模块206可包括用于执行归于本文的模块的功能的任何合适部件。在图2的示例中,可见光相机模块206被示为包括可见光透镜组件208和可见光传感器210。在一些这种实施方案中,可见光透镜组件208包括至少一个透镜,该至少一个透镜获取由目标场景发射的可见光能量并且将该可见光能量聚焦在可见光传感器210上。可见光传感器210可以包括多个可见光传感器元件,诸如例如CMOS检测器、CCD检测器、PIN二极管、雪崩光电二极管等。可见光传感器210通过生成电信号来响应聚焦的能量,该电信号可被转换并作为可见光图像显示在显示器214上。在一些示例中,可见光模块206可由用户配置,并且可以例如以各种格式向显示器214提供输出。可见光相机模块206可以包括用于改变照明或其他操作条件或用户偏好的补偿功能性。可见光相机模块可以提供包括图像数据的数字输出,该数字输出可以包括各种格式的数据(例如,RGB、CYMK、YCbCr等)。
在一些示例性可见光相机模块206的操作中,从目标场景接收到的光能可以穿过可见光透镜组件208并且聚焦在可见光传感器210上。当光能撞击在可见光传感器210的可见光传感器元件上时,光电检测器内的光子可以被释放并且被转换成检测电流。处理器212可以处理此检测电流以形成目标场景的可见光图像。
在使用声学分析系统200期间,处理器212可控制可见光相机模块206从所捕获的目标场景生成可见光数据以用于创建可见光图像。可见光数据可以包括指示与所捕获的目标场景的不同部分相关联的颜色和/或与所捕获的目标场景的不同部分相关联的光的幅度的亮度数据。处理器212可以通过单次测量声学分析系统200的每个可见光传感器元件的响应来生成可见光图像数据的“帧”。通过生成可见光数据的帧,处理器212捕获目标场景在给定时间点的可见光图像。处理器212还可以重复地测量声学分析系统200的每个可见光传感器元件的响应,以便生成目标场景的动态可见光图像(例如,视频表示)。在一些示例中,可见光相机模块206可以包括其自己的专用处理器或能够操作可见光相机模块206的另一电路(例如,ASIC)。在一些这种实施方案中,专用处理器与处理器212通信,以向处理器212提供可见光图像数据(例如,RGB图像数据)。在替代实施方案中,用于可见光相机模块206的专用处理器可集成到处理器212中。
在可见光相机模块206的每一传感器元件充当传感器像素的情况下,处理器212可通过将每一传感器元件的电响应转译为可经处理(例如以供在显示器214上可视化和/或存储在存储器中)的时分多路复用电信号而生成来自目标场景的可见光的二维图像或图片表示。
处理器212可控制显示器214显示所捕获的目标场景的可见光图像的至少一部分。在一些示例中,处理器212控制显示器214,使得可见光相机模块206的每一传感器元件的电响应与显示器214上的单个像素相关联。在其他示例中,处理器212可增大或减小可见光图像的分辨率,使得显示器214上显示的像素比可见光相机模块206中的传感器元件更多或更少。处理器212可以控制显示器214显示整个可见光图像(例如,由声学分析系统200捕获的目标场景的所有部分)或少于整个可见光图像(例如,由声学分析系统200捕获的整个目标场景的较小部分)。
在一些实施方案中,处理器212可控制显示器214同时显示由声学分析系统200捕获的可见光图像的至少一部分和经由声传感器阵列202生成的声学图像的至少一部分。这种同时显示可以是有用的,因为操作者可以参考在可见光图像中显示的特征来帮助查看在声学图像中同时显示的声学信号源。在一些情况下,处理器212被配置为识别电磁(例如,可见光)图像数据内的一个或多个特征,并且基于识别出的一个或多个特征指定(识别或描绘)声学图像数据的至少一部分。在各种示例中,处理器212可控制显示器214以并排布置、以画中画布置(其中图像中的一个图像围绕图像中的另一个图像)或以同时显示可见光和声学图像的任何其他合适布置来显示可见光图像和声学图像。
例如,处理器212可以控制显示器214以组合布置来显示可见光图像和声学图像。在这种布置中,对于表示目标场景的一部分的可见光图像中的像素或像素集合,在声学图像中存在表示目标场景的基本上相同的部分的对应像素或像素集合。在各种实施方案中,声学和可见光图像的大小和/或分辨率不需要相同。因此,在声学或可见光图像中的一个声学或可见光图像中可以存在对应于声学或可见光图像中的另一个声学或可见光图像中的单个像素的像素集合,或者不同大小的像素集合。类似地,在可见光或声学图像中的一个可见光或声学图像中可以存在对应于另一图像中的像素集合的像素。因此,如本文中所使用,对应不需要一对一像素关系,而是可包括大小不匹配的像素或像素群组。可执行图像的大小不匹配的区域的各种组合技术,例如对图像中的一个图像进行上采样或下采样,或将像素与对应像素集合的平均值组合。其他示例是已知的并且在本公开的范围内。
因此,对应的像素不需要具有直接的一对一关系。相反,在一些实施方案中,单个声学像素具有多个对应的可见光像素,或者可见光像素具有多个对应的声学像素。另外或替代地,在一些实施方案中,并非所有可见光像素都具有对应的声学像素,反之亦然。这种实施方案可指示例如如先前所讨论的画中画类型显示。因此,可见光像素在可见光图像内不一定具有与对应的声学像素相同的像素坐标。因此,如本文所使用的,对应像素通常是指来自包括来自目标场景的基本上同一部分的信息的任何图像(例如,可见光图像、声学图像、组合图像、显示图像等)的像素。这种像素不需要在图像之间具有一对一关系,并且不需要在该像素各自的图像内具有类似的坐标位置。
类似地,具有对应像素(即,表示目标场景的同一部分的像素)的图像可被称为对应图像。因此,在一些这种布置中,对应的可见光图像和声学图像可以在对应的像素处彼此叠加。操作者可与用户界面216交互以控制显示在显示器214上的图像中的一个或两个图像的透明度或不透明度。例如,操作者可以与用户界面216交互以在完全透明与完全不透明之间调整声学图像,并且还在完全透明与完全不透明之间调整可见光图像。这种示范性组合布置(其可被称为α混合布置)可允许操作者调整显示器214以显示仅声学图像、仅可见光图像、在仅声学图像与仅可见光图像的极端之间的两个图像的任何重叠组合。处理器212还可将场景信息与其他数据(诸如警报数据等)组合。一般来说,可见光与声学图像的α混合组合可以包括从100%声学和0%可见光到0%声学和100%可见光。在一些实施方案中,混合量可由相机的用户调整。因此,在一些实施方案中,混合图像可在100%可见光与100%声学之间调整。
另外,在一些实施方案中,处理器212可以解释和执行来自用户界面216和/或输出/控制设备218的命令。此外,输入信号可以用于改变在处理器212中发生的可见光和/或声学图像数据的处理。
操作者可经由用户界面216与声学分析系统200交互,该用户界面可包括按钮、按键或用于从用户接收输入的另一机构。操作者可以经由显示器214接收来自声学分析系统200的输出。显示器214可以被配置为以任何可接受的调色板或颜色方案显示声学图像和/或可见光图像,并且该调色板可以例如响应于用户控制而变化。在一些实施方案中,可在调色板中呈现声学图像数据以便表示来自场景中的不同位置的不同幅度的声学数据。例如,在一些示例中,显示器214被配置为以诸如灰度的单色调色板显示声学图像。在其他示例中,显示器214被配置为在诸如例如琥珀、铁红、蓝红或其他高对比度色彩方案的彩色调色板中显示声学图像。灰度和彩色调色板显示的组合也是可以预期的。在一些示例中,被配置为显示这种信息的显示器可包括用于生成并呈现这种图像数据的处理能力。在其他示例中,被配置为显示这种信息可包括从其他部件(诸如处理器212)接收图像数据的能力。举例来说,处理器212可以为待显示的每一像素生成值(例如,RGB值、灰度值或其他显示选项)。显示器214可接收这种信息并且将每一像素映射到视觉显示器中。
虽然处理器212可控制显示器214以任何合适布置同时显示声学图像的至少一部分和可见光图像的至少一部分,但画中画布置可通过以相邻对准显示同一场景的对应可见图像来帮助操作者容易地聚焦和/或解译声学图像。
电源(未示出)向声学分析系统200的各个部件输送操作功率。在各种示例中,电源可以包括可再充电或不可再充电电池和发电电路、AC电源、感应功率拾取器、光伏电源或任何其他适当的供电部件。供电部件的组合也是可能的,诸如可再充电电池和被配置为提供电力以操作设备和/或对可再充电电池进行充电的另一部件。
在声学分析系统200的操作期间,处理器212借助于与存储在存储器中的程序信息相关联的指令来控制声传感器阵列202和可见光相机模块206以生成目标场景的可见光图像和声学图像。处理器212还控制显示器214显示由声学分析系统200生成的可见光图像和/或声学图像。
如所指出,在一些情况下,可能难以在声学图像中的目标场景的真实世界(可见)特征之间进行识别和区分。除了用可见光信息补充声学图像之外,在一些实施方案中,强调目标场景内的可见边缘可能是有用的。在一些实施方案中,可对目标场景的可见光图像执行已知的边缘检测方法。由于声学图像与可见光图像之间的对应关系,被确定为表示目标场景中的可见边缘的可见光像素对应于也表示声学图像中的可见边缘的声学像素。应当理解,如本文所使用的,“边缘”不需要指对象的物理边界,而是可以指可见光图像中的任何足够尖锐的梯度。示例可包括对象的物理边界、对象内的颜色变化、场景中的阴影等。
虽然相对于图2一般描述为包括可见光相机模块206,但在一些示例中,声学分析系统200的电磁成像工具203可另外或替代地包括能够生成表示多种光谱的图像数据的成像工具。例如,在各种示例中,电磁成像工具203可包括能够生成红外图像数据、可见光图像数据、紫外图像数据或任何其他有用波长或它们的组合的一个或多个工具。在一些实施方案中,声学成像系统可以包括具有红外透镜组件和红外传感器阵列的红外相机模块。可以包括用于与例如红外相机模块接口的附加部件,诸如在2015年8月27日提交的名称为“EDGEENHANCEMENT FOR THERMAL-VISIBLE COMBINED IMAGES AND CAMERAS”的美国专利申请第14/837,757号中描述的那些部件,该专利申请已转让给本申请的受让人,并且其全部内容通过引用并入本文。
在一些示例中,可混合两个或更多个数据流以供显示。例如,包括可见光相机模块206、声传感器阵列202和红外相机模块(图2中未示出)的示例性系统可被配置为产生包括可见光(VL)图像数据、红外(IR)图像数据和声学(Acoustic)图像数据的混合的输出图像。在示例性混合方案中,显示图像可以表示为:α×IR+β×VL+γ×Acoustic,其中α+β+γ=1。一般来说,可组合任何数量的数据流以供显示。在各种实施方案中,诸如α、β和γ的混合比率可由用户设置。另外或替代地,设置显示程序可被配置为基于警报条件(例如,一个或多个数据流中的一个或多个值满足预定阈值)或其他条件而包括不同图像数据流,例如,如名称为“VISIBLE LIGHT AND IR COMBINED IMAGE CAMERA WITH A LASER POINTER”的美国专利第7,538,326号中所描述,该专利已转让给本申请的受让人,并且其全部内容通过引用并入本文。
相对于图2描述的声学分析系统200中的一个或多个部件可被包括在便携式(例如,手持式)声学分析工具中。例如,在一些实施方案中,便携式声学分析工具可以包括被配置为容纳声学分析工具中的部件的外壳230。在一些示例中,系统200的一个或多个部件可以位于声学分析工具的外壳230的外部。例如,在一些实施方案中,处理器212、显示器214、用户界面216和/或输出控制设备218可以位于声学分析工具的外壳外部,并且可以例如经由无线通信(例如,蓝牙通信、Wi-Fi等)与各种其他系统部件通信。声学分析工具外部的这种部件可例如经由外部设备(诸如计算机、智能电话、平板计算机、可穿戴设备等)提供。另外或替代地,被配置为相对于声学分析工具充当主设备或从属设备的其他测试和测量或数据采集工具可以类似地提供声学分析工具外部的声学分析系统的各种部件。外部设备可以经由有线和/或无线连接与便携式声学分析工具通信,并且可以用于执行各种处理、显示和/或接口步骤。
在一些实施方案中,这种外部设备可提供作为容纳在便携式声学分析工具中的部件的冗余功能性。例如,在一些实施方案中,声学分析工具可以包括用于显示声学图像数据的显示器,并且可以进一步被配置为将图像数据传达到外部设备以用于存储和/或显示。类似地,在一些实施方案中,用户可经由在智能电话、平板计算机、计算机等上运行的应用程序(“app”)与声学分析工具接口,以便执行也能够用声学分析工具自身执行的一个或多个功能。
图3A是声学分析系统内的声传感器阵列的示例性配置的示意图。在所示示例中,声传感器阵列302包括多个第一声传感器(以白色示出)和多个第二声传感器(阴影)。第一声传感器被布置成第一阵列320,并且第二声传感器被布置成第二阵列322。在一些示例中,第一阵列320和第二阵列322可以被选择性地用于例如被动地通过空气接收声学信号并且生成对应的声学图像数据。例如,在一些配置中,特定声传感器阵列对特定声学频率的灵敏度是声传感器元件之间的距离的函数。
在一些配置中,间隔更近的传感器元件(例如,第二阵列322)能够比间隔更远的传感器元件(例如,第一阵列320)更好地分辨较高频率的声学信号(例如,具有大于20kHz的频率的声音,诸如20kHz与100kHz之间的超声学信号)。类似地,间隔更远的传感器元件(例如,第一阵列320)可能比间隔更近的传感器元件(例如,第二阵列322)更适合于检测较低频率的声学信号(例如,<20kHz)。可以提供具有彼此间隔开的传感器元件的各种声传感器阵列,以用于检测各种频率范围的声学信号,该频率范围诸如次声频率(<20Hz)、可听频率(在大约20Hz与20kHz之间)、超声频率(在20kHz与100kHz之间)。在一些实施方案中,部分阵列(例如,来自阵列320的每隔一个声传感器元件)可用于优化特定频带的检测。
另外,在一些示例中,一些声传感器元件可能更适合于检测具有不同频率特性(诸如低频或高频)的声学信号。因此,在一些实施方案中,被配置用于检测低频声学信号的阵列(诸如具有进一步间隔开的传感器元件的第一阵列320)可以包括更适合于检测低频声学信号的第一声传感器元件。类似地,被配置用于检测较高频率声学信号的阵列(诸如第二阵列322)可以包括更适合于检测高频声学信号的第二声传感器元件。因此,在一些示例中,声传感器元件的第一阵列320和第二阵列322可以包括不同类型的声传感器元件。替代地,在一些实施方案中,第一阵列320和第二阵列322可以包括相同类型的声传感器元件。
因此,在示例性实施方案中,声传感器阵列302可以包括多个声传感器元件阵列,诸如第一阵列320和第二阵列322。在一些实施方案中,阵列可以单独或组合地使用。例如,在一些示例中,用户可以选择使用第一阵列320、使用第二阵列322或者同时使用第一阵列320和第二阵列322两者来执行声学成像过程。在一些示例中,用户可经由用户界面选择将使用哪一(哪些)阵列。另外或替代地,在一些实施方案中,声学分析系统可基于对接收到的声学信号或其他输入数据(诸如预期频率范围等)的分析来自动选择待使用的阵列。虽然图3A中示出的配置通常包括通常以矩形网格布置的两个阵列(第一阵列320和第二阵列322),但是应当理解,多个声传感器元件可以以任何形状分组为任何数量的离散阵列。此外,在一些实施方案中,一个或多个声传感器元件可以被包括在可以被选择用于操作的多个不同阵列中。如本文别处所描述,在各种实施方案中,基于声传感器元件的布置来执行用于反向传播声学信号以从场景建立声学图像数据的过程。因此,声传感器的布置可以是处理器已知的或可由处理器以其他方式访问以便执行声学图像生成技术。
图3A的声学分析系统还包括定位在声传感器阵列302内的距离测量工具304和相机模块306。相机模块306可以表示电磁成像工具(例如,203)的相机模块,并且可以包括可见光相机模块、红外相机模块、紫外相机模块等。另外,虽然未在图3A中示出,但是声学分析系统可以包括与相机模块306相同类型或不同类型的一个或多个附加相机模块。在所示示例中,距离测量工具304和相机模块306定位在第一阵列320和第二阵列322中的声传感器元件的网格内。虽然被示为设置在第一阵列320和第二阵列322内的格点之间,但是在一些实施方案中,一个或多个部件(例如,相机模块306和/或距离测量工具304可定位在第一阵列320和/或第二阵列322中的对应的一个或多个格点处。在一些这种实施方案中,部件可以定位在格点处,以代替根据网格布置通常将处于这种位置中的声传感器元件。
如本文别处所描述,声传感器阵列可包括以多种配置中的任一种配置布置以通过空气接收从位于目标场景中或附近的声源发射的声学信号的声传感器元件。图3B和图3C是示出示例性声传感器阵列配置的示意图。图3B示出了声传感器阵列390,该声传感器阵列包括以近似正方形网格均匀间隔开的多个声传感器元件。距离测量工具314和相机阵列316位于声传感器阵列390内。在所示示例中,声传感器阵列390中的声传感器元件是相同类型的传感器,但在一些实施方案中,可在阵列390中使用不同类型的声传感器元件。
图3C示出了多个声传感器阵列。声传感器阵列392、394和396各自包括以不同形状阵列布置的多个声传感器元件。在图3C的示例中,声传感器阵列392、394和396可单独使用或以任何组合一起使用以创造各种大小的传感器阵列。在所示实施方案中,阵列396的传感器元件比阵列392的传感器元件间隔得更近。在一些示例中,阵列396被设计用于感测较高频率的声学信号,而阵列392被设计用于感测较低频率的声学信号。
在各种实施方案中,阵列392、394和396可包括相同或不同类型的声传感器元件。例如,声传感器阵列392可以包括频率工作范围比声传感器阵列396的传感器元件的频率工作范围更低的传感器元件。
如本文别处所描述,在一些示例中,不同声传感器阵列(例如,392、394、396)可在各种操作模式(例如,待成像的不同期望频谱)期间选择性地关闭和开启。另外或替代地,可以根据期望的系统操作来启用或禁用各种声传感器元件(例如,一个或多个传感器阵列中的一些或全部声传感器元件)。例如,在一些声学成像过程中,虽然来自大量传感器元件(例如,诸如在传感器阵列396中以高密度布置的传感器元件)的数据在一定程度上提高了声学图像数据分辨率,但是其代价是从在每个传感器元件处接收到的数据中提取声学图像数据所需的处理。即,在一些示例中,处理(例如,来自大量声传感器元件的)大量输入信号所需的增加的处理需求(例如,在成本、处理时间、功耗等方面)与由附加数据流提供的任何附加信号分辨率相比是负面的。因此,在一些实施方案中,根据期望的声学成像操作来禁用或忽略来自一个或多个声传感器元件的数据可能是值得的。
类似于图3A和图3B的系统,图3C的系统包括定位在声传感器阵列392、394和396内的距离测量工具314和相机阵列316。在一些示例中,诸如附加相机阵列(例如,用于对来自相机阵列316的电磁波谱的不同部分进行成像)的附加部件可以类似地定位在声传感器阵列392、394和396内。将了解,虽然在图3A至图3C中示出为定位在一个或多个声传感器阵列内,但距离测量工具和/或一个或多个成像工具(例如,可见光相机模块、红外相机模块、紫外传感器等)可位于声传感器阵列外部。在一些这种示例中,位于声传感器阵列外部的距离测量工具和/或一个或多个成像工具可由声学成像工具支撑(例如,由容纳声传感器阵列的外壳支撑),或可位于声学成像工具的外壳外部。
图3A至图3C提供了示例性声传感器阵列配置,然而可以使用其他声传感器阵列配置。声传感器阵列配置可以包括多种形状和图案,诸如以栅格状图案、同心圆、向日葵阵列、有序圆形阵列等布置的声传感器。图3D提供了示例性实施方案,其中声传感器395以有序圆形阵列配置布置。如图3D所示的有序圆形阵列可以在声传感器之间提供各种距离,而不是在声传感器之间具有均匀的距离。这种确认可以通过使用声传感器阵列的各个部分来帮助声传感器阵列辨别更大范围的频率。例如,间隔更近的声传感器在检测更高频率时可能更有效;类似地,间隔更远的声传感器在检测更低频率时可能更有效。因此,在声传感器之间具有多种距离(一些距离更近并且一些距离更远)可以帮助为更大范围的频率提供更好的检测。此外,图3D的有序圆形阵列可为阵列的不同部分提供到达时间相对于声音位置的差,并且因此有助于聚焦声传感器阵列和/或确定正从何处发射声学信号。另外,与例如矩形阵列相比,有序圆形阵列可以帮助解决空间混叠和旁瓣。
在一些示例中,声传感器阵列和成像工具(诸如相机模块)的一般未对准可能导致由声传感器阵列和成像工具生成的对应图像数据的未对准。图4A示出了在可见光图像数据和声学图像数据的帧的生成中的视差误差的示意性图示。一般来说,视差误差可以是垂直的、水平的或两者。在所示实施方案中,声传感器阵列420和成像工具包括可见光相机模块406。可见光图像帧440被示出为根据可见光相机模块406的视场441被捕获,而声学图像帧450被示出为根据声传感器阵列420的视场451被捕获。
如图所示,可见光图像帧440和声学成像帧450彼此不对准。在一些实施方案中,处理器(例如,图2的处理器212)被配置为操纵可见光图像帧440和声学图像帧450中的一者或两者,以便对准可见光图像数据和声学图像数据。这种操纵可以包括将一个图像帧相对于另一个图像帧移位。图像帧相对于彼此移位的量可基于多种因素来确定,包括例如从可见光相机模块406和/或声传感器阵列420到目标的距离。这种距离数据可以例如使用距离测量工具404或经由用户界面(例如,216)接收距离值来确定。
图4B是类似于图4A的示意性图示,但包括场景的可见光图像。在图4B的示例中,可见光图像442示出了多条电力线和支撑塔的场景。声学图像452包括多个位置454、456、458,该多个位置指示来自这些位置的高幅度声学数据。如图所示,可见光图像442和声学图像452都被同时显示。然而,对两个图像的观察示出了在位置458处的至少一个声学图像局部最大值,该至少一个声学图像局部最大值看起来与可见光图像442中的任何特定结构都不重合。因此,观察两个图像的人可以推断在声学图像452与可见光图像442之间存在未对准(例如,视差误差)。
图5A和图5B示出了可见光图像与声学图像之间的视差校正。类似于图4B,图5A示出了可见光图像542和声学图像552。声学图像552包括位置554、556和558处的局部最大值。可以看出,位置554和558处的最大值看起来与可见光图像中的任何结构都不重合。在图5B的示例中,可见光图像542和声学图像552相对于彼此被配准。声学图像中的位置554、556和558处的局部最大值现在看起来与可见光图像542内的各个位置重合。
在使用期间,操作者可(例如,经由显示器214)查看图5B中的表示并且确定可见场景542中的可能是接收到的声学信号的源的大致位置。这种信号可以被进一步处理以便确定关于场景中的各种部件的声学特征的信息。在各种实施方案中,可相对于声学图像中的各种位置来分析诸如频率内容、周期性、振幅等的声学参数。当被叠加到可见光数据上使得这种参数可以与各种系统部件相关联时,声学图像数据可以用于分析可见光图像中的对象的各种性质(例如,性能特性)。
如图5A和图5B所示,位置554、556和558示出了圆形梯度。如本文别处所描述,可根据调色方案在视觉上表示声学图像,其中基于对应位置处的声学强度对声学图像的每个像素进行着色。因此,在图5A和图5B的示例性表示中,位置554、556、558的圆形梯度通常表示基于反向传播的接收到的声学信号在成像平面中的声学强度的梯度。
应当理解,虽然相对于声学图像数据和可见光图像数据描述了图4A、图4B、图5A和图5B中的示例性图示,但是可以利用各种电磁图像数据类似地执行这种处理。例如,如本文别处所描述,在各种实施方案中,可使用声学图像数据与可见光图像数据、红外图像数据、紫外图像数据等中的一者或多者的组合来执行各种这种过程。
如本文别处所描述,在一些实施方案中,用于形成声学图像的声学信号的反向传播可以是基于到目标距离值。即,在一些示例中,反向传播计算可以是基于距离,并且可以包括确定位于离声传感器阵列该距离处的二维声学场景。在给定二维成像平面的情况下,从平面中的源发出的球形声波通常将呈现圆形横截面,具有如图5A至图5B所示的强度的径向衰减。
在一些这种示例中,表示不位于在反向传播计算中使用的到目标距离处的数据的声学场景的部分将导致声学图像数据中的误差,诸如场景中的一个或多个声音的位置的不准确性。当声学图像与其他图像数据(例如,电磁图像数据,诸如可见光、红外或紫外图像数据)同时显示(例如,混合、组合等)时,这种误差可能导致声学图像数据与其他图像数据之间的视差误差。因此,在一些实施方案中,用于校正视差误差的一些技术(例如,如图5A和图5B中所示)包括调整在用于生成声学图像数据的反向传播计算中使用的到目标距离值。
在一些情况下,系统可以被配置为使用第一到目标距离值来执行反向传播过程,并且显示诸如图5A所示的显示图像,其中声学图像数据和另一数据流可能不对准。随后,声学分析系统可以调整用于反向传播的到目标距离值,再次执行反向传播,并且用新的声学图像数据更新显示图像。此过程可重复,其中声学分析系统循环通过多个到目标距离值,同时用户观察显示器上的所得显示图像。随着到目标距离值改变,用户可观察到从图5A所示的显示图像到图5B所示的显示图像的逐渐转变。在一些这种情况下,用户可以在视觉上观察声学图像数据何时表现为与另一数据流(诸如电磁图像数据)适当地配准。用户可以向声学分析系统发信号通知声学图像数据看起来被正确地配准,向系统指示用于执行最近反向传播的到目标距离值大致正确,并且可以将该距离值作为正确的到目标距离保存到存储器。类似地,当在更新后的反向传播过程中使用新的距离值来更新显示图像时,用户可以手动地调整到目标距离值,直到用户观察到声学图像数据被正确地配准。用户可以选择将当前到目标距离保存在声学分析系统中作为当前到目标距离。
在一些示例中,校正视差误差可包括基于到目标距离数据将声学图像数据相对于其他图像数据(例如,电磁图像数据)的位置调整预定量并且在预定方向上调整。在一些实施方案中,这种调整独立于通过将声学信号反向传播到识别出的到目标距离而生成声学图像数据。
在一些实施方案中,除了用于生成声学图像数据和减少声学图像数据与其他图像数据之间的视差误差之外,到目标距离值还可以用于其他确定。例如,在一些示例中,处理器(例如,处理器212)可使用到目标距离值以便聚焦或辅助用户聚焦图像,诸如红外图像,如美国专利第7,538,326号中所描述,该专利通过引用并入。如其中所述,这可以类似地用于校正可见光图像数据与红外图像数据之间的视差误差。因此,在一些示例中,距离值可以用于将声学图像数据与电磁成像数据(诸如红外图像数据和可见光图像数据)配准。
如本文别处所描述,在一些示例中,距离测量工具(例如,距离测量工具204)被配置为提供可以由处理器(例如,处理器212)用于生成和配准声学图像数据的距离信息。在一些实施方案中,距离测量工具包括激光测距仪,该激光测距仪被配置为将光发射到目标场景上距离被测量到的位置处。在一些这种示例中,激光测距仪可发射可见光谱中的光,使得用户可查看物理场景中的激光点以确保测距仪正在测量到场景的期望部分的距离。另外或替代地,激光测距仪被配置为发射光谱中的光,一个或多个成像部件(例如,相机模块)对该光谱敏感。因此,经由分析工具(例如,经由显示器214)查看目标场景的用户可观察场景中的激光点以确保激光正在测量到目标场景中的正确位置的距离。在一些示例中,处理器(例如,212)可被配置为基于当前距离值(例如,基于激光测距仪与声传感器阵列之间的已知基于距离的视差关系)在所显示图像中生成表示激光点将位于声学场景中的位置的参考标记。可以将参考标记位置与实际激光标记的位置进行比较(例如,在显示器上以图形方式和/或在目标场景中以物理方式),并且可以调整该场景直到参考标记与激光重合。这种过程可以类似于美国专利第7,538,326号中所描述的红外配准和聚焦技术来执行,该专利通过引用并入本文。
图6是示出用于生成将声学图像数据和电磁图像数据组合的最终图像的示例性方法的过程流程图。该方法包括经由声传感器阵列接收声学信号(680)以及接收距离信息(682)的步骤。距离信息可以例如经由距离测量设备和/或用户界面(诸如经由手动输入或作为距离调整过程的结果)接收,通过该距离调整过程基于观察到的配准来确定距离。
该方法还包括反向传播接收到的声学信号以确定表示声学场景的声学图像数据(684)。如本文别处所描述,反向传播可以包括结合接收到的距离信息来分析在声传感器阵列中的多个传感器元件处接收到的多个声学信号,以确定接收到的声学信号的源模式。
图6的方法还包括捕获电磁图像数据(686)以及将声学图像数据与电磁图像数据配准(688)的步骤。在一些实施方案中,将声学图像数据与电磁图像数据配准作为用于生成声学图像数据(684)的反向传播步骤的一部分来完成。在其他示例中,将声学图像数据与电磁图像数据配准是与声学图像数据的生成分开进行的。
图6的方法包括将声学图像数据与电磁图像数据组合以生成显示图像(690)的步骤。如本文别处所描述,将电磁图像数据和声学图像数据组合可以包括α混合电磁图像数据和声学图像数据。组合图像数据可以包括将一个图像数据集叠加到另一个图像数据集上,诸如以画中画模式或者在满足某些条件(例如,警报条件)的位置中。显示图像可例如经由由支撑声传感器阵列的外壳支撑的显示器和/或经由与传感器阵列分开的显示器(诸如外部设备(例如,智能电话、平板计算机、计算机等)的显示器)呈现给用户。
另外或替代地,显示图像可以被保存在本地(例如,机载)存储器和/或远程存储器中以供将来查看。在一些实施方案中,所保存的显示图像可以包括允许显示图像性质的未来调整的元数据,该显示图像性质诸如混合比率、反向传播距离或用于生成图像的其他参数。在一些示例中,原始声学信号数据和/或电磁图像数据可与显示图像一起保存以用于后续处理或分析。
虽然被示为用于生成将声学图像数据和电磁图像数据组合的最终图像的方法,但是应当理解,图6的方法可以用于将声学图像数据与跨越电磁波谱的任何部分的一组或多组图像数据(诸如可见光图像数据、红外图像数据、紫外图像数据等)组合。在一些这种示例中,多组图像数据(诸如可见光图像数据和红外图像数据)都可与声学图像数据组合,以经由类似于相对于图6所描述的方法的方法生成显示图像。
在一些示例中,经由传感器阵列接收声学信号(680)可以包括选择用来接收声学信号的声传感器阵列的步骤。如所描述的,例如,相对于图3A至图3C,声学分析系统可以包括可适用于分析不同频率的声学信号的多个声传感器阵列。另外或替代地,在一些示例中,不同的声传感器阵列可用于分析从不同距离传播的声学信号。在一些实施方案中,不同阵列可嵌套在彼此内部。另外或替代地,部分阵列可以被选择性地用于接收声学图像信号。
例如,图3A示出了第一阵列320和嵌套在第一阵列内的第二阵列322。在示例性实施方案中,第一阵列320可以包括传感器阵列,该传感器阵列被配置(例如,间隔开)用于接收声学信号并且生成针对第一频率范围内的频率的声学图像数据。第二阵列322可包括例如第二传感器阵列,该第二传感器阵列被配置为单独使用或与第一阵列320的全部或一部分结合使用,以生成针对第二频率范围内的频率的声学图像数据。
类似地,图3C示出了第一阵列392、至少部分地嵌套在第一阵列392内的第二阵列394,以及至少部分地嵌套在第一阵列392和第二阵列394内的第三阵列396。在一些实施方案中,第一阵列392可以被配置用于接收声学信号并且生成针对第一频率范围内的频率的声学图像数据。第二阵列394可以与第一阵列392的全部或部分一起使用,以用于接收声学信号并且生成针对第二频率范围内的频率的声学图像数据。第三阵列396可以单独使用、与第二阵列394的全部或部分一起使用,和/或与第一阵列392的全部或部分一起使用,以用于接收声学信号并生成针对第三频率范围内的频率的声学图像数据。
在一些实施方案中,在嵌套阵列配置中,来自一个阵列的声传感器元件可定位在声传感器元件之间,诸如第三阵列396的元件通常在第一阵列392的元件之间。在一些这种示例中,嵌套阵列(例如,第三阵列396)中的声传感器元件可以定位在与该声传感器元件所嵌套到其中的阵列(例如,第一阵列392)中的声传感器元件相同的平面中、在该声传感器元件前面或后面。
在各种实施方式中,用于感测较高频率声学信号的阵列通常需要各个传感器之间的较小距离。因此,相对于图3C,例如,第三阵列396可能更适合于执行涉及较高频率声学信号的声学成像过程。其他传感器阵列(例如,第一阵列392)可足以执行涉及较低频率信号的声学成像过程,并且可用于在与阵列396相比时减少处理来自较少数量的声传感器元件的信号的计算需求。因此,在一些示例中,高频传感器阵列可以嵌套在低频传感器阵列内。如本文别处所描述,这种阵列通常可单独操作(例如,经由有源阵列之间的切换)或一起操作。
除了或代替基于用于分析的预期/期望的频谱来选择适当的传感器阵列,在一些示例中,不同的传感器阵列可以更适合于在到目标场景的不同距离处执行声学成像过程。举例来说,在一些实施方案中,如果声传感器阵列与目标场景之间的距离较小,则声传感器阵列中的外部传感器元件可能从目标场景接收比位于更中心的传感器元件少得多的有用声学信息。
另一方面,如果声传感器阵列与目标场景之间的距离较大,那么紧密间隔的声传感器元件可能不单独提供有用的信息。即,如果第一和第二声传感器元件靠近在一起,并且目标场景通常很远,则第二声传感器元件可能不提供与第一声传感器元件有意义地不同的任何信息。因此,来自这种第一和第二传感器元件的数据流可能是冗余的并且不必要地消耗处理时间和资源用于分析。
除了影响哪些传感器阵列可能最适合于执行声学成像之外,如本文别处所描述,到目标距离还可用于执行反向传播以根据接收到的声学信号确定声学图像数据。然而,除了作为反向传播算法的输入值之外,到目标距离还可用于选择要使用的适当反向传播算法。例如,在一些示例中,在远距离处,与声传感器阵列的大小相比,球形传播声波可近似为基本上平面的。因此,在一些实施方案中,当到目标距离较大时,接收到的声学信号的反向传播可以包括声学波束形成计算。然而,当更靠近声波源时,声波的平面近似可能不是适当的。因此,可以使用不同的反向传播算法,诸如近场声全息术。
如所描述,可在声学成像过程中以各种方式使用到目标距离度量,诸如确定有源传感器阵列、确定反向传播算法、执行反向传播算法和/或将所得声学图像与电磁图像数据(例如,可见光、红外线等)配准。图7是示出用于根据接收到的声学信号生成声学图像数据的示例性过程的过程流程图。
图7的过程包括例如从距离测量设备接收距离信息(780),或诸如经由用户界面输入的距离信息。该方法还包括基于接收到的距离信息选择用于执行声学成像的一个或多个声传感器阵列(782)的步骤。如所描述,在各种示例中,所选阵列可包括单个阵列、多个阵列的组合或一个或多个阵列的部分。
图7的方法还包括基于接收到的距离信息选择用于执行声学成像的处理方案(784)的步骤。在一些示例中,选择处理方案可以包括选择用于从声学信号生成声学图像数据的反向传播算法。
在选择声传感器阵列(782)和用于执行声学成像的处理方案(784)之后,该方法包括经由所选声传感器阵列接收声学信号(786)的步骤。然后使用该距离和所选处理方案反向传播接收到的声学信号以确定声学图像数据(788)。
在各种实施方案中,图7的步骤可由用户、声学分析系统(例如,经由处理器212)或它们的组合来执行。例如,在一些实施方案中,处理器可被配置为经由距离测量工具和/或用户输入来接收距离信息(780)。在一些示例中,例如,如果到对象的距离是已知的和/或难以经由距离测量工具分析(例如,较小对象大小和/或较大到目标距离等),则用户可以输入值来覆盖测量的距离以用作距离信息。处理器可被进一步配置为基于接收到的距离信息(例如使用查找表或其他数据库)自动选择用于执行声学成像的适当声传感器阵列。在一些实施方案中,选择声传感器阵列包括启用和/或禁用一个或多个声传感器元件以便实现期望的声传感器阵列。
类似地,在一些示例中,处理器可以被配置为基于接收到的距离信息自动选择用于执行声学成像的处理方案(例如,反向传播算法)。在一些这种示例中,这可包括从存储在存储器中的多个已知处理方案中选择一个处理方案。另外或替代地,选择处理方案可相当于调整单个算法的部分以达到期望处理方案。例如,在一些实施方案中,单个反向传播算法可以包括多个项和变量(例如,基于距离信息)。在一些这种示例中,选择处理方案(784)可包括在单个算法中定义一个或多个值,诸如调整一个或多个项的系数(例如,将各种系数设置为零或一等)。
因此,在一些实施方案中,声学成像系统可以通过基于接收到的距离数据建议和/或自动实施所选声传感器阵列和/或处理方案(例如,反向传播算法)来使声学成像过程的若干步骤自动化。这可以加速、改进和简化声学成像过程,消除声学成像专家执行声学成像过程的需要。因此,在各种示例中,声学成像系统可以自动实现这种参数,通知用户这种参数将要被实现,向用户请求实现这种参数的许可,建议这种参数供用户手动输入等。
这些参数(例如,处理方案、传感器阵列)的自动选择和/或建议可用于优化声学图像数据相对于其他形式的图像数据的定位、处理速度以及声学图像数据的分析。例如,如本文别处所描述,准确的反向传播确定(例如,使用适当的算法和/或准确的距离度量)可以减少声学图像数据与其他(例如,诸如可见光、红外等的电磁)图像数据之间的视差误差。另外,利用诸如可由声学分析系统自动选择或建议的适当算法和/或传感器阵列可优化热图像数据的准确性,从而允许分析接收到的声学数据。
如所描述,在一些示例中,声学分析系统可被配置为基于接收到的距离信息自动选择用于执行声学成像过程的算法和/或传感器阵列。在一些这种实施方案中,系统包括例如存储在存储器中的查找表,用于确定使用多个反向传播算法和声传感器阵列中的哪一者来确定声学图像数据。图8示出了用于确定在声学成像过程期间使用的适当算法和传感器阵列的示例性查找表。
在所示示例中,图8的查找表包括N个列,每一列表示不同阵列:阵列1、阵列2…阵列N。在各种示例中,每个阵列包括所布置的一组独特的声传感器元件的唯一集合。不同阵列可包括布置成网格的传感器元件(例如,图3C中的阵列392和阵列396)。查找表内的阵列还可以包括来自一个或多个这种网格的传感器元件的组合。一般来说,在一些实施方案中,阵列(阵列1、阵列2…阵列N)中的每一者对应于声传感器元件的独特组合。这种组合中的一些组合可以包括以特定网格布置的整组传感器元件,或者可以包括以特定网格布置的传感器元件的子集。声传感器元件的各种组合中的任何一个组合都是用作查找表中的传感器阵列的可能选项。
图8的查找表还包括M个行,每行表示不同的算法:算法1、算法2…算法M。在一些示例中,不同算法可包括用于执行接收到的声学信号的反向传播分析的不同过程。如本文别处所描述,在一些示例中,一些不同算法可彼此类似,同时具有用于修改反向传播结果的不同系数和/或项。
图8的示例性查找表包括M×N个条目。在一些实施方案中,利用这种查找表的声学分析系统被配置为分析接收到的距离信息并且将该距离信息分类到M×N个仓中的一个仓中,其中每一仓对应于图8的查找表中的条目。在这种示例中,当声学分析系统接收到距离信息时,系统可以在查找表中找到对应于距离信息所在的仓的条目(i,j),并且确定用于在声学成像过程期间使用的适当算法和传感器阵列。例如,如果接收到的距离信息对应于与条目(i,j)相关联的仓,则声学分析系统可以自动利用或建议使用算法i和阵列j来进行声学成像过程。
在各种这种示例中,距离信息仓可对应于统一大小的距离范围,例如,第一仓对应于一英尺内的距离、第二仓对应于一英尺与两英尺之间的距离等。在其他示例中,仓无需对应于统一大小的距离跨度。另外,在一些实施方案中,可以使用少于M×N个仓。例如,在一些实施方案中,可能存在从未与特定阵列(例如,阵列y)一起使用的算法(例如,算法x)。因此,在这种示例中,将不存在对应于M×N查找表中的条目(x,y)的对应距离信息仓。
在一些实施方案中,对填充的距离仓的统计分析可用于识别目标场景内最常见的距离或距离范围。在一些这种实施方案中,具有最高数量个对应位置(例如,具有声学信号的最高数量个位置)的距离仓可用作图7的过程中的距离信息。即,在一些实施方案中,可基于目标场景中的各种对象的距离分布的统计分析来实现和/或推荐所利用的声传感器阵列和/或处理方案。这可以增加用于场景的声学成像的传感器阵列和/或处理方案适用于声学场景内的最大数量的位置的可能性。
另外或替代地,除了距离信息之外的参数可以用于选择适当的传感器阵列和/或处理方案以用于生成声学图像数据。如本文别处所描述,各种传感器阵列可被配置为对某些频率和/或频带敏感。在一些示例中,可根据不同声学信号频率内容而使用类似的不同反向传播计算。因此,在一些示例中,可以使用一个或多个参数来确定处理方案和/或声传感器阵列。
在一些实施方案中,声学分析系统可用于初始分析接收到的声学信号处理/分析的各种参数。返回参考图7,用于生成声学图像数据的方法可以包括在接收到声学信号(786)之后分析接收到的信号的频率内容(790)的步骤。在一些这种示例中,如果已经(例如,分别经由步骤782和/或784)选择了声传感器阵列和/或处理方案,则该方法可以包括例如基于所分析的频率内容来更新所选阵列和/或更新所选处理方案(792)的步骤。
在更新传感器阵列和/或处理方案之后,该方法可使用更新后的参数执行各种动作。例如,如果基于所分析的频率内容(790)更新(792)所选传感器阵列,则可以从(新的)所选声传感器阵列接收新的声学信号(786),该新的声学信号然后可以被反向传播以确定声学图像数据(788)。或者,如果在792处更新了处理方案,则可以根据更新后的处理方案来反向传播已经捕获的声学信号以确定更新后的声学图像数据。如果处理方案和传感器阵列都被更新,则可以使用更新后的传感器阵列来接收新的声学信号,并且可以根据更新后的处理方案来反向传播该新的声学信号。
在一些实施方案中,声学分析系统可以接收频率信息(778)而不分析接收到的声学信号的频率内容(790)。例如,在一些示例中,声学分析系统可以接收关于用于未来声学分析的期望或预期频率范围的信息。在一些这种示例中,可使用期望或预期频率信息来选择最适合频率信息的一个或多个传感器阵列和/或处理方案。在一些这种示例中,选择声传感器阵列(782)和/或选择处理方案(784)的步骤可以是基于除了或代替接收到的距离信息的接收到的频率信息。
在一些示例中,可以例如经由声学分析系统的处理器(例如,210)分析接收到的声学信号(例如,经由声传感器元件接收到的)。这种分析可用于确定声学信号的一个或多个性质,诸如频率、强度、周期性、表观接近度(例如,基于接收到的声学信号估计的距离)、测量的接近度或它们的任何组合。在一些示例中,可以对声学图像数据进行滤波,例如以仅示出表示具有特定频率内容、周期性等的声学信号的声学图像数据。在一些示例中,可同时应用任何数量的这种滤波器。
如本文别处所描述,在一些实施方案中,类似于声学视频数据,可随时间变化捕获一系列声学图像数据帧。另外或替代地,即使不重复地生成声学图像数据,在一些示例中,也重复地对声学信号进行采样和分析。因此,在具有或不具有重复的声学图像数据生成(例如,视频)的情况下,都可以随时间变化监视声学数据的参数,诸如频率。
图9A是在声学场景中接收到的图像数据的频率内容随时间变化的示例性曲线图。如图所示,由图9A的曲线图表示的声学场景通常包括随时间变化的四个持续频率,标记为频率1、频率2、频率3和频率4。诸如目标场景的频率内容的频率数据可以经由例如使用快速傅里叶变换(FFT)或其他已知的频率分析方法处理接收到的声学信号来确定。
图9B示出了包括发射声学信号的多个位置的示例性场景。在所示图像中,声学图像数据与可见光图像数据组合,并且示出了存在于位置910、920、930和940处的声学信号。在一些实施方案中,声学分析系统被配置为显示任何检测到的频率范围的声学图像数据。例如,在示例性实施方案中,位置910包括包括频率1的声学图像数据,位置920包括包括频率2的声学图像数据,位置930包括包括频率3的声学图像数据,并且位置940包括包括频率4的声学图像数据。
在一些这种示例中,显示表示频率范围的声学图像数据是可选择的操作模式。类似地,在一些实施方案中,声学分析系统被配置为显示仅表示预定频带内的频率的声学图像数据。在一些这种示例中,显示表示预定频率范围的声学图像数据包括选择一个或多个声传感器阵列以用于接收声学信号,从该声学信号生成声学图像数据。这种阵列可被配置为接收选择性频率范围。类似地,在一些示例中,可以采用一个或多个滤波器来限制用于生成声学图像数据的频率内容。另外或替代地,在一些实施方案中,仅当声学图像数据满足预定条件(例如,落入预定频率范围内)时,才可以分析包括表示广泛频率范围的信息的声学图像数据并将该声学图像数据显示在显示器上。
图9C示出了多个预定义频率范围内的多个组合的声学和可见光图像数据。第一图像包括第一位置910处的声学图像数据,该声学图像数据包括频率1的频率内容。第二图像包括第二位置920处的声学图像数据,该声学图像数据包括频率2的频率内容。第三图像包括第三位置930处的声学图像数据,该声学图像数据包括频率3的频率内容。第四图像包括第四位置940处的声学图像数据,该声学图像数据包括频率4的频率内容。
在示例性实施方案中,用户可以选择各种频率范围,诸如包括频率1、频率2、频率3或频率4的范围,以用于对表示除所选频率范围之外的频率内容的声学图像数据进行滤波。因此,在这些示例中,第一、第二、第三或第四图像中的任一者可作为由用户选择的期望频率范围的结果而显示。
另外或替代地,在一些示例中,声学分析系统可以在多个显示图像之间循环,每个显示图像具有不同的频率内容。例如,相对于图9C,在示例性实施方案中,声学分析系统可以按顺序显示第一、第二、第三和第四图像,如图9C中的箭头所示。
在一些示例中,显示图像可以包括表示在图像中显示的频率内容的文本或其他显示,使得用户可以观察图像中的哪些位置包括表示特定频率内容的声学图像数据。例如,相对于图9C,每个图像可以示出在声学图像数据中表示的频率的文本表示。相对于图9B,示出多个频率范围的图像可以包括在包括声学图像数据的每个位置处的频率内容的指示。在一些这种示例中,用户可例如经由用户界面选择图像中的位置,针对该位置查看声学场景中存在于该位置处的频率内容。例如,用户可以选择第一位置910,并且声学分析系统可以呈现第一位置的频率内容(例如,频率1)。因此,在各种示例中,用户可使用声学分析系统以便分析声学场景的频率内容,诸如通过查看场景中对应于特定频率内容的位置和/或通过查看什么频率内容存在于各种位置处。
在示例性声学成像操作期间,按频率对声学图像数据进行滤波可以帮助减少例如来自背景或其他不重要声音的图像杂波。在示例性声学成像过程中,用户可能希望消除背景声音,诸如工业环境中的基底噪声(floor noise)。在一些这种情况下,背景噪声可以主要包括低频噪声。因此,用户可以选择示出表示大于预定频率(例如,10kHz)的声学信号的声学图像数据。在另一示例中,用户可能希望分析通常在一定范围内发射声学信号的特定对象,诸如来自传输线的电晕放电(例如,如图5A和图5B所示)。在这种示例中,用户可以选择用于声学成像的特定频率范围(例如,对于电晕放电,在11kHz与14kHz之间)。
在一些示例中,声学分析系统可以用于分析和/或呈现与接收到的声学信号的强度相关联的信息。例如,在一些实施方案中,反向传播接收到的声学信号可以包括确定声场景中的多个位置处的声学强度值。在一些示例中,类似于上述频率,如果声学信号的强度满足一个或多个预定要求,则仅在显示图像中包括声学图像数据。
在各种这种实施方案中,显示图像可以包括表示高于预定阈值(例如,15dB)的声学信号、低于预定阈值(例如,100dB)的声学信号或在预定强度范围内(例如,在15dB与40dB之间)的声学信号的声学图像数据。在一些实施方案中,阈值可以是基于声学场景的统计分析,诸如高于或低于平均声学强度的标准偏差。
类似于以上相对于频率信息所描述的,在一些实施方案中,限制声学图像数据以表示满足一个或多个强度要求的声学信号可以包括对接收到的声学信号进行滤波,使得仅满足预定条件的接收到的信号被用于生成声学图像数据。在其他示例中,对声学图像数据进行滤波以调整显示哪些声学图像数据。
另外或替代地,在一些实施方案中,可随时间变化监视声学场景内的位置处的声学强度(例如,结合视频声学图像表示或经由背景分析,而不必更新显示图像)。在一些这种示例中,用于显示声学图像数据的预定要求可以包括在图像中的位置处的声学强度的变化量或变化率。
图10A和图10B是包括组合的可见光图像数据和声学图像数据的示例性显示图像。图10A示出了包括在多个位置1010、1020、1030、1040、1050、1060、1070、1080和1090处示出的声学图像数据的显示图像。在一些示例中,强度值可以被调色,例如,其中基于预定的调色方案为声学强度值分配颜色。在示例性实施方案中,可以根据强度范围(例如,10dB-20dB、20dB-30dB等)对强度值进行分类。每个强度范围可以根据调色方案与特定颜色相关联。声学图像数据可以包括多个像素,其中每个像素以与由声学图像数据的像素表示的强度落入其中的强度范围相关联的颜色来着色。除了或代替通过颜色来区分,不同的强度还可以根据其他性质来区分,诸如透明度(例如,在图像叠加中,其中声学图像数据被叠加到其他图像数据上)等。
附加参数也可以被调色,诸如声学强度的变化率。类似于强度,声学强度的不同变化率可以被调色,使得场景的呈现不同速率和/或声学强度变化量的部分以不同颜色显示。
在所示示例中,根据强度调色板对声学图像数据进行调色,使得以不同的颜色和/或阴影示出表示不同声学信号强度的声学图像数据。例如,位置1010和1030处的声学图像数据示出了第一强度的调色表示,位置1040、1060和1080示出了第二强度的调色表示,并且位置1020、1050、1070和1090示出了第三强度的调色表示。如图10A中的示例性表示所示,示出声学图像数据的调色表示的每个位置示出具有从中心向外延伸的颜色梯度的圆形图案。这可能是由于当信号从声学信号源传播时声学强度的衰减。
在图10A的示例中,将声学图像数据与可见光图像数据组合以生成显示图像,该显示图像可例如经由显示器呈现给用户。用户可以查看图10A的显示图像,以便查看可见场景中的哪些位置正在产生声学信号,以及这种信号的强度。因此,用户可快速并容易地观察哪些位置正产生声音,并且比较来自场景中的各种位置的声音的强度。
类似于相对于本文别处的频率所描述,在一些实施方案中,仅当对应的声学信号满足预定强度条件时,才可以呈现声学图像数据。图10B示出类似于图10A的显示图像并且包括可见光图像数据和表示高于预定阈值的声学信号的声学图像的示例性显示图像。如图所示,在包括声学图像数据的图10A中的位置1010、1020、1030、1040、1050、1060、1070、1080和1090中,仅位置1020、1050、1070和1090包括表示满足预定条件的声学信号的声学图像数据。
在示例性场景中,图10A可以包括在位置1010-990中的每个位置处的高于噪声基底阈值的所有声学图像数据,而图10B示出与图10A相同的场景,但是仅示出具有大于40dB的强度的声学图像数据。这可以帮助用户识别环境中(例如,图10A和图10B的目标场景中)哪些声源正在贡献某些声音(例如,场景中最响亮的声音)。
除了或代替直接与强度阈值(例如,40dB)进行比较,如本文别处所描述,在一些这种示例中,用于显示声学图像数据的预定要求可以包括在图像中的位置处的声学强度的变化量或变化率。在一些这种示例中,仅当给定位置处的声学强度的变化率或变化量满足预定条件(例如,大于阈值、小于阈值、在预定范围内等)时,才可以呈现声学图像数据。在一些实施方案中,声学强度的变化量或变化率可被调色并显示为强度声学图像数据或与强度声学图像数据结合显示。例如,在示例性实施方案中,当变化率被用作阈值以确定在哪些位置中包括声学图像数据时,声学图像数据可以包括用于显示的经过调色的强度变化率度量。
在一些示例中,用户可以手动设置要显示的声学图像数据的强度要求(例如,最小值、最大值、范围、变化率、变化量等)。如本文别处所讨论,包括仅满足强度要求的声学图像数据可在声学图像数据生成期间实现(例如,经由对接收到的声学信号进行滤波)和/或可通过不显示表示不满足设置要求的声学信号的所生成的声学图像数据来执行。在一些这种示例中,可在已捕获声学图像数据和可见光图像数据并将该声学图像数据和可见光图像数据存储在存储器中之后执行根据强度值对显示图像进行滤波。即,存储在存储器中的数据可用于生成包括任何数量的滤波参数的显示图像,诸如仅示出满足预定义强度条件等的声学图像数据。
在一些示例中,为声学图像中的强度设置下限(例如,仅显示表示高于预定强度的声学信号的声学图像数据)可以消除对来自声学图像数据的不期望的背景或环境声音和/或声音反射的包括。在其他情况下,为声学图像中的强度设置上限(例如,仅显示表示低于预定强度的声学信号的声学图像数据)可以消除在声学图像数据中包括预期的响亮声音,以便观察通常被这种响亮声音掩蔽的声学信号。
几种显示功能是可能的。例如,类似于相对于图9C讨论的频率分析/显示,在一些示例中,声学分析系统可以循环通过多个显示图像,每个显示图像示出满足不同强度要求的声学图像数据。类似地,在一些示例中,用户可以滚动通过一系列声学强度范围,以便查看声学图像数据中具有给定范围内的声学强度的位置。
可用于分析声学数据的另一参数是声学信号的周期性值。图11A和图11B示出了声学场景中的声学数据的频率相对于时间的示范性曲线图。如图11A的曲线图中所示,声学数据包括频率X下的具有第一周期性的信号、频率Y下的具有第二周期性的信号以及频率Z下的具有第三周期性的信号。在所示示例中,具有不同频率的声学信号还可包括声学信号中的不同周期性。
在一些这种示例中,除了或代替频率内容,可基于周期性对声学信号进行滤波。例如,在一些示例中,声学场景中的多个声学信号源可产生特定频率的声学信号。如果用户希望隔离用于声学成像的一个这种声源,则用户可以基于与声学数据相关联的周期性来选择从最终显示图像中包括或排除声学图像数据。
图11B示出了声学信号的频率相对于时间的曲线图。如图所示,频率随时间变化近似线性地增加。然而,如图所示,该信号包括随时间变化近似恒定的周期性。因此,取决于所选显示参数,这种信号可能或可能不出现在声学图像中。例如,信号可能在一些时间点满足用于显示的频率标准,但是在其他时间点在显示的频率范围之外。然而,用户可以基于信号的周期性来选择从声学图像数据中包括或排除这种信号,而不考虑频率内容。
在-些示例中,提取特定周期性的声学信号可有助于分析目标场景的特定部分(例如,通常以某一周期性操作的特定一台装备或特定类型的装备)。例如,如果感兴趣对象以特定周期性(例如,每秒一次)操作,则排除具有与此不同的周期性的信号可以改进对感兴趣对象的声学分析。例如,参考图11B,如果感兴趣对象以周期性4操作,则隔离具有周期性4的信号用于分析可以产生对感兴趣对象的改进的分析。例如,感兴趣对象可以发出具有周期性4但频率增加的声音,如图11B所示。这可能意味着对象的性质可能正在改变(例如,扭矩或负载增加等)并且应当被检查。
在示例性声学成像过程中,背景噪声(例如,工业环境中的基底噪声、室外环境中的风等)通常不是周期性的,而场景内的某些感兴趣对象发射周期声学信号(例如,以规则间隔操作的机械)。因此,用户可以选择从声学图像中排除非周期声学信号,以便去除背景信号并且更清楚地呈现感兴趣声学数据。在其他示例中,用户可能希望找到恒定音调的源,并且因此可以选择从声学图像数据中排除可能模糊对恒定音调的查看的周期信号。一般来说,用户可以选择在声学图像数据中包括高于特定周期性、低于特定周期性或在期望的周期性范围内的声学信号。在各种示例中,可通过周期性信号之间的时间长度或周期性信号的出现频率来识别周期性。类似于如图11B所示的频率,可以类似地使用给定周期性下的强度分析(例如,由于感兴趣对象以该周期性操作)来跟踪来自对象的声学信号如何随时间变化。一般来说,在一些实施方案中,周期性可用于对各种参数(诸如频率、强度等)执行变化率分析。
在一些情况下,用户可能希望捕获多个重叠的声学图像。例如,在一些示例中,用户可能希望强调目标场景的各种部分中的不同类型的声学信号,诸如包括不同声学参数(例如,频率差、声音强度(例如,dB水平)、到目标距离、周期性等)的声学信号。另外或替代地,在一些示例中,用户可能希望捕获表示大于正在使用的声传感器阵列(例如,声传感器阵列102)的声学视场(FOV)的声学场景的声学图像。捕获多个声学图像可以提供关于目标场景的在单个这种图像的FOV之外的部分的信息。来自这种多个声学图像的声学图像数据可以被组合地查看,以提供用于总体更大目标场景的声学信息。因此,当一起查看时,捕获多个声学图像可以提供比每个单独声学图像的单独FOV更大的虚拟FOV。为了捕获多个声学图像,可使用声传感器阵列对场景的全景扫描,诸如垂直全景扫描、水平全景扫描、它们的组合等。
可以通过调整声学分析系统的位置和/或取向以调整声传感器阵列的FOV来捕获全景扫描。在一些实施方案中,声学分析系统可由用户诸如通过手持或在可调节支架(例如,三角架、独脚架等)上操纵。另外或替代地,可使用其他系统,诸如线性移动系统、平移和倾斜系统、360度旋转系统等。在一些示例中,这种移动系统可以被配置为支撑包括声传感器阵列和/或电磁成像工具的外壳,并且可以被配置为操纵外壳使得声传感器阵列和/或电磁成像工具的FOV改变。另外或替代地,在一些示例中,声学分析系统可包括定位在移动系统上的声传感器阵列,使得可独立于外壳操纵(例如,平移、倾斜、旋转等)该阵列。在各种示例中,电磁成像工具和声传感器阵列可以彼此固定地耦合,使得(例如,经由平移、倾斜或旋转)操纵一者引起对另一者的类似操纵。在其他示例中,电磁成像工具和声传感器阵列不彼此耦合,使得一个这种组件可以独立于另一个被操纵(例如,平移、倾斜或旋转)。
在一些实施方案中,该系统可以包括移动机构,该移动机构被配置为操纵电磁成像工具和/或声传感器阵列以调整该电磁成像工具和/或声传感器阵列的FOV。移动机构可以包括例如机动化移动机构,该机动化移动机构包括被配置为使电磁成像工具和/或声传感器阵列移动(例如,平移、倾斜、旋转等)的电机。在这种实施方案中,机动化移动机构可以被自动化或编程以周期性地调整声传感器阵列的FOV,诸如在从场景捕获声学图像数据之间。此外,机动化移动机构可以用于诸如按照来自控制器或用户的时间表或输入来周期性地扫描目标场景(例如,捕获目标场景的多个声学图像)。在包括时间表的实施方案中,时间表可以诸如由处理器(例如,处理器212、外部处理器等)被自动化。
图12提供了使用全景扫描来捕获目标场景1210的多个声学图像的声学分析系统的示例性实施方案。在一些情况下,声传感器阵列的FOV可能无法捕获期望被分析的整个目标场景1210。在一些实施方案中,可捕获具有不同视场的多个声学图像,诸如声学图像1220-1228,以完全捕获包括在整个期望的声学目标场景1210中的数据,诸如图12所示。
在一些实施方案中,可以捕获目标场景(例如,目标场景1210)的一个或多个电磁图像。例如,电磁图像可以被捕获以对应于声学图像1220-1228中的一者或多者。在这种实施方案中,一个或多个电磁图像可以与声学图像混合并显示在显示器上,诸如本文别处所讨论。此外,在一些实施方案中,系统可以不捕获电磁图像或者可以捕获表示与对应的声学图像不同的视场(诸如更大或更小的视场)的电磁图像。
参考图12,声学图像1220-1228可以由同一声学分析系统(例如,声学成像设备100、声学分析系统200等)捕获,或者可以使用多个声学分析系统来捕获一个或多个这种声学图像。在一些实施方案中,声学分析系统在拍摄每个声学图像之前被调整以捕获目标场景的不同部分。这种调整可由用户或由如本文所描述的机动化移动机构来进行。例如,可以捕获声学图像1220,然后平移、倾斜和/或旋转声学分析系统以捕获声学图像1222。类似地,声学分析系统可以被调整用于捕获其他声学图像(例如,声学图像1224、1226和1228)中的每一者。
两个或更多个声学图像(例如,声学图像1220-1228)可以包括诸如目标场景1210的期望目标场景的重叠部分。在图12中,每个声学图像被示为与相邻声学图像重叠。更具体地说,声学图像1220和声学图像1222包括重叠部分1231。类似地,声学图像1222和声学图像1224可以包括重叠部分1233;声学图像1224和声学图像1226可以包括重叠部分1235;并且声学图像1226和声学图像1228可以包括重叠部分1237。重叠部分可以包括来自形成相邻声学图像的声学数据的声学信息(例如,重叠部分1231可以包括来自声学图像1220或声学图像1222或者来自声学图像1220和1222的组合的声学信息)。
如图12所示,两个或更多个声学图像(例如,声学图像1220-1228)可被组合成全景,诸如全景1215。全景1215可以包括组合的声学图像的FOV,从而使得该全景包括大于每个声学图像的各个FOV的虚拟FOV。
在一些实施方案中,组合声学图像以形成全景包括将声学图像配准以使得声学图像对准。在一些实施方案中,将声学图像配准包括在捕获声学数据时基于每个声学图像的FOV和/或声传感器阵列的取向/位置来在空间上对准声学数据。例如,在一些实施方案中,可以使用各种光学或机械系统来测量所捕获的每个声学图像的平移、倾斜和旋转。与每个图像相关联的这种平移、倾斜和旋转信息可以用于在全景内将每个声学图像相对于彼此定位。例如,惯性测量单元(IMU)可用来捕获声传感器阵列上的位置和/或取向和/或所捕获的数据集之间的这种信息的相对变化。这种信息可以用于在全景内相对于其他声学图像来定向和定位每个声学图像。在其中使用机动化移动机构来调整声学分析系统的FOV的实施方案中,可以记录每个调整(例如,位置变化、平移、倾斜和旋转)并且在将声学图像组合成全景时用于将声学图像配准。在一些示例中,机动化移动机构被配置为将声学分析系统的FOV调整预定量,并且声学分析系统被配置为在将随后捕获的数据配准以创建全景时使用预定量的FOV调整。
在包括电磁图像的一些实施方案中,可在组合声学图像时使用电磁图像数据。例如,电磁图像可以与每个声学图像一起被捕获。相关联的电磁图像可以(例如,基于电磁图像的重叠部分)被配准,并且这种配准信息可以被用于类似地将声学图像配准。
在一些实施方案中,在声学图像被配准之后,该声学图像可以被组合以形成全景。此外,可将全景呈现给用户,诸如在显示器上显示全景和/或将全景保存到存储器以供稍后使用。在各种示例中,显示器可以与声学成像设备集成和/或可以包括(诸如智能设备、计算机、平板电脑等上的)外部显示器。
为了简单起见,图12示出了声学图像(例如,声学图像1220-1228)是全等的,并且重叠部分(例如,重叠部分1231-1237)是全等的。然而,替代性大小和形状可以用于声学图像和重叠部分两者。例如,可以在不同量的移位/平移之后捕获每个声学图像,使得重叠部分1231-1237中的一者或多者不同于其他重叠部分1231-1237中的一者或多者。此外,在一些示例中,不同图像的相应视场可具有不同大小或形状,例如,这归因于在系统倾斜时到场景的各个部分的距离的变化等。另外或替代地,在一些情况下,所捕获的声学图像中的一个或多个声学图像可以简单地不与其他所捕获的声学图像中的任一个声学图像重叠(例如,如图16所示)。
在一些实施方案中,可以用处于不同位置和/或取向的声传感器阵列诸如通过如上所讨论地调整声学分析系统来捕获声学图像1220-1228中的每一者。另外或替代地,可针对声学图像1220到1228中的每一者调整由声传感器阵列接收到的声学数据的分析,并且在一些这种示例中,可在不物理地调整声传感器阵列的情况下捕获这种声学图像。例如,在一些实施方案中,可以使用不同的传感器阵列(例如,可用声传感器的不同子集)和/或不同的反向传播算法来确定每个声学图像(例如,声学图像1220-1228)的视场。
在一些实施方案中,声学分析系统可以被配置为显示或以其他方式捕获与声学图像1220-1228中的一者或多者的每个视场相关联的多个声学图像帧(例如,以创建视频),例如包括连续捕获的声学数据帧。图13提供了包括多个声学图像帧的声学图像1320的简化示例。如图所示,声学图像1320包括示出大致相同视场的九个声学图像帧。虽然如图所示的声学图像1320包括九个声学图像帧,但是多于或少于九个声学图像帧可以被包括在声学图像内。声学图像1320可以包括快速连续捕获的多个声学图像帧(例如,声学图像帧1-9),诸如每秒24个声学图像帧、每秒30个声学图像帧、每秒60个声学图像帧等。多个声学帧(例如,声学帧1-9)也可以不被快速连续捕获,而是随时间变化被捕获(诸如具有延时)。
在一些实施方案中,可以在声学图像1320中使用的声学图像帧之间捕获其他声学图像帧/声学图像,诸如包括其他视场的声学图像。例如,在一些示例中,系统可以被配置为循环通过多个视场(例如,以创建全景)。该系统可以被配置为关联从同一视场捕获的数据(例如,声学图像数据),即使中间数据集是从其他视场捕获的也是如此。在一些这种示例中,这类似于针对多个视场中的每一个视场的延时数据收集。
在一些实施方案中,可以通过诸如在视频中连续显示多个声学成像帧来显示每个声学图像(例如,声学图像1320)。在一些这种示例中,可以重复多个帧,使得一旦显示序列中的最后一个声学图像帧(例如,声学图像帧9),就再次显示第一个声学图像帧(例如,声学图像帧1)。另外或替代地,可基于例如由用户经由用户界面或处理器接收到的输入来重复声学图像。可以实时显示、加速显示或减速显示声学图像,以方便用户进行分析。
相对于图12,每个声学图像(例如,声学图像1220-1228)可以包括单个静止声学图像帧或多个声学图像帧(例如,声学图像1320包括声学图像帧1-9)。在一些实施方案中,声学图像1220-1228中的每一者可以包括多个声学图像帧。例如,在一些示例中,声学分析系统可以被配置为存储给定声学视场的多个声学图像数据帧。在一些这种示例中,即使传感器阵列被移动到新的视场,来自先前视场的多个声学图像帧也可以是诸如通过循环显示(如本文别处所述)或以其他方式在选择时(例如,经由用户界面)可查看的。例如,在一个示例中,用户可以经由用户界面来选择声学图像1220。系统可以被配置为向用户提供查看与图像1220相关联的多个声学图像帧的选项,诸如经由滚动这种图像或查看作为视频的这种图像。
另外或替代地,在一些示例中,可显示声传感器阵列的当前视场从而示出多个声学图像(例如,作为实况声学视频),并且可将其他声学图像显示为单个静止声学图像(例如,从与声学图像相关联的FOV捕获的最近声学图像数据)。例如,如果声传感器阵列在给定时间被定位以生成声学图像1224的视场的声学图像数据,则声学图像1224可以包括被显示为实况视频的多个声学图像帧,而声学图像1220、1222、1226和1228被示为全景内的静止声学图像。
在一些实施方案中,包括多个声学图像帧的声学图像可以具有与多个电磁图像帧对应的电磁图像。另外或替代地,表示电磁成像工具(例如,203)的当前视场的电磁图像可以包括多个电磁图像帧。例如,类似于上述声学图像数据,在一些实施方案中,在全景的背景下,电磁成像工具的当前视场可以被实时显示(例如,作为实况视频),而当前FOV之外的电磁图像数据可以被显示为静态的。类似于本文别处所讨论的声学图像数据,声学分析系统可以被配置为存储用户可访问的这种过去FOV的多个电磁图像。
在一些实施方案中,声传感器阵列可以捕获比相关联的电磁成像工具更大的FOV。例如,在一些示例中,声传感器阵列的FOV可以大于电磁成像工具的FOV。在这种实施方案中,全景可以包括与每个声学图像相关联的多个电磁图像。在这种实施方案中,可以通过调整电磁成像工具(例如,203)的位置和/或取向以便跨越声学FOV的更大部分来捕获全景。例如,电磁成像设备可由用户诸如手持或在可调节支架(例如,三脚架、独脚架等)上手动操纵。另外或替代地,可使用其他系统,诸如线性移动系统、平移和倾斜系统、360度旋转系统等。在一些实施方案中,该系统可包括机动化移动机构系统。在这种实施方案中,机动化移动机构可以被自动化或编程以周期性地调整电磁成像工具的视场,诸如在捕获电磁图像之间。一般来说,本文描述的用于生成全景的各种过程可以通过改变电磁成像工具的FOV在一些这种系统中实现。
图14示出了声学成像视场和电磁成像视场。在所示示例中,声学成像FOV 1410大于电磁成像FOV 1420。在一些示例中,声学分析系统可以被配置为操纵电磁成像FOV,以便在若干视场处捕获电磁图像数据,以便采集声学成像FOV 1410的与单个电磁图像相比更大部分的电磁图像数据。在一些示例中,系统可以被配置为通过预定义的视场序列调整电磁成像工具的FOV,并且创建对应于声学成像FOV 1410的部分的电磁图像数据的全景。
在一些实施方案中,声学分析系统可以被配置为识别在电磁成像视场1420之外的声学成像FOV 1410内的声学信号(例如,在位置1425处)。该系统可以被配置为将电磁成像工具(例如,经由机动化移动机构)操纵到包括先前不在电磁成像FOV 1420内的声学信号的新FOV(例如,1430)。在一些这种示例中,系统可以被配置为基于从声传感器阵列接收到的信息来确定声学信号相对于电磁成像FOV的位置并且相应地操纵电磁成像工具。
另外或替代地,该系统可以被配置为捕获具有不同视场的多个电磁图像,以便创建电磁全景以跨越声学成像FOV的全部或部分。因此,对应于一个电磁成像FOV之外的声学信号(例如,在位置1425处)的电磁图像数据仍然可以被包括在更大的电磁图像全景中。例如,在一些示例中,包括机动化移动机构的系统可用于诸如按照来自控制器或用户的时间表或输入周期性地扫描目标场景。在包括时间表的实施方案中,时间表可以诸如由处理器(例如,处理器212、外部处理器等)被自动化。
在一些实施方案中,电磁成像工具可独立于声传感器阵列定位,例如定位在与声传感器阵列分开的外壳内。例如,声学分析系统可以被配置为使得用于操纵电磁成像工具的FOV的调整机构不附接到声传感器阵列。另外或替代地,声传感器阵列可以包括调整机构,该调整机构被配置为反向调整声传感器阵列,使得当电磁成像工具被重新定位并且电磁成像工具的FOV被改变时,声传感器阵列的FOV保持相对不变。
如本文所讨论,可使用各种全景扫描来生成全景。图15提供了使用垂直全景扫描来捕获目标场景1510的多个声学图像的示例性实施方案。如图所示,使用多个声学图像(例如,声学图像1520-1526)来捕获期望的声学目标场景1510。可以使用本文所描述的系统和方法(诸如平移和倾斜机构)来捕获多个声学图像(例如,声学图像1520-1528)。
如相对于图15所示,场景的与每个声学图像(1520-1526)相关联的部分根据图的角度被示为不同大小。在一些情况下,当全景包括跨越各种不同到目标距离的图像时,该图像中的每一个图像的视场内的区域改变。此外,在声学成像中,来自更近的源的声学信号可能比从更远的源发射的声学信号表现得更强。在一些示例中,与每个图像和/或该图像内的各种对象相关联的距离信息可被确定并用于例如适当地组合图像(用于生成全景)和/或正确地确定声学强度信息。在各种示例中,这种距离信息可包括关于目标场景中的各种部分的三维深度信息。另外或替代地,用户能够(例如,利用激光测距工具)测量或手动输入与目标场景中的多个位置和/或多个声学图像部分相关联的距离值。在一些示例中,目标场景的各个部分的这种不同距离值可以用于调整在这种位置处的反向传播计算,以适应在该位置处或在该声学图像部分内的特定距离值。
在一些实施方案中,可使用各种技术来捕获目标场景的部分。相对于图16,可以捕获多个声学图像(例如,声学图像1620-1628)以覆盖目标场景(诸如目标场景1610)的一些或全部。如图所示,声学图像中的一些声学图像可以与一个或多个其他声学图像(诸如声学图像1620-1626)重叠。另外,一个或多个声学图像可以与其他声学图像(诸如声学图像1628)不相交。
在一些实施方案中,如本文所讨论,捕获目标场景的部分可包括调整声学分析系统的位置和/或取向,诸如调整声传感器阵列的位置。在一些实施方案中,如图17至图19所示,可基于从目标场景发射的预定声学信号(本文称为信标声学信号)来选择目标场景的各种部分和/或将图像拼接在一起。在一些示例中,信标声学信号可包括从存在于目标场景中的一个或多个设备发出的声音,该声音可向声学分析系统提供关于感兴趣目标在哪里、如何将声学图像拼接在一起、目标场景的大小和/或位置等的背景。在一些实施方案中,信标设备可诸如由用户放置在目标场景内以发射信标声学信号。在这种实施方案中,信标设备可基于从声学分析系统、用户等接收到的输入而例如按照时间表连续或间歇地发射声学信号。信标声学信号相对于目标场景内存在的其他声学信号可以是独特的。例如,信标声学信号可以包括独特的频率、周期性等,以允许声学分析系统诸如使用本文所讨论的滤波技术容易地将信标声学信号与从目标场景内发射的其他声学信号区分开。此外,可以诸如经由用户和/或经由信标设备与声学分析系统之间的通信连接(例如,无线、有线等)向声学分析系统提供信标声学信号的声学参数。
在一些实施方案中,声学分析系统可被配置为识别任何数量的不同信标声学信号。例如,在各种示例中,一个或多个可识别的信标声学信号可以具有相同或不同的声参数。场景内的第一信标设备可以发射第一信标声学信号,并且场景内的第二信标设备可以发射与第一信标声学信号不同的第二信标声学信号。声学分析系统可以被配置为识别场景内的第一和第二信标声学信号。另外或替代地,在一些示例中,可从存在于场景中的包括预定声音的其他对象发射信标声学信号。例如,在一些实施方案中,电机、通风口、皮带、其他机械等可以发出预定的和/或可识别的声音。这种声学信号可用作用于本文所描述的各种过程的信标声学信号。
图17示出了其中使用信标声学信号1725来捕获多个声学图像(诸如声学图像1720A-D)的示例性场景。如图所示,信标声学信号1725存在于声学图像1720A-D内的各种位置中,诸如声学图像1720A中的左下角、声学图像1720B中的右下角、声学图像1720C中的左上角以及声学图像1720D中的右上角。信标声学信号1725可用于通过将一个图像中的信标的位置与另一图像中的信标的位置对准来将声学图像配准。在一些这种示例中,并且如图17所示,可基于对准信标声学信号1725在声学图像1720A-D中的每一者内的位置而将对准的声学图像1720A-D拼接在一起以形成复合声学图像1730。
还可以使用一个或多个信标信号来确定场景的哪些部分可能是感兴趣的。例如,图18A和图18B示出了包括多个信标声学信号1825A-E的目标场景。在一些这种示例中,声学分析系统可被配置为操纵视场(例如,通过操纵声传感器阵列的指向或位置或改变声传感器阵列的活动部分)以捕获包含每个相应信标声学信号1825A-E的图像1820A-E。
例如,相对于图18A,声学分析系统可被定位和/或定向以捕获声学图像1820A,其中信标声学信号1825A位于声学图像1820A的中心。然后声学分析系统可以被定位和/或定向以捕获声学图像1820B,其中信标声学信号1825B位于声学图像1820B的中心。可重复这种过程直到在声学图像内捕获所有期望的信标声学信号(例如,信标声学信号1825A-E)为止。在一些实施方案中,可同时发射所有信标声学信号(例如,信标声学信号1825A-E)。替代地,当要捕获这种信标声学信号时,可以发射每个信标声学信号。例如,当捕获声学图像1820A时,可以发射信标声学信号1825A,但不发射信标声学信号1825B-E;然后当捕获声学图像1820B时,可以发射信标声学信号1825B,但不发射信标声学信号1825A或1825C-E,等等。在一些这种实施方案中,可使用单个信标设备并且将其重新定位在对应于信标声学信号1825A-E的位置之间。另外或替代地,一个或多个信标设备可以移动通过目标场景,诸如定位在流水线、皮带或另一移动机构上的一个或多个信标设备。例如,在说明性示例中,信标设备可最初在信标声学信号1825A的位置处开始并穿越目标场景,最终到达信标声学信号1825E的位置,其中在信标设备移动的同时捕获多个声学图像(例如,声学图像1820A-E)。在一些实施方案中,信标设备可在捕获到包含信标声学信号的声学图像时暂停。
图18B示出了包括图18A所示的信标声学信号的示范性复合声学图像和/或目标场景。如图所示,信标声学信号1825A-E可用于确定场景的哪些部分应被捕获以用于包括在合成图像(例如,全景)中。声学图像(例如,1820A-E)可以以多种方式中的任一种方式拼接在一起,诸如本文所描述的那些方式。图18C示出了包括信标声学信号1825A-E的所得全景1850。
在-些实施方案中,声学分析系统可被配置为生成包括信标声学信号1825A-E的表示的全景,诸如图18C所示。另外或替代地,在一些示例中,系统可被配置为从所得图像数据中排除信标声学信号。例如,在一些示例中,声学信标设备可用于引导系统例如使用待分析的区域内的一个或多个信标信号中的可识别声学特征来从多个视场(例如,对应于声学图像1820A-E)捕获图像数据。然而,在一些这种示例中,来自信标本身的声学数据在场景内不是感兴趣的。因此,在一些实施方案中,与信标设备的一个或多个声学特征匹配的声学信号可以从所生成的声学图像数据中排除。
图18A至图18C中的示例示出了其中信标声学信号定位成彼此水平的实施方案。然而,在一些实施方案中,信标声学信号可相对于彼此位于别处,并且通常可定位在待分析的区域中的任何地方。
图19提供了其中信标声学信号位于目标场景1910内的各种位置和深度的示范性实施方案。如经由信标声学信号的大小所示,信标声学信号1925A位于较远距离处,信标声学信号1925D位于较近距离处,并且信标声学信号1925B、1925C位于信标声学信号1925A与信标声学信号1925D之间(例如,在中间距离处)。在一些实施方案中,声学分析系统可经由确定到目标距离来确定到信标设备的距离,如本文所讨论。另外或替代地,诸如如果信标设备处于距声学分析系统的预定距离处,则可以经由其他装置将到信标的距离提供给声学分析系统。信标设备可以位于场景中的各种距离处,以帮助将声学分析系统聚焦在整个目标场景的感兴趣对象上。例如,信标声学信号1925A可以位于感兴趣对象和/或感兴趣声学信号(其位于更远处)附近,而声学信号1925D可以位于感兴趣对象和/或感兴趣声学信号(其位于更靠近声分析系统)附近。诸如当捕获场景的声学图像(例如,声学图像1920A-D)时,这种声学信号可以帮助将声学分析系统聚焦在感兴趣对象和/或感兴趣声学信号上。
尽管未明确说明,但声学分析系统可在向用户呈现声学图像时滤除一个或多个信标声学信号。例如,相对于图19,信标声学信号1925A-D中的一者或多者可以被滤除。这种示例可允许用户更好地将信标声学信号与感兴趣声学信号区分开。在对一个或多个信标声学信号感兴趣的实施方案中(例如,当信标设备是场景中的感兴趣对象时),可以不滤除一个或多个信标声学信号。在一些实施方案中,用户(诸如经由用户界面)可切换场景内一个或多个信标声学信号的存在。
在一些实施方案中,可以在已知包括另一个或下一个信标声学信号的方向上调整声分析系统。例如,如图18A所示,每个信标声学信号位于前一个信标声学信号的右侧。另外或替代地,下一个信标声学信号可存在于或部分地存在于先前声学图像内,诸如沿着声学图像的外围定位或定位成刚好超出声学图像的外围,使得下一个信标声学信号部分地存在或渗入到声学图像中。
图20A示出了具有存在于位置2025、2035和2045处的声学信号的示例性场景。图20B示出了包括2025处的声学信号的声学图像2000。如图所示,位置2035处的声学信号不在声学图像2000的视场内。然而,在一些示例中,声学成像系统被配置为检测声学图像的视场之外的声学信号的存在。例如,在一些示例中,有源声传感器阵列中的有源声传感器可以检测不在视场内的声音。在一些这种示例中,视场之外的声音不能被精确地定位或分析,但是系统可以被配置为确定这种声音仍然存在于环境中。在一些示例中,声学分析系统可以被配置为在显示器上显示指示,从而指示在当前视场之外存在这种声音。
例如,在图20B中,声学分析系统被配置为生成声学图像2000,该声学图像包括在2025处的声学信号的指示并且还包括在屏幕的右手侧的指示2030,从而指示在图像的右侧的视场之外存在声学信号。这可以向用户指示感兴趣声学信号可能存在于当前视场之外。用户可以(例如,通过改变系统的指向或方向)调整声学分析系统的视场,以便尝试捕获这种附加声学信号。
图20C示出了声学图像2010,该声学图像包括例如在响应于图像2000中的注意指示2030而调整系统的视场之后在位置2035处的声学信号的指示。如图所示,声学图像2010包括指示声音存在于当前视场之外(例如,分别在位置2025和2045处)的指示2020和2040。这种指示可以例如通过向用户指示如何调整视场以捕获附加声学信号来帮助用户观察区域内的所有感兴趣声音。在一些示例中,用户可以响应于注意到提示在当前视场之外存在声音的指示而调整系统的视场以便捕获多个声学图像。这种多个声学图像可用于生成包括这种声音的全景,例如,如本文别处所述。在各种示例中,指示视场之外的附加声学信号的存在的指示(诸如2020、2030和2040)可被包括在所捕获的声学图像中或从所捕获的声学图像中排除,但作为指示存在于显示器上以帮助用户定位声学信号。
在一些实施方案中,由指示(例如,2020、2030、2040)指示的声学信号不一定在声传感器阵列的视场之外,而是可以在生成用于与声学图像数据组合的电磁图像数据的电磁成像工具的视场之外。例如,如本文别处所述,在一些示例中,声传感器阵列可以具有比相关联的电磁成像工具更大的FOV。声学分析系统可以被配置为确定声学信号位于电磁成像工具的FOV之外,并且提供说明声学信号在当前电磁成像工具FOV之外的位置的指示。
另外或替代地,在一些实施方案中,可以针对FOV(例如,声传感器阵列FOV和/或电磁成像工具FOV)之外的具有满足一个或多个预定条件的一个或多个声学参数的声学信号(例如,具有预定频率内容、最小振幅等的声学信号)示出诸如相对于图20A至图20C所讨论的那些指示。在一些实施方案中,声学分析系统可确定信标声学信号(诸如本文别处描述的那些信标声学信号)是否定位在FOV之外,并且如果定位在FOV之外,则提供表示信标声学信号的方向的指示符。
在一些实施方案中,这种声学信号在当前图像视场之外的位置可以向声学分析系统提供关于如何调整视场(例如,经由重新定位或以其他方式调整声传感器阵列)以捕获下一个声学图像的信息。如图所示,当捕获声学图像2000时,位置2035处的声学信号位于视场的右外围附近或之外。声学分析系统可以被配置为检测这种声学信号的存在并且使用此信息来确定该声学分析系统应当向右调整视场,例如,以将检测到的声学信号定位在当前声学图像视场之外。这种过程可以用于通过继续调整系统的视场来自动捕获多个声学图像,以便捕获各种声学信号的声学图像数据。这种多个声学图像可用于生成诸如本文别处所述的全景。
在一些实施方案中,声学分析系统被配置为自动调整系统的视场,以便基于在当前视场之外检测到的声学信号来捕获多个声学图像。在一些这种示例中,声学分析系统被配置为例如在导航到检测到的声学信号的同时限制在捕获新的一组声学图像数据之前改变视场的量,使得系统可以创建包括初始视场与最终视场之间的整个区域的全景。
在一些实施方案中,组成目标场景的全景的多个声学图像中的每一个声学图像可以例如使用单个成像阵列在短时间跨度内连续捕获,或者使用多个成像阵列同时或大约同时捕获。例如,在一些示例中,图12、图15和图16至图19中示出的声学图像分组中的每一个声学图像分组(例如,声学图像1220-1228;声学图像1520-1526;声学图像1620-1628;声学图像1720A-D;声学图像1820A-E;声学图像1920A-D)可以在大约相同的时间被捕获,使得该声学图像分组在大约单个时间点或在短时间跨度内提供目标场景中的声学信号的表示。
然而,在一些实施方案中,可以在不同的时间捕获一个或多个声学图像。例如,全景的特定部分的声学图像可随时间变化而更新或响应于外部事件(例如,目标场景中的声学变化、在预定时间、在预定时间量之后、用户输入、来自处理器的指令等)而更新。另外或替代地,在一些示例中,用于创建全景表示的不同图像在不同时间被捕获。在一些实施方案中,可呈现指示以指示何时捕获每个声学图像和/或何时已最后更新全景的每个部分。例如,当在显示器上显示声学全景时,该全景可包括实时地或相对于其他声学图像指示何时捕获最后图像的信息。这种指示可以表示声学图像和/或全景的给定部分的“新鲜度”。在一些实施方案中,“新鲜度”可以是自从捕获声学图像和/或全景以来已经过去的时间量的指示。例如,时间量可以是捕获声学图像的时间与实际时间之间的差、已经捕获的最近声学图像相对于预定时间的差等。
例如,在图16中,声学图像1626被示为具有相对于其他声学图像(例如,声学图像1620、1622、1624和1628)加粗的边界。声学图像1626的加粗边界可向用户提供声学图像1620、1622、1624和1628最近或在预定时间量内已被更新并且声学图像1626最近未被更新的指示。另外或替代地,可使用其他指示来指示全景的一部分最近(例如,在预定时间量内)是否已被更新,诸如使用各种颜色、阴影、不透明度、提供时间戳、倒数计时器等。在一些情况下,声学分析系统被进一步配置为基于经由用户界面接收到的用户输入而在显示更新后的全景与先前全景之间切换。另外或替代地,如本文别处所述,在一些示例中,每个FOV可以与存储在存储器中的图像数据的多个帧相关联。在一些示例中,全景的每个部分可包括与对应于全景的这种部分的FOV相关联的多个帧的循环。在一些示例中,这种帧循环的速率取决于声学图像数据的新鲜度。例如,如本文别处所述,在一些示例中,“实况”FOV可以被显示为“实时”视频。在一些这种示例中,来自先前捕获的FOV的全景的部分可显示以与实时不同的速度循环的帧,诸如比捕获这种帧的速率更慢或更快地循环。
在一些实施方案中,可将数据新鲜度的这种视觉表示并入到声学数据的可视化中,诸如图5B中的位置554、556和558处所示。例如,在示例性实施方案中,可以基于在图像内的给定位置处的声学数据的可视化的透明度来表示声学图像数据的新鲜度。声学全景的比其他部分更近捕获的部分可包括比全景的在更久前捕获的部分中的声学图像数据相对更不透明的声学图像数据。在一些示例中,时间信息(例如,给定的一组数据何时被捕获、其新鲜度等)可被包括在声学图像的元数据等内。
在一些实施方案中,可以(例如,经由指示)提示用户捕获包括在目标场景内的最近未更新的部分的声学图像。在包括机动化移动机构的实施方案中,可诸如经由如本文所描述的控制器或处理器自动提示机动化移动机构调整声学分析系统以捕获最近未更新的部分。
在一些实施方案中,用于创建声学全景的不同声学图像包括不同参数,诸如不同频率信息或到目标距离值。在一些实施方案中,声学成像系统可以被配置为基于一个或多个这种参数来调整数据收集和/或表示。例如,在一些实施方案中,系统可被配置为确定与个别声学图像内的各种位置相关联的(并且类似地,包括这种声学图像数据的全景的)到目标距离值。该系统可以被配置为在呈现声学图像数据时,例如在确定与多个位置中的每一个位置相关联的声学强度时考虑到不同的到目标距离值。例如,相对于图15,图像1526内的声学信号比图像1520内的声学信号更近。在没有校正的情况下,每个图像中具有相同强度的声学信号将由于该声学信号的距离而在图像1520中显得更安静。该系统可被配置为使用距离信息来调整用于创建全景的不同位置上和不同图像上的强度。
另外或替代地,在一些实施方案中,声学分析系统可被配置为使用场景的一个或多个参数(诸如检测到的频率内容或距离信息)来调整多个图像的采集期间的操作以创建全景。例如,捕获每个声学图像可以包括确定和表示与该图像的特定视场相关联的频带。在一些示例中,系统可被配置为选择用于捕获每个声学图像以创建声学全景的声传感器阵列(例如,图3中的320、322)。因此,在各种示例中,系统可被配置为在系统从多个视场收集声学信息时自动改变频带(例如,在经由选定声传感器阵列和/或经由声学图像数据内的表示的数据采集时)并且补偿到目标距离的变化。另外或替代地,系统可被配置为针对每个图像基于与该图像相关联的声学参数(诸如基于到目标距离和/或频率内容信息)显示声学图像数据。这种图像特定显示设置可以被包括在声学全景中的对应位置中。
在一些实施方案中,目标场景可以包括一个或多个感兴趣位置(例如,目标场景内的发射感兴趣声学信号的位置)。此外,一个或多个感兴趣位置可以包括具有不同声学参数或标准(例如,频率差、声音强度(例如,dB水平)、到目标距离、周期性等)的多种声学信号。因此,捕获用于构造声学全景的声学图像中的不同声学参数(诸如各种频率范围、分贝范围、到目标距离、周期性等)可能是有益的。在这种实施方案中,在声学分析系统调整以捕获目标场景的声学图像时补偿声学参数的差可能是有益的(例如,基于到目标距离调整声音强度水平或调整声传感器的大小)。
在一些实施方案中,可以针对单个声学图像(包括声学全景)的不同部分显示和/或捕获不同的声学参数。在一些示例中,单个声学图像的视场可以包括一个或多个感兴趣位置(例如,目标场景内的发射感兴趣声学信号的位置)。这种一个或多个感兴趣位置可以包括各种不同的声学参数,并且与其他位置相比,不同的参数在一些位置中可能更重要或更感兴趣。因此,在声学图像的各个部分中显示不同的声学参数(例如,频率差、声音强度、到目标距离、周期性等)和/或显示表示满足一个或多个预定义声学参数标准(例如,高于阈值、低于阈值、在一定范围内等)的声学信号的声学图像数据可能是有益的。
另外或替代地,在一些实施方案中,声学分析系统可被配置为针对声学图像的给定部分(例如,全景)基于场景的该部分内的一个或多个检测到的参数显示或突出显示一个或多个声学参数。例如,在一些示例中,给定部分可被配置为显示反映该部分内的最响亮的声学信号源(例如,包括最响亮的声音的频率信息的频带)或该部分内的最高频率的声学参数。
在一些实施方案中,可以显示不同的声学参数,使得在特定部分内满足一个或多个预定标准的声学信号与不满足标准的部分内的声学信号或其他区域形成视觉对比。在一些实施方案中,这可以包括显示满足标准的声学信号并且不显示不满足标准的声学信号。替代地,满足标准的声学信号可以用与不满足标准的声学信号不同的调色、大小和/或不透明度来显示。在一些实施方案中,这种标准可以用于定义声学配置文件,该声学配置文件可以包括与一个或多个声学参数相关联的一个或多个标准。满足定义声学配置文件的一个或多个标准中的每一个标准的声学信号与声学配置文件匹配。在各种实施方案中,声学配置文件可以包括一个或多个频率范围、一个或多个强度范围和/或一个或多个距离范围。这种范围可以包括封闭范围(例如,在最小与最大强度水平之间)或者可以由单个阈值定义(例如,高于阈值强度水平)。
图21提供了示例性实施方案,其中目标场景2110被分段或分割成多个声学图像部分(例如,声学图像部分2120-2126)。如图所示,每个声学图像部分(例如,声学图像部分2120-2126)可以彼此邻接。然而,在各种实施方案中,可以使用替代配置,诸如具有重叠的声学图像部分和/或一个或多个不相交的声学图像部分。
在各种示例中,声学图像部分可以对应于单个声学图像(例如,在声学全景的情况下)。另外或替代地,声学图像部分可以位于同一声学图像内。在一些实施方案中,声学图像部分可以跨越多个声学图像的部分(例如,全景内的包括来自单独捕获的图像的声学图像数据的部分)。
在一些实施方案中,可以由用户诸如经由用户界面(例如,经由触摸屏、一个或多个按钮、鼠标等)来定义声学图像部分(例如,声学图像部分2120-2126)。在一些这种实施方案中,用户可以经由用户界面使用自由形式和/或预定义几何形状来划分声学图像部分。另外或替代地,用户可基于与目标场景相关联的一个或多个声学参数(诸如到目标距离值、声学强度值等)来指定声学图像的部分。如从本文的描述将理解的,将声学图像分段或划分成多个声学图像部分有效地允许声学分析系统如同该系统由多个声学成像设备构成那样操作,即使该系统包括更少的声学成像设备或甚至仅一个声学成像设备也是如此。多个声学图像部分中的每一个声学图像部分有效地对应于“虚拟”声学成像设备。可以针对每个声学图像部分建立不同的标准,规定何时和如何显示(或不显示)从对应的虚拟声学成像设备的“视场”内(即,在每个相应的声学图像部分内)的目标场景接收到的声学数据的表示。
另外或替代地,在一些示例中,可以自动创建声学图像部分(例如,声学图像部分2120-2126)。例如,在一些实施方案中,声学分析系统可以被配置为基于目标场景内的声学信号的位置或声学参数,诸如基于关于目标场景的当前和/或历史信息,将目标场景的声学图像划分或分段成多个部分。在一些实施方案中,可以通过对象在目标场景中的位置、对象在目标场景内相对于声学分析系统的方向等来定义声学图像部分。例如,如果目标场景包括发射声学信号的各种机械,则声学分析系统可以被配置为(例如,经由声学特征识别)将声学图像划分成多个部分,使得每个机器在单独的声学图像部分内。另外或替代地,在包括电磁图像的实施方案中,声学分析系统可以被配置为识别电磁图像中的特征或对象(例如,机械件),并且基于电磁图像中的一个或多个识别出的对象的位置来自动指定对应的声学图像并将该声学图像划分成多个部分。
在一些实施方案中,声学分析系统可以被配置为例如经由机器学习技术自动识别场景内的对象。在各种示例中,系统可被配置为采用机器学习技术来识别场景内的一个或多个位置。
另外或替代地,在一些示例中,用户可(诸如经由用户界面)向声学分析系统提供关于对象在目标场景内的位置的信息,并且系统可基于从用户接收到的信息来生成图像的一部分。
在一些实施方案中,声学图像部分可以由例如相对于声学分析系统的一部分的坐标来定义。例如,系统可以被配置为基于目标场景内的面积和/或体积来定义部分(例如,在与垂直于声感测阵列或电磁成像平面的方向的水平和/或垂直角度的一定范围内)。在一些这种示例中,系统可被配置为基于这种预定义部分将声传感器阵列和/或电磁成像工具的指向调整预定量,以便从多个部分收集数据。例如,基于系统部件的指向被调整的预定量,这种数据可以被组合以形成包括诸如本文别处所述的声学和/或电磁图像数据的全景。这种信息可用于对准从多个视场捕获的数据以构造这种全景。
如本文所讨论,声学图像部分(例如,声学图像部分2120-2126)可以被配置为显示特定声学参数和/或具有满足给定图像部分内的预定义标准的声学参数的声学信号。例如,可以确定(例如,识别、访问或接收)一组预定义声学标准,并且可以对声学信号进行滤波,使得显示具有在该组预定义声学标准内的声学参数的声学信号。不满足这种预定义标准的声学信号不被显示。在各种实施方案中,这种标准可以包括具有特定值(例如,60Hz、13dB等)的一个或多个参数、满足对应的一个或多个阈值条件的一个或多个参数,或者各自在对应的值范围(例如,50Hz-100Hz、10dB-15dB等)内的一个或多个参数。一般来说,这种标准可以基于任何数量的不同声学参数。例如,在一个示例中,一个区域可能仅显示表示特定距离内的声学信号并且具有特定频率内容的声学图像数据。标准还可以由标准的逻辑组合(诸如满足一组预定义标准中的任何一个或多个预定义标准的声学信号)来定义。在一些示例中,标准可以包括将声学信号与一个或多个声学特征匹配,该声学特征诸如在先前记录(例如,正确运行的机器的记录和/或具有识别出的问题的机器的记录)中捕获的声学信号的声学特征。
如本文别处所述,在一些实施方案中,一个或多个标准可以定义声学配置文件。在一些实施方案中,声学图像部分(例如,声学图像部分2120-2126)可以具有指定一个或多个标准的相关联的声学配置文件。在一些这种示例中,声学图像的给定部分仅包括表示相关联的声学配置文件内的声学信号的声学图像数据。在一些实施方案中,系统可以被配置为通过分析声学场景(例如,通过确定场景内存在的频率、强度等的共同范围)和/或访问现有声学配置文件来生成声学配置文件。现有声学配置文件可以由系统预先生成或从另一来源加载。
在一些示例中,可以使用机器学习技术来生成一个或多个配置文件。例如,系统可以被配置为分析表示场景的一部分、特定一台装备等的声学信息,并且确定与该场景的一部分、特定一台装备等相关联的一个或多个配置文件。这种配置文件可以包括例如关于表示正常和/或异常操作条件的声学参数的信息。
类似地,在一些示例中,用户可以生成这种配置文件和/或将信息输入到用于生成这种配置文件的机器学习过程中。例如,在一些情况下,用户可基于用户自己的经验来识别在特定状态或严重性级别(例如,良好、中度问题、严重问题、关键问题、失败)下操作的声学场景的一部分。用户可以捕获表示场景的这种部分的声学图像数据和/或其他声学参数(例如,频率和强度信息)并且输入关于场景状态的信息(例如,关键操作问题)。声学分析系统可以被配置为基于接收到的状态和声学信息来创建配置文件。另外或替代地,这种输入可以用作要经由机器学习系统分析的数据点以用于生成这种配置文件。这种声学配置文件可以与场景的一个或多个部分相关联(例如,当系统被编程为从多个预定义视场捕获规定的一组声学数据时)和/或与场景内的特定装备或对象相关联。配置文件可以由系统和/或用户用于未来对场景和/或对象的类似部分的分析。
在一些实施方案中,系统可被配置为配置声学场景的一个或多个部分(诸如由用户定义的部分和/或自动定义的部分)的配置文件。例如,在一些实施方案中,用户可定义声学场景的一部分,并且声学分析系统可被配置为对来自这种部分的声学数据进行采样并且从该声学数据生成声学配置文件。另外或替代地,在一些示例中,系统可被配置为对来自场景的信息进行采样,并且例如基于从场景的不同部分接收到的信息使用机器学习或其他分析过程来识别该信息中的不同部分。在一些这种情况下,系统可被进一步配置为基于采样数据将配置文件与场景的每个这种部分相关联。因此,在一些示例中,声学分析系统可被配置为将场景自动划分成多个部分且经由机器学习或对来自场景的数据进行采样的其他分析过程将声学配置文件与一个或多个这种部分相关联。
另外或替代地,在一些实施方案中,用户可生成声学配置文件并且将该声学配置文件分配给声学场景的特定部分和/或将现有声学配置文件与该场景的一部分相关联。在一些示例中,系统可被配置为例如通过识别这种部分内的特定装备(例如,经由识别声学特征或识别特定装备形状或配置)或从用户接收指示这种装备存在于这种部分内的输入而自动将声学配置文件与场景的一部分相关联。
在一些示例中,预定义标准可以是基于声学图像和/或目标场景的给定部分的警报简档。例如,在一个示例中,当声学信号与警报简档匹配时,在声学图像数据内表示声学信号。警报简档可包括与本文所描述的预定义声学参数标准类似的一组警报声学参数标准。在一些示例中,如果声学信号包括警报简档内的声学参数,则声学分析系统可以被配置为向用户通知所满足的警报简档。
例如,在一些实施方案中,声学分析系统可被配置为在满足与场景的一部分相关联的警报简档的警报条件时通知用户。通知可包括视觉、听觉和/或战术通知,诸如显示器上的通知、音调和/或振动。在一些实施方案中,表示满足警报条件的声学信号的声学图像数据可以以与表示不满足警报条件的声学信号的声学图像数据区分开的方式呈现在场景的具有相关联警报简档的部分内的显示图像上。在各种示例中,区分满足警报条件的声学信号可以包括提供不同的调色、不透明度、颜色强度、周期性闪烁等。
另外或替代地,在一些示例中,满足警报条件的声学信号可以经由显示器上的声学图像数据在场景的具有相关联警报简档的部分内表示,而不满足警报条件的声学信号不在这种部分内呈现。在一些实施方案中,用户可以经由与声学分析系统集成的用户界面、显示器等接收通知。另外或替代地,可使用其他通知机制,诸如通过操作管理系统、计算机化维护管理系统、智能设备(例如,平板计算机、电话、可穿戴设备、计算机等)等发送到中心站的通知。
在一些实施方案中,警报条件可包括滞后分量。例如,在一些实施方案中,如果声学参数(例如,给定频率范围的强度)在给定时间帧内满足阈值(例如,以dB为单位)达预定次数,则满足警报条件。在示例性实施方案中,如果预定频率范围内的声学强度在一天中满足预定强度阈值超过10次,则声学分析系统可以检测到警报条件。其他数字和时间段也是可能的。在一些实施方案中,这种数字和时间段可以由用户选择。在-些示例中,可同时使用多个这种警报条件。例如,如果声学强度满足第一阈值达第一预定次数,并且如果声学强度满足第二阈值达第二预定次数,则可以满足警报条件。例如,除了警报条件每天满足预定强度阈值多于10次之外,如果该强度满足第二、更高的预定强度阈值每天5次,则也可以检测到警报条件。
在一些示例中,新近度阈值可用于基于间歇信号生成警报条件,诸如本文别处所讨论。例如,如本文所描述,在一些示例中,声学分析系统可以生成并显示具有声学图像数据的显示图像,该声学图像数据示出并非实时存在而是在先前时间检测到的间歇性声学信号。在一些实施方案中,这种间歇信号可以满足例如已经在预定时间范围内发生的警报条件。系统可以被配置为包括表示这种声学信号的声学图像数据,例如,作为满足警报条件的信号,即使这种声学信号在生成或查看声学图像数据时不存在也是如此。类似地,这种定时(例如,新近度)阈值可以用作多模态警报中的参数。例如,在一些实施方案中,系统可被配置为如果声学信号满足新近度阈值内的阈值强度(例如,在过去一天内、在过去一小时内等),则检测到警报条件。
在一些实施方案中,警报条件的位置可以被标记为在显示器上,诸如在声学图像的具有警报条件的部分上或附近。另外或替代地,满足警报条件的声学信号可被标记在显示器、用户界面等上。在各种示例中,标签可包括诸如以下信息:标题/简要描述(例如,管道垫圈、电机1);声学参数(例如,dB水平、频率等)的一个或多个值;声学参数的历史最小值/最大值;一个或多个警报条件(例如,最小值、最大值等);以及警报历史,诸如满足警报条件时的一次或多次。在区域/对象包括多个警报条件的实施方案中,标签可以包括这种多个警报条件。另外或替代地,用户可以能够诸如经由用户界面来切换通过每个警报条件。类似地,在一些实施方案中,声学分析系统可以被配置为循环通过多个这种标签,从而按顺序向用户提供标签。
在一些示例中,一个或多个声学配置文件可以由用户手动定义和/或由声学分析系统自动选择或推荐。例如,在一些示例中,声学分析系统可基于位于场景的对应部分内的对象(例如,包括机器、通风口、电线、其他电子器件等)来确定一个或多个声学图像部分的声学配置文件。声学分析系统可以被配置为创建这种配置文件,例如,通过随时间变化对目标场景进行采样以构建这种配置文件(例如,建立基线“正常”声音配置文件)。另外或替代地,系统可以访问存储在存储器中或来自数据库的这种配置文件(例如,包括关于特定装备在正常操作期间如何在声学上表现的信息)。
在一些实施方案中,可以基于每个声学图像部分内的感兴趣位置来使用预定义声学标准。例如,参考图21,声学图像部分2124包括与声学图像部分2120和2121相比更靠近声学分析系统的机械的声学信号。声学图像部分2125包括特定机械的声学信号。一个或多个这种声学图像部分可以具有与该声学图像部分相关联的不同的感兴趣声学参数。例如,当声学信号的强度低于(例如,声学图像部分2124中的)其他机械时,(例如,声学图像部分2120和2121中的)某些机械可能是感兴趣的。在这种示例中,不同的声学配置文件可以与这种部分相关联,使得与在声学图像部分2124中的显示器相比,在声学图像部分2120和2121中的显示器上可以显示包括较低强度的声学信号。类似地,每个这种部分中的不同机械可以具有与该机械相关联的一个或多个警报条件,该一个或多个警报条件可以在图像的特定部分内实现(例如,如并入到相关联的声学配置文件中)。例如,声学分析系统可以被配置为当部分2120中的声学信号超过第一强度阈值时在部分2120内提供视觉指示,和/或当部分2124中的声学信号超过不同于第一阈值的第二阈值时在部分2124内提供视觉指示。此外,当观察部分2125中的装备时,不同的声学参数(例如,周期性,而不是强度)可能是感兴趣的。这样,可以在图像部分2125中显示包括不同声学参数的声学信号。
如本文所描述,在一些实施方案中,给定声学信号的声学图像数据可以根据一个或更多个声学参数基于该声学信号所在的声学图像的部分进行滤波。这种参数可以包括例如强度、频率、周期性、表观接近度、测量的接近度、声压、粒子速度、粒子位移、声功率、声能、声能密度、声暴露、音高、振幅、亮度、谐波、任何这种参数的变化率等。例如,声学图像的特定部分可以示出表示具有特定频率内容的声学信号的声学图像数据,而声学图像的另一部分可以被配置为仅示出表示具有特定范围内的强度的声学信号的声学图像数据。另外或替代地,可以包括一个或多个声学参数的文本表示,其中以文本方式表示的参数是基于与图像的部分相关联的声学配置文件。
在一些示例中,用户可以使用任何适当的逻辑组合(诸如AND、OR、XOR等)来组合各种声学参数以定义声学配置文件。例如,用户可能希望在声学图像部分2123、2124和2126内显示强度在第一强度范围内AND频率在第一频率范围内的声学信号;然后(顺序地或同时地)在声学图像部分2125内显示具有第二频率范围的声学信号。
类似于本文别处所述的实施方案,在一些示例中,声学图像部分(例如,声学图像部分2120-2126)可以与距声学分析系统的不同距离相关联。例如,距离信息可包括关于目标场景中的各种部分的三维深度信息。另外或替代地,用户能够(例如,利用激光测距工具)测量或手动输入与目标场景中的多个位置和/或多个声学图像部分相关联的距离值。在一些示例中,场景的各个部分的这种不同距离值可以用于调整在这种位置处的反向传播计算,以适应在该位置处或在该声学图像部分内的特定距离值。
可以组合本文所描述的部件的各种功能性。在一些实施方案中,本申请中所描述的特征可以与以下申请中所描述的特征组合,该申请中的每个申请都是在2019年7月24日提交的,并且已转让给本申请的受让人,并且通过引用并入本文:
名称为“SYSTEMS AND METHODS FOR PROJECTING AND DISPLAYING ACOUSTICDATA”的PCT申请,WIPO公开号为WO2020/023622;
名称为“SYSTEMS AND METHODS FOR TAGGING AND LINKING ACOUSTIC IMAGES”的PCT申请,WIPO公开号为WO2020/023633;
名称为“SYSTEMS AND METHODS FOR DETACHABLE AND ATTACHABLE ACOUSTICIMAGING SENSORS”的PCT申请,WIPO公开号为WO2020/023631;
名称为“SYSTEMS AND METHODS FOR ANALYZING AND DISPLAYING ACOUSTICDATA”的PCT申请,WIPO公开号为WO2020/023627;以及
名称为“SYSTEMS AND METHODS FOR REPRESENTING ACOUSTIC SIGNATURES FROMA TARGET SCENE”的PCT申请,WIPO公开号为WO2020/023629。
另外或替代地,本公开的特征可与以下专利申请中的任何一个或多个专利申请中所描述的特征结合使用,该专利申请与本申请同时提交并转让给本申请的受让人,该专利申请中的每个专利申请通过引用并入本文:
2020年9月11日提交的名称为SYSTEMS AND METHODS FOR GENERATING PANORAMICAND/OR SEGMENTED ACOUSTIC IMAGES的美国申请第63/077,441号;
2020年9月11日提交的名称为ACOUSTIC IMAGING WITH ACCUMULATED-TIME VIEW的美国申请第63/077,445号;以及
2020年9月11日提交的名称为SYSTEMS AND METHODS FOR GENERATING PANORAMICAND/OR SEGMENTED ACOUSTIC IMAGES的美国申请第63/077,449号。
已经描述了实施方案的各种示例。这种示例是非限制性的,并且不以任何方式限定或限制本发明的范围。
例如,本文所描述的声学分析系统的各种实施方案可以单独地或以任何组合包括以下特征中的任一个特征:声传感器阵列,所述声传感器阵列包括多个声传感器元件,所述多个声传感器元件中的每个声传感器元件被配置为从目标场景接收声学信号,并且基于接收到的声学信号输出声学数据;以及显示器;处理器,所述处理器与所述声传感器阵列通信;处理器,所述处理器与所述声传感器阵列和所述显示器通信;所述处理器被配置为接收表示所述目标场景的第一部分并且具有第一视场(FOV)的第一组声学数据,基于接收到的第一组声学数据生成第一声学图像;所述处理器被配置为接收第二组声学数据,所述第二组声学数据表示所述目标场景的第二部分并且具有第二FOV,其中所述第二FOV不同于所述第一FOV;基于接收到的第二组声学数据生成第二声学图像;将所述第一声学图像与所述第二声学图像配准以形成对准的第一声学图像和对准的第二声学图像;生成包括所述对准的第一声学图像和所述第二声学图像的全景;并且在所述显示器上呈现所述全景。
所述声学分析系统可以还包括电磁成像工具,所述电磁成像工具被配置为生成目标场景的电磁图像数据,其中所述处理器与所述电磁成像工具通信并且被配置为从所述电磁成像工具接收第一电磁图像数据,并且组合所述电磁图像数据与声学图像数据以创建显示图像。
声学分析系统的各种实施方案可还单独地或以任何组合包括以下特征中的任一个特征:其中所述全景包括电磁图像数据;外壳,所述外壳被配置为支撑诸如所述声传感器阵列、所述电磁成像工具、所述显示器和所述处理器的元件;其中所述第一声学图像和所述第二声学图像包括所述目标场景内的重叠部分,所述重叠部分具有来自所述第一组声学数据和所述第二组声学数据的声学信息;其中所述处理器被进一步配置为确定第一组预定义声学标准并且确定第二组预定义声学标准,其中所显示的全景包括:所述第一声学图像数据内的表示满足所述第一组预定义声学标准的声学信号的声学图像数据;以及所述第二声学图像内的仅表示满足所述第二组预定义声学标准的声学信号的声学图像数据;其中所述声传感器阵列被配置为捕获所述第一组声学数据中的包括所述第一组预定义声学标准的声学信号,并且捕获所述第二组声学数据中的满足所述第二组预定义声学标准的声学信号;其中所述第一组预定义声学标准包括一个或多个频率范围、一个或多个分贝范围、一个或多个到目标距离范围和/或一个或多个周期性范围;并且所述第二组预定义声学标准包括一个或多个频率范围、一个或多个分贝范围、一个或多个到目标距离范围和/或一个或多个周期性范围。
另外,所述声学分析系统可以由用户手持;其中所述用户定位所述声学分析系统以捕获用于所述第一组声学数据的所述第一FOV和用于所述第二组声学数据的所述第二FOV;其中所述声学分析系统还包括调整机构,其中所述调整机构被配置为定位所述声学分析系统以捕获用于所述第一组声学数据的所述第一FOV,并且定位所述声学分析系统以捕获用于所述第二组声学数据的所述第二FOV;其中所述处理器与所述调整机构通信并且被配置为接收关于所述声学分析系统针对所述第一FOV的位置的第一组位置信息,并且接收关于所述声学分析系统针对所述第二FOV的位置的第二组位置信息,其中基于所述第一组位置信息和所述第二组位置信息将所述第一声学图像与所述第二声学图像配准;并且其中所述调整机构包括线性运动系统、平移和倾斜系统和/或360度旋转系统。
所述声学分析系统的所述处理器可以被配置为接收更新后的第一组声学数据,所述更新后的第一组声学数据表示所述目标场景的所述第一部分并且在与所述第一组声学数据不同的时间被捕获;基于接收到的第一组声学数据生成更新后的第一声学图像;将所述更新后的第一声学图像与所述第二声学图像配准;并且生成包括所述更新后的第一声学图像数据和所述第二声学图像的更新后的全景。
所述声学分析系统可以还包括在所述显示器上的指示和/或用户界面,所述指示表示所述第一声学图像何时被最后更新;其中所述处理器被进一步配置为基于经由所述用户界面接收到的输入在所述更新后的全景与先前全景之间切换;其中所述处理器被进一步配置为接收更新后的第二组声学数据,所述更新后的第二组声学数据表示所述目标场景的所述第二部分并且在与所述第二组声学数据不同的时间被捕获;基于接收到的第二组声学数据生成更新后的第二声学图像;将所述更新后的第一声学图像与所述更新后的第二声学图像配准;生成第二更新后的全景,所述第二更新后的全景包括配准的更新后的第一声学图像数据和更新后的第二声学图像数据部分;并且在所述显示器上呈现所述更新后的全景。
在一些情况下,所述声学分析系统被配置为接收从所述目标场景发射的一个或多个信标声学信号,并且基于一个或多个信标声学信号的位置来指定所述第一FOV和所述第二FOV中的至少一者;其中所述一个或多个信标声学信号包括预定声学信号;其中所述一个或多个信标声学信号可与目标场景中的其他声学信号区分开;其中所述一个或多个信标声学信号包括与目标场景中的其他声学信号不同的声学参数。
所述声学分析系统可还包括定位在目标场景中的一个或多个信标设备,其中所述一个或多个信标设备被配置为发射所述一个或多个信标声学信号。所述一个或多个信标声学信号位于所述第一声学图像和所述第二声学图像两者中。通过对准所述一个或多个信标声学信号将所述第一声学图像与所述第二声学图像配准。
所述声学分析系统的所述处理器可被配置为确定所述全景中的声学图像数据的表示所述声学图像数据的相对新近度的新鲜度值,并且在所述显示器上指示新鲜度数据,使得较新近捕获的声学图像数据能够在视觉上与较不新近捕获的声学图像数据相掩饰;其中所述第一声学图像数据部分和所述第二声学图像数据部分中的至少一者包括多个声学图像帧;并且其中所述声学分析系统被定位成使得所述声传感器阵列的当前FOV是所述第一FOV,并且所述第一声学图像数据部分包括多个声学图像帧。
本文所描述的声学分析系统的附加实施方案可以单独地或以任何组合包括以下特征中的任一个特征:声传感器阵列,所述声传感器阵列包括多个声传感器元件,所述多个声传感器元件中的每个声传感器元件被配置为从目标场景接收声学信号,并且基于接收到的声学信号输出声学数据;显示器;处理器,所述处理器与所述声传感器阵列和所述显示器通信;所述处理器被配置为从所述声传感器阵列接收所述声学数据;基于接收到的声学数据生成所述目标场景的声学图像数据;将所述声学图像数据划分成多个声学图像部分,所述多个声学图像部分包括第一声学图像部分和第二声学图像部分,其中所述第一声学图像部分不同于所述第二声学图像部分;确定第一组预定义声学标准;确定第二组预定义声学标准;生成显示图像,其中生成所述显示图像包括将所述第一声学图像部分内的满足所述第一组预定义声学标准的所述声学图像数据与所述第一声学图像部分内的不满足所述第一组预定义声学标准的所述声学图像数据进行视觉对比;将所述第二声学图像部分内的满足所述第二组预定义声学标准的声学图像数据与所述第二声学图像部分内的不满足所述第二组预定义声学标准的声学图像数据进行视觉对比;并且在所述显示器上呈现所述显示图像。
所述声学分析系统可还单独地或以任何组合包括以下特征中的任一个特征:其中将所述声学图像数据划分成多个声学图像部分包括接收对所述第一声学图像部分的选择以及接收对所述第二声学图像部分的选择;其中接收对所述第一声学图像部分的所述选择包括经由用户界面从用户接收第一选择;并且接收对所述第二声学图像部分的所述选择包括经由所述用户界面从所述用户接收第二选择;其中确定第一组预定义声学标准包括经由用户界面从用户接收第一组预定义声学标准,并且确定第二组预定义声学标准包括经由用户界面从用户接收第二组预定义声学标准;其中将所述第一声学图像部分内的满足所述第一组预定义声学标准的所述声学图像数据与所述第一声学图像部分内的不满足所述第一组预定义声学标准的所述声学图像数据进行视觉对比包括:对于满足所述第一组预定义声学标准的声学信号,显示所述第一声学图像部分内的声学图像数据,而对于不满足所述第一组预定义声学标准的声学信号,不显示所述第一声学图像部分内的声学图像数据;其中所述第一声学图像部分包括来自第一视场的声学图像数据,并且所述第二声学图像部分包括来自第二视场的声学图像数据;并且其中所述显示图像包括全景,所述全景包括来自所述第一视场和所述第二视场的声学图像数据。
所述声学分析系统可还单独地或以任何组合包括特征,其中所述第一声学图像部分和所述第二声学图像部分中的至少一者包括多个声学图像帧;其中所述第一组预定义声学标准包括一个或多个频率范围,使得不在所述一个或多个频率范围中的任一个频率范围内的声学信号不满足所述第一组预定义标准;其中所述第一组预定义声学标准包括第一分贝范围和第一频率范围,使得不在所述第一分贝范围内或不在所述第一频率范围内的声学信号不满足所述第一组预定义声学标准;其中所述第一组预定义声学标准对应于预定声学特征;其中所述第一组预定义声学标准包括与所述第一声学图像部分相关联的一个或多个警报简档;其中所述一个或多个警报简档对应于所述第一声学图像部分内的对象;并且其中所述一个或多个警报简档与所述第一声学图像部分内的预定位置相关联。
本文所描述的声学分析系统的另外实施方案可以单独地或以任何组合包括以下特征中的任一个特征:声传感器阵列,所述声传感器阵列包括多个声传感器元件,所述多个声传感器元件中的每个声传感器元件被配置为从目标场景接收声学信号,并且基于接收到的声学信号输出声学数据;处理器,所述处理器与所述声传感器阵列通信并且被配置为从所述声传感器阵列接收所述声学数据;基于接收到的声学数据生成所述目标场景的声学图像数据;将所述声学图像数据划分成多个声学图像部分;将声学配置文件与所述多个声学图像部分中的每一个声学图像部分相关联,每个声学配置文件包括一个或多个预定义声学标准;为所述多个声学图像部分中的每一个声学图像部分生成包括声学图像数据的显示图像,所述声学图像数据表示满足对应于与所述声学图像部分相关联的所述声学配置文件的所述一个或多个预定义声学标准的声学信号,其中这种声学图像数据以与不满足对应于所述声学配置文件的所述一个或多个预定义声学标准的声学信号区分开的方式在对应声学图像部分内呈现。
另外,所述声学分析系统可还包括电磁成像工具,所述电磁成像工具与所述处理器通信并且被配置为生成所述目标场景的电磁图像数据,其中所述处理器被配置为从所述电磁成像工具接收电磁图像数据,并且将所述电磁图像数据与所述声学图像数据配准;其中所述显示图像包括电磁图像数据和声学图像数据;还包括与所述处理器通信的显示器,其中所述处理器被配置为在所述显示器上呈现所述显示图像;可还包括用户界面,其中所述处理器被配置为从所述用户界面接收定义所述一个或多个声学图像部分的输入;其中所述处理器被配置为识别接收到的电磁图像数据内的一个或多个特征,并且基于识别出的一个或多个特征指定所述声学图像数据的至少一部分;其中单个声学配置文件与多个声学图像部分相关联;其中至少一个声学配置文件包括一个或多个警报条件;其中以与不满足对应于所述声学配置文件的所述一个或多个预定义声学标准的声学信号区分开的方式呈现满足对应于所述声学配置文件的所述一个或多个预定义声学标准的声学图像数据包括不显示所述声学图像部分中的不满足与所述部分相关联的所述声学配置文件的所述一个或多个预定义声学标准的声学图像数据;其中所述处理器被进一步配置为随时间变化对来自所述目标场景的声学数据进行采样,并且基于随时间变化对所述声学数据的采样将所述声学图像数据自动划分成多个声学图像部分;并且其中所述处理器被进一步配置为基于随时间变化对所述声学数据的采样来定义与所述多个声学图像部分中的一个声学图像部分相关联的至少一个声学配置文件。
可组合以上所述的各种实施方案来提供另外的实施方案。本说明书中提及和/或申请数据表,中列出的所有美国和外国专利、专利申请出版物和非专利出版物均通过引用整体并入本文。如果需要,可以修改实施方案的各个方面以采用各专利、申请和出版物的概念来提供进一步的实施方案。
鉴于上文的详细说明,可以对这些实施方案作出这些和其他改变。一般来说,在随后的权利要求中,使用的术语不应解释成将权利要求书限制在本说明书和权利要求书中披露的具体实施方案中,而应解释成包括所有可能的实施方案以及这类权利要求书赋予的等效物的全部范围。因此,权利要求并不受本公开内容所限定。
Claims (24)
1.一种声学分析系统,所述声学分析系统包括:
声传感器阵列,所述声传感器阵列被配置为从目标场景接收一个或多个声学信号,并且基于所述一个或多个声学信号输出声学数据;和
处理器,所述处理器与所述声传感器阵列通信,所述处理器被配置为:
从所述声传感器阵列接收所述声学数据;
基于所述声学数据生成所述目标场景的声学图像数据;
将所述声学图像数据划分成多个声学图像部分,所述多个声学图像部分至少包括第一声学图像部分和第二声学图像部分,其中所述第一声学图像部分不同于所述第二声学图像部分;并且
生成用于在显示器上呈现的显示图像,
其中所述处理器被配置为通过以下操作生成所述显示图像:
将所述第一声学图像部分内的满足第一组预定义声学标准的声学图像数据与所述第一声学图像部分内的不满足所述第一组预定义声学标准的声学图像数据进行视觉对比,以及
将所述第二声学图像部分内的满足第二组预定义声学标准的声学图像数据与所述第二声学图像部分内的不满足所述第二组预定义声学标准的声学图像数据进行视觉对比,
其中所述第二组预定义声学标准不同于所述第一组预定义声学标准。
2.根据权利要求1所述的声学分析系统,其中将所述第一声学图像部分内的满足所述第一组预定义声学标准的所述声学图像数据与所述第一声学图像部分内的不满足所述第一组预定义声学标准的所述声学图像数据进行视觉对比包括:
对于满足所述第一组预定义声学标准的声学信号,显示所述第一声学图像部分内的声学图像数据,而对于不满足所述第一组预定义声学标准的声学信号,不显示所述第一声学图像部分内的声学图像数据。
3.根据权利要求1或权利要求2所述的声学分析系统,其中所述第一声学图像部分包括来自第一视场的声学图像数据,并且所述第二声学图像部分包括来自不同于所述第一视场的第二视场的声学图像数据。
4.根据权利要求1至3中任一项所述的声学分析系统,其中所述第一组预定义声学标准包括一个或多个频率范围,并且不在所述一个或多个频率范围中的任一个频率范围内的声学信号不满足所述第一组预定义声学标准。
5.根据权利要求1至4中任一项所述的声学分析系统,其中所述第一组预定义声学标准包括第一分贝范围和第一频率范围,并且不在所述第一分贝范围内或不在所述第一频率范围内的声学信号不满足所述第一组预定义声学标准。
6.根据权利要求1至5中任一项所述的声学分析系统,其中所述第一组预定义声学标准对应于预定声学特征。
7.一种声学分析系统,所述声学分析系统包括:
声传感器阵列,所述声传感器阵列被配置为从目标场景接收一个或多个声学信号,并且基于所述一个或多个声学信号输出声学数据;和
处理器,所述处理器与所述声传感器阵列通信并且被配置为:
从所述声传感器阵列接收所述声学数据;
基于所述声学数据生成所述目标场景的声学图像数据;
将所述声学图像数据划分成多个声学图像部分;
将声学配置文件与所述多个声学图像部分中的每一个声学图像部分相关联,每个声学配置文件包括一个或多个预定义声学标准;并且
为所述多个声学图像部分中的每一个声学图像部分生成包括声学图像数据的显示图像,所述声学图像数据表示满足对应于与所述声学图像部分相关联的所述声学配置文件的所述一个或多个预定义声学标准的声学信号,其中这种声学图像数据以与不满足对应于所述声学配置文件的所述一个或多个预定义声学标准的声学信号区分开的方式在对应声学图像部分内呈现。
8.根据权利要求7所述的声学分析系统,所述声学分析系统还包括电磁成像工具,所述电磁成像工具与所述处理器通信并且被配置为生成所述目标场景的电磁图像数据,
其中所述处理器被配置为:
从所述电磁成像工具接收电磁图像数据;以及
将所述电磁图像数据与所述声学图像数据配准,
其中所述显示图像包括电磁图像数据和声学图像数据。
9.根据权利要求7或权利要求8所述的声学分析系统,其中所述处理器被配置为识别所述电磁图像数据内的一个或多个特征,并且基于所述一个或多个特征指定所述声学图像数据的至少一部分。
10.根据权利要求7至9中任一项所述的声学分析系统,其中所述处理器被进一步配置为:
随时间变化对来自所述目标场景的声学数据进行采样;以及
基于随时间变化被采样的所述声学数据,将所述声学图像数据自动划分成所述多个声学图像部分。
11.根据权利要求10所述的声学分析系统,其中所述处理器被进一步配置为基于随时间变化被采样的所述声学数据来定义与所述多个声学图像部分中的至少一个声学图像部分相关联的至少一个声学配置文件。
12.一种声学分析系统,所述声学分析系统包括:
声传感器阵列,所述声传感器阵列被配置为接收从目标场景发射的一个或多个声学信号,并且基于所述一个或多个声学信号输出声学数据;和
处理器,所述处理器与所述声传感器阵列通信,所述处理器被配置为:
接收表示所述目标场景的第一部分并且具有第一视场(FOV)的第一组声学数据;
基于所述第一组声学数据生成第一声学图像;
接收表示所述目标场景的第二部分并且具有第二FOV的第二组声学数据,其中所述第二FOV不同于所述第一FOV;
基于所述第二组声学数据生成第二声学图像;
将所述第一声学图像与所述第二声学图像配准以形成对准的第一声学图像和第二声学图像;以及
生成用于在显示器上呈现的全景,所述全景包括所述对准的第一声学图像和第二声学图像。
13.根据权利要求12所述的声学分析系统,所述声学分析系统还包括电磁成像工具,所述电磁成像工具被配置为生成所述目标场景的电磁图像数据,
其中所述处理器与所述电磁成像工具通信并且被配置为:
从所述电磁成像工具接收第一电磁图像数据,并且基于所述第一电磁图像数据生成第一电磁图像;以及
组合所述第一电磁图像与所述全景中的所述第一声学图像。
14.根据权利要求12或权利要求13所述的声学分析系统,其中所述第一声学图像和所述第二声学图像包括所述目标场景内的重叠部分,所述重叠部分具有来自所述第一组声学数据和所述第二组声学数据的声学信息。
15.根据权利要求12至14中任一项所述的声学分析系统,其中所述处理器被进一步配置为:
确定第一组预定义声学标准;以及
确定第二组预定义声学标准;
其中所述全景包括:
所述第一声学图像内的表示满足所述第一组预定义声学标准的声学信号的声学图像数据;和
所述第二声学图像内的表示满足所述第二组预定义声学标准的声学信号的声学图像数据,
其中所述第一组预定义声学标准或所述第二组预定义声学标准包括一个或多个频率范围、一个或多个分贝范围、一个或多个到目标距离范围和/或一个或多个周期性范围。
16.根据权利要求12至15中任一项所述的声学分析系统,所述声学分析系统还包括调整机构,所述调整机构被配置为定位所述声学分析系统以捕获具有所述第一FOV的所述第一组声学数据,并且定位所述声学分析系统以捕获具有所述第二FOV的所述第二组声学数据。
17.根据权利要求16所述的声学分析系统,其中所述处理器与所述调整机构通信并且被配置为:
接收第一组位置信息以调整所述声学分析系统,以捕获具有所述第一FOV的所述第一组声学数据;
接收第二组位置信息以调整所述声学分析系统,以捕获具有所述第二FOV的所述第二组声学数据;以及
基于所述第一组位置信息和所述第二组位置信息将所述第一声学图像与所述第二声学图像配准。
18.根据权利要求12至17中任一项所述的声学分析系统,其中所述处理器被进一步配置为:
接收表示所述目标场景的所述第一部分并且在与所述第一组声学数据不同的时间被捕获的更新后的第一组声学数据;
基于所述更新后的第一组声学数据生成更新后的第一声学图像;
将所述更新后的第一声学图像与所述第二声学图像配准以形成对准的更新后的第一声学图像和第二声学图像;以及
生成用于在所述显示器上呈现的更新后的全景,所述更新后的全景包括所述对准的更新后的第一声学图像和第二声学图像。
19.根据权利要求18所述的声学分析系统,所述声学分析系统还包括用户界面,其中所述处理器被进一步配置为基于经由所述用户界面接收到的用户输入在显示所述更新后的全景与先前全景之间切换。
20.根据权利要求18或权利要求19所述的声学分析系统,其中所述处理器被进一步配置为:
接收表示所述目标场景的所述第二部分并且在与所述第二组声学数据不同的时间被捕获的更新后的第二组声学数据;
基于所述更新后的第二组声学数据生成更新后的第二声学图像;
将所述更新后的第一声学图像与所述更新后的第二声学图像配准以形成对准的更新后的第一声学图像和更新后的第二声学图像;以及
生成用于在所述显示器上呈现的所述更新后的全景,所述更新后的全景包括所述对准的更新后的第一声学图像和更新后的第二声学图像。
21.根据权利要求12至20中任一项所述的声学分析系统,其中从所述目标场景发射一个或多个信标声学信号,并且所述第一FOV或所述第二FOV中的至少一者是基于一个或多个信标声学信号的位置。
22.根据权利要求21所述的声学分析系统,其中:
所述一个或多个信标声学信号位于所述第一声学图像和所述第二声学图像两者中;并且
将所述第一声学图像与所述第二声学图像配准包括对准所述一个或多个信标声学信号。
23.根据权利要求12至22中任一项所述的声学分析系统,其中所述处理器被配置为确定所述全景中的声学图像数据的表示所述声学图像数据的相对新近度的新鲜度值,并且在所述显示器上指示所述新鲜度值,使得较新近捕获的声学图像数据能够在视觉上与较不新近捕获的声学图像数据相掩饰。
24.根据权利要求12至23中任一项所述的声学分析系统,其中所述声学分析系统被定位成使得所述声传感器阵列的当前FOV是所述第一FOV,并且所述第一声学图像包括多个声学图像帧。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063077449P | 2020-09-11 | 2020-09-11 | |
US202063077441P | 2020-09-11 | 2020-09-11 | |
US63/077449 | 2020-09-11 | ||
US63/077441 | 2020-09-11 | ||
PCT/US2021/049968 WO2022056330A2 (en) | 2020-09-11 | 2021-09-10 | System and method for generating panoramic acoustic images and virtualizing acoustic imaging devices by segmentation |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116113849A true CN116113849A (zh) | 2023-05-12 |
Family
ID=78086932
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180062167.9A Pending CN116113849A (zh) | 2020-09-11 | 2021-09-10 | 用于生成全景声学图像并通过分段使声学成像设备虚拟化的系统和方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20220082692A1 (zh) |
EP (1) | EP4211494A2 (zh) |
JP (1) | JP2023542863A (zh) |
KR (1) | KR20230066045A (zh) |
CN (1) | CN116113849A (zh) |
WO (1) | WO2022056330A2 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220082691A1 (en) * | 2020-09-11 | 2022-03-17 | Fluke Corporation | System and method for acoustic imaging with an accumulated-time view |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3994469B2 (ja) * | 1997-04-16 | 2007-10-17 | ソニー株式会社 | 撮像装置、表示装置及び記録装置 |
WO2006060746A2 (en) | 2004-12-03 | 2006-06-08 | Infrared Solutions, Inc. | Visible light and ir combined image camera with a laser pointer |
JP2012021969A (ja) * | 2010-06-18 | 2012-02-02 | Panasonic Electric Works Co Ltd | 部屋、配線器具 |
US8970665B2 (en) * | 2011-05-25 | 2015-03-03 | Microsoft Corporation | Orientation-based generation of panoramic fields |
US20160073087A1 (en) * | 2014-09-10 | 2016-03-10 | Lenovo (Singapore) Pte. Ltd. | Augmenting a digital image with distance data derived based on acoustic range information |
US9736580B2 (en) * | 2015-03-19 | 2017-08-15 | Intel Corporation | Acoustic camera based audio visual scene analysis |
US11965958B2 (en) | 2018-07-24 | 2024-04-23 | Fluke Corporation | Systems and methods for detachable and attachable acoustic imaging sensors |
EP3651448B1 (en) * | 2018-11-07 | 2023-06-28 | Nokia Technologies Oy | Panoramas |
-
2021
- 2021-09-10 CN CN202180062167.9A patent/CN116113849A/zh active Pending
- 2021-09-10 US US17/472,442 patent/US20220082692A1/en active Pending
- 2021-09-10 WO PCT/US2021/049968 patent/WO2022056330A2/en unknown
- 2021-09-10 KR KR1020237011673A patent/KR20230066045A/ko unknown
- 2021-09-10 EP EP21790335.0A patent/EP4211494A2/en active Pending
- 2021-09-10 JP JP2023516147A patent/JP2023542863A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220082691A1 (en) * | 2020-09-11 | 2022-03-17 | Fluke Corporation | System and method for acoustic imaging with an accumulated-time view |
US11953592B2 (en) * | 2020-09-11 | 2024-04-09 | Fluke Corporation | System and method for acoustic imaging with an accumulated-time view |
Also Published As
Publication number | Publication date |
---|---|
WO2022056330A3 (en) | 2022-07-21 |
KR20230066045A (ko) | 2023-05-12 |
WO2022056330A8 (en) | 2022-05-19 |
EP4211494A2 (en) | 2023-07-19 |
WO2022056330A2 (en) | 2022-03-17 |
US20220082692A1 (en) | 2022-03-17 |
JP2023542863A (ja) | 2023-10-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210310856A1 (en) | Systems and methods for projecting and displaying acoustic data | |
CN109752722B (zh) | 多模态声学成像工具 | |
CN109752721B (zh) | 具有扫描和分析能力的便携式声学成像工具 | |
CN109756720B (zh) | 使用距离信息的声学成像中的焦点和/或视差调整 | |
US20220082692A1 (en) | System and method for generating panoramic acoustic images and virtualizing acoustic imaging devices by segmentation | |
US11953592B2 (en) | System and method for acoustic imaging with an accumulated-time view |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |