CN112739996A - 用于分析和显示声学数据的系统和方法 - Google Patents

Abstract

一些系统包括被配置成接收声信号的声学传感器阵列、被配置成接收电磁辐射的电磁成像工具、用户界面、显示器和处理器。处理器可以接收来自电磁成像工具的电磁数据和来自声学传感器阵列的声学数据。处理器可以基于所接收的声学数据生成场景的声学图像数据，生成包括所组合的声学图像数据和电磁图像数据的显示图像，并且在显示器上呈现显示图像。处理器可以从用户界面接收注释输入，并且基于所接收的注释输入来更新显示图像。处理器可以被配置成确定与所接收的声信号相关联的一个或多个声学参数，并且确定与声信号相关联的关键度。用户可以利用所确定的关键度信息或其他所确定的信息来注释显示图像。

Description

用于分析和显示声学数据的系统和方法

相关事项

本申请主张于2018年7月24日提交的美国专利申请号62/702,716的优先权，其整个内容通过引用并入到本文中。

背景技术

当前可用的声学成像设备包括由于各种各样的因素而具有各种频率灵敏度限制的声学传感器阵列配置。例如，一些声学成像设备被设计成对近似20 Hz与近似20 kHz之间的声频率范围做出响应。其他设备（例如，超声设备）被设计成对近似38 kHz与近似45 kHz之间的声频率范围做出响应。

然而，通常被设计为在20 Hz至20 kHz频率范围内运行的声学成像设备无法有效地检测更高的频率或对更高的频率进行成像，该更高的频率例如是高达或超过近似50kHz。同样地，被设计为在20 kHz至50 kHz频率范围内运行的声学或超声设备无法有效地检测较低的频率和/或对较低的频率进行成像，该较低的频率例如是20 kHz处或低于20 kHz。这可能出于各种各样的原因。例如，针对较低（例如，可听见的）频率进行了优化的传感器阵列通常包含比针对较高（例如，超声波）频率进行了优化的传感器阵列相距更远的个体传感器。

除了硬件考虑之外或作为其替代，声学成像的不同计算算法和方法往往更适合于具有不同频率和/或不同的到目标的距离的声信号，从而使得难以确定如何最好地对场景进行声学成像，特别是在没有缺乏经验的用户的情况下。

在对不同声频率范围进行成像时的这样的差异部分地是由于不同频率和波长的声波通过空气传播背后的物理现象所致。某些阵列取向、阵列大小和计算方法通常可以更好地适合于具有不同频率特性（例如，可听见的频率、超声频率等）的声信号。

类似地，不同的阵列属性和/或计算方法可以更好地适合于到目标的不同距离处的声学场景。例如，针对非常近距离处的目标的近场声全息术、针对更远距离处的目标的各种声学波束形成方法。

因此，使用声学阵列（例如，用于声学成像）的声学检查可能需要范围广泛的装备，例如，用于分析具有不同频率范围的声信号，以及在了解不同的硬件和计算技术何时适用于实行声学分析方面的专业能力。这可能会使声学检查变得既费时又费钱，并且可能需要专家来实行这样的检查。

例如，用户可能被迫手动选择用于实行声学分析的各种硬件和/或软件。然而，缺乏经验的分析人员可能无法知道针对给定声学分析和/或声学场景的硬件和软件的优选组合。附加地，从场景内部隔离关注的声音可能会提供其自身的挑战，特别是在混乱的场景中，并且可能会使缺乏经验的用户感到乏味且令人沮丧。例如，给定的声学场景（尤其是在嘈杂的环境中）可以包括声信号，该声信号包括任何数量的频率、强度或可能使关注的声信号模糊的其他特性。

传统系统往往要求用户在检查之前手动识别各种关注的声学参数，以便分析关注的声音。然而，缺乏经验的用户可能不知道如何最好地隔离和/或识别各种关注的声音。

附加地，当在检查同一对象或场景的同时串联使用多种成像技术（例如，可见光、红外线、紫外线、声学或其他成像技术）时，被用来实行不同成像技术的工具的物理布局和/或其他设置（例如，焦点方位）可能会影响分析。例如，每个成像设备的不同位置和/或聚焦方位可能导致视差误差，其中，所得图像可能是未对准的。这可能导致无法正确定位场景内的关注区域和/或问题区域、文档错误以及问题的错误诊断。例如，相对于声学图像数据，如果声学图像数据相对于来自其他成像技术（例如，可见光和/或红外线图像数据）的图像数据是未对准的，则可能难以识别关注的声信号的位置或源。

现有的超声测试和检查工具在使用或不使用抛物面天线（parabolic dish）的情况下都采用（一个或多个）超声学传感器，以便帮助将声音朝向（一个或多个）接收传感器聚焦。当检测到特定频率的声音时，它通常被显示为上升或下降的数值，或者被显示在设备的显示器上的频率或分贝水平图上。对于许多用户而言，这可能非常令人困惑且不直观。没有实况场景的图像或声音的可视化是可获得的。

隔离、定位和分析特定的声音可能是乏味的过程，并且可能会让许多最终用户感到困惑。设备和人之间复杂且不直观的界面会成为有效使用设备的障碍，和/或甚至需要附加的训练来操作设备上的基本功能。

先进的声学成像设备有能力产生与场景的静态或实况可视图像相结合的声音的伪彩色视觉表示。即使在这些设备上，选择和调整控件对于声音的适当可视化也很重要。然而，传统的控件是为训练有素的声学技术人员和专家进行使用而开发的。这些控件对于普通用户来说往往是不直观的，并且可能导致相对于适当的选择和可视化参数控件的一些混淆。训练水平较低的人使用这些控件可能会很麻烦，并且会导致参数选择的错误，以及最终导致较差的声学可视化。

此外，这种方法往往还需要附加的上下文信息，以便实行适当的分析和报告活动。期望收集关于正在利用传统超声波检测设备或声学成像器进行检查的场景的附加上下文信息的技术人员通常必须利用单独的相机或设备拍摄照片和/或记录书面笔记、或记录在单独的设备中的笔记，该单独的设备诸如是PC、平板设备、智能电话或其他移动设备。然后，这些辅助笔记必须与来自超声波工具或声学成像器的数据手动同步或相配。这可能会花费大量时间，并且在将正确的数据与对应的辅助上下文信息进行匹配时也容易出错。

发明内容

本公开的一些方面涉及声学分析系统。系统可以包括声学阵列，该声学阵列包括多个声学传感器元件，该多个声学传感器元件中的每一个可以被配置成从声学场景接收声信号，并且基于所接收的声信号输出声学数据。

系统可以包括电磁成像工具，该电磁成像工具被配置成接收来自目标场景的电磁辐射，并且输出代表所接收的电磁辐射的电磁图像数据。电磁成像工具可以被配置成检测来自一定波长范围的电磁辐射，诸如包括可见光和/或近红外光光谱的范围。在一些系统中，电磁成像系统可以包括可见光相机模块和/或红外相机模块。

系统可以包括用户界面、显示器和处理器。处理器可以与声学传感器阵列、电磁成像工具、用户界面和显示器通信。

在一些系统中，处理器可以被配置成从电磁成像工具接收电磁数据，并且从声学传感器阵列接收声学数据。处理器还可以基于所接收的声学数据生成场景的声学图像数据；生成包括所组合的声学图像数据和电磁图像数据的显示图像；并且在显示器上呈现显示图像。在一些实施例中，处理器可以从用户界面接收注释输入，并且基于所接收的注释输入来更新显示器上的显示图像。注释输入可以包括经由触摸屏接收的自由式注释；图标或预定义形状的选择，和/或字母数字输入。

在一些系统中，处理器被配置成例如基于一个或多个声学参数与一个或多个预定阈值的比较来确定与所接收的声信号相关联的一个或多个声学参数，并且确定与声信号相关联的关键度。在一些实施例中，处理器还可以基于所确定的关键度来更新显示图像。用户可以利用所确定的关键度信息来注释图像。用户可以类似地利用所确定的信息（诸如到目标的距离的值）来注释图像。

在附图和下面的描述中阐述了一个或多个示例的细节。从说明书和附图以及从权利要求中，其他特征、目的和优点将变得显而易见。

附图说明

图1A和1B示出了示例性声学成像设备的正视图和后视图。

图2是图示了声学分析系统的示例的组件的功能框图。

图3A、3B和3C示出了声学分析系统内的示例性声学传感器阵列配置的示意图。

图4A和4B示出了在可见光图像数据和声学图像数据的帧的生成中的视差误差的示意图。

图5A和5B示出了可见光图像与声学图像之间的视差校正。

图5C和5D是图5A和5B的彩色版本。

图6是示出了用于生成将声学图像数据和电磁图像数据进行组合的最终图像的示例性方法的过程流程图。

图7是示出了用于从所接收的声信号生成声学图像数据的示例性过程的过程流程图。

图8示出了用于确定在声学成像过程期间使用的适当的算法和传感器阵列的示例性查找表。

图9A是在声学场景中所接收的图像数据的频率内容随时间推移的示例性标绘图。

图9B示出了包括发射声信号的多个位置的示例性场景。

图9C示出了在多个预定义的频率范围处的多个所组合的声学和可见光图像数据。

图10A和10B是包括所组合的可见光图像数据和声学图像数据的示例性显示图像。

图11A和11B示出了声学场景中的声学数据的频率比对时间的示例性标绘图。

图12A、12B和12C示出了用于将声学图像数据与存储在数据库中的历史声学图像数据进行比较的多种示例性方式。

图13是示出了将所接收的声学图像数据与用于对象诊断的数据库进行比较的示例性操作的过程流程图。

图14示出了使用梯度调色（palettization）方案的声学数据的可视化。

图15示出了使用多个阴影同心圆的声学数据的可视化。

图16示出了包括非数字信息和字母数字信息两者的示例性可视化。

图17示出了包括非数字信息和字母数字信息两者的另一示例可视化。

图18示出了包括非数字信息和字母数字信息两者的另一示例可视化。

图19示出了示例性可视化，其示出了代表不同声学参数值的不同大小和颜色的指示符。

图20示出了示例性可视化，其示出了具有不同颜色的多个指示符，该不同颜色指示来自对应位置的声信号所指示的严重性。

图21示出了在场景内的多个位置处包括指示符的场景，该指示符以有区别的方式示出了满足预定条件的声信号。

图22示出了包括定位在显示图像内的多个图标的显示图像，这些图标指示场景内的识别出的声学轮廓。

图23示出了另一示例性显示图像，其经由多个指示符、使用同心圆和表示与每一个声信号相关联的声强度的字母数字信息示出了声学数据。

图24示出了示例显示图像，其具有指示符和与所表示的声信号相关联的附加字母数字信息。

图25A示出了包括显示器的系统，在该显示器中选择了显示图像内的指示符，并且激光指示器朝向场景发射激光。

图25B示出了在图25的系统视图中示出的显示器。

图26示出了包括指示符的显示图像，该指示符具有表示声学图像数据的梯度调色方案并且包括声学图像混合控件。

图27示出了包括指示符的显示图像，该指示符具有表示声学图像数据的同心圆调色方案并且包括声学图像混合控件。

图28示出了包括指示符的显示图像，该指示符具有梯度调色，其指示场景中满足一个或多个滤波条件的位置。

图29示出了包括指示符的显示图像，该指示符具有同心圆调色，其指示场景中满足一个或多个滤波条件的位置。

图30示出了包括两个指示符的显示图像，每个指示符具有梯度调色，其指示场景中满足不同滤波条件的位置。

图31示出了包括显示图像和虚拟键盘的显示界面。

图32示出了嵌入到眼镜中的显示器，该眼镜可以由用户佩戴并且显示出显示图像。

图33A和33B示出了动态显示图像，其包括具有基于声学传感器阵列的指向的动态强度的指示符。

图34示出了示例性显示图像，其向用户或技术人员提供了以下指示，该指示关于场景中所识别的空气泄漏的潜在关键度和由于场景中所识别的空气泄漏所致的潜在损失成本。

图35示出了用户利用显示器上的（on-display）自由形式注释来注释显示图像的示例。

图36示出了包括指令和相关位置信息的带注释的显示图像的示例。

图37示出了用户利用显示器上的图标注释来注释显示图像的示例。

图38示出了用户利用显示器上的形状注释来注释显示图像的示例。

图39示出了包括显示器上的形状和图标注释的带注释的显示图像的示例。

图40示出了包括显示图像和多参数数据可视化的界面，该多参数数据可视化包括显示图像右侧的多个频率范围。

图41示出了包括显示图像和频率信息的多参数表示的界面，包括沿着显示图像的下边缘定位的多个频率范围。

图42示出了包括多个频带的频率信息和多个频带的峰值的显示图像。

图43示出了包括示出多个频率的强度信息的多参数表示的显示图像。

图44示出了包括经调色的频率范围集合的多参数表示，其中，调色（palettization）表示每个频率范围落入其中的分贝范围。

图45示出了包括多参数表示的示例显示图像，该多参数表示示出了不同的频率范围和根据严重性进行调色的指示符。

图46示出了强度（以分贝为单位）比对显示图像上多参数表示中的多个频率范围中的每一个的时间趋势。

具体实施方式

图1A和1B示出了示例声学成像设备的正视图和后视图。图1A示出了声学成像设备100的前侧，该声学成像设备100具有支撑声学传感器阵列104和电磁成像工具106的壳体102。在一些实施例中，声学传感器阵列104包括多个声学传感器元件，该多个声学传感器元件中的每一个被配置成从声学场景接收声信号并且基于所接收的声信号输出声学数据。电磁成像工具106可以被配置成从目标场景接收电磁辐射并且输出代表所接收的电磁辐射的电磁图像数据。电磁成像工具106可以被配置成检测多个波长范围中的一个或多个的电磁辐射，诸如可见光、红外线、紫外线等等。

在图示的示例中，声学成像设备100包括：环境光传感器108和位置传感器116，诸如GPS。设备100包括：激光指示器110，其在一些实施例中包括激光测距仪。设备100包括：焊灯（torch）112，其可以被配置成朝向场景发射可见光辐射；和红外照明器118，其可以被配置成朝向场景发射红外辐射。在一些示例中，设备100可以包括用于在任何波长范围内照亮场景的照明器。设备100进一步包括：投影仪114，诸如图像重投影仪，其可以被配置成将生成的图像投射到诸如彩色图像之类的场景上；和/或点投影仪，其被配置成将一系列点投射到场景上，例如，以确定场景的深度轮廓。

图1B示出了声学成像设备100的背面。如所示的，该设备包括：显示器120，其可以呈现图像或其他数据。在一些示例中，显示器120包括触摸屏显示器。声学成像设备100包括：可以向用户提供音频反馈信号的扬声器，以及可以使得能够在声学成像设备100与外部设备之间实现无线通信的无线接口124。该设备进一步包括控件126，该控件126可以包括一个或多个按钮、旋钮、刻度盘、开关或其他对接组件，以使得用户能够与声学成像设备100进行交互。在一些示例中，控件126和触摸屏显示器进行组合以提供声学成像设备100的用户界面。

在各种实施例中，声学成像设备不必包括图1A和1B的实施例中所示的每个元件。可以从声学成像设备中排除一个或多个图示的组件。在一些示例中，在图1A和1B的实施例中示出的一个或多个组件可以被包括作为声学成像系统的一部分，但是与壳体102分开地包括。这样的组件可以例如使用无线接口124、经由有线或无线通信技术与声学成像系统的其他组件进行通信。

图2是图示了声学分析系统200的示例的组件的功能框图。图2的示例性声学分析系统200可以包括：以声学传感器阵列202布置的多个声学传感器，诸如传声器、MEMS、换能器等。这样的阵列可以是一维的、二维的或三维的。在各种示例中，声学传感器阵列可以限定任何合适的大小和形状。在一些示例中，声学传感器阵列202包括以网格图案布置的多个声学传感器，诸如例如，以纵向列和横向行布置的传感器元件的阵列。在各种示例中，声学传感器阵列202可以包括按照例如8×8、16×16、32×32、64×64、128×128、256×256等的水平行的垂直列的阵列。其他示例是可能的，并且各种传感器阵列不必一定包括与列相同数量的行。在一些实施例中，这样的传感器可以被定位在基板上，例如，诸如印刷电路板(PCB)基板。

在图2所示的配置中，与声学传感器阵列202通信的处理器212可以从多个声学传感器中的每一个接收声学数据。在声学分析系统200的示例性操作期间，处理器212可以与声学传感器阵列202通信以生成声学图像数据。例如，处理器212可以被配置成分析从以声学传感器阵列布置的多个声学传感器中的每一个接收的数据，并且通过将声信号“反向传播”到声信号的源来确定声学场景。在一些实施例中，处理器212可以通过识别跨二维场景的声信号的各种源位置和强度来生成声学图像数据的数字“帧”。通过生成声学图像数据的帧，处理器212在基本上给定的时间点捕获目标场景的声学图像。在一些示例中，帧包括构成声学图像的多个像素，其中，每个像素表示声信号已经反向传播到的源场景的一部分。

被描述为声学分析系统200内的处理器的组件（包括处理器212）可以被实现为单独地或以任何合适的组合的形式的一个或多个处理器，诸如一个或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、可编程逻辑电路等等。处理器212还可以包括存储器，该存储器存储程序指令和相关数据，该程序指令和相关数据在被处理器212执行时会使声学分析系统200和处理器212实行在本公开中归属于它们的功能。存储器可以包括任何固定或可移除的磁性、光学或电介质，诸如RAM、ROM、CD-ROM、硬磁盘或软磁盘、EEPROM等等。存储器还可以包括可移除存储器部分，其可以被用来提供存储器更新或增加存储器容量。可移除存储器还可以允许将声学图像数据容易地传递到另一个计算设备，或在声学分析系统200被用在另一个应用中之前去除声学图像数据。处理器212还可以被实现为片上系统，其将计算机或其它电子系统的一些或全部组件集成到单个芯片中。处理器212（处理电路）可以被配置成将经处理的数据传送到显示器214或其它输出/控制设备218。

在一些实施例中，声学传感器阵列202中的声学传感器生成与每个声学传感器所接收的声信号相对应的一系列信号，以表示声学图像。当通过扫描构成了声学传感器阵列202的全部行来获得来自每个声学传感器的信号时，生成了声学图像数据的“帧”。在一些示例中，处理器212可以以足以生成声学图像数据的视频表示（例如，30 Hz或60 Hz）的速率来获取声学图像帧。独立于特定电路，声学分析系统200可以被配置成操纵代表目标场景的声学轮廓的声学数据，以便于提供可以被显示、存储、传输或以其它方式被用户利用的输出。

在一些实施例中，“反向传播”所接收的声信号以便生成声学图像数据包括：例如经由处理器分析在声学传感器阵列202中的多个声学传感器处的所接收的信号。在各种示例中，实行反向传播是一个或多个参数的函数，该参数包括到目标的距离、频率、声音强度（例如，分贝水平）传感器阵列的尺寸/配置，例如包括一个或多个阵列内的个体传感器的间隔和布置等。在一些实施例中，这样的参数可以被预编程到系统中，例如，在存储器中。例如，声学传感器阵列202的属性可以被存储在存储器中，诸如内部存储器或特别地与声学传感器阵列202相关联的存储器。可以通过各种各样的方式接收其他参数，诸如到目标的距离。例如，在一些示例中，声学分析系统200包括与处理器212通信的距离测量工具204。该距离测量工具可以被配置成提供代表从距离测量工具204到目标场景中的特定位置的距离的距离信息。各种距离测量工具可以包括激光测距仪或其他已知的距离测量设备，诸如其他光学或音频距离测量设备。附加地或替换地，距离测量工具可以被配置成生成三维深度数据，使得目标场景的每个部分具有相关联的到目标的距离的值。因此，在一些示例中，如本文中使用的到目标的距离的测量结果可以对应于到目标场景内的每个位置的距离。这样的三维深度数据可以例如经由具有目标场景的不同视图的多个成像工具、或经由其他已知的距离扫描工具来生成。一般而言，在各种实施例中，距离测量工具可以被用来实行一个或多个距离测量功能，包括但不限于：激光距离测量、有源声波距离测量、无源超声距离测量、LIDAR距离测量、RADAR距离测量、毫米波距离测量等等。

来自距离测量工具204的距离信息可以被用于反向传播计算中。附加地或替换地，系统200可以包括用户界面216，用户可以将到目标的距离的参数手动输入到其中。例如，如果到怀疑会产生声信号的组件的距离是已知的或难以利用距离测量工具204测量，则用户可以将到目标的距离的值输入到系统200中。

在图示的实施例中，声学分析系统200包括：电磁成像工具203，用于生成代表目标场景的图像数据。示例性电磁成像工具可以被配置成从目标场景接收电磁辐射，并且生成代表所接收的电磁辐射的电磁图像数据。在一些示例中，电磁成像工具203可以被配置成生成代表电磁波谱内的特定波长范围的电磁图像数据，诸如红外辐射、可见光辐射和紫外辐射。例如，在一些实施例中，电磁定时工具203可以包括一个或多个相机模块，诸如例如可见光相机模块206，该相机模块被配置成生成代表电磁波谱中的特定波长范围的图像数据。

可见光相机模块一般是公知的。例如，在智能电话和众多其它设备中包括各种可见光相机模块。在一些实施例中，可见光相机模块206可以被配置成接收来自目标场景的可见光能量，以及将可见光能量聚焦在可见光传感器上以用于生成可见光能量数据，该可见光能量数据例如可以以可见光图像的形式被显示在显示器214上和/或被存储在存储器中。可见光相机模块206可以包括用于实行归属于本文中的模块的功能的任何合适的组件。在图2的示例中，可见光相机模块206被图示为包括可见光透镜组装件208和可见光传感器210。在一些这样的实施例中，可见光透镜组装件208包括拍摄目标场景所发射的可见光能量并且将可见光能量聚焦在可见光传感器210上的至少一个透镜。可见光传感器210可以包括多个可见光传感器元件，诸如例如CMOS检测器、CCD检测器、PIN二极管、雪崩光电二极管等等。可见光传感器210通过生成电信号来对所聚焦的能量进行响应，该电信号可以被转换并且作为可见光图像显示在显示器214上。在一些示例中，可见光模块206是可由用户配置的，并且可以以各种各样的格式例如向显示器214提供输出。可见光相机模块206可以包括针对各种光照或其它操作条件或用户偏好的补偿功能。可见光相机模块可以提供包括图像数据的数字输出，其可以包括以各种各样的格式（例如，RGB、CYMK、YCbCr等）的数据。

在某个示例性可见光相机模块206的操作中，从目标场景接收的光能量可以传过可见光透镜组装件208，并且被聚焦在可见光传感器210上。当光能量撞击在可见光传感器210的可见光传感器元件上时，可以释放光电检测器内的光子，并且将其转换成检测电流。处理器212可以处理该检测电流以形成目标场景的可见光图像。

在声学分析系统200的使用期间，处理器212可以控制可见光相机模块206来从所捕获的目标场景生成可见光数据以用于创建可见光图像。可见光数据可以包括指示与所捕获的目标场景的不同部分相关联的（一个或多个）颜色的光度数据和/或与所捕获的目标场景的不同部分相关联的光的量值。处理器212可以通过在单个时间测量声学分析系统200的每个可见光传感器元件的响应来生成可见光图像数据的“帧”。通过生成可见光数据的帧，处理器212在给定的时间点捕获目标场景的可见光图像。处理器212还可以重复地测量声学分析系统200的每个可见光传感器元件的响应，以便生成目标场景的动态可见光图像（例如，视频表示）。在一些示例中，可见光相机模块206可以包括能够操作可见光相机模块206的其自己的专用处理器或其它电路（例如，ASIC）。在一些这样的实施例中，专用处理器与处理器212通信以用于向处理器212提供可见光图像数据（例如，RGB图像数据）。在替换的实施例中，用于可见光相机模块206的专用处理器可以集成到处理器212中。

在可见光相机模块206的每个传感器元件起到传感器像素的作用的情况下，处理器212可以通过将每个传感器元件的电响应转化成时间复用的电信号来生成来自目标场景的可见光的二维图像或图片表示，该时间复用的电信号可以被处理，例如，用于在显示器214上的可视化和/或在存储器中的存储。

处理器212可以控制显示器214来显示所捕获的目标场景的可见光图像的至少一部分。在一些示例中，处理器212控制显示器214，使得可见光相机模块206的每个传感器元件的电响应与显示器214上的单个像素相关联。在其它示例中，处理器212可以增加或减小可见光图像的分辨率，使得在显示器214上显示比在可见光相机模块206中存在的传感器元件更多或更少的像素。处理器212可以控制显示器214来显示整个可见光图像（例如，声学分析系统200所捕获的目标场景的全部部分）或少于整个可见光图像（例如，声学分析系统200所捕获的整个目标场景的更少的部分）。

在一些实施例中，处理器212可以控制显示器214同时显示声学分析系统200所捕获的可见光图像的至少一部分和经由声学传感器阵列202所生成的声学图像的至少一部分。这样的并发显示可能是有用的，因为操作者可以参考在可见光图像中显示的特征，以帮助查看在声学图像中同时显示的声信号的源。在各种示例中，处理器212可以控制显示器214来以并排布置、以图中图布置（其中图像中的一个图像围绕图像中的另一个图像）或以其中同时显示可见光图像和声学图像的任何其它合适的布置来显示可见光图像和声学图像。

例如，处理器212可以控制显示器214来以组合布置的形式显示可见光图像和声学图像。在这样的布置中，对于在可见光图像中代表目标场景的一部分的像素或像素集合来说，在声学图像中存在代表目标场景的基本上相同部分的对应的像素或像素集合。在各种实施例中，声学图像和可见光图像的大小和/或分辨率不需要相同。相应地，在声学图像或可见光图像中的一个中可以存在像素集合，其对应于在声学图像或可见光图像中的另一个中的单个像素、或具有不同大小的像素集合。类似地，在可见光图像或声学图像中的一个中可以存在对应于另一图像中的像素集合的图像。因此，如本文中使用的，对应不要求一对一的像素关系，而是可以包括像素或像素群组的不匹配的大小。可以实行对不匹配大小的图像区域的各种组合技术，诸如对图像中的一个进行上采样或下采样、或者将像素与对应像素集合的平均值进行组合。其它示例是已知的并且也在本公开的范围内。

因此，对应的像素不需要具有直接的一对一关系。而是，在一些实施例中，单个声学像素具有多个对应的可见光像素，或者可见光像素具有多个对应的声学像素。附加地或替换地，在一些实施例中，并非所有的可见光像素都具有对应的声学像素，或反之亦然。这样的实施例可以指示例如先前所讨论的图中图类型的显示。因此，可见光像素将不一定在可见光图像内具有与对应的声学像素所具有的像素坐标相同的像素坐标。相应地，如本文中使用的，对应的像素通常指代来自任何图像（例如，可见光图像、声学图像、组合图像、显示图像等）的、包括来自目标场景的基本上相同部分的信息的像素。这样的像素不需要具有图像之间的一对一关系，并且不需要在它们各自的图像内具有类似的坐标方位。

类似地，具有对应像素（即，代表目标场景的相同部分的像素）的图像可以被称为对应的图像。因此，在一些这样的布置中，可以将对应的可见光图像和声学图像在对应的像素处叠加在彼此上面。操作者可以与用户界面216进行交互，以控制显示在显示器214上的图像中的一个或二者的透明度或不透明度。例如，操作者可以与用户界面216进行交互，以在完全透明与完全不透明之间调整声学图像，以及还在完全透明与完全不透明之间调整可见光图像。这样的示例性组合布置（其可以被称为α混合布置）可以允许操作者调整显示器214以显示仅声学图像、仅可见光图像，或在仅声学图像和仅可见光图像的极端情况之间的两个图像的任何重叠组合。处理器212还可以将场景信息与其它数据进行组合，该其它数据诸如是警报数据等等。一般而言，可见光图像和声学图像的α混合组合可以包括从200%声学和0%可见光到0%声学和200%可见光的任何情况。在一些实施例中，混合的量可以由相机的用户来调整。因此，在一些实施例中，可以在200%可见光和200%声学之间调整混合图像。

附加地，在一些实施例中，处理器212可以解译并执行来自用户界面216和/或输出/控制设备218的命令。此外，可以使用输入信号来更改在处理器212中发生的对可见光和/或声学图像数据的处理。

操作者可以经由用户界面216与声学分析系统200进行交互，该用户界面208可以包括按钮、按键或用于从用户接收输入的另一机构。操作者可以经由显示器214接收来自声学分析系统200的输出。显示器214可以被配置成以任何可接受的调色板或配色方案来显示声学图像和/或可见光图像，并且该调色板可以例如响应于用户控制而变化。在一些实施例中，可以以调色板来呈现声学图像数据，以便表示来自场景中的不同位置的声学数据的变化量值。例如，在一些示例中，显示器214被配置成以单色调色板（诸如灰度）来显示声学图像。在其它示例中，显示器214被配置成以诸如例如琥珀色、铁红色(ironbow)、蓝红色或其它高对比度配色方案之类的颜色调色板来显示声学图像。还可设想到灰度和颜色调色板显示的组合。在一些示例中，被配置成显示这样的信息的显示器可以包括用于生成和呈现这样的图像数据的处理能力。在其它示例中，被配置成显示这样的信息可以包括从其它组件（诸如处理器212）接收图像数据的能力。例如，处理器212可以生成针对要显示的每个像素的值（例如，RGB值、灰度值或其它显示选项）。显示器214可以接收这样的信息，并且将每个像素映射到视觉显示器中。

虽然处理器212可以控制显示器214以任何合适的布置同时显示声学图像的至少一部分和可见光图像的至少一部分，但是图中图布置可以通过以相邻对准的方式显示同一场景的对应的可见图像来帮助操作者容易地聚焦和/或解译声学图像。

电源（未示出）将操作功率递送到声学分析系统200的各个组件。在各种示例中，电源可以包括可再充电或不可再充电的电池和发电电路、AC电源、感应式功率传感器（aninductive power pick-up）、光伏电源或任何其他适当的供电组件。供电组件的组合也是可能的，诸如可再充电电池和被配置成提供功率以操作设备和/或对可再充电电池进行充电的另一组件。

在声学分析系统200的操作期间，处理器212在与被存储在存储器中的程序信息相关联的指令的帮助下，控制声学传感器阵列202和可见光相机模块206，以生成目标场景的可见光图像和声学图像。处理器212进一步控制显示器214来显示声学分析系统200所生成的可见光图像和/或声学图像。

如上所述，在某些情况下，可能难以在声学图像中识别和区分开目标场景的现实世界（可见）特征。在一些实施例中，除了用可见光信息补充声学图像之外，强调目标场景内的可见边缘可能是有用的。在一些实施例中，可以在目标场景的可见光图像上实行已知的边缘检测方法。由于声学图像与可见光图像之间的对应关系，被确定为表示目标场景中的可见边缘的可见光像素对应于也表示声学图像中的可见边缘的声学像素。将领会的是，如本文中使用的，“边缘”不必指代对象的物理边界，而是可以指代可见光图像中的任何足够尖锐的梯度。示例可以包括对象的物理边界、对象内的颜色变化、跨场景的阴影等等。

尽管通常参照图2被描述为包括可见光相机模块206，但在一些示例中，声学分析系统200的电磁成像工具203可以附加地或替换地包括：能够生成代表各种各样的波谱的图像数据的成像工具。例如，在各种示例中，电磁成像工具203可以包括一个或多个能够生成红外图像数据、可见光图像数据、紫外图像数据或任何其他有用波长或其组合的工具。在一些实施例中，声学成像系统可以包括具有红外透镜组装件和红外传感器阵列的红外相机模块。可以包括用于与例如红外相机模块对接的附加组件，诸如在题为“EDGE ENHANCEMENTFOR THERMAL-VISIBLE COMBINED IMAGES AND CAMERAS”且于2015年8月27日提交的美国专利申请号14/837,757中描述的那些，该美国专利申请被转让给本申请的受让人并且通过引用整体地并入本文中。

在一些示例中，两个或更多个数据流可以被混合以用于显示。例如，包括可见光相机模块206、声学传感器阵列202和红外相机模块（图2中未示出）的示例性系统可以被配置成产生包括可见光(VL)图像数据、红外(IR)图像数据和声学（Acoustic）图像数据的混合的输出图像。在示例性混合方案中，显示图像可以被表示为：α×IR+β×VL+γ×Acoustic，其中，α+β+γ=1。一般而言，可以组合任何数量的数据流以用于显示。在各种实施例中，可以由用户设置诸如α、β和γ之类的混合比。附加地或替换地，例如，如在题为“VISIBLE LIGHTAND IR COMBINED IMAGE CAMERA WITH A LASER POINTER”的美国专利号7,538,326中所述，可以基于警报条件（例如，一个或多个数据流中的一个或多个值满足预定阈值）或其他条件，将设置的显示程序配置成包括不同的图像数据流，该美国专利被转让给本申请的受让人，并且通过引用整体地并入本文中。

相对于图2所描述的声学分析系统200中的一个或多个组件可以被包括在便携式（例如，手持式）声学分析工具中。例如，在一些实施例中，便携式声学分析工具可以包括被配置成将组件容纳在声学分析工具中的壳体230。在一些示例中，系统200的一个或多个组件可以位于声学分析工具的壳体230的外部。例如，在一些实施例中，处理器212、显示器214、用户界面216和/或输出控制设备218可以位于声学分析工具的壳体的外部，并且可以例如经由无线通信（例如，蓝牙通信、Wi-Fi等）与各种其他系统组件进行通信。可以例如经由诸如计算机、智能电话、平板设备、可穿戴设备等等的外部设备来提供声学分析工具外部的此类组件。附加地或替换地，被配置成相对于声学分析工具充当主设备或从设备的其他测试和测量或数据获取工具可以类似地在声学分析工具外部提供声学分析系统的各种组件。外部设备可以经由有线和/或无线连接与便携式声学分析工具进行通信，并且可以被用来实行各种处理、显示和/或接口步骤。

在一些实施例中，这样的外部设备可以提供冗余功能，作为被容纳在便携式声学分析工具中的组件。例如，在一些实施例中，声学分析工具可以包括用于显示声学图像数据的显示器，并且可以进一步被配置成将图像数据传送到外部设备以进行存储和/或显示。类似地，在一些实施例中，用户可以经由在智能电话、平板设备、计算机等等上运行的应用程序（“app”）来与声学分析工具对接，以便实行还能够与声学分析工具本身一起实行的一个或多个功能。

图3A是声学分析系统内的声学传感器阵列的示例性配置的示意图。在图示的示例中，声学传感器阵列302包括：多个第一声学传感器（以白色示出）和多个第二声学传感器（阴影的）。第一声学传感器被布置成第一阵列320，并且第二声学传感器被布置成第二阵列322。在一些示例中，第一阵列320和第二阵列322可以被选择性地用来接收用于生成声学图像数据的声信号。例如，在一些配置中，特定声学传感器阵列对特定声频率的灵敏度是声学传感器元件之间的距离的函数。

在一些配置中，比起间隔更远的传感器元件（例如，第一阵列320），在一起间隔更紧密的传感器元件（例如，第二阵列322）能够更好地分辨高频声信号（例如，频率大于20kHz的声音，诸如20 kHz与100 kHz之间的超声信号）。类似地，比起间隔更紧密的传感器元件（例如，第二阵列322），间隔更远的传感器元件（例如，第一阵列320）可能更适合于检测低频声信号（例如，< 20 kHz）。可以提供具有彼此间隔开的传感器元件的各种声学传感器阵列，以用于检测具有各种频率范围的声信号，该频率范围诸如是次声频率（< 20 Hz）、可听频率（近似20 Hz与20 kHz之间）、超声频率（20 kHz与100 kHz之间）。在一些实施例中，可以使用部分阵列（例如，来自阵列320的每个其他声学传感器元件）来优化对特定频带的检测。

附加地，在一些示例中，一些声学传感器元件可能更适合于检测具有不同频率特性（诸如低频或高频）的声信号。因此，在一些实施例中，被配置成用于检测低频声信号的阵列（诸如具有间隔更远的传感器元件的第一阵列320）可以包括更适合于检测低频声信号的第一声学传感器元件。类似地，被配置成用于检测较高频率的声信号的阵列（诸如第二阵列322）可以包括更适合于检测高频声信号的第二声学传感器元件。因此，在一些示例中，声学传感器元件的第一阵列320和第二阵列322可以包括不同类型的声学传感器元件。替换地，在一些实施例中，第一阵列320和第二阵列322可以包括相同类型的声学传感器元件。

因此，在示例性实施例中，声学传感器阵列302可以包括多个声学传感器元件阵列，诸如第一阵列320和第二阵列322。在一些实施例中，阵列可以单独地或以组合的形式使用。例如，在一些示例中，用户可以选择使用第一阵列320、使用第二阵列322或同时使用第一阵列320和第二阵列322两者来实行声学成像过程。在一些示例中，用户可以经由用户界面选择要使用哪些（一个或多个）阵列。附加地或替换地，在一些实施例中，声学分析系统可以基于对所接收的声信号或其他输入数据（诸如预期频率范围等等）的分析来自动选择要使用的（一个或多个）阵列。尽管图3A中所示的配置通常包括：通常以矩形格子布置的两个阵列（第一阵列320和第二阵列322），但将领会的是，多个声学传感器元件可以被分组为采用任何形状的任何数量的离散阵列。此外，在一些实施例中，一个或多个声学传感器元件可以被包括在可以被选择用于操作的多个有区别的阵列中。如本文中其他地方所述，在各种实施例中，基于声学传感器元件的布置来实行用于反向传播声信号以从场景建立声学图像数据的过程。因此，声学传感器的布置可以是已知的或以其他方式可由处理器访问的，以便实行声学图像生成技术。

图3A的声学分析系统进一步包括：距离测量工具304和被定位在声学传感器阵列302内的相机模块306。相机模块306可以表示电磁成像工具（例如，203）的相机模块，并且可以包括可见光相机模块、红外相机模块、紫外线相机模块等等。附加地，虽然在图3A中未示出，但声学分析系统可以包括与相机模块306的类型相同或类型不同的一个或多个附加的相机模块。在图示的示例中，距离测量工具304和相机模块306被定位在第一阵列320和第二阵列322中的声学传感器元件的格子内。虽然被示为设置在第一阵列320和第二阵列322内的格子位点之间，但在一些实施例中，一个或多个组件（例如，相机模块306和/或距离测量工具304）可以被定位在第一阵列320和/或第二阵列322中的对应的一个或多个格子位点处。在一些这样的实施例中，（一个或多个）组件可以被定位在格子位点处，以代替根据格子布置通常原本会处于这样的位置中的声学传感器元件。

如本文中其他地方所述，声学传感器阵列可以包括以各种各样的配置中的任何配置布置的声学传感器元件。图3B和图3C是图示了示例性声学传感器阵列配置的示意图。图3B示出了声学传感器阵列390，其包括在近似正方形的格子中均匀间隔开的多个声学传感器元件。距离测量工具314和相机阵列316被定位在声学传感器阵列390内。在图示的示例中，声学传感器阵列390中的声学传感器元件是相同类型的传感器，尽管在一些实施例中，可以在阵列390中使用不同类型的声学传感器元件。

图3C示出了多个声学传感器阵列。声学传感器阵列392、394和396均包括以不同形状的阵列布置的多个声学传感器元件。在图3C的示例中，声学传感器阵列392、394和396可以单独地使用或以任何组合的形式一起使用，以创建各种大小的传感器阵列。在图示的实施例中，阵列396的传感器元件比阵列392的传感器元件更紧密地间隔在一起。在一些示例中，阵列396被设计成用于感测高频声学数据，而阵列392被设计成用于感测低频声学数据。

在各种实施例中，阵列392、394和396可以包括相同或不同类型的声学传感器元件。例如，声学传感器阵列392可以包括其频率工作范围比声学传感器阵列396的传感器元件的频率工作范围低的传感器元件。

如本文中其他地方所述，在一些示例中，可以在各种操作模式（例如，要成像的不同期望频谱）期间选择性地关闭和打开不同的声学传感器阵列（例如，392、394、396）。附加地或替换地，可以根据期望的系统操作来启用或禁用各种声学传感器元件（例如，一个或多个传感器阵列中的一些或全部声学传感器元件）。例如，在一些声学成像过程中，虽然来自大量传感器元件（例如，以高密度布置的传感器元件，诸如在传感器阵列396中）的数据稍微改进了声学图像数据的分辨率，但这是以从每个传感器元件处所接收的数据中提取声学图像数据的所需处理为代价的。即，在一些示例中，处理大量输入信号（例如，来自大量声学传感器元件的信号）所需的增加的处理需求（例如，成本、处理时间、功耗等方面）与附加的数据流所提供的任何附加的信号分辨率相比是负面的。因此，在一些实施例中，取决于期望的声学成像操作来禁用或忽略来自一个或多个声学传感器元件的数据可能是值得的。

与图3A和图3B的系统相似，图3C的系统包括被定位在声学传感器阵列392、394和396内的距离测量工具314和相机阵列316。在一些示例中，诸如附加的相机阵列（例如，被用于对来自相机阵列316的电磁波谱的不同部分进行成像）之类的附加的组件可以类似地被定位在声学传感器阵列392、394和396内。将领会的是，尽管在图3A-2C中被示为被定位在一个或多个声学传感器阵列内，但距离测量工具和/或一个或多个成像工具（例如，可见光相机模块、红外相机模块、紫外线传感器等）可以位于（一个或多个）声学传感器阵列外部。在一些这样的示例中，距离测量工具和/或位于（一个或多个）声学传感器阵列外部的一个或多个成像工具可以由声学成像工具支撑，例如，由容纳（一个或多个）声学传感器阵列的壳体支撑，或者可以位于声学成像工具的壳体外部。

在一些示例中，声学传感器阵列和成像工具（诸如相机模块）的一般未对准可以导致声学传感器阵列和成像工具所生成的对应的图像数据中的未对准。图4A示出了在可见光图像数据和声学图像数据的帧的生成中的视差误差的示意图。一般而言，视差误差可以是垂直的、水平的或两者兼有。在图示的实施例中，声学传感器阵列420和成像工具包括可见光相机模块406。可见光图像帧440被示为是根据可见光相机模块406的视场441捕获的，而声学图像帧450被示为是根据声学传感器阵列420的视场451捕获的。

如所示的，可见光图像帧440和声学成像帧450没有彼此对准。在一些实施例中，处理器（例如，图2的处理器212）被配置成操纵可见光图像帧440和声学图像帧450之一或两者，以便对准可见光图像数据和声学图像数据。这样的操纵可以包括使一个图像帧相对于另一图像帧移位。可以基于各种各样的因素来确定图像帧相对于彼此发生移位的量，该因素包括例如从可见光相机模块406和/或声学传感器阵列420到目标的距离。可以例如使用距离测量工具404或经由用户界面（例如，216）接收距离值来确定这样的距离数据。

图4B是类似于图4A的示意图，但是包括场景的可见光图像。在图4B的示例中，可见光图像442示出了具有多条电力线和支撑塔的场景。声学图像452包括多个位置454、456、458，这些位置指示来自这样的位置的高量值声学数据。如所示的，可见光图像442和声学图像452两者被同时显示。然而，对这两个图像的观察示出了在位置458处的至少一个声学图像局部最大值，其似乎与可见光图像442中的任何特定结构都不一致。因此，观察两个图像的人可以得出结论，在声学图像452与可见光图像442之间存在未对准（例如，视差误差）。

图5A和图5B示出了可见光图像与声学图像之间的视差校正。类似于图4B，图5A示出了可见光图像542和声学图像552。声学图像552包括在位置554、556和558处的局部最大值。如可以看到的，位置554和558处的最大值似乎与可见光图像中的任何结构都不一致。在图5B的示例中，可见光图像542和声学图像552相对于彼此配准。现在，声学图像中的位置554、556和558处的局部最大值似乎与可见光图像542中的各个位置相一致。

在使用过程中，操作者可以（例如，经由显示器214）查看图5B中的表示，并且确定可见场景542中有可能是所接收的声信号的源的近似位置。可以进一步处理这样的信号，以便确定关于场景中的各种组件的声学特征（acoustic signature）的信息。在各种实施例中，可以相对于声学图像中的各种位置来分析声学参数，诸如频率内容、周期性、幅值等等。当覆盖到可见光数据上以使得这样的参数可以与各种系统组件相关联时，声学图像数据可以被用来分析可见光图像中的对象的各种属性（例如，性能特性）。

图5C和图5D是图5A和图5B的彩色版本。如图5A和图5B中所示，并且在图5C和图5D的彩色表示中更容易看到的，位置554、556和558在颜色上示出了圆形梯度。如本文中其他地方所述，可以根据调色方案在视觉上表示声学图像数据，在该调色方案中，声学图像数据的每个像素基于对应位置处的声强度而着色。因此，在图5A-5D的示例性表示中，位置554、556、558的圆形梯度通常表示基于反向传播的所接收的声信号的成像平面中的声强度中的梯度。

将领会的是，尽管相对于声学图像数据和可见光图像数据描述了图4A、4B、5A-5D中的示例性图示，但可以利用各种各样的电磁图像数据类似地实行这样的过程。例如，如本文中其他地方所述，在各种实施例中，可以使用声学图像数据与可见光图像数据、红外图像数据、紫外图像数据等等中的一个或多个的组合来实行各种这样的过程。

如本文中其他地方所述，在一些实施例中，反向传播声信号以形成声学图像可以基于到目标的距离的值。即，在一些示例中，反向传播计算可以基于距离，并且可以包括确定二维声学场景，该二维声学场景位于距声学传感器阵列的该距离处。在给定二维成像平面的情况下，从平面中的源发出的球形声波的横截面通常会呈现圆形，其中强度在径向上衰减，如图5A-5B中所示。

在一些这样的示例中，表示未在反向传播计算中使用的、到目标的距离处的数据的声学场景的部分将导致声学图像数据中的误差，诸如场景中的一个或多个声音的位置不准确。当声学图像与其他图像数据（例如，电磁图像数据，诸如可见光、红外或紫外图像数据）同时（例如，混合、组合等）显示时，这样的误差可能导致声学图像数据与其他图像数据之间的视差误差。因此，在一些实施例中，用于校正视差误差的一些技术（例如，如图5A和图5B所示）包括：调整在用于生成声学图像数据的反向传播计算中使用的到目标的距离的值。

在一些情况下，该系统可以被配置成使用第一到目标的距离的值来实行反向传播过程，并且显示诸如图5A所示的显示图像，其中声学图像数据和另一数据流可能未对准。随后，声学分析系统可以调整反向传播所使用的到目标的距离的值，再次实行反向传播，并且利用新的声学图像数据来更新显示图像。该过程可以重复进行，其中在用户观察显示器上的所得显示图像的同时，声学分析系统循环通过多个到目标的距离（distance-to-target）的值。随着到目标的距离的值的变化，用户可以观察到从图5A所示的显示图像到图5B所示的显示图像的逐渐过渡。在一些这样的情况下，用户可以在视觉上观察声学图像数据何时似乎与另一数据流（诸如电磁图像数据）正确地配准。用户可以向声学分析系统发送信号表明声学图像数据似乎已正确地配准，从而向系统指示被用来实行最近的反向传播的到目标的距离的值是近似正确的，并且可以将该距离值作为正确的到目标的距离保存到存储器。类似地，当在经更新的反向传播过程中使用新的距离值来更新显示图像时，用户可以手动调整到目标的距离的值，直到用户观察到声学图像数据被正确地配准为止。用户可以选择在声学分析系统中将当前的到目标的距离保存为当前的到目标的距离。

在一些示例中，校正视差误差可以包括基于到目标的距离的数据，按预定量并且在预定方向上相对于其他图像数据（例如，电磁图像数据）调整声学图像数据的方位。在一些实施例中，通过将声信号反向传播到识别出的到目标的距离，这样的调整独立于声学图像数据的生成。

在一些实施例中，除了被用来生成声学图像数据并且减小声学图像数据与其他图像数据之间的视差误差之外，到目标的距离的值还可以被用于进行其他确定。例如，在一些示例中，如美国专利号7,538,326中所述，处理器（例如，212）可以使用到目标的距离的值，以便聚焦或帮助用户聚焦诸如红外图像之类的图像，该美国专利通过引用而并入。如其中所述，这可以类似地被用来校正可见光图像数据与红外图像数据之间的视差误差。因此，在一些示例中，距离值可以被用来将声学图像数据与电磁成像数据（诸如红外图像数据和可见光图像数据）进行配准。

如本文中其他地方所述，在一些示例中，距离测量工具（例如，204）被配置成提供可以被处理器（例如，212）用来生成和配准声学图像数据的距离信息。在一些实施例中，距离测量工具包括激光测距仪，该激光测距仪被配置成在距离被测量的位置处将光发射到目标场景上。在一些这样的示例中，激光测距仪可以发射可见光谱中的光，使得用户可以查看物理场景中的激光点，以确保测距仪正在测量到场景的期望部分的距离。附加地或替换地，激光测距仪被配置成发射一个或多个成像组件（例如，相机模块）对其敏感的光谱中的光。因此，经由分析工具（例如，经由显示器214）查看目标场景的用户可以观察场景中的激光点，以确保激光正在测量到目标场景中的正确位置的距离。在一些示例中，处理器（例如，212）可以被配置成基于当前距离值（例如，基于激光测距仪与声学传感器阵列之间的已知的基于距离的视差关系），在所显示的图像中生成代表激光点将在声学场景中所位于的位置的参考标记。可以将参考标记的位置与实际激光标记的位置（例如，在显示器上以图形方式和/或在目标场景中物理地）进行比较，并且可以调整场景，直到参考标记和激光相一致为止。可以类似于美国专利号7,538,326中所描述的红外配准和聚焦技术来实行这样的过程，该美国专利通过引用而并入。

图6是示出了用于生成将声学图像数据和电磁图像数据进行组合的最终图像的示例性方法的过程流程图。该方法包括以下步骤：经由声学传感器阵列接收声信号(680)；以及接收距离信息(682)。可以例如经由距离测量设备和/或用户界面，诸如经由手动输入，或作为距离调整过程的结果来接收距离信息，通过该距离调整过程，基于观察到的配准来确定距离。

该方法进一步包括：反向传播所接收的声信号以确定代表声学场景的声学图像数据(684)。如本文中其他地方所述，反向传播可以包括结合所接收的距离信息来分析在声学传感器阵列中的多个传感器元件处所接收的多个声信号，以确定所接收的声信号的源模式。

图6的方法进一步包括以下步骤：捕获电磁图像数据(686)，以及将声学图像数据与电磁图像数据进行配准(688)。在一些实施例中，将声学图像数据与电磁图像数据进行配准是作为用于生成声学图像数据的反向传播步骤的一部分进行的(684)。在其他示例中，将声学图像数据与电磁图像数据进行配准是与声学图像数据的生成单独进行的。

图6的方法包括以下步骤：将声学图像数据与电磁图像数据进行组合以便生成显示图像(690)。如本文中其他地方所述，将电磁图像数据和声学图像数据进行组合可以包括：将电磁图像数据和声学图像数据进行α混合。将图像数据进行组合可以包括诸如在画中画模式中或在满足某些条件（例如，警报条件）的位置中将一个图像数据集叠加到另一图像数据集上。可以例如经由被壳体（其支撑了声学传感器阵列）支撑的显示器、和/或经由与传感器阵列分开的显示器（诸如外部设备（例如，智能电话、平板设备、计算机等）的显示器）来将显示图像呈现给用户。

附加地或替换地，显示图像可以被保存在本地（例如，板载）存储器和/或远程存储器中以供将来查看。在一些实施例中，所保存的显示图像可以包括：允许将来调整显示图像属性的元数据，该属性诸如是混合比、反向传播距离或被用来生成图像的其他参数。在一些示例中，原始声信号数据和/或电磁图像数据可以与显示图像一起保存，以供后续处理或分析。

虽然被示为用于生成将声学图像数据和电磁图像数据进行组合的最终图像的方法，将领会的是，图6的方法可以被用来将声学图像数据与跨越电磁波谱的任何部分的一个或多个图像数据集合进行组合，诸如可见光图像数据、红外图像数据、紫外图像数据等等。在一些这样的示例中，可以经由与关于图6所描述的方法类似的方法，将诸如可见光图像数据和红外图像数据之类的多种图像数据集合都与声学图像数据进行组合以生成显示图像。

在一些示例中，经由传感器阵列接收声信号(680)可以包括以下步骤：选择利用其接收声信号的声学传感器阵列。如例如关于图3A-C所描述的，声学分析系统可以包括多个声学传感器阵列，它们可以适合于分析具有变化的频率的声信号。附加地或替换地，在一些示例中，不同的声学传感器阵列可以用于分析从不同距离传播的声信号。在一些实施例中，不同的阵列可以嵌套在彼此内部。附加地或替换地，可以选择性地使用部分阵列来接收声学图像信号。

例如，图3A示出了第一阵列320和嵌套在第一阵列内部的第二阵列322。在示例性实施例中，第一阵列320可以包括传感器阵列，该传感器阵列被配置成（例如，间隔开）用于接收声信号，并且生成针对第一频率范围内的频率的声学图像数据。第二阵列322可以包括例如第二传感器阵列，该第二传感器阵列被配置成单独地使用、或与全部或部分第一阵列320进行组合地使用，以用于生成针对第二频率范围内的频率的声学图像数据。

类似地，图3C示出了第一阵列392、至少部分地嵌套在第一阵列392内的第二阵列394，以及至少部分地嵌套在第一阵列392和第二阵列394内的第三阵列396。在一些实施例中，第一阵列392可以被配置成用于接收声信号，并且生成针对第一频率范围内的频率的声学图像数据。第二阵列394可以与全部或部分第一阵列392一起使用，以用于接收声信号，并且生成针对第二频率范围内的频率的声学图像数据。第三阵列396可以单独使用、与全部或部分第二阵列394一起使用、和/或与全部或部分第一阵列392一起使用，以用于接收声信号，并且生成针对第三频率范围内的频率的声学图像数据。

在一些实施例中，在嵌套阵列配置中，来自一个阵列的声学传感器元件可以被定位在声学传感器元件之间，诸如第三阵列396的元件通常位于第一阵列392的元件之间。在一些这样的示例中，嵌套阵列（例如，第三阵列396）中的声学传感器元件可以被定位在与其嵌套于其中的阵列（例如，第一阵列392）中的声学传感器元件相同的平面中、在其前面或在其后面。

在各种实现方式中，被用于感测更高频声信号的阵列通常需要各个传感器之间的距离较小。因此，关于图3C，例如，第三阵列396可以更好地适合于实行涉及高频声信号的声学成像过程。其他传感器阵列（例如，第一阵列392）可能足以实行涉及较低频信号的声学成像过程，并且在与阵列396相比时，可以使用其他传感器阵列，以便减少处理来自较少数量的声学传感器元件的信号的计算需求。因此，在一些示例中，高频传感器阵列可以嵌套在低频传感器阵列内。如本文中其他地方所述，这样的阵列通常可以单独地（例如，经由有源阵列之间的切换）或一起操作。

在基于用于分析的预期/期望频谱来选择适当的传感器阵列之外或作为其替代，在一些示例中，不同的传感器阵列可能更适合于在到目标场景的不同距离处实行声学成像过程。例如，在一些实施例中，如果声学传感器阵列与目标场景之间的距离很小，则与位于更中心的传感器元件相比，声学传感器阵列中的外部传感器元件可以接收到来自目标场景的明显不那么有用的声学信息。

另一方面，如果声学传感器阵列与目标场景之间的距离较大，则紧密间隔的声学传感器元件可能无法单独提供有用的信息。即，如果第一和第二声学传感器元件靠近在一起，并且目标场景通常在远处，则第二声学传感器元件可能不会提供与第一声学传感器元件在意义上不同的任何信息。因此，来自这样的第一传感器元件和第二传感器元件的数据流可能是冗余的，并且不必要地消耗了处理时间和用于分析的资源。

如本文中其他地方所述，除了影响哪些传感器阵列可能最适合于实行声学成像之外，到目标的距离还可以被用于实行反向传播，以用于根据所接收的声信号来确定声学图像数据。然而，除了作为对反向传播算法的输入值之外，到目标的距离可以被用来选择要使用的适当的反向传播算法。例如，在一些示例中，在远距离处，与声学传感器阵列的大小相比，球形传播的声波可以被近似为基本上是平面的。因此，在一些实施例中，当到目标的距离较大时，所接收的声信号的反向传播可以包括声学波束形成计算。然而，当更靠近声波的源时，声波的平面近似可能不合适。因此，可以使用不同的反向传播算法，诸如近场声全息术。

如所描述的，到目标的距离的度量可以在声学成像过程中以各种各样的方式使用，该声学成像过程诸如是确定（一个或多个）有源传感器阵列、确定反向传播算法、实行反向传播算法和/或将所得声学图像与电磁图像数据（例如，可见光、红外线等）进行配准。图7是示出了用于从所接收的声信号生成声学图像数据的示例性过程的过程流程图。

图7的过程包括：诸如经由用户接口、例如从距离测量设备或输入的距离信息接收距离信息(780)。该方法进一步包括以下步骤：基于所接收的距离信息来选择一个或多个声学传感器阵列以用于实行声学成像(782)。如所描述的，在各种示例中，所选择的（一个或多个）阵列可以包括单个阵列、多个阵列的组合，或者一个或多个阵列的部分。

图7的方法进一步包括以下步骤：基于所接收的距离信息来选择用于实行声学成像的处理方案(784)。在一些示例中，选择处理方案可以包括：选择用于从声信号生成声学图像数据的反向传播算法。

在选择了声学传感器阵列(782)和用于实行声学成像的处理方案(784)之后，该方法包括以下步骤：经由所选声学传感器阵列接收声信号(786)。然后使用距离和所选处理方案来反向传播所接收的声信号以确定声学图像数据(788)。

在各种实施例中，图7的步骤可以由用户、声学分析系统（例如，经由处理器212）或其组合来实行。例如，在一些实施例中，处理器可以被配置成经由距离测量工具和/或用户输入来接收距离信息(780)。在一些示例中，例如，如果到对象的距离是已知的和/或难以经由距离测量工具进行分析（例如，对象大小较小和/或到目标的距离较大等），则用户可以输入值以覆盖（override）所测量的距离以用作距离信息。处理器可以被进一步配置成基于所接收的距离信息，例如，使用查找表或其他数据库，自动选择用于实行声学成像的适当的声学传感器阵列。在一些实施例中，选择声学传感器阵列包括启用和/或禁用一个或多个声学传感器元件，以便获得期望的声学传感器阵列。

类似地，在一些示例中，处理器可以被配置成基于所接收的距离信息自动选择用于实行声学成像的处理方案（例如，反向传播算法）。在一些这样的示例中，这可以包括从存储在存储器中的多个已知处理方案中选择一个。附加地或替换地，选择处理方案可以等同于调整单个算法的各部分以获得期望的处理方案。例如，在一些实施例中，单个反向传播算法可以包括多个项和变量（例如，基于距离信息）。在一些这样的示例中，选择处理方案(784)可以包括在单个算法中定义一个或多个值，诸如调整一个或多个项的系数（例如，将各种系数设置为零或一等）。

因此，在一些实施例中，声学成像系统可以通过基于所接收的距离数据建议和/或自动实现所选声学传感器阵列和/或处理方案（例如，反向传播算法）来使声学成像过程的几个步骤自动化。这可以加速、改进和简化声学成像过程，从而消除了声学成像专家执行声学成像过程的要求。因此，在各种示例中，声学成像系统可以自动实现这样的参数、通知用户即将实现这样的参数、向用户请求许可来实现这样的参数、建议这样的参数以供用户手动输入等等。

此类参数（例如，处理方案、传感器阵列）的自动选择和/或建议对于相对于其他形式的图像数据、处理速度和声学图像数据的分析来优化声学图像数据的定位可能是有用的。例如，如本文中其他地方所述，准确的反向传播确定（例如，使用适当的算法和/或准确的距离度量）可以减少声学图像数据与其他（例如，电磁波，诸如可见光、红外线等）图像数据之间的视差误差。附加地，利用诸如可以由声学分析系统自动选择或建议的适当算法和/或传感器阵列可以优化热图像数据的准确性，从而允许对所接收的声学数据进行分析。

如所描述的，在一些示例中，声学分析系统可以被配置成基于所接收的距离信息自动选择用于实行声学成像过程的算法和/或传感器阵列。在一些这样的实施例中，系统包括例如存储在存储器中的查找表，用于确定要使用多个反向传播算法和声学传感器阵列中的哪个来确定声学图像数据。图8示出了用于确定在声学成像过程期间使用的适当算法和传感器阵列的示例性查找表。

在图示的示例中，图8的查找表包括N列，每列表示不同的阵列：阵列1、阵列2，……，阵列N。在各种示例中，每个阵列包括所布置的声学传感器元件的唯一集合。不同的阵列可以包括被布置成格子的传感器元件（例如，图3C中的阵列392和阵列396）。查找表内的阵列还可以包括来自一个或多个此类格子的传感器元件的组合。一般而言，在一些实施例中，阵列：阵列1、阵列2，……，阵列N中的每一个对应于声学传感器元件的唯一组合。此类组合中的一些可以包括以特定格子布置的传感器元件的整个集合，或者可以包括以特定格子布置的传感器元件的子集。声学传感器元件的各种各样的组合中的任何一种都是用作查找表中的传感器阵列的可能选项。

图8的查询表进一步包括M行，每行表示不同的算法：算法1、算法2，……，算法M。在一些示例中，不同的算法可以包括用于对所接收的声音信号实行反向传播分析的不同过程。如本文中其他地方所述，在一些示例中，一些不同的算法可以彼此类似，同时具有用于修改反向传播结果的不同系数和/或项。

图8的示例性查找表包括M×N个条目。在一些实施例中，利用这种查找表的声学分析系统被配置成分析所接收的距离信息，并且将距离信息分类到M×N个分箱之一中，其中，每个分箱对应于图8的查找表中的条目。在这样的示例中，当声学分析系统接收到距离信息时，系统可以在查找表中找到与距离信息所在的分箱相对应的条目(i，j)，并且确定适当的算法和传感器阵列以供在声学成像过程期间使用。例如，如果所接收的距离信息对应于与条目(i，j)相关联的分箱，则声学分析系统可以为声学成像过程自动利用或建议使用算法i和阵列j。

在各种这样的示例中，距离信息分箱可以对应于统一大小的距离范围，例如，第一分箱对应于一英尺内的距离，第二分箱对应于一英尺与两英尺之间的距离等等。在其他示例中，分箱不需要对应于统一大小的距离跨度。附加地，在一些实施例中，可以使用少于M×N个分箱。例如，在一些实施例中，可能存在从未供特定阵列（例如，Array y）使用的算法（例如，Algorithm x）。因此，在这样的示例中，在M×N查找表中将没有与条目(x，y)相对应的对应距离信息分箱。

在一些实施例中，对经填充的距离分箱的统计分析可以被用于识别目标场景内的最普通的距离或距离范围。在一些这样的实施例中，具有最高数量的对应位置（例如，具有声信号的最高数量的位置）的距离分箱可以被用作图7的过程中的距离信息。即，在一些实施例中，可以基于对目标场景中各种对象的距离分布的统计分析来实现和/或推荐所利用的声学传感器阵列和/或处理方案。这可以增加被用于对场景进行声学成像的传感器阵列和/或处理方案适合于声学场景内的最大数量的位置的可能性。

附加地或替换地，除了距离信息之外的参数可以被用来选择适当的传感器阵列和/或处理方案以在生成声学图像数据时使用。如本文中其他地方所述，各种传感器阵列可以被配置成对某些频率和/或频带是敏感的。在一些示例中，可以根据不同的声信号频率内容来类似地使用不同的反向传播计算。因此，在一些示例中，一个或多个参数可以被用来确定处理方案和/或声学传感器阵列。

在一些实施例中，声学分析系统可以被用来初始地分析所接收的声信号处理/分析的各种参数。往回参照图7，用于生成声学图像数据的方法可以包括以下步骤：在接收到声信号之后(786)，分析所接收的信号的频率内容(790)。在一些这样的示例中，如果已经选择了（一个或多个）声学传感器阵列和/或处理方案（例如，分别经由步骤782和/或784进行），则该方法可以包括以下步骤：例如基于所分析的频率内容来更新（一个或多个）所选阵列和/或更新所选处理方案(792)。

在更新了（一个或多个）传感器阵列和/或处理方案之后，该方法可以使用经更新的参数来实行各种动作。例如，如果基于所分析的频率内容（790）更新了（一个或多个）所选传感器阵列(792)，则可以从（最近）所选声学传感器阵列接收新的声信号(786)，然后可以将该声信号反向传播以确定声学图像数据(788)。替换地，如果在792处更新了处理方案，则可以根据经更新的处理方案来反向传播已经捕获的声信号，以确定经更新的声学图像数据。如果处理方案和（一个或多个）传感器阵列两者都被更新，则可以使用经更新的传感器阵列来接收新的声信号，并且可以根据经更新的处理方案来反向传播新的声信号。

在一些实施例中，声学分析系统可以接收频率信息(778)而不分析所接收的声信号的频率内容(790)。例如，在一些示例中，声学分析系统可以接收关于期望或预期的频率范围的信息以用于将来的声学分析。在一些这样的示例中，期望或预期的频率信息可以被用来选择一个或多个传感器阵列和/或最适合该频率信息的处理方案。在一些这样的示例中，选择（一个或多个）声学传感器阵列(782)和/或选择处理方案(784)的（一个或多个）步骤可以除了所接收的距离信息之外或作为其替代而基于所接收的频率信息。

在一些示例中，可以例如经由声学分析系统的处理器（例如，210）来分析所接收的声信号（例如，经由声学传感器元件接收的声信号）。这样的分析可以被用来确定声信号的一个或多个属性，诸如频率、强度、周期性、表观接近度（apparent proximity）（例如，基于所接收的声信号估计的距离）、测量的接近度或其任何组合。在一些示例中，可以对声学图像数据进行滤波，例如，以仅示出表示具有特定频率内容、周期性等等的声信号的声学图像数据。在一些示例中，可以同时应用任何数量的这种滤波器。

如本文中其他地方所述，在一些实施例中，可以随着时间的推移捕获一系列声学图像数据帧，这类似于声学视频数据。附加地或替换地，即使没有重复地生成声学图像数据，但在一些示例中，也对声信号进行重复地采样和分析。因此，在有或没有重复的声学图像数据生成（例如，视频）的情况下，可以随着时间的推移监视声学数据的参数（诸如频率）。

图9A是在声学场景中随时间的推移所接收的图像数据的频率内容的示例性标绘图。如所示的，图9A的标绘图所表示的声学场景通常包括四个随时间的推移持久不变的频率，被标记为频率1、频率2、频率3和频率4。可以例如使用快速傅立叶变换(FFT)或其他已知的频率分析方法、经由处理所接收的声音信号来确定频率数据，诸如目标场景的频率内容。

图9B示出了包括发射声信号的多个位置的示例性场景。在图示的图像中，声学图像数据与可见光图像数据进行组合，并且示出了在位置910、920、930和940处存在的声信号。在一些实施例中，声学分析系统被配置成显示属于任何检测到的频率范围的声学图像数据。例如，在示例性实施例中，位置910包括含有频率1的声学图像数据，位置920包括含有频率2的声学图像数据，位置930包括含有频率3的声学图像数据，并且位置940包括含有频率4的声学图像数据。

在一些这样的示例中，显示代表频率范围的声学图像数据是一种可选择的操作模式。类似地，在一些实施例中，声学分析系统被配置成显示代表仅在预定频带内的频率的声学图像数据。在一些这样的示例中，显示表示预定频率范围的声学图像数据包括：选择一个或多个声学传感器阵列，用于接收从中生成声学图像数据的声信号。这样的阵列可以被配置成接收选择性的频率范围。类似地，在一些示例中，可以采用一个或多个滤波器来限制被用来生成声学图像数据的频率内容。附加地或替换地，在一些实施例中，仅在声学图像数据满足预定条件（例如，落入预定频率范围内）的情况下，才可以分析并且在显示器上示出包括代表广泛的频率范围的信息的声学图像数据。

图9C示出了在多个预定义的频率范围处的多个所组合的声学和可见光图像数据。第一图像包括在第一位置910处的声学图像数据，该第一位置910包括频率1的频率内容。第二图像包括在第二位置920处的声学图像数据，该第二位置920包括频率2的频率内容。第三图像包括在第三位置930处的声学图像数据，该第三位置930包括频率3的频率内容。第四图像包括在第四位置940处的声学图像数据，该第四位置940包括频率4的频率内容。

在示例性实施例中，用户可以选择各种频率范围，诸如包括频率1、频率2、频率3或频率4的范围，以用于对代表了除了所选频率范围之外的频率内容的声学图像数据进行滤波。因此，在这样的示例中，由于用户选择了期望的频率范围，因此可以显示第一、第二、第三或第四图像中的任何图像。

附加地或替换地，在一些示例中，声学分析系统可以在多个显示图像之间循环，每个显示图像具有不同的频率内容。例如，关于图9C，在示例性实施例中，声学分析系统可以按顺序显示第一、第二、第三和第四图像，诸如图9C中的箭头所示。

在一些示例中，显示图像可以包括代表了在图像中显示的频率内容的文本或其他显示，使得用户可以观察图像中的哪些位置包括代表某些频率内容的声学图像数据。例如，关于图9C，每个图像可以示出在声学图像数据中表示的频率的文本表示。关于图9B，示出多个频率范围的图像可以包括在每个位置处的频率内容的指示，包括声学图像数据。在一些这样的示例中，用户可以例如经由用户界面来选择图像中的位置，对于该位置，要在声学场景中查看在该位置处存在的频率内容。例如，用户可以选择第一位置910，并且声学分析系统可以呈现第一位置的频率内容（例如，频率1）。因此，在各种示例中，用户可以使用声学分析系统以便分析声学场景的频率内容，这诸如通过查看场景中的什么地方对应于特定频率内容、和/或通过查看在各种位置存在什么频率内容来进行。

在示例性声学成像操作期间，按频率对声学图像数据进行滤波可以帮助减少例如来自背景或其他不重要声音的图像混乱。在示例性声学成像过程中，用户可能希望消除背景声音，诸如工业环境中的噪底。在一些这样的情况下，背景噪声可能主要包括低频噪声。因此，用户可以选择示出代表大于预定频率（例如，10 kHz）的声信号的声学图像数据。在另一示例中，用户可能希望分析通常在某个范围内发射声信号的特定对象，诸如从传输线发出的电晕放电（例如，如图5A-D5所示）。在这样的示例中，用户可以选择特定的频率范围（例如，对于电晕放电而言在11 kHz与14 kHz之间）来进行声学成像。

在一些示例中，声学分析系统可以被用来分析和/或呈现与所接收的声信号的强度相关联的信息。例如，在一些实施例中，反向传播所接收的声信号可以包括确定在声学场景中的多个位置处的声强度值。在一些示例中，类似于上述频率，仅在声信号的强度满足一个或多个预定要求的情况下，声学图像数据才被包括在显示图像中。

在各种这样的实施例中，显示图像可以包括代表高于预定阈值（例如，15 dB）的声信号、低于预定阈值（例如，100 dB）的声信号、或预定强度范围（例如，15 dB与40 dB之间）内的声信号的声学图像数据。在一些实施例中，阈值可以基于对声学场景的统计分析，诸如高于或低于与平均声强度的标准偏差。

类似于上面关于频率信息所描述的，在一些实施例中，限制声学图像数据表示满足一个或多个强度要求的声信号可以包括对所接收的声信号进行滤波，使得仅满足预定条件的所接收的信号被用来生成声学图像数据。在其他示例中，对声学图像数据进行滤波来调整哪些声学图像数据被显示。

附加地或替换地，在一些实施例中，可以随时间的推移监视声学场景内位置处的声强度（例如，结合视频声学图像表示或经由背景分析，而不必更新显示图像）。在一些这样的示例中，用于显示声学图像数据的预定要求可以包括图像中某个位置处的声强度的变化量或变化率。

图10A和10B是包括所组合的可见光图像数据和声学图像数据的示例性显示图像。图10A示出了包括在多个位置1010、1020、1030、1040、1050、1060、1070、1080和1090处示出的、包括声学图像数据的显示图像。在一些示例中，强度值可以被调色，例如，其中，基于预定调色方案来为声强度值分配颜色。在示例性实施例中，可以根据强度范围（例如，10 dB–20 dB、20 dB–30 dB等）对强度值进行分类。根据调色方案，每个强度范围可以与特定颜色相关联。声学图像数据可以包括多个像素，其中，每个像素以与声学图像数据的像素所表示的强度落入其中的强度范围相关联的颜色进行着色。除了按颜色进行区分之外或作为其替代，可以根据其他属性来区分开不同的强度，该属性诸如是透明度（例如，在将声学图像数据叠加到其他图像数据上的图像叠加中）等等。

附加的参数也可以被调色，诸如声强度的变化率。类似于强度，变化的声强度的变化率可以被调色，使得表现出不同的声强度变化率和/或声强度变化量的场景部分以不同的颜色显示。

在图示的示例中，根据强度调色板对声学图像数据进行调色，使得代表不同的声信号强度的声学图像数据以不同的颜色和/或阴影示出。例如，位置1010和1030处的声学图像数据示出了第一强度的托盘化表示，位置1040、1060和1080示出了第二强度的托盘化表示，而位置1020、1050、1070和1090示出了第三强度的托盘化表示。如图10A中的示例性表示所示，示出了声学图像数据的调色表示的每个位置示出了具有从中心向外延伸的颜色梯度的圆形图案。这可能是由于随着信号从声信号源传播所致的声强度衰减。

在图10A的示例中，将声学图像数据与可见光图像数据进行组合以生成显示图像，该显示图像可以例如经由显示器呈现给用户。用户可以查看图10A的显示图像，以便查看可见场景中的哪些位置正在产生声信号，以及这种信号的强度。因此，用户可以快速且容易地观察正在产生声音的位置，并且比较来自场景中的各种位置的声音的强度。

类似于关于本文中其他地方的频率所描述的，在一些实施例中，仅在对应的声信号满足预定强度条件的情况下，才可以呈现声学图像数据。图10B示出了类似于图10A的显示图像的示例性显示图像，并且其包括可见光图像数据和表示高于预定阈值的声信号的声学图像。如所示的，在包括声学图像数据的图10A中的位置1010、1020、1030、1040、1050、1060、1070、1080和1090中，仅位置1020、1050、1070和1090包括表示满足预定条件的声信号的声学图像数据。

在示例性场景中，图10A可以包括在位置1010-990中的每一个位置处高于噪底阈值的所有声学图像数据，而图10B示出了与图10A相同的场景，但是其仅示出了具有大于40dB的强度的声学图像数据。这可以帮助用户识别环境中（例如，在图10A和图10B的目标场景中）的哪些声音源正在贡献某些声音（例如，场景中最响亮的声音）。

如本文中其他地方所述，除了直接与强度阈值（例如，40 dB）进行比较之外或作为其替代，在一些这样的示例中，用于显示声学图像数据的预定要求可以包括图像中的某个位置处的声强度的变化量或变化率。在一些这样的示例中，仅在给定位置处的声强度的变化率或变化量满足预定条件（例如，大于阈值、小于阈值、预定范围内等）的情况下，才可以呈现声学图像数据。在一些实施例中，声强度的变化量或变化率可以被调色并且被显示为强度声学图像数据、或与强度声学图像数据结合显示。例如，在示例性实施例中，当变化率被用作用来确定哪些位置包括声学图像数据的阈值时，声学图像数据可以包括用于显示的经调色的强度变化率度量。

在一些示例中，用户可以手动设置针对要显示的声学图像数据的强度要求（例如，最小值、最大值、范围、变化率、变化量等）。如本文中其他地方所讨论的，包括仅满足强度要求的声学图像数据可以在声学图像数据生成期间实现（例如，经由对所接收的声信号进行滤波），和/或可以通过不显示表示不符合（一个或多个）设定要求的声信号的所生成的声学图像数据来实行。在一些这样的示例中，可以在已经捕获了声学图像数据和可见光图像数据、并且将其存储在存储器中之后，实行根据强度值对显示图像进行滤波。即，存储在存储器中的数据可以被用来生成包括任何数量的滤波参数的显示图像，诸如仅示出满足预定义的强度条件的声学图像数据等等。

在一些示例中，设置声学图像中的强度下限（例如，仅显示代表高于预定强度的声信号的声学图像数据）可以消除对来自声学图像数据的不期望的背景或环境声音和/或声音反射的包括。在其他情况下，设置声学图像中的强度上限（例如，仅显示代表低于预定强度的声信号的声学图像数据）可以消除在声学图像数据中对预期的响亮声音的包括，以便观察通常会被这样的响亮声音掩盖的声信号。

几种显示功能是可能的。例如，类似于关于图9C所讨论的频率分析/显示，在一些示例中，声学分析系统可以循环通过多个显示图像，每个显示图像示出了满足不同强度要求的声学图像数据。类似地，在一些示例中，用户可以滚动一系列声强度范围，以便查看声学图像数据中具有在给定范围内的声强度的位置。

可以被用来分析声学数据的另一个参数是声信号的周期性值。图11A和11B示出了声学场景中声学数据的频率比对时间的示例性标绘图。如图11A的标绘图所示，声学数据包括：具有第一周期性的频率为X的信号、具有第二周期性的频率为Y的信号以及具有第三周期性的频率为Z的信号。在图示的示例中，具有不同频率的声信号还可以在声信号中包括不同的周期性。

在一些这样的示例中，除了频率内容之外或作为其替代，可以基于周期性来对声信号进行滤波。例如，在一些示例中，声学场景中的多个声信号源可以产生特定频率下的声信号。如果用户希望隔离一个这样的声源以进行声学成像，用户可以基于与声学数据相关联的周期性来选择在最终显示图像中包括声学图像数据、或从最终显示图像中排除声学图像数据。

图11B示出了声信号的频率比对时间的标绘图。如所示的，频率随时间的推移近似线性地增加。然而，如所示的，该信号包括随时间的推移近似恒定的周期性。因此，取决于所选显示参数，这样的信号可能会或可能不会出现在声学图像中。例如，信号可能在某些时间点满足被显示的频率标准，但是在其他时间点，则在所显示的频率范围之外。然而，用户可以基于信号的周期性来选择在声学图像数据中包括这样的信号或从声学图像数据中排除这样的信号，而与频率内容无关。

在一些示例中，提取具有特定周期性的声信号可以有助于分析目标场景的特定部分（例如，通常以特定的周期性进行操作的特定的设备件或设备类型）。例如，如果关注的对象以某个周期性（例如，每秒一次）进行操作，则排除具有与此不同的周期性的信号可以改进对关注的对象的声学分析。例如，参照图11B，如果关注的对象以周期性4进行操作，则隔离具有周期性4的信号以进行分析可以产生对关注的对象的经改进的分析。例如，关注的对象可以发射具有周期性4、但是频率增加的声音，诸如图11B所示。这可能意味着对象的属性可能正在改变（例如，增加的扭矩或负载等），并且应该进行检查。

在示例性声学成像过程中，背景噪声（例如，工业环境中的噪底、室外环境中的风等）通常不是周期性的，而场景中的某些关注的对象发射周期性的声信号（例如，以定期间隔进行操作的机械）。因此，用户可以选择从声学图像中排除非周期性声信号，以便去除背景信号，并且更清楚地呈现关注的声学数据。在其他示例中，用户可能正在寻找恒定音调源，并且因此用户可以选择从声学图像数据中排除可能会使对恒定音调的查看模糊不清的周期信号。一般而言，用户可以选择在声学图像数据中包括高于某个周期性、低于某个周期性或在期望的周期性范围内的声信号。在各种示例中，可以通过周期性信号之间的时间长度或者周期性信号的出现频率来识别周期性。类似于图11B中所示的频率，对处于给定周期性的强度的分析（例如，由于关注的对象以该周期性进行操作）可以类似地被用来跟踪来自对象的声信号如何随时间的推移进行变化。一般而言，在一些实施例中，周期性可以被用来对诸如频率、强度等等的各种各样的参数实行变化率分析。

如本文中其他地方所述，在一些示例中，目标场景的各个部分可以与到声学成像传感器的不同距离相关联。例如，在一些实施例中，距离信息可以包括关于场景中的各个部分的三维深度信息。附加地或替换地，用户可能能够测量（例如，利用激光距离工具）或手动输入与场景中的多个位置相关联的距离值。在一些示例中，用于场景的各个部分的这种不同的距离值可以被用来调整在这样的位置处的反向传播计算，以适应该位置处的特定距离值。

附加地或替换地，如果场景的不同部分与不同的距离值相关联，则与声学传感器阵列的接近度（例如，测量的接近度和/或表观接近度）可以是这样的部分之间的另一个可区分的参数。例如，关于图10B，位置1020、1050、1070和1090均与不同的距离值相关联。在一些示例中，类似于本文中其他地方所讨论的频率或周期性，用户可以选择特定距离范围，根据该特定距离范围来在显示器上包括声学图像数据。例如，用户可以选择仅显示代表比预定距离更靠近、比预定距离更远或在预定距离范围内的声信号的声学图像数据。

此外，在一些实施例中，类似于关于图9C中的频率所描述的那样，声学分析系统可以被配置成循环通过多个距离范围，从而仅示出表示从目标场景中满足当前距离范围的位置发射的声信号的声学图像数据。这样的循环通过各种显示器可以帮助用户在视觉上区分不同声信号之间的信息。例如，在一些情况下，对象可能看起来与来自相关联的电磁成像工具（例如，可见光相机模块）的视线靠在一起，并且因此与这种对象的电磁图像数据进行组合的声学图像数据可能是难以区分的。然而，如果对象按深度差分开，则循环通过声学图像数据的不同深度范围可以被用来将每个声学数据源彼此隔离。

一般而言，声学分析系统可以被配置成应用各种设置，以便包括和/或排除代表满足一个或多个预定义的参数的声信号的声学图像数据。在一些示例中，声学分析系统可以被用来选择声信号必须满足的多个条件，以便例如在显示图像中显示代表这样的信号的声学图像数据。

例如，关于图10A和10B，仅在图10B中示出了图10A的场景中高于阈值强度的声信号。然而，附加的或替换的限制是可能的。例如，在一些实施例中，用户可以附加地对声学图像数据进行滤波，使得仅针对具有在预定频率范围内的频率内容和/或具有预定周期性的声信号示出声学图像数据。在示例性实施例中，限于关注的预定频率和/或周期性，可以从诸如1020和1090之类的附加位置消除声学图像数据。

一般而言，用户可以应用任何数量的声学数据要求，以在显示图像中包括声学图像数据或从显示图像排除声学图像数据，包括以下参数，诸如强度、频率、周期性、表观接近度、测量的接近度、声压、粒子速度、粒子位移、声功率、声能、声能密度、声音暴露、音调（pitch）、幅度、耀度（brilliance）、谐波、任何此类参数的变化率等等。附加地，在一些实施例中，用户可以使用诸如“与（AND）”、“或（OR）”、“异或（XOR）”等的任何适当的逻辑组合来将要求进行组合。例如，用户可能希望仅显示具有（强度高于预定阈值）AND（频率在预定范围内）的声信号。

附加地或替换地，声学分析系统可以被配置成循环通过一个或多个参数范围，以图示目标场景的不同部分，诸如关于在图9C中循环通过多个频率所示出的。一般而言，可以以这样的方式循环通过一个或多个参数。例如，参数（例如，强度）可以被分成多个范围（例如，10 dB–20 dB和20 dB–30 dB），并且声学分析系统可以循环通过这样的范围，显示落入第一范围内的所有声学图像数据，然后是落入第二范围内的所有声学图像数据，等等。

类似地，在一些实施例中，声学分析系统可以被配置成通过循环通过嵌套的范围来将参数要求进行组合。例如，在示例性实施例中，可以显示满足了第一强度范围AND第一频率范围的声学图像数据。可以循环通过所显示的频率范围，同时将所显示的声学图像数据限制成满足第一强度范围的声信号。在循环通过频率范围之后，可以将强度范围更新为第二强度范围，使得所显示的声学图像数据满足第二强度范围和第一频率范围。类似于并入第一强度范围的过程，可以在维持第二强度范围的同时类似地循环通过频率范围。该过程可以继续进行，直到已经满足频率范围和强度范围的所有组合为止。可以对多个参数中的任何参数实行类似的此类过程。

附加地或替换地，在一些实施例中，声学分析系统可以被配置成识别和区分声学场景中的多个声音。例如，关于图9B，声学分析系统可以被配置成识别在位置910、920、930和940处的四个离散声音。该系统可以被配置成循环通过多个显示器，每个显示器示出在单个离散位置处的声学图像数据，类似于图9C所示的那样，尽管并不一定取决于任何参数值。类似地，可以在一个或多个参数要求限制了所显示的声学图像数据之后，实行在各个位置处的声学图像数据之间的这种循环。

例如，关于图10A和图10B，在应用强度阈值之前，声学分析系统可以循环通过多个声学图像场景（例如，作为包括具有可见光图像数据的声学图像场景的显示图像），其中，每个场景包括在单个位置处的声学图像数据。在一些实施例中，根据图10A的所图示的示例，具有10个单独图像的循环，每个图像包括在位置1010、1020、1030、1040、1050、1060、1070、1080和1090中的不同位置处的图像数据。然而，根据一些实施例，在应用了强度滤波器使得仅显示具有大于阈值的强度的位置之后（例如，如图10B中那样），声学分析系统可以更新循环过程，以仅循环通过与满足滤波阈值的位置相对应的图像。即，关于图10B，循环过程可以进行更新，以仅在四个图像之间循环，每个图像示出了分别在位置1020、1050、1070和1090的离散声学图像数据。

因此，在各种实施例中，在多个循环通过的显示图像之一中示出了目标场景中包括声学图像数据的每一个位置，这是在应用一个或多个滤波器以限制示出哪些声学图像数据之前或之后的。各个声源位置的这种循环显示可以帮助用户查看图像以识别特定声音的源。在一些实施例中，循环中的每个图像仅包括单个声学数据源，并且在一些这样的实施例中，进一步包括声学数据的一个或多个参数，诸如频率内容、强度、周期性、表观接近度等等。

除了在示出满足某些条件的声学图像数据的图像之间进行循环之外或作为其替代，在一些示例中，可以在声学图像数据中检测声信号源的位置，并且可以与其他声信号隔离地在声学图像数据中显示声信号源的位置。例如，关于图10A，在一些实施例中，可以识别并且循环通过代表从位置1010-990中的每一个发出的声信号的声学图像数据。例如，在示例性操作过程中，可以自动地或在用户的指导下循环通过位置1010-990之一处的包括声学图像数据的显示图像，以用于单独地分析每个声信号源。在各种实施例中，在循环的同时显示声学图像数据的不同位置的次序可以取决于各种各样的参数，诸如按照位置、接近度、强度、频率内容等等。

附加地或替换地，在一些示例中，来自各个位置的声学图像数据可以在应用一个或多个滤波器以仅隔离满足一个或多个预定条件的声学图像数据之后被循环通过。例如，关于图10B，位置1020、1050、1070和1090被示为包括表示满足预定强度要求的声信号的声学图像数据。在一些实施例中，可以将这样的显示要求应用于对声信号的源位置的各个循环通过。例如，进一步参照图10B，显示图像包括仅来自满足声强度条件的位置1020、1050、1070和1090之一的图像数据，该显示图像可以被循环通过以用于在每个位置处的各个分析。

在参照图10A和图10B的示例性过程中，从场景收集的声学图像数据可以通常在图10A中的位置1010、1020、1030、1040、1050、1060、1070、1080和1090处示出。这样的位置可以包括代表具有各种各样声学参数的声信号的声学图像数据，该声学参数诸如是各种各样的强度、频率内容、周期性等等。

如本文中其他地方所述，用户可能希望隔离具有一个或多个特定声学参数的声信号，诸如具有最小声强度的声信号。可以从图像中排除表示不满足此类条件的声信号的声学图像数据，例如，如图10B所示，留下位置1020、1050、1070和1090处的声学图像数据。然而，用户可能希望进一步识别满足显示条件（例如，具有高于阈值的强度）的特定声音的源。因此，用户可以选择一个接一个地显示与位置1020、1050、1070和1090相关联的声学图像数据，以便查看每个声音的源位置并且单独地分析每个声音。在各种实施例中，用户可以选择手动地循环通过这样的位置，或者处理器可以自动更新显示图像以顺序显示各个位置的声学图像数据。这可以帮助用户进一步消除和忽略并不是关注的、但是碰巧满足被应用于图像的一个或多个滤波参数的声信号。

尽管关于强度和图10A和10B进行了描述，一般而言，包括来自从多个位置中选择的单个位置的声学图像数据的显示图像可以被一个接一个地循环通过以用于进行单独分析。包括代表性声学图像数据的多个位置可以是与声学场景中的声信号源相对应的整个位置集合，或者可以是此类位置的子集，例如，仅包括具有满足一个或多个条件的声信号的位置。这样的条件可以取决于任何一个或多个声学参数，诸如强度、频率内容、周期性、接近度等等，并且可以基于低于预定值、高于预定值、或在值的预定范围内的各种参数来满足。

在各种示例中，可以以各种各样的方式来完成修改显示图像以在显示图像中选择性地包括声学图像数据。在一些实施例中，显示图像（例如，包括电磁图像数据和声学图像数据）可以是实时图像，其中电磁图像数据和声学图像数据被连续更新以反映场景中的变化。在一些示例中，当使用某些条件来确定在显示图像中是否包括声学图像数据时，分析所接收的声信号来确定是否要在经更新的实时图像中的各种位置处包括声学图像数据。即，随着基于最近接收的声信号和电磁辐射生成了新的显示图像，显示图像的构造可以取决于对声信号的分析，以确定哪些声信号满足置于显示图像上的任何特定条件（例如，强度阈值等）。然后可以根据这样的条件、仅在适当的情况下生成包括声学图像数据的显示图像。

在其他示例中，显示图像可以从存储在存储器中的数据生成，诸如先前捕获的声学数据和电磁图像数据。在一些这样的示例中，关于要置于声学图像数据上的各种条件来分析先前获取的声学数据，并且在先前捕获的声学数据满足此类条件的位置中将其与电磁图像数据进行组合。在这样的实施例中，可以以许多方式来查看单个场景，例如，通过分析不同的声学参数来查看。可以基于置于显示图像上的针对是否在显示图像中的各种位置中包括声学图像数据的任何经更新的条件来更新代表先前捕获的声学图像数据的显示图像。

在一些实施例中，被用来在显示图像中选择性地包括声学图像数据的一个或多个声学参数可以被用来修改显示图像和/或图像捕获技术。例如，在实时成像示例中，用于确定在显示中是否包括声学图像数据的各种条件可以包括到目标的距离（例如，表观距离或测量的距离）和/或频率内容。如本文中的其他地方所描述的，一些这样的参数可以被用于选择声学传感器阵列和/或用于生成声学图像数据的处理方案。因此，在一些这样的示例中，当仅基于满足一个或多个预定条件的此类参数来表示声学图像数据时，可以基于此类条件来选择声学传感器阵列和/或处理方案以用于生成声学图像数据。

例如，在示例性实施例中，如果声学图像数据仅被包括在以下位置中的实时图像中，在这些位置处，对应的声信号包括第一频率范围内的频率内容，则可以选择一个或多个声学传感器阵列以用于获取最适合第一频率范围的声信号。类似地，如果声学图像数据仅被包括在以下位置处的实时图像中，在这些位置处，声信号源在第一距离范围内，则可以选择一个或多个声学传感器阵列，以用于获取最适合在第一距离范围内进行声学成像的声信号。附加地或替换地，如例如参照图6所描述的，可以基于期望的频率或距离条件来选择用于生成声学图像数据的处理方案。这样的（一个或多个）所选声学成像传感器阵列和处理方案可以随后被用来接收声信号，并且生成用于经更新的实时显示图像的声学图像数据，以便优化所包括的声学图像数据。

类似地，在其中从先前存储在存储器中的历史数据生成显示图像的一些实施例中，确定在显示图像中的哪些位置包括声学图像数据的各种条件可以被用来更新代表声学场景的声学图像数据。例如，在一些实施例中，被存储在存储器中的数据包括从接收到声信号的时间起由（一个或多个）声学传感器阵列接收的原始声学数据。基于用于确定在显示图像中的各种位置（例如，期望的距离和/或频率范围）处是否包括声学图像数据的条件，可以选择处理方案（例如，反向传播算法）来供存储在存储器中的原始数据使用，以用于生成要显示的、对于期望的参数进行优化的声学图像数据。

将领会的是，尽管通常使用可见光图像数据和声学图像数据进行描述和示出，但是参照图9A-C、10A和10B所描述的过程可以被使用，其包括各种各样电磁图像数据中的任何图像数据。例如，在各种实施例中，可以利用红外图像数据或紫外图像数据代替可见光图像数据来实行类似的过程。附加地或替换地，可以在这样的过程中使用电磁波谱的组合，诸如混合红外图像数据和可见光图像数据。一般而言，在各种示例中，可以结合电磁图像数据的任何组合选择性地示出声学图像数据（例如，当对应的声信号满足一个或多个预定参数时包括的声学图像数据）。

在一些实施例中，声学分析系统被配置成将一个或多个声信号和/或声学图像数据存储在数据库中（例如，在本地存储器中）和/或可从外部或远程设备访问。这样的声信号可以包括：代表正常操作期间的声学场景的声学图像数据、和/或与声学场景相关联的其他参数，诸如频率数据、强度数据、周期性数据等等。在各种示例中，数据库场景可以包括代表宽泛场景（例如，工厂）和/或更具体的场景（例如，特定对象）的声学图像数据和/或其他声学参数（例如，强度、频率、周期性等）。

在一些实施例中，数据库场景可以是特定类型的设备（诸如特定设备型号）通用的。附加地或替换地，即使不同的此类对象是同一对象的不同实例（例如，具有相同型号的两个单独的机器），数据库场景也可以特定于单个对象。类似地，数据库场景可以更具体，例如，包括对象的特定操作状态。例如，如果特定对象具有多种操作模式，则数据库可以包括具有这种对象的多个场景，针对每一种操作模式有一个场景。

在各种实施例中，数据库场景可以是单个声学图像和/或相关联的声学参数。在其他示例中，数据库场景可以包括由多个先前捕获的声学图像和/或相关联的参数形成的合成数据。一般而言，数据库场景（例如，声学图像和/或参数）可以包括场景在正常操作期间的声学表示。在一些示例中，数据库可以包括与场景相关联的其他元素，例如诸如对应的可见光图像、红外图像、紫外图像或其组合。在一些实施例中，可以类似于在2016年6月23日提交的且题为“THERMAL ANOMALY DETECTION”的美国专利申请号15/190,792中描述的红外图像数据的数据库生成和比较来实行数据库生成和/或比较，该美国专利申请被转让给本申请的受让人，并且通过引用整体地并入本文中。在一些实施例中，可以通过在场景内的对象在正确地操作的同时捕获场景的声学图像数据和/或一个或多个相关联的声学参数（例如，频率、强度、周期性等）来生成数据库。在一些这样的示例中，用户可以标记所捕获的数据库图像以将图像与一个或多个对象、位置、场景等等相关联，使得将来可以识别所捕获的声学图像和/或（一个或多个）相关联的参数以用于数据库分析和比较。

可以将最近生成的声学图像数据与数据库中存储的声学图像数据进行比较，以确定声学场景的声学轮廓是否在典型的操作标准之内。附加地或替换地，可以将来自实况声学场景和/或最近生成的声学图像的声学参数（诸如强度、频率、周期性等等）与数据库中的相似参数进行比较。

可以以多种方式来进行将当前声学图像数据与存储在数据库中的历史声学图像数据（例如，先前捕获的图像、从多个先前捕获的图像生成的合成图像、工厂提供的预期图像等）进行比较。图12A-12C示出了用于将声学图像数据与存储在数据库中的历史声学图像数据进行比较的多种示例性方式。图12A示出了声学成像工具1200，其包括具有声学视场1212的声学传感器阵列1202和具有电磁视场1214的电磁成像工具1204。如所示的，电磁视场1214和声学视场1212包括目标场景1220，该目标场景1220包括关注的对象1222。在一些实施例中，声学成像工具1200被永久地固定在某个位置中，使得关注的对象1222处于电磁视场1214和声学视场1212中。在一些实施例中，声学成像工具1200可以经由感应或寄生功率来供电、可以被连线到建筑物中的AC主电源中、或者被配置成连续地监视对象1222。

固定声学成像工具1200可以被配置成周期性地捕获对象1222的声学和/或电磁图像数据。因为声学成像工具1200通常被固定在适当的位置，所以在不同时间捕获的图像将近似来自同一优势点。在一些示例中，可以将经由声学成像工具1200捕获的声学图像数据与代表近似同一场景的声学图像数据的数据库进行比较，例如，以检测声学场景中的反常或异常。例如，这可以如美国专利申请号15/190,792中所述的那样来实行，该美国专利申请通过引用而并入。

图12B示出了例如在手持式声学成像工具上的示例性显示。显示器1230包括两个部分——1232和1234。在图示的示例中，部分1234示出了关注对象的数据库图像1244，而部分1232包括对象的实时声学图像数据的实况显示1242。在这样的并排视图中，用户可以将实况图像1242与数据库图像1244进行比较，以便查看典型的声信号（例如，如数据库图像1244中所示的）与当前实时图像1242之间的任何差异。类似地，用户可以比较实况图像1242是否近似匹配数据库图像1244。如果是这样，则用户可以捕获实况声学图像以用于进一步分析和/或与数据库图像1244进行比较。

图12C示出了例如在手持式声学成像工具上的另一示例性显示。图12C的显示器1250示出了在同一显示器1252上的数据库图像1254和实况图像1256。在图12C的示例中，用户可以类似地将实况图像1256中的声学图像数据与数据库图像1254中的声学图像数据进行比较，以便查看差异。附加地，用户可以调整声学成像工具的对准，以便将实况图像1256中的对象与数据库图像1254中的对象对准，以用于另外的分析和比较。

作为图12A-12C中的过程的结果，可以将实况和/或近期捕获的声学图像与诸如来自数据库的先前的声学图像数据进行比较。在一些示例中，这样的过程可以被用来将实况和/或近期捕获的声学图像与数据库图像进行配准，以用于自动化比较。在2011年12月20日提交的且题为“THERMAL IMAGING CAMERA FOR INFRARED REPHOTOGRAPHY”的美国专利申请号13/331,633中、2011年12月20日提交的且题为“THERMAL IMAGING CAMERA FOR INFRAREDREPHOTOGRAPHY”的美国专利申请号13/331,644和2011年12月23日提交的且题为“THERMALIMAGING CAMERA FOR INFRARED REPHOTOGRAPHY”的美国专利申请号13/336,607中描述了可以被用来从类似的优势点“重新捕获”声学图像数据作为数据库图像的其他过程，这些美国专利申请中的每一个都被转让给本申请的受让人并且通过引用整体地并入。

将实时声学图像数据和/或声学特征与可比较的场景/对象的对应声学图像和/或声学特征进行比较可以被用来提供对场景/对象的操作状态的快速且简化的分析。例如，比较可以指示声学场景内的某些位置正在发射具有与典型操作期间不同的强度或频谱的声信号，这可以指示问题。类似地，场景中的位置可能正在发射通常是无声的声信号。附加地或替换地，来自数据库的实况场景和历史场景的总体声学特征的比较可以通常指示场景中的声学参数的变化，该声学参数诸如是频率内容、声强度等等。

在一些示例中，声学分析系统被配置成将近期/实时声学场景与数据库进行比较。在一些实施例中，声学分析系统被配置成表征近期/实时场景与数据库场景之间的差异，并且基于该比较来诊断当前场景中的一个或多个可能的问题。例如，在一些实施例中，用户可以预先选择关注的对象或目标场景，以与声学数据库进行比较。声学分析系统可以基于所选对象/场景，将数据库图像和/或其他参数与近期/当前图像和/或其他参数进行比较来分析场景。基于从数据库中选择的对象/场景，声学分析系统可能能够识别数据库图像/参数与近期/当前图像/参数之间的一个或多个差异，并且将识别出的（一个或多个）差异与一个或多个差异的可能原因相关联。

在一些示例中，可以利用多个诊断信息对声音分析系统进行预编程，例如，将数据库图像/参数和近期/当前图像/参数之间的各种差异与可能原因和/或原因的解决方案相关联。附加地或替换地，用户可以例如从诊断数据的存储库中加载这样的诊断信息。这样的数据可以例如由声学分析系统的制造商、关注的对象的制造商等等来提供。在仍另外的示例中，声学分析系统可以例如经由一个或多个机器学习过程来附加地或替换地学习诊断信息。在一些这样的示例中，用户可以在观察到场景与典型场景的声学偏差之后诊断目标场景中的一个或多个问题，并且可以将代表该一个或多个问题和/或一个或多个解决方案的数据输入到声学分析系统中。该系统可以被配置成随着时间的流逝并且经由多个数据条目，学习将近期/当前图像和/或参数和存储在数据库中的那些图像和/或参数之间的不同差异与某些问题和/或解决方案相关联。在诊断问题和/或确定所提议的解决方案时，声学分析系统可以被配置成例如经由显示器向用户输出可疑的问题和/或所提议的解决方案。这样的显示器可以在手持式声学检查工具或远程设备（例如，用户的智能电话、平板设备、计算机等）上。附加地或替换地，这样的指示潜在问题和/或解决方案的显示器可以例如经由网络被传送到远程站点，诸如非现场操作者/系统监视器。

在一些示例诊断表征中，声学分析系统可以观察到特定的周期性吱吱声，这指示在操作机器上需要附加的润滑。类似地，恒定的高音调信号可以指示目标场景中的气体或空气泄漏。其他问题可能类似地具有可识别的声学特征，诸如正在分析的对象内的轴承损坏，使得经由声学成像系统（例如，手持式声学成像工具）查看声学特征可以帮助诊断系统或对象中的任何异常。

能够将所接收的声信号与基线（例如，声学图像数据和/或来自数据库的参数）进行比较并且实行诊断信息和/或建议采取纠正动作的声学分析系统可以消除对经验丰富的专家来对场景的声学数据进行分析的需求。而是，声学检查和分析可以由系统操作者在分析声学数据方面经验有限或没有经验的情况下实行。

图13是示出了将所接收的声学图像数据与用于对象诊断的数据库进行比较的示例性操作的过程流程图。该方法包括：接收对关注目标的选择(1380)；以及从数据库中检索关注目标的基线声学图像和/或声学参数(1382)。例如，用户可能希望对关注的特定对象实行声学分析，并且可以从具有可用基线声学图像和/或数据库中可用的参数的对象的预定义列表中选择这样的对象。

该方法进一步包括以下步骤：例如使用手持式声学成像工具捕获代表关注目标的声学图像数据和相关联的参数(1384)。在捕获声学图像数据和相关联的参数之后(1384)，该方法包括：将所捕获的声学图像数据和/或相关联的参数与检索到的基线图像和/或参数进行比较(1386)。

图13的方法进一步包括：如果所捕获的声学图像数据和/或参数足够偏离基线(1388)，则基于比较来诊断关注目标的操作问题(1390)。该方法可以进一步包括以下步骤：向用户显示对可能的问题和/或纠正动作的指示(1392)。在一些实施例中，可以附加地或替换地向用户显示比较显示，例如，示出了当前声学图像数据与基线声学图像数据之间的差异的差异图像。

在一些这样的示例中，确定是否与基线存在偏差(1388)包括：将所捕获的数据的一个或多个声学参数与基线数据中的相似参数进行比较，并且确定所捕获的与基线参数之间的差异是否超过预定阈值。在各种示例中，不同的参数可以包括不同的阈值，并且这样的阈值可以是绝对阈值、统计阈值等等。在一些实施例中，可以在逐个位置的基础上进行比较，并且可以针对场景内的位置的子集实行比较。

例如，参照图9B，有可能仅关于对象的操作来分析包括声学图像数据并出现在对象上的位置（例如，位置910和940）。在这样的示例中，在所捕获的图像与数据库图像之间单独地比较要进行比较的每一个位置（例如，910和940）处的不同声学参数。例如，参照图9B，将所捕获的数据和/或相关联的参数与来自数据库的那些进行比较可以包括：将所捕获的图像中的位置910的频率、强度和周期性分别与数据库图像中的位置910的频率、强度和周期性进行比较。可以在所捕获的图像与数据库图像之间、在位置940处实行类似的比较。如所描述的，每个比较可以包括用于确定是否与基线存在足够偏差的不同度量(1388)。

可以基于所捕获的图像数据与基线图像数据和/或参数之间的比较的组合来实行诊断操作问题(1390)并且显示对可能的问题和/或纠正动作的指示(1392)。在一些示例中，这样的诊断可以包括多维分析，诸如在给定位置处对多个参数进行组合比较。例如，在示例性实施例中，可以通过与基线的频率偏差大于第一阈值和与基线的强度偏差大于第二阈值两者来指示某个条件。

在一些示例中，即使在显示对可能的问题和/或纠正动作的指示(1392)之后，该过程也可以包括捕获新的声学图像数据和相关联的参数(1384)，并且重复比较和诊断过程。因此，用户可以观察是否任何所采取的纠正动作有效地改变对象的声学特征，以便改正识别出的问题和/或使对象的声学特征符合基线。

在一些实施例中，如果在将所捕获的数据与基线数据进行比较(1386)之后，与基线没有足够的偏差(1388)，则该过程可以结束(1394)，其具有的结论是基于对象的当前声学特征，该对象在正常地运行。附加地或替换地，可以捕获新的声学图像数据和关注目标的相关联的参数(1384)，并且可以重复该比较和诊断过程。在一些示例中，可以使用固定的声学分析系统来实行连续的重复分析，该固定的声学分析系统例如包括图12A中的声学成像工具1200。

声学数据（例如，图像数据和/或其他声学参数）的比较可以帮助用户更容易地识别对象是否正确地起作用，并且如果否，则诊断对象的问题。在一些示例中，与基线进行比较可以帮助用户忽略场景中的“正常”声音，诸如预期的操作声音或噪底/背景声音，这些声音可能与对象的操作问题无关。

在操作期间，对声学图像数据和/或相关联的声学参数的观察、或观察当前声学场景与数据库声学场景之间的比较结果可以指示用户关注的位置以进行进一步检查。例如，示出了与数据库图像的偏差的比较声学图像可以指示场景中在异常操作的一个或多个位置。类似地，查看在一个或多个意外位置处具有声学特征的声学图像可以指示用户关注的位置。例如，参照图10B，用户在声学成像系统的显示器上观察图10B，其可以认识到特定位置（例如，1020）正在意外发射声信号，或者类似地，与基线图像的比较指示在该位置处的声信号的意外参数（例如，意外频率、强度等等）。

在一些这样的示例中，用户可以移动得更靠近这样的位置，以便更紧密地检查该位置是否存在异常。在移动得更靠近对象时，到目标的距离的值可以被更新以反映声学阵列与目标位置之间的新距离。可以基于经更新的到目标的距离来更新声学传感器阵列和/或反向传播算法。附加地或替换地，来自较近位置的经更新的声学分析可以产生对来自目标的声信号的不同分析。例如，高频声信号（例如，超声信号）倾向于在到声信号源相对较短的距离内衰减。因此，当用户移动得更靠近目标以进行进一步检查时，声学传感器阵列可能会看到附加的信号（例如，高频信号）。可观察场景中的这种明显变化也可能导致调整声学传感器阵列和/或调整被用于进行声学成像的反向传播算法。

因此，当用户移动得更靠近关注的对象或区域时，可以一次或多次地更新被用于进行声学成像的传感器阵列和/或反向传播算法。每次更新可以提供关于关注的对象或区域的附加细节，这些细节可能无法使用不同的传感器阵列和/或反向传播算法从更远的距离观察到。例如，基于对更宽泛场景的初始观察，移动得更靠近关注的对象或区域也可以增加关注的声信号相对于环境中的背景声音的声强度。

在一些实施例中，声学分析系统（例如，手持式声学成像工具）可以提示用户移动得更加靠近场景内的关注对象或区域。例如，在将当前声学图像与基线数据库图像进行比较时，声学分析系统可以识别场景中偏离基线的一个或多个位置。该声学分析系统可以例如经由显示器向用户突出显示这样的一个或多个位置，并且建议用户移动得更靠近标识出的（一个或多个）位置以进行进一步分析。在一些示例中，该声学分析系统可以将标识出的位置（诸如环境内的对象或特定对象的子组件）分类为具有存储在数据库中的其自身的基线轮廓。该系统可以被配置成建议和/或实现所分类位置的这种轮廓，以在用户移动得更靠近以进行附加的检查时便于对识别出的位置进行进一步分析。

本文中所述的系统和过程可以被用来改进声学检查的速度、效率、准确性和彻底性。（例如，传感器阵列、反向传播算法等的）各种自动化动作和/或建议可以将检查的便利性提高到缺乏经验的用户可以对声学场景实行彻底的声学检查的程度。此外，这样的过程可以被用来分析范围广泛的场景，诸如整个系统、个体对象以及个体对象的子组件。声学场景的基线声学数据的预定义的和/或用户生成的轮廓甚至可以帮助缺乏经验的用户识别所捕获的声学数据中的异常。

声学图像数据与其他数据流（诸如可见光、红外和/或紫外图像数据）的配准可以为哪些对象正在发射声学图像数据中所表示的声信号提供附加的背景和细节。将声学传感器阵列和距离测量工具（例如，激光测距仪）进行组合可以帮助用户快速且容易地确定用于在声学成像过程期间使用的适当的到目标的距离的值。在各种示例中，声学传感器阵列、距离测量工具、处理器、存储器和一个或多个附加的成像工具（例如，可见光相机模块、红外相机模块等）可以由手持式声学成像工具中的单个壳体支撑，该手持式声学成像工具可以提供对多个场景的有效声学分析。可以将这样的手持式声学成像工具从一个场景移动到另一个场景，以用于快速分析多个关注的对象。类似地，使用手持式工具，用户可以移动得更靠近场景内的关注位置，以进行进一步检查或分析。

本文中描述了用于实行声学成像以及生成和显示声学图像数据的各种系统和方法。示例性系统可以包括声学传感器阵列，该声学传感器阵列包括多个声学传感器元件，该多个声学传感器元件被配置成从声学场景接收声信号，并且基于所接收的声信号输出声学数据。

系统可以包括电磁成像工具，该电磁成像工具被配置成从目标场景接收电磁辐射，并且输出代表所接收的电磁辐射的电磁图像数据。这样的成像工具可以包括：红外成像工具、可见光成像工具、紫外成像工具等等，或其组合。

系统可以包括与声学传感器阵列和电磁成像工具通信的处理器。该处理器可以被配置成从电磁成像工具接收电磁图像数据以及从声学传感器阵列接收声学数据。该处理器可以被配置成例如经由反向传播计算、基于所接收的声学数据和代表到目标的距离的所接收的距离信息来生成场景的声学图像数据。该声学图像数据可以包括诸如通过调色板或配色方案之类的声学数据的视觉表示，诸如本文中其他地方所描述的。

处理器可以被配置成将所生成的声学图像数据和所接收的电磁图像数据进行组合，以生成包括声学图像数据和电磁图像数据两者的显示图像，并且将该显示图像传送给显示器。将声学图像数据和电磁图像数据进行组合可以包括：例如基于所接收的距离信息，校正声学图像数据与电磁图像数据之间的视差误差。

在一些示例中，可以从与处理器通信的距离测量工具接收距离信息。距离测量工具可以包括例如光学距离测量设备（诸如激光距离测量设备）和/或声学距离测量设备。附加地或替换地，用户可以例如经由用户界面手动输入距离信息。

系统可以包括：激光指示器，以基于所选参数（诸如频率、分贝水平、周期性、距离等等，或其组合）来帮助识别诸如声音或声音轮廓之类的关注点的位置。这样的激光指示器可以被用来利用显示在显示器上的适当的声音可视化来准确定位（pinpoint）和对准场景的视场。这在其中被检查的对象相对于声学成像设备有一定距离的环境中，或者在不清楚显示器上的声音的可视化相对于实际场景的位置的情况下可能是有用的。

在一些示例中，激光指示器可以在显示器上可视化。这样的可视化可以包括在显示器上（例如，经由处理器）生成代表实际场景中的激光指示器的激光指示器点。在一些示例中，可以例如利用代表场景中的激光指示器的图标或另一对准的显示标记来增强激光指示器在显示器上的方位，以更好地确定显示器上相对于实际场景的位置。

如本文中其他地方所述，热成像系统可以被配置成创建由一个或多个声学传感器生成的声学数据的假色（例如，经调色的）、符号或其他非数字视觉表示，诸如通过创建声学图像数据进行的。附加地或替换地，系统可以诸如经由扬声器、头戴式耳机、有线或远程通信耳机等等向用户提供音频反馈。这样的音频或外差音频的传输可以与检测到的和所显示的声音的视觉表示同步。

在各种示例中，可以以各种各样的方式来可视化声学数据，例如，以便于对这样的数据的理解，并且防止观看者对正被可视化的声音的性质做出错误的假设。在一些示例中，不同类型的可视化可以提供对经可视化的声音的直观理解。

在一些实施例中，所生成的显示包括：具有上下文数字和/或字母数字数据的非数字视觉表示，以便提供关于正被可视化的声音的信息的彻底演示，这可以帮助用户确定和/或实现一个或多个适当的行动方针。

可以组合各种显示特征，包括各种非数字图形表示（例如，符号、调色等）和字母数字信息。在一些实施例中，场景的给定表示中存在的显示特征可以由用户例如从多个可选则的设置中定制。附加地或替换地，显示特征的预设组合可以由用户选择，以自动在显示图像中包括期望的信息组合。在各种实施例中，显示图像的各方面可由用户例如经由虚拟界面（例如，经由触摸屏提供的）和/或经由物理控件来调整。

图14示出了使用梯度调色方案的声学数据的可视化。如所示的，经由梯度调色方案示出了声学参数（例如，强度）。在示例性梯度调色方案中，根据调色方案，参数值将具有与其相关联的唯一颜色。给定像素处的参数值的变化通常将导致与该像素相关联的颜色的变化，以表示新的参数值。如在图14的示例中所示，声学参数值似乎从方位232、234、236处的声信号中的中心方位径向改变。梯度调色的其他示例在2017年11月2日提交的美国专利申请号15/802,153中进行了描述，该美国专利申请被转让给本申请的受让人。

图15示出了使用多个阴影同心圆的声学数据的可视化。在一些这样的示例中，与具有关联于参数值的颜色的梯度调色方案相反，图15所示的每个纯色同心圆可以表示具有在与该颜色相关联的值的范围内的声学参数值的像素。在图示的示例中，与位置332、334、336处的声信号相关联的声学参数（例如，强度）从声信号的中心径向改变。在示例性调色方案中，以红色示出的像素表示第一参数值范围内的声学参数值，以黄色示出的像素表示第二参数值范围内的声学参数值，并且以绿色示出的像素表示第三参数值范围内的声学参数值，然而，其他显示技术也是可能的，包括附加或替换的颜色、图案等等。在各种实施例中，值的范围可以对应于绝对范围，诸如在10 dB与20 dB之间的强度值，或者可以是相对范围，诸如在最大强度的90％与100％之间的强度值。

如本文中其他地方所述，在一些实施例中，包括电磁图像数据和声学图像数据的显示图像可以包括声信号的视觉指示和与声信号相关联的一个或多个参数的字母数字表示两者。图16示出了示例性可视化，其示出了非数字信息（例如，经由参数值范围的调色）和字母数字信息两者。在图示的示例中，字母数字声音强度值标签与具有经调色的声学图像数据（例如，强度数据）的三个位置中的每一个相关联。如所示的，声信号具有表示与其相关联的声学参数(1602、1604、1606)以及字母数字信息（分别为1612、1614、1616）的对应的视觉指示符。在示例性实施例中，字母数字信息可以提供与显示经调色的声学数据的位置相关联的数值，诸如最大强度值。在一些示例中，用户可以选择一个或多个位置来显示调色和/或字母数字数据。例如，用户可以选择使用与场景内的一个或多个声信号相关联的声学参数的字母数字表示来注释显示图像。

在一些示例中，字母数字信息可以表示与场景中的给定位置处的声信号相关联的多个参数（例如，声学参数）。图17示出了示例性可视化，其包括非数字信息（例如，经由参数值范围的调色）和字母数字信息。在图示的示例中，声音强度值和对应的频率值（例如，平均频率或峰值频率）被示出在与具有经调色的声学数据（例如，强度数据）的三个位置中的每个位置（分别经由指示符1702、1704、1706示出）相关联的字母数字信息1712、1714、1716中。类似于关于图16所讨论的，用户可以发起在各种位置处包括各种这样的数据。例如，用户可以选择使用与场景内的一个或多个声信号相关联的一个或多个声学参数的字母数字表示来注释显示图像。

图18示出了另一示例性可视化，其示出了非数字信息（例如，经由参数值范围的调色）和字母数字信息两者。在图示的示例中，距离测量被包括有与具有经调色的声学数据（例如，强度数据）的三个位置中的每个位置（分别经由指示符1802、1804、1806示出的）相关联的字母数字信息1812、1814、1816。类似于关于图16所讨论的，例如，作为显示图像注释的一部分，用户可以选择在各种位置处包括各种这样的数据。

在一些示例中，非数字表示可以被用来传送与多个声学参数有关的信息。例如，图19示出了示例性可视化，该示例性可视化示出了代表不同声学参数值的具有不同大小和颜色的指示符1902、1904、1906（在这种情况下为圆圈）。在示例性实施例中，指示符的大小对应于给定位置处的声信号的强度，而指示符的颜色对应于峰值或平均频率。在示例性实施例中，指示符大小可以示出相对值，使得将一个指示符的大小与另一指示符的大小进行比较表示了在与指示符相关联的位置处所表示的声学参数值之间的相对差异。附加地或替换地，可以包括字母数字信息以提供绝对或相对声学参数值。

在一些实施例中，彩色指示符可以被用来表示一个或多个检测到的声信号和/或相关联的声学参数的严重性，诸如与基线参数的偏差量。图20示出了示例性可视化，其示出了具有不同颜色的多个指示符2002、2004、2006，这些指示符指示来自对应的位置的声信号所指示的严重性。例如，在示例性实施例中，红色指示符指示基于一个或多个声学参数的关键严重性（例如，当与基线（诸如典型操作条件的基线）进行比较时），黄色指示符指示中等严重性，并且绿色指示符表示较小严重性。在其他示例中，可以使用其他配色方案或外观特性（例如，指示符透明度、指示符大小等）在视觉上区分声信号的严重性。在图示的示例中，指示符2004表示最高水平的严重性，指示符2006表示次严重的，并且指示符2002表示最不严重的声信号。

如本文中其他地方所述，在各种实施例中，一个或多个声学参数可以例如通过经调色的颜色或灰度显示在声学场景的视觉表示上显示。在一些实施例中，系统可以被配置成识别场景中满足一个或多个声学条件（诸如所识别的频率范围、强度范围、距离范围等等）的一个或多个位置。在一些示例中，可以识别与声学轮廓相对应的各种位置（例如，满足一组特定的条件或参数）。可以以与在创建显示图像时以其他方式使用的声学图像数据调色方案有区别的方式来呈现此类识别出的位置。例如，图21示出了在场景内的多个位置处包括指示符的场景。指示符2101、2102、2103、2104和2105被定位在场景内。指示符2103、2104和2105包括例如表示与标度2110相对应的一个或多个声学参数的值的经调色的声学图像数据。指示符2101和2102被示为具有独特的演示方案，该演示方案与在位置2103、2104和2105处出现的调色方案可区分。在这样的实施例中，用户可以快速且容易地识别图像中满足一个或多个期望条件的那些位置。在一些这样的示例中，用户可以基于对值的范围的选择，例如，从诸如2110之类的标度中选择一个或多个期望条件以用于以有区别的方式进行显示。

附加地或替换地，可以利用代表所满足的条件的图标来呈现满足特定声音轮廓的条件的位置，诸如对应的声学轮廓。例如，图22示出了定位在显示图像内的多个图标2202、2204、2206、2208，这些图标指示场景内的识别出的声学轮廓。如图22所示的示例性轮廓包括轴承磨损、空气泄漏和电弧。可以通过声信号满足与这样的轮廓相关联的一个或多个参数的集合以便被分类为这样的轮廓来识别这样的轮廓。

图23示出了另一示例性显示，其经由多个指示符2302、2304和2306、使用同心圆和表示与每一个声信号相关联的声强度的字母数字信息示出了声学数据。如本文中其他地方所述，在一些示例中，指示符的大小可以表示在对应的位置处存在的一个或多个声学参数。在一些实施例中，指示符可以是单色的，并且以一种或多种其他方式指示声学参数，诸如通过指示符大小、线宽、线类型（例如，实线、虚线等）。

在一些示例中，显示器可以包括基于用户所做出的选择的字母数字信息。例如，在一些实施例中，系统（例如，经由处理器）可以包括以下信息，该信息表示位于特定位置处的声信号的一个或多个声学参数，这响应于在这样的位置处、用户在显示器上（例如，经由用户界面）对指示符的选择。图24示出了示例显示图像，其具有指示符和与所表示的声信号相关联的附加的字母数字信息。在示例中，可以选择显示器上的指示符2402（例如，经由十字准线表示的，其可以指示选择，诸如经由触摸屏输入的选择）以用于进一步分析。显示器示出了字母数字信息2404，其包括与对应于指示符的位置相关联的数据列表，包括峰值强度和对应的频率、频率范围、到位置测量的距离以及由来自该位置的声信号所指示的关键度水平。

在一些示例中，显示图像可以包括表示场景中对应的多个声信号的多个指示符。在一些实施例中，在这样的情况下，用户可以选择一个或多个指示符（例如，经由触摸屏或其他用户界面选择的），并且响应于检测到该选择，处理器可以呈现关于声信号的附加信息。这样的附加信息可以包括一个或多个声学参数的字母数字。在一些示例中，可以针对多个声信号同时显示这样的附加信息。在其它示例中，当选择另一个声信号时，隐藏针对给定的声信号的此类附加信息。

如本文中其他地方所述，在一些示例中，系统可以包括激光指示器。在一些示例中，激光指示器可以具有固定的取向，或者可以具有例如经由处理器可控制的可调整指向。在一些示例中，系统可以被配置成使激光指示器对准与图像中的所选位置相关联的目标场景中的位置。图25A示出了包括显示器的系统（在一些示例中，被体现为手持式工具），该显示器诸如是图24中所示的显示器，在显示器中选择指示符2502。激光指示器2504朝向场景发射激光束2506，其中，激光在场景中创建与图像中所选指示符2502的位置相对应的激光点2508。这可以帮助用户可视化环境中的所选和/或所分析的声信号的位置。在一些实施例中，激光点2508可由电磁成像工具检测，并且与所显示的指示符2502和包括声学参数信息的字母数字信息2512一起在显示器上是可见的。在一些示例中，声学成像系统被配置成检测或预测场景中激光的位置，并且提供激光位置的视觉指示2510。图25B示出了诸如图25A的系统视图中所示的显示图像。

在其中激光指示器具有固定取向的实施例中，用户可以查看具有激光位置的视觉指示的显示图像作为反馈，使得用户可以调整激光的指向以与所选声信号相一致。

如本文中其他地方所述，在一些实施例中，声学图像数据可以与电磁图像数据进行组合以用于在显示图像中演示。在一些示例中，声学图像数据可以包括可调整的透明度，使得电磁图像数据的各个方面不会被完全遮盖。图26示出了在场景中的某个位置处由指示符2602表示的声学图像数据，其中，指示符2602包括梯度调色方案。系统可以包括显示设备，该显示设备可以与声学成像工具构成整体或分离，该显示设备被配置成呈现包括电磁图像数据和声学图像数据的显示数据。

在一些实施例中，设备（例如，手持式声学成像工具）可以包括物理混合控件2614（例如，一个或多个按钮、旋钮、滑块等，其可以被包括为用户界面的一部分）和/或虚拟混合控件2604（诸如经由触摸屏或其他虚拟实现的界面）。在一些实施例中，这样的功能可以由诸如智能电话、平板设备、计算机等等的外部显示设备提供。

图27示出了用于显示图像的虚拟和/或物理混合控制工具，其包括部分透明的同心圆调色方案。类似于关于图26所描述的，指示符2702可以表示场景内的声信号。声学成像系统可以包括物理混合控件2714和/或虚拟混合控件2704，其可以被用来调整显示图像内的声学图像数据（例如，指示符2702）的透明度。

附加地或替换地，物理和/或虚拟界面可以被用来调整一个或多个显示参数。例如，在一些实施例中，可以应用一个或多个滤波器来选择性地显示满足一个或多个条件的声学图像数据，诸如本文中其他地方所描述的。图28示出了包括指示符2802的场景，该指示符2802具有梯度调色，其指示场景中满足一个或多个滤波器的位置（例如，具有满足一个或多个对应阈值或预定条件的一个或多个声学或其他参数）。在各种示例中，可以经由物理控件2814（例如，经由一个或多个按钮、旋钮、开关等）和/或虚拟控件2804（例如，触摸屏）来选择和/或调整滤波。在图示的示例中，滤波器包括：显示仅针对具有落入声学参数的预定义的范围2806内的声学参数（例如，频率）的那些声信号的声学图像数据。如所示的，预定义的范围2806是可能的滤波器范围2816的子集。在一些示例中，用户可以例如经由虚拟2804或物理2814控件来调整预定义的范围2806的极限，以调整滤波器的效果。

图29示出了针对显示图像的虚拟和/或物理滤波器调整，包括部分透明的同心圆调色方案。如所示的，基于声学参数，在场景内示出指示符2902，该声学参数落在基于滤波器的值的预定范围2906内。滤波器可以例如经由虚拟2904和/或物理2914控件在值的范围2916内可调整。

在一些实施例中，可以利用多个滤波器来定制包括经调色的声学图像数据的显示图像。图30示出了显示图像，该显示图像示出了第一指示符和第二指示符。如本文中其他地方所述，可以将一个或多个滤波器应用于显示图像（例如，经由物理滤波器控件和/或虚拟滤波器控件）以定制所显示的数据。在图30的图示示例中，滤波包括建立第一滤波器范围3006和第二滤波器范围3008。在一些示例中，滤波器范围可以例如经由虚拟3004和/或物理3014控件在值的范围3016内可调整。

这样的滤波器范围可以表示各种各样的参数中的任何参数，诸如频率、幅值、接近度等。如所示的，第一滤波器范围和第二滤波器范围均与颜色相关联（在一些示例中，该颜色可以由用户调整），并且指示符3002、3012被定位在图像中对应的声信号满足与每个滤波器范围相关联的一个或多个滤波器条件的位置。如所示的，第一指示符3002表示满足第一滤波器范围3006（以深色阴影示出）的声信号，而第二指示符3012表示满足第二滤波器范围3008（以较浅阴影示出）的声信号。因此，用户可以能够迅速地识别场景中具有一次满足各种各样的条件的声学数据的位置，同时还识别出哪些位置满足哪些条件。

在一些示例中，诸如声学成像工具或外部显示设备之类的显示设备可以包括虚拟键盘作为输入设备，诸如图31所示的。图31示出了包括指示符3102的显示界面，指示符3102表示场景中的声信号的一个或多个声学参数。虚拟键盘3110被包括在显示器中，该虚拟键盘3110可以被用来将字母数字信息3112添加到显示图像。利用这样的虚拟键盘可以允许用户输入定制的注释，诸如各种检查注解、标签、日期/时间戳、或可以与图像一起存储的其他数据。在各种示例中，虚拟键盘可以被用来添加被包括在图像数据中和/或被附加到图像数据的文本，诸如通过被存储在与显示图像相关联的元数据中进行。

各种设备可以被用来呈现显示图像，该显示图像包括声学图像数据和其他数据的各种组合，诸如字母数字数据、来自一个或多个电磁波谱的图像数据、符号等等。在一些示例中，手持式声学成像工具可以包括用于呈现显示图像的内置显示器。在其他示例中，可以将要显示的信息或为生成显示而处理的数据（例如，原始传感器数据）传送到外部设备以进行显示。这样的外部设备可以包括例如智能电话、平板设备、计算机、可穿戴设备等等。在一些实施例中，在增强现实类型显示器中结合实时电磁图像数据（例如，可见光图像数据）来呈现显示图像。

图32示出了嵌入可由用户佩戴的眼镜3210中的显示器。在一些示例中，眼镜可以包括一个或多个嵌入式成像工具，诸如在题为“DISPLAY OF IMAGES FROM AN IMAGINGTOOL EMBEDDED OR ATTACHED TO A TEST AND MEASUREMENT TOOL”的美国专利公开号20160076937中所述的，并且该美国专利公开被转让给本申请的受让人，其相关部分通过引用并入本文中。在一些这样的示例中，集成显示器可以示出实时显示图像3220。例如，显示器可以示出代表用户所面对的场景的电磁图像数据（例如，可见光图像数据），并且可以同时显示（例如，经由混合、覆盖等）一个或多个附加的数据流，诸如声学图像数据（例如，包括指示符3202）等等，以向用户提供所添加的信息。在一些实施例中，诸如图32中所示的眼镜包括透明显示屏，使得当没有显示图像被提供给显示器时，用户可以通过眼镜直接用他或她的眼睛查看场景，而不是被呈现有实时的可见光图像数据。在一些这样的示例中，诸如声学图像数据、字母数字数据等的附加数据可以被显示在用户的视场中的以另外的方式透明的显示器上，使得用户除了通过显示器查看他或她的场景视图之外还查看这样的数据。

如本文中其他地方所述，在各种示例中，可以以各种各样的方式组合在显示图像中呈现的各种数据，包括与其他数据流混合（例如，将声学图像数据与可见光图像数据进行混合）。在一些示例中，混合的强度可以在单个显示图像内的不同位置之间有所不同。在一些实施例中，用户可以手动调整多个位置中的每个位置（例如，检测到的声信号的多个指示符中的每一个指示符）的混合比。附加地或替换地，混合可以是一个或多个参数的函数，该参数诸如是频率、幅值、接近度等。

在一些实施例中，声学成像工具可以被配置成识别传感器阵列指向发射检测到的声信号的多个位置中的每一个位置的程度，并且相应地将对应的声学图像数据与例如可见光图像数据进行混合。图33A示出了示例性显示器，其包括表示声学场景中的声信号的第一指示符3302和第二指示符3304。在图33A中，当与管道2进行比较时，声学传感器更直接地指向管道1，该管道1对应于第一指示符3302的位置，该管道2对应于第二指示符3304的位置。照此，在图33A的显示方案中，第一指示符3302比第二指示符3304更突出地显示（例如，具有更高的混合系数或更低的透明度）。相反地，在图33B中，当与管道1进行比较时，声学传感器更直接地指向管道2，该管道2对应于第二指示符3304的位置，该管道1对应于第一指示符3302的位置。照此，在图33B的显示方案中，第二指示符3304比第一指示符3302更突出地显示（例如，具有更高的混合系数或更低的透明度）。一般而言，在一些实施例中，声学成像系统可以确定指示传感器指向给定位置的程度的度量（例如，对应于声学图像数据中的指示符），并且相应地调整与这样的位置相对应的混合比（例如，更大的指向程度对应于更高的混合比）。

在一些示例中，处理器可以保存在场景中检测到的声音轮廓。例如，在示例性实施例中，用户可以保存检测到的声学数据（例如，被显示为声学图像数据）作为对应于一个或多个参数的声音轮廓。在一些这样的示例中，这样的声音轮廓可以根据场景的一个或多个特性进行标记和/或与场景的一个或多个特性相关联，该特性诸如是空气泄漏的存在等。附加地或替换地，预定义的声音轮廓可以在声学成像系统的工厂组装期间被加载到系统存储器中，和/或可以被下载到或以其他方式传送到声学成像系统。

在一些示例中，声音轮廓可以包括场景中存在的一个或多个声音。各种声音轮廓可以由一个或多个声学参数来定义，该声学参数诸如是频率、分贝水平、周期性、距离等等（例如，示例性声音轮廓可以包括预定范围内的频率值和在与该轮廓相关联的预定范围内的周期性）。声音轮廓可以由场景中的一个或多个声音来定义，并且在一些示例中，多个声音中的每一个可以由一个或多个参数来定义，该参数诸如是频率、分贝水平、周期性、距离等等。给定轮廓中的多个声音可以通过相似的参数（例如，两种声音，每种声音具有各自的频率范围和周期性范围）来识别或者可以通过不同的参数（例如，一种声音具有对应的频率范围，并且另一种声音具有对应的分贝水平范围和最大距离值）来识别。

在一些示例中，该系统可以被配置成提供关于声音轮廓的通知，诸如声学场景中的一个或多个声音是否对应于已知的声音轮廓。例如，通知可以提醒用户或技术人员所识别的声音轮廓。附加地或替换地，该系统可以被配置成基于所识别的声音轮廓来注释声学图像数据、电磁图像数据和/或显示图像。通知可以包括可听声音、显示屏上的可视化、LED灯等等。

在一些示例中，系统处理器可以被配置成例如鉴于一个或多个声音轮廓来分析声学特征的关键度（criticality）。声学数据（例如，关于声音轮廓的声学数据）与系统操作的关键度之间的对应关系可以例如基于机器学习和/或用户输入来学习。

在一些示例中，处理器可以被配置成将声学场景中的数据与一个或多个已知的声音轮廓模式进行比较，以分析该场景，例如，针对检测到的特征的关键度进行分析。在各种示例中，处理器可以被配置成基于潜在的关键度来通知用户。这可以基于例如将所识别的声学特征与一个或多个存储的基线相比较、与用户定义的阈值相比较的相对值和/或诸如经由机器学习算法和/或人工智能编程（例如，基于历史性能和误差以及对应的历史声学特征）自动确定的值。

在各种这样的示例中，处理器可以被配置成相对于一个或多个声音轮廓来分析声学场景，并且估计所发现的声音轮廓对场景或场景中的对象的影响。估计影响可以包括声音轮廓的潜在关键度和/或与声音特征相关联的潜在成本或利润损失。在一些示例中，系统（例如，经由处理器）可以被配置成识别场景中的一个或多个空气泄漏（例如，通过将声学特征与声学场景中与空气泄漏相关联的一个或多个声音轮廓进行比较）。在一些这样的示例中，系统可以自动计算和/或报告各种数据，诸如检测到的空气泄漏的数量、一个或多个这样的空气泄漏的严重性、和/或与修复这样的一个或多个泄漏相关联的估计成本节约。在一些示例中，成本估计可以基于与检测到的泄漏相关联的预编程值和/或用户输入值。在示例性应用中，系统可以被配置成确定在没有被适当补救的情况下，每单位时间（例如，每小时）压缩空气泄漏的成本影响。

在示例中，声学成像系统可以被配置成确定关于声学场景中的空气泄漏的各种信息，诸如压力、孔口直径或泄漏率。在一些示例中，用户可以输入一个或多个这样的值，并且可以计算（一个或多个）剩余值。例如，在示例中，用户可以输入与特定空气管线相关联的压力值，并且使用输入的压力信息，系统可以被配置成基于来自场景的声学数据来确定孔口直径和泄漏率。这样的确定可以使用例如存储在存储器中的查找表和/或等式来实行。

在示例场景中，检测到的声音轮廓可以与通过

直径孔口的100 PSIG处的空气泄漏相关联。在一些实施例中，可以对有权访问这种存储的声音轮廓的声学成像系统进行编程，以识别声学场景中的这种轮廓，并且例如基于查找表来估计与这种泄漏相关联的单位时间成本。在类似的示例中，基于（例如，经由手动输入）输入的100 PSIG的压力，检测到的声音轮廓可以与

直径孔口相关联。可以对有权访问这种存储的声音轮廓的声学成像系统进行编程，以识别声学场景中的这种轮廓，并且例如基于查找表来估计与这种泄漏相关联的单位时间成本。

在一些示例中，声学成像系统可以被配置成基于等式和/或查找表来实行用于修复多个检测到的泄漏的成本节约分析。在一些示例中，这样的等式和/或查找表可以存储在声学成像系统的存储器中，或者以其他方式可由声学成像系统访问，用于对所识别的泄漏实行成本分析。

在示例实现方式中，声学成像系统可以被配置成表征例如在场景或设施的检查期间、在环境中检测到的一个或多个泄漏。这样的表征可以例如基于对应于这种泄漏的存储的声学轮廓来实行。检测到的泄漏（例如，具有确定的泄漏率）可以被用来计算修复这种泄漏的成本节约。例如，声学成像系统可以被用来确定存在的泄漏数量和与这种泄漏相关联的泄漏率，并且计算与这种泄漏相关联的成本节约。

在示例中，成本节约可以通过将泄漏的数量、泄漏率（cfm）、与泄漏相关联的能量的量（例如，kW/cfm）、运行小时数和单位能量成本（例如，$/kWh），如下面的等式(1)所示：

成本节约($) = 泄漏数×泄漏率(cfm) ×kW/ cfm ×小时数×$/kWh (1)

声学成像系统可以被用来确定泄漏的数量和与这种泄漏相关联的泄漏率（例如，以cfm为单位）。其他参数可以被预编程到系统中（例如，单位空气发电的能量，以kW/cfm为单位）、经由数据库访问（例如，当前的能量成本，以$/kWh为单位）、或由系统假定（例如，平均运行小时数)。系统可以被编程来计算与修复这种泄漏相关联的成本节约。

在示例中，系统在90 PSIG有100处1/32”的泄漏、在90 PSIG处有50处1/16”的泄漏、并且在100 PSIG有10处

的泄漏。如果假设有7000个年运行小时，总电费率为$0.05/kWh，并且压缩空气发电需求近似为18 kW/100 cfm，则根据等式(1)，与每个泄漏相关联的成本节约如下：

来自1/32”泄漏的成本节约= 100 x 1.5 x 0.61 x 0.18 x 7000 x 0.05 = $5,765

来自1/16”泄漏的成本节约= 50 x 5.9 x 0.61 x 0.18 x 7000 x 0.05 = $11,337

来自

泄漏的成本节约= 10 x 104 x 0.61 x 0.18 x 7000 x 0.05 = $39,967。

如示例中所述，仅消除10处1/4”的泄漏所节约的成本几乎占总节约成本的70%。当泄漏被识别时，在一些示例中，声学成像系统可以被配置成分析泄漏并且识别哪些泄漏在被修复的情况下产生更高的成本节约。在一些示例中，系统可以以更高的成本节约对泄漏进行排序或优先化，并且向用户提供这样的排序或优先化。附加地或替换地，该系统可以被配置成向用户提供关于一个或多个所识别的泄漏的成本节约的通知。

图34示出了示例性显示图像，其向用户或技术人员提供了以下指示，该指示关于场景中所识别的空气泄漏的潜在关键度和由于场景中所识别的空气泄漏所致的潜在损失成本。在示例性实施例中，声学成像系统（例如，经由处理器）检测声学场景中泄漏的存在，例如，经由识别类似于与声学场景中存在的泄漏相关联的已知声音轮廓的声信号。该系统可以被配置成分析检测到的声信号，以确定所识别的泄漏的关键度，例如，通过确定对应于检测到的声信号的一个或多个声音轮廓来进行。

如本文中其他地方所述，在一些示例中，声学图像数据可以根据所确定的关键度被调色。在一些实施例中，可以根据一个或多个声音轮廓来确定声学数据的关键度。例如，用户可以选择泄漏检测操作模式，其中，声学成像系统分析关于与泄漏相关联的一个或多个声音轮廓的声学数据，以确定场景内声学数据的关键度。

如上所述，系统可以被配置成诸如通过一个或多个等式和/或查找表来计算与一个或多个泄漏相关联的数值成本。在示例性实施例中，系统可以基于与这种泄漏相关联的声音轮廓来识别例如泄漏的大小和与泄漏相关联的压力，并且随后通过查找表和/或等式来计算与这种泄漏相关联的每单位时间成本。

在图34的图示示例中，关键度和每单位时间成本（$/年）与声学场景中的多个位置中的每一个相关联。在图示的实施例中，这样的位置经由包括多个指示符3410、3412、3414的声学图像数据示出，这些指示符根据关键度被调色，并且与可见光图像数据进行组合以形成显示图像，该显示图像为每个位置的用户提供泄漏关键度信息。这样的关键度可以例如通过相对于本文中所述的一个或多个对应的声音轮廓对声学场景进行分析来确定。

在各种实施例中，具有不同关键度程度和/或潜在损失成本的泄漏可以用包括各种颜色、形状、大小、不透明度等等的声学图像数据来表示。类似地，一个或多个图标可以被用来表示特定的泄漏（例如，对应于特定的声音轮廓）或泄漏的成本或关键度的范围。附加地或替换地，字母数字信息（诸如成本/年份等等）可以被包括在对应泄漏的位置附近。图34的显示图像进一步包括通知3420，该通知示出了与每个关键度水平相关联的近似成本。这样的值可以基于与场景中检测到的每个声信号相关联的声学参数、例如考虑到存储在存储器中的、表示特定空气泄漏的轮廓来计算。

在某些情况下，附加的上下文信息是有用的或必要的，以便于实行场景的适当分析和报告活动。例如，在一些操作期间，当对场景进行声学成像时，用户或技术人员可能期望记录关于正被检查的场景的上下文信息。在先前的系统中，为了实行此任务，用户或技术人员必须利用单独的相机或设备来拍照、记笔记或使用单独的设备记录笔记。这样的笔记必须与来自声学成像设备的数据手动同步，这潜在地导致数据收集、回溯和不匹配方面的错误，并且潜在地导致在实行分析或报告时的错误。

在一些实施例中，根据本公开的声学成像系统可以捕获目标场景的声学数据，然后将其与涉及目标场景的信息相关联。这种与目标场景有关的信息可以包括关于场景中的一个或多个对象、场景周围和/或场景位置周围的细节。在一些实施例中，相关信息可以以图像、音频记录或视频记录的形式被捕获，并且与表示场景的声学数据相关联（例如，与声学数据本身、与包括对应的声学图像数据的显示图像等相关联）。在一些示例中，相关信息与声学数据相关联，以提供对信息所代表的内容的更好理解。例如，相关信息可以包括关于目标场景或目标场景中的对象的细节。

在一些示例中，系统可以包括一个或多个设备，以收集与场景中的对象或一般而言与场景有关的信息。一个或多个这样的设备可以包括相机、定位设备、时钟、计时器和/或各种传感器，诸如温度传感器、电磁传感器、湿度传感器等等。在一些示例中，声学成像系统可以包括相机（例如，嵌入到声学成像设备的壳体中），该相机可以被配置成用于图像和/或视频获取以收集注释信息。这样的嵌入式相机可以创建照片或视频注释，这些注释可以被附加到声学图像数据或由声学成像设备获取的任何其他数据，或者可以以其他方式与它们一起保存。

在一些示例中，这样的嵌入式相机可以被配置成生成电磁成像数据，该电磁成像数据可以与声学图像数据进行组合以用于显示，如本文中其他地方所述。在一些实施例中，声学成像系统可以被配置成保存各种各样的信息，诸如声学数据、声学图像数据、电磁图像数据、注释数据（例如，传感器数据、图像/视频注释数据等）连同时间戳。在一些示例中，声学成像系统可以被配置成稍后既在设备上又在软件中显示和/或记录相关信息。相关信息可以显示在显示器上和/或被保存为元数据，例如，与保存的显示图像或声学图像文件一起保存。

根据一些实施例，通过在声学成像系统中使用嵌入式相机、图像获取或视频获取设备，这样的设备可以被用来创建照片或视频注释，这些注释可以被附加到主要声学数据、经组合的电磁和声学图像数据和/或任何音频记录，和/或与它们一起保存。

在一些示例中，用户或技术人员可以例如经由用户界面（例如，触摸屏、一个或多个按钮等）来注释显示器上所示出的声学图像数据或由声学成像系统收集的其他数据。例如，在一些示例中，用户或技术人员可以在记录数据的同时或者在回放先前的时间所收集的数据期间使用显示器上注释来注释数据。

在一些示例中，声学成像系统可以经由来自系统用户的屏幕上交互来注释显示图像（例如，包括声学图像数据和/或电磁图像数据）。在一些这样的示例中，该设备可以将所有相关的注释信息与主要声学图像数据一起保存，并且放弃对事后数据同步或匹配的任何需要。这样的实现方式可以减少或消除与人类记忆有关的错误，这些错误可能导致主要数据和辅助数据的不正确配对。

用户可以（例如，经由用户界面）添加的各种显示器上注释可以包括但不限于显示器上绘图（例如，徒手）、显示器上文本和书写、显示器上形状创建、对象的显示器上移动、预配置标记的显示器上放置、预配置文本、指令或笔记的显示器上放置、预配置形状的显示器上放置、预配置绘图或图示的显示器上放置、预配置或编程图标的显示器上放置、或一个或多个声学参数的显示器上可视化。

在一些示例中，声学成像设备可以包括显示器，该显示器可以显示所收集的（例如，实况或先前收集的）声学图像数据和/或电磁图像数据。用户可以经由集成到显示器中的控件或触摸界面来注释这样的图像。

图35示出了用户利用显示器上的注释来注释显示图像的示例。在图35的示例中，三个声信号经由表示与这样的声信号相关联的声学数据的经调色的指示符来在显示图像上的对应位置处示出。如所示的，在一些示例中，用户可以通过绘制自由形状3540来注释显示图像，以便于突出显示或强调显示图像的部分。在这个示例中，用户通过用自由图形3540环绕最中心的声音来注释显示图像。图示的示例还示出了以文本3542形式的附加注释信息，其可以被用来标识或描述显示图像中的一个或多个组件，诸如与圆圈声音相关联的组件。例如，在图示的示例中，圆圈声音的明显来源的标签（“主线2B-28（Main line 2B-28）”）被添加到显示图像。这样的文本可以是（例如，经由触摸屏界面）手写的或者是（例如，经由与系统通信的虚拟键盘或物理键盘）打字的。

图36示出了包括指令和相关位置信息的带注释的显示图像的示例。在该图中，在显示图像上示出了两种声音，以及文本信息和指示用户要实行任务的图形指示。用户可以如所示的那样来注释图像，以便于指示或提醒未来的用户在实行对这种位置的声学检查时实行一个或多个任务。

当生成诸如图36中所示的带注释的图像时，用户可以通过插入预先配置的标记（例如，箭头3640）和/或手写文本3642来注释显示图像。例如，在图示的示例中，用户通过插入指向场景中的阀门开关的箭头3640和文本指令3642“首先关闭主阀门（shut off mainvalve first）”来注释显示图像。

图37示出了用户利用显示器上的注释来注释显示图像的示例。在此示例中，经由显示图像上的对应指示符示出了单个声信号。图示的示例示出了用户通过将预编程图标3740插入显示图像来注释显示图像，该预编程图标诸如是空气泄漏图标。这样的图标可以由用户选择和/或由系统基于一个或多个识别的特性声音推荐（例如，与历史声音轮廓相比较）、并且由所识别的声音放置。此外，用户可以注释图像以诸如利用自由形式的标签、预定义的形状等来识别或标记观察到的声信号的可能来源。

图38示出了用户利用显示器上的注释来注释显示图像的示例。在该图中，经由显示图像上的对应指示符示出了单个声信号。如所示的，用户可以通过将形状3840插入图像来注释显示图像。在图示的示例中，用户在显示图像的左手侧的组件周围添加框3840，以示出来自声学图像数据的声音的可能来源。这样的框3840可以被选为预定义的形状（例如，可定位且大小可调的矩形）。可以使用其他形状，并且可以由用户调整其他形状的大小和方位，以根据需要注释显示图像。

在一些示例中，不同类型的标签可以在显示器上进行组合。例如，图39示出了被定位在显示图像上的图标标签3942，该图标标签3942靠近表示场景内的声信号的声学图像数据中的指示符，以及包围场景中的组件的矩形3940。注释的各种组合是可能的。在一些实施例中，例如，当在场景中识别出特定声音轮廓时，注释被自动添加到显示图像。在一些示例中，系统可以提示用户鉴于所识别的声音轮廓来注释显示图像。

附加地或替换地，在一些示例中，用户可以选择通过包括表示与声学场景相关联的声学参数的视觉或文本信息来注释图像。例如，用户可以经由用户界面（例如，触摸屏或物理控件）选择特定类型的显示器来示出与场景相关联的一个或多个声学参数。用户可以类似地注释图像，以包括关于与场景的一部分相关联的成本或关键度指示的信息，诸如检测到的泄漏。

注释可以包括：被包括在显示图像的实况表示中和/或被包括在例如存储在存储器中的单个所捕获的显示图像中的显示特征。

如本文中其他地方所述，在各种实施例中，声学成像设备可以采用任何数量的不同方法来显示、定位、描述和分析检测到的声音。可视化方法可以包括各种类型的彩色形状、图标，它们具有各种水平的透明度调整，以适应显示它们的可见背景。通过简化设备上声学可视化的参数控制或使这样的控制更直观，用户可以更容易地以更少时间和利用更少训练的情况下获得更好的可视化结果。可以根据应用和用户需要实现各种可视化参数控制方法。这些方法中的许多可以被定制，以供声音可视化和本地化方面的特定个人教育和培训水平使用，因此在各种类型的应用和组织中提供适应性更强的设备。如本文中其他地方所述，在一些示例中，用户可以通过在显示图像中包括特定的数据可视化方案来选择注释显示图像。

图40示出了包括显示图像4002和多参数数据可视化4040的界面，该多参数数据可视化4040包括显示图像右手侧的多个频率范围。在一些示例中，用户可以选择（例如，经由触摸屏和/或其他接口）来自多个所显示的频率范围的一个或多个频率范围，例如，用于过滤声学图像数据和显示具有与所选（一个或多个）频率范围相关联的频率内容（例如，高于某个量值的频率内容）的声学图像数据。在图示的示例中，选择了两个频率范围4042和4044。显示图像中的对应指示符4010和4012指示了场景中具有满足屏幕上所显示的多个频率范围中的对应频率范围的声信号的位置。在图示的示例中，频率范围4042和对应的指示符4010以较浅的阴影示出，而频率范围4044和对应的指示符4012以较深的阴影示出。一般而言，在一些实施例中，场景中满足频率范围的声信号可以经由具有作为频率范围的对应视觉表示的指示符来表示。

一般而言，频率范围可以以各种各样的方式显示，诸如右手对齐、左手对齐、下对齐、或上对齐轴线或中心轴线。在各种实施例中，频率范围可以被分解成任何水平的分辨率，包括每1 kHz（例如，1 kHz- 2 kHz；2 kHz- 3 kHz等）等等。这样的频率范围不需要都是相同的大小或跨越相同的频率范围。在一些示例中，多参数表示4040中的所显示的频率范围的物理大小（例如，宽度）对应于一个或多个参数，诸如频率内容的相对量、声学场景中这种频率的幅值、这种频率的接近度等。

在各种实施例中，可以通过触摸屏交互在虚拟控件上和/或在物理控制机构（诸如方向板）上选择频率范围，其中用户可以通过按钮按压向上、向下、向左、向右滚动，直到期望的（一个或多个）范围条被突出显示，然后被选择。在一些示例中，用户可以选择或取消选择多个范围。

在一些实施例中，频率条（例如，4042、4044）在显示图像4002上与各种频率范围相关联，并且随着实时显示图像中该范围的分贝水平而上升和下降。在各种示例中，范围的分贝水平可以以多种方式确定，诸如峰值分贝水平、平均分贝水平、最小分贝水平、基于时间的平均分贝水平等等。在一些实施例中，可以随时间跟踪与每个频率范围相关联的分贝水平。随着时间的跟踪可以包括在多个时间中的每个时间处（诸如以给定的时间间隔）保存频率信息。附加地或替换地，随时间跟踪频率数据可以包括随时间跟踪在每个频率范围观察到的峰值分贝水平（例如，在特定的持续时间、操作阶段等内）。峰值水平可以以各种各样的方法来计算。

除了当前/最近的频率信息之外，频率信息的显示可以包括峰值频率数据。图41示出了包括显示图像4102和频率信息的多参数表示4140的界面，包括沿着显示图像的下边缘定位的多个频率范围。如图41中所示，显示在显示图像底部上的频率信息包括多个频率范围的幅值信息（例如，4150）（在图41的示例中以分贝为单位测量的）。在一些示例中，最大分贝水平显示在一个或多个频率范围中。在一些情况下，用户可选择示出了最大分贝水平的频率范围。峰值标记4152可以保留在指示最大分贝水平的多参数表示4140上，并且可以以任何数量或可能的方式来表示，诸如对比色、条形帽、箭头、符号或数值。在一些示例中，数据可视化中示出的最大分贝水平包括在一段时间内检测到的最大值，诸如在过去5秒内、在过去30分钟内、自从所选测量开始以来等等。在一些示例中，用户可以重置最大值显示，使得先前的最大值被忽略。

在各种实施例中，显示图像中包括的频带可以由用户调整，或者可以由利用经编程的算法或机器学习的设备自动确定。在各种示例中，频带可以被同样地定大小和分布、可以具有不同的大小、可以是直方图均衡的，或者是通过任何数量的所组合的方法来确定的。

图42示出了包括多个频带的频率信息和多个频带的峰值的显示图像，类似于图41中所示的。在图42的示例中，包括强度和频率信息的多参数表示4240在屏幕的右手部分上示出，并且幅值信息（例如，4250）以右对齐轴线水平示出。类似于图41，多参数表示4240包括峰值标记4252，其指示一段时间内一个或多个频率范围的峰值幅值。

在一些示例中，分贝水平向中心轴线的右侧和左侧增加，例如，在镜像中。类似地，分贝水平峰值也可以出现在镜像中。

这样的关于中心轴线的镜像分贝信息在图43中示出。图43的显示图像包括示出多个频率的强度信息的多参数表示4340。这样的镜轴表示可以允许用户更好地识别小的变化或低分贝水平变化，这在频率范围选择中可能是重要的。

类似于图41和42，图43的多参数表示4340包括峰值标记4352，其指示一段时间内一个或多个频率范围4350的峰值幅值。

在一些实施例中，一个或多个频率范围可以被调色以指示关于这样的频率范围的附加信息，诸如这样的频率范围中的分贝水平。图44示出了多参数表示4440，其包括经调色的频率范围集合，其中，调色表示每个频率范围落入其中的分贝范围。例如，在示例性实施例中，以白色示出的频率范围（例如，4450）落在0-20 dB内，以浅灰色示出的频率范围（例如，4450）落在21-40 dB内，而以深灰色示出的频率范围落在41-100 dB内。在一些示例中，调色对应于相对值而不是绝对值，例如，其中，以白色示出的频率范围被认为具有“低”强度，以浅灰色示出的频率范围被认为具有“中等”强度，并且以深灰色示出的频率范围被认为具有“高”强度。在示例性实施例中，就强度而言，频率范围的底部三分之一被标记为白色，就强度而言，频率范围的中间三分之一被标记为浅灰色，并且就强度而言，频率范围的最高三分之一以深灰色示出。在另一个示例中，强度高达最大强度的三分之一的频率范围以白色示出，强度在最大强度的三分之一和三分之二之间的频率范围以浅灰色示出，并且强度在最大强度的三分之二和最大强度之间的频率范围以深灰色示出。在一些示例中，在所显示的频率信息中示出的调色方案也可以被用在声学图像数据中存在的一个或多个指示符中。一般而言，可以使用各种各样的颜色或其他可视化方案中的任何一种（例如，经由各种图案、透明度等）。

在一些示例中，频率范围可以在每个频率范围中就检测到的声学数据的严重性进行调色。例如，在一些示例中，以深灰色示出的频率范围被认为是严重的，以浅灰色示出的频率范围被认为是中等严重的，并且以白色示出的频率范围被认为表现出轻微的严重性。类似于上文所讨论的，在一些示例中，声学图像数据中存在的一个或多个指示符可以包括声学场景中的一个或多个位置处的相似调色严重性指示。

图45示出了包括多参数表示4540的示例显示图像，该多参数表示4540示出了不同的频率范围和根据严重性进行调色的指示符4510、4512、4514。在各种示例中，对应于不同严重性水平的颜色可以由设备自动设置或由用户手动设置。

如本文中其他地方所述，在一些示例中，频率强度数据可以随时间保存或跟踪。在一些实施例中，强度比对时间信息可以在多参数表示中为一个或多个频率范围中的每一个显示。图46示出了强度（以分贝为单位）比对多参数表示4640中的多个频率范围中的每一个（例如，4650）的时间趋势。例如，在一些示例中，除了强度比对时间之外，对于一个或多个频率范围中的一个或多个，还可以在多参数表示4640中显示峰值强度信息，诸如经由峰值标记（例如，4652）来显示。如图46中所示，多参数表示4640包括时间轴，并且对于多个声频率或声频率范围中的每一个（例如，4650），表示与随时间推移的声频率或声频率范围相对应的强度信息。

本文中所述的各种过程可以被体现为包括用于使一个或多个处理器执行这样的过程的可执行指令的非暂时性计算机可读介质。系统可以包括一个或多个处理器，该处理器被配置成例如基于存储在与处理器构成整体或在处理器外部的存储器中的指令来实行这样的过程。在一些情况下，各种组件可以分布在整个系统中。例如，系统可以包括多个分布式处理器，每个被配置成执行由系统执行的整个过程的至少一部分。附加地，将领会到，本文中所述的各种特征和功能可以被组合成单个声学成像系统，例如，被体现为手持式声学成像工具或具有各种单独的和/或可分离的组件的分布式系统。

本文中所述的组件的各种功能可以进行组合。在一些实施例中，可以将本申请中描述的特征与PCT申请中描述的特征进行组合，该PCT申请题为“SYSTEMS AND METHODS FORPROJECTING AND DISPLAYING ACOUSTIC DATA”，其代理人案卷号为56581.178.2并于2019年7月24日提交，其被转让给本申请的受让人，并通过引用并入本文中。在一些实施例中，可以将本申请中描述的特征与PCT申请中描述的特征进行组合，该PCT申请题为“SYSTEMS ANDMETHODS FOR TAGGING AND LINKING ACOUSTIC IMAGES”，其代理人案卷号为56581.179.2，并于2019年7月24日提交，其被转让给本申请的受让人并且通过引用并入本文中。在一些实施例中，可以将本申请中描述的特征与PCT申请中描述的特征进行组合，该PCT申请题为“SYSTEMS AND METHODS FOR DETACHABLE AND ATTACHABLE ACOUSTIC IMAGING SENSORS”，其代理人案卷号为56581.180.2并于2019年7月24日提交，其被转让给本申请的受让人，并通过引用并入本文中。在一些实施例中，可以将本申请中描述的特征与PCT申请中描述的特征进行组合，该PCT申请题为“SYSTEMS AND METHODS FOR REPRESENTING ACOUSTICSIGNATURES FROM A TARGET SCENE”，其代理人案卷号为56581.182.2并于2019年7月24日提交，其被转让给本申请的受让人，并通过引用并入本文中。

已经描述了各种实施例。这样的示例是非限制性的，并且不以任何方式限定或限制本发明的范围。

Claims (39)

1.一种声学分析系统，其包括：

声学传感器阵列，其包括多个声学传感器元件，所述多个声学传感器元件中的每一个被配置成从声学场景接收声信号，并且基于所接收的声信号输出声学数据；

电磁成像工具，其被配置成接收来自目标场景的电磁辐射，并且输出代表所接收的电磁辐射的电磁图像数据；

用户界面；

显示器；以及

与声学传感器阵列、电磁成像工具、用户界面和显示器通信的处理器，所述处理器被配置成：

从电磁成像工具接收电磁图像数据；

从声学传感器阵列接收声学数据；

基于所接收的声学数据生成场景的声学图像数据；

生成包括所组合的声学图像数据和电磁图像数据的显示图像；

在显示器上呈现显示图像；

从用户界面接收注释输入；以及

基于所接收的注释输入来更新显示器上的显示图像。

2.根据权利要求1所述的系统，其中：

用户界面包括触摸屏；以及

所接收的注释输入包括经由触摸屏所接收的自由式注释。

3.根据权利要求1或2中任一项所述的系统，进一步包括：与处理器通信的存储器，所述存储器包括一个或多个图标；并且其中，所接收的注释输入包括：

对存储在存储器中的图标的选择；以及

设置图标在显示图像上的方位的输入。

4.根据权利要求1-3中任一项所述的系统，其中，注释输入包括：

对预定义形状的选择；

设置预定义形状的大小的输入；以及

设置预定义形状在显示图像内的方位的输入。

5.根据权利要求1-4中任一项所述的系统，其中，处理器被配置成：

检测声学场景中存在的声信号的位置；并且其中

基于所接收的注释输入更新显示器上的显示图像包括：

包括被定位在声信号的位置处的显示图像中的指示符；以及

响应于所接收的与指示符的透明度相关联的注释输入，调整显示图像内的指示符的透明度。

6.根据权利要求5所述的系统，其中，调整显示图像内的指示符的透明度包括：调整对应于将电磁成像数据和声学图像数据进行混合的混合比。

7.根据权利要求1-6中任一项所述的系统，其中，处理器被配置成：

检测声学场景中存在的声信号的位置；以及

确定与声信号相关联的声学参数；其中

所接收的注释输入包括接收对与声学参数相关联的值的范围的选择；以及

基于所接收的注释输入来更新显示器上的显示图像包括：

仅当与声信号相关联的声学参数落入与声学参数相关联的值的所选范围内时，才包括被定位在声信号的位置处的显示图像中的指示符。

8.根据权利要求7所述的系统，其中：

所接收的注释输入包括：接收对与声学参数相关联的多个值的范围的选择；以及

基于所接收的注释输入来更新显示器上的显示图像包括：

仅当与声信号相关联的声学参数落入与声学参数相关联的值的多个所选范围中的任一范围内时，才包括被定位在声信号的位置处的显示图像中的指示符。

9.根据权利要求1-8中任一项所述的系统，其中，处理器被配置成：

检测声学场景中存在的声信号的位置；以及

确定与声信号相关联的到目标的距离；其中

显示图像包括被定位在声信号的位置处的指示符；以及

基于所接收的注释输入来更新显示器上的显示图像包括：

在被定位在声信号的位置处的指示符附近包括注释，所述注释指示与声信号相关联的到目标的距离。

10.根据权利要求9所述的系统，其中，处理器被配置成：

确定与声信号相关联的一个或多个声学参数；以及

基于声学参数与预定阈值或多个预定阈值的比较，确定与声信号相关联的关键度；其中

基于所接收的注释输入来更新显示器上的显示图像进一步包括：在被定位在声信号的位置处的指示符附近包括注释，所述注释指示一个或多个声学参数以及与声信号相关联的关键度。

11.根据权利要求9或10中任一项所述的系统，进一步包括：激光距离传感器，其包括激光指示器，所述激光指示器被配置成朝向场景发射激光，并且向处理器提供代表到目标场景的距离的信息；并且其中

显示图像进一步包括示出了激光指示器在目标场景内的方位的激光指示符。

12.根据权利要求1-11中任一项所述的系统，其中，注释输入包括：

定义了字母数字注释的字母数字输入；以及

设置了字母数字注释在显示图像中的方位的输入。

13.根据权利要求12所述的系统，其中，字母数字输入包括从字母数字注释选项的预定义列表中选择字母数字注释。

14.根据权利要求1-13中任一项所述的系统，其中，处理器被进一步配置成：

检测声学场景内的多个声信号；

确定与多个检测到的声信号中的每一个相关联的第一声学参数；并且其中

从用户界面接收注释输入包括：接收更新显示图像以包括代表第一声学参数的信息的指令；以及

基于所接收的注释输入来更新显示图像包括：包括显示图像上的指示，所述指示表示与每一个检测到的声信号相关联的所确定的第一声学参数。

15.根据权利要求14所述的系统，其中，显示器上的指示表示与每一个检测到的声信号相关联的所确定的第一声学参数，所述指示包括被定位在每个声信号的位置处并且包括单一颜色的异声指示符，所述单一颜色表示与第一声学参数相关联的特定值或值的范围。

16.根据权利要求15所述的系统，其中，每个异声指示符的单一颜色表示第一声学参数的关键度水平。

17.根据权利要求15或16中任一项所述的系统，其中，处理器被配置成确定与多个检测到的声信号中的每一个相关联的第二声学参数，并且其中，每个异声指示符表示第一声学参数和第二声学参数的特定值或范围。

18.根据权利要求14-17中任一项所述的系统，其中，处理器被配置成确定与多个检测到的声信号中的每一个相关联的第二声学参数，并且其中，对于多个检测到的声信号中的每一个，指示包括与每个检测到的声信号相关联的第一声学参数和第二声学参数的字母数字表示。

19.根据权利要求14-18中任一项所述的系统，其中，指示包括：

对于多个检测到的声信号中的每一个，指示符被定位在显示图像上对应于检测到的声信号的声学场景中的位置处，所述指示符具有表示声信号的第一声学参数的视觉特性；以及

多参数表示，其示出了声学场景内的第一声学参数与第二声学参数之间的关系。

20.根据权利要求19所述的系统，其中，多参数表示包括时间轴，所述时间轴示出了第一声学参数与第二声学参数之间的关系随时间的演变。

21.根据权利要求19或20中任一项所述的系统，其中，多参数表示包括与声学场景内的多个频率或频率范围相关联的声学强度的图形表示。

22.根据权利要求1-21中任一项所述的系统，进一步包括存储器，所述存储器包括一个或多个声音轮廓，每个声音轮廓由对应于一个或多个声音的一个或多个声学参数定义；并且其中，处理器被配置成：

分析所接收的声学数据；以及

如果所接收的声学数据与存储在存储器中的声音轮廓之一相匹配，则利用与声音轮廓相关联的注释来注释显示图像；其中

所接收的注释输入包括检测声学场景中存在的声音轮廓的指令。

23.根据权利要求22所述的系统，其中，注释包括基于所匹配的声音轮廓的声学场景的检测到的条件的指示。

24.根据权利要求23所述的系统，其中检测到的条件包括空气泄漏。

25.根据权利要求24所述的系统，其中，指示包括空气泄漏的字母数字注释。

26.根据权利要求25所述的系统，其中，处理器被进一步配置成确定与空气泄漏相关联的成本，并且其中，字母数字注释包括与空气泄漏相关联的成本的表示。

27.根据权利要求24-26中任一项所述的系统，其中，指示包括表示空气泄漏的图标注释。

28.一种声学分析系统，其包括：

声学传感器阵列，其包括多个声学传感器元件，所述多个声学传感器元件中的每一个被配置成从声学场景接收声信号，并且基于所接收的声信号输出声学数据；

包括声音轮廓的存储器，所述声音轮廓包括第一声学参数和与第一声学参数相关联的第一预定条件；

显示器；以及

与声学传感器阵列、显示器和存储器通信的处理器，所述处理器被配置成：

从声学传感器阵列接收声学数据；

确定所接收的声学数据是否匹配存储在存储器中的声音轮廓；以及

如果所接收的声学数据与存储在存储器中的声音轮廓相匹配，则经由显示器上的指示来指示所接收的声学数据与存储在存储器中的声音轮廓相匹配，所述指示包括与所匹配的声音轮廓有关的信息。

29.根据权利要求28所述的系统，其中，确定所接收的声学数据是否匹配声音轮廓包括：确定所接收的声学数据是否包括满足与第一声学参数相关联的第一预定条件的声信号。

30.根据权利要求28或29所述的系统，其中，声音轮廓包括第二声学参数和与第二声学参数相关联的第二预定条件。

31.根据权利要求30所述的系统，其中，如果所接收的声学数据包括满足与第一声学参数相关联的第一预定条件和与第二声学参数相关联的第二预定条件的声信号，则所接收的声学数据匹配声音轮廓。

32.根据权利要求31所述的系统，其中，第一声学参数包括频率，第一预定条件包括频率范围，第二声学参数包括强度，并且第二预定条件包括阈值强度，使得：

如果所接收的声学数据包括频率在频率范围内并且强度大于阈值强度的声信号，则所接收的声学数据匹配声音轮廓。

33.根据权利要求30-32中任一项所述的系统，其中，如果所接收的声学数据包括满足与第一声学参数相关联的第一预定条件的第一声信号和满足与第二声学参数相关联的第二预定条件的第二声信号，则所接收的声学数据匹配声音轮廓。

34.一种声学分析系统，其包括：

声学传感器阵列，其包括多个声学传感器元件，所述多个声学传感器元件中的每一个被配置成从声学场景接收声信号，并且基于所接收的声信号输出声学数据；

电磁成像工具，其被配置成接收来自目标场景的电磁辐射，并且输出代表所接收的电磁辐射的电磁图像数据，所述电磁成像工具被配置成检测电磁辐射；

显示器；以及

与声学传感器阵列、电磁成像工具和显示器通信的处理器，所述处理器被配置成：

从电磁成像工具接收电磁图像数据；

从声学传感器阵列接收声学数据；

基于所接收的声学数据生成场景的声学图像数据；

生成包括所组合的声学图像数据和电磁图像数据的显示图像；以及

在显示器上呈现显示图像，其中，显示图像包括：

指示符，其被定位在显示图像上对应于检测到的声信号的声学场景中的位置处，所述指示符具有表示声信号的声学参数的视觉特性；以及

多参数表示，其包括代表对应于多个声频率或声频率范围中的每一个的所接收的声学数据的强度信息。

35.根据权利要求34所述的系统，其中，多参数表示包括时间轴，并且对于所述多个声频率或声频率范围中的每一个，表示与随时间推移的声频率或声频率范围相对应的强度信息。

36.根据权利要求34或35中任一项所述的系统，进一步包括与处理器通信的用户界面，并且其中，处理器被配置成：

经由用户界面接收对多个声频率或声频率范围中的一个或多个的选择；以及

确定声学场景中具有声信号的位置，所述声信号包括所选择的一个或多个声频率或声频率范围内的频率内容；并且其中

所生成的声学图像数据仅包括具有声信号的所确定位置中的信息，所述声信号包括所选择的一个或多个声频率或声频率范围内的频率内容。

37.根据权利要求34-36中任一项所述的系统，其中，对于多个声频率或声频率范围中的每一个，多参数表示包括当前声强度值的指示和最大声强度值的表示。

38.根据权利要求37所述的系统，其中，对于多个声频率或声频率范围中的每一个，最大声强度值表示在预定义的时间段内观察到的最大声强度。

39.根据权利要求34-36中任一项所述的系统，其中，指示符和/或多参数表示包括关键度信息，所述关键度信息表示声学场景内的位置中和/或声学场景内的预定声频率或声频率范围处的声学数据的关键度。

Images