CN112703375A - 用于投射和显示声学数据的系统和方法 - Google Patents

Abstract

系统可以包括被配置成接收声信号的声学传感器阵列、被配置成发射电磁辐射的照明器、被配置成接收电磁辐射的电磁成像工具、距离测量工具以及处理器。该处理器可以经由照明器照亮目标场景、从电磁成像工具接收代表被照亮场景的电磁图像数据、从声学传感器阵列接收声学数据，以及从距离测量工具接收距离信息。该处理器可以被进一步配置成基于所接收的声学数据和所接收的距离信息来生成场景的声学图像数据，并且生成包括所组合的声学图像数据和电磁图像数据的显示图像。该处理器可以确定各种声音信号在场景内的深度，并且生成场景的表示，其示出了所确定的深度，包括平面图和体积表示。

Description

用于投射和显示声学数据的系统和方法

相关事项

本申请主张于2018年7月24日提交的美国专利申请号62/702,716的优先权，其整个内容通过引用并入到本文中。

背景技术

当前可用的声学成像设备包括由于各种各样的因素而具有各种频率灵敏度限制的声学传感器阵列配置。例如，一些声学成像设备被设计成对近似20 Hz与近似20 kHz之间的声频率范围做出响应。其他设备（例如，超声设备）被设计成对近似38 kHz与近似45 kHz之间的声频率范围做出响应。

然而，通常被设计为在20 Hz至20 kHz频率范围内运行的声学成像设备无法有效地检测更高的频率或对更高的频率进行成像，该更高的频率例如是高达或超过近似50kHz。同样地，被设计为在20 kHz至50 kHz频率范围内运行的声学或超声设备无法有效地检测较低的频率和/或对较低的频率进行成像，该较低的频率例如是20 kHz处或低于20 kHz。这可能出于各种各样的原因。例如，针对较低（例如，可听见的）频率进行了优化的传感器阵列通常包含比针对较高（例如，超声波）频率进行了优化的传感器阵列相距更远的个体传感器。

除了硬件考虑之外或作为其替代，声学成像的不同计算算法和方法往往更适合于具有不同频率和/或不同的到目标的距离的声信号，从而使得难以确定如何最好地对场景进行声学成像，特别是在没有缺乏经验的用户的情况下。

在对不同声频率范围进行成像时的这样的差异部分地是由于不同频率和波长的声波通过空气传播背后的物理现象所致。某些阵列取向、阵列大小和计算方法通常可以更好地适合于具有不同频率特性（例如，可听见的频率、超声频率等）的声信号。

类似地，不同的阵列属性和/或计算方法可以更好地适合于到目标的不同距离处的声学场景。例如，针对非常近距离处的目标的近场声全息术、针对更远距离处的目标的各种声学波束形成方法。

因此，使用声学阵列（例如，用于声学成像）的声学检查可能需要范围广泛的装备，例如，用于分析具有不同频率范围的声信号，以及在了解不同的硬件和计算技术何时适用于实行声学分析方面的专业能力。这可能会使声学检查变得既费时又费钱，并且可能需要专家来实行这样的检查。

例如，用户可能被迫手动选择用于实行声学分析的各种硬件和/或软件。然而，缺乏经验的分析人员可能无法知道针对给定声学分析和/或声学场景的硬件和软件的优选组合。附加地，从场景内部隔离关注的声音可能会提供其自身的挑战，特别是在混乱的场景中，并且可能会使缺乏经验的用户感到乏味且令人沮丧。例如，给定的声学场景（尤其是在嘈杂的环境中）可以包括声信号，该声信号包括任何数量的频率、强度或可能使关注的声信号模糊的其他特性。

传统系统往往要求用户在检查之前手动识别各种关注的声学参数，以便分析关注的声音。然而，缺乏经验的用户可能不知道如何最好地隔离和/或识别各种关注的声音。

附加地，当在检查同一对象或场景的同时串联使用多种成像技术（例如，可见光、红外线、紫外线、声学或其他成像技术）时，被用来实行不同成像技术的工具的物理布局和/或其他设置（例如，焦点方位）可能会影响分析。例如，每个成像设备的不同位置和/或聚焦方位可能导致视差误差，其中，所得图像可能是未对准的。这可能导致无法正确定位场景内的关注区域和/或问题区域、文档错误以及问题的错误诊断。例如，相对于声学图像数据，如果声学图像数据相对于来自其他成像技术（例如，可见光和/或红外线图像数据）的图像数据是未对准的，则可能难以识别关注的声信号的位置或源。

现有的超声测试和检查工具在使用或不使用抛物面天线（parabolic dish）的情况下都采用（一个或多个）超声传感器，以便帮助将声音朝向（一个或多个）接收传感器聚焦。当检测到特定频率的声音时，它通常被显示为上升或下降的数值，或者被显示在设备的显示器上的频率或分贝水平图上。对于许多用户而言，这可能非常令人困惑且不直观。没有实况场景的图像或声音的可视化是可获得的。

隔离、定位和分析特定声音可能是繁琐的过程，并且可能使许多最终用户感到困惑。先进的声学成像设备采用非数字可视化技术，其中一种或多种声音可以利用实况视频背景或静态视觉背景来可视化，它们依赖于视频或静态相机的性能以便产生高质量的图像。如果环境较暗，或者检查的目标远离设备有一定的距离，则图像质量可能较差，和/或相对于实际的关注目标，所显示的图像的视场可能是不正确的。这可能导致设备产生和保存其质量和实用性有问题的图像和数据。

附加地，在某些情况下，声音可能会通过开放空间行进长达一定距离，并且可能反映出各种对象。这进一步使定位和识别声音的源变得复杂。

发明内容

本公开的一些方面涉及声学成像系统。系统可以包括声学传感器阵列，该声学传感器阵列包括多个声学传感器元件，该多个声学传感器元件中的每一个可以被配置成从声学场景接收声信号并且基于所接收的声信号输出声学数据。

系统可以包括一个或多个照明器，该照明器被配置成朝向目标场景发射电磁辐射。该一个或多个照明器可以被配置成发射包括一个或多个波长范围的电磁辐射。

系统可以包括电磁成像工具，该电磁成像工具被配置成从目标场景接收电磁辐射并且输出代表所接收的电磁辐射的电磁图像数据。该电磁成像工具可以被配置成检测来自一个波长范围的电磁辐射，该波长范围诸如是包括可见光和/或近红外光谱的范围。在一些系统中，电磁成像系统可以包括可见光相机模块和/或红外相机模块。

系统可以包括距离测量工具。该距离测量工具可以被配置成提供代表到目标的距离的距离信息。在一些系统中，距离测量工具可以包括激光指示器。

系统可以包括显示器和处理器。该处理器可以与声学传感器阵列、照明器、电磁成像工具、距离测量工具和显示器通信。

在一些系统中，处理器可以被配置成经由照明器照亮目标场景、从电磁成像工具接收代表被照亮场景的电磁图像数据、从声学传感器阵列接收声学数据，以及从距离测量工具接收代表到目标的距离的距离信息。在一些实施例中，照明器可以发射一种或多种波长的电磁辐射，该波长与电磁成像工具所接收的波长范围至少部分地重叠。

在一些系统中，处理器可以被配置成基于所接收的声学数据和所接收的距离信息来生成场景的声学图像数据，并且生成包括所组合的声学图像数据和电磁图像数据的显示图像。处理器可以将显示图像传送给显示器。

系统可以包括与处理器通信的环境光传感器。在一些系统中，该处理器可以被配置成从环境光传感器接收代表环境光的量的数据。在一些系统中，处理器可以响应于环境光的量低于预定阈值而使照明器照亮目标场景，和/或响应于环境光的量低于预定阈值而建议用户照亮目标场景。

在一些示例中，处理器可以被配置成确定场景内的各种声信号的深度，并且生成示出了所确定的深度的场景的表示。这样的表示可以包括将声学图像数据包括在二维平面图（例如，场景的俯视图）上或包括在场景的三维体积表示内。

下面在附图和说明书中阐述一个或多个示例的细节。根据本描述和附图以及根据权利要求，其它特征、对象以及优点将是显而易见的。

附图说明

图1A和1B示出了示例性声学成像设备的正视图和后视图。

图2是图示了声学分析系统的示例的组件的功能框图。

图3A、3B和3C示出了声学分析系统内的示例性声学传感器阵列配置的示意图。

图4A和4B示出了在可见光图像数据和声学图像数据的帧的生成中的视差误差的示意图。

图5A和5B示出了可见光图像与声学图像之间的视差校正。

图5C和5D是图5A和5B的彩色版本。

图6是示出了用于生成将声学图像数据和电磁图像数据进行组合的最终图像的示例性方法的过程流程图。

图7是示出了用于从所接收的声信号生成声学图像数据的示例性过程的过程流程图。

图8示出了用于确定在声学成像过程期间使用的适当的算法和传感器阵列的示例性查找表。

图9A是在声学场景中所接收的图像数据的频率内容随时间推移的示例性标绘图。

图9B示出了包括发射声信号的多个位置的示例性场景。

图9C示出了在多个预定义的频率范围处的多个所组合的声学和可见光图像数据。

图10A和10B是包括所组合的可见光图像数据和声学图像数据的示例性显示图像。

图11A和11B示出了声学场景中的声学数据的频率比对时间的示例性标绘图。

图12A、12B和12C示出了用于将声学图像数据与存储在数据库中的历史声学图像数据进行比较的多种示例性方式。

图13是示出了将所接收的声学图像数据与用于对象诊断的数据库进行比较的示例性操作的过程流程图。

图14示出了使用梯度调色（palettization）方案的声学数据的可视化。

图15示出了使用多个阴影同心圆的声学数据的可视化。

图16示出了包括非数字信息和字母数字信息两者的示例性可视化。

图17示出了包括非数字信息和字母数字信息两者的另一示例可视化。

图18示出了包括非数字信息和字母数字信息两者的另一示例可视化。

图19示出了示例性可视化，其示出了代表不同声学参数值的不同大小和颜色的指示符。

图20示出了示例性可视化，其示出了具有不同颜色的多个指示符，该不同颜色指示来自对应位置的声信号所指示的严重性。

图21示出了在场景内的多个位置处包括指示符的场景，该指示符以有区别的方式示出了满足预定条件的声信号。

图22示出了包括定位在显示图像内的多个图标的显示图像，这些图标指示场景内的识别出的声学轮廓。

图23示出了另一示例性显示图像，其经由多个指示符、使用同心圆和表示与每一个声信号相关联的声强度的字母数字信息示出了声学数据。

图24示出了示例显示图像，其具有指示符和与所表示的声信号相关联的附加字母数字信息。

图25A示出了包括显示器的系统，在该显示器中选择了显示图像内的指示符，并且激光指示器朝向场景发射激光。

图25B示出了在图25的系统视图中示出的显示器。

图26示出了包括指示符的显示图像，该指示符具有表示声学图像数据的梯度调色方案并且包括声学图像混合控件。

图27示出了包括指示符的显示图像，该指示符具有表示声学图像数据的同心圆调色方案并且包括声学图像混合控件。

图28示出了包括指示符的显示图像，该指示符具有梯度调色，其指示场景中满足一个或多个滤波条件的位置。

图29示出了包括指示符的显示图像，该指示符具有同心圆调色，其指示场景中满足一个或多个滤波条件的位置。

图30示出了包括两个指示符的显示图像，每个指示符具有梯度调色，其指示场景中满足不同滤波条件的位置。

图31示出了包括显示图像和虚拟键盘的显示界面。

图32示出了嵌入到眼镜中的显示器，该眼镜可以由用户佩戴并且显示出显示图像。

图33A和33B示出了动态显示图像，其包括具有基于声学传感器阵列的指向的动态强度的指示符。

图34A示出了朝向场景发射激光的声学成像设备。

图34B示出了示例显示图像，其包括可见光图像数据和声学图像数据，以及场景中的激光点的代表性（representational）可视化。

图35A示出了表示没有照明的场景声学图像数据和电磁图像数据的显示图像。

图35B示出了使用可见光照明器捕获的场景的图像。

图35C示出了使用近红外照明器捕获的场景的图像。

图36示出了示例实现方式，其中用户可以选择场景内的位置，系统可以使激光指示器指向该位置。

图37示出了非限制性实施例，其中，一个或多个激光指示器被用来识别三种声音。

图38示出了朝向显示图像中的位置投射声学图像数据的投影仪系统。

图39示出了具有投影仪系统的声学成像设备，该投影仪系统将代表多个声音的声学图像数据朝向这样的声音的相应起源投射。

图40示出了示例性实施例，其中，声学图像数据被映射到代表性面积图。

图41示出了被映射到X-Y区域上并叠加到平面布局图上的多个声音。

图42示出了示例性实施例，其中，声学图像数据被映射到体积空间。

图43示出了声学成像设备，其包括显示器，该显示器示出了经由对应的多个指示符示出的、包括多个检测到的声音的三维方位的声学图像数据的体积表示。

图44示出了包括用于将点图案透射到场景上的点投影系统的声学成像系统。

图45示出了示例性显示图像，其包括被映射到场景的三维表示上的声学图像数据的可视化。

具体实施方式

图1A和1B示出了示例声学成像设备的正视图和后视图。图1A示出了声学成像设备100的前侧，该声学成像设备100具有支撑声学传感器阵列104和电磁成像工具106的壳体102。在一些实施例中，声学传感器阵列104包括多个声学传感器元件，该多个声学传感器元件中的每一个被配置成从声学场景接收声信号并且基于所接收的声信号输出声学数据。电磁成像工具106可以被配置成从目标场景接收电磁辐射并且输出代表所接收的电磁辐射的电磁图像数据。电磁成像工具106可以被配置成检测多个波长范围中的一个或多个的电磁辐射，诸如可见光、红外线、紫外线等等。

在图示的示例中，声学成像设备100包括：环境光传感器108和位置传感器116，诸如GPS。设备100包括：激光指示器110，其在一些实施例中包括激光测距仪。设备100包括：焊灯（torch）112，其可以被配置成朝向场景发射可见光辐射；和红外照明器118，其可以被配置成朝向场景发射红外辐射。在一些示例中，设备100可以包括用于在任何波长范围内照亮场景的照明器。设备100进一步包括：投影仪114，诸如图像重投影仪，其可以被配置成将生成的图像投射到诸如彩色图像之类的场景上；和/或点投影仪，其被配置成将一系列点投射到场景上，例如，以确定场景的深度轮廓。

图1B示出了声学成像设备100的背面。如所示的，该设备包括：显示器120，其可以呈现图像或其他数据。在一些示例中，显示器120包括触摸屏显示器。声学成像设备100包括：可以向用户提供音频反馈信号的扬声器，以及可以使得能够在声学成像设备100与外部设备之间实现无线通信的无线接口124。该设备进一步包括控件126，该控件126可以包括一个或多个按钮、旋钮、刻度盘、开关或其他对接组件，以使得用户能够与声学成像设备100进行交互。在一些示例中，控件126和触摸屏显示器进行组合以提供声学成像设备100的用户界面。

在各种实施例中，声学成像设备不必包括图1A和1B的实施例中所示的每个元件。可以从声学成像设备中排除一个或多个图示的组件。在一些示例中，在图1A和1B的实施例中示出的一个或多个组件可以被包括作为声学成像系统的一部分，但是与壳体102分开地包括。这样的组件可以例如使用无线接口124、经由有线或无线通信技术与声学成像系统的其他组件进行通信。

图2是图示了声学分析系统200的示例的组件的功能框图。图2的示例性声学分析系统200可以包括：以声学传感器阵列202布置的多个声学传感器，诸如传声器、MEMS、换能器等。这样的阵列可以是一维的、二维的或三维的。在各种示例中，声学传感器阵列可以限定任何合适的大小和形状。在一些示例中，声学传感器阵列202包括以网格图案布置的多个声学传感器，诸如例如，以纵向列和横向行布置的传感器元件的阵列。在各种示例中，声学传感器阵列202可以包括按照例如8×8、16×16、32×32、64×64、128×128、256×256等的水平行的垂直列的阵列。其他示例是可能的，并且各种传感器阵列不必一定包括与列相同数量的行。在一些实施例中，这样的传感器可以被定位在基板上，例如，诸如印刷电路板(PCB)基板。

在图2所示的配置中，与声学传感器阵列202通信的处理器212可以从多个声学传感器中的每一个接收声学数据。在声学分析系统200的示例性操作期间，处理器212可以与声学传感器阵列202通信以生成声学图像数据。例如，处理器212可以被配置成分析从以声学传感器阵列布置的多个声学传感器中的每一个接收的数据，并且通过将声信号“反向传播”到声信号的源来确定声学场景。在一些实施例中，处理器212可以通过识别跨二维场景的声信号的各种源位置和强度来生成声学图像数据的数字“帧”。通过生成声学图像数据的帧，处理器212在基本上给定的时间点捕获目标场景的声学图像。在一些示例中，帧包括构成声学图像的多个像素，其中，每个像素表示声信号已经反向传播到的源场景的一部分。

被描述为声学分析系统200内的处理器的组件（包括处理器212）可以被实现为单独地或以任何合适的组合的形式的一个或多个处理器，诸如一个或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、可编程逻辑电路等等。处理器212还可以包括存储器，该存储器存储程序指令和相关数据，该程序指令和相关数据在被处理器212执行时会使声学分析系统200和处理器212实行在本公开中归属于它们的功能。存储器可以包括任何固定或可移除的磁性、光学或电介质，诸如RAM、ROM、CD-ROM、硬磁盘或软磁盘、EEPROM等等。存储器还可以包括可移除存储器部分，其可以被用来提供存储器更新或增加存储器容量。可移除存储器还可以允许将声学图像数据容易地传递到另一个计算设备，或在声学分析系统200被用在另一个应用中之前去除声学图像数据。处理器212还可以被实现为片上系统，其将计算机或其它电子系统的一些或全部组件集成到单个芯片中。处理器212（处理电路）可以被配置成将经处理的数据传送到显示器214或其它输出/控制设备218。

在一些实施例中，声学传感器阵列202中的声学传感器生成与每个声学传感器所接收的声信号相对应的一系列信号，以表示声学图像。当通过扫描构成了声学传感器阵列202的全部行来获得来自每个声学传感器的信号时，生成了声学图像数据的“帧”。在一些示例中，处理器212可以以足以生成声学图像数据的视频表示（例如，30 Hz或60 Hz）的速率来获取声学图像帧。独立于特定电路，声学分析系统200可以被配置成操纵代表目标场景的声学轮廓的声学数据，以便于提供可以被显示、存储、传输或以其它方式被用户利用的输出。

在一些实施例中，“反向传播”所接收的声信号以便生成声学图像数据包括：例如经由处理器分析在声学传感器阵列202中的多个声学传感器处的所接收的信号。在各种示例中，实行反向传播是一个或多个参数的函数，该参数包括到目标的距离、频率、声音强度（例如，分贝水平）传感器阵列的尺寸/配置，例如包括一个或多个阵列内的个体传感器的间隔和布置等。在一些实施例中，这样的参数可以被预编程到系统中，例如，在存储器中。例如，声学传感器阵列202的属性可以被存储在存储器中，诸如内部存储器或特别地与声学传感器阵列202相关联的存储器。可以通过各种各样的方式接收其他参数，诸如到目标的距离。例如，在一些示例中，声学分析系统200包括与处理器212通信的距离测量工具204。该距离测量工具可以被配置成提供代表从距离测量工具204到目标场景中的特定位置的距离的距离信息。各种距离测量工具可以包括激光测距仪或其他已知的距离测量设备，诸如其他光学或音频距离测量设备。附加地或替换地，距离测量工具可以被配置成生成三维深度数据，使得目标场景的每个部分具有相关联的到目标的距离的值。因此，在一些示例中，如本文中使用的到目标的距离的测量结果可以对应于到目标场景内的每个位置的距离。这样的三维深度数据可以例如经由具有目标场景的不同视图的多个成像工具、或经由其他已知的距离扫描工具来生成。一般而言，在各种实施例中，距离测量工具可以被用来实行一个或多个距离测量功能，包括但不限于：激光距离测量、有源声波距离测量、无源超声距离测量、LIDAR距离测量、RADAR距离测量、毫米波距离测量等等。

来自距离测量工具204的距离信息可以被用于反向传播计算中。附加地或替换地，系统200可以包括用户界面216，用户可以将到目标的距离的参数手动输入到其中。例如，如果到怀疑会产生声信号的组件的距离是已知的或难以利用距离测量工具204测量，则用户可以将到目标的距离的值输入到系统200中。

在图示的实施例中，声学分析系统200包括：电磁成像工具203，用于生成代表目标场景的图像数据。示例性电磁成像工具可以被配置成从目标场景接收电磁辐射，并且生成代表所接收的电磁辐射的电磁图像数据。在一些示例中，电磁成像工具203可以被配置成生成代表电磁波谱内的特定波长范围的电磁图像数据，诸如红外辐射、可见光辐射和紫外辐射。例如，在一些实施例中，电磁定时工具203可以包括一个或多个相机模块，诸如例如可见光相机模块206，该相机模块被配置成生成代表电磁波谱中的特定波长范围的图像数据。

可见光相机模块一般是公知的。例如，在智能电话和众多其它设备中包括各种可见光相机模块。在一些实施例中，可见光相机模块206可以被配置成接收来自目标场景的可见光能量，以及将可见光能量聚焦在可见光传感器上以用于生成可见光能量数据，该可见光能量数据例如可以以可见光图像的形式被显示在显示器214上和/或被存储在存储器中。可见光相机模块206可以包括用于实行归属于本文中的模块的功能的任何合适的组件。在图2的示例中，可见光相机模块206被图示为包括可见光透镜组装件208和可见光传感器210。在一些这样的实施例中，可见光透镜组装件208包括拍摄目标场景所发射的可见光能量并且将可见光能量聚焦在可见光传感器210上的至少一个透镜。可见光传感器210可以包括多个可见光传感器元件，诸如例如CMOS检测器、CCD检测器、PIN二极管、雪崩光电二极管等等。可见光传感器210通过生成电信号来对所聚焦的能量进行响应，该电信号可以被转换并且作为可见光图像显示在显示器214上。在一些示例中，可见光模块206是可由用户配置的，并且可以以各种各样的格式例如向显示器214提供输出。可见光相机模块206可以包括针对各种光照或其它操作条件或用户偏好的补偿功能。可见光相机模块可以提供包括图像数据的数字输出，其可以包括以各种各样的格式（例如，RGB、CYMK、YCbCr等）的数据。

在某个示例性可见光相机模块206的操作中，从目标场景接收的光能量可以传过可见光透镜组装件208，并且被聚焦在可见光传感器210上。当光能量撞击在可见光传感器210的可见光传感器元件上时，可以释放光电检测器内的光子，并且将其转换成检测电流。处理器212可以处理该检测电流以形成目标场景的可见光图像。

在声学分析系统200的使用期间，处理器212可以控制可见光相机模块206来从所捕获的目标场景生成可见光数据以用于创建可见光图像。可见光数据可以包括指示与所捕获的目标场景的不同部分相关联的（一个或多个）颜色的光度数据和/或与所捕获的目标场景的不同部分相关联的光的量值。处理器212可以通过在单个时间测量声学分析系统200的每个可见光传感器元件的响应来生成可见光图像数据的“帧”。通过生成可见光数据的帧，处理器212在给定的时间点捕获目标场景的可见光图像。处理器212还可以重复地测量声学分析系统200的每个可见光传感器元件的响应，以便生成目标场景的动态可见光图像（例如，视频表示）。在一些示例中，可见光相机模块206可以包括能够操作可见光相机模块206的其自己的专用处理器或其它电路（例如，ASIC）。在一些这样的实施例中，专用处理器与处理器212通信以用于向处理器212提供可见光图像数据（例如，RGB图像数据）。在替换的实施例中，用于可见光相机模块206的专用处理器可以集成到处理器212中。

在可见光相机模块206的每个传感器元件起到传感器像素的作用的情况下，处理器212可以通过将每个传感器元件的电响应转化成时间复用的电信号来生成来自目标场景的可见光的二维图像或图片表示，该时间复用的电信号可以被处理，例如，用于在显示器214上的可视化和/或在存储器中的存储。

处理器212可以控制显示器214来显示所捕获的目标场景的可见光图像的至少一部分。在一些示例中，处理器212控制显示器214，使得可见光相机模块206的每个传感器元件的电响应与显示器214上的单个像素相关联。在其它示例中，处理器212可以增加或减小可见光图像的分辨率，使得在显示器214上显示比在可见光相机模块206中存在的传感器元件更多或更少的像素。处理器212可以控制显示器214来显示整个可见光图像（例如，声学分析系统200所捕获的目标场景的全部部分）或少于整个可见光图像（例如，声学分析系统200所捕获的整个目标场景的更少的部分）。

在一些实施例中，处理器212可以控制显示器214同时显示声学分析系统200所捕获的可见光图像的至少一部分和经由声学传感器阵列202所生成的声学图像的至少一部分。这样的并发显示可能是有用的，因为操作者可以参考在可见光图像中显示的特征，以帮助查看在声学图像中同时显示的声信号的源。在各种示例中，处理器212可以控制显示器214来以并排布置、以图中图布置（其中图像中的一个图像围绕图像中的另一个图像）或以其中同时显示可见光图像和声学图像的任何其它合适的布置来显示可见光图像和声学图像。

例如，处理器212可以控制显示器214来以组合布置的形式显示可见光图像和声学图像。在这样的布置中，对于在可见光图像中代表目标场景的一部分的像素或像素集合来说，在声学图像中存在代表目标场景的基本上相同部分的对应的像素或像素集合。在各种实施例中，声学图像和可见光图像的大小和/或分辨率不需要相同。相应地，在声学图像或可见光图像中的一个中可以存在像素集合，其对应于在声学图像或可见光图像中的另一个中的单个像素、或具有不同大小的像素集合。类似地，在可见光图像或声学图像中的一个中可以存在对应于另一图像中的像素集合的图像。因此，如本文中使用的，对应不要求一对一的像素关系，而是可以包括像素或像素群组的不匹配的大小。可以实行对不匹配大小的图像区域的各种组合技术，诸如对图像中的一个进行上采样或下采样、或者将像素与对应像素集合的平均值进行组合。其它示例是已知的并且也在本公开的范围内。

因此，对应的像素不需要具有直接的一对一关系。而是，在一些实施例中，单个声学像素具有多个对应的可见光像素，或者可见光像素具有多个对应的声学像素。附加地或替换地，在一些实施例中，并非所有的可见光像素都具有对应的声学像素，或反之亦然。这样的实施例可以指示例如先前所讨论的图中图类型的显示。因此，可见光像素将不一定在可见光图像内具有与对应的声学像素所具有的像素坐标相同的像素坐标。相应地，如本文中使用的，对应的像素通常指代来自任何图像（例如，可见光图像、声学图像、组合图像、显示图像等）的、包括来自目标场景的基本上相同部分的信息的像素。这样的像素不需要具有图像之间的一对一关系，并且不需要在它们各自的图像内具有类似的坐标方位。

类似地，具有对应像素（即，代表目标场景的相同部分的像素）的图像可以被称为对应的图像。因此，在一些这样的布置中，可以将对应的可见光图像和声学图像在对应的像素处叠加在彼此上面。操作者可以与用户界面216进行交互，以控制显示在显示器214上的图像中的一个或二者的透明度或不透明度。例如，操作者可以与用户界面216进行交互，以在完全透明与完全不透明之间调整声学图像，以及还在完全透明与完全不透明之间调整可见光图像。这样的示例性组合布置（其可以被称为α混合布置）可以允许操作者调整显示器214以显示仅声学图像、仅可见光图像，或在仅声学图像和仅可见光图像的极端情况之间的两个图像的任何重叠组合。处理器212还可以将场景信息与其它数据进行组合，该其它数据诸如是警报数据等等。一般而言，可见光图像和声学图像的α混合组合可以包括从200%声学和0%可见光到0%声学和200%可见光的任何情况。在一些实施例中，混合的量可以由相机的用户来调整。因此，在一些实施例中，可以在200%可见光和200%声学之间调整混合图像。

附加地，在一些实施例中，处理器212可以解译并执行来自用户界面216和/或输出/控制设备218的命令。此外，可以使用输入信号来更改在处理器212中发生的对可见光和/或声学图像数据的处理。

操作者可以经由用户界面216与声学分析系统200进行交互，该用户界面208可以包括按钮、按键或用于从用户接收输入的另一机构。操作者可以经由显示器214接收来自声学分析系统200的输出。显示器214可以被配置成以任何可接受的调色板或配色方案来显示声学图像和/或可见光图像，并且该调色板可以例如响应于用户控制而变化。在一些实施例中，可以以调色板来呈现声学图像数据，以便表示来自场景中的不同位置的声学数据的变化量值。例如，在一些示例中，显示器214被配置成以单色调色板（诸如灰度）来显示声学图像。在其它示例中，显示器214被配置成以诸如例如琥珀色、铁红色(ironbow)、蓝红色或其它高对比度配色方案之类的颜色调色板来显示声学图像。还可设想到灰度和颜色调色板显示的组合。在一些示例中，被配置成显示这样的信息的显示器可以包括用于生成和呈现这样的图像数据的处理能力。在其它示例中，被配置成显示这样的信息可以包括从其它组件（诸如处理器212）接收图像数据的能力。例如，处理器212可以生成针对要显示的每个像素的值（例如，RGB值、灰度值或其它显示选项）。显示器214可以接收这样的信息，并且将每个像素映射到视觉显示器中。

虽然处理器212可以控制显示器214以任何合适的布置同时显示声学图像的至少一部分和可见光图像的至少一部分，但是图中图布置可以通过以相邻对准的方式显示同一场景的对应的可见图像来帮助操作者容易地聚焦和/或解译声学图像。

电源（未示出）将操作功率递送到声学分析系统200的各个组件。在各种示例中，电源可以包括可再充电或不可再充电的电池和发电电路、AC电源、感应式功率传感器（aninductive power pick-up）、光伏电源或任何其他适当的供电组件。供电组件的组合也是可能的，诸如可再充电电池和被配置成提供功率以操作设备和/或对可再充电电池进行充电的另一组件。

在声学分析系统200的操作期间，处理器212在与被存储在存储器中的程序信息相关联的指令的帮助下，控制声学传感器阵列202和可见光相机模块206，以生成目标场景的可见光图像和声学图像。处理器212进一步控制显示器214来显示声学分析系统200所生成的可见光图像和/或声学图像。

如上所述，在某些情况下，可能难以在声学图像中识别和区分开目标场景的现实世界（可见）特征。在一些实施例中，除了用可见光信息补充声学图像之外，强调目标场景内的可见边缘可能是有用的。在一些实施例中，可以在目标场景的可见光图像上实行已知的边缘检测方法。由于声学图像与可见光图像之间的对应关系，被确定为表示目标场景中的可见边缘的可见光像素对应于也表示声学图像中的可见边缘的声学像素。将领会的是，如本文中使用的，“边缘”不必指代对象的物理边界，而是可以指代可见光图像中的任何足够尖锐的梯度。示例可以包括对象的物理边界、对象内的颜色变化、跨场景的阴影等等。

尽管通常参照图2被描述为包括可见光相机模块206，但在一些示例中，声学分析系统200的电磁成像工具203可以附加地或替换地包括：能够生成代表各种各样的波谱的图像数据的成像工具。例如，在各种示例中，电磁成像工具203可以包括一个或多个能够生成红外图像数据、可见光图像数据、紫外图像数据或任何其他有用波长或其组合的工具。在一些实施例中，声学成像系统可以包括具有红外透镜组装件和红外传感器阵列的红外相机模块。可以包括用于与例如红外相机模块对接的附加组件，诸如在题为“EDGE ENHANCEMENTFOR THERMAL-VISIBLE COMBINED IMAGES AND CAMERAS”且于2015年8月27日提交的美国专利申请号14/837,757中描述的那些，该美国专利申请被转让给本申请的受让人并且通过引用整体地并入本文中。

在一些示例中，两个或更多个数据流可以被混合以用于显示。例如，包括可见光相机模块206、声学传感器阵列202和红外相机模块（图2中未示出）的示例性系统可以被配置成产生包括可见光(VL)图像数据、红外(IR)图像数据和声学（Acoustic）图像数据的混合的输出图像。在示例性混合方案中，显示图像可以被表示为：α×IR+β×VL+γ×Acoustic，其中，α+β+γ=1。一般而言，可以组合任何数量的数据流以用于显示。在各种实施例中，可以由用户设置诸如α、β和γ之类的混合比。附加地或替换地，例如，如在题为“VISIBLE LIGHTAND IR COMBINED IMAGE CAMERA WITH A LASER POINTER”的美国专利号7,538,326中所述，可以基于警报条件（例如，一个或多个数据流中的一个或多个值满足预定阈值）或其他条件，将设置的显示程序配置成包括不同的图像数据流，该美国专利被转让给本申请的受让人，并且通过引用整体地并入本文中。

相对于图2所描述的声学分析系统200中的一个或多个组件可以被包括在便携式（例如，手持式）声学分析工具中。例如，在一些实施例中，便携式声学分析工具可以包括被配置成将组件容纳在声学分析工具中的壳体230。在一些示例中，系统200的一个或多个组件可以位于声学分析工具的壳体230的外部。例如，在一些实施例中，处理器212、显示器214、用户界面216和/或输出控制设备218可以位于声学分析工具的壳体的外部，并且可以例如经由无线通信（例如，蓝牙通信、Wi-Fi等）与各种其他系统组件进行通信。可以例如经由诸如计算机、智能电话、平板设备、可穿戴设备等等的外部设备来提供声学分析工具外部的此类组件。附加地或替换地，被配置成相对于声学分析工具充当主设备或从设备的其他测试和测量或数据获取工具可以类似地在声学分析工具外部提供声学分析系统的各种组件。外部设备可以经由有线和/或无线连接与便携式声学分析工具进行通信，并且可以被用来实行各种处理、显示和/或接口步骤。

在一些实施例中，这样的外部设备可以提供冗余功能，作为被容纳在便携式声学分析工具中的组件。例如，在一些实施例中，声学分析工具可以包括用于显示声学图像数据的显示器，并且可以进一步被配置成将图像数据传送到外部设备以进行存储和/或显示。类似地，在一些实施例中，用户可以经由在智能电话、平板设备、计算机等等上运行的应用程序（“app”）来与声学分析工具对接，以便实行还能够与声学分析工具本身一起实行的一个或多个功能。

图3A是声学分析系统内的声学传感器阵列的示例性配置的示意图。在图示的示例中，声学传感器阵列302包括：多个第一声学传感器（以白色示出）和多个第二声学传感器（阴影的）。第一声学传感器被布置成第一阵列320，并且第二声学传感器被布置成第二阵列322。在一些示例中，第一阵列320和第二阵列322可以被选择性地用来接收用于生成声学图像数据的声信号。例如，在一些配置中，特定声学传感器阵列对特定声频率的灵敏度是声学传感器元件之间的距离的函数。

在一些配置中，比起间隔更远的传感器元件（例如，第一阵列320），在一起间隔更紧密的传感器元件（例如，第二阵列322）能够更好地分辨高频声信号（例如，频率大于20kHz的声音，诸如20 kHz与100 kHz之间的超声信号）。类似地，比起间隔更紧密的传感器元件（例如，第二阵列322），间隔更远的传感器元件（例如，第一阵列320）可能更适合于检测低频声信号（例如，< 20 kHz）。可以提供具有彼此间隔开的传感器元件的各种声学传感器阵列，以用于检测具有各种频率范围的声信号，该频率范围诸如是次声频率（< 20 Hz）、可听频率（近似20 Hz与20 kHz之间）、超声频率（20 kHz与100 kHz之间）。在一些实施例中，可以使用部分阵列（例如，来自阵列320的每个其他声学传感器元件）来优化对特定频带的检测。

附加地，在一些示例中，一些声学传感器元件可能更适合于检测具有不同频率特性（诸如低频或高频）的声信号。因此，在一些实施例中，被配置成用于检测低频声信号的阵列（诸如具有间隔更远的传感器元件的第一阵列320）可以包括更适合于检测低频声信号的第一声学传感器元件。类似地，被配置成用于检测较高频率的声信号的阵列（诸如第二阵列322）可以包括更适合于检测高频声信号的第二声学传感器元件。因此，在一些示例中，声学传感器元件的第一阵列320和第二阵列322可以包括不同类型的声学传感器元件。替换地，在一些实施例中，第一阵列320和第二阵列322可以包括相同类型的声学传感器元件。

因此，在示例性实施例中，声学传感器阵列302可以包括多个声学传感器元件阵列，诸如第一阵列320和第二阵列322。在一些实施例中，阵列可以单独地或以组合的形式使用。例如，在一些示例中，用户可以选择使用第一阵列320、使用第二阵列322或同时使用第一阵列320和第二阵列322两者来实行声学成像过程。在一些示例中，用户可以经由用户界面选择要使用哪些（一个或多个）阵列。附加地或替换地，在一些实施例中，声学分析系统可以基于对所接收的声信号或其他输入数据（诸如预期频率范围等等）的分析来自动选择要使用的（一个或多个）阵列。尽管图3A中所示的配置通常包括：通常以矩形格子布置的两个阵列（第一阵列320和第二阵列322），但将领会的是，多个声学传感器元件可以被分组为采用任何形状的任何数量的离散阵列。此外，在一些实施例中，一个或多个声学传感器元件可以被包括在可以被选择用于操作的多个有区别的阵列中。如本文中其他地方所述，在各种实施例中，基于声学传感器元件的布置来实行用于反向传播声信号以从场景建立声学图像数据的过程。因此，声学传感器的布置可以是已知的或以其他方式可由处理器访问的，以便实行声学图像生成技术。

图3A的声学分析系统进一步包括：距离测量工具304和被定位在声学传感器阵列302内的相机模块306。相机模块306可以表示电磁成像工具（例如，203）的相机模块，并且可以包括可见光相机模块、红外相机模块、紫外线相机模块等等。附加地，虽然在图3A中未示出，但声学分析系统可以包括与相机模块306的类型相同或类型不同的一个或多个附加的相机模块。在图示的示例中，距离测量工具304和相机模块306被定位在第一阵列320和第二阵列322中的声学传感器元件的格子内。虽然被示为设置在第一阵列320和第二阵列322内的格子位点之间，但在一些实施例中，一个或多个组件（例如，相机模块306和/或距离测量工具304）可以被定位在第一阵列320和/或第二阵列322中的对应的一个或多个格子位点处。在一些这样的实施例中，（一个或多个）组件可以被定位在格子位点处，以代替根据格子布置通常原本会处于这样的位置中的声学传感器元件。

如本文中其他地方所述，声学传感器阵列可以包括以各种各样的配置中的任何配置布置的声学传感器元件。图3B和图3C是图示了示例性声学传感器阵列配置的示意图。图3B示出了声学传感器阵列390，其包括在近似正方形的格子中均匀间隔开的多个声学传感器元件。距离测量工具314和相机阵列316被定位在声学传感器阵列390内。在图示的示例中，声学传感器阵列390中的声学传感器元件是相同类型的传感器，尽管在一些实施例中，可以在阵列390中使用不同类型的声学传感器元件。

图3C示出了多个声学传感器阵列。声学传感器阵列392、394和396均包括以不同形状的阵列布置的多个声学传感器元件。在图3C的示例中，声学传感器阵列392、394和396可以单独地使用或以任何组合的形式一起使用，以创建各种大小的传感器阵列。在图示的实施例中，阵列396的传感器元件比阵列392的传感器元件更紧密地间隔在一起。在一些示例中，阵列396被设计成用于感测高频声学数据，而阵列392被设计成用于感测低频声学数据。

在各种实施例中，阵列392、394和396可以包括相同或不同类型的声学传感器元件。例如，声学传感器阵列392可以包括其频率工作范围比声学传感器阵列396的传感器元件的频率工作范围低的传感器元件。

如本文中其他地方所述，在一些示例中，可以在各种操作模式（例如，要成像的不同期望频谱）期间选择性地关闭和打开不同的声学传感器阵列（例如，392、394、396）。附加地或替换地，可以根据期望的系统操作来启用或禁用各种声学传感器元件（例如，一个或多个传感器阵列中的一些或全部声学传感器元件）。例如，在一些声学成像过程中，虽然来自大量传感器元件（例如，以高密度布置的传感器元件，诸如在传感器阵列396中）的数据稍微改进了声学图像数据的分辨率，但这是以从每个传感器元件处所接收的数据中提取声学图像数据的所需处理为代价的。即，在一些示例中，处理大量输入信号（例如，来自大量声学传感器元件的信号）所需的增加的处理需求（例如，成本、处理时间、功耗等方面）与附加的数据流所提供的任何附加的信号分辨率相比是负面的。因此，在一些实施例中，取决于期望的声学成像操作来禁用或忽略来自一个或多个声学传感器元件的数据可能是值得的。

与图3A和图3B的系统相似，图3C的系统包括被定位在声学传感器阵列392、394和396内的距离测量工具314和相机阵列316。在一些示例中，诸如附加的相机阵列（例如，被用于对来自相机阵列316的电磁波谱的不同部分进行成像）之类的附加的组件可以类似地被定位在声学传感器阵列392、394和396内。将领会的是，尽管在图3A-2C中被示为被定位在一个或多个声学传感器阵列内，但距离测量工具和/或一个或多个成像工具（例如，可见光相机模块、红外相机模块、紫外线传感器等）可以位于（一个或多个）声学传感器阵列外部。在一些这样的示例中，距离测量工具和/或位于（一个或多个）声学传感器阵列外部的一个或多个成像工具可以由声学成像工具支撑，例如，由容纳（一个或多个）声学传感器阵列的壳体支撑，或者可以位于声学成像工具的壳体外部。

在一些示例中，声学传感器阵列和成像工具（诸如相机模块）的一般未对准可以导致声学传感器阵列和成像工具所生成的对应的图像数据中的未对准。图4A示出了在可见光图像数据和声学图像数据的帧的生成中的视差误差的示意图。一般而言，视差误差可以是垂直的、水平的或两者兼有。在图示的实施例中，声学传感器阵列420和成像工具包括可见光相机模块406。可见光图像帧440被示为是根据可见光相机模块406的视场441捕获的，而声学图像帧450被示为是根据声学传感器阵列420的视场451捕获的。

如所示的，可见光图像帧440和声学成像帧450没有彼此对准。在一些实施例中，处理器（例如，图2的处理器212）被配置成操纵可见光图像帧440和声学图像帧450之一或两者，以便对准可见光图像数据和声学图像数据。这样的操纵可以包括使一个图像帧相对于另一图像帧移位。可以基于各种各样的因素来确定图像帧相对于彼此发生移位的量，该因素包括例如从可见光相机模块406和/或声学传感器阵列420到目标的距离。可以例如使用距离测量工具404或经由用户界面（例如，216）接收距离值来确定这样的距离数据。

图4B是类似于图4A的示意图，但是包括场景的可见光图像。在图4B的示例中，可见光图像442示出了具有多条电力线和支撑塔的场景。声学图像452包括多个位置454、456、458，这些位置指示来自这样的位置的高量值声学数据。如所示的，可见光图像442和声学图像452两者被同时显示。然而，对这两个图像的观察示出了在位置458处的至少一个声学图像局部最大值，其似乎与可见光图像442中的任何特定结构都不一致。因此，观察两个图像的人可以得出结论，在声学图像452与可见光图像442之间存在未对准（例如，视差误差）。

图5A和图5B示出了可见光图像与声学图像之间的视差校正。类似于图4B，图5A示出了可见光图像542和声学图像552。声学图像552包括在位置554、556和558处的局部最大值。如可以看到的，位置554和558处的最大值似乎与可见光图像中的任何结构都不一致。在图5B的示例中，可见光图像542和声学图像552相对于彼此配准。现在，声学图像中的位置554、556和558处的局部最大值似乎与可见光图像542中的各个位置相一致。

在使用过程中，操作者可以（例如，经由显示器214）查看图5B中的表示，并且确定可见场景542中有可能是所接收的声信号的源的近似位置。可以进一步处理这样的信号，以便确定关于场景中的各种组件的声学特征（acoustic signature）的信息。在各种实施例中，可以相对于声学图像中的各种位置来分析声学参数，诸如频率内容、周期性、幅值等等。当覆盖到可见光数据上以使得这样的参数可以与各种系统组件相关联时，声学图像数据可以被用来分析可见光图像中的对象的各种属性（例如，性能特性）。

图5C和图5D是图5A和图5B的彩色版本。如图5A和图5B中所示，并且在图5C和图5D的彩色表示中更容易看到的，位置554、556和558在颜色上示出了圆形梯度。如本文中其他地方所述，可以根据调色方案在视觉上表示声学图像数据，在该调色方案中，声学图像数据的每个像素基于对应位置处的声强度而着色。因此，在图5A-5D的示例性表示中，位置554、556、558的圆形梯度通常表示基于反向传播的所接收的声信号的成像平面中的声强度中的梯度。

将领会的是，尽管相对于声学图像数据和可见光图像数据描述了图4A、4B、5A-5D中的示例性图示，但可以利用各种各样的电磁图像数据类似地实行这样的过程。例如，如本文中其他地方所述，在各种实施例中，可以使用声学图像数据与可见光图像数据、红外图像数据、紫外图像数据等等中的一个或多个的组合来实行各种这样的过程。

如本文中其他地方所述，在一些实施例中，反向传播声信号以形成声学图像可以基于到目标的距离的值。即，在一些示例中，反向传播计算可以基于距离，并且可以包括确定二维声学场景，该二维声学场景位于距声学传感器阵列的该距离处。在给定二维成像平面的情况下，从平面中的源发出的球形声波的横截面通常会呈现圆形，其中强度在径向上衰减，如图5A-5B中所示。

在一些这样的示例中，表示未在反向传播计算中使用的、到目标的距离处的数据的声学场景的部分将导致声学图像数据中的误差，诸如场景中的一个或多个声音的位置不准确。当声学图像与其他图像数据（例如，电磁图像数据，诸如可见光、红外或紫外图像数据）同时（例如，混合、组合等）显示时，这样的误差可能导致声学图像数据与其他图像数据之间的视差误差。因此，在一些实施例中，用于校正视差误差的一些技术（例如，如图5A和图5B所示）包括：调整在用于生成声学图像数据的反向传播计算中使用的到目标的距离的值。

在一些情况下，该系统可以被配置成使用第一到目标的距离的值来实行反向传播过程，并且显示诸如图5A所示的显示图像，其中声学图像数据和另一数据流可能未对准。随后，声学分析系统可以调整反向传播所使用的到目标的距离的值，再次实行反向传播，并且利用新的声学图像数据来更新显示图像。该过程可以重复进行，其中在用户观察显示器上的所得显示图像的同时，声学分析系统循环通过多个到目标的距离（distance-to-target）的值。随着到目标的距离的值的变化，用户可以观察到从图5A所示的显示图像到图5B所示的显示图像的逐渐过渡。在一些这样的情况下，用户可以在视觉上观察声学图像数据何时似乎与另一数据流（诸如电磁图像数据）正确地配准。用户可以向声学分析系统发送信号表明声学图像数据似乎已正确地配准，从而向系统指示被用来实行最近的反向传播的到目标的距离的值是近似正确的，并且可以将该距离值作为正确的到目标的距离保存到存储器。类似地，当在经更新的反向传播过程中使用新的距离值来更新显示图像时，用户可以手动调整到目标的距离的值，直到用户观察到声学图像数据被正确地配准为止。用户可以选择在声学分析系统中将当前的到目标的距离保存为当前的到目标的距离。

在一些示例中，校正视差误差可以包括基于到目标的距离的数据，按预定量并且在预定方向上相对于其他图像数据（例如，电磁图像数据）调整声学图像数据的方位。在一些实施例中，通过将声信号反向传播到识别出的到目标的距离，这样的调整独立于声学图像数据的生成。

在一些实施例中，除了被用来生成声学图像数据并且减小声学图像数据与其他图像数据之间的视差误差之外，到目标的距离的值还可以被用于进行其他确定。例如，在一些示例中，如美国专利号7,538,326中所述，处理器（例如，212）可以使用到目标的距离的值，以便聚焦或帮助用户聚焦诸如红外图像之类的图像，该美国专利通过引用而并入。如其中所述，这可以类似地被用来校正可见光图像数据与红外图像数据之间的视差误差。因此，在一些示例中，距离值可以被用来将声学图像数据与电磁成像数据（诸如红外图像数据和可见光图像数据）进行配准。

如本文中其他地方所述，在一些示例中，距离测量工具（例如，204）被配置成提供可以被处理器（例如，212）用来生成和配准声学图像数据的距离信息。在一些实施例中，距离测量工具包括激光测距仪，该激光测距仪被配置成在距离被测量的位置处将光发射到目标场景上。在一些这样的示例中，激光测距仪可以发射可见光谱中的光，使得用户可以查看物理场景中的激光点，以确保测距仪正在测量到场景的期望部分的距离。附加地或替换地，激光测距仪被配置成发射一个或多个成像组件（例如，相机模块）对其敏感的光谱中的光。因此，经由分析工具（例如，经由显示器214）查看目标场景的用户可以观察场景中的激光点，以确保激光正在测量到目标场景中的正确位置的距离。在一些示例中，处理器（例如，212）可以被配置成基于当前距离值（例如，基于激光测距仪与声学传感器阵列之间的已知的基于距离的视差关系），在所显示的图像中生成代表激光点将在声学场景中所位于的位置的参考标记。可以将参考标记的位置与实际激光标记的位置（例如，在显示器上以图形方式和/或在目标场景中物理地）进行比较，并且可以调整场景，直到参考标记和激光相一致为止。可以类似于美国专利号7,538,326中所描述的红外配准和聚焦技术来实行这样的过程，该美国专利通过引用而并入。

图6是示出了用于生成将声学图像数据和电磁图像数据进行组合的最终图像的示例性方法的过程流程图。该方法包括以下步骤：经由声学传感器阵列接收声信号(680)；以及接收距离信息(682)。可以例如经由距离测量设备和/或用户界面，诸如经由手动输入，或作为距离调整过程的结果来接收距离信息，通过该距离调整过程，基于观察到的配准来确定距离。

该方法进一步包括：反向传播所接收的声信号以确定代表声学场景的声学图像数据(684)。如本文中其他地方所述，反向传播可以包括结合所接收的距离信息来分析在声学传感器阵列中的多个传感器元件处所接收的多个声信号，以确定所接收的声信号的源模式。

图6的方法进一步包括以下步骤：捕获电磁图像数据(686)，以及将声学图像数据与电磁图像数据进行配准(688)。在一些实施例中，将声学图像数据与电磁图像数据进行配准是作为用于生成声学图像数据的反向传播步骤的一部分进行的(684)。在其他示例中，将声学图像数据与电磁图像数据进行配准是与声学图像数据的生成单独进行的。

图6的方法包括以下步骤：将声学图像数据与电磁图像数据进行组合以便生成显示图像(690)。如本文中其他地方所述，将电磁图像数据和声学图像数据进行组合可以包括：将电磁图像数据和声学图像数据进行α混合。将图像数据进行组合可以包括诸如在画中画模式中或在满足某些条件（例如，警报条件）的位置中将一个图像数据集叠加到另一图像数据集上。可以例如经由被壳体（其支撑了声学传感器阵列）支撑的显示器、和/或经由与传感器阵列分开的显示器（诸如外部设备（例如，智能电话、平板设备、计算机等）的显示器）来将显示图像呈现给用户。

附加地或替换地，显示图像可以被保存在本地（例如，板载）存储器和/或远程存储器中以供将来查看。在一些实施例中，所保存的显示图像可以包括：允许将来调整显示图像属性的元数据，该属性诸如是混合比、反向传播距离或被用来生成图像的其他参数。在一些示例中，原始声信号数据和/或电磁图像数据可以与显示图像一起保存，以供后续处理或分析。

虽然被示为用于生成将声学图像数据和电磁图像数据进行组合的最终图像的方法，将领会的是，图6的方法可以被用来将声学图像数据与跨越电磁波谱的任何部分的一个或多个图像数据集合进行组合，诸如可见光图像数据、红外图像数据、紫外图像数据等等。在一些这样的示例中，可以经由与关于图6所描述的方法类似的方法，将诸如可见光图像数据和红外图像数据之类的多种图像数据集合都与声学图像数据进行组合以生成显示图像。

在一些示例中，经由传感器阵列接收声信号(680)可以包括以下步骤：选择利用其接收声信号的声学传感器阵列。如例如关于图3A-C所描述的，声学分析系统可以包括多个声学传感器阵列，它们可以适合于分析具有变化的频率的声信号。附加地或替换地，在一些示例中，不同的声学传感器阵列可以用于分析从不同距离传播的声信号。在一些实施例中，不同的阵列可以嵌套在彼此内部。附加地或替换地，可以选择性地使用部分阵列来接收声学图像信号。

例如，图3A示出了第一阵列320和嵌套在第一阵列内部的第二阵列322。在示例性实施例中，第一阵列320可以包括传感器阵列，该传感器阵列被配置成（例如，间隔开）用于接收声信号，并且生成针对第一频率范围内的频率的声学图像数据。第二阵列322可以包括例如第二传感器阵列，该第二传感器阵列被配置成单独地使用、或与全部或部分第一阵列320进行组合地使用，以用于生成针对第二频率范围内的频率的声学图像数据。

类似地，图3C示出了第一阵列392、至少部分地嵌套在第一阵列392内的第二阵列394，以及至少部分地嵌套在第一阵列392和第二阵列394内的第三阵列396。在一些实施例中，第一阵列392可以被配置成用于接收声信号，并且生成针对第一频率范围内的频率的声学图像数据。第二阵列394可以与全部或部分第一阵列392一起使用，以用于接收声信号，并且生成针对第二频率范围内的频率的声学图像数据。第三阵列396可以单独使用、与全部或部分第二阵列394一起使用、和/或与全部或部分第一阵列392一起使用，以用于接收声信号，并且生成针对第三频率范围内的频率的声学图像数据。

在一些实施例中，在嵌套阵列配置中，来自一个阵列的声学传感器元件可以被定位在声学传感器元件之间，诸如第三阵列396的元件通常位于第一阵列392的元件之间。在一些这样的示例中，嵌套阵列（例如，第三阵列396）中的声学传感器元件可以被定位在与其嵌套于其中的阵列（例如，第一阵列392）中的声学传感器元件相同的平面中、在其前面或在其后面。

在各种实现方式中，被用于感测更高频声信号的阵列通常需要各个传感器之间的距离较小。因此，关于图3C，例如，第三阵列396可以更好地适合于实行涉及高频声信号的声学成像过程。其他传感器阵列（例如，第一阵列392）可能足以实行涉及较低频信号的声学成像过程，并且在与阵列396相比时，可以使用其他传感器阵列，以便减少处理来自较少数量的声学传感器元件的信号的计算需求。因此，在一些示例中，高频传感器阵列可以嵌套在低频传感器阵列内。如本文中其他地方所述，这样的阵列通常可以单独地（例如，经由有源阵列之间的切换）或一起操作。

在基于用于分析的预期/期望频谱来选择适当的传感器阵列之外或作为其替代，在一些示例中，不同的传感器阵列可能更适合于在到目标场景的不同距离处实行声学成像过程。例如，在一些实施例中，如果声学传感器阵列与目标场景之间的距离很小，则与位于更中心的传感器元件相比，声学传感器阵列中的外部传感器元件可以接收到来自目标场景的明显不那么有用的声学信息。

另一方面，如果声学传感器阵列与目标场景之间的距离较大，则紧密间隔的声学传感器元件可能无法单独提供有用的信息。即，如果第一和第二声学传感器元件靠近在一起，并且目标场景通常在远处，则第二声学传感器元件可能不会提供与第一声学传感器元件在意义上不同的任何信息。因此，来自这样的第一传感器元件和第二传感器元件的数据流可能是冗余的，并且不必要地消耗了处理时间和用于分析的资源。

如本文中其他地方所述，除了影响哪些传感器阵列可能最适合于实行声学成像之外，到目标的距离还可以被用于实行反向传播，以用于根据所接收的声信号来确定声学图像数据。然而，除了作为对反向传播算法的输入值之外，到目标的距离可以被用来选择要使用的适当的反向传播算法。例如，在一些示例中，在远距离处，与声学传感器阵列的大小相比，球形传播的声波可以被近似为基本上是平面的。因此，在一些实施例中，当到目标的距离较大时，所接收的声信号的反向传播可以包括声学波束形成计算。然而，当更靠近声波的源时，声波的平面近似可能不合适。因此，可以使用不同的反向传播算法，诸如近场声全息术。

如所描述的，到目标的距离的度量可以在声学成像过程中以各种各样的方式使用，该声学成像过程诸如是确定（一个或多个）有源传感器阵列、确定反向传播算法、实行反向传播算法和/或将所得声学图像与电磁图像数据（例如，可见光、红外线等）进行配准。图7是示出了用于从所接收的声信号生成声学图像数据的示例性过程的过程流程图。

图7的过程包括：诸如经由用户接口、例如从距离测量设备或输入的距离信息接收距离信息(780)。该方法进一步包括以下步骤：基于所接收的距离信息来选择一个或多个声学传感器阵列以用于实行声学成像(782)。如所描述的，在各种示例中，所选择的（一个或多个）阵列可以包括单个阵列、多个阵列的组合，或者一个或多个阵列的部分。

图7的方法进一步包括以下步骤：基于所接收的距离信息来选择用于实行声学成像的处理方案(784)。在一些示例中，选择处理方案可以包括：选择用于从声信号生成声学图像数据的反向传播算法。

在选择了声学传感器阵列(782)和用于实行声学成像的处理方案(784)之后，该方法包括以下步骤：经由所选声学传感器阵列接收声信号(786)。然后使用距离和所选处理方案来反向传播所接收的声信号以确定声学图像数据(788)。

在各种实施例中，图7的步骤可以由用户、声学分析系统（例如，经由处理器212）或其组合来实行。例如，在一些实施例中，处理器可以被配置成经由距离测量工具和/或用户输入来接收距离信息(780)。在一些示例中，例如，如果到对象的距离是已知的和/或难以经由距离测量工具进行分析（例如，对象大小较小和/或到目标的距离较大等），则用户可以输入值以覆盖（override）所测量的距离以用作距离信息。处理器可以被进一步配置成基于所接收的距离信息，例如，使用查找表或其他数据库，自动选择用于实行声学成像的适当的声学传感器阵列。在一些实施例中，选择声学传感器阵列包括启用和/或禁用一个或多个声学传感器元件，以便获得期望的声学传感器阵列。

类似地，在一些示例中，处理器可以被配置成基于所接收的距离信息自动选择用于实行声学成像的处理方案（例如，反向传播算法）。在一些这样的示例中，这可以包括从存储在存储器中的多个已知处理方案中选择一个。附加地或替换地，选择处理方案可以等同于调整单个算法的各部分以获得期望的处理方案。例如，在一些实施例中，单个反向传播算法可以包括多个项和变量（例如，基于距离信息）。在一些这样的示例中，选择处理方案(784)可以包括在单个算法中定义一个或多个值，诸如调整一个或多个项的系数（例如，将各种系数设置为零或一等）。

因此，在一些实施例中，声学成像系统可以通过基于所接收的距离数据建议和/或自动实现所选声学传感器阵列和/或处理方案（例如，反向传播算法）来使声学成像过程的几个步骤自动化。这可以加速、改进和简化声学成像过程，从而消除了声学成像专家执行声学成像过程的要求。因此，在各种示例中，声学成像系统可以自动实现这样的参数、通知用户即将实现这样的参数、向用户请求许可来实现这样的参数、建议这样的参数以供用户手动输入等等。

此类参数（例如，处理方案、传感器阵列）的自动选择和/或建议对于相对于其他形式的图像数据、处理速度和声学图像数据的分析来优化声学图像数据的定位可能是有用的。例如，如本文中其他地方所述，准确的反向传播确定（例如，使用适当的算法和/或准确的距离度量）可以减少声学图像数据与其他（例如，电磁波，诸如可见光、红外线等）图像数据之间的视差误差。附加地，利用诸如可以由声学分析系统自动选择或建议的适当算法和/或传感器阵列可以优化热图像数据的准确性，从而允许对所接收的声学数据进行分析。

如所描述的，在一些示例中，声学分析系统可以被配置成基于所接收的距离信息自动选择用于实行声学成像过程的算法和/或传感器阵列。在一些这样的实施例中，系统包括例如存储在存储器中的查找表，用于确定要使用多个反向传播算法和声学传感器阵列中的哪个来确定声学图像数据。图8示出了用于确定在声学成像过程期间使用的适当算法和传感器阵列的示例性查找表。

在图示的示例中，图8的查找表包括N列，每列表示不同的阵列：阵列1、阵列2，……，阵列N。在各种示例中，每个阵列包括所布置的声学传感器元件的唯一集合。不同的阵列可以包括被布置成格子的传感器元件（例如，图3C中的阵列392和阵列396）。查找表内的阵列还可以包括来自一个或多个此类格子的传感器元件的组合。一般而言，在一些实施例中，阵列：阵列1、阵列2，……，阵列N中的每一个对应于声学传感器元件的唯一组合。此类组合中的一些可以包括以特定格子布置的传感器元件的整个集合，或者可以包括以特定格子布置的传感器元件的子集。声学传感器元件的各种各样的组合中的任何一种都是用作查找表中的传感器阵列的可能选项。

图8的查询表进一步包括M行，每行表示不同的算法：算法1、算法2，……，算法M。在一些示例中，不同的算法可以包括用于对所接收的声音信号实行反向传播分析的不同过程。如本文中其他地方所述，在一些示例中，一些不同的算法可以彼此类似，同时具有用于修改反向传播结果的不同系数和/或项。

图8的示例性查找表包括M×N个条目。在一些实施例中，利用这种查找表的声学分析系统被配置成分析所接收的距离信息，并且将距离信息分类到M×N个分箱之一中，其中，每个分箱对应于图8的查找表中的条目。在这样的示例中，当声学分析系统接收到距离信息时，系统可以在查找表中找到与距离信息所在的分箱相对应的条目(i，j)，并且确定适当的算法和传感器阵列以供在声学成像过程期间使用。例如，如果所接收的距离信息对应于与条目(i，j)相关联的分箱，则声学分析系统可以为声学成像过程自动利用或建议使用算法i和阵列j。

在各种这样的示例中，距离信息分箱可以对应于统一大小的距离范围，例如，第一分箱对应于一英尺内的距离，第二分箱对应于一英尺与两英尺之间的距离等等。在其他示例中，分箱不需要对应于统一大小的距离跨度。附加地，在一些实施例中，可以使用少于M×N个分箱。例如，在一些实施例中，可能存在从未供特定阵列（例如，Array y）使用的算法（例如，Algorithm x）。因此，在这样的示例中，在M×N查找表中将没有与条目(x，y)相对应的对应距离信息分箱。

在一些实施例中，对经填充的距离分箱的统计分析可以被用于识别目标场景内的最普通的距离或距离范围。在一些这样的实施例中，具有最高数量的对应位置（例如，具有声信号的最高数量的位置）的距离分箱可以被用作图7的过程中的距离信息。即，在一些实施例中，可以基于对目标场景中各种对象的距离分布的统计分析来实现和/或推荐所利用的声学传感器阵列和/或处理方案。这可以增加被用于对场景进行声学成像的传感器阵列和/或处理方案适合于声学场景内的最大数量的位置的可能性。

附加地或替换地，除了距离信息之外的参数可以被用来选择适当的传感器阵列和/或处理方案以在生成声学图像数据时使用。如本文中其他地方所述，各种传感器阵列可以被配置成对某些频率和/或频带是敏感的。在一些示例中，可以根据不同的声信号频率内容来类似地使用不同的反向传播计算。因此，在一些示例中，一个或多个参数可以被用来确定处理方案和/或声学传感器阵列。

在一些实施例中，声学分析系统可以被用来初始地分析所接收的声信号处理/分析的各种参数。往回参照图7，用于生成声学图像数据的方法可以包括以下步骤：在接收到声信号之后(786)，分析所接收的信号的频率内容(790)。在一些这样的示例中，如果已经选择了（一个或多个）声学传感器阵列和/或处理方案（例如，分别经由步骤782和/或784进行），则该方法可以包括以下步骤：例如基于所分析的频率内容来更新（一个或多个）所选阵列和/或更新所选处理方案(792)。

在更新了（一个或多个）传感器阵列和/或处理方案之后，该方法可以使用经更新的参数来实行各种动作。例如，如果基于所分析的频率内容（790）更新了（一个或多个）所选传感器阵列(792)，则可以从（最近）所选声学传感器阵列接收新的声信号(786)，然后可以将该声信号反向传播以确定声学图像数据(788)。替换地，如果在792处更新了处理方案，则可以根据经更新的处理方案来反向传播已经捕获的声信号，以确定经更新的声学图像数据。如果处理方案和（一个或多个）传感器阵列两者都被更新，则可以使用经更新的传感器阵列来接收新的声信号，并且可以根据经更新的处理方案来反向传播新的声信号。

在一些实施例中，声学分析系统可以接收频率信息(778)而不分析所接收的声信号的频率内容(790)。例如，在一些示例中，声学分析系统可以接收关于期望或预期的频率范围的信息以用于将来的声学分析。在一些这样的示例中，期望或预期的频率信息可以被用来选择一个或多个传感器阵列和/或最适合该频率信息的处理方案。在一些这样的示例中，选择（一个或多个）声学传感器阵列(782)和/或选择处理方案(784)的（一个或多个）步骤可以除了所接收的距离信息之外或作为其替代而基于所接收的频率信息。

在一些示例中，可以例如经由声学分析系统的处理器（例如，210）来分析所接收的声信号（例如，经由声学传感器元件接收的声信号）。这样的分析可以被用来确定声信号的一个或多个属性，诸如频率、强度、周期性、表观接近度（apparent proximity）（例如，基于所接收的声信号估计的距离）、测量的接近度或其任何组合。在一些示例中，可以对声学图像数据进行滤波，例如，以仅示出表示具有特定频率内容、周期性等等的声信号的声学图像数据。在一些示例中，可以同时应用任何数量的这种滤波器。

如本文中其他地方所述，在一些实施例中，可以随着时间的推移捕获一系列声学图像数据帧，这类似于声学视频数据。附加地或替换地，即使没有重复地生成声学图像数据，但在一些示例中，也对声信号进行重复地采样和分析。因此，在有或没有重复的声学图像数据生成（例如，视频）的情况下，可以随着时间的推移监视声学数据的参数（诸如频率）。

图9A是在声学场景中随时间的推移所接收的图像数据的频率内容的示例性标绘图。如所示的，图9A的标绘图所表示的声学场景通常包括四个随时间的推移持久不变的频率，被标记为频率1、频率2、频率3和频率4。可以例如使用快速傅立叶变换(FFT)或其他已知的频率分析方法、经由处理所接收的声音信号来确定频率数据，诸如目标场景的频率内容。

图9B示出了包括发射声信号的多个位置的示例性场景。在图示的图像中，声学图像数据与可见光图像数据进行组合，并且示出了在位置910、920、930和940处存在的声信号。在一些实施例中，声学分析系统被配置成显示属于任何检测到的频率范围的声学图像数据。例如，在示例性实施例中，位置910包括含有频率1的声学图像数据，位置920包括含有频率2的声学图像数据，位置930包括含有频率3的声学图像数据，并且位置940包括含有频率4的声学图像数据。

在一些这样的示例中，显示代表频率范围的声学图像数据是一种可选择的操作模式。类似地，在一些实施例中，声学分析系统被配置成显示代表仅在预定频带内的频率的声学图像数据。在一些这样的示例中，显示表示预定频率范围的声学图像数据包括：选择一个或多个声学传感器阵列，用于接收从中生成声学图像数据的声信号。这样的阵列可以被配置成接收选择性的频率范围。类似地，在一些示例中，可以采用一个或多个滤波器来限制被用来生成声学图像数据的频率内容。附加地或替换地，在一些实施例中，仅在声学图像数据满足预定条件（例如，落入预定频率范围内）的情况下，才可以分析并且在显示器上示出包括代表广泛的频率范围的信息的声学图像数据。

图9C示出了在多个预定义的频率范围处的多个所组合的声学和可见光图像数据。第一图像包括在第一位置910处的声学图像数据，该第一位置910包括频率1的频率内容。第二图像包括在第二位置920处的声学图像数据，该第二位置920包括频率2的频率内容。第三图像包括在第三位置930处的声学图像数据，该第三位置930包括频率3的频率内容。第四图像包括在第四位置940处的声学图像数据，该第四位置940包括频率4的频率内容。

在示例性实施例中，用户可以选择各种频率范围，诸如包括频率1、频率2、频率3或频率4的范围，以用于对代表了除了所选频率范围之外的频率内容的声学图像数据进行滤波。因此，在这样的示例中，由于用户选择了期望的频率范围，因此可以显示第一、第二、第三或第四图像中的任何图像。

附加地或替换地，在一些示例中，声学分析系统可以在多个显示图像之间循环，每个显示图像具有不同的频率内容。例如，关于图9C，在示例性实施例中，声学分析系统可以按顺序显示第一、第二、第三和第四图像，诸如图9C中的箭头所示。

在一些示例中，显示图像可以包括代表了在图像中显示的频率内容的文本或其他显示，使得用户可以观察图像中的哪些位置包括代表某些频率内容的声学图像数据。例如，关于图9C，每个图像可以示出在声学图像数据中表示的频率的文本表示。关于图9B，示出多个频率范围的图像可以包括在每个位置处的频率内容的指示，包括声学图像数据。在一些这样的示例中，用户可以例如经由用户界面来选择图像中的位置，对于该位置，要在声学场景中查看在该位置处存在的频率内容。例如，用户可以选择第一位置910，并且声学分析系统可以呈现第一位置的频率内容（例如，频率1）。因此，在各种示例中，用户可以使用声学分析系统以便分析声学场景的频率内容，这诸如通过查看场景中的什么地方对应于特定频率内容、和/或通过查看在各种位置存在什么频率内容来进行。

在示例性声学成像操作期间，按频率对声学图像数据进行滤波可以帮助减少例如来自背景或其他不重要声音的图像混乱。在示例性声学成像过程中，用户可能希望消除背景声音，诸如工业环境中的噪底。在一些这样的情况下，背景噪声可能主要包括低频噪声。因此，用户可以选择示出代表大于预定频率（例如，10 kHz）的声信号的声学图像数据。在另一示例中，用户可能希望分析通常在某个范围内发射声信号的特定对象，诸如从传输线发出的电晕放电（例如，如图5A-D5所示）。在这样的示例中，用户可以选择特定的频率范围（例如，对于电晕放电而言在11 kHz与14 kHz之间）来进行声学成像。

在一些示例中，声学分析系统可以被用来分析和/或呈现与所接收的声信号的强度相关联的信息。例如，在一些实施例中，反向传播所接收的声信号可以包括确定在声学场景中的多个位置处的声强度值。在一些示例中，类似于上述频率，仅在声信号的强度满足一个或多个预定要求的情况下，声学图像数据才被包括在显示图像中。

在各种这样的实施例中，显示图像可以包括代表高于预定阈值（例如，15 dB）的声信号、低于预定阈值（例如，100 dB）的声信号、或预定强度范围（例如，15 dB与40 dB之间）内的声信号的声学图像数据。在一些实施例中，阈值可以基于对声学场景的统计分析，诸如高于或低于与平均声强度的标准偏差。

类似于上面关于频率信息所描述的，在一些实施例中，限制声学图像数据表示满足一个或多个强度要求的声信号可以包括对所接收的声信号进行滤波，使得仅满足预定条件的所接收的信号被用来生成声学图像数据。在其他示例中，对声学图像数据进行滤波来调整哪些声学图像数据被显示。

附加地或替换地，在一些实施例中，可以随时间的推移监视声学场景内位置处的声强度（例如，结合视频声学图像表示或经由背景分析，而不必更新显示图像）。在一些这样的示例中，用于显示声学图像数据的预定要求可以包括图像中某个位置处的声强度的变化量或变化率。

图10A和10B是包括所组合的可见光图像数据和声学图像数据的示例性显示图像。图10A示出了包括在多个位置1010、1020、1030、1040、1050、1060、1070、1080和1090处示出的、包括声学图像数据的显示图像。在一些示例中，强度值可以被调色，例如，其中，基于预定调色方案来为声强度值分配颜色。在示例性实施例中，可以根据强度范围（例如，10 dB–20 dB、20 dB–30 dB等）对强度值进行分类。根据调色方案，每个强度范围可以与特定颜色相关联。声学图像数据可以包括多个像素，其中，每个像素以与声学图像数据的像素所表示的强度落入其中的强度范围相关联的颜色进行着色。除了按颜色进行区分之外或作为其替代，可以根据其他属性来区分开不同的强度，该属性诸如是透明度（例如，在将声学图像数据叠加到其他图像数据上的图像叠加中）等等。

附加的参数也可以被调色，诸如声强度的变化率。类似于强度，变化的声强度的变化率可以被调色，使得表现出不同的声强度变化率和/或声强度变化量的场景部分以不同的颜色显示。

在图示的示例中，根据强度调色板对声学图像数据进行调色，使得代表不同的声信号强度的声学图像数据以不同的颜色和/或阴影示出。例如，位置1010和1030处的声学图像数据示出了第一强度的托盘化表示，位置1040、1060和1080示出了第二强度的托盘化表示，而位置1020、1050、1070和1090示出了第三强度的托盘化表示。如图10A中的示例性表示所示，示出了声学图像数据的调色表示的每个位置示出了具有从中心向外延伸的颜色梯度的圆形图案。这可能是由于随着信号从声信号源传播所致的声强度衰减。

在图10A的示例中，将声学图像数据与可见光图像数据进行组合以生成显示图像，该显示图像可以例如经由显示器呈现给用户。用户可以查看图10A的显示图像，以便查看可见场景中的哪些位置正在产生声信号，以及这种信号的强度。因此，用户可以快速且容易地观察正在产生声音的位置，并且比较来自场景中的各种位置的声音的强度。

类似于关于本文中其他地方的频率所描述的，在一些实施例中，仅在对应的声信号满足预定强度条件的情况下，才可以呈现声学图像数据。图10B示出了类似于图10A的显示图像的示例性显示图像，并且其包括可见光图像数据和表示高于预定阈值的声信号的声学图像。如所示的，在包括声学图像数据的图10A中的位置1010、1020、1030、1040、1050、1060、1070、1080和1090中，仅位置1020、1050、1070和1090包括表示满足预定条件的声信号的声学图像数据。

在示例性场景中，图10A可以包括在位置1010-990中的每一个位置处高于噪底阈值的所有声学图像数据，而图10B示出了与图10A相同的场景，但是其仅示出了具有大于40dB的强度的声学图像数据。这可以帮助用户识别环境中（例如，在图10A和图10B的目标场景中）的哪些声音源正在贡献某些声音（例如，场景中最响亮的声音）。

如本文中其他地方所述，除了直接与强度阈值（例如，40 dB）进行比较之外或作为其替代，在一些这样的示例中，用于显示声学图像数据的预定要求可以包括图像中的某个位置处的声强度的变化量或变化率。在一些这样的示例中，仅在给定位置处的声强度的变化率或变化量满足预定条件（例如，大于阈值、小于阈值、预定范围内等）的情况下，才可以呈现声学图像数据。在一些实施例中，声强度的变化量或变化率可以被调色并且被显示为强度声学图像数据、或与强度声学图像数据结合显示。例如，在示例性实施例中，当变化率被用作用来确定哪些位置包括声学图像数据的阈值时，声学图像数据可以包括用于显示的经调色的强度变化率度量。

在一些示例中，用户可以手动设置针对要显示的声学图像数据的强度要求（例如，最小值、最大值、范围、变化率、变化量等）。如本文中其他地方所讨论的，包括仅满足强度要求的声学图像数据可以在声学图像数据生成期间实现（例如，经由对所接收的声信号进行滤波），和/或可以通过不显示表示不符合（一个或多个）设定要求的声信号的所生成的声学图像数据来实行。在一些这样的示例中，可以在已经捕获了声学图像数据和可见光图像数据、并且将其存储在存储器中之后，实行根据强度值对显示图像进行滤波。即，存储在存储器中的数据可以被用来生成包括任何数量的滤波参数的显示图像，诸如仅示出满足预定义的强度条件的声学图像数据等等。

在一些示例中，设置声学图像中的强度下限（例如，仅显示代表高于预定强度的声信号的声学图像数据）可以消除对来自声学图像数据的不期望的背景或环境声音和/或声音反射的包括。在其他情况下，设置声学图像中的强度上限（例如，仅显示代表低于预定强度的声信号的声学图像数据）可以消除在声学图像数据中对预期的响亮声音的包括，以便观察通常会被这样的响亮声音掩盖的声信号。

几种显示功能是可能的。例如，类似于关于图9C所讨论的频率分析/显示，在一些示例中，声学分析系统可以循环通过多个显示图像，每个显示图像示出了满足不同强度要求的声学图像数据。类似地，在一些示例中，用户可以滚动一系列声强度范围，以便查看声学图像数据中具有在给定范围内的声强度的位置。

可以被用来分析声学数据的另一个参数是声信号的周期性值。图11A和11B示出了声学场景中声学数据的频率比对时间的示例性标绘图。如图11A的标绘图所示，声学数据包括：具有第一周期性的频率为X的信号、具有第二周期性的频率为Y的信号以及具有第三周期性的频率为Z的信号。在图示的示例中，具有不同频率的声信号还可以在声信号中包括不同的周期性。

在一些这样的示例中，除了频率内容之外或作为其替代，可以基于周期性来对声信号进行滤波。例如，在一些示例中，声学场景中的多个声信号源可以产生特定频率下的声信号。如果用户希望隔离一个这样的声源以进行声学成像，用户可以基于与声学数据相关联的周期性来选择在最终显示图像中包括声学图像数据、或从最终显示图像中排除声学图像数据。

图11B示出了声信号的频率比对时间的标绘图。如所示的，频率随时间的推移近似线性地增加。然而，如所示的，该信号包括随时间的推移近似恒定的周期性。因此，取决于所选显示参数，这样的信号可能会或可能不会出现在声学图像中。例如，信号可能在某些时间点满足被显示的频率标准，但是在其他时间点，则在所显示的频率范围之外。然而，用户可以基于信号的周期性来选择在声学图像数据中包括这样的信号或从声学图像数据中排除这样的信号，而与频率内容无关。

在一些示例中，提取具有特定周期性的声信号可以有助于分析目标场景的特定部分（例如，通常以特定的周期性进行操作的特定的设备件或设备类型）。例如，如果关注的对象以某个周期性（例如，每秒一次）进行操作，则排除具有与此不同的周期性的信号可以改进对关注的对象的声学分析。例如，参照图11B，如果关注的对象以周期性4进行操作，则隔离具有周期性4的信号以进行分析可以产生对关注的对象的经改进的分析。例如，关注的对象可以发射具有周期性4、但是频率增加的声音，诸如图11B所示。这可能意味着对象的属性可能正在改变（例如，增加的扭矩或负载等），并且应该进行检查。

在示例性声学成像过程中，背景噪声（例如，工业环境中的噪底、室外环境中的风等）通常不是周期性的，而场景中的某些关注的对象发射周期性的声信号（例如，以定期间隔进行操作的机械）。因此，用户可以选择从声学图像中排除非周期性声信号，以便去除背景信号，并且更清楚地呈现关注的声学数据。在其他示例中，用户可能正在寻找恒定音调源，并且因此用户可以选择从声学图像数据中排除可能会使对恒定音调的查看模糊不清的周期信号。一般而言，用户可以选择在声学图像数据中包括高于某个周期性、低于某个周期性或在期望的周期性范围内的声信号。在各种示例中，可以通过周期性信号之间的时间长度或者周期性信号的出现频率来识别周期性。类似于图11B中所示的频率，对处于给定周期性的强度的分析（例如，由于关注的对象以该周期性进行操作）可以类似地被用来跟踪来自对象的声信号如何随时间的推移进行变化。一般而言，在一些实施例中，周期性可以被用来对诸如频率、强度等等的各种各样的参数实行变化率分析。

如本文中其他地方所述，在一些示例中，目标场景的各个部分可以与到声学成像传感器的不同距离相关联。例如，在一些实施例中，距离信息可以包括关于场景中的各个部分的三维深度信息。附加地或替换地，用户可能能够测量（例如，利用激光距离工具）或手动输入与场景中的多个位置相关联的距离值。在一些示例中，用于场景的各个部分的这种不同的距离值可以被用来调整在这样的位置处的反向传播计算，以适应该位置处的特定距离值。

附加地或替换地，如果场景的不同部分与不同的距离值相关联，则与声学传感器阵列的接近度（例如，测量的接近度和/或表观接近度）可以是这样的部分之间的另一个可区分的参数。例如，关于图10B，位置1020、1050、1070和1090均与不同的距离值相关联。在一些示例中，类似于本文中其他地方所讨论的频率或周期性，用户可以选择特定距离范围，根据该特定距离范围来在显示器上包括声学图像数据。例如，用户可以选择仅显示代表比预定距离更靠近、比预定距离更远或在预定距离范围内的声信号的声学图像数据。

此外，在一些实施例中，类似于关于图9C中的频率所描述的那样，声学分析系统可以被配置成循环通过多个距离范围，从而仅示出表示从目标场景中满足当前距离范围的位置发射的声信号的声学图像数据。这样的循环通过各种显示器可以帮助用户在视觉上区分不同声信号之间的信息。例如，在一些情况下，对象可能看起来与来自相关联的电磁成像工具（例如，可见光相机模块）的视线靠在一起，并且因此与这种对象的电磁图像数据进行组合的声学图像数据可能是难以区分的。然而，如果对象按深度差分开，则循环通过声学图像数据的不同深度范围可以被用来将每个声学数据源彼此隔离。

一般而言，声学分析系统可以被配置成应用各种设置，以便包括和/或排除代表满足一个或多个预定义的参数的声信号的声学图像数据。在一些示例中，声学分析系统可以被用来选择声信号必须满足的多个条件，以便例如在显示图像中显示代表这样的信号的声学图像数据。

例如，关于图10A和10B，仅在图10B中示出了图10A的场景中高于阈值强度的声信号。然而，附加的或替换的限制是可能的。例如，在一些实施例中，用户可以附加地对声学图像数据进行滤波，使得仅针对具有在预定频率范围内的频率内容和/或具有预定周期性的声信号示出声学图像数据。在示例性实施例中，限于关注的预定频率和/或周期性，可以从诸如1020和1090之类的附加位置消除声学图像数据。

一般而言，用户可以应用任何数量的声学数据要求，以在显示图像中包括声学图像数据或从显示图像排除声学图像数据，包括以下参数，诸如强度、频率、周期性、表观接近度、测量的接近度、声压、粒子速度、粒子位移、声功率、声能、声能密度、声音暴露、音调（pitch）、幅度、耀度（brilliance）、谐波、任何此类参数的变化率等等。附加地，在一些实施例中，用户可以使用诸如“与（AND）”、“或（OR）”、“异或（XOR）”等的任何适当的逻辑组合来将要求进行组合。例如，用户可能希望仅显示具有（强度高于预定阈值）AND（频率在预定范围内）的声信号。

附加地或替换地，声学分析系统可以被配置成循环通过一个或多个参数范围，以图示目标场景的不同部分，诸如关于在图9C中循环通过多个频率所示出的。一般而言，可以以这样的方式循环通过一个或多个参数。例如，参数（例如，强度）可以被分成多个范围（例如，10 dB–20 dB和20 dB–30 dB），并且声学分析系统可以循环通过这样的范围，显示落入第一范围内的所有声学图像数据，然后是落入第二范围内的所有声学图像数据，等等。

类似地，在一些实施例中，声学分析系统可以被配置成通过循环通过嵌套的范围来将参数要求进行组合。例如，在示例性实施例中，可以显示满足了第一强度范围AND第一频率范围的声学图像数据。可以循环通过所显示的频率范围，同时将所显示的声学图像数据限制成满足第一强度范围的声信号。在循环通过频率范围之后，可以将强度范围更新为第二强度范围，使得所显示的声学图像数据满足第二强度范围和第一频率范围。类似于并入第一强度范围的过程，可以在维持第二强度范围的同时类似地循环通过频率范围。该过程可以继续进行，直到已经满足频率范围和强度范围的所有组合为止。可以对多个参数中的任何参数实行类似的此类过程。

附加地或替换地，在一些实施例中，声学分析系统可以被配置成识别和区分声学场景中的多个声音。例如，关于图9B，声学分析系统可以被配置成识别在位置910、920、930和940处的四个离散声音。该系统可以被配置成循环通过多个显示器，每个显示器示出在单个离散位置处的声学图像数据，类似于图9C所示的那样，尽管并不一定取决于任何参数值。类似地，可以在一个或多个参数要求限制了所显示的声学图像数据之后，实行在各个位置处的声学图像数据之间的这种循环。

例如，关于图10A和图10B，在应用强度阈值之前，声学分析系统可以循环通过多个声学图像场景（例如，作为包括具有可见光图像数据的声学图像场景的显示图像），其中，每个场景包括在单个位置处的声学图像数据。在一些实施例中，根据图10A的所图示的示例，具有10个单独图像的循环，每个图像包括在位置1010、1020、1030、1040、1050、1060、1070、1080和1090中的不同位置处的图像数据。然而，根据一些实施例，在应用了强度滤波器使得仅显示具有大于阈值的强度的位置之后（例如，如图10B中那样），声学分析系统可以更新循环过程，以仅循环通过与满足滤波阈值的位置相对应的图像。即，关于图10B，循环过程可以进行更新，以仅在四个图像之间循环，每个图像示出了分别在位置1020、1050、1070和1090的离散声学图像数据。

因此，在各种实施例中，在多个循环通过的显示图像之一中示出了目标场景中包括声学图像数据的每一个位置，这是在应用一个或多个滤波器以限制示出哪些声学图像数据之前或之后的。各个声源位置的这种循环显示可以帮助用户查看图像以识别特定声音的源。在一些实施例中，循环中的每个图像仅包括单个声学数据源，并且在一些这样的实施例中，进一步包括声学数据的一个或多个参数，诸如频率内容、强度、周期性、表观接近度等等。

除了在示出满足某些条件的声学图像数据的图像之间进行循环之外或作为其替代，在一些示例中，可以在声学图像数据中检测声信号源的位置，并且可以与其他声信号隔离地在声学图像数据中显示声信号源的位置。例如，关于图10A，在一些实施例中，可以识别并且循环通过代表从位置1010-990中的每一个发出的声信号的声学图像数据。例如，在示例性操作过程中，可以自动地或在用户的指导下循环通过位置1010-990之一处的包括声学图像数据的显示图像，以用于单独地分析每个声信号源。在各种实施例中，在循环的同时显示声学图像数据的不同位置的次序可以取决于各种各样的参数，诸如按照位置、接近度、强度、频率内容等等。

附加地或替换地，在一些示例中，来自各个位置的声学图像数据可以在应用一个或多个滤波器以仅隔离满足一个或多个预定条件的声学图像数据之后被循环通过。例如，关于图10B，位置1020、1050、1070和1090被示为包括表示满足预定强度要求的声信号的声学图像数据。在一些实施例中，可以将这样的显示要求应用于对声信号的源位置的各个循环通过。例如，进一步参照图10B，显示图像包括仅来自满足声强度条件的位置1020、1050、1070和1090之一的图像数据，该显示图像可以被循环通过以用于在每个位置处的各个分析。

在参照图10A和图10B的示例性过程中，从场景收集的声学图像数据可以通常在图10A中的位置1010、1020、1030、1040、1050、1060、1070、1080和1090处示出。这样的位置可以包括代表具有各种各样声学参数的声信号的声学图像数据，该声学参数诸如是各种各样的强度、频率内容、周期性等等。

如本文中其他地方所述，用户可能希望隔离具有一个或多个特定声学参数的声信号，诸如具有最小声强度的声信号。可以从图像中排除表示不满足此类条件的声信号的声学图像数据，例如，如图10B所示，留下位置1020、1050、1070和1090处的声学图像数据。然而，用户可能希望进一步识别满足显示条件（例如，具有高于阈值的强度）的特定声音的源。因此，用户可以选择一个接一个地显示与位置1020、1050、1070和1090相关联的声学图像数据，以便查看每个声音的源位置并且单独地分析每个声音。在各种实施例中，用户可以选择手动地循环通过这样的位置，或者处理器可以自动更新显示图像以顺序显示各个位置的声学图像数据。这可以帮助用户进一步消除和忽略并不是关注的、但是碰巧满足被应用于图像的一个或多个滤波参数的声信号。

尽管关于强度和图10A和10B进行了描述，一般而言，包括来自从多个位置中选择的单个位置的声学图像数据的显示图像可以被一个接一个地循环通过以用于进行单独分析。包括代表性声学图像数据的多个位置可以是与声学场景中的声信号源相对应的整个位置集合，或者可以是此类位置的子集，例如，仅包括具有满足一个或多个条件的声信号的位置。这样的条件可以取决于任何一个或多个声学参数，诸如强度、频率内容、周期性、接近度等等，并且可以基于低于预定值、高于预定值、或在值的预定范围内的各种参数来满足。

在各种示例中，可以以各种各样的方式来完成修改显示图像以在显示图像中选择性地包括声学图像数据。在一些实施例中，显示图像（例如，包括电磁图像数据和声学图像数据）可以是实时图像，其中电磁图像数据和声学图像数据被连续更新以反映场景中的变化。在一些示例中，当使用某些条件来确定在显示图像中是否包括声学图像数据时，分析所接收的声信号来确定是否要在经更新的实时图像中的各种位置处包括声学图像数据。即，随着基于最近接收的声信号和电磁辐射生成了新的显示图像，显示图像的构造可以取决于对声信号的分析，以确定哪些声信号满足置于显示图像上的任何特定条件（例如，强度阈值等）。然后可以根据这样的条件、仅在适当的情况下生成包括声学图像数据的显示图像。

在其他示例中，显示图像可以从存储在存储器中的数据生成，诸如先前捕获的声学数据和电磁图像数据。在一些这样的示例中，关于要置于声学图像数据上的各种条件来分析先前获取的声学数据，并且在先前捕获的声学数据满足此类条件的位置中将其与电磁图像数据进行组合。在这样的实施例中，可以以许多方式来查看单个场景，例如，通过分析不同的声学参数来查看。可以基于置于显示图像上的针对是否在显示图像中的各种位置中包括声学图像数据的任何经更新的条件来更新代表先前捕获的声学图像数据的显示图像。

在一些实施例中，被用来在显示图像中选择性地包括声学图像数据的一个或多个声学参数可以被用来修改显示图像和/或图像捕获技术。例如，在实时成像示例中，用于确定在显示中是否包括声学图像数据的各种条件可以包括到目标的距离（例如，表观距离或测量的距离）和/或频率内容。如本文中的其他地方所描述的，一些这样的参数可以被用于选择声学传感器阵列和/或用于生成声学图像数据的处理方案。因此，在一些这样的示例中，当仅基于满足一个或多个预定条件的此类参数来表示声学图像数据时，可以基于此类条件来选择声学传感器阵列和/或处理方案以用于生成声学图像数据。

例如，在示例性实施例中，如果声学图像数据仅被包括在以下位置中的实时图像中，在这些位置处，对应的声信号包括第一频率范围内的频率内容，则可以选择一个或多个声学传感器阵列以用于获取最适合第一频率范围的声信号。类似地，如果声学图像数据仅被包括在以下位置处的实时图像中，在这些位置处，声信号源在第一距离范围内，则可以选择一个或多个声学传感器阵列，以用于获取最适合在第一距离范围内进行声学成像的声信号。附加地或替换地，如例如参照图6所描述的，可以基于期望的频率或距离条件来选择用于生成声学图像数据的处理方案。这样的（一个或多个）所选声学成像传感器阵列和处理方案可以随后被用来接收声信号，并且生成用于经更新的实时显示图像的声学图像数据，以便优化所包括的声学图像数据。

类似地，在其中从先前存储在存储器中的历史数据生成显示图像的一些实施例中，确定在显示图像中的哪些位置包括声学图像数据的各种条件可以被用来更新代表声学场景的声学图像数据。例如，在一些实施例中，被存储在存储器中的数据包括从接收到声信号的时间起由（一个或多个）声学传感器阵列接收的原始声学数据。基于用于确定在显示图像中的各种位置（例如，期望的距离和/或频率范围）处是否包括声学图像数据的条件，可以选择处理方案（例如，反向传播算法）来供存储在存储器中的原始数据使用，以用于生成要显示的、对于期望的参数进行优化的声学图像数据。

将领会的是，尽管通常使用可见光图像数据和声学图像数据进行描述和示出，但是参照图9A-C、10A和10B所描述的过程可以被使用，其包括各种各样电磁图像数据中的任何图像数据。例如，在各种实施例中，可以利用红外图像数据或紫外图像数据代替可见光图像数据来实行类似的过程。附加地或替换地，可以在这样的过程中使用电磁波谱的组合，诸如混合红外图像数据和可见光图像数据。一般而言，在各种示例中，可以结合电磁图像数据的任何组合选择性地示出声学图像数据（例如，当对应的声信号满足一个或多个预定参数时包括的声学图像数据）。

在一些实施例中，声学分析系统被配置成将一个或多个声信号和/或声学图像数据存储在数据库中（例如，在本地存储器中）和/或可从外部或远程设备访问。这样的声信号可以包括：代表正常操作期间的声学场景的声学图像数据、和/或与声学场景相关联的其他参数，诸如频率数据、强度数据、周期性数据等等。在各种示例中，数据库场景可以包括代表宽泛场景（例如，工厂）和/或更具体的场景（例如，特定对象）的声学图像数据和/或其他声学参数（例如，强度、频率、周期性等）。

在一些实施例中，数据库场景可以是特定类型的设备（诸如特定设备型号）通用的。附加地或替换地，即使不同的此类对象是同一对象的不同实例（例如，具有相同型号的两个单独的机器），数据库场景也可以特定于单个对象。类似地，数据库场景可以更具体，例如，包括对象的特定操作状态。例如，如果特定对象具有多种操作模式，则数据库可以包括具有这种对象的多个场景，针对每一种操作模式有一个场景。

在各种实施例中，数据库场景可以是单个声学图像和/或相关联的声学参数。在其他示例中，数据库场景可以包括由多个先前捕获的声学图像和/或相关联的参数形成的合成数据。一般而言，数据库场景（例如，声学图像和/或参数）可以包括场景在正常操作期间的声学表示。在一些示例中，数据库可以包括与场景相关联的其他元素，例如诸如对应的可见光图像、红外图像、紫外图像或其组合。在一些实施例中，可以类似于在2016年6月23日提交的且题为“THERMAL ANOMALY DETECTION”的美国专利申请号15/190,792中描述的红外图像数据的数据库生成和比较来实行数据库生成和/或比较，该美国专利申请被转让给本申请的受让人，并且通过引用整体地并入本文中。在一些实施例中，可以通过在场景内的对象在正确地操作的同时捕获场景的声学图像数据和/或一个或多个相关联的声学参数（例如，频率、强度、周期性等）来生成数据库。在一些这样的示例中，用户可以标记所捕获的数据库图像以将图像与一个或多个对象、位置、场景等等相关联，使得将来可以识别所捕获的声学图像和/或（一个或多个）相关联的参数以用于数据库分析和比较。

可以将最近生成的声学图像数据与数据库中存储的声学图像数据进行比较，以确定声学场景的声学轮廓是否在典型的操作标准之内。附加地或替换地，可以将来自实况声学场景和/或最近生成的声学图像的声学参数（诸如强度、频率、周期性等等）与数据库中的相似参数进行比较。

可以以多种方式来进行将当前声学图像数据与存储在数据库中的历史声学图像数据（例如，先前捕获的图像、从多个先前捕获的图像生成的合成图像、工厂提供的预期图像等）进行比较。图12A-12C示出了用于将声学图像数据与存储在数据库中的历史声学图像数据进行比较的多种示例性方式。图12A示出了声学成像工具1200，其包括具有声学视场1212的声学传感器阵列1202和具有电磁视场1214的电磁成像工具1204。如所示的，电磁视场1214和声学视场1212包括目标场景1220，该目标场景1220包括关注的对象1222。在一些实施例中，声学成像工具1200被永久地固定在某个位置中，使得关注的对象1222处于电磁视场1214和声学视场1212中。在一些实施例中，声学成像工具1200可以经由感应或寄生功率来供电、可以被连线到建筑物中的AC主电源中、或者被配置成连续地监视对象1222。

固定声学成像工具1200可以被配置成周期性地捕获对象1222的声学和/或电磁图像数据。因为声学成像工具1200通常被固定在适当的位置，所以在不同时间捕获的图像将近似来自同一优势点。在一些示例中，可以将经由声学成像工具1200捕获的声学图像数据与代表近似同一场景的声学图像数据的数据库进行比较，例如，以检测声学场景中的反常或异常。例如，这可以如美国专利申请号15/190,792中所述的那样来实行，该美国专利申请通过引用而并入。

图12B示出了例如在手持式声学成像工具上的示例性显示。显示器1230包括两个部分——1232和1234。在图示的示例中，部分1234示出了关注对象的数据库图像1244，而部分1232包括对象的实时声学图像数据的实况显示1242。在这样的并排视图中，用户可以将实况图像1242与数据库图像1244进行比较，以便查看典型的声信号（例如，如数据库图像1244中所示的）与当前实时图像1242之间的任何差异。类似地，用户可以比较实况图像1242是否近似匹配数据库图像1244。如果是这样，则用户可以捕获实况声学图像以用于进一步分析和/或与数据库图像1244进行比较。

图12C示出了例如在手持式声学成像工具上的另一示例性显示。图12C的显示器1250示出了在同一显示器1252上的数据库图像1254和实况图像1256。在图12C的示例中，用户可以类似地将实况图像1256中的声学图像数据与数据库图像1254中的声学图像数据进行比较，以便查看差异。附加地，用户可以调整声学成像工具的对准，以便将实况图像1256中的对象与数据库图像1254中的对象对准，以用于另外的分析和比较。

作为图12A-12C中的过程的结果，可以将实况和/或近期捕获的声学图像与诸如来自数据库的先前的声学图像数据进行比较。在一些示例中，这样的过程可以被用来将实况和/或近期捕获的声学图像与数据库图像进行配准，以用于自动化比较。在2011年12月20日提交的且题为“THERMAL IMAGING CAMERA FOR INFRARED REPHOTOGRAPHY”的美国专利申请号13/331,633中、2011年12月20日提交的且题为“THERMAL IMAGING CAMERA FOR INFRAREDREPHOTOGRAPHY”的美国专利申请号13/331,644和2011年12月23日提交的且题为“THERMALIMAGING CAMERA FOR INFRARED REPHOTOGRAPHY”的美国专利申请号13/336,607中描述了可以被用来从类似的优势点“重新捕获”声学图像数据作为数据库图像的其他过程，这些美国专利申请中的每一个都被转让给本申请的受让人并且通过引用整体地并入。

将实时声学图像数据和/或声学特征与可比较的场景/对象的对应声学图像和/或声学特征进行比较可以被用来提供对场景/对象的操作状态的快速且简化的分析。例如，比较可以指示声学场景内的某些位置正在发射具有与典型操作期间不同的强度或频谱的声信号，这可以指示问题。类似地，场景中的位置可能正在发射通常是无声的声信号。附加地或替换地，来自数据库的实况场景和历史场景的总体声学特征的比较可以通常指示场景中的声学参数的变化，该声学参数诸如是频率内容、声强度等等。

在一些示例中，声学分析系统被配置成将近期/实时声学场景与数据库进行比较。在一些实施例中，声学分析系统被配置成表征近期/实时场景与数据库场景之间的差异，并且基于该比较来诊断当前场景中的一个或多个可能的问题。例如，在一些实施例中，用户可以预先选择关注的对象或目标场景，以与声学数据库进行比较。声学分析系统可以基于所选对象/场景，将数据库图像和/或其他参数与近期/当前图像和/或其他参数进行比较来分析场景。基于从数据库中选择的对象/场景，声学分析系统可能能够识别数据库图像/参数与近期/当前图像/参数之间的一个或多个差异，并且将识别出的（一个或多个）差异与一个或多个差异的可能原因相关联。

在一些示例中，可以利用多个诊断信息对声音分析系统进行预编程，例如，将数据库图像/参数和近期/当前图像/参数之间的各种差异与可能原因和/或原因的解决方案相关联。附加地或替换地，用户可以例如从诊断数据的存储库中加载这样的诊断信息。这样的数据可以例如由声学分析系统的制造商、关注的对象的制造商等等来提供。在仍另外的示例中，声学分析系统可以例如经由一个或多个机器学习过程来附加地或替换地学习诊断信息。在一些这样的示例中，用户可以在观察到场景与典型场景的声学偏差之后诊断目标场景中的一个或多个问题，并且可以将代表该一个或多个问题和/或一个或多个解决方案的数据输入到声学分析系统中。该系统可以被配置成随着时间的流逝并且经由多个数据条目，学习将近期/当前图像和/或参数和存储在数据库中的那些图像和/或参数之间的不同差异与某些问题和/或解决方案相关联。在诊断问题和/或确定所提议的解决方案时，声学分析系统可以被配置成例如经由显示器向用户输出可疑的问题和/或所提议的解决方案。这样的显示器可以在手持式声学检查工具或远程设备（例如，用户的智能电话、平板设备、计算机等）上。附加地或替换地，这样的指示潜在问题和/或解决方案的显示器可以例如经由网络被传送到远程站点，诸如非现场操作者/系统监视器。

在一些示例诊断表征中，声学分析系统可以观察到特定的周期性吱吱声，这指示在操作机器上需要附加的润滑。类似地，恒定的高音调信号可以指示目标场景中的气体或空气泄漏。其他问题可能类似地具有可识别的声学特征，诸如正在分析的对象内的轴承损坏，使得经由声学成像系统（例如，手持式声学成像工具）查看声学特征可以帮助诊断系统或对象中的任何异常。

能够将所接收的声信号与基线（例如，声学图像数据和/或来自数据库的参数）进行比较并且实行诊断信息和/或建议采取纠正动作的声学分析系统可以消除对经验丰富的专家来对场景的声学数据进行分析的需求。而是，声学检查和分析可以由系统操作者在分析声学数据方面经验有限或没有经验的情况下实行。

图13是示出了将所接收的声学图像数据与用于对象诊断的数据库进行比较的示例性操作的过程流程图。该方法包括：接收对关注目标的选择(1380)；以及从数据库中检索关注目标的基线声学图像和/或声学参数(1382)。例如，用户可能希望对关注的特定对象实行声学分析，并且可以从具有可用基线声学图像和/或数据库中可用的参数的对象的预定义列表中选择这样的对象。

该方法进一步包括以下步骤：例如使用手持式声学成像工具捕获代表关注目标的声学图像数据和相关联的参数(1384)。在捕获声学图像数据和相关联的参数之后(1384)，该方法包括：将所捕获的声学图像数据和/或相关联的参数与检索到的基线图像和/或参数进行比较(1386)。

图13的方法进一步包括：如果所捕获的声学图像数据和/或参数足够偏离基线(1388)，则基于比较来诊断关注目标的操作问题(1390)。该方法可以进一步包括以下步骤：向用户显示对可能的问题和/或纠正动作的指示(1392)。在一些实施例中，可以附加地或替换地向用户显示比较显示，例如，示出了当前声学图像数据与基线声学图像数据之间的差异的差异图像。

在一些这样的示例中，确定是否与基线存在偏差(1388)包括：将所捕获的数据的一个或多个声学参数与基线数据中的相似参数进行比较，并且确定所捕获的与基线参数之间的差异是否超过预定阈值。在各种示例中，不同的参数可以包括不同的阈值，并且这样的阈值可以是绝对阈值、统计阈值等等。在一些实施例中，可以在逐个位置的基础上进行比较，并且可以针对场景内的位置的子集实行比较。

例如，参照图9B，有可能仅关于对象的操作来分析包括声学图像数据并出现在对象上的位置（例如，位置910和940）。在这样的示例中，在所捕获的图像与数据库图像之间单独地比较要进行比较的每一个位置（例如，910和940）处的不同声学参数。例如，参照图9B，将所捕获的数据和/或相关联的参数与来自数据库的那些进行比较可以包括：将所捕获的图像中的位置910的频率、强度和周期性分别与数据库图像中的位置910的频率、强度和周期性进行比较。可以在所捕获的图像与数据库图像之间、在位置940处实行类似的比较。如所描述的，每个比较可以包括用于确定是否与基线存在足够偏差的不同度量(1388)。

可以基于所捕获的图像数据与基线图像数据和/或参数之间的比较的组合来实行诊断操作问题(1390)并且显示对可能的问题和/或纠正动作的指示(1392)。在一些示例中，这样的诊断可以包括多维分析，诸如在给定位置处对多个参数进行组合比较。例如，在示例性实施例中，可以通过与基线的频率偏差大于第一阈值和与基线的强度偏差大于第二阈值两者来指示某个条件。

在一些示例中，即使在显示对可能的问题和/或纠正动作的指示(1392)之后，该过程也可以包括捕获新的声学图像数据和相关联的参数(1384)，并且重复比较和诊断过程。因此，用户可以观察是否任何所采取的纠正动作有效地改变对象的声学特征，以便改正识别出的问题和/或使对象的声学特征符合基线。

在一些实施例中，如果在将所捕获的数据与基线数据进行比较(1386)之后，与基线没有足够的偏差(1388)，则该过程可以结束(1394)，其具有的结论是基于对象的当前声学特征，该对象在正常地运行。附加地或替换地，可以捕获新的声学图像数据和关注目标的相关联的参数(1384)，并且可以重复该比较和诊断过程。在一些示例中，可以使用固定的声学分析系统来实行连续的重复分析，该固定的声学分析系统例如包括图12A中的声学成像工具1200。

声学数据（例如，图像数据和/或其他声学参数）的比较可以帮助用户更容易地识别对象是否正确地起作用，并且如果否，则诊断对象的问题。在一些示例中，与基线进行比较可以帮助用户忽略场景中的“正常”声音，诸如预期的操作声音或噪底/背景声音，这些声音可能与对象的操作问题无关。

在操作期间，对声学图像数据和/或相关联的声学参数的观察、或观察当前声学场景与数据库声学场景之间的比较结果可以指示用户关注的位置以进行进一步检查。例如，示出了与数据库图像的偏差的比较声学图像可以指示场景中在异常操作的一个或多个位置。类似地，查看在一个或多个意外位置处具有声学特征的声学图像可以指示用户关注的位置。例如，参照图10B，用户在声学成像系统的显示器上观察图10B，其可以认识到特定位置（例如，1020）正在意外发射声信号，或者类似地，与基线图像的比较指示在该位置处的声信号的意外参数（例如，意外频率、强度等等）。

在一些这样的示例中，用户可以移动得更靠近这样的位置，以便更紧密地检查该位置是否存在异常。在移动得更靠近对象时，到目标的距离的值可以被更新以反映声学阵列与目标位置之间的新距离。可以基于经更新的到目标的距离来更新声学传感器阵列和/或反向传播算法。附加地或替换地，来自较近位置的经更新的声学分析可以产生对来自目标的声信号的不同分析。例如，高频声信号（例如，超声信号）倾向于在到声信号源相对较短的距离内衰减。因此，当用户移动得更靠近目标以进行进一步检查时，声学传感器阵列可能会看到附加的信号（例如，高频信号）。可观察场景中的这种明显变化也可能导致调整声学传感器阵列和/或调整被用于进行声学成像的反向传播算法。

因此，当用户移动得更靠近关注的对象或区域时，可以一次或多次地更新被用于进行声学成像的传感器阵列和/或反向传播算法。每次更新可以提供关于关注的对象或区域的附加细节，这些细节可能无法使用不同的传感器阵列和/或反向传播算法从更远的距离观察到。例如，基于对更宽泛场景的初始观察，移动得更靠近关注的对象或区域也可以增加关注的声信号相对于环境中的背景声音的声强度。

在一些实施例中，声学分析系统（例如，手持式声学成像工具）可以提示用户移动得更加靠近场景内的关注对象或区域。例如，在将当前声学图像与基线数据库图像进行比较时，声学分析系统可以识别场景中偏离基线的一个或多个位置。该声学分析系统可以例如经由显示器向用户突出显示这样的一个或多个位置，并且建议用户移动得更靠近标识出的（一个或多个）位置以进行进一步分析。在一些示例中，该声学分析系统可以将标识出的位置（诸如环境内的对象或特定对象的子组件）分类为具有存储在数据库中的其自身的基线轮廓。该系统可以被配置成建议和/或实现所分类位置的这种轮廓，以在用户移动得更靠近以进行附加的检查时便于对识别出的位置进行进一步分析。

本文中所述的系统和过程可以被用来改进声学检查的速度、效率、准确性和彻底性。（例如，传感器阵列、反向传播算法等的）各种自动化动作和/或建议可以将检查的便利性提高到缺乏经验的用户可以对声学场景实行彻底的声学检查的程度。此外，这样的过程可以被用来分析范围广泛的场景，诸如整个系统、个体对象以及个体对象的子组件。声学场景的基线声学数据的预定义的和/或用户生成的轮廓甚至可以帮助缺乏经验的用户识别所捕获的声学数据中的异常。

声学图像数据与其他数据流（诸如可见光、红外和/或紫外图像数据）的配准可以为哪些对象正在发射声学图像数据中所表示的声信号提供附加的背景和细节。将声学传感器阵列和距离测量工具（例如，激光测距仪）进行组合可以帮助用户快速且容易地确定用于在声学成像过程期间使用的适当的到目标的距离的值。在各种示例中，声学传感器阵列、距离测量工具、处理器、存储器和一个或多个附加的成像工具（例如，可见光相机模块、红外相机模块等）可以由手持式声学成像工具中的单个壳体支撑，该手持式声学成像工具可以提供对多个场景的有效声学分析。可以将这样的手持式声学成像工具从一个场景移动到另一个场景，以用于快速分析多个关注的对象。类似地，使用手持式工具，用户可以移动得更靠近场景内的关注位置，以进行进一步检查或分析。

本文中描述了用于实行声学成像以及生成和显示声学图像数据的各种系统和方法。示例性系统可以包括声学传感器阵列，该声学传感器阵列包括多个声学传感器元件，该多个声学传感器元件被配置成从声学场景接收声信号，并且基于所接收的声信号输出声学数据。

系统可以包括电磁成像工具，该电磁成像工具被配置成从目标场景接收电磁辐射，并且输出代表所接收的电磁辐射的电磁图像数据。这样的成像工具可以包括：红外成像工具、可见光成像工具、紫外成像工具等等，或其组合。

系统可以包括与声学传感器阵列和电磁成像工具通信的处理器。该处理器可以被配置成从电磁成像工具接收电磁图像数据以及从声学传感器阵列接收声学数据。该处理器可以被配置成例如经由反向传播计算、基于所接收的声学数据和代表到目标的距离的所接收的距离信息来生成场景的声学图像数据。该声学图像数据可以包括诸如通过调色板或配色方案之类的声学数据的视觉表示，诸如本文中其他地方所描述的。

处理器可以被配置成将所生成的声学图像数据和所接收的电磁图像数据进行组合，以生成包括声学图像数据和电磁图像数据两者的显示图像，并且将该显示图像传送给显示器。将声学图像数据和电磁图像数据进行组合可以包括：例如基于所接收的距离信息，校正声学图像数据与电磁图像数据之间的视差误差。

在一些示例中，可以从与处理器通信的距离测量工具接收距离信息。距离测量工具可以包括例如光学距离测量设备（诸如激光距离测量设备）和/或声学距离测量设备。附加地或替换地，用户可以例如经由用户界面手动输入距离信息。

系统可以包括：激光指示器，以基于所选参数（诸如频率、分贝水平、周期性、距离等等，或其组合）来帮助识别诸如声音或声音轮廓之类的关注点的位置。这样的激光指示器可以被用来利用显示在显示器上的适当的声音可视化来准确定位（pinpoint）和对准场景的视场。这在其中被检查的对象相对于声学成像设备有一定距离的环境中，或者在不清楚显示器上的声音的可视化相对于实际场景的位置的情况下可能是有用的。

在一些示例中，激光指示器可以在显示器上可视化。这样的可视化可以包括在显示器上（例如，经由处理器）生成代表实际场景中的激光指示器的激光指示器点。在一些示例中，可以例如利用代表场景中的激光指示器的图标或另一对准的显示标记来增强激光指示器在显示器上的方位，以更好地确定显示器上相对于实际场景的位置。

如本文中其他地方所述，热成像系统可以被配置成创建由一个或多个声学传感器生成的声学数据的假色（例如，经调色的）、符号或其他非数字视觉表示，诸如通过创建声学图像数据进行的。附加地或替换地，系统可以诸如经由扬声器、头戴式耳机、有线或远程通信耳机等等向用户提供音频反馈。这样的音频或外差音频的传输可以与检测到的和所显示的声音的视觉表示同步。

在各种示例中，可以以各种各样的方式来可视化声学数据，例如，以便于对这样的数据的理解，并且防止观看者对正被可视化的声音的性质做出错误的假设。在一些示例中，不同类型的可视化可以提供对经可视化的声音的直观理解。

在一些实施例中，所生成的显示包括：具有上下文数字和/或字母数字数据的非数字视觉表示，以便提供关于正被可视化的声音的信息的彻底演示，这可以帮助用户确定和/或实现一个或多个适当的行动方针。

可以组合各种显示特征，包括各种非数字图形表示（例如，符号、调色等）和字母数字信息。在一些实施例中，场景的给定表示中存在的显示特征可以由用户例如从多个可选则的设置中定制。附加地或替换地，显示特征的预设组合可以由用户选择，以自动在显示图像中包括期望的信息组合。在各种实施例中，显示图像的各方面可由用户例如经由虚拟界面（例如，经由触摸屏提供的）和/或经由物理控件来调整。

图14示出了使用梯度调色方案的声学数据的可视化。如所示的，经由梯度调色方案示出了声学参数（例如，强度）。在示例性梯度调色方案中，根据调色方案，参数值将具有与其相关联的唯一颜色。给定像素处的参数值的变化通常将导致与该像素相关联的颜色的变化，以表示新的参数值。如在图14的示例中所示，声学参数值似乎从方位232、234、236处的声信号中的中心方位径向改变。梯度调色的其他示例在2017年11月2日提交的美国专利申请号15/802,153中进行了描述，该美国专利申请被转让给本申请的受让人。

图15示出了使用多个阴影同心圆的声学数据的可视化。在一些这样的示例中，与具有关联于参数值的颜色的梯度调色方案相反，图15所示的每个纯色同心圆可以表示具有在与该颜色相关联的值的范围内的声学参数值的像素。在图示的示例中，与位置332、334、336处的声信号相关联的声学参数（例如，强度）从声信号的中心径向改变。在示例性调色方案中，以红色示出的像素表示第一参数值范围内的声学参数值，以黄色示出的像素表示第二参数值范围内的声学参数值，并且以绿色示出的像素表示第三参数值范围内的声学参数值，然而，其他显示技术也是可能的，包括附加或替换的颜色、图案等等。在各种实施例中，值的范围可以对应于绝对范围，诸如在10 dB与20 dB之间的强度值，或者可以是相对范围，诸如在最大强度的90％与100％之间的强度值。

如本文中其他地方所述，在一些实施例中，包括电磁图像数据和声学图像数据的显示图像可以包括声信号的视觉指示和与声信号相关联的一个或多个参数的字母数字表示两者。图16示出了示例性可视化，其示出了非数字信息（例如，经由参数值范围的调色）和字母数字信息两者。在图示的示例中，字母数字声音强度值标签与具有经调色的声学图像数据（例如，强度数据）的三个位置中的每一个相关联。如所示的，声信号具有表示与其相关联的声学参数(1602、1604、1606)以及字母数字信息（分别为1612、1614、1616）的对应的视觉指示符。在示例性实施例中，字母数字信息可以提供与显示经调色的声学数据的位置相关联的数值，诸如最大强度值。在一些示例中，用户可以选择一个或多个位置来显示调色和/或字母数字数据。例如，用户可以选择使用与场景内的一个或多个声信号相关联的声学参数的字母数字表示来注释显示图像。

在一些示例中，字母数字信息可以表示与场景中的给定位置处的声信号相关联的多个参数（例如，声学参数）。图17示出了示例性可视化，其包括非数字信息（例如，经由参数值范围的调色）和字母数字信息。在图示的示例中，声音强度值和对应的频率值（例如，平均频率或峰值频率）被示出在与具有经调色的声学数据（例如，强度数据）的三个位置中的每个位置（分别经由指示符1702、1704、1706示出）相关联的字母数字信息1712、1714、1716中。类似于关于图16所讨论的，用户可以发起在各种位置处包括各种这样的数据。例如，用户可以选择使用与场景内的一个或多个声信号相关联的一个或多个声学参数的字母数字表示来注释显示图像。

图18示出了另一示例性可视化，其示出了非数字信息（例如，经由参数值范围的调色）和字母数字信息两者。在图示的示例中，距离测量被包括有与具有经调色的声学数据（例如，强度数据）的三个位置中的每个位置（分别经由指示符1802、1804、1806示出的）相关联的字母数字信息1812、1814、1816。类似于关于图16所讨论的，例如，作为显示图像注释的一部分，用户可以选择在各种位置处包括各种这样的数据。

在一些示例中，非数字表示可以被用来传送与多个声学参数有关的信息。例如，图19示出了示例性可视化，该示例性可视化示出了代表不同声学参数值的具有不同大小和颜色的指示符1902、1904、1906（在这种情况下为圆圈）。在示例性实施例中，指示符的大小对应于给定位置处的声信号的强度，而指示符的颜色对应于峰值或平均频率。在示例性实施例中，指示符大小可以示出相对值，使得将一个指示符的大小与另一指示符的大小进行比较表示了在与指示符相关联的位置处所表示的声学参数值之间的相对差异。附加地或替换地，可以包括字母数字信息以提供绝对或相对声学参数值。

在一些实施例中，彩色指示符可以被用来表示一个或多个检测到的声信号和/或相关联的声学参数的严重性，诸如与基线参数的偏差量。图20示出了示例性可视化，其示出了具有不同颜色的多个指示符2002、2004、2006，这些指示符指示来自对应的位置的声信号所指示的严重性。例如，在示例性实施例中，红色指示符指示基于一个或多个声学参数的关键严重性（例如，当与基线（诸如典型操作条件的基线）进行比较时），黄色指示符指示中等严重性，并且绿色指示符表示较小严重性。在其他示例中，可以使用其他配色方案或外观特性（例如，指示符透明度、指示符大小等）在视觉上区分声信号的严重性。在图示的示例中，指示符2004表示最高水平的严重性，指示符2006表示次严重的，并且指示符2002表示最不严重的声信号。

如本文中其他地方所述，在各种实施例中，一个或多个声学参数可以例如通过经调色的颜色或灰度显示在声学场景的视觉表示上显示。在一些实施例中，系统可以被配置成识别场景中满足一个或多个声学条件（诸如所识别的频率范围、强度范围、距离范围等等）的一个或多个位置。在一些示例中，可以识别与声学轮廓相对应的各种位置（例如，满足一组特定的条件或参数）。可以以与在创建显示图像时以其他方式使用的声学图像数据调色方案有区别的方式来呈现此类识别出的位置。例如，图21示出了在场景内的多个位置处包括指示符的场景。指示符2101、2102、2103、2104和2105被定位在场景内。指示符2103、2104和2105包括例如表示与标度2110相对应的一个或多个声学参数的值的经调色的声学图像数据。指示符2101和2102被示为具有独特的演示方案，该演示方案与在位置2103、2104和2105处出现的调色方案可区分。在这样的实施例中，用户可以快速且容易地识别图像中满足一个或多个期望条件的那些位置。在一些这样的示例中，用户可以基于对值的范围的选择，例如，从诸如2110之类的标度中选择一个或多个期望条件以用于以有区别的方式进行显示。

附加地或替换地，可以利用代表所满足的条件的图标来呈现满足特定声音轮廓的条件的位置，诸如对应的声学轮廓。例如，图22示出了定位在显示图像内的多个图标2202、2204、2206、2208，这些图标指示场景内的识别出的声学轮廓。如图22所示的示例性轮廓包括轴承磨损、漏气和电弧。可以通过声信号满足与这样的轮廓相关联的一个或多个参数的集合以便被分类为这样的轮廓来识别这样的轮廓。

图23示出了另一示例性显示，其经由多个指示符2302、2304和2306、使用同心圆和表示与每一个声信号相关联的声强度的字母数字信息示出了声学数据。如本文中其他地方所述，在一些示例中，指示符的大小可以表示在对应的位置处存在的一个或多个声学参数。在一些实施例中，指示符可以是单色的，并且以一种或多种其他方式指示声学参数，诸如通过指示符大小、线宽、线类型（例如，实线、虚线等）。

在一些示例中，显示器可以包括基于用户所做出的选择的字母数字信息。例如，在一些实施例中，系统（例如，经由处理器）可以包括以下信息，该信息表示位于特定位置处的声信号的一个或多个声学参数，这响应于在这样的位置处、用户在显示器上（例如，经由用户界面）对指示符的选择。图24示出了示例显示图像，其具有指示符和与所表示的声信号相关联的附加的字母数字信息。在示例中，可以选择显示器上的指示符2402（例如，经由十字准线表示的，其可以指示选择，诸如经由触摸屏输入的选择）以用于进一步分析。显示器示出了字母数字信息2404，其包括与对应于指示符的位置相关联的数据列表，包括峰值强度和对应的频率、频率范围、到位置测量的距离以及由来自该位置的声信号所指示的关键度水平。

在一些示例中，显示图像可以包括表示场景中对应的多个声信号的多个指示符。在一些实施例中，在这样的情况下，用户可以选择一个或多个指示符（例如，经由触摸屏或其他用户界面选择的），并且响应于检测到该选择，处理器可以呈现关于声信号的附加信息。这样的附加信息可以包括一个或多个声学参数的字母数字。在一些示例中，可以针对多个声信号同时显示这样的附加信息。在其它示例中，当选择另一个声信号时，隐藏针对给定的声信号的此类附加信息。

如本文中其他地方所述，在一些示例中，系统可以包括激光指示器。在一些示例中，激光指示器可以具有固定的取向，或者可以具有例如经由处理器可控制的可调整指向。在一些示例中，系统可以被配置成使激光指示器对准与图像中的所选位置相关联的目标场景中的位置。图25A示出了包括显示器的系统（在一些示例中，被体现为手持式工具），该显示器诸如是图24中所示的显示器，在显示器中选择指示符2502。激光指示器2504朝向场景发射激光束2506，其中，激光在场景中创建与图像中所选指示符2502的位置相对应的激光点2508。这可以帮助用户可视化环境中的所选和/或所分析的声信号的位置。在一些实施例中，激光点2508可由电磁成像工具检测，并且与所显示的指示符2502和包括声学参数信息的字母数字信息2512一起在显示器上是可见的。在一些示例中，声学成像系统被配置成检测或预测场景中激光的位置，并且提供激光位置的视觉指示2510。图25B示出了诸如图25A的系统视图中所示的显示图像。

在其中激光指示器具有固定取向的实施例中，用户可以查看具有激光位置的视觉指示的显示图像作为反馈，使得用户可以调整激光的指向以与所选声信号相一致。

如本文中其他地方所述，在一些实施例中，声学图像数据可以与电磁图像数据进行组合以用于在显示图像中演示。在一些示例中，声学图像数据可以包括可调整的透明度，使得电磁图像数据的各个方面不会被完全遮盖。图26示出了在场景中的某个位置处由指示符2602表示的声学图像数据，其中，指示符2602包括梯度调色方案。系统可以包括显示设备，该显示设备可以与声学成像工具构成整体或分离，该显示设备被配置成呈现包括电磁图像数据和声学图像数据的显示数据。

在一些实施例中，设备（例如，手持式声学成像工具）可以包括物理混合控件2614（例如，一个或多个按钮、旋钮、滑块等，其可以被包括为用户界面的一部分）和/或虚拟混合控件2604（诸如经由触摸屏或其他虚拟实现的界面）。在一些实施例中，这样的功能可以由诸如智能电话、平板设备、计算机等等的外部显示设备提供。

图27示出了用于显示图像的虚拟和/或物理混合控制工具，其包括部分透明的同心圆调色方案。类似于关于图26所描述的，指示符2702可以表示场景内的声信号。声学成像系统可以包括物理混合控件2714和/或虚拟混合控件2704，其可以被用来调整显示图像内的声学图像数据（例如，指示符2702）的透明度。

附加地或替换地，物理和/或虚拟界面可以被用来调整一个或多个显示参数。例如，在一些实施例中，可以应用一个或多个滤波器来选择性地显示满足一个或多个条件的声学图像数据，诸如本文中其他地方所描述的。图28示出了包括指示符2802的场景，该指示符2802具有梯度调色，其指示场景中满足一个或多个滤波器的位置（例如，具有满足一个或多个对应阈值或预定条件的一个或多个声学或其他参数）。在各种示例中，可以经由物理控件2814（例如，经由一个或多个按钮、旋钮、开关等）和/或虚拟控件2804（例如，触摸屏）来选择和/或调整滤波。在图示的示例中，滤波器包括：显示仅针对具有落入声学参数的预定义的范围2806内的声学参数（例如，频率）的那些声信号的声学图像数据。如所示的，预定义的范围2806是可能的滤波器范围2816的子集。在一些示例中，用户可以例如经由虚拟2804或物理2814控件来调整预定义的范围2806的极限，以调整滤波器的效果。

图29示出了针对显示图像的虚拟和/或物理滤波器调整，包括部分透明的同心圆调色方案。如所示的，基于声学参数，在场景内示出指示符2902，该声学参数落在基于滤波器的值的预定范围2906内。滤波器可以例如经由虚拟2904和/或物理2914控件在值的范围2916内可调整。

在一些实施例中，可以利用多个滤波器来定制包括经调色的声学图像数据的显示图像。图30示出了显示图像，该显示图像示出了第一指示符和第二指示符。如本文中其他地方所述，可以将一个或多个滤波器应用于显示图像（例如，经由物理滤波器控件和/或虚拟滤波器控件）以定制所显示的数据。在图30的图示示例中，滤波包括建立第一滤波器范围3006和第二滤波器范围3008。在一些示例中，滤波器范围可以例如经由虚拟3004和/或物理3014控件在值的范围3016内可调整。

这样的滤波器范围可以表示各种各样的参数中的任何参数，诸如频率、幅值、接近度等。如所示的，第一滤波器范围和第二滤波器范围均与颜色相关联（在一些示例中，该颜色可以由用户调整），并且指示符3002、3012被定位在图像中对应的声信号满足与每个滤波器范围相关联的一个或多个滤波器条件的位置。如所示的，第一指示符3002表示满足第一滤波器范围3006（以深色阴影示出）的声信号，而第二指示符3012表示满足第二滤波器范围3008（以较浅阴影示出）的声信号。因此，用户可以能够迅速地识别场景中具有一次满足各种各样的条件的声学数据的位置，同时还识别出哪些位置满足哪些条件。

在一些示例中，诸如声学成像工具或外部显示设备之类的显示设备可以包括虚拟键盘作为输入设备，诸如图31所示的。图31示出了包括指示符3102的显示界面，指示符3102表示场景中的声信号的一个或多个声学参数。虚拟键盘3110被包括在显示器中，该虚拟键盘3110可以被用来将字母数字信息3112添加到显示图像。利用这样的虚拟键盘可以允许用户输入定制的注释，诸如各种检查注解、标签、日期/时间戳、或可以与图像一起存储的其他数据。在各种示例中，虚拟键盘可以被用来添加被包括在图像数据中和/或被附加到图像数据的文本，诸如通过被存储在与显示图像相关联的元数据中进行。

各种设备可以被用来呈现显示图像，该显示图像包括声学图像数据和其他数据的各种组合，诸如字母数字数据、来自一个或多个电磁波谱的图像数据、符号等等。在一些示例中，手持式声学成像工具可以包括用于呈现显示图像的内置显示器。在其他示例中，可以将要显示的信息或为生成显示而处理的数据（例如，原始传感器数据）传送到外部设备以进行显示。这样的外部设备可以包括例如智能电话、平板设备、计算机、可穿戴设备等等。在一些实施例中，在增强现实类型显示器中结合实时电磁图像数据（例如，可见光图像数据）来呈现显示图像。

图32示出了嵌入可由用户佩戴的眼镜3210中的显示器。在一些示例中，眼镜可以包括一个或多个嵌入式成像工具，诸如在题为“DISPLAY OF IMAGES FROM AN IMAGINGTOOL EMBEDDED OR ATTACHED TO A TEST AND MEASUREMENT TOOL”的美国专利公开号20160076937中所述的，并且该美国专利公开被转让给本申请的受让人，其相关部分通过引用并入本文中。在一些这样的示例中，集成显示器可以示出实时显示图像3220。例如，显示器可以示出代表用户所面对的场景的电磁图像数据（例如，可见光图像数据），并且可以同时显示（例如，经由混合、覆盖等）一个或多个附加的数据流，诸如声学图像数据（例如，包括指示符3202）等等，以向用户提供所添加的信息。在一些实施例中，诸如图32中所示的眼镜包括透明显示屏，使得当没有显示图像被提供给显示器时，用户可以通过眼镜直接用他或她的眼睛查看场景，而不是被呈现有实时的可见光图像数据。在一些这样的示例中，诸如声学图像数据、字母数字数据等的附加数据可以被显示在用户的视场中的以另外的方式透明的显示器上，使得用户除了通过显示器查看他或她的场景视图之外还查看这样的数据。

如本文中其他地方所述，在各种示例中，可以以各种各样的方式组合在显示图像中呈现的各种数据，包括与其他数据流混合（例如，将声学图像数据与可见光图像数据进行混合）。在一些示例中，混合的强度可以在单个显示图像内的不同位置之间有所不同。在一些实施例中，用户可以手动调整多个位置中的每个位置（例如，检测到的声信号的多个指示符中的每一个指示符）的混合比。附加地或替换地，混合可以是一个或多个参数的函数，该参数诸如是频率、幅值、接近度等。

在一些实施例中，声学成像工具可以被配置成识别传感器阵列指向发射检测到的声信号的多个位置中的每一个位置的程度，并且相应地将对应的声学图像数据与例如可见光图像数据进行混合。图33A示出了示例性显示器，其包括表示声学场景中的声信号的第一指示符3302和第二指示符3304。在图33A中，当与管道2进行比较时，声学传感器更直接地指向管道1，该管道1对应于第一指示符3302的位置，该管道2对应于第二指示符3304的位置。照此，在图33A的显示方案中，第一指示符3302比第二指示符3304更突出地显示（例如，具有更高的混合系数或更低的透明度）。相反地，在图33B中，当与管道1进行比较时，声学传感器更直接地指向管道2，该管道2对应于第二指示符3304的位置，该管道1对应于第一指示符3302的位置。照此，在图33B的显示方案中，第二指示符3304比第一指示符3302更突出地显示（例如，具有更高的混合系数或更低的透明度）。一般而言，在一些实施例中，声学成像系统可以确定指示传感器指向给定位置的程度的度量（例如，对应于声学图像数据中的指示符），并且相应地调整与这样的位置相对应的混合比（例如，更大的指向程度对应于更高的混合比）。

本文中描述了用于实行声学成像以及生成和显示声学图像数据的各种系统和方法。示例性系统可以包括声学传感器阵列，该声学传感器阵列包括多个声学传感器元件，该多个声学传感器元件被配置成从声学场景接收声信号，并且基于所接收的声信号输出声学数据。

系统可以包括电磁成像工具，该电磁成像工具被配置成从目标场景接收电磁辐射，并且输出代表所接收的电磁辐射的电磁图像数据。这样的成像工具可以包括红外成像工具、可见光成像工具、紫外成像工具等等，或其组合。

系统可以包括与声学传感器阵列和电磁成像工具通信的处理器。该处理器可以被配置成从电磁成像工具接收电磁图像数据以及从声学传感器阵列接收声学数据。该处理器可以被配置成例如经由反向传播计算、基于所接收的声学数据和代表到目标的距离的所接收的距离信息来生成场景的声学图像数据。声学图像数据可以包括诸如通过调色板或配色方案进行的声学数据的视觉表示，诸如本文中其他地方所描述的。

处理器可以被配置成将所生成的声学图像数据和所接收的电磁图像数据进行组合，以生成包括声学图像数据和电磁图像数据两者的显示图像，并且将显示图像传送到显示器。将声学图像数据和电磁图像数据进行组合可以包括例如基于所接收的距离信息来校正声学图像数据与电磁图像数据之间的视差误差。

在一些示例中，可以从与处理器通信的距离测量工具（例如，图1中的110）接收距离信息。距离测量工具可以包括例如光学距离测量设备（诸如激光距离测量设备），和/或声学距离测量设备。附加地或替换地，用户可以例如经由用户界面（例如，经由控件126和/或触摸屏显示器）来手动输入距离信息。

在一些实施例中，声学成像系统可以包括激光指示器，以基于诸如频率、分贝水平、周期性、距离等等的所选参数或其组合来帮助识别诸如声音或声音轮廓之类的关注点的位置。图34A示出了朝向场景发射激光的声学成像设备。在各种实施例中，激光指示器可以由用户手动操作和/或可以由系统自动控制，诸如经由声学成像工具中的处理器进行控制。

如图34A所示，包括激光指示器3404的声学成像设备3412可以朝向场景3410中的至少一个关注点3408（例如，朝向声音3402）发射激光束3406。激光指示器3404可以被用来准确定位/识别关注的点，和/或将场景的视场与显示器上所显示的适当的声音可视化对准。这在其中被检查的对象相对于声学成像设备有一定距离的环境中，或者在不清楚显示器上的声音的可视化相对于实际场景的位置的情况下可能是有用的。在一些情况下，激光指示器可以与声成像系统的处理器通信，并且处理器可以被附加地配置成使激光指示器朝向目标场景发射激光。

在一些示例中，激光指示器可以诸如通过显示器上的图形指示符在显示器上可视化。这样的可视化可以包括：生成代表实际场景中的激光指示器的激光指示器点（例如，经由处理器）。激光指示器的方位也可以在显示器上增强，例如，利用代表场景中的激光指示器的图标或另一个对准的显示标记来增强，以更好地确定显示器上相对于实际场景的位置。

图34B示出了包括可见光图像数据和声学图像数据的示例显示图像，以及场景中激光点的代表性可视化。如所示的，显示图像包括电磁图像数据和声学图像数据，该电磁图像数据包括可见光图像数据3420，该声学图像数据包括代表场景内的声音3402的指示符3422。如所示的，图像进一步包括：标记3424，其示出了激光3406在场景中存在于场景中的什么地方。如所示的，标记3424与指示符3422对准，从而指示在声音3402的源附近存在激光3406。

如本文中所示和所讨论的，当很少或没有光照亮场景时，可能难以解译某些场景。为了改进图像和视频的捕获质量，可以使用照明器来照亮场景，诸如可见光照明器或近红外发射器。因此，系统可以附加地或替换地包括一个或多个照明器，并且系统处理器可以被配置成经由照明器照亮目标场景。这样的照明器可以被配置成朝向目标场景以一个或多个波长或波长范围（例如，波长带）发射电磁辐射。在一些示例中，系统可以包括可见光照明器，诸如电筒或手电筒，以利用可见光谱中的光照亮场景。系统可以附加地或替换地包括被配置成在可见光谱之外发射电磁辐射的一个或多个照明器，诸如近红外发射器。关于在不良成像条件下捕获场景的高质量图像和视频，这样的照明可以为系统提供附加的能力和经改进的性能。

在一些示例中，电磁成像工具可以被配置成检测与从一个或多个相关联的照明器发射的电磁辐射相对应的电磁辐射（例如，可见光辐射、近红外辐射等），以用于生成代表被照亮场景的电磁图像数据。图35A-35C示出了具有各种类型和/或照明量的场景的显示图像的表示，包括电磁图像数据和声学图像数据。

图35A示出了表示场景3510的显示图像，该场景包括在没有照明的情况下的声学图像数据和电磁图像数据。图35B描绘了使用可见光照明器捕获的场景3510的图像。图35C描绘了使用近红外照明器捕获的场景3510的图像。

如可以看到的，图35A所示的显示图像包括表示声学图像数据的指示符3504，然而，图35A中处于未被照亮状态的场景3510的电磁图像数据难以解译，从而减少了可以由电磁图像数据提供的所添加的情景。

如可以在图35A-35C看到的，照明场景3510可以帮助提供对任何关注点的更好可视化，该关注点诸如是与代表场景中、以及周围区域中的声信号的指示符3504相关联的位置。在图35A中，不存在照明。即使指示符3504仍可以清晰地显示在代表检测到的声信号的显示图像中，也可能难以确定有关相关联的声信号的某些信息，诸如声信号源周围的位置或环境。为了更好地将场景可视化，以使用照明器（例如，可见光照明器、关于其的近红外照明器等等）来提供有关场景的更多信息。如图35B和35C所示，照明器向场景提供了更多的情景，因此提供了关于在声学图像数据中表示的声信号的更多信息。

在一些实施例中，系统可以包括单个照明器，该单个照明器被配置成发射跨多个波谱的电磁辐射，诸如跨可见光和近红外波谱两者的电磁辐射。附加地或替换地，系统可以包括被配置成发射不同波谱的电磁辐射的多个照明器。类似地，在一些示例中，系统可以包括单个电磁成像工具，该电磁成像工具能够检测跨多个波谱的电磁辐射，诸如可见光和近红外光。附加地或替换地，可以使用对不同电磁辐射波谱敏感的多个电磁成像工具。

即使不一定在图35A-35C中示出，在不同场景中使用不同波长的照明器（例如，可见光、近红外）可能是有利的。在一些示例中，用户可以在可见光照明器、近红外照明器、可见光和近红外照明器两者与无照明之间手动切换。在一些示例中，该系统可以接合一个或多个照明器以起到瞬间摄影闪光灯的作用。

在一些实施例中，系统可以包括：环境光传感器，用以收集关于场景中的环境光水平的信息。这样的光水平信息可以被显示给用户和/或被处理器用来自动激活一个或多个照明器，诸如可见光照明器和/或近红外照明器，以用于改进图像可视化、显示和捕获。在一些实施例中，处理器可以被配置成响应于环境光的量低于预定阈值而使照明器照亮目标场景。附加地或替换地，处理器可以被配置成响应于环境光的量低于预定阈值而推荐用户照亮目标场景。在各种示例中，可以手动和/或自动地实行来自一个或多个电磁照明器的照明。

在一些示例中，距离测量工具和/或电磁成像工具可以位于声学传感器阵列的外周内。例如，在手持式工具中，可以由单个壳体支撑各种组件，诸如距离测量工具、电磁成像工具、声学传感器阵列、处理器、显示器、激光指示器、一个或多个照明器（例如，可见光照明器和/或近红外照明器），和/或环境光传感器。在其他示例中，一个或多个组件可以位于其他组件的外部，该其他组件诸如是与壳体分开放置的外部显示器。

在一些示例中，本文中所述的声学成像系统可以包括一个或多个激光指示器，并且在一些实施例中，一个或多个对应的扫描机构被配置成调整对应的激光指示器的指向，例如，以在场景周围操纵系统激光指示器。

通过并入激光指示器，声学成像系统可以利用所显示的适当声音可视化来准确定位和对准场景的视场。这在其中被检查的对象相对于声学成像设备有一定距离的情况下，或者在不清楚显示器上的声音的可视化相对于实际场景的位置的情况下是特别有用的。在一些示例中，激光指示器还可以起到激光测距仪的作用。

在一些示例中，一个或多个激光指示器附接到电动致动器以辅助扫描过程。可以利用一个或多个激光来帮助识别场景中关注点的一个或多个位置。例如，在一些实施例中，用户可以选择关注点（例如，经由虚拟或物理用户界面选择声学图像数据中的关注位置），并且扫描机构（例如，电动致动器）可以被配置成指挥激光指示器指向所选关注点。在各种示例中，用户可以通过显示器或与系统合并的一组控件来传送所选关注点。附加地或替换地，用户可以选择多个关注点。在一些这样的示例中，激光指示器可以在这样的多个点之间扫描，和/或多个激光指示器可以被用来识别多个关注点（例如，同时地）。各种实现方式可以包括单个快速扫描激光设计、以及多个激光设计。

在一些示例中，声学成像系统可以自动识别关注点，诸如满足一个或多个所选和/或预定参数（诸如频率、分贝水平、周期性、距离等等）的声音，并且指挥激光指示器朝向场景中的关注位置发射激光。在一些示例中，基于用户所选参数或一个或多个参数（例如，满足一个或多个警报或阈值条件的参数）的预编程集合，使一个或多个激光指示器指向声音或声音轮廓。

在其中在场景内存在多个关注位置的示例中，可以通过在多个方位之间移动单个激光指示器，朝向多个关注位置中的每一个发射激光，使得朝向多个识别出的位置连续发射激光。附加地或替换地，可以使用多个激光指示器同时朝向多个关注位置发射激光。例如，可以同时识别多个关注位置中的每一个，或者可以同时识别关注位置的子集。

在一些实施例中，例如，可以通过使用代表性图标或其他对准的显示标记来在显示器上可视化或增强一个或多个激光指示器，以更好地确定显示器上相对于实际场景的位置，如本文中其他地方所讨论的那样。

在一些实施例中，一个或多个激光可以允许用户选择所显示的声学图像数据（例如，一个或多个关注的位置）。该选择可以提供可以被处理（例如，经由系统处理器处理）的输入，以向激光系统（例如，一个或多个激光器和一个或多个对应的致动器）提供关于应该将激光投射到何处以便定位实际场景中的实际声源的信息。在一些示例中，这可以通过三角测量方法来实现，该方法诸如是可以在对设备的屏幕上所显示的声音进行定位和可视化时使用的那些方法（例如，在定位声学图像数据并且将声学图像数据与一个或多个附加数据流配准时）。在一些实施例中，从激光测距仪获取的信息可以提供对该定位和方向的完善。

在一些实施例中，除了一个或多个激光指示器之外或作为其替代，声学成像系统可以包括投影系统（例如，包括投影仪114），该投影系统被配置成将一个或多个图像数据集合的视觉表示投射到场景上，例如，将声学图像数据投射到场景中发出声音的表面或区域和/或场景中反射声音的表面上。投影系统可以附接到声学成像设备，和/或可以是与声学成像设备通信的单独的投影仪设备。在示例性实施例中，投影系统可以包括嵌入在声学成像设备中的微微投影仪。

在一些示例中，投影系统可以将声学图像数据投射到场景的一个或多个部分上。在一些实施例中，用户可以选择场景中的一个或多个关注点（例如，基于经可视化的或以其他方式分析的声学图像数据），其中投影系统在场景中投射适当的数据（例如，声学图像数据）。附加地或替换地，该系统可以被配置成将声学图像数据自动投射到一个或多个关注点处的场景上，诸如检测到的声音或满足一个或多个预定条件（例如，所选参数（诸如频率、分贝水平、周期性、距离等等）满足一个或多个阈值）的声音轮廓。在各种示例中，投影系统可以附加地或替换地被配置成基于用户所选参数或预编程的算法来投射声学图像数据。

在各种实施例中，投影系统被配置成实时投射图像数据、和/或投射存在于显示器上的声学图像数据的表示。在一些示例中，投影系统可以将静态表示或视频循环投射到场景上。在一些示例中，投影系统可以被配置成在稍后的时间例如通过使用图像识别和对准技术将图像数据投射到场景的一个或多个位置上。在一些实施例中，投影系统可以朝向声信号的所确定的位置投射光，该声信号包括表示声信号的声学参数（例如，频率、分贝水平、周期性、距离等等）的彩色调色。

如本文中其他地方所讨论的，可以使用激光指示器来识别场景中的声音。根据一些实现方式，声学成像工具最初从周围环境接收声信号和电磁数据。声学数据和电磁数据可以被传送到处理器以生成显示图像，该显示图像包括例如声学图像数据和电磁图像数据。

图36示出了示例实现方式，其中用户可以选择场景内系统可以使激光指示器指向的位置。如所示的，在示例性实施例中，用户可以选择呈现在显示器3616上的多个指示符（分别对应于声音3682、3684、3686的3672、3674、3676)之一（例如，经由显示器3616上的触摸界面和/或一个或多个物理控件3614来选择）。在图36所示的示例中，用户选择显示器上的指示符3676，其提示操纵激光指示器3604以指向场景中的声音3686（例如，经由对应的电动致动器），并且朝向声音3686发射激光3606。即使未示出，用户则可以选择不同的指示符（例如，3672或3674）来提示操纵激光指示器指向场景中的不同声音（例如，声音3682或声音3684）。

在一些实施例中，识别场景中的多个点可能是有利的。图37示出了非限制性实施例，其中，一个或多个激光指示器被用来识别三种声音（声音3782、3784和3786）。关于图37，声学成像系统3712可以指挥一个或多个激光指示器304将一个或多个对应的激光3706指向多个识别出的声源（例如，经由一个或多个对应的电动致动器）。在特定的示例中，声学成像设备识别出声源3772、3774和3776，并且指导激光指示器3704来使激光3706指向场景中的声音3782、3784和3786。在一些示例中，多个激光器304朝向场景内的对应多个位置发射激光306。附加地或替换地，一个或多个激光指示器304可以被配置成在不同的方位之间移动、在不同的时间指向不同的位置。

在一些示例中，声学成像系统可以被配置成使激光指向场景中每个检测到的声音的位置。在其他示例中，可以使激光指向具有满足一个或多个预定条件（例如，频率、分贝水平、周期性、距离等）的声学参数的声音的位置。附加地或替换地，用户可以选择多个声音（例如，经由显示器3716上的触摸界面和/或一个或多个物理控件3714来选择）。用户对多个声音的选择可以提示操纵激光指示器以指向实际场景中的所选声音（例如，声音3782、3784和3786）。在附加的实施例中，用户然后可以选择不同的声音或声音的不同子集，以提示操纵激光指示器朝向实际场景中的不同声音。

在一些实施例中，除了使用激光指示器或作为其替代，使用投影仪系统来将显示图像中的声学图像数据投射到实际场景中可能是有利的。图38示出了基于用户选择而朝向显示图像3816中的位置投射声学图像数据3820的投影仪系统3818。如本文中其他地方所述，生成显示图像3816并且将其呈现给用户。如所示的，用户在显示图像3816上选择与场景中发射声音3882的位置相对应的位置（例如，指示符3872），这提示声学成像设备3812将代表声音3882的声学图像数据3820投射到场景中声音3882所来自的位置上。声学成像设备3812可以经由重投影仪3818投射这样的声学图像数据。即使未示出，用户也可以选择与不同声音（例如，声音3884）相对应的不同位置（例如，指示符3874），以提示系统朝向场景中的不同声音（例如，声音3884）投射数据。

在一些实施例中，经由投影仪系统或多个投影仪系统识别场景中的多个点可能是有利的。图39示出了具有投影仪系统3918的声学成像设备3912，该投影仪系统3918将代表声音3982和3984的声学图像数据3920A和3920B朝向这样的声音的起源投射。在一些示例中，可以在声学图像数据中标识来自位置3972和3974的声学图像数据，并且将声学图像数据投射到场景中与声音3982和3984相关联的一个对应位置。在一些示例中，投影仪系统可以被配置成朝向场景中与检测到的声信号相关联的每个位置投射声学图像数据。在其他示例中，声学图像数据可以朝向具有以下声信号的位置投射，该声信号具有满足一个或多个预定条件（例如，频率、分贝水平、周期性、距离等）的一个或多个参数，和/或该声信号基于一个或多个预定条件满足一个或多个用户所选参数或声音轮廓。

在一些示例中，可以基于与这样的位置相关联的所生成的声学图像数据来识别来自位置3972和3974的声学图像数据，并且投影仪系统3918将声学图像数据3920A和3920B投射到实际场景中与声音3982和3984相关联的对应位置上。附加地或替换地，用户可以选择多个声音（例如，经由触摸界面和/或一个或多个控件来选择），以向其投射声学图像数据。用户对多个声音的选择可以提示投影仪系统将声学图像数据指向场景中的对应位置，诸如朝向声音3982和3984投射的声学图像数据3920A和3920B。在附加的实施例中，用户可以选择不同的声音或声音的不同子集，以提示投影仪系统朝向实际场景中的不同声音投射声学图像数据。

如本文中其他地方所述，在各种示例中，声学成像系统（例如，手持式声学成像工具）可以被配置成识别声学场景中的一个或多个声信号的位置。在一些示例中，这样的系统可以包括一个或多个激光指示器，并且可以被配置成使（一个或多个）激光指示器朝向场景中与一个或多个识别出的声信号相对应的位置投射。附加地或替换地，在一些实施例中，声学成像系统可以被配置成确定场景中一个或多个位置的到目标的距离，诸如通过激光测距仪、无源声信号三角测量、有源声信号三角测量，或者通过这些中的任何一项的某种组合来确定。

例如，关于图36、图37，并且如本文中其他地方所述，声学成像系统可以被配置成检测一个或多个声信号，经由实况或静止视频图像将这样的声音可视化（例如，经由在显示图像中生成/显示声学图像数据），以及例如基于一个或多个用户所选参数，使一个或多个激光指示器指向声源。在一些示例中，这样的激光指示器可以在场景中的多个位置中的每一个位置处提供到目标的距离的信息。在一些实施例中，声学成像系统可以被配置成使用激光距离测量信息、声学波束形成三角测量等等中的一个或多个来计算这样的位置在体积（例如，XYZ）空间中的方位。

系统可以被配置成基于一个或多个声源的所确定的位置来确定声信号的代表性面积图或代表性体积图，或者基于声源的所确定的位置和距离来确定反射。

在一些实施例中，这样的位置（包括到目标的距离的信息）可以被布局在代表性图上，该代表性图诸如是面积图（例如，XY平面投影视图）和/或体积图（例如，XYZ三维表示）。在一些示例中，用户可以从多个视图中进行选择，这些视图示出了一个或多个声信号源的位置。

在一些示例中，代表性面积图或代表性体积图可以被存储以供稍后使用和/或呈现在声学成像设备的显示器上。在一些实施例中，各种显示模式能够可用于对代表性面积图或代表性体积图的可视化。在一些示例中，用户可以基于所选择的代表性面积图或代表性体积图来手动选择或取消选择可视化。例如，在一些实施例中，用户可以手动定义从中将声信号可视化、同时排除其他声信号的区域或体积。附加地或替换地，用户可以选择一个或多个声信号（例如，如本文中其他地方所描述的那样生成的声学图像数据），以包括在面积或体积表示中或从面积或体积表示中排除。在一些示例中，用户可以选择一个或多个声信号，以至少定义最小面积或体积边界，使得面积或体积图至少包括所选声信号的位置。在一些示例中，声学成像设备可以被配置成基于具有满足一个或多个条件（诸如与频率、分贝水平、周期性、距离等等有关的条件）的一个或多个参数的此类声音来将面积或体积内的声音可视化。

在一些实施例中，例如，声学成像系统可以被配置成确定整个场景的三维轮廓，但是会利用使用近红外、可见光等等的“点投影系统”。示例性的点投影系统在2014年7月28日提交的且题为“OVERLAPPING PATTERN PROJECTOR”的美国专利公开号20160025993中有所描述。

附加地或替换地，系统可以使用各种各样的方法中的任何方法来确定场景的三维轮廓，诸如在2014年3月13日提交的题为“APPARATUS AND METHOD FOR MULTISPECTRALIMAGING WITH PARALLAX CORRECTION”的美国专利号9,729,803中所述，并且其被转让给红外集成系统有限公司，其相关部分通过引用并入本文中。在一些实施例中，可以将在场景中找到的场景结构的三维表示与声学图像数据和/或电磁图像数据同步，并且在显示器上显示或被存储以供稍后观察。

在一些示例中，用户可以选择查看声学图像数据的方式，诸如在具有或不具有相关联的体积图像数据（例如，所确定的场景的三维轮廓）的体积表示中、或在来自多个不同平面视角（例如，来自声学传感器阵列的视角或来自XY“平面图”视图）的二维视图中查看。

如本文中所述，在一些实施例中，示例性声学成像工具可以包括传感器阵列、激光指示器/激光测距仪、点投影仪（例如，用于发射可见光或红外点图案）以及由壳体支撑的闪光灯/手电筒。声学成像工具可以包括显示器和多个界面控件（例如，用于从用户接收输入）。在一些实施例中，声学成像系统包括投影系统，该投影系统被配置成将图像数据（例如，声学图像数据）重新投射到场景上，诸如图38和39所示，并且将点图案发射到场景上，例如，以确定场景的深度轮廓。

图40示出了示例性实施例，其中，声学图像数据例如在XY平面中被映射到代表性面积图。在图示的示例中，声学成像系统4012可以（例如，经由处理器）将声音4082、4084和4086从声学场景映射到XY平面上，以基于所确定的位置来生成二维方位图，例如，如本文中其他地方所述。如所示的，在声学成像设备4012的显示器4016上分别经由指示符4072、4074、4078在声学图像数据中示出了声音4082、4084和4086。这样的数据分别被映射到二维位置4092、4094、4098。被映射到二维面积的数据可以包括声学图像数据，例如，如本文中其他地方所述，被调色以示出一个或多个声学参数。将领会的是，除了XY平面之外或作为其替代，可以使用各种其他坐标系，诸如极坐标等等。

领会的是，二维方位图可以覆盖在对应的二维表示或场景的三维图示和表示上，诸如平面布局图、建筑图、CAD图示等等。在一些实施例中，用户可以旋转和/或放大/缩小声学图像数据的二维图，可以旋转声学图像数据的二维图以提供不同的视点。

图41示出了声音4172、4174和4076，它们被映射到XY区域上，并且然后将所映射的声音覆盖到平面布局图上。这样的平面布局图可以示出区域中其他组件的俯视图或位置。

图41示出了声学系统4116的显示器4112，其将声音4172、4174和4176映射到XY区域上，并且然后将所映射的声音覆盖到平面布局图4124上。这样的平面布局图可以示出区域中其他组件的俯视图或位置。

在一些实施例中，除了二维图或代替二维图，将声音映射到诸如体积图之类的3维图上可能是有利的。图42示出了示例性实施例，其中，声学图像数据被映射到体积空间。在图示的示例中，声学成像系统4216将声音4282、4284和4286映射到体积XYZ空间。在一些示例中，可以在分别由指示符4272、4274和4276示出的声学图像数据中查看这样的声音，如在声学成像设备4212的显示器4216上所示的。尽管图示的体积映射以笛卡尔坐标示出，但是将领会的是，可以使用各种其他坐标系，诸如圆柱坐标、球坐标等等。

在一些实施例中，可以将声学图像数据的体积坐标保存在例如与声学图像数据和/或显示图像相关联的存储器中。在一些实施例中，可以以体积表示来查看声学数据的表示，诸如图43中所示的体积表示。图43示出了包括显示器4316的声学成像设备4312，该显示器4316示出了包括经由指示符4372、4374和4376示出的、包括检测到的声音的三维方位的声学图像数据的体积表示。在一些示例中，这样的声学数据被调色，诸如关于本文中其他地方的声学图像数据所描述的。在一些实施例中，用户可以在体积表示上旋转或放大/缩小以检查声信号的位置关系。即使未在图42中示出，也可以在XYZ视图的XY平面中包括场景的二维表示，诸如平面布局图（例如，在图41中），以向体积显示提供所添加的情景。

在一些实施例中，可能期望或有必要生成场景的二维或三维模型而不是使用预定模型。图44描绘了声学成像系统4412，其可以使用点投影系统4418来将点图案4428投射到场景上，例如，使用近红外光谱、可见光谱等等中的波长。声学成像设备可以被配置成分析点图案4428以创建场景的三维模型。

此外，该声学成像系统可以被配置成使用本文中其他地方所描述的方法来计算所识别的声音4482、4484和4486在XYZ空间中的方位。该声学成像系统可以将识别出的声音的体积位置与场景的三维模型进行组合，以在场景内定位声音。在一些示例中，系统可以被配置成显示位于场景的三维表示内的声学图像数据。

图45示出了示例性显示图像，其包括被映射到场景的三维表示上的声学图像数据的可视化。在一些示例中，如参照图44和本文中其他地方或经由其他技术所描述的，可以使用点投影来生成场景的三维模型可视化。如所示的，声学成像设备4512包括显示器4516，该显示器4516示出了包括声学图像数据的体积表示的显示图像。该体积图像数据包括三维表示4550，该三维表示4550包括电磁图像数据的三维视图，例如，基于点投影分析映射到三维中的可见光图像数据。指示符4582、4584和4586被包括在显示图像中与检测到的声信号相对应的位置处。如本文中其他地方所述，可以例如经由反向传播技术等等来确定这样的位置，并且声学图像数据可以包括一个或多个声学参数的经调色的表示。

这样的显示图像可以帮助用户可视化由场景内的指示符表示的声信号的（一个或多个）位置，包括（一个或多个）深度。在一些示例中，可以例如经由旋转和/或缩放来修改三维表示的视图，以允许用户检查场景的不同部分。

在各种实施例中，可以经由诸如手持式声学成像工具之类的声学成像系统实时生成如本文中所述的三维表示。附加地或替换地，从声学成像系统收集的数据（诸如声学数据、到目标的距离的数据、代表场景的体积轮廓的体积数据等等）可以被保存到存储器中，并且在稍后进行分析/可视化。在一些实施例中，可以将这样的数据传送到用于处理和/或显示的外部设备，诸如智能电话、平板设备、计算机或其他处理/显示设备。

本文中所描述的各种过程可以被体现为包括用于使一个或多个处理器执行这样的过程的可执行指令的非暂时性计算机可读介质。系统可以包括一个或多个处理器，该处理器被配置成例如基于存储在与处理器构成整体或在处理器外部的存储器中的指令来实行这样的过程。在某些情况下，各种组件可以分布在整个系统中。例如，系统可以包括多个分布式处理器，每个被配置成执行由系统执行的整个过程的至少一部分。附加地，将领会到，本文中所述的各种特征和功能可以被组合成单个声学成像系统，例如，被体现为手持式声学成像工具或具有各种单独的和/或可分离的组件的分布式系统。

本文中所述的组件的各种功能可以进行组合。在一些实施例中，可以将本申请中描述的特征与PCT申请中描述的特征进行组合，该PCT申请题为“SYSTEMS AND METHODS FORTAGGING AND LINKING ACOUSTIC IMAGES”，其代理人案卷号为56581.179.2，并于2019年7月24日提交，其被转让给本申请的受让人并且通过引用并入本文中。在一些实施例中，可以将本申请中描述的特征与PCT申请中描述的特征进行组合，该PCT申请题为“SYSTEMS ANDMETHODS FOR DETACHABLE AND ATTACHABLE ACOUSTIC IMAGING SENSORS”，其代理人案卷号为56581.180.2并于2019年7月24日提交，其被转让给本申请的受让人，并通过引用并入本文中。在一些实施例中，可以将本申请中描述的特征与PCT申请中描述的特征进行组合，该PCT申请题为“SYSTEMS AND METHODS FOR ANALYZING AND DISPLAYING ACOUSTICDATA”，其代理人案卷号为56581.181.2并于2019年7月24日提交，其被转让给本申请的受让人，并通过引用并入本文中。在一些实施例中，可以将本申请中描述的特征与PCT申请中描述的特征进行组合，该PCT申请题为“SYSTEMS AND METHODS FOR REPRESENTING ACOUSTICSIGNATURES FROM A TARGET SCENE”，其代理人案卷号为56581.182.2并于2019年7月24日提交，其被转让给本申请的受让人，并通过引用并入本文中。

已经描述了各种实施例。这样的示例是非限制性的，并且不以任何方式限定或限制本发明的范围。

Claims (45)

1.一种声学分析系统，其包括：

声学传感器阵列，其包括多个声学传感器元件，所述多个声学传感器元件中的每一个被配置成从声学场景接收声信号并且基于所接收的声信号输出声学数据；

照明器，其被配置成发射包括第一波长范围的电磁辐射；

电磁成像工具，其被配置成接收来自目标场景的电磁辐射，并且输出代表所接收的电磁辐射的电磁图像数据，所述电磁成像工具被配置成检测包括第一波长范围的电磁辐射；

距离测量工具，其被配置成提供代表到目标的距离的距离信息；以及

与声学传感器阵列、照明器、电磁成像工具和距离测量工具通信的处理器，所述处理器被配置成：

经由照明器照亮目标场景；

从电磁成像工具接收代表被照亮场景的电磁图像数据；

从声学传感器阵列接收声学数据；

从距离测量工具接收代表到目标的距离的距离信息；

基于所接收的声学数据和所接收的距离信息，生成场景的声学图像数据；以及

生成包括所组合的声学图像数据和电磁图像数据的显示图像。

2.根据权利要求1所述的系统，其中，第一波长范围包括近红外光。

3.根据权利要求1或2中任一项所述的系统，其中，第一波长范围包括可见光。

4.根据权利要求1-3中任一项所述的系统，其中，照明器被配置成发射在第二波长范围内的电磁辐射。

5.根据权利要求4所述的系统，其中，照明器包括：被配置成发射在第一波长范围内的电磁辐射的第一照明器和被配置成发射在第二波长范围内的电磁辐射的第二照明器。

6.根据权利要求5所述的系统，其中，照明器被配置成发射电磁辐射，所述电磁辐射包括第一波长范围、第二波长范围或第一波长范围和第二波长范围两者。

7.根据权利要求4-6中任一项所述的系统，其中，电磁成像工具被进一步配置成检测包括第二波长范围的电磁辐射。

8.根据权利要求7所述的系统，其中，电磁成像工具包括可见光相机模块和红外相机模块。

9.根据权利要求1-8中任一项所述的系统，进一步包括：与处理器通信的环境光传感器，并且其中，处理器被配置成从环境光传感器接收代表环境光的量的数据。

10.根据权利要求9所述的系统，其中，处理器被配置成响应于环境光的量低于预定阈值而使照明器照亮目标场景。

11.根据权利要求9或10中任一项所述的系统，其中，处理器被配置成响应于环境光的量低于预定阈值而建议用户照亮目标场景。

12.根据权利要求1-11中任一项所述的系统，进一步包括：与处理器通信的激光指示器，其中，处理器被配置成使激光指示器朝向目标场景发射激光。

13.根据权利要求12所述的系统，其中，距离测量工具包括激光指示器。

14.根据权利要求12或13中任一项所述的系统，其中，处理器被配置成确定激光在目标场景中的位置，并且在显示图像中提供代表激光在目标场景中的位置的图形指示符。

15.根据权利要求1-14中任一项所述的系统，进一步包括：与处理器通信的显示器，并且其中，处理器被配置成将显示图像传送给显示器。

16.根据权利要求15所述的系统，进一步包括：壳体，其支撑声学传感器阵列、照明器、电磁成像工具、距离测量工具显示器和处理器。

17.一种声学检查系统，其包括：

声学传感器阵列，其包括多个声学传感器元件，所述多个声学传感器元件中的每一个被配置成从声学场景接收声信号并且基于所接收的声信号输出声学数据；

距离测量工具，其被配置成提供代表到目标的距离的距离信息；

发光设备，其被配置成在可调整方向上发射电磁辐射；以及

与声学传感器阵列、距离测量工具和发光设备通信的处理器，所述处理器被配置成：

从声学传感器阵列接收声学数据；

从距离测量工具接收代表到目标的距离的距离信息；

确定声信号在声学场景中的位置；以及

从发光设备朝向所确定的声信号的位置发射电磁辐射。

18.根据权利要求17所述的系统，其中，发光设备包括：激光指示器，其具有可由处理器控制的可调整方向，并且其中，朝向所确定的位置发射电磁辐射包括朝向所确定的位置发射激光。

19.根据权利要求18所述的系统，其中，发光设备被配置成朝向多个识别出的位置中的每一个发射激光。

20.根据权利要求19所述的系统，其中，发光设备仅包括单个激光指示器，并且其中，朝向多个识别出的位置中的每一个发射激光包括：在多个方位之间移动单个激光指示器，使得朝向多个识别出的位置连续地发射激光。

21.根据权利要求19或20中任一项所述的系统，其包括多个激光指示器，并且其中，朝向多个识别出的位置中的每一个发射激光包括朝向多个识别出的位置中的每一个同时发射激光。

22.根据权利要求19-21中任一项所述的系统，其中，处理器被配置成确定与每个识别出的声信号相关联的一个或多个声学参数，并且仅朝向具有满足一个或多个预定条件的一个或多个声学参数的那些声信号发射激光。

23.根据权利要求17-22中任一项所述的系统，其中，发光设备包括投影系统，所述投影系统具有与处理器通信并且具有可调整方向的投影仪，所述可调整方向可由处理器控制，并且其中，朝向所确定的位置发射电磁辐射包括从投影仪朝向所确定的位置发射光。

24.根据权利要求23所述的系统，其中，朝向声信号的所确定的位置投射的光表示声信号的一个或多个声学参数。

25.根据权利要求24所述的系统，其中，朝向声信号的所确定的位置投射的光包括：表示与所述声信号相关联的声学参数的彩色调色。

26.根据权利要求24或25中任一项所述的系统，其中，一个或多个声学参数包括强度、频率或周期性。

27.根据权利要求23-26中任一项所述的系统，其中，处理器被配置成使投影仪系统朝向多个识别出的位置发射光。

28.根据权利要求27所述的系统，其中，投影系统仅包括单个投影仪，并且其中，单个投影仪被配置成在多个取向之间移动，并且其中，朝向多个位置发射光包括：从投影仪向多个位置中的每一个顺序地发射光。

29.根据权利要求27或28中任一项所述的系统，其中，投影系统仅包括被配置成在多个方向上发射光的单个投影仪，并且其中，朝向多个位置发射光包括：从单个投影仪向多个位置中的每一个同时地发射光。

30.根据权利要求27-29中任一项所述的系统，其中，投影仪系统包括多个投影仪，并且其中，朝向多个识别出的位置发射光包括：与多个投影仪中的对应一个同时地朝向多个位置中的每一个发射光。

31.根据权利要求27-30中任一项所述的系统，其中，处理器被配置成确定每个识别出的声信号的一个或多个声学参数，并且仅朝向具有满足一个或多个预定条件的一个或多个声学参数的那些声信号发射光。

32.根据权利要求17-31中任一项所述的系统，进一步包括：

电磁成像工具，其与处理器通信并且被配置成从目标场景接收电磁辐射，并且输出代表所接收的电磁辐射的电磁图像数据；以及

与处理器通信的显示器；以及其中

处理器被进一步配置成：

从电磁成像工具接收代表场景的电磁图像数据；

基于所接收的声学数据和所接收的距离信息，生成场景的声学图像数据；

将所生成的声学图像数据与所接收的电磁图像数据进行组合，以生成包括声学图像数据和电磁图像数据的显示图像；以及

将显示图像传送给显示器。

33.根据权利要求32所述的系统，进一步包括用户界面，并且其中，处理器被配置成：

经由用户界面从声学场景接收对声信号的选择；以及

使发光设备朝向所选声信号的位置发射光。

34.根据权利要求33所述的系统，进一步包括：壳体，其支撑声学传感器阵列、距离测量工具、发光设备显示器、电磁成像工具、显示器和处理器。

35.一种声学分析系统，其包括：

声学传感器阵列，其包括多个声学传感器元件，所述多个声学传感器元件中的每一个被配置成从声学场景接收声信号并且基于所接收的声信号输出声学数据；

距离测量工具，其被配置成提供代表到目标的距离的距离信息；

显示器；以及

与声学传感器阵列、距离测量工具和显示器通信的处理器，所述处理器被配置成：

从声学传感器阵列接收代表声学场景的声学数据；

从距离测量工具接收代表到目标的距离的距离信息；

确定检测到的声信号在声学场景中的位置，所述位置包括深度信息；

生成包括检测到的声信号的表示的显示图像，所述表示指示检测到的声信号的至少一个声学参数和声信号在声学场景中的深度；以及

将显示图像传送给显示器。

36.根据权利要求35所述的系统，其中，显示图像包括：示出了检测到的声信号的深度方位和横向方位的平面视图。

37.根据权利要求36所述的系统，进一步包括存储器，所述存储器包括环境的预定义平面图，并且其中，显示图像包括标识了在预定义平面图上的位置处的至少一个声学参数的标记。

38.根据权利要求35-37中任一项所述的系统，其中，显示图像包括声学场景的体积视图，并且其中，声学场景中的声信号的深度的表示包括定位在体积表示内的标记。

39.根据权利要求35-38中任一项所述的系统，进一步包括：电磁成像工具，其被配置成检测第一波长范围内的电磁辐射；以及

其中，距离测量工具包括：点投影仪，其被配置成将电磁辐射的点图案投射到场景上，所述点图案包括第一波长范围内的电磁辐射；

点投影仪将点图案投射到场景上；

处理器被配置成基于从电磁成像工具接收的数据来分析场景中的点图案，并且生成场景的体积模型。

40.根据权利要求39所述的系统，其中，处理器被配置成将检测到的声信号映射成在场景的体积模型上的点。

41.根据权利要求40所述的系统，其中，显示图像包括：体积模型以及代表在体积模型上的对应位置处所显示的检测到的声信号的标记。

42.根据权利要求35-41中任一项所述的系统，其中，处理器被配置成检测声学场景中的多个声信号；以及

显示图像包括检测到的声信号的子集的表示。

43.根据权利要求42所述的系统，其中，显示图像仅包括具有满足预定条件的声学参数的声信号。

44.根据权利要求42或43中任一项所述的系统，进一步包括用户界面，并且其中，处理器被配置成经由用户界面接收对来自声学场景的一个或多个声信号的选择，并且其中，显示图像包括仅所选声信号的表示。

45.根据权利要求35-44中任一项所述的系统，进一步包括：壳体，其支撑声学传感器阵列、距离测量工具、显示器和处理器。

Images