CN108476295B - 从多个图像生成图像的方法、热成像相机以及介质 - Google Patents

Abstract

本公开内容的各方面针对用于组合在不同聚焦距离处获得的多个带索引的图像的各方面以便生成使对象在各种各样的深度都保持焦点对准的最终图像的系统和方法。可以生成与多个图像中的每一个都相关联的高频帧，每个高频帧都表示相关联的图像的高频含量。可以分析多个高频帧中的每一个中的多个区中的高频含量以确定哪些区包括有效高频含量。可以生成最终图像，对于多个区中的每一个该最终图像都包括来自具有与在该区中具有最大有效高频含量的高频帧相似的索引的图像的图像数据。

Description

从多个图像生成图像的方法、热成像相机以及介质

相关事宜

本申请要求保护2016年1月15日提交的题为“THROUGH-FOCUS IMAGECOMBINATION”的美国临时申请号62/279,415的优先权，通过引用将其内容合并于此。

背景技术

在各种各样的情况中都使用热成像相机。例如，在维护检查期间常常使用热成像相机来对设备进行热检查。示例设备可能包括旋转电机、配电板或成排的断路器，以及其他类型的设备。热检查可以检测设备热点，诸如过热机械或电气部件，从而帮助确保在出现更重大问题之前及时修理或更换过热设备。

使用单聚焦距离来捕获传统图像。如果相机和场景中的对象之间存在大范围的距离，则这可能会导致某些对象在目标场景中的聚焦错误。在红外成像的情况下，焦点未对准的目标可能导致不太准确的温度测量。此外，当将你的目标部件的温度或热量特征与视场中的其他相同部件进行比较时，重要的是确保所有的部件都是完全焦点对准的以便准确比较。

为了解决这个问题，用户必须获得场景的多个图像，其中每个图像都具有不同的焦点对准的目标。然后用户必须分别查看每个图像以准确地分析可能位于各种各样的深度的图像的组成部分。这可能会使整个场景分析过于耗时且麻烦。此外，对于利用手持相机获得的影像来说，获取这样的图像以用于比较（特别地基于算法的比较）是有挑战性的，因为由于手抖等原因图像可能彼此移位。

发明内容

该公开内容的方面针对用于组合在不同聚焦距离处获得的多个图像的各方面以便生成使处于各种各样的深度的对象都保持焦点对准的最终图像的系统和方法。

在一些情况下，在各种各样的不同聚焦距离处捕获的多个索引图像可以彼此配准，可以生成表示多个图像中的对应图像中的高频含量的高频帧，各高频帧中的每一个都被索引并且具有作为其对应图像的相似索引。在一些示例中，图像以及对应高频帧中的每一个都可以包括多个区以使得高频帧中的每个区都对应于对应图像中的一个区。在一些此类示例中，高频帧中的区表示对应图像中相似区的高频含量。

在一些示例中，方法可以包括：对于高频帧中的每一个中的多个区中的每一个，确定该区中的高频含量是否是有效的步骤。在一些此类示例中，方法可以进一步包括：对于多个区中的每一个，确定在多个高频帧之中具有最大有效高频含量的高频帧的索引。方法可以进一步包括生成最终图像，对于多个区中的每一个，该最终图像都包括来自多个图像中的具有对应于具有最大有效高频含量的高频帧的索引的索引的一个图像的图像数据。

在各个示例中，多个图像中的各图像可以包括红外图像、可见光图像或组合的红外和可见光图像。类似地，最终图像可以包括来自红外、可见光或组合的红外和可见光图像的图像数据。

在一些示例中，确定高频帧的区中的高频含量是否有效包括将该区的高频含量与附近区的高频含量进行比较。附近的区可以包括高频帧内的和/或在该区的阈值距离内具有索引的帧内的区，使得具有此类索引的帧对应于具有与包含该区的高频帧相对应的图像的聚焦距离附近的聚焦距离的图像。将高频含量与附近的高频含量进行比较可以包括确定高频含量是否在最大高频含量的某一阈值内。另外或备选地，确定高频含量是否有效包括将高频含量与预定有效性阈值进行比较。

在一些示例中，方法可以包括生成最佳聚焦帧，其中对于每个区，该最佳聚焦帧包括在该区内具有最大有效高频含量的高频帧的索引。该最佳聚焦帧可以被用作使最终图像中的每个区都填充有来自具有最佳聚焦帧的该区中指定的索引的图像的图像数据的指导。

在各个实施例中，方法可以包括使用成像设备捕获多个图像和/或从存储器回调（recall）图像。捕获多个图像可以包括在定期捕获图像的同时调整成像设备的聚焦距离以使得所捕获的图像中的每一个都具有不同的聚焦距离。

该公开内容的实施例针对能够执行此类方法的相机或其他成像系统。

附图说明

图1是示例热成像相机的透视前视图。

图2是图1的示例热成像相机的透视后视图。

图3是图示图1和图2的热成像相机的示例部件的功能框图。

图4图示用于获取具有不同聚焦距离的多个图像的示例性程序。

图5是图示图像组合过程中的步骤的示例性图。

图6是多个高频帧的示意性图示。

图7是图示使用具有不同聚焦距离的多个捕获图像来生成最终图像的示例性过程的示例性过程流程图。

图8A-8C图示诸如图7中描述的示例性过程。

图9是图示用于确定区是否有效的示例性方法的过程流程图。

图10是图示用于在排除无效区的同时生成最终图像的示例性方法的过程流程图。

图11示出使用最佳聚焦帧来生成最终图像的简化过程。

具体实施方式

下面的详细描述本质上是示例性的并且不打算以任何方式来限制本发明的范围、适用性或配置。相反，下面的描述提供用于实施本发明的各个实施例的一些实用说明。为所选的元件提供构造、材料、尺寸和制造工艺的示例，并且所有其他元件都采用本发明领域中普通技术人员所已知的。本领域技术人员将会认识到指出的示例中的许多具有各种各样的适当替代。

可以使用热成像相机来检测跨处于观察中的场景（其包括一个或多个对象）的热量图样。该热成像相机可以检测由该场景发出的红外辐射并将该红外辐射转换成指示该热量图样的红外图像。在一些实施例中，该热成像相机还可以从场景捕获可见光并且将可见光转换成可见光图像。取决于热成相机的配置，该相机可以包括用来将红外辐射聚焦在红外传感器上的红外光学器件和将可见光聚焦在可见光传感器上的可见光光学器件。

各个实施例提供用于使用求平均技术来产生具有降低的噪声的热图像的方法和系统。为了进一步提高图像质量并且消除可能由求平均引起的问题（例如模糊、重影等等），在求平均之前对热图像执行图像对准过程。

图1和图2分别示出示例热成像相机100的前和后透视视图，该示例热成像相机100包括外壳102、红外透镜组件104、可见光透镜组件106、显示器108、激光器110和触发控件112。外壳102安置热成像相机100的各个部件。热成像相机100的底部部分包括用于经由一只手来握住并操作相机的承载把手118。红外透镜组件104从场景接收红外辐射并且将该辐射聚焦在用于生成场景的红外图像的红外传感器上。可见光透镜组件106从场景接收可见光并且将可见光聚焦在用于生成相同场景的可见光图像的可见光传感器上。热成像相机100响应于按压触发控件112来捕获可见光图像和/或红外图像。此外，热成像相机100控制显示器108来显示由相机生成的红外图像和可见光图像，例如以帮助操作员用热学方法来检查场景。热成像相机100还可以包括耦合至红外透镜组件104的聚焦机构，其被配置成移动红外透镜组件的至少一个透镜以便调整由热成像相机生成的红外图像的焦点。另外或备选地，该聚焦机构可以相对于红外透镜组件的一个或多个透镜来移动FPA。

在操作中，热成像相机100通过从场景接收在红外波长光谱中发射的能量并且处理红外能量以生成热图像来检测场景中的热量图样。热成像相机100还可以通过接收在可见光波长光谱中的能量并且处理可见光能量以生成可见光图像来生成相同场景的可见光图像。如在下面更详细描述的，热成像相机100可以包括：红外相机模块，其被配置成捕获场景的红外图像，以及可见光相机模块，其被配置成捕获相同场景的可见光图像。该红外相机模块可以接收投射通过红外透镜组件104的红外辐射并且从其生成红外图像数据。该可见光相机模块可以接收投射通过可见光透镜组件106的光并且从其生成可见光数据。

在一些示例中，热成像相机100基本上同时（例如在相同的时间）收集或捕获红外能量和可见光能量，以使得由相机生成的可见光图像和红外图像是在基本上相同的时间的相同场景的。在这些示例中，由热成像相机100生成的红外图像指示在特定时间段的场景内的局部化温度，而由相机生成的可见光图像指示在相同时间段的相同场景。在其他示例中，热成像相机可以在不同的时间段从场景捕获红外能量和可见光能量。

可见光透镜组件106包括至少一个透镜，其将可见光能量聚焦在用于生成可见光图像的可见光传感器上。可见光透镜组件106限定穿过该组件的至少一个透镜的曲率中心的可见光光轴。可见光能量投射通过透镜的前面并且聚焦在透镜的相对侧上。可见光透镜组件106可以包括单个透镜或串联布置的多个透镜（例如两个、三个或更多透镜）。此外，可见光透镜组件106可以具有固定的焦点或者可以包括用于改变可见光光学器件的焦点的焦点调整机构。在可见光透镜组件106包括焦点调整机构的示例中，该焦点调整机构可以是手动调整机构或自动调整机构。

红外透镜组件104还包括将红外能量聚焦在用于生成热图像的红外传感器上的至少一个透镜。红外透镜组件104限定穿过该组件的透镜的曲率中心的红外光轴。在操作期间，将红外能量指引通过透镜的前面并且聚焦在透镜的相对侧上。红外透镜组件104可以包括单个透镜或多个透镜（例如两个、三个或更多透镜），其可以串联布置。在一些示例中，该红外透镜组件104可以包括具有衍射或反射性质或元件的透镜。诸如反射镜（例如菲涅耳反射镜）等等的附加光学部件可以被包括在红外透镜组件104内或者否则接近红外透镜组件104。

如上面简洁描述的，热成像相机100包括用于调整由相机捕获的红外图像的焦点的聚焦机构。在图1和图2中示出的示例中，热成像相机100包括聚焦环114。聚焦环114可操作耦合（例如机械和/或电气耦合）至红外透镜组件104的至少一个透镜并且被配置成将FPA和至少一个透镜中的一个或二者移动至各个聚焦位置以便使由热成像相机100捕获的红外图像聚焦。可以使聚焦环114围绕外壳102的至少一部分手动旋转以便移动聚焦环可操作耦合至的至少一个透镜。在一些示例中，聚焦环114还可操作耦合至显示器108以使得聚焦环114的旋转促使可见光图像的至少一部分和红外图像的至少一部分同时显示在显示器108上以相对比彼此移动。在不同示例中，热成像相机100可以包括以不同于聚焦环114的配置实施的手动焦点调整机构，或在其他实施例中可以简单地保持固定焦点。

在一些示例中，除了手动调焦机构之外或代替手动调焦机构，热成像相机100可以包括自动调焦机构。自动调焦机构可能可操作耦合至红外透镜组件104的至少一个透镜并且被配置成例如响应于来自热成像相机100的指令将至少一个透镜自动移动至各个焦点位置。在此类示例的一个应用中，热成像相机100可以使用激光器110来电气测量目标场景中的对象和相机之间的距离，被称为至目标的距离。热成像相机100然后可以控制自动调焦机构来将红外透镜组件104的至少一个透镜移动至对应于由热成像相机100确定的至目标的距离数据的焦点位置。焦点位置可以对应于至目标的距离数据，因为焦点位置可以被配置成将目标场景中的对象放置在焦点对准的确定距离处。在一些示例中，可以由操作员例如通过旋转聚焦环114手动改变由自动调焦机构设置的焦点位置。

在热成像相机100的操作期间，操作员可能希望查看由相机生成的场景的热图像和/或相同场景的可见光图像。因为该原因，热成像相机100可以包括显示器。在图1和图2的示例中，热成像相机100包括显示器108，其被定位在外壳102与红外透镜组件104和可见光透镜组件106相对的背面上。显示器108可以被配置成显示可见光图像、红外图像和/或包括可见光图像和红外图像的同时显示的组合图像。在不同的示例中，显示器108可以远离热成像相机100的红外透镜组件104和可见光透镜组件106（例如与热成像相机100的红外透镜组件104和可见光透镜组件106分离），或者显示器108可以处于相对于红外透镜组件104和/或可见光透镜组件106的不同空间布置中。因此，尽管在图2中显示器108被示出为在红外透镜组件104和可见光透镜组件106的后面，但是对于显示器108的其他位置也是可能的。

热成像相机100可以包括用于控制相机的操作并且调整相机的不同设置的各种各样的用户输入介质。示例控制功能可以包括调整红外和/或可见光光学器件的焦点、打开/关闭快门、捕获红外和/或可见光图像等等。在图1和图2的示例中，热成像相机100包括用于捕获红外和可见光图像的可按压触发控件112和用于控制相机的操作的其他方面的按钮116（其形成用户接口的一部分）。不同数目或布置的用户输入介质是可能的，并且应该认识到该公开内容不限于这方面。例如，热成像相机100可以包括触摸屏显示器108，其通过按压屏幕的不同部分来接收用户输入。

图3是图示热成像相机100的一个示例的部件的功能框图。热成像相机100包括IR相机模块200、前端电路系统202。IR相机模块200和前端电路系统202有时被组合称为红外相机100的前端级或前端部件204。热成像相机100还可以包括可见光相机模块206、显示器108、用户接口208和输出/控制设备210。

红外相机模块200可以被配置成接收由目标场景发出的红外能量并且将红外能量聚焦在用于生成红外能量数据的红外传感器上，例如该红外能量数据可以以红外图像的形式显示在显示器108上和/或存储在存储器中。红外相机模块200可以包括用于执行归因于本文中的模块的功能的任何适当部件。在图3的示例中，红外相机模块200被图示为包括红外透镜组件104和红外传感器220。如上面关于图1和图2描述的，红外透镜组件104包括获取由目标场景发出的红外能量且将红外能量聚焦在红外传感器220上的至少一个透镜。红外传感器220通过生成可以被转换且显示为显示器108上的红外图像的电气信号来响应聚焦红外能量。

红外传感器220可以包括一个或多个焦平面阵列（FPA），其响应于通过红外透镜组件104接收的红外能量而生成电气信号。每个FPA都可以包括多个红外传感器元件，其包括例如测辐射热仪、质子检测器、或其他适当的红外传感器元件。在操作中，每个传感器元件（它们每一个都可以被称为传感器像素）都可以响应于吸收从目标场景接收的红外能量而改变电气特性（例如电压或电阻）。进而，电气特性中的变化可以提供电气信号，它可以被处理器222接收到并且处理成显示在显示器108上的红外图像。

举例来说，在红外传感器220包括多个测辐射热仪的示例中，每个测辐射热仪都可以吸收通过红外透镜组件104聚焦的红外能量并且响应于所吸收的能量而增加温度。每个测辐射热仪的电阻都可以随着测辐射热仪的温度的改变而改变。在每个检测器元件都充当传感器像素的情况下，可以通过将每个检测器元件的电阻中的变化转换成时间多路复用电气信号（其可以被处理以用于显示器上的可视化或（例如计算机的）存储器中的存储）来进一步生成红外辐射的二维图像或图片表示。处理器222可以通过向每个测辐射热仪施加电流（或电压）来测量每个测辐射热仪的电阻中的变化并且测量跨测辐射热仪的结果产生的电压（或电流）。基于这些数据，处理器222可以确定由目标场景的不同部分发出的红外能量的量并且控制显示器108来显示目标场景的热图像。

与包括在红外传感器220的FPA中的红外传感器元件的具体类型无关地，FPA阵列可以限定任何合适的大小和形状。在一些示例中，红外传感器220包括以网格图样布置的多个红外传感器元件，诸如例如在垂直列和水平行中布置的传感器元件的阵列。在各个示例中，红外传感器220可以包括例如16 x 16、50 x 50、160 x 120、120 x 160、或650 x 480的垂直列乘以水平行的阵列。在其他示例中，红外传感器220可以包括更小数目的垂直列和水平行（例如1 x 1）、更大数目的垂直列和水平行（例如1000 x 1000）或者列与行的不同比例。

在某些实施例中，将读出集成电路（ROIC）合并在IR传感器220上。该ROIC被用来输出对应于传感器像素中的每一个的信号。此类ROIC通常被制造为硅衬底上的集成电路。可以将多个检测器元件制造在ROIC的顶部上，其中它们的组合提供IR传感器220。在一些实施例中，该ROIC可以包括直接合并在FPA电路系统上的在本公开内容的别的地方讨论的部件（例如模数转换器（ADC））。ROIC的此类集成或者没有明确讨论的其他进一步集成水平应该被认为在本公开内容的范围内。

如上面描述的，该IR传感器220生成对应于由每个红外检测器元件接收的红外辐射的一系列电气信号以表示热图像。当通过扫描构成IR传感器220的所有行来获得来自每个红外检测器元件的电压信号时生成热图像数据的“帧”。再次，在将测辐射热仪包括为红外检测器元件的某些实施例中，通过将对应检测器元件切换到系统电路中并且跨此类接通元件施加偏置电压来完成此类扫描。通过反复扫描IR传感器220的行来生成热图像数据的连续帧，其中以足以生成热图像数据的视频表示的速率（例如30Hz或60Hz）来产生此类帧。

该前端电路系统202包括用于与IR相机模块200接合并控制IR相机模块200的电路系统。此外，该前端电路系统202最初处理所收集的红外图像数据并将其传送至处理器222（经由它们之间的连接）。更具体地，最初由热成像相机100的前端电路系统202来调节由IR传感器220生成的信号。在某些实施例中，如所示的，该前端电路系统202包括偏置生成器224和前置放大器/积分器226。除了提供检测器偏置之外，偏置生成器224可以可选地从为每个接通检测器元件生成的总电流添加或减去平均偏置电流。可以改变该平均偏置电流以便（i）补偿由热成像相机100内部的环境温度的变化引起的对检测器元件的电阻的整个阵列的偏差以及（ii）补偿IR传感器220的平均检测器元件中的阵列至阵列变化。此类偏置补偿可以由热成像相机100或软件来自动控制，或者可以是经由至输出/控制设备210或处理器222的输入而用户控制的。在提供检测器偏置以及和平均偏置电流的可选相减或相加之后，信号可以传递通过前置放大器/积分器226。通常，前置放大器/积分器226被用来例如在传入信号的数字化之前调节该传入信号。因此，可以将传入信号调整成实现信号的更有效解释的形式，并且进而可以导致所创建的图像的更有效分辨。随后，将组合信号向下游发送至热成像相机100的处理器222中。

在一些实施例中，该前端电路系统202可以包括一个或多个附加元件，例如附加传感器228或ADC 230。附加传感器228可以包括例如温度传感器、可见光传感器（诸如CCD）、压力传感器、磁性传感器等等。此类传感器可以提供附加校准和检测信息以增强热成像相机100的功能。例如，温度传感器可以提供IR传感器220附近的环境温度读取以帮助辐射线测定计算。可以与安装在透镜上的磁体相组合地使用磁性传感器（诸如霍尔效应传感器）以提供透镜焦点位置信息。此类信息可以有助于计算距离或确定与从视觉光传感器收集的视觉光场景数据一起使用的视差偏移。

ADC 230可以提供相同的功能并且基本上以如下面讨论的相同方式来操作，然而其在前端电路系统202中的包含物可以提供某些益处，例如在场景和其他传感器信息至处理器222的传输（经由其之间的连接）的之前对该场景和其他传感器信息的数字化。在一些实施例中，如上面讨论的，ADC 230可以集成在ROIC中，由此消除对单独安装且安置的ADC230的需要。

在一些实施例中，前端部件可以进一步包括快门240。快门240可以相对于透镜外部或内部地定位并且操作用来打开或关闭由IR透镜组件104提供的视图。如在本领域中已知的，快门240可以是机械可定位的，或者可以通过机电设备（诸如DC电机或螺线管）来致动。本发明的实施例可以包括校准或设定软件实施的方法或设置，其利用快门240来为每个检测器元件建立适当的偏置水平。

可以将被描述为热成像相机100内的处理器（包括处理器222）的部件实施为一个或多个处理器，诸如单独地或处于任何适当组合的一个或多个微处理器、数字信号处理器（DSP）、专用集成电路（ASIC）、现场可编程门阵列（FPGA）、可编程逻辑电路系统等等。处理器222还可以包括存储程序指令和相关数据的存储器，当被处理器222执行时该程序指令和相关数据促使热成像相机100和处理器222执行在本公开内容中归因于它们的功能。存储器可以包括任何固定或可移动磁性、光学或电气介质，诸如RAM、ROM、CD-ROM、硬磁盘或软磁盘、EEPROM等等。存储器还可以包括可以被用来提供存储器更新或存储器容量中的增加的可移动存储器部分。可移动存储器还可能允许图像数据容易地传递至另一计算设备，或者在将热成像照相机100用在另一应用中之前移除该图像数据。处理器222还可以被实施为片上系统，其将计算机或其他电子系统的一些或所有部件集成在单个芯片中。这些元件操控从前端阶段204递送的已调节场景图像数据以便提供可以用于由用户显示或存储的输出场景数据。随后，处理器222（处理电路系统）将已处理的数据发送至显示器108或其他输出/控制设备210。

在热成像相机100的操作期间，处理器222可以控制红外相机模块200来生成用于创建红外图像的红外图像数据。处理器222可以生成红外图像数据的数字“帧”。通过生成红外图像数据的帧，处理器222在基本上给定的时间点捕获目标场景的红外图像。也就是说，在一些示例中，可以同时捕获构成红外图像的多个像素。在其他实施例中，可以连续捕获一个或多个像素的集合直到已经捕获每个像素为止。

处理器222可以通过一次测量包括在红外传感器220的FPA中的每个红外传感器元件的电气信号来捕获目标场景的单个红外图像或“快照”。备选地，处理器222可以通过反复测量包括在红外传感器220的FPA中的每个红外传感器元件的电气信号来捕获目标场景的多个红外图像。在处理器222反复测量包括在红外传感器220的FPA中的每个红外传感器元件的电气信号的示例中，处理器222可以生成目标场景的动态热图像（例如视频表示）。例如，处理器222可以以足以生成热图像数据的视频表示的速率（诸如例如30Hz或60Hz）来测量包括在FPA中的每个红外传感器元件的电气信号。处理器222可以在捕获红外图像的过程中执行其他操作，诸如按顺序致动快门240来打开和关闭红外透镜组件104的孔径、等等。

在红外传感器220的每个传感器元件都充当传感器像素的情况下，处理器222可以通过将每个传感器元件的电气特性（例如电阻）中的变化转换成可以被处理的时间多路复用电气信号（例如用于显示器108上的可视化和/或存储器中的存储）来生成来自目标场景的红外辐射的二维图像或图片表示。当在显示器108上显示时，红外图像可以包括多个显示像素。显示像素可以与对应的传感器像素具有任何限定的关系。在一些示例中，每个传感器像素都对应于红外数据的图像表示中的显示像素。在其他示例中，多个传感器像素可以组合（例如求平均）以便为单个显示像素提供红外信息。在还有的其他示例中，单个传感器像素可能促成多个显示像素。例如，可以在附近像素处复制来自单个传感器像素的值，诸如在单个上采样程序中。在其他示例中，可以对邻近或别的附近像素求平均以创建新的像素值，诸如在内插程序中。因为显示像素和传感器像素之间的关系是关于相机操作限定的，所以通用术语“像素”可以指代传感器像素、显示像素或如从传感器像素处理成显示像素的数据，除非另外阐述。处理器222可以执行计算来将原始红外图像数据转换成场景温度（辐射线测定），在一些示例中其包括对应于场景温度的颜色。

处理器222可以控制显示器108来显示所捕获的目标场景的红外图像的至少一部分。在一些示例中，处理器222控制显示器108以使得红外传感器220的每个传感器元件的电气响应与显示器108上的单个像素相关联。在其他示例中，处理器222可以增加或减小红外图像的分辨率以使得存在比存在于红外传感器220中的传感器元件更多或更少的显示在显示器108上的像素。处理器222可以控制显示器108来显示整个红外图像（例如由红外成像相机100捕获的目标场景的所有部分）或少于整个红外图像（例如由红外成像相机100捕获的整个目标场景的更少端口）。如在下面更详细描述的，处理器222可以执行其他图像处理功能。

与具体电路系统无关地，热成像相机100可以被配置成操控表示目标场景的数据以便提供可以被显示、存储、传送或以其他方式被用户利用的输出。

热成像相机100包括可见光相机模块206。可见光相机模块通常是公知的。例如，各种可见光相机模块被包括在智能手机和许多其他设备中。在一些实施例中，可见光相机模块206可以被配置成从目标场景接收可见光能量并且将可见光能量聚焦在用于生成可见光能量数据的可见光传感器上，例如该可见光能量数据可以以可见光图像的形式显示在显示器108上和/或存储在存储器中。可见光相机模块206可以包括用于执行有助于本文中的模块的功能的任何适当部件。在图3的示例中，可见光相机模块206被图示为包括可见光透镜组件106和可见光传感器242。如上面关于图1和图2描述的，可见光透镜组件106包括获得由目标场景发出的可见光能量并且将可见光能量聚焦在可见光传感器242上的至少一个透镜。可见光传感器242通过生成可以被转换且显示为显示器108上的可见光图像的电气信号来响应聚焦能量。在一些示例中，可见光模块206可由用户来配置，并且可以例如向显示器108提供处于各种各样的格式的输出。可见光相机模块206可以包括用于改变照明或其他操作条件或用户偏好的补偿功能。可见光相机模块可以提供包括图像数据的数字输出，该图像数据可以包括处于各种各样的格式（例如RGB、CYMK、YCbCr等等）的数据。

可见光传感器242可以包括多个可见光传感器元件，诸如例如CMOS检测器、CCD检测器、PIN二极管、雪崩光电二极管等等。可见光传感器元件的数目可以与红外光传感器元件的数目相同或不同。

在操作中，从目标场景接收的光学能量可以通过可见光透镜组件106并且被聚焦在可见光传感器242上。当光学能量撞击在可见光传感器242的可见光传感器元件上时，光电检测器内的光子可以被释放并且转换成检测电流。处理器222可以处理该检测电流以形成目标场景的可见光图像。

在热成像相机100的使用期间，处理器222可以控制可见光相机模块206来根据所捕获的目标场景生成可见光数据以创建可见光图像。该可见光数据可以包括指示与所捕获的目标场景的不同部分相关联的（一种或多种）颜色和/或与所捕获的目标场景的不同部分相关联的光的量值的光度数据。处理器222可以通过一次测量热成像相机100的每个可见光传感器元件的响应来生成可见光图像数据的“帧”。通过生成可见光数据的帧，处理器222在给定时间点捕获目标场景的可见光图像。处理器222还可以反复测量热成像相机100的每个可见光传感器元件的响应以便生成目标场景的动态热图像（例如视频表示），如在上面关于红外相机模块200描述的。在一些示例中，该可见光相机模块206可以包括能够操作可见光相机模块206的其自己的专用处理器或其他电路系统（例如ASIC）。在一些此类实施例中，该专用处理器与处理器222通信以用于为处理器222提供可见光图像数据（例如RGB图像数据）。在备选实施例中，可以将用于可见光相机模块206的专用处理器集成在处理器222中。

在可见光相机模块206的每个传感器元件充当传感器像素的情况下，处理器222可以通过将每个传感器元件的电气响应转换成可以被处理的时间多路复用电气信号（例如用于显示器108上的可视化和/或存储器中的存储）来生成来自目标场景的可见光的二维图像或图片表示。

处理器222可以控制显示器108来显示所捕获的目标场景的可见光图像的至少一部分。在一些示例中，处理器222控制显示器108以使得可见光相机模块206的每个传感器元件的电气响应与显示器108上的单个像素相关联。在其他示例中，处理器222可以增加或减小可见光图像的分辨率以使得存在比存在于可见光相机模块206中的传感器元件更多或更少的显示在显示器108上的像素。处理器222可以控制显示器108来显示整个可见光图像（例如由热成像相机100捕获的目标场景的所有部分）或少于整个可见光图像（例如由热成像相机100捕获的整个目标场景的更少端口）。

在一些实施例中，用于获取IR和VL图像数据的红外200和可见光206相机模块中的一个或二者可以被包括在图像获取模块280中。该图像获取模块可以与包括处理器（诸如222）的处理模块290有线或无线通信。处理模块290可以从图像获取模块280接收图像数据并且执行如将在本文中描述的后续处理步骤。在一些示例中，处理模块290可以包括便携式处理设备（诸如智能电话、平板电脑）、独立计算机（诸如膝上型或桌上型PC）、等等。在一些此类实施例中，前端电路系统202的各个部件可以被包括在图像获取模块280、处理模块290、或二者中。

在这些和其他示例中，处理器222可以控制显示器108来同时显示由热成像相机100捕获的可见光图像的至少一部分和由热成像相机100捕获的红外图像的至少一部分。此类同时显示可能是有用的，其在于操作员可以参考显示在可见光图像中的特征以帮助理解同时显示在红外图像中的特征，因为操作员可能更容易认识并区别与红外图像相比可见光图像中的不同真实世界特征。在各个示例中，处理器222可以控制显示器108来以并排布置、画中画布置（在这种情况下图像中的一个包围图像中的另一个）、或可见光和红外图像同时显示的任何其他适当布置来显示可见光图像和红外图像。

例如，处理器222可以控制显示器108来以组合布置显示可见光图像和红外图像。在此类布置中，对于表示目标场景的一部分的可见光图像中的像素或像素集，存在基本上表示目标场景的相同部分的红外图像中的对应像素或像素集。在各个实施例中， IR和VL图像的大小和/或分辨率不需要相同。因此，在IR或VL图像的一个中可能存在对应于IR或VL图像的另一个中的单个像素或不同大小的像素集的像素集。类似地，在VL或IR图像的一个中可能存在对应于其他图像中的像素集的一像素。因此，如在本文中使用的，对应不需要一对一的像素关系，而是可以包括大小不匹配的像素或像素组。可以执行大小不匹配的图像区的各种组合技术，诸如图像的上采样或下采样图像，或者使像素与对应像素集的平均值相组合。其他示例是已知的并且在本公开内容的范围内。

因此，对应的像素不需要具有直接的一对一关系。相反，在一些实施例中，单个红外像素具有多个对应可见光像素，或者可见光像素具有多个对应的红外像素。另外或备选地，在一些实施例中，不是所有可见光像素都具有对应的红外像素，反之亦然。此类实施例可以指示例如如先前讨论的画中画类型的显示。因此，可见光像素将不一定像对应的红外像素那样在可见光图像内那样具有相同的像素坐标。因此，如在本文中那样，对应像素通常指代来自包括基本上来自目标场景的相同部分的信息的任何图像（例如可见光图像、红外图像、组合图像、显示图像等等）的像素。此类像素在个图像之间不需要具有一对一关系，并且在它们的相应图像内不需要具有类似的坐标位置。

类似地，具有对应像素（即表示目标场景的相同部分的像素）的图像可以被称为对应图像。因此，在一些此类布置中，对应的可见光图像和红外图像可以在对应像素处叠加在彼此顶部上。操作员可以与用户接口208交互以控制显示器108上显示的图像中的一个或二者的透明度或不透明度。例如，操作员可以与用户接口208交互以便在完全透明和完全不透明之间调整红外图像并且还在完全透明和完全不透明之间调整可见光图像。此类示例性组合布置（其可以被称为α-混合布置）可以允许操作员调整显示器108来显示两个图像在仅红外图像和仅可见光图像的极限之间的任何重叠组合的仅红外图像、仅可见光图像。处理器222还可以组合场景信息与其他数据（诸如放射性测定数据、警报数据等等）。一般来说，可见光和红外图像的α-混合组合可以包括从百分之100红外和百分之0可见光至百分之0红外和百分之100可见光的任何地方。在一些实施例中，可以由相机的用户来调整混合的量。因此，在一些实施例中，可以在百分之100可见光和百分之100红外之间调整混合图像。

另外，在一些实施例中，处理器222可以解释并执行来自用户接口208和/或输出/控制设备210的命令。这可以包括各个输入信号的处理以及将这些信号传递至前端电路系统202（经由它们之间的连接）。可以致动接近前端电路系统202的部件（例如电机或螺旋管）以完成期望的控制功能。示例性控制功能可以包括调焦（例如经由一个或多个透镜的机动运动）、打开/关闭快门、触发传感器读数、调整偏置值等等。此外，输入信号可以被用来改变在处理器222中出现的图像数据的处理。

处理器可以进一步包括用来协助红外成像相机100的处理和控制的其他部件。例如，如上面讨论的，在一些实施例中，可以将ADC合并在处理器222中。在这种情况下，通过前端阶段204调节的模拟信号不被数字化直到到达处理器222为止。此外，一些实施例可以包括在将处理命令信息和场景数据传输至显示器108或输出/控制设备210之前用于该处理命令信息和场景数据的存储的附加板载存储器。

操作员可以经由用户接口208与热成像相机100交互，该用户接口208可以包括按钮、按键或用于从用户接收输入的另一机构。操作员可以经由显示器108从热成像相机100接收输出。显示器108可以被配置成以任何可接受的调色板或颜色方案来显示红外图像和/或可见光图像，并且调色板可以改变，例如响应于用户控制而改变。在一些示例中，显示器108被配置成以单色调色板（诸如灰度级）显示红外图像。在其他示例中，显示器108被配置成以彩色调色板（诸如例如琥珀色、铁虹、蓝红、或其他高对比度彩色方案）来显示红外图像。还预期灰度级和彩色调色板显示器的组合。在一些示例中，被配置成显示此类信息的显示器可以包括用于生成和呈现此类图像数据的处理能力。在其他示例中，被配置成显示此类信息可以包括从其他部件（诸如处理器222）接收图像数据的能力。例如，处理器222可以为要被显示的每个像素生成值（例如RGB值、灰度级值或其他显示选项）。显示器108可以接收此类信息并且将每个像素映射成视觉显示。

尽管处理器222可以控制显示器108来以任何适当的布置来同时显示红外图像的至少一部分和可见光图像的至少一部分，但是画中画布置可以帮助操作员通过以相邻对准显示相同场景的对应视觉图像来容易地聚焦和/或解释热图像。

电源（未被示出）向热成像相机100的各个部件递送操作功率，并且在一些示例中可以包括可再充电或非可再充电电池和电力生成电路。

在热成像相机100的操作期间，处理器222在与程序信息相关联的指令的帮助下控制红外相机模块200和可见光相机模块206，该程序信息被存储在存储器中以生成目标场景的可见光图像和红外图像。处理器222进一步控制显示器108来显示由热成像相机100生成的可见光图像和/或红外图像。

在一些实例中，在操作期间，目标场景可以包括位于离相机各种各样的距离处的对象。此外，此类对象可以是捕获图像的用户感兴趣的对象并且期望使所有此类对象在所捕获的图像内焦点对准。这允许感兴趣的每个对象都被更准确地分析。然而，在一些此类实例中，至多个对象的距离的差可能太大而不能使相机合理地聚焦成使得每个对象都焦点对准，并且可能需要获取多个图像。

如先前描述的，在一些示例中，相机可以被配置成捕获多个图像。可以以各种各样的间隔（诸如相机的帧速率）或某个其他间隔（诸如可由用户选择的间隔）来捕获此类图像。在备选实施例中，可以以不规则的间隔来捕获图像，诸如每当相机从用户接收捕获图像的提示时（例如经由按压触发控件112）。

另外，在一些实例中，相机可以被用来在同时调整相机的焦点时捕获多个图像。例如，相机可以被用来在电机驱动一个或多个透镜（例如在透镜组件中）的同时获取多个图像，由此调整相机的焦点。在其他示例中，相机可以被用来在用户手动调整一个或多个透镜的位置的同时获取多个图像以调整相机的焦点，诸如通过致动聚焦环114。

结果得到的图像集包括目标场景的具有与其相关联的不同聚焦距离的多个图像。取决于目标场景的内容，不同对象可能在一些图像中看起来是焦点对准的并且在其他图像中看起来是焦点未对准的（具有显著不同的聚焦距离）。因此，位于第一深度处的感兴趣对象可能在一副图像中焦点对准，而位于第二深度处的感兴趣对象可能在不同图像中焦点对准。此类图像可能被组合以便形成在其中两个对象都焦点对准的图像。

图4图示用于获取具有不同聚焦距离的多个图像的示例性程序。如所描述，可以移动相机的透镜组件以便调整相机的焦点。图4示出透镜组件的速度与时间的关系的图400。在所图示的示例中，透镜以加速度A从时间t₀至时间t₁加速至速度V，从时间t₁至时间t₂以速度V移动，并且从时间t₂至时间t₃以加速度-A减速至停止。图400中示出的速度分布图是示例性的并且可以对应于特定电机驱动的透镜配置的操作。在其他示例中，速度分布图不需要是对称的或者包括恒定速度或加速度的区。相反，可以使用用来调整相机的聚焦距离的透镜组件的任何运动。

在一些实施例中，在透镜组件的运动期间，可以获取多个图像。在所图示的实施例中，标记402指示在透镜运动期间捕获图像的时间。如先前讨论的，标记402可以与相机的帧速率、可调图像获取速率或来自用户的手动图像捕获命令一致。在一些示例中，标记402可以与图像的子集一致，例如原始帧速率的每第n个帧。在一些此类示例中，相机可以丢弃未使用的帧。

因为透镜在时间t₀和t₃之间正在移动（即速度≠ 0），所以在标记402的每一个处捕获的图像中的每一个都具有与其相关联的不同聚焦距离。可以根据捕获顺序来对在标记402处捕获的图像进行索引。例如，在t₀处获得的第一图像可以被索引为图像1，第二图像被索引为图像2，以此类推。在一些示例中，可以记录在透镜移动过程期间获得图像的时间。例如，在t₁处获得的图像可以与时间t₁相关联并且其他图像同样这样。

另外或备选地，可以记录与捕获每个图像的聚焦距离相对应的聚焦距离信息并且使其与相应图像相关联。聚焦距离信息可以包括当捕获图像时相机的实际聚焦距离和/或相机内透镜组件的位置。在一些实施例中，相机可以例如经由位置传感器等等来基于在捕获图像的时间测得的透镜组件的位置来确定聚焦距离信息。另外或备选地，相机可以使用诸如透镜组件运动信息之类的参数来确定聚焦距离信息。例如，参考图4的速度分布图，相机可以基于已知或测得的透镜组件的速度或其他运动分布图来确定透镜组件行进的距离。在速度与时间的关系图400的图示的实施例中，曲线下面的面积表示透镜组件行进的距离。另外或备选地，可以将已知图像捕获速率（例如帧速率）与已知的运动分布图组合以确定所获取的图像之间的距离差。因此，相机可以确定诸如d₁（在t₀和t₁之间行进的距离）、d₂（在t₁和t₂之间行进的距离）、和d₃（在t₂和t₃之间行进的距离）之类的距离，以及因此可以确定与获取的图像相关联的相对和/或绝对位置。

在各个示例中，可以经由电机来自动或手动驱动透镜组件的运动，或者可以经由通过用户引起的部件的机械致动来手动移动透镜组件。可以确定各个性质（诸如运动的位置和/或速度）以便确定与每个捕获的图像相关联的聚焦距离信息。在一些实施例中，相机可以执行自动过程以移动透镜组件并自动获取图像。在一些此类实施例中，将透镜组件移动至初始位置（例如最近焦点位置），并且在透镜组件的运动期间获取图像的同时通过一系列位置移动至最终位置（例如最远焦点位置）。各个方面可以是由用户可调的，诸如起始位置、终止位置、移动速度、图像捕获速率等等。如上面描述的，可以记录诸如图像索引、获取时间和/或聚焦距离信息之类的各个参数并且使其与获取的图像相关联。另外，可以通过相机操作员来发起诸如所描述的那样的图像获取方案的执行。

如上面描述的，作为自动图像捕获的备选，可以执行用于获取在多个聚焦距离处获得的多个图像的任何其他方法。举例来说，可以手动执行调整相机焦距和获取图像的任何步骤，并且该步骤不依据任何特别规定的时间表。在一些此类示例中，相关联的时间和/或聚焦距离信息可以与所捕获的图像一起存储。可以在图像捕获时或者在图像已经捕获之后对图像建立索引。

一旦已经捕获了具有不同聚焦距离特性的目标场景的多个索引图像，就可以处理此类图像并且将其组合以创建如上面描述的单个图像。此类图像可以包括来自多个图像的数据以使得位于距相机不同距离处的场景的各部分都可呈现为焦点对准。无论图像是否是根据任何特定的规定的捕获技术来捕获的，都可以执行此类图像处理和组合。

图5是图示图像组合过程中的步骤的示意性图示。如所示的，使用一系列具有不同聚焦距离的N个索引图像，图像1、图像2、…图像N。在所图示的示例中，图像1是具有最近焦点的图像，而图像N具有最远焦点。将会认识到，该记号旨在说明在不同的聚焦距离处捕获图像（例如图像1…图像N），并且与其他图像的那些相比，每个图像的索引（1、2…N）不一定对应于其相对聚焦距离。

在示例性过程中，处理多个索引图像中的每个图像以生成对应高频帧（HF帧）。如所示的，图像1被处理以生成HF帧1，图像2被处理以生成HF帧2，等等。因此，N个图像被处理以创建对应的N个高频帧。一般来说，每个高频帧都表示在其对应图像中处在对应位置处的高频含量。例如，HF帧1中的给定区表示图像1中对应区中的高频含量的量。在各个实施例中，区可以对应于图像中的像素、像素集或其他区段。

可以以许多方式来执行根据图像生成高频帧。在一些示例中，可以使用不同的边缘检测/增强技术（诸如2014年8月27日提交的美国专利申请No. 14/837,757和2014年3月21日提交的美国专利申请No. 14/222,153中描述的那些，它们中的每一个都被转让给本申请的受让人并且通过引用以其整体合并于此）来生成高频帧，诸如索贝尔算子、罗伯茨交叉算子或其他已知的算子。确定图像的各个区的高频含量的其他方式是可能的。一般来说，每个高频帧都将包括包含表示相应获取的图像中的对应区的高频含量的值的区。在一些实施例中，分析每个图像的总高频含量并且将其用来限定参考帧。也就是说，在一些示例中，该参考帧是具有最高频率含量的多个图像（图像1、图像2…图像N）中的图像，由此为参考帧指定索引（即被确定为参考帧的图像的索引）。

在一些实施例中，使多个高频帧（例如HF帧1、HF帧2…HF帧N）中的高频帧相对于彼此配准。在一些示例中，对高频帧执行配准。在备选的实施例中，在生成高频帧之前使图像（例如图像1、图像2…图像N）相对于彼此配准。因此，由于图像的配准而已经使高频帧配准。在一些实施例中，使图像与所确定的参考帧配准。

当使图像配准时，使一些图像从它们的原始坐标移位。例如，可以使图像向左移位一个或多个区以便与其他图像适当地配准。然而，这可以在图像内创建空白的区。例如，如果图像向左移位一个区，则新配准的图像的最右边的区可能不具有与其相关联的数据，因为这些区先前在图像的范围之外。在此类示例中，在一些实施例中，使用紧邻空白区的区中的数据来填充空白区，由此消除配准图像中的任何空白区。

图6是多个高频帧的示意性图示。如所示出的，已经从对应的图像（分别是索引的图像n、图像n+1、图像n-1和图像n-10）生成了高频帧HF帧n、HF帧n+1、HF帧n+1、HF帧n-1、和HF帧n-10。每个高频帧都包括多个区，诸如HF帧n中的区4、5和6。在各个实施例中，各区（例如区4、区5等等）可以对应于高频帧中的像素、高频帧中的像素组或高频帧的任何其他限定部分。一般来说，每个高频帧内的各区对应于对应图像内的相似区。

在各个实施例中，高频帧内的区（例如HF帧n中的4和5）不需要具有彼此相同的大小或形状。在优选实施例中，一个高频帧中的多个区中的每一个都存在于其他高频帧中的每一个中。例如，HF帧n中的阴影区域5类似地存在于HF帧n+1和HF帧n-1中。不同高频帧中的相似区具有相似的大小和形状，并且当使高频帧配准时对应于目标场景的相似部分。因此，在一些实施例中，各区不一定是帧特定的，而是限定了目标场景的一部分。此类区因此存在于多个图像中的每一个以及对应高频帧中的每一个中。

一般来说，较高的高频含量趋向于对应于图像的更焦点对准的部分，因为它通常指示锐利边缘。因此，在一些实施例中，可以分析高频帧以确定多个图像中的哪些的部分是最“焦点对准的”。也就是说，对于每个区，可以确定高频帧具有最大高频含量。在一些实施例中，可以为每个区指定索引，所指定的索引是在该区中具有最大高频含量的高频帧的索引。此类索引可以被用来构造最终图像，其中最终图像中的每个区都包括来自原始图像中的具有该索引的对应区的图像数据。

例如，参考图6，如果最初捕获3个图像并且生成三个对应的高频帧（HF帧n-1、HF帧n、和HF帧n+1），则可以逐个区地比较此类高频帧以生成最终图像。在示例性方法中，在HF帧n-1、HF帧n和HF帧n+1之间比较区5的高频含量。例如，如果在HF帧n的区5中表示的高频含量大于在HF帧n+1和HF帧n-1的区5中表示的高频含量，则将使用来自图像n（对应于HF帧n）中的对应区（即区5）的图像数据来生成最终图像中的对应区。

在一些示例中，中间步骤可以包括在生成最终图像之前创建最佳聚焦帧。最佳聚焦帧可以是具有多个区的帧，每个区都对应于每个图像中的以及每个高频帧中的区。与最佳聚焦帧中的每个区相关联的值是在相应区中具有最大高频含量的高频帧的索引。因此，最佳聚焦帧中的每个区都填充有指定特定高频帧以及因此指定特定图像的索引。然后，至少在概念上，可以通过对于每个区利用来自从具有索引n的图像而来的对应区的图像数据替换最佳聚焦帧中的索引n来构造最终图像。在理论上，该图像将包括在每个区中的来自多个图像的最佳聚焦成像数据。

在一些实施例中，该多个图像包括具有不同聚焦距离的多个红外图像。在一些示例中，利用具有与其相关联的红外图像相似的索引的相关联的可见光图像来捕获多个红外图像中的每一个。可以通过任何适当的图像配准过程来使每个可见光图像与其相关联的红外图像配准。

如所描述的，多个红外图像被配准并用来生成多个高频帧，其随后被分析以便生成包括如所描述的多个索引的最佳聚焦帧。该索引被用来生成最终红外图像。在一些示例中，最佳聚焦帧可以被用来生成与最终红外图像相关联的最终可见光图像。也就是说，最佳聚焦帧的多个区中的每一个中的索引都可以被用来生成可见光图像，该可见光图像在多个区中的每一个中都包括来自可见光图像中的具有最佳聚焦帧中引用的索引的该区的可见光图像数据。结果得到的最终可见光图像然后包括逐个区地对应于最终红外图像中的红外图像数据的可见光图像数据。可以根据各种各样的已知过程中的任一个（诸如经由α混合、画中画显示、等等）来组合最终红外图像和最终可见光图像。

图7是图示使用具有不同聚焦距离的多个捕获图像来生成最终图像的示例性过程的示例性过程流程图。该示例性方法包括获取具有不同聚焦距离的目标场景的多个图像（702）。获取图像可以包括捕获图像（诸如在本文中别的地方的各个示例性过程中描述的）、从存储器回调此类图像、从单独设备接收此类图像、或获取此类图像的任何其他方法。

该方法进一步包括使图像相对于彼此配准（704）。如先前描述的，在一些示例中，可以确定参考帧并且将其用作其他图像与其配准的帧。该方法包括对于每个图像，生成表示相关联图像中的多个区中的高频含量的高频帧（706）。因此，确定每个图像中的多个区中的高频含量。

该方法进一步包括：为每个区确定具有最大高频含量的高频帧的索引（708）。一旦为每个区确定此类索引，就可以使用对于每个区的来自图像的具有所确定的索引的相似区的图像数据来生成最终图像（710）。该最终图像包括来自所捕获的图像中的一个或多个的图像数据，并且基于该图像的在该区中的高频含量来确定从其选择最终图像中的每个区中的图像数据的图像。

图8A-8C图示示例性过程，诸如图7中描述的那些。图8A示出第一图像800（图像1）。该第一图像800包括位于第一区810中的三角形812和位于第二区820中的方形822。如所示出的，在第一图像800中，第二区820中的方形822看起来是焦点对准的而第一区810中的三角形812看起来是焦点未对准的。图8B示出仅使用不同聚焦距离捕获的相同场景的第二图像830（图像2）。该第二图像830类似地包括位于第一区810中的三角形842和位于第二区820中的方形852。然而，在第二图像830的聚焦距离处，第一区810中的三角形842看起来是焦点对准的而第二区820中的方形852看起来是焦点未对准的。

图8C示出可以使用诸如图7中描述的方法创建的最终图像860（最终图像）。如所示的，最终图像的第一区810包括来自第二图像810的第一区810的三角形842，而第二区820包括来自第一图像800的第二区820的方形822。也就是说，第一区810和第二区820中的每个都包括来自在其中该区中的图像数据更焦点对准的图像的图像数据。在图7的方法的上下文中，图像1（800）的第一区810的高频含量和图像2（830）的第一区810的高频含量的比较将示出第二图像830的高频含量比第一区810中的第一图像800的更大。因此，在最终图像中使用来自第二图像830的第一区810的图像数据。类似地，在最终图像中使用来自第一图像800的第二区820的图像数据。

尽管如先前描述的较高的频率含量对应于更焦点对准的图像，然而在一些实例中相对大的高频含量也可以存在于焦点未对准的图像中。例如，焦点对准的图像的一个区中的锐利边缘可能促成该区中的高频含量。然而，当边缘随着聚焦距离被调整而变得较不聚焦时，边缘可能模糊并扩散到相邻区中，从而降低原始区的高频含量并增加此类相邻区的高频含量。举例来说，参考图6，高频含量可能存在于HF帧n中的区2、5和8中，这是因为焦点对准的边缘存在于跨此类区的对应图像n中。然而，归因于当捕获图像n+1和图像n时使用的不同聚焦距离，此类线可能模糊并且扩散到图像n+1中的区1、4和7中，这对HF帧n+1中的这些区中的高频含量有贡献。因此，HF帧n+1中的区1、4和7可能包括作为图像n中的聚焦边缘的伪影的高频含量，尽管在图像n+1中边缘聚焦错误。

这可能在创建最终图像中导致问题。一个此类示例可能出现在附近帧中的锐利边缘的位置附近。在此类示例中，某一区包含附近边缘的散焦图像。与锐化的背景信息相比，该散焦位置可能具有大的高频值。该模糊边缘的高频含量应该被忽略，但是作为代替可能不希望地对最终图像作出贡献。例如，参考图6，如果HF帧n+1中的区1、4和7中的高频含量大于HF帧n-10中的对应区1、4和7中的高频含量，则将使用来自图像n+1的图像数据而不是来自图像n-10的图像数据。然而，HF帧n+1中的区1、4和7中的高频含量仅仅是来自图像n中的焦点对准的边缘的伪影。如果HF帧n-10中的区1、4和7包括来自图像n-10中的焦点对准的对象的真实（非伪影）高频含量，则在使用来自图n+1的图像数据而不是来自图像n-10的图像数据的情况下此类对象在最终图像中可能看起来是焦点未对准的。因此，确定高频帧中的哪些高频含量对应于对应图像中的真实焦点对准的对象以及哪些高频含量归因于来自对应图像中的聚焦错误的图像的伪影可以是有用的。

因此，在一些实施例中，方法可以包括确定高频帧中的高频含量的有效性。如果某一高频帧中的某一区中高频含量被确定成无效的，则当针对该区确定哪个高频帧具有最大高频含量时可以排除这样的高频含量（例如图7中的步骤708）。另外或备选地，可以调整在该高频帧中对于该区的这样的高频含量（例如发送至零），以使得其相关联的帧将不会被确定成对于该区的具有最大高频含量的帧。

在一些示例中，确定区中的高频含量的有效性包括将该区中的高频含量的量（即该区中高频帧的值）与附近区中高频含量的量相比较。图9是图示用于确定区是否有效的示例性方法的过程流程图。在图9的方法中，选择高频含量的区（900），诸如来自高频帧的区。在图9的示例性方法中，假设该区是有效的（902）。将该区的高频含量与最小高频含量值相比较（904）。如果高频含量不高于最小值，则将该区认为无效的（906）。在各个示例中，步骤904的最小高频含量值可以由用户来预定或者是可调整的。在一些示例中，如果将最小高频含量值设置成零，则可以有效地省略步骤904。

将所选区的高频含量与接近区的高频含量相比较（908）。接近区可以被认为在空间背景中接近所选的区，其中该接近区在与所选区相同的帧中并且在作为所选区的某一邻域内。另外或备选地，接近区可以被认为基于索引接近所选区。也就是说，来自在捕获所选区的帧之前或之后的一定数目的帧内捕获的帧的区可以被认为是接近的。

在与接近的区进行比较之后，可以确定高频含量是否足够靠近接近区内的最大高频含量（910）。也就是说，可以将所选区的高频含量与被限定成接近所选区的区集合内的局部最大值相比较。如果所选区的高频含量不足够靠近局部最大值，则所选区被认为无效的（912）。否则，可以确定是否已经分析了所有的区（914）。如果没有，则可以选择新的区（900）并且可以重复该过程。否则，完成有效性确定（916）。将会认识到，可以利用类似的结果得到的有效性确定来执行对于图9的方法的备选。例如，在备选实施例中，假设每个区是无效的。如果HF含量高于最小值（例如在步骤904中）并且足够靠近局部最大值（例如在步骤910中），则使得该区有效。

可以在使用图9中描述的方法的同时参考图6来论证示例性的有效性确定。在执行示例性的确定中，可以选择来自于HF帧的区5（例如步骤900）。假设HF帧n中的区5是有效的（例如步骤902）。可以将HF帧n中的区5的高频含量与最小高频阈值相比较（例如步骤904），其中如果高频含量低于阈值，则H帧中的区5是无效的（例如步骤906）。

如果阈值满足，则将区5的高频含量与接近区的高频含量相比较。在各实施例之间，构成接近区的那些区可以改变。在一些示例中，可以由用户来设置此类参数。举例来说，在一个示例性实施例中，接近给定高频帧中的特定区的各区可以包括在相同帧或相邻帧中的任何紧邻区。关于图6的示例中的HF帧n中的区5所使用的，接近帧可以包括HF帧n-1、HF帧n和HF帧n+1中的区1-9。因此，在此类实施例中，存在包括在包围HF帧n中的区5（包括其自己）的邻域中的27个区。可以将HF帧n中的区5的高频含量与接近区内的高频含量相比较（例如步骤908）。如果HF帧n中的区5的高频含量不足够靠近所限定的邻域内的局部最大值（例如步骤910），则HF帧n中的区5是无效的（例如步骤912）。

可以以各种各样的方式来执行确定特定区的高频含量是否足够靠近局部最大值。在一些示例中，使用无效性尺度参数来确定特定区的高频含量是否足够靠近局部最大值。举例来说，可以使用为75%（或0.75）的无效性尺度参数，从而指示如果该区的高频含量至少为局部最大值的75%，则该区的高频含量足够靠近该局部最大值。在另一实施例中，可以使用统计分析来确定高频含量是否足够靠近局部最大值，诸如在接近区的高频值的百分之75之内。

允许在各区的周边邻域中不包括最大高频含量的区被认为是有效的可以帮助防止不希望的无效区域指定。例如，如果延伸通过多个邻近区的聚焦边缘存在于单个图像中，则在对应的高频帧中的此类区中可能存在有效的高频含量。将邻域内的非最大值区视为无效的可能会导致包括此类边缘的某些区被认为无效。然而，允许具有高频含量的区足够靠近局部最大值可能允许此类区被认为有效，尽管可能不具有局部最大的高频含量。在一些实施例中，可由用户选择针对什么构成“足够靠近”的要求，包括比较的类型（例如阈值、统计等等）以及/或者比较值（例如无效性尺度参数）以便调整有效性确定过程的敏感性。

一旦确定了区（例如HF帧n中的区5）的高频含量是否足够靠近局部最大值，就执行检查以确定是否已经分析了所有区（例如步骤914）。如果是的话，则完成有效性确定过程。如果不是的话，可以选择新的区（例如HF帧n中的区4）并且重复该过程。

指定高频帧中的有效区和无效区可以大大影响生成最终图像的结果。图10是图示用于在排除无效区的同时生成最终图像的示例性方法的过程流程图。与图7中描述的方法类似，该过程可以包括获取目标场景的多个图像的步骤，该图像具有不同的聚焦距离（1002）。如在本文中别的地方所描述的，可以以各种各样的方式来执行多个图像的获取，诸如利用相机捕获此类图像、从存储器回调此类图像等等。在一些示例中，在图像获取步骤(1002)之前，相机的用户选择离焦操作模式（1000）。这可以促使相机执行聚焦和图像获取过程（诸如参考图4描述的）以便获取用于在该过程中使用的图像。该方法包括使图像相对于彼此配准（1004）以及生成对应于已配准的图像中的每一个的高频帧（1006）。使图像配准允许使用在非稳定环境中获得的图像来执行该过程。例如，握住相机捕获多个图像的用户不需要在捕获图像的同时完全静止地握住相机，并且图像处理技术仍可以成功地执行。另外或备选地，可以使用图像配准来补偿场景的振动或其他细微移动。

图10的方法包括确定高频帧中的哪些区包括有效高频含量（1008）的步骤。一般来说，这可以例如如关于图9描述的那样来执行。然而，可以以各种各样的方式来执行实施有效性确定。在一些示例中，从高频帧消除要被确定成无效的高频含量。也就是说，利用零或其他值来替换高频含量以使得无效高频含量不影响使用高频含量数据的任何后续确定。

在其他实施例中，对于高频帧中的每一个，可以生成对应有效性掩模。该有效性掩模可以是二进制值的阵列，每个值都与对应高频帧中的对应区相关联。也就是说，如果高频帧中的区被认为无效，则对应有效性掩模中的对应区是零。否则，对应有效性掩模中的对应区是1。

图10的方法包括：对于每个区确定具有最大有效高频含量的高频帧的索引（1010）。于是，类似于图7中描述的方法，图10的方法包括使用对于每个区的来自图像的具有所确定的索引的相似区的图像数据来生成最终图像（1012）。然而，与图7的方法相比，图10的方法仅使用有效高频含量来确定此类索引。也就是说，当将各帧之中的相似区中的高频含量相比较时，仅考虑有效的高频含量。例如，在一些实施例中，对于特定区的无效高频含量被强行置为零，并且因此此类区将不具有最大的高频含量。在其他实施例中，当为每个区确定具有最大有效高频含量的高频帧的索引时，在对应有效性掩模值为1时仅在该确定中使用来自高频帧的区。否则，从该确定中忽略此类高频帧中的此类区的高频含量。

在构造最终图像时，丢弃无效高频含量可以帮助消除由于鬼影、晕或其他伪影而产生的错误。提及进一步参考图6的前一示例，在HF帧n+1中，由于在图像n 中焦点对准的图像n+1中的聚焦错误边缘的扩展而引起的HF帧n+1中的区7中的高频含量可以被确定为无效。在此类情况下，图像n中的区5中的聚焦边缘在对应HF帧n中的区5中导致大量的高频含量。在图像n+1的区7中可见的散焦边缘使高频含量对对应HF帧n+1中的区7有贡献。然而，由模糊边缘对HF帧n+1中的区7的高频含量贡献将显著低于来自锐利聚焦边缘对HF帧n中的区5的高频含量贡献。

因此，在一些示例中，如果HF帧n中的区5和HF帧n+1中的区7被认为彼此接近，则HF帧n的区5中的高频含量可以致使HF帧n+1中的区7中的比较而言较低的高频含量无效。因此，即使HF帧n+1的区7中的高频含量（归因于伪影）大于对应于图像n-10中的聚焦对象的HF帧n-10中的区7中的高频含量，来自图像n-10的图像数据也可以被用来构造最终图像，HF帧n+1中的区7被视为无效。也就是说，当确定区7中具有最大高频含量的高频帧的索引时不考虑HF帧n+1中的区7的高频含量。

如在本文中别的的地方描述的，多个图像的总高频含量（例如经由对应高频帧的分析）可以被用来确定具有最大总高频含量的参考帧。在一些实施例中，参考帧可以指的是索引，因此与图像和具有相似索引的对应高频帧二者相关联。因此，在一些实施例中，该方法可以包括确定每个图像的总高频含量（1014）和将具有最大高频含量的帧设置为参考帧（1016）的步骤。图像配准可以包括使图像相对于参考帧配准（1018）。可以按顺序来执行步骤1014、1016和1018以实现图像配准，并且除了步骤1004或代替步骤1004可以使用步骤1014、1016和1018。

在一些示例中，诸如在步骤1012中的生成最终图像包括生成包括对于每个区的具有最大高频含量的帧的索引的最佳聚焦帧。图11示出使用最佳聚焦帧生成最终图像的简化过程。在所图示的示例中，三个图像（图像1、图像2和图像3）中的每一个都包括具有由不同字母来指定的图像数据的九个区。可以如本文中别的地方描述的那样来处理该图像以便为每个区确定包括最大有效高频含量的图像的索引。该信息可以被用来生成最佳聚焦帧。

图11的最佳聚焦帧包括对应于来自各图像中的每一个的九个区的九个区。如所描述的，最佳聚焦帧中的每个区中的值是在该区中具有最大有效高频含量的图像（以及对应高频帧）的索引。举例来说，最佳聚焦帧的左上角区具有“1”，其指示在所有图像中图像1在左上角区中具有最大有效高频含量。

如所描述的，在生成最终图像的过程中，对于最终图像中的每个区，图像数据来自具有在该区中具有最大高频含量的高频帧的索引的图像的相似区，其是该区中最佳聚焦帧中的值。因为最佳聚焦帧中的左上区的值是“1”，所以来自图像1中的左上角区的图像数据被用来在最终图像中生成左上角区。如所示的，用“A”来表示图像1的左上角区中的图像数据。因此，最终图像的左上角区中的图像数据也是“A”。类似地，因为最佳聚焦帧中的右下角区的值是“3”，所以来自图像3（“AA”）中的右下角区的图像数据被用作最终图像中的右下角区中的图像数据。

返回参考图10，用于生成最终图像的方法可以包括通过确定具有最大有效高频含量的高频帧的索引来生成最佳聚焦帧（1020）。然而，在一些情况下，可以存在在其中没有帧包括有效高频含量的区。也就是说，对于某一区，可能不存在在其中该区中的高频含量既超过某一最小值（例如图9的步骤904）又足够靠近局部最大值（例如图9中的步骤910）的帧，从而使跨每个帧的区无效。因此，在最佳聚焦帧中可能存在孔（即不具有值的区），因为对于此类区中具有有效高频含量的图像不存在索引。

在一些实施例中，膨胀过程填充最佳聚焦帧中的这些孔。例如，可以使用标准的膨胀过程将与此类孔毗邻的区中的索引值施加于此类孔。在一些实施例中，可以执行一系列膨胀过程直到所有孔都被填充、或者膨胀过程不再填充剩余的孔为止。在一些此类实例中，利用所确定的参考帧（例如如在步骤1016中确定的）的索引来填充所有剩余的孔。在生成最终图像（1012）之前此类步骤可以被用来填充最佳聚焦帧中的孔（1022）。

如在本文中别的地方描述的，在一些示例中，所获取的多个图像（例如来自步骤1002）包括每一个都是利用相关联的可见光图像捕获的多个红外图像。在一些示例中，可以使用红外图像来执行步骤1004-1010以及步骤1020和1022。在一些此类示例中，步骤1012可以包括对于每个区使用来自红外图像的具有所确定的最佳聚焦帧中引用的索引的相似区的图像数据来生成最终红外图像。在一些实施例中，可以使用可见光图像来重复步骤1012。也就是说，在一些实施例中，步骤1020中生成的最佳聚焦帧可以被用来生成最终可见光图像，其与最终红外图像相关联并且对于每个区都包括来自可见光图像的具有所确定的在最佳聚焦帧中引用的索引的相似区的图像数据。

在一些实施例中，为了节省处理时间，可以在执行各个处理步骤之前对图像进行降尺度（1024）。例如，如在图10中示出的，可以在使图像配准（1004）之后，但在生成对应于此类图像的高频帧（1006）之前对图像进行降尺度。在其他实施例中，可以在该方法的其他点处执行降尺度，诸如在确定哪些区包括有效高频含量（1008）之前。在一些示例中，降尺度可以包括对图像进行将下采样以使得每个降尺度的图像都包括比原始图像更少的像素。在其他示例中，降尺度可以包括调整区大小（例如与每个区相关联的像素的数目）以便在不修改图像的情况下有效地处理更少的区。可以执行各种各样的降尺度步骤中的任一个。

在一些实施例中，如果已经执行了降尺度过程，则该过程进一步包括对图像进行升尺度（1026），其可以例如在生成最终图像（1012）之前执行。在一些示例中，对图像进行升尺度包括将反向过程执行为对图像进行降尺度。这帮助恢复归因于原始降尺度过程而引起的分辨率损失。

将会认识到，可以以各种各样的方式并且通过各种各样的设备来实施本文中描述的方法。例如，在一些实施例中，可以使用能够在多个聚焦距离处获取多个图像的相机来执行本文中描述的方法。该相机可以执行操作来既获取具有多个聚焦距离的多个图像（诸如经由本文中描述的方法）又处理该图像来生成最终图像。在一些实施例中，用户可以促使本文中描述的方法的自动执行。例如，用户可以通过将透镜组件（诸如IR透镜组件104）从第一位置（与第一焦点相关联）移动至第二位置（与第二焦点相关联）来命令相机以调整焦点。该相机可以经由例如电机来自动移动透镜组件。该相机可以在透镜运动期间在透镜处于第一位置和第二位置之间的多个不同位置的同时获取多个图像，因此获取具有多个聚焦距离的多个图像。因为位于场景中的不同深度处的一些对象在具有不同聚焦距离的图像中将看起来是焦点对准的，所以不是所有对象在单个图像中都看起来是焦点对准的。因此，例如经由显示器108查看目标场景的实时视图的图像可以观察在其中不是所有对象都焦点对准的场景。用户可以发起离焦过程（诸如本文中描述的那些）并且实现完全聚焦图像，尽管在显示器上观察至少一部分未聚焦的图像并且无需执行任何手动聚焦程序。在一些情况下，用户可以经由显示器108观察至少部分聚焦错误的目标场景并且作为响应而触发离焦过程（诸如本文中描述的那些）以便生成更完全聚焦的最终图像。可以将生成的最终图像保存在存储器中和/或将其显示给用户。

在一些示例中，除了这样的自动操作之外，用户可以通过重复捕获图像并且调整相机的焦点来手动执行图像获取过程，并且该相机随后可以处理该图像以生成最终图像。

另外或备选地，可以将具有不同聚焦距离的自动或手动捕获的图像传递至单独的计算机或其他处理设备（诸如智能手机、平板电脑等等）以用于后续处理。单独设备可以能够执行本文中描述的过程以便从多个图像生成最终图像。

在各个实施例中，图像可以包括红外图像、可见光图像或其组合，诸如混合图像和/或显示为画中画显示的图像。在一些实施例中，在图像获取期间捕获对应的红外和可见光图像。在一些此类实施例中，可见光图像可以被用来使红外图像相对于彼此配准，反之亦然。

还可以将本公开内容中描述的技术体现或编码在计算机可读介质（诸如包含指令的非瞬时计算机可读存储介质）中。例如当执行该指令时，在计算机可读存储介质中体现或编码的指令可以促使可编程处理器或其他处理器来执行该方法。计算机可读存储介质可以包括随机存取存储器（RAM）、只读存储器（ROM）、硬盘、光学介质或其他计算机可读介质。

已经描述了各个实施例。此类示例是非限制的，并且不会以任何方式来限定或限制本发明的范围。相反，这些和其他示例在以下权利要求的范围内。

Claims (26)

1.一种用于从多个图像生成图像的方法，该多个图像中的每一个都是在不同聚焦距离处捕获的并且具有唯一索引，该方法包括：

使多个图像中的每一个相对于彼此配准；

从已配准图像中的每一个生成高频帧，每个高频帧都表示对应图像的高频含量并且具有对应于相应图像的索引的索引；

对于各高频帧中的每一个中的多个区中的每一个，确定该区中的高频含量是否是有效的以及通过比较给定区域中的高频含量与附近区域中的高频含量和/或高频含量有效性阈值来确定归应于伪影而该区中的高频含量是无效的；

对于多个区中的每一个，确定在多个高频帧之中具有最大有效高频含量的高频帧的索引；以及

生成最终图像，对于多个区中的每一个，该最终图像都包括来自多个图像中的具有对应于在该区中具有最大有效高频含量的高频帧的索引的索引的一个图像的图像数据。

2.根据权利要求1所述的方法，其中多个图像中的每一个都包括红外图像，并且其中最终图像包括红外图像。

3.根据权利要求2所述的方法，进一步包括确定多个红外图像中的哪个包含最大总高频含量并且将该图像限定成参考帧。

4.根据权利要求3所述的方法，其中使多个红外图像中的每一个彼此配准包括使多个红外图像中的每一个与参考帧关联。

5.根据权利要求2所述的方法，进一步包括在生成高频帧之前对多个图像中的每一个进行降尺度以及在生成最终红外图像之前对图像进行升尺度。

6.根据权利要求2所述的方法，进一步包括生成包括多个区的最佳聚焦帧，该最佳聚焦帧中的每个区都对应于每个高频帧中的多个区中的一个，在多个区中的每一个中，该最佳聚焦帧都包括在该区中具有最大有效高频含量的高频帧的索引。

7.根据权利要求6所述的方法，其中多个红外图像中的每一个都具有相关联的可见光图像，其具有与相关联的红外图像相似的索引，每个可见光图像都与相关联的红外图像配准并且具有与相关联的红外图像的多个区相对应的多个区，该方法进一步包括生成最终可见光图像的步骤，在多个区中的每一个中，该最终可见光图像都包括来自在最佳聚焦帧中具有该区中指定的索引的可见光图像的可见光图像数据。

8.根据权利要求6所述的方法，其中，进一步包括对在多个高频帧中具有最大有效高频含量的最佳聚焦帧中的区执行一个或多个膨胀过程以便填充最佳聚焦帧的在具有最大有效高频含量的高频帧中的任一个中不具有对应区的各区。

9.根据权利要求8所述的方法，进一步包括：

确定多个红外图像中的哪个包含最大总高频含量并且将该图像限定成参考帧；以及

对于最佳聚焦帧中的在多个高频帧中不具有最大有效高频内容且没有被一个或多个膨胀过程填充的区，将来自该区的图像数据包括在最终图像中的参考帧中。

10.根据权利要求2所述的方法，其中对于高频帧中的每一个中的多个区中的每一个确定该区中的高频含量是否有效包括将该区的高频含量与包围该区的邻域内的区的局部最大高频含量相比较。

11.根据权利要求10所述的方法，其中如果（i）区的高频含量不足够靠近包围该区的邻域内的局部最大高频含量或者（ii）区的高频含量低于预定有效性阈值，则该区的高频含量被认为是无效的。

12.根据权利要求11所述的方法，其中包围该区的邻域包括在该帧内且在该区的相邻帧内的区。

13.根据权利要求2所述的方法，进一步包括生成与每个高频帧相关联的有效性掩模，每个有效性掩模都具有对应于相关联的高频帧中的相应区的多个区，其中，对于有效性掩模中的每一个区，如果相关联高频帧中的对应区中的高频含量是有效的则该区包括1，并且如果相关联高频帧中的对应区中的高频含量是无效的则该区包括0。

14.根据权利要求1所述的方法，其中每个区都对应于多个图像中的每一个中的单个像素。

15.根据权利要求1的方法，进一步包括获取多个图像。

16.根据权利要求15所述的方法，其中获取多个图像包括使用成像设备捕获多个图像并且调整成像设备的聚焦距离。

17.根据权利要求15所述的方法，其中获取多个图像包括接收存储在存储器中的多个图像。

18.一种热成像相机，其包括：

焦平面阵列，其具有被配置成基于接收的红外辐射来生成包括红外图像数据的红外图像的多个红外检测器元件，所生成的红外图像包括多个区，每个区都包括图像数据；

可相对于焦平面阵列移动的红外透镜组件；

电机，其被配置成调整红外透镜组件相对于焦平面阵列的位置；以及

处理器，利用指令对该处理器编程以便：

在经由电机移动红外透镜组件的同时捕获多个红外图像以使得多个红外图像中的红外图像具有不同的聚焦距离，多个红外图像中的每一个都是根据聚焦距离来索引的；

执行有效性分析过程以便对于多个红外图像中的每一个中的多个区的每一个确定哪些区包括有效高频含量以及通过比较给定区域中的高频含量与附近区域中的高频含量和/或高频含量有效性阈值来确定归应于伪影而不包含有效高频含量；

对于多个区中的每一个确定多个图像中的哪个包括最大有效高频含量；以及

生成最终图像，在每个区中该最终图像都包括来自图像的在该区中具有最大有效高频含量的对应区的图像数据。

19.根据权利要求18所述的热成像相机，其中所捕获的红外图像中的每一个都包括与其相关联的指示当图像被捕获时红外透镜组件相对于焦平面阵列的位置的聚焦距离信息。

20.根据权利要求18所述的热成像相机，其中利用指令进一步对该处理器编程以便为多个红外图像中的每一个生成对应的高频帧，每个高频帧都具有表示对应红外图像中的相应区的高频含量且具有与对应红外图像相似的索引的多个区。

21.根据权利要求20所述的热成像相机，其中利用指令进一步对该处理器编程以便在捕获多个红外图像之后使多个红外图像配准。

22.根据权利要求21所述的热成像相机，其中利用指令进一步对该处理器编程以便：

确定高频帧中的哪个包括最大高频含量以及将对应红外图像指定为参考帧；以及其中

使多个红外图像配准包括使多个红外图像与参考帧配准。

23.根据权利要求21所述的热成像相机，其中执行有效性分析过程包括：对于每个高频帧中的每个区指定包围该区的区的邻域，确定该邻域内的局部最大高频，将该区的高频含量与局部最大高频含量相比较，以及如果该区的高频含量没有足够靠近局部最大高频含量，则将该区中的高频含量认为是无效的。

24.根据权利要求23所述的热成像相机，其中与高频帧中的给定区相关联的区的邻域包括在该区的高频帧内的该区的预定范围内的区并且在每个高频帧内的此类区具有在该区的高频帧的预定数目的索引内的索引。

25.一种非瞬时计算机可读介质，其包括用于促使可编程处理器执行用于生成图像的方法的指令，该方法包括：

访问目标场景的多个图像，每个图像都具有不同的聚焦距离并且是根据聚焦距离来索引的；

识别每个图像内的多个区，其中每个区都是在多个图像中的每一个中限定的并且包括基本上表示每个图像中的目标场景的相同部分的图像数据；

为多个图像中的每一个生成高频帧，每个高频帧都具有对应的多个区，并且其中每个高频帧中的每个区都表示该区在对应图像中的高频含量；

确定高频帧中的每一个中的区的哪一个包括有效高频含量以及通过比较给定区域中的高频含量与附近区域中的高频含量和/或高频含量有效性阈值来确定归应于伪影而不包含有效高频含量；

对于每个区确定具有该区中的最大高频含量的高频帧的索引；

生成具有对应多个区的最终图像，其中生成最终图像包括对于每个区的来自具有与在该区中具有最大高频含量的高频帧相似的索引的图像的图像数据。

26.根据权利要求25所述的非瞬时计算机可读介质，进一步包括用于促使可编程处理器调整成像设备的聚焦距离并且使用成像设备来捕获多个图像的指令。

Images