CN103913242A - 用于消除热目标热图像的重影效应的热感相机和方法 - Google Patents

Abstract

本发明公开了用于补偿热成像设备中的重影效应的各种装置和方法。由于热传感器上的重影效应而造成的热图像数据的偏移通过本发明的各种实施例来模拟、预测、和／或消除。这些模型可以是时变的以补偿动态偏移行为，并可以基于公式、查找表等。预测的偏移量可以以各种方式来补偿，以便产生没有累计偏移的更准确的热图像数据。

Description

用于消除热目标热图像的重影效应的热感相机和方法

背景技术

热成像相机被用于各种场合下。例如，在对热检查设备进行维修检查期间经常会使用热成像相机。示例性设备可以包括旋转机械、配电盘、或成排的断路器以及其它类型的设备。热检查可以检测诸如过热的机械或电气部件的设备热点，从而有助于确保在产生更严重的问题之前及时维修或更换过热设备。

根据相机的配置，热成像相机也可对同一物体产生可见光图像。相机可以以协同的方式显示红外图像或可见光图像，以例如帮助操作者解译由热成像相机产生的热图像。不同于可见光图像通常提供不同物体之间的良好对比，与真实世界的场景比较，在热图像中经常难以识别和区分不同特征。

对足够热的目标的热成像可以在测量信号中导致有时候称为“重影”的错误的发生。该重影可能会在测量期间导致不被使用者所接受的图像伪影和误差。

发明内容

总体上，本公开内容涉及用于预测和补偿该时变的重影效应，消除由此产生的误差的热成像相机和方法。

各种方法和装置都落在本发明的范围内。本发明的特定实施例包括热成像相机，其包括至少一个红外传感器元件和处理器。该至少一个红外传感器元件被配置为响应于接收到的与热场景的热图案相对应的红外能量而提供电信号。该处理器接收这些电信号以根据这些信号产生热图像数据。另外，在将相机暴露于热场景的时间之后，所述处理器可预测将被并入到热图像数据中的偏移量。在预测该偏移量之后，处理器可随后从数据中去除该偏移。

本发明的特定实施例的另一方面提供了消除热成像设备中的重影效应的方法。该方法包括将热成像设备暴露于热场景并测量在场景上的热图案。该方法还包括产生与所测量的热图案相对应的热图像数据并预测在该设备暴露于所述场景一段时间之后将被并入到热图像数据中的偏移量的步骤。在本发明的特定实施例中，该方法还包括从热图像数据中去除偏移。

在特定实施例中，该方法包括将热成像设备暴露于热场景并使用多个红外传感器测量在场景上的热图案。类似于之前描述的实施例，该方法还包括产生对应于热图案的热图像数据，并预测在该设备暴露于所述场景一段时间之后将被并入到热图像数据中的偏移量。在该实施例中，该方法还包括以有效地从所产生的热图像数据中去除所预测的偏移的方式对红外感测元件进行偏置。

本发明实施例可以包括预测偏移行为的依赖于时间的模型。该模型包括查找表、公式、或其它本领域已知的手段。在特定实施例中偏移数据可被追踪并存储用于将来使用。

在下面的附图和描述中阐述了本发明的一个或多个示例的细节。其它特征、目标和优点将从说明书和附图以及权利要求中明显看出。

附图说明

图1是根据一些实施例的热成像相机的透视前视图。

图2是图1所示的热成像相机的透视后视图。

图3是示出根据一些实施例的热成像相机的组件的功能方框图。

图4是示出重影偏移随时间发展和衰减的步骤的处理流程图。

图5是当补偿温度没有考虑变化的偏移值时，真实的目标温度、测量温度以及补偿温度相对时间的示例性曲线图。

图6是用于补偿变化的温度偏移所采取的概要步骤的处理流程图。

图7示出了目标温度相对时间的示例性曲线图，以及对应的偏移饱和和真实偏移温度相对时间的示例性曲线图，两个曲线图使用相同的时间轴，并且其中目标温度保持稳定足够长以使偏移值接近饱和值。

图8示出了目标温度相对时间的示例性曲线图，以及对应的偏移饱和和真实偏移温度相对时间的示例性曲线图，两个曲线图使用相同的时间轴，并且其中目标温度没有保持稳定足够长以使偏移值接近饱和值。

具体实施方式

以下详细描述在本质上是示例性的，而并非旨在以任何方式限制本发明的范围、应用或配置。相反，以下描述为实现本发明的示例提供一些实践上的说明。对所选元件提供构造，材料，尺寸和制造工艺的示例，并且所有其它元件采用对于本发明领域技术人员而言已知的构造，材料，尺寸和制造工艺。本领域技术人员将认识到许多特定示例具有各种合适的替代方案。

热成像相机可用于检测受观察的包括一个或多个物体的场景上的热图案。热成像相机可检测由场景发出的红外辐射且将红外辐射转换成表示热图案的红外图像。在一些实施例中，热成像相机还可从场景捕获可见光以及将可见光转换成可见光图像。根据热成像相机的配置，相机可包括用于将红外辐射聚焦在红外传感器上的红外光学系统和用于将可见光聚焦在可见光传感器上的可见光光学系统。

本发明的各种实施例提供通过使用数学模型来预测重影量以补偿重影效应并从每个热图像中去除所预测的重影误差的方法和系统。

图1和2分别示出了示例的热成像相机100的前透视图和后透视图，该热成像相机100包括外壳102、红外透镜组件104、可见光透镜组件106、显示器108、激光器110以及触发控制器112。外壳102容纳热成像相机100的各种组件。热成像相机100的底部包括通过手来握住和操作相机的手提把手。红外透镜组件104接受来自场景的红外辐射并将辐射聚焦于红外传感器以产生场景的红外图像。可见光透镜组件106接收来自场景的可见光并将可见光聚焦于可见光传感器以产生同一场景的可见光图像。热成像相机100响应于按压触发控制器112来捕获可见光图像和／或红外图像。另外，热成像相机100控制显示器108，以显示由相机产生的红外图像和可见光图像，例如，帮助操作者来对场景进行热检查。热成像相机100也可以包括耦合于红外透镜组件104的聚焦机构，其被配置为移动红外透镜组件中的至少一个透镜，以便调节由热成像相机产生的红外图像的聚焦。

在操作时，热成像相机100通过接收从场景以红外波长光谱所发出的能量并处理该红外能量来检测场景中的热图案，以产生热图像。热成像相机100也可以通过接收可见光波长光谱的能量并处理该可见光能量以产生可见光图像，来产生同一场景的可见光图像。如下面更详细的描述，热成像相机100可包括配置成捕获场景的红外图像的红外相机模块和配置成捕获同一场景的可见光图像的可见光相机模块。红外相机模块可以接收通过红外透镜组件104投射的红外辐射并由此产生红外图像数据。可见光相机模块可以接收通过可见光透镜组件106投射的光并由此产生可见光数据。

在一些示例中，热成像相机100基本上同时(例如，在同一时间)采集或捕获红外能量和可见光能量，以使得由相机产生的可见光图像和红外图像实质上是在同一时间的相同场景。在这些示例中，由热成像相机100产生的红外图像指示在特定时段的场景内的局部温度，而由相机产生的可见光图像指示在同一时段内的同一场景。在其它示例中，热成像相机可以捕获来自场景的在不同时段内的红外能量和可见光能量。

可见光透镜组件106包括至少一个透镜，其将可见光能量聚焦于可见光传感器上以产生可见光图像。可见光透镜组件106定义了穿过至少一个组件的透镜的曲率中心的可见光光轴。可见光能量投射通过透镜正面，并聚焦于透镜的相对侧。可见光透镜组件106可以包括单个透镜或串联布置的多个透镜(例如，两个、三个或更多透镜)。此外，可见光透镜组件106可具有固定聚焦，或可包括用于改变可见光光学器件的聚焦的聚焦调节机构。在可见光透镜组件106包括聚焦调节机构的示例中，聚焦调节机构可以是手动调节机构或自动调节机构。

红外透镜组件104也包括至少一个透镜，其将红外能量聚焦于红外传感器以产生热图像。红外透镜组件104定义了穿过组件的透镜的曲率中心的红外光轴。在操作期间，将红外能量引导穿过透镜的正面，并聚焦在透镜的相对侧。红外透镜组件104可包括单个透镜或可串联布置的多个透镜(例如，两个、三个或更多透镜)。

如以上简要描述的那样，热成像相机100包括用于调节由相机捕获的红外图像的聚焦的聚焦机构。在图1和2所示的示例中，热成像相机100包括调焦环114。将调焦环114操作地耦合(例如，机械地和／或电气地耦合)到红外透镜组件104的至少一个透镜，并配置成将至少一个透镜移动到不同的聚焦位置，以便对由热成像相机100捕获的红外图像进行聚焦。调焦环114可绕着外壳102的至少一部分被手动地旋转，以便移动至少一个透镜，调焦环操作地耦合至该透镜。在一些示例中，调焦环114还操作地耦合到显示器108，以便调焦环114的旋转使同时显示在显示器108上的可见光图像的至少一部分和红外图像的至少一部分相对于彼此移动。在不同的示例中，热成像相机100可包括在与调焦环114不同的配置中实现的手动聚焦调节机构。

在一些示例中，除了或代替手动调节聚焦机构之外，热成像相机100还可包括自动调节聚焦机构。自动调节聚焦机构可操作地耦合到红外透镜组件104的至少一个透镜，并配置成例如响应于来自热成像相机100的指令将至少一个透镜自动移动到各种聚焦位置。在这样示例的一个应用中，热成像相机100可使用激光器110来电子测量目标场景中的物体与相机之间的距离，其被称为到目标距离(distance-to-target)。热成像相机100可接着控制自动调节聚焦机构，以将红外透镜组件104的至少一个透镜移动到与由热成像相机100所确定的到目标距离数据相对应的聚焦位置。聚焦位置可对应于到目标距离数据，这是因为聚焦位置可配置成在聚焦时将物体放置在目标场景中的所确定的距离处。在一些示例中，可由操作员例如通过旋转调焦环114来手动替换通过自动调节聚焦机构所设定的聚焦位置。

可将由激光器110测量的到目标的距离的数据存储并与相对应的所捕获的图像相关联。对于使用自动聚焦来捕获的图像而言，将该数据搜集，作为聚焦过程的部分。在一些实施例中，当图像被捕获时，热成像相机也将检测并保存到目标距离数据。当通过使用激光器110或可选地通过检测透镜位置并使透镜位置关联到已知的到目标距离(其与该透镜位置相关联)来捕获图像时，该数据可由热成像相机获得。到目标距离数据可由热成像相机100使用，来引导用户将相机定位到在距目标相同的距离处(例如通过基于当用户改变相机的位置时所进行的激光测量来引导用户移动得更靠近或更远离目标)，直到实现与在早先图像相同的到目标距离。热成像相机还可将透镜自动设定到与在早先的图像中使用的相同的位置，或可引导用户改变透镜的位置，直到获得原始透镜设定。

在热成像相机100操作期间，操作员可能希望观看相机所产生的场景的热图像和／或同一场景的可见光图像。为此，热成像相机100可包括显示器。在图1和2的示例中，热成像相机100包括显示器108，其位于外壳102的与红外透镜组件104和可见光透镜组件106相对的背面。显示器108可配置成显示可见光图像、红外图像和／或合成图像，该合成图像是可见光图像和红外图像的同时显示。在不同的示例中，显示器108可以远离热成像相机100的红外透镜组件104和可见光透镜组件106(例如，与红外透镜组件104和可见光透镜组件106分开)，或显示器108可处于相对于红外透镜组件104和／或可见光透镜组件106的不同空间布置中。因此，虽然显示器108在图2中被示为在红外透镜组件104和可见光透镜组件106的后面，然而显示器108在其它位置也是可行的。

热成像相机100可包括用于控制相机的操作并调节相机的不同设定的各种用户输入介质。示例性控制功能可包括调节红外和／或可见光光学器件的焦距、打开／关闭快门、捕获红外和／或可见光图像等。在图1和2的示例中，热成像相机100包括用于捕获红外和可见光图像的可按下的触发控制器112、以及形成用户接口的部分的用于控制相机的操作的其它方面的按钮116。不同数量或布置的用户输入介质是可行的，且应认识到，本公开内容并不被限于这方面。例如，热成像相机100可包括通过按下屏幕的不同部分来接收用户输入的触摸屏显示器108。

图3是示出热成像相机100的示例的部件的功能方框图。热成像相机100包括IR相机模块200、前端电路202。IR相机模块200和前端电路202有时组合地被称为红外相机100的前端级或前端部件204。热成像相机100还可包括可见光相机模块206、显示器108、用户接口208和输出／控制设备210。

红外相机模块200可被配置成接收由目标场景发出的红外能量，并将红外能量聚焦在红外传感器上用于产生例如能够以红外图像的形式显示在显示器108上和／或存储在存储器中的红外能量数据。红外相机模块200可包括用于执行属于本文模块的功能的任何合适的部件。在图3的示例中，红外相机模块200被示为包括红外透镜组件104和红外传感器220。如上文关于图1和2描述的，红外透镜组件104包括获取由目标场景发出的红外能量并将红外能量聚焦在红外传感器220上的至少一个透镜。红外传感器220通过产生可被转换并在显示器108上显示为红外图像的电信号而响应于聚焦的红外能量。

红外透镜组件104可以具有各种不同的配置。在一些示例中，红外透镜组件104定义了特定大小的焦距比数(F-number)(也可以称为焦比或F制光圈)。近似的焦距比数可通过使透镜组件的有效焦距除以透镜组件(例如红外透镜组件104的最外面的透镜)的入口的直径来确定，其可指示进入透镜组件的红外辐射量。通常，增大红外透镜组件104的焦距比数可以增大透镜组件的景深或在可接受聚焦内的目标场景中的最近和最远物体之间的距离。当使用设定在超焦距位置处的热成像相机100的红外光学器件来观看目标场景中的不同物体时，增大的景深可帮助实现可接受的聚焦。然而，如果红外透镜组件104的焦距比数增大太多的话，则衍射效应将降低空间分辨率(例如，清晰度)，从而使目标场景可能不在可接受的聚焦内。增大的焦距比数也可能降低热灵敏性(例如，将恶化噪声等效温差)。

红外传感器220可包括一个或多个焦平面阵列(FPA)，其响应于通过红外透镜组件104接收的红外能量而产生电信号。每个FPA可包括多个红外传感器元件，其包括例如测辐射热仪、光子检测器或其它合适的红外传感器元件。在操作中，每个传感器元件(每个可被称为传感器像素)可响应于吸收从目标场景接收的红外能量而改变电特性(例如，电压或电阻)。电特性中的改变转而可提供可由处理器222接收并处理成在显示器108上显示的红外图像的电信号。

例如，在红外传感器220包括多个测辐射热仪的示例中，每个测辐射热仪可吸收通过红外透镜组件104聚焦的红外能量，并响应于所吸收的能量在温度上增加。每个测辐射热仪的电阻可随着测辐射热仪的温度变化而发生变化。在每个检测器元件起到像素功能的情况下，可进一步通过将每个检测器元件的电阻中的变化转换成时间复用电信号来产生红外辐射的二维图像或图片表示，可处理该时间复用电信号来用于在显示器上可视化或存储在(例如，计算机的)存储器中。处理器222可通过将电流(或电压)施加到每个测辐射热仪来测量每个测辐射热仪的电阻变化，并测量在测辐射热仪两端所产生的电压(或电流)。基于这些数据，处理器222可确定由目标场景的不同部分发出的红外能量的数量，并控制显示器108显示目标场景的热图像。

与包括在红外传感器220的FPA中的特定类型的红外传感器元件无关，FPA阵列可定义任何合适的尺寸和形状。在一些示例中，红外传感器220包括布置在栅格图案中的多个红外传感器元件，例如布置在垂直列和水平行中的传感器元件的阵列。在各种示例中，红外传感器220可包括垂直列乘水平行(例如16×16、50×50、160×120、120×160或650×480)的阵列。在其它示例中，红外传感器220可包括较小数量的垂直列和水平行(例如，1×1)、较大数量的垂直列和水平行(例如，1000×1000)或列与行的不同比。

在某些实施例中，读出集成电路(ROIC)合并在IR传感器220上。ROIC用于输出与每个像素相对应的信号。这样的ROIC通常被制造为硅衬底上的集成电路。可将多个检测器元件制造在ROIC的顶部，其中它们的组合提供IR传感器220。在一些实施例中，ROIC可包括在本公开内容中的其它地方讨论的、直接合并到FPA电路上的部件(例如，模数转换器(ADC))。应将ROIC这样的集成或未被明确讨论的其它另外的集成水平考虑在本公开内容的范围内。

如上所述，IR传感器220产生与由每个红外检测器元件接收的红外辐射相对应的一系列电信号，以表示热图像。当通过扫描构成IR传感器220的所有行来获得来自每个红外检测器元件的电压信号时，产生热图像数据的“帧”。此外，在涉及作为红外检测器元件的测辐射热仪的某些实施例中，通过将对应的检测器元件切换到系统电路中并在这样的接入元件两端施加偏置电压来完成这样的扫描。热图像数据的连续帧通过重复扫描IR传感器220的行来产生，其中以足以产生热图像数据的视频表示的速率(例如，30Hz或60Hz)来产生这样的帧。

前端电路202包括用于通过接口与IR相机模块200连接并控制IR相机模块200的电路。此外，前端电路202最初将所采集的红外图像数据进行处理并经由其间的连接而传输到处理器222。更具体地，由IR传感器220产生的信号最初由热成像相机100的前端电路202调节。在某些实施例中，如所示，前端电路202包括偏置产生器224和前置放大器／积分器226。除了提供检测器偏置以外，偏置产生器224可以可选地加上或减去来自对每个接入检测器元件产生的总电流的平均偏置电流。平均偏置电流可改变，以便(i)补偿由于热成像相机100内部的环境温度的改变而产生的检测器元件的电阻的整个阵列的偏差，以及(ii)补偿IR传感器220的平均检测器元件中的阵列间(array-to-array)变化。这样的偏置补偿可由热成像相机100或软件自动控制，或可经由对输出／控制设备210或处理器222的输入由用户控制。在提供检测器偏置和可选地减去或加上平均偏置电流之后，信号可通过前置放大器／积分器226传递。通常而言，前置放大器／积分器226用于例如在进入信号的数字化之前调节该进入信号。因此，进入信号可被调节成能够实现信号的更有效的解译的形式，且转而可导致所创建的图像更有效的分辨率。随后，所调节的信号被发送到在下游的热成像相机100的处理器222。

在一些实施例中，前端电路202可包括一个或多个附加的元件，例如附加的传感器228或ADC230。附加的传感器228可包括例如温度传感器、可见光传感器(例如CCD)、压力传感器、磁性传感器等。这样的传感器可提供附加的校准和检测信息，以增强热成像相机100的功能。例如，温度传感器可提供在IR传感器220附近的环境温度读数，以帮助辐射测量计算。例如霍尔效应传感器的磁性传感器可结合安装在透镜上的磁体来使用，以提供透镜聚焦位置信息。这样的信息对于计算距离或确定用于从可见光传感器搜集的可见光场景数据的视差补偿是有用的。

ADC230可提供相同的功能并以实质上与如下讨论的相同的方式操作，然而它包括在前端电路202中可提供某些益处，例如在经由其之间的连接传输到处理器222之前对场景和其它传感器信息的数字化。在一些实施例中，如上所述，ADC230可集成到ROIC中，从而消除对单独地装配和安装的ADC230的需要。

在一些实施例中，前端部件还可包括快门240。快门240可以相对于透镜位于外部或内部，并操作来打开或关闭由IR透镜组件104所提供的视野。如在本领域中已知的，快门240可机械性定位，或可由机电设备(例如DC电机或螺线管)来启动。本发明的实施例可包括校准或安装软件实现的方法或设定，其利用快门240来建立每个检测器元件的合适偏置水平。

被描述为在热成像相机100内的处理器(包括处理器222)的部件可单独地或以任何合适的组合被实现为一个或多个处理器，例如一个或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、可编程逻辑电路等。处理器222还可包括存储程序指令和相关数据的存储器，当该程序指令和相关数据由处理器222执行时使热成像相机100和处理器222执行属于它们在本公开内容中的功能。存储器可包括任何固定或可移动的磁性、光学或电介质，例如RAM、ROM、CD-ROM、硬盘或软磁盘、EEPROM等。存储器还可包括可用于提供存储器更新或增加存储器容量的可移动存储器部分。可移动存储器还可以允许图像数据易于传送到另一计算设备或在热成像相机100用在另一应用中之前被去除。处理器222还可被实现为将计算机或另一电子系统的所有部件集成到单个芯片中的片上系统。这些元件操控从前端级204输送的经调节的场景图像数据，以便提供可被显示或存储的输出场景数据来由用户使用。随后，处理器222(处理电路)将所处理的数据发送到显示器108或另一输出／控制设备210。

在热成像相机100操作期间，处理器222可控制红外相机模块200，以产生用于创建红外图像的红外图像数据。处理器222可产生红外图像数据的数字“帧”。通过产生红外图像数据的帧，处理器222在给定的时间点捕获目标场景的红外图像。

处理器222可通过测量包括在红外传感器220的FPA中的每个红外传感器元件的电信号一次，来捕获目标场景的单个红外图像或“快照”。可选地，处理器222可通过重复测量包括在红外传感器220的FPA中的每个红外传感器元件的电信号来捕获目标场景的多个红外图像。在处理器222重复测量包括在红外传感器220的FPA中的每个红外传感器元件的电信号的示例中，处理器222可产生目标场景的动态热图像(例如，视频表示)。例如，处理器222可以以足以产生热图像数据的视频表示的速率(例如30Hz或60Hz)来测量包括在FPA中的每个红外传感器元件的电信号。处理器222可在捕获红外图像(例如，相继启动快门240来打开和关闭红外透镜组件104的光圈等)时执行其它操作。

在红外传感器220的每个传感器元件起传感器像素的功能的情况下，处理器222可通过将每个传感器元件的电特性(例如，电阻)的变化转换成时间复用电信号来产生来自目标场景的红外辐射的二维图像或图片表示，可处理该时间复用电信号来例如用于在显示器108上可视化和／或存储在存储器中。处理器222可执行计算以将原始红外图像数据转换成场景温度(辐射测量)，其在一些示例中包括对应于场景温度的颜色。

处理器222可控制显示器108，以显示所捕获的目标场景的红外图像的至少一部分。在一些示例中，处理器222控制显示器108，使得红外传感器220的每个传感器元件的电响应与显示器108上的单个像素相关联。在其它示例中，处理器222可增大或减小红外图像的分辨率，使得比红外传感器220中所具有的传感器元件更多或更少的像素显示在显示器108上。处理器222可控制显示器108显示整个红外图像(例如，由热成像相机100捕获的目标场景的所有部分)或小于整个红外图像(例如，由热成像相机100捕获的整个目标场景的较少部分)。处理器222可执行如在下面更详细地描述的其它图像处理功能。

与特定的电路无关，热成像相机100可配置成操控表示目标场景的数据，以便提供可被显示、存储、传输或以另外方式被用户利用的输出。

热成像相机100包括可见光相机模块206。可见光相机模块206可配置成从目标场景接收可见光能量，并将可见光能量聚焦在可见光传感器上用于产生可见光能量数据，该可见光能量数据例如可以以可见光图像的形式显示在显示器108上和／或存储在存储器中。可见光相机模块206可包括用于执行属于本文模块的功能的任何合适的部件。在图3的示例中，可见光相机模块206被示为包括可见光透镜组件106和可见光传感器242。如以上关于图1和2所描述的，可见光透镜组件106包括获取由目标场景发出的可见光能量并将可见光能量聚焦在可见光传感器242上的至少一个透镜。可见光传感器242通过产生可被转换并作为可见光图像显示在显示器108上的电信号来响应于聚焦的能量。

可见光传感器242可包括多个可见光传感器元件，例如，CMOS检测器、CCD检测器、PIN二极管、雪崩光敏二极管等。可见光传感器元件的数量可与红外光传感器元件的数量相同或不同。

在操作时，从目标场景接收的光能可穿过可见光透镜组件106并聚焦在可见光传感器242上。当光能撞击在可见光传感器242的可见光传感器元件上时，光电检测器内的光子可被释放并转换成检测电流。处理器222可处理这个检测电流以形成目标场景的可见光图像。

在热成像相机100使用期间，处理器222可控制可见光相机模块206，以从所捕获的目标场景产生可见光数据来创建可见光图像。可见光数据可包括指示与所捕获的目标场景的不同部分相关联的颜色和／或与所捕获的目标场景的不同部分相关联的光的幅值的发光度数据。处理器222可通过测量热成像相机100的每个可见光传感器元件的响应一次，来产生可见光图像数据的“帧”。通过产生可见光数据的帧，处理器222在给定时间点捕获目标场景的可见光图像。处理器222还可重复测量热成像相机100的每个可见光传感器元件的响应，以便产生目标场景的动态热图像(例如，视频表示)，如上面关于红外相机模块200所述的那样。

在可见光相机模块206的每个传感器元件起到传感器像素的功能的情况下，处理器222可通过将每个检测器元件的电响应转换成时间复用电信号来产生来自目标场景的可见光的二维图像或图片表示，可处理该时间复用电信号来例如用于在显示器108上可视化或存储在存储器中。

处理器222可控制显示器108，以显示所捕获的目标场景的可见光图像的至少一部分。在一些示例中，处理器222控制显示器108，使得可见光相机模块206的每个传感器元件的电响应与显示器108上的单个像素相关联。在其它示例中，处理器222可增大或减小可见光图像的分辨率，使得比可见光相机模块206中所具有的传感器元件更多或更少的像素显示在显示器108上。处理器222可控制显示器108以显示整个可见光图像(例如，由热成像相机100所捕获的目标场景的所有部分)或小于整个红外图像(例如，由热成像相机100所捕获的整个目标场景的较小部分)。

如上所述，处理器222可配置成确定热成像相机100与目标场景中的物体之间的距离，该目标场景由相机产生的可见光图像和／或红外图像所捕获。处理器222可基于与相机相关联的红外光学器件的聚焦位置来确定该距离。例如，处理器222可检测与相机的红外光学器件相关联的聚焦机构的位置(例如，物理位置)(例如，与红外光学器件相关联的聚焦位置)，并确定与该位置相关联的到目标距离值。处理器222可随后参考存储在存储器中的数据，其使不同的位置与不同的到目标距离值相关联以确定热成像相机100与目标场景中的物体之间的特定距离。

在这些和其它示例中，处理器222可控制显示器108，以同时显示热成像相机100所捕获的可见光图像的至少一部分和热成像相机100所捕获的红外图像的至少一部分。这样的同时显示将是有用的，这是因为操作员可参考显示在可见光图像中的特征以帮助理解同时显示在红外图像中的特征，因为相比于红外图像，操作员可更容易识别并区分在可见光图像中的真实世界特征。在各种示例中，处理器222可控制显示器108以在并排布置中、画中画布置中(其中一个图像围绕另一个图像)、或可同时显示可见光图像和红外图像的任意其它合适布置，来显示可见光图像和红外图像。

例如，处理器222可控制显示器108，以在合成图像中显示可见光图像和红外图像。在合成图像中，可见光图像和红外图像可叠置在彼此的顶部上。操作员可与用户接口208互动，以控制显示在显示器108上的图像中的一个或两个的透明性或不透明性。例如，操作员可与用户接口208互动以在完全透明与完全不透明之间调节红外图像，并且还在完全透明与完全不透明之间调节可见光图像。这样的示例性合成图像(其可组成图像的α混合布置)可允许操作员调节显示器108，以显示仅红外图像、仅可见光图像、在仅红外图像与仅可见光图像的极端情况之间的两个图像的任何重叠的组合。处理器222还可在合成图像中将场景信息与其它数据(例如辐射测量数据、警报数据等)相组合。

此外，在一些实施例中，处理器222可解译并执行来自用户接口208、输出／控制设备210的命令。这可涉及各种输入信号的处理和经由其之间的连接将这些信号传送到前端电路202。最接近前端电路202的部件(例如，电机或螺线管)可被启动，以完成期望的控制功能。示例性控制功能可包括调节聚焦、打开／关闭快门、触发传感器读数、调节偏置值等。而且，输入信号可用于改变出现在处理器222中的图像数据的处理。

处理器还可包括用于帮助红外成像相机100的处理和控制的其它部件。例如，如上所述，在一些实施例中，ADC可合并到处理器222中。在这样的情况下，由前端级204调节的模拟信号未被数字化，直到到达处理器222。而且，一些实施例可包括用于在将处理的命令信息和场景数据传输到显示器108或输出／控制设备210之前将该处理的命令信息和场景数据存储的附加板载(on board)存储器。

操作员可经由用户接口208与热成像相机100互动，该用户接口208可包括按钮、键或用于从用户接收输入的另一机构。操作员可经由显示器108从热成像相机100接收输出。显示器108可配置成以任何可接受的调色板或彩色方案来显示红外图像和／或可见光图像，且调色板可例如响应于用户控制而改变。在一些示例中，显示器108被配置成以单色调色板(例如灰度或琥珀色)来显示红外图像。在其它示例中，显示器108被配置成以彩色调色板(例如铁红(ironbow)、蓝红)或其它高对比度的彩色方案来显示红外图像。也可设想灰度和彩色调色板组合的显示。

虽然处理器222可控制显示器108来以任何合适的布置同时显示至少一部分红外图像和至少一部分可见光图像，然而画中画布置将能够帮助操作员通过在相邻排列中显示同一场景的对应可见图像来易于聚焦和／或解译热图像。

电源(未示出)将操作功率输送到热成像相机100的各种部件，且在一些示例中可包括可再充电的或不可再充电的电池和发电电路。

在热成像相机100操作期间，处理器222借助于与存储在存储器中的程序信息相关联的指令来控制红外相机模块200和可见光相机模块206，以产生目标场景的可见光图像和红外图像。处理器222还控制显示器108，以显示由热成像相机100产生的可见光图像和／或红外图像。

当向热目标(例如，太阳)曝光时，已知使用微测热辐射计的焦平面阵列的热像仪可以显示出“重影”伪影。该效应类似于在自然界中，当一个人看强光时，随后转移目光，常常会有随着时间逐渐消失的光的余像。这就是微测热辐射计热像仪的情况。强烈的红外辐射可能会引起目标“燃烧”图像伪影到传感器中，从而使当相机摄向别处到一个较低强度的场景时，由于对传感器的影响，而导致余像或者重影伪影都将保持一段时间，从而扭曲热图像数据并显示出与真实温度稍微不同的温度。当将视野从强辐射场景改变为低强度辐射场景时，该效应会更加突出，该误差可仍然呈现在更大强度的场景中。因此，不管热场景中的目标温度如何，任何已显示出来的重影伪影都可能引起热测量误差和／或讨厌的热图像伪影。

典型地，在热物品从视野移开之后，重影伪影在几分钟的时间内慢慢衰减掉。一个已知的使严重的重影伪影最小化的方法是在视野中检测到热目标之后，在一段时间内增加快门驱动的频率。然而，较频繁的快门事件会让用户厌恶，并且在新兴的无快门热像仪中不能实现该方法。本发明的特定实施例提供了从热成像中检测和去除热目标伪影的系统、装置、算法、和／或方法。

在一些实施例中，热像仪可以仅累积当目标温度在特定阈值以上的可察觉的重影伪影，否则保持准确的测量直到超过该阈值。热像仪可以当目标场景构成热目标时，通过将读出的每个像素与合适的阈值相比较来进行检测。该比较可以在行读出或校正后的读出(例如入射红外辐射或辐射温度测量的图像呈现)时进行。该比较测试可针对每一像素和每一帧进行。一旦在特定像素上检测到热目标，可以使用特定方案或算法来确定对于任意特定的像素需要多少校正。在本发明的特定实施例中，热像仪可以使用算法来计算在给定时段内出现热目标的帧数目(例如，其中任何读取的像素超过阈值)。在本发明的其它特定实施例中，热像仪可以使用算法在出现热目标的时段期间对像素数据积分，因为这随后可提供热目标的不同水平上(例如，热或非常热)的校正。可以结合单个像素的校正来产生校正值表，在显示图像之前将该校正值表应用到每个数据帧。由于重影伪影在热目标从视野中去除后慢慢衰减掉，因此对于每个像素的校正值将需要在对应的、合适的时标内进行合适的“衰减”，例如，对于每个像素，当热目标出现并随后慢慢衰减到热目标不再出现在那个位置时，将累积校正水平。在合适的工厂校准过程期间确定校正的幅度和衰减率(及其功能形式)，在该工厂校准过程期间，相机显示一系列变化的热目标，并特征化所产生的伪影的幅度和衰减率。

之前提到的某一实施例可以包括对读取为高于某一阈值的特定像素帧的数目进行计数。对于所述阈值之上的每个帧，该装置将假定已在像素中确立某一数量的偏移或测量误差，并可以在显示或捕获图像之前对该数量进行内部补偿。这里和贯穿本公开的“偏移”仅指平均误差，并不限制该误差性质必须为加法、乘法等中的一个；也不暗示该误差必须为正数或负数。

在更多改进的实施例中，处理器222将再次监视像素读取的热值什么时候高于某一阈值，但将根据相机的能力和功能来进一步执行该值、温度、和／或经过一段时间的入射在所述像素上的功率的积分。由该积分所产生的值可对应于与特定像素相关联的热偏移量，并因此可在图像显示之前通过该装置去除该偏移以校正重影伪影。该偏移的去除可以通过许多方法进行，包括但不限于减法或乘法。该方法由于其统计像素读取的热值超过阈值的程度而进一步提高，允许使用该信息以更加准确地预测持续地引入像素中的任何偏移。

本发明的另一实施例涉及的如何随时间累积偏移功能模型、以及与每个测量的温度相关联的偏移将随时间接近的饱和偏移值。该实施例可以包括定时元件，其在成像设备感测到与给定像素相关联的温度中的显著变化从而使其饱和偏移转变时开始计时。该装置通过功能模型来预期偏移温度将如何随时间接近饱和值，并由此感测到在任何给定像素中的温度改变之后对温度偏移值进行估计。这种类型的模型在图6-8中被示例出，并可以在感测到显著温度变化的任何时候简单地重复，从而重启定时器并接近新的偏移饱和值。

在图4中概述了包括由于重影而导致的热目标重影和基于温度的饱和偏移的热图像捕获的典型处理。在热场景通过热成像相机401成像时，如果目标场景内的元件在特定温度之上，则可感测的重影伪影开始形成402。由于显示的温度测量或热成像可能包括真实的目标温度测量加上某个累积偏移，因此该重影伪影可使温度测量累积一些误差和／或使热图像伪影出现。该偏移可以接近给定目标温度的某个饱和值，当两者无论何时不相等时，都会引起该偏移值趋向该饱和值403。一旦去除热目标，每个像素捕获的热偏移量随时间残留。随着热目标不再出现在所述帧中，在装置中的感测温度将匹配于帧中物体的真实温度的点处，偏移停止增加，并相反朝向零衰减。如果该热目标由另一个不同温度的热目标取代，代替偏移朝向零衰减，而是偏移将朝向新场景温度的饱和偏移值上升或衰减404。该过程重复405，直到目标温度与零偏移相关联并且任何现有的偏移衰减至0。由于该重影的衰减，并还由于取决于偏移饱和值的任何目标温度，处理器222在很多情况下，对于每个像素随时间改变补偿量。图5示出了关于热目标从场景中去除的这个需要。图6-8将详细描述基于温度的偏移值的影响。

图5是补偿温度没有考虑偏移值可能的变化的真实的目标温度、测量温度以及补偿温度相对时间的示例性曲线图。它示出了对于单个像素，成像场景的实际温度501、由包括重影伪影的设备感测的未调整的测量温度502、以及在单个校正时设备将显示的补偿温度值503、在t=0时从场景中去除热目标的统计偏移温度。如所示的，在去除热目标的时间附近，偏移校正提高了测量的准确度，从而使实际501和补偿503温度相互靠近。在一段时间过后，然而，可以看出由于重影伪影而导致的偏移发生衰减，偏移校正实际上降低了装置的准确度，因为相比于未调节的测量温度502，补偿温度503进一步远离了实际温度501。因此，不仅确定重影伪影的幅度是重要的，而且对于精确图像或温度测量而言随时间调节偏移以匹配于重影伪影的变化也同等重要。

值得注意的是，如果目标场景从一个热目标改变到另一个具有不同饱和值的热目标，则偏移将朝向该新值上升或衰减。在这种情况下，可以实施如在图6中概述的处理，以在热测量期间对变化的偏移值进行补偿(例如，减少)，对该处理的描述如其可以在辐射测量期间执行的一样。可以通过上述处理器222来实现该规程。该过程包括预测与当前帧相关联的偏移值602，当该处理首次开始时假设没有偏移。该预测的偏移可以用于与来自热成像相机的测量温度相结合，以计算预测温度603。该预测温度可具有相关联的偏移饱和值604，其可以与当前预测的偏移值进行比较605、606、和／或607。基于当前帧的预测偏移与饱和偏移比较的情况，为下一帧改变预测偏移608或609，以便接近达到饱和值，所述变化遵循某一偏移行为的基于时间的模型611。如果所预测的偏移发生改变，为显示在接下来的帧中，计算新的预测温度612。然而，如果预测偏移等于饱和偏移温度607，对于随后的帧，所预测的偏移将不发生改变610。最后，所校正的热图像被捕获和／或显示，从图像中减去预测偏移以实现无偏移热场景。随着时间的前进以及下一帧的捕获，重复处理，其中预测偏移接近饱和值。不同于减法的偏移去除方法也是可行的并适于上述方法。

图7和8图形示出了预测偏移行为的势模型，其中示出了目标温度相对时间的曲线图，以及在下面的对应的饱和偏移相对时间的曲线图。重叠在这些饱和偏移曲线图上的是在每种情况下的预测偏移温度相对时间的模型。应注意到，在这些图中使用的任何值都仅仅是示例，并为了帮助其描述而提出。他们不需要对于任何装置呈现真实值。在实践中，可以在实验室或工厂中确定元件(例如可能的饱和偏移值和偏移发展的基于时间的模型)，并在分配给用户之前被编程到相机中。在各种实施例中，可以基于给定场景的预定温度来计算偏移饱和值或在查找表中查找到。另外，偏移上升和／或衰减可以适应于很多不同的函数，包括但不以任何方式限于线性和指数函数，其可包括不依赖于温度的时间常数。

本领域技术人员可以理解的是相机可以包括在其中可以追踪和存储历史测量和将来使用的偏移数据的存储器。这样的数据可包括像素达到饱和或进入饱和附近所需的时间、像素可以保持在饱和值或在饱和值附近多长时间，或任何像素是否已超过饱和值。在一些实施例中，相机可以包含处理装置来解译该存储的数据并据此调节相机的行为，这样的调节模型参数对应于偏移如何接近饱和，或是调节与热测量相关联的饱和值。

在图7的示例性示例中，花费足够的时间来对每个温度进行成像，使得对于每一给定的温度710，预测偏移730非常接近饱和偏移720。垂直虚线划分出时间段701、702、703、704和705。在时间段701中，目标温度710很低，并且饱和偏移720实际上为零。然而，一旦到达时间段702，在场景中输入了一个600℃的热目标，其中2℃的对应饱和偏移720温度。预测偏移730从0℃朝向2℃爬升，直到到达时间段702的结尾，在时间段702结束时，目标温度710下降到300℃，其中0.5℃的对应饱和偏移720。在该点处，预测偏移730从其当前值(在该情况下接近2℃)开始朝向与当前温度相关联的饱和偏移720(这里为0.5℃)衰减。该过程在每个时间段703、704和705期间持续，预测偏移730的值从之前的时间段结束时的值朝向当前时间段的饱和偏移值720上升或衰减。在时间段704结束之后，在时间段705期间，饱和偏移720是0℃，并由此真实预测偏移730朝向大致0℃衰减，直到最后这里没有可测量到的预测偏移730。

相反，在图8的说明性示例中，相比于预测偏移830接近饱和820的必要时间，相机在较短的时间内对最热目标进行成像。此外，在第一时间段801期间，温度810如饱和偏移820一样接近零并具有零预测偏移830。在时间段802开始，通过特定像素感测到600℃的热目标。在这个示例中，与前一个一样，对应的饱和偏移820温度是2℃。在时间段802期间，预测偏移830的温度如图7所进行的一样朝向饱和820爬升，然而，时间段802短于时间段702，并在预测偏移830温度接近饱和值820之前结束。在时间段802结束和时间段803开始时，目标温度810变为300℃，并具有0.5℃的对应饱和偏移820值。当目标温度810的这个改变发生时，预测偏移830值立即从其当前状态(其仅仅是在1.25℃之上)开始衰减到0.5℃的饱和偏移820。从时间段803到804的转变以及从时间段804到805的转变类似于上述的从时间段703到704的转变以及从时间段704到705的转变。再一次地，在时间段805之后，预测偏移830温度将持续朝向零衰减，即给定的25℃的目标温度810的饱和偏移820值。

因此，在这些示例中，预测温度偏移值随时间改变，要么上升或者要么衰减到与当前目标温度相关联的饱和偏移温度。这克服了图5所示的恒定预测偏移值的缺点。此外，当预测了新的偏移饱和值时，立即开始偏移值朝向饱和的趋向。应注意的是，结合这些图和整个公开内容描述的偏移并不限于任何特定的误差类型，例如增加加或乘。相反，仅指示真实和测量的热值之间的某些偏差。另外，图5-8描述了其中正被测量的温度的情形，所描述的处理和情形也可以应用于未计算温度数据的热测量。在这种情况下，饱和值可以应用于在热图案内分析的任何度量，例如入射功率。

下面将描述补偿这些重影效应的热成像设备的说明性辐射测量的实施例；然而，本发明的实施例不需要是辐射测量的，并可以测量不同于绝对温度的热数据。具有存储器和至少一个处理器的热成像设备被编程为将特定饱和偏移温度与具有任何给定测量场景的温度相关联。该关联处理可以包括查找表、公式，或本领域任何其它已知的处理。热成像设备还包括定时机构并被编程为具有描述偏移行为的基于时间的公式。在开始使用设备时，假定没有可感知的与相机内的任何像素相关联的偏移。在开始操作之后，对于每一个帧，相机检测每个像素的温度数据，每个温度具有对应的饱和偏移温度。

对于任何给定的像素，一旦相机检测到目标温度的变化，则为新温度确定相关联的饱和偏移。仍参照该操作的开始，假定在相机上已经没有偏移。同样，当相机检测到目标场景的温度变化时，也可以感测饱和偏移从零到某一新的、潜在的非零值的变化，并启动定时器。使用该偏移的新值和初始值(其在这种情况下为0)，相机模拟偏移朝向饱和的时间变化。在显示下个帧之前，随后，相机使用该模型来预测在感测新偏移饱和的时间和捕获下个帧的数据的时间之间偏移值将如何变化。因此，相机及其处理器可以在捕获帧的数据时，从即将到来的帧中去除预测偏移值，从而得到与该帧相关联的校正的温度值。

当由相机预测的偏移随时间朝向饱和偏移发展时，该处理持续下去。由此，在该处理的任何给定时间，相机具有最新的偏移预测值。随后，如果相机在任何点处感测到目标场景温度的另一变化，确定新的饱和偏移值，读取当前的预测偏移值，重启定时器，并当其从当前值接近新的饱和值时，模拟偏移的时间变化。在每一帧之前重复该处理，其中定时器根据感测到的温度变化进行重设，直到目标场景具有与此关联的零偏移，并且相机已经模拟到偏移衰减到基本接近于零值。

在本发明的某一实施例中，相机包括某一阈值，其构成目标温度的有意义的变化。如果是这种情况，则不重设定时器，除非所感测的温度变化大于该阈值，由此减少或消除了没有必要的重设的可能性，该没有必要的重设是由于并入到像素读数中的正常噪声水平而导致的。

可以以各种方法从相应的像素和帧中去除预测偏移值。在一些实施例中，处理器可以获取每个像素的预测偏移值，并在热图像数据已从IR感测元件中产生之后且在任何显示之前，从每个像素中去除预测值。在其它实施例中，之前提到的偏置产生器可以从处理器接收指令，以例如将与预测偏移相对应的IR感测元件偏置。在这种情况下，调节感测元件自身，以使得它们产生与并入的偏移值的温度相反地呈现真实目标温度的输出信号。因此，在该实施例中，在上述处理器中附加的偏移补偿不是必需的。除了上面所列的示例，可以理解的是，对于给定的预测偏移值，具有很多方法来调节热成像相机的热测量以去除偏移。

已描述了示例性的热成像相机和相关技术。本公开内容中描述的技术也可以实现或编码在计算机可读介质中，诸如包含指令的非暂时性计算机可读存储介质。例如，当执行指令时，嵌入或编码到计算机可读存储介质中的指令会使得可编程处理器或其它处理器执行该方法。计算机可读存储介质可包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘、光学介质、或其它计算机可读介质。

再次应该注意的是，任何示例都是为了说明所公开的发明的各个方面。它们并不将本发明限于所描述的细节上，因为所提供的描述只是本发明特定实施例的示例。已经描述了各种示例。这些和其它示例都落在所附权利要求的范围内。

Claims (25)

1.一种消除热成像设备中的热目标的重影效应的方法，包括：

将所述热成像设备暴露于热场景，

测量在所述场景上的热图案，

产生与所述热图案对应的热图像数据，

预测在将所述热成像设备暴露于所述场景给定的时间之后，将被并入到所述热图像数据中的偏移量，以及

从所述热图像数据中去除所述偏移。

2.如权利要求1所述的方法，其中测量所述场景的所述热图案包括辐射测量。

3.如权利要求2所述的方法，其中所述偏移包括温度偏移。

4.如上述权利要求中的任一项所述的方法，还包括根据去除了所述偏移的所校正的热图像数据来显示热图像的步骤。

5.如上述权利要求中的任一项所述的方法，其中从热图像数据中去除所述偏移包括从测量值中减去所预测的偏移。

6.如上述权利要求中的任一项所述的方法，其中所述热成像设备包括由像素阵列组成的焦平面阵列(FPA)，其中针对每个像素预测所述偏移并从所述每个像素中去除所述偏移。

7.如上述权利要求中的任一项所述的方法，还包括随时间改变从所述热图像数据中去除的偏移量。

8.如权利要求7所述的方法，其中所述改变遵循随时间的指数关系。

9.如权利要求8所述的方法，其中所述指数关系包括不依赖于温度的时间常数。

10.如上述权利要求中的任一项所述的方法，其中可在每一次捕获新场景之前改变所去除的偏移量。

11.如上述权利要求中的任一项所述的方法，其中预测所述偏移包括所述相机在暴露于所述场景期间所获取的所述热图像数据的时间积分。

12.如上述权利要求中的任一项所述的方法，还包括从每一帧预测和去除偏移值。

13.如上述权利要求中的任一项所述的方法，还包括在所述热图像数据内的阈值水平，假定在所述阈值水平之下没有偏移累积。

14.如权利要求13所述的方法，其中所述偏移量与在所述阈值水平之上的帧数目成比例。

15.如上述权利要求中的任一项所述的方法，还包括与每个热图案测量相对应的饱和偏移水平。

16.如权利要求15所述的方法，其中所述饱和偏移水平存储在查找表中。

17.一种热成像相机，其被配置为测量在热场景上的热图案，所述相机包括：

至少一个红外传感器元件，其被配置为响应于接收与在所述场景上的热图案相对应的红外能量而提供电信号，

处理器，其用于从所述至少一个红外传感器元件接收所述电信号，并且根据所述信号产生热图像数据，所述处理器还被配置为：

预测在将所述相机暴露于所述热场景给定的时间之后，将被并入到所述热图像数据中的偏移量，以及

从所述热图像数据中去除所预测的偏移。

18.如权利要求17所述的相机，还被配置为根据去除了所述偏移的所述热图像数据产生并显示热图像。

19.如权利要求17或18所述的相机，还被配置为进行辐射测量。

20.如权利要求19所述的相机，其中所述偏移包括温度偏移。

21.如权利要求17至20中的任一项所述的相机，其中预测所述偏移量包括与每个热图案测量相对应的饱和偏移。

22.如权利要求21所述的相机，还包括存储器，其用于存储至少一个历史偏移数据和包括饱和偏移值的查找表。

23.一种消除热成像设备中的热目标的重影效应的方法，包括：

将所述热成像设备暴露于热场景，

使用多个红外感测元件来测量在所述场景上的热图案，

产生与所述热图案相对应的热图像数据，

预测在将所述相机暴露于所述场景给定的时间之后，将被并入到所述热图像数据中的偏移量，以及

以有效地从所产生的热图像数据中去除所预测的偏移的方式对所述红外感测元件进行偏置。

24.如权利要求23所述的方法，还包括根据所述热图像数据来产生和显示图像的步骤。

25.如权利要求17至22中的任一项所述的相机，可根据权利要求1至16、23和24中的任一项所述的方法进行操作。