CN105007407A - 用于终端用户视差调整的方法 - Google Patents

Abstract

本发明涉及用于终端用户视差调整的方法，具体地涉及一种具有可见光和红外照相机模块的热成像系统，所述系统可以执行用于减小捕捉的可见光和红外图像之间的视差误差的各种方法。该系统可以执行第一校准方法，其可以是手动的或自动的，并且可以经由用户接口来接收后续视差改进调整。可将视差改进调整存储在存储器中以供将来使用。系统可以包括能够与红外照相机模块对接以便产生修改的红外图像的附加透镜。该系统可以执行用以减小修改的红外和可见光图像之间的视差的方法，并且可以接收后续视差改进调整以进一步减小修改的红外和可见光图像之间的视差。可以将附加透镜视差改进数据存储在透镜的照相机存储器的存储器中，以便将来在视差修正中使用。

Description

用于终端用户视差调整的方法

背景技术

在各种情况下使用热成像照相机。例如，在维护检查期间常常使用热成像照相机来对设备进行热检查。除其它类型的设备之外，示例性设备可包括旋转机械、配电板或成断路器排。热检查可以使用红外（IR）能量检测来检测设备热点，诸如过热机器或电气部件，帮助确保在更显著的问题发展之前及时地修理或替换过热设备。

根据照相机的构造，热成像照相机还可生成同一对象的可见光图像。照相机可以协调方式显示红外图像和可见光图像，例如以帮助操作员解释由热成像照相机生成的热图像。不同于一般地在不同对象之间提供良好对比度的可见光图像，与现实场景相比常常难以识别和辨别热图像中的不同特征。为此，操作员可依赖于可见光图像以帮助解释热图像和使其聚焦。

在热成像照相机被构造为生成热图像和可见光图像两者的应用中，照相机可包括两组单独的光学件：可见光光学件以及红外光学件，其中，所述可见光光学件使可见光聚焦在可见光传感器上用于生成可见光图像，所述红外光学件使红外辐射聚焦在红外传感器上用于生成红外图像。

包括可见光光学件和传感器以及红外光学件和传感器的照相机可将这些单独装置定位于照相机上的单独位置中。例如，VL部件可位于IR部件上方、下方或任一侧。因此，可设想在某些实施例中，用两组光学件观察到的场景基本上是不同的，一个偏离另一个，即，可存在被结合在图像之间的视差偏移，其可以是由于来自两组光学件的视差而引起的配准误差的体现。

在某些先前实施例中，用户可调整一组或多组光学件的焦距以尝试分辨此视差偏移。其它照相机可以是定焦器件，并且可能不具有用其来解决视差偏移的可调整焦距。某些照相机可以包括到目标距离（distance-to-target）测量并基于此类测量来调整视差。然而，在任何情况中，可出现其中聚焦、到目标距离或出厂校准视差修正不足且并未适当地修正视差误差的情况。另外，将附加透镜结合到热成像照相机中可以用于使视差修正混合或复杂化。

发明内容

本公开的方面针对用于减小红外（IR）与可见光（VL）图像之间的视差误差的系统和方法。在某些示例中，IR和VL图像可以经历第一视差修正以便减小图像之间的视差误差。可以例如经由使IR和VL图像中的一者或两者聚焦来执行此类修正。在第一视差修正之后，可以显示IR和VL图像，包括第一修正。随后，用户可以经由用户接口手动地对IR和VL图像进行配准。该手动配准可以导致第一组视差改进数据，其可以在第一视差修正之后修正其余视差。可以将第一组视差改进数据存储在存储器（例如，照相机中的存储器）中以供将来使用，诸如以用于输入到视差修正数学算法中。

在某些示例中，一种系统可以包括用于产生已修改IR图像的附加IR透镜。在类似于上述的过程中，该系统可以执行视差修正（例如，第二视差修正）以减小已修改IR图像与相应VL图像之间的视差。可以在视差修正过程之后在显示器上呈现结果得到的已修改IR和相应VL图像。随后，用户可以经由用户接口来手动地对已修改IR和相应VL图像进行配准。手动配准可以导致第二组视差改进数据。可以将此第二组视差改进数据存储在存储器中以供将来使用。在某些示例中，可以将第二组视差改进数据存储在照相机存储器或存储于附加透镜内的存储器中。

在某些实施例中，系统可以采用数学算法用于执行自动化视差改进。在某些示例中，该系统包括一个或多个数学算法，其能够接收视差改进数据作为输入以确定视差改进值。例如，在某些示例中，该系统可以接收存储在存储器（例如，照相机存储器或透镜存储器中的一者或两者）中的视差改进数据作为到数学算法中的输入。在某些实施例中，可以将视差改进数据重置以不促进由一个或多个数学算法确定的视差改进。

附图说明

图1是示例性热成像照相机的透视前视图。

图2是图1的示例性热成像照相机的透视后视图。

图3是图示出图1和2的热成像照相机的示例性部件的功能框图。

图4是示出了热成像照相机的各部分与附加IR透镜之间的接合和通信的示意性表示。

图5是图示出用于对视差误差进行微调的示例性方法的过程流程图。

图6是图示出用于在使用附加IR透镜的同时对视差误差进行微调的示例性方法的过程流程图。

图7是图示出包括视差误差的混合IR和VL图像的示例性屏幕快照。

具体实施方式

以下详细描述本质上是示例性的，且并不意图以任何方式限制本发明的范围、适用性或构造。相反地，以下描述提供了用于实现本发明的示例的某些实际说明。提供了用于所选元件的构造、材料、尺寸以及制造过程的示例，并且所有其它元件采用本发明的领域的普通技术人员已知的东西。本领域的技术人员将认识到许多所述示例具有各种适当的替换方案。

可以使用热成像照相机来跨在观察中的场景（包括一个或多个对象）检测热图。热成像照相机可检测由场景发出的红外辐射，并且将该红外辐射转换成指示热图的红外图像。在某些实施例中，热成像照相机还可从场景捕捉可见光，并将该可见光转换成可见光图像。根据热成像照相机的构造，照相机可包括用以使红外辐射聚焦在红外传感器上的红外光学件和用以使可见光聚焦在可见光传感器上的可见光光学件。

各种实施例提供了用于使用平均技术来产生具有减少噪声的热图像的方法和系统。为了进一步改善图像质量并消除可由平均（例如模糊、幻影等）引起的问题，在平均之前在热图像上执行图像对准过程。

图1和2分别地示出了示例性热成像照相机100的前和后透视图，其包括壳体102、红外透镜组件104、可见光透镜组件106、显示器108、激光器110以及触发控制机构112。壳体102容纳热成像照相机100的各种部件。热成像照相机100的底部部分包括用于经由一只手来握持和操作照相机的提把手。红外透镜组件104从场景接收红外辐射并使辐射聚焦在红外传感器上，以便生成场景的红外图像。可见光透镜组件106从场景接收可见光并使该可见光聚焦在可见光传感器上，以便生成同一场景的可见光图像。热成像照相机100响应于压下触发控制机构112而捕捉可见光图像和/或红外图像。另外，热成像照相机100控制显示器108显示由照相机生成的红外图像和可见光图像，例如以帮助操作员对场景进行热检查。热成像照相机100还可包括被联接到红外透镜组件104的聚焦机构，该红外透镜组件104被构造成使红外透镜组件的至少一个透镜运动，从而调整由热成像照相机生成的红外图像的焦距。

在操作中，热成像照相机100通过从场景接收在红外波长谱中发射的能量并处理该红外能量以生成热图像来检测场景中的热图。热成像照相机100还可通过接收在可见光波长谱中的能量并处理该可见光能量以生成可见光图像来生成同一场景的可见光图像。如下面更详细地描述的，热成像照相机100可包括被构造成捕捉场景的红外图像的红外照相机模块和被构造成捕捉同一场景的可见光图像的可见光照相机模块。红外照相机模块可接收通过红外透镜组件104投射的红外辐射并由此生成红外图像数据。可见光照相机可接收通过可见光透镜组件106投射的光并由此生成可见光数据。

在某些示例中，热成像照相机100基本上同时地（例如，在同一时间）收集或捕捉红外能量和可见光能量，使得由照相机生成的可见光图像和红外图像在基本上相同的时间是同一场景的。在这些示例中，由热成像照相机100生成的红外图像指示在特定时间段的场景内的局部化温度，而由照相机生成的可见光图像指示在同一时间段的同一场景。在其它示例中，热成像照相机可在不同的时间段从场景捕捉红外能量和可见光能量。

可见光透镜组件106包括至少一个透镜，其使可见光能量聚焦在可见光传感器上以便生成可见光图像。可见光透镜组件106定义可见光光轴，其穿过组件的所述至少一个透镜的曲率中心。可见光能量透过透镜的前面投射，并聚焦在透镜的相对侧。可见光透镜组件106可以包括串联地布置的单个透镜或多个透镜（例如，两个、三个或更多透镜）。另外，可见光透镜组件106可以具有固定焦距，或者可以包括用于改变可见光光学件的焦距的焦距调整机构。在其中可见光透镜组件106包括焦距调整机构的示例中，焦距调整机构可以是手动调整机构或自动调整机构。

红外透镜组件104还包括使红外能量聚焦在红外传感器上以便生成热图像的至少一个透镜。红外透镜组件104限定红外光轴，其穿过组件的透镜的曲率中心。在操作期间，红外能量被指引通过透镜的前面并聚焦在透镜的相对侧。红外透镜组件104可以包括可串联地布置的单个透镜或多个透镜（例如，两个、三个或更多透镜）。

如上文简要描述的，热成像照相机100包括用于调整由照相机捕捉的红外图像的焦距的聚焦机构。在图1和2中所示的示例中，热成像照相机100包括聚焦环114。聚焦环114被操作联接（例如，机械和/或电联接）到红外透镜组件104的至少一个透镜，并被构造成使所述至少一个透镜运动至各种聚焦位置，从而使由热成像照相机100捕捉的红外图像聚焦。可手动地使聚焦环114绕着壳体102的至少一部分旋转，从而使至少一个透镜运动，聚焦环被操作联接到所述至少一个透镜。在某些示例中，聚焦环114还被操作联接到显示器108，使得聚焦环114的旋转促使同时地在显示器108上显示的可见光图像的至少一部分和红外图像的至少一部分相对于彼此运动。在不同示例中，热成像照相机100可包括以除聚焦环114之外的构造实现的手动焦距调整机构，或者在其它实施例中可简单地保持固定焦距。

在某些示例中，除手动调整聚焦机构之外或作为其替代，热成像照相机100可包括自动调整聚焦机构。可将自动调整聚焦机构操作联接到红外透镜组件104的至少一个透镜，并构造成自动地将所述至少一个透镜运动至各种聚焦位置，例如响应于来自热成像照相机100的指令。在此类示例的一个应用中，热成像照相机100可使用激光器110来以电子方式测量目标场景中的对象与照相机之间的距离，称为到目标距离。热成像照相机100然后可控制所述自动地调整聚焦机构以使红外透镜组件104的所述至少一个透镜运动至与由热成像照相机100确定的到目标距离数据相对应的聚焦位置。该聚焦位置可对应于到目标距离数据，因为可将聚焦位置构造成将目标场景中的对象对焦地放置在所确定距离处。在某些示例中，由自动调整聚焦机构设定的聚焦位置可被操作员手动地取而代之，例如通过对聚焦环114进行旋转。

可存储由激光器110测量的到目标距离的数据并使其与相应捕捉图像相关联。对于使用自动聚焦捕捉的图像而言，此数据将作为聚焦过程的一部分被收集。在某些实施例中，热成像照相机还将在捕捉图像时检测并存储到目标距离数据。此数据可由热成像照相机在通过使用激光器110来捕捉图像时获得，或者可替代地通过检测透镜位置并使透镜位置与跟该透镜位置相关联的已知的到目标距离相关而获得。该到目标距离数据被热成像照相机100用来指引用户将照相机定位于与目标的相同距离处，诸如通过基于随着用户对照相机进行重新定位而获取的激光测量结果来指引用户更接近于或更远离目标地运动，直至实现与在先前图像中相同的到目标距离。热成像照相机可进一步自动地将透镜设置到与在先前图像中所使用的相同的位置，或者可指引用户将透镜重新定位，直至获得原始透镜设置为止。

在热成像照相机100的操作期间，操作员可能希望观看由照相机生成的场景的热图像和/或同一场景的可见光图像。为此，热成像照相机100可包括显示器。在图1和2的示例中，热成像照相机100包括显示器108，其位于壳体102的背面上，与红外透镜组件104和可见光透镜组件106相对。可将显示器108构造成显示可见光图像、红外图像和/或包括可见光图像和红外图像的同时显示的组合图像。在不同示例中，显示器108可以远离热成像照相机100的红外透镜组件104和可见光透镜组件106（例如，分开），或者显示器108可相对于红外透镜组件104和/或可见光透镜组件106处于不同的空间布置。因此，虽然在图2中在红外透镜组件104和可见光透镜组件106后面示出显示器108，但可以有用于显示器108的其它位置。

热成像照相机100可以包括用于控制照相机的操作和调整照相机的不同设置的各种用户输入介质。示例性控制功能可包括调整红外和/或可见光光学件的焦距，打开/关闭开闭器，捕捉红外和/或可见光图像等。在图1或2的示例中，热成像照相机100包括用于捕捉红外和可见光图像的可压下触发控制机构112以及用于控制照相机操作的其它方面的按钮116，其构成用户接口的一部分。可以有不同数目或布置的用户输入介质，并且应认识到的是本公开在此方面不受限制。例如，热成像照相机100可包括触摸屏显示器108，其通过压下屏幕的不同部分来接收用户输入。

图3是图示出热成像照相机100的示例的部件的功能框图。热成像照相机100包括IR照相机模块200、前端电路202。IR照相机模块200和前端电路202有时被组合地称为红外照相机100的前端级或前端部件204。热成像照相机100还可包括可见光照相机模块206、显示器108、用户接口208以及输出/控制器件210。

可将红外照相机模块200构造成接收由目标场景发射的红外能量，并使该红外能量聚焦在红外传感器上以便生成例如可以用红外图像的形式在显示器108上显示和/或存储在存储器中的红外能量数据。红外照相机模块200可以包括用于执行归属于本文的模块的功能的任何适当部件。在图3的示例中，红外照相机模块200被示为包括红外透镜组件104和红外传感器220。如上文相对于图1和2所述，红外透镜组件104包括获取由目标场景发射的红外能量并使该红外能量聚焦在红外传感器220上的至少一个透镜。红外传感器220通过生成电信号对聚焦红外能量进行响应，该电信号可以被转换并在显示器108上显示为红外图像。

红外传感器220可包括一个或多个焦平面阵列（FPA），其响应于通过红外透镜组件104接收到的红外能量而生成电信号。每个FPA可以包括多个红外传感器元件，包括例如测辐射热仪、光子检测器或其它适当的红外传感器元件。在操作中，每个可称为传感器像素的每个传感器元件可响应于吸收从目标场景接收到的红外能量而改变电特性（例如，电压或电阻）。进而，电特性的改变可以提供电信号，其可以被处理器222接收，并被处理成在显示器108上显示的红外图像。

例如，在其中红外传感器220包括多个测辐射热仪的示例中，每个测辐射热仪可吸收通过红外透镜组件104聚焦的红外能量，并且响应于吸收能量而在温度方面增加。每个测辐射热仪的电阻可随着测辐射热仪的温度改变而改变。在每个检测器元件充当传感器像素的情况下，可以通过将每个检测器元件的电阻变化转换成可以处理以便在显示器上可视化或存储在（例如，计算机的）存储器中的时间复用电信号来进一步生成红外辐射的二维图像或图片表示。处理器222可通过将电流（或电压）施加到每个测辐射热仪来测量每个测辐射热仪的电阻变化，并测量跨测辐射热仪的结果产生的电压（或电流）。基于这些数据，处理器222可以确定由目标场景的不同部分发射的红外能量的量，并控制显示器108显示目标场景的热图像。

独立于包括在红外传感器220的FPA中的特定类型的红外传感器元件，FPA阵列可以限定任何适当的尺寸和形状。在某些示例中，红外传感器220包括以网格图案布置的多个红外传感器元件，例如布置成垂直列和水平行的传感器元件阵列。在各种示例中，红外传感器220可包括例如16×16、50×50、160×120、120×160或650×480的垂直列乘以水平行的阵列。在其它示例中，红外传感器220可包括较小数目的垂直列和水平行（例如，1×1）、较大数目的垂直列和水平行（例如，1000×1000）或不同的列与行的比。

在某些实施例中，在IR传感器220上结合读出式集成电路（ROIC）。该ROIC用来输出对应于每个传感器像素的信号。此类ROIC一般地制造为硅基底上的集成电路。可在ROIC的顶部上制造所述多个检测器元件，其中，其组合提供IR传感器220。在某些实施例中，ROIC可以包括直接地结合到FPA电路上的在本公开中的别处讨论的部件（例如，模拟数字转换器（ADC））。ROIC的此类集成或未明确地讨论的其它更多层级的集成应被认为是在本公开的范围内。

如上所述，IR传感器220生成一系列电信号，其对应于由每个红外检测器元件接收到的红外辐射，以表示热图像。当通过扫描构成IR传感器220的所有行来获得来自每个红外检测器元件的电压信号时，生成热图像数据的“帧”。再次地，在涉及到作为红外检测器元件的测辐射热仪的某些实施例中，通过将相应检测器元件接入到系统电路中并跨此类接入元件施加偏置电压来完成此类扫描。通过反复地扫描IR传感器220的行来生成热图像数据的连续帧，此类帧是以足以生成热图像数据的视频表示的速率（例如，30 Hz或60 Hz）产生的。

前端电路202包括用于与IR照相机模块200对接并控制IR照相机模块200的电路。另外，前端电路202最初处理所收集的红外图像数据，并经由与处理器222之间的连接将所收集的红外图像数据传递到处理器222。更具体地，最初由热成像照相机100的前端电路202来调节由IR传感器220生成的信号。在某些实施例中，如所示，前端电路202包括偏置发生器224和前置放大器/积分器226。除提供检测器偏置之外，偏置发生器224可以任选地针对用于每个接入检测器元件生成的总电流加上或减去平均偏置电流。可以改变平均偏置电流以使得（i）向检测器元件的电阻的整个阵列补偿偏差，其是由热成像照相机100内部的周围温度的变化而引起的；以及（ii）补偿IR传感器220的平均检测器元件中的阵列间变化。可以由热成像照相机100或软件来自动地控制此类偏置补偿，或者可以经由到输出/控制器件210或处理器222的输入来进行用户控制。在提供检测器偏置或平均偏置电流的任选减法或加法之后，可以使信号通过前置放大器/积分器226。通常，使用前置放大器/积分器226来调节到来的信号，例如在其数字化之前。结果，可以将到来的信号调整成使得能够实现信号的更有效解释的形式，并且其进而可以导致所创建的图像的更有效分辨率。随后，将已调节信号向下游发送到热成像照相机100的处理器222中。

在某些实施例中，前端电路202可以包括一个或多个附加元件，例如附加传感器228或ADC 230。附加传感器228可以包括例如温度传感器、可见光传感器（诸如CCD）、压力传感器、磁性传感器等。此类传感器可以提供附加校准和检测信息以增强热成像照相机100的功能。例如，温度传感器可以提供IR传感器220附近的环境温度读数以帮助辐射测量计算。可以与安装在透镜上的磁体相组合地使用诸如霍尔效应传感器之类的磁性传感器以提供透镜聚焦位置信息。此类信息可以对测量距离或确定供从可见光传感器收集的可见光场景数据使用的视差偏移有用。

ADC 230可以提供相同的功能，并且以与下面讨论的基本上相同的方式操作，然而，将其包括在前端电路202中可提供某些益处，例如场景及其它传感器信息在经由与处理器222之间的连接传递到传感器222之前的数字化。在某些实施例中，可以将ADC 230集成到ROIC中，如上文所讨论的，从而消除了对单独安装和安装的ADC 230的需要。

在某些实施例中，前端部件还可以包括开闭器240。开闭器240可以相对于透镜在外部或内部定位，并且进行操作以打开或关闭由IR透镜组件104提供的视图。如在本领域中已知的，开闭器240可以是可机械定位的，或者可以用诸如DC马达或螺线管之类的机电器件来致动。本发明的实施例可包括校准或设置软件实现方法或设定，其利用开闭器240来确立用于每个检测器元件的适当偏置水平。

可单独地或以任何适当组合的方式将描述为热成像照相机100内的处理器（包括处理器222）的部件实现为一个或多个处理器，诸如一个或多个微处理器、数字信号处理器（DSP）、专用集成电路（ASIC）、现场可编程门阵列（FPGA）、可编程逻辑电路等。处理器222还可包括存储程序指令和相关数据的存储器，其在被处理器222执行时促使热成像照相机100和处理器222执行在本公开中归属于它们的功能。存储器可包括任何固定或可移动的磁、光或电介质，诸如RAM、ROM、CD-ROM、硬式或软式磁盘、EEPROM等。存储器还可包括可移除存储器部分，其可用来提供存储器更新或存储器容量的增加。可移除存储器还可允许图像数据被容易地传输到另一计算设备，或者在将热成像照相机100用在另一应用中之前被移除。还可将处理器222实现为芯片上系统，其将计算机或其它电子系统的所有部件集成为单个芯片。这些元件操纵从前端级204输送的已调节的场景图像数据以使得提供可以显示或存储以供用户使用的输出场景数据。随后，处理器222（处理电路）将已处理数据发送到显示器108或其它输出/控制器件210。

在热成像照相机100的操作期间，处理器222可以控制红外照相机模块200以生成用于创建红外图像的红外图像数据。处理器222可以生成红外图像数据的数字“帧”。通过生成红外图像数据帧，处理器222在给定时间点处捕捉目标场景的红外图像。

处理器222可以通过一次测量包括在红外传感器220的FPA中的每个红外传感器元件的电信号来捕捉目标场景的单个红外图像或“屏幕快照”。可替代地，处理器222可以通过反复地测量包括在红外传感器220的FPA中的每个红外传感器元件的电信号来捕捉目标场景的多个红外图像。在其中红处理器222反复地测量包括在红外传感器220的PFA中的每个红外传感器元件的电信号的示例中，处理器222可生成目标场景的动态热图像（例如，视频表示）。例如，处理器222可以足以生成热图像数据的视频表示的速率（例如30 Hz或60 Hz）来测量包括在FPA中的每个红外传感器元件的电信号。处理器222可在捕捉红外图像中执行其它操作，诸如连续地对开闭器240进行致动以打开和关闭红外透镜组件104的孔口等。

在红外传感器220的每个传感器元件充当传感器像素的情况下，处理器222可以通过将每个传感器元件的电特性（例如，电阻）的变化转换成可以处理例如用于在显示器108上可视化和/或存储在存储器中的时间复用电信号而生成表示来自目标场景的红外辐射的二维图像或图片表示。当在显示器108上显示时，红外图像可以包括多个显示器像素。显示器像素可以具有与相应传感器像素的任何限定的关系。在某些示例中，每个传感器像素对应于红外数据的图像表示中的显示器像素。在其它示例中，可将多个传感器像素组合（例如，求平均）以提供用于单个显示器像素的红外信息。由于相对于照相机操作来定义显示器像素与传感器像素之间的关系，所以一般术语“像素”可指代传感器像素、显示器像素或从传感器像素处理成显示器像素的数据，除非另外说明。处理器222可执行计算以将原始红外图像数据转换成场景温度（辐射测量），在某些示例中包括对应于场景温度的色彩。

处理器222可控制显示器108显示所捕捉目标场景的红外图像的至少一部分。在某些示例中，处理器222控制显示器108，使得红外传感器220的每个传感元件的电响应与显示器108上的单个像素相关联。在其它示例中，处理器222可增加或减小红外图像的分辨率，使得在显示器108上显示比在红外传感器220中存在的传感器元件更多或更少的像素。处理器222可控制显示器108显示整个红外图像（例如，由热成像照相机100捕捉的目标场景的所有部分）或者小于整个红外图像（例如，由热成像照相机100捕捉整个目标场景的较小端口）。处理器222可执行其它图像处理功能，如下面更详细地描述。

独立于特定电路，可将热成像照相机100构造成操纵表示目标场景的数据，从而提供可以显示、存储、传递或者另外被用户使用的输出。

热成像照相机100包括可见光照相机模块206。可将可见光照相机模块206构造成从目标场景接收可见光能量并使该可见光能量聚焦在可见光传感器上用于生成可见光能量数据，例如其可以用可见光图像的形式在显示器108上显示和/或存储在存储器中。可见光照相机模块206可以包括用于执行归属于本文的模块的功能的任何适当部件。在图3的示例中，可见光照相机模块206被示为包括可见光透镜组件106和可见光传感器242。如上文相对于图1和2所述，可见光透镜组件106包括获取由目标场景发射的可见光能量并使该可见光能量聚焦在可见光传感器242上的至少一个透镜。可见光传感器242通过生成可以被转换并在显示器108上显示为可见光图像的电信号来对所聚焦的能量进行响应。

可见光传感器242可包括多个可见光传感器元件，例如CMOS检测器、CCD检测器、PIN二极管、雪崩光电二极管等。可见光传感器元件的数目可与红外光传感器元件的数目相同或不同。

在操作中，从目标场景接收到的光能可通过可见光透镜组件106并聚焦在可见光传感器242上。当光能撞击在可见光传感器242的可见光传感器元件上时，可释放光检测器内的光子并转换成检测电流。处理器222可以处理此检测电流以形成目标场景的可见光图像。

在热成像照相机100的使用期间，处理器222可以控制可见光照相机模块206以从捕捉的目标场景生成可见光数据，用于创建可见光图像。该可见光数据可包括发光度数据，其指示与所捕捉目标场景的不同部分相关联的（一个或多个）色彩和/或与所捕捉目标场景的不同部分相关联的光的量值。处理器222可以通过一次测量热成像照相机100的每个可见光传感器元件的响应来生成可见光图像数据的“帧”。通过生成可见光数据的帧，处理器222可以在给定时间点捕捉目标场景的可见光图像。处理器222还可反复地测量热成像照相机100的每个可见光传感器元件的响应，从而生成目标场景的动态热图像（例如，视频表示），如上文关于红外照相机模块200所述。

在可见光照相机模块206的每个传感器元件充当传感器像素的情况下，处理器222可以通过将每个传感器元件的电响应转换成可以被处理例如用于在显示器108上可视化和/或存储在存储器中的时间复用电信号来生成来自目标场景的可见光的二维图像或图片表示。

处理器222可控制显示器108显示所捕捉目标场景的可见光图像的至少一部分。在某些示例中，处理器222控制显示器108，使得可见光照相机模块206的每个传感元件的电响应与显示器108上的单个像素相关联。在其它示例中，处理器222可增加或减小可见光图像的分辨率，使得在显示器108上显示比在可见光照相机模块206中存在的传感器元件更多或更少的像素。处理器222可控制显示器108显示整个可见光图像（例如，由热成像照相机100捕捉的目标场景的所有部分）或者小于整个可见光图像（例如，由热成像照相机100捕捉整个目标场景的较小端口）。

如上所述，可将处理器222构造成确定热成像照相机100与由照相机生成的可见光图像和/或红外图像所捕捉的目标场景中的对象之间的距离。处理器222可基于与照相机相关联的红外光学件的聚焦位置来确定距离。例如，处理器222可检测与照相机的红外光学件（例如，与红外光学件相关联的聚焦位置）相关联的聚焦机构的位置（例如，物理位置），并确定与该位置相关联的到目标距离值。处理器222然后可参考存储在存储器中的数据，其使不同的位置与不同的到目标距离值相关联来确定热成像照相机100与目标场景中的对象之间的特定距离。

在这些及其它示例中，处理器222可控制显示器108以同时地显示由热成像照相机100捕捉的可见光图像的至少一部分和由热成像照相机100捕捉的红外图像的至少一部分。此类同时显示可以有用之处在于操作员可参考可见光图像中所显示的特征，以帮助理解在红外图像中同时显示的特征，因为操作员可更容易地识别和辨别可见光图像中的与红外图像不同的现实特征。在各种示例中，处理器222可控制显示器108使得以并排布置、以图像中的一个围绕图像中的另一个的画中画布置或者同时地显示可见光和红外图像的任何其它适当布置来显示可见光图像和红外图像。

例如，处理器222可控制显示器108以组合布置来显示可见光图像和红外图像。在此类布置中，针对表示目标场景的一部分的可见光图像的像素或像素集合，在红外图像中存在相应的像素或像素集合，其表示目标场景的基本上相同的部分。因此，在某些此类布置中，可在相应像素处将可见光图像和红外图像相互上下地叠加。操作员可与用户接口208相交互，以控制在显示器108上显示的图像中的一者或两者的透明度或不透明度。例如，操作员可与用户接口208相交互，以在完全透明与完全不透明之间调整红外图像，并且还在完全透明与完全不透明之间调整可见光图像。可称为阿尔法混合布置的此类示例性组合布置可允许操作员调整显示器108以显示仅红外图像、仅可见光图像或在仅红外图像与仅可见光图像的极端之间的两个图像的任何重叠组合。处理器222还可将场景信息与其它数据（诸如辐射测量数据、报警数据等）组合。一般地，可见光和红外图像的阿尔法混合组合可以包括从100%红外和0%可见光至0%红外和100%可见光的任何位置。在某些实施例中，可以由照相机的用户来调整混合的量。因此，在某些实施例中，可以在100%可见光与100%红外之间调整混合图像。

另外，在某些实施例中，处理器222可以解释并执行来自用户接口208、输出/控制器件210的命令。这可以涉及到各种输入信号的处理和经由与前端电路202之间的连接将那些信号传输到前端电路202。可以对接近于前端电路202的部件（例如马达或螺线管）进行致动以实现期望的控制功能。示例性控制功能可以包括调整焦距、打开/关闭开闭器、触发传感器读数、调整偏置值等。此外，可使用输入信号来改变在处理器222中发生的图像数据的处理。

处理器还可以包括其它部件以帮助红外成像照相机100的处理和控制。例如，如上文所讨论的，在某些实施例中，可以将ADC结合到处理器222中。在这种情况下，由前端级204调节的模拟信号未被数字化，直至到达处理器222。此外，某些实施例可以包括用于在传递到显示器108或输出/控制器件210之前对处理命令信息和场景数据进行存储的附加板上存储器。

操作员可经由用户接口208与热成像照相机100相交互，其可以包括用于从用户接收输入的按钮、键或另一机构。操作员可经由显示器108接收来自热成像照相机100的输出。可将显示器108构造成以任何可接受调色板或色彩方案来显示红外图像和/或可见光图像，并且调色板可例如响应于用户控制而改变。在某些示例中，显示器108被构造成在诸如灰度或琥珀色之类的单色调色板中显示红外图像。在其它示例中，显示器108被构造成在例如铁红（ironbow）、蓝红或其它高对比度色彩方案之类的色彩调色板中显示红外图像。还可设想灰度与色彩调色板显示的组合。

虽然处理器222可以控制显示器108同时地以任何适当布置显示红外图像的至少一部分和可见光图像的至少一部分，但画中画布置可通过以相邻对准的方式显示同一场景的相应可见图像来帮助操作员容易地对热图像进行聚焦和/或解释。

电源（未示出）向热成像照相机100的各种部件输送操作功率，并且在某些示例中，可包括可再充电或非可再充电电池和功率发生电路。

在热成像照相机100的操作期间，处理器222借助于与存储在存储器中的程序信息相关联的指令来控制红外照相机模块200和可见光照相机模块206，以生成目标场景的可见光图像和红外图像。处理器222还控制显示器108显示由热成像照相机100生成的可见光图像和/或红外图像。

如所讨论的，图1示出了热成像照相机100的前透视图。热成像照相机100包括照相机壳体102，其下部延伸到把手部分120中，用于在使用期间帮助抓握热成像照相机100。把手部分120包括被安装到壳体102用于控制图像捕捉的触发器112。显示器108位于热成像照相机100的背面上，使得可以向用户显示红外图像、可见光图像和/或红外和可见光的混合图像。

为了捕捉对象场景的图像，热成像照相机100包含红外（IR）照相机模块和可见光（VL）照相机模块两者。VL照相机模块和IR照相机模块的放置使得可见光和红外光轴大致上相互平行，从而导致视差误差。热成像照相机100包括确定IR透镜聚焦位置的能力，其进而可以用来修正视差。VL模块包括由可见光检测器阵列形成的可见光传感器。IR照相机模块的IR传感器由IR检测器的焦平面阵列（FPA）形成，诸如微测辐射热仪。

热成像照相机100上的图1中所示的IR透镜组件104可以包括基础IR透镜组件，其用以从对象场景收集IR能量并使IR能量聚焦在包含于照相机内部的焦平面阵列上。热成像照相机100用单独的IR透镜进行工作，并且可以在不使用任何附加透镜硬件的情况下生成热图像。然而，为了实现更宽或更窄的视场，热成像照相机100被设计成用可以附接在基础IR透镜组件104上的一组附加IR透镜（在图1中未示出）进行工作。在使用中，操作员可以从一组可用附加IR透镜中选择期望的附加IR透镜，并且将所选的附加IR透镜附接到热成像照相机100。如果期望的话，随后可以将所选附加IR透镜从热成像照相机100拆卸，因此可以将照相机与单独的基础IR透镜组件104一起使用，或者可以将不同的附加IR透镜附接到照相机。可使用不同的附加IR透镜，例如取决于对象场景的尺寸、到被检查的目标的距离等。虽然附加IR透镜可从基础IR透镜组件104拆卸，在某些实施例中，可以将基础IR透镜组件104固定地安装到照相机壳体102，并且并不意图在正常使用期间拆卸。

图4是示出了在使用时的附加IR透镜330和热成像照相机100的部分之间的接合和通信的示意性表示。如示出，附加IR透镜330可以包括本地存储器储存器334，其存储被附接到热成像照相机100的特定附加IR透镜330所独有的数据。附加IR透镜330还可以包括用于检测操作条件的传感器332，诸如温度传感器。在某些实施例中，当附加IR透镜330被附接到热成像照相机100时，附加IR透镜330的传感器332和/或本地存储器储存器334被置于与容纳在照相机100内部的处理器/FPGA 222处于通信。

为了使用热成像照相机100来生成红外图像，成像器将一组数学算法存储在照相机主体内的存储器中。在如下所述的操作期间，热成像照相机100执行数学算法以处理由焦平面阵列和/或VL照相机模块生成的数据，从而使用照相机来创建IR和/或VL图像。在某些构造中，数学算法可利用与在特定红外图像的捕捉期间的照相机操作有关的数据（例如，到目标距离、环境温度、透镜温度）作为输入变量。数学算法还可利用两个类型的输入参数：例如，用于针对视差误差进行调整的透镜特定参数和基础参数。基础参数是在没有附接附加透镜330的情况下针对基础热成像照相机确定的常数。在某些实施例中，该基础参数并不根据被附接到照相机的附加透镜330的存在或类型而改变。可将此类基础参数存储在照相机内的存储器中。透镜特定参数可以是例如从附接的附加透镜接收到并被输入到存储在照相机中的数学算法中的数值。可替代地，透镜特定参数可以包括一般类型的透镜，诸如广角透镜或窄角透镜。在某些此类示例中，用户可以在视差修正数学算法中选择与附加透镜参数相关联的一种透镜类型。当不存在附加透镜被附接到照相机时，附加透镜参数可以被设置成或者另外等于零或者另外被否定，并且执行数学算法以使用基础参数和与在特定红外图像的捕捉期间的照相机操作有关的数据来处理焦平面阵列信号。因此，可以例如采用单个数学算法，其中附加透镜是存在或不存在的。

被热成像照相机100使用的每个附加透镜330可以包含存储在用于该特定透镜的本地存储器储存器334上的透镜特定参数。在某些实施例中，可以在用于每个附加透镜的本地存储器储存器334上存储多达三个类型的透镜特定参数：（1）用于修正在使用附加IR透镜330生成的IR图像与相应可见光图像之间的视差的参数，（2）用于在使用附加IR透镜330时确定IR聚焦透镜的正确物理位置的参数，以及（3）用于计算与附加IR透镜330有关的辐射测量项有关的参数。

当附加透镜330被附接到热成像照相机100时，可以从透镜的本地存储器储存器334向照相机内的处理器222传送一个或多个透镜特定参数，并且随后在存储在存储器中的数学算法的执行中使用。特别地，处理器222可以将存储在存储器中的基础参数和从本地存储器储存器334接收到的透镜特定参数用作数学算法中的值，以生成红外图像。在某些操作方法中，热成像照相机100可始终执行同一数学算法或一组数学算法，无论附加IR透镜330是否被附接到照相机。

在某些实施例中，可使用诸如先前提到的那些数学算法来修正在相应IR和VL图像之间存在的视差误差。例如，照相机可将所观看或捕捉的IR和VL图像中的一者或两者相对于彼此以计算的量移位，以修正计算的视差。在某些此类计算中，照相机将来自透镜和/或用户的输入用作到此类数学算法中的输入，用于确定（并随后修正）视差误差。在其它实施例中，用户可手动地使照相机聚焦以调整IR与VL图像之间的空间关系，以尝试减小/消除视差误差。如前所述，某些照相机可以使聚焦位置与到目标距离近似相关，并且因此基于聚焦位置而施加到目标距离的视差修正。在其它实施例中，照相机可经由其它方法（例如激光测量）来确定到目标的距离。

然而，在某些情况下，在照相机的用户看来，此类视差修正可能不足以消除视差误差。本公开的各方面提供了如果用户期望附加视差修正的情况下用于用户经由现场校准对视差修正进行微调的系统和方法。图5是说明了用于对视差误差进行微调的示例性方法的过程流程图。在本示例性方法中，用户可以使照相机从适当的到目标距离指向250高对比度IR目标。在某些照相机中，VL与IR图像之间的视差误差随着照相机与目标之间的距离而减小，并且在其它实施例中，视差随距离的变化速率也随距离而减小。类似地，在某些此类照相机中，视差误差随着到目标距离变小而急剧地增加。因此，如在步骤250中的适当的到目标距离可以包括最小的到目标距离，以消除与非常短的到目标距离相关联的大的视差。在某些实施例中，大于约4英尺的到目标距离将是足够的。在其它构造中，该适当范围可以包括上限。在某些实施例中，照相机可以向用户提供警报或提示，以使用满足指定到目标距离准则的目标和/或显示所测量或所估计的到目标距离值。在示例性实施例中，根据图5的过程的适当范围可以在约4英尺与约10英尺之间。

在照相机指向高对比度IR目标的情况下，照相机可以显示252目标场景的IR和VL图像的混合。在某些实施例中，用户可以选择IR与VL图像之间的混合的量。在某些情况下，用户可以从混合比的预定列表中进行选择，诸如最小IR、中间IR以及最大IR混合。在某些情况下，用户可能期望使用最小IR设置以便清楚地观看IR和VL图像数据两者。然而，在某些实施例中，用户可以手动地调整混合的量，使得可以在显示器上观察IR和VL图像两者。

在实现目标场景的混合IR和VL图像的期望显示时，用户可以选择254基础透镜视差的现场校准。一般地，如果在IR与VL图像之间存在显著的视差误差，则用户可以发起此类程序。由于IR图像一般地由于热场景中的鲜明对比的普遍缺乏而比VL图像更加难以解释，所以利用高对比度图像可以帮助用户识别IR场景中的对象并注意到VL和IR图像之间存在的任何视差误差。示例性高对比度图像可能包括例如充满暖饮料的大杯，如图7中所示。

在选择254基础透镜视差的现场校准时，照相机的实施例可以检测到附加透镜的存在。由于正在执行基础透镜现场校准，所以在存在附加透镜的情况下执行此类修正可以负面地影响修正。因此，如果检测到此类透镜，则照相机可以提示用户出于执行校准的目的而移除256附加透镜。

一旦移除了透镜，则照相机和/或用户可以使IR光学件聚焦在目标上和/或使用系统校准来执行258视差调整。在某些实施例中，视差调整可以包括诸如本文所述那些之类的已知视差调整技术。例如，用户可以手动地调整照相机的焦距，并观察结果产生的IR和VL图像中的一者或两者朝着修正视差误差的移位。在某些此类示例中，视差调整由一个或多个透镜的位置的模拟调整而引起。在可替代的实施例中，用户可以手动地使照相机聚焦，并且基于聚焦位置，照相机可以估计照相机与目标场景之间的到目标距离，并且相应地施加关联视差修正。此类施加的视差修正可以包括IR和VL图像中的一个相对应另一个的数字移位。类似地，照相机可以装配有用于直接地确定到目标的距离的一个或多个方法，以用于自动地执行类似视差修正。

可以手动地或以电子方式来修正视差误差。例如，整体地通过引用结合到本文中的题为“Visible Light and IR Combined Image Camera with a Laser Pointer”的美国专利号7,538,326公开了一种视差误差修正架构和方法。这提供了以电子方式修正IR和VL图像的视差的能力。在某些实施例中，热仪器100包括确定到目标的距离的能力，并且包含使用到目标的距离的信息来修正由平行光学路径引起的视差误差的电子装置。将认识到的是相对于执行258视差调整，可以使用用于修正视差的任何此类技术。

在执行258视差调整之后，可能的是某些视差误差将仍然存在。在用户可以观察到IR和VL图像之间的残余视差误差的情况下，用户可以手动地对目标场景的IR和VL图像进行配准260。在这种情况下，用户可以手动地对视差调整进行微调，向照相机提供视差改进数据，并且消除未被已知视差调整技术修正的残余视差误差。手动地配准260可以包括例如在正或负x和y方向上使IR和VL图像中的一个运动。在某些实施例中，手动地对图像进行配准包括相对于IR图像平移VL图像。对视差修正的此类手动微调调整可以包括例如VL和IR图像中的一个相对于另一个的数字移位。

一般地，可以经由用户接口在照相机上执行手动地对图像进行配准260。在某些实施例中，照相机向用户呈现场景的实时IR和VL图像混合，用户将其用来实时地手动地对IR和VL图像进行配准。在某些构造中，照相机将捕捉相应IR和VL图像，并且用户可以手动地将所捕捉的IR和VL图像配准为静止图像。在其它实施例中，可以将捕捉的IR和VL图像流式传输到外部计算机中或者捕捉并存储在外部计算机上。在这种情况下，可以在计算机上执行IR和VL图像的配准。在某些实施例中，一旦用户已经手动地对IR和VL图像进行配准260，则照相机可以将视差改进数据存储在存储器中，并自动地将此类改进数据应用于随后捕捉的相应IR和VL图像。在配准在独立计算机中执行的情况下，计算机可以将视差改进数据上传到照相机，或者用户可以手动地将视差改进数据从计算机录入到照相机中。

在执行基础透镜视差调整之后，用户可以确定262是否期望附加透镜。如果不是，则现场校准完成264，并且用户可使继续进行使用照相机来捕捉后续相应IR和VL图像，其结合了微调视差修正。在用户期望进一步调整视差修正的情况下，可以简单地重复图5的过程。在某些示例中，用户还可以移除所有视差改进数据，并将照相机恢复到默认设置。

应注意的是，在图5中所示和上文概述的过程中，可省略或变更各种步骤。例如，用户不需要移除256附加透镜，如果此类透镜不存在的话。在某些实施例中，用户可以在使照相机指向高对比度场景或显示目标的混合IR和VL图像之前选择254基础透镜视差的现场校准。在某些实施例中，可以在选择254基础透镜视差的现场校准之前执行258已知视差调整技术。如对于本领域的技术人员而言将是明显的，在不偏离本发明的精神的情况下可执行此类步骤的其它变更。

然而，在用户确实判定262附接附加透镜的情况下，用户和/或照相机可以前进266至使用附加透镜的现场校准。此类校准可能是必须的，因为例如将附加透镜添加到IR照相机模块可以改变IR图像的视场，并且因此可对IR与VL图像之间的视差具有影响。为了执行此类校准，用户可以将附加透镜附接到280照相机，并使照相机从适当的到目标距离指向282高对比度IR目标，并且照相机可以显示284目标的相应IR和VL图像的混合。用户可以选择286附加透镜视差的现场校准以发起包括附加IR透镜的进一步视差改进。

当观看所显示混合时，并且为了执行现场校准，用户和/或照相机可以使光学件聚焦288在目标场景上并且/或者使用系统校准来执行视差调整。在附加透镜是IR透镜的情况下，可以使IR光学件聚焦在目标场景上。在某些构造中，使IR光学件聚焦在目标场景上在给定先前执行的基础视差改进的情况下可以使IR和VL图像对准到经由聚焦技术可能的近似最近点。在某些情况下，如基础视差修正中的已知视差调整程序的情况一样，在执行对准过程（即，聚焦）之后，可能在相应IR和VL图像之间仍存在视差误差。因此，用户可以手动地对目标场景的IR和VL图像进行配准290。可以与在图5中所示和上文所述的手动配准步骤260类似地执行此类手动配准。一旦用户已手动地对IR和VL图像进行配准，则现场校准完成292，可以将附加视差改进存储在照相机或透镜存储器中，例如作为将在数学算法中使用的值。随后，用户可以操作带有具有改进视差调整的附加透镜的照相机。如基础透镜视差改进的情况下，在某些实施例中，用户可以移除所有附加透镜视差改进数据并相对于针对附加透镜的调整而使照相机恢复到默认设置。

图6的方法中所示的步骤本质上与图5的类似，然而，在实现由此类步骤引起的改变时，图5和6的过程的结果是不同的。相对于图5，关于基础透镜参数来执行视差改进。将此类调整应用于照相机，无论附加透镜的效果如何。在某些实施例中，一旦已确定此类改进值并存储在照相机中，其将在消除IR和VL图像之间的视差误差时在数学算法中被不断地使用。然而，在如相对于图6所示的存在附加透镜的情况下的视差改进将仅在存在附加透镜的情况下影响视差调整。当存在此类附加透镜时，使用基础透镜视差改进和附加透镜视差改进两者来使IR和VL图像之间的视差最小化。

可以将与附加透镜相关联的视差改进存储在透镜和/或照相机中。例如，可以将要在数学算法使用以用于调整附加透镜视差并经由图6中概述的方法确立的参数存储在透镜中，并且每当透镜被附接时加以利用。在某些实施例中，单个参数可能可应用于具有某个性质的所有透镜，诸如广角透镜。例如，在使用期间，用户可以将附加透镜附接到照相机，并且随后将关于透镜（例如，广角透镜）的识别参数输入到照相机中，用于调用在过去定义的视差改进数据。在其它实施例中，附加透镜的效果可以是特定照相机所特有的。在此类实施例中，可以将与存在透镜的情况下的用户改进相关联的视差改进数据存储在照相机中。

在某些实施例中，在移除附加透镜时，附加透镜视差改进将停止影响由照相机执行的视差调整。例如，在某些示例中，从附加透镜输入到数学算法中以用于视差调整的值在移除透镜时将变成零。然而，在某些实施例中，基础透镜视差改进数据仍将用来调整IR和VL图像之间的视差。因此，在某些实施例中，将在存在或不存在附加透镜的情况下使用基础透镜视差改进，而附加透镜视差改进将仅在存在附加透镜时具有效果。

图7是说明了包括视差误差的混合IR和VL图像的示例性屏幕快照。可能在操作期间向用户呈现类似视图，例如当用户正在手动地对目标场景的IR和VL图像进行配准时。在所示实施例中，目标场景包括在相比较冷环境中包含暖流体的大杯，从而呈现具有不同特征的高对比度热场景。另外，该大杯是足够小的对象，使得其在IR和VL图像被对准时相对容易看到。如所示，IR图像300中的大杯由于视差而偏离VL图像302中的大杯。如果例如此类图像是在一般地解决视差误差所在的步骤258或290之后向用户呈现，则用户可以通过如相对于图5和6所述的那样手动地对IR和VL图像进行配准而调整IR和VL相对于彼此的相对位置。

在图7中还示出了用户选项310，其可以用来指导用户通过视差调整过程。例如，用户可以选择前进通过视差调整/改进的各种阶段（例如，经由选项312），可以选择将视差改进重置成默认设置（例如，经由选项314），或者可以完全地取消视差调整（例如，经由选项316）。在执行视差改进时，用户可以使用用户接口、例如箭头或触摸屏来（例如，以数字方式）将一个图像相对于另一个重新定位，以修正现有视差误差。在某些实施例中，用户将相对于固定IR图像来使可见光图像运动，以便对IR和VL图像进行配准。例如，相对于图7，用户可以将VL图像302向上和向左移位，以便对VL 302和IR 300图像进行配准。

如先前所讨论的，照相机可以采用数学算法来处理图像。在某些示例中，照相机可以采用某些此类算法以便修正视差误差。在其它实施例中，除用于在存在和不存在附加透镜的情况下对视差修正进行微调的一个或多个用户可调整部件之外，算法可以包括一个或多个部件以便考虑附加透镜。以下等式（1）举例说明根据本发明的某些实施例可以用于调整IR和VL图像之间的视差误差的一个此类算法。

等式（1）包括用于使VL和IR图像相对于彼此移位以便针对视差误差进行调整的多个项。在下表1中概述了与等式（1）中的每个项相关联的性质及其到等式中的结合的说明。

可以将表示附加透镜的性质的各种值存储在附加透镜中。在某些实施例中，可以将诸如和之类的透镜相关项存储在透镜中并传送到照相机，用于执行包括附加透镜的视差调整。一旦在透镜一致地对视差有所贡献的情况下定义，可以将附加透镜相关调整项存储在透镜中。在等式（1）中反映的示例性实施例中，调整项表示照相机引擎基线调整项。因此，此类项很可能存储在照相机中。然而，可设想可以将在说明性等式（1）中不存在的附加项结合到此类视差调整等式中，以表示由透镜导致的视差误差，并且由用户进一步调整以改进视差修正。

如在表1中参考的，由于IR和VL成像模块的视场（FOV）和/或分辨率可以是不同的，以便相对于IR和VL图像中的一个适当地调整另一个，所以可以对一个或两个图像进行缩放，使得每个图像直接地与另一个相当。例如，等式（1）中的方括号中的项一般地可以用来在存在附加IR透镜的情况下对IR和VL图像进行配准。由于以VL像素来表示总体视差调整项，所以与形式的IR像素中的可调整移位相对应的调整并非直接地与相当。因此，可以结合比例项以说明VL和IR照相机模块之间的分辨率和FOV的变化，特别是在附加IR透镜的情况下。

在不存在附加透镜的情况下，方括号中的项变成零，并且等式（1）变成：

其仅包括基础项。因此，在某些此类实施例中，在不存在附加透镜的情况下，用户可以根据图5的方法来调整基础透镜视差。也就是说，可以在其中执行视差调整的步骤258中确立。随后，用户可以通过调整的值手动地对目标场景的IR和VL图像进行配准260。如果没有附加透镜意图供使用，则用于x方向上的视差修正的现场校准完成。因此，可以在存在或不存在附加透镜的情况下使用等式（1）。

当使用附加透镜时，方括号中的项可以是非零的，并且可以用来（i）进一步调整由于附加IR透镜的添加（由于IR视场的变化）而引起的x方向上的视差修正，以及（ii）允许用户对此类调整进行微调。在某些实施例中，可以在存在附加透镜的情况下根据图6的方法使用等式（1）。例如，照相机和/或用户可以使IR光学件聚焦在目标场景上，并且使用系统校准来执行视差调整。此类聚焦和/或视差调整在某些构造中可以借助于将和的值结合到等式（1）中来减小图像中的x方向上的视差误差。然而，在某些情况下，可能仍有x方向上的视差误差。在这种情况下，用户可以通过调整的值而手动地对目标的IR和VL图像进行配准290。

如可以看到的，在照相机结合了诸如等式（1）中所示的数学算法的实施例中，可以使用单个等式来在存在或不存在附加透镜的情况下手动地对视差调整进行微调。在不存在附加透镜的情况下简单地将等式的值分配为零使得能够在任一种情况下使用单个算法。

在某些实施例中，用户可以执行单步或两步视差现场校准过程。在单步现场校准中，用户可以执行诸如图5中所示的方法，在某些情况下，在已执行传统且不适当的视差调整之后，手动地对视差调整进行微调。在将不使用附加透镜的情况下，此类微调可以使残余视差误差最小化，以用于目标场景的进一步成像和/或分析。由于这是在不存在附加透镜的情况下执行的，所以可以将此类单步过程视为基础视差现场校准过程。在其它示例中，用户可以将附加透镜附接到照相机，并在透镜被附接的情况下执行单步现场校准。也就是说，在某些实施例中，可以随着操作员意图使用照相机而执行单步校准：如果将不使用附加透镜，则在没有附加透镜的情况下执行单步校准；如果期望附加透镜，则在附加透镜被附接的情况下执行单步校准。在存在附加透镜的单步校准的情况下，可实现图5的方法的修改型式，其中省略了步骤256、262和266，并且步骤254包括选择第一视差校准模式。

可替代地，在将使用附加透镜的情况下，用户可以执行两步校准过程。例如，用户可以在没有附加透镜的情况下执行单步现场校准过程，以便调整基础视差校准作为第一校准步骤。用户可以随后附接附加透镜并执行第二校准步骤以便执行两步视差现场校准过程。该第二校准步骤可以包括诸如在图6中概述的过程，其中，用户在用附加IR透镜进行成像的同时手动地对视差调整进行微调。在示例性实施例中，用户可执行附加透镜未被附接的情况下的类似于图5的方法作为第一步骤，并且附加透镜被附接的情况下的类似于图6的方法作为第二步骤。

在某些实施例中，照相机可以指引用户通过此类过程，提供用于执行视差现场校准过程的指令。在执行两步现场校准过程时，可能期望用户发起单独校准步骤，因为经由有和没有附加透镜的情况下的校准来调整等式（1）的不同部分。例如，在示例性方法中，用户选择第一校准模式，并在没有附加透镜的情况下手动地对IR和VL图像进行配准以对基础视差调整进行微调。随后，用户可以将附加IR透镜附接到照相机，选择第二校准模式，并且再次地在存在附加透镜的情况下手动地对IR和VL图像进行配准以对附加透镜视差调整进行微调。

在某些示例中，用户可以执行与在图6中概述的类似的单步过程。在某些构造中，没有附加透镜的基础照相机可以包括充分的视差修正或先前定义的视差改进数据，使得不需要在不存在附加透镜的情况下执行现场校准。然而，在用户结合了附加透镜的情况下，仍可能要求包括透镜参数的现场校准。因此，可替代单步过程可以包括将附加透镜附接到照相机，并且在存在附加透镜的情况下执行如本文所述的现场校准过程，以减小IR和VL图像之间的视差。

虽然等式（1）及其描述一般地集中于在x方向上调整视差，但将认识到的是可以在y方向上执行类似程序，如等式（2）中所示：

等式（2）在形式上类似于等式（1），但是各种照相机和/或透镜可在y方向上具有不同的基础和FOV项，并且可另外或可替代地要求y方向上的不同的视差调整。将认识到的是虽然在本公开中使用x和y方向，但可以将一般地任何二维基础用于手动地对IR和VL像素进行配准。

已描述了示例性热图像照相机和相关技术。还可将本公开中描述的技术体现或编码在计算机可读介质中，诸如包含指令的非临时计算机可读存储介质。嵌入或编码在计算机可读存储介质中的指令可促使可编程处理器或其它处理器执行该方法，例如当执行该指令时。计算机可读存储介质可包括随机存取存储器（RAM）、只读存储器（ROM）、硬盘、光学介质或其它计算机可读介质。

另外，如先前所讨论的，可以与热成像照相机相连通或者使用由热成像照相机捕捉的IR和VL图像在独立计算机上执行本发明的各种方面。可以保存独立计算机上的手动视差改进并传输到照相机，以便在捕捉后续的IR和VL图像组时使用。

已描述了各种实施例。此类示例是非限制性的，并且并未以任何方式限定或限制本发明的范围。相反地，这些及其它示例在以下权利要求书的范围内。

Claims (20)

1.一种用于使用热成像照相机来改进组合的红外（IR）和可见光（VL）图像中的视差修正的方法，所述方法包括：

提供热成像照相机，所述热成像照相机包括用于产生IR图像且具有IR光轴的IR照相机模块、用于产生VL图像且具有VL光轴的VL照相机模块、用户接口、处理器、存储器以及显示器，其中，所述IR光轴偏离所述VL光轴，导致IR和VL图像之间的视差误差；

经由所述用户接口来选择第一校准模式；

执行第一视差修正，以减小由IR和VL照相机模块产生的IR和VL图像之间的所述视差误差；

在所述显示器上观看包括所述第一视差修正的目标场景的IR和VL图像的混合；

经由所述用户接口来手动地对所述IR和VL图像进行配准，以改进所述第一视差修正；

生成与将所述IR和VL图像相对于彼此而进行手动配准的量相对应的第一组视差改进数据；以及

将所述第一组视差改进数据作为基础视差改进数据保存在所述存储器中。

2.如权利要求1所述的方法，还包括：

将附加IR透镜附接到所述热成像照相机的所述IR照相机模块以创建修改的IR图像，所述附加IR透镜对修改的IR和VL图像之间的视差误差有所贡献；

经由所述用户接口来选择第二校准模式；

执行第二视差修正，以减小修改的IR图像和VL图像之间的所述视差误差；

在所述显示器上观看包括所述第二视差修正的修改的IR图像和VL图像的混合；

经由所述用户接口来手动地对所述目标场景的所述修改的IR图像和所述VL图像进行配准，以改进所述第二视差修正；

生成与将所述修改的IR图像和所述VL图像相对于彼此而进行手动配准的量相对应的第二组视差改进数据；以及

将所述第二组视差改进数据保存为附加视差改进数据。

3.如权利要求2所述的方法，其中，手动地对所述IR和VL图像进行配准包括使所述VL图像相对于所述IR图像移位。

4.如权利要求2所述的方法，其中，保存的视差改进数据被默认地结合到随后捕捉的图像中。

5.如权利要求2所述的方法，还包括在不修改所述第一视差修正的情况下将所述第一组改进数据重置。

6.如权利要求5中的任一项所述的方法，还包括在不修改所述第二视差修正的情况下将所述第二组改进数据重置。

7.如权利要求2所述的方法，其中，所述附加IR透镜包括透镜存储器，并且其中，保存所述第二组视差改进数据包括将所述第二组视差改进数据保存至所述透镜存储器。

8.如权利要求7所述的方法，还包括：

在将所述附加IR透镜附接到所述IR照相机模块时从所述透镜存储器接收所述第二组视差改进数据；以及

将所述接收到的第二组视差改进数据输入到数学算法中，用于自动地执行视差改进过程。

9.一种热成像照相机系统，包括：

红外（IR）照相机模块，其具有IR光轴；

可见光（VL）照相机模块，其具有偏离所述IR光轴的VL光轴；

用户接口；

显示器；

存储器；以及

处理器；其中，所述处理器被构造成执行第一过程，所述第一过程包括：

使用所述IR照相机模块来捕捉第一IR图像；

使用所述VL照相机模块来捕捉VL第一图像；

执行第一视差修正，以减小所述第一IR和第一VL图像之间的视差误差；

在所述显示器上显示包括所述第一视差修正的所述第一IR图像和第一VL图像的混合；

经由所述用户接口来接收第一组手动配准指令，其对应于用户的所述显示的第一IR和第一VL图像的手动配准；

根据所述第一组手动配准指令对所述第一IR和第一VL图像进行配准；以及

将根据所述第一组手动配准指令执行的配准的所述量作为第一组视差改进数据保存在存储器中。

10.如权利要求9所述的系统，还包括可移除附加透镜，所述可移除附加透镜能够被附接到所述IR照相机模块，用于生成修改的IR图像，并且其中，所述处理器还被构造成执行第二过程，所述第二过程包括：

使用所述IR照相机模块和所述可移除附加透镜来捕捉修改的IR图像；

使用所述VL照相机模块来捕捉第二VL图像；

执行第二视差修正，以减小所述修改的IR与第二VL图像之间的视差误差；

在所述显示器上显示包括所述第二视差修正的所述修改的IR和第二VL图像的混合；

经由所述用户接口来接收第二组手动配准指令，其对应于用户的所述显示的修改的IR和第二VL图像的手动配准；

根据所述第二组手动配准指令对所述的修改的IR和第二VL图像进行配准；以及

将根据所述第二组手动配准指令执行的配准的所述量作为第二组视差改进数据保存在存储器中。

11.如权利要求10所述的系统，其中，所述第一IR和第一VL图像是实时图像。

12.如权利要求10所述的系统，其中，所述修改的IR图像和所述第二VL图像是实时图像。

13.如权利要求10所述的系统，其中，所述处理器被构造成在接收所述第一组手动配准指令之前接收执行第一视差改进过程的命令。

14.如权利要求10所述的系统，其中，所述处理器被构造成在接收所述第二组手动配准指令之前接收执行第二视差改进过程的命令。

15.如权利要求10所述的系统，其中

所述可移除附加透镜包括存储器，所述存储器能够在所述透镜被附接到所述IR照相机模块时与所述照相机的所述处理器通信；并且

将根据所述第二组手动配准指令执行的配准的所述量作为第二组视差改进数据保存在存储器中包括将所述第二组手动配准指令保存在所述附加透镜的所述存储器中。

16.如权利要求9所述的系统，还包括可移除附加透镜，所述可移除附加透镜能够被附接到所述IR照相机模块，用于生成修改的IR图像，并且其中，所述第一IR图像包括修改的IR图像。

17.一种系统，包括：

热成像照相机系统，其包括：

红外（IR）照相机模块，具有IR光轴且被构造成捕捉IR图像；

可见光（VL）照相机模块，具有偏离所述IR光轴的VL光轴且被构造成捕捉VL图像；

用户接口；

显示器；

存储器；以及

处理器，所述处理器能够：

执行导致第一视差调整的第一视差调整过程，以减小第一IR图像与第一VL图像之间的视差误差；

同时地在所述显示器上呈现包括所述第一视差调整的所述第一IR图像和第一VL图像；

经由所述用户接口来接收第一组手动配准指令，其对应于用户的所述显示的第一IR和第一VL图像的手动配准；

将根据所述第一组手动配准指令执行的配准的所述量作为第一组视差改进数据保存在存储器中；以及

从存储器调用所述第一组视差改进数据以便在视差改进数学算法中使用。

18.如权利要求17所述的系统，还包括可移除附加透镜，所述可移除附加透镜能够被附接到所述IR照相机模块，用于生成修改的IR图像，所述附加透镜包括当所述附加透镜被附接到所述IR照相机模块时与所述热成像照相机的所述处理器通信的透镜存储器。

19.如权利要求18所述的系统，其中，所述处理器还能够：

执行第二视差调整过程，以减小修改的IR图像和第二VL图像之间的视差误差；

同时地在所述显示器上呈现包括所述第二视差调整的所述修改的IR图像和第二VL图像；

经由所述用户接口来接收第二组手动配准指令，其对应于用户的所述显示的修改的IR和第二VL图像的手动配准；

将根据所述第二组手动配准指令执行的配准的所述量作为第二组视差改进数据保存至所述透镜存储器；以及

在所述附加透镜被附接到所述IR照相机模块时从所述透镜存储器调用所述第二组视差改进数据以便在所述视差改进数学算法中使用。

20.如权利要求18所述的系统，其中，所述处理器被构造成在所述附加透镜被附接到所述IR照相机模块时从所述附加透镜的所述存储器接收附加视差改进数据以便在所述视差改进数学算法中使用。