CN103873788B - 使用后处理技术减少热图像噪声的相机和方法 - Google Patents

使用后处理技术减少热图像噪声的相机和方法 Download PDF

Info

Publication number
CN103873788B
CN103873788B CN201310757267.0A CN201310757267A CN103873788B CN 103873788 B CN103873788 B CN 103873788B CN 201310757267 A CN201310757267 A CN 201310757267A CN 103873788 B CN103873788 B CN 103873788B
Authority
CN
China
Prior art keywords
images
camera
frame
image
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310757267.0A
Other languages
English (en)
Other versions
CN103873788A (zh
Inventor
K·R·约翰逊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FOLUC CORP
Original Assignee
FOLUC CORP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FOLUC CORP filed Critical FOLUC CORP
Publication of CN103873788A publication Critical patent/CN103873788A/zh
Application granted granted Critical
Publication of CN103873788B publication Critical patent/CN103873788B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H04N23/23—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from thermal infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/671—Focus control based on electronic image sensor signals in combination with active ranging signals, e.g. using light or sound signals emitted toward objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6842—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by controlling the scanning position, e.g. windowing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N25/00—Investigating or analyzing materials by the use of thermal means
    • G01N25/72—Investigating presence of flaws

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Studio Devices (AREA)
  • Radiation Pyrometers (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Image Processing (AREA)

Abstract

公开了用于生成具有改善的质量的红外(IR)图像的装置和方法。在本发明的实施例中，使用时间平均技术减少可能存在于热图像中的时间噪声。这在低对比度热场景中是非常有用的，在低对比度热场景中相对少量的热噪声会变得非常普遍。为了适当地平均，本发明的一些实施例提供了用于对准多个将被一起平均的图像以消除由于平均由误对准图像造成的不准确和误表示的方法或手段。

Description

使用后处理技术减少热图像噪声的相机和方法
背景技术
热成像相机被用在不同情况中。例如，在用于热检查装置的维护检查期间经常使用热成像相机。在其它类型的装置中，示例性的装置可以包括旋转机器、配电板或几排电路断路器。热检查能够检测装置热点，例如过热机器或电元件，帮助在出现更大问题之前及时确保对过热装置进行修理或替换。
根据相机的配置，热成像相机也可以生成同一物体的可见光图像。相机可以以协作方式显示红外图像和可见光图像，例如以帮助操作者解释由热成像相机生成的热图像。不同于通常提供不同物体之间良好对比的可见光图像，与真实世界场景相比，在热图像中经常难以辨认和区分不同特征。
当试图区分图像中的特征时，热噪声，特别是在低分辨率热图像中的热噪声会引起附加的问题。可与遍布图像的温度差相比的噪声会极大地改变图像的外观，使得区分特征更加困难。虽然过去已经使用图像平均技术来尝试消除一些随机噪声，但这些技术产生了其它图像问题，例如模糊边缘和鬼影效应。
发明内容
通常，本公开涉及用于提供热图像的热成像相机和方法，其中，通过设计为减少现有技术的负面副作用的平均技术减少随机噪声。
各种方法和装置落入本发明的范围内。本发明的某些实施例包括具有至少一个包括多个像素的红外(IR)传感器的热成像相机。在一些实施例中，每个像素可以具有唯一的坐标位置。某些相机进一步包括适于显示从目标场景检测到的IR图像的至少一部分的显示器。在本发明的一些实施例中，热成像相机包括编程为捕获目标场景的多个IR帧的处理器。在某些实施例中，处理器进一步包括平均多个帧以改善整体图像质量的指令。
在多个帧中，场景内基本上固定的特征的像素坐标逐帧地移动。因此，在本发明的某些实施例中，处理器可以进一步编程为具有执行对准计算的步骤，以调整帧，使得基本上固定的特征在多个帧中位于相同的像素坐标。在本发明的进一步实施例中，对已经经历对准计算和调整的帧进行由处理器执行的平均。
本发明其它实施例可以进一步包括可见光(VL)传感器，用于检测目标场景的VL图像。显示器可以配置为至少显示VL图像的一部分和／或可选地或附加地所捕获的IR图像的一部分。在本发明的某些实施例中，热成像相机捕获多个VL和IR帧。可以如前面描述的平均IR帧。然而在进一步实施例中，可以通过对多个VL图像执行对准计算来对准IR帧。
本发明的某些实施例包括产生IR图像的方法。在某些实施例中，图像可以包括目标场景的多个IR帧的平均。在本发明进一步实施例中，可以对多个捕获的IR帧执行对准计算以调整这些帧，使得多个帧中任何基本上固定的特征在每个帧中位于基本上相同的像素坐标。在其它实施例中，在基于对准计算调整多个帧之后平均这些帧。
参考附图和下面的描述说明了一个或多个示例的细节。根据说明书和附图以及权利要求，将明了其它特征、目的和优点。
附图说明
图1是根据一些实施例的热成像相机的正面透视图。
图2是图1的热成像相机的背面透视图。
图3是说明根据一些实施例的热成像相机的部件的功能方块图。
图4a和4b是在图像中定义的像素坐标系统的示例。
图5示出表明平均对随机噪声的影响的一组帧。
图6通过提供四个帧的平均计算的示例说明一些平均技术的缺点。
图7说明具有由本发明实施例作出了附加校正的四个帧的平均。
图8是由本发明实施例作出了校正和附加调整的结果。
图9a是说明本发明实施例的基本操作的工序流程图。
图9b是详细描述一系列红外图像的后处理的工序流程图。
图9c是详细描述使用相应的一系列可见光图像对一系列红外图像进行后处理的工序流程图。
具体实施方式
下面的详细描述本质上是示例性的，不是意在以任何方式限制本发明的范围、应用或配置。此外，下面的描述为实施本发明的不同实施例提供了一些实用的说明。为了选择元件提供了构造、材料、尺寸以及制造方法的示例，所有其它元件使用本发明领域的普通技术人员已知的那些。本领域技术人员将认识到许多说明的示例具有各种适当的可选方案。
热成像相机可以用于在观测时检测包括一个物体或多个物体的场景的热图案。热成像相机可以检测场景释放的红外辐射，并将该红外辐射转换为指示热图案的红外图像。在一些实施例中，热成像相机也可以从场景中捕获可见光，并将该可见光转换为可见光图像。根据热成像相机的配置，相机可以包括用于在红外传感器上聚焦红外辐射的红外光学器件和用于在可见光传感器上聚焦可见光的可见光光学器件。
不同的实施例提供了用于产生使用平均技术减少了噪声的热图像的方法和系统。为了进一步改善图像质量并消除由平均引起的问题(例如，模糊、鬼影等)，在平均前对热图像执行图像对准过程。
图1和2分别示出示例性热成像相机100的正面和背面透视图，该热成像相机100包括外壳102、红外透镜组件104、可见光透镜组件106、显示器108、激光器110以及触发控制112。外壳102容纳热成像相机100的各个组件。热成像相机100的底部包括手柄，用于用一只手把持和操作相机。红外透镜组件104接收来自场景的红外辐射并将该辐射聚焦到红外传感器上，用于产生场景的红外图像。可见光透镜组件106接收来自场景的可见光并将该可见光聚焦到可见光传感器上，用于产生同一场景的可见光图像。热成像相机100响应于按压触发控制112而捕获可见光图像和／或红外图像。此外，热成像相机100控制显示器108以显示由相机产生的红外图像和可见光图像，例如，用于帮助操作者对场景进行热检查。热成像相机100也可以包括耦合到红外透镜组件104的聚焦机构，其配置为移动红外透镜组件的至少一个透镜以调整由热成像相机产生的红外图像的聚焦。
在操作中，热成像相机100通过从场景中接收以红外波长光谱发射的能量并处理该红外能量以产生热图像来检测场景中的热图案。热成像相机100也可以通过接收可见光波长光谱的能量并处理该可见光能量以生成可见光图像来生成同一场景的可见光图像。如下面将详细描述的，热成像相机100可以包括配置为捕获场景的红外图像的红外相机模块和配置为捕获同一场景的可见光图像的可见光相机模块。红外相机模块可以接收通过红外透镜组件104投射的红外辐射，并由此产生红外图像数据。可见光相机模块可以接收通过可见光透镜组件106投射的光并由此生成可见光数据。
在一些示例中，热成像相机100基本上同时地(例如，在同一时间)收集或捕获红外能量和可见光能量，使得相机生成的可见光图像和红外图像是基本上同一时间的同一场景的。在这些示例中，由热成像相机100产生的红外图像指示在特定时间段下场景内的局部温度，同时由相机产生的可见光图像指示同一时间段下的同一场景。在其它示例中，热成像相机可以在不同时间段捕获场景的红外能量和可见光能量。
可见光透镜组件106包括至少一个将可见光能量聚焦于可见光传感器以生成可见光图像的透镜。可见光透镜组件106定义可见光光轴，其通过组件中的至少一个透镜的曲率中心。可见光能量通过透镜前侧投射并在透镜相反侧聚焦。可见光透镜组件106可以包括单个透镜或连续排列的多个透镜(例如，两个、三个、或更多透镜)。此外，可见光透镜组件106可以具有固定焦点，或可以包括聚焦调节机构以改变可见光光学器件的聚焦。在可见光透镜组件106包括聚焦调节机构的示例中，聚焦调节机构可以是手动调节机构或自动调节机构。
红外透镜组件104也包括至少一个将红外能量聚焦于红外传感器以生成热图像的透镜。红外透镜组件104定义红外光轴，其通过组件中的透镜的曲率中心。在操作期间，红外能量通过透镜前侧投射并在透镜相反侧聚焦。红外透镜组件104可以包括单个透镜或可连续排列的多个透镜(例如，两个、三个、或更多透镜)。
如上面简要描述的，热成像相机100包括用于调节由相机捕获的红外图像的聚焦的聚焦机构。在图1和2示出的示例中，热成像相机100包括聚焦环114。聚焦环114可操作地耦合(例如，机械和／或电耦合)到红外透镜组件104的至少一个透镜，并被配置为移动至少一个透镜到不同聚焦位置，以聚焦由热成像相机100捕获的红外图像。聚焦环114可以绕外壳102的至少一部分手动旋转以移动聚焦环被可操作地耦合到的至少一个透镜。在一些示例中，聚焦环114也可操作地耦合到显示器108，使得聚焦环114的旋转造成同时在显示器108上显示的可见光图像的至少一部分和红外图像的至少一部分相对于彼此移动。在不同的示例中，热成像相机100可以包括手动聚焦调节机构，其以聚焦环114以外的配置实现，或者在其它实施例中简单地保持固定焦点。
在一些示例中，除手动调节聚焦机构外，热成像相机100可以包括自动调节聚焦机构，或者用自动调节聚焦机构代替手动调节聚焦机构。自动调节聚焦机构可以可操作地耦合到红外透镜组件104的至少一个透镜并被配置为例如响应于来自热成像相机100的指令自动移动至少一个透镜到不同的聚焦位置。在这样的示例的一个应用中，热成像相机100可以使用激光器110来电测量目标场景中的物体和相机之间的距离，称为到目标的距离。然后热成像相机100可以控制自动调节聚焦机构来移动红外透镜组件104中的至少一个透镜到与热成像相机100确定的所述到目标的距离的数据相对应的聚焦位置。该聚焦位置可以对应于该到目标的距离的数据，因为该聚焦位置被配置为将目标场景中的物体放置到确定的聚焦距离。在一些示例中，由自动调节聚焦机构设定的聚焦位置可以由操作者例如通过旋转聚焦环114手动取代。
可以保存由激光器110测量的到目标的距离的数据，并将其与相应的捕获到的图像关联。对于使用自动聚焦捕获到的图像，该数据将被收集作为聚焦处理的部分。在一些实施例中，当捕获到图像时，热成像相机也将检测并保存到目标的距离的数据。当捕获到图像时，热成像相机可以通过使用激光器110，或者可选地，通过检测透镜位置并校正透镜位置到与该透镜位置关联的已知到目标的距离来获得该数据。热成像相机100可以使用到目标的距离的数据来指导用户将相机定位于距离目标相同的距离处，例如当用户重新定位相机时基于得到的激光测量值，通过指导用户移动得更接近或更远离，直到获得如之前图像中的相同的到目标的距离。热成像相机可以进一步自动设置透镜到如之前图像中的相同位置，或者可以指导用户重新定位透镜直到获得初始的透镜设置。
在热成像相机100的操作期间，操作者可能希望观察由相机生成的场景的热图像和／或相同场景的可见光图像。出于这个原因，热成像相机100可以包括显示器。在图1和2的示例中，热成像相机100包括显示器108，其位于与红外透镜组件104和可见光透镜组件106相对的外壳102背面。显示器108可以被配置为显示可见光图像、红外图像和／或同时显示可见光图像和红外图像的融合图像。在不同示例中，显示器108可以远离热成像相机100的红外透镜组件104和可见光透镜组件106(例如与其分离)，或者显示器108可以相对于红外透镜组件104和／或可见光透镜组件106具有不同的空间排列。因此，尽管在图2中示出显示器108位于红外透镜组件104和可见光透镜组件106的后面，显示器108也可以位于其它位置。
热成像相机100可以包括多个用户输入媒体，用于控制相机的操作并调节不同的相机设置。示例性的控制功能可以包括调节红外和／或可见光光学器件的聚焦、打开／关闭快门、捕获红外和／或可见光图像等。在图1和2的示例中，热成像相机100包括用于捕获红外和可见光图像的可按下的触发控制112，和形成用户界面的一部分、用于控制相机其它方面的操作的按钮116。可以有不同数量或排列的用户输入媒体，并且应该理解本公开并不限于这个方面。例如，热成像相机100可以包括触摸屏显示器108，其通过按压屏幕的不同部分来接收用户输入。
图3是说明热成像相机100的示例的组件的功能方块图。热成像相机100包括IR相机模块200、前端电路202。IR相机模块200和前端电路202有时合称为红外相机100的前端级或前端元件204。热成像相机100也可以包括可见光相机模块206、显示器108、用户界面208和输出／控制装置210。
红外相机模块200可以被配置为接收由目标场景发出的红外能量，并将红外能量聚焦到用于生成红外能量数据的红外传感器，例如其可以以红外图像的形式显示在显示器108上和／或保存在存储器中。红外相机模块200可以包括任何适合于执行属于模块的功能的元件。在图3的示例中，所说明的红外相机模块200包括红外透镜组件104和红外传感器220。如以上针对图1和2描述的，红外透镜组件104包括至少一个捕捉目标场景发出的红外能量并将该红外能量聚焦到红外传感器220的透镜。红外传感器220通过产生能够被转换为红外图像并在显示器108上显示的电信号，来响应所聚焦的红外能量。
红外透镜组件104可以具有多个不同的配置。在一些示例中，红外透镜组件104定义具有量值的F-数(其也可称为焦比或光圈数)。可以通过将透镜组件的有效焦距长度除以进入透镜组件的入口的直径(例如，红外透镜组件104的最外面的透镜)来得到近似的F-数，其可以表示进入透镜组件的红外辐射的量。通常，增加红外透镜组件104的F-数可以增加景深，或增加目标场景中在透镜组件的可接受聚焦范围内最近和最远物体之间的距离。当使用设置在超焦位置处的热成像相机100的红外光学器件观察目标场景中的不同物体时，增加景深可以有助于实现可接受的聚焦。然而，如果红外透镜组件104的F-数增加太多，衍射效应将降低空间分辨率(例如，清晰度)，使得目标场景不在可接收的聚焦内。F-数的增加也可以减少热敏感度(例如，噪声等效温度差将变差)。
红外传感器220可以包括一个或多个焦平面阵列(FPA)，其响应于通过红外透镜组件104接收到的红外能量来产生电信号。每个FPA可以包括多个红外传感器元件，包括例如测辐射热仪、光子检测器或其它适当的红外传感器元件。在操作中，每个传感器元件(其每一个均可称为传感器像素)可以响应于吸收从目标场景接收的红外能量而改变电特性(例如电压或阻抗)。反过来，电特性的改变可以提供电信号，该电信号可以由处理器222接收并被处理成显示在显示器108上的红外图像。
例如，在红外传感器220包括多个测辐射热仪的示例中，每个测辐射热仪可以吸收通过红外透镜组件104聚焦的红外能量并响应于所吸收的能量而增加温度。每个测辐射热仪的电阻抗可随测辐射热仪的温度改变而改变。由于每个检测器元件用作像素，能够通过将每个检测器元件的阻抗的改变转换为时分复用电信号来进一步生成红外辐射的二维图像或画面表示，可以处理该电信号用于在显示器上可视化或保存在存储器(例如计算机)中。处理器222可以通过对每个测辐射热仪施加电流(或电压)并且测量跨测辐射热仪的所得电压(或电流)，来测量每个测辐射热仪的阻抗的变化。基于这些数据，处理器222能够确定由目标场景的不同部分发出的红外能量的量并控制显示器108显示目标场景的热图像。
与包括在红外传感器220的FPA中的红外传感器元件的特定类型无关，FPA阵列能够定义任何适当的尺寸和形状。在一些示例中，红外传感器220包括多个排列为栅格图案的红外传感器元件，例如排列成垂直列和水平行的传感器元件阵列。在不同的示例中，红外传感器220可以包括垂直列乘水平行的阵列，例如16×16、50×50、160×120、120×160、或650×480。在其它示例中，红外传感器220可以包括较少数量的垂直列和水平行(例如1×1)，较大数量的垂直列和水平行(例如1000×1000)，或者列与行的不同比率。
在某些实施例中，读出集成电路(ROIC)被结合到IR传感器220上。ROIC用于输出对应于每个像素的信号。这样的ROIC一般作为集成电路制作在硅基板上。多个检测器元件可以制作在ROIC的顶部上，其中它们的组合用于IR传感器220。在一些实施例中，ROIC可以包括本公开中其他部分讨论的直接结合到FPA电路上的元件(例如模数转换器ADC)。这样的ROIC的集成或没有明确讨论的更高水平的集成应该认为包括在本公开的范围内。
如上面描述的，IR传感器220产生一系列对应于由每个红外检测器元件接收的红外辐射的电信号以表现热图像。当通过扫描组成IR传感器220的所有行获得来自每个红外检测器元件的电信号时，产生热图像数据的“帧”。同样，在涉及测辐射热仪作为红外检测器元件的某些实施例中，通过切换相应检测器元件到系统电路并在切入元件两端施加偏置电压来实现这种扫描。通过重复扫描IR传感器220的行来生成热图像数据的连续帧，以足以产生热图像数据的视频表现的速率(例如30Hz或60Hz)产生这样的帧。
前端电路202包括用于与IR相机模块200连接并控制IR相机模块200的电路。此外，前端电路202经由与处理器222之间的连接初始处理和发送收集的红外图像数据至处理器222。更具体的，由IR传感器220产生的信号最初由热成像相机100的前端电路202决定。在某些实施例中，如示出的，前端电路202包括偏置生成器224和预放大／积分器226。除了提供检测器偏置以外，偏置生成器224可选地从对于每个切入的检测器元件生成的总电流增加或减少平均偏置电流。可以改变平均偏置电流，以便(i)补偿由于热成像相机100内部周围温度的变化造成的检测器元件的整个阵列阻抗的偏离以及(ii)补偿IR传感器220的平均检测器元件中阵列到阵列的变化。可以由热成像相机100或软件自动控制这种偏置补偿，或者可以经由输入到输出／控制装置210或处理器222由用户控制这种偏置补偿。在提供检测器偏置和可选的平均偏置电流的减少或增加之后，信号可以通过预放大／积分器226。典型地，预放大／积分器226用于决定输入信号，例如在它们的数字化之前。结果，可以将输入信号调整为使信号能够更加有效的译码的方式，并且接着可以导致所生成的图像的更加有效的分辨率。随后，所决定的信号被向下游发送给热成像相机100的处理器222。
在一些实施例中，前端电路202可以包括一个或多个附加元件，例如，附加传感器228或ADC230。附加传感器228可以包括，例如温度传感器、可见光传感器(比如CCD)、压力传感器、磁传感器等。这样的传感器可以提供附加的校准和检测信息，以增强热成像相机100的功能性。例如，温度检测器能够提供IR传感器220附近的周围温度读数以辅助幅射测定计算。磁传感器，例如霍尔效应传感器能够与安装到透镜上的磁铁组合用于提供透镜聚焦位置信息。这样的信息对于计算距离，或为确定与从可见光传感器收集的可见光场景数据一起使用的视差偏移量是有用的。
ADC230可以以如下面讨论的基本上相同的方式提供相同的功能和操作，然而其包括在前端电路202中可以提供特定益处，例如，在经由彼此之间的连接向处理器222传输之前的场景和其它传感器信息的数字化。在一些实施例中，ADC230可以集成到ROIC中，如上面讨论的，由此不需要分离地设置和安装ADC230。
在一些实施例中，前端元件可进一步包括快门240。快门240可以放置在相对于透镜的内侧或外侧，并操作以打开或关闭由IR透镜组件104提供的视野。如现有技术中已知的，快门240可以是机械定位的，或可以通过电机装置，例如DC电机或螺线管启动。本发明的实施例可以包括实现为校准或设置软件的方法或设置，其利用快门240为每个检测器元件建立适当偏置电平。
热成像相机100内被描述为处理器的元件(包括处理器222)可以由一个或多个处理器实现，例如一个或多个微处理器、数字信号处理器(DSP)、特定用途集成电路(ASIC)、现场可编程门阵列(FPGA)、可编程逻辑电路等，可以是单独的或者是任何适当的组合。处理器222也可以包括存储器，其存储程序指令和相关数据，使得当由处理器222执行时，使热成像相机100和处理器222执行本公开中归属于它们的功能。存储器可以包括任何固定或可擦除磁、光学、或电介质，例如RAM、ROM、CD-ROM、硬盘或塑料磁盘、EEPROM等。存储器也可以包括可擦除存储部分，其可以用于提供存储更新或存储容量的增加。可擦除存储器也可以允许图像数据容易地转移到其它计算装置，或在热成像相机100用于其它应用中之前删除图像数据。处理器222也可以实现为将计算机或其它电子系统的所有元件集成到单个芯片的片上系统。这些元件操作从前端级204发送的所决定的场景图像数据以便提供能够为用户使用而显示或保存的输出场景数据。随后，处理器222(处理电路)发送所处理的数据至显示器108或其它输出／控制装置210。
在热成像相机100的操作期间，处理器222能够控制红外照相模块200产生用于生成红外图像的红外图像数据。处理器222能够产生红外图像数据的数字“帧”。通过生成红外图像数据的帧，处理器222在给定的时间点捕获目标场景的红外图像。
处理器222能够通过测量单个时间包括在红外传感器220的FPA中的每个红外传感器元件的电信号来捕获目标场景的单个红外图像或“快照”。可选地，处理器222能够通过重复测量包括在红外传感器220的FPA中每个红外传感器元件的电信号来捕获目标场景的多个红外图像。在处理器222重复地测量包括在红外传感器220的FPA中每个红外传感器元件的电信号的示例中，处理器222可以产生目标场景的动态热图像(例如视频表示)。例如，处理器222可以以足以生成热图像数据的视频表示的速率，例如30Hz或60Hz，测量包括在FPA中的每个红外传感器元件的电信号。处理器222可以执行其它操作来捕获红外图像，例如连续地致动快门240以打开和关闭红外透镜组件104的光圈等。
由于红外传感器220的每个传感器元件都作为传感器像素，处理器222能够通过将每个传感器元件的电特性(例如阻抗)的改变转换为能够被处理的时分复用电信号，生成来自目标场景的红外辐射的二维图像或画面表示，用于例如在显示器108上可视化和／或保存在存储器中。处理器222可以执行计算，以将行红外图像数据转换为场景温度(幅射测定)，在一些示例中，场景温度包括对应于场景温度的颜色。
处理器222可以控制显示器108显示捕获的目标场景的红外图像的至少一部分。在一些示例中，处理器222控制显示器108，使得红外传感器220的每个传感器元件的电响应与显示器108上的单个像素相关联。在其它示例中，处理器222可以增加或减少红外图像的分辨率，使得在显示器108上显示比红外传感器220中的传感器元件更多或更少的像素。处理器222可以控制显示器108以显示整个红外图像(例如，由热成像相机100捕获的目标场景的全部)或者比整个红外图像少的部分(例如由热成像相机100捕获的整个目标场景的较少部分)。处理器222可以执行其它图像处理功能，如下面更详细描述的。
与具体电路无关，热成像相机100可以配置为操作表示目标场景的数据以提供能够被显示、存储、发送或其它为用户使用的输出。
热成像相机100包括可见光相机模块206。可见光相机模块206可以被配置为接收来自目标场景的可见光能量，并将可见光能量聚焦到用于生成可见光能量数据的可见光传感器，例如其可以以可见光图像的形式显示在显示器108上和／或保存在存储器中。可见光相机模块206可以包括任何适合于执行归属于模块的功能的元件。在图3的示例中，所说明的可见光相机模块206包括可见光透镜组件106和可见光传感器242。如以上针对图1和2描述的，可见光透镜组件106包括至少一个捕获目标场景发出的可见光能量并将该可见光能量聚焦到可见光传感器242上的透镜。可见光传感器242通过产生能够被转换并在显示器108上显示为可见光图像的电信号，来响应所聚焦的能量。
可见光传感器242可以包括多个可见光传感器元件，例如，CMOS检测器、CCD检测器、PIN二极管、雪崩光电二极管等。可见光传感器元件的数量可以与红外光传感器元件的数量相同或不同。
在操作中，从目标场景接收的光能量可以通过可见光透镜组件106并聚焦到可见光传感器242上。当光能量撞击到可见光传感器242的可见光传感器元件上时，在光电检测器内的光子被释放并转换为检测电流。处理器222能够处理该检测电流以形成目标场景的可见光图像。
在使用热成像相机100期间，处理器222能够控制可见光相机模块206以生成来自捕获的目标场景的可见光数据，用以生成可见光图像。可见光数据可以包括指示与捕获的目标场景的不同部分相关联的颜色和／或与捕获的目标场景的不同部分相关联的光幅度的光度数据。处理器222能够通过测量单个时间热成像相机100的每个可见光传感器元件的响应来生成可见光图像数据“帧”。通过生成可见光数据帧，处理器222在给定时间点捕获目标场景的可见光图像。处理器222也可以重复测量热成像相机100的每个可见光传感器元件的响应以生成目标场景的动态热图像(例如视频表示)，如以上针对红外相机模块200描述的。
由于可见光相机模块206的每个传感器元件作为传感器像素，处理器222能够通过将每个传感器元件的电响应转换为能够被处理的时分复用电信号，来生成来自目标场景的可见光的二维图像或画面表示，用于例如在显示器108上可视化和／或保存在存储器中。
处理器222可以控制显示器108以显示捕获的目标场景的可见光图像的至少一部分。在一些示例中，处理器222控制显示器108，使得可见光相机模块206的每个传感器元件的电响应与显示器108上的单个像素相关联。在其它示例中，处理器222可以增加或减少可见光图像的分辨率，使得在显示器108上显示比可见光相机模块206中的传感器元件更多或更少的像素。处理器222可以控制显示器108以显示整个可见光图像(例如，由热成像相机100捕获到的目标场景的全部)或者比整个可见光图像少的部分(例如由热成像相机100捕获的整个目标场景的较少部分)。
如上所述，处理器222可以配置为确定热成像相机100和由相机生成的可见光图像和／或红外图像捕获的目标场景中的物体之间的距离。处理器222可以基于与相机相关联的红外光学器件的聚焦位置来确定该距离。例如，处理器222可以检测与相机的红外光学器件相关联的聚焦机构的位置(例如物理位置)(例如与红外光学器件相关联的聚焦位置)，并确定与该位置相关联的距离到目标的值。然后处理器222可以参考保存在存储器中的将不同位置与不同距离到目标的值相关联的数据，以确定热成像相机100和目标场景中的物体之间的具体距离。
在这些和其它示例中，处理器222可以控制显示器108以同时显示由热成像相机100捕获的可见光图像的至少一部分和由热成像相机100捕获的红外图像的至少一部分。由于相比红外图像，操作者可以更容易地辨别和区分可见光图像中的不同的真实世界的特征，这种同时显示在操作者参考在可见光图像中显示的特征以有助于理解同时显示在红外图像中的特征时是有用的。在不同的示例中，处理器222可以控制显示器108以并排的排列、画中画式的排列(其中一个图像环绕着另一个图像)，或其它可以同时显示可见光和红外图像的任何适当的排列方式，显示可见光图像和红外图像。
例如，处理器222可以控制显示器108以融合排列方式显示可见光图像和红外图像。在融合排列中，可见光图像和红外图像可以彼此层叠。操作者可以与用户界面208互动以控制在显示器108上显示的图像的一个或两者的透明度或不透明度。例如，操作者可以与用户界面208互动以在完全透明或完全不透明之间调整红外图像，也可以在完全透明或完全不透明之间调整可见光图像。这种融合排列的示例，其可以称为阿尔法混合排列，可以允许操作者调整显示器108以显示仅仅红外图像、显示仅仅可见光图像或在仅仅红外图像和仅仅可见光图像极端之间的两个图像的任何层叠组合。处理器222也可以将场景信息与其它数据，例如辐射度数据、报警数据等融合。
此外，在一些实施例中，处理器222能够解释并执行来自用户界面208、输出／控制装置210的命令。这会涉及不同输入信号的处理以及经由它们之间的连接将这些信号发送给前端电路202。可以致动最接近前端电路202的组件(例如电机或螺线管)以完成所需的控制功能。示例性的控制功能可以包括调节聚焦、打开／关闭快门、触发传感器读数、调节偏置值等。此外，输入信号可以用于改变处理器222中发生的图像数据的处理。
处理器可以进一步包括其它组件以辅助红外图像相机100的处理和控制。例如，如上面讨论的，在一些实施例中，可以在处理器222中结合ADC。在这种情况下，由前端级204决定的模拟信号直到到达处理器222才被数字化。此外，一些实施例可以包括附加的板上存储器，用于在向显示器108或者输出／控制装置210发送之前存储处理命令信息和场景数据。
操作者可以通过用户界面208与热成像相机100互动，用户界面208可以包括按钮、按键或其它用于接收来自用户的输入的机构。操作者可以经由显示器108接收来自热成像相机100的输出。显示器108可以配置为以任何可接受的调色板或色彩方案显示红外图像和／或可见光图像，并且例如响应于用户的控制，可以改变调色板。在一些示例中，显示器108配置为以单色调色板，例如灰阶或琥珀色显示红外图像。在其它示例中，显示器108配置为以彩色调色板，例如Ironbow、蓝-红或其它高对比度的色彩方案显示红外图像。也可以使用灰阶与彩色调色板的组合进行显示。
虽然处理器222能够控制显示器108以任何合适的排列同时显示红外图像的至少一部分和可见光图像的至少一部分，但画中画排列可以通过以相邻对准的方式显示同一场景的相应可见图像来帮助操作者容易地聚焦和／或解释热图像。
电源(未示出)为热成像相机100的各种元件提供操作能量并且，在一些示例中，电源可以包括可再充电的或不可再充电的电池及功率生成电路。
在热成像相机100操作期间，处理器222借助于与存储在存储器中的程序信息相关联的指令控制红外相机模块200和可见光相机模块206，以生成目标场景的可见光图像和红外图像。处理器222进一步控制显示器108以显示由热成像相机100生成的可见光图像和／或红外图像。
虽然对数字图像进行了后处理并执行计算，但为所述图像中的每个像素分配坐标常常是方便的。这考虑了包含在图像中的特征的定位，以及一致的方式，通过这种方式彼此参考在图像中的不同特征或特定位置，例如帧的中心或边缘。可以以多种方式对一组像素实现坐标系统。图4a和4b列举两个这种方式的示例，但应该理解并不限于在此公开的方法。
图4a说明二维像素坐标系统。在这种情况下，有两个表示二维图像的轴，每个像素与一对坐标相关联，例如(1，1)。向右移动一个像素就对第一个坐标增加一，而向左移动就对第一个坐标减少一。同样地，向上移动一个像素就对第二个坐标增加一，而向下移动就对第二个坐标减少一。在这个特定的示例中，在图像左下角的像素与坐标(0，0)关联。相应地，坐标为(1，1)的像素是在左下角的上方一个像素并且右边一个像素。
图4b说明像素坐标系统，其中为每个像素分配单一数字。在这个特定的25像素的示例中，向右移动一个像素就对坐标增加一，向左移动一个像素就对坐标减少一，如前面示例中的情况。然而，在这种安排中，向上移动一个像素则对坐标增加五，而向下移动一个像素则对坐标减少五。在这个示例中，在图像左下角的像素被赋予位置0。相应地，像素0上面一个像素且右面一个像素的坐标是0+1(向右的一个像素)+5(向上的一个像素)=6。然而，在这种安排中，给定像素的坐标而找到像素的位置需要更加复杂的算法。
整体上具有低温度对比的热场景会对热成像相机造成问题。如果在整个热场景中温度对比很小(例如只有很小的温度差)，则数据中的少量噪声会使当前的温度差不明显。例如，如果相机具有50mK的噪声等效温度差(NETD)(相当于0.050℃)，则0.050℃内的两个点彼此间无法容易地区分开。换言之，在该NETD的情况下，感应到的最高和最低温度相差1℃并且相机显示100个颜色或渐变范围以可视化地在温度间作出区分，则无法可靠地区分这个范围内的五个连续颜色。这是因为图像上的任何给定的点处，可能有高达5个的“噪声”的颜色(或渐变)影响测量和显示。该噪声将使场景中在噪声水平以下的任何温度差变得不明显。
这样的噪声会随时间而改变，可能出现在一个帧中的一个点且消失或不同于下一个。在这种情况下，多个帧中的数据的时间平均可以用于减少该噪声，由此减少NETD并改善信噪比。当对更多帧进行平均时，场景的有效NETD减少，从而增大装置的热灵敏度和场景的潜在对比。由n个独立帧平均的热场景以因数√n减少了所得到图像的NETD。
图5说明了噪声随着增加平均而减少。示出的是图像噪声的四个表示(仅示出了表示每个像素上噪声的数据，而没有来自热场景的信号)，如帧501、帧502、帧503和帧504所示。假设噪声在时间上是完全随机的，由具有在-100到100之间表示热噪声随机量的随机散布数的像素生成八个5像素乘5像素“图像”)(即，帧)。每个图像表示不同时间点的场景的同一热图像。帧501表示来自单个帧的没有平均、只有随机噪声数据的噪声数据。帧502表示两个具有随机噪声的帧的平均，减少了场景的NETD因数√2。帧503表示四个帧的平均，从原始场景减少NETD因数2。帧504表示八个随机帧的平均，再一次减小NETD，这次是比原始帧减少了因数√8。每个帧都进行颜色编码以更加清晰地显示噪声信号的差异-较黑的像素表示较低的噪声值。显然，通过平均步骤，帧501中存在的宽范围的噪声被极大地减少，相比之下，帧504在像素之间具有非常小的对比度。随着被平均的帧的数量增加，这显著地减小了像素之间的噪声差异，从而实现低对比度热场景的更大温度分辨率。
本发明的某些实施例使用需要采集图像的多个场景的平均方法，其中场景的每个像素具有与该像素相关联的所测量到的温度相对应的值。在多个场景上，来自相同像素坐标的值一起平均，得到每个像素的计算平均值。这些被平均的像素被集合在一起以构成平均图像。然而，平均可能是额外的误差和／或不期望的图像伪影的来源。
与对图像进行平均相关的常见问题是由于被平均的帧的误对准，所得到的图像可能包括模糊边缘或鬼影。这在图6中说明，其中在将被平均的四个帧601、602、603和604中的每一个中，表示基本上固定的特征的相同强度的2像素乘2像素方形出现在帧的中心附近。每一个正方形中的数字表示对应于与每个像素相关联的温度的示例性的值，每个正方形的颜色深浅意味着与每个像素相关联的温度的可视化表示。该图说明了一种情况，在这种情况下，在将被使用的四个帧的捕获过程期间，正方形物体的位置在像素坐标中偏移，使得所得到的平均图像605成为不同强度的3像素乘3像素正方形。该平均的图像605与任何一个独立的帧明显不同，因此不能准确显示真实场景。在平均之前同样的特征被移动到同样的坐标位置的对准步骤将有助于解决这个问题。下面将概述一个可能的对准步骤。
如果每个帧相对于其像素坐标移动合适的量，则在平均之前图像中的物体将在每个帧中适当地对准，并且将不会发生不准确的问题。例如，如果使用图4a中示出的二维坐标系统，在每个帧中的2乘2块将具有可确定的位置。在这种情况下，块包括像素：
帧1601中的(1，2)，(2，2)，(1，3)和(2，3)
帧2602中的(1，1)，(2，1)，(1，2)和(2，2)
帧3603中的(2，1)，(3，1)，(2，2)和(3，2)
帧4604中的(2，2)，(3，2)，(2，3)和(3，3)
在执行对准计算之后，成像装置决定如何最好地移动非参考帧的像素坐标以最准确地将这些帧与参考帧对准。这种计算的示例在本领域中是已知的，并且可以包括相关(correlation)或类似计算。在Bae等人的题为“Computation Re-Photography”的论文(ACM图案学报，第29卷第3期，文章24，公开日期为2010年6月)中公开了附加的对准方法，以及通过在公开号为US2007／0247517中的转换矩阵，或通过在专利号为7924312的美国专利中计算相似图案的方法，通过引用将它们合并于此。
如果，例如，装置选择帧1601作为参考帧，将其余帧与参考帧对准需要以下坐标移动，通过从参考帧中的特定特征的像素位置减去一个帧中的同一特征的像素位置来计算。在这个示例中，使用的特征是所成像的方形的左下角：
帧1601：由于其是参考帧，所以不需要移动
帧2602：(1，2)-(1，1)=(0，1)；在平均之前在帧2602的所有坐标上增加(0，1)
帧3603：(1，2)-(2，1)=(-1，1)；在平均之前在帧3603的所有坐标上增加(-1，1)
帧4604：(1，2)-(2,2)=(-1，0)；在平均之前在帧4604的所有坐标上增加(-1，0)
图7示出帧701、702、703和704，分别表示原始帧601、602、603和604的移动结果。平均的帧705表示由移动的帧701-704平均而得到的图像。如所说明的，在平均这些帧之前执行这些移动，使得物体，在这个示例中是2乘2方形，落在帧701、702、703和704的每一个中相同的像素坐标位置，后续的平均计算产生平均的图像705——原始场景的更加准确的表示。
如果使移动帧与参考帧对准，两个帧的边界将不一致，并且这些帧将不会完全重叠。这会导致在已经将一部分非参考帧移动以对准场景元素之后它们“突出”参考帧的边缘。图8中示出了这种情况，其中二级帧802被移动到参考帧801上并且两个帧被平均。然而，可以看出，有些“额外的”像素(在此以较浅的灰色示出)未适配于参考帧内。在本发明的某些实施例中，这些像素可以被相机直接忽略，或者被结合到图像的边界中。在其它实施例中，可以以其它方式处理这些“额外的”像素。图9示出了说明本发明实施例的通常步骤的流程图，如下面将要描述的。用户选择901使能热成像相机中的突发模式和后处理。如果未被使能，相机可以作为传统热成像相机999操作。如果被使能，用户可以选择要平均的帧的数量902以形成所得到的帧。可以从列表中做出该选择，可能包括2、4、8......n个图像一起被平均的选项。在一些实施例中，可以经由用户界面116来完成突发模式的使能和要平均的帧的数量的选择。通常，平均的帧越多，对于去除噪声越有效，但会花费处理时间。在替代实施例中，用户可以在选择901使能突发模式之前选择要平均902的帧的数量。
接下来，用户可以使用用户界面116和触发控制112以命令处理器222捕获多个帧来捕获903一系列用于平均的红外(IR)图像。优选连续捕获这些帧，但是在一些实施例中，也可以不连续捕获这些帧。例如，在实施例中，如果帧没有满足特定标准，相机可以选择将其丢弃。可以经过前面提到的可见光相机模块206附加地捕获场景的可见光(VL)图像。随后相机，例如经由其处理器222执行编程的算法，执行后处理步骤904，对准并平均图像。在计算过程期间，用户可以在显示器108上看到表示相机正在执行步骤的沙漏或其它图标或图像。在处理期间，显示器108上不显示实时的热图像。在某些环境中，用户可能不希望出现该情形。在其它实施例中，在处理期间，显示器108上能够看到实时的热图像。在处理期间，用户可以中止997计算，使得实时的热图像返回到显示器108并使该装置准备用于进一步使用998。如果计算没有中止，相机将对准并平均IR图像，产生905平均的热场景。在一些实施例中，平均的热场景可以具有与其相关联的可见光图像。在图9b中将进一步详细说明本发明实施例的对准及平均的处理步骤。在相机获得910一系列n个IR图像后，相机选择911所述图像中的一个图像作为参考图像。在某些实施例中，处理器选择一系列所捕获的图像中的第一个图像作为参考图像。在其它实施例中，也可以选择该系列图像中的其它图像。处理器222接下来执行对准计算912，如以上提到的，以确定如果要移动，则除参考帧以外的其它n-1个帧相对于参考帧移动多少。换句话说，如果场景内存在基本上固定的物体，例如相对于相机不动的物体，则其像素坐标在每个帧中应该是匹配的。然而，由于物体、相机、操作者的不稳定性或任何其它可能引起不期望的场景内的元素位置改变的因素，它们并不总是匹配的。因此，为了对准而进行的计算确定了为了与参考帧更好地对准所必需完成的n-1个非参考帧中的每一个的移动程度。尽管上面描述了图像相关性和其它方法，也可以使用确定图像之间的空间移动的任何已知方法。
经过计算912，生成非参考图像的n-1个新版本，现在每一个都与参考图像对准。这些图像经由处理器222一起平均913，例如生成914最终的、时间上平均的IR图像，其具有相对于原始图像减少因数√n的NETD，如前面讨论的，也可以包括相关联的VL图像。
在一些实施例中，热成像装置可以捕获红外(IR)和可见光(VL)图像。在进一步的实施例中，可以基本上同时地捕获这些VL和IR图像，其中VL和IR图像的捕获之间，场景内的元素的像素坐标将不改变。在这样的实施例中，相机可以在平均IR数据之前使用VL图像执行多个帧的对准。由于IR和VL场景至少基本上同时获得，IR场景间的任何误对准应该类似地显现在VL场景中。因此，确定VL场景间的误对准使得知道相关联的IR场景间的误对准，从而允许适当地对准和平均它们。由于VL图像通常比IR图像提供更好的不同物体间对比度，有时通过分析VL图像(例如相关或执行其它对准计算)比通过分析IR图像更容易确定捕获的帧之间的空间移动。在图9c中详细说明使用VL和IR图像两者的过程。
在该实施例中，相机捕获920一系列n个IR和n个相关联的VL图像，每个IR和其相关联的VL图像彼此基本上同时捕获。接下来，例如通过处理器222选择921一个VL图像作为参考图像。接下来，执行与图9b的描述中讨论的类似的计算922，只是这次计算n-1个非参考VL图像中的每一个的位置偏移量。在确定附加的n-1个VL图像中的每一个相对于参考图像的偏差后，每个IR图像移动923其对应的VL图像误对准数量。因为IR和VL图像基本上同时获得并且每个的光学器件相对于彼此固定，VL图像相对于参考图像的任何偏移将同样相等地存在于IR图像中。因此执行IR图像的该移动将使它们对准，就像这会使VL图像对准一样。一旦对准，则如图9b的描述中的使IR图像平均924，产生925平均的IR图像，其具有相对于未平均的IR图像减少√n因数的NETD。该图像与其VL图像，即在对准步骤中使用的参考VL图像相关联。
该实施例在具有如上所述的低热对比度的情况下是优选的，此时噪声的减少会极大提高图像质量。因为有助于定义诸如边缘和角落的元素在低对比度的IR图像中不是非常突出或清楚，本实施例是有利的。可能是这种情况，当热对比度低时，VL图像中这些边缘和角落非常清楚且明显。如果是这种情况，使用VL图像而不是IR图像时对准计算会更加准确或更加容易。
在其它实施例中，不必基本上同时捕获IR和相关联的VL图像，以便通过对VL图像执行计算来执行前述的对准IR图像的过程。并且，利用诸如VL和IR相机模块的帧捕获次数和VL和IR相机模块之间的物理分离这样的要素，使用VL图像以便对准IR图像是可能的。使用这些或其它已知的值，可以根据与相关联的IR图像基本上不同时间捕获的VL图像计算出合理的IR图像对准。
已经描述了示例性的热成像相机和相关技术。在本公开中描述的技术也可以嵌入或编码到计算机可读介质中，例如包含指令的非短暂计算机可读存储介质。在计算机可读存储介质中嵌入或编码的指令可以使得可编程处理器、或其它处理器执行方法，例如当指令被执行时。计算机可读存储器媒体可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘、光媒体或其它计算机可读媒体。
已经描述了各种示例。这些和其它示例均落入所附的权利要求的范围内。

Claims (20)

1.一种热成像相机，包括：
IR透镜组件，具有用于检测目标场景的IR图像的至少一个相关联的IR传感器，所述IR传感器包括多个像素，每个像素具有唯一的坐标位置；
显示器，适于显示所述IR图像的至少一部分；并且
所述相机能够操作用于：
捕获单个目标场景的IR图像的多个通常连续的帧，
执行对准计算，通过所述对准计算，所述帧通常相对于彼此调整，以使得来自所述帧中的一个帧的基本上固定的特征在其它帧中的每个帧中具有近似相同的像素坐标，以及
平均所调整的帧，以生成所述场景的具有改善的质量的平均IR图像。
2.如权利要求1所述的相机，其中，所述对准计算使用连续捕获的IR图像的帧。
3.如权利要求1或2所述的相机，其中，将要捕获的所述多个通常连续的帧的数量从不同选项的列表中选择。
4.如权利要求3所述的相机，其中，所述不同选项的列表进一步包含“2”、“4”、或“8”的选择可能性。
5.如权利要求1-2和4中的任一项所述的相机，其中，所述对准计算至少由相关组成或包括相关。
6.如权利要求1-2和4中的任一项所述的相机，其中，改善图像质量包括改善热灵敏度或至少改善热灵敏度。
7.如权利要求6所述的相机，其中，改善热灵敏度包括有效地减少所述相机和/或所述IR图像的NETD。
8.如权利要求1-2、4和7中的任一项所述的相机，其中，在处理期间显示图标。
9.如权利要求1-2、4和7中的任一项所述的相机，其中，所述对准计算可由所述相机的用户中止。
10.如权利要求1-2、4和7中的任一项所述的相机，进一步包括VL透镜组件并具有用于检测所述目标场景的VL图像的至少一个相关联的VL传感器；所述显示器适于至少显示所述VL图像的一部分和/或所述IR图像的一部分。
11.如权利要求10所述的相机，其中，使用多个VL图像执行所述对准计算，每个VL图像对应于相关联的IR图像。
12.如权利要求11所述的相机，其中，所述多个VL图像与对应的IR图像基本上同时捕获。
13.如权利要求11或12所述的相机，其中，所述对准计算使用连续获得的图像。
14.如权利要求11或12所述的相机，当引用至少权利要求6时，其中改善热敏感度包括有效地减少所述VL图像的NETD。
15.如权利要求1-2、4、7和11-12中的任一项所述的相机，进一步包括至少一个处理器，所述处理器被编程有指令，用以捕获IR图像的多个通常连续的帧、执行所述对准计算并平均所调整的帧以生成所述平均的IR图像。
16.一种用于产生热图像的方法，包括：
使用热成像相机捕获单个场景的IR图像的多个帧，所述相机包括至少一个处理器，从略微不同的视场捕获所述帧中的一些帧，使得所述场景位于所捕获的多个IR图像中的一些IR图像的帧的不同部分；
由所述处理器执行对准计算，所述对准计算调整所述帧，使得来自所述帧中的一个帧的基本上固定的特征在其它帧中的每个帧中具有近似相同的像素坐标；以及
平均所调整的帧，以生成所述场景的具有改善的质量的平均IR图像。
17.如权利要求16所述的方法，其中，所述相机捕获附加的、相等的多个VL图像，每个可见光图像与对应的IR图像相关联。
18.如权利要求17所述的方法，其中，使用所述多个VL图像执行所述对准计算。
19.如权利要求17或18所述的方法，其中，所述VL图像和对应的IR图像基本上同时捕获。
20.如权利要求1-2、4、7和11-12中的任一项所述的相机或者权利要求16到18中的任一项所述的方法，其中，所述相机是便携的手持热成像相机。
CN201310757267.0A 2012-12-10 2013-12-10 使用后处理技术减少热图像噪声的相机和方法 Active CN103873788B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/709,352 US9282259B2 (en) 2012-12-10 2012-12-10 Camera and method for thermal image noise reduction using post processing techniques
US13/709,352 2012-12-10

Publications (2)

Publication Number Publication Date
CN103873788A CN103873788A (zh) 2014-06-18
CN103873788B true CN103873788B (zh) 2017-05-31

Family

ID=49726628

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310757267.0A Active CN103873788B (zh) 2012-12-10 2013-12-10 使用后处理技术减少热图像噪声的相机和方法

Country Status (3)

Country Link
US (1) US9282259B2 (zh)
EP (1) EP2741491B1 (zh)
CN (1) CN103873788B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD763261S1 (en) * 2013-04-30 2016-08-09 Symbol Technologies, Llc Ergonomic mobile computing device
US9990730B2 (en) 2014-03-21 2018-06-05 Fluke Corporation Visible light image with edge marking for enhancing IR imagery
US20160033336A1 (en) * 2014-07-30 2016-02-04 Milwaukee Electric Tool Corporation Thermal detection systems, methods, and devices
WO2016061754A1 (zh) * 2014-10-22 2016-04-28 中国科学院自动化研究所 一种手持式分子影像导航系统
US10204353B2 (en) * 2015-01-28 2019-02-12 CertiRx, Inc. Copy detection using extinsic features
US10116885B2 (en) 2015-04-05 2018-10-30 Hema Imaging Llc Systems and approaches for repeated thermal imaging determinations
USD807374S1 (en) 2015-07-21 2018-01-09 Symbol Technologies, Llc Bezel component for a mobile computer device
USD781860S1 (en) 2015-07-21 2017-03-21 Symbol Technologies, Llc Mobile computer device
US10152811B2 (en) 2015-08-27 2018-12-11 Fluke Corporation Edge enhancement for thermal-visible combined images and cameras
JP2018200252A (ja) * 2017-05-29 2018-12-20 アズビル株式会社 熱画像処理装置およびオフセット量算出方法
RU2679547C1 (ru) * 2018-03-13 2019-02-11 Закрытое акционерное общество "ЭЛСИ" Способ компенсации геометрического шума матричного фотоприемника
JP7232014B2 (ja) * 2018-11-06 2023-03-02 キヤノン株式会社 画像のノイズを低減する画像処理装置および画像処理方法ならびにプログラム
USD918210S1 (en) 2019-04-04 2021-05-04 Zebra Technologies Corporation Data capture device
KR20210021271A (ko) * 2019-08-17 2021-02-25 삼성전자주식회사 칩 국부적 열원을 이용한 이미지 센서 내의 열 쉐이딩을 감소시키기 위한 시스템 및 방법
RU2711723C1 (ru) * 2019-10-29 2020-01-21 федеральное государственное бюджетное образовательное учреждение высшего образования "Новгородский государственный университет имени Ярослава Мудрого" Способ компенсации геометрического шума матричного фотоприемника
EP4158592A1 (en) * 2020-05-29 2023-04-05 EV-Technologies Video imaging device with embedded cognition

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4593311A (en) 1983-11-30 1986-06-03 Rca Corporation Electrical registration of CCD imagers
US6630950B1 (en) 1998-03-19 2003-10-07 Canon Kabushiki Kaisha Apparatus for improving image vibration suppression
US6778210B1 (en) 1999-07-15 2004-08-17 Olympus Optical Co., Ltd. Image pickup apparatus with blur compensation
US7103235B2 (en) 2001-04-25 2006-09-05 Lockheed Martin Corporation Extended range image processing for electro-optical systems
EP1386481A1 (en) * 2001-05-07 2004-02-04 Flir Systems AB Infrared camera sensitive for infrared radiation
GB0208654D0 (en) 2002-04-16 2002-05-29 Koninkl Philips Electronics Nv Image processing for video or photographic equipment
WO2004112380A1 (ja) 2003-06-17 2004-12-23 Matsushita Electric Industrial Co., Ltd. 情報生成装置、撮影装置および撮影方法
US7705884B2 (en) 2004-07-21 2010-04-27 Zoran Corporation Processing of video data to compensate for unintended camera motion between acquired image frames
WO2006036398A2 (en) 2004-08-23 2006-04-06 Sarnoff Corporation Method and apparatus for producing a fused image
US7649549B2 (en) 2004-09-27 2010-01-19 Texas Instruments Incorporated Motion stabilization in video frames using motion vectors and reliability blocks
IL165190A (en) 2004-11-14 2012-05-31 Elbit Systems Ltd System and method for stabilizing an image
JP4310645B2 (ja) 2004-12-28 2009-08-12 ソニー株式会社 撮像画像信号の歪み補正方法および撮像画像信号の歪み補正装置
US7755667B2 (en) 2005-05-17 2010-07-13 Eastman Kodak Company Image sequence stabilization method and camera having dual path image sequence stabilization
US7598979B2 (en) 2005-09-21 2009-10-06 Aptina Imaging Corporation Imaging device with blur reduction system including a primary array and at least one navigation array
DE602007000971D1 (de) * 2006-01-20 2009-06-10 Fluke Corp Kamera mit Bildmischung aus sichtbarem Licht und Infrarotlicht
SE0600574L (sv) 2006-03-16 2007-09-04 Flir Systems Ab Metod för korrektion av olikheter hos detektorelement ingående i en IR-detektor
SE531372C2 (sv) 2006-04-25 2009-03-17 Flir Systems Ab Metod för signalkonditionering
US7652250B2 (en) * 2006-06-26 2010-01-26 Matthew Erdtmann Noise reduction method for imaging devices
US8830340B2 (en) 2006-09-08 2014-09-09 Sri International System and method for high performance image processing
US7995859B2 (en) 2008-04-15 2011-08-09 Flir Systems, Inc. Scene based non-uniformity correction systems and methods
JP4900401B2 (ja) 2008-05-16 2012-03-21 カシオ計算機株式会社 撮影装置およびプログラム
US7924312B2 (en) 2008-08-22 2011-04-12 Fluke Corporation Infrared and visible-light image registration
TWI365662B (en) 2008-12-03 2012-06-01 Inst Information Industry Method and system for digital image stabilization and computer program product using the method thereof
JP4645746B2 (ja) 2009-02-06 2011-03-09 ソニー株式会社 画像処理装置、画像処理方法および撮像装置
DE102010013377B4 (de) 2010-03-30 2012-02-02 Testo Ag Bildverarbeitungsverfahren und Wärmebildkamera
US8374453B2 (en) 2010-11-10 2013-02-12 Raytheon Company Integrating image frames
DE102010053458B4 (de) 2010-12-03 2023-06-22 Testo SE & Co. KGaA Verfahren zur Aufbereitung von IR-Bildern und korrespondierende Wärmebildkamera
WO2012142048A2 (en) 2011-04-11 2012-10-18 Flir Systems, Inc. Techniques for selective noise reduction and imaging system characterization
DE102011121332A1 (de) 2011-12-16 2013-06-20 Testo Ag Verfahren zur Erzeugung von SR-Bildern mit verbesserter Bildauflösung und Messvorrichtung
US9338352B2 (en) 2011-12-30 2016-05-10 Flir Systems Ab Image stabilization systems and methods
WO2013104328A1 (zh) * 2012-01-12 2013-07-18 杭州美盛红外光电技术有限公司 热像装置和热像规范拍摄方法
WO2014014957A1 (en) 2012-07-16 2014-01-23 Flir Systems, Inc. Methods and systems for suppressing noise in images

Also Published As

Publication number Publication date
US20140160298A1 (en) 2014-06-12
EP2741491A2 (en) 2014-06-11
US9282259B2 (en) 2016-03-08
CN103873788A (zh) 2014-06-18
EP2741491A3 (en) 2014-12-03
EP2741491B1 (en) 2018-02-14

Similar Documents

Publication Publication Date Title
CN103873788B (zh) 使用后处理技术减少热图像噪声的相机和方法
US10726559B2 (en) Visible light image with edge marking for enhancing IR imagery
JP6430447B2 (ja) 可視光画像データ及び赤外線画像データの組合せシステム、熱画像カメラ、赤外線画像を強調する方法を実行する命令を記録したコンピュータ読み取り可能な記録媒体
CN103575405B (zh) 具有图形温度曲线的热成像相机
EP2938061B1 (en) Methods for end-user parallax adjustment
US11022546B2 (en) Optical gas imaging systems and methods
US9204062B2 (en) Thermal imaging camera with range detection
CN112567217B (zh) 与未冷却热成像相机兼容的光学气体成像系统和方法
US9635283B2 (en) Thermal imager with large dynamic range and improved signal-to-noise ratio
US20140267757A1 (en) Parallax correction in thermal imaging cameras
US20130083199A1 (en) Thermal imaging camera with infrared lens focus adjustment
US20130155249A1 (en) Thermal imaging camera for infrared rephotography
CN108476295B (zh) 从多个图像生成图像的方法、热成像相机以及介质
US10999537B2 (en) Compact camera

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant