CN101067710B - 具有可见光与红外图像混合的相机 - Google Patents

具有可见光与红外图像混合的相机 Download PDF

Info

Publication number
CN101067710B
CN101067710B CN2007100040009A CN200710004000A CN101067710B CN 101067710 B CN101067710 B CN 101067710B CN 2007100040009 A CN2007100040009 A CN 2007100040009A CN 200710004000 A CN200710004000 A CN 200710004000A CN 101067710 B CN101067710 B CN 101067710B
Authority
CN
China
Prior art keywords
camera
infrared
infrared image
image
visible light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2007100040009A
Other languages
English (en)
Other versions
CN101067710A (zh
Inventor
柯克·R·约翰逊
托马斯·J·麦克马纳斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Foluc Corp.
Original Assignee
Infrared Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Infrared Solutions Inc filed Critical Infrared Solutions Inc
Publication of CN101067710A publication Critical patent/CN101067710A/zh
Application granted granted Critical
Publication of CN101067710B publication Critical patent/CN101067710B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

能够目标景象的采集可见光图像和红外图像的相机。所述相机包括可聚焦的红外镜头和显示屏。所述显示屏提供在聚焦模式或分析模式下的可见光图像和红外图像。在聚焦模式下，目标景象的红外成像的百分比相对较高，以辅助用户对红外图像进行聚焦。在分析模式下，红外成像的百分比相对较低，以辅助用户分析所述目标景象和使得所述目标景象显像。所述，模式可以手动或者自动地切换。

Description

具有可见光与红外图像混合的相机
优先权要求
本申请要求于2006年1月20日提交的美国临时申请No.60/760,810的优先权，在此将该公开整体引入作为参考。本申请是于2005年12月5日提交的共同未决美国专利申请No.11/294,752的后续部分，其要求了于2004年12月3日提交的美国临时专利申请No.60/633,078的优先权，在此将该公开整体引入作为参考。
背景技术
目前的很多红外相机仅仅使用在电磁光谱的远红外部分(特别是在8-14微米范围)中的能量来生成景象的图像(IR图像)。使用这些相机所获得的图像根据到达相机传感器元件的IR辐射强度，将颜色和灰度级分配给构成景象的像素。由于所得到的IR图像是基于目标的温度的，并且由于相机所显示的颜色或者级别通常并与景象的可见光颜色不对应，因此难以准确地将IR景象中的感兴趣特征(例如热点)与其在操作者所观看的可见光景象中的相应位置相关联，尤其是对于这种设备的新用户而言。在红外景象对比度低的应用中，仅仅红外图像可能特别难以被解释。
红外景象是热发射的结果，但是与由于反射可见光而形成的可见光图像相比，大部分(并非全部)的红外场景由于其真实的特性而较为不尖锐。例如，考虑具有很多电子部件和相互连接的工业机器的电子控制面板，由于不同的颜色和良好定义的形状，可见光图像将是尖锐并清晰的。由于从一个或者多个热部分向相邻部分传递热量，因此红外图像可能显得较为不尖锐。
当使用红外相机摇摄(pan)一个区域来寻找热点或者冷点时，可以观看相机显示屏中的可见颜色变化。然而，有时热点或者冷点很小并且颜色变化可能不明显。为了帮助识别热点或者冷点，红外相机经常通过在显示屏上的可见光标或者其他图形指示器来指示热点或者冷点的位置。使用已知的放射测量技术(例如，建立或者测量参考温度)所计算的这种热点的温度经常被显示在光标附近。即使是使用颜色变化和热点指示，也难以准确地将相机显示屏的IR成像中的热点与在操作者所观看到的可见光景象中相应位置关联起来。
为了解决这个更好地识别感兴趣温度点的问题，一些相机允许操作者使用内建在红外相机中的独立的可见光相机来采集景象的可见光图像(经常称为“控制图像”)。商业上可以买到的FLIR Systems ofWilsonville，Orengon的FLIR ThermaCam
Figure 200710004000910000210003_0
P65是这种相机的一个实例。这些相机不具有自动对准或者在相机中将可见光图像和红外图像合并的能力。要由操作者来手动将在红外图像中的感兴趣图像特征与在可见光图像中的相应的图像特征相互关联起来。
其他红外温度测量装置可以采用单一温度测量传感器，或者以网格图案排列的少量温度传感器。单一点装置通常提供激光指示系统，以通过对单一温度传感器元件所观测的点或者区域进行照明，来识别目标区域，例如商业上可以买到的新泽西奥克兰Mikron Infrared公司的Mikron M120。可替换的是，一些系统采用一种光学系统，其允许用户通过经由与温度传感器对准的光路进行观测，在视觉上识别在该装置正在进行测量的目标景象中的点，例如，商业上可以买到的新泽西奥克兰Mikron Infrared公司的Mikron M90。具有一个以上传感器元件的装置通常提供由少量景象像素所组成的非常粗糙的红外图像，其中每个像素都具有相对较大的瞬间视场(IFOV)，例如，商业上可以买到的旧金山圣地亚哥的Advcanced Test Equipment的IRISYS IRI1011。使用这种图像来精确地识别感兴趣特征是非常困难的。
经常难以对红外图像进行聚焦，因为红外图像通常没有尖锐的分辨率。例如，由于从热位置到相邻位置的多个过程的热传递，图像不是一直具有尖锐分辨率的。这使得对红外图像进行聚焦变得用户主观化。希望使得对红外图像进行聚焦变得较为不主观化。
发明内容
本发明的特定实施例将视频速率的和/或者静止的红外相机与视频速率的和/或者静止的可见光相机在一个装置中合并起来，从而使得景象能够在可见光和红外光中同时被观察和记录。将这两个图像进行配准(校正视差(parallax error))和调节大小，以相互匹配，从而使得在结果图像中红外景象和可见光景象相互重叠。操作者能够选择观看红外图像、可见光图像或者两者的alpha混合(融合)合并。由于由相机将两个图像进行匹配，因此操作者能够容易地通过注意在两个图像中感兴趣特征是在何处重叠的，来将红外图像和可见光图像中的感兴趣特征相互关联起来。新手可以选择观看仅仅可见光图像，并使用从未显示的、但是相关联的红外图像而来的数据，在可见光图像中读出温度。
本发明的特定实施例提供了显示可见光(VL)图像和/或者红外(IR)图像的一种方法。所述方法包括提供具有VL相机模块、IR相机模块和显示屏的相机。所述VL相机模块和IR相机模块分别具有第一和第二视场(FOV)。所述方法包括将所述IR相机模块聚焦在目标景象上，以生成经过聚焦的第二FOV。所述IR相机模块的聚焦将与经过聚焦的第二FOV相对应的至少一部分第一FOV，与第二FOV进行配准。所述方法还包括显示经过配准的第一FOV、经过聚焦的第二FOV，或者显示经过配准的第一FOV和经过聚焦的第二FOV的混合图像。
本发明的特定实施例提供了显示可见光(VL)图像和/或者红外(IR)图像的一种方法。该方法包括提供VL相机模块、IR相机模块和显示屏。所述VL相机模块和IR相机模块分别具有第一和第二视场(FOV)，并生成各自FOV的图像。所述方法包括在显示屏上显示所述图像的至少一部分。所述方法还包括，在所述显示屏上，通过将来自所述VL相机模块的图像与来自IR相机的图像相互对应地放置来将其进行配准，直到通过使用手动调节机制将其配准为止。
本发明的特定实施例包括一种生成可见光图像和红外图像的相机。所述相机包括具有VL传感器和VL光学器件的可见光相机模块，和具有IR传感器和IR光学器件的IR相机模块。VL相机模块与IR相机模块之间有距离，从而使得所述模块从不同的视点观看目标景象，造成视差。所述相机能够包含用于校正视差的装置，以及显示屏，其用于同时显示来自所述IR相机模块和VL相机模块的图像，从而使得所述图像在没有视差的情况下进行配准。
本发明的特定实施例提供了一种相机，其能够采集目标景象的可见光图像和红外图像。所述相机包括红外镜头，其能够被聚焦以适当地采集所述目标景象的红外图像。所述相机还包括显示区域，其向用户显示在聚焦模式或者分析模式下的所述可见光图像和红外图像。在所述聚焦模式下，在一个比率下对在所述显示屏上的所述红外成像和所述可见光成像的alpha混合进行设定，所述比率可以帮助所述用户对所示红外图像进行聚焦。在分析模式下，在一个比率下对在所述显示屏上的所述红外成像和所述可见光成像的alpha混合进行设定，所述比率可以帮助所述用户分析所述目标景象和使得所述目标景象显像。在一些实施例中，与所述可见光成像相比，在所述聚焦模式下的所述红外成像的百分比不同于在所述分析模式下的百分比。所述相机可以手动或者自动地在聚焦模式与分析模式之间进行切换。用户可以使用来回切换开关(toggle)或者其他用户接口来执行手工切换。当希望聚焦模式时，例如当正在对所述红外图像进行聚焦时，可以通过自动感测来提供自动切换。本发明的特定实施例提供了对这种相机显示屏进行模式切换的过程。
本发明的特定实施例包括一种相机，其具有带有可见光传感器的可见光相机模块、带有红外传感器的红外模块、和用于同时显示来自所述红外相机模块和来自所述可见光相机模块的目标景象图像的显示屏。所述红外模块还包括可聚焦的红外光学装置。所述显示屏提供了操作的聚焦模式和操作的分析模式。操作的每种模式提供了在所述红外成像与可见光成像之间的alpha混合的不同百分比。在这些实施例中的一些中，所述目标景象的红外成像的百分比在所述聚焦模式下是不同的，以帮助所述用户对所述红外图像进行聚焦，而在分析模式下相对较低，以帮助所述用户分析所述目标景象和使得所述目标景象显像。所述模式可以手动或者自动地进行切换。在这些实施例中的一些中，所述相机具有独立的红外图像光学装置和可见光图像光学装置，为各自提供不同的视场。本发明的特定实施例提供了对这种相机显示屏进行模式切换的过程。
本发明的特定实施例包括一种用于生成可见光(VL)图像和红外(IR)图像的相机，所述相机包括用于感测目标景象的VL图像的VL传感器，用于感测目标景象的IR图像的IR传感器，用于采集所述目标景象的可聚焦光学器件，以及显示区域。在本实施例中的显示器区域显示合成图像，所述合成图像包括所述VL图像的至少一部分以及在聚焦模式或者分析模式下放置在所述VL图像之上并与之alpha混合的IR图像。聚焦和分析模式是在经过alpha混合的合成图像中VL成像与IR成像的量的特定比率。分析模式的alpha混合比率与聚焦模式的比率不同，适合于分析和使得所述目标景象显像。聚焦模式的alpha混合比率适合于对光学器件进行聚焦。显示区域在聚焦模式和分析模式之间进行切换。
本发明的特定实施例包括用于生成可见光(VL)和红外(IR)图像的相机，所述相机具有VL相机模块、IR相机模块和显示区域。VL相机模块具有VL光学器件，并且适合于采集VL图像。IR相机模块具有IR光学器件，并且适合于采集IR图像。显示区域显示合成图像，所述合成图像包括所述VL图像的至少一部分以及在第一和第二模式之中的一种下放置在所述VL图像之上并与之alpha混合的IR图像。所述模式包括在经过alpha混合的合成图像中VL图像与IR图像的量的特定比率。所述第一模式的alpha混合比率与所述第二模式的比率不同，通常适合于分析所述目标景象和使得所述目标景象显像。所述第二模式的alpha混合比率适合于在所述显示屏上对所述VL和IR图像进行配准。所述IR和VL图像可以在所述显示屏上相互相对地进行平移(translate)，用于在所述显示屏上对所述VL和IR图像进行配准。
本发明的特定实施例包括计算机可读介质，其采用用于执行操作相机显示屏的一种方法的指令进行编程。所述相机显示屏用于显示目标景象的叠加并alpha混合的可见光(VL)和红外(IR)图像的合成图像。所述介质包括使得处理器检测相机参数变化、显示所述合成图像、确定在一段时间内在所述相机参数中没有变化、以及在确定没有所述变化之后改变所述合成显示的比率的指令。对所述相机参数中的变化的检测指示了对于使用在所述alpha混合合成图像中IR图像与VL图像的量的第一比率来显示所述合成图像的期望。
附图说明
图1和2是根据本发明的实施例的相机的前透视图和后透视图；
图3示出了根据本发明的实施例的代表性的相机系统的方框图，其能够用于实现本发明的实施例；
图4是示出相机的光路和传感器配置的图；
图5在几何上示出了视差等式的推导；
图6示出了(全屏的、全部红外传感器)/(全屏的、部分可见光传感器)景象显示模式；
图7示出了组合的未校正视差的可见光图像与红外图像；
图8示出了校正视差的相同图像；
图9和10是根据本发明的实施例的，具有磁体和霍尔效应传感器的红外相机模块的截面图；
图11示出了(局部屏幕的、全部红外传感器)/(全屏的、部分可见光传感器)景象显示模式，在该模式下，相机使用所有的有效的红外传感器元件，来提供仅仅填充相机显示屏中央区域的红外图像；
图12示出了(局部屏幕的、部分红外传感器)/(全屏的、全部可见光传感器)景象显示模式，在该模式下，相机使用所有的可见光传感器元件来填充显示屏；
图13示出了(局部屏幕的、全部红外传感器)/(全屏的、全部可见光传感器)景象显示模式，在该模式下，相机使用所有的红外传感器元件和所有的可见光传感器元件，来构建所显示图像；
图14-16分别示出了孤立杯子的仅仅红外图像、该杯子的仅仅可见光图像和该杯子的部分alpha混合图像；
图17示出了“热阈值”警告模式显示的一个实例；
图18示出了低红外对比度景象的典型红外图像；
图19示出了具有alpha混合可见光图像的相同景象，得到了明显较高的直观对比度；
图20-23分别示出了具有激光点的可见光图像、具有激光点和与该激光点对准的计算机生成的激光标记的可见光图像、具有没有对准的计算机生成的激光标记和热点的仅仅红外图像、以及具有对准的计算机生成的激光标记和热点的仅仅红外图像；
图24-26分别示出了具有激光点的仅仅可见光图像、具有没有对准的激光点和热点的alpha混合可见光/红外图像、以及具有对准的激光点和热点的alpha混合可见光/红外图像；
图27-28分别示出了具有没有对准的计算机生成的激光指示器和热点的仅仅红外图像和具有对准的计算机生成的激光指示器和热点的仅仅红外图像；
图29-30分别示出了具有没有对准的激光点和计算机生成的激光标记的仅仅可见光图像和具有对准的激光点和计算机生成的激光标记的仅仅可见光图像；以及
图31提供了在分析模式和聚焦模式之间进行自动切换的过程的一个实施例。
具体实施方式
系统描述
图1和2根据本发明的实施例的相机10的前面透视图和背面透视图。壳体包括红外相机模块和可见光相机模块。特比是，相机10包括相机壳体12、可见光(VL)镜头13、红外镜头14、聚焦圈16和激光指示器18，以及位于壳体内的各种电子元件，如参考图3所述。在实施例中，LED手电筒(torch)/闪光灯17位于VL镜头13的每一边，以在黑暗环境中帮助提供足够的光。显示屏20位于相机的背面，从而可以观看红外图像、可见光图像和/或者红外与可见光的混合图像。另外，可以显示目标位置温度(包括温度测量点的大小)和距离读数。此外，位于相机背面的用户控制器22用于控制显示模式，并激活或者无效激光指示器。
图3示出了根据本发明的实施例的代表性的相机系统的方框图，其能够用于实现本发明的实施例。
可见光相机模块包括CMOS、CCD或者其他类型的可见光相机、LED手电筒/闪光灯和激光指示器。该相机将RGB图像显示数据(例如30Hz)注入(stream)到FPGA，来与红外RGB图像数据进行合并，然后将所合并的图像数据发送到显示屏。
模拟引擎与红外传感器进行交互并对其进行控制，并将原始红外图像数据(例如，30Hz)注入DSP。DSP执行计算，将原始红外图像数据转换为景象温度，然后转换为与景象温度和所选择的彩色调色板相对应的RGB颜色。例如，指定给本代理人的题目为“Microbolometer Focal Plane Array With Controlled Bias”的US专利No.6,444,983公开这样一种红外相机，在此将其整体引入作为参考。然后DSP将所得到的红外RGB图像显示数据注入FPGA，在此将其与VL的RGB图像数据合并，然后将所合并的图像数据发送到显示屏。
嵌入式处理器卡引擎包括为相机操作者提供图形用户接口(GUI)的通用微处理器。该GUI接口包括菜单、文本和图形显示元素，它们被发送到FPGA，在此处将它们在SRAM中进行缓冲，然后发送到显示屏。
MSP 430与用户接口进行交互，所述用户接口包括相机按钮、鼠标、LCD背光和智能电池。其读出这些输入，并将信息提供给嵌入式处理器卡引擎，在此处将其用于控制GUI并提供其他系统控制功能。
FPGA使用合并的可见光图像数据、红外图像数据以及GUI数据来驱动一个(或多个)显示屏(例如，LCD和/或者TV)。FPGA请求来自VL和红外相机模块的可见光和红外图像数据，并将其alpha混合在一起。其还将所得到的显示图像与GUI数据进行alpha混合，生成最终的被发送到LCD显示屏的混合图像。当然，与本发明实施例有关的显示屏并不局限于LCD类型的显示屏。FPGA在DSP控制下工作，DSP进一步由嵌入式处理器卡引擎控制。用户通过GUI控制图像alpha混合的级别和显示模式，即，画中画(picture-in-a-picture)、全屏、颜色警告和缩放模式。这些设定从嵌入式处理器卡引擎发送到DSP，然后DSP对FPGA进行适当配置。
光学配置
本发明的实施例在相同壳体中，将相互接近的实时可见光相机的引擎与实时红外相机的引擎合并，从而使得光轴基本上相互平行。
根据本发明实施例的相机将实时可见光相机的引擎或者模块放置在实时红外相机的壳体中。该放置使得可见光光轴和红外光轴在实际中尽可能接近，并且大致相互平行，例如，在红外光轴的垂直面上。当然，其他空间排列也是可以的。选择可见光相机模块，即VL光学装置和VL传感器阵列，使其具有比红外相机模块更大的视场(FOV)。图4是示出相机光路和传感器配置的图。如图所示，存在两种不同的光路和两种独立的传感器。一种用于可见光，一种用于红外。由于传感器的光路不同，每个传感器将从略微不同的有利位置(vantagepoint)来“观看”目标景象，从而造成视差。如以下将要详细描述的，使用软件处理来用电学方法校正视差。这提供了为所显示图像在电学上校正视差的能力。在特定实施例中，选择可见光光学装置和传感器，从而使得它们各自的视场(FOV)不同，即，一个比另一个大。例如，在一个实施例中，VL的FOV大于红外的FOV。这提供了成本效率。目前，对于给定数量的像素传感器而言，可见光传感器阵列比红外传感器阵列便宜很多。因此，对于给定的视场和分辨率(瞬间视场)而言，可见光传感器阵列比红外传感器阵列便宜。
在特定实施例中，可见光光学装置使得可见光相机模块在所有可用距离上保持焦点对准。仅仅红外镜头需要在不同距离上对目标进行聚焦。
视差和显示模式
图5在几何上示出了视差等式(p＝qf/d)的推导。从该等式可以看出，通过使得可见光和红外的光学孔径之间的距离(q)最小化，并且还通过选择短焦距镜头，能够减小视差。相机设计通常在物理上固定(q)。在特定实施例中，通过改变镜头，或者使用包括多个焦距或者连续变焦距的光学系统，能够在场内改变可见光和红外镜头的焦距(f)。在具有固定焦距镜头的实施例中，一旦安装了镜头，焦距就在工作过程中保持不变。因此，在相机工作过程中，视差简单地是到目标的距离(d)的函数。在所示实施例中，每个镜头的焦距(f)相同。在可替换实施例中，红外镜头和可见光镜头的焦距可以相互不同。
相机校正可见光和红外图像的视差，并提供几种不同的方法来为操作者显示经过配准的图像。这些方法公开如下。通常，视差校正是基于以下将要描述的红外聚焦距离。然而，还可以通过采用本领域技术人员已知的方案确定与目标图像的距离(而不是通过聚焦距离)，来校正视差。
根据本发明的实施例的相机能够工作在以下三种显示模式之一下：1)全屏的可见光、红外和/或者混合，2)画中画，例如在全屏的可见光图像中有部分红外图像，以及3)在可见光图像中的红外彩色警告。在任意这些显示模式中的任意一种中，将记录温度，并能够将其显示在图像的红外部分。还能够将来自被记录但是没有显示的红外图像中温度，显示在仅仅可见光图像上。
在全屏模式下，操作者可以选择显示全屏的仅仅可见光图像、全屏的仅仅红外图像、或者全屏的可见光与红外图像的混合。在本发明的实施例中，显示屏为大约320×240像素，在图6中用虚线框表示。红外传感器有160×120个像素，可见光传感器有1280×1024个像素。这些特定尺寸是作为示例给出的，并且不局限于本发明的任何实施例。因此，红外传感器、VL传感器和显示屏可以分别单独大于或者单独小于所给出的特定实施例。图6示出了将全部的160×120红外图像进行插值以填充相机显示屏的模式的图。根据所选择的显示模式，将1280×1024的可见光相机的一部分开窗，来匹配红外窗口。由于所选择的可见光传感器元件的数量不是必须要与相机显示屏的320×240像素相匹配，因此将可见光图像进行缩放以匹配相机显示屏。在视差校正之后，每个所得到的红外显示像素将表示与其相应的可见光显示像素相同的瞬间视场(IFOC)。因为这两个图像相匹配，相机操作者能够通过注意在两个图像中感兴趣特征在何处相互覆盖，容易地将红外图像中的感兴趣点与可见光图像中的对象同一起来。在图6所示的实施例中，该显示模式称为“全屏的、全部红外传感器和全屏的、部分可见光传感器模式”。以下将介绍其他显示模式。
在可见光图像与红外图像之间的视差由相机自动校正。该过程称为配准。为了进行正确的视差校正，相机必须首先确定到感兴趣目标对象的距离。一种确定目标距离的方法是使用霍尔效应传感器来感测红外镜头的聚焦位置。图9和10示出了对相机10从前到后通过红外镜头14的中心获得的截面图。参考图9和10，霍尔效应传感器30相对于红外传感器阵列34固定在壳体32中，以感测附着在IR镜头14背面的磁体36的接近。随着通过聚焦圈16的旋转而改变镜头聚焦，在磁体36和霍尔效应传感器30之间的距离f’也改变，导致来自霍尔效应传感器的输出，其与聚焦位置成比例。(通过移动镜头或者移动红外传感器阵列可以改变镜头的聚焦)。该聚焦位置用于导出到目标的距离的估计。红外镜头聚焦位置提供了对距离的非常方便的估计，因为典型的红外镜头具有低F数，造成场的窄深度。在一个实施例中，霍尔效应传感器可以固定在红外传感器阵列上。另外，霍尔效应传感器和磁体的位置可以与所示的相颠倒。
在图9和10所示的实施例中，磁体36是环绕聚焦圈16的内表面、面对红外传感器阵列34的环。霍尔效应传感器30固定在相机壳体32中，与红外传感器阵列34有一小段距离。霍尔效应传感器与磁体之间的距离表示图9和10中所示的距离f’。图9中示出镜头放置为接近焦点；图10示出镜头放置为远离焦点，在该情况下，磁体比图9中更加接近霍尔效应传感器。当然，可以使用以上针对霍尔效应传感器所述的之外的其他机制和方法来确定到目标的距离。这些等价机制或方法对于本领域技术人员是已知的。霍尔效应传感器是一种方便的方法。
对目标与相机之间的距离进行估计是一个有价值的安全特征。例如，当检测高压电柜时，OSHA具有特定的安全距离要求。因此，使用根据本发明的实施例的相机，能够在显示屏上显示到目标的距离，从而可以辅助相机操作者遵守OSHA安全要求。
另外，有价值的是知道在正在被测量的目标上的点的大小(瞬间视场点大小)。因为点大小是距离的函数，并且本发明的实施例能够测量(或者估计)对视差进行校正所需要的距离，因此能够将点大小作为距离的函数计算出来，并通过显示屏将其显示给相机操作者。
每个红外镜头的聚焦距离相关性的镜头位置传感器值在工厂中确定，并与其他相机校准数据一起存储在相机的非易失性存储器中。该校准数据包括为每个聚焦距离所计算的X和Y图像偏移。通过使用所感测的红外镜头聚焦位置和工厂校准数据，能够计算来自可见光传感器的部分区域的正确的X和Y传感器偏移，并且将其用于为当前红外聚焦距离选择适当的可见光传感器区域。即，随着红外镜头的聚焦距离的改变，提取和显示可见光传感器图像的不同区域，实现在聚焦距离上的物体的红外和可见光图像的配准。图7示出未对准的，即没有校正视差的可见光与红外图像的合并的画中画的显示。图8示出了校正视差的相同图像。参考图7，显示屏的中间1/4显示模糊的(未聚焦的)和未配准的仅仅红外图像40，其放置在仅仅可见光图像42的围绕框架中。在图像中的矩形暗色区域44是未对准的(未配准)，示出了由未聚焦的红外图像44造成的视差。参考图8，在红外图像40中的矩形暗色区域44与在仅仅可见光图像42中的该区域44部分相配准，示出了红外图像现在被正确聚焦。图7和8强调了一种方法，使用该方法，相机10的用户能够通过仅仅旋转聚焦圈16直到图像40被正确配准为止，来对红外图像40进行聚焦。尽管图7和8示出了将显示屏的中间1/4显示为仅仅红外，相同的方法和技术也能够用于混合的可见光和红外图像，无论图像是采用画中画、全部显示、警告模式，还是采用其他显示模式来示出。
要注意的是，在景象中不在聚焦距离上的物体将仍然存在视差。较近的物体比远离聚焦距离的物体具有更大的视差。在实际中，在与典型红外相机一起使用的镜头的大约8英尺的聚焦距离以外的视差可以忽略。还要注意的是，视差仅仅能够被校正下降到相机的有限接近聚焦距离(典型的为大约2英尺)。该距离是通过与红外传感器相比可见光传感器提供了多少“额外”视场来确定的。
当采集图像时，将带有全部辅助数据的整个可见光图像和整个红外图像保存在相机存储卡上的图像文件中。将在获取图像时位于相机显示屏尺寸之外的未显示的可见光图像的那部分，保存为该可见光图像的部分。随后，如果需要在相机中或者计算机上对在红外和可见光图像之间的配准进行调节，则整个可见光图像是可用的。
相机允许操作者在已经采集了红外/可见光图像对并将其存储在存储器中之后，调节可见光和红外图像的配准。实现该目的的一种方法是将红外镜头位置用作输入控制。这允许操作者对配准进行细调，或者在图像被采集时，简单地通过转动镜头上的聚焦圈来手动地对不在红外聚焦距离上的景象中的对象进行配准。
当可见光图像是唯一被显示的图像时，其优先地显示为彩色，尽管不是必须的。当将其与红外图像混合，在对可见光图像进行混合之前，将其转换为灰度级，从而其仅仅将亮度添加到彩色红外图像中。
图11示出了称为“局部屏幕的、全部红外传感器和全屏的、部分可见光传感器显示模式”。在该模式下，相机使用全部有效的红外传感器元件来提供红外图像，其仅仅填充相机显示屏的中间区域。使用标准的图像处理技术(例如，缩放和开窗)来将红外图像调节到合适于显示屏的期望区域。调节可见光图像的IFOV，来与红外图像的IFOV进行匹配，然后选择可见光图像的一部分来填充整个显示屏，并与在显示屏中间的红外图像进行匹配。显示屏中间1/4可以是仅仅红外、仅仅可见光、或者两者的混合。显示屏的剩余的3/4(外部框架)是仅仅可见光。
相机在该模式下使用与对全屏模式所述的相同的技术，来校正视差。
可替换的，替代将可见光图像匹配到红外图像的是，可以进行仅仅相反的操作。图12和13示出了这种技术。图12示出了画中画的“局部屏幕的、部分红外传感器和全屏的、全部可见光传感器显示模式”。在该模式下，相机使用全部可见光传感器元件来填充显示屏。如果可见光传感器元件的数量与显示屏像素的数量不匹配，则用户使用标准成像技术生成填充显示屏的图像。选择可用红外传感器的一部分来提供红外图像。对红外图像进行开窗和匹配，从而使得所得到的红外显示像素提供与可见光图像显示像素相同的IFOV。
相机使用与对于图6所述类似的技术来校正视差。然而，在该模式下，随着红外聚焦距离被改变，选择红外传感器的不同区域来匹配可见光图像的中间区域。要注意的是，在该模式下，红外图像始终显示在显示屏中央固定位置处。
图13示出了“局部屏幕的、全部红外传感器和全屏的、全部可见光传感器显示模式”。在该模式下，相机使用全部红外传感器元件和全部可见光传感器元件来构建所显示图像。对可见光图像进行缩放来完全填充显示屏。对红外图像进行开窗和缩放，从而使得所得到的显示像素的IFOV与可见光图像相匹配。在可见光图像的匹配区域上显示结果图像。
与上述模式类似，通过移动红外图像景象来将其与可见光图像景象对准，来校正视差。
Alpha混合
Alpha混合是对在一个像素上叠加的两个图像的透明性/不透明性分配比率的过程。如果Alpha＝最大，则第一图像是不透明的，第二图像是透明的，并由此写入到显示屏上。如果Alpha＝0，则第一图像是透明的，第二图像是不透明的，并由此写入到显示屏上。使用公式Display＝Source 1*(Alpha/max_Alpha)+Source 2*((max_Alpha-Alpha)/max_Alpha)，在这两者之间的值造成两个源之间的“混合”(alpha混合)。
图14-16分别示出了孤立杯子的仅仅红外图像、该杯子的仅仅可见光(VL)图像和该杯子的红外和VL图像的部分alpha混合图像。
相机将使得操作者能够调节可见光和红外图像的alpha混合，从仅仅红外图像(图14)或者仅仅可见光图像(图15)的极限，到这两个极限之间的alpha混合的任意组合(图16)。要注意的是，尽管在图15中红外图像是不可见的，隐含的红外图像数据用于在可见光图像中显示正确的物体温度52。因此，当在可见光图像上移动光标时，显示与图像上的光标位置相关联的温度52。
红外和可见光图像能够用彩色或者灰度级进行显示。当使用彩色来描述在红外图像中的温度时，在重叠区域中的可见光图像能够仅仅用灰度级进行显示，从而使得其不会过度干扰红外调色板图像。
当图像被保存时，分别保存可见光图像和红外图像，从而稍后能够在相机中或者采用PC软件来完成采用不同alpha混合重建图像。
正如图7和8的讨论中所提到的，相机10的用户能够仅仅通过转动聚焦圈16直到图像40被正确配准为止，来对红外图像40进行聚焦。尽管图7和8将显示屏的中间1/4显示为仅仅红外，相同方法和技术能够用于混合的可见光与红外图像，而不论图像是采用为画中画、全屏、警告模式、或者其他显示模式进行显示。因此，在这些实施例中，在进行聚焦以使得所显示红外图像40的尖锐度可见的过程中，能够在显示屏20上将红外图像40显示给相机10的用户。还能够采用在此所述的任何方式，将可见光图像与红外图像一起显示，以便使得最佳镜头聚焦位置可见。另外，可以将红外图像与可见光图像一起显示，以便将红外图像与可见光图像进行配准，而无论该配准过程是通过对红外成像进行聚焦来实现的，还是通过能够用于将红外图像相对于可见光图像进行平移直到将它们正确配准为止的其他方法或者机制来实现的。
然而，在成像被正确聚焦或者与可见光图像正确配准之后，用户可能想要采用与对于聚焦和配准而言优选的混合不同的(例如更低)红外混合的目标图像。即，用户可能希望显示屏提供更多的可见光成像(以便更好的识别目标景象的细节)，同时仍然保持一些红外信息，例如添加红外成像或者其他放射测量数据(例如，热点、警告、中心点温度读数等等)。因此，本发明的特定实施例提供了操作的“聚焦模式”和“分析模式”。
在操作的聚焦模式中，IR图像在相机显示屏上至少部分地可见，而与显示模式是否处于如上所述的全屏显示模式(全屏的可见光、全屏的红外、和/或者全屏的混合)，画中画显示模式(例如，部分显示红外图像，并由可见光图像将其包围或者在其周边)无关。术语“聚焦模式”涉及所显示红外图像的百分比，而不涉及红外图像在显示屏上的位置。在本发明的包含“聚焦模式”的特定实施例中，红外图像的百分比从50％变化到100％。在50％，红外图像与可见光图像进行50/50的alpha混合。在100％，红外图像在显示屏上的其区域中进行显示，而没有可见光图像(尽管可见光图像可以在100％红外图像的周边)。在本发明的包含聚焦模式的其他实施例中，红外图像的百分比大于50％。该情况也是可以预见的，尽管相机10的用户可以优选地在聚焦模式中将红外图像百分比设置为小于50％。
在操作的分析模式中，可见光图像可以更加明显地显示在相机10的显示屏20上，同时可以降低红外成像的百分比，来提高相机用户识别目标景象的可见光特征的能力。与聚焦模式类似，分析模式涉及所显示红外图像的百分比(当然是与可见光图像进行比较)，而不涉及显示模式是否是全屏模式(全屏的可见光、全屏的红外、和/或者全屏的混合)、画中画显示模式(例如，部分显示红外图像，并由可见光图像将其包围或者在其周边)。在本发明的包含“分析模式”的特定实施例中，红外图像的百分比从0％变化到50％。在50％，红外图像与可见光图像进行50/50的alpha混合。在0％，可见光图像不带有红外图像。在本发明的包含分析模式的特定实施例中，红外图像的百分比小于50％。该情况也是可以预见的，尽管相机10的用户可以优选地将在聚焦模式中的红外图像百分比设置为大于50％或者比聚焦模式的百分比高。
在本发明包含分析模式和聚焦模式的实施例中，相机可以包括专用开关或者可编程开关，其可以用于在分析模式和聚焦模式之间来回切换。该开关可以位于用户控制器22中(图2)。在本发明包含分析模式和聚焦模式的实施例中，相机可以提供通过上述图形用户接口来手动地选择分析模式和聚焦模式的能力。该GUI还可以通过用户控制器22来控制。在本发明包含分析模式和聚焦模式的实施例中，相机10可以根据处理器对于哪种模式是被期望的检测，来自动地在分析模式和聚焦模式之间进行切换。
参考图31，提供了在分析模式和聚焦模式之间进行自动切换的过程的实施例。参考步骤300，如果处理器确定自动模式切换是所期望的，则其开始该过程。该条件可以通过用户的提示、通过开关或者上述GUI来满足，或者在相机10电源开启时就能够自动满足。接下来，在步骤302，处理器将显示屏20设定为分析模式作为缺省模式。在分析模式中红外成像的百分比可以预先定义，或者由用户或在工厂里预先进行编程。可替换的，分析模式红外比率可以是在分析过程中用户所最后使用的现有设定。可以预见的是，缺省设定可以替换为聚焦模式。在步骤304，处理器检测自动模式切换是否是所期望的。如果不是，处理器返回步骤302。在步骤304中的检测可以通过几种方法完成，包括通过来自开关22或者GUI的用户输入。然而，由于相机10包括监视红外镜头或者聚焦位置的能力，因此处理器还能够检测红外镜头或者聚焦位置的变化。当用户开始转动红外镜头时，用户很可能期望用于改善聚焦的聚焦模式。因此，在步骤304中的条件可以通过对红外聚焦位置移动的检测来满足。
在特定实施例中，在步骤304中的条件可以通过对用户在显示器上将红外图像相对于可见光图像进行平移以正确地将红外图像与可见光图像配准的检测来满足，而不论是否已经通过聚焦红外成像完成了该配准过程。即，在一些实施例中，红外图像的聚焦动作还可以使得处理器在显示器20上将红外图像相对于可见光图像进行平移以正确地配准来校正视差。然而，可以预见的是，其他方法和机制，例如控制器22或GUI，能够用于将红外图像相对于可见光图像进行平移，直到它们被正确配准为止，而与红外图像的聚焦无关，并且与是否需要校正视差无关。因此，当执行红外平移时，聚焦模式可能是所期望的，无论该平移是否也对红外图像进行聚焦，以便使得在图像配准过程中使得足够百分比的红外图像可见。因此，步骤304的条件可以通过对用户在显示器上将红外图像相对于可见光图像进行平移以正确地将红外图像与可见光图像配准的检测来满足。
在步骤306，处理器将模式从分析模式改变为聚焦模式。在聚焦模式中的红外成像的百分比可以预先定义，或者由用户或在工厂中预先编程。可替换的，聚焦模式红外比率可以是在聚焦过程中用户所最后使用的现有设定。步骤308是延迟一段预定的或者可编程的时间段的步骤，以便在返回步骤304来观察是否仍然期望聚焦模式之前，保持在聚焦模式。步骤308中的延迟给了用户处于聚焦模式下的一段时间，而不必移动红外镜头来确定相机是否被正确聚焦，或者不必平移红外图像以确定图像是否正确配准。该过程可以在任何时间通过用户输入来停止，例如通过控制器22或者GUI。
警告模式
相机支持几种不同的可视的警告模式。这些模式用于通过在满足由用户所设定的警告标准的区域中显示alpha混合图像或者仅仅红外图像，来引起用户对于可见光图像中的感兴趣区域的注意。图17示出了“热阈值”警告模式的示例。仅仅显示在红外图像中超过所设定的温度阈值(热点60)的那些像素。在彩色警告模式中，将可见光图像62转换为灰度级，从而突出红外图像而没有模糊。相机能够提供如下所述的警告模式。其他警告模式也是可以的。
●绝对热阈值-将在预定温度以上的红外像素与相应的可见光图像像素进行alpha混合。
●绝对冷阈值-将在预定温度以下的红外像素与相应的可见光图像像素进行alpha混合。
●相对热阈值-稳定范围由用户定义。该温度范围是相对于在景象中的、或者来自于先前景象或者参考景象的当前最热像素(或者设定数量的最热像素的平均)的。用由景象中的当前一个(或多个)最热像素所定义的阈值减去用户所定义或预定的温度范围，将在该结果之上的红外像素与它们的相应可见光像素进行alpha混合。例如，如果温度范围是5度，在景象中当前一个(或多个)最热像素是100度，则将在景象中在95度以上的所有红外像素与相应的可见光像素进行alpha混合。
●相对冷阈值-稳定范围由用户定义。该温度范围是相对于在景象中的、或者来自于先前景象或者参考景象的当前最冷像素(或者设定数量的最冷像素的平均)的。用由景象中的当前一个(或多个)最冷像素所定义的阈值加上用户所定义或预定的温度范围，将在该结果之下的红外像素与它们的相应可见光像素进行alpha混合。例如，如果温度范围是5度，例如在景象中当前一个(或多个)最冷像素是10度，则将在景象中在15度以下的所有红外像素与相应的可见光像素进行alpha混合。
●绝对范围(等温线)-操作者录入温度范围。将具有在所设定范围以内温度的红外像素与相应的可见光像素进行alpha混合。例如，用于输入80-100度的范围。将具有在80-100度范围以内温度的所有红外像素进行alpha混合。
●警告闪烁模式-为了进一步引起对感兴趣区域的注意，相机可以提供一种模式，由此通过交替地将所警告像素显示为仅仅可见光像素，然后将其显示为alpha混合像素或者仅仅红外像素，来对alpha混合区域进行“闪烁”。
以上所确定的警告模式还可以通过声音或者通过振动来表示。这种声音或者振动警告在热点非常小以至于在可视显示屏上不被注意到的情况下是有用的。在包含声音或者振动警告的实施例中，相机能够生成这种警告来警示相机操作者，例如在相机检测到出现特定温度时，或者出现上述其他警示模式中的任意一种时。返回参考图3，相机可以包括与FPGA相连的提供声音或者振动警告的警告模块。振动机制可以与在蜂窝电话向人提示来电所采用的机制相同。
PC软件
相机的所有所述的图像显示技术还能够用软件实现，所述软件运行在PC主机计算机上，并且能够应用到相机所采集的图像上。
优点
以上已经陈述了优点。红外图像将不仅更加尖锐并具有更多细节，其还会被准确示出红外目标是什么和在何处的可视图像所围绕。视差将被自动校正，得到与红外图像正确配准的可见光控制图像。红外相机能够使用更小更加便宜的检测器阵列来制造，但却显示出具有庞大和非常敏感的检测器阵列的非常昂贵的红外相机所具有的明显细节和对比度。图18示出了低红外对比景象的典型红外图像。图19示出了具有alpha混合可见光图像的相同景象，得到了高很多的明显对比，并具有目标位置温度测量。
用户
该相机能够用于红外温度记录(infrared thennography)的所有阶段，在红外温度记录中，当前和未来都能够使用本红外相机。在最简单的使用例如电子工具的情况下，相机能够采用小红外检测器阵列来便宜地制造，并且仍然有非常高的性能一具有高空间分辨率和准确温度的高图像质量。在高端温度记录中，该相机能够以更加低的成本制造，并具有比最昂贵的红外相机更加明显的细节。该相机将消除获取单独的可见光图像以将其包含在温度记录报告中的需要。
激光指示器
使用本发明的激光指示器实施例的各种应用都是可能的。如上所述，由于激光显示器辐射是在可见光光谱中，其在红外图像中是不可见的。因此，激光指示器在红外图像中具有有限的值。当热点或者冷点的位置难以识别时，则就是有问题的。例如，巨大的工业控制面板经常具有很多在形状上类似并且群集在一起的很多部件。有时难以在红外相机图像上确定造成热点的准确部件。另外，在建立检测应用并且在该应用中在可见光图像中显示为一致的墙在红外图像中显示出瑕疵时，本发明的实施例的激光指示器能够用于识别在墙上的该瑕疵的准确位置。对于屋顶泄漏检测应用，在标记需要进行修补的区域时，其可以很大程度上帮助进行温度记录。相机操作者能够通过调节相机指向来勾画出湿的区域，从而使得在图像中所见到的激光点在图像中勾画出可疑的湿的区域，并由此还使用激光束勾画出在屋顶上的可疑的湿的区域，从而使得其能够被正确地标记。在例如印刷电路板装配的目标复杂的研发应用中，本发明的激光指示器实施例能够帮助识别感兴趣红外点的位置。
本发明的实施例的激光指示器用于准确地识别感兴趣红外点的位置，并且用于容易地帮助红外光学器件的聚焦。图24-26示出了事件的相关序列。激光指示点能够通过使用相机的可编程按钮之一或者通过由相机操作者所操作的其他机制来打开。在合理的距离上，在目标上的激光指示器点100能够在可见光图像中(图24)和经过视差校正的混合的可见光和红外图像中(图25)被看到。一旦在混合图像中识别出激光点，相机操作者就能够调节相机指向，直到在混合图像中的激光点与在红外图像中的感兴趣点102匹配为止(图26)。然后激光束标记在感兴趣点上的目标(图26)。
由于根据本发明的实施例的相机已经在工厂中被校准，以使用视差校准数据作为红外相机模块聚焦距离的函数，来识别在红外图像中的激光点的位置，因此相机操作者不需要观看在VL图像中所显示的激光点。如果目标在远处和/或者对于激光波长具有低反射，则激光点可能对于VL相机而言太弱，以至于不能在相机显示器上明显示出，但是通过人观察者其仍然能够在目标上看到。图27和28示出了事件的相关序列。在该情况下，对红外聚焦进行调节，如同通常通过观察红外图像的尖锐度所做的。将计算机生成的激光点参考标记200与红外图像进行配准，从而在红外图像上显示表示性的标记(例如圆圈)(图27)。然后相机操作者调节相机指向，直到激光校准标记200位于红外感兴趣点202上(图28)。一旦其发生，则将激光束打在感兴趣点处的目标上。
可替换的，相机操作者首先使用仅仅红外显示图像来对红外图像进行聚焦，切换到可见光图像显示，在此激光210将在显示屏上示出，如图20所示。操作者使用例如圆圈的标记212对显示屏上的激光点210进行标记(见图21)，然后将显示屏切换回仅仅红外图像(见图22)，在此将标记212与红外图像进行配准，并将其显示在位于显示区域中间1/4中的红外图像上。然后操作者调节相机指向，从而使得在红外显示上的标记212与在红外显示上的感兴趣热点214相匹配。(见图23)一旦其发生，则将激光束打在感兴趣点处的目标上。
使用激光指示器来聚焦红外图像
采用用于校正激光指示器与红外图像之间视差的校准数据和在VL图像中观看实际激光点的能力，可以执行监视和帮助红外聚焦的过程。图29和30示出了事件的相关序列。在该情况下，激光点220的位置在VL图上是可见的(图29)。根绝本发明的实施例的相机在工厂中已经被校准，以生成计算机生成的激光点参考标记222，其使用视差校准数据作为红外相机模块聚焦距离的函数，来识别在已经聚焦的红外图像中的激光点的位置。该参考标记可以显示在IR图像或者VL图像(其覆盖IR图像)中。在图29中，参考标记222在仅仅VL图像中示出。随着红外镜头被调节，该标记在VL图像中移动，示出激光点在红外图像中所在的点。当红外标记与在VL图像中所见的激光点一致时(图30)，可以停止聚焦调节，红外相机模块焦距对准。这允许大多数新手操作对红外镜头进行聚焦，并消除聚焦的主观特性。

Claims (37)

1.一种用于生成可见光图像和红外图像的相机，包括：
可见光传感器，用于感测目标景象的可见光图像；
红外传感器，用于感测所述目标景象的红外图像；
可聚焦光学器件，用于采集所述目标景象；以及
显示区域，用于显示合成图像，所述合成图像包括所述可见光图像的至少一部分，和与所述可见光图像叠加并采用聚焦模式和分析模式中的一种与其进行混合的红外图像，所述模式是在所述混合合成图像中可见光图像与红外图像的量的特定比率，所述分析模式的混合比率与所述聚焦模式的比率不同并适合于分析所述目标景象和使得所述目标景象显像，所述聚焦模式的混合比率适合于对所述红外图像进行聚焦，所述显示区域可以在所述聚焦模式和所述分析模式之间进行切换。
2.如权利要求1所述的相机，其中，所述可聚焦光学器件是用于所述红外传感器的光学器件。
3.如权利要求2所述的相机，还包括用于所述可见光传感器的光学器件，并且其中，所述可见光光学器件和红外光学器件具有不同的视场，从而使得所述目标景象的可见光和红外图像具有视差。
4.如权利要求3所述的相机，其中，对所述红外光学器件进行聚焦是对所述可见光和红外图像进行配准，以校正所述视差。
5.如权利要求4所述的相机，其中，针对使所述红外光学器件聚焦的检测，使得切换到所述聚焦模式。
6.如权利要求1所述的相机，其中，所述分析模式的混合比率比所述聚焦模式的比率高。
7.如权利要求6所述的相机，还包括用于检测在所述可聚焦光学器件中的聚焦变化的传感器。
8.如权利要求7所述的相机，其中，所述传感器包括霍尔效应传感器。
9.如权利要求1所述的相机，其中，所述显示区域在所述聚焦模式和所述分析模式之间可以自动切换。
10.如权利要求9所述的相机，其中，在检测到所述可聚焦光学器件中的聚焦变化之后，所述显示自动切换到所述聚焦模式。
11.如权利要求1所述的相机，其中，通过相机用户控制，所述显示区域在所述聚焦模式和所述分析模式之间可以手动切换。
12.如权利要求1所述的相机，其中，所述分析模式的混合比率使得在所述合成图像中的红外图像的百分比为100％。
13.如权利要求1所述的相机，其中，所述聚焦模式的混合比率使得在所述合成图像中的可见光图像的百分比为100％。
14.如权利要求1所述的相机，其中，在所述聚焦模式中，在所述合成图像中的红外图像的百分比从50％变化到100％。
15.如权利要求1所述的相机，其中，在所述聚焦模式中，在所述合成图像中的可见光图像的百分比从0％变化到50％。
16.如权利要求1所述的相机，其中，将所叠加和混合的可见光和红外图像配准在一起。
17.如权利要求1所述的相机，其中，所述可见光传感器和红外传感器每个都包括传感器阵列。
18.如权利要求1所述的相机，其中，所述混合是alpha混合。
19.如权利要求1所述的相机，其中，所述聚焦模式和分析模式的混合比率是预置的混合比率、用户定义的混合比率、由所述用户最后使用的用户混合比率中的一种。
20.如权利要求1所述的相机，其中，所述相机的显示区域缺省为显示所述分析模式。
21.一种生成可见光图像和红外图像的相机，所述相机包括：
可见光相机模块，其具有可见光光学器件并适合于采集可见光图像；
红外相机模块，其具有红外光学器件并适合于采集红外图像；以及
显示区域，用于显示合成图像，所述合成图像包括所述可见光图像的至少一部分，和与所述可见光图像叠加并采用第一和第二模式中的一种与其进行混合的红外图像，所述模式是在所述混合的合成图像中可见光图像与红外图像的量的特定比率，所述第一模式的混合比率与所述第二模式的比率不同并适合于分析所述目标景象和使得所述目标景象显像，所述第二模式的混合比率适合于在所述显示区域上对所述可见光和红外图像进行配准，所述红外图像和可见光图像可以在所述显示区域上彼此相对地进行平移，用于在所述显示区域中对所述红外图像和可见光图像进行配准，所述显示区域可以在所述第一模式和第二模式之间来回切换。
22.如权利要求21所述的相机，其中，所述第一和第二模式分别是分析和聚焦模式。
23.如权利要求21所述的相机，其中，所述红外光学器件是可聚焦的。
24.如权利要求23所述的相机，其中，对所述红外光学器件进行聚焦是将所述红外图像相对于所述可见光图像进行平移。
25.如权利要求24所述的相机，其中，针对使所述红外光学器件聚焦的检测，使得切换到所述第二模式。
26.如权利要求21所述的相机，其中，相机控制机构的激励对所述红外图像进行平移。
27.如权利要求21所述的相机，其中，所述相机控制的激励，使得切换到所述第二模式。
28.如权利要求21所述的相机，其中，所述可见光光学器件和红外光学器件具有独立的视场，从而使得目标景象的可见光和红外图像具有视差。
29.如权利要求28所述的相机，其中，所述红外图像的平移校正所述视差。
30.如权利要求21所述的相机，其中，所述相机的显示区域缺省为显示所述第一模式的混合比率。
31.具有一种计算机可读介质的相机，所述计算机可读介质是采用用于执行操作相机显示屏的一种方法的指令进行编程的，所述相机显示屏用于显示目标景象的叠加并且混合的可见光图像和红外图像的合成图像，所述介质包含的指令使得可编程处理器：
检测相机参数中的变化，所述相机参数中的变化指示了对于使用在所述混合的合成图像中红外图像与可见光图像的量的第一比率来显示所述合成图像的期望；
显示采用所述第一比率的合成图像；
确定在一段时间内在所述相机参数中没有变化；以及
在确定所述没有变化之后，将所述合成图像显示的比率改变为第二比率，其中，所述第一比率适合于对所述红外图像进行聚焦，并且所述第二比率适合于分析所述目标景象和使得所述目标景象显像。
32.如权利要求31所述的相机，还包括用于最初将所述相机显示屏设置为所述第一比率的指令。
33.如权利要求31所述的相机，还包括于最初将所述相机显示屏设置为所述第二比率的指令。
34.如权利要求31所述的相机，其中，所述相机参数是与所述红外图像相关联的光学器件的聚焦位置。
35.如权利要求31所述的相机，其中，所述相机参数是专用的相机来回切换的开关。
36.如权利要求31所述的相机，其中，所述第二比率是在紧接着采用所述第一比率的所述合成图像的显示之前所使用的比率。
37.具有一种计算机可读介质的相机，所述计算机可读介质是采用用于对相机显示屏进行模式切换的一种方法的指令进行编程的，所述相机显示屏用于显示采用分析模式和聚焦模式中的一种所叠加并alpha混合的目标景象的可见光图像和红外图像的合成图像，所述模式是在所述alpha混合的合成图像中可见光图像与红外图像的量的特定比率，所述分析模式的alpha混合比率比所述聚焦模式的比率相对较高，并适合于分析所述目标景象和使得所述目标景象显像，所述聚焦模式的alpha混合比率适合于对所述红外图像进行聚焦，所述介质包含的指令使得可编程处理器：
检测相机参数中的变化，所述相机参数中的变化指示了对于使用聚焦模式的期望；
在检测到指示了对聚焦模式的期望的、所述相机参数中的变化之后，将所述相机显示屏切换到所述聚焦模式；以及
在没有检测到在所述相机参数中的变化之后的一段时间，将所述相机显示屏切换到所述分析模式。
CN2007100040009A 2006-01-20 2007-01-19 具有可见光与红外图像混合的相机 Active CN101067710B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US76081006P 2006-01-20 2006-01-20
US60/760,810 2006-01-20

Publications (2)

Publication Number Publication Date
CN101067710A CN101067710A (zh) 2007-11-07
CN101067710B true CN101067710B (zh) 2012-07-04

Family

ID=37872179

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007100040009A Active CN101067710B (zh) 2006-01-20 2007-01-19 具有可见光与红外图像混合的相机

Country Status (3)

Country Link
EP (1) EP1811771B1 (zh)
CN (1) CN101067710B (zh)
DE (1) DE602007000971D1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9506809B2 (en) 2010-11-17 2016-11-29 Easytem Co., Ltd. Portable device for measuring temperature using infrared array sensor

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012116112A1 (en) * 2011-02-25 2012-08-30 Flir Systems, Inc. Modular infrared camera systems and methods
CN101674418B (zh) * 2008-09-10 2013-09-18 新奥特（北京）视频技术有限公司 一种虚拟演播室系统中主持人深度的检测方法
US8840249B2 (en) 2008-10-31 2014-09-23 Christie Digital Systems, Inc. Method, system and apparatus for projecting visible and non-visible images
CN101706320B (zh) * 2008-12-16 2012-12-26 新奥科技发展有限公司 温度场信息确定方法、系统及设备
US8749635B2 (en) 2009-06-03 2014-06-10 Flir Systems, Inc. Infrared camera systems and methods for dual sensor applications
US10044946B2 (en) 2009-06-03 2018-08-07 Flir Systems Ab Facilitating analysis and interpretation of associated visible light and infrared (IR) image information
US8766808B2 (en) 2010-03-09 2014-07-01 Flir Systems, Inc. Imager with multiple sensor arrays
CN101945224B (zh) * 2009-07-01 2015-03-11 弗卢克公司 热成像方法
DE102010013377B4 (de) * 2010-03-30 2012-02-02 Testo Ag Bildverarbeitungsverfahren und Wärmebildkamera
JP2011239259A (ja) * 2010-05-12 2011-11-24 Sony Corp 画像処理装置、画像処理方法及びプログラム
DE102010048022B4 (de) * 2010-10-09 2013-08-14 Testo Ag Verfahren zur berührungslosen Bestimmung der Temperatur eines Objekts und korrespondierende Wärmebildkamera
CN102025979A (zh) * 2010-12-14 2011-04-20 中国科学院长春光学精密机械与物理研究所 一种基于双dsp的红外视频实时增强显示装置
US8275413B1 (en) * 2011-09-17 2012-09-25 Fraden Corp. Wireless communication device with integrated electromagnetic radiation sensors
US20130083199A1 (en) * 2011-10-04 2013-04-04 Fluke Corporation Thermal imaging camera with infrared lens focus adjustment
CN103167230B (zh) * 2011-12-17 2017-10-03 富泰华工业（深圳）有限公司 电子设备及其根据手势控制拍照的方法
US10230908B2 (en) * 2012-01-12 2019-03-12 Mission Infrared Electro Optics Technology Co., Ltd Thermal imaging device and thermal image photographing method
EP2803963A4 (en) * 2012-01-12 2015-09-30 Mission Infrared Electro Optics Technology Co Ltd THERMAL IMAGING APPARATUS AND NORMALIZED METHOD FOR RECORDING HEAT PICTURES
CN103090976B (zh) * 2012-01-12 2015-12-02 杭州美盛红外光电技术有限公司 热像显示装置、热像显示系统和热像显示方法
CN103428437B (zh) * 2012-05-23 2018-05-18 杭州阿尔法红外检测技术有限公司 热像摄影装置和热像摄影方法
CN103674267A (zh) * 2012-09-21 2014-03-26 杭州美盛红外光电技术有限公司 红外显控装置和红外显控方法
US9282259B2 (en) * 2012-12-10 2016-03-08 Fluke Corporation Camera and method for thermal image noise reduction using post processing techniques
US9251615B2 (en) * 2013-03-15 2016-02-02 Fluke Corporation Thermal image animation
CN103413294A (zh) * 2013-07-12 2013-11-27 中国航天科工集团第三研究院第八三五八研究所 一种红外可见光双谱段目标源
US9645092B2 (en) 2013-10-14 2017-05-09 Valco Cincinnati, Inc. Device and method for verifying the construction of adhesively-attached substrates
US9990730B2 (en) 2014-03-21 2018-06-05 Fluke Corporation Visible light image with edge marking for enhancing IR imagery
US10015474B2 (en) 2014-04-22 2018-07-03 Fluke Corporation Methods for end-user parallax adjustment
CN104217413A (zh) * 2014-09-11 2014-12-17 昆明云锗高新技术有限公司 可见光图像上叠加红外光图像的方法
US10498976B2 (en) * 2014-12-05 2019-12-03 Microsoft Technology Licensing, Llc Virtual focus feedback
CN105571721A (zh) * 2015-06-27 2016-05-11 郑州海威光电科技有限公司 一种红外热成像测温预警装置及系统
CN105554483B (zh) * 2015-07-16 2018-05-15 宇龙计算机通信科技(深圳)有限公司 一种图像处理方法及终端
US10152811B2 (en) 2015-08-27 2018-12-11 Fluke Corporation Edge enhancement for thermal-visible combined images and cameras
US10586314B2 (en) * 2016-04-12 2020-03-10 Shenzhen Everbest Machinery Industry Co., Ltd Image fusion method, apparatus, and infrared thermal imaging device
CN106791452A (zh) * 2017-03-03 2017-05-31 马翔 激光指示点和指示光标重合的热成像夜视仪及指示光标校对方法
CN107478344A (zh) * 2017-07-20 2017-12-15 天津津航技术物理研究所 一种红外可见光双谱段目标源
TWI637352B (zh) * 2017-08-23 2018-10-01 緯創資通股份有限公司 影像處理裝置和方法
CN109154874B (zh) * 2017-10-31 2020-10-09 深圳市大疆创新科技有限公司 图像显示方法、控制方法及相关设备
US10771717B2 (en) 2018-07-30 2020-09-08 Lumileds Llc Use of IR pre-flash for RGB camera's automatic algorithms
CN109151402B (zh) * 2018-10-26 2022-10-11 深圳市道通智能航空技术股份有限公司 航拍相机的图像处理方法、图像处理系统及无人机
CN109919007B (zh) * 2019-01-23 2023-04-18 绵阳慧视光电技术有限责任公司 一种生成红外图像标注信息的方法
CN111835959B (zh) * 2019-04-17 2022-03-01 杭州海康微影传感科技有限公司 用于双光融合的方法和装置
CN112217962B (zh) * 2019-07-10 2022-04-05 杭州海康威视数字技术股份有限公司 摄像机及图像生成方法
EP3786598A1 (en) 2019-08-30 2021-03-03 ABB Schweiz AG System for monitoring a switchgear
CN110572576A (zh) * 2019-09-20 2019-12-13 广州速率信息技术有限公司 一种拍摄可见光和热成像重叠图的方法、系统及电子设备
CN112584132A (zh) * 2019-09-29 2021-03-30 深圳市光鉴科技有限公司 测量不同波段相机间延迟时间的装置及方法
CN112945388A (zh) * 2020-01-28 2021-06-11 杭州美盛红外光电技术有限公司 热像和可见光匹配装置和显示匹配方法
CN111273504B (zh) * 2020-03-26 2022-05-03 浙江大华技术股份有限公司 一种调焦处理方法及装置
CN113673285B (zh) * 2020-05-15 2023-09-12 深圳市光鉴科技有限公司 深度相机抓拍时的深度重建方法、系统、设备及介质
CN111739069B (zh) * 2020-05-22 2024-04-26 北京百度网讯科技有限公司 图像配准方法、装置、电子设备及可读存储介质
CN113834571A (zh) * 2020-06-24 2021-12-24 杭州海康威视数字技术股份有限公司 一种目标测温方法、装置及测温系统
CN111879414A (zh) * 2020-08-04 2020-11-03 银河水滴科技（北京）有限公司 一种红外测温的方法、装置、计算机设备和介质
CN112683405A (zh) * 2020-11-11 2021-04-20 浙江大华技术股份有限公司 一种温度检测方法、系统以及存储介质
CN112504472A (zh) * 2020-11-26 2021-03-16 浙江大华技术股份有限公司 一种热成像仪及热成像方法、存储介质
CN112529947B (zh) * 2020-12-07 2023-08-01 北京市商汤科技开发有限公司 标定方法及装置、电子设备及存储介质
WO2023041952A1 (en) 2021-09-14 2023-03-23 Uab "Yukon Advanced Optics Worldwide" Apparatus and method for multispectral fusion of images, combining images from different wavelenghts

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4967276A (en) * 1988-05-24 1990-10-30 Fujitsu Limited Video signal mixing device for infrared/visible integrated imaging
GB2389989A (en) * 2001-03-28 2003-12-24 Hewlett Packard Co Camera with correction for infra-red response
CN1546960A (zh) * 2003-12-05 2004-11-17 广州科易光电技术有限公司 红外线热成像图像及可见光图像复合视频实时显控装置
CN1573505A (zh) * 2003-05-21 2005-02-02 富士写真光机株式会社 可见光和红外光摄影用透镜系统
EP1339228B1 (de) * 2002-02-20 2006-07-05 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Sichtbarmachung eines Ausschnitts der Umgebung eines Fahrzeugs sowie eine Kalibriereinheit zur Kalibrierung der Vorrichtung

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005173879A (ja) * 2003-12-10 2005-06-30 Mitsubishi Electric Corp 融合画像表示装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4967276A (en) * 1988-05-24 1990-10-30 Fujitsu Limited Video signal mixing device for infrared/visible integrated imaging
GB2389989A (en) * 2001-03-28 2003-12-24 Hewlett Packard Co Camera with correction for infra-red response
EP1339228B1 (de) * 2002-02-20 2006-07-05 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Sichtbarmachung eines Ausschnitts der Umgebung eines Fahrzeugs sowie eine Kalibriereinheit zur Kalibrierung der Vorrichtung
CN1573505A (zh) * 2003-05-21 2005-02-02 富士写真光机株式会社 可见光和红外光摄影用透镜系统
CN1546960A (zh) * 2003-12-05 2004-11-17 广州科易光电技术有限公司 红外线热成像图像及可见光图像复合视频实时显控装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9506809B2 (en) 2010-11-17 2016-11-29 Easytem Co., Ltd. Portable device for measuring temperature using infrared array sensor

Also Published As

Publication number Publication date
EP1811771B1 (en) 2009-04-29
DE602007000971D1 (de) 2009-06-10
CN101067710A (zh) 2007-11-07
EP1811771A1 (en) 2007-07-25

Similar Documents

Publication Publication Date Title
CN101067710B (zh) 具有可见光与红外图像混合的相机
CN101111748B (zh) 具有激光指示器的可见光和ir组合的图像照相机
US11032492B2 (en) Visible light and IR combined image camera
US7535002B2 (en) Camera with visible light and infrared image blending
US10726559B2 (en) Visible light image with edge marking for enhancing IR imagery
EP2345994B1 (en) Comparison of infrared images
US8407616B2 (en) Graphical user interfaces and methods for thermography
US20130155248A1 (en) Thermal imaging camera for infrared rephotography
US8374438B1 (en) Visual template-based thermal inspection system
CN101968603B (zh) 立体成像设备和立体成像方法
EP2608532A2 (en) Thermal imaging camera for infrared rephotography
EP2582129A2 (en) Thermal imaging camera with infrared lens focus adjustment
CN101813520B (zh) 一种二维光谱测量装置
CN104254869A (zh) 用于投影红外线辐射的可见表示的方法和系统
CN104272717A (zh) 用于执行投影图像到检测到的红外线(ir)辐射信息的对准的方法和系统
KR20080038280A (ko) 객체 또는 생물 형태 상에 특성을 디스플레이하기 위한방법 및 장치
Johnson et al. Commercial fusion camera
RU2148794C1 (ru) Способ автоматизированного измерения с использованием модели внешней среды в стереотелевизионной системе технического зрения

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: FOLUC CORP.

Free format text: FORMER OWNER: INFRARED SOLUTION CO., LTD.

Effective date: 20121102

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20121102

Address after: Washington, USA

Patentee after: Foluc Corp.

Address before: American Minnesota

Patentee before: Infrared Solutions Inc.