CN104254869B - 用于投影红外线辐射的可见光表示的方法和系统 - Google Patents

用于投影红外线辐射的可见光表示的方法和系统 Download PDF

Info

Publication number
CN104254869B
CN104254869B CN201380022081.9A CN201380022081A CN104254869B CN 104254869 B CN104254869 B CN 104254869B CN 201380022081 A CN201380022081 A CN 201380022081A CN 104254869 B CN104254869 B CN 104254869B
Authority
CN
China
Prior art keywords
real
world scene
visible light
imaging system
infrared ray
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380022081.9A
Other languages
English (en)
Other versions
CN104254869A (zh
Inventor
K·斯特兰德玛
H·乔森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Flir Systems AB
Original Assignee
Flir Systems AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Flir Systems AB filed Critical Flir Systems AB
Publication of CN104254869A publication Critical patent/CN104254869A/zh
Application granted granted Critical
Publication of CN104254869B publication Critical patent/CN104254869B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/48—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • G03B17/54—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus with projector
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B42/00—Obtaining records using waves other than optical waves; Visualisation of such records by using optical means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiation Pyrometers (AREA)
  • Studio Devices (AREA)
  • Projection Apparatus (AREA)

Abstract

一种通过利用包括红外线(IR)成像系统(18)、可见光成像系统(14)和可见光投影系统(22)的热成像布置(10)，将基于从观察的现实世界场景发射的红外线(IR)辐射的红外线(IR)辐射信息以及附加信息的可见表示呈现在所述观察的现实世界场景上，使得能够对所述观察的现实世界场景进行更容易的解释和分析的方法。

Description

用于投影红外线辐射的可见光表示的方法和系统
技术领域
本发明一般而言涉及使得能够对观察的现实世界场景进行更容易的解释和分析的方法和系统。
更具体而言，本发明涉及通过把可见光投影到观察的现实世界场景上来使得能够对观察的现实世界进行更容易的解释和分析，其中可见光包括从观察的现实世界场景发射的红外线(IR)辐射的可见光表示以及附加信息的可见光表示。
此外，本发明涉及把所述可见光投影到观察的现实世界场景上的方法和系统，其中投影的可见光与从现实世界场景发射的IR辐射对准并且其中投影的可见光包括基于来自观察的现实世界场景的红外线(IR)辐射的红外线(IR)辐射信息的表示。
背景技术
在红外线(IR)成像或热成像的场中，常见的是利用IR成像系统，也称为热成像系统，例如以IR相机的形式，捕捉从观察的现实世界场景发射的IR辐射，并且把IR辐射信息处理成通常在系统的显示器上向用户示出的可见光图像。
与此相关的问题是成像系统的用户难以区分并分析什么在显示器上示出，因为代表IR辐射信息的图像常常具有低分辨率并且显示单元通常相当小。
IR成像系统的用户可以选择保存一个或多个图像并且把它们传送到另一单元，诸如计算机，用于随后显示。以这种方式，这一个或多个图像可以在更大的显示器上呈现。但是，这导致从IR辐射被检测到的时刻到检测到的信息向用户呈现的时刻的延迟，。换句话说，检测到的信息的分析不能在现场执行。此外，用户难以回顾性地把显 示在计算机上的信息关联到IR辐射检测已经执行的观察的现实世界场景。
在IR相机的典型用例中，操作人员会想通过检测对象的不同点或部分的温度来分析观察的现实世界场景中一个或多个对象或表面的特点。操作人员捕捉IR图像，然后比较观察的现实世界场景的IR图像与人眼察觉到的观察的现实世界场景。在这个过程中，操作人员必须通过比较在通常小的IR相机显示器上显示的内容与观察的现实世界场景来把图像信息翻译或解释成现实，以便理解显示器上的图像信息如何关联到观察的现实世界场景，其中会存在必然的努力、错误源和延迟。
有些相关技术通过提供IR检测器或IR相机和可见光投影仪的组合来解决这些问题，使得更大的可见图像能够在现场显示，例如，该可见图像投影到观察的现实世界场景的平表面上。这种相关技术设计成依赖于IR辐射生成可见光图像并且把IR辐射的可见解释直接投影到观察的场景上。由此使得有可能与观察的现实世界场景更紧密关联地使用IR辐射信息。
随着技术发展以及更小构造部件可以获得，小尺寸投影设备的生产变得日益普通。因此，这种“小型化”投影仪可以例如结合手持式设备，诸如具有成像能力或成像系统的移动通信设备，使用。这种发展也使得生产具有投影仪的手持式IR相机更可行。但是，在相关技术中，仍然需要开发用于集成IR相机和投影机的方法。
由于IR图像形式的IR信息的捕捉以及作为IR图像可见光表示的可见图像的投影是由不同且物理上分离的部件执行的，因此部件的光轴通常彼此有一定距离并且称为视差误差的光学现象将发生。为了补偿视差误差，图像必须对准。按照惯例，对准是通过成像系统中的光学元件，例如对焦透镜或分束器，的调节来实现的。利用成像系统中光学或其它物理元件的对准需要成像系统中的空间并且会难以适合。此外，成像系统中附加或经过特别改装的元件的包括造成更高的生产成本。
相关技术的例子
公开IR检测器和可见光投影仪的结合的相关技术的例子在以下文档中找到。
授予Cannamela的专利公开US 2008/0224041 A1公开了用于观察的现实世界场景上的表面下异常检测和图像投影的方法和装置。根据该公开内容的各方面，该方法包括利用检测器确定在观察的现实世界场景中表面之后一个位置的表面下异常的存在并且生成代表该异常的信号表示。该信号被发送到投影仪、转换成该异常的可见光表示并且投影到该表面上的其中该表面下异常在其后面存在的该表面上的位置处。
授予Qinetiq的专利公开US 7,579,592 B2公开了照明和成像系统及方法。根据该公开内容的各方面，热手电筒包括IR相机和可见光发射器，布置成利用可见光照亮热对象。IR信息转换成可见光并且可见光投影到观察的现实世界场景上。这个文档公开了利用分束器进行对准的解决方案。
公开视差补偿和/或图像对准的相关技术的例子在以下文档中找到。
在相机显示器登记可见光相机模块和红外线相机模块的独立视场的方法和装置在授予Johnson等人的文档US 2006/0289772 A1中找到。US 2006/0289772 A1的登记需要诸如霍尔效应传感器的传感器。该文档只公开了显示在数字显示器上的图像之间的对准，并且没有公开投影设备的使用。
文档EP 2107799 A1FLIR Systems AB公开了具有分别用于记录IR图像和可见图像的两个光学系统以及激光指示器的IR相机。与可见图像和IR图像之间的位移相关的一个或多个参数用来确定IR图像中激光点相对于可见图像中检测到的位置的位移。该公开内容的目的是通过在数字显示器上显示的图像的对准来确定激光点在红外线图像中的位置，并且没有公开投影设备的使用。
仍然需要使得能够在热成像系统使用期间，优选地在现场或者实况地，对观察的现实世界场景进行更容易的解释和分析并且把附加信息关联到观察的现实世界场景。
发明目的
本发明的目标是使得热成像系统的用户能够对观察的现实世界场景进行更容易的解释和分析。
本发明的更多目标是解决以下部分问题：
-如何在热成像系统的使用期间优选地在现场或者实况地提供对观察的现实世界场景的更容易的解释和分析。
-如何帮助用户把附加信息关联到观察的现实世界场景。
本发明的一种或多种实施例解决或至少最小化以上提到的问题。
发明内容
根据实施例，本发明增强了用户使用组合的IR成像设备和投影仪的体验。
根据一种或多种实施例，本发明利用组合的IR成像设备和投影仪方便用户对投影信息的更容易的分析的解释。
根据一种或多种实施例，本发明通过利用包括红外线(IR)成像系统(18)、可见光成像系统(14)和可见光投影系统的热成像系统(10)，将基于从现实世界场景发射的红外线(IR)辐射的红外线(IR)辐射信息以及附加信息的可见光表示呈现到所述观察的现实世界场景上，来方便对所述观察的现实世界场景的更容易的解释和分析。
此外，根据本文所述实施例的本发明提供了在热成像系统使用期间优选地在现场或者实况地对观察的现实世界场景进行更容易的解释和分析。
此外，根据本文所述实施例的本发明将帮助用户把附加信息关联到观察的现实世界场景。
本公开内容的一种或多种实施例解决或至少最小化以上提到的问题。
根据本发明的一方面，提供了把可见光表示投影到观察的现实世界场景上的方法和热成像系统，其中投影的可见光表示包括基于从观察的现实世界场景发射红外线(IR)辐射的IR信息的可见光表示，并且其被与检测到的从观察的现实世界场景发射的IR辐射对准地投影到观察的现实世界场景上，由此例如增强或突出在观察的现实世界场景中存在的信息，和/或帮助用户把投影的信息关联到观察的现实世界场景。根据本发明的实施例，投影的可见光表示还包括附加信息的可见光表示，作为更多信息，其通过使得能够对观察的现实世界场景进行更容易的解释和分析来进一步增强用户体验。附加信息可以关联到观察的现实世界场景或者其周围，或者它可以示出例如帮助用户就面积、尺寸、距离等解释观察的现实世界场景的与测量相关的信息或其它信息。
根据另一种实施例，本发明提供了可见光表示的投影，其被与检测到的从该可见光表示借助可见光被投影到的一个或多个观察的现实世界对象或观察的现实世界场景发射的IR辐射正确地对准。
根据实施例，本发明提供了可见光表示的投影，可见光表示包括投影到观察的现实世界场景中一个或多个对象上的附加信息。根据实施例，附加信息按比例投影到观察的现实世界场景上，由此进一步帮助用户把附加信息关联到观察的现实世界场景。
根据本发明的一方面，提供了一种通过利用包括红外线(IR)成像系统、可见光成像系统和可见光投影系统的热成像系统，将基于从现实世界场景发射的红外线(IR)辐射的红外线(IR)辐射信息以及附加信息的可见光表示与检测到的从所述观察的现实世界场景发射的红外线(IR)辐射对准地呈现在在所述观察的现实世界场景上而使得能够对所述观察的现实世界场景进行更容易的解释和分析的方法，该方法包括：检测从所述观察的现实世界场景发射的红外线(IR)辐射作为红外线(IR)辐射信息或者更具体而言是基于检测 到的从所述观察的现实世界场景发射的红外线(IR)辐射来捕捉红外线(IR)辐射信息；创建所述检测到的红外线(IR)辐射信息的可见光表示；把所述检测到的红外线(IR)辐射信息的所述可见光表示对准到检测到的从所述观察的现实世界场景发射的红外线(IR)辐射；依赖于从预定源接收的信号，创建附加信息的可见光表示；创建组合的红外线(IR)图像，该组合的红外线(IR)图像包括所述检测到的红外线(IR)信息的所述对准的可见光表示和附加信息的所述可见光表示；并且通过把所述组合的红外线(IR)图像投影到所述观察的现实世界场景上来呈现它，其中包括在所述红外线(IR)图像中的检测到的红外线(IR)信息的所述可见光表示被与检测到的从观察的现实世界场景发射的IR辐射对准地投影。
根据本发明的另一方面，提供了一种通过将基于从现实世界场景发射的红外线(IR)辐射的红外线(IR)辐射信息以及附加信息的可见光表示与检测到的从所述观察的现实世界场景发射的IR辐射对准地呈现在观察的现实世界场景上来使能能够对所述观察的现实世界场景进行更容易的解释和分析的热成像系统，其中包括在所述红外线组合(IR)图像中的红外线(IR)辐射信息的可见光表示与从观察的现实世界场景发射的红外线(IR)辐射对准地投影，该布置包括：红外线(IR)成像系统，用于根据第一视场检测从所述观察的现实世界场景发射的红外线(IR)辐射；可见光投影系统，适于根据第二视场把可见光投影到所述观察的现实世界场景上，其中第二视场至少部分地重叠第一视场；可见光成像系统，适于根据第三视场捕捉所述观察的现实世界场景的可见光图像，其中第三视场至少部分地重叠第一和/或第二视场；处理器，适于：
-创建所述检测到的红外线(IR)辐射信息的可见光表示；
-把所述检测到的红外线(IR)辐射信息的所述可见光表示对准到检测到的从所述观察的现实世界场景发射的红外线(IR)辐射；
-依赖于从预定源接收的信号，创建附加信息的可见光表示；及
-创建组合的红外线(IR)图像，包括所述检测到的红外线 (IR)辐射信息的所述对准的可见光表示和附加信息的所述可见光表示；
其中所述可见光投影系统22还适于：
-通过把所述组合的红外线(IR)图像投影到所述观察的现实世界场景上来呈现它，其中包括在该红外线(IR)图像中的检测到的红外线(IR)辐射信息的可见光表示与检测到的从观察到的现实世界场景发射的IR辐射对准地投影。
根据本发明的其它方面，提供了其上存储适于控制处理器执行本文所述任何方法步骤或功能的非暂时性信息的计算机可读介质；或者包括适于控制处理器执行本文所述任何方法步骤或功能的代码部分和/或适于配置现场可编程门阵列(FPGA)执行本文所述任何方法步骤或功能的配置数据的计算机程序产品。
本发明的范围是由通过参考结合到该概述当中的权利要求定义的。通过考虑以下一种或多种实施例的详细描述，对本发明实施例的更完整理解及其附加优点的实现将提供给本领域技术人员。将参考首先简要描述的附图。
附图说明
以下参考附图通过示例实施例进一步描述本发明，其中：
图1A-1C示出了根据本发明不同示例性实施例的热成像系统的示意图。
图2示出了根据本发明实施例、与观察的现实世界场景相关的热成像系统的三个光学系统的布置的示意图。
图3A根据由本发明实施例使其成为可能的示例性用例示出了用在与可见光投影仪的光轴不正交的表面上的IR成像系统的光学系统的示意图。
图3B根据由本发明实施例使其成为可能的另一个示例性用例示出了用在不平表面上的热成像系统的光学系统的示意图。
图3C示出了一个示例性实施例，其中热成像系统的投影仪的光 轴OA斜着落到观察的现实世界场景中的表面上。
图4A是根据实施例示出生产期间校准的框图。
图4B是根据实施例示出自校准的框图。
图5是根据本发明的实施例、执行投影图像到检测到的IR辐射信息的对准的方法的流程图。
图6是根据实施例示出操作期间调节的框图。
图7是根据实施例的不同模式的示意性概述。
图8是根据实施例示出校准的热成像系统的操作的框图。
图9是示出方法实施例的流程图。
图10A示出了根据本发明第一种实施例的IR信息和附加信息的投影。
图10B示出了根据本发明第二种实施例的IR信息和附加信息的投影。
具体实施方式
介绍
因此，本发明的实施例涉及用于IR(红外线)成像，也称为热成像，的解决方案，其中，代替或者除就像具有IR成像布置，或热成像系统，的常见情况那样的显示器布置上的间接视图之外，基于从场景发射的红外线(IR)辐射的红外线(IR)辐射信息的可见光表示以及附加信息的可见光表示，利用可见光表示的投影叠加到观察的现实世界场景上，该叠加是实时地或者实况地(近乎实时地)，即，从红外线(IR)辐射信息的检测到红外线(IR)辐射信息的可见光表示到所述观察的现实世界场景上的投影有很短延迟。这意味着用户可以使用他或她自己的正常视觉来观察现实世界场景，其中投影到观察的现实世界场景上的可见光表示使得用户更容易解释和/或分析所观察的现实世界场景。例如，投影的可见光表示可以突出观察的现实世界场景中感兴趣的对象或区域。根据实施例，附加信息按比例投影到观察的现实世界场景上，由此进一步帮助用户把附加信息关联到观 察的现实世界场景。
根据实施例，关联到观察的现实世界场景的附加信息是作为预定信息接收的、从集成在热成像系统中或耦合到其的传感器接收的、从热成像系统10中或耦合到其的测量设备接收的、从热成像系统中的存储器接收的、从集成在热成像系统10中或耦合到其的图形用户接口(GUI)接收或者从热成像系统中的处理器接收的。
根据实施例，取得从热成像系统10到观察的现实世界场景的距离值z。根据实施例，把附加信息按比例投影到观察的现实世界场景上涉及基于取得的从热成像系统到观察的现实世界场景的距离值z把适配后的附加信息投影到观察的现实世界场景上。根据实施例，取得从热成像系统10到观察的现实世界场景的距离值z。根据实施例，取得的距离值z是预定的、从存储器取得、通过利用与已知参数和/或使热成像系统能够进行取得的参数的关系，诸如联系图2-8中给出的等式2的关系，进行计算取得或者通过使用集成在热成像系统中或耦合到其的距离传感器取得。
在实施例中，从热成像系统10到观察的现实世界场景的多个距离值z是以联系图2-8所述的方式取得的。
在实施例中，投影到观察的现实世界场景上的附加信息的一部分的长度或面积是基于取得的距离值z来计算的。
根据实施例，把附加信息按比例投影到观察的现实世界场景上涉及依赖于取得的距离z或者计算出的至少一个距离和/或面积把附加信息的可见光表示按比例投影到观察的现实世界场景上。
根据实施例，把附加信息按比例投影到观察的现实世界场景上涉及投影作为附加信息的相对长度/面积信息，以帮助用户把场景的不同部分或其中存在的对象的尺寸/面积/距离彼此关联。在一个非限制性例子中，相对长度信息是标尺的形式。在一个非限制性例子中，相对面积信息是帮助网格或网格线的形式。在一个非限制性例子中，相对长度/面积信息是基于取得的从热成像系统到观察的现实世界场景的距离来确定的。
根据实施例，把附加信息按比例投影到观察的现实世界场景上涉及投影作为附加信息的朝向信息，以帮助用户把场景的不同部分或其中存在的对象的朝向彼此关联。在一个非限制性例子中，朝向信息指示水平和/或垂直朝向，例如是从集成在热成像系统中或耦合到其的陀螺仪获得的。在一个非限制性例子中，朝向信息是以挂线水平仪、酒精水平仪或气泡水平仪或者在本领域中用来指示观察的现实世界场景中对象的朝向是水平(level)还是垂直的任何其它指示器的形式。
根据实施例，把附加信息按比例投影到观察的现实世界场景上涉及投影作为附加信息的文本信息。在一个非限制性例子中，文本信息是以本领域中已知的方式从传感器获得的温度值、从传感器获得的湿度值或者从检测到的IR辐射信息获得的等级(level)。文本信息可以作为数值或区间或者作为将帮助用户解释或分析观察的场景的任何其它合适的可见光表示包括在投影到观察的场景上的IR图像中。
根据实施例，把附加信息按比例投影到观察的现实世界场景上涉及投影作为附加信息的图形信息。在一个非限制性例子中，图形信息包括略图、绘图或者关于观察的现实世界场景的任何图形信息。
根据本发明的实施例，提供了通过把组合的红外线(IR)图像投影到所述观察的现实世界场景上来呈现其的方法和布置，其中组合的红外线(IR)图像包括所述检测到的红外线(IR)辐射信息的所述对准的可见光表示和附加信息的所述可见光表示，其中，利用如图1A、1B和1C中所示的包括IR成像系统18、可见光成像系统14和可见光投影系统22的热成像系统10，包括在所述红外线组合(IR)图像中的检测到的红外线(IR)辐射信息的所述可见光表示与所述检测到的从所述观察的现实世界场景发射的IR辐射对准地投影。
根据实施例，IR成像系统18适于根据第一视场检测从观察的现实世界场景发射的红外线(IR)辐射。
根据实施例，处理器13适于把由红外线(IR)成像系统18检测到的红外线(IR)辐射信息变换成可见光表示，由此创建红外线(IR)图像。以这种方式，检测到的红外线(IR)信息的可见光表 示被创建。
对准
根据一种或多种实施例，热成像系统包括可见光成像系统14，并且其中对准包括例如如下使用所述可见光成像系统。
根据实施例，可见光投影系统22适于根据第二视场把可见光图案投影到观察的现实世界场景上，其中第二视场至少部分地重叠第一视场。
根据实施例，可见光成像系统14适于根据第三视场捕捉观察的现实世界场景的可见光图像，包括所述投影的可见光图案，其中第三视场至少部分地重叠第一和/或第二视场。
根据实施例，处理器13还适于在所述捕捉到的可见光图像中检测所述投影的可见光图案；确定可见光图像中在投影的可见光图案像素坐标和与可见光图像中的像素坐标之间以像素为单位的像素位移d(pix vis)，其中如果可见光成像系统和可见光投影系统对准，则投影的可见光将出现；基于投影的可见光图案和可见光图像之间的像素位移d(pix vis)，确定IR图像和可见光图像之间的像素位移d(pix IR)；并且基于所述像素位移d(pix IR)，把所述检测到的红外线(IR)辐射的所述可见光表示，也称为红外线(IR)图像，对准到检测到的从所述观察的现实世界场景发射的红外线(IR)辐射；通过根据第二视场把所述对准的红外线(IR)图像与检测到的从观察的现实世界场景发射的IR辐射对准地投影到所述现实世界场景上来呈现它。
根据实施例，处理器13还适于取得从IR热成像系统10到观察的现实世界场景的距离z。根据更多实施例，处理器13适于基于取得的距离z来确定检测到的投影的可见光图案和可见光图像之间的像素位移d(pix vis)；和/或基于检测到的投影的可见光和可见光图像之间的像素位移d(pix vis)以及取得的距离z来确定IR图像和可见光图像之间的像素位移d(pix IR)。
根据实施例，可见光投影系统(22)还适于通过与检测到的从观 察的现实世界场景发射的IR辐射对准地把检测到的红外线(IR)辐射的对准的可见光表示，换句话说是IR图像，投影到所述观察的现实世界场景上来呈现它。
根据实施例，IR辐射信息的可见光表示与从观察的现实世界场景发射的IR辐射对准地呈现。
呈现方法的实施例在以下联系图5进一步描述。
适用于这个目的的布置包括三个光学系统，即，IR成像系统、可见光成像系统和可见光投影系统。在不同的实施例中，这三个光学系统或者组装成一个集成的热成像系统，或者设计成具有作为独立部件的投影仪。在投影仪是独立部件的情况下，它可以适于可分离地附连到包括其它光学系统的组件或外罩或者适于与其它光学系统物理地分开操作。
热成像系统的所有部件/单元都，例如，通过直接连接、有线连接和/或无线连接通信耦合。
热成像系统的光学系统通常具有不同的视场(FOV)。为了实现根据本发明的对准，热成像系统的光学系统必须放置成使得每个光学系统的FOV至少部分地与另两个光学系统的FOV重叠。
由于热成像系统的光学系统不具有相同的光轴，因此视差误差将发生。为了补偿视差误差，图像必须对准。
在执行根据本发明的对准所需的计算中使用的有些信息可以在相机的校准过程中确定，如以下更详细地描述的。
集成设备实施例
图1A示出了根据本发明第一种实施例的系统的示例图，其中集成的热成像系统10包括三个光学系统14、18和22。根据实施例，光学系统14、18、22包括在组件12中。前两个光学系统是包括用于光的可见频谱的可见光传感器阵列16的可见光成像系统14，和包括用于光的红外线频谱的IR传感器阵列20的IR成像系统18。组件12中包括的第三个光学系统是可见光投影系统22或者有可能是适于 投影诸如紫外线的(UV)通常不可见波长区域的光的光投影系统。根据这种实施例，三个光学系统14、18和22具有固定的安装，在各自的光轴OA1、OA3、OA2之间具有已知的相对距离和角度，如通过作为一种对准的校准确定的，例如在热成像系统的生产过程中执行的。热成像系统10的光学系统安装成使得每个光学系统的FOV至少部分地分别与另两个光学系统的FOV重叠，如在图2所示的实施例中说明的。
可分离附连部件实施例
图1B示出了根据本发明第二种实施例的系统的示意图，其中热成像系统10包括三个光学系统14、18和22。两个成像系统14、18具有固定的安装，在各自的光轴OA1、OA3(Cf图2)之间具有已知的相对距离和角度，如通过校准/对准确定的，例如在热成像系统的生产过程中执行的。根据实施例，可见光成像系统14和IR成像系统18包括在组件12中。根据这种实施例，投影系统22是适于通过附连特征25A和25B可分离附连到热成像系统10的独立部件。附连特征25A在投影系统22上提供并且适于安装(fit)到在热成像系统10上提供的对应附连特征25B。根据实施例，在附连时，投影系统22经以下进一步解释的通信接口21和对应的通信接口27通信耦合到热成像系统10的处理器13。根据不同的实施例，通信接口21可以集成在投影系统22或附连特征25A任何一个当中、在其中实现或者耦合到其，而通信接口27可以集成在成像系统14或18、组件12、处理器13或附连特征25B任何一个当中、在其中实现或者耦合到其。
根据实施例，当附连特征25A、25B彼此附连时，可见光投影系统22将定位成关于IR成像系统18和可见光成像系统14分别具有某个距离和角度。根据实施例，附连特征25A、25B可以包括锥形工具插入其中的插座、插孔，和/或通过以下的选择彼此附连：通过螺纹，其中特征25A、25B之一拧到另一个当中，通过把特征25A、 25B之一安装(fit)、扣或按到另一个当中，通过使用磁力，或者通过使用任何其它合适类型的紧固或附连机制。附连特征放置并设计成使得在每次附连特征彼此附连时一边的可见光头像系统22与另一边的IR成像系统18和可见光成像系统14之间的所述距离和角度将基本上相同，具有最小的错误边际。通过确保在热成像系统的生产期间组合光学系统的放置基本上在每次IR成像被使用时都相同，可见光投影系统22与可见光成像系统14和IR成像系统18之间的视差误差，诸如视差距离和定点误差，分别可以从生产得知、在生产过程中校准/对准，或者在使用过程中近似。
当部件附连时，热成像系统10的光学系统，这里是系统14、18、22，定位成使得每个光学系统的FOV都至少部分地与另两个光学系统的FOV重叠，如图2中示例的。
独立部件实施例
图1C示出了根据本发明第三种实施例的系统的示意图，其中热成像系统10包括三个光学系统14、18、22。两个成像系统14、18具有固定的安装，在各自的光轴之间具有已知的相对距离和角度，如从生产得知或者在生产过程中校准的。根据实施例，可见光成像系统14和IR成像系统18包括在组件12中。根据这种实施例，投影系统22是适于在操作期间与热成像系统10的其它部件物理地分开放置并且有可能处于远处的独立部件。投影系统22经以下进一步解释的通信接口21通信耦合到处理器13。
在根据这第三种实施例的操作中，投影系统22应当放置成使得其FOV至少部分地与IR成像系统和可见光成像系统的FOV重叠。为了实现或帮助实现至少部分重叠的FOV，投影仪可以适于投影可见光的预定指导投影，例如，以诸如图案的可识别特征的形式，以便引导用户把投影系统22放在把其投影FOV投到用户要观察的现实世界场景或对象上的这种位置。
更多的系统体系架构细节
参考图1A-1C中所示的全部实施例，根据实施例，成像系统14、18包括一个或多个透镜、用于调节透镜的控制设备、适于捕捉来自观察的现实世界场景的进入辐射并耦合到一个或多个处理器13的传感器16、20，其中处理器13具有适于处理从传感器16、20接收到的图像数据并且控制系统不同部件的功能的处理特征。可选地，热成像系统10包括耦合到处理器13并适于显示图像数据的显示器23。可选地，热成像系统10包括配置为向用户显示信息并获得用户输入信息的图形用户接口(GUI)。
根据不同的实施例，包括或不包括可见光投影系统22的热成像系统10可以是手持式的，适于固定安装，例如为了监督目的或维护调查，或者适于在使用期间安装在架子上。
根据实施例，热成像系统10还包括用于存储由热成像系统10登记或处理的数据的存储器15，以及用于输入命令和/或控制信号的一个或多个控制设备19的选择，例如，交互式显示器、操纵杆和/或记录/下压按钮，以及至少一个图形接口21，例如，有线或无线连接、IRDA、蓝牙、USB、FireWire等。响应于输入命令和/或控制信号，处理器13控制热成像系统10的不同部分的功能。
根据不同的实施例，投影系统22可以包括投影仪29，例如，以激光投影仪、液晶显示器(LCD)投影仪、数字光处理(DLP)投影仪或本领域已知的任何其它合适类型的投影仪的形式。
激光投影仪在许多应用中都会是合适的，因为激光投影仪通常具有高景深，由此图像或数据到任何种类投影表面上的投影都可以进行。通常，其锐度、颜色空间和对比度高于其它投影技术例如LCD或DLP投影仪的锐度、颜色空间和对比度。
热成像系统10还可以包括本领域中本身已知的激光指示器，在图中没有示出。这种激光指示器可以在本发明性概念中用来例如投影可见光。根据实施例，可见光可以作为形式为受限图案(1imited pattern)的可识别特征来投影，该受限图案包括投影系统的视场， 下文中也表示为FOVproj，中所包括的全部或部分像素。
联系图2-8，以下描述视差补偿、校准和对准的实施例。
使得能够对观察的现实世界场景进行更容易的解释和分析的方法实施例
根据本发明的实施例，
通过利用包括红外线(IR)成像系统18、可见光成像系统14和可见光投影系统22的热成像系统10，基于从所述观察的现实世界场景发射的红外线(IR)辐射在所述观察的现实世界场景上呈现红外线(IR)辐射信息的可见光表示来提供使得能够对观察的现实世界场景进行更容易的解释和分析的方法。
根据图9中所示的实施例，该方法可以包括：
步骤900：检测从观察的现实世界场景发射的红外线(IR)辐射作为红外线(IR)辐射信息或者更具体而言是基于检测到的从所述观察的现实世界场景发射的红外线(IR)辐射来捕捉红外线(IR)辐射信息。
根据实施例，从观察的现实世界场景发射的红外线(IR)辐射是根据红外线(IR)成像系统18的视场，FOVIR，利用红外线(IR)成像系统18来检测的。
步骤910：创建检测到的红外线(IR)辐射信息的可见光表示。
根据实施例，检测到的红外线(IR)辐射的可见光表示是以检测到的IR图像的形式。
根据实施例，处理器13适于把由红外线(IR)成像系统18检测到的检测到的红外线(IR)辐射信息变换成所述检测红外线(IR)辐射信息的可见光表示，由此创建检测到的红外线(IR)辐射信息的可见光表示。
步骤920：把检测到的红外线(IR)辐射信息的可见光表示对准到检测到的从观察的现实世界场景发射的红外线(IR)辐射。
根据实施例，处理器13适于把所述检测到的红外线(IR)辐射 的可见光表示对准到检测到的从观察的现实世界场景发射的红外线(IR)辐射.
根据不同的实施例，对准可以利用上述任何方法实现。
步骤930：依赖于从预定源接收的信号，创建附加信息的可见光表示。
根据实施例，处理器13适于，依赖于从预定源接收的信号，创建附加信息的可见光表示。
预定源可以包括以下的选择：
.用户输入；
.处理器；
.存储器；
.传感器；和/或
.测量设备。
步骤940：创建组合的红外线(IR)图像，包括检测到的红外线(IR)辐射信息的对准的可见光表示以及附加信息的可见光表示。
根据实施例，处理器13适于创建组合的红外线(IR)图像，包括检测到的红外线(IR)辐射的对准的可见光表示以及附加信息的可见光表示。
根据实施例，取得从热成像系统10到观察的现实世界场景的距离值z。根据实施例，把附加信息按比例投影到观察的现实世界场景上涉及基于取得的从热成像系统10到观察的现实世界场景的距离值z把适配后的附加信息投影到观察的现实世界场景上。根据实施例，取得从热成像系统10到观察的现实世界场景的距离值z。根据实施例，取得的距离值z是预定的、从存储器15取得、通过利用与已知参数和/或使热成像系统能够进行取得的参数的关系，诸如联系图2.8中给出的等式2的关系，进行计算取得或者通过使用集成在热成像系统中或耦合到其的距离传感器取得。
在实施例中，从热成像系统10到观察的现实世界场景的多个距离值z是以联系图2.8所述的方式取得的。
在实施例中，投影到观察的现实世界场景上的附加信息的一部分的长度或面积是基于取得的距离值z或多个距离值z来计算的。
根据实施例中，以上在步骤940中创建组合的红外线(IR)图像还包括，依赖于取得的距离值z或者计算出的至少一个距离和/或面积，确保附加信息的可见光表示将按比例投影到所述观察的现实世界场景上，其中所述确保包括对准投影的光和观察的场景。
在图10B中，投影表面是基本上平的墙壁，这是对于投影来说最容易的可能的情况。但是，在观察的现实世界场景中，可见光投影到其上的观察的现实世界场景的对象或部分通常离IR成像系统18有不同的距离，如图3的实施例中所示，这意味着投影的可见光表示必须与观察的现实世界场景对准，例如根据联系图2.8在本文给出的方法实施例。
步骤950：通过把组合的红外线(IR)图像投影到观察的现实世界场景上来呈现它，其中包括在该红外线(IR)图像中的检测到的红外线(IR)辐射信息的可见光表示与检测到的从观察的现实世界场景发射的IR辐射对准地投影。
根据实施例中，可见光投影系统22适于通过把组合的红外线(IR)图像投影到观察的现实世界场景上来呈现它，其中包括在该红外线(IR)图像中的检测到的红外线(IR)辐射信息的可见光表示与检测到的从观察的现实世界场景发射的IR辐射对准地投影。
用例实施例
在操作中，根据实施例，操作人员把手持式热成像系统10指向观察的现实世界场景，该场景可以例如包括管道、墙壁、地板、天花板或者对调查而言感兴趣的任何其它一个或多个目标表面或对象，并且，直接看到投影到观察的现实世界场景上的被发射并被检测的IR辐射的可见光表示，其中以该可见光表示在与对应检测到的IR辐射的发射方向相同的方向上被投影的方式，该可见光表示与观察的现实世界场景对准。例如，如果观察的现实世界场景包括热点，例如过热 的电气元件，则用户将看到投影到该检测到的热点上的光，例如光是指示该检测到的热点温度高的颜色或光强度的。根据实施例，投影到热点上的光可以是红色，通常用于代表色阶上的热温度，或者，如果灰度级值用于投影，则光可以是高强度光。如对本领域技术人员很显然的，对于在观察的现实世界场景中检测到的热、IR或温度信息的范围，任何合适的可见光表示都可以使用。
根据以下进一步描述的不同实施例，用户可以使用热成像系统来在观察的现实世界场景中照亮或突出感兴趣的区域，或者在检测到异常时接收形式为投影到观察的现实世界场景上的可见或可听警报的告警。
根据另一种实施例，用户可以使用热成像系统来取得到观察的现实世界场景的距离。从热成像系统到观察的现实世界场景的距离在下文中将被称为z，其中z是指示从热成像系统到观察的现实世界场景的距离的参数。
根据实施例，距离z的值可以例如通过利用与已知参数和/或使热成像系统能够进行取得的参数的关系进行计算来取得，例如以下给出的等式2的关系。根据备选实施例，以本身已知的方式，距离z可以通过使用两个可见光传感器、通过IR图像中激光点的检测、通过对焦透镜的位置或者通过集成在热成像系统中或耦合到其的距离传感器的使用来取得。
为了让热成像系统作为距测仪工作，热成像系统必须首先被校准。以下描述备选的校准实施例。
根据实施例，操作人员可以选择利用包括在一个或多个控制设备19中的输入特征激活对准功能。根据另一种实施例，对准功能是在热成像系统10启动的时候被自动激活的。
根据其中可见光投影系统22是如在图1B中示例的可分离附连部件并且目前没有附连到手持式热成像系统10的实施例，操作人员在使用之前把可见光投影系统22附连到手持式热成像系统10。
根据备选实施例，其中可见光投影系统22和手持式热成像系统 10要用作物理上分离的部件，操作人员把可见光投影系统22放到相对于手持式热成像系统10的合适位置，确信投影系统22指向要调查的感兴趣的目标表面或对象。通过适于投影例如作为图案或符号的形式的可识别特征的、可见光的预定指导投影的可见光投影系统22，操作人员有可能被指引着把可见光投影仪指向要调查的感兴趣的目标表面或对象。根据实施例，可见光可以作为形式为受限图案的可识别特征来投影，其中该受限图案包括投影系统的视场(FOVproj)中所包括的全部或部分像素。这种投影可以例如在可见光投影系统22被开启时自动激活，或者被控制成通过来自操作人员的输入而激活。操作人员可以利用例如集成在可见光投影系统22中或耦合到其的输入设备(图中未示出)或者热成像系统10的控制设备19来提供输入，由此处理器13把来自控制设备19的输入信号翻译成经接口21传送到可见光投影系统22的控制信号，以便控制所述指导投影的激活。可见光投影系统22通过有线或无线连接通信耦合到热成像系统的处理器，例如经通信接口21和27通信。
根据实施例，热成像系统10的IR成像系统18检测从观察的现实世界场景发射的IR辐射并且利用包括在IR成像系统18中的IR传感器阵列20捕捉所述IR辐射。在IR传感器阵列20中，进入的IR辐射被转换成包括IR辐射数据的IR辐射信号。捕捉到的IR辐射数据从IR传感器阵列20发送到处理器13，其中检测到的IR辐射数据被变换成形式为IR图像的图像数据的可见光表示。根据实施例，IR图像传送到热成像系统10的显示器23并且呈现给设备的操作人员。但是，根据本发明的方法实施例，IR图像在相机显示器上的显示是可选的。
根据实施例，可见光投影系统22被处理器13控制成把可见光投影到观察的现实世界场景上。根据实施例，可见光可以作为形式为受限图案或符号的可识别特征来投影，其中该受限图案或符号包括可见光投影系统22视场(FOVproj)中所包括的全部或部分像素。根据实施例，投影是与IR辐射信息的捕捉和处理并行执行的，但不必在相 同的时刻。
根据实施例，本发明语境下的图案或符号是由至少一个像素并且优选地多于一个像素，通常是多个像素，组成的形状或分布，这种形状或分布可以很容易地与在观察的现实世界场景的图像中可能出现的任何东西区分。例如，在优选实施例中，符号不是单个像素或组合到一起的几个像素的形式，因为单个像素或小的像素组会与在图像中出现的噪声混淆。本发明的符号可以具有可以被人眼识别的对象的形状，诸如花、星星或者人知道的任何其它对象。或者，它可以具有不能被人解释为某个对象但是很容易被人眼和/或数据处理器识别的形状或分布。类似地，本发明语境下的图案也是由很容易地与在观察的现实世界场景的图像中可能出现的任何东西以及与噪声区分的多于一个像素(通常是多个像素)组成的。根据实施例，符号或图案可以具有人已知的对象的形状或者使其很容易被人眼和/或数据处理器识别的任何其它合适的形状或分布。根据实施例，被可见光投影设备22投影的图案仅仅就是FOVproj中所包括的像素的全部或选定部分。在这种情况下，基于投影的可见光的强度，图案可以在包括该图案的可见光图像中被识别或认出。其中可见光被投影的像素有可能具有比可见光图像剩余像素更高的强度。
根据实施例，在预定符号或图案投影期间，可见光成像系统14被处理器13控制成利用可见光成像系统14中所包括的可见光传感器阵列16捕捉进入的可见光。在可见光传感器阵列16中，进入的可见光被转换成包括可见光数据的可见光信号。捕捉到的可见光数据从可见光传感器阵列16发送到处理器13，其中可见光数据被变换成可见光图像。由于可见光传感器阵列16的传感器元件对可见光的波长敏感，因此可见光投影系统22的反射光可以在可见图像中通过其画面元素，即，像素，检测到。画面元素可以是例如CCD(电荷耦合设备)。由此，捕捉到的可见光图像包括被投影到其上的预定符号或图案叠加的观察的现实世界场景的可见光表示。
根据实施例，在捕捉到包括被预定符号或图案叠加的观察的现实 世界场景的可见光表示的图像之后，该图像被发送到处理器13，其中处理器13执行图像中预定符号或图案的检测。图像中符号或图案的检测可以利用本领域中本身已知的任何合适的检测方法来执行，例如特征提取、模板匹配、分割、边缘检测、薄化、相似性测量、遮蔽、过滤或者通过使用差异图像。
根据其中符号或图案检测要利用差异图像执行的实施例，可见光成像系统14还被处理器13控制成，在与包括观察的现实世界场景和预定符号或图案的图像被捕捉的时刻接近的一个时刻，捕捉没有投影到其上的预定符号或图案的同一个观察的现实世界场景的图像。哪个图像先捕捉和哪个图像后捕捉没有关系。优选地，这两个图像是图像帧序列中两个相继的图像帧。彼此紧密相继地捕捉图像的原因是观察的现实世界场景通常从第一个图像帧到第二个图像帧不会改变太多，这意味着图像的现实世界图像部分将基本相同。此外，在其中热成像系统10是手持式的实施例中，如果图像是紧密相继捕捉的，例如作为图像帧序列中两个连续的图像帧，则由用户造成的布置的任何摇晃或移动将很小。由此，当处理器13从还包括投影的符号或图案的图像减去只包括观察的现实世界场景的表示的图像时，将获得只包括投影的符号或图案的差异图像。以这种方式，观察的现实世界场景中存在的任何符号或图案，例如墙上的壁纸上的图案，不会被热成像系统10错误地检测为符号或图案。
IR信息的可见光表示，也称为IR图像，从处理器13发送到可见光投影系统22。可见光投影系统22还被处理器13控制成把IR信息的可见光表示投影到观察的现实世界场景上，使得检测到的IR辐射的可见光表示与进入的，或者捕捉到的，IR辐射对准，并且在与对应捕捉到的IR辐射发射的方向相同的方向投影到观察的现实世界场景上。为了实现这种对准，传感器13使用检测到的符号或图案上的信息连同生产过程中取得的信息、生产中的校准，和/或热成像系统10操作期间的校准或调整。对准实施例以下进一步详细描述。
根据本发明的实施例，热成像系统10的操作人员将经历上述事件被实时地立刻执行，这意味着操作人员把热成像系统10指向观察的包括例如感兴趣表面或对象的现实世界场景，并且直接看到被发射并检测的投影到观察的现实世界场景上的IR辐射的可见光表示，其中以该可见光表示在与对应检测到的IR辐射从其发射的方向相同的方向上被投影的方式，该可见光表示与观察的现实世界场景对准。IR信息的可见光表示通常是颜色或者灰度级，其代表IR信息的可见光表示被投影到其上的观察的现实世界场景，诸如表面或对象，的不同热属性。利用本发明的对准方法，投影到观察的现实世界场景上的可见光表示将在对应检测到的IR辐射从其发射的方向被投影。例如，形式为红外线(IR)图像的所述检测到的红外线(IR)辐射的可见光表示的投影被执行，使得检测到的从所述观察的现实世界场景发射的红外线(IR)辐射的不同热属性得以表示。关于此的例子是，如果代表低热值或温度的IR辐射在观察的现实世界场景的某个部分中被检测到，则根据例如选定的色阶或灰度级值范围，可见光投影系统22将把具有代表所述低热或温度值的颜色或灰度级值的光投影到观察的现实世界场景的这个部分之上。
在一种实施例中，观察的现实世界场景中检测到的从所述观察的现实世界场景发射的红外线(IR)辐射偏离周围区域的区域可以被检测到，其例如有关观察的现实世界场景中的对象。在一种实施例中，这种偏离是通过比较以下来检测的：该区域中检测到的红外线(IR)辐射和与周围区域有关的检测到的红外线(IR)辐射(例如，检测到的红外线(IR)辐射的紧挨着在周围的部分或者检测到的红外线(IR)辐射的全部)的均值。例如，以其热值或温度的形式，检测到具有比周围区域的平均的检测到的红外线(IR)辐射低的检测到的红外线(IR)辐射的区域有时候被称为检测到“冷点”，这可以指示该区域例如绝缘不良，或者暴露给水泄漏或者凝结的形成，并且由此具有增加的被水损坏的风险。例如，以其热值或温度的形式，检测到具有比周围区域的平均的检测到的红外线(IR) 辐射高的检测到的红外线(IR)辐射的区域有时候被称为检测到“热点”，这可以指示例如该区域包括过热的部件并且具有增加的着火的风险。如果使用从用于低温的蓝色到用于高温的红色变化的、代表观察的现实世界场景的检测到的红外线(IR)辐射的色阶，则观察的现实世界场景中的冷点通常有被可见光投影系统22投影到其上的蓝色光，而观察的现实世界场景中的热点通常有被可见光投影系统22投影到其上的红色光。由此，即使是在操作人员把IR成像系统10指向的表面的另一侧上引起低的或高的热或温度值，也使得操作人员能够与观察的现实世界场景对准地直接在观察的现实世界场景中看到他或她正在调查的热点和冷点。
上述红区域和蓝区域仅仅是作为例子。任何色阶、灰度级或者其它合适的可见光表示都可以被可见光投影系统22用来表示检测到的不同IR辐射水平。例如，不同的IR辐射水平可以由不同的图案或光强度表示。
如果可见光投影系统22的FOV完全包括在IR成像系统18的FOV中，则可见光投影系统22可以将依据检测到的UR辐射水平的选定的可见光表示的可见光投影到观察的现实世界场景的在可见光投影系统22的整个FOV内的那些部分上。或者，如果可见光投影系统22的FOV只部分地与IR成像系统18的FOV重叠，则可见光投影仪可以把可见光投影到位于两个系统的FOV的重叠部分内的观察的现实世界场景部分上。或者，可见光投影系统22只把可见光投影到从其检测到高于、低于或者在某个选定的温度值或区间之间的IR辐射并且位于两个系统的FOV的重叠部分中的观察的现实世界场景的部分上。可见光投影系统22应当把光投影到重叠FOV的哪些部分上的其它选择也可以被考虑。例如，利用IR成像系统10的输入特征，可见光可以投影到由操作人员指示的感兴趣的区域上，或者通过在处理器13中实现的对象检测特征投影到在图像中检测到的对象上。根据图2中说明的实施例，可见光成像系统14具有最大FOV，IR成像系统18具有第二大FOV并且投影系统22具有最小FOV。 但是，依赖于诸如价格、性能和终端客户需求之类的条件，FOV尺寸的任何其它关系都是可以想到的。
由于投影的可见光与检测到的从观察的现实世界场景发射的IR辐射对准并且在检测到的IR辐射从其发射的方向投影，因此将没有可见光投影到观察的现实世界场景中不在IR成像系统18和可见光投影系统22这两个系统的FOV中的部分上。
投影实施例的例子在图10A和10B中示出。
图10A示出了包括有地板、墙壁和门的房间的观察的现实世界场景1000。
图10B示出了同一个观察的现实世界场景1000，其中作为组合的红外线(IR)图像的可见光表示通过把它投影到所述观察的现实世界场景上来呈现，其中该红外线(IR)图像包括所述检测到的红外线(IR)辐射信息的对准的可见光表示以及附加信息的可见光表示，其中包括在所述红外线组合(IR)图像中的检测到的红外线(IR)辐射信息的所述可见光表示与所述检测到的从所述观察的现实世界场景发射的IR辐射对准地投影，例如以代表测出的不同IR辐射等级的不同颜色或光强度的形式。例如，可以使用其中不同温度区间由不同强度等级或颜色表示的强度等级或色阶，如本领域中众所周知的。
根据图10A和10B的实施例，可见光通过可见光投影系统，诸如像液晶显示器(LCD)、数字光处理(DLP)投影仪或激光投影仪，呈现到观察的现实世界场景1000上。在图10B中，可见光投影被说明为代表观察的现实世界场景中检测到的不同温度值或温度区间的不同半色调级。当然，观察的现实世界场景1000的所有部分都将发射可以被上述系统的IR传感器20检测的IR辐射。根据图10B中的实施例，例如根据感兴趣区域的用户选择，或者预先设置或用户选择的感兴趣区间的IR辐射信息，投影仪只把可见光表示投影到观察的现实世界场景的部分上。在图10B所说明的实施例中，管道1002、后墙上的区域1004以及门1006是投影的可见光的目标。如上 所述，目标区域1002、1004、1006的不同半色调图案可以是不同的颜色或光强度，代表不同的IR辐射等级或区间。例如，管道1002的半色调图案(颜色，光强度)可以指示对应于高温度值或区间的IR辐射等级或区间，从而向用户指示这个区域是“热点”。区域1004的半色调图案(颜色，光强度)又可以对应于低温，从而向用户指示这是“冷点”，而门1006的半色调图案(颜色，光强度)可以关于有可能在1002和1004的温度值或区间之间的第三个温度值或区间。
根据实施例，组合的红外线(IR)图像投影到所述观察的现实世界场景上，其中包括在该红外线组合(IR)图像中的检测到的红外线(IR)辐射信息的所述可见光表示与所述检测到的从所述观察的现实世界场景发射的IR辐射以及按比例投影的附加信息的可见光表示对准地投影。
根据实施例，按比例把附加信息投影到观察的现实世界场景上涉及基于取得的距离值z把对准的附加信息投影到观察的现实世界场景上。
在一个非限制性例子中，直线将被对准，使得，当其投影到观察的现实世界场景上时，它对用户来说看起来就像是直线，尽管观察的现实世界场景中对象的表面离热成像系统处于变化的距离并且对象表面与投影方向不正交。
在一个非限制性例子中，网格线将被适配，使得，当其投影到观察的现实世界场景上时，它对用户来说看起来就像是在网格线之间具有相等的距离，尽管观察的现实世界场景中对象的表面离热成像系统处于变化的距离并且对象表面与投影方向不正交。
在一种实施例中，附加信息是基于距离图来对准的，其中距离图中的每个值对应于取得的从热成像系统(10)到观察的现实世界场景中一个点的距离。对观察的现实世界场景中对象表面的可见光表示的适配可以根据本领域中已知的任何方法进行。
根据实施例，附加信息1008可以进一步被投影。在图10B中， 附加信息1008以标尺的形式示例为相对长度单位或长度测量信息，从而使得能够把长度测量信息按比例投影到观察的场景上，按比例投影到观察的现实世界场景上，由此帮助用户解释例如观察的现实世界场景中对象的尺寸和分布和/或投影的可见光的区域。以下给出根据不同实施例的附加信息。
根据实施例，附加信息包括指导帮助网格或者网格线。根据实施例，指导网格或网格线提供按比例投影到观察的现实世界场景上的长度/面积测量信息，由此帮助用户解释观察的现实世界场景的不同部分或者其中存在的对象的尺寸/面积/距离。根据另一种实施例，网格或网格线提供相对长度/面积信息，从而帮助用户把观察的现实世界场景的不同部分或者其中存在的对象的尺寸/面积/距离彼此关联。
根据实施例，附加信息包括使用户能够解释所观察场景部分的朝向的朝向信息，从而帮助用户把场景的不同部分或者其中存在的对象的朝向彼此关联。在一个非限制性例子中，朝向信息指示水平和/或垂直朝向，其例如是从集成在热成像系统中或耦合到其的陀螺仪获得的。在一个非限制性例子中，朝向信息是以挂线水平仪、酒精水平仪或气泡水平仪或者在本领域中用来指示观察的现实世界场景中对象的朝向是水平(level)还是垂直的任何其它指示器的形式。
根据实施例，把附加信息按比例投影到观察的现实世界场景上涉及投影作为附加信息的文本信息。在一个非限制性例子中，文本信息是以本领域中已知的方式从传感器获得的温度值、从传感器获得的湿度值或者从检测到的IR辐射信息获得的等级(level)。文本信息可以作为数值或区间(interval)或者作为将帮助用户解释或分析观察的场景的任何其它合适的可见光表示包括在投影到观察的场景上的IR图像中。
根据实施例，附加信息可以包括与温度相关的信息，诸如以本领域中已知的方式从捕捉到的IR辐射信息获得的温度值或等级或者湿度值或等级。与温度相关的信息可以作为数值或区间或者作为将帮助用户解释或分析观察的场景的任何其它合适的可见光表示包括在投影 到观察的场景上的IR图像中。
根据实施例，把附加信息按比例投影到观察的现实世界场景上涉及投影作为附加信息的图形信息。在一个非限制性例子中，图形信息包括略图、绘图或者关于观察的现实世界场景的任何图形信息。
根据实施例，附加信息包括文字(writing)/文本、略图和/或绘图。在一个非限制性例子中，附加信息由用户利用一个或多个控制设备19输入。根据实施例，附加信息是通过触摸功能输入的。
根据其中从热成像系统10到观察的现实世界场景的至少一个距离z已知或者被取得的实施例，观察的现实世界场景的一部分的长度和/或面积可以按本领域中已知的方式计算。
根据实施例，以上在步骤S940中创建组合的红外线(IR)图像还包括，依赖于取得的距离z或者计算出的至少一个距离和/或面积，确保附加信息的可见光表示将按比例投影到所述观察的现实世界场景上。
在图10B中，投影表面是基本上平的墙壁，这是对于投影来说最容易的可能的情况。但是，在观察的现实世界场景中，可见光投影到其上的观察的现实世界场景的对象或部分通常离IR成像系统18有不同的距离，如图3的实施例中所示，这意味着投影的光必须与观察的现实世界场景对准，例如根据联系图2-8在本文给出的方法实施例。
根据实施例，本文所述本发明的不同方面可以用来调查观察的现实世界场景并且识别相关信息。
相关信息可以是例如被调查的观察的现实世界场景中的热或冷的点或区域，从而指示由例如差的绝缘或者误动或过热的电气元件造成的能量偷窃(thieves)或功率偷窃。
根据实施例，如上给出的本发明的不同方面可以用来增强或突出例如检测到的对于某些预定义等级更高/更低/在其之间的水分，其中水分等级可以按其本身已知的方式从测出的IR或温度信息来计算。
根据另一种实施例，如上给出的本发明的不同方面可以用来通知 用户地板、电气布线、水管等当中发热的位置，这对于例如在建筑或电气行业中的用户会是有利的。当这种相关信息投影到观察的现实世界场景上时，借助于投影，用户可以把关于投影的信息或用户得出的结论的信息绘制、标记、书写或勾画到观察的现实世界场景上，由此使得即使在投影被关闭之后也能更容易地进行分析。
根据实施例，附加信息可以包括在热成像系统的显示器上的图形用户接口(GUI)中给出的图形元素，其中所述图形元素表示以下的选择：
-作为温度、湿度、发射率或效率给出的测量值。在这里，如果一个或多个距离z已经取得并且与面积相关的信息已经基于这一个或多个距离计算出来，则效率可以表示为W/m2或表示为W；
-用于选择感兴趣的一个或多个点和/或区域的一个或多个点和/或区域标记；
-用于用户输入的一个或多个输入域；及
-一个或多个可选择的菜单项。
根据实施例，使用户能够控制在所述热成像系统的显示器上的GUI中呈现什么或者呈现什么的外观。例如，可以使用户能够利用一个或多个控制设备19通过与热成像系统10的交互来控制GUI。根据实施例，用户与一个或多个控制设备19的交互生成适于被处理器13或者集成在热成像系统中或耦合到其的另一处理设备解释的输入和/或控制信号。在接收到这种输入或控制信号后，处理单元适于改变在热成像系统10的显示器上示出的GUI的外观和/或作为附加信息投影到观察的现实世界场景上的内容。例如通过与一个或多个控制设备19的交互，在热成像系统的显示器上示出的GUI中所包括的部分或全部信息是否也将投影到观察的现实世界场景上可以预先设置或者由用户选择。
呈现/投影模式
根据实施例，提供了多于一种投影模式。根据实施例，使用户能 够例如利用一个或多个控制设备19在不同的投影模式之间进行选择。
根据实施例，可能的投影模式包括以下的选择：
-投影由可见光投影系统22的FOVproj限定的整个观察的现实世界场景的可见光表示。根据这种实施例，可见光投影可以是利用IR成像系统18捕捉到的IR辐射的可见光表示，包括观察的现实世界场景中同时包括在IR成像系统18的FOVIR和FOVproj当中的部分。
-投影包括在观察的现实世界场景中的一个或多个对象的可见光表示。根据这些实施例，一个或多个对象可以由用户利用一个或多个控制设备19来选择。或者，处理器13可以适于例如基于温度或水分模式或阈值来自动地识别对象。利用其本身已知的任何合适的对象识别方法，自动的或基于用户选择的识别可以由包括在处理器13中的对象识别功能来执行。
-投影包括在观察的现实世界场景中的一个或多个对象的选定部分的可见光表示；
-把可见光标记投影到观察的现实世界场景上；
-在热点或对象上投影可见光标记；或者
-在冷点或对象上投影可见光标记。
根据实施例，投影的可见光的亮度等级和/或颜色值可以基于该可见光投影到其上的观察的现实世界场景的部分的亮度等级和/或颜色值来调节。投影的可见光的亮度等级和/或颜色值通常调节成使得投影的可见光与它投影到其上的观察的现实世界场景的部分可以尽可能清楚地被人眼区分。例如，如果观察的现实世界场景是黑色，则高亮度的可见光可以被投影，如果观察的现实世界场景的相关部分是绿色，则通常是对比色的不同颜色可以被投影，使得投影在观察的现实世界场景可以被清楚地看到。
根据不同的实施例，投影的可见光的调节可以通过在操作期间控制可见光投影系统22投影某些亮度等级和/或颜色的光或者通过在把IR图像发送到投影仪之前调节其亮度等级和/或颜色来进行。根据实 施例，亮度等级和/或颜色可以预先设定、基于可见光要投影到其上的观察到现实世界场景的颜色计算或者可以由用户例如利用一个或多个控制设备19选择。
根据实施例，处理器13可以适于检测观察的现实世界场景的(由可见光成像系统捕捉到的)可见光图像中的亮度等级和/或颜色值；基于检测到的亮度等级和/或色阶来计算亮度等级和/或色阶。
根据备选实施例，处理器13可以适于在IR图像被传送到可见光投影系统22之前调节其亮度等级和/或色阶，或者控制可见光投影系统22基于预先设定、计算出的或者用户选择的亮度等级和/或色阶来调节投影的可见光的亮度等级和/或色阶。
视场(FOV)和视差
图2说明了表示为角度α的图1热成像系统10的可见光成像系统14的视场(FOV)，表示为角度β的红外线成像系统18的FOV，以及表示为角度γ的可见光投影系统22的FOV。这三个光学系统14、18和22的光轴分别示为虚线OA1、OA3和OA2。
有两个因素对不同成像系统产生的图像和/或投影的相对位移起作用。首先，成像系统14、18和22之间的相应距离造成图像的位移，也称为视差距离，这个位移在仪表中是恒定的，但是随着到对象的距离增加而像素个数减少，例如dpix vis。其次，不同成像系统14、18、22的光轴OA1、OA3、OA2通常不是完美平行。它们之间的相应角度造成位移，也称为定点误差或方向性误差，这在仪表中随着到对象的距离而变但是像素个数是恒定的。定点误差，或者说方向性误差，是由两个光学系统之间的角度与期望的角度相比的差造成的，并且由于构造不准确而发生。例如，当可见光成像系统14和IR成像系统18在生产过程中被组装时，对于每个热成像系统10，它们将不以完全相同的方式组装。细小的差异将发生，并由此发生方向性误差。
根据实施例，如在本文中所使用的，术语“视差”包括由成像子 系统之间的距离和光轴之间的角度造成的组合的像素位移。
如在图2中可以看到的，在投影系统22的光轴OA2和可见光成像系统14的光轴OA1之间存在视差距离P(p-vis)，并且在投影系统22的光轴OA2和IR成像系统18的光轴OA3之间存在另一个视差距离P(p-IR)。
视差距离P(p-vis)造成由可见光投影系统22投影的可见图像和由可见光成像系统14捕捉的图像之间的像素位移。这个像素位移在下文中表示为d(pix vis)。
视差距离P(p-IR)造成由可见光投影系统22投影的可见图像和由IR成像系统18捕捉的IR图像之间的像素位移。这个像素位移在下文中表示为d(pix IR)。
如对本领域技术人员来说很显然的，在可见光成像系统14的光轴OA1和IR成像系统18的OA3之间还存在另一个视差距离P(vis-IR)，从而造成由可见光成像系统14捕捉的图像和由IR成像系统18捕捉的IR图像之间的像素位移。根据本发明的所有实施例，可见光成像系统14和IR成像系统18集成在组件12中，由此视差距离P(vis-IR)从生产得知并且可以在热成像系统10的校准或操作期间进行补偿。
图2中所示的像素位移d(pix vis)和d(pix IR)可以作为距离z(x，y)的函数凭经验来确定，其中这个距离代表从热成像系统10到观察的一个或多个现实世界对象或观察到现实世界场景上的点选择的每一个的距离，例如在热成像系统10的生产或校准期间。根据实施例，结合可见光投影系统22和可见光成像系统14之间的视差距离P(p-vix)，距离z可以描述为到观察的现实世界场景中代表被捕捉可见图像中检测到投影图案的具体坐标的部分的距离。
由此，在一种实施例中，作为从热成像系统到观察的现实世界场景的距离z的函数的像素位移的确定可以利用本身已知的方法分别对可见光成像系统14和IR成像系统18执行。
根据实施例，作为距离z的函数确定的像素位移存储在热成像系 统10的存储器中，例如，存储器存储15中，并且可以用来在操作期间补偿视差误差。
根据实施例，距离z是相对于图像中代表观察的现实世界场景的预定坐标，诸如图像的中心、图像的角落或者图像中任何其它合适的坐标，确定的。
热成像系统10的光学系统之间相应的视差距离P(p-vis)、P(p-IR)和定点误差，或者说方向性误差，可以用来估计用于作为到对象的距离的函数的位移的等式或曲线。这种等式或曲线可以存储在热成像系统10中的存储器中，例如存储器存储15中，并且可以用来在操作期间通过把确定的距离映射到相关视差距离等式或曲线来补偿视差误差。
如前面所提到的，投影的预定可见光符号或图案通常由多于一个像素，通常是多个像素，组成。由此，该符号或图案比如果只一个像素/一个点用于确定距离的话更可靠地确定。此外，由于该符号或图案具有很容易与观察的现实世界场景的图像中可能出现的任何东西区分的形状或分布并且可以具有人已知的对象的形状或者使其很容易被数据处理器识别的任何其它合适形状或分布，而单个像素会与图像中存在的其它对象或噪声混淆。
对准
如以上所解释的，例如在仪表中以长度单位表示的视差距离P(p-vis)造成由可见光投影系统22投影的可见图像和由可见光成像系统14捕捉的图像之间的像素位移d(pix vis)，并且，视差距离P(p-IR)造成由可见光投影系统22投影的可见图像和由IR成像系统18捕捉的IR图像之间的像素位移d(pix IR)。如对本领域技术人员很显然的，通常在可见光成像系统14和IR成像系统18之间也有视差距离，从而造成由不同光学系统捕捉的图像之间的第三个像素位移。这个视差距离和像素位移在图2中未示出。
根据实施例，处理器13布置成对由光学系统14、18、22中任何一个或全部捕捉的图像和/或由光学系统14、18、22中任何一个或全 部投影的光执行对准。
为了能够将利用可见光投影系统22投影到观察的现实世界场景上的可见光与从观察的现实世界场景发射、被IR成像系统18检测并变换成IR图像的IR辐射对准，投影的可见光和检测到的IR辐射之间的位移必须计算或近似，并且进行补偿。根据以下给出的不同实施例，这个位移的计算或近似是在热成像系统10的生产期间的校准、其操作期间的自校准或自调节当中执行的。
生产期间的校准
根据图1A中所说明的实施例，可见光成像系统14、IR成像系统18和可见光投影系统22全都组装在集成的热成像系统10中，例如集成在组件12中，在不同的光学设备14、18、22和光轴OA1、OA3、OA2之间分别具有已知的视差距离。
根据这种实施例，热成像系统可以在热成像系统10的生产或制造中被校准。在这种校准期间，所有视差距离都是已知的，因为光轴OA1、OA3、OA2之间的距离是已知的。在生产期间执行校准时已知的其它参数是：可见光成像系统14的视场(FOVvis)；IR成像系统18的视场(FOVIR)；到观察的现实世界场景的距离z；以及利用可见光成像系统14捕捉的图像和利用IR成像系统18捕捉的图像的图像坐标之间的变换，或映射函数，f(z)，该函数是z的函数。
根据实施例，距离z是相对于图像中的预定坐标确定的，诸如图像的中心、图像的角落或者图像中任何其它合适的坐标。
生产校准方法的实施例包括以下在图4A中说明的步骤：
步骤410：利用可见光投影系统22，根据第二视场，把可见光投影到观察的现实世界场景上，其中第二视场至少部分地重叠IR成像系统的第一视场。
根据实施例，投影的可见光可以是诸如图案或符号的可识别特征的形式。
步骤420：利用可见光成像系统14，根据第三视场捕捉观察的现 实世界场景的可见光图像，包括投影的可见光图案，其中第三视场至少部分地重叠第一和/或第二视场。
根据实施例，捕捉到两个可见光图像，其中一个包括观察的现实世界场景和投影的可见光，而另一个包括观察的现实世界场景但不包括投影的可见光。换句话说，在捕捉到其中一个图像时，投影设备把可见光投影到观察的现实世界场景上，但在捕捉到另一个图像时不投影。通过减去捕捉到的图像，获得包括投影的可见光但不包括观察的现实世界场景的差异图像。
步骤430：在可见光图像中，或者如果在步骤420中已经获得差异图像的情况下在差异图像中，检测投影的可见光图案。
根据实施例，在到观察的现实世界场景的距离z和捕捉到的可见光图像中投影的可见光将出现的位置之间存在已知的预定关系。因此，距离z可以在可选步骤485中用作对于投影的可见光检测的输入。由此，由于检测在可见光图像最有可能的位置，或坐标，开始，因此获得更高效的检测。
步骤440：基于捕捉到的可见光图像，计算由可见光投影系统22投影的光和由可见光成像系统14捕捉的图像之间的像素位移d(pix vis)。换句话说，如果可见光成像系统14和可见光投影系统22对准，例如从生产或校准得知，则确定可见光图像中投影的可见光图案像素坐标和可见光图像中该投影的可见光将出现的像素坐标之间以像素为单位的位移d(pix vis)。像素位移d(pix vis)的例子在图2中示出。
如对本领域技术人员很显然的，依赖于条件，像素位移可以例如表示为分成x方向分量和y方向分量(dx(pix vis)，dy(pix vis))或者表示为极坐标。
步骤450：如果还未知，则计算投影仪的FOV，FOVproj。
由于可见光成像系统的FOV，FOVvis，是已知的，因此FOVproj可以基于包括投影的可见光的捕捉到的可见光图像，或差异图像，以下列方式来计算，其中投影的可见光可以表示为区域、可识别特征、图案或符号：
根据实施例，已知FOVproj的百分之多少由，例如x或y方向中，投影区域、特征、图案或符号中两个或更多个预定点之间的距离表示。在包括投影的可见光区域、特征、图案或符号的捕捉到的可见光图像中，确定投影的可见光区域、特征、图案或符号的预定点之间的像素距离。由于可见光图像的以像素为单位的分辨率是已知的，因此可见光图像的百分比，并且由此由投影的可见光区域、特征、图案或符号的两个点之间的距离表示的FOVvis的百分比，可以基于所述像素距离来确定。通过知道FOVvis并进一步知道分别代表投影的可见光区域、特征、图案或符号的预定点之间距离的FOVvis和FOVproj的百分比之间的关系，可以确定FOVproj。
步骤460：确定形式为校准参数c0和c1的校准参数。
校准参数c0是关于所比较的两个光学系统的光轴，例如光轴OA1、OA2，之间视差距离的理论常量。根据实施例，c0表示为(长度单位×像素个数)。
校准参数c1关于定点，或方向性，误差。换句话说，c1关于所比较的两个光学系统的光轴，例如光轴OA1、OA2，之间的角度。根据实施例，c1以像素为单位来表示。
根据实施例，校准参数以下列方式确定：
其中表示为长度单位的、到观察的现实世界场景的距离z是已知的，并且d(pix vis)是以像素为单位表示的像素位移，如在步骤440计算的。
如对本领域技术人员很显然的，依赖于条件，校准参数可以例如表示为分成x方向分量和y方向分量(c0x，c0y)，(c0x，c0y)，或者表示为极坐标。
步骤490：校准热成像系统的光学系统，或者换句话说，补偿在步骤460确定的视差误差，或像素位移和定点误差。
在步骤490的计算之后，由投影系统22产生的投影将和由IR 成像系统18捕捉的IR辐射对准。换句话说，在步骤490之后，热成像系统准备好操作，并且根据实施例，可以进一步在操作期间用作距离传感器。
根据实施例，上述校准过程被执行多次，例如两次或三次，以便确保适当的校准。
校准的或对准的热成像系统的操作的实施例在图8中说明。
自校准
根据另一种实施例，热成像系统适于自校准并且一边的可见光投影系统22与另一边的可见光成像系统14和IR成像系统18之间的视差距离可以分别近似。
根据在图1B中示出并在部分“可分离附连的部件实施例”中进一步描述的这种实施例，附连特征25A在投影系统22上提供并适于安装到在IR成像系统10上提供的对应附连特征25B，使得投影系统22可以附连到IR成像系统18并从其分离。这种附连特征可以例如形成为与固定到投影系统的第一耦合部分25A和固定到IR成像系统的第二耦合部分25B的附连耦合。当附连时，根据实施例，可见光投影系统22定位成关于IR成像系统18和可见光成像系统14分别有视差距离和定点误差，基本上在每次附连特征彼此附连时都相同，具有最小的误差边际。
根据实施例，热成像系统自校准。在这种自校准期间，以下参数从热成像系统生产中的校准得知：可见光成像系统14和IR成像系统18之间的视差距离和定点误差；可见光成像系统14的视场(FOVvis)；IR成像系统18的视场(FOVIR)；以及利用可见光成像系统14捕捉到的图像和利用IR成像系统18捕捉到的图像的图像坐标之间的变换，或映射函数，f(z)，该函数是到观察的现实世界场景的距离z的函数。根据实施例，自校准的目的是估计视差距离校准参数、定点误差以及，如果还未知的话，还有投影系统22的视场(FOVproj)。
用于自校准的方法实施例包括以下步骤，在图4B中说明：
步骤410、420、440、450和490对应于以上关于图4A给出的相同步骤。
除输入距离z的可选步骤485之外，步骤430对应于上述步骤430，因为距离z不是早先知道的。相反，距离z是通过在步骤470中测量来确定的，例如，通过距离传感器或飞行时间传感器。根据实施例，距离z在步骤480中输入或反馈到步骤430的投影的可见光区域、特征、图案或符号的检测，由此提供更智能或高效的区域、特征、图案或符号检测，如以上对步骤430所描述的。
根据实施例，上述校准过程被执行多于一次，例如两次或三次，以便确保适当的校准。
校准的或对准的热成像系统的操作的实施例在图8中说明。
校准的热成像系统的操作
一旦热成像系统已经根据以上关于图4A和4B给出的任何实施例校准，该布置就准备好操作。在操作中，热成像系统将以相同的方式工作，而不管校准是在生产中还是使用期间执行，如图7所说明的。
根据以上给出的方法实施例的实施例，已经在生产中校准的热成像系统，以及自校准热成像系统，都在步骤490之后校准或对准。在步骤490中的校准之后，由投影系统22产生的投影将与由IR成像系统18捕捉的IR辐射对准。换句话说，在步骤490之后，热成像系统准备好操作，并且，根据实施例，在操作期间进一步用来确定到观察的场景的距离，即，执行距离传感器的功能。根据实施例，热成像系统可以用来利用以下关系确定到观察的现实世界场景的距离：
其中参数对应于以上等式1的参数。
如对本领域技术人员很显然的，依赖于条件，等式2的所有参数 都可以例如表示为分成x方向分量和y方向分量，或者表示为极坐标。
如对本领域技术人员很显然的，如果等式的剩余参数已知，则等式2的关系可以代替地用来确定参数c0、c1、z或d(pix vis)中任何一个。
在操作中，根据图8中所示的实施例，通过获得或取得到观察的一个或多个对象或观察的现实世界场景的距离z，校准的热成像系统产生到观察的现实世界场景上的可见光投影，其与从观察的现实世界场景发射并被热成像系统的IR成像系统的IR传感器接收的IR辐射对准；如上所述，基于距离z和在生产中或自校准期间确定的校准参数c0和c1确定像素位移dpix vis，并且该方法实施例包括以下步骤：
步骤810：利用IR成像系统18，根据第一视场检测从观察的现实世界场景发射的IR辐射，并且创建形式为IR图像的检测到的IR辐射的可见光表示。通常，检测到的IR辐射到达IR成像系统18的IR传感器阵列20，具有确定的第一视场。
步骤820：取得从热成像系统10到观察的现实世界场景或对象的距离z。
根据实施例，距离z可以例如通过利用与已知参数和/或使热成像系统能够进行取得的参数的关系的计算来取得，例如以上给出的等式2的关系。根据备选实施例，距离z可以通过使用集成到热成像系统中或耦合到其的距离传感器来取得。在一个例子中，距离是通过使用两个可见光传感器、IR图像中激光点的检测、对焦透镜的位置或者通过使用集成到热成像系统中或耦合到其的距离传感器以本身已知的方式取得的。
根据实施例，取得的距离z用作对步骤830的输入。
步骤830：计算由可见光投影系统22根据第一视场投影的可见图像与作为根据第一视场检测到的从所述观察的现实世界场景发射的红外线(IR)辐射的可见光表示的、由IR成像系统18捕捉的IR图像之间的像素位移dpix IR。
根据实施例，作为到观察的一个或多个对象或观察的现实世界场景的距离的函数，像素位移dpix IR和像素位移dpix vis之间的关系从生产或校准得知，其中像素位移dpix vis是由可见光投影系统22投影的可见图像与由可见光成像系统14捕捉的可见光图像之间的像素位移。描述这种关系的一种方式是：
dpix IR＝f(dpix vis，z) (等式3)
根据实施例，该关系是映射函数，例如表示为查找表，其中，基于距离z的值，用于dpix vis的每个值具有用于dpix IR的对应值。为了简化，每个位移在这里都公式化为一个值dpix vis或dpix IR。但是，位移可以包括多于一个分量。通常，对于图像，位移是关于x分量和y分量来描述的，例如以矢量(例如，dxpix vis，dypix vis)的形式，或者作为极坐标。
根据上述实施例，距离是从步骤820得知的。因此，为了确定dpix IR，我们首先需要知道dpix vis。如果位移dpix vis还不知道，则，如上所述，它可以利用已知的参数C0和C1以及等式2中给出的关系来确定。
当dpix vis已知或被确定时，根据以上给出的任何实施例，像素位移dpix IR通过使用等式3的关系来确定。
步骤840：把IR图像呈现到观察的现实世界场景上，与观察的现实世界场景对准。换句话说，把IR图像呈现到观察的现实世界场景上，与从观察的现实世界场景发射的IR辐射对准。
根据实施例，通过补偿在步骤830确定的像素位移dpixIR，IR图像对准到观察的现实世界场景，或者换句话说对准到从观察的现实世界场景发射的IR辐射。可以在热成像系统10的处理器13中或者在集成在热成像系统10的任何部件中或与其耦合的另一处理器中执行这种对准或补偿。
根据实施例，把对准的IR图像呈现到观察的现实世界场景上包括把对准的IR图像传送到可见光投影系统22并且利用可见光投影系统22把对准的IR图像投影到观察的现实世界场景上。
根据备选实施例，把对准的IR图像呈现到观察的现实世界场景上包括把IR图像传送到可见光投影系统22、利用集成在可见光投影系统22中或与其耦合的处理器对准IR图像，并且利用可见光投影系统22把对准的IR图像投影到观察的现实世界场景上。
根据实施例，FOVproj小于FOVIR。根据这种实施例，可见光投影系统22将不适于显示整个IR图像。因此，获得IR图像中对应于FOVproj的部分，例如，通过从IR图像选择、裁剪或切割所述部分，然后投影到观察的现实世界场景上。
根据实施例，通过补偿在步骤830确定的像素位移dpix IR，IR图像对准到观察的场景，或者换句话说对准到从观察的场景发射的IR辐射。这种对准，或补偿，可以在热成像系统10的处理器13中，或者在集成在热成像系统10的任何部件中或与其耦合的另一处理器中，执行。
根据实施例，把对准的IR图像呈现到观察的场景上包括把对准的IR图像传送到可见光投影系统22并且利用可见光投影系统22把对准的IR图像投影到观察的场景上。
根据备选实施例，把对准的IR图像呈现到观察的场景上包括把IR图像传送到可见光投影系统22、利用集成在可见光投影系统22中或与其耦合的处理器对准IR图像，并且利用可见光投影系统22把对准的IR图像投影到观察的场景上。
在一种实施例中，可见光投影系统22的FOV完全包括在IR成像系统18的FOV中。根据这种实施例，把IR图像对准到检测到的从所述观察的现实世界场景发射的红外线(IR)辐射包括基于像素位移dpix IR和FOVproj获得IR图像中对应于FOVproj的部分，例如，通过从IR图像选择、裁剪或切割所述部分。
根据一种实施例，可见光投影系统22的FOV只部分重叠IR成像系统18的FOV。根据这种实施例，把IR图像对准到检测到的从所述观察的现实世界场景发射的红外线(IR)辐射包括获得IR图像中位于两个系统的FOV的重叠部分之内的部分。
根据一种实施例，把IR图像对准到检测到的从所述观察的现实世界场景发射的红外线(IR)辐射还包括获得对应检测到的从所述观察的现实世界场景发射的红外线(IR)辐射满足条件的IR图像的部分，其中的条件是例如高于阈值、低于阈值或者在区间内。
根据一种实施例，把IR图像对准到检测到的从所述观察的现实世界场景发射的红外线(IR)辐射还包括基于由热成像系统(10)的操作人员利用IR成像系统的输入特征指示的区域，或者基于在处理器13中实现的对象检测特征，获得IR图像的部分，从而把IR图像的部分检测为对象。
根据图2中说明的实施例，可见光成像系统14具有最大FOV，IR成像系统18具有第二大FOV并且投影系统22具有最小FOV。但是，依赖于诸如价格、性能和终端客户需求之类的条件，FOV尺寸的任何其它关系都是可以想到的。
自调节
根据另一种实施例，热成像系统是自调节或自对准的，或者换句话说在操作中自我调节或对准。
在操作中，根据实施例，热成像系统通过以下与从观察的现实世界场景发射的IR辐射对准地产生到观察的现实世界场景上的可见光投影：利用热成像系统的IR成像系统的IR传感器接收从观察的现实世界场景发射的IR辐射；把接收到的IR辐射转换成形式为IR图像的可见光表示；获得或取得从热成像系统到观察的一个或多个对象或观察的现实世界场景的距离z；确定像素位移dpix vis；把像素位移dpix vis转换成像素位移dpix IR；通过补偿像素位移dpix IR来对准IR图像；并且把对准的IR图像投影到观察的现实世界场景上，由此与从观察到现实世界场景发射的IR辐射对准地获得IR图像到观察的现实世界场景上的呈现。
根据实施例，一边的可见光投影系统22分别与另一边的可见光成像系统14和IR成像系统18之间的视差距离和定点误差都是未知 的，因为可见光投影系统22是与其它光学系统14、18物理地分开的部件，离光学系统14、18有未知且不恒定的距离。这种实施例在图1C中示出并且以上在部分“独立部件实施例”中进一步描述。
在操作过程中的这种自调节、自对准或对准期间，以下参数从生产得知：可见光成像系统14和IR成像系统18之间的视差距离和定点误差；可见光成像系统14的视场(FOVvis)；IR成像系统18的视场(FOVIR)；以及利用可见光成像系统14捕捉的图像和利用IR成像系统18捕捉的图像的图像坐标之间的变换，或映射函数，f(z)，该函数是到观察的现实世界场景的距离z的函数。根据实施例，自对准的目的是估计视差距离、定点误差和投影系统22的视场(FOVproj)，以便能够进行热成像系统的不同光学系统的对准。
参考图4B，说明了方法的实施例。步骤410、420、430、440、450、470和480对应于以上关于图4B给出的相同步骤。自调节的实施例还包括在图6中说明的以下步骤：
步骤610：利用以上在等式3中示出的、从生产得知的可见光成像系统14捕捉的图像和利用IR成像系统18捕捉的图像的图像坐标之间的变换或映射函数，把由可见光投影系统22投影的光和由可见光成像系统14捕捉的图像之间x和y方向计算出的像素位移(dx(pix vis)，dy(pix vis))转换成由可见光投影系统22投影的光和由IR成像系统18捕捉的图像之间x和y方向的像素位移(dx(pix IR)，dy(pix IR))，。
步骤620：与从观察的现实世界场景接收到的IR辐射对准地呈现，或投影，可见光。
根据实施例，步骤620包括把形式为IR图像信号的IR图像从处理器13传送到可见光投影系统22，由此可见光投影系统22的投影仪29把重新采样的IR图像数据投影到观察的现实世界场景上。由此，IR图像数据与观察的现实世界场景对准地投影，换句话说，IR图像数据在对应检测到的IR辐射信号从其发射的方向中投影。
与已经在生产中校准或者在操作期间自校准的热成像系统形成对比，上述自对准不导致热成像系统的校准。相反，自对准，或自调 节，是在操作期间通过步骤610的转换或映射持续执行的。
根据实施例，上述校准被执行多于一次，例如两次或三次，以便确保适当的调节。
投影到不平的表面上
在图2，观察的现实世界场景被说明为平的表面200。但是，IR成像系统10的用户分析的一个或多个对象或者观察的现实世界场景很少是由与可见光投影仪22的光轴完美正交的平表面组成的。
在图3A中，示出了在不与可见光投影仪22的光轴正交的表面上使用的IR成像系统的光学系统。图3A的表面关于可见光投影系统22的光轴在一个维度中倾斜。但是，该表面也可以关于可见光投影系统22的光轴在两个维度中倾斜。在IR成像系统10的使用过程中，这将例如涉及操作人员使用设备10把检测到的IR辐射信息的可见光表示投影到被调查的发热地板上。由于操作人员站在地板上，因此这使得他或她难以把设备10保持成使投影系统22的光轴与地板正交。
这种示例性实施例在图3C中进一步说明，其中，以在两个维度中倾斜的方向，作为例子是坐标系统330的x和z方向，投影系统22的光轴OA(图中未示出)斜着落在被调查的表面中，在这个例子中是地板310。
根据以下进一步描述的方法，不平表面310的例子在图3B中示出，对其也可以有利地使用本发明的不同实施例，尤其是对于其中到观察的现实世界场景的几个距离如下所述被取得的本发明实施例。图3B的不平表面310是这种表面可能看起来像什么样子的一个例子。由于表面是现实世界对象的表面，因此任何3D形状都是可能的，包括平表面部分、弯曲部分和/或浮雕部分的任意组合。
在图3A和3B中，示出了具有光轴OA和有角度v的FOV的光学系统300。在图3A和3B中只示出了一个光学系统，而不是如图2中所示的全部三个光学系统。这仅仅是为了绘图的简化。在以下的解 释中，光学系统300可以交替地代表可见光成像系统光学系统14、IR成像系统18或者可见光投影仪22。
距离映射
如以上在步骤512中描述的，联系图5，多于一个距离值，即，从热成像系统10到观察的现实世界场景中多于一个点的多个距离可以被取得或计算并转变成距离图，其中距离图中每个值对应于取得的从热成像系统10到观察的场景中的一个点的距离值。该距离图也可以被称为距离图像。
根据实施例，距离图使IR图像的可见光表示能够投影到观察的现实世界场景上，以便与包括在观察的现实世界场景中离热成像系统(10)处于不同距离或深度的一个或多个对象对准，因为，依赖于距离图，对准的IR图像的每个投影像素可以适于在正确的距离被投影。
根据示例性实施例，依赖于距离图和预设的条件，通过利用变化的密度适配对准的IR图像的每个投影像素，IR图像作为可见光图案投影到观察的现实世界场景上，与包括在观察的现实世界场景中离热成像系统(10)处于不同距离的一个或多个对象对准。例如，如果距离图中取得的到像素要投影到其上的一个或多个对象或观察的现实世界场景的点i的距离zi超过预设的阈值，则热成像系统可以适于更稀疏地投影像素。以这种方式，为观察的现实世界场景中靠近热成像系统10的投影部分提供更详细的投影。或者，如果距离zi超过预设的阈值，则热成像系统10可以代替地适于更密集地投影像素，由此对观察的现实世界场景中远离热成像系统10的投影部分提供更详细的投影。根据第三种示例性实施例，当距离zi在某个区间之内时，热成像系统10可以适于更稀疏或密集地投影像素。可以有一个或多个区间和/或阈值。区间和/或阈值可以预定义并存储在热成像系统10的存储器15中或者由热成像系统10的操作人员利用包括在与热成像系统10的接口介质21通信耦合的一个或多个控制设备19中的输入特 征选择并输入。
为了实现上述投影适配，根据实施例，依赖于描述要投影的像素分布的预定义或操作人员输入的一个或多个区间间隔、一个或多个阈值或其它值，处理器13的图像处理特征可以重新采样IR图像数据。在执行IR图像数据的重新采样之后，重新采样的IR图像以IR图像信号的形式从处理器传送到可见光投影系统22。可见光投影系统22的投影仪29把重新采样的IR图像数据投影到观察的现实世界场景上。由此，IR图像数据与观察的现实世界场景对准地投影，换句话说，IR图像数据在对应检测出的IR辐射信息从其发射的方向中投影。
根据示例性实施例，依赖于距离图，通过适配具有变化尺寸的对准IR图像的每个投影像素，IR图像作为可见光图案与观察的现实世界场景中所包括的离热成像系统10处于不同距离的一个或多个对象对准地投影到观察的现实世界场景上。使得投影仪29能够把更大的像素投影到观察的现实世界场景中被发现处于由距离图表示的离IR成像系统10更大距离，即，离操作人员更大距离，的点上，并且当检测到的距离更小时，是更小的或正常尺寸的像素。根据另一种实施例，投影仪还适于，作为检测到的到观察的现实世界场景的距离的函数，增加/减小投影的像素的尺寸，例如，具有线性依赖性。
以这种方式，当在观察的现实世界场景中位于离热成像系统10不同距离的对象处投影时，对热成像系统10的操作人员来说，像素看起来尺寸将更相似。特别地，通过要投影的像素的适配后的频率(稀疏或密集)和/或振幅(小或大)，使得到不平和/或与可见光投影仪的光轴不正交的表面上能够有对准的投影。例如，如果操作人员把IR成像系统10指向操作人员站在其上的发热地板或者指向操作人员前面建筑物的墙壁，则有可能该表面将不与可见光投影系统22的光轴正交。
如上所述，根据不同的示例性实施例，投影仪22可以包括激光投影仪、液晶显示器(LCD)、数字光处理器(DLP)投影仪或者 本领域中已知的任何其它合适类型的投影仪。
根据有些实施例，激光投影仪的使用会是有利的选择，因为激光投影仪具有高景深，这在不平的表面上给出好的投影结果。
本文中所使用的用于投影仪的不同等效术语包括可见光投影仪、可见光图案投影仪、可见图像/成像投影仪，从这些术语，投影仪的目的和功能应当很容易理解。
投影的可见光图案的检测
如以上提到的，可见光投影仪22投影可见光，其中可见光可以是在由可见光成像系统14捕捉的图像中检测到的区域或预定可识别特征的形式，例如符号或图案的形式。投影可以包括FOVproj中所包括的全部或部分像素，并且可以具有或者不具有人或计算机可识别的形式。为了简化，要检测的投影的可见光在下面被描述为图案或符号。
图像中符号或图案的检测可以利用本领域中本身已知的任何合适的检测方法来执行，例如特征提取、模板匹配、分割、边缘检测、薄化、相似性测量、遮蔽、强度阈值化或过滤。
根据非计算昂贵的示例性实施例，观察的现实世界场景的第一和第二图像是利用可见光成像系统14紧密相继捕捉的，同时可见光投影系统22在短时间内“闪烁”预定的可识别特征，例如以符号或图案的形式。例如，在第二图像被捕捉之前，预定的符号或图案利用可见光投影仪22投影到观察的现实世界场景上，其中可见光成像系统14的FOV至少部分地与可见光投影仪22的FOV重叠。由此，第二图像包括基本上与第一图像相同的观察的现实世界场景，但是增加了投影的图案。根据这种实施例，控制投影系统22激活的处理器13把投影和可见光成像系统14执行的图像捕捉同步。这使得可见光成像系统14能够捕捉两个连续的帧，其中一帧包括叠加到观察的现实世界场景上的投影符号或图案的至少部分，而另一帧包括观察的现实世界场景的相同视图，但没有投影。通过从第二图像减去第一图像，获 得包括检测到的符号或图案的差异图像。如果观察的现实世界场景本身当中包含更多信息，或“噪声”，则这种示例性图案提取方法可以例如有利地使用。
警报功能
根据实施例，本文所述的本发明的不同方面可以提供警报，由此在满足警报条件时通知用户或向用户警报，例如，指示检测到某种可能的异常。警报可以是用户可见的或者可听的。
根据其中警报可见的实施例，如果满足一个或多个以下标准，则投影系统22可以被例如处理器13控制成把对准的可见光投影到观察的现实世界场景上：观察的现实世界场景的一个或多个部分具有高于预设阈值限制的测量值；观察的现实世界场景的一个或多个部分具有低于预设阈值限制的测量值；观察的现实世界场景的一个或多个部分具有在预设区间内的测量值；或者观察的现实世界场景的一个或多个部分具有在预设区间之外的测量值。
根据实施例，测量值可以关于温度或热信息、效率或功率(W，W/m2)、湿度或水分，例如作为百分比来指示的。
根据实施例，以上提到的标准是警报标准，要提醒用户已经检测到可能的偏离或异常。作为例子，标准可以是检测到的从所述观察的现实世界场景发射的红外线(IR)辐射的全部或部分高于预定义的阈值。
根据实施例，用于控制投影的一个或多个标准可以由用户通过例如利用一个或多个控制设备19的输入来预设或选择。
根据实施例，投影系统22被控制成通过以下提供警报：
-如果投影仪已经在投影：闪烁、增加亮度、调节投影的可见光的投影颜色；和/或只把可见光投影到观察的现实世界场景中满足所述一个或多个标准的一个或多个部分上；或者
-如果投影仪不在投影：开始把可见光投影到观察的现实世界场景中满足所述一个或多个标准的一个或多个部分上或者投影到整个观 察的现实世界场景上，
由此提醒用户已经检测到可能的偏离或异常。
根据不同的实施例，警报可以通过可见光投影仪系统22的使用来提供，例如，当满足以上的一个或多个报警条件时，如果可见光投影系统22还没有投影，则通过控制可见光投影系统22开始投影，或者，如果它已经投影到观察的现实世界场景上，则开始闪光或闪烁。
换句话说，根据实施例，可见光投影仪系统22可以被控制成通过以下提供警报：
.如果投影系统22已经在投影：闪烁、增加亮度、调节投影颜色和/或只把可见光投影到图像中满足所述一个或多个标准的一个或多个部分上；或者
.如果投影系统22不在投影：开始把可见光投影到图像中满足所述一个或多个标准的一个或多个部分上或者投影到整个观察的场景上，由此提醒用户已经检测到可能的偏离或异常。
根据其它实施例，通过开始把光投影或闪烁到与报警条件有关的被识别区域或者与该被识别区域非常近的与该被识别区域有关的区域上，可见光投影系统22可以适于突出那个被识别区域。根据不同的实施例，被投影的可见光可以包括任何合适颜色、颜色范围、灰度级范围和/或强度的光并且以任何合适的尺寸、形状和/或图案呈现。
根据另一种实施例，热成像系统10可以包括一个或多个扬声器单元并且适于提供形式为可听信号的警报。
更多实施例
在一种实施例中，如果可见光投影仪22把可见光图案投影到应当焦点对准的某个对象上，则取得的距离参数z对应于焦距。因此，这个信息可以用于热成像系统10的精确聚焦。
根据示例性实施例，可见光图像投影仪(可见光图案投影仪)22是激光投影设备。激光投影设备是没有焦点的，这意味着对焦透镜具有固定在其超焦距的焦点。不是用确定正确焦距并把透镜设置到那个 焦点的方法，无焦点的透镜依赖于景深产生可接受清晰度的图像。因此，激光投影设备不需要聚焦。根据其它示例性实施例，根据条件，任何其它适当类型的投影设备都可以使用。
根据实施例，提供了具有处理器的计算机系统，该处理器适于执行以上给出的实施例的任何步骤或功能。
根据本发明的实施例，提供了计算机可读介质，其上存储用于执行上述任何实施例的方法的非暂时性信息。
根据更多实施例，提供了计算机可读介质，其上存储用于执行上述任何方法实施例的非暂时性信息。
根据实施例，用户可以捕捉观察的现实世界场景的可见光图像，同时把可见光投影到观察的现实世界场景上，与从观察的现实世界场景发射的IR辐射对准，并且保存捕捉到的图像用于以后观看或用于传送到另一处理单元，诸如计算机，供将来分析和存储。
在备选实施例中，所公开的对准方法可以由诸如通信耦合到热成像系统的PC和/或专门适于执行本发明方法步骤的FPGA.单元和/或包含根据联系图2描述的通用处理单元2的计算设备来实现。计算设备还可以包括存储器15和/或显示单元3。
更多优点
根据本文所述本发明的实施例，可见光到观察的现实世界场景上的投影是在现场实时地或者近乎实时地(实况)，或者换句话说是实况，执行的，由此使用户更容易解释和分析观察的现实世界场景，因为在观察的现实世界场景上向用户直接呈现了相关信息。由于可见光信息，包括从观察的现实世界场景接收到的IR辐射的可见光表示，实时地或者近乎实时地(实况)投影到所述观察的现实世界场景上，因此用户不需要为了关联接收到的IR辐射信息与他或她在观察的现实世界场景中看到的内容而把目光从观察的现实世界场景转向别处。此外，根据本发明的实施例，可见光投影到观察的现实世界场景上，与观察的现实世界场景对准，或者换句话说与从观察的现实世界场景 发射的IR辐射对准，由此进一步帮助用户把投影的可见光信息和观察的现实世界场景关联并且还方便观察的/被调查的观察的现实世界场景的解释和分析。
根据其中附加信息投影到观察的现实世界场景上的实施例，附加信息还方便对观察的或被调查的观察的现实世界场景的解释和分析。此外，本发明的实施例使得投影的附加信息与观察的现实世界场景对准地和/或按比例投影到观察的现实世界场景上。如上给出的附加信息可以帮助用户把从观察的现实世界场景接收到的IR辐射的投影的可见光表示关联到他/她前面的观察的现实世界场景，其中附加信息有可能是由用户利用集成在热成像系统10当中或耦合到其的一个或多个交互设备选择的。例如，附加信息可以包括在相关位置投影到观察的现实世界场景上的附加的实测或计算数据，诸如一个或多个温度、一个或多个水分等级、发射率和/或效率/功率(W或W/m2)。

Claims (32)

1.一种由热成像系统(10)针对从现实世界场景发射的红外线(IR)辐射执行的方法，所述热成像系统(10)包括红外线(IR)成像系统(18)和可见光投影系统(22)，该方法包括：
由红外线(IR)成像系统(18)基于从所述现实世界场景发射的红外线(IR)辐射来捕捉红外线(IR)辐射信息；
创建捕捉到的红外线(IR)辐射信息的可见光表示以用于由可见光投影系统(22)投影到所述现实世界场景上；
根据所述红外线(IR)成像系统(18)与所述可见光投影系统(22)之间的关系来把所述捕捉到的红外线(IR)辐射信息的所述可见光表示与从所述现实世界场景发射的红外线(IR)辐射对准；
基于从预定源接收的信号，创建附加信息的可见光表示；
基于对准的所述可见光表示和所创建的所述附加信息的可见光表示来创建组合的图像；及
将所述组合的图像投影到所述现实世界场景上从而所述组合的图像与从所述现实世界场景发射的所述红外线(IR)辐射对准地呈现。
2.如权利要求1所述的方法，其中所述预定源包括以下的选择：用户输入；处理器；存储器；传感器；和/或测量设备。
3.如权利要求1所述的方法，还包括取得从热成像系统(10)到场景的距离z。
4.如权利要求3所述的方法，还包括基于取得的距离z计算场景中的至少一个距离和/或面积。
5.如权利要求3或4所述的方法，其中创建红外线(IR)辐射 信息的可见光表示包括，依赖于取得的距离z或者计算出的至少一个距离和/或面积，确保附加信息的所述可见光表示将按比例投影到所述场景上，其中确保包括把投影的光与从所述现实世界场景发射的所述红外线(IR)辐射对准。
6.如权利要求1-4中任一项所述的方法，其中所述附加信息包括长度测量信息，并且所述长度测量信息被按比例投影到所述场景上。
7.如权利要求6所述的方法，其中所述长度测量信息作为附加信息以按比例投影到所述场景上的标尺的形式投影到所述场景上。
8.如权利要求1-4和7中任一项所述的方法，其中所述附加信息包括指导帮助网格或网格线。
9.如权利要求1-4和7中任一项所述的方法，其中所述附加信息包括朝向信息，从而使用户能够解释场景的部分的朝向。
10.如权利要求9所述的方法，其中所述朝向信息作为附加信息以投影到场景上的水平仪或气泡水平仪的形式投影到场景上。
11.如权利要求1-4、7和10中任一项所述的方法，其中所述附加信息是相关的温度。
12.如权利要求1-4、7和10中任一项所述的方法，其中所述附加信息是文字/文本、略图和/或绘图。
13.如权利要求1-4、7和10中任一项所述的方法，其中所述附加信息是通过触摸功能的输入。
14.如权利要求1-4、7和10中任一项所述的方法，其中所述可见光投影系统包括激光投影仪。
15.如项权利要求1-4中任一项所述的方法，其中所述附加信息包括在所述热成像系统(10)的显示器上的图形用户接口(GUI)中所呈现的图形元素。
16.如权利要求15所述的方法，还包括，通过集成在所述热成像系统(10)中或者耦合到其的控制设备(19)，使得用户能够控制什么在所述热成像系统的显示器上的图形用户接口(GUI)中呈现。
17.如权利要求15所述的方法，其中所述图形元素代表以下的选择：
作为温度、湿度、发射率或功率(W或W/m2)给出的测量值；
用于选择感兴趣的一个或多个点和/或区域的一个或多个点和/或区域标记；
用于用户输入的一个或多个输入域；及
一个或多个可选择的菜单项。
18.如权利要求1-4、7、10和16-17中任一项所述的方法，其中所述红外线(IR)辐射信息的可见光表示实时地或者实况地投影到所述场景上。
19.如权利要求1-4、7、10和16-17中任一项所述的方法，还包括，如果满足以下一个或多个警报标准，则控制可见光投影系统(22)以提供警报：
现实世界场景的一个或多个部分具有高于预设阈值限制的温度；
现实世界场景的一个或多个部分具有低于预设阈值限制的湿度；
现实世界场景的一个或多个部分具有在预设区间之内的发射率；
现实世界场景的一个或多个部分具有在预设区间之外的功率。
20.如权利要求19所述的方法，其中可见光投影系统(22)被控制成通过以下提供警报：
如果投影仪已经在投影：闪烁、增加亮度和/或调节投影的可见光的投影颜色；和/或只把可见光投影到场景中满足所述一个或多个警报标准的一个或多个部分上；或者
如果投影仪不在投影：开始把可见光投影到场景中满足所述一个或多个警报标准的一个或多个部分上或者投影到整个现实世界场景上，
由此提醒用户。
21.如权利要求1-4、7、10、16-17和20中任一项所述的方法，还包括基于可见光投影到其上的场景的部分的亮度等级和/或颜色值来调节所投影的可见光的亮度等级和/或颜色值。
22.如权利要求1-4、7、10、16-17和20中任一项所述的方法，还包括使得用户能够选择不同的投影模式，其中投影模式包括以下的选择：
投影整个现实世界场景的可见光表示；
投影现实世界场景中所包括的一个或多个对象的可见光表示；
投影现实世界场景中所包括的一个或多个对象的选定部分的可见光表示；
把标记的可见光表示投影到现实世界场景上；
把标记的可见光表示投影到热的点或对象上；或
把标记的可见光表示投影到冷的点或对象上。
23.如权利要求1-4、7、10、16-17和20中任一项所述的方法，其中多于一个距离被取得并且所述多于一个距离用来创建距离图或距 离图像。
24.如权利要求23所述的方法，其中所述距离图或距离图像的距离用来在不同的深度对准所述红外线(IR)辐射信息的可见光表示与现实世界场景，因为，依赖于距离图，每个投影的像素能够适于以一距离投影。
25.如权利要求23所述的方法，还包括：依赖于距离图或距离图像的距离以及预设的条件，利用变化的密度投影像素。
26.如权利要求1-4、7、10、16-17、20和24-25中任一项所述的方法，其中所述热成像系统还包括可见光成像系统(14)并且其中所述对准包括使用所述可见光成像系统。
27.一种热成像系统(10)，用于基于从现实世界场景发射的红外线(IR)辐射来呈现图像，该热成像系统(10)包括：
红外线(IR)成像系统(18)，适于捕获从所述现实世界场景发射的红外线(IR)辐射以及适于创建捕获的红外线(IR)辐射信息的可见光表示；
可见光投影系统(22)；
处理器(13)，
其中处理器(13)适于对以下进行控制：
将捕获到的所述红外线(IR)辐射信息的所述可见光表示与捕获到的从所述现实世界场景发射的红外线(IR)辐射对准；
基于从预定源接收的信号，创建附加信息的可见光表示；及
基于对准的所述红外线(IR)辐射信息的所述可见光表示和所述附加信息的可见光表示来创建组合的图像；
所述可见光投影系统(22)将所述组合的图像与从所述现实世界场景发射的红外线(IR)辐射对准地投影到所述现实世界场景上。
28.如权利要求27所述的热成像系统，还包括可见光成像系统(14)，适于根据第三视场捕捉所述现实世界场景的可见光图像，其中第三视场至少部分地重叠第一和/或第二视场；并且所述处理器适于利用所述可见光成像系统对准。
29.如权利要求27所述的热成像系统，其中处理器(13)还包括用于执行如权利要求3-5、7、9、16和20-24中任何一项所述的方法的步骤的特征。
30.如权利要求27-28中任何一项所述的热成像系统，其中处理器是现场可编程门阵列(FPGA)或者能够利用硬件描述语言(HDL)配置的另一种处理设备。
31.一种其上存储了非暂时性信息的计算机可读介质，所述信息适于控制处理器以执行如权利要求27-29中任何一项中的处理器所执行的步骤或功能。
32.一种通过热成像系统(10)针对从现实世界场景发射的红外线(IR)辐射来进行操作的执行设备，所述热成像系统(10)包括红外线(IR)成像系统(18)和可见光投影系统(22)，该执行设备包括：
用于由红外线(IR)成像系统(18)基于从现实世界场景发射的红外线(IR)辐射来捕捉红外线(IR)辐射信息的装置；
用于创建捕捉到的红外线(IR)辐射信息的可见光表示以用于由可见光投影系统(22)投影到所述现实世界场景上的装置；
用于根据所述红外线(IR)成像系统(18)与所述可见光投影系统(22)之间的关系来把所述捕捉到的红外线(IR)辐射信息的所述可见光表示与从所述现实世界场景发射的红外线(IR)辐射对 准的装置；
用于基于从预定源接收的信号，创建附加信息的可见光表示的装置；
用于基于对准的所述可见光表示和所创建的所述附加信息的可见光表示来创建组合的图像的装置；及
用于将所述组合的图像投影到所述现实世界场景上从而所述组合的图像与从所述现实世界场景发射的所述红外线(IR)辐射对准地呈现的装置。
CN201380022081.9A 2012-02-29 2013-02-28 用于投影红外线辐射的可见光表示的方法和系统 Active CN104254869B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP12157535.1 2012-02-29
EP12157535.1A EP2634747A1 (en) 2012-02-29 2012-02-29 A method and system for projecting a visible representation of infrared radiation
PCT/EP2013/054082 WO2013127946A1 (en) 2012-02-29 2013-02-28 A method and system for projecting a visible representation of infrared radiation

Publications (2)

Publication Number Publication Date
CN104254869A CN104254869A (zh) 2014-12-31
CN104254869B true CN104254869B (zh) 2017-10-13

Family

ID=47790206

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380022081.9A Active CN104254869B (zh) 2012-02-29 2013-02-28 用于投影红外线辐射的可见光表示的方法和系统

Country Status (4)

Country Link
US (1) US9835445B2 (zh)
EP (2) EP2634747A1 (zh)
CN (1) CN104254869B (zh)
WO (1) WO2013127946A1 (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
PL2982951T3 (pl) * 2014-08-05 2019-04-30 Voegele Ag J Moduł termograficzny dla układarki
EP2990531A1 (de) 2014-08-27 2016-03-02 Joseph Vögele AG System für Straßenfertiger mit einer Temperaturmessvorrichtung, Verfahren zur Bestimmung eines Abkühlverhaltens und computerlesbares Speichermedium
DE102014224552A1 (de) * 2014-12-01 2016-06-02 Robert Bosch Gmbh Projektionsvorrichtung und Verfahren zum pixelweisen Projizieren eines Bildes
JP5877914B1 (ja) * 2015-02-14 2016-03-08 真人 田村 プロジェクター付き携帯電話装置
EP3289758A1 (en) 2015-04-27 2018-03-07 Flir Systems, Inc. Moisture measurement device with thermal imaging capabilities and related methods
CN106371274B (zh) * 2015-07-20 2019-11-26 深圳光峰科技股份有限公司 一种混合光源装置及其发光控制方法、投影系统
CN106371273B (zh) * 2015-07-20 2020-05-29 深圳光峰科技股份有限公司 一种混合光源装置及其发光控制方法、投影系统
JP6495774B2 (ja) * 2015-07-23 2019-04-03 株式会社東芝 形状認識装置およびその方法
WO2017056776A1 (ja) * 2015-09-29 2017-04-06 富士フイルム株式会社 距離画像取得装置付きプロジェクタ装置及びプロジェクション方法
CN105303758B (zh) * 2015-10-21 2017-11-21 贵州久联民爆器材发展股份有限公司 一种炸药包掉落报警提示的装置和方法
CN105761268A (zh) * 2016-03-14 2016-07-13 联想(北京)有限公司 一种信息处理方法及电子设备
US10634575B2 (en) 2016-03-31 2020-04-28 Konica Minolta Laboratory U.S.A., Inc. Laser scanning leak detection and visualization apparatus
US10317311B2 (en) 2016-03-31 2019-06-11 Konica Minolta Laboratory U.S.A., Inc. Laser scanning leak detection and visualization apparatus
CN105864962B (zh) * 2016-04-01 2018-09-11 广东美的制冷设备有限公司 一种空调温度可视化方法、系统及空调器
DE102016218295A1 (de) * 2016-09-23 2018-03-29 Robert Bosch Gmbh Verfahren zur kontaktfreien Ermittlung einer zweidimensionalen Temperaturin-formation sowie Infrarot-Messsystem
US11595595B2 (en) 2016-09-27 2023-02-28 Rxsafe Llc Verification system for a pharmacy packaging system
US10187593B2 (en) 2016-09-27 2019-01-22 Rxsafe Llc Verification system for a pharmacy packaging system
DE102016219388A1 (de) * 2016-10-06 2018-04-12 Robert Bosch Gmbh Verfahren zur kontaktfreien Ermittlung einer zweidimensionalen Temperaturinformation sowie Wärmebildkamera
AU2017345780B2 (en) * 2016-10-21 2022-11-17 Magic Leap, Inc. System and method for presenting image content on multiple depth planes by providing multiple intra-pupil parallax views
DE102017100885B4 (de) 2017-01-18 2021-11-18 Universität Kassel Verfahren und vorrichtung zum erzeugen und projizieren eines 3d-thermogramms samt daten zu den aufnahmebedingungen
US10447946B2 (en) * 2017-04-26 2019-10-15 Marco Pinter Interactive artistic presentation system with thermographic imagery
US10684173B2 (en) 2017-04-26 2020-06-16 Marco Pinter Interactive artistic presentation system with thermographic imagery
CN107289858A (zh) * 2017-07-06 2017-10-24 广州市九州旗建筑科技有限公司 一种数字图像内置虚拟标尺的测量装置及方法
JP6934811B2 (ja) * 2017-11-16 2021-09-15 株式会社ミツトヨ 三次元測定装置
US10839659B2 (en) * 2018-10-17 2020-11-17 Arlo Technologies, Inc. System for video monitoring with improved image quality
CN113029525B (zh) * 2021-03-18 2023-03-21 哈尔滨新光光电科技股份有限公司 一种红外场景模拟系统、红外场景模拟方法以及dmd控制方法
CN113608355B (zh) * 2021-08-06 2023-07-21 湖南龙特科技有限公司 一种基于毫米波雷达和红外热成像仪的交互式显示方式
CN113643386B (zh) * 2021-10-13 2022-02-22 深圳市商汤科技有限公司 标定方法及装置、电子设备及计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5414439A (en) * 1994-06-09 1995-05-09 Delco Electronics Corporation Head up display with night vision enhancement
CN1546960A (zh) * 2003-12-05 2004-11-17 广州科易光电技术有限公司 红外线热成像图像及可见光图像复合视频实时显控装置
CN1880950A (zh) * 2005-06-06 2006-12-20 前视红外系统股份公司 红外照相机
DE102005058018A1 (de) * 2005-12-05 2007-06-14 Siemens Ag Head-Up-Display System
CN101796818A (zh) * 2007-07-06 2010-08-04 前视红外系统股份公司 用于对准ir图像和可见光图像的照相机和方法

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7164117B2 (en) * 1992-05-05 2007-01-16 Automotive Technologies International, Inc. Vehicular restraint system control system and method using multiple optical imagers
US7083327B1 (en) * 1999-04-06 2006-08-01 Thermal Wave Imaging, Inc. Method and apparatus for detecting kissing unbond defects
GB0004351D0 (en) 2000-02-25 2000-04-12 Secr Defence Illumination and imaging devices and methods
JP5174309B2 (ja) * 2000-07-03 2013-04-03 アイマックス コーポレイション 映写装置のダイナミックレンジを増大する装置および技術
US7345277B2 (en) * 2000-08-09 2008-03-18 Evan Zhang Image intensifier and LWIR fusion/combination system
CN1454310A (zh) * 2000-09-04 2003-11-05 早川昇 温度显示装置及温度监视系统
WO2002047031A2 (en) * 2000-12-05 2002-06-13 Yeda Research And Development Co. Ltd. Apparatus and method for alignment of spatial or temporal non-overlapping image sequences
FR2833827B1 (fr) * 2001-12-21 2004-12-10 Oreal Procede d'evaluation de la region du contour de l'oeil et dispositif pour la mise en oeuvre d'un tel procede
US6794626B2 (en) * 2002-01-15 2004-09-21 Agfa Corporation Method and system for verifying correct mounting of a printing plate on an external drum imaging machine
US7093974B2 (en) * 2002-03-13 2006-08-22 Ulrich Kienitz Radiometer with digital imaging system
US7148861B2 (en) * 2003-03-01 2006-12-12 The Boeing Company Systems and methods for providing enhanced vision imaging with decreased latency
US20040225222A1 (en) * 2003-05-08 2004-11-11 Haishan Zeng Real-time contemporaneous multimodal imaging and spectroscopy uses thereof
FR2857463B1 (fr) * 2003-07-11 2005-09-02 Valeo Vision Systeme de vision nocturne a infrarouge, en couleur.
US7084405B1 (en) * 2003-07-25 2006-08-01 The United States Of America As Represented By The Secretary Of The Air Force Semiconductor generation of dynamic infrared images
US7307793B2 (en) * 2004-07-02 2007-12-11 Insight Technology, Inc. Fusion night vision system
EP1831657B1 (en) 2004-12-03 2018-12-05 Fluke Corporation Method for a visible light and ir combined image camera
US8531562B2 (en) * 2004-12-03 2013-09-10 Fluke Corporation Visible light and IR combined image camera with a laser pointer
CN101198964A (zh) 2005-01-07 2008-06-11 格斯图尔泰克股份有限公司 使用红外图案照射创建对象的三维图像
CA2605239A1 (en) * 2005-05-02 2006-11-09 University Of Virginia Patent Foundation Systems, devices, and methods for interpreting movement
CN101166467B (zh) * 2005-07-01 2010-05-12 路明尼斯科技公司 将表面下结构投影到物体表面的设备和方法及该设备的校准方法
US20090100096A1 (en) * 2005-08-01 2009-04-16 Phanfare, Inc. Systems, Devices, and Methods for Transferring Digital Information
US8463364B2 (en) * 2009-07-22 2013-06-11 Accuvein Inc. Vein scanner
US20080224041A1 (en) 2007-03-16 2008-09-18 Cannamela John J Method and apparatus for subsurface anomaly detection and image projection
US7544944B2 (en) * 2007-07-02 2009-06-09 Flir Systems Ab Camera and method for use with camera
US7826736B2 (en) * 2007-07-06 2010-11-02 Flir Systems Ab Camera and method for use with camera
US8374438B1 (en) * 2007-10-04 2013-02-12 Redshift Systems Corporation Visual template-based thermal inspection system
US7667198B2 (en) * 2008-04-02 2010-02-23 Flir Systems Ab IR camera and a method for processing information in images
US7924312B2 (en) * 2008-08-22 2011-04-12 Fluke Corporation Infrared and visible-light image registration
DE102010009476A1 (de) * 2009-12-15 2011-06-16 Testo Ag Verfahren und Vorrichtung zur Visualisierung von ortsaufgelösten Messergebnissen von nicht unmittelbar für das menschliche Auge sichtbaren Eigenschaften
KR101652393B1 (ko) 2010-01-15 2016-08-31 삼성전자주식회사 3차원 영상 획득 장치 및 방법
PL227608B1 (pl) * 2012-02-06 2018-01-31 Braster Spólka Akcyjna Urządzenie do obrazowania, rejestrowania i zapisywania obrazu termograficznego gruczołu piersiowego, obejmujące rejestrator obrazu oraz termowizyjną matrycę ciekłokrystaliczną
DE102012003255B8 (de) * 2012-02-21 2014-01-16 Testo Ag Vorrichtung zur berührungslosen Temperaturmessung und Temperaturmessverfahren
EP2635022A1 (en) 2012-02-29 2013-09-04 Flir Systems AB A method and system for performing alignment of a projection image to detected infrared (IR) radiation information
US9538880B2 (en) * 2012-05-09 2017-01-10 Convotherm Elektrogeraete Gmbh Optical quality control system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5414439A (en) * 1994-06-09 1995-05-09 Delco Electronics Corporation Head up display with night vision enhancement
CN1546960A (zh) * 2003-12-05 2004-11-17 广州科易光电技术有限公司 红外线热成像图像及可见光图像复合视频实时显控装置
CN1880950A (zh) * 2005-06-06 2006-12-20 前视红外系统股份公司 红外照相机
DE102005058018A1 (de) * 2005-12-05 2007-06-14 Siemens Ag Head-Up-Display System
CN101796818A (zh) * 2007-07-06 2010-08-04 前视红外系统股份公司 用于对准ir图像和可见光图像的照相机和方法

Also Published As

Publication number Publication date
WO2013127946A1 (en) 2013-09-06
EP2820617A1 (en) 2015-01-07
EP2634747A1 (en) 2013-09-04
US20140368641A1 (en) 2014-12-18
CN104254869A (zh) 2014-12-31
EP2820617B1 (en) 2017-08-02
US9835445B2 (en) 2017-12-05

Similar Documents

Publication Publication Date Title
CN104254869B (zh) 用于投影红外线辐射的可见光表示的方法和系统
CN104272717B (zh) 用于执行投影图像到检测到的红外线(ir)辐射信息的对准的方法和系统
CN107346406B (zh) 用于信息传输的方法及系统
JP7488250B2 (ja) 音響データを投射および表示するためのシステム及び方法
CN101111748B (zh) 具有激光指示器的可见光和ir组合的图像照相机
US20150369593A1 (en) Orthographic image capture system
CN107547892A (zh) 热异常检测
US20110122251A1 (en) Comparison of Infrared Images
CN109752722A (zh) 多模态声学成像工具
US20100054545A1 (en) Method and apparatus for displaying properties onto an object or life form
TW200838357A (en) Method and system for detecting effect of lighting device
KR101998639B1 (ko) 열화상 카메라와 색상 카메라의 복합 영상을 이용한 지능형 발화지점 감시 시스템
CN104204848B (zh) 具有测距相机的勘测设备
CN109726694B (zh) 一种虹膜图像采集方法及装置
US20120027305A1 (en) Apparatus to provide guide for augmented reality object recognition and method thereof
CN107440678A (zh) 视线检测器和视线检测方法
US9336607B1 (en) Automatic identification of projection surfaces
CN109756720A (zh) 使用距离信息的声学成像中的焦点和/或视差调整
WO2021259365A1 (zh) 一种目标测温方法、装置及测温系统
WO2016158855A1 (ja) 撮像システム、撮像装置、撮像方法、及び撮像プログラム
Ismail et al. Development of a webcam based lux meter
CN112612714A (zh) 红外目标检测器的安全性测试方法和装置
JP2012054891A (ja) 画像処理装置、方法及びプログラム
CN108353120A (zh) 用于生成表示像素束的数据的装置和方法
Bamrungthai et al. A novel method for camera calibration and image alignment of a thermal/visible image fusion system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant