CN104052938B - 用于利用三维叠加的多光谱成像的设备和方法 - Google Patents

用于利用三维叠加的多光谱成像的设备和方法 Download PDF

Info

Publication number
CN104052938B
CN104052938B CN201410096636.0A CN201410096636A CN104052938B CN 104052938 B CN104052938 B CN 104052938B CN 201410096636 A CN201410096636 A CN 201410096636A CN 104052938 B CN104052938 B CN 104052938B
Authority
CN
China
Prior art keywords
scene
image
infrared
dimensional representation
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410096636.0A
Other languages
English (en)
Other versions
CN104052938A (zh
Inventor
S.霍利代
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Infrared Ray Integrated System Co Ltd
Original Assignee
Infrared Ray Integrated System Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from GB1304822.8A external-priority patent/GB2511862A/en
Priority claimed from GB1304826.9A external-priority patent/GB2511863A/en
Application filed by Infrared Ray Integrated System Co Ltd filed Critical Infrared Ray Integrated System Co Ltd
Publication of CN104052938A publication Critical patent/CN104052938A/zh
Application granted granted Critical
Publication of CN104052938B publication Critical patent/CN104052938B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/10—Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077—Imaging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及用于多光谱成像的设备和方法，其包括：表示生成装置，被布置成生成场景的三维表示；至少一个红外成像传感器，被布置成获得所述场景的红外图像；以及叠加装置，被布置成把所述红外图像叠加到所述场景的三维表示上以产生所述场景的红外三维表示。

Description

用于利用三维叠加的多光谱成像的设备和方法
技术领域
本发明涉及用于多光谱成像的设备和方法。具体来说，本发明涉及组合场景的可见光和红外图像的方法和设备，以便提供已经被视差校正的组合多光谱图像。
本发明还涉及包括对场景的可见光和红外图像进行三维叠加的用于多光谱成像的设备和方法，并且特别涉及用于增强场景内的被成像对象的所显示热信息的可见性的设备和方法。
背景技术
场景的红外影像可以被用来提供从可见光影像不可获得的信息，比如在可见光影像中不可辨识的温度信息。
然而，红外成像系统常常操作在低于由可见光成像系统提供的空间图像分辨率水平下。
为了提供更加信息量大的图像，可以叠加红外和可见光图像以便获得合成的组合图像。可见光影像内容可以被用来提供与场景内的对象有关的清楚可识别的细节，而红外影像内容可以被用来提供另外的信息，诸如例如与这些对象有关的温度信息。
但是由于可见光和红外（IR）摄像机在观看场景时位于不同的空间位置处，因此可能会引发问题。其结果是，可见光和IR摄像机将从不同的角度位置看到场景中的对象。这可能会导致视差效应，而视差效应又可能会引发问题。
此外，所成像场景可能包含具有较宽温度范围的一定总数的对象，同时所成像场景内的一个或多个感兴趣的对象可以具有延伸在一个较小温度范围内的温度。在组合可见光和红外图像中，或者实际上在红外图像内，跨所述一个或多个感兴趣的对象的可有效显示的对比度被降低，因为红外显示的可显示对比度范围必须延伸在所成像场景内的所述一定总数的对象的整个温度范围内。
此外还需要从场景的组合可见光和红外图像中提取出尽量多的信息，这使用现有的成像系统可能是困难的，在现有的成像系统中，场景内的空间信息可能不可辨识或者在所捕获的图像内缺失。
本发明的一个目的是解决前述问题。
发明内容
在第一方面中，本发明提供了用于成像的设备，其包括：
表示生成装置，被布置成生成场景的三维表示；
至少一个红外成像传感器，被布置成获得所述场景的红外图像；以及
叠加装置，被布置成把所述红外图像叠加到所述场景的三维表示上以产生所述场景的红外三维表示。
优选的是，所述场景的三维表示是三维模型。
优选的是，所述设备进一步包括被布置成获得所述场景的可见光图像的至少一个可见光成像传感器；并且
其中，所述叠加装置被布置成把所述红外图像和可见光图像叠加到所述场景的三维表示上以产生所述场景的多光谱三维表示。
优选的是，在被叠加到场景的三维表示上之前，将可见光图像和红外图像相组合以提供组合多光谱图像。
优选的是，所述设备进一步包括被布置成识别出位于所述场景中不同深度处的对象的图像分割装置。
优选的是，位于所述场景中大于第一预定深度的深度处的对象被从场景的表示中移除。
优选的是，所述第一预定深度是固定的。
优选的是，所述设备进一步包括用以识别出所述场景中感兴趣的对象的装置，其中第一预定深度是基于所识别出的感兴趣的对象在场景中所位于的深度。
优选的是，位于所述场景中小于第二预定深度的深度处的对象被从场景的表示中移除。
优选的是，所述第二预定深度是固定的。
优选的是，所述设备进一步包括用以识别出所述场景中感兴趣的对象的装置，其中第二预定深度是基于所识别出的感兴趣的对象在场景中所位于的深度。
优选的是，所述叠加装置被布置成依赖于对象在场景的三维表示中所位于的深度而将红外图像选择性地叠加到所述对象上。
优选的是，所述叠加装置被布置成仅将红外图像选择性地叠加到位于所述场景的三维表示中预定深度处的对象上。
优选的是，所述预定深度是固定的。
优选的是，所述设备进一步包括用以识别出场景中的感兴趣的对象的装置，其中所述预定深度是延伸到所识别出的感兴趣的对象的位置的任一侧的深度范围。
优选的是，所述深度范围以所识别出的感兴趣的对象的位置为中心。
优选的是，所述设备进一步包括用以识别出所述场景中的对象的装置，其中所识别出的对象被从所述场景的表示中移除。
优选的是，所述至少一个可见光成像传感器包括被布置成形成独眼（cyclopean）摄像机布置的至少两个间隔开的成像传感器；并且
所述设备进一步包括图像组合器，其被布置成将来自所述至少两个间隔开的成像传感器的图像相组合以提供来自第一虚拟位置的场景的第一独眼图像。
优选的是，所述至少一个红外成像传感器提供来自第二位置的所述场景的第二图像；并且
第一虚拟位置和所述至少一个红外成像传感器的第二位置被布置成大体上相同。
优选的是，所述至少一个红外成像传感器包括图像传感器元件，其中来自所述独眼摄像机布置的第一独眼图像显得是在虚拟摄像机内的虚拟图像传感器元件上生成的，并且所述至少一个红外成像传感器的图像传感器元件被定位在所述虚拟摄像机的虚拟图像传感器元件的空间位置处。
优选的是，所述至少一个红外成像传感器位于所述两个间隔开的成像传感器之间。
优选的是，所述至少一个红外成像传感器位于与所述两个间隔开的成像传感器当中的每一个的相等距离处。
优选的是，所述两个间隔开的成像传感器被容纳在不同的外壳内。
优选的是，所述至少一个红外成像传感器与对于所述两个间隔开的成像传感器的外壳中的每一个分开。
优选的是，所述至少一个红外成像传感器和所述两个间隔开的成像传感器全部被包括在共同的外壳内。
优选的是，所述表示生成装置包括处理器，其把来自所述至少两个间隔开的成像传感器的图像进行比较，并且使用立体技术来确定深度和/或距离。
优选的是，所述表示生成装置包括结构光扫描器。
优选的是，所述至少一个可见光成像传感器观看由结构光扫描器所投影的结构光，并且向表示生成装置提供关于所观看到的结构光的信息。
优选的是，当被组合以提供组合多光谱图像时，可见光图像和红外图像被呈现在大体上相同的放大水平下。
优选的是，把所述红外图像叠加到所述场景的三维表示上包括把可见图像光线投射到场景的三维表示上。
优选的是，把所述可见光图像叠加到所述场景的三维表示上包括把可见光图像光线投射到场景的三维表示上。
优选的是，把所述组合图像叠加到所述场景的三维表示上包括把组合图像光线投射到场景的三维表示上。
优选的是，在大体上相同的放大水平下把第一图像和第二图像提供到图像组合装置。
优选的是，红外图像是以下各项的至少其中之一：热红外波长范围，中红外波长范围，近红外波长范围，以及长红外波长范围。
在第二方面中，本发明提供一种成像方法，其包括：
使用表示生成装置来生成场景的三维表示；
使用至少一个红外成像传感器来获得所述场景的红外图像；以及
使用叠加装置把所述红外图像叠加到所述场景的三维表示上以产生所述场景的红外三维表示。
优选的是，所述场景的三维表示是三维模型。
优选的是，所述方法进一步包括：使用至少一个可见光成像传感器来获得所述场景的可见光图像；以及
使用叠加装置把所述红外图像和可见光图像叠加到所述场景的三维表示上以产生所述场景的多光谱三维表示。
优选的是，在被叠加到所述场景的三维表示上之前，将可见光图像和红外图像相组合以提供组合多光谱图像。
优选的是，所述方法进一步包括：使用图像分割装置识别出位于所述场景中不同深度处的对象。
优选的是，从场景的表示中移除位于所述场景中大于第一预定深度的深度处的对象。
优选的是，第一预定深度是固定的。
优选的是，所述设备进一步包括用以识别出所述场景中感兴趣的对象的装置，其中第一预定深度是基于所识别出的感兴趣的对象在场景中所位于的深度。
优选的是，从场景的表示中移除位于所述场景中小于第二预定深度的深度处的对象。
优选的是，第二预定深度是固定的。
优选的是，所述设备进一步包括用以识别出所述场景中感兴趣的对象的装置，其中第二预定深度是基于所识别出的感兴趣的对象在场景中所位于的深度。
优选的是，所述叠加装置被布置成依赖于对象在场景的三维表示中所位于的深度而将红外图像选择性地叠加到对象上。
优选的是，所述叠加装置被布置成仅将红外图像选择性地叠加到位于场景的三维表示中预定深度处的对象上。
优选的是，所述预定深度是固定的。
优选的是，所述设备进一步包括用以识别出所述场景中感兴趣的对象的装置，其中所述预定深度是延伸到所识别出的感兴趣的对象的位置的任一侧的深度范围。
优选的是，所述深度范围以所识别出的感兴趣的对象的位置为中心。
优选的是，所述设备进一步包括用以识别出场景中的对象的装置，其中所识别出的对象被从场景的表示中移除。
优选的是，所述至少一个可见光成像传感器包括被布置成形成独眼摄像机布置的至少两个间隔开的成像传感器；并且
所述方法进一步包括：使用图像组合器将来自所述至少两个间隔开的成像传感器的图像相组合以提供来自第一虚拟位置的场景的第一独眼图像。
优选的是，所述至少一个红外成像传感器提供来自第二位置的所述场景的第二图像；并且
第一虚拟位置和所述至少一个红外成像传感器的第二位置被布置成大体上相同。
优选的是，所述至少一个红外成像传感器包括图像传感器元件，其中来自所述独眼摄像机布置的第一独眼图像显得是在虚拟摄像机内的虚拟图像传感器元件上生成的，并且所述至少一个红外成像传感器的图像传感器元件被定位在所述虚拟摄像机的虚拟图像传感器元件的空间位置处。
优选的是，所述至少一个红外成像传感器位于所述两个间隔开的成像传感器之间。
优选的是，所述至少一个红外成像传感器位于与所述两个间隔开的成像传感器当中的每一个的相等距离处。
优选的是，所述两个间隔开的成像传感器被容纳在不同的外壳内。
优选的是，所述至少一个红外成像传感器与对于所述两个间隔开的成像传感器的外壳的每一个分开。
优选的是，所述至少一个红外成像传感器和所述两个间隔开的成像传感器全部被包括在共同的外壳内。
优选的是，所述表示生成装置包括处理器，其把来自所述至少两个间隔开的成像传感器的图像进行比较，并且使用立体技术来确定深度和/或距离。
优选的是，所述表示生成装置包括结构光扫描器。
优选的是，所述至少一个可见光成像传感器观看由结构光扫描器投影的结构光，并且向表示生成装置提供关于所观看到的结构光的信息。
优选的是，当被组合以提供组合多光谱图像时，可见光图像和红外图像以大体上相同的放大水平呈现。
优选的是，把所述红外图像叠加到所述场景的三维表示上包括把可见图像光线投射到所场景的三维表示上。
优选的是，把所述可见光图像叠加到所述场景的三维表示上包括把可见光图像光线投射到所述场景的三维表示上。
优选的是，把所述组合图像叠加到所述场景的三维表示上包括把组合图像光线投射到所述场景的三维表示上。
优选的是，在大体上相同的放大水平下把第一图像和第二图像提供到图像组合装置。
优选的是，红外图像是以下各项的至少其中之一：热红外波长范围，中红外波长范围，近红外波长范围，以及长红外波长范围。
附图说明
在附图中通过示例的方式图解地图示出本发明，其中：
图1示出了由单独的可见和红外摄像机成像的场景的示意图；
图2示出了由虚拟独眼摄像机布置成像的图1中所示的场景的示意图；
图3示出了由根据本发明的第一实施例的摄像机布置成像的图1中所示的场景的示意图；
图4示出了本发明的第一实施例的方法的流程图；
图5示出了由根据本发明的第二实施例的摄像机布置成像的图1中所示的场景的示意图；
图6示出了本发明的第二实施例的方法的流程图；以及
图7示出了本发明的第二实施例的另一种方法的流程图。
具体实施方式
图1示出了由单独的可见光和红外摄像机成像的场景的示意图，并且在这里被用来例示视差问题。
如图1中所示，感兴趣的对象1存在于在可见光摄像机2和红外摄像机3二者的视场中都可见的场景内。感兴趣的对象1被显示为圆形。同样在对于两台摄像机2和3可见的场景中，在前景中存在多个前景对象4a到4c，其中包括三角形4a、正方形4b和五边形4c。在背景中存在多个另外的背景对象5a到5c，其被表示为十字形5a、六边形5b和星形5c。从可见光摄像机2的角度看来，感兴趣的对象2显得位于背景中的正方形4b与五边形4c之间，并且还显得位于前景中的十字形5a与六边形5b之间。然而从红外摄像机3的角度看来，感兴趣的对象1显得位于背景中的三角形4a与正方形4b之间，并且还显得位于前景中的六边形5b与星形5c之间。
这代表视差问题的一种极端情况，并且在实践中，以下情况可以是可能的：红外摄像机2和3位于彼此相对靠近，因此其不同的视点彼此靠近，从而导致即使当从可见光和红外摄像机2和3的不同位置的不同视点观看时，所观看到的对象场景也显得是类似的。然而即使在这种情况下，视差问题虽然可能被减轻，但是其仍然存在。
在组合来自可见光摄像机2和红外摄像机3的图像时，这一视差效应可能会引发明显的问题，其中例如合成的组合图像可能会有失真，从而导致与遭受“复视（doublevision）”的由两台摄像机2和3所形成的成像系统类似的效应。由于由两台摄像机产生的图像因为视差效应而不同，如果来自两台摄像机的图像以正确对准被叠加在图像中的特定感兴趣的对象处，则对于在深度上越来越远离所述特定对象的深度位置的对象，所述失真效应变得越来越大，并因此越来越明显。也就是说，随着对象与摄像机2和3的距离变得越来越不同于感兴趣的对象的距离（朝向摄像机2和3和远离摄像机2和3二者），失真效应变得越来越大。
在实践中，在存在可见的感兴趣的对象的情况下，则来自摄像机2和3的图像通常将以正确对准被叠加在所述感兴趣的对象处，使得对于在深度上越来越远离感兴趣的对象的对象来说，失真效应将变得越来越大且越来越明显。
当那些对象具有远离和朝向摄像机延伸的有效深度时，与上文类似的基于视差的问题也将与单独的对象本身有关，其中来自摄像机2和3的图像对于不同深度位置处的对象部分将被不同地对准。
视差问题对于远距离处的对象消失（特别是在光学中通常被称作无限远的远距离处），但是随着对象移动得更加靠近两台摄像机而变得越来越成问题。所应用的校正措施通常需要知道与感兴趣的对象的距离。问题在于，一般来说任何校正仅仅合适地适用于处在与摄像机的特定距离处的对象，对于更加远离或者更加靠近摄像机的对象将会应用不正确的校正。类似地，当感兴趣的对象具有场景内的有效深度时，这样的不正确校正也将被应用于感兴趣的对象本身的不同部分。
图2示出了由虚拟独眼摄像机布置成像的图1中所示的场景的示意图。
在图2所示的示例中，通过组合两台间隔开的摄像机2和3的图像输出以提供独眼图像而形成虚拟独眼摄像机6。通过使用适当的处理，由两台摄像机2和3产生的图像可以被组合以产生独眼图像，其显得是从位于两台摄像机2和3之间的虚拟独眼摄像机6的视点产生的，正如图2中所示出的那样。在任何特定情况下所需的必要处理都可以很容易由本领域技术人员利用已知的技术来实施，因此不需要详细讨论。在一个示例中，每一台摄像机2和3具有各自的传感器。
每一台摄像机2和3提供略微不同的场景视图，其中来自每一台摄像机2和3的场景视图由每一台摄像机2和3中的对应的传感器所检测。通过适当的处理，来自两个传感器的图像被组合以提供独眼图像，其显得仿佛是从位于摄像机2和3的实际位置之间的虚拟独眼摄像机6产生的。所述独眼图像显得是在虚拟独眼摄像机6内的虚拟传感器上生成的。虚拟独眼摄像机6的虚拟传感器的位置位于构成虚拟独眼摄像机布置的两台摄像机2和3的每一台的传感器之间的中间。
在其他示例中，虚拟独眼摄像机的虚拟传感器的位置可以被布置成不是在构成虚拟独眼摄像机布置的两台摄像机的传感器之间中间的位置。虚拟摄像机的传感器的位置可以被选择成任何所期望的位置，并且本领域技术人员将能够毫无困难地执行为此所必要的图像组合处理。但是通过把虚拟独眼摄像机的虚拟传感器布置在处于两台摄像机的传感器之间中间的位置处可以提供以下优势：简化将来自两台摄像机的图像组合成虚拟独眼图像所需的处理，以及/或者减少由于在来自一台摄像机的图像中可见的对象在来自另一台摄像机的图像中不可见而导致的问题。
图3示出了由根据本发明的第一实施例的多光谱摄像机布置14成像的图1中所示的场景的示意图。
在图3所示的示例中，多光谱摄像机布置14包括虚拟独眼摄像机布置13，其由两台间隔开的可见光成像摄像机7和8以及图像组合器11形成。在虚拟独眼摄像机布置13中，通过由图像组合器11将操作在可见光带宽内的两台间隔开的可见光摄像机7和8的图像输出相组合以提供可见光独眼图像而形成虚拟独眼可见光摄像机9。由图像组合器11将由两台可见光摄像机7和8产生的两个可见光图像相组合以产生独眼可见光图像，其显得从位于两台间隔开的可见光摄像机7和8之间中心处的虚拟可见光独眼摄像机9的视点而产生。
在一个示例中，可见光摄像机7具有可见光图像传感器元件7a，并且可见光摄像机8具有可见光图像传感器元件8a。在一个示例中，各个可见光摄像机7和8的可见光传感器元件7a和8a均包含二维检测器阵列，诸如CCD或CMOS芯片。在其他示例中，可以使用其他阵列技术。
每一台可见光摄像机7和8提供略微不同的场景视图，其中来自每一台可见光摄像机7和8的场景视图被每一台可见光摄像机7和8中的对应的传感器所检测。来自两个传感器的图像被图像组合器11组合以提供可见光独眼图像，其显得仿佛从位于可见光摄像机7和8的实际位置之间的虚拟独眼可见光摄像机9所产生。所述独眼可见光图像显得在虚拟可见光独眼摄像机9内的虚拟可见光图像传感器元件9a上生成。虚拟可见光独眼摄像机9的虚拟可见光传感器元件9a的位置位于构成虚拟独眼摄像机布置的两台可见光摄像机7和8当中的每一台的可见光传感器元件7a和8a之间。虚拟图像平面的确切位置（等同于虚拟独眼摄像机9的虚拟传感器元件9a的位置）可以容易被本领域技术人员所确定。
参照图3，多光谱摄像机布置14进一步包括红外（IR）成像摄像机10，其位于两台可见光摄像机7和8之间在与虚拟独眼可见光摄像机9的虚拟位置相同或大体上相同的位置处。红外摄像机10于是从与虚拟独眼可见光摄像机9的表观（apparent）虚拟视点相同或大体上相同的视点看到所述场景。在一些示例中，红外摄像机10具有包含二维检测器阵列（诸如HgCdTe、基于铅、基于铟或辐射热计材料阵列）的红外图像传感器元件10a。可以使用其他阵列技术。红外成像摄像机10的红外传感器元件10a位于两台可见光摄像机7和8的可见光传感器元件7a和8a之间在与虚拟独眼可见光摄像机9的虚拟可见光传感器元件9a的虚拟位置相同或大体上相同的位置处。因此，红外成像摄像机10的红外传感器元件10a位于虚拟独眼可见光摄像机9的虚拟成像平面处或者与之靠近。
在一个示例中，形成虚拟独眼摄像机布置的两台可见光摄像机7和8处于不同的外壳中，从而使得红外摄像机10能够被定位在适当的位置处。
由图像组合器11将从两台可见光摄像机7和8的图像输出产生的可见光独眼图像和来自红外摄像机10的红外图像相组合以产生经组合的红外和可见光多光谱图像，其中所述独眼图像显得是来自虚拟可见光独眼摄像机9。由于红外摄像机6位于与虚拟独眼摄像机3的虚拟位置相同或类似的位置处，因此可以减轻或消除任何可能的视差问题。由于被组合的红外和可见光图像实际上是从空间中的相同位置观看到的，也就是说红外图像的实际观看位置和独眼可见光图像的表观虚拟观看位置是空间中的相同位置，因此相对于处在与不同摄像机的不同距离处的对象存在减轻的视差问题或者不存在视差问题，并且此外对于感兴趣的对象的不同部分存在减轻的视差问题或者不存在视差问题。
图4示出了根据本发明的第一实施例的方法的流程图，其进一步描述了可以通过其来针对场景的经组合的可见和红外图像而校正视差的设备和方法。
在可见光图像组合步骤102中，由图像组合器11将来自形成虚拟可见光独眼摄像机布置14的两台可见光成像摄像机7和8的两个可见光图像（分别被称作第一可见光图像100和第二可见光图像101）相组合以提供独眼可见光图像103。如上所述，该独眼可见光图像103显得是来自虚拟可见光独眼摄像机9，其从两台可见光摄像机7和8的实际位置之间的中心位置观看所述场景。
此外，从成像红外摄像机10获得所述场景的红外图像104。在所示示例中，红外摄像机10操作在热红外波长范围内。在一些实施例中，红外摄像机10操作在中红外波长范围内，在这个意义上该定义不同于热波长范围的定义。在一些示例中，红外摄像机10操作在近红外波长范围内。在一些示例中，红外摄像机10操作在长红外波长范围内。
然后在图像组合步骤105中，由图像组合器11将独眼可见光图像103和红外图像104相组合以提供组合可见和红外多光谱图像106。众所周知，红外图像104的红外图像信息在组合多光谱图像106中由对应于不同温度的伪色（false colour）表示。在其他示例中，可以使用表示红外图像信息的其他已知方法。
然后在显示步骤107中，组合可见光和红外多光谱图像106被呈现以供显示在视觉显示单元（VDU）12上。代替或附加于被显示，组合可见光和红外图像可以被记录以供将来显示。
在图像组合步骤105中，在相同或大体上相同的放大或变焦下组合独眼可见光图像103和红外图像104，以使得在被组合时，可见光和红外波长下的场景内的特征相关，使得组合图像106的可见光和红外部分有效地彼此叠加并且被正确对准。
在一些示例中，为了进一步促进由图像组合器进行的图像组合处理，构成两台可见光摄像机7和8的可见光传感器元件7a和8a以及红外摄像机10的红外传感器元件10a的相应的检测器可以被布置和选择成使得每一个检测器包括相应的检测器阵列，并且每一个检测器阵列沿着该检测器阵列的一个轴或者全部两个正交轴的像素数目是相同的，或者有整数比关系，也就是说是被另一个像素数目可除尽以提供一个整数的数目。
在一些示例中，执行图像组合的图像组合器11可以修改可见和/或红外图像，从而使得正交图像轴上的每个图像中像素数目是相同的，或者有整数比关系。
普通图像表示技术可以被用于组合图像的红外部分。举例来说，在组合图像106中可以使用伪色来表示所观看场景内的对象的温度。
在其中图像是数字图像的示例中，图像组合器可以是图像处理器。
在所示示例中，用以形成独眼图像的两个可见光图像的组合以及独眼图像与红外图像的组合由相同的图像处理器执行。在其他示例中，可以使用不同的专用图像处理器来执行不同的组合。
在所示示例中，虚拟独眼摄像机是由两台可见光摄像机形成的虚拟可见光独眼摄像机，并且将可见光独眼图像与来自红外摄像机的红外图像组合。在其他示例中，这种布置可以被翻转，以使得虚拟独眼摄像机是由两台红外摄像机形成的虚拟红外独眼摄像机，并且将红外独眼图像与来自可见光摄像机的可见光图像组合。
在所示示例中使用了成像摄像机。在其他示例中可以使用其他类型的成像传感器。
图5示出了由根据本发明的第二实施例的多光谱摄像机布置20成像的图1中所示的场景的示意图。
在图5所示的示例中，多光谱摄像机布置20包括如上关于第一实施例所描述的虚拟独眼摄像机布置13和红外成像摄像机10，其被用来提供组合红外和可见光多光谱图像。
多光谱摄像机布置20进一步包括深度或距离感测装置，在该例中是结构光扫描器21。结构光扫描器21投影出平行的明暗条纹的光图案，并且跨由虚拟独眼摄像机布置13和红外成像摄像机10观看的场景扫描该投影光图案。
当所扫描的条纹被投影到所观看场景中的对象或表面上时，所述条纹的外观失真，其中所述失真取决于所述对象或表面的位置。因此，通过观看所投影的条纹图案并且分析其外观，有可能确定所述条纹被投影到其上的对象或表面在三维中的位置。使用结构光扫描来获得三维信息的原理是本领域技术人员所熟知的，因此在这里不需要详细讨论。
虚拟独眼摄像机布置13的可见光摄像机7和8被用来观看由结构光扫描器21投影的光图案，并且除了图像组合器11之外，来自可见光摄像机7和8的图像还被提供到三维建模单元22。
三维建模单元22使用接收自可见光摄像机7和8的所投影的光图案的图像来生成所观看场景中的对象和表面的三维模型。
来自三维建模单元22的三维模型、来自图像组合器11的可见光独眼图像103以及来自红外摄像机10的红外图像104被供应到光线投射单元23。光线投射单元23把可见光独眼图像103和红外图像104光线投射到所述三维模型上以将可见光独眼图像103和红外图像104叠加到三维模型上，并且产生利用可见光和红外信息二者增强的所观看场景的三维模型。
当使用虚拟独眼摄像机组件14时，使用形成虚拟独眼摄像机组件14的两台可见光摄像机7和8来观看所投影的结构光图案是便利的，这是因为这两台可见光摄像机7和8已经存在，因此可以避免附加摄像机的成本。此外，使用来自这两台摄像机7和8的图像生成场景的三维表示具有优势，这是因为正如前面所讨论的那样红外摄像机10处在虚拟中心独眼摄像机9的位置处，三维模型所基于的信息将是从与被用来采集独眼可见光图像103和红外图像104二者的视点的相同视点采集的，因此避免了可能的视差或视点问题。
图6示出了根据本发明的第二实施例的方法的流程图，其进一步描述了用于场景的可见和红外图像的三维叠加的设备和方法。
在图6所示的示例中，获得场景的三维表示，并且从中产生场景内的对象的三维模型。
在图6所示的示例中，在可见光图像组合步骤102中，由图像组合器11将来自形成虚拟可见光独眼摄像机布置14的两台可见光成像摄像机7和8中的各个摄像机的第一可见光图像100和第二可见光图像101相组合以提供独眼可见光图像103。如上所述，该独眼可见光图像103显得是来自虚拟可见光独眼摄像机9，其从两台可见光摄像机7和8的实际位置之间的中心位置观看所述场景。
在图6所示的示例中，除了被用来形成独眼可见光图像103之外，第一和第二可见光图像100和101还被供应到三维建模单元22，并且被用来确定场景的三维信息。第一和第二可见光图像100和101被三维建模单元22使用来产生深度图208以由三维建模单元22产生场景中的对象的深度图。三维建模单元22然后使用深度图208来产生所观看场景的三维模型209。
如在第一实施例中，红外摄像机10被用来提供场景的红外图像104。在一个示例中，这可以是场景的热红外图像。在所示示例中，红外摄像机10操作在热红外波长范围内。在一些示例中，红外摄像机10操作在中红外波长范围内，在这个意义上该定义不同于热波长范围的定义。在一些示例中，红外摄像机10操作在近红外波长范围内。在一些示例中，红外摄像机10操作在长红外波长范围内。
如图6中所示，在光线投射步骤210中，由光线投射单元23把独眼可见光图像103和热红外图像104单独地和/或在将其组合之后叠加到场景的三维模型209上。
在光线投射步骤210期间，红外图像104被光线投射到三维模型209上。因而，可以在所成像场景内的对象上创建红外纹理。这可以提供利用热信息增强的场景的三维模型。
在光线投射步骤210期间，独眼可见光图像103被光线投射到三维模型109上。从而可以在所成像场景内的对象上创建可见纹理，其可以处于与红外纹理相比提高的分辨率水平。这样可以提供利用可见信息增强的场景的三维模型。
从而可以提供利用可见和热信息增强的场景的组合可见光和红外三维增强模型211。可以在显示步骤212中将该增强三维模型211呈现到例如VDU 12之类的显示器，并且/或者在显示步骤213中将其显示在三维显示器上。
根据该实施例，与所成像对象场景的传统二维表示不同，可见和红外图像可以被组合在所成像对象场景的三维表示或模型211内。然后可以在空间上操纵组合三维可见和红外增强模型211，由此使得关于所成像场景的另外的信息能够被确定。
在其他示例中，代替光线投射，可以使用其他方法来把可见和红外图像与3D模型组合。
在所示示例中，两台摄像机被用来观看所投影的结构光图案。在其他示例中可以使用不同数目的摄像机。在一些示例中，可以仅使用一台摄像机。
在所示示例中，被用来观看所投影的结构光图案的两台摄像机是被用来生成所观看场景的可见光图像的虚拟独眼摄像机的两台摄像机。在其他示例中，结构光扫描器和虚拟独眼摄像机可以使用不同的摄像机。
在所示示例中，深度或距离感测装置包括结构光扫描器，其使用结构光信息来获得关于所观看场景中的对象和表面的位置信息。
在替换示例中，深度或距离感测装置可以包括处理器，其对第一和第二可见光图像进行比较，并且使用立体技术根据第一和第二可见光图像之间的差异确定所观看场景中的对象和表面的深度或距离。
在其他示例中，代替结构光扫描，可以通过其他措施（例如超声测距、激光雷达（IADAR/IIDAR）或标准RADAR）来确定场景的位置信息。
所示示例生成深度图，并且然后使用深度图来产生所观看场景的三维模型。在其他示例中可以使用不需要生成深度图的产生三维模型的其他方法。
图7示出了本发明的另一个示例的流程图，其中进行上文参照前述示例所提到的可能的空间操纵。
正如后面所讨论的那样，红外图像可能遭受关于场景内的对象的动态范围的有限可显示对比度，并且可能有利的是提高与感兴趣的对象的图像相关联的可显示动态范围的比例。此外，选择所成像场景内的对象以供进一步分析可能是有用的。此外，对于对象的选择可以允许移除所成像场景内的杂乱（clutter）用于更容易理解所成像场景。图7所示的方法可以促进这些方面。
在可见和/或红外波长范围内成像的场景可能包含一系列对象，但是可能仅对这些所成像对象的选择感兴趣。
在所成像场景内可以存在具有不同所检测温度的一系列对象。一些对象可以非常热，并且/或者一些对象可以非常冷，或者在场景内可以存在非常热和非常冷的对象二者。例如在在场景中可见的最热和/或最冷对象是背景对象（实际上并非感兴趣的对象）的情况下，所成像场景内的一个或多个感兴趣的对象可以具有仅延伸在场景内的可观测的总温度范围的部分内的温度。这可能导致关于感兴趣的对象的温度信息的显示被模糊。
例如，如果伪色被用于指示关于所观看场景内的对象的温度信息并且所述场景具有100K的总温度范围（其中20种伪色的可用调色板将被用来表示这些温度），则由一种伪色表示的温度范围将是近似5K。但是场景内的感兴趣的对象可能只具有延伸在仅仅10K的温度范围内的温度，因此只有2或3种颜色将被用来表示这些温度，以使得对于感兴趣的对象存在可显示温度的有限有效动态范围。在这种情况下，红外成像摄像机关于感兴趣的对象的有效可显示动态范围受到损害，即使红外摄像机本身可能能够在好于5K或者实际上明显好于5K的温度分辨率下解析感兴趣的对象上的温度。
如图7中所示，在图像分割步骤304中，由处理器使用图像分割算法对可见图像数据或可见光数据301、红外数据302和三维或深度信息303进行处理以产生分割对象信息305，其中识别出所观看场景内的位于不同深度（即与成像摄像机的距离）处的对象。
对于三维可见/红外图像的一种操纵形式是使用深度信息来执行图像分割。
在背景移除部分306中，可以从图像中移除位于超出所规定的最大深度的对象。该最大深度可以是固定的，或者可以是基于在图像中识别出的感兴趣的对象的深度。举例来说，所述最大深度可以是超过所识别出的感兴趣的对象的深度的固定量，或者是所识别出的感兴趣的对象的深度的固定倍数。该背景对象的移除可以减少杂乱，并且使得图像更容易理解。
在其他示例中，附加于或替代背景移除步骤，可以执行前景移除步骤。在前景移除步骤中，可以从图像中移除位于小于所规定的最小深度的对象。该最小深度可以是固定的，或者可以是基于在图像中识别出的感兴趣的对象的深度。举例来说，所述最小深度可以是小于所识别出的感兴趣的对象的深度的固定量（在其大于零的条件下），或者是所识别出的感兴趣的对象的深度的固定分数。该前景对象的移除可以减少杂乱，并且使得图像更容易理解。
可以在后处理期间选择图像内的感兴趣的对象，或者可以例如通过聚焦在感兴趣的对象的距离处的成像系统（可见和/或红外摄像机）实时选择感兴趣的对象。对本领域技术人员将显而易见的是选择感兴趣的对象的其他措施，诸如对象的光标或图标选择，或者使用例如触摸屏来选择感兴趣的对象，或者例如激光测距。实时选择感兴趣的对象的其他措施将对本领域技术人员显而易见。
一个或多个摄像机的聚焦布置可以被用来实时确定离所述一个或多个摄像机的感兴趣范围。该感兴趣范围可以是一个或多个感兴趣的对象所处的范围。在其他示例中，所述感兴趣范围可以是延伸到一个或多个感兴趣的对象的深度的任一侧的范围带。在一个示例中，所述感兴趣范围可以是以一个或多个感兴趣的对象的深度为中心的范围带。
在图像增强步骤307中，分割对象信息305可以被用来屏蔽、隐藏或移除场景中不处于离摄像机的该感兴趣范围处的对象。在一些示例中，在增强图像中可以根本不显示这些对象。在其他示例中，可以仅在没有任何热信息的情况下在增强图像中显示这些对象作为可见光图像。
在可见伪色被用来表示红外数据302中的温度的情况下，关于被静态表示在经图像增强的场景中的对象的红外数据302可以被提供有增强的温度对比度。以下情况是可能的：这在前景或背景中的被屏蔽、隐藏或移除的对象比在感兴趣的对象范围处被静态表示的对象更热或更冷。然后，被用于表示温度数据的伪色的可用调色板可以被用来仅延伸在感兴趣的对象位于其中的感兴趣范围处可观测的较小温度范围上，而不是整个所成像场景中的全温度范围，其中例如背景中的热的对象可能导致感兴趣的对象上降低的调色板颜色分辨率。
在图像增强和/或背景移除之后，在显示步骤308中可以在显示212或213上显示所得到的图像。
分割对象信息305和/或由图像增强步骤307产生的增强图像数据可以被用在另外的处理309中。这样的另外的处理例如可以包括用于对象跟踪、自动错误检测等等的处理。
在一些示例中，可以选择对象以将其屏蔽、移除或隐藏，其中场景内的剩余对象然后形成感兴趣的对象。
在一些示例中，可以选择对象场景内的若干不同范围处的对象以将其屏蔽、移除或隐藏。
在后处理期间，可以选择特定对象以进一步增强关于该范围内的其他对象的对比度，并且允许使用例如高动态范围算法之类的增强算法。类似地可以实时提供这样的特定图像选择和成像处理。
在一些示例中，对三维或深度信息和红外图像数据进行处理。在其他示例中，对三维或深度信息以及组合可见光和红外图像数据进行处理。
在所示示例中，来自两台摄像机的两个可见光图像被用来形成独眼图像。在其他示例中，来自三台或更多台摄像机的三个或更多可见光图像被用来形成独眼图像。
在一些示例中，独眼摄像机操作于被用来获得独眼红外图像的两台红外摄像机操作。在一些示例中，独眼摄像机操作在热红外波长范围内。在一些示例中，独眼摄像机操作在中红外波长范围内，在这个意义上该定义不同于热波长范围的定义。在一些示例中，独眼摄像机操作在近红外波长范围内。在一些示例中，独眼摄像机操作在长红外波长范围内。
在一些示例中，操作在可见波长内的摄像机位于红外独眼摄像机的两台红外摄像机之间。
在一些示例中，形成独眼摄像机的可见成像摄像机被包含在单个外壳内。在一些示例中，红外成像摄像机也被包含在相同的外壳内。
在一些示例中，执行图像组合的图像组合器11可以修改可见和/或红外图像，从而使得每一个图像中的正交图像轴上的像素数目是相同的，或者有整数比关系。
普通图像表示技术可以被用于组合图像的红外部分。举例来说，伪色可以被用在组合图像106中以表示所观看场景内的对象的温度。
在其中图像是数字图像的示例中，图像组合器可以是图像处理器。
在第二实施例的所示示例中，来自可见光摄像机的可见光图像被直接供应到三维建模单元。在其他示例中，这些可见光图像可以通过图像组合器11来供应。
在上文讨论的不同实施例和替换方案中所公开的特征并非排他性的。因此，如果希望的话，可以交换和/或组合任何或所有实施例和替换方案中的特征。
上述设备可以至少部分以软件来实施。本领域技术人员将认识到，上述设备可以使用通用计算机装备或者使用定制装备来实施。这样的计算机的硬件元件、操作系统和编程语言本质上是传统的，并且认为本领域技术人员对其足够熟悉。
本领域技术人员将认识到，虽然前面描述了被认为是执行本发明的最佳模式以及适当情况下的其他模式，但是本发明不应当被限制到在优选实施例的描述中所公开的具体设备配置或方法步骤。应当理解的是，可以在其中做出多种修改，并且可以通过多种形式和示例来实施这里所公开的主题，并且本发明的教导可以被应用在许多应用中，在这里仅仅描述了其中的一些应用。下述权利要求意图要求保护落在本教导的真实范围内的任何和所有应用、修改和变型。
本领域技术人员将认识到，本发明具有广阔的应用范围，并且在不背离如所附权利要求书中定义的本发明的概念的情况下，可以对所述实施例做出各种修改。

Claims (64)

1.用于成像的设备，其包括：
表示生成装置，被布置成生成场景的三维表示；
图像分割处理器，被布置成识别出位于所述场景中不同深度处的对象；
至少一个可见光成像传感器，被布置成获得所述场景的可见光图像；
至少一个红外成像传感器，被布置成获得所述场景的红外图像；以及
叠加装置，被布置成：
把所述红外图像和所述可见光图像叠加到所述场景的三维表示上以产生所述场景的多光谱三维表示；以及
根据所识别的对象的深度在所述场景的多光谱三维表示中操纵所叠加的红外图像，以使得
不满足预定深度要求的红外图像不被叠加到所述场景中的对象上从而在所述红外图像中用于表示温度数据的伪色的调色板被调整成在满足预定深度要求的对象处在可观测的温度范围延伸；以及
所述可见光图像被叠加到所述不满足预定深度要求的对象上。
2.根据权利要求1的设备，其中，所述场景的三维表示是三维模型。
3.根据权利要求1的设备，其中，在被叠加到所述场景的三维表示上之前，将可见光图像和红外图像相组合以提供组合多光谱图像。
4.根据权利要求1的设备，其中，通过将位于场景中的大于第一预定深度的深度处的对象被从场景的表示中移除来操纵在所述场景中的所述多光谱三维表示中的红外图像。
5.根据权利要求4的设备，其中，所述第一预定深度是固定的。
6.根据权利要求4的设备，所述设备进一步包括用以识别出所述场景中感兴趣的对象的装置，其中第一预定深度是基于所识别出的感兴趣的对象在场景中所位于的深度。
7.根据权利要求1的设备，其中，通过将位于所述场景中小于第二预定深度的深度处的对象被从场景的表示中移除来操纵在所述场景中的所述多光谱三维表示中的红外图像。
8.根据权利要求7的设备，其中，所述第二预定深度是固定的。
9.根据权利要求7的设备，所述设备进一步包括用以识别出所述场景中感兴趣的对象的装置，其中第二预定深度是基于所识别出的感兴趣的对象在场景中所位于的深度。
10.根据权利要求1的设备，其中，通过将依赖于对象在场景的三维表示中所位于的深度而将红外图像选择性地叠加到所述对象上来操纵在所述场景中的所述多光谱三维表示中的红外图像。
11.根据权利要求4的设备，其中，所述叠加装置被布置成仅将红外图像选择性地叠加到位于所述场景的三维表示中预定深度处的对象上。
12.根据权利要求11的设备，其中，所述预定深度是固定的。
13.根据权利要求11的设备，所述设备进一步包括用以识别出场景中的感兴趣的对象的装置，其中延伸到所识别出的感兴趣的对象的位置的任一侧的深度范围内的深度满足所述预定深度要求。
14.根据权利要求13的设备，其中，所述深度范围以所识别出的感兴趣的对象的位置为中心。
15.根据任何一项前述权利要求的设备，所述设备进一步包括用以识别出所述场景中的对象的装置，其中所识别出的对象被从所述场景的表示中移除。
16.根据权利要求1的设备，所述至少一个可见光成像传感器包括被布置成形成独眼摄像机布置的至少两个间隔开的成像传感器；并且
所述设备进一步包括图像组合器，其被布置成将来自所述至少两个间隔开的成像传感器的图像相组合以提供来自第一虚拟位置的场景的第一独眼图像。
17.根据权利要求16的设备，其中，所述至少一个红外成像传感器提供来自第二位置的所述场景的第二图像；并且
第一虚拟位置和所述至少一个红外成像传感器的第二位置被布置成大体上相同。
18.根据权利要求17的设备，其中，所述至少一个红外成像传感器包括图像传感器元件，其中来自所述独眼摄像机布置的第一独眼图像显得是在虚拟摄像机内的虚拟图像传感器元件上生成的，并且所述至少一个红外成像传感器的图像传感器元件被定位在所述虚拟摄像机的虚拟图像传感器元件的空间位置处。
19.根据权利要求16的设备，其中，所述至少一个红外成像传感器位于所述两个间隔开的成像传感器之间。
20.根据权利要求19的设备，其中，所述至少一个红外成像传感器位于与所述两个间隔开的成像传感器当中的每一个的相等距离处。
21.根据权利要求16的设备，其中，所述两个间隔开的成像传感器被容纳在不同的外壳内。
22.根据权利要求21的设备，其中，所述至少一个红外成像传感器与对于所述两个间隔开的成像传感器的外壳中的每一个分开。
23.根据权利要求16的设备，其中，所述至少一个红外成像传感器和所述两个间隔开的成像传感器全部被包括在共同的外壳内。
24.根据权利要求16的设备，其中，所述表示生成装置包括处理器，其把来自所述至少两个间隔开的成像传感器的图像进行比较，并且使用立体技术来确定深度和/或距离。
25.根据权利要求1的设备，其中，所述表示生成装置包括结构光扫描器。
26.根据权利要求25的设备，其中，所述至少一个可见光成像传感器观看由结构光扫描器所投影的结构光，并且向表示生成装置提供关于所观看到的结构光的信息。
27.根据权利要求3的设备，其中，当被组合以提供组合多光谱图像时，可见光图像和红外图像以大体上相同的放大水平呈现。
28.根据权利要求1的设备，其中，把所述红外图像叠加到所述场景的三维表示上包括把可见图像光线投射到场景的三维表示上。
29.根据权利要求1的设备，其中，把所述可见光图像叠加到所述场景的三维表示上包括把可见光图像光线投射到场景的三维表示上。
30.根据权利要求3的设备，其中，把所述组合图像叠加到所述场景的三维表示上包括把组合图像光线投射到场景的三维表示上。
31.根据权利要求3的设备，其中，在大体上相同的放大水平下把第一图像和第二图像提供到图像组合装置。
32.根据权利要求1的设备，其中，红外图像是以下各项的至少其中之一：热红外波长范围，中红外波长范围，近红外波长范围，以及长红外波长范围。
33.一种成像方法，其包括：
使用表示生成装置来生成场景的三维表示；
使用图像分割装置识别出位于所述场景中不同深度处的对象；
使用至少一个红外成像传感器来获得所述场景的红外图像；
使用至少一个可见光成像传感器获得所述场景的可见光图像；
使用叠加装置把所述红外图像和所述可见光图像叠加到所述场景的三维表示上以产生所述场景的多光谱三维表示；以及
根据所识别的对象的深度来操纵在所述场景的多光谱三维表示中的红外图像，以使得
不满足预定深度要求的红外图像不被叠加到所述场景中的对象上从而在所述红外图像中用于表示温度数据的伪色的调色板被调整成在满足预定深度要求的对象处在可观测的温度范围延伸；以及
所述可见光图像被叠加到所述不满足预定深度要求的对象上。
34.根据权利要求33的方法，其中，所述场景的三维表示是三维模型。
35.根据权利要求33的方法，其中，在被叠加到所述场景的三维表示上之前将可见光图像和红外图像相组合以提供组合多光谱图像。
36.根据权利要求33的方法，其中，操纵在所述场景的多光谱三维表示中的红外图像包括从场景的表示中移除位于所述场景中大于第一预定深度的深度处的对象。
37.根据权利要求36的方法，其中，第一预定深度是固定的。
38.根据权利要求36的方法，进一步包括识别出所述场景中感兴趣的对象，其中第一预定深度是基于所识别出的感兴趣的对象在场景中所位于的深度。
39.根据权利要求36到38中的任何一项的方法，其中，操纵在所述场景的多光谱三维表示中的红外图像包括从场景的表示中移除位于所述场景中小于第二预定深度的深度处的对象。
40.根据权利要求39的方法，其中，第二预定深度是固定的。
41.根据权利要求39的方法，进一步包括识别出所述场景中感兴趣的对象，其中第二预定深度是基于所识别出的感兴趣的对象在场景中所位于的深度。
42.根据权利要求33的方法，其中，操纵在所述场景的多光谱三维表示中的红外图像包括依赖于对象在场景的三维表示中所位于的深度而将红外图像选择性地叠加到对象上。
43.根据权利要求42的方法，其中，所述叠加装置被布置成仅将红外图像选择性地叠加到位于场景的三维表示中预定深度处的对象上。
44.根据权利要求43的方法，其中，所述预定深度是固定的。
45.根据权利要求42的方法，进一步包括识别出所述场景中感兴趣的对象，其中所述预定深度是延伸到所识别出的感兴趣的对象的位置的任一侧的深度范围。
46.根据权利要求45的方法，其中，所述深度范围以所识别出的感兴趣的对象的位置为中心。
47.根据权利要求33的方法，进一步包括识别出场景中的对象，其中所识别出的对象被从场景的表示中移除。
48.根据权利要求33的方法，其中，所述至少一个可见光成像传感器包括被布置成形成独眼摄像机布置的至少两个间隔开的成像传感器；并且
所述方法进一步包括：使用图像组合器将来自所述至少两个间隔开的成像传感器的图像相组合以提供来自第一虚拟位置的场景的第一独眼图像。
49.根据权利要求48的方法，其中，所述至少一个红外成像传感器提供来自第二位置的所述场景的第二图像；并且
第一虚拟位置和所述至少一个红外成像传感器的第二位置被布置成大体上相同。
50.根据权利要求49的方法，其中，所述至少一个红外成像传感器包括图像传感器元件，其中来自所述独眼摄像机布置的第一独眼图像显得是在虚拟摄像机内的虚拟图像传感器元件上生成的，并且所述至少一个红外成像传感器的图像传感器元件被定位在所述虚拟摄像机的虚拟图像传感器元件的空间位置处。
51.根据权利要求48到50中的任何一项的方法，其中，所述至少一个红外成像传感器位于所述两个间隔开的成像传感器之间。
52.根据权利要求51的方法，其中，所述至少一个红外成像传感器位于与所述两个间隔开的成像传感器当中的每一个的相等距离处。
53.根据权利要求48的方法，其中，所述两个间隔开的成像传感器被容纳在不同的外壳内。
54.根据权利要求53的方法，其中，所述至少一个红外成像传感器与对于所述两个间隔开的成像传感器的外壳的每一个分开。
55.根据权利要求49的方法，其中，所述至少一个红外成像传感器和所述两个间隔开的成像传感器全部被包括在共同的外壳内。
56.根据权利要求48的方法，其中，所述表示生成装置包括处理器，其把来自所述至少两个间隔开的成像传感器的图像进行比较，并且使用立体技术来确定深度和/或距离。
57.根据权利要求33的方法，其中，所述表示生成装置包括结构光扫描器。
58.根据权利要求57的方法，其中，所述至少一个可见光成像传感器观看由结构光扫描器投影的结构光，并且向表示生成装置提供关于所观看到的结构光的信息。
59.根据权利要求35的方法，其中，当被组合以提供组合多光谱图像时，可见光图像和红外图像以大体上相同的放大水平呈现。
60.根据权利要求33的方法，其中，把所述红外图像叠加到所述场景的三维表示上包括把可见图像光线投射到所述场景的三维表示上。
61.根据权利要求33的方法，其中，把所述可见光图像叠加到所述场景的三维表示上包括把可见光图像光线投射到所述场景的三维表示上。
62.根据权利要求35的方法，其中，把所述组合图像叠加到所述场景的三维表示上包括把组合图像光线投射到所述场景的三维表示上。
63.根据权利要求33的方法，其中，在大体上相同的放大水平下把第一图像和第二图像提供到图像组合装置。
64.根据权利要求33的方法，其中，红外图像是以下各项的至少其中之一：热红外波长范围，中红外波长范围，近红外波长范围，以及长红外波长范围。
CN201410096636.0A 2013-03-15 2014-03-17 用于利用三维叠加的多光谱成像的设备和方法 Active CN104052938B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201361791515P 2013-03-15 2013-03-15
GB1304822.8 2013-03-15
US61/791515 2013-03-15
GB1304822.8A GB2511862A (en) 2013-03-15 2013-03-15 Apparatus and method for multispectral imaging
GB1304826.9A GB2511863A (en) 2013-03-15 2013-03-15 Apparatus and method for multispectral imaging
GB1304826.9 2013-03-15

Publications (2)

Publication Number Publication Date
CN104052938A CN104052938A (zh) 2014-09-17
CN104052938B true CN104052938B (zh) 2017-08-08

Family

ID=51301499

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201410096417.2A Active CN104079839B (zh) 2013-03-15 2014-03-17 用于利用视差校正的多光谱成像的设备和方法
CN201410096636.0A Active CN104052938B (zh) 2013-03-15 2014-03-17 用于利用三维叠加的多光谱成像的设备和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201410096417.2A Active CN104079839B (zh) 2013-03-15 2014-03-17 用于利用视差校正的多光谱成像的设备和方法

Country Status (3)

Country Link
US (2) US9654704B2 (zh)
EP (2) EP2779623B1 (zh)
CN (2) CN104079839B (zh)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3084720A1 (en) * 2013-12-22 2016-10-26 Analogic Corporation Inspection system and method
US10113903B1 (en) * 2014-09-02 2018-10-30 Amazon Technologies, Inc. Ambient light sensor calibration
EP3226754B1 (en) * 2014-12-02 2021-02-03 Brainlab AG Human body measurement using thermographic images
KR102305998B1 (ko) * 2014-12-08 2021-09-28 엘지이노텍 주식회사 영상 처리 장치
CN104618709B (zh) * 2015-01-27 2017-05-03 天津大学 一种双双目红外与可见光融合立体成像系统
US9528938B2 (en) * 2015-02-23 2016-12-27 Li-Cor, Inc. Fluorescence biopsy specimen imager and methods
JP6565252B2 (ja) * 2015-03-23 2019-08-28 日本電気株式会社 情報処理装置、情報処理方法、およびプログラム
US10379048B2 (en) 2015-06-26 2019-08-13 Li-Cor, Inc. Fluorescence biopsy specimen imager and methods
CN104980727B (zh) * 2015-06-26 2018-08-17 深圳市虚拟现实科技有限公司 基于虚拟现实技术的图像合成方法和头戴式显示设备
CN105338262B (zh) * 2015-10-09 2018-09-21 浙江大华技术股份有限公司 一种热成像图像处理方法及装置
WO2017184940A1 (en) 2016-04-21 2017-10-26 Li-Cor, Inc. Multimodality multi-axis 3-d imaging
EP3475919A1 (en) 2016-06-23 2019-05-01 Li-Cor, Inc. Complementary color flashing for multichannel image presentation
DE102016211227A1 (de) * 2016-06-23 2017-12-28 Conti Temic Microelectronic Gmbh Verfahren und Fahrzeugsteuersystem zum Erzeugen von Abbildungen eines Umfeldmodells und entsprechendes Fahrzeug
CN106097287B (zh) * 2016-06-27 2018-11-09 湖北久之洋红外系统股份有限公司 一种多通道图像校正方法
CN206698329U (zh) * 2016-11-08 2017-12-01 聚晶半导体股份有限公司 摄像模块和摄像装置
WO2018098162A1 (en) 2016-11-23 2018-05-31 Li-Cor, Inc. Motion-adaptive interactive imaging method
FR3062229A1 (fr) * 2017-01-26 2018-07-27 Parrot Air Support Procede d'affichage sur un ecran d'au moins une representation d'un objet, programme d'ordinateur, dispositif et appareil electroniques d'affichage associes
CN106768367A (zh) * 2017-02-20 2017-05-31 哈尔滨工业大学 一种三维红外热波成像检测系统与方法
US10386301B2 (en) 2017-04-25 2019-08-20 Li-Cor, Inc. Top-down and rotational side view biopsy specimen imager and methods
CN107152971B (zh) * 2017-05-03 2019-09-10 华中光电技术研究所（中国船舶重工集团公司第七一七研究所） 一种提高线阵红外电子放大图像水平细节分辨率的方法
US11209306B2 (en) 2017-11-02 2021-12-28 Fluke Corporation Portable acoustic imaging tool with scanning and analysis capability
US11099075B2 (en) 2017-11-02 2021-08-24 Fluke Corporation Focus and/or parallax adjustment in acoustic imaging using distance information
CN112788249B (zh) * 2017-12-20 2022-12-06 杭州海康威视数字技术股份有限公司 图像融合方法、装置、电子设备及计算机可读存储介质
US10728517B2 (en) * 2017-12-22 2020-07-28 Flir Systems Ab Parallax mitigation for multi-imager systems and methods
CN108459417B (zh) * 2018-02-05 2020-06-26 华侨大学 一种单目窄带多光谱立体视觉系统及其使用方法
FI20185482A1 (fi) * 2018-05-25 2019-11-26 Safera Oy Liesivahti, joka hyödyntää eri aallonpituuksia
WO2020023633A1 (en) 2018-07-24 2020-01-30 Fluke Corporation Systems and methods for tagging and linking acoustic images
US10740949B2 (en) 2018-09-18 2020-08-11 Microsoft Technology Licensing, Llc Multi-spectral rendering for synthetics
CN109543544B (zh) * 2018-10-25 2021-04-09 北京市商汤科技开发有限公司 跨光谱图像匹配方法及装置、电子设备和存储介质
US11709099B2 (en) 2019-07-01 2023-07-25 Snap-On Incorporated Method and system for calibrating imaging system
US11555743B2 (en) * 2019-07-01 2023-01-17 Snap-On Incorporated Method and system for calibrating imaging system
US11128817B2 (en) 2019-11-26 2021-09-21 Microsoft Technology Licensing, Llc Parallax correction using cameras of different modalities
US20220021822A1 (en) * 2020-07-14 2022-01-20 International Business Machines Corporation Guided multi-spectral inspection
US11678068B2 (en) 2021-05-31 2023-06-13 Microsoft Technology Licensing, Llc Glare removal using dual cameras
WO2023149963A1 (en) 2022-02-01 2023-08-10 Landscan Llc Systems and methods for multispectral landscape mapping
CN115086548A (zh) * 2022-04-13 2022-09-20 中国人民解放军火箭军工程大学 一种双光谱虚拟摄像头合成方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6323941B1 (en) * 1999-08-06 2001-11-27 Lockheed Martin Corporation Sensor assembly for imaging passive infrared and active LADAR and method for same
CN202677036U (zh) * 2012-06-19 2013-01-16 深圳市同为数码科技股份有限公司 摄像机后调焦机构

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4679068A (en) 1985-07-25 1987-07-07 General Electric Company Composite visible/thermal-infrared imaging system
JPS6239737A (ja) * 1985-08-16 1987-02-20 Fujitsu Ltd 温度レンジ設定方式
JPH01102330A (ja) * 1987-10-16 1989-04-20 Nec San-Ei Instr Co Ltd 赤外線温度測定装置
US6255650B1 (en) * 1998-12-11 2001-07-03 Flir Systems, Inc. Extreme temperature radiometry and imaging apparatus
JP3807721B2 (ja) * 2000-02-21 2006-08-09 シャープ株式会社 画像合成装置
JP4318371B2 (ja) * 2000-03-03 2009-08-19 富士通株式会社 赤外線撮像装置
US7148861B2 (en) 2003-03-01 2006-12-12 The Boeing Company Systems and methods for providing enhanced vision imaging with decreased latency
US7809183B2 (en) * 2003-10-08 2010-10-05 Microsoft Corporation Gaze manipulation
DE10359192A1 (de) * 2003-12-17 2005-07-14 Hella Kgaa Hueck & Co. Nachtsichtsystem für ein Kraftfahrzeug
US8594370B2 (en) 2004-07-26 2013-11-26 Automotive Systems Laboratory, Inc. Vulnerable road user protection system
US7728833B2 (en) 2004-08-18 2010-06-01 Sarnoff Corporation Method for generating a three-dimensional model of a roof structure
JP2006060425A (ja) 2004-08-18 2006-03-02 Olympus Corp 画像生成方法および装置
EP1831657B1 (en) * 2004-12-03 2018-12-05 Fluke Corporation Method for a visible light and ir combined image camera
US8040361B2 (en) 2005-04-11 2011-10-18 Systems Technology, Inc. Systems and methods for combining virtual and real-time physical environments
US10425595B2 (en) * 2007-11-28 2019-09-24 Flir Systems, Inc. Modular camera systems and methods
WO2012116112A1 (en) * 2011-02-25 2012-08-30 Flir Systems, Inc. Modular infrared camera systems and methods
US8354639B2 (en) * 2008-11-25 2013-01-15 Flir Systems Ab IR camera with adjustable view parameter settings
US20130250070A1 (en) * 2010-12-01 2013-09-26 Konica Minolta, Inc. Image synthesis device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6323941B1 (en) * 1999-08-06 2001-11-27 Lockheed Martin Corporation Sensor assembly for imaging passive infrared and active LADAR and method for same
CN202677036U (zh) * 2012-06-19 2013-01-16 深圳市同为数码科技股份有限公司 摄像机后调焦机构

Also Published As

Publication number Publication date
EP2779623A1 (en) 2014-09-17
US20140362227A1 (en) 2014-12-11
EP2779624B1 (en) 2018-05-09
EP2779624A1 (en) 2014-09-17
US9654704B2 (en) 2017-05-16
EP2779623B1 (en) 2019-09-18
CN104052938A (zh) 2014-09-17
CN104079839B (zh) 2018-08-14
US9729803B2 (en) 2017-08-08
CN104079839A (zh) 2014-10-01
US20140346359A1 (en) 2014-11-27

Similar Documents

Publication Publication Date Title
CN104052938B (zh) 用于利用三维叠加的多光谱成像的设备和方法
CN109615703B (zh) 增强现实的图像展示方法、装置及设备
CN104867123B (zh) 利用融合的红外线分辨率与对比度增强
US20130335535A1 (en) Digital 3d camera using periodic illumination
CN104883556A (zh) 基于增强现实的三维显示方法和增强现实眼镜
JP2020008972A (ja) 情報処理装置、情報処理方法及びプログラム
US20100302234A1 (en) Method of establishing dof data of 3d image and system thereof
CN108885342A (zh) 用于低延迟渲染的宽基线立体
TWI520574B (zh) 三維影像裝置和用於顯示影像的方法
Nonaka et al. Fast plane-based free-viewpoint synthesis for real-time live streaming
US11043019B2 (en) Method of displaying a wide-format augmented reality object
JP5279078B2 (ja) 画像撮影・表示方法、画像撮影・表示装置、およびプログラム
JP2000222116A (ja) 表示画像の位置認識方法とその位置認識装置および仮想画像立体合成装置
CN110087059B (zh) 一种针对真实三维场景的交互式自由立体显示方法
CN104584075B (zh) 用于描述对象空间的对象点以及用于其执行的连接方法
JP4046973B2 (ja) 情報処理方法および画像混合装置
JP5642561B2 (ja) 家屋異動判読支援装置、家屋異動判読支援方法及び家屋異動判読支援プログラム
Oliveira et al. Lenslet light field panorama creation: a sub-aperture image stitching approach
WO2012014695A1 (ja) 立体撮像装置およびその撮像方法
JP5499363B2 (ja) 画像入力装置、画像入力方法及び画像入力プログラム
Soomro et al. Decoupling of real and digital content in projection-based augmented reality systems using time multiplexed image capture
CN112351265A (zh) 一种自适应裸眼3d视觉伪装系统
KR101569787B1 (ko) 멀티 카메라에 의한 3d 동영상 정보 획득방법
KR101957417B1 (ko) 실사이미지 디스플레이 방식의 동작인식 컨트롤 시스템 및 방법
JP2014011639A (ja) 撮像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant