CN110361092A - 一种图像配准方法、装置及热成像摄像机 - Google Patents

一种图像配准方法、装置及热成像摄像机 Download PDF

Info

Publication number
CN110361092A
CN110361092A CN201810322698.7A CN201810322698A CN110361092A CN 110361092 A CN110361092 A CN 110361092A CN 201810322698 A CN201810322698 A CN 201810322698A CN 110361092 A CN110361092 A CN 110361092A
Authority
CN
China
Prior art keywords
images
visible
resolution ratio
distance
graphic images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810322698.7A
Other languages
English (en)
Other versions
CN110361092B (zh
Inventor
葛路烨
蒋贤满
张振洲
袁炜军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikmicro Sensing Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201810322698.7A priority Critical patent/CN110361092B/zh
Publication of CN110361092A publication Critical patent/CN110361092A/zh
Application granted granted Critical
Publication of CN110361092B publication Critical patent/CN110361092B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02—Constructional details
    • G01J5/07—Arrangements for adjusting the solid angle of collected radiation, e.g. adjusting or orienting field of view, tracking position or encoding angular position
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/80—Calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077—Imaging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明实施例提供了一种图像配准方法、装置及热成像摄像机。方法包括：获取激光测距得到的热成像镜头和测量对象之间的距离，作为第一距离；调整测量对象的第一热成像图像的分辨率，和/或，测量对象的第一可见光图像的分辨率，以使第一热成图像的分辨率和第一可见光图像的分辨率相同；根据第一距离和预设的配准参数，确定为配准第一热成像图像和第一可见光图像，所需要的补偿偏移量；按照补偿偏移量，配准第一热成像图像和第一可见光图像。本发明可以通过激光测距，准确地获取热成像镜头和测量对象之间的距离，由于确定补偿偏移量时，基于的是该准确测量得到的距离，因此误差较小，实现更准确地配准第一热成像图像和第一可见光图像。

Description

一种图像配准方法、装置及热成像摄像机
技术领域
本发明涉及红外热成像技术领域，特别是涉及一种图像配准方法、装置及热成像摄像机。
背景技术
温度高于绝对零度(-273℃)的物体会向外界发射热辐射光信号，利用这一原理，热成像摄像机可以利用热成像图像采集单元中的热成像透镜将热辐射光信号聚焦在热成像采集单元中的热成像图像探测器的敏感面上，热成像图像探测器可以根据接收到的热辐射光信号，生成包含有温度信息的热成像图像。由于热成像图像中包含的图像细节相较于可见光图像较少，例如，等温表面上的文字在热成像图像中难以识别，为了能够同时在一幅图像中包含温度信息和丰富的可见光图像细节，可以在热成像摄像机上配备可见光图像采集单元，可见光图像采集单元中包含有可见光镜头和可见光图像传感器，用以获取可见光图像，并将获取到的可见光图像与热成像图像融合。然而，在热成像摄像机中，由于热成像镜头光轴和可见光镜头光轴之间的平行设计位置可能存在位置差，导致空间中同一个目标，在热成像图像探测器上所成的影像相对于热成像镜头光轴的位置，和此目标在可见光图像传感器上所成的影像相对于可见光镜头光轴的位置不同，例如，对于空间中一个覆盖可见光和红外波段的白炽灯点光源，当成像在热成像图像探测器的中心位置时，对于可见光图像传感器，这个点光源可能成像在可见光图像传感器中心的左侧或者右侧，这取决于热成像镜头光轴和可见光镜头光轴的空间相对位置。因此，空间中同一个目标，在热成像图像和可见光图像中的相对位置不同，即两者之间存在一个图像坐标偏移量。该偏移量的大小随着目标和镜头距离的变化而变化，会使得热成像图像和可见光图像无法基于一个固定的坐标偏移量直接进行配准和融合。
现有技术中，为了消除该偏移量造成的图像融合不准确(重影)的影响，其方法可以是先基于自动聚焦(Auto Focus)技术，实现图像清晰，再根据感知此时镜头和图像探测器敏感面之间的距离、光学成像公式，推算出目标和镜头的距离(物距)。再基于推算所得的物距，配准热成像图像和可见光图象。具体的，可以是反复调整热成像镜头镜片的位置，直至热成像图像探测器获取到的热成像图像足够清晰，认为此时聚焦完成；然后将热成像图像探测器和热成像镜头之间的距离当做像距使用，基于几何光学的成像原理，计算出空间中同一个目标，在热成像图像中成像的坐标位置和在可见光图像中成像的坐标位置的位置差，按照该坐标位置差，配准热成像图像和可见光图像。
但是，根据光学成像原理，在成像系统中，当目标和镜头的距离(即物距)逐渐变大时，景深的范围也逐渐扩大。基于这个原理，如果目标距离镜头距离较远，当目标在景深范围当中的一个较大范围内前后移动时，在图像探测器的敏感面上，影像的清晰度将没有明显的变化。因此，当目标的物距大于一定程度(一般大于几十倍的镜头焦距)时，通过清晰度评价以及图像探测器敏感面与镜头的距离，推算出来的目标物距的误差也将越来越大。基于推算所得的可能带有很大误差的物距，示例性的，对于焦距f为10mm光圈为F/1.0的镜头，像元间距为17μm时，若物距为40米，此时景深范围已超过40米，推算的物距误差可能达到10米或更大，再去计算上述视差偏移量，将使热成像图像和可见光图像配准也产生很大的误差，无法保证得到很好的融合效果。从另一方面说，对于某一个目标物距，在热成像镜头和热成像图像探测器敏感面之间理论最清晰点(真实像距)附近一定范围内一系列不同的成像位置上，都能够使得热成像图像足够清晰。因此热成像图像足够清晰时，热成像镜头和热成像图像探测器的距离可能并不等于实际的像距，将该距离作为像距，来计算空间中同一发光点在热成像图像和可见光图像中的位置差，可能和实际的位置差存在较大误差，致使配准准确性较低。
发明内容
本发明实施例的目的在于提供一种图像配准方法，以实现更准确地配准测量对象的热成像图像和可见光图像。具体技术方案如下：
在本发明实施例的第一方面，提供了一种图像配准方法，所述方法包括：
获取激光测距得到的热成像镜头和测量对象之间的距离，作为第一距离，所述激光测距所使用的激光波长位于可见光波段或者人眼安全波段；
调整所述测量对象的第一热成像图像的分辨率，和/或，所述测量对象的第一可见光图像的分辨率，以使所述第一热成图像的分辨率和所述第一可见光图像的分辨率相同；
根据所述第一距离和预设的配准参数，确定为配准所述第一热成像图像和所述第一可见光图像，所需要的补偿偏移量，所述配准参数包括所述热成像镜头光轴和可见光镜头光轴之间的平行位置差，所述热成像镜头和所述可见光镜头中至少一个镜头的焦距，与该镜头对应的图像探测器的像元间距，以及固有偏移分量，所述可见光镜头所属的可见光图像采集单元的视场角，大于等于所述热成像镜头所属的热成像图像采集单元的视场角；
按照所述补偿偏移量，配准所述第一热成像图像和所述第一可见光图像。
结合第一方面，在第一种可能的实现方式中，所述获取激光测距得到的热成像镜头和测量对象之间的距离，包括：
利用预设的激光测距仪，获取所述激光测距仪和所述测量对象之间的距离，作为测量距离；
基于所述测量距离，和所述激光测距仪与热成像镜头之间的轴向距离，计算出热成像镜头、和测量对象之间的距离，作为第一距离。
结合第一方面，在第二种可能的实现方式中，所述补偿偏移量，包括第一偏移分量和第二偏移分量，所述补偿偏移量、所述第一偏移分量、所述第二偏移分量以及所述固有偏移分量，均是在图像传感器敏感平面上的二维矢量，所述第二偏移分量为根据所述第一距离、所述位置差、所述焦距及所述像元间距计算得到的，用于校正因两个镜头光轴被设计为平行但是不重合所造成的视差，所述第一偏移分量等于所述固有偏移分量。
结合第一方面的第二种可能的实现方式，在第三种可能的实现方式中，所述固有偏移分量用于补偿制造和装配过程中产生的视差；
所述根据所述距离和预设的配准参数，确定为配准所述测量对象的第一热成像图像和第一可见光图像，所需要的补偿偏移量，包括：
将所述固有偏移分量作为所述第一偏移分量，与所述测量对象对应的第二偏移分量按矢量相加，得到总偏移量，将所述总偏移量作为补偿偏移量。
结合第一方面的第三种可能的实现方式，在第四种可能的实现方式中，所述固有偏移分量采用如下方式确定：
获取测量得到的热成像镜头和标记对象之间的距离，作为第二距离；
确定所述标记对象的热成像影像在所述标记对象的热成像图像中的位置，和，所述标记对象的可见光影像在所述标记对象的可见光图像中的位置之间的偏移量，作为标定偏移量，其中，所述标记对象的热成像图像，和所述标记对象的可见光图像的分辨率相同；
根据所述第二距离，所述位置差，所述焦距及所述像元间距，使用和计算所述测量对象对应的第二偏移分量时相同的计算方法，计算得到所述标记对象对应的第二偏移分量；
将所述标定偏移量与所述标记目标对应的第二偏移分量按矢量相减得到的结果作为所述固有偏移分量。
结合第一方面，在第五种可能的实现方式中，还包括：
基于所述第一距离和所述热成像镜头的焦距，确定热成像像距；
调整所述热成像镜头的镜片的位置，和/或，热成像图像探测器的位置，使得所述热成像镜头的镜片和所述热成像图像探测器的距离等于所述热成像像距。
结合第一方面，在第六种可能的实现方式中，在所述调整所述测量对象的第一热成像图像的分辨率，和/或，所述测量对象的第一可见光图像的分辨率之前，还包括：
将热成像图像探测器获取到的热成像图像，作为第二热成像图像；
从所述第二热成像图像中截取感兴趣区域，作为所述第一热成像图像；
将可见光图像传感器获取到的图像，作为第二可见光图像；
从所述第二可见光图像中选定感兴趣区域，作为所述第一可见光图像；
所述调整所述测量对象的第一热成像图像分辨率，和/或，所述测量对象的第一可见光图像的分辨率，包括：
缩放所述第二可见光图像或者所述第一可见光图像中的一个可见光图像，和/或，缩放所述第一热成像图像。
结合第一方面，在第七种可能的实现方式中，所述调整所述测量对象的第一热成像图像的分辨率，和/或，所述测量对象的第一可见光图像的分辨率，以使所述第一热成图像的分辨率和所述第一可见光图像的分辨率相同，包括：
等比例调整所述测量对象的第一热成像图像的分辨率，使得所述第一热成像图像的分辨率和所述第一可见光图像的分辨率相同；
所述第二偏移分量是采用如下公式计算得到，包括：
按照下述公式分别计算得到所述第二偏移分量的水平方向分量|PPx|和垂直方向分量|PPy|：
其中，f2为所述可见光镜头的焦距，δ2x为所述可见光图像传感器的水平方向的像元间距，δ2y为所述可见光图像传感器的垂直方向的像元间距，dx为所述位置差的水平方向分量，dy为所述位置差的垂直方向分量，u为所述第一距离。
结合第一方面，在第八种可能的实现方式中，调整所述测量对象的第一热成像图像的分辨率，和/或，所述测量对象的第一可见光图像的分辨率，以使所述第一热成图像的分辨率和所述第一可见光图像的分辨率相同，包括：
等比例调整所述测量对象的第一可见光图像的分辨率，使得所述第一可见光图像和所述第一热成像图像的分辨率相同；
所述第二偏移分量是采用如下公式计算得到，包括：
按照下述公式分别计算得到所述第二偏移分量的水平方向分量|PPx|和垂直方向分量|PPy|：
其中，f1为所述热成像镜头的焦距，δ1x为所述第一热成像图像探测器的水平方向的像元间距，δ1y为所述第一热成像图像探测器的垂直方向的像元间距，dx为所述位置差的水平方向分量，dy为所述位置差的垂直方向分量，u为所述第一距离。
结合第一方面，在第九种可能的实现方式中，所述调整所述测量对象的第一热成像图像的分辨率，和/或，所述测量对象的第一可见光图像的分辨率，以使所述第一热成图像的分辨率和所述第一可见光图像的分辨率相同，包括：
等比例调整所述测量对象的第一热成像图像的分辨率，和，所述测量对象的第一可见光图像的分辨率，使得所述第一热成像图像的分辨率和所述第一可见光图像的分辨率均等于预设分辨率；
所述第二偏移分量是采用如下公式计算得到，包括：
按照下述公式之一计算得到所述第二偏移分量的水平方向分量|PPx|：
其中，K31为所述第一热成像图像进行等比例缩放时的缩放比例，K32为所述第一可见光图像进行等比例缩放时的缩放比例，f1为所述热成像镜头的焦距，δ1x为所述第一热成像图像探测器的水平方向的像元间距，δ1y为所述热成像图像探测器的垂直方向的像元间距，f2为所述可见光镜头的焦距，δ2x为所述第一可见光图像传感器的水平方向的像元间距，δ2y为所述可见光图像传感器的垂直方向的像元间距，dx为所述位置差的水平方向分量，u为所述第一距离。
按照下述公式之一计算得到所述第二偏移分量的垂直方向分量|PPy|：
其中，dy为所述位置差的垂直方向分量。
在本发明实施例的第二方面，提供了一种图像配准装置，所述装置包括：
测距模块，用于获取激光测距得到的热成像镜头和测量对象之间的距离，作为第一距离，所述激光测距所使用的激光波长位于可见光波段或者人眼安全波段；
缩放模块，用于调整所述测量对象的第一热成像图像的分辨率，和/或，所述测量对象的第一可见光图像的分辨率，以使所述第一热成像图像的分辨率和所述第一可见光图像的分辨率相同；
补偿模块，用于根据所述第一距离和预设的配准参数，确定为配准所述第一热成像图像和所述第一可见光图像，所需要的补偿偏移量，所述配准参数包括所述热成像镜头光轴和可见光镜头光轴之间的平行位置差，所述热成像镜头和所述可见光镜头中至少一个镜头的焦距，与该镜头对应的图像探测器的像元间距，以及固有偏移分量，所述可见光镜头所属的可见光采集单元的视场角，大于等于所述热成像镜头所属的热成像采集单元的视场角；
配准模块，用于按照所述补偿偏移量，配准所述第一热成像图像和所述第一可见光图像。
结合第二方面，在第一种可能的实现方式中，所述测距模块，具体用于利用预设的激光测距仪，获取所述激光测距仪和所述测量对象之间的距离，作为测量距离；
基于所述测量距离，和所述激光测距仪与热成像镜头之间的轴向距离，计算出热成像镜头和测量对象之间的距离，作为第一距离。
结合第二方面，在第二种可能的实现方式中，所述补偿偏移量，包括第一偏移分量和第二偏移分量，所述补偿偏移量、所述第一偏移分量、所述第二偏移分量以及所述固有偏移分量，均是在图像传感器敏感平面上的二维矢量，所述第二偏移分量为根据所述第一距离、所述位置差、所述焦距及所述像元间距计算得到的，用于校正因两个镜头光轴被设计为平行但是不重合所造成的视差，所述第一偏移分量等于所述固有偏移分量。
结合第二方面的第二种可能的实现方式，在第三种可能的实现方式中，所述固有偏移分量用于补偿制造和装配过程中产生的视差；
所述补偿模块，具体用于将所述固有偏移分量作为所述第一偏移分量，与所述测量对象对应的第二偏移分量按矢量相加，得到总偏移量，将所述总偏移量作为补偿偏移量。
结合第二方面的第三种可能的实现方式，在第四种可能的实现方式中，所述固有偏移分量采用如下方式确定：
获取测量得到的热成像镜头和标记对象之间的距离，作为第二距离；
确定所述标记对象的热成像影像在所述标记对象的热成像图像中的位置，和，所述标记对象的可见光影像在所述标记对象的可见光图像中的位置之间的偏移量，作为标定偏移量，其中，所述标记对象的热成像图像，和所述标记对象的可见光图像的分辨率相同；
根据所述第二距离，和所述位置差，所述焦距及所述像元间距，使用和计算所述测量对象对应的第二偏移分量时相同的计算方法，计算得到所述标记对象对应的第二偏移分量；
将所述标定偏移量与所述标记对象对应的第二偏移分量按矢量相减得到的结果作为所述固有偏移分量。
结合第二方面，在第五种可能的实现方式中，还包括：
调焦模块，用于基于所述第一距离和所述热成像镜头的焦距，确定热成像像距；并调整所述热成像镜头的镜片的位置，和/或，热成像图像探测器的位置，使得所述热成像镜头的镜片和所述热成像图像探测器的距离等于所述热成像像距。
结合第二方面，在第六种可能的实现方式中，还包括图像处理模块，用于将热成像图像传感器获取到的热成像图像，作为第二热成像图像；
从所述第二热成像图像中截取感兴趣区域，作为所述第一热成像图像；
将可见光图像传感器获取到的图像，作为第二可见光图像；
从所述第二可见光图像中选定感兴趣区域，作为所述第一可见光图像；
所述缩放模块，具体用用于缩放所述第二可见光图像或者所述第一可见光图像中的一个可见光图像，和/或，缩放所述第一热成像图像。
结合第二方面，在第七种可能的实现方式中，所述缩放模块，具体用于等比例调整所述测量对象的第一热成像图像的分辨率，使得所述第一热成像图像的分辨率和所述第一可见光图像的分辨率相同；
所述第二偏移分量是采用如下公式计算得到，包括：
按照下述公式分别计算得到所述第二偏移分量的水平方向分量|PPx|和垂直方向分量|PPy|：
其中，f2为所述可见光镜头的焦距，δ2x为所述可见光图像传感器的水平方向的像元间距，δ2y为所述可见光图像传感器的垂直方向的像元间距，dx为所述位置差的水平方向分量，dy为所述位置差的垂直方向分量，u为所述第一距离。
结合第二方面，在第八种可能的实现方式中，所述缩放模块，具体用于等比例调整所述测量对象的第一可见光图像的分辨率，使得所述第一可见光图像和所述第一热成像图像的分辨率相同；
所述第二偏移分量是采用如下公式计算得到，包括：
按照下述公式分别计算得到所述第二偏移分量的水平方向分量|PPx|和垂直方向分量|PPy|：
其中，f1为所述热成像镜头的焦距，δ1x为所述热成像图像探测器的水平方向的像元间距，δ1y为所述热成像图像探测器的垂直方向的像元间距，dx为所述位置差的水平方向分量，dy为所述位置差的垂直方向分量，u为所述第一距离。
结合第二方面，在第九种可能的实现方式中，所述缩放模块，具体用于等比例调整所述测量对象的第一热成像图像的分辨率，和，所述测量对象的第一可见光图像的分辨率，使得所述第一热成像图像的分辨率和所述第一可见光图像的分辨率均等于预设分辨率；
所述第二偏移分量是采用如下公式计算得到，包括
按照下述公式之一计算得到所述第二偏移分量的水平方向分量|PPx|：
其中，K31为所述第一热成像图像进行等比例缩放时的缩放比例，K32为所述第一可见光图像进行等比例缩放时的缩放比例，f1为所述热成像镜头的焦距，δ1x为所述热成像图像探测器的水平方向的像元间距，δ1y为所述热成像图像探测器的垂直方向的像元间距，f2为所述可见光镜头的焦距，δ2x为所述可见光图像传感器的水平方向的像元间距，δ2y为所述可见光图像传感器的垂直方向的像元间距，dx为所述位置差的水平方向分量，u为所述第一距离。
按照下述公式之一计算得到所述第二偏移分量的垂直方向分量|PPy|：
其中，dy为所述位置差的垂直方向分量。
在本发明实施例的第三方面，提供了一种热成像摄像机，所述热成像摄像机包括：
激光测距仪，用于激光测距得到所述激光测距仪和测量对象之间的距离，所述激光测距仪所使用的激光波长位于可见光波段或者人眼安全波段；
热成像图像采集单元，包括热成像镜头和热成像图像探测器；
所述热成像图像探测器，用于获取所述测量对象的第一热成像图像；
所述热成像镜头，用于将所述测量对象发出的或反射的热辐射光信号聚焦在所述热成像图像探测器的敏感面；
可见光图像采集单元，包括可见光镜头和可见光图像传感器，所述可见光图像采集单元的视场角，大于等于所述热成像图像采集单元的视场角；
所述可见光图像传感器，用于获取所述测量对象的第一可见光图像；
所述可见光镜头，用于将所述测量对象发出的或者反射的可见光信号聚焦在所述可见光图像传感器的敏感面；
还包括：处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，所述处理器被所述机器可执行指令促使：实现上述任一所述的图像配准方法步骤。
结合第三方面，在第一种可能的实现方式中，还包括：
图像显示模块，用于显示以下三个图像中的一个图像，或一个图像中的预设区域：
所述第一热成像图像，所述第一可见光图像，融合图像，所述融合图像为，使用上述任一所述的图像配准方法将所述第一热成像图像和所述第一可见光图像配准后，将所述第一热成像图像和所述第一可见光图像融合得到的。
在本发明实施例的第四方面，提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时上述任一所述的方法步骤可以被实现。
在本发明实施例的第五方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的图像配准方法。
本发明实施例提供的图像配准方法、装置及热成像摄像机，可以通过激光测距，准确地获取热成像镜头和测量对象之间的距离，由于确定补偿偏移量时，基于的是该准确测量得到的距离，因此误差较小，可以实现更准确地配准第一热成像图像和第一可见光图像。当然，实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的图像配准方法的一种流程示意图；
图2为本发明实施例提供的固有偏移分量确定方法的一种流程示意图；
图3a为本发明实施例提供的图像配准方法的另一种流程示意图；
图3b为本发明实施例提供的图像配准方法的又一种流程示意图；
图4为本发明实施例提供的图像配准方法的另一种流程示意图；
图5为本发明实施例提供的图像配准方法的一种原理示意图；
图6a为本发明实施例提供的图像配准装置的一种结构示意图；
图6b为本发明实施例提供的图像配准装置的另一种结构示意图；
图6c为本发明实施例提供的图像配准装置的又一种结构示意图；
图7a为本发明实施例提供的热成像摄像机的一种结构示意图；
图7b为本发明实施例提供的热成像摄像机的另一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，图1所示为本发明实施例提供的图像配准方法的一种流程示意图，可以包括以下步骤：
S101，获取激光测距得到的热成像镜头和测量对象之间的距离，作为第一距离，激光测距所使用的激光波长位于可见光波段或者人眼安全波段。
其中，可以是利用与热成像镜头轴向位置相同的激光测距仪进行激光测距，从激光测距仪中读取到的距离即为热成像镜头和测量对象之间的距离。热成像镜头和测量对象之间的距离，可以是热成像镜头等效的光心到测量对象之间的距离。
在一种可选的实施例中，激光测距仪也可以是和热成像镜头处于不同的轴向位置，具体的，从激光测距仪中读取到激光测距仪和测量对象之间的距离，再基于激光测距仪和热成像镜头之间的轴向，确定出热成像镜头和测量对象之间的距离。示例性的，从测距仪中读取的距离为1000mm，热成像镜头在轴向上位于测距仪前方10mm，则可以确定出热成像镜头和测量对象之间的距离为990mm。选用该实施例，用户可以根据实际需求，如热成像摄像机的结构需求，选择更好的激光测距仪安装位置。
具体的，可以是激光测距仪向测量对象发射一调制激光束，并测定该调制激光束往返一次产生的相位延迟，按照下式计算出测量对象和测距仪之间的距离：
其中，D为测量对象和测距仪之间的距离，为调制激光束往返一次产生的相位延迟，ω为调制激光束的角频率，c为激光束在大气中传播的速率。
也可以是测距仪向测量对象发射一的激光束，并记录激光束往返的用时，即测距仪发射激光束，和测距仪再次接收到该激光束之间的时间差t，按照下式计算出测量对象和测距仪之间的距离：
其中，调制激光束位于可见光波段或者人眼安全波段，可以理解的是，如果测量对象的邻近区域还同时存在其他热源体，现有技术中，在根据清晰度来聚焦的时候，可能会因为聚焦在其他热源体上使得清晰度高于预设的阈值，此时热成像摄像机错误地将其他热源体识别为测量对象。而本实施例中，如果调制激光束位于可见光波段，用户可以直观的看见激光照射的物体是否为测量对象，能够有效的避免热成像摄像机将其他热源体识别为测量对象，提高测量效率。
另外，在本实施例中，如果调制激光束位于人眼安全波段，由于人眼中的晶状体可以有效地吸收该波段的光束，所以即使调制激光束照射到人眼，调制激光束的所有能量或者绝大部分能量沉积在晶状体中，对人眼的视网膜没有或者近乎没有危害。
S102，调整测量对象的第一热成像图像的分辨率，和/或，测量对象的第一可见光图像的分辨率，以使第一热成像图像的分辨率和第一可见光图像的分辨率相同。
其中，第一热成像图像为，热成像图像探测器获取到的热成像图像中感兴趣区域的图像，第一可见光图像为，可见光图像传感器获取到的可见光图像中感兴趣区域的图像，第一热成像图像可以是从热成像图像探测器获取到的热成像图像中，截取感兴趣区域得到的，第一可见光图像可以是从可见光图像传感器获取到的可见光图像中，截取感兴趣区域得到的。可以是等比例地调整测量对象的第一热成像图像的分辨率，和/或，测量对象的第一可见光图像的分辨率，其中，等比例地调整是指在调整分辨率的过程中不改变图像的长宽比，示例性的，一幅图像的图像分辨率为1600，经过等比例调整后，图像分辨率可以为1920×1080，具体的可以有以下三种调整模式:
模式一：对测量对象的第一热成像图像的分辨率进行等比例调整，使得第一热成像图像和第一可见光图像的图像分辨率一致。
上述对测量对象的第一热成像图像的分辨率进行等比例调整，是指对包含有测量对象的热成像的影像的第一热成像图像的分辨率进行等比例调整，而非只调整第一热成像图像中的热成像的影像的分辨率。
模式二，对测量对象的第一可见光图像的分辨率进行等比例调整，使得第一可见光图像和热成像图像的图像分辨率一致。
由于可见光图像传感器的技术相较于热成像图像探测器的技术更加成熟，因此双光谱的热成像摄像机中，可见光图像传感器的分辨率，往往高于热成像图像探测器的分辨率，使得获取到的测量对象的第一可见光图像的图像分辨率往往高于第一热成像图像的图像分辨率，而选用模式一或者模式二，可以将图像分辨率不一致的第一热成像图像和第一可见光图像，调整至相同的图像分辨率，以实现第一热成像图像和第一可见光图像的图像分辨率不同的情况下的配准。
模式三，对测量对象的第一热成像图像的分辨率，和，测量对象的第一可见光图像的分辨率进行等比例调整，使得第一热成像图像和第一可见光图像的图像分辨率均等于预设分辨率。
一些热成像摄像机上配备有显示屏，或者外接有显示屏，而显示屏的分辨率可能与第一热成像图像和第一可见光图像的分辨率都不相同，如果按照模式一或者模式二的方式进行调整，配准并融合后得到的融合图像的图像分辨率可能不适合直接在该显示屏上进行显示。示例性的，假设第一热成像图像和第一可见光图像的图像分辨率分别为，384×288和1600×1200，显示屏的分辨率为800×600，按照模式一的方法将第一热成像图像的分辨率等比例调整至1600×1200，配准并融合后得到的融合图像的图像分辨率同样为1600×1200，使用显示屏显示该融合图像时，可能会使用户觉得显示出来的融合图像较小，需要再次对融合图像进行缩放，然而在缩放过程中，融合图像的画质可能会降低。选用模式三，可以将第一热成像图像和第一可见光图像缩放至一个预设分辨率，能够解决该技术问题。可以理解的是，预设分辨率可以是热成像摄像机中或者外接的显示屏的分辨率，也可以是用户根据其他情况下的实际需求设置的一个分辨率。
S103，根据第一距离和预设的配准参数，确定为配准第一热成像图像和第一可见光图像，所需要的补偿偏移量。
其中，在本实施例中，配准参数包括，热成像镜头光轴和可见光镜头光轴之间的平行位置差，热成像镜头和可见光镜头中至少一个镜头的焦距，与该镜头对应的图像探测器的像元间距，以及固有偏移分量，并且，在本实施例中可见光镜头所属的可见光图像采集单元的视场角，大于等于热成像镜头所属的热成像图像采集单元的视场角。可以理解的是，可见光镜头对应的图像探测器为可见光图像传感器，热成像镜头对应的图像探测器为热成像图像探测器，示例性的，配准参数可以包括：热成像镜头的光学中心和可见光镜头的光学中心之间的位置差，热成像镜头的焦距，热成像图像探测器的像元间距，以及固有偏移分量。
具体的，可以是根据第一距离和配准参数，基于几何光学的成像原理和平面几何，计算出一偏移量，并将该偏移量作为补偿偏移量。在一种可选的实施例中，补偿偏移量也可以由第一偏移分量和第二偏移分量组成，其中第一偏移分量为一预设的固定值，并等于固有偏移分量，第二偏移分量是根据第一距离和配准参数中的位置差、焦距及像元间距，基于双目视差原理，计算得到补偿偏移量中的第二偏移分量，该第二偏移分量，用于校正因两个镜头光轴被设计为平行但是不重合所造成的视差。可以理解的是，造成第一热成像图像和第一可见光图像中的视差的原因可能有多个，因此完全通过解析方法去计算视差，往往比较复杂。选用本实施例，可以通过计算得到因测量对象相对于热成像镜头的光学中心的位置，和测量对象相对于可见光镜头的光学中心的位置不同造成的视差，并利用一预设的固定值用于补偿因其他原因引起的视差，在保证了得到的补偿偏移量的准确度的前提下，降低了计算补偿偏移量所需要的计算量。
进一步的，固有偏移分量可以根据实际需求进行配置，在一种可选的实施例中，固有偏移分量用于补偿热成像摄像机在制造和装配过程中产生的视差，在计算补偿偏移量时，将该固有偏移分量作为第一偏移量，与测量对象对应的第二偏移量按矢量相加，得到总偏移量，将总偏移量作为补偿偏移量。可以理解的是，在热成像摄像机的各个零部件在制造和装配过程中，可能与设计的尺寸或位置存在偏差，例如，在装配过程中，热成像图像探测器电路板、可见光图像传感器电路的安装固定时都会产生位置定位误差，热成像图像探测器的光轴与可见光图像传感器的光轴没有完全平行，而这些偏差可能导致空间中一个点在第一热成像图像或者第一可见光图像中的位置产生变化，如果在第一热成像图像中的位置变化，和第一可见光图像中的位置的变化不一致，则会产生视差。
另外，第二偏移分量可以根据S102中采用的模式不同，采用不同的公式计算，在一种可选的实施例中，如果S102中选用的是模式一，可以按照下述公式分别计算得到对于测量目标的第二偏移分量的水平方向分量|PPx|和垂直方向分量|PPy|：
其中，f2为可见光镜头的焦距，δ2x为第一可见光图像传感器的水平方向的像元间距，δ2y为第一可见光图像传感器的垂直方向的像元间距，dx为位置差的水平方向分量，dy为位置差的垂直方向分量，u为第一距离。
可以理解的是，以垂直方向分量为例，如图5所示，其中，501为热成像图像探测器的光轴，502为可见光图像传感器的光轴，503为一个与热成像镜头等效的凸透镜，504为一个与可见光镜头等效的凸透镜，T为测量对象上的一个点，T1为点T在第一热成像图像上的位置，P1为点T1做热成像图像探测器的光轴501的垂线的垂足，O1为热成像镜头等效的光心，Z1为点T做热成像图像探测器的光轴501的垂线的垂足，T2为点T在第一可见光图像上的位置，P2为点T2做热成像图像探测器的光轴502的垂线的垂足，O2为可见光镜头等效的光心，Z2为点T做热成像图像探测器的光轴502的垂线的垂足，T1对应的像元坐标(以下简称坐标)，可以利用三角形T1O1P1与三角形TO1Z1相似计算得到，具体为：
其中，T1对应的坐标，y为点T距离热成像图像探测器的光轴501的距离在垂直方向的分量，f1为热成像镜头503的焦距，δ1x为第一热成像图像探测器的水平方向的像元间距。T2对应的坐标同理，可以由三角形T2P2O2相似于三角形TZ2O2计算得到，具体为：
其中，n2为T2对应的坐标。由于第一热成像图像的分辨率需要进行等比例调整，等比例调整后T2对应的坐标为K21·n1，其中K21为调整比例，可以由下式确定：
进一步的，按照下式求出T1对应的坐标，和T2对应的坐标之间的坐标差，即可以得到如上第一偏移分量的垂直方向分量的计算公式：
在上述推导过程中，使用焦距替换了像距，可以理解的是，在热成像摄像机的实际工作场景中，例如工业测温、周界安防监控、森林防火、车辆辅助驾驶等等，第一距离往往远大于热成像镜头的焦距和可见光镜头的焦距，例如工业测时，常用的镜头焦距为15mm，而物距往往在1米以上，由高斯成像公式可知，当物距远大于焦距时，像距趋近于焦距，示例性的，当物距等于50倍焦距时，像距等于1.02倍的焦距，相差仅为2％，当物距相对焦距的比率更大时，误差还将进一步缩小。因此，在本实施例中，使用焦距替换像距带来的误差，带来的误差在可接受的误差允许范围之内。
如果S102中选用的是模式二，可以按照下述公式分别计算得到补偿偏移量的水平方向分量|PPx|和垂直方向分量|PPy|：
其中，f1为可见光镜头的焦距，δ1x为第一可见光图像传感器的水平方向的像元间距，δ1y为第一可见光图像传感器的垂直方向的像元间距，dx为位置差的水平方向分量，dy为位置差的垂直方向分量，u为第一距离。
具体的，水平方向是指第一热成像图像探测器,或者,第一可见光图像传感器读取数据时对同一行的像元扫描的方向，可以理解的是在不考虑制造和装配造成的误差的情况下，这两个图像探测器的水平方向理论上是一致的。垂直方向是指第一热成像图像探测器,或者，第一可见光图像传感器按像元行读取数据时，扫描行逐行步进的方向。δ1x和δ1y可以是相等的，即第一热成像图像探测器中每个像素单元可以是一个正方形。
如果S102中选用的是模式三，按照下述公式之一计算得到对于测量目标的第二偏移分量的水平方向分量|PPx|：
其中，K31为第一热成像图像进行等比例缩放时的缩放比例，K32第一可见光图像进行等比例缩放时的缩放比例，f1为热成像镜头的焦距，δ1x为第一热成像图像探测器的水平方向的像元间距，δ1y为第一热成像图像探测器的垂直方向的像元间距，f2为可见光镜头的焦距，δ2x为第一可见光图像传感器的水平方向的像元间距，δ2y为第一可见光图像传感器的垂直方向的像元间距，dx为位置差的水平方向分量，u为第一距离。
按照下述公式之一计算得到对于测量目标的第二偏移分量的垂直方向分量|PPy|：
其中，dy为位置差的垂直方向分量。
可以理解的是，可以是先计算补偿偏移量的水平方向分量，再计算补偿偏移量的垂直方向分量，也可以是先计算补偏移量的垂直方向分量，再计算补偿偏移量的水平方向分量。在本实施例中，当使用公式计算补偿偏移量的水平方向分量时，使用公式计算补偿偏移量的垂直方向分量，当使用公式计算补偿偏移量的水平方向分量时，使用公式计算补偿偏移量的垂直方向分量。
可以理解的是，上述补偿偏移量、第一偏移分量、第二偏移分量、固有偏移分量以及标定偏移量，均是在热成像图像探测器或者可见光图像传感器的敏感平面上的二维矢量。
S104，按照补偿偏移量，配准第一热成像图像和第一可见光图像。
具体的，可以是固定第一热成像图像，将第一可见光图像朝向第一热成像图像方向移动补偿偏移量个像素。也可以是，固定第一可见光图像，将热成像朝对应的方向移动补偿偏移量个像素。
通过激光测距，可以准确地获取热成像镜头和测量对象之间的距离，例如常用的激光测距仪，当第一距离为40米时，误差一般小于2厘米，选用本实施例，由于确定补偿偏移量时，基于的是该准确测量得到的距离，因此误差较小，可以实现更准确地配准第一热成像图像和第一可见光图像。
参见图2，图2所示为本发明实施例提供的固有偏移分量确定方法的一种流程示意图，可以包括：
S201，获取测量得到的热成像镜头和标记对象之间的距离，作为第二距离。
其中，热成像镜头和标记对象之间的距离可以是利用激光测距得到的，也可以是利用其它测距手段测量得到的，例如，可以是通过直尺测量得到的。可以理解的是，标记对象在第一热成像图像和第一可见光图像中，应当能够与周边环境区分开来，在本实施例中，标记对象可以是将镂空有标记图案的金属标靶固定于一黑体的热辐射面前方得到的。
S202，确定标记对象的热成像影像在标记对象的热成像图像中的位置，和，标记对象的可见光影像在标记对象的可见光图像中的位置之间的偏移量，作为标定偏移量。
其中，标记对象的热成像图像，和标记对象向的可见光图像的分辨率相同。
在一种可选的实施例中，可以是将标记对象的热成像图像以预设的透明度，叠加于标记对象的可见光图像上得到叠加图像，其中，两幅图像叠加是指将其中一幅图片中像素点的像素值附加到另一幅图片对应的像素点上，由于叠加图像是通过未配准的，标记对象的热成像图像和标记对象的可见光图像进行叠加得到的，因此标记对象上的一个点在叠加图像中会有两个影像，一个为该点的热成像影像，另一个为该点的可见光影像，在叠加图像中找到标记对象上一个点对应的两个影像，确认这两个影像之间的坐标差，将该坐标差作为标定偏移量。由标记对象测得的标定偏移量，实际已包含了两部分的误差偏移量：
S203，根据第二距离，和位置差及焦距、像元间距，计算得到标记对象对应的第二偏移分量。
其中，标记对象对应的第二偏移分量，与测量对象对应的第二偏移分量并不相同。测量对象的第二偏移分量用于计算补偿偏移量，而标记对象对应的第二偏移分量，用于在预先标定的过程中，计算配准参数中的固有偏移分量。
S204，将标定偏移量与标记对象对应的第二偏移分量按矢量相减得到的结果作为固有偏移分量。
可以理解的是，偏移量是带有方向的矢量，因此将标定偏移量与对应测量对象的第二偏移分量相减应当是按矢量相减，例如，假设标定偏移量的水平方向分量为3，方向水平向左，第二偏移分量的水平方向分量为2，方向水平向右，则可以计算得到固有偏移分量的水平方向分量为3-(-2)＝5，方向水平向左。
选用该实施例可以通过预先标定的方法，更准确地获取固有偏移分量。
参见图3a，图3a所示为本发明实施例提供的图片配准方法的另一种流程示意图，可以具体包括以下步骤：
S301，获取激光测距得到的热成像镜头和测量对象之间的距离，作为第一距离。
此步骤与S101相同，可以参见前述S101的描述，在此不再赘述。
S302，等比例地调整测量对象的第一热成像图像的分辨率，和/或，测量对象的第一可见光图像的分辨率，以使第一热成像图像的分辨率和第一可见光图像的分辨率相同。
此步骤与S102相同，可以参见前述S102的描述，在此不再赘述。
S303，根据第一距离和预设的配准参数，确定为配准测量对象的第一热成像图像和第一可见光图像，所需要的补偿偏移量。
此步骤与S103相同，可以参见前述S103的描述，在此不再赘述。
S304，按照补偿偏移量，配准第一热成像图像和第一可见光图像。
此步骤与S104相同，可以参见前述S104的描述，在此不再赘述。
S305，基于第一距离和热成像镜头的焦距，确定热成像像距。
具体的，可以是利用高斯成像公式计算出像距。该步骤和后续的S306，可以是在S303或者S304完成后进行，也可以是和S303或者S304同时进行，还可以是在S303之前进行。
在一种优选的实施例中，如图3b所示，在S302执行完成后，同时执行S305和S303，当S303执行完成后，执行S304，S305执行完成后，执行S306，两个线程之间可以是完全独立地并行，也可以是交替执行，例如，在等待热成像镜头镜片的位置调整到指定位置的过程中，按照补偿偏移量，配准第一热成像图像和第一可见光图像。选用本实施例，可以有效缩短完成这四个步骤所需要花费的总时间。
S306，调整热成像镜头镜片的位置，和/或，热成像图像探测器的位置，使得热成像镜头的镜片和热成像图像探测器的距离等于热成像像距。
示例性的，计算得到像距为20mm，当前热成像镜头的镜片和热成像图像探测器的距离为15mm，可以是将热成像镜头的镜片或者热成像图像探测器的任何一方朝远离对方的方向移动5mm，或者将热成像镜头的镜片和第一热成像图像探测器同时朝远离对方的方向各自移动2.5mm。
现有技术中，为了使得热成像摄像机能够获取清晰的测量对象的第一热成像图像，可以先读取采集到的数字化图像数据，基于清晰度评价函数，计算当前热成像图像探测器获取到的图像的清晰度评价值，利用一步进式电机持续调整热成像镜头的镜片的位置，直至评价函数输出的清晰度评价值出现峰值并且确认已越过峰值(这是由于必须看到越过峰值，才能确认峰值已出现)，然后再通过控制步进电机退回至峰值附近，通过多次来回搜索，确认清晰度评价值和峰值的差距小于预设的清晰度误差阈值，完成聚焦清晰的过程。然而，利用该方法需要反复调整热成像镜头的镜片的位置，才能找到能够获取清晰的测量对象的第一热成像图像的位置，耗费时间较多。
而选用该实施例，可以根据测量得到的第一距离，直接且快速地将热成像镜头的镜片和第一热成像图像探测器之间距离调整为像距，由光学成像原理可知，此时探测对象必然可以在第一热成像图像探测器上呈现清晰的影像，并且由于不需要反复尝试，因此整个过程耗时较短，可以有效节省时间。
参见图4，图4所示为本发明实施例提供的图像配准方法的另一种流程示意图，可以包括以下步骤：
S401，获取激光测距测量得到的热成像镜头和测量对象之间的距离，作为第一距离。
此步骤与S101相同，可以参见前述关于S101的描述，在此不再赘述。
S402，将热成像图像探测器获取到的热成像图像，作为第二热成像图像。
S403，从第二热成像图像中截取感兴趣区域，作为第一热成像图像。
具体的，可以是从第二热成像图像中截取一预设视场角对应的区域，作为第一热成像图像，其中，第一热成像图像是一个独立的图像。
S404，将可见光图像传感器获取到的图像，作为第二可见光图像。
S405，从第二可见光图像中选定感兴趣区域，作为第一可见光图像。
其中，第一可见光图像并非一个独立的图像，而是第二可见光图像中的一个子图像。在其他实施例中，也可以先执行S404、S405，再执行S402、S403，或者，同时执行S402和S404，同时执行S403和S405。
S406，缩放第一热成像图像，和/或，第二可见光图像，以使第一热成像图像的分辨率和第一可见光图像的分辨率相同。
可以理解的是，由于第一可见光图像为第二可见光图像中的一子图像，因此在对第二可见光图像进行等比例缩放时，第一可见光图像会同时进行等比例缩放。
在其他实施例中，也可以使用以下两个步骤中的一个步骤替代S406：
步骤一、该步骤也可以是缩放第一可见光图像，以使第一热成像图像的分辨率和第一可见光图像的分辨率相同。
步骤二、缩放第一可见光图像和第一热成像图像，以使第一热成像图像的分辨率和第一可见光图像的分辨率相同。
S407，根据第一距离和预设的配准参数，确定为配准测量对象的第一热成像图像和第一可见光图像，所需要的补偿偏移量。
此步骤与S103相同，可以参见前述关于S103的描述，在此不再赘述。
S408，按照补偿偏移量，配准第一热成像图像和第一可见光图像。
此步骤与S104相同，可以参见前述关于S104的描述，在此不再赘述。
选用本实施例，由于第一可见光图像为第二可见光图像的一区域，第一可见光图像外围还包括有第二可见光图像中其他区域的可见光图像信息，因此在将第一可见光图像和第一热成像图像进行配准并融合后得到的融合图像中，可以包含有更多信息。
参见图6a，图6a所示为本发明实施例提供的图像配准装置的一种模块组成结构示意图，可以包括：
测距模块601，用于获取激光测距得到的热成像镜头和测量对象之间的距离，作为第一距离，激光测距所使用的激光波长位于可见光波段或者人眼安全波段；
缩放模块602，用于调整测量对象的第一热成像图像的分辨率，和/或，测量对象的第一可见光图像的分辨率，以使第一热成像图像的分辨率和第一可见光图像的分辨率相同；
补偿模块603，用于根据第一距离和预设的配准参数，确定为配准第一热成像图像和第一可见光图像，所需要的补偿偏移量，配准参数包括热成像镜头光轴和可见光镜头光轴之间的平行位置差，热成像镜头和可见光镜头中至少一个镜头的焦距，与该镜头对应的探测器的像元间距，以及固有偏移分量，可见光镜头所属的可见光采集单元的视场角，大于等于热成像镜头所属的热成像采集单元的视场角；
配准模块604，用于按照补偿偏移量，配准第一热成像图像和第一可见光图像。
在一种可选的实施例中，测距模块601，具体用于利用预设的激光测距仪，获取激光测距仪和测量对象之间的距离，作为测量距离；
基于测量距离，和激光测距仪与热成像镜头之间的轴向距离，计算出热成像镜头和测量对象之间的距离，作为第一距离。
在一种可选的实施例中，补偿偏移量，包括第一偏移分量和第二偏移分量，补偿偏移量、第一偏移分量、第二偏移分量以及固有偏移分量，均是在图像传感器敏感平面上的二维矢量，第二偏移分量为根据第一距离、位置差、焦距及像元间距计算得到的，用于校正因两个镜头光轴被设计为平行但是不重合所造成的视差，第一偏移分量为一预设的固定值。
在一种可选的实施例中，固有偏移分量用于补偿制造和装配过程中产生的视差；
补偿模块603，具体用于将固有偏移分量作为第一偏移分量，与测量对象对应的第二偏移分量按矢量相加，得到总偏移量，将总偏移量作为补偿偏移量。
进一步的，在另一种可选的实施例中，固有偏移分量采用如下方式确定：
获取激光测距得到的热成像镜头和标记对象之间的距离，作为第二距离；
确定标记对象的热成像影像在标记对象的热成像图像中的位置，和，标记对象的可见光影像在标记对象的可见光图像中的位置之间的偏移量，作为标定偏移量，其中，标记对象的热成像图像，和标记对象的可见光图像的分辨率相同；
根据第二距离，和位置差，焦距及像元间距，使用和计算测量对象对应的第二偏移分量时相同的计算方法，计算得到标记对象对应的第二偏移分量；
将标定偏移量与标记对象对应的第二偏移分量按矢量相减得到的结果作为固有偏移分量。
在一种可选的实施例中，参见图6b，还包括：
调焦模块605，用于基于第一距离和热成像镜头的焦距，确定热成像像距；并调整热成像镜头的镜片的位置，和/或，热成像图像探测器的位置，使得热成像镜头的镜片和热成像图像探测器的距离等于热成像像距。
在一种可选的实施例中，参见图6c，还包括图像处理模块606，用于将热成像图像传感器获取到的热成像图像，作为第二热成像图像；从第二热成像图像中截取感兴趣区域，作为第一热成像图像；将可见光图像传感器获取到的图像，作为第二可见光图像；从第二可见光图像中选定感兴趣区域，作为第一可见光图像；
缩放模块602，具体用于缩放第二可见光图像或者第一可见光图像中的一个可见光图像，和/或，缩放第一热成像图像。
在一种可选的实施例中，缩放模块602，具体用于等比例调整测量对象的第一热成像图像的分辨率，使得第一热成像图像的分辨率和第一可见光图像的分辨率相同；
第二偏移分量是采用如下公式计算得到，包括：
按照下述公式分别计算得到第二偏移分量的水平方向分量|PPx|和垂直方向分量|PPy|：
其中，f2为可见光镜头的焦距，δ2x为可见光图像传感器的水平方向的像元间距，δ2y为可见光图像传感器的垂直方向的像元间距，dx为位置差的水平方向分量，dy为位置差的垂直方向分量，u为第一距离。
在一种可选的实施例中，缩放模块602，具体用于等比例调整所述测量对象的第一可见光图像的分辨率，使得所述第一可见光图像和所述第一热成像图像的分辨率相同；
第二偏移分量是采用如下公式计算得到，包括：
按照下述公式分别计算得到第二偏移分量的水平方向分量|PPx|和垂直方向分量|PPy|：
其中，f1为热成像镜头的焦距，δ1x为热成像图像探测器的水平方向的像元间距，δ1y为热成像图像探测器的垂直方向的像元间距，dx为位置差的水平方向分量，dy为位置差的垂直方向分量，u为第一距离。
在一种可选的实施例中，缩放模块602，具体用于等比例调整所述测量对象的第一热成像图像的分辨率，和，所述测量对象的第一可见光图像的分辨率，使得所述第一热成像图像的分辨率和所述第一可见光图像的分辨率均等于预设分辨率；
第二偏移分量是采用如下公式计算得到，包括：
按照下述公式分别计算得到第二偏移分量的水平方向分量|PPx|和垂直方向分量|PPy|：
其中，f1为热成像镜头的焦距，δ1x为热成像图像探测器的水平方向的像元间距，δ1y为热成像图像探测器的垂直方向的像元间距，dx为位置差的水平方向分量，dy为位置差的垂直方向分量，u为第一距离。
参见图7，图7所示为本发明实施例提供的一种热成像摄像机，可以包括：
激光测距仪710，用于激光测距得到激光测距仪和测量对象之间的距离，激光测距仪工作于可见光波段或者人眼安全波段；
热成像图像采集单元720，包括热成像镜头721和热成像图像探测器722；
热成像图像探测器721，用于获取测量对象的第一热成像图像；
热成像镜头722，用于将测量对象发出的或反射的热辐射光信号聚焦在热成像图像探测器721的敏感面；
可见光图像采集单元730，包括可见光镜头731和可见光图像传感器732，可见光图像采集单元730的视场角，大于等于热成像图像采集单元720的视场角；
可见光图像传感器732，用于获取测量对象的第一可见光图像；
可见光镜头731，用于将测量对象发出的或反射的可见光信号聚焦在可见光图像传感器732的敏感面；
处理器740和机器可读存储介质，机器可读存储介质存储有能够被处理器执行的机器可执行指令，处理器被机器可执行指令促使：实现如下步骤：
获取激光测距得到的热成像镜头和测量对象之间的距离，作为第一距离，激光测距所使用的激光波长位于可见光波段或者人眼安全波段；
调整测量对象的第一热成像图像的分辨率，和/或，测量对象的第一可见光图像的分辨率，以使第一热成图像的分辨率和第一可见光图像的分辨率相同；
根据第一距离和预设的配准参数，确定为配准第一热成像图像和第一可见光图像，所需要的补偿偏移量，配准参数包括热成像镜头光轴和可见光镜头光轴之间的平行位置差，热成像镜头和可见光镜头中至少一个镜头的焦距，与该镜头对应的图像探测器的像元间距，以及固有偏移分量，可见光镜头所属的可见光图像采集单元的视场角，大于等于热成像镜头所属的热成像图像采集单元的视场角；
按照补偿偏移量，配准第一热成像图像和第一可见光图像。
在一种可选的实施例中，获取激光测距得到的热成像镜头和测量对象之间的距离，包括：
利用预设的激光测距仪，获取激光测距仪和测量对象之间的轴向距离，作为测量距离；
基于测量距离，和激光测距仪与热成像镜头之间的相对距离，计算出热成像镜头和测量对象之间的距离，作为第一距离。
在一种可选的实施例中，补偿偏移量，包括第一偏移分量和第二偏移分量，补偿偏移量、第一偏移分量、第二偏移分量以及固有偏移分量，均是在图像传感器敏感平面上的二维矢量，第二偏移分量为根据第一距离、位置差、焦距及像元间距计算得到的，用于校正两个镜头光轴被设计为平行但是不重合所造成的视差，第一偏移分量等于固有偏移分量；
进一步的，在一种可选的实施例中，配准参数，固有偏移分量用于补偿制造和装配过程中产生的视差；
根据第一距离和预设的配准参数，确定为配准测量对象的第一热成像图像和第一可见光图像，所需要的补偿偏移量，包括：
将固有偏移分量作为第一偏移分量，与测量对象对应的第二偏移分量按矢量相加，得到总偏移量，将总偏移量作为补偿偏移量。
进一步的，在一种可选的实施例中，固有偏移分量采用如下方式确定：
获取测量得到的热成像镜头和标记对象之间的距离，作为第二距离；
确定标记对象的热成像影像在标记对象的热成像图像中的位置，和，标记对象的可见光影像在标记对象的可见光图像中的位置之间的偏移量，作为标定偏移量，其中，标记对象的热成像图像，和标记对象的可见光图像的分辨率相同；
根据第二距离，位置差，焦距及像元间距，使用和计算测量对象对应的第二偏移分量时相同的计算方法，计算得到标记对象对应的第二偏移分量；
将标定偏移量与标记对象对应的第二偏移分量按矢量相减得到的结果作为固有偏移分量。
在一种可选的实施例中，还包括：
基于第一距离和热成像镜头的焦距，确定热成像像距；
调整热成像镜头的镜片的位置，和/或，热成像图像探测器的位置，使得热成像镜头的镜片和热成像图像探测器的距离等于热成像像距。
在一种可选的实施例中，在调整测量对象的第一热成像图像的分辨率，和/或，测量对象的第一可见光图像的分辨率之前，还包括：
将热成像图像探测器获取到的热成像图像，作为第二热成像图像；
从第二热成像图像中截取感兴趣区域，作为第一热成像图像；
将可见光图像传感器获取到的图像，作为第二可见光图像；
从第二可见光图像中选定感兴趣区域，作为第一可见光图像；
调整测量对象的第一热成像图像分辨率，和/或，测量对象的第一可见光图像的分辨率，包括：
缩放第二可见光图像或者第一可见光图像中的一个可见光图像，和/或，缩放第一热成像图像。
在一种可选的实施例中，等比例调整测量对象的第一热成像图像的分辨率，和/或，测量对象的第一可见光图像的分辨率，以使第一热成图像的分辨率和第一可见光图像的分辨率相同，包括：
等比例调整测量对象的第一热成像图像的分辨率，使得第一热成像图像的分辨率和第一可见光图像的分辨率相同；
第二偏移分量是采用如下公式计算得到，包括：
按照下述公式分别计算得到第二偏移分量的水平方向分量|PPx|和垂直方向分量|PPy|：
其中，f2为可见光镜头的焦距，δ2x为可见光图像传感器的水平方向的像元间距，δ2y为可见光图像传感器的垂直方向的像元间距，dx为位置差的水平方向分量，dy为位置差的垂直方向分量，u为第一距离。
在一种可选的实施例中，等比例调整测量对象的第一热成像图像的分辨率，和/或，测量对象的第一可见光图像的分辨率，以使第一热成图像的分辨率和第一可见光图像的分辨率相同，包括：
等比例调整测量对象的第一可见光图像的分辨率，使得第一可见光图像和第一热成像图像的分辨率相同；
第二偏移分量是采用如下公式计算得到，包括：
按照下述公式分别计算得到第二偏移分量的水平方向分量|PPx|和垂直方向分量|PPy|：
其中，f1为热成像镜头的焦距，δ1x为第一热成像图像探测器的水平方向的像元间距，δ1y为第一热成像图像探测器的垂直方向的像元间距，dx为位置差的水平方向分量，dy为位置差的垂直方向分量，u为第一距离。
在一种可选的实施例中，等比例调整测量对象的第一热成像图像的分辨率，和/或，测量对象的第一可见光图像的分辨率，以使第一热成图像的分辨率和第一可见光图像的分辨率相同，包括：
等比例调整测量对象的第一热成像图像的分辨率，和，测量对象的第一可见光图像的分辨率，使得第一热成像图像的分辨率和第一可见光图像的分辨率均等于预设分辨率；
第二偏移分量是采用如下公式计算得到，包括：
按照下述公式之一计算得到第二偏移分量的水平方向分量|PPx|：
其中，K31为第一热成像图像进行等比例缩放时的缩放比例，K32为第一可见光图像进行等比例缩放时的缩放比例，f1为热成像镜头的焦距，δ1x为第一热成像图像探测器的水平方向的像元间距，δ1y为热成像图像探测器的垂直方向的像元间距，f2为可见光镜头的焦距，δ2x为第一可见光图像传感器的水平方向的像元间距，δ2y为可见光图像传感器的垂直方向的像元间距，dx为位置差的水平方向分量，u为第一距离；
按照下述公式之一计算得到第二偏移分量的垂直方向分量|PPy|：
其中，dy为位置差的垂直方向分量。
在一种可选的实施例中，如图7b所示，还包括：
图像显示模块750，用于显示以下三个图像中的一个图像，或一个图像中的预设区域：
第一热成像图像，第一可见光图像，融合图像。
其中，融合图像为，使用上述任一的图像配准方法将第一热成像图像和第一可见光图像配准后，再将第一热成像图像和第一可见光图像融合得到的。图像显示模块750，根据用户的实际需求，可以切换所显示的图像。
选用该实施例，可以使得用户能够在热成像摄像机上直接观看到图像，而不需要再借助其他设备，给用户的使用带来了方便。
可以理解的是，如果在可见光镜头所属的可见光图像采集单元的视场角，和热成像镜头所属的热成像图像采集单元的视场角相等，且调整分辨率后所得到的第一可见光图像和第一热成像图像的图像分辨率也相同的情况下，在配准后，由于第一可见光图像和/或第一热成像图像进行了偏移，因此两个图像只能部分重合，在融合后，得到的融合图像相对于第一热成像图像不是全幅的。在本实施例中，由于可见光镜头所属的可见光图像采集单元的视场角，大于热成像镜头所属的热成像图像采集单元的视场角的视场角，因此在配准后，即使第一可见光图像和/或第一热成像图像进行了偏移，第一可见光图像仍然可能完全覆盖第一热成像图像，使得通过将热成像和可见光两个图像区域相对移动实现视差校正并且融合后的图像，更能保证其是全幅的。因此，可以减少得到的融合图像不是全幅的情况的发生，使得融合后的图像尽可能保持完整的场景信息。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一的图像配准方法。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一的图像配准方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置和热成像摄像机的实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (14)

1.一种图像配准方法，其特征在于，包括：
获取激光测距得到的热成像镜头和测量对象之间的距离，作为第一距离，所述激光测距所使用的激光波长位于可见光波段或者人眼安全波段；
调整所述测量对象的第一热成像图像的分辨率，和/或，所述测量对象的第一可见光图像的分辨率，以使所述第一热成像图像的分辨率和所述第一可见光图像的分辨率相同；
根据所述第一距离和预设的配准参数，确定为配准所述第一热成像图像和所述第一可见光图像，所需要的补偿偏移量，所述配准参数包括所述热成像镜头光轴和可见光镜头光轴之间的平行位置差，所述热成像镜头和所述可见光镜头中至少一个镜头的焦距，与该镜头对应的图像探测器的像元间距，以及固有偏移分量；所述可见光镜头所属的可见光图像采集单元的视场角，大于等于所述热成像镜头所属的热成像图像采集单元的视场角；
按照所述补偿偏移量，配准所述第一热成像图像和所述第一可见光图像。
2.根据权利要求1所述的方法，其特征在于，所述获取激光测距得到的热成像镜头和测量对象之间的距离，包括：
利用预设的激光测距仪，获取所述激光测距仪和所述测量对象之间的距离，作为测量距离；
基于所述测量距离，和所述激光测距仪与热成像镜头之间的轴向距离，计算出热成像镜头光学中心和测量对象之间的距离，作为第一距离。
3.根据权利要求1所述的方法，其特征在于，所述补偿偏移量，包括第一偏移分量和第二偏移分量，所述补偿偏移量、所述第一偏移分量、所述第二偏移分量以及所述固有偏移分量，均是在图像传感器敏感平面上的二维矢量，所述第二偏移分量为根据所述第一距离、所述位置差、所述焦距及所述像元间距计算得到的，用于校正因两个镜头光轴被设计为平行但是不重合所造成的视差，所述第一偏移分量等于所述固有偏移分量。
4.根据权利要求3所述的方法，其特征在于，所述固有偏移分量用于补偿制造和装配过程中产生的视差；
所述根据所述距离和预设的配准参数，确定为配准所述测量对象的第一热成像图像和第一可见光图像，所需要的补偿偏移量，包括：
将所述固有偏移分量作为所述第一偏移分量，与所述测量对象对应的第二偏移分量按矢量相加，得到总偏移量，将所述总偏移量作为补偿偏移量。
5.根据权利要求4所述的方法，其特征在于，所述固有偏移分量采用如下方式确定：
获取测量得到的热成像镜头和标记对象之间的距离，作为第二距离；
确定所述标记对象的热成像影像在所述标记对象的热成像图像中的位置，和，所述标记对象的可见光影像在所述标记对象的可见光图像中的位置之间的偏移量，作为标定偏移量，其中，所述标记对象的热成像图像，和所述标记对象的可见光图像已预先按照与权利要求1所述相同的等比例调整方法调整为分辨率相同的图像；
根据所述第二距离，所述位置差，所述焦距及所述像元间距，使用和计算所述测量对象对应的第二偏移分量时相同的计算方法，计算得到与所述标记对象对应的第二偏移分量；
将所述标定偏移量与所述标记对象对应的第二偏移分量按矢量相减得到的结果作为所述固有偏移分量。
6.根据权利要求1所述的方法，其特征在于，还包括：
基于所述第一距离和所述热成像镜头的焦距，确定热成像像距；
调整所述热成像镜头的镜片的位置，和/或，热成像图像探测器的位置，使得所述热成像镜头的镜片和所述热成像图像探测器的距离等于所述热成像像距。
7.根据权利要求1所述的方法，其特征在于，在所述调整所述测量对象的第一热成像图像的分辨率，和/或，所述测量对象的第一可见光图像的分辨率之前，还包括：
将热成像图像探测器获取到的热成像图像，作为第二热成像图像；
从所述第二热成像图像中截取感兴趣区域，作为所述第一热成像图像；
将可见光图像传感器获取到的图像，作为第二可见光图像；
从所述第二可见光图像中选定感兴趣区域，作为所述第一可见光图像；
所述调整所述测量对象的第一热成像图像分辨率，和/或，所述测量对象的第一可见光图像的分辨率，包括：
缩放所述第二可见光图像或者所述第一可见光图像中的一个可见光图像，和/或，缩放所述第一热成像图像。
8.根据权利要求1所述的方法，其特征在于，所述调整所述测量对象的第一热成像图像的分辨率，和/或，所述测量对象的第一可见光图像的分辨率，以使所述第一热成图像的分辨率和所述第一可见光图像的分辨率相同，包括：
等比例调整所述测量对象的第一热成像图像的分辨率，使得所述第一热成像图像的分辨率和所述第一可见光图像的分辨率相同；
所述第二偏移分量是采用如下公式计算得到，包括：
按照下述公式分别计算得到所述第二偏移分量的水平方向分量|PPx|和垂直方向分量|PPy|：
其中，f2为所述可见光镜头的焦距，δ2x为所述可见光图像传感器的水平方向的像元间距，δ2y为所述可见光图像传感器的垂直方向的像元间距，dx为所述位置差的水平方向分量，dy为所述位置差的垂直方向分量，u为所述第一距离。
9.根据权利要求1所述的方法，其特征在于，所述调整所述测量对象的第一热成像图像的分辨率，和/或，所述测量对象的第一可见光图像的分辨率，以使所述第一热成图像的分辨率和所述第一可见光图像的分辨率相同，包括：
等比例调整所述测量对象的第一可见光图像的分辨率，使得所述第一可见光图像和所述第一热成像图像的分辨率相同；
所述第二偏移分量是采用如下公式计算得到，包括：
按照下述公式分别计算得到所述第二偏移分量的水平方向分量|PPx|和垂直方向分量|PPy|：
其中，f1为所述热成像镜头的焦距，δ1x为所述第一热成像图像探测器的水平方向的像元间距，δ1y为所述第一热成像图像探测器的垂直方向的像元间距，dx为所述位置差的水平方向分量，dy为所述位置差的垂直方向分量，u为所述第一距离。
10.根据权利要求1所述的方法，其特征在于，所述调整所述测量对象的第一热成像图像的分辨率，和/或，所述测量对象的第一可见光图像的分辨率，以使所述第一热成图像的分辨率和所述第一可见光图像的分辨率相同，包括：
等比例调整所述测量对象的第一热成像图像的分辨率，和，所述测量对象的第一可见光图像的分辨率，使得所述第一热成像图像的分辨率和所述第一可见光图像的分辨率均等于预设分辨率；
所述第二偏移分量是采用如下公式计算得到，包括：
按照下述公式之一计算得到所述第二偏移分量的水平方向分量|PPx|：
其中，K31为所述第一热成像图像进行等比例缩放时的缩放比例，K32为所述第一可见光图像进行等比例缩放时的缩放比例，f1为所述热成像镜头的焦距，δ1x为所述第一热成像图像探测器的水平方向的像元间距，δ1y为所述热成像图像探测器的垂直方向的像元间距，f2为所述可见光镜头的焦距，δ2x为所述第一可见光图像传感器的水平方向的像元间距，δ2y为所述可见光图像传感器的垂直方向的像元间距，dx为所述位置差的水平方向分量，u为所述第一距离；
按照下述公式之一计算得到所述第二偏移分量的垂直方向分量|PPy|：
其中，dy为所述位置差的垂直方向分量。
11.一种图像配准装置，其特征在于，包括：
测距模块，用于获取激光测距得到的热成像镜头和测量对象之间的距离，作为第一距离，所述激光测距所使用的激光波长位于可见光波段或者人眼安全波段；
缩放模块，用于调整所述测量对象的第一热成像图像的分辨率，和/或，所述测量对象的第一可见光图像的分辨率，以使所述第一热成像图像的分辨率和所述第一可见光图像的分辨率相同；
补偿模块，用于根据所述第一距离和预设的配准参数，确定为配准所述第一热成像图像和所述第一可见光图像，所需要的补偿偏移量，所述配准参数包括所述热成像镜头光轴和可见光镜头光轴之间的平行位置差，所述热成像镜头和所述可见光镜头中至少一个镜头的焦距，与该镜头对应的图像探测器的像元间距，以及固有偏移分量，所述可见光镜头所属的可见光采集单元的视场角，大于等于所述热成像镜头所属的热成像采集单元的视场角；
配准模块，用于按照所述补偿偏移量，配准所述第一热成像图像和所述第一可见光图像。
12.一种热成像摄像机，其特征在于，包括：
激光测距仪，用于激光测距得到所述激光测距仪和测量对象之间的距离，所述激光测距仪所使用的激光波长位于可见光波段或者人眼安全波段；
热成像图像采集单元，包括热成像镜头和热成像探测器；
所述热成像探测器，用于获取所述测量对象的第一热成像图像；
所述热成像镜头，用于将所述测量对象发出的或反射的热辐射光信号聚焦在所述热成像探测器的敏感面；
可见光图像采集单元，包括可见光镜头和可见光图像传感器，所述可见光图像采集单元的视场角，大于等于所述热成像图像采集单元的视场角；
所述可见光图像传感器，用于获取所述测量对象的第一可见光图像；
所述可见光镜头，用于将所述测量对象发出的或反射的可见光信号聚焦在所述可见光图像传感器的敏感面；
还包括：处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，所述处理器被所述机器可执行指令促使：实现权利要求1-10任一所述的方法步骤。
13.根据权利要求12所述的热成像摄像机，其特征在于，还包括：
图像显示模块，用于显示以下三个图像中的至少一个图像，或一个图像中的预设区域：
所述第一热成像图像，所述第一可见光图像，融合图像，所述融合图像为，使用权利要求1-10任一所述的方法将所述第一热成像图像和所述第一可见光图像配准后，将所述第一热成像图像和所述第一可见光图像融合得到的。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-10任一所述的方法步骤。
CN201810322698.7A 2018-04-11 2018-04-11 一种图像配准方法、装置及热成像摄像机 Active CN110361092B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810322698.7A CN110361092B (zh) 2018-04-11 2018-04-11 一种图像配准方法、装置及热成像摄像机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810322698.7A CN110361092B (zh) 2018-04-11 2018-04-11 一种图像配准方法、装置及热成像摄像机

Publications (2)

Publication Number Publication Date
CN110361092A true CN110361092A (zh) 2019-10-22
CN110361092B CN110361092B (zh) 2020-12-18

Family

ID=68214568

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810322698.7A Active CN110361092B (zh) 2018-04-11 2018-04-11 一种图像配准方法、装置及热成像摄像机

Country Status (1)

Country Link
CN (1) CN110361092B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111083381A (zh) * 2019-12-31 2020-04-28 深圳市道通智能航空技术有限公司 一种图像融合的方法、装置及双光相机、无人机
CN111784781A (zh) * 2020-06-28 2020-10-16 杭州海康微影传感科技有限公司 一种参数确定方法、装置、设备及系统
CN112200842A (zh) * 2020-09-11 2021-01-08 深圳市优必选科技股份有限公司 一种图像配准方法、装置、终端设备及存储介质
CN112529847A (zh) * 2020-11-25 2021-03-19 麦格纳（太仓）汽车科技有限公司 标志灯与镜片对位装配中图像位置偏差补偿处理的方法、系统、装置、处理器及存储介质
CN112683405A (zh) * 2020-11-11 2021-04-20 浙江大华技术股份有限公司 一种温度检测方法、系统以及存储介质
CN113068019A (zh) * 2021-03-17 2021-07-02 杭州海康消防科技有限公司 双光相机校准设备、方法、电子设备及存储介质
CN113834571A (zh) * 2020-06-24 2021-12-24 杭州海康威视数字技术股份有限公司 一种目标测温方法、装置及测温系统
CN114608608A (zh) * 2022-01-21 2022-06-10 东莞奥优光电有限公司 一种基于红外热成像带测距仪模块的校准方法
CN116295021A (zh) * 2023-05-25 2023-06-23 齐鲁工业大学(山东省科学院) 一种单目线结构光系统中相机与激光器位置关系计算方法
CN117788595A (zh) * 2024-02-28 2024-03-29 四川圣才科技开发有限公司 一种智能图像测距方法、系统、设备及存储介质
CN117788595B (zh) * 2024-02-28 2024-05-10 四川圣才科技开发有限公司 一种智能图像测距方法、系统、设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101111748A (zh) * 2004-12-03 2008-01-23 红外线解决方案公司 具有激光指示器的可见光和ir组合的图像照相机
US20090065695A1 (en) * 2007-09-11 2009-03-12 Demarco Robert Infrared camera for locating a target using at least one shaped light source
US20100045809A1 (en) * 2008-08-22 2010-02-25 Fluke Corporation Infrared and visible-light image registration
US20120262584A1 (en) * 2010-04-23 2012-10-18 Flir Systems Ab Infrared resolution and contrast enhancement with fusion
CN104184985A (zh) * 2013-05-27 2014-12-03 华为技术有限公司 图像获取的方法及装置
CN104364800A (zh) * 2012-03-30 2015-02-18 前视红外系统股份公司 促进关联的可视光和红外线(ir)图像信息的分析和解释
CN104702862A (zh) * 2014-02-24 2015-06-10 杭州海康威视数字技术股份有限公司 一种红外热成像设备
CN104717480A (zh) * 2014-01-28 2015-06-17 杭州海康威视数字技术股份有限公司 双目相机的像素级同步图像获取装置及其方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101111748A (zh) * 2004-12-03 2008-01-23 红外线解决方案公司 具有激光指示器的可见光和ir组合的图像照相机
US20090065695A1 (en) * 2007-09-11 2009-03-12 Demarco Robert Infrared camera for locating a target using at least one shaped light source
US20100045809A1 (en) * 2008-08-22 2010-02-25 Fluke Corporation Infrared and visible-light image registration
US20120262584A1 (en) * 2010-04-23 2012-10-18 Flir Systems Ab Infrared resolution and contrast enhancement with fusion
CN104364800A (zh) * 2012-03-30 2015-02-18 前视红外系统股份公司 促进关联的可视光和红外线(ir)图像信息的分析和解释
CN104184985A (zh) * 2013-05-27 2014-12-03 华为技术有限公司 图像获取的方法及装置
CN104717480A (zh) * 2014-01-28 2015-06-17 杭州海康威视数字技术股份有限公司 双目相机的像素级同步图像获取装置及其方法
CN104702862A (zh) * 2014-02-24 2015-06-10 杭州海康威视数字技术股份有限公司 一种红外热成像设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
L. ST-LAURENT等: "Fast and accurate calibration-based thermal/colour sensors registration", 《10TH INTERNATIONAL CONFERENCE ON QUANTITATIVE INFRARED THERMOGRAPHY》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021135825A1 (zh) * 2019-12-31 2021-07-08 深圳市道通智能航空技术股份有限公司 一种图像融合的方法、装置及双光相机、无人机
US11805220B2 (en) 2019-12-31 2023-10-31 Autel Robotics Co., Ltd. Image fusion method and bifocal camera
CN111083381A (zh) * 2019-12-31 2020-04-28 深圳市道通智能航空技术有限公司 一种图像融合的方法、装置及双光相机、无人机
CN111083381B (zh) * 2019-12-31 2021-10-22 深圳市道通智能航空技术股份有限公司 一种图像融合的方法、装置及双光相机、无人机
CN113834571A (zh) * 2020-06-24 2021-12-24 杭州海康威视数字技术股份有限公司 一种目标测温方法、装置及测温系统
CN111784781A (zh) * 2020-06-28 2020-10-16 杭州海康微影传感科技有限公司 一种参数确定方法、装置、设备及系统
CN112200842A (zh) * 2020-09-11 2021-01-08 深圳市优必选科技股份有限公司 一种图像配准方法、装置、终端设备及存储介质
CN112200842B (zh) * 2020-09-11 2023-12-01 深圳市优必选科技股份有限公司 一种图像配准方法、装置、终端设备及存储介质
CN112683405A (zh) * 2020-11-11 2021-04-20 浙江大华技术股份有限公司 一种温度检测方法、系统以及存储介质
CN112529847A (zh) * 2020-11-25 2021-03-19 麦格纳（太仓）汽车科技有限公司 标志灯与镜片对位装配中图像位置偏差补偿处理的方法、系统、装置、处理器及存储介质
CN113068019A (zh) * 2021-03-17 2021-07-02 杭州海康消防科技有限公司 双光相机校准设备、方法、电子设备及存储介质
CN114608608A (zh) * 2022-01-21 2022-06-10 东莞奥优光电有限公司 一种基于红外热成像带测距仪模块的校准方法
CN114608608B (zh) * 2022-01-21 2024-04-05 东莞奥优光电有限公司 一种基于红外热成像带测距仪模块的校准方法
CN116295021A (zh) * 2023-05-25 2023-06-23 齐鲁工业大学(山东省科学院) 一种单目线结构光系统中相机与激光器位置关系计算方法
CN116295021B (zh) * 2023-05-25 2023-07-28 齐鲁工业大学(山东省科学院) 一种单目线结构光系统中相机与激光器位置关系计算方法
CN117788595A (zh) * 2024-02-28 2024-03-29 四川圣才科技开发有限公司 一种智能图像测距方法、系统、设备及存储介质
CN117788595B (zh) * 2024-02-28 2024-05-10 四川圣才科技开发有限公司 一种智能图像测距方法、系统、设备及存储介质

Also Published As

Publication number Publication date
CN110361092B (zh) 2020-12-18

Similar Documents

Publication Publication Date Title
CN110361092A (zh) 一种图像配准方法、装置及热成像摄像机
CN106127745B (zh) 结构光3d视觉系统与线阵相机的联合标定方法及装置
US10764487B2 (en) Distance image acquisition apparatus and application thereof
CN107730561B (zh) 深度相机温度误差校正方法及系统
CN107657635B (zh) 深度相机温度误差校正方法及系统
US7812969B2 (en) Three-dimensional shape measuring apparatus
Tang et al. Triple linear-array image geometry model of ZiYuan-3 surveying satellite and its validation
US10582188B2 (en) System and method for adjusting a baseline of an imaging system with microlens array
CN109100876B (zh) 多光轴平行调节装置及多光轴平行调节方法
US7417717B2 (en) System and method for improving lidar data fidelity using pixel-aligned lidar/electro-optic data
CN103090846B (zh) 一种测距装置、测距系统及其测距方法
US7656508B2 (en) Distance measuring apparatus, distance measuring method, and computer program product
JP2019052867A (ja) 測量装置
US8153971B2 (en) Camera with two visual imaging subsystems for determining parallax and for focusing an IR imaging subsystem
EP2779654A2 (en) Stereo camera
US20080018880A1 (en) Surveying apparatus
JPWO2011125937A1 (ja) キャリブレーションデータ選択装置、選択方法、及び選択プログラム、並びに三次元位置測定装置
JPH095050A (ja) 三次元画像計測装置
JP2007107962A (ja) 測定対象物計測システム、及び送電線下離隔計測システム
CN109099838A (zh) 一种基于折反射的单目立体视觉系统三维信息测量方法
JP2020088689A (ja) 画像処理装置、撮像装置及び画像処理方法
CN109682398B (zh) 立体测绘相机整机内方位元素定标方法、装置及系统
CN103134443B (zh) 一种大口径大径厚比反射镜面形自准直检测装置及方法
CN111982061B (zh) 一种基于不同焦距双目定焦摄像机的测距方法
JP2017049412A (ja) 撮像装置、合焦位置検出装置、合焦位置検出方法及び合焦位置検出用コンピュータプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200702

Address after: 311501 building A1, No. 299, Qiushi Road, Tonglu Economic Development Zone, Tonglu County, Hangzhou City, Zhejiang Province

Applicant after: Hangzhou Haikang Micro Shadow Sensing Technology Co.,Ltd.

Address before: Hangzhou City, Zhejiang province 310051 Binjiang District Qianmo Road No. 555

Applicant before: Hangzhou Hikvision Digital Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant