CN112102380A - 一种红外图像与可见光图像的配准方法及相关装置 - Google Patents

一种红外图像与可见光图像的配准方法及相关装置 Download PDF

Info

Publication number
CN112102380A
CN112102380A CN202010953307.9A CN202010953307A CN112102380A CN 112102380 A CN112102380 A CN 112102380A CN 202010953307 A CN202010953307 A CN 202010953307A CN 112102380 A CN112102380 A CN 112102380A
Authority
CN
China
Prior art keywords
registered
infrared image
image
visible light
pixel point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010953307.9A
Other languages
English (en)
Inventor
白志强
李骊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing HJIMI Technology Co Ltd
Original Assignee
Beijing HJIMI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing HJIMI Technology Co Ltd filed Critical Beijing HJIMI Technology Co Ltd
Priority to CN202010953307.9A priority Critical patent/CN112102380A/zh
Publication of CN112102380A publication Critical patent/CN112102380A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)

Abstract

本申请提供了红外图像与可见光图像的配准方法及相关装置，其中，方法包括：获取预设模组采集的待配准红外图像与待配准可见光图像；将待配准红外图像与待配准可见光图像在垂直方向进行对齐；依据坐标对应关系，对对齐后的可见光图像进行变换，得到初始配准红外图像；依据待配准红外图像对应的深度图像中待配准目标的深度值对应的视差值，以及参考深度值对应的视差值，确定相对于对齐后的可见光图像，初始配准红外图像的像素点横坐标偏移量；按照偏移量对初始配准红外图像中各个像素点的横坐标进行偏移，得到配准后的红外图像。本申请可以提高红外图像与可见光图像之间在配准目标上的配准准确性。

Description

一种红外图像与可见光图像的配准方法及相关装置
技术领域
本申请涉及图像配准领域，尤其涉及一种红外图像与可见光图像的配准方法及相关装置。
背景技术
由红外发射器、红外相机与可见光相机组成的3D视觉模组作为3D视觉多传感器集成体被越来越多地应用到增强现实(Augmented Reality，AR)、虚拟现实(VirtualReality，VR)、混合现实(Mixed Reality，MR)、同时定位与建图(SimultaneousLocalization And Mapping，SLAM)、智能家居、刷脸支付、机器人导航、无人驾驶等人工智能(Artificial Intelligence，AI)领域。3D视觉模组可同时获取深度图像、红外图像和可见光图像，为了发挥多传感器融合的优势，对深度图像与可见光图像的配准、红外图像与可见光图像的配准成为必须要解决的问题。目前，大多数3D视觉模组都自带深度图像与可见光图像的配准，但缺少红外图像与可见光图像的配准。
红外图像与可见光图像之间可以采用Rt配准方法，该配准方法分为三步:第一，利用张正友标定法标出红外相机、可见光相机的内参以及两个相机之间的位姿关系R、t；第二，获取可见光图像相对红外图像的偏移像素，该偏移像素可通过标定可见光图像与红外图像计算得到，也可直接联系模组厂家获取；第三，对红外图像做偏移处理，然后，使用红外相机内参、红外图像像素值、位姿R和t、可见光相机内参结合多视图几何成像原理得到配准后的红外图像。
但是，由于该方法存在配准过程中可见光图像与配准后的红外图像之间配准目标对应像素点的坐标偏差较大，即对配准目标的配准准确性较低。
发明内容
本申请提供了一种红外图像与可见光图像的配准方法及装置，目的在于解决对配准目标的配准准确性低的问题。
为了实现上述目的，本申请提供了以下技术方案：
本申请提供了一种红外图像与可见光图像的配准方法，包括：
获取预设模组采集的待配准红外图像与待配准可见光图像；
将所述待配准红外图像与所述待配准可见光图像在垂直方向进行对齐；
依据预设的坐标对应关系，对对齐后的待配准红外图像进行变换，得到初始配准红外图像；所述坐标对应关系表示：对于所述模组在预设的参考深度值下采集的可见光图像和红外图像，以所述可见光图像为参考图像，所述模组采集的红外图像的像素点坐标在配准前后的关系；所述参考深度值指：所述模组的成像平面与被拍摄实物间的垂直距离；
依据所述待配准红外图像对应的深度图像中待配准目标的深度值对应的视差值，以及所述参考深度值对应的视差值，确定相对于所述对齐后的可见光图像，所述初始配准红外图像的像素点横坐标偏移量；
按照所述像素点横坐标偏移量，对所述初始配准红外图像中各个像素点的横坐标进行偏移，得到配准后的红外图像。
可选的，所述坐标对应关系的确定过程，包括：
获取在所述参考深度值下拍摄的棋盘格红外图像和棋盘格可见光图像；
对所述棋盘格红外图像和所述棋盘格可见光图像在垂直方向上对齐；
采用二次函数拟合对齐后的棋盘格可见光图像和对齐后的棋盘格红外图像中，棋盘格的对应像素点对的坐标关系表达式；所述坐标关系表达式包括待确定参数；
分别提取所述棋盘格可见光图像和所述棋盘格红外图像中棋盘格的角点；
通过将所述棋盘格可见光图像中提取的角点与所述棋盘格红外图像中提取的角点进行匹配，确定所述待确定参数的取值；
将所述待确定参数的取值下的坐标关系表达式，作为所述坐标对应关系。
可选的，所述坐标关系表达式为xcolor_i＝xir_i+a*xir_i 2+b*xir_i+c*xir_i*yir_i+d*yir_i+e*yir_i 2+f；
其中，xcolor_i表示棋盘格可见光图像中第i个匹配像素点的横坐标，xir_i表示配准前棋盘格红外图像中第i个匹配像素点的横坐标，yir_i表示配准前棋盘格红外图像中第i个匹配像素点的纵坐标，a，b，c，d，e，f为所述待确定参数；所述棋盘格可见光图像中第i个匹配像素点与配准前棋盘格红外图像中第i个匹配像素点，是棋盘格的对应像素点对。
可选的，所述依据预设的坐标对应关系，对对齐后的待配准红外图像进行变换，得到初始配准红外图像，包括：
将所述对齐后的待配准红外图像像素点的纵坐标，作为对齐后的待配准红外图像配准后的像素点的纵坐标；
将所述对齐后的待配准红外图像各个像素点的横纵坐标值，按照所述坐标对应关系进行计算，得到所述对齐后的待配准红外图像中各个像素点配准后的横坐标；
依据所述对齐后的待配准红外图像中各个像素点配准后的横坐标，对所述对齐后的待配准红外图像进行变换，得到所述初始配准红外图像。
可选的，所述依据所述待配准红外图像对应的深度图像中待配准目标的深度值对应的视差值，以及所述参考深度值对应的视差值，确定相对于所述对齐后的可见光图像，所述初始配准红外图像的像素点横坐标偏移量，包括：
确定所述深度图像中待配准目标的深度值；
按照深度值与视差值间的预设关系，分别计算第一视差值和第二视差值；所述第一视差值为所述待配准目标的深度值对应的视差值；所述第二视差值为所述参考深度值对应的视差值；
将所述第一视差值与所述第二视差值的差值与预设系数的乘积，作为所述像素点横坐标偏移量。
可选的，所述待配准目标为人脸；
所述确定所述深度图像中待配准目标的深度值，包括：
获取预设数量人脸深度值范围；所述预设数量人脸深度值范围是：将事先确定的人脸深度值范围中的多个预设深度值分别作为中心值，按照预设偏差生成的深度值范围；
分别确定所述深度图像中各个像素点的深度值所属的人脸深度值范围；
分别统计各个所述人脸深度值范围包含的像素点总数量，得到各个人脸深度值范围的像素点统计值；
将满足预设条件的像素点统计值对应的人脸深度值范围的中心值，作为人脸深度值。
可选的，在所述按照所述偏移量对所述初始配准红外图像中的各个像素点的横坐标进行偏移，得到配准后的红外图像之后，还包括：
对配准后的红外图像采用线性插值法进行插值运算。
本申请还提供了一种红外图像与可见光图像的配准装置，包括：
获取模块，用于获取预设模组采集的待配准红外图像与待配准可见光图像；
垂直方向对齐模块，用于将所述待配准红外图像与所述待配准可见光图像在垂直方向进行对齐；
变换模块，用于依据预设的坐标对应关系，对对齐后的可见光图像进行变换，得到初始配准红外图像；所述坐标对应关系表示：对于所述模组在预设的参考深度值下采集的可见光图像和红外图像，以所述可见光图像为参考图像，所述红外图像的像素点坐标在配准前后的关系；所述参考深度值指：所述模组的成像平面与被拍摄实物间的垂直距离；
确定模块，用于依据所述待配准红外图像对应的深度图像中待配准目标的深度值对应的视差值，以及所述参考深度值对应的视差值，确定相对于所述对齐后的可见光图像，所述初始配准红外图像的像素点横坐标偏移量；
偏移模块，用于按照所述像素点横坐标偏移量，对所述初始配准红外图像中各个像素点的横坐标进行偏移，得到配准后的红外图像。
本申请还提供了一种存储介质，所述存储介质包括存储的程序，其中，所述程序执行上述任一所述的红外图像与可见光图像的配准方法。
本申请还提供了一种设备，所述设备包括至少一个处理器、以及与所述处理器连接的至少一个存储器、总线；其中，所述处理器、所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行上述任一所述的红外图像与可见光图像的配准方法。
本申请所述的红外图像与可见光图像的配准方法及相关装置，一方面，将待配准红外图像与待配准可见光图像在垂直方向进行对齐，从而使得待配准红外图像与待配准可见光图像在垂直方向上配准。
另一方面，由于坐标对应关系表示：对于模组在预设的参考深度值下采集的可见光图像和红外图像，以所述可见光图像为参考图像，所述红外图像的像素点坐标在配准前后的关系，该坐标对应关系反映的是在预设的参考深度值下模组的特性。因此，本申请依据该坐标对应关系，可以对对齐后的待配准红外图像进行变换，得到初始配准红外图像。为了进一步提高配准准确性，本申请确定初始配准红外图像相对于对齐后的可见光图像的像素点横坐标偏移量，并按照所述偏移量，对初始配准红外图像中的各个像素点的横坐标进行偏移，从而进一步减少初始配准红外图像与对齐后的可见光图像，在对应像素点上横坐标间的误差。
综上所述，本申请可以提高红外图像与可见光图像之间在配准目标上的配准准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例公开的一种红外图像的像素点坐标在配准前后的关系的确定方法的流程图；
图2(a)为本申请实施例公开的包含棋盘格的红外图像的示例图；
图2(b)为本申请实施例公开的包含棋盘格的可见光图像的示例图；
图3为本申请实施例公开的一种红外图像与可见光图像的配准方法的流程图；
图4(a)为本申请实施例公开的待配准红外图像的示例图；
图4(b)为本申请实施例公开的待配准可见光图像的示例图；
图4(c)为本申请实施例公开的深度图像的示例图；
图4(d)为本申请实施例公开的配准后的红外图像的示例图；
图5为本申请实施例公开的深度图像中人脸深度值的确定过程示意图；
图6为本申请实施例公开的种红外图像与可见光图像的配准装置的结构示意图；
图7为本申请实施例提供的一种设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1为本申请实施例提供的一种红外图像的像素点坐标在配准前后的关系的确定方法，可以包括以下步骤：
S101、获取模组采集的包含预设目标的红外图像和可见光图像。
在本实施例中，预设目标可以为棋盘格，当然，在实际中，预设目标除了为棋盘格外，还可以为其他内容，本实施例不对预设目标的内容作限定。在本实施例中，以预设目标为棋盘格为例进行介绍。即本实施例的以下步骤中，出现的可见光图像指棋盘格可见光图像，红外图像指棋盘格红外图像。
在本步骤中，红外图像和可见光图像的采集过程可以包括：把HJV-A200模组水平放置正对贴有棋盘格的白色墙面，通过调整模组支架确保HJV-A200模组成像平面与棋盘格平面平行；模组镜面离棋盘格的距离记为dref，通过调整dref使棋盘格成像位于两幅图像内且尽量铺满整个成像平面，同时用暖光灯照射棋盘格，调整暖光灯照射角度确保红外图像成像清晰，然后采集红外图像和可见光图像。可选的，在本实施中，dref的取值可以为dref＝700mm。
图2(a)为本实施例提供的包含棋盘格的红外图像的示例图，图2(b)为本实施例提供的包含棋盘格的可见光图像的示例图。
S102、对采集的红外图像和可见光图像在垂直方向上对齐。
可选的，可以采用matlab自带的双目矫正对齐工具，将红外图像和可见光图像在垂直方向进行对齐。
S103、通过二次函数拟合对齐后的可见光图像与对齐后的红外图像中，棋盘格的对应像素点对的坐标关系表达式。
在本实施例中，坐标关系表达式如下公式(1)所示：
xcolor_i＝xir_i+a*xir_i 2+b*xir_i+c*xir_i*yir_i+d*yir_i+e*yir_i 2+f (1)
式中，xcolor_i表示对齐后的可见光图像中第i个匹配像素点的横坐标，xir_i表示对齐后的红外图像(配准前红外图像)中第i个匹配像素点的横坐标，yir_i表示对齐后的红外图像(配准前红外图像)中第i个匹配像素点的纵坐标，a，b，c，d，e，f为待确定的配准参数，可以称为待确定参数。其中，对齐后的可见光图像中第i个匹配像素点与对齐后的红外图像中第i个匹配像素点，是棋盘格的对应像素点对，因此，可以将xcolor_i理解为对齐后的红外图像中第i个匹配像素点配准后的横坐标值。
S104、分别提取可见光图像与红外图像中的棋盘格角点。
本步骤的具体实现方式为现有技术，这里不再赘述。在本步骤中，可以提取得到多组角点对。
S105、通过将可见光图像中提取的角点与红外图像中提取的角点进行匹配，确定待确定参数的取值。
可选的，本步骤的具体实现过程可以包括：
将上述公式(1)变形为如下公式(2)：
Figure BDA0002677760180000081
假设红外图像包括n个匹配像素点的情况下，公式(2)可以写成矩阵乘积的形式，如下公式(3)所示：
Figure BDA0002677760180000082
在本实施例中，令
Figure BDA0002677760180000083
由于矩阵A是一个n*6的矩阵，
Figure BDA0002677760180000084
为6*1的矩阵，
Figure BDA0002677760180000085
是n*1的矩阵。
因此，上述公式(3)可以简化为如下公式(4)：
A*x＝b (4)
根据矩阵线性方程求解方法可求得解x＝A_inv*b，其中，A_inv是矩阵A的逆，x即为需求取的配准参数，即待确定参数。
S106、将待确定参数的取值下的坐标关系表达式，作为坐标对应关系。
在本实施例中，得到的坐标对应关系表示：对于模组在预设的参考深度值下采集的可见光图像和红外图像，以所述可见光图像为参考图像，所述红外图像的像素点坐标在配准前后的关系。其中，参考深度值指：模组的成像平面与被拍摄实物间的垂直距离。以棋盘格为例，则参考深度值指模组采集包含棋盘格的红外图像和可见光图像时，模组的成像平面与棋盘格间的垂直距离。
在本实施例中，由于坐标对应关系反映的模组的特性，因此，该坐标对应关系可以在后续的配准中，被重复使用，这样可减少配准的计算量，进而，可以加快配准速度。
图3为本申请实施例提供的一种红外图像与可见光图像的配准方法，可以包括以下步骤：
S301、获取预设模组采集的待配准红外图像与待配准可见光图像。
图4(a)为本实施例提供的待配准红外图像的示例图，图4(b)为本实施例提供的待配准可见光图像的示例图。
S302、将待配准的红外图像和可见光图像在垂直方向上进行对齐，得到对齐后的待配准红外图像和对齐后的可见光图像。
在本步骤中，具体的对齐方式可以参考图1对应的实施例中的S102，这里不再赘述。
S303、依据预设的坐标对应关系，对对齐后的可见光图像进行变换，得到初始配准红外图像。
具体的，本步骤的实现过程，可以包括以下步骤A1～步骤A3：
A1、将对齐后的待配准红外图像像素点的纵坐标，作为对齐后的待配准红外图像配准后的像素点的纵坐标。
由于在本实施例中，已将待配准红外图像与可见光图像在垂直方向上对齐，即已将待配准红外图像与可见光图像在垂直方向上配准，因此，在本步骤中，将对齐后的待配准红外图像像素点的纵坐标，作为对齐后的待配准红外图像配准后的像素点的纵坐标。
A2、将对齐后的待配准红外图像各个像素点的横纵坐标值，按照坐标对应关系进行计算，得到对齐后的待配准红外图像中各个像素点配准后的横坐标。
在本步骤中，对对齐后的待配准红外图像中的各个像素点分别按照公式(1)进行计算，为了描述方便，以任一像素点为例进行介绍。具体的，将该像素点在对齐后的待配准红外图像中的横纵坐标，作为公式(1)中的xir_i和yir_i，计算得到xcolor_i。
A3、依据对齐后的待配准红外图像中各个像素点配准后的横坐标，对对齐后的待配准红外图像进行变换，得到初始配准红外图像。
在本步骤中，初始配准红外图像中像素点的横坐标就是像素点配准后的横坐标。
本步骤的具体实现方式为现有技术，这里不再赘述。
由于初始配准红外图像与可见光图像之间，待配准目标的对应像素点的横坐标间可能存在一定的偏差，因此，在本实施例中，为了使得红外图像与可见光图像之间达到更好的配准准确性，对初始配准红外图像中的像素点进行像素偏移补偿，具体的补偿过程可以参考S304。
S304、依据待配准红外图像对应的深度图像中待配准目标的深度值对应的视差值，以及参考深度值对应的视差值，确定相对于对齐后的可见光图像，初始配准红外图像的像素点横坐标偏移量。
在本步骤中，深度图像为模组在采集待配准红外图像和待配准可见光图像过程中，同时采集的深度图像。
在本实施例中，待配准目标为待配准红外图像与待配准可见光图像中，用户实际所需的配准目标，例如，待配准目标可以为人脸，当然，在实际中，待配准目标的具体内容根据实际需求确定，本实施例不对待配准目标的具体内容作限定。在本实施例中，待配准目标以人脸为例进行介绍。
可选的，本步骤的具体实现过程可以包括以下步骤B1～步骤B3：
B1、确定深度图像中待配准目标的深度值。
具体的，确定深度图像中待配准目标的深度值的过程，在图5对应的实施例中进行介绍。
图4(c)为本实施例提供的深度图像的示例图。
B2、按照深度值与视差值间的预设关系，分别计算第一视差值和第二视差值。
在本步骤中，第一视差值为待配准目标的深度值对应的视差值；第二视差值为参考深度值对应的视差值。
在本实施例中，人脸深度值可以采用dface表示，则第一视差值可以采用sface表示。参考深度值采用dref表示(即图1对应的实施例中，S101中的)，则第二视差值可以采用sref表示。
在本实施例中，深度值与视差值间的关系如下公式(5)所示：
Figure BDA0002677760180000111
式中，s为深度值d对应的视差值，c1和c2为两个常数值，只与3D模组属性有关。在本实施例中，公式(5)中的参数可取值为c1＝234.7，c2＝46017。
通过公式(5)，可以计算得到第一视差值和第二视差值。
B3、将第一视差值与第二视差值的差值与预设系数的乘积，作为像素点横坐标偏移量。
在本实施例中，像素点横坐标偏移量可以采用Δx表示，其中，Δx的具体计算公式如下公式(6)所示：
Δx＝β*(sface-sref) (6)
式中，β是常数，只与3D模组属性有关，在本实施例中，β的可取值为β＝0.3273。
S305、按照偏移量对初始配准红外图像中的各个像素点的横坐标进行偏移，得到配准后的红外图像。
本步骤的具体计算公式如下公式(7)所示：
xcolor'＝xcolor+Δx (7)
式中，xcolor表示初始配准红外图像中像素点的横坐标，其中，xcolor'表示对横坐标进行偏移后得到的横坐标。
图4(d)为本实施例提供的配准后的红外图像的示例图。
S306、对配准后的红外图像采用线性插值法进行插值运算。
由于在红外图像配准过程中，坐标都是整数型，由于精度的损失导致配准后的红外图像中，多个坐标点可能对应可见光图像中的同一坐标点，因而导致配准后的红外图像存在缺值的黑点。为了解决该问题，本实施例通过线性插值法，对配准后的红外图像中的像素点进行插值计算，从而消除这些黑点。
同时，在本实施例除了可以消除配准后的红外图像中存在的黑点之外，还具有操作简单，耗时短的优点。
需要说明的是，在实际中，本步骤是可选步骤。
为了更详细的介绍本实施例的具体实现，可以按照以下步骤进行执行：
记红外图像的宽为Wir、高为Hir，可见光图像的宽为Wcolor、高为Hcolor，Iir(xir，yir)表示配准前红外图像中横坐标为xir、纵坐标为yir的像素值，Iir′(xcolor′，ycolor′)表示配准后红外图像中横坐标为xcolor′、纵坐标为ycolor′的像素值，Iir′(xcolor′，ycolor′)与Iir(xir，yir)配准前后的对应点；其中，0≤xir＜Wir，0≤yir＜Hir，0≤xcolor′＜Wcolor，0≤ycolor′＜Hcolor。
具体执行过程如下：
(a).初始化所有变量和参数值：xir＝0，yir＝0，根据公式(5)把dref、dface各自转换为对应的视差值sref、sface；再根据公式(6)结合β、sref、sface计算得到平移量Δx。
(b).由配准参数、xir、yir根据公式(1)可计算得到对应的xcolor；由xcolor、Δx根据公式(7)就可得到配准后红外图像x的横坐标xcolor′。因为配准前都进行过垂直方向的对齐，所以ycolor′＝yir。
(c).判断xcolor′是否在可见光图像范围内：若0≤xcolor′＜Wcolor,则Iir′(xcolor′，ycolor′)＝Iir(xir，yir)，xir＝xir+1；反之，则Iir′(xcolor′，ycolor′)＝0，xir＝xir+1。
(d).判断xir更新后是否超出红外图像的宽：若xir＜Wir，则从步骤(b)开始重复执行；反之，则令yir＝yir+1，xir＝0。
(e).判断yir更新后是否超出红外图像的高。若yir＜Hir，则从步骤(b)开始重复执行；反之，则说明红外图像所有像素已处理完成，算法结束。
图5为本申请实施例提供的深度图像中人脸深度值的确定过程，可以包括以下步骤：
S501、获取预设数量人脸深度值范围。
由于在3D人脸应用中，人脸深度值一般约束在一个有效的深度值范围内，把约束范围记为[dmin，dmax]；本发明中，深度值是指目标到HJV-A200模组镜面所在平面的垂直距离值，在本实施例中dmin＝300mm，dmax＝1000mm。
在本实施例中，预设数量人脸深度值范围的生成方式可以包括：将事先确定的人脸深度值范围中的多个预设深度值分别作为中心值，按照预设偏差生成的深度值范围。
具体的生成过程可以包括：将事先确定的人脸深度值范围分成n组bin，每组bin对应一个中心值d，每个bin的范围为[d-Δd，d+Δd)即该bin包含左值、不包含右值，d为中心值，Δd为波动值。将第i组bin记为bini,对应的中心值记为di,范围为[dmin_i，dmax_i),其中，i＝1，.......n。在本实施例中n的取值可以为8，d的取值分别为300、400、500、600、700、800、900和1000，Δd的取值范围为50。即8个bin可以分别为：[250，350)、[350，450)、[450，550)、[550，650)、[650，750)、[750，850)、[850，950)、[950，1050)，其中，单位为mm。
S502、分别确定深度图像中各个像素点的深度值所属的人脸深度值范围。
可选的，本步骤的具体实现方式可以包括：
假设深度图像的宽为Wd，高为Hd，d(x，y)为深度图像中横坐标为x、纵坐标为y的像素深度值。采用histi表示属于bini的像素个数，其中，bini的初值为0，其中，0≤x＜Wd，0≤y＜Hd。具体执行以下步骤(a)～(d)：
(a)初始化所有变量即x＝0，y＝0，histi＝0。
(b)判断d(x，y)属于哪个bini。具体的，若d(x，y)≥dmin_i且d(x，y)＜dmax_i，则histi＝histi+1；否则，不做任何处理。
(c)令x＝x+1；判断x是否超过深度图像的宽Wd。若x＜Wd，则从步骤(b)开始重复执行。反之，则令y＝y+1，x＝0。
(d)判断y是否超出深度图像的高Hd。若y＜Hd，则从步骤(b)开始重复执行；反之，则算法结束。
S503、分别统计各个人脸深度值范围包含的像素点总数量，得到各个深度值范围的像素点统计值。
在本步骤中，统计出属于bini的像素个数histi。
S504、将属于预设条件的像素点统计值对应的人脸深度值范围的中心值，作为人脸深度值。
在本步骤中，对每个bin进行判断，为了方便描述，以任意一个深度值范围bini为例进行介绍。具体的，判断属于bini的像素个数histi是否满足约束条件：Nmin≤histi≤Nmax：若满足约束条件，则该histi加入备选集S；否则，则不加备选集S。在本实施例中Nmin的可取值为5000，Nmax的可取值为80000。
在本步骤中，可以将S中最大统计值记为histobj，根据histobj下标找到对应的binobj，binobj对应的中心值dobj即为所求人脸深度值dface。
因此，在本步骤中，预设条件可以为：满足预设的约束条件且取值最大。当然，在实际中，取值最大不是必须的，即还可以为取值次大等，本实施例不对预设条件中取值大小作限定。
在本实施例中，是通过统计的方式，确定出一个人脸深度值，从而克服了：由于人脸深度值为0导致的配准后红外图像中人脸部分是黑洞的问题(即配准后的红外图像不完整的问题)，进而，本实施例在保证对配准目标的配准准确性的情况下，还可以确保配准后的红外图像是完整的。
图6为本申请实施例提供的一种红外图像与可见光图像的配准装置，可以包括：获取模块601、垂直方向对齐模块602、变换模块603、确定模块604和偏移模块605，其中，
获取模块601，用于获取预设模组采集的待配准红外图像与待配准可见光图像；
垂直方向对齐模块602，用于将所述待配准红外图像与所述待配准可见光图像在垂直方向进行对齐；
变换模块603，用于依据预设的坐标对应关系，对对齐后的可见光图像进行变换，得到初始配准红外图像；所述坐标对应关系表示：对于所述模组在预设的参考深度值下采集的可见光图像和红外图像，以所述可见光图像为参考图像，所述红外图像的像素点坐标在配准前后的关系；所述参考深度值指：所述模组的成像平面与被拍摄实物间的垂直距离；
确定模块604，用于依据所述待配准红外图像对应的深度图像中待配准目标的深度值对应的视差值，以及所述参考深度值对应的视差值，确定相对于所述对齐后的可见光图像，所述初始配准红外图像的像素点横坐标偏移量；
偏移模块605，用于按照所述像素点横坐标偏移量，对所述初始配准红外图像中各个像素点的横坐标进行偏移，得到配准后的红外图像。
可选的，该装置还可以包括：
坐标对应关系的确定模块，用于获取在所述参考深度值下拍摄的棋盘格红外图像和棋盘格可见光图像；对所述棋盘格红外图像和所述棋盘格可见光图像在垂直方向上对齐；采用二次函数拟合对齐后的棋盘格可见光图像和对齐后的棋盘格红外图像中，棋盘格的对应像素点对的坐标关系表达式；所述坐标关系表达式包括待确定参数；分别提取所述棋盘格可见光图像和所述棋盘格红外图像中棋盘格的角点；通过将所述棋盘格可见光图像中提取的角点与所述棋盘格红外图像中提取的角点进行匹配，确定所述待确定参数的取值；将所述待确定参数的取值下的坐标关系表达式，作为所述坐标对应关系。
可选的，所述坐标关系表达式为xcolor_i＝xir_i+a*xir_i 2+b*xir_i+c*xir_i*yir_i+d*yir_i+e*yir_i 2+f；
其中，xcolor_i表示棋盘格可见光图像中第i个匹配像素点的横坐标，xir_i表示配准前棋盘格红外图像中第i个匹配像素点的横坐标，yir_i表示配准前棋盘格红外图像中第i个匹配像素点的纵坐标，a，b，c，d，e，f为所述待确定参数；所述棋盘格可见光图像中第i个匹配像素点与配准前棋盘格红外图像中第i个匹配像素点，是棋盘格的对应像素点对。
可选的，所述变换模块603，用于依据预设的坐标对应关系，对对齐后的待配准红外图像进行变换，得到初始配准红外图像，包括：
所述变换模块603，具体用于将所述对齐后的待配准红外图像像素点的纵坐标，作为对齐后的待配准红外图像配准后的像素点的纵坐标；将所述对齐后的待配准红外图像各个像素点的横纵坐标值，按照所述坐标对应关系进行计算，得到所述对齐后的待配准红外图像中各个像素点配准后的横坐标；依据所述对齐后的待配准红外图像中各个像素点配准后的横坐标，对所述对齐后的待配准红外图像进行变换，得到所述初始配准红外图像。
可选的，所述确定模块604，用于依据所述待配准红外图像对应的深度图像中待配准目标的深度值对应的视差值，以及所述参考深度值对应的视差值，确定相对于所述对齐后的可见光图像，所述初始配准红外图像的像素点横坐标偏移量，包括：
所述确定模块604，具体用于确定所述深度图像中待配准目标的深度值；按照深度值与视差值间的预设关系，分别计算第一视差值和第二视差值；所述第一视差值为所述待配准目标的深度值对应的视差值；所述第二视差值为所述参考深度值对应的视差值；将所述第一视差值与所述第二视差值的差值与预设系数的乘积，作为所述像素点横坐标偏移量。
可选的，所述待配准目标为人脸；所述确定模块604，用于确定所述深度图像中待配准目标的深度值，包括：
所述确定模块604，具体用于获取预设数量人脸深度值范围；所述预设数量人脸深度值范围是：将事先确定的人脸深度值范围中的多个预设深度值分别作为中心值，按照预设偏差生成的深度值范围；分别确定所述深度图像中各个像素点的深度值所属的人脸深度值范围；分别统计各个所述人脸深度值范围包含的像素点总数量，得到各个人脸深度值范围的像素点统计值；将满足预设条件的像素点统计值对应的人脸深度值范围的中心值，作为人脸深度值。
可选的，该装置还可以包括：差值模块，用于在所述按照所述偏移量对所述初始配准红外图像中的各个像素点的横坐标进行偏移，得到配准后的红外图像之后，对配准后的红外图像采用线性插值法进行插值运算。
红外图像与可见光图像的配准装置包括处理器和存储器，上述获取模块601、垂直方向对齐模块602、变换模块603、确定模块604和偏移模块605等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来提供快速准确的红外图像与可见光图像的配准方法。
本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现所述红外图像与可见光图像的配准方法。本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述红外图像与可见光图像的配准方法。
本发明实施例提供了一种设备，如图7所示，设备包括至少一个处理器、以及与处理器连接的至少一个存储器、总线；其中，处理器、存储器通过总线完成相互间的通信；处理器用于调用存储器中的程序指令，以执行上述的红外图像与可见光图像的配准方法。本文中的设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：
获取预设模组采集的待配准红外图像与待配准可见光图像；
将所述待配准红外图像与所述待配准可见光图像在垂直方向进行对齐；
依据预设的坐标对应关系，对对齐后的待配准红外图像进行变换，得到初始配准红外图像；所述坐标对应关系表示：对于所述模组在预设的参考深度值下采集的可见光图像和红外图像，以所述可见光图像为参考图像，所述模组采集的红外图像的像素点坐标在配准前后的关系；所述参考深度值指：所述模组的成像平面与被拍摄实物间的垂直距离；
依据所述待配准红外图像对应的深度图像中待配准目标的深度值对应的视差值，以及所述参考深度值对应的视差值，确定相对于所述对齐后的可见光图像，所述初始配准红外图像的像素点横坐标偏移量；
按照所述像素点横坐标偏移量，对所述初始配准红外图像中各个像素点的横坐标进行偏移，得到配准后的红外图像。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
在一个典型的配置中，设备包括一个或多个处理器(CPU)、存储器和总线。设备还可以包括输入/输出接口、网络接口等。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
本申请实施例方法所述的功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算设备可读取存储介质中。基于这样的理解，本申请实施例对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台计算设备(可以是个人计算机，服务器，移动计算设备或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书的各个实施例中记载的特征可以相互替换或者组合，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种红外图像与可见光图像的配准方法，其特征在于，包括：
获取预设模组采集的待配准红外图像与待配准可见光图像；
将所述待配准红外图像与所述待配准可见光图像在垂直方向进行对齐；
依据预设的坐标对应关系，对对齐后的待配准红外图像进行变换，得到初始配准红外图像；所述坐标对应关系表示：对于所述模组在预设的参考深度值下采集的可见光图像和红外图像，以所述可见光图像为参考图像，所述模组采集的红外图像的像素点坐标在配准前后的关系；所述参考深度值指：所述模组的成像平面与被拍摄实物间的垂直距离；
依据所述待配准红外图像对应的深度图像中待配准目标的深度值对应的视差值，以及所述参考深度值对应的视差值，确定相对于所述对齐后的可见光图像，所述初始配准红外图像的像素点横坐标偏移量；
按照所述像素点横坐标偏移量，对所述初始配准红外图像中各个像素点的横坐标进行偏移，得到配准后的红外图像。
2.根据权利要求1所述的方法，其特征在于，所述坐标对应关系的确定过程，包括：
获取在所述参考深度值下拍摄的棋盘格红外图像和棋盘格可见光图像；
对所述棋盘格红外图像和所述棋盘格可见光图像在垂直方向上对齐；
采用二次函数拟合对齐后的棋盘格可见光图像和对齐后的棋盘格红外图像中，棋盘格的对应像素点对的坐标关系表达式；所述坐标关系表达式包括待确定参数；
分别提取所述棋盘格可见光图像和所述棋盘格红外图像中棋盘格的角点；
通过将所述棋盘格可见光图像中提取的角点与所述棋盘格红外图像中提取的角点进行匹配，确定所述待确定参数的取值；
将所述待确定参数的取值下的坐标关系表达式，作为所述坐标对应关系。
3.根据权利要求2所述的方法，其特征在于，所述坐标关系表达式为xcolor_i＝xir_i+a*xir_i 2+b*xir_i+c*xir_i*yir_i+d*yir_i+e*yir_i 2+f；
其中，xcolor_i表示棋盘格可见光图像中第i个匹配像素点的横坐标，xir_i表示配准前棋盘格红外图像中第i个匹配像素点的横坐标，yir_i表示配准前棋盘格红外图像中第i个匹配像素点的纵坐标，a，b，c，d，e，f为所述待确定参数；所述棋盘格可见光图像中第i个匹配像素点与配准前棋盘格红外图像中第i个匹配像素点，是棋盘格的对应像素点对。
4.根据权利要求1所述的方法，其特征在于，所述依据预设的坐标对应关系，对对齐后的待配准红外图像进行变换，得到初始配准红外图像，包括：
将所述对齐后的待配准红外图像像素点的纵坐标，作为对齐后的待配准红外图像配准后的像素点的纵坐标；
将所述对齐后的待配准红外图像各个像素点的横纵坐标值，按照所述坐标对应关系进行计算，得到所述对齐后的待配准红外图像中各个像素点配准后的横坐标；
依据所述对齐后的待配准红外图像中各个像素点配准后的横坐标，对所述对齐后的待配准红外图像进行变换，得到所述初始配准红外图像。
5.根据权利要求1所述的方法，其特征在于，所述依据所述待配准红外图像对应的深度图像中待配准目标的深度值对应的视差值，以及所述参考深度值对应的视差值，确定相对于所述对齐后的可见光图像，所述初始配准红外图像的像素点横坐标偏移量，包括：
确定所述深度图像中待配准目标的深度值；
按照深度值与视差值间的预设关系，分别计算第一视差值和第二视差值；所述第一视差值为所述待配准目标的深度值对应的视差值；所述第二视差值为所述参考深度值对应的视差值；
将所述第一视差值与所述第二视差值的差值与预设系数的乘积，作为所述像素点横坐标偏移量。
6.根据权利要求5所述的方法，其特征在于，所述待配准目标为人脸；
所述确定所述深度图像中待配准目标的深度值，包括：
获取预设数量人脸深度值范围；所述预设数量人脸深度值范围是：将事先确定的人脸深度值范围中的多个预设深度值分别作为中心值，按照预设偏差生成的深度值范围；
分别确定所述深度图像中各个像素点的深度值所属的人脸深度值范围；
分别统计各个所述人脸深度值范围包含的像素点总数量，得到各个人脸深度值范围的像素点统计值；
将满足预设条件的像素点统计值对应的人脸深度值范围的中心值，作为人脸深度值。
7.根据权利要求1所述的方法，其特征在于，在所述按照所述偏移量对所述初始配准红外图像中的各个像素点的横坐标进行偏移，得到配准后的红外图像之后，还包括：
对配准后的红外图像采用线性插值法进行插值运算。
8.一种红外图像与可见光图像的配准装置，其特征在于，包括：
获取模块，用于获取预设模组采集的待配准红外图像与待配准可见光图像；
垂直方向对齐模块，用于将所述待配准红外图像与所述待配准可见光图像在垂直方向进行对齐；
变换模块，用于依据预设的坐标对应关系，对对齐后的可见光图像进行变换，得到初始配准红外图像；所述坐标对应关系表示：对于所述模组在预设的参考深度值下采集的可见光图像和红外图像，以所述可见光图像为参考图像，所述红外图像的像素点坐标在配准前后的关系；所述参考深度值指：所述模组的成像平面与被拍摄实物间的垂直距离；
确定模块，用于依据所述待配准红外图像对应的深度图像中待配准目标的深度值对应的视差值，以及所述参考深度值对应的视差值，确定相对于所述对齐后的可见光图像，所述初始配准红外图像的像素点横坐标偏移量；
偏移模块，用于按照所述像素点横坐标偏移量，对所述初始配准红外图像中各个像素点的横坐标进行偏移，得到配准后的红外图像。
9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序执行权利要求1～7任意一项所述的红外图像与可见光图像的配准方法。
10.一种设备，其特征在于，所述设备包括至少一个处理器、以及与所述处理器连接的至少一个存储器、总线；其中，所述处理器、所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行如权利要求1～7中任一项所述的红外图像与可见光图像的配准方法。
CN202010953307.9A 2020-09-11 2020-09-11 一种红外图像与可见光图像的配准方法及相关装置 Pending CN112102380A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010953307.9A CN112102380A (zh) 2020-09-11 2020-09-11 一种红外图像与可见光图像的配准方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010953307.9A CN112102380A (zh) 2020-09-11 2020-09-11 一种红外图像与可见光图像的配准方法及相关装置

Publications (1)

Publication Number Publication Date
CN112102380A true CN112102380A (zh) 2020-12-18

Family

ID=73751355

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010953307.9A Pending CN112102380A (zh) 2020-09-11 2020-09-11 一种红外图像与可见光图像的配准方法及相关装置

Country Status (1)

Country Link
CN (1) CN112102380A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112767248A (zh) * 2021-01-13 2021-05-07 深圳瀚维智能医疗科技有限公司 红外相机图片拼接方法、装置、设备及可读存储介质
CN113284128A (zh) * 2021-06-11 2021-08-20 中国南方电网有限责任公司超高压输电公司天生桥局 基于电力设备的图像融合显示方法、装置和计算机设备
CN113596341A (zh) * 2021-06-11 2021-11-02 北京迈格威科技有限公司 一种图像拍摄方法、图像处理方法、装置、电子设备
CN114674874A (zh) * 2022-03-10 2022-06-28 湖北中桥科技有限公司 基于红外热成像的预应力管道内浆体充盈检测方法及系统
CN114926515A (zh) * 2022-06-08 2022-08-19 北京化工大学 基于时空域深度信息补全的红外与可见光图像配准方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102506827A (zh) * 2011-11-08 2012-06-20 中国科学院长春光学精密机械与物理研究所 多载荷光电跟踪测量设备高帧频图像配准与融合的方法
US20150015669A1 (en) * 2011-09-28 2015-01-15 Pelican Imaging Corporation Systems and methods for decoding light field image files using a depth map
CN104574332A (zh) * 2014-12-26 2015-04-29 北京航天控制仪器研究所 一种机载光电吊舱用图像融合方法
WO2018076732A1 (zh) * 2016-10-31 2018-05-03 广州飒特红外股份有限公司 红外图像和可见光图像融合的方法及装置
CN109101871A (zh) * 2018-08-07 2018-12-28 北京华捷艾米科技有限公司 一种基于深度和近红外信息的活体检测装置、检测方法及其应用
CN110415342A (zh) * 2019-08-02 2019-11-05 深圳市唯特视科技有限公司 一种基于多融合传感器的三维点云重建装置与方法
CN111260597A (zh) * 2020-01-10 2020-06-09 大连理工大学 一种多波段立体相机的视差图像融合方法
US20200193560A1 (en) * 2018-12-16 2020-06-18 Sadiki Pili Fleming-Mwanyoha System and methods for attaining optimal precision stereoscopic direction and ranging through air and across refractive boundaries using minimum variance sub-pixel registration

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150015669A1 (en) * 2011-09-28 2015-01-15 Pelican Imaging Corporation Systems and methods for decoding light field image files using a depth map
CN102506827A (zh) * 2011-11-08 2012-06-20 中国科学院长春光学精密机械与物理研究所 多载荷光电跟踪测量设备高帧频图像配准与融合的方法
CN104574332A (zh) * 2014-12-26 2015-04-29 北京航天控制仪器研究所 一种机载光电吊舱用图像融合方法
WO2018076732A1 (zh) * 2016-10-31 2018-05-03 广州飒特红外股份有限公司 红外图像和可见光图像融合的方法及装置
CN109101871A (zh) * 2018-08-07 2018-12-28 北京华捷艾米科技有限公司 一种基于深度和近红外信息的活体检测装置、检测方法及其应用
US20200193560A1 (en) * 2018-12-16 2020-06-18 Sadiki Pili Fleming-Mwanyoha System and methods for attaining optimal precision stereoscopic direction and ranging through air and across refractive boundaries using minimum variance sub-pixel registration
CN110415342A (zh) * 2019-08-02 2019-11-05 深圳市唯特视科技有限公司 一种基于多融合传感器的三维点云重建装置与方法
CN111260597A (zh) * 2020-01-10 2020-06-09 大连理工大学 一种多波段立体相机的视差图像融合方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SEONG G. KONG等: "Multiscale fusion of visible and thermal IR images for illumination-invariant face recognition", 《INTERNATIONAL JOURNAL OF COMPUTER VISION》, 1 June 2006 (2006-06-01), pages 215 - 233, XP019410121 *
匡雅斌;王敬东;李鹏;: "红外与可见光图像配准算法", 电子科技, no. 05, 15 May 2011 (2011-05-15), pages 80 - 84 *
袁浩期;李扬;王俊影;刘航;: "基于红外热像的行人面部温度高精度检测技术", 红外技术, no. 12, 19 December 2019 (2019-12-19), pages 1181 - 1186 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112767248A (zh) * 2021-01-13 2021-05-07 深圳瀚维智能医疗科技有限公司 红外相机图片拼接方法、装置、设备及可读存储介质
CN112767248B (zh) * 2021-01-13 2023-09-08 深圳瀚维智能医疗科技有限公司 红外相机图片拼接方法、装置、设备及可读存储介质
CN113284128A (zh) * 2021-06-11 2021-08-20 中国南方电网有限责任公司超高压输电公司天生桥局 基于电力设备的图像融合显示方法、装置和计算机设备
CN113596341A (zh) * 2021-06-11 2021-11-02 北京迈格威科技有限公司 一种图像拍摄方法、图像处理方法、装置、电子设备
CN113596341B (zh) * 2021-06-11 2024-04-05 北京迈格威科技有限公司 一种图像拍摄方法、图像处理方法、装置、电子设备
CN114674874A (zh) * 2022-03-10 2022-06-28 湖北中桥科技有限公司 基于红外热成像的预应力管道内浆体充盈检测方法及系统
CN114926515A (zh) * 2022-06-08 2022-08-19 北京化工大学 基于时空域深度信息补全的红外与可见光图像配准方法
CN114926515B (zh) * 2022-06-08 2024-05-14 北京化工大学 基于时空域深度信息补全的红外与可见光图像配准方法

Similar Documents

Publication Publication Date Title
CN112102380A (zh) 一种红外图像与可见光图像的配准方法及相关装置
CN109461181B (zh) 基于散斑结构光的深度图像获取方法及系统
CN111487043B (zh) 单目散斑结构光系统的散斑投射器标定参数确定方法
CN109405765B (zh) 一种基于散斑结构光的高精度深度计算方法及系统
CN107633536B (zh) 一种基于二维平面模板的相机标定方法及系统
CN106815869B (zh) 鱼眼相机的光心确定方法及装置
EP2194725A1 (en) Method and apparatus for correcting a depth image
CN110119679B (zh) 物体三维信息估计方法及装置、计算机设备、存储介质
WO2022052582A1 (zh) 一种图像配准方法、装置及电子设备和存储介质
CN101577004B (zh) 一种极线矫正方法、装置和系统
CN110619660A (zh) 一种物体定位方法、装置、计算机可读存储介质及机器人
US20190147616A1 (en) Method and device for image rectification
CN114998328A (zh) 一种基于机器视觉的工件喷涂缺陷检测方法、系统及可读存储介质
CN115082450A (zh) 基于深度学习网络的路面裂缝检测方法和系统
CN115187676A (zh) 一种高精度线激光三维重建标定方法
CN108182666B (zh) 一种视差校正方法、装置和终端
CN111915681B (zh) 多组3d相机群的外参标定方法、装置、存储介质及设备
CN111899277A (zh) 运动目标检测方法及装置、存储介质、电子装置
CN116379936A (zh) 一种基于双目相机的智能识别距离测算方法及装置
CN113808185B (zh) 图像深度恢复方法、电子设备及存储介质
CN115661258A (zh) 标定方法及装置、畸变校正方法及装置、存储介质、终端
CN113048899A (zh) 基于线结构光的厚度测量方法和系统
CN112270693B (zh) 一种飞行时间深度相机运动伪差检测方法和装置
CN115035188A (zh) 一种基于目标的距离测量方法、装置及终端设备
CN113159197A (zh) 一种纯旋转运动状态判定方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination