CN111242991B - 一种可见光与红外相机快速配准的方法 - Google Patents

一种可见光与红外相机快速配准的方法 Download PDF

Info

Publication number
CN111242991B
CN111242991B CN202010027821.XA CN202010027821A CN111242991B CN 111242991 B CN111242991 B CN 111242991B CN 202010027821 A CN202010027821 A CN 202010027821A CN 111242991 B CN111242991 B CN 111242991B
Authority
CN
China
Prior art keywords
visible light
infrared camera
distance
camera
homography matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010027821.XA
Other languages
English (en)
Other versions
CN111242991A (zh
Inventor
吕德运
仲维
孔维强
刘日升
樊鑫
罗钟铉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN202010027821.XA priority Critical patent/CN111242991B/zh
Publication of CN111242991A publication Critical patent/CN111242991A/zh
Application granted granted Critical
Publication of CN111242991B publication Critical patent/CN111242991B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix

Abstract

本发明公开了一种可见光与红外相机快速配准的方法，即根据最近有效距离和最远有效距离确定图像拍摄距离，通过可见光和红外相机同时拍摄多组棋盘格标定板的图像，检测两种相机所拍摄图像的亚像素级角点，根据最小二乘法或者奇异值矩阵分解算出单应性矩阵H，即可完成可见光和红外相机的快速配准。该方法方法简单，易于实现；利用可见光和红外相机通用的棋盘格标定板采集角点对，相比于SURF算法，采集到的角点对更加精确；该方法不需要进行繁复的特征点对匹配计算及配准变换矩阵计算，只需要求出两个相机之间的单应性矩阵H，计算速度快，配准效率高。

Description

一种可见光与红外相机快速配准的方法
技术领域
本发明属于相机标定技术领域，具体涉及一种可见光与红外相机快速配准的方法。
背景技术
如今，目标检测技术大多使用可见光相机。可见光相机包含丰富的纹理、颜色、阴影特征，但是对图像处理的运算量大，红外相机可以对具有热源的人和物体进行快速的检测，但是分辨率较低，缺乏纹理等细节信息，且目标与背景颜色相同时容易湮没在背景中。如果将两种相机结合起来，可以使两种模态的信息相互融合，优势互补，但这就需要可见光和红外相机同时捕获同一场景的图像信息。由于不同成像传感器内部参数、视场、靶面尺寸或者拍摄角度等物理条件的差异，同一场景的可见光和红外图像并不能做到完全对准，需要对这两种相机进行配准。
常用的可见光和红外相机配准方法为基于特征的图像配准方法。基于特征的图像匹配算法尽管被广泛的应用，但是这需要提取红外及可见光图像的特征。同时该类方法中最著名的SURF算法通过提取特征点进行匹配以计算变换矩阵，但是该方法需要先识别出特征点，然后根据各特征点之间的向量距离确定匹配关系并进行变换矩阵计算。但是该算法有一定的误匹配率，即便后续使用RANSAC算法可以过滤一部分误匹配的点，但消耗了大量的处理资源，对于计算能力有限且实时性要求极高的嵌入式平台来说并不适合应用。
图像配准的实质是寻找一个几何变换模型，能将一幅图像经过坐标变换后与待配准图像进行对准，用数学公式表示为：
I0(x,y)＝f(I1(x,y))
其中I0(x,y)和I1(x,y)为待配准图像。f表示几何变换。
发明内容
本发明旨在克服现有技术的不足，提供了一种可见光与红外相机快速配准的方法，即根据最近有效距离和最远有效距离确定图像拍摄距离，通过可见光和红外相机同时拍摄多组棋盘格标定板的图像，检测两种相机所拍摄图像的亚像素级角点，根据最小二乘法或者奇异值矩阵分解算出单应性矩阵H，即可完成可见光和红外相机的快速配准。
本发明的具体技术方案为，一种可见光与红外相机快速配准的方法，包括下列步骤：
1)确定距离：令配准最近有效距离为d1，最远有效距离为d2，确定棋盘格图像拍摄的距离d；
1-1)令配准最近有效距离为d1，最远有效距离为d2，根据视差D求解公式：
Figure BDA0002363099190000021
其中B为基线长度，F为焦距，Z为相机到物体的距离；那么在最近有效距离处的视差D1的求解公式为：
Figure BDA0002363099190000022
同理，在最远有效距离处的视差D2的求解公式为：
Figure BDA0002363099190000023
1-2)为了兼顾最近和最远处的视差，使得可见光和红外图像配准后的重影尽可能的最少，设定权重k，得出加权平均视差D0：
D0＝kD1+(1-k)D2
确定棋盘格图像拍摄的距离d为：
Figure BDA0002363099190000024
2)拍摄棋盘格图像：使用可见光和红外相机同时拍摄的棋盘格标定板图像；
3)检测角点：使用棋盘格角点检测算法检测可见光和红外相机拍摄的棋盘格标定板图像；
4)求单应性矩阵：根据分解奇异值矩阵或者最小二乘法求解单应性矩阵H；
5)完成配准：通过单应性矩阵H确定可见光和红外相机的位置关系，完成配准。
进一步地，上述步骤4)求单应性矩阵的具体过程包括：
4-1)将单应性矩阵H定义为以下公式：
Figure BDA0002363099190000031
则有：
Figure BDA0002363099190000032
矩阵展开后，有3个式子，将第3个等式代入前两个等式中可得：
Figure BDA0002363099190000033
Figure BDA0002363099190000034
因为单应性矩阵H实际上只有8个自由度，可以给加上一个||H||＝1的约束条件。将上面的两个等式展开可以得到：
h11x+h12y+h13-h31xx′-h32yx′-h33x′＝0
h21x+h22y+h23-h31xy′-h32yy′-h33y′＝0
假定得到了两幅图像中的N个对应亚像素级角点的坐标，可以得到如下的线性方程组：
Figure BDA0002363099190000035
由于单应性矩阵H包含了||H||＝1约束，因此根据上图的线性方程组，8自由度的H至少需要4对对应的点才能计算出单应性矩阵。实际场景中，计算的点都包含噪声，为了使得计算更精准，一般使用远大于4个点来计算单应矩阵。另外上述方程组采用线性方法经常很难得到最优解，所以实际使用中一般采用其他优化方法，如奇异值分解、Levenberg-Marquarat(LM)算法进行求解。
本发明的有益效果是：
本发明提出了一种可见光与红外相机快速配准的方法，通过确定距离，拍摄图像，检测角点，求解单应性矩阵最终完成图像配准，具有以下特点：
1、方法简单，易于实现；
2、利用可见光和红外相机通用的棋盘格标定板采集角点对，相比于SURF算法，采集到的角点对更加精确；
3、该方法不需要进行繁复的特征点对匹配计算及配准变换矩阵计算，只需要求出两个相机之间的单应性矩阵H，计算速度快，配准效率高。
附图说明
图1是整体流程图；
图2是视差-距离关系图；
图3是可见光和红外双目相机位置关系图；
图4是可见光相机拍摄的标定板图像；
图5是红外相机拍摄的标定板图像。
具体实施方式
本发明提出了一种可见光与红外相机快速配准的方法，结合附图及实施例详细说明如下：
本发明以水平摆放的可见光双目相机和红外双目相机作为成像系统进行异源图像采集，其中V为可见光相机，IR为红外双目相机。可见光双目相机的分辨率为640×512，红外双目相机分辨率为640×512。如图3所示。所述方法流程如图1所示，包括下列步骤：
1)配准最近有效距离d1＝5m，最远有效距离d2＝30m，如图2视差-距离关系图所示，根据视差D求解公式：
Figure BDA0002363099190000051
其中B为基线长度，F为焦距，Z为相机到物体的距离。那么在最近有效距离处的视差D1的求解公式为：
Figure BDA0002363099190000052
同理，在最远有效距离处的视差D2的求解公式为：
Figure BDA0002363099190000053
为了兼顾最近和最远处的视差，使得可见光和红外图像配准后的重影尽可能的最少，设定权重k＝0.5，可以得出加权平均视差D0：
D0＝(D1+D2)/2
可确定棋盘格图像拍摄的距离d为：
Figure BDA0002363099190000054
2)使用可见光相机V和红外相机IR同时拍摄的3组以上的通用棋盘格标定板图像，V拍摄的通用棋盘格标定板图像如图4所示，IR拍摄的通用棋盘格标定板图像如图5所示；
3)使用棋盘格角点检测算法检测可见光和红外相机拍摄20对棋盘格标定板图像，分别对红外图像和可见光图像进行角点检测，检测出的720对亚像素级角点将作为求解单应性矩阵H的输入；
4)将单应性矩阵H定义为以下公式：
Figure BDA0002363099190000055
则有：
Figure BDA0002363099190000061
矩阵展开后，有3个式子，将第3个等式代入前两个等式中可得：
Figure BDA0002363099190000062
Figure BDA0002363099190000063
因为单应性矩阵H实际上只有8个自由度，可以给加上一个||H||＝1的约束条件。将上面的两个等式展开可以得到：
h11x+h12y+h13-h31xx′-h32yx′-h33x′＝0
h21x+h22y+h23-h31xy′-h32yy′-h33y′＝0
假定得到了两幅图像中的N个对应亚像素级角点的坐标，可以得到如下的线性方程组：
Figure BDA0002363099190000064
由于单应性矩阵H包含了||H||＝1约束，因此根据上图的线性方程组，8自由度的H至少需要4对对应的点才能计算出单应性矩阵。实际场景中，计算的点都包含噪声，为了使得计算更精准，一般使用远大于4个点来计算单应矩阵。另外上述方程组采用线性方法经常很难得到最优解，所以实际使用中一般采用其他优化方法，如奇异值分解、Levenberg-Marquarat(LM)算法进行求解。
5)最终，根据单应性矩阵H可以完成对可见光相机V和红外相机IR的配准。

Claims (3)

1.一种可见光与红外相机快速配准的方法，其特征在于，包括下列步骤：
1)确定距离：令配准最近有效距离为d1，最远有效距离为d2，确定棋盘格图像拍摄的距离d；
1-1)令配准最近有效距离为d1，最远有效距离为d2，根据视差D求解公式：
Figure FDA0002363099180000011
其中B为基线长度，F为焦距，Z为相机到物体的距离；那么在最近有效距离处的视差D1的求解公式为：
Figure FDA0002363099180000012
同理，在最远有效距离处的视差D2的求解公式为：
Figure FDA0002363099180000013
1-2)设定权重k，得出加权平均视差D0：
D0＝kD1+(1-k)D2
确定棋盘格图像拍摄的距离d为：
Figure FDA0002363099180000014
2)拍摄棋盘格图像：使用可见光和红外相机同时拍摄的棋盘格标定板图像；
3)检测角点：使用棋盘格角点检测算法检测可见光和红外相机拍摄的棋盘格标定板图像；
4)求单应性矩阵：根据分解奇异值矩阵或者最小二乘法求解单应性矩阵H；
5)完成配准：通过单应性矩阵H确定可见光和红外相机的位置关系，完成配准。
2.根据权利要求1所述的一种可见光与红外相机快速配准的方法，其特征在于，步骤4)中求单应性矩阵，具体包括以下步骤：
4-1)将单应性矩阵H定义为以下公式：
Figure FDA0002363099180000015
则有：
Figure FDA0002363099180000021
矩阵展开处理后，得：
Figure FDA0002363099180000022
Figure FDA0002363099180000023
加上一个||H||＝1的约束条件；将上面的两个等式展开得到：
h11x+h12y+h13-h31xx′-h32yx′-h33x′＝0
h21x+h22y+h23-h31xy′-h32yy′-h33y′＝0
得到了两幅图像中的N个对应亚像素级角点的坐标，进而得到如下的线性方程组：
Figure FDA0002363099180000024
采用4个以上的对应点，求解单应矩阵。
3.根据权利要求2所述的一种可见光与红外相机快速配准的方法，其特征在于，步骤4)采用奇异值分解或Levenberg-Marquarat算法进行求解单应矩阵。
CN202010027821.XA 2020-01-10 2020-01-10 一种可见光与红外相机快速配准的方法 Active CN111242991B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010027821.XA CN111242991B (zh) 2020-01-10 2020-01-10 一种可见光与红外相机快速配准的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010027821.XA CN111242991B (zh) 2020-01-10 2020-01-10 一种可见光与红外相机快速配准的方法

Publications (2)

Publication Number Publication Date
CN111242991A CN111242991A (zh) 2020-06-05
CN111242991B true CN111242991B (zh) 2022-09-20

Family

ID=70874494

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010027821.XA Active CN111242991B (zh) 2020-01-10 2020-01-10 一种可见光与红外相机快速配准的方法

Country Status (1)

Country Link
CN (1) CN111242991B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112085771B (zh) * 2020-08-06 2023-12-05 深圳市优必选科技股份有限公司 图像配准方法、装置、终端设备及计算机可读存储介质
CN112053392A (zh) * 2020-09-17 2020-12-08 南昌航空大学 一种红外与可见光图像的快速配准与融合方法
CN112132874B (zh) * 2020-09-23 2023-12-05 西安邮电大学 无标定板异源图像配准方法、装置、电子设备及存储介质
CN113160194B (zh) * 2021-04-28 2023-06-16 贵州电网有限责任公司 一种紫外和可见光图像的距离自适应配准方法
CN112995528B (zh) * 2021-05-06 2021-09-21 中国工程物理研究院流体物理研究所 一种光电分幅相机通道间图像配准方法
CN113744349A (zh) * 2021-08-31 2021-12-03 湖南航天远望科技有限公司 一种红外光谱图像测量对准方法、装置及介质
CN116704048B (zh) * 2023-08-09 2023-11-17 四川元祉智慧科技有限公司 一种双光配准方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105354851A (zh) * 2015-11-20 2016-02-24 中国安全生产科学研究院 对距离自适应的红外与可见光视频融合方法及融合系统
CN109146930A (zh) * 2018-09-20 2019-01-04 河海大学常州校区 一种电力机房设备红外与可见光图像配准方法
CN109389630A (zh) * 2018-09-30 2019-02-26 北京精密机电控制设备研究所 可见光图像与红外图像特征点集确定、配准方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105354851A (zh) * 2015-11-20 2016-02-24 中国安全生产科学研究院 对距离自适应的红外与可见光视频融合方法及融合系统
CN109146930A (zh) * 2018-09-20 2019-01-04 河海大学常州校区 一种电力机房设备红外与可见光图像配准方法
CN109389630A (zh) * 2018-09-30 2019-02-26 北京精密机电控制设备研究所 可见光图像与红外图像特征点集确定、配准方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于OpenCV的红外与可见光双摄像机标定方法研究;任贵文;《科学技术与工程》;20160128(第03期);全文 *
基于R-MI-rényi测度的可见光与红外图像配准;陈震等;《电子测量与仪器学报》;20180115(第01期);全文 *

Also Published As

Publication number Publication date
CN111242991A (zh) 2020-06-05

Similar Documents

Publication Publication Date Title
CN111242991B (zh) 一种可见光与红外相机快速配准的方法
CN106780618B (zh) 基于异构深度摄像机的三维信息获取方法及其装置
CN106204574B (zh) 基于目标平面运动特征的相机位姿自标定方法
CN111243033B (zh) 一种优化双目相机外参数的方法
CN110044374B (zh) 一种基于图像特征的单目视觉测量里程的方法及里程计
CN103795935B (zh) 一种基于图像校正的摄像式多目标定位方法及装置
CN112132874B (zh) 无标定板异源图像配准方法、装置、电子设备及存储介质
CN111105460B (zh) 一种室内场景三维重建的rgb-d相机位姿估计方法
CN112001926B (zh) 基于多维语义映射rgbd多相机标定方法、系统及应用
CN110136202A (zh) 一种基于ssd与双摄像头的多目标识别与定位方法
CN110969667A (zh) 基于边缘特征的多光谱相机外参自校正算法
CN106033614B (zh) 一种强视差下的移动相机运动目标检测方法
CN113393439A (zh) 一种基于深度学习的锻件缺陷检测方法
CN107560592A (zh) 一种用于光电跟踪仪联动目标的精确测距方法
Cao et al. Camera calibration and light source orientation from solar shadows
CN113329179B (zh) 拍摄对位方法、装置、设备及存储介质
CN112362034B (zh) 基于双目视觉的固体发动机多节筒段对接引导测量方法
CN109493384A (zh) 相机位姿估计方法、系统、设备及存储介质
CN104318566B (zh) 可返回多个高程值的新型多视影像铅垂线轨迹匹配方法
CN205726180U (zh) 末端制导视频图像三维数据采集系统
CN112541932A (zh) 基于双光相机不同焦距变换参数的多源图像配准方法
CN108090930A (zh) 基于双目立体相机的障碍物视觉检测系统及方法
CN113240749B (zh) 一种面向海上舰船平台无人机回收的远距离双目标定与测距方法
CN106980601B (zh) 基于三目极线约束的基础矩阵高精度求解方法
Chen et al. High precision pose measurement for humanoid robot based on PnP and OI algorithms

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant