CN110969667A - 基于边缘特征的多光谱相机外参自校正算法 - Google Patents

基于边缘特征的多光谱相机外参自校正算法 Download PDF

Info

Publication number
CN110969667A
CN110969667A CN201911152421.5A CN201911152421A CN110969667A CN 110969667 A CN110969667 A CN 110969667A CN 201911152421 A CN201911152421 A CN 201911152421A CN 110969667 A CN110969667 A CN 110969667A
Authority
CN
China
Prior art keywords
image
visible light
infrared
camera
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911152421.5A
Other languages
English (en)
Other versions
CN110969667B (zh
Inventor
仲维
柳博谦
李豪杰
王智慧
刘日升
樊鑫
罗钟铉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN201911152421.5A priority Critical patent/CN110969667B/zh
Priority to PCT/CN2020/077951 priority patent/WO2021098080A1/zh
Priority to US17/279,461 priority patent/US11398053B2/en
Publication of CN110969667A publication Critical patent/CN110969667A/zh
Application granted granted Critical
Publication of CN110969667B publication Critical patent/CN110969667B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0092—Image segmentation from stereoscopic image signals
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了基于边缘特征的多光谱相机外参自校正算法，属于图像处理和计算机视觉领域。由于可见光相机和红外相机属于不同模态，因此直接提取特征点做匹配得到的满足要求的点对比较少。为了解决这个问题，本方法从边缘特征入手，通过边缘提取和匹配找到红外图像在可见光图像上的最佳对应位置。这样就缩小了搜索范围，增加了满足要求的匹配点对数，从而更加有效的对红外相机和可见光相机进行联合自标定，操作简便，结果精确。

Description

基于边缘特征的多光谱相机外参自校正算法
技术领域
本发明属于图像处理和计算机视觉领域，涉及从拍摄到的红外场景图像和可见光场景图像中提取并匹配特征点，并根据匹配的特征点对红外相机和可见光相机之间的位置关系进行修正，从而解决红外相机和可见光相机因温度和震动导致其外参发生变化的问题。
背景技术
红外线(Infrared)是波长介于微波与可见光之间的电磁波，波长比红光要长。高于绝对零度(-273.15℃)的物质都可以产生红外线。红外图像由于其具有透过雾、雨等进行观察的能力而被广泛用于军事国防、资源勘探、气象预报、环境监测、医学诊治、海洋研究等不同领域。利用红外线可以隔着薄雾和烟雾拍摄景物，而且在夜间也可以进行红外摄影。红外相机成像的优点是在极端场景(低光、雨雪、浓雾等)也可以成像，缺点是分辨率低、图像细节较模糊。相比之下，可见光相机的优点是分辨率高、图像细节清晰，但是在极端场景下不能成像。因此，将红外相机和可见光相机结合起来具有重大的现实意义。
立体视觉是计算机视觉领域的重要主题。其目的是重建场景的3D几何信息。双目立体视觉是立体视觉的重要领域。在双目立体视觉中，左右摄像头用于模拟两只眼睛。通过计算双目图像之间的差异来计算深度图像。双目立体视觉具有效率高，准确度高，系统结构简单，成本低的优点。由于双目立体视觉需要匹配左右图像捕获点上的相同点，因此相机两个镜头的焦距和图像捕获中心，以及左右两个镜头之间的位置关系。为了得到以上数据，我们需要对相机进行标定。获取可见光相机和红外相机之间的位置关系称为联合标定。
在标定过程中获得了相机的两个镜头参数和相对位置参数，但这些参数不稳定。当温度、湿度等发生变化时，相机镜头的内部参数也会发生变化。另外，由于意外的相机碰撞，两个镜头之间的位置关系可能会改变。因此，每次使用摄像机时，都必须修改内部和外部参数，这就是自标定。在已知相机内部参数的情况下，我们通过分别提取红外图像特征和可见光图像特征来对红外镜头和可见光镜头的位置关系进行修正，即红外相机与可见光相机的联合自标定。
发明内容
本发明旨在解决由于温湿度、震动等因素造成红外相机和可见光相机位置关系的改变。通过提取红外相机和可见光相机的边缘并匹配，之后从匹配的边缘选取特征点，并根据这些特征点对原有的标定结果进行修正。
本发明的技术方案：
基于边缘特征的多光谱相机外参自校正算法，流程如图1所示，步骤如下：
1)原图校正：将原图根据红外相机和可见光相机各自内参和原来的外参进行去畸变和双目校正。流程如图2所示。
2)场景边缘检测：将红外图像和可见光图像分别做边缘提取。
3)判断红外图像在可见光图像上的最佳对应位置：将红外图像的边缘和可见光图像的边缘做匹配，根据匹配结果确定对应位置。
4)提取并筛选出最佳的匹配点对：根据红外图像在可见光图像上的最佳对应位置提取并选择满足要求的匹配点对。
5)判断特征点覆盖区域：将图像分成m*n个格子，当特征点覆盖到所有格子时，则进行下一步，否则继续拍摄图像，提取特征点。
6)修正标定结果：使用所有特征点的图像坐标来计算校正之后的两相机之间的位置关系，然后与原来的外参相叠加。
所述步骤1)的具体步骤如下：
1-1)计算图像的像素点对应的正规坐标系下的坐标。其中，正规坐标系是相机坐标系在平面Z＝1的投影；而相机坐标系是以相机的中心作为图像坐标系的原点，以图片方向为XY轴方向，以垂直于图像为Z轴方向的坐标系。像素坐标系以图片的左上角为原点，其x轴和y轴分别与图像坐标系的x轴和y轴平行。像素坐标系的单位是像素。像素坐标与正规坐标的关系如下：
u＝KX
Figure BDA0002283901740000031
其中，
Figure BDA0002283901740000032
表示图像的像素坐标；
Figure BDA0002283901740000033
表示相机的内参矩阵，fx和fy分别表示图像x方向和y方向的焦距，单位是像素，(cx,cy)表示相机的主点位置，即相机中心在图像上的对应位置；
Figure BDA0002283901740000034
是正规坐标系下的坐标。已知图像的像素坐标系以及相机的内参计算出像素点对应的正规坐标系，即X＝K-1u；
1-2)去除图像畸变：由于镜头生产工艺的限制，实际情况下的镜头会存在一些失真现象导致非线性的畸变。因此纯线性模型不能完全准确地描述成像几何关系。非线性畸变可大致分为径向畸变和切向畸变。
图像径向畸变是图像像素点以畸变中心为中心点，沿着径向产生的位置偏差，从而导致图像中所成的像发生形变。径向畸变的大致表述如下：
xd＝x(1+k1r2+k2r4+k3r6)
yd＝y(1+k1r2+k2r4+k3r6)
其中，r2＝x2+y2，k1、k2、k3为径向畸变参数。
图像切向畸变是由于摄像机制造上的缺陷使得透镜本身与图像平面不平行而产生的，可定量描述为：
xd＝x+(2p1xy+p2(r2+2x2))
yd＝y+(p1(r2+2y2)+2p2xy)
其中，p1、p2为切向畸变系数。
综上，畸变前后的坐标关系如下：
xd＝x(1+k1r2+k2r4+k3r6)+(2p1xy+p2(r2+2x2))
yd＝y(1+k1r2+k2r4+k3r6)+(p1(r2+2y2)+2p2xy)
其中，(x,y)是理想状态下的正规坐标，(xd,yd)是实际带有畸变的正规坐标。
1-3)根据原来两相机的旋转关系将两图转回来：已知原来两个相机之间的旋转矩阵R和平移向量t，使得：
xr＝RXl+t
其中，Xl表示红外相机的正规坐标，Xr表示可见光相机的正规坐标。将红外图像向R正方向旋转一半的角度，将可见光图像向R反方向旋转一半的角度；
1-4)根据公式u＝KX将去畸旋转后的图像还原至像素坐标系。
所述步骤3)具体包括以下步骤：
3-1)使用归一化互相关匹配法来计算可见光边缘图和红外边缘图的互相关系数。
Figure BDA0002283901740000041
其中，(u,v)表示红外边缘图ImIRe相对于可见光边缘图ImOe的位置，ImOeu,v表示ImOe以(u,v)为起点、与ImIRe尺寸相同的部分。
Figure BDA0002283901740000042
和σIR分别表示对应图像的标准差。
选取使ρ(u,v)最大的一组点{(uk,vk)}作为候选的对应位置。
3-2)对每一个侯选位置按照一个角度范围旋转多次(比如-10°～10°范围内分为200份，即从-10°位置开始每次转0.1°)，选取使ρ(u,v)最大的对应位置和旋转角度。
所述步骤4)具体包括以下步骤：
4-1)在可见光图像上选取红外图像最佳对应位置。将红外图像按照步骤3)的结果进行平移和旋转。然后分别在可见光图像和平移和旋转后的红外图像上进行特征点检测。
4-2)将红外图像和可见光图像区域同时分为m×n个块。对于红外图每一个特征点
Figure BDA0002283901740000051
找到其在红外图对应的块
Figure BDA0002283901740000052
块
Figure BDA0002283901740000053
所对应的可见光图搜索范围记为
Figure BDA0002283901740000054
如图3所示。找到一个能够描述特征点相似程度的变量来评估
Figure BDA0002283901740000055
和
Figure BDA0002283901740000056
中任意一点的相似程度，如果相似程度最大值大于阈值t1，则视为粗匹配点
Figure BDA0002283901740000057
4-3)如果
Figure BDA0002283901740000058
和
Figure BDA0002283901740000059
中相似程度最大值sfirst和次大值ssecond满足：
F(sfirst，ssecond)≥t2
则保留该匹配，其中t2为阈值，F(sfirst,ssecond)用于描述sfirst和ssecond之间的关系。
按照该规则筛选之后，再按照步骤4-2)、4-3)的方法匹配
Figure BDA00022839017400000510
在红外图对应的特征点
Figure BDA00022839017400000511
如果满足
Figure BDA00022839017400000512
则保留该匹配
Figure BDA00022839017400000513
4-4)以红外图特征点
Figure BDA00022839017400000514
为基准，抛物线拟合优化对应可见光图的整数像素特征点
Figure BDA00022839017400000515
得到的对应可见光图的亚像素特征点
Figure BDA00022839017400000516
Figure BDA00022839017400000517
其中
Figure BDA00022839017400000518
为x方向上的亚像素偏移量，
Figure BDA00022839017400000519
为y方向上的亚像素偏移量。
4-5)以对应可见光图整数像素特征点
Figure BDA00022839017400000520
为基准，根据4-4)的方法计算出对应红外图的亚像素特征点
Figure BDA00022839017400000521
其中
Figure BDA00022839017400000522
为x方向上的亚像素偏移量，
Figure BDA00022839017400000523
为y方向上的亚像素偏移量。
4-6)最终的匹配点对为
Figure BDA00022839017400000524
需要将
Figure BDA00022839017400000525
按照步骤4-1)的逆过程还原成红外图像旋转平移之前的坐标。
所述步骤6)具体包括以下步骤：
6-1)使用随机抽样一致性(RANSAC)对点对做进一步筛选。
6-2)求解基础矩阵F和本质矩阵E：红外和可见光对应像素点对ul、ur和基础矩阵F的关系是：
Figure BDA00022839017400000526
将对应点坐标代入上式，构建齐次线性方程组求解F。
基础矩阵和本质矩阵的关系是：
Figure BDA0002283901740000061
其中，Kl、Kr分别是红外相机和可见光相机的内参矩阵。
6-3)从本质矩阵分解出旋转和平移关系：本质矩阵E与旋转R和平移t的关系如下：
E＝[t]×R
其中[t]×表示t的叉乘矩阵。
将E做奇异值分解，得
Figure BDA0002283901740000062
定义两个矩阵
Figure BDA0002283901740000063
和
Figure BDA0002283901740000064
ZW＝Σ
所以E写成以下两种形式
(1)E＝UZUTUWVT
令[t]×＝UZUT，R＝UWVT
(2)E＝-UZUTUWTVT
令[t]×＝-UZUT，R＝UWTVT
6-4)将分解出的旋转和平移关系叠加到原来的红外相机和可见光相机的位置关系里面。
本发明的有益效果：本发明解决了由于温湿度、震动等因素造成红外相机和可见光相机位置关系的改变。具有速度快、结果精确、操作简单等优点。
附图说明
图1为整体流程示意图。
图2为双目校正流程示意图。
图3是分块匹配的示意图。其中，(a)为红外分块示意图，(b)为可见光分块示意图。
具体实施方式
本发明旨在解决由于温湿度、震动等因素造成红外相机和可见光相机位置关系的改变。结合附图及实施例详细说明如下：
1)原图校正：将原图根据红外相机和可见光相机各自内参和原来的外参进行去畸变和双目校正。流程如图2所示。
1-1)计算图像的像素点对应的正规坐标系下的坐标。像素坐标系以图片的左上角为原点，其x轴和y轴分别与图像坐标系的x轴和y轴平行。像素坐标系的单位是像素，像素是图像显示的基本且不可分割的单位。正规坐标系是相机坐标系在平面Z＝1的投影；而相机坐标系是以相机的中心作为图像坐标系的原点，以图片方向为XY轴方向，以垂直于图像为Z轴方向的坐标系。像素坐标与正规坐标的关系如下：
u＝KX
Figure BDA0002283901740000071
其中，
Figure BDA0002283901740000072
表示图像的像素坐标；
Figure BDA0002283901740000073
表示相机的内参矩阵，fx和fy分别表示图像x方向和y方向的焦距(单位是像素)，(cx,cy)表示相机的主点位置，即相机中心在图像上的对应位置；
Figure BDA0002283901740000074
是正规坐标系下的坐标。已知图像的像素坐标系以及相机的内参可以计算出像素点对应的正规坐标系，即
x＝K-1u
1-2)去除图像畸变：由于镜头生产工艺的限制，实际情况下的镜头会存在一些失真现象导致非线性的畸变。因此纯线性模型不能完全准确地描述成像几何关系。非线性畸变可大致分为径向畸变和切向畸变。
图像径向畸变是图像像素点以畸变中心为中心点，沿着径向产生的位置偏差，从而导致图像中所成的像发生形变。径向畸变的大致表述如下：
xd＝x(1+k1r2+k2r4+k3r6)
yd＝y(1+k1r2+k2r4+k3r6)
其中，r2＝x2+y2，k1、k2、k3为径向畸变参数。
切向畸变是由于摄像机制造上的缺陷使得透镜本身与图像平面不平行而产生的，可定量描述为：
xd＝x+(2p1xy+p2(r2+2x2))
yd＝y+(p1(r2+2y2)+2p2xy)
其中，p1、p2为切向畸变系数。
综上，畸变前后的坐标关系如下：
xd＝x(1+k1r2+k2r4+k3r6)+(2p1xy+p2(r2+2x2))
yd＝y(1+k1r2+k2r4+k3r6)+(p1(r2+2y2)+2p2xy)
其中，(x,y)是理想状态下的正规坐标，(xd,yd)是实际带有畸变的正规坐标。
1-3)根据原来两相机的旋转关系将两图转回来：已知原来两个相机之间的旋转矩阵R和平移向量t，使得
xr＝RXl+t
其中，Xl表示红外相机的正规坐标，Xr表示可见光相机的正规坐标。将红外图像向R正方向旋转一半的角度，将可见光图像向R反方向旋转一半的角度；
1-4)根据公式u＝KX将去畸旋转后的图像还原至像素坐标系。
2)场景边缘检测：将红外图像和可见光图像分别做边缘提取。
3)判断红外图像在可见光图像上的最佳对应位置：将红外图像的边缘和可见光图像的边缘做匹配，根据匹配结果确定对应位置。
3-1)使用归一化互相关匹配法来计算可见光边缘图和红外边缘图的互相关系数。
Figure BDA0002283901740000091
其中，(u,v)表示红外边缘图ImIRe相对于可见光边缘图ImOe的位置，ImOeu,v表示ImOe以(u,v)为起点、与ImIRe尺寸相同的部分。
Figure BDA0002283901740000092
和σIR分别表示对应图像的标准差。
选取使ρ(u,v)最大的一组点{(uk,vk)}作为候选的对应位置。
3-2)对每一个侯选位置按照一个角度范围旋转多次：-10°～10°范围内分为200份，即从-10°位置开始每次转0.1°，选取使ρ(u,v)最大的对应位置和旋转角度。
4)提取并筛选出最佳的匹配点对：根据红外图像在可见光图像上的最佳对应位置提取并选择满足要求的匹配点对。
4-1)在可见光图像上选取红外图像最佳对应位置。将红外图像按照步骤3)的结果进行平移和旋转。然后分别在可见光图像和平移和旋转后的红外图像上进行特征点检测。
4-2)将红外图像和可见光图像区域同时分为m×n个块。对于红外图每一个特征点
Figure BDA0002283901740000093
找到其在红外图对应的块
Figure BDA0002283901740000094
块
Figure BDA0002283901740000095
所对应的可见光图搜索范围记为
Figure BDA0002283901740000096
如图3所示。找到一个能够描述特征点相似程度的变量来评估
Figure BDA0002283901740000097
和
Figure BDA0002283901740000098
中任意一点的相似程度，如果相似程度最大值大于阈值t1，则视为粗匹配点
Figure BDA0002283901740000099
4-3)如果
Figure BDA00022839017400000910
和
Figure BDA00022839017400000911
中相似程度最大值sfirst和次大值ssecond满足：
F(sfirst，ssecond)≥t2
则保留该匹配，其中t2为阈值,(sfirst,ssecond)用于描述sfirst和ssecond之间的关系。
按照该规则筛选之后，再按照以上步骤匹配
Figure BDA00022839017400000912
在红外图对应的特征点
Figure BDA00022839017400000913
如果满足
Figure BDA00022839017400000914
则保留该匹配
Figure BDA00022839017400000915
4-4)以红外图特征点
Figure BDA0002283901740000101
为基准，抛物线拟合优化对应可见光图的整数像素特征点
Figure BDA0002283901740000102
得到的对应可见光图的亚像素特征点
Figure BDA0002283901740000103
Figure BDA0002283901740000104
其中
Figure BDA0002283901740000105
为x方向上的亚像素偏移量，
Figure BDA0002283901740000106
为y方向上的亚像素偏移量。
4-5)以对应可见光图整数像素特征点
Figure BDA0002283901740000107
为基准，根据4-4)的方法计算出对应红外图的亚像素特征点
Figure BDA0002283901740000108
其中
Figure BDA0002283901740000109
为x方向上的亚像素偏移量，
Figure BDA00022839017400001010
为y方向上的亚像素偏移量。
4-6)最终的匹配点对为
Figure BDA00022839017400001011
需要将
Figure BDA00022839017400001012
按照步骤4-1)的逆过程还原成红外图像旋转平移之前的坐标。
5)判断特征点覆盖区域：将图像分成m*n个格子，如果特征点覆盖到所有格子，则进行下一步，否则继续拍摄图像，提取特征点。
6)修正标定结果：使用所有特征点的图像坐标来计算校正之后的两相机之间的位置关系，然后与原来的外参相叠加。
6-1)使用随机抽样一致性(RANSAC)对点对做进一步筛选。
6-2)求解基础矩阵F和本质矩阵E：红外和可见光对应像素点对ul、ur和基础矩阵F的关系是：
Figure BDA00022839017400001013
可以将对应点坐标代入上式，构建齐次线性方程组求解F。
基础矩阵和本质矩阵的关系是：
Figure BDA00022839017400001014
其中，Kl、Kr分别是红外相机和可见光相机的内参矩阵。
6-3)从本质矩阵分解出旋转和平移关系：本质矩阵E与旋转R和平移t的关系如下：
E＝[t]×R
其中[t]×表示t的叉乘矩阵。
将E做奇异值分解，得
Figure BDA0002283901740000111
定义两个矩阵
Figure BDA0002283901740000112
和
Figure BDA0002283901740000113
ZW＝Σ
所以E可以写成以下两种形式
(1)E＝UZUTUWVT
令[t]×＝UZUT，R＝UWVT
(2)E＝-UZUTUWTVT
令[t]×＝-UZUT，R＝ＵWTVT
6-4)将分解出的旋转和平移关系叠加到原来的红外相机和可见光相机的位置关系里面。

Claims (8)

1.基于边缘特征的多光谱相机外参自校正算法，其特征在于，步骤如下：
1)原图校正：将原图根据红外相机和可见光相机各自内参和原来的外参进行去畸变和双目校正；
2)场景边缘检测：将红外图像和可见光图像分别做边缘提取；
3)判断红外图像在可见光图像上的最佳对应位置：将红外图像的边缘和可见光图像的边缘做匹配，根据匹配结果确定对应位置；
4)提取并筛选出最佳的匹配点对：根据红外图像在可见光图像上的最佳对应位置提取并选择满足要求的匹配点对；
5)判断特征点覆盖区域：将图像分成m*n个格子，当特征点覆盖到所有格子时，则进行下一步，否则继续拍摄图像，提取特征点；
6)修正标定结果：使用所有特征点的图像坐标来计算校正之后的两相机之间的位置关系，然后与原来的外参相叠加。
2.根据权利要求1所述的基于边缘特征的多光谱相机外参自校正算法，其特征在于，所述步骤1)的具体过程如下：
1-1)计算图像的像素点对应的正规坐标系下的坐标
像素坐标系以图片的左上角为原点，其x轴和y轴分别与图像坐标系的x轴和y轴平行，像素坐标系的单位是像素；正规坐标系是相机坐标系在平面Z＝1的投影；而相机坐标系是以相机的中心作为图像坐标系的原点，以图片方向为XY轴方向，以垂直于图像为Z轴方向的坐标系；像素坐标与正规坐标的关系如下：
u＝KX
Figure FDA0002283901730000011
其中，
Figure FDA0002283901730000012
表示图像的像素坐标；
Figure FDA0002283901730000013
表示相机的内参矩阵，fx和fy分别表示图像x方向和y方向的焦距，单位是像素，(cx，cy)表示相机的主点位置，即相机中心在图像上的对应位置；
Figure FDA0002283901730000021
是正规坐标系下的坐标；已知图像的像素坐标系以及相机的内参计算出像素点对应的正规坐标系，即X＝K-1u；
1-2)去除图像畸变
图像径向畸变表述如下：
xd＝x(1+k1r2+k2r4+k3r6)
yd＝y(1+k1r2+k2r4+k3r6)
其中，r2＝x2+y2，k1、k2、k3为径向畸变参数；
图像切向畸变表述如下：
xd＝x+(2p1xy+p2(r2+2x2))
yd＝y+(p1(r2+2y2)+2p2xy)
其中，p1、p2为切向畸变系数；
畸变前后的坐标关系如下：
xd＝x(1+k1r2+k2r4+k3r6)+(2p1xy+p2(r2+2x2))
yd＝y(1+k1r2+k2r4+k3r6)+(p1(r2+2y2)+2p2xy)
其中，(x，y)是理想状态下的正规坐标，(xd，yd)是实际带有畸变的正规坐标；
1-3)根据原来两相机的旋转关系将两图转回来：已知原来两个相机之间的旋转矩阵R和平移向量t，使得：
Xr＝RXt+t
其中，Xl表示红外相机的正规坐标，Xr表示可见光相机的正规坐标；将红外图像向R正方向旋转一半的角度，将可见光图像向R反方向旋转一半的角度；
1-4)根据公式u＝KX将去畸旋转后的图像还原至像素坐标系。
3.根据权利要求1或2所述的基于边缘特征的多光谱相机外参自校正算法，其特征在于，所述步骤3)具体包括以下步骤：
3-1)使用归一化互相关匹配法来计算可见光边缘图和红外边缘图的互相关系数；
Figure FDA0002283901730000031
其中，(u，v)表示红外边缘图ImIRe相对于可见光边缘图ImOe的位置，Imoeu，v表示ImOe以(u，v)为起点、与ImIRe尺寸相同的部分；
Figure FDA0002283901730000032
和σIR表示对应图像的标准差；
选取使ρ(u，v)最大的一组点{(uk，vk)}作为候选的对应位置；
3-2)对每一个侯选位置按照一个角度范围旋转多次，选取使ρ(u，v)最大的对应位置和旋转角度。
4.根据权利要求1或2所述的基于边缘特征的多光谱相机外参自校正算法，其特征在于，所述步骤4)具体包括以下步骤：
4-1)在可见光图像上选取红外图像最佳对应位置；将红外图像按照步骤3)的结果进行平移和旋转；然后分别在可见光图像和平移和旋转后的红外图像上进行特征点检测；
4-2)将红外图像和可见光图像区域同时分为m×n个块；对于红外图每一个特征点
Figure FDA0002283901730000033
找到其在红外图对应的块
Figure FDA0002283901730000034
块
Figure FDA0002283901730000035
所对应的可见光图搜索范围记为
Figure FDA0002283901730000036
如图3所示；找到一个能够描述特征点相似程度的变量来评估
Figure FDA0002283901730000037
和
Figure FDA0002283901730000038
中任意一点的相似程度，如果相似程度最大值大于阈值t1，则视为粗匹配点
Figure FDA0002283901730000039
4-3)如果
Figure FDA00022839017300000310
和
Figure FDA00022839017300000311
中相似程度最大值sfirst和次大值ssecond满足：
F(sfirst，ssecond)≥t2
则保留该匹配，其中t2为阈值，F(sfirst，ssecond)用于描述sfirst和ssecond之间的关系；
按照该规则筛选之后，再按照步骤4-2)、4-3)的方法匹配
Figure FDA00022839017300000315
在红外图对应的特征点
Figure FDA00022839017300000312
如果满足
Figure FDA00022839017300000313
则保留该匹配
Figure FDA00022839017300000314
4-4)以红外图特征点
Figure FDA0002283901730000041
为基准，抛物线拟合优化对应可见光图的整数像素特征点
Figure FDA0002283901730000042
得到的对应可见光图的亚像素特征点
Figure FDA0002283901730000043
Figure FDA0002283901730000044
其中
Figure FDA0002283901730000045
为x方向上的亚像素偏移量，
Figure FDA0002283901730000046
为y方向上的亚像素偏移量；
4-5)以对应可见光图整数像素特征点
Figure FDA0002283901730000047
为基准，根据4-4)的方法计算出对应红外图的亚像素特征点
Figure FDA0002283901730000048
其中
Figure FDA0002283901730000049
为x方向上的亚像素偏移量，
Figure FDA00022839017300000410
为y方向上的亚像素偏移量；
4-6)最终的匹配点对为
Figure FDA00022839017300000411
需要将
Figure FDA00022839017300000412
按照步骤4-1)的逆过程还原成红外图像旋转平移之前的坐标。
5.根据权利要求3所述的基于边缘特征的多光谱相机外参自校正算法，其特征在于，所述步骤4)具体包括以下步骤：
4-1)在可见光图像上选取红外图像最佳对应位置；将红外图像按照步骤3)的结果进行平移和旋转；然后分别在可见光图像和平移和旋转后的红外图像上进行特征点检测；
4-2)将红外图像和可见光图像区域同时分为m×n个块；对于红外图每一个特征点
Figure FDA00022839017300000413
找到其在红外图对应的块
Figure FDA00022839017300000414
块
Figure FDA00022839017300000415
所对应的可见光图搜索范围记为
Figure FDA00022839017300000416
如图3所示；找到一个能够描述特征点相似程度的变量来评估
Figure FDA00022839017300000417
和
Figure FDA00022839017300000418
中任意一点的相似程度，如果相似程度最大值大于阈值t1，则视为粗匹配点
Figure FDA00022839017300000419
4-3)如果
Figure FDA00022839017300000420
和
Figure FDA00022839017300000421
中相似程度最大值sfirst和次大值ssecond满足：
F(sfirst，ssecond)≥t2
则保留该匹配，其中t2为阈值，F(sfirst，ssecond)用于描述sfirst和ssecond之间的关系；
按照该规则筛选之后，再按照步骤4-2)、4-3)的方法匹配
Figure FDA00022839017300000426
在红外图对应的特征点
Figure FDA00022839017300000422
如果满足
Figure FDA00022839017300000423
则保留该匹配
Figure FDA00022839017300000424
4-4)以红外图特征点
Figure FDA00022839017300000425
为基准，抛物线拟合优化对应可见光图的整数像素特征点
Figure FDA0002283901730000051
得到的对应可见光图的亚像素特征点
Figure FDA0002283901730000052
Figure FDA0002283901730000053
其中
Figure FDA0002283901730000054
为x方向上的亚像素偏移量，
Figure FDA0002283901730000055
为y方向上的亚像素偏移量；
4-5)以对应可见光图整数像素特征点
Figure FDA0002283901730000056
为基准，根据4-4)的方法计算出对应红外图的亚像素特征点
Figure FDA0002283901730000057
其中
Figure FDA0002283901730000058
为x方向上的亚像素偏移量，
Figure FDA0002283901730000059
为y方向上的亚像素偏移量；
4-6)最终的匹配点对为
Figure FDA00022839017300000510
需要将
Figure FDA00022839017300000511
按照步骤4-1)的逆过程还原成红外图像旋转平移之前的坐标。
6.根据权利要求1、2或5所述的基于边缘特征的多光谱相机外参自校正算法，其特征在于，所述步骤6)具体包括以下步骤：
6-1)使用随机抽样一致性对点对做进一步筛选；
6-2)求解基础矩阵F和本质矩阵E：红外和可见光对应像素点对ul、ur和基础矩阵F的关系是：
Figure FDA00022839017300000512
将对应点坐标代入上式，构建齐次线性方程组求解F；
基础矩阵和本质矩阵的关系是：
Figure FDA00022839017300000513
其中，Kl、Kr分别是红外相机和可见光相机的内参矩阵；
6-3)从本质矩阵分解出旋转和平移关系：本质矩阵E与旋转R和平移t的关系如下：
E＝[t]×R
其中[t]×表示t的叉乘矩阵；
将E做奇异值分解，得
Figure FDA00022839017300000514
定义两个矩阵
Figure FDA0002283901730000061
和
Figure FDA0002283901730000062
ZW＝∑
所以E写成以下两种形式
(1)E＝UZUTUWVT
令[t]×＝UZUT，R＝UWVT
(2)E＝-UZUTUWTVT
令[t]×＝-UZUT，R＝UWTVT
6-4)将分解出的旋转和平移关系叠加到原来的红外相机和可见光相机的位置关系里面。
7.根据权利要求3所述的基于边缘特征的多光谱相机外参自校正算法，其特征在于，所述步骤6)具体包括以下步骤：
6-1)使用随机抽样一致性对点对做进一步筛选；
6-2)求解基础矩阵F和本质矩阵E：红外和可见光对应像素点对ul、ur和基础矩阵F的关系是：
Figure FDA0002283901730000063
将对应点坐标代入上式，构建齐次线性方程组求解F；
基础矩阵和本质矩阵的关系是：
Figure FDA0002283901730000064
其中，Kl、Kr分别是红外相机和可见光相机的内参矩阵；
6-3)从本质矩阵分解出旋转和平移关系：本质矩阵E与旋转R和平移t的关系如下：
E＝[t]×R
其中[t]×表示t的叉乘矩阵；
将E做奇异值分解，得
Figure FDA0002283901730000065
定义两个矩阵
Figure FDA0002283901730000071
和
Figure FDA0002283901730000072
ZW＝∑
所以E写成以下两种形式
(1)E＝UZUTUWVT
令[t]×＝UZUT，R＝UWVT
(2)E＝-UZUTUWTVT
令[t]×＝-UZUT，R＝UWTVT
6-4)将分解出的旋转和平移关系叠加到原来的红外相机和可见光相机的位置关系里面。
8.根据权利要求4所述的基于边缘特征的多光谱相机外参自校正算法，其特征在于，所述步骤6)具体包括以下步骤：
6-1)使用随机抽样一致性对点对做进一步筛选；
6-2)求解基础矩阵F和本质矩阵E：红外和可见光对应像素点对ul、ur和基础矩阵F的关系是：
Figure FDA0002283901730000073
将对应点坐标代入上式，构建齐次线性方程组求解F；
基础矩阵和本质矩阵的关系是：
Figure FDA0002283901730000074
其中，Kl、Kr分别是红外相机和可见光相机的内参矩阵；
6-3)从本质矩阵分解出旋转和平移关系：本质矩阵E与旋转R和平移t的关系如下：
E＝[t]×R
其中[t]×表示t的叉乘矩阵；
将E做奇异值分解，得
Figure FDA0002283901730000075
定义两个矩阵
Figure FDA0002283901730000081
和
Figure FDA0002283901730000082
ZW＝∑
所以E写成以下两种形式
(1)E＝UZUTUWVT
令[t]×＝UZUT，R＝UWVT
(2)E＝-UZUTUWTVT
令[t]×＝-UZUT，R＝UWTVT
6-4)将分解出的旋转和平移关系叠加到原来的红外相机和可见光相机的位置关系里面。
CN201911152421.5A 2019-11-22 2019-11-22 基于边缘特征的多光谱相机外参自校正算法 Active CN110969667B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201911152421.5A CN110969667B (zh) 2019-11-22 2019-11-22 基于边缘特征的多光谱相机外参自校正算法
PCT/CN2020/077951 WO2021098080A1 (zh) 2019-11-22 2020-03-05 基于边缘特征的多光谱相机外参自校正算法
US17/279,461 US11398053B2 (en) 2019-11-22 2020-03-05 Multispectral camera external parameter self-calibration algorithm based on edge features

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911152421.5A CN110969667B (zh) 2019-11-22 2019-11-22 基于边缘特征的多光谱相机外参自校正算法

Publications (2)

Publication Number Publication Date
CN110969667A true CN110969667A (zh) 2020-04-07
CN110969667B CN110969667B (zh) 2023-04-28

Family

ID=70031191

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911152421.5A Active CN110969667B (zh) 2019-11-22 2019-11-22 基于边缘特征的多光谱相机外参自校正算法

Country Status (3)

Country Link
US (1) US11398053B2 (zh)
CN (1) CN110969667B (zh)
WO (1) WO2021098080A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112729558A (zh) * 2020-12-25 2021-04-30 武汉高德智感科技有限公司 一种红外热成像装置的测试调整系统及方法
CN112819901A (zh) * 2021-02-26 2021-05-18 中国人民解放军93114部队 基于图像边缘信息的红外相机自标定方法
CN112907680A (zh) * 2021-02-22 2021-06-04 上海数川数据科技有限公司 一种可见光与红外双光相机旋转矩阵自动校准方法
CN112986312A (zh) * 2021-02-05 2021-06-18 郑州大学 一种利用二维数字图像技术测量注塑制品热应力的方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113327290B (zh) * 2021-06-07 2022-11-11 深圳市商汤科技有限公司 双目模组标定方法、装置、存储介质及电子设备
CN113628261B (zh) * 2021-08-04 2023-09-22 国网福建省电力有限公司泉州供电公司 一种电力巡检场景下的红外与可见光图像配准方法
CN113744349A (zh) * 2021-08-31 2021-12-03 湖南航天远望科技有限公司 一种红外光谱图像测量对准方法、装置及介质
CN114255197B (zh) * 2021-12-27 2024-04-05 西安交通大学 一种红外与可见光图像自适应融合对齐方法及系统
CN116385502B (zh) * 2023-03-09 2024-04-19 武汉大学 一种基于几何约束下区域搜索的图像配准方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150093042A1 (en) * 2012-06-08 2015-04-02 Huawei Technologies Co., Ltd. Parameter calibration method and apparatus
CN105701827A (zh) * 2016-01-15 2016-06-22 中林信达（北京）科技信息有限责任公司 可见光相机与红外相机的参数联合标定方法及装置
CN108492335A (zh) * 2018-03-27 2018-09-04 长春理工大学 一种双相机透视畸变校正方法及系统
CN109146930A (zh) * 2018-09-20 2019-01-04 河海大学常州校区 一种电力机房设备红外与可见光图像配准方法
CN109523583A (zh) * 2018-10-09 2019-03-26 河海大学常州校区 一种基于反馈机制的电力设备红外与可见光图像配准方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8310539B2 (en) * 2009-05-29 2012-11-13 Mori Seiki Co., Ltd Calibration method and calibration device
KR101806045B1 (ko) 2016-10-17 2017-12-07 한국기초과학지원연구원 적외선 및 가시광 카메라의 실시간 이미지 합성 장치 및 그 제어 방법
WO2019021340A1 (ja) * 2017-07-24 2019-01-31 三菱電機株式会社 表示制御装置、表示システムおよび表示制御方法
CN109389630B (zh) 2018-09-30 2020-10-23 北京精密机电控制设备研究所 可见光图像与红外图像特征点集确定、配准方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150093042A1 (en) * 2012-06-08 2015-04-02 Huawei Technologies Co., Ltd. Parameter calibration method and apparatus
CN105701827A (zh) * 2016-01-15 2016-06-22 中林信达（北京）科技信息有限责任公司 可见光相机与红外相机的参数联合标定方法及装置
CN108492335A (zh) * 2018-03-27 2018-09-04 长春理工大学 一种双相机透视畸变校正方法及系统
CN109146930A (zh) * 2018-09-20 2019-01-04 河海大学常州校区 一种电力机房设备红外与可见光图像配准方法
CN109523583A (zh) * 2018-10-09 2019-03-26 河海大学常州校区 一种基于反馈机制的电力设备红外与可见光图像配准方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
朱英宏 等: "红外与可见光图像特征点边缘描述与匹配算法", 计算机辅助设计与图形学学报 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112729558A (zh) * 2020-12-25 2021-04-30 武汉高德智感科技有限公司 一种红外热成像装置的测试调整系统及方法
CN112986312A (zh) * 2021-02-05 2021-06-18 郑州大学 一种利用二维数字图像技术测量注塑制品热应力的方法
CN112986312B (zh) * 2021-02-05 2023-02-03 郑州大学 一种利用二维数字图像技术测量注塑制品热应力的方法
CN112907680A (zh) * 2021-02-22 2021-06-04 上海数川数据科技有限公司 一种可见光与红外双光相机旋转矩阵自动校准方法
CN112907680B (zh) * 2021-02-22 2022-06-14 上海数川数据科技有限公司 一种可见光与红外双光相机旋转矩阵自动校准方法
CN112819901A (zh) * 2021-02-26 2021-05-18 中国人民解放军93114部队 基于图像边缘信息的红外相机自标定方法
CN112819901B (zh) * 2021-02-26 2024-05-14 中国人民解放军93114部队 基于图像边缘信息的红外相机自标定方法

Also Published As

Publication number Publication date
WO2021098080A1 (zh) 2021-05-27
CN110969667B (zh) 2023-04-28
US20220036589A1 (en) 2022-02-03
US11398053B2 (en) 2022-07-26

Similar Documents

Publication Publication Date Title
CN110969667A (zh) 基于边缘特征的多光谱相机外参自校正算法
CN110969668B (zh) 一种长焦双目相机的立体标定算法
CN111080709B (zh) 基于轨迹特征配准的多光谱立体相机自标定算法
CN110956661B (zh) 基于双向单应矩阵的可见光与红外相机动态位姿计算方法
WO2021098083A1 (zh) 基于显著特征的多光谱相机动态立体标定算法
CN109003311B (zh) 一种鱼眼镜头的标定方法
CN110969669B (zh) 基于互信息配准的可见光与红外相机联合标定方法
CN110992409B (zh) 基于傅里叶变换配准的多光谱立体相机动态配准方法
CN110910456B (zh) 基于Harris角点互信息匹配的立体相机动态标定方法
CN110880191B (zh) 基于直方图均衡化的红外立体相机动态外参计算方法
CN103337094A (zh) 一种应用双目摄像机实现运动三维重建的方法
CN110807815B (zh) 基于两组相互正交平行线对应消失点的快速水下标定方法
CN104424640A (zh) 对图像进行虚化处理的方法和装置
CN107560592A (zh) 一种用于光电跟踪仪联动目标的精确测距方法
CN112257713A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN112016478A (zh) 一种基于多光谱图像融合的复杂场景识别方法及系统
CN110136048B (zh) 一种图像配准方法及系统、存储介质及终端
CN115222785A (zh) 一种基于双目标定的红外与可见光图像配准方法
CN110910457B (zh) 基于角点特征的多光谱立体相机外参计算方法
CN111127353A (zh) 一种基于块配准和匹配的高动态图像去鬼影方法
CN117333367A (zh) 基于图像局部特征的图像拼接方法、系统、介质及装置
CN114998532B (zh) 一种基于数字图像重建的三维影像视觉传达优化方法
CN111833384B (zh) 一种可见光和红外图像快速配准方法及装置
Zhuo et al. Stereo matching approach using zooming images
CN112396687A (zh) 基于红外微偏振片阵列的双目立体视觉三维重建系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant