CN111080709B - 基于轨迹特征配准的多光谱立体相机自标定算法 - Google Patents

基于轨迹特征配准的多光谱立体相机自标定算法 Download PDF

Info

Publication number
CN111080709B
CN111080709B CN201911153778.5A CN201911153778A CN111080709B CN 111080709 B CN111080709 B CN 111080709B CN 201911153778 A CN201911153778 A CN 201911153778A CN 111080709 B CN111080709 B CN 111080709B
Authority
CN
China
Prior art keywords
image
camera
matrix
distortion
track
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911153778.5A
Other languages
English (en)
Other versions
CN111080709A (zh
Inventor
仲维
李豪杰
柳博谦
王智慧
刘日升
罗钟铉
樊鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN201911153778.5A priority Critical patent/CN111080709B/zh
Priority to PCT/CN2020/077952 priority patent/WO2021098081A1/zh
Priority to US17/283,772 priority patent/US11575873B2/en
Publication of CN111080709A publication Critical patent/CN111080709A/zh
Application granted granted Critical
Publication of CN111080709B publication Critical patent/CN111080709B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/243—Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0085—Motion estimation from stereoscopic image signals
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Electromagnetism (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Geometry (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了基于轨迹特征配准的多光谱立体相机自标定算法，属于图像处理和计算机视觉领域。通过提取并匹配物体运动轨迹获取最佳匹配点，并据此对外参进行修正。相比于普通方法，使用运动物体的轨迹作为自标定所需的特征，使用轨迹的优点是因为其具有良好的跨模态鲁棒性；此外直接匹配轨迹还节省了特征点提取和匹配步骤，具有操作简便，结果精确等优点。

Description

基于轨迹特征配准的多光谱立体相机自标定算法
技术领域
本发明属于图像处理和计算机视觉领域，涉及基于轨迹特征配准的多光谱立体相机自标定算法。
背景技术
红外线(Infrared)是波长介于微波与可见光之间的电磁波，波长比红光要长。高于绝对零度(-273.15℃)的物质都可以产生红外线。红外图像由于其具有透过雾、雨等进行观察的能力而被广泛用于军事国防、资源勘探、气象预报、环境监测、医学诊治、海洋研究等不同领域。利用红外线可以隔着薄雾和烟雾拍摄景物，而且在夜间也可以进行红外摄影。红外相机成像的优点是在极端场景(低光、雨雪、浓雾等)也可以成像，缺点是分辨率低、图像细节较模糊。相比之下，可见光相机的优点是分辨率高、图像细节清晰，但是在极端场景下不能成像。因此，将红外相机和可见光相机结合起来具有重大的现实意义。
立体视觉是计算机视觉领域的重要主题。其目的是重建场景的3D几何信息。双目立体视觉是立体视觉的重要领域。在双目立体视觉中，左右摄像头用于模拟两只眼睛。通过计算双目图像之间的差异来计算深度图像。双目立体视觉具有效率高，准确度高，系统结构简单，成本低的优点。由于双目立体视觉需要匹配左右图像捕获点上的相同点，因此相机两个镜头的焦距和图像捕获中心，以及左右两个镜头之间的位置关系。为了得到以上数据，对相机进行标定。获取可见光相机和红外相机之间的位置关系称为联合标定。
在标定过程中获得了相机的两个镜头参数和相对位置参数，但这些参数不稳定。当温度、湿度等发生变化时，相机镜头的内部参数也会发生变化。另外，由于意外的相机碰撞，两个镜头之间的位置关系可能会改变。因此，每次使用摄像机时，都必须修改内部和外部参数，这就是自标定。在已知相机内部参数的情况下，通过分别提取红外图像特征和可见光图像特征来对红外镜头和可见光镜头的位置关系进行修正，即红外相机与可见光相机的联合自标定。
由于红外相机的成像与可见光相机不同，直接从两台相机提取匹配特征点得到的有效点对比较少。为了解决这个问题，可以利用运动物体的轨迹，这是因为运动物体的轨迹不会因相机模态不同而不同。
发明内容
本发明旨在解决由于温湿度、震动等因素造成红外相机和可见光相机位置关系的改变。使用红外相机和可见光相机同时拍摄一组运动物体。从运动物体中提取并匹配运动轨迹，从而得到红外相机和可见光相机之间的成像关系，并获得若干对应特征点，通过这些特征点来对原有的标定结果进行修正。
具体技术方案为：基于轨迹特征配准的多光谱立体相机自标定算法，包括步骤如下：
1)使用红外相机和可见光相机同时拍摄一组有运动物体的场景连续帧。
2)原图校正：将原图根据红外相机和可见光相机各自内参和原来的外参进行去畸变和双目校正。流程如图2所示。
3)计算运动物体的轨迹。
4)获取最佳轨迹对应点，并据此获取红外图像到可见光图像的变换矩阵。
5)进一步优化轨迹对应点的匹配结果：选取误差较低的配准点对数作为候选特征点对。
6)判断特征点覆盖区域：将图像分成m*n个格子，如果特征点覆盖到所有格子，则进行下一步，否则继续拍摄图像，重复步骤1)～步骤5)。
7)修正标定结果：使用所有特征点的图像坐标来计算校正之后的两相机之间的位置关系，然后与原来的外参相叠加。
所述步骤2)中原图校正，具体包括以下步骤：
2-1)计算图像的像素点对应的正规坐标系下的坐标；像素坐标系以图片的左上角为原点，其x轴和y轴分别与图像坐标系的x轴和y轴平行；像素坐标系的单位是像素；像素是图像显示的基本且不可分割的单位；以相机的光心作为图像坐标系的原点，且将光心到图像平面的距离缩放到1；像素坐标与正规坐标的关系如下：
u＝KX
Figure BDA0002284262880000031
其中，
Figure BDA0002284262880000032
表示图像的像素坐标；
Figure BDA0002284262880000033
表示相机的内参矩阵，fx和fy分别表示图像x方向和y方向的焦距，单位是像素，(cx,cy)表示相机的主点位置，即相机中心在图像上的对应位置；
Figure BDA0002284262880000034
是正规坐标系下的坐标。已知图像的像素坐标系以及相机的内参计算出像素点对应的正规坐标系，即X＝K-1u；
2-2)去除图像畸变：由于镜头生产工艺的限制，实际情况下的镜头会存在一些失真现象导致非线性的畸变。因此纯线性模型不能完全准确地描述成像几何关系。非线性畸变可大致分为径向畸变和切向畸变。
图像径向畸变是图像像素点以畸变中心为中心点，沿着径向产生的位置偏差，从而导致图像中所成的像发生形变。径向畸变的大致表述如下：
xd＝x(1+k1r2+k2r4+k3r6)
yd＝y(1+k1r2+k2r4+k3r6)
其中，r2＝x2+y2，k1、k2、k3为径向畸变参数。
图像切向畸变是由于摄像机制造上的缺陷使得透镜本身与图像平面不平行而产生的，可定量描述为：
xd＝x+(2p1xy+p2(r2+2x2))
yd＝y+(p1(r2+2y2)+2p2xy)
其中，p1、p2为切向畸变系数。
综上，畸变前后的坐标关系如下：
xd＝x(1+k1r2+k2r4+k3r6)+(2p1xy+p2(r2+2x2))
yd＝y(1+k1r2+k2r4+k3r6)+(p1(r2+2y2)+2p2xy)
其中，(x,y)是理想状态下的正规坐标，(xd,yd)是实际带有畸变的正规坐标。
2-3)根据原来两相机的旋转关系将两图转回来：已知原来两个相机之间的旋转矩阵R和平移向量t，使得：
Xr＝RXl+t
其中，Xl表示红外相机的正规坐标，Xr表示可见光相机的正规坐标。将红外图像向R正方向旋转一半的角度，将可见光图像向R反方向旋转一半的角度；
2-4)根据公式u＝KX将去畸旋转后的图像还原至像素坐标系。
所述步骤4)中获取最佳轨迹对应点，具体包括以下步骤：
4-1)随机选择一对轨迹，并重复以下步骤直到误差足够小：
a.在已选的轨迹对中随机选取4对点；
b.计算红外图像点到可见光图像点的变换矩阵H；
c.加入使用变换矩阵H求得的误差足够小的点对；
d.重新计算H；
e.计算并评估误差；
4-2)加入使用变换矩阵H求得的误差足够小的轨迹对。
4-3)重新计算H。
4-4)计算并评估误差，如果误差不够小则重复步骤4-1)。
所述步骤7)中修正标定结果，具体包括以下步骤：
7-1)使用随机抽样一致性(RANSAC)对点对做进一步筛选。
7-2)求解基础矩阵F和本质矩阵E：红外和可见光对应像素点对ul、ur和基础矩阵F的关系是：
Figure BDA0002284262880000051
将对应点坐标代入上式，构建齐次线性方程组求解F。
基础矩阵和本质矩阵的关系是：
Figure BDA0002284262880000052
其中，Kl、Kr分别是红外相机和可见光相机的内参矩阵。
7-3)从本质矩阵分解出旋转和平移关系：本质矩阵E与旋转R和平移t的关系如下：
E＝[t]×R
其中[t]×表示t的叉乘矩阵。
将E做奇异值分解，得
Figure BDA0002284262880000053
定义两个矩阵
Figure BDA0002284262880000054
和
Figure BDA0002284262880000055
ZW＝Σ
所以E可以写成以下两种形式
(1)E＝UZUTUWVT
令[t]×＝UZUT，R＝UWVT
(2)E＝-UZUTUWTVT
令[t]×＝-UZUT，R＝UWTVT
7-4)将分解出的旋转和平移关系叠加到原来的红外相机和可见光相机的位置关系里面；
记去畸变前的旋转矩阵为R0，平移向量为t0＝(tx,ty,tz)T；上一步计算出的旋转矩阵为R，平移向量为t＝(t′x,t′y,t′z)T；则新的Rnew和tnew如下：
Figure BDA0002284262880000056
Figure BDA0002284262880000061
此外，还需要将tnew乘一个系数，使得tnew在x方向上的分量
Figure BDA0002284262880000062
本发明的有益效果是：
本发明解决了由于温湿度、震动等因素造成红外相机和可见光相机位置关系的改变。具有速度快、结果精确、操作简单等优点。相比于普通方法，我们使用运动物体的轨迹作为自标定所需的特征，使用轨迹的优点是因为其具有良好的跨模态鲁棒性；此外直接匹配轨迹还节省了特征点提取和匹配步骤。
附图说明
图1为整体流程图。
图2为校正流程图。
具体实施方式
本发明解决了由于温湿度、震动等因素造成红外相机和可见光相机位置关系的改变。结合附图及实施例详细说明如下：
1)使用红外相机和可见光相机同时拍摄一组有运动物体的场景连续帧。
2)原图校正：将原图根据红外相机和可见光相机各自内参和原来的外参进行去畸变和双目校正。流程如图2所示。
2-1)计算图像的像素点对应的正规坐标系下的坐标。其中，正规坐标系是相机坐标系在平面Z＝1的投影；而相机坐标系是以相机的中心作为图像坐标系的原点，以图片方向为XY轴方向，以垂直于图像为Z轴方向的坐标系。像素坐标系以图片的左上角为原点，其x轴和y轴分别与图像坐标系的x轴和y轴平行。像素坐标系的单位是像素。像素坐标与正规坐标的关系如下：
u＝KX
Figure BDA0002284262880000063
其中，
Figure BDA0002284262880000071
表示图像的像素坐标；
Figure BDA0002284262880000072
表示相机的内参矩阵，fx和fy分别表示图像x方向和y方向的焦距，单位是像素，(cx,cy)表示相机的主点位置，即相机中心在图像上的对应位置；
Figure BDA0002284262880000073
是正规坐标系下的坐标。已知图像的像素坐标系以及相机的内参计算出像素点对应的正规坐标系，即X＝K-1u；
2-2)去除图像畸变：由于镜头生产工艺的限制，实际情况下的镜头会存在一些失真现象导致非线性的畸变。因此纯线性模型不能完全准确地描述成像几何关系。非线性畸变可大致分为径向畸变和切向畸变。
图像径向畸变是图像像素点以畸变中心为中心点，沿着径向产生的位置偏差，从而导致图像中所成的像发生形变。径向畸变的大致表述如下：
xd＝x(1+k1r2+k2r4+k3r6)
yd＝y(1+k1r2+k2r4+k3r6)
其中，r2＝x2+y2，k1、k2、k3为径向畸变参数。
图像切向畸变是由于摄像机制造上的缺陷使得透镜本身与图像平面不平行而产生的，可定量描述为：
xd＝x+(2p1xy+p2(r2+2x2))
yd＝y+(p1(r2+2y2)+2p2xy)
其中，p1、p2为切向畸变系数。
综上，畸变前后的坐标关系如下：
xd＝x(1+k1r2+k2r4+k3r6)+(2p1xy+p2(r2+2x2))
yd＝y(1+k1r2+k2r4+k3r6)+(p1(r2+2y2)+2p2xy)
其中，(x,y)是理想状态下的正规坐标，(xd,yd)是实际带有畸变的正规坐标。
2-3)根据原来两相机的旋转关系将两图转回来：已知原来两个相机之间的旋转矩阵R和平移向量t，使得：
Xr＝RXl+t
其中，Xl表示红外相机的正规坐标，Xr表示可见光相机的正规坐标。将红外图像向R正方向旋转一半的角度，将可见光图像向R反方向旋转一半的角度；
2-4)根据公式u＝KX将去畸旋转后的图像还原至像素坐标系。
3)计算运动物体的轨迹。
4)获取最佳轨迹对应点，并据此获取红外图像到可见光图像的变换矩阵。
4-1)随机选择一对轨迹，并重复以下步骤直到误差足够小：
·在已选的轨迹对中随机选取4对点。
·计算红外图像点到可见光图像点的变换矩阵H。
·加入使用变换矩阵H求得的误差足够小的点对。
·重新计算H。
·计算并评估误差。
4-2)加入使用变换矩阵H求得的误差足够小的轨迹对。
4-3)重新计算H。
4-4)计算并评估误差，如果误差不够小则重复步骤4-1)。
5)进一步优化轨迹对应点的匹配结果：选取误差较低的配准点对数作为候选特征点对。
6)判断特征点覆盖区域：将图像分成m*n个格子，如果特征点覆盖到所有格子，则进行下一步，否则继续拍摄图像，重复步骤1)～步骤5)。
7)修正标定结果：使用所有特征点的图像坐标来计算校正之后的两相机之间的位置关系，然后与原来的外参相叠加。
7-1)使用随机抽样一致性(RANSAC)对点对做进一步筛选。
7-2)求解基础矩阵F和本质矩阵E：红外和可见光对应像素点对ul、ur和基础矩阵F的关系是：
Figure BDA0002284262880000081
可以将对应点坐标代入上式，构建齐次线性方程组求解F。
基础矩阵和本质矩阵的关系是：
Figure BDA0002284262880000091
其中，Kl、Kr分别是红外相机和可见光相机的内参矩阵。
7-3)从本质矩阵分解出旋转和平移关系：本质矩阵E与旋转R和平移t的关系如下：
E＝[t]×R
其中[t]×表示t的叉乘矩阵。
将E做奇异值分解，得
Figure BDA0002284262880000092
定义两个矩阵
Figure BDA0002284262880000093
和
Figure BDA0002284262880000094
ZW＝Σ
所以E可以写成以下两种形式
(1)E＝UZUTUWVT
令[t]×＝UZUT，R＝UWVT
(2)E＝-UZUTUWTVT
令[t]×＝-UZUT，R＝UWTVT
7-4)将分解出的旋转和平移关系叠加到原来的红外相机和可见光相机的位置关系里面；
记去畸变前的旋转矩阵为R0，平移向量为t0＝(tx,ty,tz)T；上一步计算出的旋转矩阵为R，平移向量为
Figure BDA0002284262880000095
则新的Rnew和tnew如下：
Figure BDA0002284262880000096
Figure BDA0002284262880000097
此外，还需要将tnew乘一个系数，使得tnew在x方向上的分量
Figure BDA0002284262880000101

Claims (3)

1.基于轨迹特征配准的多光谱立体相机自标定算法，其特征在于，包括下列步骤：
1)使用红外相机和可见光相机同时拍摄一组有运动物体的场景连续帧；
2)原图校正：将原图根据红外相机和可见光相机各自内参和原来的外参进行去畸变和双目校正；
3)计算运动物体的轨迹；
4)获取最佳轨迹对应点，并据此获取红外图像到可见光图像的变换矩阵；包括以下步骤：
4-1)随机选择一对轨迹，并重复以下步骤直到误差足够小：
a.在已选的轨迹对中随机选取4对点；
b.计算红外图像点到可见光图像点的变换矩阵H；
c.加入使用变换矩阵H求得的误差足够小的点对；
d.重新计算H；
e.计算并评估误差；
4-2)加入使用变换矩阵H求得的误差足够小的轨迹对；
4-3)重新计算H；
4-4)计算并评估误差，如果误差不够小则重复步骤4-1)；
5)进一步优化轨迹对应点的匹配结果：选取误差低的配准点对作为候选特征点对；
6)判断特征点覆盖区域：将图像分成m*n个格子，如果特征点覆盖到所有格子，则进行下一步，否则继续拍摄图像，重复步骤1)～步骤5)；
7)修正标定结果：使用所有特征点的图像坐标来计算校正之后的两相机之间的位置关系，然后与原来的外参相叠加。
2.根据权利要求1所述的基于轨迹特征配准的多光谱立体相机自标定算法，其特征在于，步骤2)中原图校正，具体包括以下步骤：
2-1)计算图像的像素点对应的正规坐标系下的坐标；像素坐标系以图片的左上角为原点，其x轴和y轴分别与图像坐标系的x轴和y轴平行；像素坐标系的单位是像素；以相机的光心作为图像坐标系的原点，且将光心到图像平面的距离缩放到1；像素坐标与正规坐标的关系如下：
u＝KX
Figure FDA0004091991230000021
其中，
Figure FDA0004091991230000022
表示图像的像素坐标；
Figure FDA0004091991230000023
表示相机的内参矩阵，fx和fy分别表示图像x方向和y方向的焦距，单位是像素，(cx,cy)表示相机主点的位置；
Figure FDA0004091991230000024
是正规坐标系下的坐标；已知图像的像素坐标系以及相机的内参计算出像素点对应的正规坐标系，即
X＝K-1u
2-2)去除图像畸变：图像径向畸变是图像像素点以畸变中心为中心点，沿着径向产生的位置偏差，从而导致图像中所成的像发生形变；径向畸变的表述如下：
xd＝x(1+k1r2+k2r4+k3r6)
yd＝y(1+k1r2+k2r4+k3r6)
其中，r2＝x2+y2，k1、k2、k3为径向畸变参数；
图像切向畸变是由于摄像机制造上的缺陷使得透镜本身与图像平面不平行而产生的，定量描述为：
xd＝x+(2p1xy+p2(r2+2x2))
yd＝y+(p1(r2+2y2)+2p2xy)
其中，p1、p2为切向畸变系数；
畸变前后的坐标关系如下：
xd＝x(1+k1r2+k2r4+k3r6)+(2p1xy+p2(r2+2x2))
yd＝y(1+k1r2+k2r4+k3r6)+(p1(r2+2y2)+2p2xy)
其中，(x,y)是理想状态下的正规坐标，(xd,yd)是实际带有畸变的正规坐标；
2-3)根据原来两相机的旋转关系将两图转回来：已知原来两个相机之间的旋转矩阵R和平移向量t，使得
Xr＝RXl+t
其中，Xl表示红外相机的正规坐标，Xr表示可见光相机的正规坐标；将红外图像旋转R正方向一半的角度，将可见光图像旋转R反方向一半的角度；
2-4)根据公式u＝KX将去畸旋转后的图像还原至像素坐标系。
3.根据权利要求1所述的基于轨迹特征配准的多光谱立体相机自标定算法，其特征在于，步骤7)中修正标定结果，包括以下步骤：
7-1)使用随机抽样一致性对点对做进一步筛选；
7-2)求解基础矩阵F和本质矩阵E：红外和可见光对应像素点对ul、ur和基础矩阵F的关系是：
Figure FDA0004091991230000031
将对应点坐标代入上式，构建齐次线性方程组求解F；
基础矩阵和本质矩阵的关系是：
Figure FDA0004091991230000032
其中，Kl、Kr分别是红外相机和可见光相机的内参矩阵；
7-3)从本质矩阵分解出旋转和平移关系：本质矩阵E与旋转R和平移t的关系如下：
E＝[t]×R
其中[t]×表示t的叉乘矩阵；
将E做奇异值分解，得
Figure FDA0004091991230000033
定义两个矩阵
Figure FDA0004091991230000034
和
Figure FDA0004091991230000035
ZW＝Σ
所以E写成以下两种形式
(1) E＝UZUTUWVT
令[t]×＝UZUT，R＝UWVT
(2) E＝-UZUTUWTVT
令[t]×＝-UZUT，R＝UWTVT
7-4)将分解出的旋转和平移关系叠加到原来的红外相机和可见光相机的位置关系里面；
记去畸变前的旋转矩阵为R0，平移向量为t0＝(tx,ty,tz)T；上一步计算出的旋转矩阵为R，平移向量为t＝(t′ x,t′ y,tz ′)T；则新的Rnew和tnew如下：
Figure FDA0004091991230000041
Figure FDA0004091991230000042
此外，还需要将tnew乘一个系数，使得tnew在x方向上的分量
Figure FDA0004091991230000043
CN201911153778.5A 2019-11-22 2019-11-22 基于轨迹特征配准的多光谱立体相机自标定算法 Active CN111080709B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201911153778.5A CN111080709B (zh) 2019-11-22 2019-11-22 基于轨迹特征配准的多光谱立体相机自标定算法
PCT/CN2020/077952 WO2021098081A1 (zh) 2019-11-22 2020-03-05 基于轨迹特征配准的多光谱立体相机自标定算法
US17/283,772 US11575873B2 (en) 2019-11-22 2020-03-05 Multispectral stereo camera self-calibration algorithm based on track feature registration

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911153778.5A CN111080709B (zh) 2019-11-22 2019-11-22 基于轨迹特征配准的多光谱立体相机自标定算法

Publications (2)

Publication Number Publication Date
CN111080709A CN111080709A (zh) 2020-04-28
CN111080709B true CN111080709B (zh) 2023-05-05

Family

ID=70311826

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911153778.5A Active CN111080709B (zh) 2019-11-22 2019-11-22 基于轨迹特征配准的多光谱立体相机自标定算法

Country Status (3)

Country Link
US (1) US11575873B2 (zh)
CN (1) CN111080709B (zh)
WO (1) WO2021098081A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111028281B (zh) * 2019-10-22 2022-10-18 清华大学 基于光场双目系统的深度信息计算方法及装置
CN111932622B (zh) * 2020-08-10 2022-06-28 浙江大学 一种无人机的飞行高度的确定装置、方法及系统
CN114677430B (zh) * 2022-01-12 2024-04-16 深圳市路远智能装备有限公司 一种组合式的多相机视觉对位方法
CN114708331B (zh) * 2022-02-24 2023-03-14 合肥的卢深视科技有限公司 深度相机的校准方法、装置、电子设备和存储介质
CN114858186B (zh) * 2022-04-21 2023-03-31 武汉大学 一种恒星观测模式下线阵相机星上几何定标方法
CN115719320B (zh) * 2023-01-09 2023-04-14 中国人民解放军63921部队 基于遥感影像的倾斜校正稠密匹配方法
CN117934600A (zh) * 2024-03-25 2024-04-26 南京信息工程大学 基于无人机对于远距离标志物快速识别与三维位置解算方法
CN117994865A (zh) * 2024-04-01 2024-05-07 杭州海康威视数字技术股份有限公司 一种双目面部匹配方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013182080A1 (zh) * 2012-06-08 2013-12-12 华为技术有限公司 一种参数标定方法及装置
CN106204574A (zh) * 2016-07-07 2016-12-07 兰州理工大学 基于目标平面运动特征的相机位姿自标定方法
CN107358633A (zh) * 2017-07-12 2017-11-17 北京轻威科技有限责任公司 一种基于三点标定物的多相机内外参标定方法
CN108010085A (zh) * 2017-11-30 2018-05-08 西南科技大学 基于双目可见光相机与热红外相机的目标识别方法
CN108288294A (zh) * 2018-01-17 2018-07-17 视缘(上海)智能科技有限公司 一种3d相机群的外参标定方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4439742C1 (de) * 1994-10-28 1996-03-07 Daimler Benz Ag Verfahren zur automatischen kombinatorischen Optimierung von Zuordnungen bei der Bahnverfolgung mehrerer sich bewegender Objekte
US7317812B1 (en) * 2002-11-15 2008-01-08 Videomining Corporation Method and apparatus for robustly tracking objects
US20060125658A1 (en) * 2004-12-10 2006-06-15 Deutsches Zentrum For Luft-Und Raumfahrt E.V. System for assisting navigation operation of moving objects
WO2008075271A2 (en) * 2006-12-18 2008-06-26 Koninklijke Philips Electronics N.V. Calibrating a camera system
CN102789642B (zh) * 2011-05-16 2017-08-25 索尼公司 消失方向确定方法和装置、摄像机自标定方法和装置
US9361520B2 (en) * 2014-04-10 2016-06-07 Disney Enterprises, Inc. Method and system for tracking objects
JP6027070B2 (ja) * 2014-09-24 2016-11-16 富士フイルム株式会社 領域検出装置、領域検出方法、画像処理装置、画像処理方法、プログラムおよび記録媒体
CN104359464A (zh) * 2014-11-02 2015-02-18 天津理工大学 基于立体视觉的移动机器人定位方法
US9792664B2 (en) * 2015-01-29 2017-10-17 Wipro Limited System and method for mapping object coordinates from a video to real world coordinates using perspective transformation
CN106485735A (zh) * 2015-09-01 2017-03-08 南京理工大学 基于立体视觉技术的人体目标识别与跟踪方法
US9898677B1 (en) * 2015-10-13 2018-02-20 MotionDSP, Inc. Object-level grouping and identification for tracking objects in a video
CN105701827B (zh) * 2016-01-15 2019-04-02 中林信达（北京）科技信息有限责任公司 可见光相机与红外相机的参数联合标定方法及装置
WO2018049514A1 (en) * 2016-09-13 2018-03-22 Genetec Inc. Auto-calibration of tracking systems
CN106981077B (zh) * 2017-03-24 2020-12-25 中国人民解放军国防科学技术大学 基于dce和lss的红外图像和可见光图像配准方法
US10198829B2 (en) * 2017-04-25 2019-02-05 Symbol Technologies, Llc Systems and methods for extrinsic calibration of a plurality of sensors
RU2696548C1 (ru) * 2018-08-29 2019-08-02 Александр Владимирович Абрамов Способ построения системы видеонаблюдения для поиска и отслеживания объектов
EP3867795A1 (en) * 2018-10-16 2021-08-25 Advertima AG A calibration method for a recording device and a method for an automatic setup of a multi-camera system
US10861172B2 (en) * 2018-11-28 2020-12-08 Battelle Memorial Institute Sensors and methods for monitoring flying objects
US10957074B2 (en) * 2019-01-29 2021-03-23 Microsoft Technology Licensing, Llc Calibrating cameras using human skeleton
CN110472658B (zh) * 2019-07-05 2023-02-14 哈尔滨工程大学 一种动目标多源探测的层次融合与提取方法
US20210033722A1 (en) * 2019-07-29 2021-02-04 Trackman A/S System and method for inter-sensor calibration

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013182080A1 (zh) * 2012-06-08 2013-12-12 华为技术有限公司 一种参数标定方法及装置
CN106204574A (zh) * 2016-07-07 2016-12-07 兰州理工大学 基于目标平面运动特征的相机位姿自标定方法
CN107358633A (zh) * 2017-07-12 2017-11-17 北京轻威科技有限责任公司 一种基于三点标定物的多相机内外参标定方法
CN108010085A (zh) * 2017-11-30 2018-05-08 西南科技大学 基于双目可见光相机与热红外相机的目标识别方法
CN108288294A (zh) * 2018-01-17 2018-07-17 视缘(上海)智能科技有限公司 一种3d相机群的外参标定方法

Also Published As

Publication number Publication date
WO2021098081A1 (zh) 2021-05-27
US11575873B2 (en) 2023-02-07
CN111080709A (zh) 2020-04-28
US20220046220A1 (en) 2022-02-10

Similar Documents

Publication Publication Date Title
CN111080709B (zh) 基于轨迹特征配准的多光谱立体相机自标定算法
CN110969667B (zh) 基于边缘特征的多光谱相机外参自校正算法
CN110969668B (zh) 一种长焦双目相机的立体标定算法
WO2021098083A1 (zh) 基于显著特征的多光谱相机动态立体标定算法
CN110956661B (zh) 基于双向单应矩阵的可见光与红外相机动态位姿计算方法
CN110211043B (zh) 一种用于全景图像拼接的基于网格优化的配准方法
CN111243033B (zh) 一种优化双目相机外参数的方法
CN110969669B (zh) 基于互信息配准的可见光与红外相机联合标定方法
CN109003311B (zh) 一种鱼眼镜头的标定方法
CN110992409B (zh) 基于傅里叶变换配准的多光谱立体相机动态配准方法
CN110910456B (zh) 基于Harris角点互信息匹配的立体相机动态标定方法
CN110880191B (zh) 基于直方图均衡化的红外立体相机动态外参计算方法
CN113129430B (zh) 基于双目结构光的水下三维重建方法
CN105005964A (zh) 基于视频序列影像的地理场景全景图快速生成方法
CN112016478B (zh) 一种基于多光谱图像融合的复杂场景识别方法及系统
CN111461963A (zh) 一种鱼眼图像拼接方法及装置
CN116433843A (zh) 基于双目视觉重建路线的三维模型重建方法及装置
CN109919832A (zh) 一种用于无人驾驶的交通图像拼接方法
CN110910457B (zh) 基于角点特征的多光谱立体相机外参计算方法
CN108805937B (zh) 一种单相机偏振信息预测方法
CN114998532B (zh) 一种基于数字图像重建的三维影像视觉传达优化方法
CN115456870A (zh) 基于外参估计的多图像拼接方法
CN113628125A (zh) 基于空间视差先验网络的多幅红外图像增强方法
CN114972536B (zh) 一种航空面阵摆扫式相机定位和标定方法
TWI834493B (zh) 基於多組編碼圖案的三維重建系統及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant