CN110880191B - 基于直方图均衡化的红外立体相机动态外参计算方法 - Google Patents

基于直方图均衡化的红外立体相机动态外参计算方法 Download PDF

Info

Publication number
CN110880191B
CN110880191B CN201911152762.2A CN201911152762A CN110880191B CN 110880191 B CN110880191 B CN 110880191B CN 201911152762 A CN201911152762 A CN 201911152762A CN 110880191 B CN110880191 B CN 110880191B
Authority
CN
China
Prior art keywords
image
point
camera
pixel
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911152762.2A
Other languages
English (en)
Other versions
CN110880191A (zh
Inventor
仲维
柳博谦
李豪杰
王智慧
刘日升
樊鑫
罗钟铉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN201911152762.2A priority Critical patent/CN110880191B/zh
Publication of CN110880191A publication Critical patent/CN110880191A/zh
Application granted granted Critical
Publication of CN110880191B publication Critical patent/CN110880191B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques
    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Abstract

本发明属于图像处理和计算机视觉领域，涉及基于直方图均衡化的红外立体相机动态外参计算方法。由于红外相机的成像与可见光相机的成像不同，直接提取特征点做匹配得到的满足要求的点对比较少。为了解决这个问题，本发明通过提取左右红外相机各自的特征点并进行匹配，并根据这些特征点对原有的标定结果进行修正。此外，为解决特征点不足的问题，我们不仅对原图进行特征点提取，还对灰度直方图均衡化后的红外图像进行特征点提取。本发明解决了由于温湿度、震动等因素造成红外双目相机位置关系的改变。具有速度快、结果精确、操作简单等优点。

Description

基于直方图均衡化的红外立体相机动态外参计算方法
技术领域
本发明属于图像处理和计算机视觉领域，涉及基于直方图均衡化的红外立体相机动态外参计算方法。
背景技术
红外线(Infrared)是波长介于微波与可见光之间的电磁波，波长比红光要长。高于绝对零度(-273.15℃)的物质都可以产生红外线。红外图像由于其具有透过雾、雨等进行观察的能力而被广泛用于军事国防、资源勘探、气象预报、环境监测、医学诊治、海洋研究等不同领域。利用红外线可以隔着薄雾和烟雾拍摄景物，而且在夜间也可以进行红外摄影。将红外双目相机进行标定和校正，可以在低光、浓雾及雨雪等恶劣环境下估计视差及深度，从而实现全天候的三维视觉感知。
立体视觉是计算机视觉领域的重要主题。其目的是重建场景的3D几何信息。双目立体视觉是立体视觉的重要领域。在双目立体视觉中，左右摄像头用于模拟两只眼睛。通过计算双目图像之间的差异来计算深度图像。双目立体视觉具有效率高，准确度高，系统结构简单，成本低的优点。由于双目立体视觉需要匹配左右图像捕获点上的相同点，因此相机两个镜头的焦距和图像捕获中心，以及左右两个镜头之间的位置关系。为了得到以上数据，我们需要对相机进行标定。
在标定过程中获得了相机的两个镜头参数和相对位置参数，但这些参数不稳定。当温度，湿度等发生变化时，相机镜头的内部参数也会发生变化。另外，由于意外的相机碰撞，两个镜头之间的位置关系可能会改变。因此，每次使用摄像机时，都必须修改内部和外部参数。这就是自标定。在已知相机内部参数的情况下，我们通过提取红外图像的特征点来对两个红外镜头的位置关系进行修正，即红外双目相机的自标定。由于红外相机成像比可见光相机要模糊，能提取出来的特征点比较少，为了解决这个问题，我们对原图做灰度直方图均衡化以增加特征点的数量。
发明内容
本发明旨在解决由于温湿度、震动等因素造成红外双目相机位置关系的改变。通过提取左右红外相机各自的特征点并进行匹配，并根据这些特征点对原有的标定结果进行修正。此外，为解决特征点不足的问题，我们不仅对原图进行特征点提取，还对灰度直方图均衡化后的红外图像进行特征点提取。流程如图1所示。
本发明的技术方案：
基于直方图均衡化的红外立体相机动态外参计算方法，包括下列步骤：
第一步：场景特征点检测：使用红外双目相机拍摄场景图像，构建单层差分高斯金字塔(DoG)检测并提取特征点以备进一步筛选。
第一步中场景特征点检测，具体包括以下步骤：
1-1)使用红外左右相机拍摄图像，获得左图和右图并将其转为灰度图。
1-2)根据左右图像灰度图分别构建对应的单层差分高斯金字塔(DoG)。
差分高斯金字塔差分高斯金字塔是由相邻尺度空间做差得来的，常被用于尺度不变特征变换(Scale-invariant feature transform，SIFT)。一幅图像的尺度空间被定义为：高斯卷积核与该图像的卷积，它是高斯卷积核中的参数σ的函数。具体地，场景图像I(x，y)的尺度空间为：
L(x，y，σ)＝G(x，y，σ)*I(x，y)
其中，
Figure BDA0002284001280000021
是高斯核函数，σ是尺度因子，σ的大小决定图像的平滑程度。大的σ值对应粗糙尺度(低分辨率)，小的σ值对应精细尺度(高分辨率)。*表示卷积操作。我们称L(x，y，σ)为图像I(x，y)的尺度空间。我们将不同尺度的尺度空间做差得到一层差分高斯金字塔(如图3所示)，此外还需乘一个归一化尺度因子λ，使得DoG图像的最大值是255。
D(x，y，σ)＝λ(L(x，y，kσ)-L(x，y，σ))
和SIFT不同的是，我们仅仅计算一层差分尺度特征。这么做的原因有两点：第一，计算多层差分尺度特征的计算量太大了，无法实现实时性；第二，使用多层差分尺度特征得到的SIFT特征的准确度太低。
1-3)对于在上步得到的单层差分高斯金字塔D，取其局部极值点作为特征点集{P}。
1-3-1)将D做膨胀操作，结果记为D1。将D1中每一个像素点与其8-邻域上的点作比较，如果改像素点是局部极大值，则将其加入候选点集P1里。
1-3-2)将D取反再做膨胀操作，结果记为D2。将D2中每一个像素点与其8-邻域上的点作比较，如果改像素点是局部极小值，则将其加入候选点集P2里。
1-3-3)将P1和P2取交集，得到P3＝P1∩P2。取P3中DoG灰度值大于15的点作为特征点集{P}。左图像的特征点集为
Figure BDA0002284001280000031
右图像的特征点集为
Figure BDA0002284001280000032
第二步：特征点匹配：输入左右灰度图像以及上一步得到的左右图像的特征点集
Figure BDA0002284001280000033
和
Figure BDA0002284001280000034
根据匹配窗口下的特征描述值，来对左右图像上提取的特征点进行匹配，得到匹配关系{(Pl，Pr)}
第二步中特征点匹配，具体包括以下步骤：
2-1)将左图像和右图像都分为m×n个块。对于左图每一个特征点
Figure BDA0002284001280000035
进行步骤2-2)～2-6)。
2-2)找到
Figure BDA0002284001280000036
在左图对应的块
Figure BDA0002284001280000037
块
Figure BDA0002284001280000038
在右图相同位置的块为
Figure BDA0002284001280000039
(如图4(a)所示)，与块
Figure BDA00022840012800000310
具有相同横坐标和纵坐标的块集合
Figure BDA00022840012800000311
(如图4(b)所示)，其特征点集记为
Figure BDA00022840012800000312
找到一个能够描述特征点相似程度的变量来评估
Figure BDA00022840012800000313
和
Figure BDA00022840012800000314
中任意一点的相似程度，如果相似程度最大值大于阈值t1，则视为粗匹配点，其集合记为
Figure BDA00022840012800000315
否则舍弃该点，选取下一个特征点重新进行步骤2-2)。
2-3)如果
Figure BDA00022840012800000316
和
Figure BDA00022840012800000317
中相似程度最大值Sfirst和次大值ssecond满足：
F(Sfirst，ssecond)≥t2
则保留该匹配，取
Figure BDA00022840012800000318
中相似程度最大的点
Figure BDA00022840012800000319
作为匹配点，其中t2为阈值，F(sfirst，ssecond)用于描述sfirst和ssecond之间的关系。如不满足，则舍弃该点，选取下一个特征点重新进行步骤2-2)。
按照该规则筛选之后，再按照步骤2-2)～2-3)匹配
Figure BDA0002284001280000041
在左图对应的特征点
Figure BDA0002284001280000042
如果满足
Figure BDA0002284001280000043
则保留该匹配
Figure BDA0002284001280000044
如不满足，则舍弃该点，选取下一个特征点重新进行步骤2-2)。
2-4)以左图特征点
Figure BDA0002284001280000045
为基准，抛物线拟合优化对应右图的整数像素特征点
Figure BDA0002284001280000046
得到的对应右图的亚像素特征点
Figure BDA0002284001280000047
Figure BDA0002284001280000048
其中
Figure BDA0002284001280000049
为x方向上的亚像素偏移量，
Figure BDA00022840012800000410
为y方向上的亚像素偏移量。
2-5)以对应右图整数像素特征点
Figure BDA00022840012800000411
为基准，根据2-4)的方法计算出对应左图的亚像素特征点
Figure BDA00022840012800000412
其中
Figure BDA00022840012800000413
为x方向上的亚像素偏移量，
Figure BDA00022840012800000414
为y方向上的亚像素偏移量。
2-6)得到最终的匹配点对为
Figure BDA00022840012800000415
选取下一个左图特征点重新进行步骤2-2)～2-6)。
第三步：原图校正：输入上一步得到的匹配的左右特征点以及红外双目相机各自内参和原来的外参，计算左右两图的特征点经过去畸校正后的坐标。流程如图2所示。
第三步中原图校正，具体包括以下步骤：
3-1)计算匹配的左右特征点
Figure BDA00022840012800000416
对应的正规坐标系下的坐标。像素坐标系以图片的左上角为原点，其x轴和y轴分别与图像坐标系的x轴和y轴平行。像素坐标系的单位是像素，像素是图像显示的基本且不可分割的单位。正规坐标系以相机的光心作为图像坐标系的原点，且将光心到图像平面的距离缩放到1。像素坐标与正规坐标的关系如下：
u＝KX
Figure BDA00022840012800000417
其中，
Figure BDA0002284001280000051
表示图像的像素坐标；
Figure BDA0002284001280000052
表示相机的内参矩阵，fx和fy分别表示图像x方向和y方向的焦距(单位是像素)，(cx，cy)表示相机住店的位置；
Figure BDA0002284001280000053
是正规坐标系下的坐标。已知图像的像素坐标系以及相机的内参可以计算出像素点对应的正规坐标系，即
X＝K-1u
对于每一对左右相机匹配特征点
Figure BDA0002284001280000054
它们的正规坐标系为：
Figure BDA0002284001280000055
Figure BDA0002284001280000056
其中，
Figure BDA0002284001280000057
和
Figure BDA0002284001280000058
分别是
Figure BDA0002284001280000059
和
Figure BDA00022840012800000510
的像素坐标，
Figure BDA00022840012800000511
和
Figure BDA00022840012800000512
分别是
Figure BDA00022840012800000513
和
Figure BDA00022840012800000514
的正规坐标，Kl和Kr分别是左相机和右相机的内参矩阵。
3-2)去除图像畸变：根据左右图像特征点的正规坐标和左右相机各自的畸变系数来计算出左右图像特征点去畸变后的正规坐标。
由于镜头生产工艺的限制，实际情况下的镜头会存在一些失真现象导致非线性的畸变，可大致分为径向畸变和切向畸变。
图像径向畸变是图像像素点以畸变中心为中心点，沿着径向产生的位置偏差，从而导致图像中所成的像发生形变。径向畸变的大致表述如下：
xd＝x(1+k1r2+k2r4+k3r6)
yd＝y(1+k1r2+k2r4+k3r6)
其中，r2＝x2+y2，k1、k2、k3为径向畸变参数。
切向畸变是由于摄像机制造上的缺陷使得透镜本身与图像平面不平行而产生的，可定量描述为：
xd＝x+(2p1xy+p2(r2+2x2))
yd＝y+(p1(r2+2y2)+2p2xy)
其中，p1、p2为切向畸变系数。
综上，畸变前后的坐标关系如下：
xd＝x(1+k1r2+k2r4+k3r6)+(2p1xy+p2(r2+2x2))
yd＝y(1+k1r2+k2r4+k3r6)+(p1(r2+2y2)+2p2xy)
其中，(x，y)是理想状态下的正规坐标，(xd，yd)是实际带有畸变的正规坐标。我们以(xd，yd)作为(x，y)的初值，迭代计算若干次(例如20次)得到实际的(x，y)。
3-3)根据原来两相机的旋转关系将左右两图旋转：已知原来左右相机之间的旋转矩阵R和平移向量t，使得
Xr＝RXl+t
其中，Xl表示左相机的正规坐标，Xr表示右相机的正规坐标。将左图旋转R正方向一半的角度，将右图旋转R反方向一半的角度。
对于上一步得到的每一对去畸变之后的左右特征点
Figure BDA0002284001280000061
的正规坐标
Figure BDA0002284001280000062
3-4)根据公式u＝KX将去畸旋转后的图像还原至像素坐标系。根据上一步更新的左右特征点
Figure BDA0002284001280000063
的正规坐标
Figure BDA0002284001280000064
计算去畸校正后的图像坐标
Figure BDA0002284001280000065
Figure BDA0002284001280000066
第四步：将原图做灰度直方图均衡化，重复第一步到第三步：由于红外相机成像比可见光相机要模糊，所以需要对原图做灰度直方图均衡化以增加特征点的数量。
第五步：判断特征点覆盖区域：将图像分成m*n个格子，如果特征点覆盖到所有格子，则进行下一步，否则重复步骤第一步到第四步。
第六步：修正标定结果：使用所有特征点的图像坐标来计算校正之后的两相机之间的位置关系，然后与原来的外参相叠加。输入左右两图的特征点经过去畸校正后的坐标以及左右相机的内参和原来的外参，输出修正后的相机外参。
第六步中，修正外参结果，具体包括以下步骤：
6-1)根据左右两图的特征点对坐标以及左右相机的内参矩阵来求解基础矩阵F和本质矩阵E：左右对应像素点对ul、ur和基础矩阵F的关系是：
Figure BDA0002284001280000071
使用随机抽样一致性(RANSAC)对点对做进一步筛选，之后将对应点坐标代入上式，构建齐次线性方程组求解F。
基础矩阵和本质矩阵的关系是：
Figure BDA0002284001280000072
其中，Kl、Kr分别是左右相机的内参矩阵。
6-2)从本质矩阵分解出校正之后左右相机旋转和平移关系：本质矩阵E与旋转R和平移t的关系如下：
E＝[t]×R
其中[t]×表示t的叉乘矩阵。
将E做奇异值分解，得
Figure BDA0002284001280000073
定义两个矩阵
Figure BDA0002284001280000074
和
Figure BDA0002284001280000075
ZW＝∑
所以E可以写成以下两种形式
(1)E＝UZUTUWVT
令[t]×＝UZUT，R＝UWVT
(2)E＝-UZUTUWTVT
令[t]×＝-UZUT，R＝UWTVT
得到四对R和t，选取具有三维意义的解。
6-3)将分解出的旋转和平移关系叠加到原来的外参里面。
记去畸变前的旋转矩阵为R0，平移向量为t0＝(tx，ty，tz)T；上一步计算出的旋转矩阵为R，平移向量为t＝(t′x，t′y，t′z)T。则新的Rnew和tnew如下
Figure BDA0002284001280000081
Figure BDA0002284001280000082
还需要将tnew乘一个系数，使得tnew在x方向上的分量
Figure BDA0002284001280000083
本发明的有益效果：
本发明解决了由于温湿度、震动等因素造成红外双目相机位置关系的改变。具有结果精确、操作简单等优点。此外，我们对灰度直方图均衡化后的红外图像进行特征点提取，相比于普通的方法能得到更多的特征点，因此需要更少的图片即可实现自标定功能。
附图说明
图1为整体流程示意图。
图2为双目校正流程示意图。
图3表示高斯差分金字塔(DoG)。
图4是分块匹配的示意图。其中，(a)为左图，(b)为右图。
具体实施方式
本发明旨在解决由于温湿度、震动等因素造成红外双目相机位置关系的改变。此外，为解决特征点不足的问题，我们不仅对原图进行特征点提取，还对灰度直方图均衡化后的红外图像进行特征点提取。结合附图及实施例详细说明如下：
基于直方图均衡化的红外立体相机动态外参计算方法，包括下列步骤：
第一步：场景特征点检测：使用红外双目相机拍摄场景图像，构建单层差分高斯金字塔(DoG)检测并提取特征点以备进一步筛选。
第一步中场景特征点检测，具体包括以下步骤：
1-1)使用红外左右相机拍摄图像，获得左图和右图并将其转为灰度图。
1-2)根据左右图像灰度图分别构建对应的单层差分高斯金字塔(DoG)。
差分高斯金字塔差分高斯金字塔是由相邻尺度空间做差得来的，常被用于尺度不变特征变换(Scale-invariant feature transform，SIFT)。一幅图像的尺度空间被定义为：高斯卷积核与该图像的卷积，它是高斯卷积核中的参数σ的函数。具体地，场景图像I(x，y)的尺度空间为：
L(x，y，σ)＝G(x，y，σ)*I(x，y)
其中，
Figure BDA0002284001280000091
是高斯核函数，σ是尺度因子，σ的大小决定图像的平滑程度。大的σ值对应粗糙尺度(低分辨率)，小的σ值对应精细尺度(高分辨率)。*表示卷积操作。我们称L(x，y，σ)为图像I(x，y)的尺度空间。我们将不同尺度的尺度空间做差得到一层差分高斯金字塔(如图3所示)，此外还需乘一个归一化尺度因子λ，使得DoG图像的最大值是255。
D(x，y，σ)＝λ(L(x，y，kσ)-L(x，y，σ))
和SIFT不同的是，我们仅仅计算一层差分尺度特征。这么做的原因有两点：第一，计算多层差分尺度特征的计算量太大了，无法实现实时性；第二，使用多层差分尺度特征得到的SIFT特征的准确度太低。
1-3)对于在上步得到的单层差分高斯金字塔D，取其局部极值点作为特征点集{P}。
1-3-1)将D做膨胀操作，结果记为D1。将D1中每一个像素点与其8-邻域上的点作比较，如果改像素点是局部极大值，则将其加入候选点集P1里。
1-3-2)将D取反再做膨胀操作，结果记为D2。将D2中每一个像素点与其8-邻域上的点作比较，如果改像素点是局部极小值，则将其加入候选点集P2里。
1-3-3)将P1和P2取交集，得到P3＝P1∩P2。取P3中DoG灰度值大于15的点作为特征点集{P}。左图像的特征点集为
Figure BDA0002284001280000092
右图像的特征点集为
Figure BDA0002284001280000093
第二步：特征点匹配：输入左右灰度图像以及上一步得到的左右图像的特征点集
Figure BDA0002284001280000094
和
Figure BDA0002284001280000095
根据匹配窗口下的特征描述值，来对左右图像上提取的特征点进行匹配，得到匹配关系{(Pl，Pr)}
第二步中特征点匹配，具体包括以下步骤：
2-1)将左图像和右图像都分为m×n个块。对于左图每一个特征点
Figure BDA0002284001280000101
进行步骤2-2)～2-6)。
2-2)找到
Figure BDA0002284001280000102
在左图对应的块
Figure BDA0002284001280000103
块
Figure BDA0002284001280000104
在右图相同位置的块为
Figure BDA0002284001280000105
(如图4(a)所示)，与块
Figure BDA0002284001280000106
具有相同横坐标和纵坐标的块集合
Figure BDA0002284001280000107
(如图4(b)所示)，其特征点集记为
Figure BDA0002284001280000108
找到一个能够描述特征点相似程度的变量来评估
Figure BDA0002284001280000109
和
Figure BDA00022840012800001010
中任意一点的相似程度，如果相似程度最大值大于阈值t1，则视为粗匹配点，其集合记为
Figure BDA00022840012800001011
否则舍弃该点，选取下一个特征点重新进行步骤2-2)。
2-3)如果
Figure BDA00022840012800001012
和
Figure BDA00022840012800001013
中相似程度最大值sfirst和次大值ssecond满足：
F(sfirst，ssecond)≥t2
则保留该匹配，取
Figure BDA00022840012800001014
中相似程度最大的点
Figure BDA00022840012800001015
作为匹配点，其中t2为阈值，F(sfirst，ssecond)用于描述sfirst和ssecond之间的关系。如不满足，则舍弃该点，选取下一个特征点重新进行步骤2-2)。
按照该规则筛选之后，再按照步骤2-2)～2-3)匹配
Figure BDA00022840012800001016
在左图对应的特征点
Figure BDA00022840012800001017
如果满足
Figure BDA00022840012800001018
则保留该匹配
Figure BDA00022840012800001019
如不满足，则舍弃该点，选取下一个特征点重新进行步骤2-2)。
2-4)以左图特征点
Figure BDA00022840012800001020
为基准，抛物线拟合优化对应右图的整数像素特征点
Figure BDA00022840012800001021
得到的对应右图的亚像素特征点
Figure BDA00022840012800001022
Figure BDA00022840012800001023
其中
Figure BDA00022840012800001024
为x方向上的亚像素偏移量，
Figure BDA00022840012800001025
为y方向上的亚像素偏移量。
2-5)以对应右图整数像素特征点
Figure BDA00022840012800001026
为基准，根据2-4)的方法计算出对应左图的亚像素特征点
Figure BDA00022840012800001027
其中
Figure BDA00022840012800001028
为x方向上的亚像素偏移量，
Figure BDA00022840012800001029
为y方向上的亚像素偏移量。
2-6)得到最终的匹配点对为
Figure BDA00022840012800001030
选取下一个左图特征点重新进行步骤2-2)～2-6)。
第三步：原图校正：输入上一步得到的匹配的左右特征点以及红外双目相机各自内参和原来的外参，计算左右两图的特征点经过去畸校正后的坐标。流程如图2所示。
第三步中原图校正，具体包括以下步骤：
3-1)计算匹配的左右特征点
Figure BDA0002284001280000111
对应的正规坐标系下的坐标。像素坐标系以图片的左上角为原点，其x轴和y轴分别与图像坐标系的x轴和y轴平行。像素坐标系的单位是像素，像素是图像显示的基本且不可分割的单位。正规坐标系以相机的光心作为图像坐标系的原点，且将光心到图像平面的距离缩放到1。像素坐标与正规坐标的关系如下：
u＝KX
Figure BDA0002284001280000112
其中，
Figure BDA0002284001280000113
表示图像的像素坐标；
Figure BDA0002284001280000114
表示相机的内参矩阵，fx和fy分别表示图像x方向和y方向的焦距(单位是像素)，(cx，cy)表示相机住店的位置；
Figure BDA0002284001280000115
是正规坐标系下的坐标。已知图像的像素坐标系以及相机的内参可以计算出像素点对应的正规坐标系，即
X＝K-1u
对于每一对左右相机匹配特征点
Figure BDA0002284001280000116
它们的正规坐标系为：
Figure BDA0002284001280000117
Figure BDA0002284001280000118
其中，
Figure BDA0002284001280000119
和
Figure BDA00022840012800001110
分别是
Figure BDA00022840012800001111
和
Figure BDA00022840012800001112
的像素坐标，
Figure BDA00022840012800001113
和
Figure BDA00022840012800001114
分别是
Figure BDA00022840012800001115
和
Figure BDA00022840012800001116
的正规坐标，Kl和Kr分别是左相机和右相机的内参矩阵。
3-2)去除图像畸变：根据左右图像特征点的正规坐标和左右相机各自的畸变系数来计算出左右图像特征点去畸变后的正规坐标。
由于镜头生产工艺的限制，实际情况下的镜头会存在一些失真现象导致非线性的畸变，可大致分为径向畸变和切向畸变。
图像径向畸变是图像像素点以畸变中心为中心点，沿着径向产生的位置偏差，从而导致图像中所成的像发生形变。径向畸变的大致表述如下：
xd＝x(1+k1r2+k2r4+k3r6)
yd＝y(1+k1r2+k2r4+k3r6)
其中，r2＝x2+y2，k1、k2、k3为径向畸变参数。
切向畸变是由于摄像机制造上的缺陷使得透镜本身与图像平面不平行而产生的，可定量描述为：
xd＝x+(2p1xy+p2(r2+2x2))
yd＝y+(p1(r2+2y2)+2p2xy)
其中，p1、p2为切向畸变系数。
综上，畸变前后的坐标关系如下：
xd＝x(1+k1r2+k2r4+k3r6)+(2p1xy+p2(r2+2x2))
yd＝y(1+k1r2+k2r4+k3r6)+(p1(r2+2y2)+2p2xy)
其中，(x，y)是理想状态下的正规坐标，(xd，yd)是实际带有畸变的正规坐标。我们以(xd，yd)作为(x，y)的初值，迭代计算20次得到实际的(x，y)。
3-3)根据原来两相机的旋转关系将左右两图旋转：已知原来左右相机之间的旋转矩阵R和平移向量t，使得
Xr＝RXl+t
其中，Xl表示左相机的正规坐标，Xr表示右相机的正规坐标。将左图旋转R正方向一半的角度，将右图旋转R反方向一半的角度。
对于上一步得到的每一对去畸变之后的左右特征点
Figure BDA0002284001280000121
的正规坐标
Figure BDA0002284001280000122
3-4)根据公式u＝KX将去畸旋转后的图像还原至像素坐标系。根据上一步更新的左右特征点
Figure BDA0002284001280000123
的正规坐标
Figure BDA0002284001280000124
计算去畸校正后的图像坐标
Figure BDA0002284001280000131
Figure BDA0002284001280000132
第四步：将原图做灰度直方图均衡化，重复第一步到第三步：由于红外相机成像比可见光相机要模糊，所以需要对原图做灰度直方图均衡化以增加特征点的数量。
第五步：判断特征点覆盖区域：将图像分成m*n个格子，如果特征点覆盖到所有格子，则进行下一步，否则重复步骤第一步到第四步。
第六步：修正标定结果：使用所有特征点的图像坐标来计算校正之后的两相机之间的位置关系，然后与原来的外参相叠加。输入左右两图的特征点经过去畸校正后的坐标以及左右相机的内参和原来的外参，输出修正后的相机外参。
第六步中，修正外参结果，具体包括以下步骤：
6-1)根据左右两图的特征点对坐标以及左右相机的内参矩阵来求解基础矩阵F和本质矩阵E：左右对应像素点对ul、ur和基础矩阵F的关系是：
使用随机抽样一致性(RANSAC)对点对做进一步筛选，之后将对应点坐标代入上式，构建齐次线性方程组求解F。
基础矩阵和本质矩阵的关系是：
Figure BDA0002284001280000134
其中，Kl、Kr分别是左右相机的内参矩阵。
6-2)从本质矩阵分解出校正之后左右相机旋转和平移关系：本质矩阵E与旋转R和平移t的关系如下：
E＝[t]×R
其中[t]×表示t的叉乘矩阵。
将E做奇异值分解，得
Figure BDA0002284001280000135
定义两个矩阵
Figure BDA0002284001280000141
和
Figure BDA0002284001280000142
ZW＝∑所以E可以写成以下两种形式
(1)E＝UZUTUWVT
令[t]×＝UZUT，R＝UWVT(2)E＝-UZUTUWTVT
令[t]×＝-UZUT，R＝UWTVT
得到四对R和t，选取具有三维意义的解。
6-3)将分解出的旋转和平移关系叠加到原来的外参里面。
去畸变前的旋转矩阵R和平移向量t
Figure BDA0002284001280000143
t＝[-122.2858 -3.9925 0.0785]T
步骤6-2)计算出的旋转矩阵为R′和平移向量为t′
Figure BDA0002284001280000144
t′＝[-1.0000 0.0003 -0.0053]T
新的Rnew和tnew
Figure BDA0002284001280000145
tnew＝[-122.2858 -0.2737 -0.0465]T。

Claims (5)

1.基于直方图均衡化的红外立体相机动态外参计算方法，其特征在于，包括下列步骤：
第一步：场景特征点检测：
1-1)使用红外左右相机拍摄图像，获得左图和右图并将其转为灰度图；
1-2)根据左右图像灰度图分别构建对应的单层差分高斯金字塔；
1-3)对于在上步得到的单层差分高斯金字塔D，取其局部极值点作为特征点集{P}；
第二步：特征点匹配：输入左右灰度图像以及上一步得到的左右图像的特征点集
Figure FDA0002643707350000011
和
Figure FDA0002643707350000012
根据匹配窗口下的特征描述值，来对左右图像上提取的特征点进行匹配，得到匹配关系{(Pl,Pr)}；
第二步中特征点匹配，具体包括以下步骤：
2-1)将左图像和右图像都分为m×n个块；对于左图每一个特征点
Figure FDA0002643707350000013
进行步骤2-2)～2-6)；
2-2)找到
Figure FDA0002643707350000014
在左图对应的块
Figure FDA0002643707350000015
块
Figure FDA0002643707350000016
在右图相同位置的块为
Figure FDA0002643707350000017
与块
Figure FDA0002643707350000018
具有相同横坐标和纵坐标的块集合
Figure FDA0002643707350000019
其特征点集记为
Figure FDA00026437073500000110
找到一个能够描述特征点相似程度的变量来评估
Figure FDA00026437073500000111
和
Figure FDA00026437073500000112
中任意一点的相似程度，如果相似程度最大值大于阈值t1，则视为粗匹配点，其集合记为
Figure FDA00026437073500000113
否则舍弃该点，选取下一个特征点重新进行步骤2-2)；
2-3)如果
Figure FDA00026437073500000114
和
Figure FDA00026437073500000115
中相似程度最大值sfirst和次大值ssecond满足：
F(sfirst,ssecond)≥t2
则保留该匹配，取
Figure FDA00026437073500000116
中相似程度最大的点
Figure FDA00026437073500000117
作为匹配点，其中t2为阈值,F(sfirst,ssecond)用于描述sfirst和ssecond之间的关系；如不满足，则舍弃该点，选取下一个特征点重新进行步骤2-2)；
按照该规则筛选之后，再按照步骤2-2)～2-3)匹配
Figure FDA00026437073500000118
在左图对应的特征点
Figure FDA00026437073500000119
如果满足
Figure FDA00026437073500000120
则保留该匹配
Figure FDA00026437073500000121
如不满足，则舍弃该点，选取下一个特征点重新进行步骤2-2)；
2-4)以左图特征点
Figure FDA0002643707350000021
为基准，抛物线拟合优化对应右图的整数像素特征点
Figure FDA0002643707350000022
得到的对应右图的亚像素特征点
Figure FDA0002643707350000023
Figure FDA0002643707350000024
其中
Figure FDA0002643707350000025
为x方向上的亚像素偏移量，
Figure FDA0002643707350000026
为y方向上的亚像素偏移量；
2-5)以对应右图整数像素特征点
Figure FDA0002643707350000027
为基准，根据2-4)的方法计算出对应左图的亚像素特征点
Figure FDA0002643707350000028
其中
Figure FDA0002643707350000029
为x方向上的亚像素偏移量，
Figure FDA00026437073500000210
为y方向上的亚像素偏移量；
2-6)得到最终的匹配点对为
Figure FDA00026437073500000211
选取下一个左图特征点重新进行步骤2-2)～2-6)；
第三步：原图校正：
输入上一步得到的匹配的左右特征点以及红外双目相机各自内参和原来的外参，计算左右两图的特征点经过去畸校正后的坐标；
第四步：将原图做灰度直方图均衡化，重复第一步到第三步：由于红外相机成像比可见光相机要模糊，所以需要对原图做灰度直方图均衡化以增加特征点的数量；
第五步：判断特征点覆盖区域：将图像分成m*n个格子，如果特征点覆盖到所有格子，则进行下一步，否则重复步骤第一步到第四步；
第六步：修正标定结果：使用所有特征点的图像坐标来计算校正之后的两相机之间的位置关系，然后与原来的外参相叠加；输入左右两图的特征点经过去畸校正后的坐标以及左右相机的内参和原来的外参，输出修正后的相机外参。
2.如权利要求1所述的基于直方图均衡化的红外立体相机动态外参计算方法，其特征在于，第六步中，修正外参结果，具体包括以下步骤：
6-1)根据左右两图的特征点对坐标以及左右相机的内参矩阵来求解基础矩阵F和本质矩阵E：左右对应像素点对ul、ur和基础矩阵F的关系是：
Figure FDA00026437073500000212
使用随机抽样一致性(RANSAC)对点对做进一步筛选，之后将对应点坐标代入上式，构建齐次线性方程组求解F；
基础矩阵和本质矩阵的关系是：
Figure FDA0002643707350000031
其中，Kl、Kr分别是左右相机的内参矩阵；
6-2)从本质矩阵分解出校正之后左右相机旋转和平移关系：本质矩阵E与旋转R和平移t的关系如下：
E＝[t]×R
其中[t]×表示t的叉乘矩阵；
将E做奇异值分解，得
Figure FDA0002643707350000032
定义两个矩阵
Figure FDA0002643707350000033
和
Figure FDA0002643707350000034
ZW＝Σ
所以E可以写成以下两种形式
(1)E＝UZUTUWVT
令[t]×＝UZUT，R＝UWVT
(2)E＝-UZUTUWTVT
令[t]×＝-UZUT，R＝UWTVT
得到四对R和t，选取具有三维意义的解；
6-3)将分解出的旋转和平移关系叠加到原来的外参里面；
记去畸变前的旋转矩阵为R0，平移向量为t0＝(tx,ty,tz)T；上一步计算出的旋转矩阵为R，平移向量为t＝(t′x,t′y,t′z)T。则新的Rnew和tnew如下
Figure FDA0002643707350000035
Figure FDA0002643707350000036
还需要将tnew乘一个系数，使得tnew在x方向上的分量
Figure FDA0002643707350000037
3.如权利要求1或2所述的基于直方图均衡化的红外立体相机动态外参计算方法，其特征在于，步骤1-3)中，具体步骤如下：
1-3-1)将D做膨胀操作，结果记为D1；将D1中每一个像素点与其8-邻域上的点作比较，如果改像素点是局部极大值，则将其加入候选点集P1里；
1-3-2)将D取反再做膨胀操作，结果记为D2；将D2中每一个像素点与其8-邻域上的点作比较，如果改像素点是局部极小值，则将其加入候选点集P2里；
1-3-3)将P1和P2取交集，得到P3＝P1∩P2；取P3中DoG灰度值大于15的点作为特征点集{P}；左图像的特征点集为
Figure FDA0002643707350000041
右图像的特征点集为
Figure FDA0002643707350000042
4.如权利要求1或2所述的基于直方图均衡化的红外立体相机动态外参计算方法，其特征在于，第三步中原图校正，具体包括以下步骤：
3-1)对于每一对左右相机匹配特征点
Figure FDA0002643707350000043
它们的正规坐标系为：
Figure FDA0002643707350000044
Figure FDA0002643707350000045
其中，
Figure FDA0002643707350000046
和
Figure FDA0002643707350000047
分别是
Figure FDA0002643707350000048
和
Figure FDA0002643707350000049
的像素坐标，
Figure FDA00026437073500000410
和
Figure FDA00026437073500000411
分别是
Figure FDA00026437073500000412
和
Figure FDA00026437073500000413
的正规坐标，Kl和Kr分别是左相机和右相机的内参矩阵；
3-2)去除图像畸变：
(x,y)是理想状态下的正规坐标，(xd,yd)是实际带有畸变的正规坐标；我们以(xd,yd)作为(x,y)的初值，迭代计算若干次(例如20次)得到实际的(x,y)；
3-3)对于上一步得到的每一对去畸变之后的左右特征点
Figure FDA00026437073500000414
的正规坐标
Figure FDA00026437073500000415
3-4)根据公式u＝KX将去畸旋转后的图像还原至像素坐标系；根据上一步更新的左右特征点
Figure FDA00026437073500000416
的正规坐标
Figure FDA00026437073500000417
计算去畸校正后的图像坐标
Figure FDA00026437073500000418
Figure FDA00026437073500000419
5.如权利要求3所述的基于直方图均衡化的红外立体相机动态外参计算方法，其特征在于，第三步中原图校正，具体包括以下步骤：
3-1)对于每一对左右相机匹配特征点
Figure FDA00026437073500000420
它们的正规坐标系为：
Figure FDA0002643707350000051
Figure FDA0002643707350000052
其中，
Figure FDA0002643707350000053
和
Figure FDA0002643707350000054
分别是
Figure FDA0002643707350000055
和
Figure FDA0002643707350000056
的像素坐标，
Figure FDA0002643707350000057
和
Figure FDA0002643707350000058
分别是
Figure FDA0002643707350000059
和
Figure FDA00026437073500000510
的正规坐标，Kl和Kr分别是左相机和右相机的内参矩阵；
3-2)去除图像畸变：
(x,y)是理想状态下的正规坐标，(xd,yd)是实际带有畸变的正规坐标；我们以(xd,yd)作为(x,y)的初值，迭代计算若干次(例如20次)得到实际的(x,y)；
3-3)对于上一步得到的每一对去畸变之后的左右特征点
Figure FDA00026437073500000511
的正规坐标
Figure FDA00026437073500000512
3-4)根据公式u＝KX将去畸旋转后的图像还原至像素坐标系；根据上一步更新的左右特征点
Figure FDA00026437073500000513
的正规坐标
Figure FDA00026437073500000514
计算去畸校正后的图像坐标
Figure FDA00026437073500000515
Figure FDA00026437073500000516
CN201911152762.2A 2019-11-22 2019-11-22 基于直方图均衡化的红外立体相机动态外参计算方法 Active CN110880191B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911152762.2A CN110880191B (zh) 2019-11-22 2019-11-22 基于直方图均衡化的红外立体相机动态外参计算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911152762.2A CN110880191B (zh) 2019-11-22 2019-11-22 基于直方图均衡化的红外立体相机动态外参计算方法

Publications (2)

Publication Number Publication Date
CN110880191A CN110880191A (zh) 2020-03-13
CN110880191B true CN110880191B (zh) 2020-10-20

Family

ID=69729678

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911152762.2A Active CN110880191B (zh) 2019-11-22 2019-11-22 基于直方图均衡化的红外立体相机动态外参计算方法

Country Status (1)

Country Link
CN (1) CN110880191B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111429527B (zh) * 2020-03-24 2023-12-01 广东星舆科技有限公司 一种车载相机的外参自动标定方法及系统
CN111445534B (zh) * 2020-04-03 2023-04-21 北京四维智联科技有限公司 一种用于全自动泊车的相机高精度自动标定方法及装置
CN113255449A (zh) * 2021-04-23 2021-08-13 东南大学 一种双目视频图像的实时匹配方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679711A (zh) * 2013-11-29 2014-03-26 航天恒星科技有限公司 一种遥感卫星线阵推扫光学相机在轨外方位参数标定方法
CN108335331A (zh) * 2018-01-31 2018-07-27 华中科技大学 一种钢卷双目视觉定位方法及设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8310539B2 (en) * 2009-05-29 2012-11-13 Mori Seiki Co., Ltd Calibration method and calibration device
CN101882313B (zh) * 2010-07-14 2011-12-21 中国人民解放军国防科学技术大学 单线激光雷达与ccd相机之间相互关系的标定方法
CN108564628B (zh) * 2018-04-17 2023-05-26 北京理工大学 一种面向掘进机自动化的截割头视觉定位定向系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679711A (zh) * 2013-11-29 2014-03-26 航天恒星科技有限公司 一种遥感卫星线阵推扫光学相机在轨外方位参数标定方法
CN108335331A (zh) * 2018-01-31 2018-07-27 华中科技大学 一种钢卷双目视觉定位方法及设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"Robust external calibration of terrestrial laser scanner and digital camera forstructural monitoring";Mohammad etc,;《Journal of applied Gedesy》;20190228(第2期);第105-134页 *
"双目鱼眼摄像机噪声分析与外参标定";李学东;《第十三届中国控制会议》;20111231;第5017-5022页 *
"基于共线向量与平面单应性的双目相机标定方法";邹明明 等;《光学学报》;20171130;第37卷(第11期);第1-9页 *

Also Published As

Publication number Publication date
CN110880191A (zh) 2020-03-13

Similar Documents

Publication Publication Date Title
CN110969670B (zh) 基于显著特征的多光谱相机动态立体标定方法
CN110969668B (zh) 一种长焦双目相机的立体标定算法
CN110969669B (zh) 基于互信息配准的可见光与红外相机联合标定方法
CN110992409B (zh) 基于傅里叶变换配准的多光谱立体相机动态配准方法
CN110956661B (zh) 基于双向单应矩阵的可见光与红外相机动态位姿计算方法
CN110910456B (zh) 基于Harris角点互信息匹配的立体相机动态标定方法
US11398053B2 (en) Multispectral camera external parameter self-calibration algorithm based on edge features
CN110880191B (zh) 基于直方图均衡化的红外立体相机动态外参计算方法
CN111080709B (zh) 基于轨迹特征配准的多光谱立体相机自标定算法
CN107767339B (zh) 一种双目立体图像拼接方法
CN108734657B (zh) 一种具有视差处理能力的图像拼接方法
CN109118544B (zh) 基于透视变换的合成孔径成像方法
CN112016478B (zh) 一种基于多光谱图像融合的复杂场景识别方法及系统
CN113838191A (zh) 一种基于注意力机制和单目多视角的三维重建方法
CN112396053A (zh) 一种基于级联神经网络的环视鱼眼图像目标检测方法
CN110136048B (zh) 一种图像配准方法及系统、存储介质及终端
CN114255197A (zh) 一种红外与可见光图像自适应融合对齐方法及系统
CN110910457B (zh) 基于角点特征的多光谱立体相机外参计算方法
CN111899345A (zh) 一种基于2d视觉图像的三维重建方法
CN113298177B (zh) 夜间图像着色方法、装置、介质和设备
Hsu et al. Object detection using structure-preserving wavelet pyramid reflection removal network
CN116433822B (zh) 一种神经辐射场训练方法、装置、设备及介质
CN108805937B (zh) 一种单相机偏振信息预测方法
Jindal et al. An ensemble mosaicing and ridgelet based fusion technique for underwater panoramic image reconstruction and its refinement
CN114972625A (zh) 一种基于rgb光谱超分辨技术的高光谱点云生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant