CN110910457B - 基于角点特征的多光谱立体相机外参计算方法 - Google Patents

Abstract

本发明属于图像处理和计算机视觉领域，涉及基于角点特征的多光谱立体相机外参计算方法。本发明通过对图像进行Harris角点检测以及匹配来解决由于温湿度、震动等因素造成红外相机和可见光相机位置关系的改变。此外，由于可见光相机和红外相机属于不同模态，因此直接提取特征点做匹配得到的满足要求的点对比较少。为了解决这个问题，本方法不仅对红外原图进行角点检测，还对红外图像的灰度直方图均衡化后的图像也进行了角点检测，这样增加角点数目，从而更加有效的对红外相机和可见光相机进行联合自标定，操作简便，结果精确。

Description

基于角点特征的多光谱立体相机外参计算方法

技术领域

本发明属于图像处理和计算机视觉领域，涉及基于角点特征的多光谱立体相机外参计算方法。

背景技术

立体视觉是计算机视觉领域的重要主题。其目的是重建场景的3D几何信息。双目立体视觉是立体视觉的重要领域。在双目立体视觉中，左右摄像头用于模拟两只眼睛。通过计算双目图像之间的差异来计算深度图像。双目立体视觉具有效率高，准确度高，系统结构简单，成本低的优点。红外线(Infrared)是波长介于微波与可见光之间的电磁波，波长比红光要长。高于绝对零度(-273.15℃)的物质都可以产生红外线。利用红外线可以隔着薄雾和烟雾拍摄景物，而且在夜间也可以进行红外摄影。

红外相机成像的优点是在极端场景(低光、雨雪、浓雾等)也可以成像，缺点是分辨率低、图像细节较模糊。相比之下，可见光相机的优点是分辨率高、图像细节清晰，但是在极端场景下不能成像。因此，将红外相机和可见光相机结合起来具有重大的现实意义。

由于双目立体视觉需要匹配左右图像捕获点上的相同点，因此相机两个镜头的焦距和图像捕获中心，以及左右两个镜头之间的位置关系。为了得到以上数据，我们需要对相机进行标定。获取可见光相机和红外相机之间的位置关系称为联合标定。

在标定过程中获得了相机的两个镜头参数和相对位置参数，但这些参数不稳定。当温度、湿度等发生变化时，相机镜头的内部参数也会发生变化。另外，由于意外的相机碰撞，两个镜头之间的位置关系可能会改变。因此，每次使用摄像机时，都必须修改内部和外部参数，这就是自标定。在已知相机内部参数的情况下，我们通过分别提取红外图像特征和可见光图像特征来对红外镜头和可见光镜头的位置关系进行修正，即红外相机与可见光相机的联合自标定。

发明内容

本发明旨在解决由于温湿度、震动等因素造成红外相机和可见光相机位置关系的改变。通过提取红外相机和可见光相机的角点并匹配，并根据这些匹配的点对原有的标定结果进行修正。

本发明的技术方案：

本发明旨从拍摄到的红外场景图像和可见光场景图像中提取并匹配角点，并根据匹配的角点对红外相机和可见光相机之间的位置关系进行修正，从而解决红外相机和可见光相机因温度和震动导致其外参发生变化的问题。

基于角点特征的多光谱立体相机外参计算方法，包括下列步骤：

第一步，原图校正：将红外和可见光原图根据红外相机和可见光相机各自内参和原来的外参进行去畸变和双目校正。流程如图2所示。

第二步，Harris角点检测：首先在红外去畸校正后图像IR上做Harris角点检测，然后对IR进行灰度直方图均衡化，得到的图像记为IR_he，然后在IR_he上做 Harris角点检测。将IR上的角点和IR_he上的角点做并集得到红外图像的角点。最后对可见光去畸校正后图像VIS做Harris角点检测。

第三步，基于归一化相关系数的特征点匹配：根据匹配窗口分别计算红外相机和可见光相机待匹配点对的归一化相关系数并根据其计算结果进行匹配。在此之后，我们将对匹配的结果进行优化。

第四步，判断特征点覆盖区域：将图像分成m*n个格子，如果特征点覆盖到所有格子，则进行下一步，否则继续拍摄图像，提取特征点。

第五步，修正标定结果：使用所有特征点的图像坐标来计算校正之后的两相机之间的位置关系，然后与原来的外参相叠加。

所述第一步的具体步骤如下：

1-1)计算每一个原图像点P_i对应的正规坐标系下的坐标。

像素坐标系以图片的左上角为原点，其x轴和y轴分别与图像坐标系的x轴和y轴平行。像素坐标系的单位是像素，像素是图像显示的基本且不可分割的单位。正规坐标系以相机的光心作为图像坐标系的原点，且将光心到图像平面的距离缩放到1。像素坐标与正规坐标的关系如下：

u＝KX

其中，

表示图像的像素坐标；

表示相机的内参矩阵，f_x和f_y分别表示图像x方向和y方向的焦距(单位是像素)，(c_x,c_y)表示相机住店的位置；

是正规坐标系下的坐标。已知图像的像素坐标系以及相机的内参可以计算出像素点对应的正规坐标系，即

X＝K^-1u

对于每一个原图像点P_i，它的正规坐标系为：

X_i＝K_iu_i

其中，u_i是P_i的像素坐标，X_i是P_i的正规坐标，K_i是P_i对应相机的内参矩阵，如果P_i是红外图像上的点，K_i就是红外相机的内参矩阵，如果P_i是可见光图像上的点，K_i就是可见光相机的内参矩阵。

1-2)去除图像畸变：计算出原图像点去畸变后的正规坐标。

由于镜头生产工艺的限制，实际情况下的镜头会存在一些失真现象导致非线性的畸变，可大致分为径向畸变和切向畸变。

图像径向畸变是图像像素点以畸变中心为中心点，沿着径向产生的位置偏差，从而导致图像中所成的像发生形变。径向畸变的大致表述如下：

x_d＝x(1+k₁r²+k₂r⁴+k₃r⁶)

y_d＝y(1+k₁r²+k₂r⁴+k₃r⁶)

其中，r²＝x²+y²，k₁、k₂、k₃为径向畸变参数。

切向畸变是由于摄像机制造上的缺陷使得透镜本身与图像平面不平行而产生的，可定量描述为：

x_d＝x+(2p₁xy+p₂(r²+2x²))

y_d＝y+(p₁(r²+2y²)+2p₂xy)

其中，p₁、p₂为切向畸变系数。

综上，畸变前后的坐标关系如下：

x_d＝x(1+k₁r²+k₂r⁴+k₃r⁶)+(2p₁xy+p₂(r²+2x²))

y_d＝y(1+k₁r²+k₂r⁴+k₃r⁶)+(p₁(r²+2y²)+2p₂xy)

其中，(x,y)是理想状态下的正规坐标，(x_d,y_d)是实际带有畸变的正规坐标。我们以(x_d,y_d)作为(x,y)的初值，迭代计算若干次得到实际的(x,y)。

1-3)根据原来两相机的旋转关系将两图旋转：已知原来两相机之间的旋转矩阵R和平移向量t，使得

X_r＝RX_l+t

其中，X_l表示红外相机的正规坐标，X_r表示可见光相机的正规坐标。将红外图旋转R正方向一半的角度，将可见光图旋转R反方向一半的角度。

对于上一步得到的去畸变之后的P_i的正规坐标X_i，如果P_i是红外图像点， R^1/2X_i→X_i；如果P_i是可见光图像点，R^-1/2X_i→X_i

1-4)根据公式u＝KX将去畸旋转后的图像还原至像素坐标系。根据上一步更新的图像点P_i的正规坐标X_i，计算去畸校正后的图像坐标

K_iX_i→u_i

由上可知，已知去畸校正前点的坐标u_i，记由步骤1-1)～1-4)计算出的去畸校正后的点的坐标为F(u_i)。

1-5)对去畸校正后图像I的每一个图像点v_i，计算其对应原图像I₀的像素坐标位置F^-1(v_i)。从I₀中选取对应位置的色彩值填到I中：

I(v_i)＝I₀(F^-1(v_i))

由于F^-1(v_i)是小数坐标，需要使用双线性插值计算小数坐标对应位置的色彩值。

步骤2)中Harris角点检测，具体包括以下步骤：

2-1)首先在红外去畸变校正后图像上进行步骤2-2)～2-3)，记检测出的Harris特征点集为

2-2)为图像上的每一个像素点构建梯度矩阵M。在图像上，角点表现为不同边缘之间的交点。而且不论从什么角度来观测，它都是不同边缘之间的交点，不会因为视角的变化而变化。此外，角点邻域内的点的梯度会有大幅变化。特征点应满足：当移动窗口时，特征点所在窗口与其周围各个方向窗口的亮度分布差别很大。将窗口移动[u,v]时，灰度变化如下所示：

将上式泰勒展开，得：

其中，(x,y)表示窗口内的一点，ω(x,y)表示(x,y)点对应的权值，权值可以是常数，也可以是高斯核的对应系数。I_x和I_y分别表示图像(x,y)点在x方向和y方向上的梯度，矩阵M可表示为：

矩阵M计算方法如下：

计算图像I在x方向和y方向上的梯度图像：

其中

表示卷积。

2-3)根据每一个像素点的矩阵M来判断改像素点是否为角点。计算矩阵M 的两个特征值λ₁和λ₂，λ₁和λ₂所对应的特征向量分别代表着灰度变化最快和最慢的两个方向。λ₁和λ₂的大小关系和对应点的属性存在以下的对应关系，如图3 所示：

(1)当λ₁和λ₂的值都很小时，该点落在平滑区域内。

(2)当λ₁>>λ₂或者λ₂>>λ₁时，该点落在图像的边缘上。

(3)当λ₁和λ₂的值都很大，且处于同一大小水平时，可以认为该点属于角点。

使用一个值R来描述该点的角点响应，然后通过阈值σ1和σ2来判断该点是角点，角点响应值R＝det(M)-k*trace(M)2，其中det(M)表示矩阵M对应的行列式的值，trace(M)表示矩阵M的迹，即：

det(M)＝λ1*λ2

trace(M)＝λ1+λ2

其中k是常数，一般取0.04～0.06

当|R|<σ1时，该区域是平面；

当R<0时，该区域是直线；

当R＞σ2时，该区域是角点。

2-4)首先在红外去畸变校正后图像上进行灰度直方图均衡化，然后进行步骤2-2)～2-3)，记检测出的Harris特征点集为

则红外图像的Harris特征点集为

2-5)首先在可见光去畸变校正后图像上进行步骤2-2)～2-3)，记检测出的Harris特征点集为

所述步骤3)具体包括以下步骤：

3-1)将红外去畸校正后图像和可见光去畸校正后图像都分为m×n个块。对于红外图每一个特征点

进行步骤3-2)～3-6)。

3-2)找到

在红外图对应的块

(如图4中的 (a)所示)。块

在可见光图相同位置的块为

与块

具有相同横坐标和纵坐标的块集合

(如图4中的(b) 所示)，其特征点集记为

我们使用归一化互相关系数来评估像素点之间的相似程度。

计算

和

中任意一点

的归一化互相关系数作为相似程度。

其中IR表示红外去畸校正后图像，IR_he表示直方图均衡化后的去畸校正后红外图像，VIS表示去畸校正后可见光灰度图像，u∈[-w,w]，v∈[-w,w]，

如果相似程度大于阈值t₁，则视为粗匹配点，其集合记为

否则舍弃该点，选取下一个特征点重新进行步骤3-2)。

3-3)如果

和

中相似程度最大值s_first和次大值s_second满足：

F(s_first,s_second)≥t₂

则保留该匹配，取

中相似程度最大的点

作为匹配点，其中t₂为阈值,F(s_first,s_second)用于描述s_first和s_second之间的关系。如不满足，则舍弃该点，选取下一个特征点重新进行步骤3-2)。

按照该规则筛选之后，再按照步骤3-2)～3-3)匹配

在红外图对应的特征点

如果满足

则保留该匹配

如不满足，则舍弃该点，选取下一个特征点重新进行步骤3-2)。

3-4)以红外图特征点

为基准，抛物线拟合优化对应可见光图的整数像素特征点

得到的对应可见光图的亚像素特征点

其中

为x方向上的亚像素偏移量，

为y方向上的亚像素偏移量。

3-5)以对应可见光图整数像素特征点

为基准，根据3-4)的方法计算出对应红外图的亚像素特征点

其中

为x方向上的亚像素偏移量，

为y方向上的亚像素偏移量。

3-6)得到最终的匹配点对为

选取下一个红外图特征点重新进行步骤3-2)～3-6)。

所属步骤5)具体包括以下步骤：

5-1)根据红外和可见光两图的特征点对坐标以及红外和可见光相机的内参矩阵来求解基础矩阵F和本质矩阵E：红外和可见光对应像素点对u_l、u_r和基础矩阵F的关系是：

使用随机抽样一致性(RANSAC)对点对做进一步筛选，之后将对应点坐标代入上式，构建齐次线性方程组求解F。

基础矩阵和本质矩阵的关系是：

其中，K_l、K_r分别是红外相机和可见光相机的内参矩阵。

5-2)从本质矩阵分解出校正之后红外和可见光相机旋转和平移关系：本质矩阵E与旋转R和平移t的关系如下：

E＝[t]_×R

其中[t]_×表示t的叉乘矩阵。

将E做奇异值分解，得

定义两个矩阵

和

ZW＝Σ

所以E可以写成以下两种形式

(1)E＝UZU^TUWV^T

令[t]_×＝UZU^T，R＝UWV^T

(2)E＝-UZU^TUW^TV^T

令[t]_×＝-UZU^T，R＝UW^TV^T

得到四对R和t，选取具有三维意义的解。

5-3)将分解出的旋转和平移关系叠加到原来的外参里面。

记去畸变前的旋转矩阵为R₀，平移向量为t₀＝(t_x,t_y,t_z)^T；上一步计算出的旋转矩阵为R，平移向量为t＝(t′_x,t′_y,t′_z)^T。则新的R_new和t_new如下

还需要将t_new乘一个系数，使得t_new在x方向上的分量

本发明的有益效果：本发明解决了由于温湿度、震动等因素造成红外相机和可见光相机位置关系的改变。具有速度快、结果精确、操作简单等优点。

附图说明

图1为整体流程示意图。

图2为校正流程示意图。

图3为Harris角点判断条件示意图。

图4是分块匹配的示意图。

其中，(a)为红外图，(b)为可见光图。

具体实施方式

本发明旨在解决由于温湿度、震动等因素造成红外相机和可见光相机位置关系的改变。结合附图及实施例详细说明如下：

基于角点特征的多光谱立体相机外参计算方法，包括下列步骤：

第一步，原图校正：1-1)计算每一个原图像点P_i对应的正规坐标系下的坐标。

对于每一个原图像点P_i，它的正规坐标系为：

X_i＝K_iu_i

其中，u_i是P_i的像素坐标，X_i是P_i的正规坐标，K_i是P_i对应相机的内参矩阵，如果P_i是红外图像上的点，K_i就是红外相机的内参矩阵，如果P_i是可见光图像上的点，K_i就是可见光相机的内参矩阵。

1-2)去除图像畸变：计算出原图像点去畸变后的正规坐标。

以(x_d,y_d)作为(x,y)的初值，迭代计算若干次得到实际的(x,y)。

1-3)根据原来两相机的旋转关系将两图旋转：

对于上一步得到的去畸变之后的P_i的正规坐标X_i，如果P_i是红外图像点， R^1/2X_i→X_i；如果P_i是可见光图像点，R^-1/2X_i→X_i

1-4)根据更新的图像点P_i的正规坐标X_i，计算去畸校正后的图像坐标

K_iX_i→u_i

由上可知，已知去畸校正前点的坐标u_i，记由步骤1-1)～1-4)计算出的去畸校正后的点的坐标为F(u_i)。

1-5)对去畸校正后图像I的每一个图像点v_i，计算其对应原图像I₀的像素坐标位置F^-1(v_i)。从I₀中选取对应位置的色彩值填到I中：

I(v_i)＝I₀(F^-1(v_i))

由于F^-1(v_i)是小数坐标，需要使用双线性插值计算小数坐标对应位置的色彩值。

第二步，Harris角点检测：

2-1)首先在红外去畸变校正后图像上进行步骤2-2)～2-3)，记检测出的Harris特征点集为

2-2)为图像上的每一个像素点构建梯度矩阵M。

计算图像I在x方向和y方向上的梯度图像：

其中

表示卷积。

2-3)根据每一个像素点的矩阵M来判断改像素点是否为角点。

使用一个值R来描述该点的角点响应，然后通过阈值σ1和σ2来判断该点是角点，角点响应值R＝det(M)-k*trace(M)2，其中det(M)表示矩阵M对应的行列式的值，trace(M)表示矩阵M的迹，即：

det(M)＝λ1*λ2

trace(M)＝λ1+λ2

其中k是常数，一般取0.04～0.06

当|R|<σ1时，该区域是平面；

当R<0时，该区域是直线；

当R＞σ2时，该区域是角点。

2-4)首先在红外去畸变校正后图像上进行灰度直方图均衡化，然后进行步骤2-2)～2-3)，记检测出的Harris特征点集为

则红外图像的Harris特征点集为

2-5)首先在可见光去畸变校正后图像上进行步骤2-2)～2-3)，记检测出的Harris特征点集为

第三步，基于归一化相关系数的特征点匹配：

3-1)将红外去畸校正后图像和可见光去畸校正后图像都分为m×n个块。对于红外图每一个特征点

进行步骤3-2)～3-6)。

3-2)计算

和

中任意一点

的归一化互相关系数作为相似程度。

其中IR表示红外去畸校正后图像，IR_he表示直方图均衡化后的去畸校正后红外图像，VIS表示去畸校正后可见光灰度图像，u∈[-w,w]，v∈[-w,w]，

如果相似程度大于阈值t₁，则视为粗匹配点，其集合记为

否则舍弃该点，选取下一个特征点重新进行步骤3-2)。

3-3)如果

和

中相似程度最大值s_first和次大值s_second满足：

F(s_first,s_second)≥t₂

则保留该匹配，取

中相似程度最大的点

作为匹配点，其中t₂为阈值,F(s_first，s_second)用于描述s_first和s_second之间的关系。如不满足，则舍弃该点，选取下一个特征点重新进行步骤3-2)。

按照该规则筛选之后，再按照步骤3-2)～3-3)匹配

在红外图对应的特征点

如果满足

则保留该匹配

如不满足，则舍弃该点，选取下一个特征点重新进行步骤3-2)。

3-4)以红外图特征点

为基准，抛物线拟合优化对应可见光图的整数像素特征点

得到的对应可见光图的亚像素特征点

其中

为x方向上的亚像素偏移量，

为y方向上的亚像素偏移量。

3-5)以对应可见光图整数像素特征点

为基准，根据3-4)的方法计算出对应红外图的亚像素特征点

其中

为x方向上的亚像素偏移量，

为y方向上的亚像素偏移量。

3-6)得到最终的匹配点对为

选取下一个红外图特征点重新进行步骤3-2)～3-6)。

第四步，判断特征点覆盖区域：将图像分成m*n个格子，如果特征点覆盖到所有格子，则进行下一步，否则继续拍摄图像，提取特征点。

第五步，修正标定结果：

5-1)使用随机抽样一致性(RANSAC)对点对做进一步筛选，之后将对应点坐标代入上式，构建齐次线性方程组求解F。

基础矩阵和本质矩阵的关系是：

其中，K_l、K_r分别是红外相机和可见光相机的内参矩阵。

5-2)从本质矩阵分解出校正之后红外和可见光相机旋转和平移关系：本质矩阵E与旋转R和平移t的关系如下：

E＝[t]_×R

其中[t]_×表示t的叉乘矩阵。

将E做奇异值分解，得

定义两个矩阵

和

ZW＝Σ

所以E可以写成以下两种形式

(1)E＝UZU^TUWV^T

令[t]_×＝UZU^T，R＝UWV^T

(2)E＝-UZU^TUW^TV^T

令[t]_×＝-UZU^T，R＝UW^TV^T

得到四对R和t，选取具有三维意义的解。

5-3)将分解出的旋转和平移关系叠加到原来的外参里面。

去畸变前的旋转矩阵R和平移向量t

t＝[-203.8738 -0.5615 -1.9982]^T

计算出的旋转矩阵为R′和平移向量为t′

t′＝[-1.0000 -0.0024 -0.0061]^T

新的R_new和t_new

t_new＝[-203.8738 -0.8971 -0.3681]^T。

Claims (3)

1.基于角点特征的多光谱立体相机外参计算方法，其特征在于，包括下列步骤：

第一步，原图校正：

1-1)计算每一个原图像点P_i对应的正规坐标系下的坐标；

对于每一个原图像点P_i，它的正规坐标为：

X_i＝K_i ^-1u_i其中，u_i是P_i的像素坐标，X_i是P_i的正规坐标，K_i是P_i对应相机的内参矩阵，如果P_i是红外图像上的点，K_i就是红外相机的内参矩阵，如果P_i是可见光图像上的点，K_i就是可见光相机的内参矩阵；

1-2)去除图像畸变：计算出原图像点去畸变后的正规坐标；

以(x_d,y_d)作为(x,y)的初值，迭代计算若干次得到实际的(x,y)；

1-3)根据原来两相机的旋转关系将两图旋转：

对于上一步得到的去畸变之后的P_i的正规坐标X_i，如果P_i是红外图像点，R^1/2X_i→X_i；如果P_i是可见光图像点，R^-1/2X_i→X_i

1-4)根据更新的图像点P_i的正规坐标X_i，计算去畸校正后的图像坐标

K_iX_i→u_i

由上可知，已知去畸校正前点的坐标u_i，记由步骤1-1)～1-4)计算出的去畸校正后的点的坐标为F(u_i)；

1-5)对去畸校正后图像I的每一个图像点v_i，计算其对应原图像I₀的像素坐标位置F^-1(v_i)；从I₀中选取对应位置的色彩值填到I中：

I(v_i)＝I₀(F^-1(v_i))

由于F^-1(v_i)是小数坐标，需要使用双线性插值计算小数坐标对应位置的色彩值；

第二步，Harris角点检测：首先在红外去畸校正后图像IR上做Harris角点检测，然后对IR进行灰度直方图均衡化，得到的图像记为IR_he，然后在IR_he上做Harris角点检测；将IR上的角点和IR_he上的角点做并集得到红外图像的角点；最后对可见光去畸校正后图像VIS做Harris角点检测；

第三步，基于归一化相关系数的特征点匹配：

3-1)将红外去畸校正后图像和可见光去畸校正后图像都分为m×n个块；对于红外图每一个特征点

进行步骤3-2)～3-6)；

3-2)计算

和

中任意一点

的归一化互相关系数作为相似程度；

其中IR表示红外去畸校正后图像，IR_he表示直方图均衡化后的去畸校正后红外图像，VIS表示去畸校正后可见光灰度图像，u∈[-w,w]，v∈[-w,w]，

α∈[0,1]；

如果相似程度大于阈值t₁，则视为粗匹配点，其集合记为

否则舍弃该点，选取下一个特征点重新进行步骤3-2)；

3-3)如果

和

中相似程度最大值s_first和次大值s_second满足：

F(s_first,s_second)≥t₂

则保留该匹配，取

中相似程度最大的点

作为匹配点，其中t₂为阈值,F(s_first,s_second)用于描述s_first和s_second之间的关系；如不满足，则舍弃该点，选取下一个特征点重新进行步骤3-2)；

按照该规则筛选之后，再按照步骤3-2)～3-3)匹配

在红外图对应的特征点

如果满足

则保留该匹配

如不满足，则舍弃该点，选取下一个特征点重新进行步骤3-2)；

3-4)以红外图特征点

为基准，抛物线拟合优化对应可见光图的整数像素特征点

得到的对应可见光图的亚像素特征点

其中

为x方向上的亚像素偏移量，

为y方向上的亚像素偏移量；

3-5)以对应可见光图整数像素特征点

为基准，根据3-4)的方法计算出对应红外图的亚像素特征点

其中

为x方向上的亚像素偏移量，

为y方向上的亚像素偏移量；

3-6)得到最终的匹配点对为

选取下一个红外图特征点重新进行步骤3-2)～3-6)；

第四步，判断特征点覆盖区域：将图像分成m*n个格子，如果特征点覆盖到所有格子，则进行下一步，否则继续拍摄图像，提取特征点；

第五步，修正标定结果：使用所有特征点的图像坐标来计算校正之后的两相机之间的位置关系，然后与原来的外参相叠加。

2.如权利要求1所述的基于角点特征的多光谱立体相机外参计算方法，其特征在于，所述的第二步中Harris角点检测，具体包括以下步骤：

2-1)首先在红外去畸变校正后图像上进行步骤2-2)～2-3)，记检测出的Harris特征点集为

2-2)为图像上的每一个像素点构建梯度矩阵M；

计算图像I在x方向和y方向上的梯度图像：

其中

表示卷积；

2-3)根据每一个像素点的矩阵M来判断该像素点是否为角点；

使用一个值R来描述该点的角点响应，然后通过阈值σ1和σ2来判断该点是角点，角点响应值R＝det(M)-k*trace(M)2，其中det(M)表示矩阵M对应的行列式的值，trace(M)表示矩阵M的迹，即：

det(M)＝λ1*λ2；

trace(M)＝λ1+λ2；

其中k是常数，取0.04～0.06；

当|R|<σ1时，该区域是平面；

当R<0时，该区域是直线；

当R＞σ2时，该区域是角点；

2-4)在红外去畸变校正后图像上进行灰度直方图均衡化，然后进行步骤2-2)～2-3)，记检测出的Harris特征点集为

则红外图像的Harris特征点集为

2-5)在可见光去畸变校正后图像上进行步骤2-2)～2-3)，记检测出的Harris特征点集为

3.如权利要求1或2所述的基于角点特征的多光谱立体相机外参计算方法，其特征在于，所述的第五步具体包括以下步骤：

5-1)使用随机抽样一致性(RANSAC)对点对做进一步筛选，之后将对应点坐标代入

构建齐次线性方程组求解F；

基础矩阵和本质矩阵的关系是：

其中，K_l、K_r分别是红外相机和可见光相机的内参矩阵；

5-2)从本质矩阵分解出校正之后红外和可见光相机旋转和平移关系：本质矩阵E与旋转R和平移t的关系如下：

E＝[t]_×R

其中[t]_×表示t的叉乘矩阵；

将E做奇异值分解，得

定义两个矩阵

和

ZW＝Σ

所以E可以写成以下两种形式

(1)E＝UZU^TUWV^T

令[t]_×＝UZU^T，R＝UWV^T

(2)E＝-UZU^TUW^TV^T

令[t]_×＝-UZU^T，R＝UW^TV^T

得到四对R和t，选取具有三维意义的解；

5-3)将分解出的旋转和平移关系叠加到原来的外参里面；

记去畸变前的旋转矩阵为R₀，平移向量为t₀＝(t_x,t_y,t_z)^T；上一步计算出的旋转矩阵为R，平移向量为

， 则新的R_new和t_new如下

还需要将t_new乘一个系数，使得t_new在x方向上的分量

Images