CN113592953A - 一种基于特征点集的双目非合作目标位姿测量方法 - Google Patents

Abstract

本发明提供一种基于特征点集的双目非合作目标位姿测量方法，解决现有位姿测量方法难以稳定提取非合作目标表面的点特征问题。该方法包括：通过相机标定获取内参数、外参数与畸变系数；固定标定好的双目相机，拍摄目标图像；对图像预处理，减少噪声和光照对图像的影响；根据畸变模型，对图像进行畸变矫正；提取图像的FAST特征点，并根据霍夫变换提取直线特征，求取直线的交点，FAST特征点和直线交点共同构成特征点集；根据特征点集进行双目立体匹配；最后，求解出目标的三维坐标和姿态角。本发明方法提高了测量方法的速度与稳定性。

Description

一种基于特征点集的双目非合作目标位姿测量方法

技术领域

本发明涉及到计算机视觉领域，具体涉及到一种基于特征点集的双目非合作目标位姿测量方法。

背景技术

空间位姿测量是非合作航天器执行航天任务的重要组成部分，为了能够执行空间交会对接、在轨维修维护、空间垃圾清理、在轨装配与重构等一系列空间任务，必须首先获取目标航天器与服务航天器的相对空间位姿等信息。现有的位姿测量技术中，双目视觉测量具有直观性强、实时性、精确性好、成本低等特点，在空间测量中应用较为广泛。

特征提取是位姿测量方法的核心技术，也是影响测量精度的关键因素。目前提取的特征主要有点特征和线特征，点特征比线特征的精度更高。但是，由于太空环境中的光照条件较为复杂，且飞行器表面的包覆材料较为特殊，通常导致难以稳定提取非合作目标表面的点特征，若提取不到点特征，则无法进行后面的特征匹配以及位姿解算工作。因此，对点特征提取方法的研究在位姿测量中具有重要的意义。

发明内容

本发明的目的是解决现有位姿测量方法难以稳定提取非合作目标表面的点特征问题，提供一种基于特征点集的双目非合作目标位姿测量方法。

为实现上述目的，本发明采用以下技术方案：

一种基于特征点集的双目非合作目标位姿测量方法，包括以下步骤：

步骤一、对双目相机进行标定，并获取双目相机的内参数、外参数与畸变系数，同时获取真实空间的三维坐标系与相机坐标系的空间转换矩阵；

步骤二、固定标定好的双目相机，双目相机对非合作目标进行拍摄，获取双目图像，双目图像包括左图和右图；

步骤三、对步骤二获取的双目图像进行预处理，减少噪声和光照对图像的影响；

步骤四、根据畸变模型，对双目图像进行畸变矫正；

步骤五、提取特征点集；

5.1)提取双目图像的FAST特征点；

5.2)根据霍夫变换提取非合作目标上的直线特征，并求取直线的交点；

5.21)计算非合作目标上四个顶点的图像坐标，进一步得出四个顶点在图像坐标系中的横、纵坐标范围，分别记为:x₁～x₂,y₁～y₂；

5.22)通过霍夫变换提取非合作目标上的n条直线，记为：{l₁,l₂,l₃.....l_n}；

5.23)计算步骤5.22)中各直线的交点，分别记为：{Q_n+1,Q_n+2,Q_n+3.....Q_2n}；

5.3)判断步骤5.23)中的交点是否在非合作目标上，将直线交点的坐标与步骤5.21)中的横纵坐标范围作比较，去除超出坐标范围的交点，剩余的交点与FAST特征点共同构成特征点集：{Q₁,Q₂,Q₃.....Q_n.....}；

步骤六、根据特征点集进行双目立体匹配；

6.1)根据极线约束关系获取左图特征点的坐标和右图特征点的坐标；

6.2)计算左图中特征点邻域窗与右图中特征点邻域窗内灰度值的互相关系数；

6.3)对灰度值的互相关系数进行归一化处理；

6.4)根据NCC匹配算法，选取互相关系数最大值对应的特征点作为特征点的匹配点；

步骤七、求解非合作目标的三维坐标和姿态角；

使用PCA方法对特征点的匹配点进行筛选，进一步求解出非合作目标的位姿；

已知双目相机中左右相机的焦距分别为f_l、f_r，左图特征点的坐标(u_l,v_l)和右图特征点的坐标(u_r,v_r)，由下式求出特征点在真实空间的三维坐标：

其中，(X_w,Y_w,Z_w)为特征点在真实空间的三维坐标，M为空间转换矩阵，t_x、t_z、r₁、r₂、r₃、r₇、r₈、r₉为空间转换矩阵中的元素。

进一步地，步骤三中，预处理具体包括以下过程：首先，采用小波变换去除图像噪声；其次，通过直方图均衡化处理光照不平衡的问题；最后，对图像进行锐化。本发明方法先用小波阈值滤波方法去除图像中的高斯噪声和随机噪声，这种方法计算量小，去噪效果好；再利用直方图均衡化解决光照不平衡的问题，实现了亮度分布均匀化；最后，通过拉普拉斯算子，增强图像的边缘细节。与传统的图像预处理方法相比，这种“三阶段”的预处理方法不仅能够去除噪声，还能均匀图像的亮度，增强图像的边缘细节，有利于后续的图像特征提取及匹配工作。

进一步地，步骤一中，采用棋盘格对双目相机进行标定，此种标定方式准确简单。

进一步地，步骤四中，采用径向畸变模型对双目图像进行畸变矫正，该步骤中只采用径向畸变模型进行矫正，可以提高测量精度，避免测量过程中解的不稳定因素。

进一步地，由于太阳能帆板的张开面大，易于捕捉，直线特征丰富，因此本发明方法选择太阳能帆板作为研究对象。此时，步骤5.21)中，计算非合作目标上四个顶点的图像坐标具体为：计算太阳能矩形帆板的四个顶点图像坐标，进一步得出太阳能矩形帆板四个顶点在图像坐标系中的横、纵坐标范围；步骤5.22)中，通过霍夫变换提取太阳能矩形帆的n条直线。

进一步地，步骤5.1)具体包括以下过程：

5.11)计算图像中心像素点q与像素点1和像素点9的灰度值差值，取绝对值得到Δt_q1和Δt_q9；若Δt_q1和Δt_q9均大于Δt，则继续执行下一步，若不满足，则将此点舍弃；

5.12)计算中心像素点q与像素点5和像素点13的灰度值差值，取绝对值得到Δt_q5和Δt_q13；在Δt_q1、Δt_q9、Δt_q5和Δt_q13中，如果至少有三个值大于Δt，则q点为候选特征点；否则，将q点舍弃；

5.13)重复上面两个步骤，直至遍历完图像中所有点，选出候选特征点；

5.14)采用极大值抑制法对所有的候选特征点再次筛选，得到真实的FAST特征点。

与现有技术相比，本发明方法具有如下有益效果：

本发明方法既有较好的实时性，又有较强的鲁棒性。

1.本发明方法具有较强的鲁棒性(稳定性高)。FAST特征点提取速度快，鲁棒性较差，真实的太空环境中，容易造成特征点数目过少的现象，而利用霍夫变换求取直线交点，可以弥补FAST特征点鲁棒性差的缺陷。

2.本发明方法实时性较高。本发明提取的特征点为FAST特征点，与霍夫变换提取的直线交点共同构成特征点集，这种方法相较于传统的特征提取算法(比如sift特征点，surf特征点)，提取速度较快。

3.本发明方法先用小波阈值滤波方法去除图像中的高斯噪声和随机噪声，这种方法计算量小，去噪效果好；再利用直方图均衡化解决光照不平衡的问题，实现了亮度分布均匀化；最后，通过拉普拉斯算子，增强图像的边缘细节。与传统的图像预处理方法相比，这种“三阶段”的预处理方法不仅能够去除噪声，还能均匀图像的亮度，增强图像的边缘细节，有利于后续的图像特征提取及匹配工作。

4.本发明方法使用极线约束与NCC相结合的匹配方法。将NCC与极线约束相结合，可以将匹配点的搜索范围将整个二维平面缩小至对应的极线上，从而提高了匹配算法的速度，也在一定程度上减少误匹配率。

5.本发明方法只采用径向畸变模型进行矫正，该种方式可以提高测量精度，避免测量过程中解的不稳定因素。

附图说明

图1为本发明基于特征点集的双目非合作目标位姿测量方法流程图；

图2为本发明方法中双目相机的安装示意图；

图3为本发明方法采用FAST算法提取图像的特征点的示意图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。本领域技术人员应当理解的是，这些实施方式仅仅用来解释本发明的技术原理，目的并不是用来限制本发明的保护范围。

本发明提供一种基于特征点集的双目非合作目标位姿测量方法，该方法主要包括：通过相机标定获取内参数、外参数与畸变系数；固定标定好的双目相机，拍摄目标图像；对图像预处理，减少噪声和光照对图像的影响；根据畸变模型，对图像进行畸变矫正；提取图像的FAST特征点，并根据霍夫变换提取直线特征，求取直线的交点，FAST特征点和直线交点共同构成特征点集；根据特征点集进行双目立体匹配；最后，求解出目标的三维坐标和姿态角。

本发明方法通过霍夫变换求取直线交点，可以弥补FAST特征点鲁棒性差的缺陷，提高了测量方法的速度与稳定性。该方法利用双目视觉的原理，通过霍夫变换提取非合作目标表面的直线，直线的交点与FAST特征点共同构成特征点集；在极线约束的条件下，利用NCC(Normalized Cross correlation)匹配方法，寻找右图中的同名点集；最后，实用主成分分析法(PCA,Principal Component Analysis)处理同名点对，求解出非合作目标的三维坐标和姿态角。

如图1所示，本发明提供的基于特征点集的双目非合作目标位姿测量方法具体包括以下步骤：

步骤一、对双目相机进行标定，并获取双目相机的内参数、外参数与畸变系数；拍摄图像之前，需要对试验使用的双目相机进行离线标定，具体可使用棋盘格对双目相机进行标定，得出双目相机的内外参数及畸变系数，同时获取真实空间的三维坐标系与相机坐标系的空间转换矩阵；

步骤二、固定标定好的双目相机，拍摄目标图像；

完成标定试验后，需固定双目相机的相对位置，此时，双目相机对非合作目标进行拍摄，获取双目图像，双目图像分别为左图和右图，双目相机的安装如图2所示：

步骤三、对双目图像进行预处理，减少噪声和光照对双目图像的影响；

双目图像在拍摄和传输过程中，由于光照、所用器件和传输通道的局限性及现场其他电磁信号的干扰，常含有大量噪声，这些噪声会影响图像的显示效果及后续的图像处理，为有效滤除这些噪声，必须在提取特征之前对图像进行预处理操作；

上述预处理可采用多种方法，只要能够减少噪声和光照对图像的影响即可；在本发明方法中，优先采用以下方法：先用小波变换去除图像噪声，再通过直方图均衡化来处理光照不平衡的问题，最后对图像进行锐化，以便于后续的特征提取工作；

该步骤中，先用小波阈值滤波方法去除图像中的高斯噪声和随机噪声，这种方法计算量小，去噪效果好。再利用直方图均衡化解决光照不平衡的问题，实现了亮度分布均匀化。最后，通过拉普拉斯算子，增强图像的边缘细节。与传统的图像预处理方法相比，这种“三阶段”的预处理方法不仅能够去除噪声，还能均匀图像的亮度，增强图像的边缘细节，有利于后续的图像特征提取及匹配工作。

步骤四、根据畸变模型，对双目图像进行畸变矫正；

本发明方法采用径向畸变对双目图像进行畸变矫正。在研究过程中发现，径向畸变对相机成像的影响远大于切向畸变。在计算过程中可以适当忽略切向畸变，只考虑径向畸变。如果过多地考虑畸变参数，反而会影响测量精度，甚至会引起测量过程中解的不稳定因素。径向畸变模型如下所示：

其中，k₁，k₂，和k₃是径向畸变系数，r是像素点到中心点的距离，x和y是畸变矫正前的像素坐标，

和

是矫正后的像素坐标；

步骤五、提取特征点集；

5.1)提取FAST特征点；

为了提高测量方法的速度，本发明采用FAST算法提取双目图像的特征点。在FAST算法中，若某个像素点与其领域内足够多像素点的灰度值不同，则将此点定义为特征点。如图3所示，在双目图像中任取一个像素点q，灰度值为I(q)。以q点为中心，形成一个半径为3的Bresenham圆形区域，则q点被圆周上的16个像素点包围。设定一个阈值Δt，来表示圆周像素点与q点灰度值的差异程度。如果圆周上有n个点的灰度值与q点的像素值之差都大于Δt，则中心点q为候选特征点；

在比较q点和圆周上像素点的灰度值时，如果要遍历圆周上所有的点，效率太低，为了提高算法的效率，对算法作出如下改进：

5.11)先计算中心像素点q与像素点1和像素点9的灰度值差值，取绝对值得到Δt_q1和Δt_q9；若Δt_q1和Δt_q9都大于Δt，则继续执行下一步，若不满足，则将此点舍弃；

5.12)再计算中心像素点q与像素点5和像素点13的灰度值差值，取绝对值得到Δt_q5和Δt_q13；在Δt_q1、Δt_q9、Δt_q5和Δt_q13中，如果至少有三个值大于Δt，则q点为候选特征点；否则，将q点舍弃；

5.13)重复上面两个步骤，直至遍历完图像中所有点，选出候选特征点；

5.14)经过上面三个步骤筛选出的候选特征点，在图像的边缘处会出现聚集的现象，这是因为真实特征点和其周围的点性质相似。为了去除这些相似点，需要用极大值抑制法对所有的候选特征点再次筛选，才能得到真实的特征点；

5.2)利用霍夫变换提取特征点

FAST特征点提取速度快，但是鲁棒性不高，容易受到光照条件的影响。在光照条件改变的情况下，FAST特征点容易提取不到或提取的数量过少。而非合作目标表面包含丰富的直线特征，这些直线特征通常能够稳定提取。为了提高测量方法的稳定性，本发明通过霍夫变换提取非合作目标太阳能矩形帆板的直线，获取更多的特征点；

5.21，获取非合作目标四个顶点坐标，进一步得出四个顶点在图像坐标系中的横、纵坐标范围，分别记为:x₁～x₂,y₁～y₂；

本发明方法选用太阳能帆板作为提取目标。空间飞行器一般由两个矩形太阳能帆板、一个矩形本体和一个圆形的对接环组成。由于太阳能帆板的张开面大，易于捕捉，直线特征丰富，因此本发明方法选择太阳能帆板作为研究对象，此时，该步骤具体为，计算太阳能矩形帆板的四个顶点的图像坐标，通过霍夫变换拟合出太阳能矩形帆板的矩形边框，从而确定矩形四个顶点的坐标，进一步得出太阳能矩形帆板在图像坐标系中的横、纵坐标范围，分别记为:x₁～x₂,y₁～y₂；

5.22)通过霍夫变换提取太阳能矩形帆板的n条直线，记为：{l₁,l₂,l₃.....l_n}，这些直线的方程为：

其中，p₁,p₂…p_n表示直线的斜率，q₁,q₂…q_n表示直线的截距；

5.23)计算上述直线的交点，分别记为：{Q_n+1,Q_n+2,Q_n+3.....Q_2n}；

5.3)判断上述交点是否在太阳能矩形帆板，将直线交点的坐标与步骤5.1)中的横纵坐标范围作比较，去除超出坐标范围的交点，剩余的交点与FAST特征点共同构成特征点集：{Q₁,Q₂,Q₃.....Q_n.....}，特征点集的坐标记为{(u_l1,v_l1),(u_l2,v_l2)…}；

步骤六、根据特征点集进行双目立体匹配；

6.1)为了提高测量方法的速度和精度，本发明使用极线约束与NCC相结合的匹配方法。将NCC与极线约束相结合，可以将匹配点的搜索范围将整个二维平面缩小至对应的极线上，从而提高了匹配算法的速度，也在一定程度上减少误匹配率。极线约束关系如下式：

p_r ^TFp_l＝0

其中，p_l是左图特征点，p_r是右图特征点，F是基础矩阵，根据左图特征点的坐标和基础矩阵，即可求出右图特征点的坐标，记为{(u_r1,v_r1),(u_r2,v_r2)…}；

6.2)灰度互相关系数匹配方法先计算左图中特征点邻域窗与右图中特征点邻域窗内灰度值的互相关系数(Cross Correlation Coefficient,cc)，灰度互相关系数的定义如下式所示：

其中，w是相关窗口的大小，I_l(x,y)是左图邻域窗内特征点的灰度值，I_r(x,y)是右图邻域窗内特征点的灰度值；

6.3)为了降低对光照的敏感程度，对灰度互相关系数进行归一化处理，归一化后的方程为：

其中，

是左图相关窗内特征点灰度值的平均值，

是左图相关窗内像特征点灰度值的平均值；

6.4)根据NCC匹配算法，选取相关系数最大值对应的特征点作为特征点的匹配点；

步骤七、求解目标的三维坐标和姿态角；

由于霍夫变换获取的部分特征点，偏离其余特征点比较严重，会对测量结果造成较大的误差，需要将这部分特征点舍去。因此，本发明使用PCA方法对特征点的匹配点进行筛选，进一步求解出非合作目标的位姿。

根据PCA原理，对左图和右图中的特征点进行筛选，去除偏离程度比较大的特征点。若已知左右相机的焦距f_l、f_r，左图特征点的图像坐标(u_l,v_l)，右图特征点的坐标(u_r,v_r)，可由下式求出特征点在真实空间的三维坐标：

其中，(X_w,Y_w,Z_w)为特征点在真实空间的三维坐标，M为空间转换矩阵，t_x、t_z、r₁、r₂、r₃、r₇、r₈、r₉为空间转换矩阵中的元素。

Claims (6)

1.一种基于特征点集的双目非合作目标位姿测量方法，其特征在于，包括以下步骤：

步骤一、对双目相机进行标定，并获取双目相机的内参数、外参数与畸变系数，同时获取真实空间的三维坐标系与相机坐标系的空间转换矩阵；

步骤二、固定标定好的双目相机，双目相机对非合作目标进行拍摄，获取双目图像，双目图像包括左图和右图；

步骤三、对步骤二获取的双目图像进行预处理，减少噪声和光照对图像的影响；

步骤四、根据畸变模型，对双目图像进行畸变矫正；

步骤五、提取特征点集；

5.1)提取双目图像的FAST特征点；

5.2)根据霍夫变换提取非合作目标上的直线特征，并求取直线的交点；

5.21)计算非合作目标上四个顶点的图像坐标，进一步得出四个顶点在图像坐标系中的横、纵坐标范围，分别记为:x₁～x₂,y₁～y₂；

5.22)通过霍夫变换提取非合作目标上的n条直线，记为：{l₁,l₂,l₃.....l_n}；

5.23)计算步骤5.22)中各直线的交点，分别记为：{Q_n+1,Q_n+2,Q_n+3.....Q_2n}；

5.3)判断步骤5.23)中的交点是否在非合作目标上，将直线交点的坐标与步骤5.21)中的横纵坐标范围进行比较，去除超出坐标范围的交点，剩余的交点与FAST特征点共同构成特征点集：{Q₁,Q₂,Q₃.....Q_n.....}；

步骤六、根据特征点集进行双目立体匹配；

6.1)根据极线约束关系获取左图特征点的坐标和右图特征点的坐标；

6.2)计算左图中特征点邻域窗与右图中特征点邻域窗内灰度值的互相关系数；

6.3)对灰度值的互相关系数进行归一化处理；

6.4)根据NCC匹配算法，选取互相关系数最大值对应的特征点作为特征点的匹配点；

步骤七、求解非合作目标的三维坐标和姿态角；

使用PCA方法对特征点的匹配点进行筛选，进一步求解出非合作目标的位姿；

已知双目相机中左右相机的焦距分别为f_l、f_r，左图特征点的坐标(u_l,v_l)和右图特征点的坐标(u_r,v_r)，由下式求出特征点在真实空间的三维坐标；

其中，(X_w,Y_w,Z_w)为特征点在真实空间的三维坐标，M为空间转换矩阵，t_x、t_z、r₁、r₂、r₃、r₇、r₈、r₉为空间转换矩阵中的元素。

2.根据权利要求1所述的基于特征点集的双目非合作目标位姿测量方法，其特征在于：步骤三中，预处理具体包括以下过程：

首先，采用小波变换去除图像噪声；

其次，通过直方图均衡化处理光照不平衡的问题；

最后，对图像进行锐化。

3.根据权利要求2所述的基于特征点集的双目非合作目标位姿测量方法，其特征在于：步骤一中，采用棋盘格对双目相机进行标定。

4.根据权利要求1或2或3所述的基于特征点集的双目非合作目标位姿测量方法，其特征在于：步骤四中，采用径向畸变模型对双目图像进行畸变矫正。

5.根据权利要求4所述的基于特征点集的双目非合作目标位姿测量方法，其特征在于：步骤5.21)中，计算非合作目标上四个顶点的图像坐标具体为：计算太阳能矩形帆板的四个顶点图像坐标，进一步得出太阳能矩形帆板四个顶点在图像坐标系中的横、纵坐标范围；步骤5.22)中，通过霍夫变换提取太阳能矩形帆的n条直线。

6.根据权利要求5所述的基于特征点集的双目非合作目标位姿测量方法，其特征在于：步骤5.1)具体包括以下过程：

5.11)计算图像中心像素点q与像素点1和像素点9的灰度值差值，取绝对值得到Δt_q1和Δt_q9；若Δt_q1和Δt_q9均大于Δt，则继续执行下一步，若不满足，则将此点舍弃；

5.12)计算中心像素点q与像素点5和像素点13的灰度值差值，取绝对值得到Δt_q5和Δt_q13；在Δt_q1、Δt_q9、Δt_q5和Δt_q13中，如果至少有三个值大于Δt，则q点为候选特征点；否则，将q点舍弃；

5.13)重复步骤5.11)和步骤5.12)，直至遍历完图像中所有点，选出候选特征点；

5.14)采用极大值抑制法对所有的候选特征点再次筛选，得到真实的FAST特征点。

Images