CN103065329B - 一种空间绳系机器人相机自运动检测与补偿方法 - Google Patents

Abstract

本发明涉及一种空间绳系机器人相机自运动检测与补偿方法，技术特征在于：计算出前后帧图像中含有运动目标的区域；然后利用SURF算法在不含运动目标的区域进行特征点检测；其次采用的SURF特征描述向量不但具有尺度、旋转不变性，而且还具有较好的区分性，所以新算法可以有效地提高图像配准可靠性和准确性；同时还采用交叉匹配算法进一步降低了误匹配率，使得该算法鲁棒性更强，运动参数求解得更加精确。

Description

一种空间绳系机器人相机自运动检测与补偿方法

技术领域

本发明属于图像处理与计算机视觉领域，具体涉及一种搭载在空间绳系机器人系统上的相机自运动检测与补偿的方法。

背景技术

空间绳系机器人系统由“空间绳系机器人+空间系绳+空间平台”组成，具有安全、灵活、操作距离远等特点，可广泛应用于包括在轨维修、在轨加注、辅助变轨及在轨空间站辅助组装等在轨服务中，已经成为空间操控技术领域的研究热点之一。这种新型的微型智能机器人，在空间可以自主逼近目标。在其逼近的过程中利用自身携带的双目视觉测量系统对目标进行实时检测、跟踪与测量。其中最关键的步骤首先是动态背景下对运动目标进行自动检测提取，这涉及到运动目标检测技术。

目前运动目标检测广泛应用于机器人导航、武器制导、交通流量监测、人体运动分析、视频压缩等诸多方面，涉及到计算机视觉、模式识别、统计学、图像理解等诸多研究领域，是图像处理研究领域的热点和难点之一。由于空间绳系机器人的运动特性导致其携带的摄像机存在自主运动，连续获取的前后帧图像存在仿射变换运动效应，使得问题变得更加难以解决，这将对后续的运动目标自动检测极为不利。

对于运动平台上运动目标检测问题，常用的一种方法需要先消除相机自身运动，即将同一场景的不同角度或位置拍摄的图像进行配准，然后检测运动目标。按照配准基元的不同，图像配准算法可以分为以下三类：基于区域的算法、基于特征的算法和基于结构关系的算法。其中，基于特征的算法因具有受几何变形和灰度变化影响小、可匹配特征类型多等优点而备受关注。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种空间绳系机器人相机自运动检测与补偿方法，针对空间绳系机器人上搭载的摄像机发生自运动时检测运动目标的问题，提出了一种基于稀疏光流和SURF特征描述的像机自运动检测与消除方法，为动态背景下的运动目标自动检测奠定基础。

技术方案

一种空间绳系机器人相机自运动检测与补偿方法，其特征在于步骤如下：

步骤1：采用金字塔L-K法计算前后两帧图像I₁和I₂的点集{p_1i}和{p_2i}中对应各点的光流矢量{Vx_i,Vy_i}，遍历各点光流矢量{Vx_i,Vy_i}，将符合Vx_i>5并且Vy_i>5的点形成点集{x_i,y_i}；

同时，采用SURF算法分别提取前后两帧图像I₁，I₂的特征点，得到特征点簇{s_1i}，{s_2i}，各点的坐标为{x_1i,y_1i}，{x_2i,y_2i}；

步骤2：比较{x_1i,y_1i}中各点与{x_i,y_i}中各点的欧氏距离，将欧氏距离大于5的各点组成为{x_t,y_t}；

步骤3：对位于{x_t,y_t}处的I₁上的特征点簇{s_1t}建立64位的SURF特征描述符{d_1t}，对位于{x_t,y_t}处的I₂上的特征点簇{s_2i}建立64位的SURF特征描述符{s_2i}；

步骤4：计算图像I₁的任一特征点s_1tm与图像I₂中所有特征点{s_2i}之间的欧氏距离，如果两个特征点s_1tm和s_2im之间的欧氏距离最短，则称点s_2im是点s_1tm的匹配点；

计算图像I₂的任一特征点s_2tm与图像I₁中所有特征点{s_1i}之间的欧氏距离，如果两个特征点s_2tm和s_1im之间的欧氏距离最短，则称点s_1im是点s_2tm的匹配点；

由此找出所有对应点对{s_1m}和{s_2m}；

步骤5：对匹配好的特征点对{s_1m}和{s_2m}，利用RANSAC算法估计出仿射变换模型A；

步骤6：获得两幅图像之间的仿射变换参数A后，根据仿射变换模型对应关系对其中一幅图像进行仿射变换，从而消除像机运动。

有益效果

本发明提出的一种空间绳系机器人相机自运动检测与补偿方法，计算出前后帧图像中含有运动目标的区域；然后利用SURF算法在不含运动目标的区域进行特征点检测；其次采用的SURF特征描述向量不但具有尺度、旋转不变性，而且还具有较好的区分性，所以新算法可以有效地提高图像配准可靠性和准确性；同时还采用交叉匹配算法进一步降低了误匹配率，使得该算法鲁棒性更强，运动参数求解得更加精确。

附图说明

图1为本发明的算法总流程框图；

图2为两幅图像对应点及估计点示意图。

具体实施方式

现结合实施例、附图对本发明作进一步描述：

建立摄像机的几何成像模型是消除相机自运动的基本前提。通常来说，摄像机几何成像模型可以用中心透视投影模型描述，在摄影测量学和计算机视觉等相关学科中，透视投影模型得到了充分研究，大多数算法都是基于透视投影模型开发的。但是，由于透视投影的非线性，这些算法相对比较复杂，算法数值稳定性较差，这一点在与图像测量相关的领域已经得到共识。

当拍摄过程中摄像机的内参数不发生变化、距离拍摄区域较远时，视场远远大于目标的尺度，不共面的特征物点在远场图像中可以被近似认为是共面的。此时仿射投影模型是透视投影模型的很好近似。事实上，基于仿射投影模型的像机自运动消除算法不仅能取得足够的精度，而且能在很大程度上克服基于透视投影算法的数值不稳定的缺点。

其中基于特征点的配准算法就需要基于如下仿射变换模型来计算出相机的自运动的仿射变换参数：

设x₁和x₂为同一平面或近似平面场景由不同视点拍摄的两幅图像中的对应两点，(x₁,y₁,1)、(x₂,y₂,1)分别为图像像素坐标系中x₁和x₂两点的齐次坐标。空间同名点在不同视角或不同距离拍摄的图像上，其对应像素坐标之间的变换关系可以用仿射变换模型进行描述，即

$\left[\begin{array}{c}{x}_1\\ y_1\\ 1\end{array}\right]=\left[\begin{array}{ccc}{r}_0& r_1& r_4\\ r_2& r_3& r_5\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{x}_2\\ y_2\\ 1\end{array}\right]=A\left[\begin{array}{c}{x}_2\\ y_2\\ 1\end{array}\right]---\left(A\right)$

其中A称为仿射变换矩阵，{r₀,r₁,…,r₅}为仿射变换参数。由式（1）可以看出，两幅图像中的每个匹配点对建立两个关于仿射变换参数{r₀,r₁,…,r₅}方程，如果得到三对以上的正确匹配点，就可求出仿射变换参数，也即相机自运动参数。

如图1所示，本发明实施例提供的自运动检测与补偿方法包括：

在获取前后帧图像I₁，I₂后，

第一步：对获取的前后两帧图像I₁，I₂，其上各点分别组成点集{p_1i},{p_2i}。采用金字塔L-K法计算{p_1i},{p_2i}中对应各点的光流矢量{Vx_i,Vy_i}。将各点处的光流矢量{Vx_i,Vy_i}与阈值{5,5}进行比较，如果某点Vx_i>5并且Vy_i>5，则将此点的坐标（x,y）记录并保存，遍历各点后最终形成点集{x_i,y_i}。

其中关于如何用金字塔L-K法计算出前后帧图像间的稀疏光流场，为本领域公知技术，可参考文献1“Gary Bradski，Adrian Kaebler著，于仕琪,刘瑞祯译。学习OpenCV中文版。北京：清华大学出版社，2009:362-363。”，此处不再赘述。

同时对获取的前后两帧图像I₁，I₂，采用SURF算法分别提取其中的特征点，分别组成特征点簇{s_1i}，{s_2i}，并记录各点的坐标为{x_1i,y_1i}，{x_2i,y_2i}。

其中关于如何用SURF算法提取特征点，为本领域公知技术，可参考文献2“Bay H,Tuytelaars T,and Gool L V.SURF:Speeded Up Robust Features.The9th EuropeanConference on Computer Vision,Austria,May2006.”和文献3“王永明，王贵锦著。图像局部不变性特征与描述。北京:国防工业出版社，2010。”89-100页，此处不再赘述。

第二步：将步骤一中得到的{x_1i,y_1i}中各点与{x_i,y_i}各点进行欧氏距离比较，将{x_1i,y_1i}中与{x_i,y_i}中每一点之间欧氏距离都大于5的各点保存记录为{x_t,y_t}。

第三步：对筛选后的位于{x_t,y_t}处的I₁上的特征点簇{s_1t}以及I₂上的特征点簇{s_2i}分别建立64位的SURF特征描述符{d_1t}和{d_2i}。

其中如何对筛选后的特征点建立SURF特征描述符，为本领域公知技术，可参考文献2“Bay H,Tuytelaars T,and Gool L V.SURF:Speeded Up Robust Features.The9thEuropean Conference on Computer Vision,Austria,May2006.”和文献3“王永明，王贵锦著。图像局部不变性特征与描述。北京:国防工业出版社，2010。”135-142页，此处不再赘述。

第四步：对{s_1t}和{s_2i}各点进行交叉匹配。计算图像I₁的任一特征点（假设为s_1tm）与图像I₂中所有特征点{s_2i}之间的欧氏距离，如果两个特征点s_1tm和s_2im之间的欧氏距离最短，则称点s_2im是点s_1tm的匹配点。首先以图像I₁中的各特征点为参考，在第二幅图像中找寻最匹配的点；其次以图像I₂中的特征点为参考，在第一幅图像中找寻最匹配的点；如果两幅图像上两个特征点s_1tm和s_2im互为最匹配点，则认为该点对为匹配点对。对两幅图像所有特征点做以上判断，找出所有对应点对{s_1m}和{s_2m}。

第五步：对匹配好的特征点对{s_1m}和{s_2m}，利用RANSAC算法估计出仿射变换模型A。

其中关于具体用RANSAC迭代算法进行一致性提纯，求解出大部分匹配特征点对都能满足的仿射模型变换参数，为本领域公知技术，可参考相关文献3“王永明，王贵锦著。图像局部不变性特征与描述。北京:国防工业出版社，2010。”165-166页，此处不再赘述。

第六步：获得两幅图像之间的仿射变换参数A后，根据仿射变换模型对应关系对其中一幅图像进行仿射变换，从而消除像机运动。

Claims (1)

1.一种空间绳系机器人相机自运动检测与补偿方法，其特征在于步骤如下：

步骤1：采用金字塔L-K法计算前后两帧图像I₁和I₂的点集{p_1i}和{p_2i}中对应各点的光流矢量{Vx_i,Vy_i}，遍历各点光流矢量{Vx_i,Vy_i}，将符合Vx_i>5并且Vy_i>5的点形成点集{x_i,y_i}；

同时，采用SURF算法分别提取前后两帧图像I₁，I₂的特征点，得到特征点簇{s_1i}，{s_2i}，各点的坐标为{x_1i,y_1i}，{x_2i,y_2i}；

步骤2：将步骤1中得到的{x_1i,y_1i}中各点与{x_i,y_i}各点进行欧氏距离比较，将{x_1i,y_1i}中与{x_i,y_i}中每一点之间欧氏距离都大于5的各点保存记录为{x_t,y_t}；

步骤3：对位于{x_t,y_t}处的I₁上的特征点簇{s_1t}建立64位的SURF特征描述符{d_1t}，对位于{x_t,y_t}处的I₂上的特征点簇{s_2i}建立64位的SURF特征描述符{s_2i}；

步骤4：对{s_1t}和{s_2i}各点进行交叉匹配：计算图像I₁的任一特征点s_1tm与图像I₂中所有特征点{s_2i}之间的欧氏距离，如果两个特征点s_1tm和s_2im之间的欧氏距离最短，则称点s_2im是点s_1tm的匹配点，首先以图像I₁中的各特征点为参考，在第二幅图像中找寻最匹配的点；其次以图像I₂中的特征点为参考，在第一幅图像中找寻最匹配的点；如果两幅图像上两个特征点s_1tm和s_2im互为最匹配点，则认为该点对为匹配点对，对两幅图像所有特征点做以上判断，找出所有对应点对{s_1m}和{s_2m}；

步骤5：对匹配好的特征点对{s_1m}和{s_2m}，利用RANSAC算法估计出仿射变换矩阵A；

步骤6：获得两幅图像之间的仿射变换矩阵A后，根据仿射变换模型对应关系对其中一幅图像进行仿射变换，从而消除像机运动。