CN108225319A - 基于目标特征的单目视觉快速相对位姿估计系统及方法 - Google Patents

Abstract

本发明涉及一种基于目标特征的单目视觉快速相对位姿估计系统及方法，包括：目标图像预处理单元，用于去除背景中的噪声，定位目标所在局部区域；目标快速特征检测及提取单元，用于完成局部轮廓和对接圆面特征的检测提取；目标位置和姿态估计单元，用于分别根据提取的对接圆面和轮廓特征完成目标位置和姿态粗值的估计，并采用优化算法实现最终目标位置和姿态的实时获取。本发明具有实时性好、鲁棒性强及测量精度高等优点，为后续空间在轨操控任务的顺利实施提供位姿信息支持。

Description

基于目标特征的单目视觉快速相对位姿估计系统及方法

技术领域

本发明涉及一种基于目标特征的单目视觉快速相对位姿估计系统及方 法，属于航天器相对测量技术领域。

背景技术

为了实现空间交会对接、抓取捕获等在轨操控任务，需要对追踪航天器 与目标航天器之间的相对位置、姿态进行精确测量。

现有技术中，针对不考虑目标前后帧图像变化关系，直接采用基于全局 图像处理算法实现的目标特征提取，以及基于该算法提取的特征直接获取目 标位姿信息的技术，算法易受目标图像较多边缘的干扰，导致特征提取效果 差，需要实时对当前帧全局图像进行处理，处理速度慢，对获取的姿态值无 进一步优化，姿态解算精度差。

发明内容

本发明所要解决的技术问题：

为克服现有技术不足，本发明提供一种基于目标特征的单目视觉快速相 对位姿估计方法，解决了逼近过程中追踪航天器与目标航天器之间相对位置 和姿态的估计，具有实时性好、鲁棒性强及测量精度高等优点，为后续空间 在轨操控任务的顺利实施提供位姿信息支持。

本发明的技术解决方案：

基于目标特征的单目视觉快速相对位姿估计系统，包括目标图像预处理 单元、目标快速特征检测及提取单元、目标位置和姿态估计单元，

目标图像预处理单元去除背景中的噪声，定位目标所在局部区域；

目标快速特征检测及提取单元，用于完成局部轮廓特征和对接圆面特征 的检测提取，首先对初始帧目标区域局部小窗边缘轮廓特征进行检测及提取， 其次根据初始帧得到的目标轮廓信息，从第二帧开始，结合目标运动变化特 性，利用前一帧图像的轮廓信息确定目标在当前帧图像中的位置，并基于当 前窗口目标本体区域中的四方向条带状区域完成当前帧目标轮廓特征的检测 及提取；最后根据当前帧目标轮廓确定的区域进行边缘检测，以较长圆弧边 缘且与区域中心平均欧式距离最小为约束条件完成当前帧目标区域对接圆面 特征的检测，并采用基于几何距离的最小二乘椭圆拟合算法完成对接圆面特 征的提取；

目标位置和姿态估计单元，用于分别根据提取的对接圆面和轮廓特征完 成目标位置和姿态粗值的估计，并采用优化算法实现最终目标位置和姿态的 实时获取，首先基于轮廓特征获得的特征点完成目标三个姿态的初值的解算， 其次利用给定空间对接环的半径和相机内参，完成空间对接环法向量和圆心 坐标的求解，并基于轮廓特征求解的目标法向量去除解的二义性，完成目标 三个位置的初值的解算；最后以特征点的重投影误差为目标函数，优化位置 和姿态初值，获得精确的相对位姿估计信息。

目标图像预处理单元去除背景中的噪声，定位目标所在局部区域的方法 为：对实时获取的图像采用自适应阈值分割法确定目标的大致位置，完成图 像背景噪声的去除；然后采用形态学先开后闭的运算方法优化目标定位粗值， 完成目标所在局部区域的准确定位。

对初始帧目标区域局部小窗边缘轮廓特征进行检测及提取的方法为：以 目标预处理定位得到的目标局部区域图作为参考，框选一个略大于该区域的 矩形区域作为轮廓检测的初始窗口，结合目标本体轮廓的四边形形状，选取 该初始窗口目标本体区域中能够完全包含待提取轮廓边缘特征的四方向条带 状区域完成初始帧目标轮廓的检测及提取。

基于轮廓特征获得的特征点完成目标三个姿态的初值的解算的方法为： 根据当前帧目标四边形轮廓特征得到四条轮廓线的交点，通过本体的两条对 角线交点获得本体中心点，利用交比不变原理，在对角线上插值出N个特征 点，N＝2n+1，其中n为轮廓边的条数，结合目标实际三维尺寸信息，完成目 标三个姿态的初值的解算。

基于目标特征的单目视觉快速相对位姿估计方法，具体步骤如下：

(1)去除背景中的噪声，定位目标所在局部区域；

(2)以目标预处理定位得到的目标局部区域图作为参考，框选一个略大 于该区域的矩形区域作为轮廓检测的初始窗口，结合目标本体轮廓的四边形 形状，选取该初始窗口目标本体区域中能够完全包含待提取轮廓边缘特征的 四方向条带状区域完成初始帧目标轮廓的检测及提取；

(3)根据初始帧得到的目标轮廓信息，从第二帧开始，结合目标运动变 化特性，利用前一帧图像的轮廓信息搜索估计确定目标在当前帧图像中的位 置，并基于当前窗口目标本体区域中的四方向条带状区域完成当前帧目标轮 廓特征的检测及提取；

(4)根据当前帧目标轮廓确定的区域进行边缘检测，以较长圆弧边缘且 与区域中心平均欧式距离最小为约束条件完成当前帧目标区域对接圆面特征 的检测，并采用基于几何距离的最小二乘椭圆拟合算法完成对接圆面特征的 提取；

(5)根据步骤3获取的当前帧目标四边形轮廓特征得到四条轮廓线的交 点，通过本体的两条对角线交点获得本体中心点，利用交比不变原理，在对 角线上插值出N个特征点，N＝2n+1，其中n为轮廓边的条数，结合目标实际 三维尺寸信息，完成目标三个姿态的初值的解算；

(6)利用给定空间对接环的半径和相机内参，完成空间对接环法向量和 圆心坐标的两组解的求解，并基于轮廓特征求解的目标法向量去除解的二义 性，完成目标三个位置的初值的解算；

(7)以特征点的重投影误差为目标函数，优化位置和姿态初值，获得精 确的相对位姿估计信息。

本发明与现有技术相比，具有以下优点：

(1)本发明解决了逼近过程中追踪航天器与目标航天器之间相对位置和 姿态的估计，采用只全局处理初始帧图像，后续对包含目标的场景局部图像 或图像序列进行局部处理，实现其余序列图像特征的连续检测及提取，具有 实时性好的优点；

(2)本发明采用结合帧间图像变化信息，利用前一帧图像的轮廓信息搜 索估计确定目标在当前帧图像中的位置，具有鲁棒性强的优点；

(3)本发明采用以特征点的重投影误差为目标函数的优化算法优化位置 和姿态初值，具有测量精度高的优点，为后续空间在轨操控任务的顺利实施 提供位姿信息支持。

附图说明

图1为本发明整体方案流程图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图 和具体实施方式对本发明作进一步详细的说明。

本发明通过对包含目标的场景局部图像或图像序列进行处理，结合帧间 图像变化信息，快速提取被测目标的有效特征，获取空间目标实时位姿信 息，并采用优化算法实时优化位姿估计结果，为后续的在轨操控任务中的控 制部分提供精确测量结果。

如图1所示，一种基于目标特征的单目视觉快速相对位姿估计系统及方 法，包含：

S1，目标图像预处理单元，用于去除背景中的噪声，定位目标所在局部 区域；

S2，目标快速特征检测及提取单元，用于完成局部轮廓特征和对接圆面 特征的检测提取；

S3，目标位置和姿态估计单元，用于分别根据提取的对接圆面和轮廓特 征完成目标位置和姿态粗值的估计，并采用优化算法实现最终目标位置和姿 态的实时获取。

所述的步骤S1，本发明提供一种目标图像预处理方法，该方法包含：

(a)采用8邻域自适应阈值分割法完成初始帧图像的快速分割；

其中所述的8邻域自适应阈值分割法是对每个图像像素确定以其自身为 中心的一个8邻域窗口，寻找窗口内像素的最大值和最小值，并取二者的平 均值作为阈值。

令C为当前像素，选取C的8邻域窗口，若该窗口内像素的最大灰度值 为max_value,最小灰度值为min_value，则阈值T设置为：

(b)对分割图像进行二值化处理获得目标二值化图像；

(c)对二值化图像依次进行形态学开和闭运算确定初始帧目标所在局部 区域；

其中所述的形态学开和闭运算都是由腐蚀和膨胀复合而成，开运算是先 腐蚀后膨胀，而闭运算是先膨胀后腐蚀。

使用结构元素S对A进行开运算，记作可表示为：

其中所述的形态学开运算可以使图像的轮廓变得光滑，还能使狭窄的连 接断开和消除细毛刺。

使用结构元素S对A进行闭运算，记作A·S,可表示为：

A·S＝(A⊕S)ΘS (3)

其中，A为图像某一点的灰度值。

其中所述的形态学闭运算同样可以使图像的轮廓变得光滑，但与开运算 相反，它通常能够弥合狭窄的间断，填充小的空洞。

对分割的图像进行二值化后处理，然后依次使用形态学处理开运算和闭 运算消除小块噪声平滑目标边缘及填充目标区域内细小空洞，实现最终目标 区域的完整性分割，定位目标所在局部区域。

所述的步骤S2本发明提供一种目标快速特征检测及提取方法，该方法具 体包含：

S2.1，初始帧目标区域局部小窗边缘轮廓特征的检测及提取；

S2.2，当前帧目标区域定位与局部小窗边缘轮廓特征的检测及提取；

S2.3，当前帧目标区域对接圆面特征的检测及提取；

所述的步骤S2.1，具体为：以目标预处理定位得到的目标局部区域图作 为参考，框选一个略大于该区域的矩形区域作为轮廓检测的初始窗口，选取 该初始窗口目标本体区域中的四个条带状区域完成初始帧目标轮廓的检测及 提取。

具体地，对于分割得到的目标区域，计算图像像素点横轴x坐标的最小 值与最大值x_min与x_max，同时计算图像像素点纵轴y坐标的最小值y_min与最大 值y_max。则可以根据这四个值对阈值分割的区域稍作扩大，得到将本体完全 包括在其中的区域。采用点(x_min-10,y_min-10)，(x_min-10,y_max+10)， (x_max+10,y_max+10)和(x_max+10,y_min-10)四个点围成的矩形区域作为包含目标的 检测窗口。在矩形区域中，可以按四条边的各自方向区域内取20个像素的条带状区域进行局部小窗边缘轮廓特征的检测及提取。

轮廓直线检测窗口中使用Canny算子进行边缘检测，并分别在四个带状 轮廓检测区域内采用局部Hough变换的方法检测直线，由此得到目标轮廓的 4条直线信息。

Hough变换的基本思想是利用点—线(点—直线或点—曲线)的对偶性， 即图像空间中的直线，经过Hough变换后成为参数空间的一点。Hough变换 算法的步骤如下：(1)适当地量化参数空间；(2)假定参数空间的每一个单元 都是一个累加器，把累加器初始化为零；(3)对图像空间的每一点，在其所 满足的参数方程对应的累加器上加1；(4)累加器阵列的最大值对应模型的 参数。

所述的步骤S2.2具体为：根据初始帧得到的目标轮廓信息，从第二帧开 始，利用前一帧图像的轮廓信息粗略确定目标在当前帧图像中的位置，并基 于当前窗口目标本体区域中的四个条带状区域完成当前帧目标轮廓特征的检 测及提取；

具体地，从第二帧图像开始，由于图像帧间变化不大，为了减小运算量， 可在上一帧检测到的轮廓四条直线位置的局部开宽度为20像素的检测窗，粗 略定位当前帧图像中的目标位置。并在窗内进行Canny边缘检测和Hough变 换，获得实时图像本体轮廓4条线段的位置。

所述的步骤S2.3具体为：根据当前帧目标轮廓确定的区域进行边缘检 测，以较长圆弧边缘且与区域中心平均欧式距离最小为约束条件完成当前帧 目标区域对接圆面特征的检测，并采用基于几何距离的最小二乘椭圆拟合算 法完成对接圆面特征的提取。

具体地，利用canny边缘检测算法检测图像中所有的边缘，并采用一些 约束定位对接环的边缘。首先提取边缘中长度较长的20％的边缘，并计算每 条边缘与区域中心的平均欧式距离，考虑到目标上对接环内没有安装其他结 构，故所对应的图像部分纹理极少，可认为距离区域中心欧式距离最近的边 缘即为需要检测的圆环特征部分。

S3，目标位置和姿态估计单元，用于分别根据提取的对接圆面和轮廓特 征完成目标位置和姿态粗值的估计，并采用优化算法实现最终目标位置和姿 态的实时获取。

所述的步骤S3目标位置和姿态估计单元包括：

S3.1，基于轮廓特征获得的特征点完成目标三个姿态的初值的解算；

S3.2，基于对接圆特征及轮廓特征完成目标三个位置的初值的解算；

S3.3，以特征点的重投影误差为目标函数，优化位置和姿态初值，获得 精确的相对位姿信息。

所述的步骤S3.1具体为：根据目标本体轮廓特征得到n(n＝4)条轮廓 线的交点，通过本体的两条对角线交点获得本体中心点，利用交比不变原理， 在对角线上插值出N(N＝2n+1)个特征点，结合目标实际三维尺寸信息，完 成目标三个姿态的初值的解算。

假设直线上有A、B、C、D四个点，其交比定义为：

其中：AC，BC，AD，BD分别为对应两点间的长度值。

交比具有摄影变换不变性，即，空间中一条直线上的四个点投影到图像 上，其交比不发生变化。假设空间中已知本体对角线上四个点的坐标，同时 可以得到其中三个点在图像上的对应位置，就可把另外一个点在图像上的位 置计算出来。

具体地，记A、B、C、D分别为目标本体对角线的两个端点、本体两 条对角线的交点和一个待插值点，这四个点在其坐标系下的位置可以从合作 目标三维模型信息中获取。因此可以根据式(4)计算其交比。记A、B、C、 D在图像上的对应位置分别为a、b、c、d。其中，a和b可以通过计算目标 轮廓线的交点得到，c可以通过计算对角线的交点得到，d的坐标需要根据交 比不变原理插值得到。根据交比不变原理有：

因此有：

其中：ac，bc，ad，bd分别为实际目标三维模型对应两点间的物理长 度值。

式(3)的左面是已知量，因此ad/bd已知，且a和b的坐标已知，则d的 坐标可算。通过边缘检测与Hough变换可以检测到本体平面的4条轮廓线(直 线)，由轮廓线获取本体正面的四个顶点在图像上的位置，根据交比不变原理， 可以在本体正面的平面对角线中插值得到一系列图像点。由于合作目标的三 维尺寸信息已知，同时结合已知的相机内参矩阵，可根据三维空间中齐次坐 标点与图像中齐次坐标像点的摄影关系获取对应于图像中各个点的三维坐 标。这里我们只关注旋转矩阵R，即完成目标三个姿态的初值的解算。

所述的步骤S3.2具体为：利用给定空间对接环的半径和相机内参，完成 空间对接环法向量和圆心坐标(即相对位置)的两组解的求解，并基于轮廓 特征求解的目标法向量去除解的二义性，完成目标三个位置的初值的解算。

空间圆成像后在二维图像平面表现为椭圆特征，利用边缘检测获得的圆 弧段上的像素点拟合椭圆，获得椭圆参数得到最终的椭圆特征。基于单目视 觉椭圆拟合算法可得到空间圆圆心和法向量的两组解，其中一组是虚假解， 另一组是正确解。由圆心的空间坐标值即可确定目标的距离，通过结合轮廓 信息获得的轮廓中心特征点消除结果的二义性及确定旋转姿态。

具体地，未旋转前的轮廓中心在世界坐标系下的法向量为n＝[0 0 -1]^T， 当目标旋转后，在世界坐标系下的法向量为n′＝Rn，由图像中椭圆参数计算 得到的两个法向量的解，分别为n₁与n₂。分别计算n₁和n′的夹角与n₂和n′的夹 角，结果较小的为真实的法向量，其所对应的圆心即为真实圆心，由此消除 解的二义性。

所述的步骤S3.3具体为：以特征点的重投影误差为目标函数，采用优化 算法优化位置和姿态初值，获得精确的相对位姿信息。

初始获得的位置和姿态6个量即为待优化的位姿量，将其记为向量x,

其中：θ，ψ，分别表示偏航角，俯仰角，滚转角三个角度量；t_x，t_y， t_z分别表示X轴，Y轴，Z轴三个位置量。

记Π为相机的透视投影变换矩阵，该变换将世界坐标系下的三维点映射 为图像上以像素为单位的坐标值。显然，在相机内参确定的情况下，Π只与x 有关，因此记为Πx。记特征点在世界坐标系下的三维坐标为P₁,P₂,…,P_n，这些 坐标值可以根据合作目标的几何信息和世界坐标系的定义获得。记这些特征 点对应的图像上的投影坐标分别为p₁,p₂,…,p_n(可通过图像特征提取或根据交 比不变原理插值得到)。则以上优化问题可以表述为，

式(22)是一个典型的非线性最小二乘问题，本项目采用 Levenberg-Marquardt方法进行求解获得最优位置和姿态参数。

综上所述，本发明解决了逼近过程中追踪航天器与目标航天器之间相对 位置和姿态的估计，只全局处理初始帧图像，后续通过局部处理实现其余序 列图像特征的连续检测及提取，并实时优化姿态估计结果，具有实时性好、 鲁棒性强及测量精度高等优点，为后续空间在轨操控任务的顺利实施提供位 姿信息支持。

尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识 到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述 内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的 保护范围应由所附的权利要求来限定。

Claims (6)

1.基于目标特征的单目视觉快速相对位姿估计系统，其特征在于，包括目标图像预处理单元、目标快速特征检测及提取单元、目标位置和姿态估计单元，

目标图像预处理单元去除背景中的噪声，定位目标所在局部区域；

目标快速特征检测及提取单元，用于完成局部轮廓特征和对接圆面特征的检测提取，首先对初始帧目标区域局部小窗边缘轮廓特征进行检测及提取，其次根据初始帧得到的目标轮廓信息，从第二帧开始，结合目标运动变化特性，利用前一帧图像的轮廓信息确定目标在当前帧图像中的位置，并基于当前窗口目标本体区域中的四方向条带状区域完成当前帧目标轮廓特征的检测及提取；最后根据当前帧目标轮廓确定的区域进行边缘检测，以较长圆弧边缘且与区域中心平均欧式距离最小为约束条件完成当前帧目标区域对接圆面特征的检测，并采用基于几何距离的最小二乘椭圆拟合算法完成对接圆面特征的提取；

目标位置和姿态估计单元，用于分别根据提取的对接圆面和轮廓特征完成目标位置和姿态粗值的估计，并采用优化算法实现最终目标位置和姿态的实时获取，首先基于轮廓特征获得的特征点完成目标三个姿态的初值的解算，其次利用给定空间对接环的半径和相机内参，完成空间对接环法向量和圆心坐标的求解，并基于轮廓特征求解的目标法向量去除解的二义性，完成目标三个位置的初值的解算；最后以特征点的重投影误差为目标函数，优化位置和姿态初值，获得精确的相对位姿估计信息。

2.如权利要求1所述的基于目标特征的单目视觉快速相对位姿估计系统，其特征在于，目标图像预处理单元去除背景中的噪声，定位目标所在局部区域的方法为：对实时获取的图像采用自适应阈值分割法确定目标的大致位置，完成图像背景噪声的去除；然后采用形态学先开后闭的运算方法优化目标定位粗值，完成目标所在局部区域的准确定位。

3.如权利要求1所述的基于目标特征的单目视觉快速相对位姿估计系统，其特征在于，对初始帧目标区域局部小窗边缘轮廓特征进行检测及提取的方法为：以目标预处理定位得到的目标局部区域图作为参考，框选一个略大于该区域的矩形区域作为轮廓检测的初始窗口，结合目标本体轮廓的四边形形状，选取该初始窗口目标本体区域中能够完全包含待提取轮廓边缘特征的四方向条带状区域完成初始帧目标轮廓的检测及提取。

4.如权利要求1所述的基于目标特征的单目视觉快速相对位姿估计系统，其特征在于，基于轮廓特征获得的特征点完成目标三个姿态的初值的解算的方法为：根据当前帧目标四边形轮廓特征得到四条轮廓线的交点，通过本体的两条对角线交点获得本体中心点，利用交比不变原理，在对角线上插值出N个特征点，N＝2n+1，其中n为轮廓边的条数，结合目标实际三维尺寸信息，完成目标三个姿态的初值的解算。

5.基于目标特征的单目视觉快速相对位姿估计方法，其特征在于，具体步骤如下：

(1)去除背景中的噪声，定位目标所在局部区域；

(2)以目标预处理定位得到的目标局部区域图作为参考，框选一个略大于该区域的矩形区域作为轮廓检测的初始窗口，结合目标本体轮廓的四边形形状，选取该初始窗口目标本体区域中能够完全包含待提取轮廓边缘特征的四方向条带状区域完成初始帧目标轮廓的检测及提取；

(3)根据初始帧得到的目标轮廓信息，从第二帧开始，结合目标运动变化特性，利用前一帧图像的轮廓信息搜索估计确定目标在当前帧图像中的位置，并基于当前窗口目标本体区域中的四方向条带状区域完成当前帧目标轮廓特征的检测及提取；

(4)根据当前帧目标轮廓确定的区域进行边缘检测，以较长圆弧边缘且与区域中心平均欧式距离最小为约束条件完成当前帧目标区域对接圆面特征的检测，并采用基于几何距离的最小二乘椭圆拟合算法完成对接圆面特征的提取；

(5)根据步骤3获取的当前帧目标四边形轮廓特征得到四条轮廓线的交点，通过本体的两条对角线交点获得本体中心点，利用交比不变原理，在对角线上插值出N个特征点，N＝2n+1，其中n为轮廓边的条数，结合目标实际三维尺寸信息，完成目标三个姿态的初值的解算；

(6)利用给定空间对接环的半径和相机内参，完成空间对接环法向量和圆心坐标的两组解的求解，并基于轮廓特征求解的目标法向量去除解的二义性，完成目标三个位置的初值的解算；

(7)以特征点的重投影误差为目标函数，优化位置和姿态初值，获得精确的相对位姿估计信息。

6.如权利要求5所述的基于目标特征的单目视觉快速相对位姿估计方法，其特征在于，去除背景中的噪声，定位目标所在局部区域的方法为：对实时获取的图像采用自适应阈值分割法确定目标的大致位置，完成图像背景噪声的去除；然后采用形态学先开后闭的运算方法优化目标定位粗值，完成目标所在局部区域的准确定位。