CN109115184A - 基于非合作目标协同测量方法及系统 - Google Patents

Abstract

本发明公开了一种基于虚拟立体视觉的非合作目标协同测量方法，包括以下步骤：获取非合作翻滚目标的三维点云图；提取出卫星的喷嘴中心与三角支架内切圆中心的相对位姿关系；对获取的卫星喷嘴与三角支架的图像进行图像预处理操作；通过坐标转换获得在特定坐标系下的位姿关系；求得所述卫星喷嘴与三角支架内切圆的半径，以得到喷嘴与三角支架中心的位姿信息。以及一种基于虚拟立体视觉的非合作目标协同测量系统。其降低了测量系统的硬件数量，扩展了测量系统的能力，具有较高的计算效率，减少了传感器的数量，降低了空间发射的成本，且拓展了空间测量的能力，广泛应用于空间非合作卫星视觉测量的技术领域。

Description

基于非合作目标协同测量方法及系统

技术领域

本发明涉及空间非合作失效卫星视觉测量的技术领域，具体为基于非合作目标协同测量方法及系统。

背景技术

随着空间探索的不断深入，在轨航天器数量越来越多，除了少部分仍然正常工作外，大部分已到寿命末期而被废弃，且部分因为出现故障而无法正常工作，使得轨道垃圾不断累积。利用空间机器人进行卫星维修、轨道垃圾清理成为近年来热门热点的研究方向。然而，作为在轨维护的非合作目标，大都处于翻滚状态，动力学特性极其复杂。

为了实现在轨服务，首先要解决的技术难点就是非合作目标的视觉测量问题。由于失效目标上没有任何的合作标识，且目标又处于翻滚的状态，这对非合作目标的视觉测量造成了很大的影响。以往的视觉测量研究中，如美国的“通用航天器在轨修正系统”以及日本的ETS-VII项目等主要针对的是合作目标的视觉测量。目前的研究，针对非合作目标的视觉测量机械臂末端都需要携带双目相机，在双臂协同抓捕非合作目标前，传统的研究需要两对双目相机进行双臂的独立测量(例如圆形的卫星喷嘴，三角形的帆板支架等)，很难满足空间视觉测量的实时性要求，同时图像数据量很大，对星载系统的存储能力和计算能力提出了更高的要求，不利于空间机器人的视觉测量，且为双臂的协同捕获带来诸多不利因素。

为了减少双臂测量过程中视觉传感器的数量，降低图像存储量，提高视觉测量算法的效率，在保证测量精度的前提下有必要开展提高视觉计算速度的同时又能降低空间测量的成本、功耗与质量等相关视觉测量技术的研究。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的一个目的是提供一种提高视觉计算速度、节省成本的基于非合作目标协同测量方法及系统。

本发明所采用的技术方案是：

本发明提供一种基于虚拟立体视觉的非合作目标协同测量方法，包括以下步骤：

获取非合作翻滚目标的三维点云图；

提取出所述三维点云图中卫星的喷嘴中心与三角支架内切圆中心的相对位姿关系；

对获取的卫星喷嘴与三角支架的图像进行图像预处理操作；

对所述卫星喷嘴与三角支架的图像分别进行处理，通过坐标转换获得在特定坐标系下的位姿关系；

利用最小二乘法求得所述卫星喷嘴与三角支架内切圆的半径，以得到喷嘴与三角支架中心的位姿信息。

作为该技术方案的改进，通过采用双目相机来获取所述三维点云图。

作为该技术方案的改进，所述方法包括：通过Hough检测获取到卫星的喷嘴中心及三角支架。

作为该技术方案的改进，所述方法还包括：对获取的卫星喷嘴与三角支架的图像进行图像增强处理，并对所述图像进行滤波和边缘检测。

进一步地，所述方法包括：通过分别设置于机器人左、右机械臂的单目相机来分别采集卫星喷嘴与三角支架的图像。

进一步地，所述方法还包括：对左臂手眼相机采集的图像进行Hough椭圆检测，得到表示椭圆的相关参数；对右臂手眼相机进行Hough直线检测，并提取三条直线的交点，从而获取三角支架的边缘特征。

进一步地，所述方法还包括：获取所述三角支架的内切椭圆的相关参数。

进一步地，通过空间圆形目标成像的坐标变换方法，分别求得所述喷嘴中心与三角支架内切圆中心在各自相机坐标系下的位姿关系。

进一步地，所述方法还包括：将所述三角支架内切圆中心的位姿转换到左相机坐标系下，组成封闭解，求得卫星喷嘴与三角支架内切圆的半径，从而求得喷嘴与三角支架中心的位姿信息。

另一方面，本发明还提供一种基于虚拟立体视觉的非合作目标协同测量系统，包括：

图像采集模块，用于执行步骤获取非合作翻滚目标的三维点云图；

图像处理模块，用于执行步骤提取出所述三维点云图中卫星的喷嘴中心与三角支架内切圆中心的相对位姿关系；

对获取的卫星喷嘴与三角支架的图像进行图像预处理操作；

对所述卫星喷嘴与三角支架的图像分别进行处理，通过坐标转换获得在特定坐标系下的位姿关系；

位姿求解模块，用于执行步骤利用最小二乘法求得所述卫星喷嘴与三角支架内切圆的半径，以得到喷嘴与三角支架中心的位姿信息。

本发明的有益效果是：

本发明提供的基于非合作目标协同测量方法、系统，基于多视点观测重构出翻滚目标的三维表面信息，进一步地提取双臂抓捕手柄的相对位姿关系，作为后续手眼视觉测量的先验知识，圆形的卫星喷嘴和三角形的帆板支架常作为空间抓捕的对象，根据双臂末端携带的单目手眼相机分别独立地观测各自的抓捕位置，通过双目的协调测量实现喷嘴和三角支架的位姿测量，实现了双臂空间机器人系统采用每个臂携带一个相机并观测不同对象下(每个臂“单臂-单目”配置)的双臂协同测量方法，降低了测量系统的硬件数量，扩展了测量系统的能力。通过求解多特征的几何约束方程，从而确定位姿信息，具有较高的计算效率，减少了传感器的数量，降低了空间发射的成本，且拓展了空间测量的能力，广泛应用于空间非合作卫星视觉测量的技术领域。

附图说明

图1是本发明一实施例的虚拟立体视觉测量模型图；

图2是本发明一实施例的空间非合作目标的虚拟立体视觉协同测量的结构模型示意图；

图3是本发明一实施例的基于虚拟立体视觉的非合作目标协同测量流程图；

图4是本发明一实施例的多视点三维重建示意图；

图5是本发明一实施例的三角支架像平面投影关系示意图；

图6是本发明一实施例的三角支架内切圆成像示意图；

图7是本发明一实施例的虚拟立体视觉位姿解算结构图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

本发明提供一种基于虚拟立体视觉的非合作目标协同测量方法，包括以下步骤：

获取非合作翻滚目标的三维点云图；

提取出所述三维点云图中卫星的喷嘴中心与三角支架内切圆中心的相对位姿关系；

对获取的卫星喷嘴与三角支架的图像进行图像预处理操作；

对所述卫星喷嘴与三角支架的图像分别进行处理，通过坐标转换获得在特定坐标系下的位姿关系；

利用最小二乘法求得所述卫星喷嘴与三角支架内切圆的半径，以得到喷嘴与三角支架中心的位姿信息。

作为该技术方案的改进，通过采用双目相机来获取所述三维点云图。

作为该技术方案的改进，所述方法包括：通过Hough检测获取到卫星的喷嘴中心及三角支架。

作为该技术方案的改进，所述方法还包括：对获取的卫星喷嘴与三角支架的图像进行图像增强处理，并对所述图像进行滤波和边缘检测。

进一步地，所述方法包括：通过分别设置于机器人左、右机械臂的单目相机来分别采集卫星喷嘴与三角支架的图像。

进一步地，所述方法还包括：对左臂手眼相机采集的图像进行Hough椭圆检测，得到表示椭圆的相关参数；对右臂手眼相机进行Hough直线检测，并提取三条直线的交点，从而获取三角支架的边缘特征。

进一步地，所述方法还包括：获取所述三角支架的内切椭圆的相关参数。

进一步地，通过空间圆形目标成像的坐标变换方法，分别求得所述喷嘴中心与三角支架内切圆中心在各自相机坐标系下的位姿关系。

进一步地，所述方法还包括：将所述三角支架内切圆中心的位姿转换到左相机坐标系下，组成封闭解，求得卫星喷嘴与三角支架内切圆的半径，从而求得喷嘴与三角支架中心的位姿信息。

参照图1，是本发明一实施例的虚拟立体视觉测量模型图。通过对空间非合作目标的三维重构实现卫星喷嘴中心与三角支架内切圆中心的相对位姿关系，这个位姿关系作为后续协同测量的先验知识。

参照图2，是本发明一实施例的空间非合作目标的虚拟立体视觉协同测量结构示意图。该服务卫星由基座和搭载基座上两个串联空间机械臂组成。在机械臂末端分别安装有测量目标卫星位姿信息的单目手眼相机，为了便于讨论定义了如下符号：

O_t-X_tY_tZ_t：为空间目标的轨道坐标系；

O_bt-X_btY_btZ_bt：为非合作目标的质心坐标系；

O_bc-X_bcY_bcZ_bc：为空间机器人基座质心坐标系；

O_ea-X_eaY_eaZ_ea：为左臂末端坐标系；

O_eb-X_ebY_ebZ_eb：为右臂末端坐标系；

O_L-X_LY_LZ_L：为左臂手眼相机坐标系；

O_R-X_RY_RZ_R：为右臂手眼相机坐标系；

分别表示喷嘴圆心在左臂手眼相机坐标系下的位置矢量与法向量；

分别表示三角支架内切圆圆心在右臂手眼相机坐标系下的位置矢量与法向量。

参照图3，是本发明一实施例的基于虚拟立体视觉的空间非合作目标协同测量方法的流程图。包括步骤如下：

S1：根据安装在基座上的双目相机测量，得到非合作翻滚目标的三维点云图。

S2：根据S1中的点云图通过Hough检测找出圆形卫星喷嘴以及三角形的帆板支架，提取喷嘴中心与三角形支架内切圆中心的相对位姿关系

S3：对左右臂的单目相机获取的图像进行图像增强，再对该图像进行滤波和边缘检测等图像预处理操作。

S4：由S3得到的左臂手眼相机图像进行Hough椭圆检测，得到表示椭圆的5个参数，对右臂手眼相机进行Hough直线检测，并提取三条直线的交点P₁,P₂,P₃，从而获取三角支架的边缘特征。

S5：根据S4中得到的三角形特征提取表示该三角形的内切椭圆的5个参数(x_c,y_c,a_c,b_c,θ)。

S6：由S5与S4中得到的两个椭圆特征的5个参数，通过空间圆形目标成像的坐标变换分别计算圆心在各自相机坐标系下的位姿表示，记为r)。

S7:由S2得到将S6中得到的三角形内切圆中心位姿转换到左相机坐标系下，组成封闭解，利用最小二乘法求得卫星喷嘴与三角支架内切圆的半径，从而求得喷嘴与三角型支架中心的位姿信息。

参照图4，作为本发明的一个实施例的多视点三维重建示意图。将点云邻域点的平均距离、曲率和法向夹角来表达点云模型的特征。

首先，将待匹配的两帧点云记为P_A和P_B，计算两组点云的特征参数f(p_i)，判断所选特征点是否满足f(p_i)＞τ_f(τf为特征参数的阀值)。

设点点如果满足和则点是点的对应点。

其次，把对应点对之间的欧氏距离作为目标的优化指标，则配准的目标函数可定义为：

采用单位四元数法来求解变换矩阵，根据式(1)可以求得旋转矩阵^AR_B，于是，平移向量^At_B可表示为：

其中，分别为点集P_A，P_B的均值。

进一步地，将几何特征引入到误差函数可得：

重复步骤(2)与(3)，直至迭代误差d＜τ或迭代次数超过阈值才退出。

进一步地，将求得的位姿变换矩阵为依据将目标点云转换到参考点云所在的坐标系中，实现对待配卫星点云的配准。

卫星三维重建后的三维无序点云只包含三维坐标信息，无任何拓扑信息，它的边界线是由明显曲率特征的特征点组成。假设三维点云的数据集为{P}，对于任意点P_i的邻域内n个点，如果分布在一侧，则可认为点P_i为边界特征点。反之，认为P_i是内部点。基于此可以利用数据点P_i及其周围点的分布来判断是否为边界点。令任意点P_i的坐标为(x_i,y_i,z_i)^T，当找出了所有的边界点，P_i邻域内点形心的坐标可表示为

假设P_i邻域内点拟合的平面方程π为：

a₁x+a₂y+a₃z+a₄＝0 (5)

以P_i邻域内n个点到π距离的平方和最小建立目标函数：

为了使f(a₁,a₂,a₃,a₄)最小，令可以得到：

a₄＝-(a₁x_c+a₂y_c+a₃z_c) (7)

于是，式(6)可进一步化简为

由于根据(8)可以建立拉格朗日优化方程：

令

对式(8)求偏导可以得到：

(J-κI₃₃)·[a₁,a₂,a₃]^T＝0 (10)

根据式(10)可以得到：

于是，最小特征值λ_min(J)对应矩阵J的特征向量就是所求切平面的法向量根据求得的形心P_center和法向量(a₁,a₂,a₃)^T即可确定切平面的方程。设P_i点在所求切平面上投影点P_i'的坐标为由于该投影点在过点P_i且方向向量为的空间直线上，即有：

由式(12)可解出投影点的坐标为：

提取到切平面π之后，把点集{P_i}向切平面π投影，得到二维投影点集{P_i'}。当提取到了二维离散边界曲线后，就可以根据霍夫变换获得二维点集的椭圆特征与三角支架特征，进而获得喷嘴圆心与三角支架内切圆圆心的位置矢量以及法向量。

参照图5，是本发明实施例的等腰三角形像平面投影关系示意图。

根据等腰三角形内切圆在像平面的仿射变换可知，原三角支架的内切圆圆心经过仿射变换在像平面内变成了椭圆的中心，切点P_E的坐标可表示为：

假设平面椭圆的方程为：

Au²+Buv+Cv²+Du+Ev+F＝0 (15)

式中，A,B,C,D,E,F为椭圆方程二次型的6个参数。

进一步地，椭圆二次型可以表示为：

联立式(16)与(15)，椭圆的几何形式的5个参数可以表示为：

显然，点O'在AE两点组成的直线上，即有：

(v_E-v₁)u_c-(u_E-u₁)v_c＝(v_E-v₁)u₁-(u_E-u₁)v₁ (18)

在像平面内，过椭圆上任意点(u_p,v_p)的切线方程可以表示为：

2Auu_p+B(u_pv+uv_p)+2Cvv_p+D(u+u_p)+E(v+v_p)＝0 (19)

由于P₂'与P₃'在过P_D点的椭圆切线上，于是有：

根据方程组(20)，P_D点的像素坐标可表示为:

同理，P_E与P_F点的像素坐标可分别表示为:

根据式(14)与式(22)，有如下关系：

另一方面，三个切点(k＝D,E,F)都在椭圆上，即有

联立式(24)、(25)以及式(18)即可通过数值法求得椭圆方程的6个参数。

参照图6，是本发明实施例的三角支架的位姿等效测量示意图。三角形卫星支架的内切圆经过相机的仿射变换变成了相平面里面的内切椭圆。

三角支架内切圆在像平面内呈现的结果是椭圆，根据求解得到的椭圆六个参数A,B,C,D,E,F，结合公式(17)可以得到像平面上的椭圆参数(u_c,v_c,a_c,b_c,θ)。

把椭圆平面转换到归一化焦平面上有：

式中，f_u,f_v,u₀,v₀为相机标定参数。

将相机模型(26)代入(16)可得空间斜圆锥在相机坐标系下的方程：

式中

令X_c＝[x_c,y_c,z_c]^T，则斜圆锥方程(27)又可以表示为：

式中，

假设矩阵A的特征值为λ₁(A),λ₂(A),λ₃(A)，对应的规范化特征向量为把P写成列向量的形式[r₁r₂r₃]，不失一般性，令λ₁(A)≥λ₂(A)＞0，则有

参照图7，是本发明实施例的虚拟立体视觉位姿解算结构图。与分别表示左、右相机的图像坐标系，表示右相机相对于左相机坐标系的齐次变换矩阵，所测量的空间圆平面分别为与

根据双目标定结果，右抓捕圆面的位姿在左相机坐标系下的表示为：

根据远距离多视点协同测量的结果，左右抓捕圆面的圆心位置以及法向量之间的相对关系可以用齐次变换矩阵来表示，于是右抓捕面相对于左抓捕面的位置和姿态可表示为：

比较公式(31)与公式(33)可得：

式中

对于公式(35)的求解可以采用最小二乘法，于是

式中，

于是，喷嘴中心的位姿为：

同理，三角支架内切圆中心的位姿为：

由于每次测量都可以得到两组解，为了获得目标抓捕面的法向量，可以通过比较左右手眼相机在左相机坐标系下两个法向量的夹角来衡量，取它们之间夹角最小的那组解作为最终视觉测量的位姿解。

另一方面，本发明还提供一种基于虚拟立体视觉的非合作目标协同测量系统，包括：

图像采集模块，用于执行步骤获取非合作翻滚目标的三维点云图；

图像处理模块，用于执行步骤提取出所述三维点云图中卫星的喷嘴中心与三角支架内切圆中心的相对位姿关系；

对获取的卫星喷嘴与三角支架的图像进行图像预处理操作；

对所述卫星喷嘴与三角支架的图像分别进行处理，通过坐标转换获得在特定坐标系下的位姿关系；

位姿求解模块，用于执行步骤利用最小二乘法求得所述卫星喷嘴与三角支架内切圆的半径，以得到喷嘴与三角支架中心的位姿信息。

再一方面，本发明还提供一种基于虚拟立体视觉的非合作目标协同测量设备，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如所述的方法。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如所述的方法。

本发明实现了双臂空间机器人系统采用每个臂携带一个相机并观测不同对象下(每个臂“单臂-单目”配置)的双臂协同测量方法，降低了测量系统的硬件数量，扩展了测量系统的能力。通过求解多特征的几何约束方程，从而确定位姿信息，减少了传感器数量和计算复杂度，降低了空间测量的成本、功耗与质量，对于太空应用而言具有极其重要的意义。

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种基于虚拟立体视觉的非合作目标协同测量方法，其特征在于，包括以下步骤：

获取非合作翻滚目标的三维点云图；

提取出所述三维点云图中卫星的喷嘴中心与三角支架内切圆中心的相对位姿关系；

对获取的卫星喷嘴与三角支架的图像进行图像预处理操作；

对所述卫星喷嘴与三角支架的图像分别进行处理，通过坐标转换获得在特定坐标系下的位姿关系；

利用最小二乘法求得所述卫星喷嘴与三角支架内切圆的半径，以得到喷嘴与三角支架中心的位姿信息。

2.根据权利要求1所述的基于虚拟立体视觉的非合作目标协同测量方法，其特征在于，通过采用双目相机来获取所述三维点云图。

3.根据权利要求1所述的基于虚拟立体视觉的非合作目标协同测量方法，其特征在于，所述方法包括：通过Hough检测获取到卫星的喷嘴中心及三角支架。

4.根据权利要求1至3任一项所述的基于虚拟立体视觉的非合作目标协同测量方法，其特征在于，所述方法还包括：对获取的卫星喷嘴与三角支架的图像进行图像增强处理，并对所述图像进行滤波和边缘检测。

5.根据权利要求4所述的基于虚拟立体视觉的非合作目标协同测量方法，其特征在于，所述方法包括：通过分别设置于机器人左、右机械臂的单目相机来分别采集卫星喷嘴与三角支架的图像。

6.根据权利要求5所述的基于虚拟立体视觉的非合作目标协同测量方法，其特征在于，所述方法还包括：对左臂手眼相机采集的图像进行Hough椭圆检测，得到表示椭圆的相关参数；对右臂手眼相机进行Hough直线检测，并提取三条直线的交点，从而获取三角支架的边缘特征。

7.根据权利要求6所述的基于虚拟立体视觉的非合作目标协同测量方法，其特征在于，所述方法还包括：获取所述三角支架的内切椭圆的相关参数。

8.根据权利要求1或7所述的基于虚拟立体视觉的非合作目标协同测量方法，其特征在于，通过空间圆形目标成像的坐标变换方法，分别求得所述喷嘴中心与三角支架内切圆中心在各自相机坐标系下的位姿关系。

9.根据权利要求8所述的基于虚拟立体视觉的非合作目标协同测量方法，其特征在于，所述方法还包括：将所述三角支架内切圆中心的位姿转换到左相机坐标系下，组成封闭解，求得卫星喷嘴与三角支架内切圆的半径，从而求得喷嘴与三角支架中心的位姿信息。

10.一种基于虚拟立体视觉的非合作目标协同测量系统，其特征在于，包括：

图像采集模块，用于执行步骤获取非合作翻滚目标的三维点云图；

图像处理模块，用于执行步骤提取出所述三维点云图中卫星的喷嘴中心与三角支架内切圆中心的相对位姿关系；

对获取的卫星喷嘴与三角支架的图像进行图像预处理操作；

对所述卫星喷嘴与三角支架的图像分别进行处理，通过坐标转换获得在特定坐标系下的位姿关系；

位姿求解模块，用于执行步骤利用最小二乘法求得所述卫星喷嘴与三角支架内切圆的半径，以得到喷嘴与三角支架中心的位姿信息。