CN112556658A - 一种基于双目立体视觉的对接环抓捕点测量方法及系统 - Google Patents
一种基于双目立体视觉的对接环抓捕点测量方法及系统 Download PDFInfo
- Publication number
- CN112556658A CN112556658A CN202011018918.0A CN202011018918A CN112556658A CN 112556658 A CN112556658 A CN 112556658A CN 202011018918 A CN202011018918 A CN 202011018918A CN 112556658 A CN112556658 A CN 112556658A
- Authority
- CN
- China
- Prior art keywords
- camera
- right eye
- point
- coordinate system
- left eye
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 210000001503 joint Anatomy 0.000 title claims description 43
- 238000003032 molecular docking Methods 0.000 claims abstract description 81
- 238000005259 measurement Methods 0.000 claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 13
- 239000011159 matrix material Substances 0.000 claims description 40
- 238000012937 correction Methods 0.000 claims description 23
- 238000000691 measurement method Methods 0.000 claims description 17
- 238000001914 filtration Methods 0.000 claims description 15
- 238000013519 translation Methods 0.000 claims description 14
- 238000003384 imaging method Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000000149 penetrating effect Effects 0.000 claims description 3
- 230000035515 penetration Effects 0.000 claims description 3
- 230000007704 transition Effects 0.000 claims description 3
- 239000003550 marker Substances 0.000 abstract description 4
- 230000000007 visual effect Effects 0.000 description 8
- 230000008901 benefit Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
- G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
- G01C11/12—Interpretation of pictures by comparison of two or more pictures of the same area the pictures being supported in the same relative position as when they were taken
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于双目立体视觉的对接环抓捕点测量方法及系统，其中，该方法包括在机械臂末端上配置彩色双目相机，使其与末端固联，且两相机公共视场覆盖对接环抓捕点特征区域。两台相机以对接环内外边缘为主要识别对象，通过图像处理算法获取抓捕点附近的对接环特征信息，然后采用立体匹配的方式得到对接环内外边缘所对应的三维空间点云，最后利用点云数据来解算抓捕点相对于机械臂末端的位置和姿态。本发明直接以非合作目标航天上的典型自然特征为识别对象，不需要在目标星上安装辅助测量的合作标志器，也不需要知道对接环特征的尺寸等先验信息。
Description
技术领域
本发明属于非合作航天器抓捕点的相对测量技术领域，尤其涉及一种基于双目立体视觉的对接环抓捕点测量方法及系统。
背景技术
习惯上，空间目标具有合作性是指目标可以向服务航天器传递相对运动状态信息，或向服务航天器提供便于进行接近、捕获等操作的条件。这类航天器通常安装有用于测量的特征标识和机械臂抓持或对接的装置。已经成功进行在轨试验的航天器服务项目大都是针对合作目标的，如日本的ETS-VII和美国的“轨道快车”。在这些在轨服务任务中，通常利用视觉手段来测量目标的相对位姿，目标上大都会安装有辅助视觉测量的合作标识。位姿测量算法采用PNP算法，即假定相机为小孔模型且已标定好，拍摄一幅在物体坐标系下坐标已知的 N个空间点的图像，利用这N个点的像素坐标以及这N个点之间的约束关系，就可以确定这N个点在相机坐标系下的坐标，进而能够解算出目标与相机之间的相对位姿关系。
相对而言，非合作目标是指那些无法向服务航天器提供相对状态信息，而且接近捕获所需信息都未知的航天器。目前在轨的卫星大都没有考虑接受在轨服务，因而没有安装辅助交会测量的合作标识，因此卫星都属于非合作目标的范畴。非合作目标不能向服务航天器提供有效的合作信息，这就给相对测量带来了极大的挑战。
发明内容
本发明解决的技术问题是：克服现有技术的不足，提供了一种基于双目立体视觉的对接环抓捕点测量方法及系统，解决了一类包含对接环特征的非合作航天器抓捕任务中，空间机械臂难以对目标航天器抓捕点进行相对位姿测量的问题。
本发明目的通过以下技术方案予以实现：一种基于双目立体视觉的对接环抓捕点测量方法，所述方法包括如下步骤：(1)以非合作目标的对接环为识别目标，利用机械臂末端的双目相机进行对接环抓捕点成像；其中，在视觉测量距离范围内，左目相机、右目相机均能对对接环内边缘和外边缘区域进行图像捕捉；(2)对左目相机采集到的左目原始图像和右目相机采集到的右目原始图像进行滤波去噪处理；(3)对步骤(2)所得的滤波去噪处理后的左目原始图像和右目原始图像进行颜色模型转换，由RGB图像转换为HSV图像，同时获取 HSV图像模式下的左目V亮度图像和右目V亮度图像；(4)对步骤(3)所得左目V亮度图像和右目V亮度图像进行外极线校正，使左目V亮度图像和右目V亮度图像的行对准；(5)对步骤(4)所得外极线校正后的左目V亮度图像和右目V亮度图像进行二值化处理；(6)对步骤(5)所得二值化处理后的左目V亮度图像和右目V亮度图像进行对接环内边缘、外边缘参数检索，其中，对接环内边缘、外边缘参数包括左目内边缘弧段点集φL、左目外边缘弧段点集ψL、右目内边缘弧段点集φR、右目外边缘弧段点集ψR；(7)在左目内边缘弧段点集φL、左目外边缘弧段点集ψL、右目内边缘弧段点集φR、右目外边缘弧段点集ψR中选取子集来进行三维重构并获取对接环边缘的三维点云数据；(8)利用步骤 (7)获得的三维点云数据，建立目标坐标系ΣT并计算对接环抓捕点相对于预设相机安装坐标系ΣC的位姿参数，其中，所述位姿参数包括旋转矩阵CRT和平移向量CTT；(9)获得预设相机安装坐标系ΣC与预设机械臂末端坐标系ΣE之间的相对关系，并得到机械臂末端与对接环抓捕点的相对位姿关系。
上述基于双目立体视觉的对接环抓捕点测量方法中，在步骤(4)中，外极线校正的校正公式如下：
其中，[uL vL 1]T、[uR vR 1]T分别为空间点在校正前左目V亮度图像和右目V亮度图像中的齐次像素坐标，[u′L v′L 1]T、[u′R v′R 1]T分别为空间点在校正后左目V亮度图像和右目V亮度图像中的齐次像素坐标，ML、MR分别为左目相机和右目相机的内参数矩阵，RL、RR分别为左目相机和右目相机坐标系旋转矩阵，M′为校正后相机内参数矩阵，Rrec为校正后相机坐标系旋转矩阵，λL、λR≠0是常数。
上述基于双目立体视觉的对接环抓捕点测量方法中，对校正后相机坐标系旋转矩阵Rrec确定过程如下：
预设极点的方向为e1：
预设与极点的方向e1和相机主轴方向向量TZ正交的方向为e2：
e2＝TZ×e1
则与e1、e2正交的方向为e3：
e3＝e1×e2
最终可得校正后相机坐标系旋转矩阵为：
上述基于双目立体视觉的对接环抓捕点测量方法中，在步骤(6)中，对步骤(5)所得二值化处理后的左目V亮度图像和右目V亮度图像进行对接环内边缘、外边缘参数检索包括如下步骤：在二值化处理后的左目V亮度图像和右目V亮度图像中进行连通域搜索，确定对接环的区域，剔除图像中存在的干扰；沿径向或穿过对接环方向进行贯穿检测，得到对接环抓捕点区域的内边缘和外边缘；根据对接环边缘的平滑特性对边缘进行过滤；对连续像素之间进行线性插值，实现边缘平滑过渡。
上述基于双目立体视觉的对接环抓捕点测量方法中，在步骤(7)中，选取子集的坐标满足条件如下：
其中，vLi、vRi分别为预设特征点Pi在左相机、右目相机中的图像纵坐标，vLo、 vRo分别为左相机、右目相机像平面中心点的图像纵坐标。
上述基于双目立体视觉的对接环抓捕点测量方法中，在步骤(7)中，获取对接环边缘的三维点云数据包括如下步骤：
根据左、右目相机成像投影关系：
其中，μL、μR≠0为常数，
为左目相机的投影变换矩阵，
为右目相机的投影变换矩阵；
联立构建矩阵方程得：
KCPi＝U；
其中，
求解得到预设特征点Pi在相机安装坐标系下的三维坐标：
CPi＝(KTK)-1KTU；
其中，(uLi,vLi)、(uRi,vRi)分别为预设特征点Pi在左相机、右目相机中的图像坐标，RLj、TLn、RRj、TRn均为相机投影变换矩阵的元素，j＝1、2、……、9，n＝1、2、3， K、U均为联立计算过程中得到的系数矩阵，CPi为预设特征点Pi在相机安装坐标系下的三维坐标向量，CXi为预设特征点Pi在相机安装坐标系下的X坐标，CYi为预设特征点Pi在相机安装坐标系下的Y坐标，CZi为预设特征点Pi在相机安装坐标系下的Z坐标，CPi＝[CXi CYi CZi]。
上述基于双目立体视觉的对接环抓捕点测量方法中，在步骤(8)中，建立目标坐标系ΣT并计算对接环抓捕点相对于预设相机安装坐标系ΣC的位姿参数包括如下步骤：
利用左目内边缘弧段点集、右目内边缘弧段点集、左目外边缘弧段点集和右目外边缘弧段点集的三维空间坐标来求取对接环环带的中心位置：
其中，Oavg为对接环环带的中心位置，Xavg、Yavg、Zavg分别为对接环环带的中心位置的X、Y、Z坐标；
对重建出的n1+n2个空间点进行拟合获得平面Γ，平面Γ的方程为：
AX+BY+CZ+D＝0
其中，A、B、C、D为平面Γ方程的系数；
将n1+n2个空间点的三维坐标代入上述公式构建矩阵方程：
AX-l＝0；
式中
X＝[A B C]T，l＝[-D -D ... -D]T；A为由 n1+n2个空间点的三维坐标组成的矩阵，X为由平面方程系数A、B、C组成的向量，Xq、Yq、Zq分别为n1+n2个空间点的X、Y、Z坐标，q＝1、2、……、n1+n2， l为由平面方程系数D组成的向量；
从而求得平面Γ即对接环被观测面的法向量为：
X＝(ATA)-1ATl；
取预设点Oavg在拟合平面Γ上的投影OT作为目标坐标系ΣT的原点位置：
将左目外边缘弧段点集和右目外边缘弧段点集投影到平面Γ上，并求取投影点与点OT之间的距离d，预设点PT为距离点OT最近的投影点，即：
以此方向作为目标坐标系ΣT的X轴：
以平面Γ的法向量为目标坐标系ΣT的Z轴：
目标坐标系ΣT的Y轴可得：
目标坐标系ΣT相对于相机安装坐标系ΣC的旋转矩阵为：
CRT＝[n o a]；
目标坐标系ΣT相对于相机安装坐标系ΣC的平移向量即为：
CTT＝[CXT CYT CZT]T。
上述基于双目立体视觉的对接环抓捕点测量方法中，在步骤(9)中，预设相机安装坐标系ΣC与预设机械臂末端坐标系ΣE之间的相对关系如下：
EPi＝ERC×CPi+ETC；
式中，ERC和ETC分别是相机安装坐标系相对于机械臂末端坐标系的旋转矩阵和平移向量，CPi、EPi分别表示预设特征点Pi在相机安装坐标系ΣC、机械臂末端坐标系ΣE的坐标。
上述基于双目立体视觉的对接环抓捕点测量方法中，在步骤(9)中，机械臂末端与对接环抓捕点的相对位姿关系为：
一种基于双目立体视觉的对接环抓捕点测量系统，包括：第一模块，用于以非合作目标的对接环为识别目标，利用机械臂末端的双目相机进行对接环抓捕点成像；其中，在视觉测量距离范围内，左目相机、右目相机均能对对接环内边缘和外边缘区域进行图像捕捉；第二模块，用于对左目相机采集到的左目原始图像和右目相机采集到的右目原始图像进行滤波去噪处理；第三模块，用于对第二模块所得的滤波去噪处理后的左目原始图像和右目原始图像进行颜色模型转换，由RGB图像转换为HSV图像，同时获取HSV图像模式下的左目V亮度图像和右目V亮度图像；第四模块，用于对第三模块所得左目V亮度图像和右目V亮度图像进行外极线校正，使左目V亮度图像和右目V亮度图像的行对准；第五模块，用于对第四模块所得外极线校正后的左目V亮度图像和右目V亮度图像进行二值化处理；第六模块，用于对第五模块所得二值化处理后的左目V亮度图像和右目V亮度图像进行对接环内边缘、外边缘参数检索，其中，对接环内边缘、外边缘参数包括左目内边缘弧段点集φL、左目外边缘弧段点集ψL、右目内边缘弧段点集φR、右目外边缘弧段点集ψR；第七模块，用于在左目内边缘弧段点集φL、左目外边缘弧段点集ψL、右目内边缘弧段点集φR、右目外边缘弧段点集ψR中选取子集来进行三维重构并获取对接环边缘的三维点云数据；第八模块，用于利用第七模块获得的三维点云数据，建立目标坐标系ΣT并计算对接环抓捕点相对于预设相机安装坐标系ΣC的位姿参数，其中，所述位姿参数包括旋转矩阵CRT和平移向量CTT；第九模块，用于获得预设相机安装坐标系ΣC与预设机械臂末端坐标系ΣE之间的相对关系，并得到机械臂末端与对接环抓捕点的相对位姿关系。
本发明与现有技术相比具有如下有益效果：
(1)针对非合作目标航天器上的对接环特征，提出了一种机械臂抓捕的手眼测量方法，有效解决了非合作目标测量问题，不依赖人工布置的视觉标记。
(2)本发明提供的视觉测量方法可应用于超近距离，不需要在接近测量过程中对整个对接环的全程可视，有效解决了受视场限制可识别特征少的问题。
(3)本发明所采用的视觉测量设备具有质量轻、功耗低等优点，提出的相对位姿估计方法简单、有效、可靠，更适合于资源较为匮乏的空间环境。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1是本发明实施例提供的基于双目立体视觉的对接环抓捕点测量方法的流程图；
图2是本发明实施例提供的对接环抓捕点成像测量示意图；
图3是本发明实施例提供的目标坐标系建立示意图
图4是本发明实施例提供的位姿计算相关坐标系的示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
本实施例主要针对非合作目标航天器上典型的对接环结构，提出一种基于双目手眼视觉的抓捕点相对测量方法，用于空间机器人的在轨操控任务。
本实施例采用的方法是：在机械臂末端上配置彩色双目相机，使其与末端固联，且两相机公共视场覆盖对接环抓捕点特征区域。两台相机以对接环内外边缘为主要识别对象，通过图像处理算法获取抓捕点附近的对接环特征信息，然后采用立体匹配的方式得到对接环内外边缘所对应的三维空间点云，最后利用点云数据来解算抓捕点相对于机械臂末端的位置和姿态。该方法直接以非合作目标航天上的典型自然特征为识别对象，不需要在目标星上安装辅助测量的合作标志器，也不需要知道对接环特征的尺寸等先验信息。
如图1所示，基于双目立体视觉的对接环抓捕点测量方法，主要包括以下步骤：
(1)以非合作目标的对接环为识别目标，利用机械臂末端的双目彩色相机进行对接环抓捕点成像；其中，在视觉测量距离范围内，左目相机、右目相机均能对对接环内边缘和外边缘区域进行图像捕捉；
(2)对左、右目相机采集到的原始图像进行滤波去噪处理；
(3)对步骤(2)所得的滤波处理后的去噪图像进行颜色模型转换，由RGB 图像转换为HSV图像，同时获取HSV图像模式下的V亮度图像；
(4)对步骤(3)所得V亮度图像进行外极线校正，使左、右目图像行对准：
所述外极线校正的校正公式如下：
其中，[uL vL 1]T、[uR vR 1]T分别为空间点在校正前左、右目图像中的齐次像素坐标，[u′L v′L 1]T、[u′R v′R 1]T分别为空间点在校正后左、右目图像中的齐次像素坐标，ML、MR分别为左、右目相机的内参数矩阵，RL、RR分别为左、右目相机坐标系旋转矩阵，M′为校正后相机内参数矩阵，Rrec为校正后相机坐标系旋转矩阵，λL、λR≠0为常数。
(5)选取固定阈值对步骤(4)所得外极线校正后的双目图像进行二值化处理；
(6)对步骤(5)所得二值化处理后的双目图像进行对接环内边缘、外边缘参数检索，其中，对接环内边缘、外边缘参数包括左目内边缘弧段点集φL、左目外边缘弧段点集ψL、右目内边缘弧段点集φR、右目外边缘弧段点集ψR；
(7)在左目内边缘弧段点集φL、左目外边缘弧段点集ψL、右目内边缘弧段点集φR、右目外边缘弧段点集ψR中选取子集来进行三维重构并获取对接环边缘的三维点云；
其中，取参数κ＝2，即有所选图像点子集中的坐标满足条件：
其中(uLi,vLi)、(uLi,vLi)分别为点Pi在左、右目相机中的图像坐标，(uLo,vLo)、(uRo,vRo)分别表示左、右目相机像平面中心点的图像坐标，。
重建出的空间点云包括内边缘弧段点集Φ(n1个空间点)、外边缘弧段点集Ψ(n2个空间点)。
(8)利用获得的三维点云数据，建立目标坐标系ΣT并计算对接环抓捕点相对于相机安装坐标系ΣC的位姿参数，所述位姿参数包括旋转矩阵CRT和平移向量CTT；
(9)通过标定获得相机安装坐标系ΣC与机械臂末端坐标系ΣE之间的相对关系，并解算机械臂末端与对接环抓捕点的相对位姿关系。
本发明对预处理过的左目图像和右目图像进行外极线校正。校正后相机坐标系旋转矩阵Rrec确定过程如下：
首先选择e1为极点的方向：
选择与e1和相机主轴TZ正交的方向为e2：
e2＝TZ×e1
那么e3与e1、e2正交，可得：
e3＝e1×e2
最终可得校正后相机坐标系旋转矩阵为：
本实施例中对左、右目二值化图像进行搜索检测，获得抓捕点附近对接环的内、外边缘的过程包括：
(1)在二值化图像中进行连通域搜索，确定对接环的区域，剔除图像中存在的干扰；
(2)沿径向或穿过对接环方向进行贯穿检测，确定对接环抓捕点区域的内边缘和外边缘；
(3)根据对接环边缘的平滑特性对边缘进行过滤；
(4)对连续像素之间进行线性插值，实现边缘平滑过渡。
通过特征检测获得抓捕点附近对接环的内、外边缘，如图2所示。在左目相机图像中，提取的特征图像点分为两个点集：内边缘弧段点集φL、外边缘弧段点集ψL。同样地，右目相机图像中也提取出了与左目图像相匹配的内边缘弧段点集φR、外边缘弧段点集ψR。
本实施例中对抓捕点附近的对接环内边缘和外边缘特征点分别进行三维重构，以得到对接环边缘的三维点云。按照式
的条件在内边缘弧段点集φL(φR)、外边缘弧段点集ψL(ψR)中取图像点子集来进行位姿解算。
对于左、右目相机，其成像投影关系为
其中μL、μR≠0为常数，ML、MR为左、右目相机投影矩阵，[CXi CYi CZi 1]T为特征边缘点Pi的在相机安装坐标系下的齐次坐标。
联立构建矩阵方程可得：
KCPi＝U
其中
求解可得特征点的三维坐标：
CPi＝(KTK)-1KTU
通过三维重建，得到了两组空间点云包括：内边缘弧段点集Φ(n1个空间点)、外边缘弧段点集Ψ(n2个空间点)。
本发明利用内边缘弧段点集Φ、外边缘弧段点集Ψ的三维空间坐标来求取对接环环带的中心位置：
如图3所示，对重建出的n1+n2个空间点进行拟合获得平面Γ。首先构建一般平面方程
AX+BY+CZ+D＝0
将n1+n2个空间点的三维坐标代入平面方程可得：
AX-l＝0
式中
X＝[A B C]T，l＝[-D -D ... -D]T。
从而求得拟合平面Γ(即对接环被观测面)的法向量为
X＝(ATA)-1ATl
取点Oavg在拟合平面Γ上的投影OT作为目标坐标系ΣT的原点位置：
将外边缘弧段点集Ψ(n2个空间点)投影到平面Γ上，并求取投影点与点OT之间的距离d。设点PT为距离点OT最近的投影点，即
则以此方向作为目标坐标系ΣT的X轴：
以平面Γ的法向量为目标坐标系ΣT的Z轴：
目标坐标系ΣT的Y轴可得：
目标坐标系ΣT相对于相机安装坐标系ΣC的旋转矩阵为
CRT＝[n o a]
目标坐标系ΣT相对于相机安装坐标系ΣC的平移向量即为
CTT＝[XT YT ZT]T
如图4所示，通过相机安装坐标系ΣC与机械臂末端坐标系ΣE之间的相对关系标定结果，计算对接环抓捕点和机械臂末端之间的相对位姿关系。相机安装坐标系ΣC与机械臂末端坐标系ΣE之间的相对关系如下：
EPi＝ERC×CPi+ETC
式中ERC和ETC分别是相机安装坐标系相对于机械臂末端坐标系的旋转矩阵和平移向量，CPi、EPi分别表示某特征点Pi在相机安装坐标系、机械臂末端坐标系的坐标。因此可以得到机械臂末端与对接环抓捕点的相对位姿为：
本实施例还提供了一种基于双目立体视觉的对接环抓捕点测量系统，包括：第一模块，用于以非合作目标的对接环为识别目标，利用机械臂末端的双目相机进行对接环抓捕点成像；其中，在视觉测量距离范围内，左目相机、右目相机均能对对接环内边缘和外边缘区域进行图像捕捉；第二模块，用于对左目相机采集到的左目原始图像和右目相机采集到的右目原始图像进行滤波去噪处理；第三模块，用于对第二模块所得的滤波去噪处理后的左目原始图像和右目原始图像进行颜色模型转换，由RGB图像转换为HSV图像，同时获取HSV图像模式下的左目V亮度图像和右目V亮度图像；第四模块，用于对第三模块所得左目V亮度图像和右目V亮度图像进行外极线校正，使左目V亮度图像和右目V 亮度图像的行对准；第五模块，用于对第四模块所得外极线校正后的左目V亮度图像和右目V亮度图像进行二值化处理；第六模块，用于对第五模块所得二值化处理后的左目V亮度图像和右目V亮度图像进行对接环内边缘、外边缘参数检索，其中，对接环内边缘、外边缘参数包括左目内边缘弧段点集φL、左目外边缘弧段点集ψL、右目内边缘弧段点集φR、右目外边缘弧段点集ψR；第七模块，用于在左目内边缘弧段点集φL、左目外边缘弧段点集ψL、右目内边缘弧段点集φR、右目外边缘弧段点集ψR中选取子集来进行三维重构并获取对接环边缘的三维点云数据；第八模块，用于利用第七模块获得的三维点云数据，建立目标坐标系ΣT并计算对接环抓捕点相对于预设相机安装坐标系ΣC的位姿参数，其中，所述位姿参数包括旋转矩阵CRT和平移向量CTT；第九模块，用于获得预设相机安装坐标系ΣC与预设机械臂末端坐标系ΣE之间的相对关系，并得到机械臂末端与对接环抓捕点的相对位姿关系。
本实施例针对非合作目标航天器上典型的对接环结构，提出一种基于双目视觉的机械臂手眼相对测量方法，在机械臂末端上配置彩色双目相机，使其与末端固联，且两相机公共视场覆盖对接环抓捕点特征区域。两台相机以对接环内外边缘为主要识别对象，通过图像处理算法获取抓捕点附近的对接环特征信息，然后采用立体匹配的方式得到对接环内外边缘所对应的三维空间点云，最后利用点云数据来解算抓捕点相对于机械臂末端的位置和姿态。该方法直接以非合作目标航天上的典型自然特征为识别对象，不需要在目标星上安装辅助测量的合作标志器，也不需要知道对接环特征的尺寸等先验信息。
针对非合作目标航天器上的对接环特征，提出了一种机械臂抓捕的手眼测量方法，有效解决了非合作目标测量问题，不依赖人工布置的视觉标记。本发明提供的视觉测量方法可应用于超近距离，不需要在接近测量过程中对整个对接环的全程可视，有效解决了受视场限制可识别特征少的问题。本发明所采用的视觉测量设备具有质量轻、功耗低等优点，提出的相对位姿估计方法简单、有效、可靠，更适合于资源较为匮乏的空间环境。
本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。
Claims (10)
1.一种基于双目立体视觉的对接环抓捕点测量方法，其特征在于，所述方法包括如下步骤：
(1)以非合作目标的对接环为识别目标，利用机械臂末端的双目相机进行对接环抓捕点成像；其中，在视觉测量距离范围内，左目相机、右目相机均能对对接环内边缘和外边缘区域进行图像捕捉；
(2)对左目相机采集到的左目原始图像和右目相机采集到的右目原始图像进行滤波去噪处理；
(3)对步骤(2)所得的滤波去噪处理后的左目原始图像和右目原始图像进行颜色模型转换，由RGB图像转换为HSV图像，同时获取HSV图像模式下的左目V亮度图像和右目V亮度图像；
(4)对步骤(3)所得左目V亮度图像和右目V亮度图像进行外极线校正，使左目V亮度图像和右目V亮度图像的行对准；
(5)对步骤(4)所得外极线校正后的左目V亮度图像和右目V亮度图像进行二值化处理；
(6)对步骤(5)所得二值化处理后的左目V亮度图像和右目V亮度图像进行对接环内边缘、外边缘参数检索，其中，对接环内边缘、外边缘参数包括左目内边缘弧段点集φL、左目外边缘弧段点集ψL、右目内边缘弧段点集φR、右目外边缘弧段点集ψR；
(7)在左目内边缘弧段点集φL、左目外边缘弧段点集ψL、右目内边缘弧段点集φR、右目外边缘弧段点集ψR中选取子集来进行三维重构并获取对接环边缘的三维点云数据；
(8)利用步骤(7)获得的三维点云数据，建立目标坐标系ΣT并计算对接环抓捕点相对于预设相机安装坐标系ΣC的位姿参数，其中，所述位姿参数包括旋转矩阵CRT和平移向量CTT；
(9)获得预设相机安装坐标系ΣC与预设机械臂末端坐标系ΣE之间的相对关系，并得到机械臂末端与对接环抓捕点的相对位姿关系。
2.根据权利要求1所述的基于双目立体视觉的对接环抓捕点测量方法，其特征在于：在步骤(4)中，外极线校正的校正公式如下：
其中，[uL vL 1]T、[uR vR 1]T分别为空间点在校正前左目V亮度图像和右目V亮度图像中的齐次像素坐标，[u′L v′L 1]T、[u′R v′R 1]T分别为空间点在校正后左目V亮度图像和右目V亮度图像中的齐次像素坐标，ML、MR分别为左目相机和右目相机的内参数矩阵，RL、RR分别为左目相机和右目相机坐标系旋转矩阵，M′为校正后相机内参数矩阵，Rrec为校正后相机坐标系旋转矩阵，λL、λR≠0是常数。
3.根据权利要求2所述的基于双目立体视觉的对接环抓捕点测量方法，其特征在于：对校正后相机坐标系旋转矩阵Rrec确定过程如下：
预设极点的方向为e1：
预设与极点的方向e1和相机主轴方向向量TZ正交的方向为e2：
e2＝TZ×e1
则与e1、e2正交的方向为e3：
e3＝e1×e2
最终可得校正后相机坐标系旋转矩阵为：
4.根据权利要求2所述的基于双目立体视觉的对接环抓捕点测量方法，其特征在于：在步骤(6)中，对步骤(5)所得二值化处理后的左目V亮度图像和右目V亮度图像进行对接环内边缘、外边缘参数检索包括如下步骤：
在二值化处理后的左目V亮度图像和右目V亮度图像中进行连通域搜索，确定对接环的区域，剔除图像中存在的干扰；
沿径向或穿过对接环方向进行贯穿检测，得到对接环抓捕点区域的内边缘和外边缘；
根据对接环边缘的平滑特性对边缘进行过滤；
对连续像素之间进行线性插值，实现边缘平滑过渡。
5.根据权利要求1所述的基于双目立体视觉的对接环抓捕点测量方法，其特征在于：在步骤(7)中，选取子集的坐标满足条件如下：
其中，vLi、vRi分别为预设特征点Pi在左相机、右目相机中的图像纵坐标，vLo、vRo分别为左相机、右目相机像平面中心点的图像纵坐标。
6.根据权利要求5所述的基于双目立体视觉的对接环抓捕点测量方法，其特征在于：在步骤(7)中，获取对接环边缘的三维点云数据包括如下步骤：
根据左、右目相机成像投影关系：
其中，μL、μR≠0为常数，
为左目相机的投影变换矩阵，
为右目相机的投影变换矩阵；
联立构建矩阵方程得：
KCPi＝U；
其中，
求解得到预设特征点Pi在相机安装坐标系下的三维坐标：
CPi＝(KTK)-1KTU；
其中，(uLi,vLi)、(uRi,vRi)分别为预设特征点Pi在左相机、右目相机中的图像坐标，RLj、TLn、RRj、TRn均为相机投影变换矩阵的元素，j＝1、2、……、9，n＝1、2、3，K、U均为联立计算过程中得到的系数矩阵，CPi为预设特征点Pi在相机安装坐标系下的三维坐标向量，CXi为预设特征点Pi在相机安装坐标系下的X坐标，CYi为预设特征点Pi在相机安装坐标系下的Y坐标，CZi为预设特征点Pi在相机安装坐标系下的Z坐标，CPi＝[CXi CYi CZi]。
7.根据权利要求6所述的基于双目立体视觉的对接环抓捕点测量方法，其特征在于：在步骤(8)中，建立目标坐标系ΣT并计算对接环抓捕点相对于预设相机安装坐标系ΣC的位姿参数包括如下步骤：
利用左目内边缘弧段点集、右目内边缘弧段点集、左目外边缘弧段点集和右目外边缘弧段点集的三维空间坐标来求取对接环环带的中心位置：
其中，Oavg为对接环环带的中心位置，Xavg、Yavg、Zavg分别为对接环环带的中心位置的X、Y、Z坐标；
对重建出的n1+n2个空间点进行拟合获得平面Γ，平面Γ的方程为：
AX+BY+CZ+D＝0
其中，A、B、C、D为平面Γ方程的系数；
将n1+n2个空间点的三维坐标代入上述公式构建矩阵方程：
AX-l＝0；
式中
X＝[A B C]T，l＝[-D -D ... -D]T；A为由n1+n2个空间点的三维坐标组成的矩阵，X为由平面方程系数A、B、C组成的向量，Xq、Yq、Zq分别为n1+n2个空间点的X、Y、Z坐标，q＝1、2、……、n1+n2，l为由平面方程系数D组成的向量；
从而求得平面Γ即对接环被观测面的法向量为：
X＝(ATA)-1ATl；
取预设点Oavg在拟合平面Γ上的投影OT作为目标坐标系ΣT的原点位置：
将左目外边缘弧段点集和右目外边缘弧段点集投影到平面Γ上，并求取投影点与点OT之间的距离d，预设点PT为距离点OT最近的投影点，即：
以此方向作为目标坐标系ΣT的X轴：
以平面Γ的法向量为目标坐标系ΣT的Z轴：
目标坐标系ΣT的Y轴可得：
目标坐标系ΣT相对于相机安装坐标系ΣC的旋转矩阵为：
CRT＝[n o a]；
目标坐标系ΣT相对于相机安装坐标系ΣC的平移向量即为：
CTT＝[CXT CYT CZT]T。
8.根据权利要求6所述的基于双目立体视觉的对接环抓捕点测量方法，其特征在于：在步骤(9)中，预设相机安装坐标系ΣC与预设机械臂末端坐标系ΣE之间的相对关系如下：
EPi＝ERC×CPi+ETC；
式中，ERC和ETC分别是相机安装坐标系相对于机械臂末端坐标系的旋转矩阵和平移向量，CPi、EPi分别表示预设特征点Pi在相机安装坐标系ΣC、机械臂末端坐标系ΣE的坐标。
9.根据权利要求8所述的基于双目立体视觉的对接环抓捕点测量方法，其特征在于：在步骤(9)中，机械臂末端与对接环抓捕点的相对位姿关系为：
10.一种基于双目立体视觉的对接环抓捕点测量系统，其特征在于包括：
第一模块，用于以非合作目标的对接环为识别目标，利用机械臂末端的双目相机进行对接环抓捕点成像；其中，在视觉测量距离范围内，左目相机、右目相机均能对对接环内边缘和外边缘区域进行图像捕捉；
第二模块，用于对左目相机采集到的左目原始图像和右目相机采集到的右目原始图像进行滤波去噪处理；
第三模块，用于对第二模块所得的滤波去噪处理后的左目原始图像和右目原始图像进行颜色模型转换，由RGB图像转换为HSV图像，同时获取HSV图像模式下的左目V亮度图像和右目V亮度图像；
第四模块，用于对第三模块所得左目V亮度图像和右目V亮度图像进行外极线校正，使左目V亮度图像和右目V亮度图像的行对准；
第五模块，用于对第四模块所得外极线校正后的左目V亮度图像和右目V亮度图像进行二值化处理；
第六模块，用于对第五模块所得二值化处理后的左目V亮度图像和右目V亮度图像进行对接环内边缘、外边缘参数检索，其中，对接环内边缘、外边缘参数包括左目内边缘弧段点集φL、左目外边缘弧段点集ψL、右目内边缘弧段点集φR、右目外边缘弧段点集ψR；
第七模块，用于在左目内边缘弧段点集φL、左目外边缘弧段点集ψL、右目内边缘弧段点集φR、右目外边缘弧段点集ψR中选取子集来进行三维重构并获取对接环边缘的三维点云数据；
第八模块，用于利用第七模块获得的三维点云数据，建立目标坐标系ΣT并计算对接环抓捕点相对于预设相机安装坐标系ΣC的位姿参数，其中，所述位姿参数包括旋转矩阵CRT和平移向量CTT；
第九模块，用于获得预设相机安装坐标系ΣC与预设机械臂末端坐标系ΣE之间的相对关系，并得到机械臂末端与对接环抓捕点的相对位姿关系。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011018918.0A CN112556658B (zh) | 2020-09-24 | 2020-09-24 | 一种基于双目立体视觉的对接环抓捕点测量方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011018918.0A CN112556658B (zh) | 2020-09-24 | 2020-09-24 | 一种基于双目立体视觉的对接环抓捕点测量方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112556658A true CN112556658A (zh) | 2021-03-26 |
| CN112556658B CN112556658B (zh) | 2022-10-21 |
Family
ID=75041115
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011018918.0A Active CN112556658B (zh) | 2020-09-24 | 2020-09-24 | 一种基于双目立体视觉的对接环抓捕点测量方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112556658B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115493513A (zh) * | 2022-08-15 | 2022-12-20 | 北京空间飞行器总体设计部 | 一种应用于空间站机械臂的视觉系统 |
| CN116681776A (zh) * | 2023-05-30 | 2023-09-01 | 元橡科技（北京）有限公司 | 一种双目相机的外参标定方法和系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105261047A (zh) * | 2015-09-08 | 2016-01-20 | 北京控制工程研究所 | 一种基于近距离短弧段图像的对接环圆心提取方法 |
| CN106679634A (zh) * | 2016-06-20 | 2017-05-17 | 山东航天电子技术研究所 | 一种基于立体视觉的空间非合作目标位姿测量方法 |
| CN108694713A (zh) * | 2018-04-19 | 2018-10-23 | 北京控制工程研究所 | 一种基于立体视觉的星箭对接环局部环段识别与测量方法 |
| US20190361457A1 (en) * | 2014-12-31 | 2019-11-28 | FLIR Belgium BVBA | Autonomous and assisted docking systems and methods |
| CN111609794A (zh) * | 2020-04-24 | 2020-09-01 | 北京控制工程研究所 | 一种基于双机械臂抓捕的目标卫星星箭对接环抓捕点定位方法 |
-
2020
- 2020-09-24 CN CN202011018918.0A patent/CN112556658B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190361457A1 (en) * | 2014-12-31 | 2019-11-28 | FLIR Belgium BVBA | Autonomous and assisted docking systems and methods |
| CN105261047A (zh) * | 2015-09-08 | 2016-01-20 | 北京控制工程研究所 | 一种基于近距离短弧段图像的对接环圆心提取方法 |
| CN106679634A (zh) * | 2016-06-20 | 2017-05-17 | 山东航天电子技术研究所 | 一种基于立体视觉的空间非合作目标位姿测量方法 |
| CN108694713A (zh) * | 2018-04-19 | 2018-10-23 | 北京控制工程研究所 | 一种基于立体视觉的星箭对接环局部环段识别与测量方法 |
| CN111609794A (zh) * | 2020-04-24 | 2020-09-01 | 北京控制工程研究所 | 一种基于双机械臂抓捕的目标卫星星箭对接环抓捕点定位方法 |
Non-Patent Citations (1)
| Title |
|---|
| 束安 等: "《空间非合作目标的双目视觉位姿测量方法》", 《光学学报》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115493513A (zh) * | 2022-08-15 | 2022-12-20 | 北京空间飞行器总体设计部 | 一种应用于空间站机械臂的视觉系统 |
| CN116681776A (zh) * | 2023-05-30 | 2023-09-01 | 元橡科技（北京）有限公司 | 一种双目相机的外参标定方法和系统 |
| CN116681776B (zh) * | 2023-05-30 | 2024-02-23 | 元橡科技（北京）有限公司 | 一种双目相机的外参标定方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112556658B (zh) | 2022-10-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108020826B (zh) | 多线激光雷达与多路相机混合标定方法 | |
| CN104933718B (zh) | 一种基于双目视觉的物理坐标定位方法 | |
| CN104504748B (zh) | 一种无人机倾斜摄影红外三维成像系统及建模方法 | |
| CN112556658B (zh) | 一种基于双目立体视觉的对接环抓捕点测量方法及系统 | |
| CN106204443A (zh) | 一种基于多目复用的全景无人机系统 | |
| CN105139350A (zh) | 一种无人机侦察图像地面实时重建处理系统 | |
| JP6858415B2 (ja) | 海面計測システム、海面計測方法および海面計測プログラム | |
| CN111536981B (zh) | 一种嵌入式的双目非合作目标相对位姿测量方法 | |
| CN111244822B (zh) | 一种复杂地理环境的固定翼无人机巡线方法、系统和装置 | |
| JP2023505379A (ja) | 交通手段の全景ルックアラウンド画像を生成する方法と装置 | |
| CN110060304B (zh) | 一种生物体三维信息采集方法 | |
| CN108694713B (zh) | 一种基于立体视觉的星箭对接环局部环段识别与测量方法 | |
| CN112232319A (zh) | 一种基于单目视觉定位的扫描拼接方法 | |
| CN117665841A (zh) | 一种地理空间信息采集测绘方法及装置 | |
| CN106251337A (zh) | 一种空中加油锥套空间定位方法及系统 | |
| CN113963107B (zh) | 一种基于双目视觉的大型目标三维重建方法及系统 | |
| CN104822060A (zh) | 信息处理方法、信息处理装置及电子设备 | |
| Muffert et al. | The estimation of spatial positions by using an omnidirectional camera system | |
| JP2011048507A (ja) | ３次元データ生成装置、３次元データ生成方法およびプログラム | |
| CN108917721B (zh) | 一种失稳卫星星箭对接环双目测量方法 | |
| CN110415292A (zh) | 一种圆环标识的运动姿态视觉测量方法及其应用 | |
| CN110570473A (zh) | 一种基于点线融合的权重自适应位姿估计方法 | |
| CN115902925A (zh) | 一种拖体姿态自动识别方法 | |
| CN113409197B (zh) | 智能测绘数据信息处理方法 | |
| CN114493990A (zh) | 车辆底盘区域图像生成方法、电子装置和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |