CN108015764A - 一种基于多源视觉信息融合的空间零先验目标捕获方法 - Google Patents
一种基于多源视觉信息融合的空间零先验目标捕获方法 Download PDFInfo
- Publication number
- CN108015764A CN108015764A CN201711156389.9A CN201711156389A CN108015764A CN 108015764 A CN108015764 A CN 108015764A CN 201711156389 A CN201711156389 A CN 201711156389A CN 108015764 A CN108015764 A CN 108015764A
- Authority
- CN
- China
- Prior art keywords
- target
- mechanical arm
- information
- end effector
- capturing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/1653—Programme controls characterised by the control loop parameters identification, estimation, stiffness, accuracy, error analysis
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/02—Programme-controlled manipulators characterised by movement of the arms, e.g. cartesian coordinate type
- B25J9/04—Programme-controlled manipulators characterised by movement of the arms, e.g. cartesian coordinate type by rotating at least one arm, excluding the head movement itself, e.g. cylindrical coordinate type or polar coordinate type
- B25J9/046—Revolute coordinate type
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提供了一种基于多源视觉信息融合的空间零先验目标捕获方法，针对空间零先验信息目标，通过双目视觉识别、匹配与三维重建方法可实现对目标整体及可抓取部位局部形态与位姿的测量；通过“固定位置双目视觉+运动位置单目视觉”复合测量方法实现对目标可抓取部位位置、姿态信息的多源信息融合处理，提高了信息的准确度和可靠度，也为机械臂自主运动规划提供输入；通过多约束优化搜索算法与在线自主运动规划，实现机械臂可达范围内抓捕路径的实时设计、优化及更新，为机械臂实施抓捕提供输入。
Description
技术领域
本发明涉及一种基于多源视觉信息融合的空间零先验目标捕获方法，属于空间碎片清除技术领域。
背景技术
随着人类对空间资源开发的逐渐深化和空间应用的日益扩大，空间碎片数量不断增加。空间碎片对人类的空间资源开发活动构成了极大的威胁，必须想方设法地控制和减缓空间碎片。目前，机械臂捕获空间碎片等零先验信息是国内外较为主流的一种空间碎片主动清除方法。
如图1所示，空间目标捕获与跟踪过程一般分为调相段、远距离交会段、寻的段、接近段、捕获段等阶段。空间零先验目标通常是非合作的甚至是不合作的。失效航天器等非合作目标无法提供有效的合作信息的空间物体，即通信上不沟通、机体行为上不配合等，并且其运动比较复杂，一般伴随有相对姿态转动甚至翻滚等。空间非合作翻滚目标的捕获是目前航天领域中的一项极具前瞻性和挑战性的课题。
文献《基于视觉的机械臂空间目标抓取策略研究》给出了基于视觉的机械臂空间目标抓取策略。但是，该方法存在一些缺点，不适用于空间零先验信息目标的抓取：
(1)、文中给出的立体视觉及手眼相机算法均基于目标为椭圆(或圆) 特征开展；
(2)、文献中提出的侧重于原理，而并没有涉及目标探测与识别的算法及机械臂运动规划的相关算法；
(3)、文献中给出的是先运行立体视觉流程，再基于手眼相机运行抓取流程，是单一顺序执行的切换策略；
(4)、从系统方案上来说，文献中的地面机器人系统(集成目标探测识别及目标抓捕系统)不需要受到尺寸、重量等约束的限制，类似于工业机器人系统。
发明内容
本发明的技术解决问题是：克服现有技术的不足，提供一种基于多源视觉信息融合的空间零先验目标捕获方法，该方法采用“固定位置双目视觉法+运动位置单目视觉法”复合测量空间零先验信息的方法，从而高效地导引机械臂抓捕目标运动规划。
本发明的技术解决方案是：一种基于多源视觉信息融合的空间零先验目标捕获方法，该方法包括如下步骤：
(1)、对空间零先验信息目标的整体形态进行成像，测量得到目标旋转轴的位置和目标运动速度，根据目标旋转轴的位置和目标运动速度，实时调整飞行器的位置、姿态，使飞行器沿着目标旋转轴方向逼近目标，直至飞行器进入目标的对接走廊；
(2)、根据步骤(1)所述空间零先验信息目标的整体形态，确定目标可抓取部位，之后，进入抓捕过程；
(3)、采用固定位置双目视觉测量方法和运动位置单目视觉测量方法对目标可抓取部位进行测量，得到可抓取部位位置、姿态信息；
(4)、对固定位置双目视觉方法和运动位置单目视觉方法获得的目标可抓取部位位置、姿态信息进行多源信息融合处理，从中确定出较优的可抓取部位位置、姿态信息，以该可抓取部位位置、姿态信息作为输入，进行在线自主运动规划，从而实时更新抓捕机械臂可达范围内抓捕路径，按照规划的路径，调整抓捕机械臂关节位置；
(5)、重复执行步骤(3)～(5)，直至抓捕机械臂的末端执行器抓捕目标为止。
所述步骤(1)通过固定位置双目视觉测量方法对空间零先验信息目标的整体形态进行成像，并得到目标旋转轴的位置和目标运动速度。
所述固定位置双目视觉测量方法的具体实现步骤为：
(1.1)、采用固定安装在飞行器上的两个相机同时采集被测物体图像；
(1.2)、对步骤(1.1)所采集的图像进行预处理，所述预处理包括立体校正、图像滤波、图像分割、边缘检测；
(1.3)、检测预处理后图像中的特征点、特征线段；
(1.4)、对同一时刻两个相机拍摄的图像中进行点云匹配处理，找到相互匹配的特征点、特征线段；
(1.5)、计算两个相机拍摄的图像中相互匹配的特征点在飞行器本体坐标系下的坐标值以及特征线段的长度，据此建立被测物体本体坐标系，实现对被测物体的三维重建，得到被测物体在飞行器本体坐标系下的三维模型，从而得到被测物体在飞行器本体坐标系下的位置和姿态；
(1.6)、重新执行步骤(1.1)～步骤(1.5)，根据被测物体在飞行器本体坐标系下的位置和姿态变化情况，求解确定被测物体旋转轴和被测物体运动速度。
所述运动位置单目视觉测量方法是指通过安装在机械臂上的单目相机获得机械臂末端执行器与可抓捕特征的相对位置、姿态信息。
所述多源信息融合处理为：根据目标可抓取部位与末端执行器之间的距离d，判断抓捕过程所处阶段，所述阶段包括快速接近段、搜索接近段和最终抓捕段：
当抓捕过程处于快速接近段和搜索接近段时，则将固定位置双目视觉测量方法获得的可抓取部位位置、姿态信息，作为较优的可抓取部位位置、姿态信息，用于机械臂在线自主运动规划，若当前时刻固定位置双目视觉测量方法获得的可抓取部位位置、姿态信息无效，则将前一时刻获得的可抓取部位位置、姿态信息用于机械臂在线自主运动规划；
当抓捕过程处于最终抓捕段时，则将运动位置单目视觉测量方法获得的可抓取部位位置、姿态信息，作为较优的可抓取部位位置、姿态信息，用于机械臂在线自主运动规划，若当前时刻固定位置运动位置单目视觉测量方法获得的可抓取部位位置、姿态信息无效，则将前一时刻获得的可抓取部位位置、姿态信息用于机械臂在线自主运动规划。
抓捕过程所处阶段按照如下原则确定：
若d>D1，处于快速接近段；
若D2<d≤D1，处于搜索接近段；
若d≤D2，处于最终抓捕段；
式中，D1、D2为预设的末端执行器与目标可抓取部位的第一距离阈值和第二距离阈值。
当抓捕过程处于快速接近段时，机械臂在线自主运动规划方法为：
(a1)、获取目标可抓取部位在飞行器本体坐标系下的位置矢量rt，并计算当前时刻相对位置偏差Δr＝rt-rend及相对指向偏差Δθ：
式中，nend为末端执行器的指向矢量；
(a2)、计算期望末端执行器角速度ωc及线速度vc：
式中，K1为增益矩阵；
(a3)、计算关节角指令：
式中，为机械臂关节角转换矩阵；
(a4)、重复执行步骤(a1)～(a3)。
当抓捕过程处于搜索接近段时，机械臂在线自主运动规划方法为：
(b1)、在机械臂关节角可行范围内，随机生成当前时刻关节角Θrandom(t)；
(b2)、对Θrandom(t)进行可行性判断，若下式满足，则进入下一子步骤，若下式不满足，则重复执行子步骤(b1)；
式中，dθth为可行性判断阈值；
(b3)、计算对应的末端执行器位置和指向偏差值
式中，T为两次计算之间的时间。
(b4)、并根据下式进行判断：
若上式同时满足，则确定Θrandom(t)为指令关节角Θc，并结束本周期规划，否则，重复执行步骤(b1)～(b4)。
当抓捕过程处于最终捕获段时，机械臂在线自主运动规划方法为：
(c1)、获取目标可抓取部位在飞行器本体坐标系下的位置矢量rt，并计算当前时刻相对位置偏差Δr＝rt-rend及相对指向偏差Δθ：
式中，nend为末端执行器的指向矢量。
(c2)计算期望末端执行器角速度及线速度
式中K2为增益矩阵，为6维对角矩阵，根据期望末端执行器的控制能力和收敛速度要求确定；
(c3)计算关节角指令：
(c4)、根据关节角指令调节关节的位置；
(c5)、重复步骤(c1)～(c4),直至末端执行器抓捕目标为止。
本发明与现有技术相比有益效果为：
(1)、本发明提出的融合固定位置双目视觉方法和运动位置单目视觉方法获得的可抓取部位位置、姿态信息，从中确定出较优的可抓取部位位置、姿态信息的设计思想，考虑了实际应用中可能出现的双目视觉或手眼相机无输出的情况，在线自主根据判断条件相互切换，做到智能化多源视觉信息融合，从而实现了目标可抓取部位的位置和姿态信息的持续测量；
(2)、本发明通过固定位置双目视觉法实现对空间零先验目标(整体)与目标可抓取部位(局部)的形态与位姿的双重测量，测量更加准确，且目标运动检测阶段到抓捕阶段的信息比较连贯；
(3)、本发明针对空间零先验信息目标，提出一种基于“固定位置双目视觉+运动位置单目视觉”的复合测量技术，两种探测源采用不同的工作原理，双目视觉采用点云匹配的方法，单目视觉采用结构光辅助测量的方法，测量全面准确；
(4)、本发明在获取目标图像的基础上，图像处理采用两种探测源信息合成的方法，不同于现有“双目视觉/手眼视觉切换的技术”，具有高准确、高可靠的特点，能够客观地反映了目标可抓取部位的位置和姿态信息，不需要知道目标的任何先验信息。
(5)、在通过复合测量技术获得目标可抓取部位信息的基础上，机械臂可根据输入信息，快速在线自主规划运动路径，实现对目标可抓取部位的最优捕获规划；
(6)、本发明可以应用于废弃航天器等空间非合作翻滚目标抓取，不局限于椭圆目标，存在显著不同，比其适用范围更广。
附图说明
图1为空间目标捕获与跟踪一般过程示意图；
图2为本发明空间零先验信息多信息融合示意图；
图3为本发明基于立体视觉导引的空间目标捕获流程图；
图4为本发明实施例双目视觉匹配、三维重建与位姿测量流程图；
图5为本发明实施例基于结构光投影方法的单目视觉测量示意图。
具体实施方式
下面结合附图对本发明的具体实施方式进行进一步的详细描述。
如图2所示，本发明是一种基于多源视觉信息融合的空间零先验目标捕获方法，该方法针对空间零先验信息目标，通过双目视觉识别、匹配与三维重建方法可实现对目标整体及可抓取部位局部形态与位姿的测量；通过“固定位置双目视觉+运动位置单目视觉”复合测量方法实现对目标可抓取部位位置、姿态信息的多源信息融合处理，提高了信息的准确度和可靠度，也为机械臂自主运动规划提供输入；通过多约束优化搜索算法与在线自主运动规划，实现机械臂可达范围内抓捕路径的实时设计、优化及更新，为机械臂实施抓捕提供输入。
如图3所示，本发明的具体步骤如下：
(1)、对空间零先验信息目标的整体形态进行成像，测量得到目标旋转轴的位置和目标运动速度，根据目标旋转轴的位置和目标运动速度，实时调整飞行器的位置、姿态，使飞行器沿着目标旋转轴方向逼近目标，直至飞行器和目标进入对接走廊；
(2)、根据步骤(1)所述空间零先验信息目标的整体形态，确定目标可抓取部位，之后，进入抓捕过程；
(3)、采用固定位置双目视觉测量方法和运动位置单目视觉测量方法对目标可抓取部位进行测量，得到可抓取部位位置、姿态信息；
(4)、对固定位置双目视觉方法和运动位置单目视觉方法获得的目标可抓取部位位置、姿态信息进行多源信息融合处理，从中确定出较优的可抓取部位位置、姿态信息，以该可抓取部位位置、姿态信息作为输入，进行在线自主运动规划，从而实时更新抓捕机械臂可达范围内抓捕路径，按照规划的路径，调整抓捕机械臂关节位置；
(5)、重复执行步骤(3)～(5)，直至抓捕机械臂的末端执行器抓捕目标为止。
所述步骤(1)针对的是空间零先验信息目标/空间非合作翻滚目标整体，如失效航天器等；所述步骤(2)～(5)针对的是空间目标局部可抓取部位或特征，如喷管、天线支架等。
以下重点对其中的固定位置双目视觉测量方法、运动位置单目视觉测量方法、多源视觉信息融合和在线自主运动规划进行详细说明。
(一)固定位置双目视觉测量方法
固定位置双目视觉系测量方法实现左/右目两台相机同一时刻对空间零先验目标特征的提取、识别、匹配并三维重建，可用于测量目标的形态、运动特性、位置与姿态信息等。双目视觉方法既可用于目标运动检测阶段，获得空间翻滚目标的旋转轴及旋转速度，导引飞控系统进行飞行器位置、姿态、速度的调整；也可用于捕获阶段，获得目标可抓捕特征的位置、姿态等信息，导引机械臂自主实时在线运动规划，从而实现对可抓捕特征的成功捕获。
如图4所示，所述固定位置双目视觉测量方法的具体实现步骤为：
(1.1)图像采集：采用固定安装在飞行器上的两个相机同时采集被测物体图像，得到图像对；
(1.2)图像预处理：对步骤(1.1)所采集的图像进行预处理，降低图像噪声，所述预处理包括立体校正、图像滤波、图像分割、边缘检测；
(1.3)特征提取与检测：检测预处理后图像中的特征点、特征线段；
(1.4)特征匹配：对同一时刻两个相机拍摄的图像中进行云匹配处理，找到相互匹配的特征点、特征线段；
(1.5)三维重建：计算两个相机拍摄的图像中相互匹配的特征点在飞行器本体坐标系下的坐标值以及特征线段的长度，据此建立被测物体本体坐标系，实现对被测物体的三维重建，得到被测物体在飞行器本体坐标系下的三维模型，从而得到被测物体在飞行器本体坐标系下的位置和姿态；
(1.6)、重新执行步骤(1.1)～步骤(1.5)，根据被测物体在飞行器本体坐标系下的位置和姿态变化情况，求解确定被测物体旋转轴和被测物体运动速度。
由于所述两个相机固定安装在飞行器上，因此，目标在各自相机坐标下的位置和姿态可以通过坐标转换可以转换到飞行器本体坐标系下。
(二)运动位置单目视觉测量方法
当可抓捕特征处在相机视场范围内，且位于机械臂可达范围内时，通过结构光投影方法在可抓捕特征上施加辅助特征标记，通过安装在机械臂上的单目相机观察辅助标记在图像中的位置坐标，通过探测识别算法获得机械臂末端执行器与可抓捕特征的相对位置、姿态信息。
由于单目相机坐标系为机械臂末端坐标系，对于飞行本体坐标系来说，是运动态的，需要将单目视觉坐标系通过平移和旋转变换，转换到飞行器本体坐标系。
具体流程为：
1)、主动结构光：基于主动结构光激光点，实现在零先验信息的目标上施加辅助特征标记(激光点)，所述辅助特征标记(激光点)至少为3个；
2)、图像采集：通过安装在机械臂上的单目相机对目标可抓取部位进行成像；
3)、特征提取：分别提取目标可抓取部位的图像特征以及结构光特征，所述图像特征包括：目标可抓取部位轮廓、目标可抓取部位中心；所述结构光特征包括辅助特征标记(激光点)在单目相机坐标系下的坐标
4)、识别与测量：根据辅助特征标记在单目相机坐标系下的坐标，得到目标可抓取部位与相机之间的距离信息，结合目标可抓取部位轮廓、目标可抓取部位中心位置，计算目标可抓取部位在单目相机坐标系下的位置与姿态信息。
如图5所示，由于激光点在目标物体的表面成像，故可以确定该目标与相机之间的距离。使用至少3个结构光点，采用最小二乘法求解方程组，可以有效地减少误差，提高求解的精度；针对类球体目标的测量，其在单目相机下的投影就是一个椭圆，首先对目标外轮廓进行圆拟合，从而确定当前目标的外接圆，得到目标物体的中心位置和半径大小；然后在已知类球体目标半径的情况下，结合目标可抓取部位轮廓、目标可抓取部位中心位置，计算目标可抓取部位在单目相机坐标系下的位置与姿态信息。
4)、坐标变换：由上述步骤可以得到目标可抓取部位相对于单目相机坐标系的位置信息，由于单目相机坐标系原点位于机械臂末端，随机械臂一起运动；根据机械臂各关节运动信息和单目相机的安装位置，可以将单目相机坐标系通过平移和旋转变换，转换到固定于飞行器本体坐标系下，将运动位置单目视觉测量方法和固定位置双目视觉方法获得的目标可抓取部位位置和姿态信息统一到同一坐标系下输出。
(三)多源视觉信息融合
(1)、根据前一时刻获取的目标可抓取部位的位置信息r(k-1)，在本体坐标系下，计算目标与末端执行器之间的距离d：
d＝||br(k-1)-brend||
式中，br(k-1),brend分别表示在本体坐标系下表示的前一时刻的目标可抓取部位的位置矢量与当前时刻末端执行器位置矢量。
(2)、根据d的取值将抓捕过程分为三个阶段：
若d>D1，处于快速接近段；
若D2<d≤D1，处于搜索接近段；
若d≤D2，处于最终抓捕段；
式中，D1、D2为预设的末端执行器与目标可抓取部位的第一距离阈值和第二距离阈值。
(3)、当抓捕过程处于快速接近段和搜索接近段时，则将固定位置双目视觉测量方法获得的可抓取部位位置、姿态信息，作为较优的可抓取部位位置、姿态信息，用于机械臂在线自主运动规划，若当前时刻固定位置双目视觉测量方法获得的可抓取部位位置、姿态信息无效，则将前一时刻获得的可抓取部位位置、姿态信息用于机械臂在线自主运动规划；
(4)、当抓捕过程处于最终抓捕段时，则将运动位置单目视觉测量方法获得的可抓取部位位置、姿态信息，作为较优的可抓取部位位置、姿态信息，用于机械臂在线自主运动规划，若当前时刻固定位置运动位置单目视觉测量方法获得的可抓取部位位置、姿态信息无效，则将前一时刻获得的可抓取部位位置、姿态信息用于机械臂在线自主运动规划。
(四)机械臂在线自主运动规划
(a)当抓捕过程处于快速接近段时，机械臂在线自主运动规划方法为：
(a1)、获取目标可抓取部位在飞行器本体坐标系下的位置矢量rt，并计算当前时刻相对位置偏差Δr＝rt-rend及相对指向偏差Δθ：
式中，nend为末端执行器的指向矢量；
(a2)、计算期望末端执行器角速度ωc及线速度vc：
式中K1为增益矩阵；
(a3)、计算关节角指令：
式中，为机械臂关节角转换矩阵的逆矩阵，即Jacobian矩阵。
假设机械臂有6个关节：
式中：pk(k＝1,2,...,6)第k个关节的位置矢量，pe为机械臂末端的位置矢量；ki(i＝1,2,...,6)第k个关节Ji的转轴矢量。
(a4)、重复执行步骤(a1)～(a3)。
(b)当抓捕过程处于快速接近段时，机械臂在线自主运动规划方法为：
(b1)、在机械臂关节角可行范围内，随机生成当前时刻关节角Θrandom(t)；
(b2)、对Θrandom(t)进行可行性判断，若下式满足，则进入下一子步骤，若下式不满足，则重复执行子步骤(b1)；
式中，dθth为可行性判断阈值，其值与机械臂关节调节能力相关，小于等于机械臂关节角速度最小可调值；
(b3)计算对应的末端执行器位置和指向偏差值
Jm为机械臂关节角转换矩阵的逆矩阵，T为两次计算之间的时间。
(b4)、并根据下式进行判断：
若上式同时满足，则确定Θrandom(t)为指令关节角Θc，并结束本周期规划，否则，重复执行步骤(b1)～(b4)。
(c)、当抓捕过程处于最终捕获段时，机械臂在线自主运动规划方法为：
(c1)、获取目标可抓取部位在飞行器本体坐标系下的位置矢量rt，并计算当前时刻相对位置偏差Δr＝rt-rend及相对指向偏差Δθ：
式中，nend为末端执行器的指向矢量。
(c2)计算期望末端执行器角速度及线速度
式中K2为增益矩阵，为6维对角矩阵，根据期望末端执行器的控制能力和收敛速度要求确定；
(c3)计算关节角指令：
(c4)、根据关节角指令调节关节的位置；
(c5)、重复步骤(c1)～(c4),直至末端执行器抓捕目标为止。
本发明中未作详细描述的内容属本领域技术人员的公知技术。
Claims (9)
1.一种基于多源视觉信息融合的空间零先验目标捕获方法，其特征在于包括如下步骤：
(1)、对空间零先验信息目标的整体形态进行成像，测量得到目标旋转轴的位置和目标运动速度，根据目标旋转轴的位置和目标运动速度，实时调整飞行器的位置、姿态，使飞行器沿着目标旋转轴方向逼近目标，直至飞行器进入目标的对接走廊；
(2)、根据步骤(1)所述空间零先验信息目标的整体形态，确定目标可抓取部位，之后，进入抓捕过程；
(3)、采用固定位置双目视觉测量方法和运动位置单目视觉测量方法对目标可抓取部位进行测量，得到可抓取部位位置、姿态信息；
(4)、对固定位置双目视觉方法和运动位置单目视觉方法获得的目标可抓取部位位置、姿态信息进行多源信息融合处理，从中确定出较优的可抓取部位位置、姿态信息，以该可抓取部位位置、姿态信息作为输入，进行在线自主运动规划，从而实时更新抓捕机械臂可达范围内抓捕路径，按照规划的路径，调整抓捕机械臂关节位置；
(5)、重复执行步骤(3)～(5)，直至抓捕机械臂的末端执行器抓捕目标为止。
2.根据权利要求1所述的一种基于多源视觉信息融合的空间零先验目标捕获方法，其特征在于所述步骤(1)通过固定位置双目视觉测量方法对空间零先验信息目标的整体形态进行成像，并得到目标旋转轴的位置和目标运动速度。
3.根据权利要求1所述的一种基于多源视觉信息融合的空间零先验目标捕获方法，其特征在于所述固定位置双目视觉测量方法的具体实现步骤为：
(1.1)、采用固定安装在飞行器上的两个相机同时采集被测物体图像；
(1.2)、对步骤(1.1)所采集的图像进行预处理，所述预处理包括立体校正、图像滤波、图像分割、边缘检测；
(1.3)、检测预处理后图像中的特征点、特征线段；
(1.4)、对同一时刻两个相机拍摄的图像中进行点云匹配处理，找到相互匹配的特征点、特征线段；
(1.5)、计算两个相机拍摄的图像中相互匹配的特征点在飞行器本体坐标系下的坐标值以及特征线段的长度，据此建立被测物体坐标系，实现对被测物体的三维重建，得到被测物体在飞行器本体坐标系下的三维模型，从而得到被测物体在飞行器本体坐标系下的位置和姿态；
(1.6)、重新执行步骤(1.1)～步骤(1.5)，根据被测物体在飞行器本体坐标系下的位置和姿态变化情况，求解确定被测物体旋转轴和被测物体运动速度。
4.根据权利要求1所述的一种基于多源视觉信息融合的空间零先验目标捕获方法，其特征在于所述运动位置单目视觉测量方法是指通过安装在机械臂上的单目相机获得机械臂末端执行器与可抓捕特征的相对位置、姿态信息。
5.根据权利要求1所述的一种基于多源视觉信息融合的空间零先验目标捕获方法，其特征在于所述多源信息融合处理为：根据目标可抓取部位与末端执行器之间的距离d，判断抓捕过程所处阶段，所述阶段包括快速接近段、搜索接近段和最终抓捕段：
当抓捕过程处于快速接近段和搜索接近段时，则将固定位置双目视觉测量方法获得的可抓取部位位置、姿态信息，作为较优的可抓取部位位置、姿态信息，用于机械臂在线自主运动规划，若当前时刻固定位置双目视觉测量方法获得的可抓取部位位置、姿态信息无效，则将前一时刻获得的可抓取部位位置、姿态信息用于机械臂在线自主运动规划；
当抓捕过程处于最终抓捕段时，则将运动位置单目视觉测量方法获得的可抓取部位位置、姿态信息，作为较优的可抓取部位位置、姿态信息，用于机械臂在线自主运动规划，若当前时刻固定位置运动位置单目视觉测量方法获得的可抓取部位位置、姿态信息无效，则将前一时刻获得的可抓取部位位置、姿态信息用于机械臂在线自主运动规划。
6.根据权利要求1所述的一种基于多源视觉信息融合的空间零先验目标捕获方法，其特征在于抓捕过程所处阶段按照如下原则确定：
若d>D1，处于快速接近段；
若D2<d≤D1，处于搜索接近段；
若d≤D2，处于最终抓捕段；
式中，D1、D2为预设的末端执行器与目标可抓取部位的第一距离阈值和第二距离阈值。
7.根据权利要求1所述的一种基于多源视觉信息融合的空间零先验目标捕获方法，其特征在于当抓捕过程处于快速接近段时，机械臂在线自主运动规划方法为：
(a1)、获取目标可抓取部位在飞行器本体坐标系下的位置矢量rt，并计算当前时刻相对位置偏差Δr＝rt-rend及相对指向偏差Δθ：
<mrow>
<mi>&Delta;</mi>
<mi>&theta;</mi>
<mo>=</mo>
<mi>a</mi>
<mi>r</mi>
<mi>c</mi>
<mi>c</mi>
<mi>o</mi>
<mi>s</mi>
<mfrac>
<mrow>
<mi>&Delta;</mi>
<mi>r</mi>
<mo>&CenterDot;</mo>
<msub>
<mi>n</mi>
<mrow>
<mi>e</mi>
<mi>n</mi>
<mi>d</mi>
</mrow>
</msub>
</mrow>
<mrow>
<mo>|</mo>
<mo>|</mo>
<mi>&Delta;</mi>
<mi>r</mi>
<mo>|</mo>
<mo>|</mo>
<mo>&CenterDot;</mo>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>n</mi>
<mrow>
<mi>e</mi>
<mi>n</mi>
<mi>d</mi>
</mrow>
</msub>
<mo>|</mo>
<mo>|</mo>
</mrow>
</mfrac>
</mrow>
式中，nend为末端执行器的指向矢量；
(a2)、计算期望末端执行器角速度ωc及线速度vc：
<mrow>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mi>v</mi>
<mi>c</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>&omega;</mi>
<mi>c</mi>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<msub>
<mi>K</mi>
<mn>1</mn>
</msub>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mi>&Delta;</mi>
<mi>r</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>&Delta;</mi>
<mi>&theta;</mi>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
式中，K1为增益矩阵；
(a3)、计算关节角指令：
<mrow>
<msub>
<mi>&Theta;</mi>
<mi>c</mi>
</msub>
<mo>=</mo>
<msubsup>
<mi>J</mi>
<mi>m</mi>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msubsup>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mi>v</mi>
<mi>c</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>&omega;</mi>
<mi>c</mi>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
式中，为机械臂关节角转换矩阵；
(a4)、重复执行步骤(a1)～(a3)。
8.根据权利要求1所述的一种基于多源视觉信息融合的空间零先验目标捕获方法，其特征在于当抓捕过程处于搜索接近段时，机械臂在线自主运动规划方法为：
(b1)、在机械臂关节角可行范围内，随机生成当前时刻关节角Θrandom(t)；
(b2)、对Θrandom(t)进行可行性判断，若下式满足，则进入下一子步骤，若下式不满足，则重复执行子步骤(b1)；
<mrow>
<mfrac>
<mrow>
<msub>
<mi>&Theta;</mi>
<mrow>
<mi>r</mi>
<mi>a</mi>
<mi>n</mi>
<mi>d</mi>
<mi>o</mi>
<mi>m</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>k</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msub>
<mi>&Theta;</mi>
<mrow>
<mi>r</mi>
<mi>a</mi>
<mi>n</mi>
<mi>d</mi>
<mi>o</mi>
<mi>m</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>k</mi>
<mo>-</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
<mi>T</mi>
</mfrac>
<mo><</mo>
<msub>
<mi>d&theta;</mi>
<mrow>
<mi>t</mi>
<mi>h</mi>
</mrow>
</msub>
</mrow>
式中，dθth为可行性判断阈值；
(b3)、计算对应的末端执行器位置和指向偏差值
<mrow>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mi>&Delta;</mi>
<msub>
<mi>r</mi>
<mrow>
<mi>r</mi>
<mi>a</mi>
<mi>n</mi>
<mi>d</mi>
<mi>o</mi>
<mi>m</mi>
</mrow>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>&Delta;</mi>
<msub>
<mi>&theta;</mi>
<mrow>
<mi>r</mi>
<mi>a</mi>
<mi>n</mi>
<mi>d</mi>
<mi>o</mi>
<mi>m</mi>
</mrow>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<msub>
<mi>J</mi>
<mi>m</mi>
</msub>
<msub>
<mi>&Theta;</mi>
<mrow>
<mi>r</mi>
<mi>a</mi>
<mi>n</mi>
<mi>d</mi>
<mi>o</mi>
<mi>m</mi>
</mrow>
</msub>
<mo>&CenterDot;</mo>
<mi>T</mi>
</mrow>
式中，T为两次计算之间的时间。
(b4)、并根据下式进行判断：
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mo>|</mo>
<mo>|</mo>
<mi>&Delta;</mi>
<msub>
<mi>r</mi>
<mrow>
<mi>r</mi>
<mi>a</mi>
<mi>n</mi>
<mi>d</mi>
<mi>o</mi>
<mi>m</mi>
</mrow>
</msub>
<mo>|</mo>
<mo>|</mo>
<mo>&le;</mo>
<mo>|</mo>
<mo>|</mo>
<mi>&Delta;</mi>
<mi>r</mi>
<mo>|</mo>
<mo>|</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>|</mo>
<mo>|</mo>
<mi>&Delta;</mi>
<msub>
<mi>&theta;</mi>
<mrow>
<mi>r</mi>
<mi>a</mi>
<mi>n</mi>
<mi>d</mi>
<mi>o</mi>
<mi>m</mi>
</mrow>
</msub>
<mo>|</mo>
<mo>|</mo>
<mo>&le;</mo>
<mo>|</mo>
<mo>|</mo>
<mi>&Delta;</mi>
<mi>&theta;</mi>
<mo>|</mo>
<mo>|</mo>
</mtd>
</mtr>
</mtable>
</mfenced>
若上式同时满足，则确定Θrandom(t)为指令关节角Θc，并结束本周期规划，否则，重复执行步骤(b1)～(b4)。
9.根据权利要求1所述的一种基于多源视觉信息融合的空间零先验目标捕获方法，其特征在于当抓捕过程处于最终捕获段时，机械臂在线自主运动规划方法为：
(c1)、获取目标可抓取部位在飞行器本体坐标系下的位置矢量rt，并计算当前时刻相对位置偏差Δr＝rt-rend及相对指向偏差Δθ：
<mrow>
<mi>&Delta;</mi>
<mi>&theta;</mi>
<mo>=</mo>
<mi>a</mi>
<mi>r</mi>
<mi>c</mi>
<mi>c</mi>
<mi>o</mi>
<mi>s</mi>
<mfrac>
<mrow>
<mi>&Delta;</mi>
<mi>r</mi>
<mo>&CenterDot;</mo>
<msub>
<mi>n</mi>
<mrow>
<mi>e</mi>
<mi>n</mi>
<mi>d</mi>
</mrow>
</msub>
</mrow>
<mrow>
<mo>|</mo>
<mo>|</mo>
<mi>&Delta;</mi>
<mi>r</mi>
<mo>|</mo>
<mo>|</mo>
<mo>&CenterDot;</mo>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>n</mi>
<mrow>
<mi>e</mi>
<mi>n</mi>
<mi>d</mi>
</mrow>
</msub>
<mo>|</mo>
<mo>|</mo>
</mrow>
</mfrac>
</mrow>
式中，nend为末端执行器的指向矢量。
(c2)计算期望末端执行器角速度及线速度
<mrow>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mi>v</mi>
<mi>c</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>&omega;</mi>
<mi>c</mi>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<msub>
<mi>K</mi>
<mn>2</mn>
</msub>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mi>&Delta;</mi>
<mi>r</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>&Delta;</mi>
<mi>&theta;</mi>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
式中K2为增益矩阵，为6维对角矩阵，根据期望末端执行器的控制能力和收敛速度要求确定；
(c3)计算关节角指令：
<mrow>
<msub>
<mi>&Theta;</mi>
<mi>c</mi>
</msub>
<mo>=</mo>
<msubsup>
<mi>J</mi>
<mi>m</mi>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msubsup>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mi>v</mi>
<mi>c</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>&omega;</mi>
<mi>c</mi>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
(c4)、根据关节角指令调节关节的位置；
(c5)、重复步骤(c1)～(c4),直至末端执行器抓捕目标为止。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711156389.9A CN108015764B (zh) | 2017-11-20 | 2017-11-20 | 一种基于多源视觉信息融合的空间零先验目标捕获方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711156389.9A CN108015764B (zh) | 2017-11-20 | 2017-11-20 | 一种基于多源视觉信息融合的空间零先验目标捕获方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108015764A true CN108015764A (zh) | 2018-05-11 |
| CN108015764B CN108015764B (zh) | 2020-07-14 |
Family
ID=62079966
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711156389.9A Active CN108015764B (zh) | 2017-11-20 | 2017-11-20 | 一种基于多源视觉信息融合的空间零先验目标捕获方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108015764B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109129483A (zh) * | 2018-08-31 | 2019-01-04 | 厦门理工学院 | 一种基于云平台下多机器人协作的方法、装置及机器人 |
| CN109284768A (zh) * | 2018-07-25 | 2019-01-29 | 西北工业大学 | 一种空间抓捕过程不确定性重构和预测方法 |
| CN109895099A (zh) * | 2019-03-28 | 2019-06-18 | 哈尔滨工业大学（深圳） | 一种基于自然特征的飞行机械臂视觉伺服抓取方法 |
| CN110873863A (zh) * | 2018-08-29 | 2020-03-10 | 杭州海康威视数字技术股份有限公司 | 一种目标展示方法、雷达系统及电子设备 |
| CN111709989A (zh) * | 2020-05-11 | 2020-09-25 | 哈尔滨工业大学 | 一种基于多源特征数据控制的双向闭合模式的立体视觉全场测量方法 |
| CN112010024A (zh) * | 2020-08-21 | 2020-12-01 | 南京理工大学 | 一种基于激光和视觉融合检测的货箱自动抓取方法及系统 |
| CN112207804A (zh) * | 2020-12-07 | 2021-01-12 | 国网瑞嘉(天津)智能机器人有限公司 | 带电作业机器人及多传感器识别定位方法 |
| CN112589795A (zh) * | 2020-12-04 | 2021-04-02 | 中山大学 | 一种基于不确定性多帧融合的真空吸盘机械臂抓取方法 |
| CN112789672A (zh) * | 2018-09-10 | 2021-05-11 | 感知机器人有限公司 | 控制和导航系统、姿态优化、映射和定位技术 |
| US11827351B2 (en) | 2018-09-10 | 2023-11-28 | Perceptual Robotics Limited | Control and navigation systems |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101726296A (zh) * | 2009-12-22 | 2010-06-09 | 哈尔滨工业大学 | 空间机器人视觉测量、路径规划、gnc一体化仿真系统 |
| CN106003104A (zh) * | 2015-07-03 | 2016-10-12 | 中国运载火箭技术研究院 | 一种适用于多约束条件下视觉信息导引的机械臂规划方法 |
| US9511494B2 (en) * | 2012-06-18 | 2016-12-06 | Lg Electronics Inc. | Robot cleaner and controlling method of the same |
| CN106217378A (zh) * | 2016-08-30 | 2016-12-14 | 北京精密机电控制设备研究所 | 一种用于空间机器人安全捕获的装置 |
| CN106826817A (zh) * | 2017-01-11 | 2017-06-13 | 河北省自动化研究所 | 双反馈机械臂自动装卸系统及方法 |
| CN106921856A (zh) * | 2015-12-25 | 2017-07-04 | 北京三星通信技术研究有限公司 | 立体图像的处理方法、检测分割方法及相关装置和设备 |
-
2017
- 2017-11-20 CN CN201711156389.9A patent/CN108015764B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101726296A (zh) * | 2009-12-22 | 2010-06-09 | 哈尔滨工业大学 | 空间机器人视觉测量、路径规划、gnc一体化仿真系统 |
| US9511494B2 (en) * | 2012-06-18 | 2016-12-06 | Lg Electronics Inc. | Robot cleaner and controlling method of the same |
| CN106003104A (zh) * | 2015-07-03 | 2016-10-12 | 中国运载火箭技术研究院 | 一种适用于多约束条件下视觉信息导引的机械臂规划方法 |
| CN106921856A (zh) * | 2015-12-25 | 2017-07-04 | 北京三星通信技术研究有限公司 | 立体图像的处理方法、检测分割方法及相关装置和设备 |
| CN106217378A (zh) * | 2016-08-30 | 2016-12-14 | 北京精密机电控制设备研究所 | 一种用于空间机器人安全捕获的装置 |
| CN106826817A (zh) * | 2017-01-11 | 2017-06-13 | 河北省自动化研究所 | 双反馈机械臂自动装卸系统及方法 |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109284768A (zh) * | 2018-07-25 | 2019-01-29 | 西北工业大学 | 一种空间抓捕过程不确定性重构和预测方法 |
| CN110873863A (zh) * | 2018-08-29 | 2020-03-10 | 杭州海康威视数字技术股份有限公司 | 一种目标展示方法、雷达系统及电子设备 |
| CN109129483A (zh) * | 2018-08-31 | 2019-01-04 | 厦门理工学院 | 一种基于云平台下多机器人协作的方法、装置及机器人 |
| CN112789672A (zh) * | 2018-09-10 | 2021-05-11 | 感知机器人有限公司 | 控制和导航系统、姿态优化、映射和定位技术 |
| US11886189B2 (en) | 2018-09-10 | 2024-01-30 | Perceptual Robotics Limited | Control and navigation systems, pose optimization, mapping, and localization techniques |
| CN112789672B (zh) * | 2018-09-10 | 2023-12-12 | 感知机器人有限公司 | 控制和导航系统、姿态优化、映射和定位技术 |
| US11827351B2 (en) | 2018-09-10 | 2023-11-28 | Perceptual Robotics Limited | Control and navigation systems |
| CN109895099A (zh) * | 2019-03-28 | 2019-06-18 | 哈尔滨工业大学（深圳） | 一种基于自然特征的飞行机械臂视觉伺服抓取方法 |
| CN111709989B (zh) * | 2020-05-11 | 2023-04-18 | 哈尔滨工业大学 | 一种基于多源特征数据控制的双向闭合模式的立体视觉全场测量方法 |
| CN111709989A (zh) * | 2020-05-11 | 2020-09-25 | 哈尔滨工业大学 | 一种基于多源特征数据控制的双向闭合模式的立体视觉全场测量方法 |
| CN112010024A (zh) * | 2020-08-21 | 2020-12-01 | 南京理工大学 | 一种基于激光和视觉融合检测的货箱自动抓取方法及系统 |
| CN112589795A (zh) * | 2020-12-04 | 2021-04-02 | 中山大学 | 一种基于不确定性多帧融合的真空吸盘机械臂抓取方法 |
| CN112207804A (zh) * | 2020-12-07 | 2021-01-12 | 国网瑞嘉(天津)智能机器人有限公司 | 带电作业机器人及多传感器识别定位方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108015764B (zh) | 2020-07-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108015764B (zh) | 一种基于多源视觉信息融合的空间零先验目标捕获方法 | |
| Lili et al. | Development of a tomato harvesting robot used in greenhouse | |
| CN104049634B (zh) | 基于Camshift算法的智能体模糊动态避障方法 | |
| CN109202885B (zh) | 一种物料搬运移动复合机器人 | |
| Sun et al. | A review of robot control with visual servoing | |
| CN106403924B (zh) | 基于深度摄像头的机器人快速定位与姿态估计方法 | |
| CN102073148A (zh) | 一种微小型结构件高精度视觉同轴光学对位装配系统 | |
| Kim et al. | Autonomous mobile robot localization and mapping for unknown construction environments | |
| CN109178345A (zh) | 一种用于空中动目标跟踪的云台指向及星体姿态协同控制方法 | |
| Wang et al. | Hand-eye-vision based control for an inspection robot’s autonomous line grasping | |
| Du et al. | Pose estimation of large non-cooperative spacecraft based on extended PnP model | |
| Ding et al. | The detection of non-cooperative targets in space by using 3D point cloud | |
| CN109592057B (zh) | 一种基于视觉伺服的空中加油机受油实现方法 | |
| Srivastava et al. | Range estimation and visual servoing of a dynamic target using a monocular camera | |
| Luo et al. | Stereo Vision-based Autonomous Target Detection and Tracking on an Omnidirectional Mobile Robot. | |
| CN108917721A (zh) | 一种失稳卫星星箭对接环双目测量方法 | |
| CN112093082B (zh) | 高轨卫星抓捕机构的在轨抓捕导引方法和装置 | |
| CN112697075B (zh) | 一种交会对接激光雷达合作目标的投影面积分析方法 | |
| Maimone et al. | Autonomous rock tracking and acquisition from a mars rover | |
| Xiao et al. | Moving target tracking for single UAV in open outdoor environment | |
| Bai et al. | Pose Measurement and Tracking of Non-cooperative Satellite Based on Stereo Vision | |
| Mehta et al. | Finite-time visual servo control for robotic fruit harvesting in the presence of fruit motion | |
| Zhang et al. | Research of the Information Fusion Technique for Millimeter Wave Radar and Camera | |
| CN116225031B (zh) | 一种面向人机协作场景的三体协同智能避障方法和系统 | |
| US20220130067A1 (en) | Position estimation system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |