CN107139178A - 一种无人机及其基于视觉的抓取方法 - Google Patents
一种无人机及其基于视觉的抓取方法 Download PDFInfo
- Publication number
- CN107139178A CN107139178A CN201710326701.8A CN201710326701A CN107139178A CN 107139178 A CN107139178 A CN 107139178A CN 201710326701 A CN201710326701 A CN 201710326701A CN 107139178 A CN107139178 A CN 107139178A
- Authority
- CN
- China
- Prior art keywords
- msubsup
- mrow
- unmanned plane
- msup
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000033001 locomotion Effects 0.000 claims abstract description 37
- 239000011159 matrix material Substances 0.000 claims description 31
- 230000000007 visual effect Effects 0.000 claims description 16
- 238000000034 method Methods 0.000 claims description 8
- 239000012636 effector Substances 0.000 claims description 7
- 239000011324 bead Substances 0.000 claims description 6
- 239000000463 material Substances 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 4
- 230000009471 action Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims 1
- 238000006243 chemical reaction Methods 0.000 claims 1
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 241000208340 Araliaceae Species 0.000 description 4
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 4
- 235000003140 Panax quinquefolius Nutrition 0.000 description 4
- 235000008434 ginseng Nutrition 0.000 description 4
- 238000010586 diagram Methods 0.000 description 2
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 1
- 241001481828 Glyptocephalus cynoglossus Species 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D1/00—Dropping, ejecting, releasing, or receiving articles, liquids, or the like, in flight
- B64D1/22—Taking-up articles from earth's surface
Abstract
本发明提供了一种无人机，包括无人机机体、机械臂、舵机控制关节和摄像头，所述机械臂固连于所述无人机机体的下方，所述舵机控制关节连接于所述无人机机体的上方前部，所述舵机控制关节为单自由度，所述舵机控制关节与所述摄像头连接，所述无人机机体上贴有运动捕捉系统的第一定位标签，所述舵机控制关节、摄像头之间贴有运动捕捉系统的第二定位标签。本发明还提供了一种无人机基于视觉的抓取方法。本发明的有益效果是：实现了无人机机械臂的伺服抓取，具有低成本，高精度的特点，极具应用价值。
Description
技术领域
本发明涉及无人机，尤其涉及一种无人机及其基于视觉的抓取方法。
背景技术
伴随着机器人技术的迅速发展，机器人已经在各个领域，如工业制造、军事探险、以及日益兴起的民用服务行业等，得到了广泛的应用。无论军事应用还是民用中，无人机运输有着很重要的作用，是无人机应用的至关重要的组成部分，它们易操作，结构独立完整，可垂直起飞、降落、悬停于指定点。逐渐地，无人机机械手将不仅局限于运输方面，无人机机械臂系统将成为新一代空中操作机器人，最终将代替人类完成重复性的、高危险、复杂环境的空中交互操作。
近年来，无人机在航拍方面已经得到了广泛的应用，但是远远满足不了人们的需求。人们更需要无人机(空中机器人)能够像人一样用手臂去抓取环境中的物体，而无人机机械臂系统是一个复杂的欠驱动系统，无人机搭载多自由度机械臂在控制上具有极大的挑战，目前世界也处于初步研究之中。而其中另外一个难点就是如何让无人机进行自主抓取。本发明正是根据这种需求提出了一种无人机机械臂基于视觉的抓取和标定方法。目前国内相关无人机机械臂还只有较少的相关文献，虽有少部分相关无人机机械臂的发明专利，但难以找到相关无人机视觉抓取和标定的描述。而其他相关机械臂的视觉伺服大多是基于工业机械臂的，和无人机机械臂有很大的区别。
中国发明专利《一种无人机机动目标定位跟踪中的视觉伺服控制方法》(公开号：CN105353772A)。该发明通过建立大地坐标系、机体坐标系、摄像机坐标系、图像坐标系、机体大地过渡坐标系，通过上述建立的坐标系之间的关系，根据目标的成像序列，进行目标的定位及目标跟踪的姿态角给定值和航线跟踪的姿态角给定值的计算，完成视觉伺服控制。在专利CN105014687 A中，仅仅使用单一固定的摄像头，优点是无需跟踪云台和激光测距设备，有效地降低了载荷的体积和成本，提高了侦察的隐蔽性，但由于其固定摄像头，摄像头不能自由活动的局限性，可视的伺服范围或者精度上都有一定的影响。并且在专利CN105014687 A中，只涉及到无人机的飞行控制，并没有涉及无人机机械臂的伺服抓取。
发明内容
为了解决现有技术中的问题，本发明提供了一种无人机及其基于视觉的抓取方法。
本发明提供了一种无人机，包括无人机机体、目标物、机械臂、舵机控制关节和摄像头，所述机械臂固连于所述无人机机体的下方，所述舵机控制关节连接于所述无人机机体的上方前部，所述舵机控制关节为单自由度，所述舵机控制关节与所述摄像头连接，所述无人机机体上贴有运动捕捉系统的第一定位标签，所述舵机控制关节、摄像头之间贴有运动捕捉系统的第二定位标签，所述目标物(视觉标靶)贴有运动捕捉系统的第三定位标签。
作为本发明的进一步改进，所述第一定位标签为至少四个反光球体组成的刚体，所述第二定位标签为至少四个反光球体组成的刚体，所述第三定位标签为至少四个反光球体组成的刚体。
本发明还提供了一种无人机基于视觉的抓取方法，包括以下步骤：
S1、标定；
假设机械臂末端执行器相对于无人机的位置已知，给定机械臂关节位置，机械臂末端执行器位置相对于无人机已知，摄像机内参、畸变参数已经事先标定已知，目标物相对于摄像机坐标系的旋转和平移已知，目标物相对于摄像机坐标系的旋转和平移为摄像机外参，在获得摄像机外参的过程中使用AprilTags及其标靶，能够实时的获得目标标靶在摄像机坐标系下的旋转和平移矩阵，采用Optitrack的运动捕捉系统，可以获得反光材质小球组成的标签在运动捕捉系统坐标系下的位置，在无人机机体上贴有运动捕捉系统的定位标签Tag_Body、在舵机控制关节之后贴有运动捕捉系统的定位标签Tag_Link，在目标物(视觉标靶)上贴有运动捕捉系统的定位标签Tag_A，标定过程中需要保证各个标签不同防止被运动捕捉系统误识别，所以组成的反光材质小球的位置和个数不同，通过运动捕捉系统，可以得到已知的参数有：无人机机体在世界坐标系下的平移向量和旋转矩阵舵机控制关节在世界坐标系下的平移向量和旋转矩阵目标物在世界坐标系下的平移向量和旋转矩阵通过摄像头的AprilTag捕捉，得到目标物在摄像机坐标系下的平移向量和旋转矩阵继而由以下关系可得：
其中，O代表平移向量，R代表旋转矩阵，角标b代表机体坐标系，角标c代表摄像机坐标系，角标l代表舵机关节坐标系，和为机体坐标系到摄像机坐标系的平移向量和旋转矩阵，和为机体坐标系到舵机关节坐标系的平移向量和旋转矩阵，和为舵机关节坐标系到摄像机坐标系的平移向量和旋转矩阵，每一时刻以及舵机控制关节变化之后，都可以得到一组和的解，通过多组测量，由于为向量，对每个分量直接求平均值，而为旋转矩阵，先将其转换为四元素，然后使用多组四元素的均值算法进行四元素求均值，最后转换回旋转矩阵得到最终的均值另外，舵机控制关节的控制角度的准确性需要通过舵机的输入标定与运动捕捉系统下舵机关节定位标签Tag_Link的俯仰角度保持一致，后续在无外部捕捉系统下就可直接通过正运动学求解目标在无人机坐标系下的位姿；
S2、视觉伺服抓取；
S21、无人机的机械臂系统检测到任务，开始执行视觉伺服抓取或者投放任务；
S22、摄像机识别目标物，获得像素坐标；
S23、根据目标物像素坐标偏差，进行摄像头和无人机航向调节：
其像素纵轴上偏离摄像机像素中心的误差表针的是舵机控制关节的角度跟踪误差，用PD控制器进行舵机控制关节的控制，使得在俯仰方向上，在无人机或目标运动中，摄像机能够准确对准目标物，进行俯仰追踪；
其像素横轴上偏离摄像机像素中心的误差表针的是无人机航向头部对目标物的偏离，用PD控制器调整无人机航向，使得在水平方向上，能够使得无人机头部正对目标物；
S24、已知舵机关节姿态在无人机坐标系下的姿态、舵机关节到摄像机坐标系下的转换关系、摄像机坐标系下的目标物位姿，通过正运动学求解得到目标物在无人机坐标系下的位姿，进一步可转换到其他参考坐标系；
S25、根据得到的目标物在无人机坐标系下的位置，同步计算末机械臂端执行器需要的动作，执行基于位置伺服的飞行抓取或者投放任务。
本发明的有益效果是：实现了无人机机械臂的伺服抓取，具有低成本，高精度的特点，极具应用价值。
附图说明
图1是本发明一种无人机的示意图。
图2是本发明一种无人机的标定示意图。
图3是本发明一种无人机基于视觉的抓取方法的视觉伺服抓取的流程图。
具体实施方式
下面结合附图说明及具体实施方式对本发明作进一步说明。
如图1至图2所示，一种无人机，包括无人机机体1、机械臂2、舵机控制关节3和摄像头4，所述摄像头4为单目摄像头，所述机械臂2固连于所述无人机机体1的下方，所述舵机控制关节3连接于所述无人机机体1的上方前部，所述舵机控制关节3为单自由度，所述舵机控制关节3与所述摄像头4连接，所述无人机机体1上贴有运动捕捉系统的第一定位标签5，所述舵机控制关节3、摄像头4之间贴有运动捕捉系统的第二定位标签6，所述目标物8(视觉标靶AprilTag)上贴有运动捕捉系统的第三定位标签7。此外，该无人机还包含有多个微型控制器如飞控、舵机控制器、视觉伺服控制器(图中忽略)。
如图2所示，所述第一定位标签5为至少四个反光球体组成的刚体，所述第二定位标签6为至少四个反光球体组成的刚体，第三定位标签7为至少四个反光球体组成的刚体。
如图1至图3所示，一种无人机基于视觉的抓取方法，包括以下步骤：S1、标定；
如图2所示，通过标定需要解决的问题是当舵机控制关节改变摄像机角度的时候，目标物体的位置在无人机坐标系下的位置是已知的。在这个环节中，需要通过标定求解得到的量是舵机控制关节到摄像机坐标系的旋转和平移关系矩阵
首先机械臂末端执行器的标定在世界范围内已有成熟的方法，其次，在计算机视觉中，在摄像机内外参的标定中已经可以较容易和准确的得到摄像机内参、畸变以及目标物的位置(即外参)。
假设机械臂末端执行器相对于无人机的位置已知，给定机械臂关节位置，机械臂末端执行器位置相对于无人机已知，摄像机内参、畸变参数已经事先标定已知，目标物相对于摄像机坐标系的旋转和平移已知，目标物相对于摄像机坐标系的旋转和平移为摄像机外参，在获得摄像机外参的过程中使用AprilTags及其标靶，能够实时的获得目标标靶在摄像机坐标系下的旋转和平移矩阵，采用Optitrack的运动捕捉系统，可以获得反光材质小球组成的标签在运动捕捉系统坐标系下的位置，在无人机机体上贴有运动捕捉系统的定位标签Tag_Body、在舵机控制关节之后贴有运动捕捉系统的定位标签Tag_Link，在目标物(视觉标靶)上贴有运动捕捉系统的定位标签Tag_A，标签位置和结构如图2中所示，图中标签的示意结构为阴隐填充所示的四个反光小球，实际标签也可由五个或者六个组成，每组反光小球的组成视为一个刚体，刚体的几何中心即为标签的中心，标定过程中需要保证各个标签不同防止被运动捕捉系统误识别，所以组成的反光材质小球的位置和个数不同，通过运动捕捉系统，可以得到已知的参数有：无人机机体在世界坐标系下的平移向量和旋转矩阵舵机控制关节在世界坐标系下的平移向量和旋转矩阵目标物在世界坐标系下的平移向量和旋转矩阵通过摄像头的AprilTag捕捉，得到目标物在摄像机坐标系下的平移向量和旋转矩阵继而由以下关系可得：
其中，O代表平移向量，R代表旋转矩阵，角标b代表机体坐标系，角标c代表摄像机坐标系，角标l代表舵机关节坐标系，和为机体坐标系到摄像机坐标系的平移向量和旋转矩阵，和为机体坐标系到舵机关节坐标系的平移向量和旋转矩阵，和为舵机关节坐标系到摄像机坐标系的平移向量和旋转矩阵，每一时刻以及舵机控制关节变化之后，都可以得到一组和的解，通过多组测量，由于为向量，对每个分量直接求平均值，而为旋转矩阵，先将其转换为四元素，然后使用多组四元素的均值算法进行四元素求均值，最后转换回旋转矩阵得到最终的均值另外，舵机控制关节的控制角度的准确性需要通过舵机的输入标定与运动捕捉系统下舵机关节定位标签Tag_Link的俯仰角度保持一致，后续在无外部捕捉系统下就可直接通过正运动学求解目标在无人机坐标系下的位姿；
S2、视觉伺服抓取；
视觉伺服抓取依赖于事先的视觉标定以及其他的机械臂等关节的运动学标定，需要准确的获得从机体坐标系(图2中Tag_Body定位标签所在的坐标系)到舵机控制关节坐标系(图2中Tag_Link定位标签所在的坐标系)的转换关系(关节、舵机标定并由DH参数获得)、舵机控制关节坐标系到摄像头坐标系的转换关系(视觉标定获得)、机体坐标系到机械臂末端执行器的转换关系(机械臂关节标定并由DH参数获得)、摄像机坐标系下目标物的位姿(摄像机标定及目标捕获，本发明使用AprilTags进行标靶捕获和位置计算)。
如图3所示，视觉伺服抓取具体包括以下流程：
S21、无人机的机械臂系统检测到任务，开始执行视觉伺服抓取或者投放任务；
S22、摄像机识别目标物，获得像素坐标；
S23、根据目标物像素坐标偏差，进行摄像头和无人机航向调节：
其像素纵轴上偏离摄像机像素中心的误差表针的是舵机控制关节的角度跟踪误差，用PD控制器进行舵机控制关节的控制，使得在俯仰方向上，在无人机或目标运动中，摄像机能够准确对准目标物，进行俯仰追踪；
其像素横轴上偏离摄像机像素中心的误差表针的是无人机航向头部对目标物的偏离，用PD控制器调整无人机航向，使得在水平方向上，能够使得无人机头部正对目标物；
S24、已知舵机关节姿态在无人机坐标系下的姿态、舵机关节到摄像机坐标系下的转换关系、摄像机坐标系下的目标物位姿，通过正运动学求解得到目标物在无人机坐标系下的位姿，进一步可转换到其他参考坐标系；
S25、根据得到的目标物在无人机坐标系下的位置，同步计算末机械臂端执行器需要的动作，执行基于位置伺服的飞行抓取或者投放任务。
本发明提供的一种无人机及其基于视觉的抓取方法，通过利用外部准确的测量设备对无人机关节和摄像机坐标系进行测量，提出了一种视觉标定方法，在标定基础上，提出了一种基于单目摄像机的视觉伺服抓取系统。该发明提出的系统具有低成本，高精度的特点，极具应用价值。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
Claims (5)
1.一种无人机，其特征在于：包括无人机机体、目标物、机械臂、舵机控制关节和摄像头，所述机械臂固连于所述无人机机体的下方，所述舵机控制关节连接于所述无人机机体的上方前部，所述舵机控制关节为单自由度，所述舵机控制关节与所述摄像头连接，所述无人机机体上贴有运动捕捉系统的第一定位标签，所述舵机控制关节、摄像头之间贴有运动捕捉系统的第二定位标签，所述目标物贴有运动捕捉系统的第三定位标签。
2.根据权利要求1所述的无人机，其特征在于：所述第一定位标签为至少四个反光球体组成的刚体，所述第二定位标签为至少四个反光球体组成的刚体，所述第三定位标签为至少四个反光球体组成的刚体。
3.一种无人机基于视觉的抓取方法，其特征在于，包括以下步骤：
S1、标定；
S2、视觉伺服抓取。
4.根据权利要求3所述的无人机基于视觉的抓取方法，其特征在于，步骤S1包括：假设机械臂末端执行器相对于无人机的位置已知，给定机械臂关节位置，机械臂末端执行器位置相对于无人机已知，摄像机内参、畸变参数已经事先标定已知，目标物相对于摄像机坐标系的旋转和平移已知，目标物相对于摄像机坐标系的旋转和平移为摄像机外参，在获得摄像机外参的过程中使用AprilTags及其视觉标靶，能够实时的获得目标标靶在摄像机坐标系下的旋转和平移矩阵，采用Optitrack的运动捕捉系统，可以获得反光材质小球组成的标签在运动捕捉系统坐标系下的位置，在无人机机体上贴有运动捕捉系统的定位标签Tag_Body、在舵机控制关节之后贴有运动捕捉系统的定位标签Tag_Link，在目标物上贴有运动捕捉系统的定位标签Tag_A，标定过程中需要保证各个标签不同防止被运动捕捉系统误识别，所以组成的反光材质小球的位置和个数不同，通过运动捕捉系统，可以得到已知的参数有：无人机机体在世界坐标系下的平移向量和旋转矩阵舵机控制关节在世界坐标系下的平移向量和旋转矩阵目标物在世界坐标系下的平移向量和旋转矩阵通过摄像头的AprilTag捕捉，得到目标物在摄像机坐标系下的平移向量和旋转矩阵继而由以下关系可得：
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<msubsup>
<mi>O</mi>
<mi>c</mi>
<mi>b</mi>
</msubsup>
<mo>=</mo>
<msup>
<mrow>
<mo>(</mo>
<msubsup>
<mi>R</mi>
<mi>b</mi>
<mi>w</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mi>T</mi>
</msup>
<mrow>
<mo>(</mo>
<msubsup>
<mi>O</mi>
<mi>a</mi>
<mi>w</mi>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>O</mi>
<mi>b</mi>
<mi>w</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msup>
<mrow>
<mo>(</mo>
<msubsup>
<mi>R</mi>
<mi>b</mi>
<mi>w</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mi>T</mi>
</msup>
<msubsup>
<mi>R</mi>
<mi>a</mi>
<mi>w</mi>
</msubsup>
<msup>
<mrow>
<mo>(</mo>
<msubsup>
<mi>R</mi>
<mi>a</mi>
<mi>c</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mi>T</mi>
</msup>
<msubsup>
<mi>O</mi>
<mi>a</mi>
<mi>c</mi>
</msubsup>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msubsup>
<mi>R</mi>
<mi>c</mi>
<mi>b</mi>
</msubsup>
<mo>=</mo>
<msup>
<mrow>
<mo>(</mo>
<msubsup>
<mi>R</mi>
<mi>b</mi>
<mi>w</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mi>T</mi>
</msup>
<msubsup>
<mi>R</mi>
<mi>a</mi>
<mi>w</mi>
</msubsup>
<msup>
<mrow>
<mo>(</mo>
<msubsup>
<mi>R</mi>
<mi>a</mi>
<mi>c</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mi>T</mi>
</msup>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<msubsup>
<mi>O</mi>
<mi>l</mi>
<mi>b</mi>
</msubsup>
<mo>=</mo>
<mo>-</mo>
<msup>
<mrow>
<mo>(</mo>
<msubsup>
<mi>R</mi>
<mi>b</mi>
<mi>w</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mi>T</mi>
</msup>
<msubsup>
<mi>O</mi>
<mi>b</mi>
<mi>w</mi>
</msubsup>
<mo>+</mo>
<msup>
<mrow>
<mo>(</mo>
<msubsup>
<mi>R</mi>
<mi>b</mi>
<mi>w</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mi>T</mi>
</msup>
<msubsup>
<mi>O</mi>
<mi>l</mi>
<mi>w</mi>
</msubsup>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msubsup>
<mi>R</mi>
<mi>l</mi>
<mi>b</mi>
</msubsup>
<mo>=</mo>
<msup>
<mrow>
<mo>(</mo>
<msubsup>
<mi>R</mi>
<mi>b</mi>
<mi>w</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mi>T</mi>
</msup>
<msubsup>
<mi>R</mi>
<mi>l</mi>
<mi>w</mi>
</msubsup>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<msubsup>
<mi>O</mi>
<mi>c</mi>
<mi>l</mi>
</msubsup>
<mo>=</mo>
<mo>-</mo>
<msup>
<mrow>
<mo>(</mo>
<msubsup>
<mi>R</mi>
<mi>l</mi>
<mi>b</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mi>T</mi>
</msup>
<msubsup>
<mi>O</mi>
<mi>l</mi>
<mi>b</mi>
</msubsup>
<mo>+</mo>
<msup>
<mrow>
<mo>(</mo>
<msubsup>
<mi>R</mi>
<mi>l</mi>
<mi>b</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mi>T</mi>
</msup>
<msubsup>
<mi>O</mi>
<mi>c</mi>
<mi>b</mi>
</msubsup>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msubsup>
<mi>R</mi>
<mi>c</mi>
<mi>l</mi>
</msubsup>
<mo>=</mo>
<msup>
<mrow>
<mo>(</mo>
<msubsup>
<mi>R</mi>
<mi>l</mi>
<mi>b</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mi>T</mi>
</msup>
<msubsup>
<mi>R</mi>
<mi>c</mi>
<mi>b</mi>
</msubsup>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
其中，O代表平移向量，R代表旋转矩阵，角标b代表机体坐标系，角标c代表摄像机坐标系，角标l代表舵机关节坐标系，和为机体坐标系到摄像机坐标系的平移向量和旋转矩阵，和为机体坐标系到舵机关节坐标系的平移向量和旋转矩阵，和为舵机关节坐标系到摄像机坐标系的平移向量和旋转矩阵，每一时刻以及舵机控制关节变化之后，都可以得到一组和的解，通过多组测量，由于为向量，对每个分量直接求平均值，而为旋转矩阵，先将其转换为四元素，然后使用多组四元素的均值算法进行四元素求均值，最后转换回旋转矩阵得到最终的均值另外，舵机控制关节的控制角度的准确性需要通过舵机的输入标定与运动捕捉系统下舵机关节定位标签Tag_Link的俯仰角度保持一致，后续在无外部捕捉系统下就可直接通过正运动学求解目标在无人机坐标系下的位姿。
5.根据权利要求3所述的无人机基于视觉的抓取方法，其特征在于，步骤S2包括以下子步骤：
S21、无人机的机械臂系统检测到任务，开始执行视觉伺服抓取或者投放任务；
S22、摄像机识别目标物，获得像素坐标；
S23、根据目标物像素坐标偏差，进行摄像头和无人机航向调节：
其像素纵轴上偏离摄像机像素中心的误差表针的是舵机控制关节的角度跟踪误差，用PD控制器进行舵机控制关节的控制，使得在俯仰方向上，在无人机或目标运动中，摄像机能够准确对准目标物，进行俯仰追踪；
其像素横轴上偏离摄像机像素中心的误差表针的是无人机航向头部对目标物的偏离，用PD控制器调整无人机航向，使得在水平方向上，能够使得无人机头部正对目标物；
S24、已知舵机关节姿态在无人机坐标系下的姿态、舵机关节到摄像机坐标系下的转换关系、摄像机坐标系下的目标物位姿，通过正运动学求解得到目标物在无人机坐标系下的位姿，进一步可转换到其他参考坐标系；
S25、根据得到的目标物在无人机坐标系下的位置，同步计算末机械臂端执行器需要的动作，执行基于位置伺服的飞行抓取或者投放任务。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710326701.8A CN107139178B (zh) | 2017-05-10 | 2017-05-10 | 一种无人机及其基于视觉的抓取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710326701.8A CN107139178B (zh) | 2017-05-10 | 2017-05-10 | 一种无人机及其基于视觉的抓取方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107139178A true CN107139178A (zh) | 2017-09-08 |
| CN107139178B CN107139178B (zh) | 2024-02-23 |
Family
ID=59776931
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710326701.8A Active CN107139178B (zh) | 2017-05-10 | 2017-05-10 | 一种无人机及其基于视觉的抓取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107139178B (zh) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108170160A (zh) * | 2017-12-21 | 2018-06-15 | 中山大学 | 一种利用单目视觉和机载传感器旋翼无人机自主抓取方法 |
| CN108724187A (zh) * | 2018-06-13 | 2018-11-02 | 中国科学技术大学 | 一种机器人抓取飞行物体的运动规划方法及系统 |
| CN108985184A (zh) * | 2018-06-26 | 2018-12-11 | 齐霄强 | 一种多用途飞机外挂物自动挂载系统及挂载方法 |
| CN109015633A (zh) * | 2018-07-12 | 2018-12-18 | 深圳市寒武纪智能科技有限公司 | 一种视觉伺服跟踪方法、装置及系统 |
| CN109398688A (zh) * | 2018-11-16 | 2019-03-01 | 湖南大学 | 一种旋翼飞行双机械臂目标定位抓取系统及方法 |
| CN109491401A (zh) * | 2017-09-13 | 2019-03-19 | 飞智控（天津）科技有限公司 | 面向自主搬运任务的无人机系统及搬运方法 |
| CN109625922A (zh) * | 2018-11-30 | 2019-04-16 | 安徽智训机器人技术有限公司 | 一种用于智能制造的自动上下料系统及方法 |
| CN109895099A (zh) * | 2019-03-28 | 2019-06-18 | 哈尔滨工业大学（深圳） | 一种基于自然特征的飞行机械臂视觉伺服抓取方法 |
| CN110286688A (zh) * | 2019-06-19 | 2019-09-27 | 广东工业大学 | 一种带有机械臂的水下四旋翼无人机控制方法 |
| CN110435370A (zh) * | 2019-07-30 | 2019-11-12 | 南京理工大学 | 一种用于复杂环境的三栖侦察器 |
| CN111017217A (zh) * | 2019-12-30 | 2020-04-17 | 中航电测仪器(西安)有限公司 | 一种直升机用货物自动抓取装置 |
| CN111216109A (zh) * | 2019-10-22 | 2020-06-02 | 东北大学 | 一种用于临床治疗与检测的视觉跟随装置及其方法 |
| CN111784731A (zh) * | 2020-06-19 | 2020-10-16 | 哈尔滨工业大学 | 一种基于深度学习的目标姿态估计方法 |
| CN111923049A (zh) * | 2020-08-21 | 2020-11-13 | 福州大学 | 基于球面模型的飞行机械臂视觉伺服与多任务控制方法 |
| CN112215131A (zh) * | 2020-10-10 | 2021-01-12 | 李睿宸 | 一种自动垃圾拾取系统及其手动操作和自动拾取方法 |
| CN112446916A (zh) * | 2019-09-02 | 2021-03-05 | 北京京东乾石科技有限公司 | 确定无人车停靠位的方法和装置 |
| CN113237478A (zh) * | 2021-05-27 | 2021-08-10 | 哈尔滨工业大学 | 一种无人机的姿态和位置估计方法及无人机 |
| CN114627395A (zh) * | 2022-05-17 | 2022-06-14 | 中国兵器装备集团自动化研究所有限公司 | 基于嵌套靶标的多旋翼无人机角度分析方法、系统及终端 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4453085A (en) * | 1981-05-11 | 1984-06-05 | Diffracto Ltd. | Electro-optical systems for control of robots, manipulator arms and co-ordinate measuring machines |
| CN104827480A (zh) * | 2014-02-11 | 2015-08-12 | 泰科电子(上海)有限公司 | 机器人系统的自动标定方法 |
| CN104965516A (zh) * | 2015-06-15 | 2015-10-07 | 东南大学 | 一种基于视觉和力反馈的四旋翼飞行器进行空中抓取作业的控制方法 |
| CN106363646A (zh) * | 2016-05-25 | 2017-02-01 | 上海铸天智能科技有限公司 | 基于视觉伺服控制的多旋翼和机载机械臂联合位姿控制法 |
-
2017
- 2017-05-10 CN CN201710326701.8A patent/CN107139178B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4453085A (en) * | 1981-05-11 | 1984-06-05 | Diffracto Ltd. | Electro-optical systems for control of robots, manipulator arms and co-ordinate measuring machines |
| CN104827480A (zh) * | 2014-02-11 | 2015-08-12 | 泰科电子(上海)有限公司 | 机器人系统的自动标定方法 |
| CN104965516A (zh) * | 2015-06-15 | 2015-10-07 | 东南大学 | 一种基于视觉和力反馈的四旋翼飞行器进行空中抓取作业的控制方法 |
| CN106363646A (zh) * | 2016-05-25 | 2017-02-01 | 上海铸天智能科技有限公司 | 基于视觉伺服控制的多旋翼和机载机械臂联合位姿控制法 |
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109491401A (zh) * | 2017-09-13 | 2019-03-19 | 飞智控（天津）科技有限公司 | 面向自主搬运任务的无人机系统及搬运方法 |
| CN108170160A (zh) * | 2017-12-21 | 2018-06-15 | 中山大学 | 一种利用单目视觉和机载传感器旋翼无人机自主抓取方法 |
| CN108724187A (zh) * | 2018-06-13 | 2018-11-02 | 中国科学技术大学 | 一种机器人抓取飞行物体的运动规划方法及系统 |
| CN108985184A (zh) * | 2018-06-26 | 2018-12-11 | 齐霄强 | 一种多用途飞机外挂物自动挂载系统及挂载方法 |
| CN108985184B (zh) * | 2018-06-26 | 2022-04-29 | 齐霄强 | 一种多用途飞机外挂物自动挂载系统及挂载方法 |
| CN109015633A (zh) * | 2018-07-12 | 2018-12-18 | 深圳市寒武纪智能科技有限公司 | 一种视觉伺服跟踪方法、装置及系统 |
| CN109398688B (zh) * | 2018-11-16 | 2020-06-30 | 湖南大学 | 一种旋翼飞行双机械臂目标定位抓取系统及方法 |
| CN109398688A (zh) * | 2018-11-16 | 2019-03-01 | 湖南大学 | 一种旋翼飞行双机械臂目标定位抓取系统及方法 |
| CN109625922A (zh) * | 2018-11-30 | 2019-04-16 | 安徽智训机器人技术有限公司 | 一种用于智能制造的自动上下料系统及方法 |
| CN109895099A (zh) * | 2019-03-28 | 2019-06-18 | 哈尔滨工业大学（深圳） | 一种基于自然特征的飞行机械臂视觉伺服抓取方法 |
| CN110286688A (zh) * | 2019-06-19 | 2019-09-27 | 广东工业大学 | 一种带有机械臂的水下四旋翼无人机控制方法 |
| CN110286688B (zh) * | 2019-06-19 | 2021-03-16 | 广东工业大学 | 一种带有机械臂的水下四旋翼无人机控制方法 |
| CN110435370A (zh) * | 2019-07-30 | 2019-11-12 | 南京理工大学 | 一种用于复杂环境的三栖侦察器 |
| CN112446916A (zh) * | 2019-09-02 | 2021-03-05 | 北京京东乾石科技有限公司 | 确定无人车停靠位的方法和装置 |
| CN111216109A (zh) * | 2019-10-22 | 2020-06-02 | 东北大学 | 一种用于临床治疗与检测的视觉跟随装置及其方法 |
| CN111017217A (zh) * | 2019-12-30 | 2020-04-17 | 中航电测仪器(西安)有限公司 | 一种直升机用货物自动抓取装置 |
| CN111784731A (zh) * | 2020-06-19 | 2020-10-16 | 哈尔滨工业大学 | 一种基于深度学习的目标姿态估计方法 |
| CN111923049A (zh) * | 2020-08-21 | 2020-11-13 | 福州大学 | 基于球面模型的飞行机械臂视觉伺服与多任务控制方法 |
| CN111923049B (zh) * | 2020-08-21 | 2023-11-03 | 福州大学 | 基于球面模型的飞行机械臂视觉伺服与多任务控制方法 |
| CN112215131A (zh) * | 2020-10-10 | 2021-01-12 | 李睿宸 | 一种自动垃圾拾取系统及其手动操作和自动拾取方法 |
| CN113237478B (zh) * | 2021-05-27 | 2022-10-14 | 哈尔滨工业大学 | 一种无人机的姿态和位置估计方法及无人机 |
| CN113237478A (zh) * | 2021-05-27 | 2021-08-10 | 哈尔滨工业大学 | 一种无人机的姿态和位置估计方法及无人机 |
| CN114627395A (zh) * | 2022-05-17 | 2022-06-14 | 中国兵器装备集团自动化研究所有限公司 | 基于嵌套靶标的多旋翼无人机角度分析方法、系统及终端 |
| CN114627395B (zh) * | 2022-05-17 | 2022-08-05 | 中国兵器装备集团自动化研究所有限公司 | 基于嵌套靶标的多旋翼无人机角度分析方法、系统及终端 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107139178B (zh) | 2024-02-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107139178A (zh) | 一种无人机及其基于视觉的抓取方法 | |
| CN105910535B (zh) | 一种用于舱段自动对接的单双目位姿偏差测量方法 | |
| CN109753076A (zh) | 一种无人机视觉追踪实现方法 | |
| CN107390704B (zh) | 一种基于imu姿态补偿的多旋翼无人机光流悬停方法 | |
| CN108499054B (zh) | 一种基于slam的车载机械臂捡球系统及其捡球方法 | |
| CN106525049B (zh) | 一种基于计算机视觉的四足机器人本体位姿跟踪方法 | |
| CN109872372A (zh) | 一种小型四足机器人全局视觉定位方法和系统 | |
| CN109079799B (zh) | 一种基于仿生的机器人感知控制系统及控制方法 | |
| CN109895099B (zh) | 一种基于自然特征的飞行机械臂视觉伺服抓取方法 | |
| CN107314771A (zh) | 基于编码标志点的无人机定位以及姿态角测量方法 | |
| CN110276806A (zh) | 用于四自由度并联机器人立体视觉手眼系统的在线手眼标定和抓取位姿计算方法 | |
| WO2018211926A1 (ja) | 画像生成装置、画像生成システム、画像生成方法、及び画像生成プログラム | |
| CN107105147A (zh) | 一种仿生超分辨成像传感器及成像方法 | |
| CN106155081B (zh) | 一种旋翼无人机大范围目标监测和精确定位方法 | |
| CN109933096B (zh) | 一种云台伺服控制方法及系统 | |
| CN109683629A (zh) | 基于组合导航和计算机视觉的无人机电力架线系统 | |
| CN109062229A (zh) | 基于双目视觉的水下机器人系统的领航跟随编队方法 | |
| CN107192375A (zh) | 一种基于航拍姿态的无人机多帧图像自适应定位校正方法 | |
| WO2022000713A1 (zh) | 一种基于航空装配的增强现实自定位方法 | |
| CN206913156U (zh) | 一种无人机 | |
| CN113516708A (zh) | 一种基于图像识别与uwb定位融合的输电线路巡检无人机精确定位系统及方法 | |
| CN109178345A (zh) | 一种用于空中动目标跟踪的云台指向及星体姿态协同控制方法 | |
| CN106780337A (zh) | 基于二维图像的无人机着舰视景模拟方法 | |
| CN108170160A (zh) | 一种利用单目视觉和机载传感器旋翼无人机自主抓取方法 | |
| CN103753530B (zh) | 一种空间绳系机器人超近距视觉伺服控制方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |