CN113681560B - 基于视力融合的机械臂操作铰接物体的方法 - Google Patents

基于视力融合的机械臂操作铰接物体的方法 Download PDF

Info

Publication number
CN113681560B
CN113681560B CN202110986348.2A CN202110986348A CN113681560B CN 113681560 B CN113681560 B CN 113681560B CN 202110986348 A CN202110986348 A CN 202110986348A CN 113681560 B CN113681560 B CN 113681560B
Authority
CN
China
Prior art keywords
pose
hinged
mechanical arm
hinged object
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110986348.2A
Other languages
English (en)
Other versions
CN113681560A (zh
Inventor
王越
郭达顺
俞鸿翔
熊蓉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202110986348.2A priority Critical patent/CN113681560B/zh
Publication of CN113681560A publication Critical patent/CN113681560A/zh
Application granted granted Critical
Publication of CN113681560B publication Critical patent/CN113681560B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种基于视力融合的机械臂操作铰接物体的方法，包括：(1)对机械臂示教，获取机械臂试触与操作铰接物体时相对于铰接物体的第一位姿；(2)利用视觉传感器采集机械臂试触与操作铰接物体时的场景点云数据，并依据场景点云数据确定铰接物体的法向量与粗糙中心；(3)依据铰接物体的法向量与粗糙中心确定铰接物体在视觉传感器坐标系下的粗糙第二位姿；(4)依据第一位姿和粗糙第二位姿，机械臂对铰接物体进行试触，依据机械臂末端的移动距离确定铰接物体的精确中心，该精确中心结合粗糙第二位姿，确定精确第二位姿；(5)依据第一位姿和精确第二位姿，机械臂实现对铰接物体的操作。该方法能够完成对铰接物体的操作。

Description

基于视力融合的机械臂操作铰接物体的方法
技术领域
本发明属于机器人智能控制领域，具体涉及一种基于视力融合的机械臂操作铰接物体的方法。
背景技术
互联网和信息化的迅速发展推动了机器人技术的发展，机器人逐渐在各行各业崭露头角，帮助人们完成各式各样的复杂任务。在工业中，机械臂是应用最为广泛的一种工业机器人。机械臂也叫机械手和机械手臂，顾名思义，机械臂有着与人类手臂类似的机械结构，常见的机械臂拥有四个或六个关节。机械臂由三大核心部件组成，分别是电机、减速器与系统，通过系统的示教器来进行编程，使电机传动减速器执行指定的轨迹，完成相应的任务，整个控制过程都由系统统一控制和反馈。机械臂由于其操作的灵活性，可以完成诸如搬运东西、加工产品、设备配套、喷涂油漆、焊接产品、组装打磨等应用。机械臂的优势在于，它不仅可以不厌其烦地完成指定好的各种加工任务，不会感到厌倦或是疲惫，而且，机械臂可以高精度地完成指定的工作，保证了在大规模生产中，产品的质量与性能。
对于机器人来说，要想能够自适应地在不断变化的场景中稳定运行，就需要感知外部环境，获取目标、障碍物等各类信息，根据信息来完成下一步的决策。感知外部信息，就需要各类传感器的帮助。传感器是用于采集各类信息并转换为特定信号的器件，目前常用在机械臂上的传感器有视觉传感器(摄像头、激光雷达)、力觉传感器、触觉传感器等。这些传感器就像人类的眼睛、皮肤，使得机械臂能够像人一样自主地完成各类任务。
近年来，随着视觉算法的不断发展，计算机已经可以根据已有的图片，对其进行图像分类、目标检测、语义分割和实例分割，对于三维场景来说，可以在复杂场景下将各种物体进行分类，并估计其位姿。借助这些算法，计算机可以控制机械臂主机，使其完成对目标物体的抓取，摆放，或者抓取工具进行简单的任务操作。不过，上述内容都是针对单个物体作为整体来操作的，事实上，除了这些类似于物块、工具等作为整体使用的单个物体，现实生活还中有许多物体是由多个部分组成，并通过铰接的方式连接，操作各个部分会带来不同的效果，这类物体也被称为铰接物体。常见的铰接物体有门、纸箱、窗户、抽屉等等，对其常见的操作即为对其铰接部分沿着轴的方向进行移动，比如开门、关上箱子、推开窗户、拉开抽屉等等。如何让计算机识别这类物体，如何让机械臂自主地适应并操作这一类的物体，是目前机器人智能控制研究领域的迫切需要解决的问题。
发明内容
鉴于上述，本发明的目的是提供一种基于视力融合的机械臂操作铰接物体的方法，借助于视力融合信息使机械臂在未知环境中自主识别铰接物体，并完成对铰接物体的操作。
本发明实施例提供的技术方案为：
一种基于视力融合的机械臂操作铰接物体的方法，包括以下步骤：
(1)对机械臂示教，获取机械臂试触与操作铰接物体时相对于铰接物体的第一位姿；
(2)利用视觉传感器采集机械臂试触与操作铰接物体时的场景点云数据，并依据场景点云数据确定铰接物体的法向量与粗糙中心；
(3)依据铰接物体的法向量与粗糙中心确定铰接物体在视觉传感器坐标系下的粗糙第二位姿；
(4)依据第一位姿和粗糙第二位姿，机械臂对铰接物体进行试触，依据机械臂末端的移动距离确定铰接物体的精确中心，该精确中心结合粗糙第二位姿，确定精确第二位姿；
(5)依据第一位姿和精确第二位姿，机械臂实现对铰接物体的操作。
优选地，步骤(1)中，通过对机械臂示教，获取机械臂试触与操作铰接物体时，机械臂末端垂直于铰接物体平面的垂直相对位姿，机械臂末端倾斜于铰接物体平面的倾斜相对位姿，其中，垂直相对位姿用于确定铰接物体的精确中心，倾斜相对位姿用于指导机械臂实现对铰接物体的操作，垂直相对位姿和倾斜相对位姿统称为第一位姿。
优选地，步骤(2)中，依据场景点云数据确定铰接物体的法向量与粗糙中心包括：
计算场景点云数据的法向量，并依据法向量对场景点云数据进行聚类后，根据聚类结果分割得到铰接物体点云数据；
对铰接物体点云数据进行预处理后，计算铰接物体点云数据的法向量，并对法向量求均值后作为铰接物体的法向量，对铰接物体点云数据的位置求中位数作为铰接物体的粗糙中心。
优选地，采用K-means算法对场景点云数据进行聚类。
优选地，对铰接物体点云数据进行的预处理包括：点云数据的滤波、消除孤立点以及平滑。
优选地，步骤(3)中，利用先验知识，获得铰接物体平面视觉传感器坐标系下的y轴方向，同时将铰接物体的法向量作为z轴方向，并以铰接物体的粗糙中心作为原点，构建物体坐标系，依据物体坐标系与平面视觉传感器坐标系的转换关系，确定铰接物体在视觉传感器坐标系下的第二位姿。
优选地，步骤(4)中，依据垂直相对位姿和粗糙第二位姿，进行机械臂末端对铰接物体的试触，通过力传感器判断机械臂是否接触铰接物体，从而采集机械臂末端的移动距离，依据该移动距离确定铰接物体的精确中心。
优选地，步骤(5)中，利用先验知识与精确第二位姿，获得铰接物体转动轴的相应位姿，依据第一位姿与倾斜相对位姿，使机械臂到达操作铰接物体的位姿，与铰接物体接触，结合相应位姿绕铰接物体的轴做弧线运动，通过力传感器判断操作是否完成，从而完成对铰接物体的操作。
优选地，所述视觉传感器采用RGB-D摄像头。
实施例提供的基于视力融合的机械臂操作铰接物体的方法，具有的有益效果至少包括：
通过引入视觉传感器采集的点云数据确定铰接物体的法向量与粗糙中心，依据铰接物体的法向量与粗糙中心确定铰接物体在视觉传感器坐标系下的第二位姿；然后依据第一位姿和第二位姿，机械臂对铰接物体进行试触，依据机械臂末端的移动距离确定铰接物体的精确中心；最后，依据第一位姿和铰接物体的精确中心，机械臂实现对铰接物体的操作，这样可以在机械臂与铰接物体相对位姿随机且未知的情况下，完成对铰接物体的识别与操作，且通过对不同铰接物体的提前示教，可以完成对不同型号的铰接物体的操作。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
图1是实施例提供的基于视力融合的机械臂操作铰接物体的方法的流程图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
为了实现机械臂对铰接物体的准确操作，实施例提供一种基于视力融合的机械臂操作铰接物体的方法。图1是实施例提供的基于视力融合的机械臂操作铰接物体的方法的流程图，如图1所示，实施例提供的基于视力融合的机械臂操作铰接物体的方法，包括以下步骤：
步骤1，对机械臂示教，获取机械臂试触与操作铰接物体时相对于铰接物体的第一位姿。
实施例中，通过对机械臂示教，获取机械臂试触与操作铰接物体时，机械臂末端垂直于铰接物体平面的垂直相对位姿，机械臂末端倾斜于铰接物体平面的倾斜相对位姿，其中，垂直相对位姿用于确定铰接物体的精确中心，倾斜相对位姿用于指导机械臂实现对铰接物体的操作，垂直相对位姿和倾斜相对位姿统称为第一位姿。
以铰接物体为包含柜体和柜门、且柜体与柜门通过可旋转的铰接轴连接并绕铰接轴顺时针旋转的柜子结构为例，通过对机械臂示教，获取机械臂末端垂直于柜门平面的垂直相对位姿，命名为示教位姿1，同时获取机械臂末端倾斜于柜门平面的倾斜相对位姿，命名为示教位姿2。
步骤2，利用视觉传感器采集机械臂试触与操作铰接物体时的场景点云数据，并依据场景点云数据确定铰接物体的法向量与粗糙中心。
实施例中，采用RGB-D摄像头作为视觉传感器，该RGB-D摄像头固定连接到机械臂上，来获取采集机械臂试触与操作铰接物体时的场景点云数据，该场景点云数据中包含铰接物体点云数据。采集的场景点云数据传输至机械臂的控制系统，控制系统依据场景点云数据确定铰接物体的法向量与粗糙中心，具体过程为：
首先，计算场景点云数据的法向量，并依据法向量对场景点云数据进行聚类后，根据聚类结果分割得到铰接物体点云数据。实施例中，以点云数据的法向量作为关注因子，采用K-means算法对场景点云数据进行聚类。
然后，对铰接物体点云数据进行预处理后，计算铰接物体点云数据的法向量，并对法向量求均值后以平均法向量作为铰接物体的法向量，对铰接物体点云数据的位置求中位数，将中位数点云的位置作为铰接物体的粗糙中心。实施例中，对铰接物体点云数据进行的预处理包括：点云数据的滤波、消除孤立点以及平滑。
以铰接物体为包含柜体和柜门、且柜体与柜门通过可旋转的铰接轴连接并绕铰接轴顺时针旋转的柜子结构为例，获取的场景点云数据至少包含柜子点云数据，依据聚类结果分割时，将大致形状为柜门形状的点云分割出来作为柜门点云数据，然后计算柜门点云数据的法向量的平均值作为柜门的法向量，将柜门点云数据的中位数对应的位置作为柜门的粗糙中心位置。
步骤3，依据铰接物体的法向量与粗糙中心确定铰接物体在视觉传感器坐标系下的粗糙第二位姿。
实施例中，利用先验知识，获得铰接物体平面在视觉传感器坐标系下的y轴方向，同时将铰接物体的法向量作为z轴方向，并以铰接物体的粗糙中心作为原点，构建物体坐标系，依据物体坐标系与平面视觉传感器坐标系的转换关系，确定铰接物体在视觉传感器坐标系下的粗糙第二位姿。此处的先验知识是指事先准备好的信息，通过该信息获得铰接物体平面在视觉传感器坐标系下的y轴方向。
以铰接物体为包含柜体和柜门、且柜体与柜门通过可旋转的铰接轴连接并绕铰接轴顺时针旋转的柜子结构为例，通过在柜门上贴二维码，利用相机识别二维码的位姿，计算获得柜门平面在视觉传感器坐标系下的y轴方向；然后将铰接物体的法向量作为z轴方面，利用y轴、z轴以及柜门的粗糙中心位置，获得柜门在视觉传感器坐标系下的大致位姿，也就是上述粗糙第二位姿，具体计算过程为：
假设向量
Figure BDA0003230819360000071
分别表示铰接物体的x、y、z轴方向，向量/>
Figure BDA0003230819360000072
已知，则向量/>
Figure BDA0003230819360000073
可由以下公式求出：/>
Figure BDA0003230819360000074
铰接物体的旋转矩阵R可表示为：
Figure BDA0003230819360000075
铰接物体的平移矩阵T即为粗糙中心位置，是已知的。
那么即可求出铰接物体的位姿H：
Figure BDA0003230819360000076
步骤4，依据第一位姿和粗糙第二位姿，机械臂对铰接物体进行试触，依据机械臂末端的移动距离确定铰接物体的精确中心，该精确中心结合粗糙第二位姿，确定精确第二位姿。
实施例中，依据垂直相对位姿和粗糙第二位姿，进行机械臂末端对铰接物体的试触，通过力传感器判断机械臂是否接触铰接物体，从而采集机械臂末端的移动距离，依据该移动距离确定铰接物体的精确中心。
以铰接物体为包含柜体和柜门、且柜体与柜门通过可旋转的铰接轴连接并绕铰接轴顺时针旋转的柜子结构为例，利用柜门的大致位姿，进行机械臂末端试触，首先使机械臂移动至示教位姿1，并相对于柜门平面x轴方向右移3cm，防止机械臂末端触碰柜门，接着机械臂向左移动，通过力传感器传回的数据判断机械臂末端是否接触柜门，接触柜门后，机械臂停止移动，根据机械臂末端移动的距离，获得柜门中心点的精确位置
步骤5，依据第一位姿和精确第二位姿，机械臂实现对铰接物体的操作。
实施例中，利用先验知识和精确第二位姿，获得铰接物体转动轴的相应位姿，依据第一位姿与倾斜相对位姿，使机械臂到达操作铰接物体的位姿，与铰接物体接触，结合相应位姿绕铰接物体的轴做弧线运动，通过力传感器判断操作是否完成，从而完成对铰接物体的操作。此处的先验知识指铰接物体绕轴旋转的半径，已知。
以铰接物体为包含柜体和柜门、且柜体与柜门通过可旋转的铰接轴连接并绕铰接轴顺时针旋转的柜子结构为例，对铰接物体的操作为开启柜门，获得柜门x轴方向尺寸w，将已有的柜门的大致位姿和示教位姿2沿x轴负方向平移w/2，获得柜门转动轴的相应位姿；使机械臂到达开启柜门的位姿，绕柜门的轴做弧线运动，通过力传感器判断柜门是否已完全打开，从而完成开启柜门的操作。
实施例提供的基于视力融合的机械臂操作铰接物体的方法，通过实验证明，可以在机械臂与铰接物体相对位姿随机且未知的情况下，完成对铰接物体的识别与操作，且通过对不同铰接物体的提前示教，可以完成对不同型号的铰接物体的操作。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于视力融合的机械臂操作铰接物体的方法，其特征在于，包括以下步骤：
(1)对机械臂示教，获取机械臂试触与操作铰接物体时相对于铰接物体的第一位姿；
(2)利用视觉传感器采集机械臂试触与操作铰接物体时的场景点云数据，并依据场景点云数据确定铰接物体的法向量与粗糙中心；
(3)依据铰接物体的法向量与粗糙中心确定铰接物体在视觉传感器坐标系下的粗糙第二位姿；
(4)依据第一位姿和粗糙第二位姿，机械臂对铰接物体进行试触，依据机械臂末端的移动距离确定铰接物体的精确中心，该精确中心结合粗糙第二位姿，确定精确第二位姿；
(5)依据第一位姿和精确第二位姿，机械臂实现对铰接物体的操作。
2.根据权利要求1所述的基于视力融合的机械臂操作铰接物体的方法，其特征在于，步骤(1)中，通过对机械臂示教，获取机械臂试触与操作铰接物体时，机械臂末端垂直于铰接物体平面的垂直相对位姿，机械臂末端倾斜于铰接物体平面的倾斜相对位姿，其中，垂直相对位姿用于确定铰接物体的精确中心，倾斜相对位姿用于指导机械臂实现对铰接物体的操作，垂直相对位姿和倾斜相对位姿统称为第一位姿。
3.根据权利要求1所述的基于视力融合的机械臂操作铰接物体的方法，其特征在于，步骤(2)中，依据场景点云数据确定铰接物体的法向量与粗糙中心包括：
计算场景点云数据的法向量，并依据法向量对场景点云数据进行聚类后，根据聚类结果分割得到铰接物体点云数据；
对铰接物体点云数据进行预处理后，计算铰接物体点云数据的法向量，并对法向量求均值后作为铰接物体的法向量，对铰接物体点云数据的位置求中位数作为铰接物体的粗糙中心。
4.根据权利要求3所述的基于视力融合的机械臂操作铰接物体的方法，其特征在于，采用K-means算法对场景点云数据进行聚类。
5.根据权利要求3所述的基于视力融合的机械臂操作铰接物体的方法，其特征在于，对铰接物体点云数据进行的预处理包括：点云数据的滤波、消除孤立点以及平滑。
6.根据权利要求1所述的基于视力融合的机械臂操作铰接物体的方法，其特征在于，步骤(3)中，利用先验知识，获得铰接物体在平面视觉传感器坐标系下的y轴方向，同时将铰接物体的法向量作为z轴方向，并以铰接物体的粗糙中心作为原点，构建物体坐标系，依据物体坐标系与平面视觉传感器坐标系的转换关系，确定铰接物体在视觉传感器坐标系下的第二位姿。
7.根据权利要求2所述的基于视力融合的机械臂操作铰接物体的方法，其特征在于，步骤(4)中，依据垂直相对位姿和粗糙第二位姿，进行机械臂末端对铰接物体的试触，通过力传感器判断机械臂是否接触铰接物体，从而采集机械臂末端的移动距离，依据该移动距离确定铰接物体的精确中心。
8.根据权利要求2所述的基于视力融合的机械臂操作铰接物体的方法，其特征在于，步骤(5)中，利用先验知识与精确第二位姿，获得铰接物体转动轴的相应位姿，依据第一位姿与倾斜相对位姿，使机械臂到达操作铰接物体的位姿，与铰接物体接触，结合相应位姿绕铰接物体的轴做弧线运动，通过力传感器判断操作是否完成，从而完成对铰接物体的操作。
9.根据权利要求1所述的基于视力融合的机械臂操作铰接物体的方法，其特征在于，所述视觉传感器采用RGB-D摄像头。
CN202110986348.2A 2021-08-26 2021-08-26 基于视力融合的机械臂操作铰接物体的方法 Active CN113681560B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110986348.2A CN113681560B (zh) 2021-08-26 2021-08-26 基于视力融合的机械臂操作铰接物体的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110986348.2A CN113681560B (zh) 2021-08-26 2021-08-26 基于视力融合的机械臂操作铰接物体的方法

Publications (2)

Publication Number Publication Date
CN113681560A CN113681560A (zh) 2021-11-23
CN113681560B true CN113681560B (zh) 2023-07-04

Family

ID=78582798

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110986348.2A Active CN113681560B (zh) 2021-08-26 2021-08-26 基于视力融合的机械臂操作铰接物体的方法

Country Status (1)

Country Link
CN (1) CN113681560B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117001676A (zh) * 2022-04-29 2023-11-07 华为技术有限公司 一种机器人拨盖方法及机器人

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4011180A1 (de) * 1990-04-06 1991-10-10 Audi Ag Verfahren und abstandslehre zur durchfuehrung des verfahrens fuer die gestaengeeinstellung zwischen einem tuergriff und einem tuerschloss einer fahrzeugtuer
JP2017154193A (ja) * 2016-02-29 2017-09-07 トヨタ自動車株式会社 ロボット
CN107818577A (zh) * 2017-10-26 2018-03-20 滁州学院 一种基于混合模型的零件识别与定位方法
CN111008607A (zh) * 2019-12-11 2020-04-14 南京航空航天大学 一种视觉伺服飞机舱门缝隙自动化激光扫描方法和系统
CN111360838A (zh) * 2020-04-24 2020-07-03 腾讯科技（深圳）有限公司 一种机械臂控制方法、装置、机械臂及存储介质
CN112571415A (zh) * 2020-12-03 2021-03-30 哈尔滨工业大学（深圳） 一种基于视觉导引的机器人自主开门方法与系统
CN113103235A (zh) * 2021-04-20 2021-07-13 亿嘉和科技股份有限公司 一种基于rgb-d图像对柜体表面设备进行垂直操作的方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4011180A1 (de) * 1990-04-06 1991-10-10 Audi Ag Verfahren und abstandslehre zur durchfuehrung des verfahrens fuer die gestaengeeinstellung zwischen einem tuergriff und einem tuerschloss einer fahrzeugtuer
JP2017154193A (ja) * 2016-02-29 2017-09-07 トヨタ自動車株式会社 ロボット
CN107818577A (zh) * 2017-10-26 2018-03-20 滁州学院 一种基于混合模型的零件识别与定位方法
CN111008607A (zh) * 2019-12-11 2020-04-14 南京航空航天大学 一种视觉伺服飞机舱门缝隙自动化激光扫描方法和系统
CN111360838A (zh) * 2020-04-24 2020-07-03 腾讯科技（深圳）有限公司 一种机械臂控制方法、装置、机械臂及存储介质
CN112571415A (zh) * 2020-12-03 2021-03-30 哈尔滨工业大学（深圳） 一种基于视觉导引的机器人自主开门方法与系统
CN113103235A (zh) * 2021-04-20 2021-07-13 亿嘉和科技股份有限公司 一种基于rgb-d图像对柜体表面设备进行垂直操作的方法

Also Published As

Publication number Publication date
CN113681560A (zh) 2021-11-23

Similar Documents

Publication Publication Date Title
US20230154015A1 (en) Virtual teach and repeat mobile manipulation system
Aarno et al. Adaptive virtual fixtures for machine-assisted teleoperation tasks
Wang et al. Robot manipulator self-identification for surrounding obstacle detection
Rogalla et al. Using gesture and speech control for commanding a robot assistant
CN111251295B (zh) 一种应用于参数化零件的视觉机械臂抓取方法及装置
Sayour et al. Autonomous robotic manipulation: Real-time, deep-learning approach for grasping of unknown objects
Welke et al. Autonomous acquisition of visual multi-view object representations for object recognition on a humanoid robot
Husain et al. Realtime tracking and grasping of a moving object from range video
CN113681560B (zh) 基于视力融合的机械臂操作铰接物体的方法
Wang et al. Learning semantic keypoint representations for door opening manipulation
CN112207839A (zh) 可移动的家居服务机器人及方法
CN116766194A (zh) 基于双目视觉的盘类工件定位与抓取系统和方法
CN114770461A (zh) 一种基于单目视觉的移动机器人及其自动抓取方法
Teke et al. Real-time and robust collaborative robot motion control with Microsoft Kinect® v2
CN117340929A (zh) 一种基于三维点云数据的柔性夹爪抓取处置装置及方法
Infantino et al. Visual control of a robotic hand
Martínez et al. Visual identification and similarity measures used for on-line motion planning of autonomous robots in unknown environments
Nakhaeinia et al. Surface following with an RGB-D vision-guided robotic system for automated and rapid vehicle inspection
Ko et al. A Task Teaching Method for Pan-flipping to Collaborative Robot
Vargas et al. Object recognition pipeline: Grasping in domestic environments
DU et al. ROBOT MANIPULATOR USING A VISION-BASED HUMAN--MANIPULATOR INTERFACE.
Wang et al. Object Grabbing of Robotic Arm Based on OpenMV Module Positioning
Lei et al. Research on the humanlike trajectories control of robots based on the k-nearest neighbors
Devgon et al. Orienting novel objects using self-supervised rotation estimation
Cui et al. A General Overview of Intelligent Sorting System Based on Machine Vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant