CN111986258A - 基于点云法矢方向聚类伺服的机器人定位控制方法及系统 - Google Patents

基于点云法矢方向聚类伺服的机器人定位控制方法及系统 Download PDF

Info

Publication number
CN111986258A
CN111986258A CN202010858847.9A CN202010858847A CN111986258A CN 111986258 A CN111986258 A CN 111986258A CN 202010858847 A CN202010858847 A CN 202010858847A CN 111986258 A CN111986258 A CN 111986258A
Authority
CN
China
Prior art keywords
clustering
point cloud
normal vector
cloud image
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010858847.9A
Other languages
English (en)
Other versions
CN111986258B (zh
Inventor
陶波
张士羿
龚泽宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202010858847.9A priority Critical patent/CN111986258B/zh
Publication of CN111986258A publication Critical patent/CN111986258A/zh
Application granted granted Critical
Publication of CN111986258B publication Critical patent/CN111986258B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于点云法矢方向聚类伺服的机器人定位控制方法及系统，属于视觉伺服技术领域，机器人具有六自由度运动，且与一个RGBD深度相机固定连接；该方法包括：获取待定位目标的理想点云图像；计算理想点云图像中各点的法矢量并聚类，得到聚类质心集合
Figure DDA0002647319080000011
获取待定位目标的实际点云图像；计算实际点云图像中各点的法矢量并聚类，得到聚类质心集合MC；根据聚类质心集合
Figure DDA0002647319080000012
和MC计算RGBD深度相机在当前位置相对于理想位置的旋转矩阵和平移变换向量，并基于该计算结果计算RGBD深度相机的速度VC；若VC未收敛到0，使机器人按照VC移动预设时间后，重新计算VC并判断，直至VC收敛到0。本发明对于弱纹理目标具有稳定、高精度的定位结果，具有更好的适应性。

Description

基于点云法矢方向聚类伺服的机器人定位控制方法及系统
技术领域
本发明属于视觉伺服技术领域，更具体地，涉及一种基于点云法矢方向聚类伺服的机器人定位控制方法及系统。
背景技术
机器人定位与伺服控制在机器人化加工制造、智能物流仓储、医疗辅助等领域有广泛的应用需求。视觉伺服是一种利用视觉信息控制机器人运动到期望位置以实现机器人定位的视觉控制技术。
现有的视觉伺服技术一般分为基于位置的视觉伺服(PBVS)和基于图像的视觉伺服(IBVS)。PBVS需要获得目标的几何模型，相机的内部参数以及观测到的图像特征信息，然后估计相机与目标的相对位姿，减小位姿误差是PBVS系统的主要任务。与此相比，IBVS系统中图像的特征信息直接用于控制机器人，通过构造图像雅克比矩阵建立控制方程实现伺服任务。
IBVS和PBVS两种伺服控制技术都需要在图像中提取特征信息，特征提取的精度很大程度上决定了伺服控制的精度，但是在很多场景应用中(比如对光滑的风电叶片，高铁壳体等构件的寻位加工)，目标的纹理特征缺失，很难在图像空间中提取出稳定性和精度较高的图像特征，这给伺服控制带来了极大的挑战。
发明内容
针对现有技术的缺陷和改进需求，本发明提供了一种基于点云法矢方向聚类伺服的机器人定位控制方法及系统，其目的在于，解决现有的视觉伺服技术应用于弱纹理技术时，存在的定位稳定性差、精度低的技术问题。
为实现上述目的，按照本发明的一个方面，提供了一种基于点云法矢方向聚类伺服的机器人定位控制方法，其中，机器人具有六自由度运动，且与一个RGBD深度相机固定连接；该基于点云法矢方向聚类伺服的机器人定位控制方法包括如下步骤：
(S1)计算机器人相对于待定位目标处于理想位置时，待定位目标上各点在RGBD深度相机的坐标系下的三维坐标，得到待定位目标的理想点云图像；
(S2)计算理想点云图像中各点的法矢量后，进行聚类，得到理想点云图像的聚类质心集合
Figure BDA0002647319060000022
(S3)计算机器人相对于待定位目标处于实际位置时，待定位目标上各点在RGBD深度相机的坐标系下的三维坐标，得到待定位目标的实际点云图像；
(S4)计算实际点云图像中各点的法矢量后，进行聚类，得到实际点云图像的聚类质心集合MC；
(S5)根据理想点云图像的聚类质心集合
Figure BDA0002647319060000021
和实际点云图像的聚类质心集合MC，计算RGBD深度相机在当前位置相对于理想位置的旋转矩阵R和平移变换向量C*tC，并基于该计算结果计算RGBD深度相机的速度VC；
(S6)判断速度VC是否已经收敛到0，若是，则伺服控制结束；否则，使机器人按照速度VC移动预设时间后，转入步骤(S3)。
本发明将RGBD深度相机与具有六自由度运动的机器人固定连接，在视觉伺服的过程中，利用RGBD深度相机获取机器人相对于待定位目标在理想位置以及实际位置时，待定位目标的点云图像，分别计算两个点云图像中各点的法矢量并进行聚类，基于聚类得到的两个聚类质心集合计算相应的旋转矩阵和平移变换向量，并进一步计算速度，使机器人按照计算得到的速度移动，直至机器人移动至理想位置。在此过程中，无需提取待定位目标的图像特征，因此，本发明不依赖于待定位目标的图像特征，对于弱纹理目标同样具有稳定、高精度的定位结果。
本发明仅利用聚类得到聚类质心集合计算RGBD深度相机在当前位置相对于理想位置的旋转矩阵R和平移变换向量C*tC，实现了点云配准，在此过程中，无需对点云图像中的所有点进行计算，有效提高了点云配准的时间效率。
进一步地，步骤(S5)中，根据理想点云图像的聚类质心集合
Figure BDA0002647319060000032
和实际点云图像的聚类质心集合MC，通过最近点迭代算法计算RGBD深度相机在当前位置相对于理想位置的旋转矩阵R和平移变换向量C*tC。
进一步地，步骤(S2)和步骤(S4)中，按照如下步骤对点云图像中各点的法矢量进行聚类，得到聚类质心集合：
(T1)选择K个法矢量作为初始法矢质心向量；
(T2)对于点云图像中的每一个点，计算其法矢量与每一个法矢质心向量的余弦相似性，从而确定与该点的法矢量具有最大余弦相似性的法矢质心向量，将该点聚入该法矢质心向量所在的法矢聚类集合；
(T3)点云图像中所有点聚类完成后，更新每个法矢聚类集合的法矢质心向量；
(T4)若各法矢质心向量更新前、后的角度变化均小于等于预设的阈值ε，则判定聚类过程收敛，转入步骤(T5)；否则，转入步骤(T2)；
(T5)将当前聚类得到的K个法矢聚类集合作为聚类结果，计算各法矢聚类集合的聚类质心的空间坐标，得到聚类质心集合；
其中，K为预设正整数，ε＞0。
进一步地，步骤(T3)中，按照
Figure BDA0002647319060000031
更新第j个法矢聚类集合的法矢质心向量；
其中，j＝1,2...K，
Figure BDA0002647319060000041
表示第j个法矢聚类集合，
Figure BDA0002647319060000042
表示法矢聚类集合
Figure BDA0002647319060000043
中法矢量的个数，
Figure BDA0002647319060000044
表示第j个法矢聚类集合的法矢质心向量。
进一步地，步骤(T5)中，按照
Figure BDA0002647319060000045
计算第j个法矢聚类集合的聚类质心的空间坐标；
其中，j＝1,2...K；Mj表示第j个法矢聚类集合对应的点集，各点以空间坐标的形式表示；|Mj|表示点集Mj中点的个数；pj表示第j个法矢聚类集合的聚类质心的空间坐标。
进一步地，步骤(S5)中，按照VC＝-λRTC*tC计算RGBD深度相机的速度VC；
其中，λ为尺度参数。
按照本发明的另一个方面，提供了一种基于点云法矢方向聚类伺服的机器人定位控制系统，包括：定位控制模块和视觉平台；
视觉平台由具有六自由度运动的机器人及与其固定连接的RGBD深度相机构成；
定位控制模块包括：理想点云图像获取单元、第一聚类质心集合获取单元、实际点云图像获取单元、第二聚类质心集合获取单元、速度获取单元以及移动控制单元；
理想点云图像获取单元，用于计算机器人相对于待定位目标处于理想位置时，待定位目标上各点在RGBD深度相机的坐标系下的三维坐标，得到待定位目标的理想点云图像，之后触发第一聚类质心集合获取单元；
第一聚类质心集合获取单元，用于计算理想点云图像中各点的法矢量后，进行聚类，得到理想点云图像的聚类质心集合
Figure BDA0002647319060000046
实际点云图像获取单元，用于计算机器人相对于待定位目标处于实际位置时，待定位目标上各点在RGBD深度相机的坐标系下的三维坐标，得到待定位目标的实际点云图像，之后触发第二聚类质心集合获取单元；
第二聚类质心集合获取单元，用于计算实际点云图像中各点的法矢量后，进行聚类，得到实际点云图像的聚类质心集合MC，之后触发速度获取单元；
速度获取单元，用于根据理想点云图像的聚类质心集合
Figure BDA0002647319060000051
和实际点云图像的聚类质心集合MC，计算RGBD深度相机在当前位置相对于理想位置的旋转矩阵R和平移变换向量C*tC，并基于该计算结果计算RGBD深度相机的速度VC，之后触发移动控制单元；
移动控制单元，用于判断速度VC是否已经收敛到0，若是，则控制结束；否则，使机器人按照速度VC移动预设时间后，触发实际点云图像获取单元。
总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：
(1)本发明利用RGBD视觉技术，获得机器人相对于待定位目标在理想位置和实际位置时，待定位目标的点云图像，分别计算两个点云图像中各点的法矢量并进行聚类，基于聚类得到的两个聚类质心集合计算相应的旋转矩阵和平移变换向量，并进一步计算速度，使机器人按照计算得到的速度移动，直至机器人移动至理想位置；在此过程中，无需提取待定位目标的图像特征，因此，本发明对于弱纹理目标同样具有稳定、高精度的定位结果，具有更好的适应性。
(2)本发明仅利用聚类得到聚类质心集合计算RGBD深度相机在当前位置相对于理想位置的旋转矩阵和平移变换向量，实现了点云配准，在此过程中，无需对点云图像中的所有点进行计算，有效提高了点云配准的时间效率。
附图说明
图1为本发明实施例提供所涉及的结构示意图；
图2为图1中各结构的坐标系示意图；
图3为本发明实施例提供的基于点云法矢方向聚类伺服的机器人定位控制方法流程图；
在所有附图中，相同的附图标记用来表示相同的元件或者结构，其中：
1为视觉平台，2为待定位目标。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
在本发明中，本发明及附图中的术语“第一”、“第二”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
不失一般性地，以下以工件加工场景为例，对本发明的技术方案做进一步解释，在该场景下，通过视觉伺服与定位控制，需要以待加工工件实际所在位置为参考，将机器人移动至指定的理想加工位置，以进行加工。以下为实施例。
实施例1：
一种基于点云法矢方向聚类伺服的机器人定位控制方法，其中，机器人具有六自由度运动，且与一个RGBD深度相机固定连接，由该机器人及与其固定连接的RGBD深度相机构成图1中所示的视觉平台1，待定位目标2为图1所示的叶片；
为了利用RGBD深度相机获取待定位目标的点云图像，分别构建待定位目标的坐标系和RGBD深度相机的坐标系，如图2所示；
如图3所示，本实施例提供的基于点云法矢方向聚类伺服的机器人定位控制方法，包括如下步骤：
(S1)计算机器人相对于待定位目标处于理想位置时，待定位目标上各点在RGBD深度相机的坐标系下的三维坐标，得到待定位目标的理想点云图像；
理想点云图像可根据离线扫描到的待定位目标的点云和根据此点云规划出的理想加工位置通过坐标转换计算得到，与实际位置获取的点云不同的是该理想点云图像是通过计算得到的虚拟点云；
(S2)计算理想点云图像中各点的法矢量后，进行聚类，得到理想点云图像的聚类质心集合
Figure BDA0002647319060000071
本实施例可采用任意一种方法求解法矢量，在此不作赘述；
在本实施例中，步骤(S2)中，对理想点云图像中各点的法矢量聚类得到理想点云图像的聚类质心集合
Figure BDA0002647319060000072
具体包括如下步骤：
(T1)选择K个法矢量作为初始法矢质心向量；K为预设正整数，将点云经过聚类后，得到K个法矢聚类集合
Figure BDA0002647319060000073
(T2)对于理想点云图像中的每一个点，计算其法矢量
Figure BDA0002647319060000074
与每一个法矢质心向量
Figure BDA0002647319060000075
的余弦相似性
Figure BDA0002647319060000076
从而确定与该点的法矢量
Figure BDA0002647319060000077
具有最大余弦相似性的法矢质心向量，将该点聚入该法矢质心向量所在的法矢聚类集合；
(T3)点云图像中所有点聚类完成后，更新每个法矢聚类集合的法矢质心向量；
本实施例中，按照
Figure BDA0002647319060000078
更新第j个法矢聚类集合的法矢质心向量；
其中，
Figure BDA0002647319060000081
表示第j个法矢聚类集合，
Figure BDA0002647319060000082
表示法矢聚类集合
Figure BDA0002647319060000083
中法矢量的个数，
Figure BDA0002647319060000084
表示第j个法矢聚类集合的法矢质心向量；
(T4)若各法矢质心向量更新前、后的角度变化均小于等于预设的阈值ε，则判定聚类过程收敛，转入步骤(T5)；否则，转入步骤(T2)；其中，ε＞0；ε的具体取值可根据实际的配准精度要求设定，可选地，在本实施例中，ε＝0.04；
(T5)将当前聚类得到的K个法矢聚类集合作为聚类结果，计算各法矢聚类集合的聚类质心的空间坐标，得到聚类质心集合
Figure BDA0002647319060000085
本实施例中，按照
Figure BDA0002647319060000086
计算第j个法矢聚类集合的聚类质心的空间坐标；
其中，Mj表示第j个法矢聚类集合对应的点集，各点以空间坐标的形式表示；|Mj|表示点集Mj中点的个数；pj表示第j个法矢聚类集合的聚类质心的空间坐标；
(S3)计算机器人相对于待定位目标处于实际位置时，待定位目标上各点在RGBD深度相机的坐标系下的三维坐标，得到待定位目标的实际点云图像；
实际点云图像就是深度相机实时拍摄得到的，是真实的成像结果；
(S4)计算实际点云图像中各点的法矢量后，进行聚类，得到实际点云图像的聚类质心集合MC；
步骤(S4)中，对实际点云图像中各点的法矢量进行聚类，得到实际点云图像的聚类质心集合MC的具体步骤，可参考上述步骤(S2)中的描述，在此将不作赘述；
(S5)根据理想点云图像的聚类质心集合
Figure BDA0002647319060000087
和实际点云图像的聚类质心集合MC，计算RGBD深度相机在当前位置相对于理想位置的旋转矩阵R和平移变换向量C*tC，并基于该计算结果计算RGBD深度相机的速度VC；
步骤(S5)中，速度VC表示为：
Figure BDA0002647319060000091
其中，(vC,wC)分别表示RGBD深度相机的移动速度和角速度；λ为尺度参数，θu表示所述旋转矩阵R所对应的旋转轴角，旋转轴角可通过罗德里格斯公式与旋转矩阵相互转化。
(S6)判断速度VC是否收敛到0，若是，说明此时机器人已运动至理想位置，则伺服控制结束；否则，使机器人按照速度VC移动预设时间后，转入步骤(S3)；
机器人移动过程中，RGBD深度相机会随之相应移动。
本实施例利用RGBD深度相机获取机器人相对于待定位目标在理想位置以及实际位置的点云图像，对点云图像中各点的法矢量进行聚类，并基于聚类结果实现点云配准，在此过程中，无需提取待定位目标的图像特征，对于弱纹理目标同样具有稳定、高精度的定位结果；并且在点云配准过程中，仅利用聚类质心集合进行计算，有效提高了点云配准的时间效率。
作为一种优选的实施方式，本实施例中，步骤(S5)中，根据理想点云图像的聚类质心集合
Figure BDA0002647319060000092
和理想点云图像的聚类质心集合MC，通过最近点迭代算法计算RGBD深度相机在当前位置相对于理想位置的旋转矩阵R和平移变换向量C*tC；本实施例使用ICP算法计算旋转矩阵和平移变换向量，能够获得较好的配准效果；应当说明的是，此处仅为本发明可选的实施方式，在本发明其他的一些实施例中，也可以使用其他的算法实现点云配准。
实施例2：
一种基于点云法矢方向聚类伺服的机器人定位控制系统，包括：定位控制模块和视觉平台；
视觉平台由具有六自由度运动的机器人及与其固定连接的RGBD深度相机构成；
定位控制模块包括：理想点云图像获取单元、第一聚类质心集合获取单元、实际点云图像获取单元、第二聚类质心集合获取单元、速度获取单元以及移动控制单元；
理想点云图像获取单元，用于计算机器人相对于待定位目标处于理想位置时，待定位目标上各点在RGBD深度相机的坐标系下的三维坐标，得到待定位目标的理想点云图像，之后触发第一聚类质心集合获取单元；
第一聚类质心集合获取单元，用于计算理想点云图像中各点的法矢量后，进行聚类，得到理想点云图像的聚类质心集合
Figure BDA0002647319060000101
实际点云图像获取单元，用于计算机器人相对于待定位目标处于实际位置时，待定位目标上各点在RGBD深度相机的坐标系下的三维坐标，得到待定位目标的实际点云图像，之后触发第二聚类质心集合获取单元；
第二聚类质心集合获取单元，用于计算实际点云图像中各点的法矢量后，进行聚类，得到实际点云图像的聚类质心集合MC，之后触发速度获取单元；
速度获取单元，用于根据理想点云图像的聚类质心集合
Figure BDA0002647319060000102
和实际点云图像的聚类质心集合MC，计算RGBD深度相机在当前位置相对于理想位置的旋转矩阵R和平移变换向量C*tC，并基于该计算结果计算RGBD深度相机的速度VC，之后触发移动控制单元；
移动控制单元，用于判断速度VC是否收敛到0，若是，则伺服控制结束；否则，使机器人按照速度VC移动预设时间后，触发实际点云图像获取单元；
本实施例中，各模块的具体实施方式，可参考上述方法实施例中的描述，在此将不作复述。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于点云法矢方向聚类伺服的机器人定位控制方法，其特征在于，所述机器人具有六自由度运动，且与一个RGBD深度相机固定连接；所述基于点云法矢方向聚类伺服的机器人定位控制方法包括如下步骤：
(S1)计算所述机器人相对于待定位目标处于理想位置时，所述待定位目标上各点在所述RGBD深度相机的坐标系下的三维坐标，得到所述待定位目标的理想点云图像；
(S2)计算所述理想点云图像中各点的法矢量后，进行聚类，得到所述理想点云图像的聚类质心集合
Figure FDA0002647319050000011
(S3)计算所述机器人相对于所述待定位目标处于实际位置时，所述待定位目标上各点在所述RGBD深度相机的坐标系下的三维坐标，得到所述待定位目标的实际点云图像；
(S4)计算所述实际点云图像中各点的法矢量后，进行聚类，得到所述实际点云图像的聚类质心集合MC；
(S5)根据所述理想点云图像的聚类质心集合
Figure FDA0002647319050000012
和所述实际点云图像的聚类质心集合MC，计算所述RGBD深度相机在当前位置相对于所述理想位置的旋转矩阵R和平移变换向量C*tC，并基于该计算结果计算所述RGBD深度相机的速度VC；
(S6)判断所述速度VC是否已经收敛到0，若是，则伺服控制结束；否则，使所述机器人按照所述速度VC移动预设时间后，转入步骤(S3)。
2.如权利要求1所述的基于点云法矢方向聚类伺服的机器人定位控制方法，其特征在于，所述步骤(S5)中，根据所述理想点云图像的聚类质心集合
Figure FDA0002647319050000013
和所述实际点云图像的聚类质心集合MC，通过最近点迭代算法计算所述RGBD深度相机在当前位置相对于所述理想位置的旋转矩阵R和平移变换向量C*tC。
3.如权利要求1或2所述的基于点云法矢方向聚类伺服的机器人定位控制方法，其特征在于，所述步骤(S2)和所述步骤(S4)中，按照如下步骤对点云图像中各点的法矢量进行聚类，得到聚类质心集合：
(T1)选择K个法矢量作为初始法矢质心向量；
(T2)对于点云图像中的每一个点，计算其法矢量与每一个法矢质心向量的余弦相似性，从而确定与该点的法矢量具有最大余弦相似性的法矢质心向量，将该点聚入该法矢质心向量所在的法矢聚类集合；
(T3)点云图像中所有点聚类完成后，更新每个法矢聚类集合的法矢质心向量；
(T4)若各法矢质心向量更新前、后的角度变化均小于等于预设的阈值ε，则判定聚类过程收敛，转入步骤(T5)；否则，转入步骤(T2)；
(T5)将当前聚类得到的K个法矢聚类集合作为聚类结果，计算各法矢聚类集合的聚类质心的空间坐标，得到聚类质心集合；
其中，K为预设正整数，ε＞0。
4.如权利要求3所述的基于点云法矢方向聚类伺服的机器人定位控制方法，其特征在于，所述步骤(T3)中，按照
Figure FDA0002647319050000021
更新第j个法矢聚类集合的法矢质心向量；
其中，j＝1,2...K，
Figure FDA0002647319050000022
表示第j个法矢聚类集合，
Figure FDA0002647319050000023
表示法矢聚类集合
Figure FDA0002647319050000024
中法矢量的个数，
Figure FDA0002647319050000025
表示第j个法矢聚类集合的法矢质心向量。
5.如权利要求3所述的基于点云法矢方向聚类伺服的机器人定位控制方法，其特征在于，所述步骤(T5)中，按照
Figure FDA0002647319050000026
计算第j个法矢聚类集合的聚类质心的空间坐标；
其中，j＝1,2...K；Mj表示第j个法矢聚类集合对应的点集，各点以空间坐标的形式表示；|Mj|表示点集Mj中点的个数；pj表示第j个法矢聚类集合的聚类质心的空间坐标。
6.如权利要求1或2所述的基于点云法矢方向聚类伺服的机器人定位控制方法，其特征在于，所述步骤(S5)中，按照VC＝-λRTC*tC计算所述RGBD深度相机的速度VC；
其中，λ为尺度参数。
7.一种基于点云法矢方向聚类伺服的机器人定位控制系统，其特征在于，包括：定位控制模块和视觉平台；
所述视觉平台由具有六自由度运动的机器人及与其固定连接的RGBD深度相机构成；
所述定位控制模块包括：理想点云图像获取单元、第一聚类质心集合获取单元、实际点云图像获取单元、第二聚类质心集合获取单元、速度获取单元以及移动控制单元；
所述理想点云图像获取单元，用于计算所述机器人相对于待定位目标处于理想位置时，所述待定位目标上各点在所述RGBD深度相机的坐标系下的三维坐标，得到所述待定位目标的理想点云图像，之后触发所述第一聚类质心集合获取单元；
所述第一聚类质心集合获取单元，用于计算所述理想点云图像中各点的法矢量后，进行聚类，得到所述理想点云图像的聚类质心集合
Figure FDA0002647319050000031
所述实际点云图像获取单元，用于计算所述机器人相对于所述待定位目标处于实际位置时，所述待定位目标上各点在所述RGBD深度相机的坐标系下的三维坐标，得到所述待定位目标的实际点云图像，之后触发所述第二聚类质心集合获取单元；
所述第二聚类质心集合获取单元，用于计算所述实际点云图像中各点的法矢量后，进行聚类，得到所述实际点云图像的聚类质心集合MC，之后触发所述速度获取单元；
所述速度获取单元，用于根据所述理想点云图像的聚类质心集合
Figure FDA0002647319050000041
和所述实际点云图像的聚类质心集合MC，计算所述RGBD深度相机在当前位置相对于所述理想位置的旋转矩阵R和平移变换向量C*tC，并基于该计算结果计算所述RGBD深度相机的速度VC，之后触发所述移动控制单元；
所述移动控制单元，用于判断所述速度VC速度是否已经收敛到0，若是，则伺服控制结束；否则，使所述机器人按照所述速度VC移动预设时间后，触发所述实际点云图像获取单元。
CN202010858847.9A 2020-08-24 2020-08-24 基于点云法矢方向聚类伺服的机器人定位控制方法及系统 Active CN111986258B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010858847.9A CN111986258B (zh) 2020-08-24 2020-08-24 基于点云法矢方向聚类伺服的机器人定位控制方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010858847.9A CN111986258B (zh) 2020-08-24 2020-08-24 基于点云法矢方向聚类伺服的机器人定位控制方法及系统

Publications (2)

Publication Number Publication Date
CN111986258A true CN111986258A (zh) 2020-11-24
CN111986258B CN111986258B (zh) 2022-05-31

Family

ID=73444004

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010858847.9A Active CN111986258B (zh) 2020-08-24 2020-08-24 基于点云法矢方向聚类伺服的机器人定位控制方法及系统

Country Status (1)

Country Link
CN (1) CN111986258B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007290056A (ja) * 2006-04-24 2007-11-08 Yaskawa Electric Corp ロボットおよびその物体把持方法
US20190143523A1 (en) * 2017-11-16 2019-05-16 General Electric Company Robotic system architecture and control processes
CN110542421A (zh) * 2019-10-10 2019-12-06 上海钛米机器人科技有限公司 机器人定位方法、定位装置、机器人及存储介质
CN110542422A (zh) * 2019-10-10 2019-12-06 上海钛米机器人科技有限公司 机器人定位方法、装置、机器人及存储介质
CN110930456A (zh) * 2019-12-11 2020-03-27 北京工业大学 基于pcl点云库的钣金零件的三维立体识别及定位方法
CN111091062A (zh) * 2019-11-21 2020-05-01 东南大学 一种基于3d视觉聚类和匹配的机器人乱序目标分拣方法
US20200147804A1 (en) * 2018-11-08 2020-05-14 Kabushiki Kaisha Toshiba Operating system, control device, and computer program product

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007290056A (ja) * 2006-04-24 2007-11-08 Yaskawa Electric Corp ロボットおよびその物体把持方法
US20190143523A1 (en) * 2017-11-16 2019-05-16 General Electric Company Robotic system architecture and control processes
US20200147804A1 (en) * 2018-11-08 2020-05-14 Kabushiki Kaisha Toshiba Operating system, control device, and computer program product
CN110542421A (zh) * 2019-10-10 2019-12-06 上海钛米机器人科技有限公司 机器人定位方法、定位装置、机器人及存储介质
CN110542422A (zh) * 2019-10-10 2019-12-06 上海钛米机器人科技有限公司 机器人定位方法、装置、机器人及存储介质
CN111091062A (zh) * 2019-11-21 2020-05-01 东南大学 一种基于3d视觉聚类和匹配的机器人乱序目标分拣方法
CN110930456A (zh) * 2019-12-11 2020-03-27 北京工业大学 基于pcl点云库的钣金零件的三维立体识别及定位方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LI S等: ""RGB-D Image Processing Algorithm for Target Recognition and Pose Estimation of Visual Servo System"", 《SENSORS》 *
仲训杲等: ""基于雅可比预测的机器人无模型视觉伺服定位控制"", 《控制与决策》 *

Also Published As

Publication number Publication date
CN111986258B (zh) 2022-05-31

Similar Documents

Publication Publication Date Title
CN109202912B (zh) 一种基于单目深度传感器和机械臂配准目标轮廓点云的方法
CN110116407B (zh) 柔性机器人位姿测量方法及装置
CN108818530B (zh) 基于改进rrt算法的机械臂抓取散乱堆放活塞运动规划方法
CN112001926B (zh) 基于多维语义映射rgbd多相机标定方法、系统及应用
CN109100731B (zh) 一种基于激光雷达扫描匹配算法的移动机器人定位方法
CN107818598B (zh) 一种基于视觉矫正的三维点云地图融合方法
Li et al. A hybrid visual servo control method for simultaneously controlling a nonholonomic mobile and a manipulator
CN113246143A (zh) 一种机械臂动态避障轨迹规划方法及装置
CN112883984B (zh) 一种基于特征匹配的机械臂抓取系统与方法
CN112258590A (zh) 一种基于激光的深度相机外参标定方法、设备及其存储介质
Sheng et al. Research on binocular visual system of robotic arm based on improved SURF algorithm
CN112229380A (zh) 一种基于多旋翼无人机协同的无源目标实时定位方法
CN113733088A (zh) 一种基于双目视觉的机械臂运动学自标定方法
CN110363801B (zh) 工件实物与工件三维cad模型的对应点匹配方法
CN114299039A (zh) 一种机器人及其碰撞检测装置和方法
CN110928311A (zh) 一种基于全景相机下直线特征的室内移动机器人导航方法
Liu et al. A novel camera fusion method based on switching scheme and occlusion-aware object detection for real-time robotic grasping
CN111986258B (zh) 基于点云法矢方向聚类伺服的机器人定位控制方法及系统
CN113447014A (zh) 室内移动机器人、建图方法、定位方法以及建图定位装置
CN113051767A (zh) 一种基于视觉伺服的agv滑模控制方法
Kim et al. Structured light camera base 3D visual perception and tracking application system with robot grasping task
CN115423854B (zh) 一种基于多尺度特征提取的多视角点云配准及点云融合方法
CN109146957B (zh) 一种基于三角形特征的机器人视觉控制方法
Wu et al. Monocular vision SLAM based on key feature points selection
Chen et al. A Framework for 3D Object Detection and Pose Estimation in Unstructured Environment Using Single Shot Detector and Refined LineMOD Template Matching

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant