CN114714365B - 一种基于云平台的无序工件抓取方法及其系统 - Google Patents

一种基于云平台的无序工件抓取方法及其系统 Download PDF

Info

Publication number
CN114714365B
CN114714365B CN202210641069.7A CN202210641069A CN114714365B CN 114714365 B CN114714365 B CN 114714365B CN 202210641069 A CN202210641069 A CN 202210641069A CN 114714365 B CN114714365 B CN 114714365B
Authority
CN
China
Prior art keywords
coordinate system
point cloud
information
preset
workpiece
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210641069.7A
Other languages
English (en)
Other versions
CN114714365A (zh
Inventor
王耀南
周鸿敏
朱青
毛建旭
刘学兵
伍俊岚
周显恩
吴成中
冯明涛
黄嘉男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University
Original Assignee
Hunan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University filed Critical Hunan University
Priority to CN202210641069.7A priority Critical patent/CN114714365B/zh
Publication of CN114714365A publication Critical patent/CN114714365A/zh
Application granted granted Critical
Publication of CN114714365B publication Critical patent/CN114714365B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0009—Constructional details, e.g. manipulator supports, bases
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/1607—Calculation of inertia, jacobian matrixes and inverses
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

本发明具体公开了一种基于云平台的无序工件抓取方法及其系统，所述方法包括：搭建硬件系统和云平台；图像采集装置标定获取内参；手眼标定与拾取装置标定；利用预设训练好的实例分割模型获取目标工件的点云信息；将目标工件的点云信息与预设实例模板的点云信息进行ICP配准；算机器人基座坐标系与目标工件坐标系之间的转换矩阵，进而得到目标工件的位姿信息；基于目标工件的位姿信息，通过服务器控制机器人系统对目标工件进行抓取，进而完成目标工件的上料工作。本发明能够有效解决工业场景复杂、存在堆叠现象且采集图像边缘与纹理信息不明显所造成位姿获取难度高的问题。

Description

一种基于云平台的无序工件抓取方法及其系统
技术领域
本发明涉及智能制造生产工艺技术领域，尤其涉及一种基于云平台的无序工件抓取方法及其系统。
背景技术
随着人力物力成本的逐步提升，机器人技术逐渐成为解决成本问题中最有效的技术，机器人技术是高新技术的代表，己经成为衡量国家科技创新能力体现的重要指标，目前世界各国都密切关注和推动机器人技术的发展，争先推出相应的发展政策，重点支持和提高机器人产业在社会生产的发展和占有比例。中国在2015年提出实施制造强国战略的第一个十年行动纲领《中国制造2025》，充分利用中国市场和制造行业的优势，不断提升复杂装备的框架创新和集成能力，旨在运用人工智能及机器人技术实现产业的快速升级和更新换代，追赶日益进步的科技潮流步伐。因此，中国的机器人产业将成为未来重点发展的支柱产业和经济热点。
目前，在工业产线上大规模应用的机器人常见动作都是“抓取－放置”，即工业机器人的抓取控制是利用“示教定点”的方式执行抓取任务，通过既定的程序执行动作，由于缺乏待抓取物姿态位置的信息采集，待抓取物只能固定和规则摆放，否则无法执行抓取，特别面对传送带上散乱和运动摆放的工件，大大地限制了传统示教方式在现代化产线的灵活应用，低下的智能化程度无法满足日益增长的自动化需求。
发明内容
本发明的目的是提供一种基于改进的Mask-RCNN的点云分割网络的无序工件抓取方法及其系统，所述抓取方法能够使机器人在杂乱背景下对多类别的物料进行抓取上料，摆脱了传统上料系统单一场景和单一物料的局限性。
为解决上述技术问题，本发明提供的一种基于云平台的无序工件抓取方法，所述方法包括以下步骤：
S1、搭建机器人系统和图像采集装置并获取图像采集装置的内参，其中，机器人系统包括机器人基座、机械手以及设于机械手末端上的拾取装置，利用手眼标定获取图像采集装置坐标系与机器人基座坐标系之间的转换矩阵以及拾取装置坐标系与机械手末端坐标系之间的转换矩阵；
S2、将预设实例模板的中心点与拾取装置的坐标原点重合，并以预设实例模板为ICP配准的预设实例模板，进而获取预设实例模板坐标系与图像采集装置坐标系之间的转换矩阵；
S3、利用图像采集装置采集工件台上目标工件的图片数据和点云信息，然后将所采集的图片数据和点云信息传输至服务器中并利用预设训练好的实例分割模型进行实例分割以获取图片数据的掩码信息，再将图片数据的掩码信息和图像采集装置采集的对应点云信息进行匹配分割以得到目标工件的点云信息；
S4、服务器接收目标工件的点云信息，并将目标工件的点云信息与预设实例模板的点云信息进行ICP配准，进而得到目标点云坐标系与预设实例模板点云坐标系之间的转换矩阵；
S5、基于图像采集装置坐标系与机器人基座坐标系之间的转换矩阵、拾取装置坐标系与机器人末端坐标系之间的转换矩阵、预设实例模板坐标系与图像采集装置坐标系之间的转换矩阵以及目标点云坐标系与预设实例模板点云坐标系之间的转换矩阵，计算机器人基座坐标系与目标工件坐标系之间的转换矩阵，进而得到机器人基座坐标系下目标工件的位姿信息；
S6、基于机器人基座坐标系下目标工件的位姿信息，通过服务器控制机器人系统对目标工件进行抓取，进而完成目标工件的上料工作。
优选地，所述步骤S1中图像采集装置坐标系与机器人基座坐标系之间的转换矩阵用公式表示为：
Figure 899356DEST_PATH_IMAGE001
(1)
式（1）中，
Figure 789951DEST_PATH_IMAGE002
表示图像采集装置坐标系，
Figure 150788DEST_PATH_IMAGE003
表示机器人基座坐标系，
Figure 759624DEST_PATH_IMAGE004
表示某一固定点
Figure 995433DEST_PATH_IMAGE005
在机器人基座坐标系下对应坐标，
Figure 6114DEST_PATH_IMAGE006
表示该固定点
Figure 974070DEST_PATH_IMAGE005
在图像采集装置坐标系下对应坐标，
Figure 70202DEST_PATH_IMAGE007
表示图像采集装置坐标系与机器人基座坐标系之间的转换矩；
其中，拾取装置坐标系与机械手末端坐标系之间的转换矩阵用公式表示为：
Figure 844123DEST_PATH_IMAGE008
(2)
式（2）中，
Figure 709311DEST_PATH_IMAGE009
表示拾取装置坐标系与机械手末端坐标系之间的转换矩阵，
Figure 848168DEST_PATH_IMAGE010
表示机械手末端坐标系与机器人基座坐标系之间的转换矩阵，
Figure 493913DEST_PATH_IMAGE011
表示图像采集装置的内参矩阵。
优选地，所述步骤S2的具体实现方式为：通过旋转变换和平移变换将预设实例模板的中心点与拾取装置坐标系的原点重合以使预设实例模板中的目标实例坐标转换到拾取装置坐标系下，并利用PnP算法计算出图像采集装置的外参，进而求出预设实例模板坐标系与图像采集装置坐标系之间的转换矩阵，用公式表示为：
Figure 743629DEST_PATH_IMAGE012
(3)
Figure 728903DEST_PATH_IMAGE013
(4)
式（3）、（4）中，
Figure 599513DEST_PATH_IMAGE014
表示预设实例模板坐标系和图像采集装置坐标系之间的转换矩阵，
Figure 670237DEST_PATH_IMAGE015
表示预设实例模板中目标实例的像素坐标，
Figure 723644DEST_PATH_IMAGE016
表示拾取装置坐标系下对应
Figure 625741DEST_PATH_IMAGE015
的坐标，
Figure 106401DEST_PATH_IMAGE017
和
Figure 398842DEST_PATH_IMAGE018
是基于当前预设实例模板由PnP算法所计算的图像采集装置外参，其分别表示预设实例模板坐标系与图像采集装置坐标系之间的旋转矩阵和平移矩阵，
Figure 318256DEST_PATH_IMAGE019
表示图像采集装置的内参。
优选地，所述步骤S3中利用预设训练好的点云分割模型获取图片数据的掩码信息具体为：通过修改掩码损失函数的计算与回归方式，提出增加掩码上的边界区域距离损失约束，并利用边界加权分割损失函数的边界区域距离损失约束正则化分割的位置、形状和连续性，优化目标工件边缘的分割结果，进而获取图片数据的掩码信息，其对应修改后的掩码损失函数用公式表示为：
Figure 12543DEST_PATH_IMAGE020
（5）
式（5）中，
Figure 664104DEST_PATH_IMAGE021
表示掩码，
Figure 771737DEST_PATH_IMAGE022
表示边界加权分割损失函数的边界区域距离损失约束，
Figure 166947DEST_PATH_IMAGE023
表示权重系数，
Figure 715740DEST_PATH_IMAGE024
表示分割区域边界处的点集，
Figure 367563DEST_PATH_IMAGE025
表示点集
Figure 634596DEST_PATH_IMAGE024
中的一个点，
Figure 833497DEST_PATH_IMAGE026
表示根据距离变换到标记区域构建的距离图，
Figure 236796DEST_PATH_IMAGE027
表示标注的真实对象的mask，
Figure 558056DEST_PATH_IMAGE028
表示预测对象的mask。
优选地，所述步骤S3中得到目标工件的点云信息具体为：预设分割后目标工件点云信息的尺寸，利用预设训练好的点云分割模型对图像采集装置所采集的图片数据进行分割获取对应的掩码信息，然后基于所获取的掩码信息对图像采集装置采集的对应点云信息进行裁剪，进而得到目标工件的点云信息。
优选地，所述步骤S4的具体实现方式为：服务器接收目标工件的点云信息，基于目标工件的点云信息和预设实例模板的点云信息并按照预设约束条件找到其最邻近点对，进而计算目标点云坐标系与预设实例模板点云坐标系之间的最优匹配参数和以使误差函数最小，基于所计算得到的最优匹配参数获取目标点云坐标系与预设实例模板点云坐标系之间的转换矩阵，用公式表示为：
Figure 312385DEST_PATH_IMAGE029
（6）
式（6）中，
Figure 49397DEST_PATH_IMAGE030
表示目标点云坐标系与预设实例模板点云坐标系之间的转换矩阵，
Figure 635099DEST_PATH_IMAGE031
表示旋转矩阵，
Figure 64944DEST_PATH_IMAGE032
表示平移向量；
其中，所述误差函数用公式表示为：
Figure 103307DEST_PATH_IMAGE033
(7)
式（7）中，
Figure 644010DEST_PATH_IMAGE034
表示误差函数，
Figure 854192DEST_PATH_IMAGE035
表示最邻近点对的个数，
Figure 189358DEST_PATH_IMAGE036
表示目标点云，
Figure 918280DEST_PATH_IMAGE037
表示预设实例模板点云，
Figure 59411DEST_PATH_IMAGE038
表示最近邻点对的序号。
优选地，所述步骤S5中机器人基座坐标系与目标工件坐标系之间的转换矩阵用公式表示为：
Figure 557389DEST_PATH_IMAGE039
(8)
式（8）中，
Figure 63456DEST_PATH_IMAGE040
表示机器人基座坐标系和目标工件坐标系之间的转换矩阵。
优选地，所述点云分割模型为改进的Mask-RCNN网络模型。
本发明还提供了一种基于云平台的无序工件抓取系统，所述抓取系统根据上述所述的基于云平台的无序工件抓取方法对工件台上的工件进行抓取，其包括机器人系统、图像采集装置、云平台、位姿预测模块和数据通信模块，其中：
所述机器人系统包括机器人基座、机械手、拾取装置和抓取模块，机械手置于机器人基座上，拾取装置固定设于机械手末端，抓取模块与云平台连接用于接收云平台的数据以驱动机械手控制拾取装置抓取目标工件；
图像采集装置固定在工件台的上方用于采集工件台上目标工件的图片数据并生成点云信息以传输给云平台；
云平台包括由服务器构成的服务端以及由计算机构成的客户端，所述服务端用于计算位姿信息以及加载预设训练好的点云分割模型，客户端用于接收服务端所计算的位姿信息并传输给抓取模块；
位姿预测模块与服务端连接，用于将图像采集装置的图片数据输入预设训练好的点云分割模型中进行分割配准以获取机器人基座坐标系下目标工件的位姿信息，并将所获取的目标工件位姿信息传输给客户端；
数据通信模块用于实现机器人系统与云平台之间的数据交互。
与现有技术相比，本发明具有如下有益技术效果：
（1）本发明能够有效解决工业场景复杂、存在堆叠现象且采集图像边缘与纹理信息不明显所造成位姿获取难度高的问题。
（2）本发明基于云平台方法对工件台上的工件图片数据进行处理，利用高性能的服务端对预设实例模板进行分割，极大的提高了运算速率。
（3）本发明利用服务端计算目标工件的位姿信息并传输给抓取模块进而进行抓取，位姿信息与现有较多的系统只使用物体位置信息相比，加入方向信息使得抓取更加准确，可以面向更多复杂且存在堆叠的工业场景。
附图说明
图1是本发明中一种基于云平台的无序工件抓取方法的流程图，
图2是本发明中预设训练好的点云分割模型的结构图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
如图1、图2所示，图1示出了所述基于云平台的无序工件抓取方法的具体流程，图2示出了一种基于云平台的无序工件抓取系统的结构框图。
本实施例中，所述点云分割模型为改进的Mask-RCNN网络模型。
在其中一个实施例中，一种基于云平台的无序工件抓取方法，所述方法包括以下步骤：
S1、搭建机器人系统和图像采集装置并获取图像采集装置的内参，其中，机器人系统包括机器人基座、机械手以及设于机械手末端上的拾取装置，利用手眼标定获取图像采集装置坐标系与机器人基座坐标系之间的转换矩阵以及拾取装置坐标系与机械手末端坐标系之间的转换矩阵；
本步骤中，所述图像采集装置为RGB-D深度相机（即输出色彩图和深度图的相机），RGB-D深度相机的内参矩阵可以在相机说明书中查看，为了避免误差，本实施例中重新使用张友正标定法计算RGB-D深度相机的内参，进而得到该RGB-D深度相机的内参矩阵
Figure 341991DEST_PATH_IMAGE041
和畸变参数
Figure 224496DEST_PATH_IMAGE042
；其中，所述图像采集装置坐标系与机器人基座坐标系之间的转换矩阵用公式表示为：
Figure 576980DEST_PATH_IMAGE001
(1)
式（1）中，
Figure 519529DEST_PATH_IMAGE002
表示图像采集装置坐标系，
Figure 19780DEST_PATH_IMAGE003
表示机器人基座坐标系，
Figure 440397DEST_PATH_IMAGE004
表示某一固定点
Figure 476748DEST_PATH_IMAGE005
在机器人基座坐标系下对应坐标，
Figure 324619DEST_PATH_IMAGE006
表示该固定点
Figure 249849DEST_PATH_IMAGE005
在图像采集装置坐标系下对应坐标，
Figure 598791DEST_PATH_IMAGE007
表示图像采集装置坐标系与机器人基座坐标系之间的转换矩阵；
需要说明的是，
Figure 925867DEST_PATH_IMAGE004
和
Figure 210218DEST_PATH_IMAGE006
是补“1”后的齐次坐标，形式为
Figure 685062DEST_PATH_IMAGE043
，补“1”可以使
Figure 447481DEST_PATH_IMAGE007
同时包含平移和旋转，对于式（1）中
Figure 629064DEST_PATH_IMAGE007
的求解，只需要当固定点
Figure 645168DEST_PATH_IMAGE005
的个数大于求解的转换矩阵维度并这些固定点线性不相关，即可通过求逆矩阵的方法求出，即利用公式
Figure 544991DEST_PATH_IMAGE044
求出，同时，由于图像采集装置坐标系和机器人基座坐标系固定，因此，计算得到的
Figure 111102DEST_PATH_IMAGE007
可直接用于后续坐标变换，转换矩阵
Figure 209508DEST_PATH_IMAGE007
允许坐标进行平移、旋转以及任意方向的缩放；
其中，拾取装置坐标系与机械手末端坐标系之间的转换矩阵用公式表示为：
Figure 835661DEST_PATH_IMAGE008
(2)
式（2）中，
Figure 222780DEST_PATH_IMAGE009
表示拾取装置坐标系与机械手末端坐标系之间的转换矩阵，
Figure 789846DEST_PATH_IMAGE010
表示机械手末端坐标系与机器人基座坐标系之间的转换矩阵，
Figure 482996DEST_PATH_IMAGE011
表示图像采集装置的内参矩阵；需要说明的是，本实施例中的拾取装置为刚性结构装置，如真空吸盘，而式（2）中的
Figure 389319DEST_PATH_IMAGE010
值可以通过机器人控制软件系统直接读出；
S2、将预设实例模板的中心点与拾取装置的坐标原点重合，并以预设实例模板为ICP（Iterative Closest Point，迭代最近点）配准的预设实例模板，进而获取预设实例模板坐标系与图像采集装置坐标系之间的转换矩阵；
本步骤具体为：由于使用ICP配准的方法，因此需要提前计算一个预设实例模板图像的位姿信息，首先通过旋转变换和平移变换将预设实例模板的中心点与拾取装置坐标系的原点重合以使预设实例模板中的目标实例坐标转换到拾取装置坐标系下，然后利用PnP算法（Perspective-n-Point，角度-n-点）计算出图像采集装置的外参，进而求出预设实例模板坐标系与图像采集装置坐标系之间的转换矩阵，用公式表示为：
Figure 545494DEST_PATH_IMAGE012
(3)
Figure 444633DEST_PATH_IMAGE013
(4)
式（3）、（4）中，
Figure 404866DEST_PATH_IMAGE014
表示预设实例模板坐标系和图像采集装置坐标系之间的转换矩阵，
Figure 13701DEST_PATH_IMAGE015
表示预设实例模板中目标实例的像素坐标，
Figure 750976DEST_PATH_IMAGE016
表示拾取装置坐标系下对应
Figure 761657DEST_PATH_IMAGE015
的坐标，
Figure 729613DEST_PATH_IMAGE017
和
Figure 888062DEST_PATH_IMAGE018
是基于当前预设实例模板由PnP算法所计算的图像采集装置外参，其分别表示预设实例模板坐标系与图像采集装置坐标系之间的旋转矩阵和平移矩阵，
Figure 334087DEST_PATH_IMAGE045
表示图像采集装置的内参；
S3、利用图像采集装置采集工件台上目标工件的图片数据和点云信息，然后将所采集的图片数据和点云信息传输至服务器中并利用预设训练好的实例分割模型进行实例分割以获取图片数据的掩码信息，再将图片数据的掩码信息和图像采集装置采集的对应点云信息进行匹配分割以得到目标工件的点云信息；
本步骤中，Maskrcnn网络原来的Mask分支损失函数采用的是交叉熵损失函数，但是交叉熵损失函数在分割实例的时候需要依赖于候选区域的特征，由于分割目标存在堆叠还有杂物背景，利用原始交叉熵损失函数计算会削弱边缘信息的预测性，导致目标边缘的分割不准确，故在掩码
Figure 527171DEST_PATH_IMAGE046
上增加边界区域距离损失约束，具体为：通过修改掩码损失函数的计算与回归方式，提出增加掩码上的边界区域距离损失约束，并利用边界加权分割损失函数的区域距离损失约束正则化分割的位置、形状和连续性，优化目标工件边缘的分割结果，进而获取图片数据的掩码信息，其对应修改后的掩码损失函数用公式表示为：
Figure 666028DEST_PATH_IMAGE020
（5）
式（5）中，
Figure 249456DEST_PATH_IMAGE021
表示掩码，
Figure 561489DEST_PATH_IMAGE022
表示边界加权分割损失函数的边界区域距离损失约束，
Figure 546762DEST_PATH_IMAGE023
表示权重系数，
Figure 411513DEST_PATH_IMAGE024
表示分割区域边界处的点集，
Figure 482238DEST_PATH_IMAGE025
表示点集
Figure 535644DEST_PATH_IMAGE024
中的一个点，
Figure 437741DEST_PATH_IMAGE026
表示根据距离变换到标记区域构建的距离图，
Figure 918401DEST_PATH_IMAGE027
表示标注的真实对象的mask，
Figure 210842DEST_PATH_IMAGE028
表示预测对象的mask；
其中，得到目标工件的点云信息具体为：预设分割后目标工件点云信息的尺寸，利用预设训练好的点云分割模型（即改进的Mask-RCNN网络模型）对图像采集装置所采集的图片数据进行分割获取对应的掩码信息，然后基于所获取的掩码信息对图像采集装置采集的对应点云信息进行裁剪，进而得到目标工件的点云信息；
本实施例中，由于预设训练好的点云分割模型预测的掩码尺寸大小与输入图片尺寸大小一致，即可利用预设训练好的点云分割模型对图像采集装置所采集的图片数据进行分割获取对应的掩码信息，基于所获取的掩码信息直接对图像采集装置采集的对应点云信息进行裁剪，进而得到目标工件的点云信息；
S4、服务器接收目标工件的点云信息，并将目标工件的点云信息与预设实例模板的点云信息进行ICP配准，进而得到目标点云坐标系与预设实例模板点云坐标系之间的转换矩阵；
本步骤具体为：所述服务器接收目标工件的点云信息，基于目标工件的点云信息和预设实例模板的点云信息并按照预设约束条件找到其最邻近点对，进而计算目标点云坐标系与预设实例模板点云坐标系之间的最优匹配参数和以使误差函数最小，基于所计算得到的最优匹配参数获取目标点云坐标系与预设实例模板点云坐标系之间的转换矩阵，用公式表示为：
Figure 130257DEST_PATH_IMAGE029
（6）
式（6）中，
Figure 824543DEST_PATH_IMAGE030
表示目标点云坐标系与预设实例模板点云坐标系之间的转换矩阵，
Figure 476104DEST_PATH_IMAGE031
表示旋转矩阵，
Figure 25709DEST_PATH_IMAGE032
表示平移向量；
其中，所述误差函数用公式表示为：
Figure 804309DEST_PATH_IMAGE033
(7)
式（7）中，
Figure 812716DEST_PATH_IMAGE034
表示误差函数，
Figure 334965DEST_PATH_IMAGE035
表示最邻近点对的个数，
Figure 440324DEST_PATH_IMAGE036
表示目标点云，
Figure 389825DEST_PATH_IMAGE037
表示预设实例模板点云，
Figure 416687DEST_PATH_IMAGE038
表示最近邻点对的序号；
本实施例中，所述预设约束条件是基于实际情况预设给出的一个初始转换矩阵，当目标点云和预设实例模板点云的距离较小时，该初始转换矩阵可以设置为一个4×4的单位矩阵。
S5、基于图像采集装置坐标系与机器人基座坐标系之间的转换矩阵、拾取装置坐标系与机器人末端坐标系之间的转换矩阵、预设实例模板坐标系与图像采集装置坐标系之间的转换矩阵以及目标点云坐标系与预设实例模板点云坐标系之间的转换矩阵，计算机器人基座坐标系与目标工件坐标系之间的转换矩阵，进而得到机器人基座坐标系下目标工件的位姿信息；
本步骤中，所述机器人基座坐标系与目标工件坐标系之间的转换矩阵用公式表示为：
Figure 211468DEST_PATH_IMAGE039
(8)
式（8）中，
Figure 138710DEST_PATH_IMAGE040
表示机器人基座坐标系和目标工件坐标系之间的转换矩阵；
利用机器人基座坐标系和目标工件坐标系之间的转换矩阵可将目标工件在目标工件坐标系中的坐标转换成在机器人基座坐标系中的坐标，进而控制抓取模块对目标工件进行精准抓取，这里位姿的数据格式表示为位置加四元数，其通过转换矩阵
Figure 259113DEST_PATH_IMAGE040
进行转换即可求得；
S6、基于机器人基座坐标系下目标工件的位姿信息，通过服务器控制机器人系统对目标工件进行抓取，进而完成目标工件的上料工作；
本实施例中，所述位姿信息通过客户端转换成6DoF位姿形式，有效提高了抓取的准确度，所述基于云平台的无序工件抓取方法基于云平台方法对工件台上的工件图片数据进行处理，利用高性能的服务端对预设实例模板进行分割，极大的提高了运算速率，同时利用服务端计算目标工件的位姿信息并传输给抓取模块进而进行抓取，位姿信息与现有较多的系统只使用物体位置信息相比，加入方向信息使得抓取更加准确，可以面向更多复杂且存在堆叠的工业场景，因此，所述抓取方法能够有效解决工业场景复杂、存在堆叠现象且采集图像边缘与纹理信息不明显所造成位姿获取难度高的问题。
再一方面，本实施例提出的一种基于云平台的无序工件抓取系统，所述抓取系统根据上述所述的基于云平台的无序工件抓取方法对工件台上的工件进行抓取，其包括机器人系统、图像采集装置、云平台、位姿预测模块和数据通信模块，其中：
所述机器人系统包括机器人基座、机械手、拾取装置和抓取模块，机械手置于机器人基座上，拾取装置固定设于机械手末端，抓取模块与云平台连接用于接收云平台的数据以驱动机械手控制拾取装置抓取目标工件；
图像采集装置固定在工件台的上方用于采集工件台上目标工件的图片数据并生成点云信息以传输给云平台；
云平台包括由服务器构成的服务端以及由计算机构成的客户端，所述服务端用于计算位姿信息以及加载预设训练好的点云分割模型，客户端用于接收服务端所计算的位姿信息并传输给抓取模块；
位姿预测模块与服务端连接，用于将图像采集装置的图片数据输入预设训练好的点云分割模型中进行分割配准以获取机器人基座坐标系下目标工件的位姿信息，并将所获取的目标工件位姿信息传输给客户端；
数据通信模块用于实现机器人系统与云平台之间的数据交互。
本实施例中，所述服务端由配备四块RTX 3090显卡的服务器构成，服务端与客户端之间采用socket通信以增强数据传输效率，所述数据通信模块为千兆以太网通信，位姿预测模块还包括离线进程，其离线进程任务为将图像采集装置所采集图片数据构成的数据集输入改进的Mask-RCNN网络模型中进行训练，进而得到预设训练好的点云分割模型并进行保存。
需要说明的是，所述抓取模块由具备末端执行器的单臂机器人组成，其用于对工件台上的目标工件进行抓取，机械手的轨迹规划以及运动控制任务由机器人内置软件平台完成操控，目标工件抓取的具体过程如下：首先通过图像采集装置传入的RGB图像和点云数据，得到目标工件的位姿信息；然后控制末端执行器到达目标工件的位置，开启气泵并保持，待拾取装置抓取目标工件后，按规划轨迹将目标工件移动至产线传送带上方位置，关闭气泵，目标工件落至传送带上，进而完成上料；最后机械手带动拾取装置自动回到初始位置，至此一轮上料循环完成。
由于前述的基于云平台的无序工件抓取方法应用于基于云平台的无序工件抓取系统中，因此，也具备该基于云平台的无序工件抓取方法的有益效果，在此不再赘述。
以上对本发明所提供的一种基于云平台的无序工件抓取方法及其系统进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (9)

1.一种基于云平台的无序工件抓取方法，其特征在于，所述方法包括以下步骤：
S1、搭建机器人系统和图像采集装置并获取图像采集装置的内参，其中，机器人系统包括机器人基座、机械手以及设于机械手末端上的拾取装置，利用手眼标定获取图像采集装置坐标系与机器人基座坐标系之间的转换矩阵以及拾取装置坐标系与机械手末端坐标系之间的转换矩阵；
S2、将预设实例模板的中心点与拾取装置的坐标原点重合，并以预设实例模板为ICP配准的预设实例模板，进而获取预设实例模板坐标系与图像采集装置坐标系之间的转换矩阵；
S3、利用图像采集装置采集工件台上目标工件的图片数据和点云信息，然后将所采集的图片数据和点云信息传输至服务器中并利用预设训练好的实例分割模型进行实例分割以获取图片数据的掩码信息，再将图片数据的掩码信息和图像采集装置采集的对应点云信息进行匹配分割以得到目标工件的点云信息；
S4、服务器接收目标工件的点云信息，并将目标工件的点云信息与预设实例模板的点云信息进行ICP配准，进而得到目标点云坐标系与预设实例模板点云坐标系之间的转换矩阵；
S5、基于图像采集装置坐标系与机器人基座坐标系之间的转换矩阵、拾取装置坐标系与机器人末端坐标系之间的转换矩阵、预设实例模板坐标系与图像采集装置坐标系之间的转换矩阵以及目标点云坐标系与预设实例模板点云坐标系之间的转换矩阵，计算机器人基座坐标系与目标工件坐标系之间的转换矩阵，进而得到机器人基座坐标系下目标工件的位姿信息；
S6、基于机器人基座坐标系下目标工件的位姿信息，通过服务器控制机器人系统对目标工件进行抓取，进而完成目标工件的上料工作。
2.如权利要求1所述的基于云平台的无序工件抓取方法，其特征在于，所述步骤S1中图像采集装置坐标系与机器人基座坐标系之间的转换矩阵用公式表示为：
Figure 711373DEST_PATH_IMAGE001
(1)
式（1）中，
Figure 870959DEST_PATH_IMAGE002
表示图像采集装置坐标系，
Figure 375889DEST_PATH_IMAGE003
表示机器人基座坐标系，
Figure 111632DEST_PATH_IMAGE004
表示某一固定点
Figure 967592DEST_PATH_IMAGE005
在机器人基座坐标系下对应坐标，
Figure 665290DEST_PATH_IMAGE006
表示该固定点
Figure 87044DEST_PATH_IMAGE005
在图像采集装置坐标系下对应坐标，
Figure 352940DEST_PATH_IMAGE007
表示图像采集装置坐标系与机器人基座坐标系之间的转换矩阵；
其中，拾取装置坐标系与机械手末端坐标系之间的转换矩阵用公式表示为：
Figure 555251DEST_PATH_IMAGE008
(2)
式（2）中，
Figure 932006DEST_PATH_IMAGE009
表示拾取装置坐标系与机械手末端坐标系之间的转换矩阵，
Figure 536163DEST_PATH_IMAGE010
表示机械手末端坐标系与机器人基座坐标系之间的转换矩阵，
Figure 238539DEST_PATH_IMAGE011
表示图像采集装置的内参矩阵。
3.如权利要求2所述的基于云平台的无序工件抓取方法，其特征在于，所述步骤S2的具体实现方式为：通过旋转变换和平移变换将预设实例模板的中心点与拾取装置坐标系的原点重合以使预设实例模板中的目标实例坐标转换到拾取装置坐标系下，并利用PnP算法计算出图像采集装置的外参，进而求出预设实例模板坐标系与图像采集装置坐标系之间的转换矩阵，用公式表示为：
Figure 429612DEST_PATH_IMAGE012
(3)
Figure 672374DEST_PATH_IMAGE013
(4)
式（3）、（4）中，
Figure 271983DEST_PATH_IMAGE014
表示预设实例模板坐标系和图像采集装置坐标系之间的转换矩阵，
Figure 4315DEST_PATH_IMAGE015
表示预设实例模板中目标实例的像素坐标，
Figure 56585DEST_PATH_IMAGE016
表示拾取装置坐标系下对应
Figure 899776DEST_PATH_IMAGE015
的坐标，
Figure 353891DEST_PATH_IMAGE017
和
Figure 21239DEST_PATH_IMAGE018
是基于当前预设实例模板由PnP算法所计算的图像采集装置外参，其分别表示预设实例模板坐标系与图像采集装置坐标系之间的旋转矩阵和平移矩阵，
Figure 560805DEST_PATH_IMAGE019
表示图像采集装置的内参。
4.如权利要求3所述的基于云平台的无序工件抓取方法，其特征在于，所述步骤S3中利用预设训练好的点云分割模型获取图片数据的掩码信息具体为：通过修改掩码损失函数的计算与回归方式，提出增加掩码上的边界区域距离损失约束，并利用边界加权分割损失函数的区域距离损失约束正则化分割的位置、形状和连续性，优化目标工件边缘的分割结果，进而获取图片数据的掩码信息，其对应修改后的掩码损失函数用公式表示为：
Figure 207687DEST_PATH_IMAGE020
（5）
式（5）中，
Figure 516309DEST_PATH_IMAGE021
表示掩码，
Figure 590444DEST_PATH_IMAGE022
表示加权分割损失函数的边界区域距离损失约束，
Figure 351727DEST_PATH_IMAGE023
表示权重系数，
Figure 802299DEST_PATH_IMAGE024
表示分割区域边界处的点集，
Figure 965428DEST_PATH_IMAGE025
表示点集
Figure 711929DEST_PATH_IMAGE024
中的一个点，
Figure 226087DEST_PATH_IMAGE026
表示根据距离变换到标记区域构建的距离图，
Figure 949192DEST_PATH_IMAGE027
表示预测对象的掩码。
5.如权利要求4所述的基于云平台的无序工件抓取方法，其特征在于，所述步骤S3中得到目标工件的点云信息具体为：预设分割后目标工件点云信息的尺寸，利用预设训练好的点云分割模型对图像采集装置所采集的图片数据进行分割获取对应的掩码信息，然后基于所获取的掩码信息对图像采集装置采集的对应点云信息进行裁剪，进而得到目标工件的点云信息。
6.如权利要求5所述的基于云平台的无序工件抓取方法，其特征在于，所述步骤S4的具体实现方式为：服务器接收目标工件的点云信息，基于目标工件的点云信息和预设实例模板的点云信息并按照预设约束条件找到其最邻近点对，进而计算目标点云坐标系与预设实例模板点云坐标系之间的最优匹配参数和以使误差函数最小，基于所计算得到的最优匹配参数获取目标点云坐标系与预设实例模板点云坐标系之间的转换矩阵，用公式表示为：
Figure 966827DEST_PATH_IMAGE028
（6）
式（6）中，
Figure 648344DEST_PATH_IMAGE029
表示目标点云坐标系与预设实例模板点云坐标系之间的转换矩阵，
Figure 384219DEST_PATH_IMAGE030
表示旋转矩阵，
Figure 583119DEST_PATH_IMAGE031
表示平移向量；
其中，所述误差函数用公式表示为：
Figure 48735DEST_PATH_IMAGE032
(7)
式（7）中，
Figure 573258DEST_PATH_IMAGE033
表示误差函数，
Figure 159878DEST_PATH_IMAGE034
表示最邻近点对的个数，
Figure 631310DEST_PATH_IMAGE035
表示目标点云，
Figure 748171DEST_PATH_IMAGE036
表示预设实例模板点云，
Figure 381277DEST_PATH_IMAGE037
表示最近邻点对的序号。
7.如权利要求6所述的基于云平台的无序工件抓取方法，其特征在于，所述步骤S5中机器人基座坐标系与目标工件坐标系之间的转换矩阵用公式表示为：
Figure DEST_PATH_IMAGE038
(8)
式（8）中，
Figure 419641DEST_PATH_IMAGE039
表示机器人基座坐标系和目标工件坐标系之间的转换矩阵。
8.如权利要求7所述的基于云平台的无序工件抓取方法，其特征在于，所述点云分割模型为改进的Mask-RCNN网络模型。
9.一种基于云平台的无序工件抓取系统，其特征在于，所述抓取系统根据权利要求1-8任一项所述的基于云平台的无序工件抓取方法对工件台上的工件进行抓取，其包括机器人系统、图像采集装置、云平台、位姿预测模块和数据通信模块，其中：
所述机器人系统包括机器人基座、机械手、拾取装置和抓取模块，机械手置于机器人基座上，拾取装置固定设于机械手末端，抓取模块与云平台连接用于接收云平台的数据以驱动机械手控制拾取装置抓取目标工件；
图像采集装置固定在工件台的上方用于采集工件台上目标工件的图片数据并生成点云信息以传输给云平台；
云平台包括由服务器构成的服务端以及由计算机构成的客户端，所述服务端用于计算位姿信息以及加载预设训练好的点云分割模型，客户端用于接收服务端所计算的位姿信息并传输给抓取模块；
位姿预测模块与服务端连接，用于将图像采集装置的图片数据输入预设训练好的点云分割模型中进行分割配准以获取机器人基座坐标系下目标工件的位姿信息，并将所获取的目标工件位姿信息传输给客户端；
数据通信模块用于实现机器人系统与云平台之间的数据交互。
CN202210641069.7A 2022-06-08 2022-06-08 一种基于云平台的无序工件抓取方法及其系统 Active CN114714365B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210641069.7A CN114714365B (zh) 2022-06-08 2022-06-08 一种基于云平台的无序工件抓取方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210641069.7A CN114714365B (zh) 2022-06-08 2022-06-08 一种基于云平台的无序工件抓取方法及其系统

Publications (2)

Publication Number Publication Date
CN114714365A CN114714365A (zh) 2022-07-08
CN114714365B true CN114714365B (zh) 2022-08-23

Family

ID=82232406

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210641069.7A Active CN114714365B (zh) 2022-06-08 2022-06-08 一种基于云平台的无序工件抓取方法及其系统

Country Status (1)

Country Link
CN (1) CN114714365B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115445963A (zh) * 2022-09-30 2022-12-09 北京思灵机器人科技有限责任公司 无序线材分拣方法、装置及系统
CN115582827B (zh) * 2022-10-20 2024-09-13 大连理工大学 一种基于2d和3d视觉定位的卸货机器人抓取方法
CN117011387B (zh) * 2023-10-07 2024-01-26 湖州丽天智能科技有限公司 一种基于视觉识别的光伏板位姿拟合方法及安装机器人

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112270249B (zh) * 2020-10-26 2024-01-23 湖南大学 一种融合rgb-d视觉特征的目标位姿估计方法
CN112070818B (zh) * 2020-11-10 2021-02-05 纳博特南京科技有限公司 基于机器视觉的机器人无序抓取方法和系统及存储介质
CN113538576B (zh) * 2021-05-28 2024-09-06 中国科学院自动化研究所 基于双臂机器人的抓取方法、装置及双臂机器人
CN113580149B (zh) * 2021-09-30 2021-12-21 湖南大学 基于关键点预测网络的无序混叠工件抓取方法和系统
CN114529703B (zh) * 2022-02-28 2024-09-06 湖南大学 一种基于熵增优化的大型复杂构件点云全局匹配方法

Also Published As

Publication number Publication date
CN114714365A (zh) 2022-07-08

Similar Documents

Publication Publication Date Title
CN114714365B (zh) 一种基于云平台的无序工件抓取方法及其系统
CN108399639B (zh) 基于深度学习的快速自动抓取与摆放方法
CN109483554B (zh) 基于全局和局部视觉语义的机器人动态抓取方法及系统
CN107992881B (zh) 一种机器人动态抓取方法及系统
CN110480637B (zh) 一种基于Kinect传感器的机械臂零件图像识别抓取方法
CN114912287B (zh) 基于目标6d位姿估计的机器人自主抓取仿真系统及方法
CN111462154B (zh) 基于深度视觉传感器的目标定位方法、装置及自动抓取机器人
CN111046948B (zh) 点云仿真和深度学习的工件位姿识别及机器人上料方法
CN113580149B (zh) 基于关键点预测网络的无序混叠工件抓取方法和系统
CN108748149B (zh) 一种复杂环境下基于深度学习的无标定机械臂抓取方法
CN115070781B (zh) 一种物体抓取方法及双机械臂协作系统
CN115213896A (zh) 基于机械臂的物体抓取方法、系统、设备及存储介质
CN114474056A (zh) 一种面向抓取操作的单目视觉高精度目标定位方法
CN114882109A (zh) 一种面向遮挡、杂乱场景下的机器人抓取检测方法及系统
CN112947458B (zh) 基于多模态信息的机器人准确抓取方法及计算机可读介质
CN116749233A (zh) 基于视觉伺服的机械臂抓取系统及方法
CN116612366A (zh) 一种基于数字孪生的摘复钩ai精准识别抓取方法
Pan et al. Manipulator package sorting and placing system based on computer vision
CN114193440A (zh) 基于3d视觉的机器人自动抓取系统及方法
CN206645534U (zh) 一种基于双相机的机器人无序抓取装置
CN110480685A (zh) 一种农用车轮自动加工生产线视觉机械手
CN115194774A (zh) 一种基于多目视觉的双机械臂抓握系统控制方法
CN111470244B (zh) 机器人系统的控制方法以及控制装置
CN206501118U (zh) 一种机器人抓取装置
CN112171664A (zh) 基于视觉识别的生产线机器人轨迹补偿方法、装置和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant