CN113681549B - 一种基于三维数据分析的机器人抓取方法及系统 - Google Patents

一种基于三维数据分析的机器人抓取方法及系统 Download PDF

Info

Publication number
CN113681549B
CN113681549B CN202111003636.8A CN202111003636A CN113681549B CN 113681549 B CN113681549 B CN 113681549B CN 202111003636 A CN202111003636 A CN 202111003636A CN 113681549 B CN113681549 B CN 113681549B
Authority
CN
China
Prior art keywords
module
grabbing
information
coordinate system
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111003636.8A
Other languages
English (en)
Other versions
CN113681549A (zh
Inventor
李瑞锋
张考
许添平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Tadisi Intelligent Technology Co ltd
Original Assignee
Jiangsu Tadisi Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Tadisi Intelligent Technology Co ltd filed Critical Jiangsu Tadisi Intelligent Technology Co ltd
Priority to CN202111003636.8A priority Critical patent/CN113681549B/zh
Publication of CN113681549A publication Critical patent/CN113681549A/zh
Application granted granted Critical
Publication of CN113681549B publication Critical patent/CN113681549B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/08—Programme-controlled manipulators characterised by modular constructions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/08—Gripping heads and other end effectors having finger members
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J18/00—Arms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

本发明提出了一种基于三维数据分析的机器人抓取方法及系统，方法包括：构建识别网络模型和坐标转换模型并置入智能抓取机器人核心处理器中，并对识别网络模型进行性能训练；根据路径规划达到目标物所在区域；触发信息采集设备对目标物进行图像数据采集；对采集到的图像数据进行数据预处理并获取目标物的三维数据信息；将步骤四获取到的三维数据信息输入所述识别网络模型中进行目标物相关信息的提取；利用坐标转换模型对步骤五中提取到的位置信息进行转换；根据转换后的坐标生成抓取指令，并根据所述抓取指令完成抓取。通过获取物体的三维信息，以及识别网络模型对三维信息的读取分析，使得智能化抓取机器人可以高效率地控制完成抓取的任务。

Description

一种基于三维数据分析的机器人抓取方法及系统
技术领域
本发明涉及一种基于三维数据分析的机器人抓取方法及系统，特别是涉及智能机器人图像数据处理技术领域。
背景技术
随着智能化技术的推进，带动了现代工业想智能化的方向发展，智能化产业在实际工业作业的生产中逐渐占据主导地位，智能机器人也逐渐被应用到社会生产的众多领域。在智能化工业抓取作业过程中，智能机器人在到达目标物的位置时，触发信息采集设备对目标物进行图像数据获取，随后通过图像数据处理获取目标物的位置，并返回目标物的相关信息，从而辅助抓取机器人对目标物的抓取。
现有技术中，由于目标物体散落的姿态和位置具有不确定性，因此，在抓取作业过程中往往会出现抓取掉落的情况，从而导致机器人重复劳动的现象，进而降低抓取机器人的工作效率。
发明内容
发明目的：提出一种基于三维数据分析的机器人抓取方法及系统，以解决现有技术存在的上述问题。
技术方案：第一方面，提出了一种基于三维数据分析的机器人抓取方法，其特征在于，具体包括以下步骤：
步骤一、构建识别网络模型和坐标转换模型并置入智能抓取机器人核心处理器中，并对识别网络模型进行性能训练；
步骤二、根据路径规划达到目标物所在区域；
步骤三、触发信息采集设备对目标物进行图像数据采集；
步骤四、对采集到的图像数据进行数据预处理并获取目标物的三维数据信息；
步骤五、将步骤四获取到的三维数据信息输入所述识别网络模型中进行目标物相关信息的提取；所述相关信息包括位置信息、类别信息；
步骤六、利用坐标转换模型对步骤五中提取到的位置信息进行转换；
步骤七、根据转换后的坐标生成抓取指令，并根据所述抓取指令完成抓取。
在第一方面的一些可实现方式中，对采集到的图像数据进行数据预处理时，采用加权平均值法对彩色图像进行灰度图像处理，并在灰度化后采用0或255的数值将灰度化的图像数据转化为黑白二值化图像数据。
其中灰度化的表达式为：
Gray＝wR*R+wG*G+wB*B
式中，Gray表示经过绘图处理后的图像数据，wR表示彩色图像中R分量的权值；wG表示彩色图像中G分量的权值；wB彩色图像中B分量的权值。
在第一方面的一些可实现方式中，步骤六中利用坐标转换模型对位置信息进行转换时进一步包括信息采集设备位于智能化机器人机械臂的末端，以及相对于地面固定两种情况。
建立机械臂基坐标系、机械臂末端坐标系以及信息采集设备所在坐标系，针对信息采集设备所在坐标系Fd中的任意一点a(x,y,z)转换到机械臂末端坐标系Fm中的b(X,Y,Z)的满足表达式如下：
Figure GDA0004080909340000021
或：
Figure GDA0004080909340000022
因此坐标转换的矩阵为：
Figure GDA0004080909340000023
式中，
Figure GDA0004080909340000024
表示由信息采集设备所在坐标系Fd到机械臂基坐标系Fj的转换矩阵；/>
Figure GDA0004080909340000025
表示由信息采集设备所在坐标系Fd到机械臂末端坐标系Fm的转换矩阵；/>
Figure GDA0004080909340000026
表示由机械臂基坐标系Fj到机械臂末端坐标系Fm的转换矩阵。
当信息采集设备位于智能化机器人机械臂的末端时，由于信息采集设备的位置相对于工业机器人末端位置固定，根据坐标转换矩阵转换为对
Figure GDA0004080909340000027
的标定。所述/>
Figure GDA0004080909340000028
表示由信息采集设备所在坐标系Fd到机械臂末端坐标系Fm的转换矩阵。
当信息采集设备与工业机器人独立安装，且相对于地面固定安装时，通过坐标转换矩阵，将其转换为对
Figure GDA0004080909340000029
的标定。所述/>
Figure GDA00040809093400000210
表示由信息采集设备所在坐标系Fd到机械臂基坐标系Fj的转换矩阵。
在第一方面的一些可实现方式中，完成抓取过程中还包括一种柔性贴合机械爪；所述柔性贴合机械爪是根据鱼鳍向施加力方向弯曲的特性构建的仿生柔性贴合机械爪；抓取过程中，所述柔性贴合机械爪可以根据目标物给出的反向施加力，被动的适应目标物的形状。
所述柔性贴合机械爪采用步进电机，并通过差分式驱动器进行驱动，所述驱动器采用单端共阴极线路接法。
所述识别网络模型包括输入层、采样层、卷积层、池化层、全连接层；其中，所述池化层紧跟于所述卷积层之后，并采用下采样的方式进一步对特征图进行压缩和冗余去除。在池化层中通过在特征图中寻找最大值的方式对数据进行处理。全连接层的激活函数采用Leaky Re Lu函数，所述Leaky Re Lu函数为非线性的非饱和函数，用于解决梯度消失的问题，同时能够反向传播错误并激活多个神经元；若输入值为负，将为所有负值分配一个非零的斜率。
第二方面，提出一种基于三维数据分析的机器人抓取系统，该系统具体包括：用于构建网络识别模型和坐标转换模型的第一模块，该模块被设置为构建识别网络模型和坐标转换模型，并将两者置入智能抓取机器人核心处理器中；用于实现路径规划的第二模块，该模块被设置为根据作业需求制定智能化机器人的实际作业路线；用于获取图像数据的第三模块，该模块被设置为根据接收到的触发信号完成实际工况中的图像数据采集；用于提取图像数据信息的第四模块，该模块被设置为接收第三模块后采集到的图像数据，并进行数据预处理获取目标物的三维数据信息；用于获取目标物相关信息的第五模块，该模块被设置为将第四模块中获取到的三维数据信息输入所述识别网络模型中进行目标物相关信息的提取；用于生成智能化机器人可参考的坐标系坐标的第六模块，该模块被设置为利用坐标转换模型获取智能化机器人可识别参考的坐标，并生成抓取指令；用于执行抓取行为的第七模块，该模块被设置为根据生成抓取指令完成抓取行为。
在第二方面的一些可实现方式中，所述第一模块构建完识别网络模型和坐标转换模型后，将其置入智能抓取机器人核心处理器中，并进一步对识别网络模型进行性能训练；在实际作业过程中，所述第二模块首先根据需求制定智能化机器人的行走路线，并在抵达目标物所在范围后产生第三模块的触发信号；所述第三模块接收第二模块产生的触发信号，调动信息采集设备对实际工况进行图像数据的采集，并将采集到的图像数据发送至第四模块中进行预处理后，进入第五模块进行三维数据信息的提取；所述第六模块根据获取到的信息，采用坐标转换模型进行位置坐标的转换，并生成对应的抓取指令；所述第七模块根据生成的抓取指令完成抓取。
有益效果：在智能化抓取机器人的抓取作业过程中，针对现有技术中的二维图像识别技术存在技术视角敏感度高，以及可移植性差的问题进一步导致的目标物姿态和位置的不确定性、以及抓取效率不高的现象，提出一种基于三维数据分析的机器人抓取方法，通过获取物体的三维信息，以及识别网络模型对三维信息的读取分析，进一步获取更为精准的目标物姿态信息，从而提高目标物的定位精准度，引导智能化抓取机器人高效率控制完成抓取的任务。
附图说明
图1为本发明实施例的数据处理流程图。
图2为本发明实施例电机与驱动器之间的电路连接示意图。
具体实施方式
在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。
实施例一
在智能化抓取机器人的抓取作业过程中，由于现有技术中的二维图像识别技术存在技术视角敏感度高，以及可移植性差的问题，因此针对这些问题进一步导致的目标物姿态和位置的不确定性、以及抓取效率不高的问题，提出一种基于三维数据分析的机器人抓取方法，该方法具体包括以下步骤：
步骤一、构建识别网络模型和坐标转换模型并置入智能抓取机器人核心处理器中，并对识别网络模型进行性能训练；
步骤二、根据路径该规划达到目标物所在区域；
步骤三、触发信息采集设备对目标物进行图像数据采集；
步骤四、对采集到的图像数据进行数据预处理并获取目标物的三维数据信息；
步骤五、将步骤四获取到的三维数据信息输入所述识别网络模型中进行目标物相关信息的提取；
步骤六、利用坐标转换模型对步骤五中提取到的位置信息进行转换；
步骤七、根据转换后的坐标生成抓取指令，并根据所述抓取指令完成抓取。
通过获取物体的三维信息，以及识别网络模型对三维信息的读取分析，进一步获取更为精准的目标物姿态信息，从而提高目标物的定位精准度，引导智能化抓取机器人高效率控制完成抓取的任务。
实施例二
在实施例一基础上的进一步实施例中，对采集到的图像数据进行数据预处理时，为了很好的提取到图像数据中的图像特征，本实施例采用图像灰度处理的方式降低由于色彩导致的数据信息量过大，处理耗时长的问题。
具体的，为了获取更完整的图像信息，以及更少的图像噪声，本实施例采用加权平均值法对彩色图像进行灰度图像处理，其处理表达式为：
Gray＝wR*R+wG*G+wB*B
式中，Gray表示经过绘图处理后的图像数据，wR表示彩色图像中R分量的权值；wG表示彩色图像中G分量的权值；wB彩色图像中B分量的权值。
在进一步的实施例中，为了进一步简化图像数据处理的流程，对灰度化的图像数据采用0或255的数值生成黑白二值化图像，使得图像的特征信息仅仅与图像像素的位置有关，从而突出目标物的轮廓。
实施例三
在实施例一基础上的进一步实施例中，为了支持智能化抓取机器人的手眼协调作业，在获取到目标物的实际位置后，需将信息采集设备获取到的实际位置坐标转换为在智能化抓取机器人所采用坐标系中的坐标。由于智能化抓取机器人的抓取行为依赖于转换后的坐标系，因此坐标转换后的准确性对抓取行为存在较大的影响。本实施例针对坐标系转换的准确性，一种坐标转换方法用于提高坐标转换结果。
具体的，在工业实施过程中，对目标物体进行定位时，由于信息采集设备位于智能化机器人机械臂的末端以及相对于地面固定两种情况，因此首先建立机械臂基坐标系、机械臂末端坐标系以及信息采集设备所在坐标系，根据设备坐标系相对于工业机器人的位置，实现坐标系的不同转换。
当信息采集设备位于智能化机器人机械臂的末端时，由于信息采集设备的位置相对于工业机器人末端位置固定，根据坐标转换矩阵转换为对
Figure GDA0004080909340000051
的标定；当信息采集设备与工业机器人独立安装，且相对于地面固定安装时，由于随着机器人末端运动而变化，/>
Figure GDA0004080909340000052
并不是固定值，难以标定，因此通过坐标转换矩阵，将其转换为对/>
Figure GDA0004080909340000053
的标定；其中，/>
Figure GDA0004080909340000054
表示由信息采集设备所在坐标系Fd到机械臂基坐标系Fj的转换矩阵；/>
Figure GDA0004080909340000055
表示由信息采集设备所在坐标系Fd到机械臂末端坐标系Fm的转换矩阵；/>
Figure GDA0004080909340000056
表示由机械臂基坐标系Fj到机械臂末端坐标系Fm的转换矩阵。
在进一步的实施例中，针对信息采集设备所在坐标系Fd中的任意一点a(x,y,z)转换到机械臂末端坐标系Fm中的b(X,Y,Z)的满足表达式如下：
Figure GDA0004080909340000061
或：
Figure GDA0004080909340000062
因此坐标转换的矩阵为：
Figure GDA0004080909340000063
式中，
Figure GDA0004080909340000065
表示由信息采集设备所在坐标系Fd到机械臂基坐标系Fj的转换矩阵；/>
Figure GDA0004080909340000064
表示由信息采集设备所在坐标系Fd到机械臂末端坐标系Fm的转换矩阵；/>
Figure GDA0004080909340000066
表示由机械臂基坐标系Fj到机械臂末端坐标系Fm的转换矩阵。
实施例四
在实施例一基础上的进一步实施例中，在实现抓取作业的过程中，当待抓取的目标物特点具备不确定性时，往往会由于目标物的硬度不够、质量不均匀等问题，出现损坏目标物的表面，或者抓取过程中掉落的现象。因此针对这种问题导致的抓取效率不高的现象，本实施例提出一种柔性贴合机械爪，使得抓取作业过程中，柔性贴合机械爪可以被动适应目标物的形状特点，从而实现牢固抓取的目的。
具体的，根据鱼鳍向施加力方向弯曲的特性构建仿生柔性贴合机械爪，使得机械爪可以根据目标物给出的反向施加力，被动的适应目标物的形状，在不损伤目标物的前提下，具备更强的通用性。
在进一步的实施例中，本实施例提出的柔性贴合机械爪采用步进电机，并通过差分式驱动器进行驱动，所述驱动器采用单端共阴极线路接法。如图2所示为电机与驱动器之间的电路连接图，本实施例中驱动器的细分数为16，且有ENA+信号接口、ENA-信号接口、DIR+信号接口、DIR-信号接口、CLK+信号接口、CLK-信号接口、电源信号口、接地信号口和4个绕组连接线路。其中，ENA+连接使能信号、CLK+连接控制脉冲信号、DIR+连接方向信号，ENA-信号接口、DIR-信号接口、CLK-信号接口共同连接在接地信号上，绕组连接线路与电机接口的AB相绕组正负端分别对应连接。
实施例五
在实施例一基础上的进一步实施例中，针对二维识别在拍摄角度倾斜等情况导致定位出错、抓取定位精度不高的问题，提出一种三维识别网络模型，该模型通过优化后的卷积神经网络对图像数据进行分类，并在分类后结合分类器的技术方案进行识别分析。通过提高识别结果，可以提高智能化抓取机器人对目标物的认知，从而提高智能化抓取机器人的抓取效率，针对非目标物体或者目标物体存在问题缺陷的，执行放弃抓取操作，减少无效作业的工况。
具体的，三维识别网络模型包括输入层、采样层、卷积层、池化层、全连接层，其中池化层紧跟于卷积层之后，并采用下采样的方式进一步对特征图进行压缩和冗余去除。在池化层中通过在特征图中寻找最大值的方式对数据进行处理，从而可以减少计算时间，提高不同空间位置特征的鲁棒性。全连接层的激活函数选取修正线性函数(Re LU)的改进函数Leaky Re Lu，该函数为非饱和函数，能够有效解决梯度消失的问题。此外，该函数是非线性的，能够反向传播错误并激活多个神经元。若输入值为负，将为所有负值分配一个非零的斜率，可以避免Re Lu函数在训练过程中由于将负值设置为0导致的问题。
在分类完成后采用分类器结合阈值进行筛选，从而获取最终的结果，通过这种组合分类的技术方案可以有效的将识别精度提高5％-8％。
实施例六
本实施例提出一种基于三维数据分析的机器人抓取系统用于实现实施例一种提出的方法，该系统具体包括：
用于构建网络识别模型和坐标转换模型的第一模块，该模块被设置为构建识别网络模型和坐标转换模型，并将两者置入智能抓取机器人核心处理器中；
用于实现路径规划的第二模块，该模块被设置为根据作业需求制定智能化机器人的实际作业路线；
用于获取图像数据的第三模块，该模块被设置为根据接收到的触发信号完成实际工况中的图像数据采集；
用于提取图像数据信息的第四模块，该模块被设置为接收第三模块后采集到的图像数据，并进行数据预处理获取目标物的三维数据信息；
用于获取目标物相关信息的第五模块，该模块被设置为将第四模块中获取到的三维数据信息输入所述识别网络模型中进行目标物相关信息的提取；
用于生成智能化机器人可参考的坐标系坐标的第六模块，该模块被设置为利用坐标转换模型获取智能化机器人可识别参考的坐标，并生成抓取指令；
用于执行抓取行为的第七模块，该模块被设置为根据生成抓取指令完成抓取行为。
在进一步的实施例中，第一模块构建完识别网络模型和坐标转换模型后，将其置入智能抓取机器人核心处理器中，并进一步对识别网络模型进行性能训练。在实际作业过程中，第二模块首先根据需求制定智能化机器人的行走路线，并在抵达目标物所在范围后产生第三模块的触发信号。第三模块接收第二模块产生的触发信号，调动信息采集设备对实际工况进行图像数据的采集，并将采集到的图像数据发送至第四模块中进行预处理后，进入第五模块进行三维数据信息的提取。第六模块根据获取到的信息，采用坐标转换模型进行位置坐标的转换，并生成对应的抓取指令。第七模块根据生成的抓取指令完成抓取。
如上所述，尽管参照特定的优选实施例已经表示和表述了本发明，但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下，可对其在形式上和细节上做出各种变化。

Claims (4)

1.一种基于三维数据分析的机器人抓取方法，其特征在于，具体包括以下步骤：
步骤一、构建识别网络模型和坐标转换模型并置入智能抓取机器人核心处理器中，并对识别网络模型进行性能训练；
步骤二、根据路径规划达到目标物所在区域；
步骤三、触发信息采集设备对目标物进行图像数据采集；
步骤四、对采集到的图像数据进行数据预处理并获取目标物的三维数据信息；
步骤五、将步骤四获取到的三维数据信息输入所述识别网络模型中进行目标物相关信息的提取；所述相关信息包括位置信息、类别信息；所述识别网络模型包括输入层、采样层、卷积层、池化层、全连接层；其中，所述池化层紧跟于所述卷积层之后，并采用下采样的方式进一步对特征图进行压缩和冗余去除；
在池化层中通过在特征图中寻找最大值的方式对数据进行处理；
全连接层的激活函数采用Leaky Re Lu函数，所述Leaky Re Lu函数为非线性的非饱和函数，用于解决梯度消失的问题，同时能够反向传播错误并激活多个神经元；若输入值为负，将为所有负值分配一个非零的斜率；在分类完成后采用分类器结合阈值进行筛选，从而获取最终的结果；
步骤六、利用坐标转换模型对步骤五中提取到的位置信息进行转换；
其中，利用坐标转换模型对位置信息进行转换时，进一步包括信息采集设备位于智能化机器人机械臂的末端，以及相对于地面固定两种情况；
建立机械臂基坐标系、机械臂末端坐标系以及信息采集设备所在坐标系，针对信息采集设备所在坐标系Fd中的任意一点a(x,y,z)转换到机械臂末端坐标系Fm中的b(X,Y,Z)的满足表达式如下：
Figure QLYQS_1
或：
Figure QLYQS_2
因此坐标转换的矩阵为：
Figure QLYQS_3
式中，
Figure QLYQS_4
表示由信息采集设备所在坐标系Fd到机械臂基坐标系Fj的转换矩阵；/>
Figure QLYQS_5
表示由信息采集设备所在坐标系Fd到机械臂末端坐标系Fm的转换矩阵；/>
Figure QLYQS_6
表示由机械臂基坐标系Fj到机械臂末端坐标系Fm的转换矩阵；
当信息采集设备位于智能化机器人机械臂的末端时，由于信息采集设备的位置相对于工业机器人末端位置固定，根据坐标转换矩阵转换为对
Figure QLYQS_7
的标定；
所述
Figure QLYQS_8
表示由信息采集设备所在坐标系Fd到机械臂末端坐标系Fm的转换矩阵；
当信息采集设备与工业机器人独立安装，且相对于地面固定安装时，通过坐标转换矩阵，将其转换为对
Figure QLYQS_9
的标定；
所述
Figure QLYQS_10
表示由信息采集设备所在坐标系Fd到机械臂基坐标系Fj的转换矩阵；/>
步骤七、根据转换后的坐标生成抓取指令，并根据所述抓取指令完成抓取；抓取过程中，采用柔性贴合机械爪根据目标物给出的反向施加力，被动的适应目标物的形状，完成抓取；所述柔性贴合机械爪是根据鱼鳍向施加力方向弯曲的特性构建的仿生柔性贴合机械爪；
所述柔性贴合机械爪采用步进电机，并通过差分式驱动器进行驱动，所述驱动器采用单端共阴极线路接法，其中，驱动器的细分数为16，且有ENA+信号接口、ENA-信号接口、DIR+信号接口、DIR-信号接口、CLK+信号接口、CLK-信号接口、电源信号口、接地信号口和4个绕组连接线路；所述ENA+连接使能信号、CLK+连接控制脉冲信号、DIR+连接方向信号，ENA-信号接口、DIR-信号接口、CLK-信号接口共同连接在接地信号上，绕组连接线路与电机接口的AB相绕组正负端分别对应连接。
2.根据权利要求1所述的一种基于三维数据分析的机器人抓取方法，其特征在于，
对采集到的图像数据进行数据预处理时，采用加权平均值法对彩色图像进行灰度图像处理，并在灰度化后采用0或255的数值将灰度化的图像数据转化为黑白二值化图像数据；
其中灰度化的表达式为：
Gray＝wR*R+wG*G+wB*B
式中，Gray表示经过绘图处理后的图像数据，wR表示彩色图像中R分量的权值；wG表示彩色图像中G分量的权值；wB彩色图像中B分量的权值。
3.一种基于三维数据分析的机器人抓取系统，用于实现权利要求1-2任意一项所述的方法，其特征在于，具体包括：用于构建网络识别模型和坐标转换模型的第一模块，该模块被设置为构建识别网络模型和坐标转换模型，并将两者置入智能抓取机器人核心处理器中；
用于实现路径规划的第二模块，该模块被设置为根据作业需求制定智能化机器人的实际作业路线；
用于获取图像数据的第三模块，该模块被设置为根据接收到的触发信号完成实际工况中的图像数据采集；
用于提取图像数据信息的第四模块，该模块被设置为接收第三模块后采集到的图像数据，并进行数据预处理获取目标物的三维数据信息；
用于获取目标物相关信息的第五模块，该模块被设置为将第四模块中获取到的三维数据信息输入所述识别网络模型中进行目标物相关信息的提取；
用于生成智能化机器人可参考的坐标系坐标的第六模块，该模块被设置为利用坐标转换模型获取智能化机器人可识别参考的坐标，并生成抓取指令；
用于执行抓取行为的第七模块，该模块被设置为根据生成抓取指令完成抓取行为。
4.根据权利要求3所述的一种基于三维数据分析的机器人抓取系统，其特征在于，
所述第一模块构建完识别网络模型和坐标转换模型后，将其置入智能抓取机器人核心处理器中，并进一步对识别网络模型进行性能训练；在实际作业过程中，所述第二模块首先根据需求制定智能化机器人的行走路线，并在抵达目标物所在范围后产生第三模块的触发信号；所述第三模块接收第二模块产生的触发信号，调动信息采集设备对实际工况进行图像数据的采集，并将采集到的图像数据发送至第四模块中进行预处理后，进入第五模块进行三维数据信息的提取；所述第六模块根据获取到的信息，采用坐标转换模型进行位置坐标的转换，并生成对应的抓取指令；所述第七模块根据生成的抓取指令完成抓取。
CN202111003636.8A 2021-08-30 2021-08-30 一种基于三维数据分析的机器人抓取方法及系统 Active CN113681549B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111003636.8A CN113681549B (zh) 2021-08-30 2021-08-30 一种基于三维数据分析的机器人抓取方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111003636.8A CN113681549B (zh) 2021-08-30 2021-08-30 一种基于三维数据分析的机器人抓取方法及系统

Publications (2)

Publication Number Publication Date
CN113681549A CN113681549A (zh) 2021-11-23
CN113681549B true CN113681549B (zh) 2023-06-13

Family

ID=78583897

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111003636.8A Active CN113681549B (zh) 2021-08-30 2021-08-30 一种基于三维数据分析的机器人抓取方法及系统

Country Status (1)

Country Link
CN (1) CN113681549B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116214524B (zh) * 2023-05-08 2023-10-03 国网浙江省电力有限公司宁波供电公司 用于油样回收的无人机抓载方法、装置及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108182704A (zh) * 2016-12-08 2018-06-19 广州映博智能科技有限公司 基于形状上下文特征的定位方法
CN109927036A (zh) * 2019-04-08 2019-06-25 青岛小优智能科技有限公司 一种三维视觉引导机械手抓取的方法及系统
CN110480670A (zh) * 2019-08-29 2019-11-22 中国人民解放军国防科技大学 一种龙凤锦鲤尾鳍生物启发的仿生柔性爪装置
CN110948492B (zh) * 2019-12-23 2021-10-22 浙江大学 一种基于深度学习的三维抓取平台和抓取方法
CN111203880B (zh) * 2020-01-16 2022-12-06 上海交通大学 基于数据驱动的图像视觉伺服控制系统及方法
CN112232425B (zh) * 2020-10-21 2023-11-28 腾讯科技（深圳）有限公司 图像处理方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN113681549A (zh) 2021-11-23

Similar Documents

Publication Publication Date Title
CN110660104A (zh) 工业机器人视觉识别定位抓取方法、计算机装置以及计算机可读存储介质
CN109664300B (zh) 一种基于力觉学习的机器人多风格书法临摹方法
CN108247635B (zh) 一种深度视觉的机器人抓取物体的方法
CN111046948B (zh) 点云仿真和深度学习的工件位姿识别及机器人上料方法
EP2629939B1 (en) Method for the filtering of target object images in a robot system
CN109702738B (zh) 一种基于三维物体识别的机械臂手眼标定方法及装置
CN111695562B (zh) 一种基于卷积神经网络的机器人自主抓取方法
CN111523486B (zh) 一种基于改进CenterNet的机械臂抓取检测方法
CN111243017B (zh) 基于3d视觉的智能机器人抓取方法
CN110246127A (zh) 基于深度相机的工件识别与定位方法和系统、分拣系统
CN111723782A (zh) 基于深度学习的视觉机器人抓取方法及系统
CN105217324A (zh) 一种新型的拆垛方法和系统
CN111553949A (zh) 基于单帧rgb-d图像深度学习对不规则工件的定位抓取方法
CN113681549B (zh) 一种基于三维数据分析的机器人抓取方法及系统
Djajadi et al. A model vision of sorting system application using robotic manipulator
CN113269723A (zh) 三维视觉定位与机械手协同工作的零部件无序抓取系统
CN115861780B (zh) 一种基于yolo-ggcnn的机械臂检测抓取方法
CN112975957A (zh) 目标提取方法、系统、机器人及存储介质
CN113822946B (zh) 一种基于计算机视觉的机械臂抓取方法
CN115284279A (zh) 一种基于混叠工件的机械臂抓取方法、装置及可读介质
CN114998624A (zh) 图像查找方法和装置
CN115256377A (zh) 一种基于多源信息融合的机器人抓取方法和装置
CN212724028U (zh) 视觉机器人抓取系统
CN112233176A (zh) 一种基于标定物的目标位姿测量方法
CN114419451B (zh) 电梯内外识别方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant