CN114012722B - 一种基于深度学习和边缘检测的机械臂抓取目标方法 - Google Patents

一种基于深度学习和边缘检测的机械臂抓取目标方法 Download PDF

Info

Publication number
CN114012722B
CN114012722B CN202111281110.6A CN202111281110A CN114012722B CN 114012722 B CN114012722 B CN 114012722B CN 202111281110 A CN202111281110 A CN 202111281110A CN 114012722 B CN114012722 B CN 114012722B
Authority
CN
China
Prior art keywords
grabbing
information
target
angle
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111281110.6A
Other languages
English (en)
Other versions
CN114012722A (zh
Inventor
章张健
周迪斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Kede Software Circuit Board Co ltd
Original Assignee
Suzhou Kede Software Circuit Board Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Kede Software Circuit Board Co ltd filed Critical Suzhou Kede Software Circuit Board Co ltd
Priority to CN202111281110.6A priority Critical patent/CN114012722B/zh
Publication of CN114012722A publication Critical patent/CN114012722A/zh
Application granted granted Critical
Publication of CN114012722B publication Critical patent/CN114012722B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Abstract

本发明公开了一种基于深度学习和边缘检测的机械臂抓取目标方法，包括采集目标物品的颜色信息和深度信息，并进行融合，得到模型目标数据，对其进行标注抓取信息，并输入至深度网络模型中进行训练，以得到优化；将待抓取的目标物品的颜色信息和深度信息进行融合，并输入至优化后的深度网络模型，以得到初步的抓取信息；提取相关点云数据；提取目标边缘信息；在该投影角度范围内统计目标边缘信息的投影信息，以得到其各个投影角度相应的投影评估参数；将投影评估参数最大值对应的角度作为最佳抓取角度，并更新初步抓取信息中原先的抓取角度。本发明提供的机械臂抓取目标方法提高了目标抓取鲁棒性和准确性，抗干扰性强，适合不同的背景环境。

Description

一种基于深度学习和边缘检测的机械臂抓取目标方法
技术领域
本发明涉及计算机视觉识别领域，尤其涉及一种基于深度学习和边缘检测的机械臂抓取目标方法。
背景技术
物体抓取操作是机械臂的重要任务之一，它可以辅助人类在日常生活中完成一些活动，可以对工业生产环境中的零件进行加工移动。机械臂抓取常分为人工和自动化两类：传统人工抓取方法需要注意力高度集中，劳动强度大，工作效率低；而自动化抓取技术，采用计算机视觉技术实现目标的位姿检测，然后通过自动化控制系统实现目标自动抓取。传统视觉检测方法被广泛用户抓取目标的定位，但该方法仅适合抓取特定目标，对于一些异形、非规则物体的抓取准确率不够，同时在算法设计上较为复杂，研发周期长。
随着制造业不断往自动化和智能化方向发展，各个行业对机械臂抓取的准确性和鲁棒性的要求也越来越高了。若要精确完成这些操作，仅仅依靠精确的机械臂的位置控制是远远不够，更重要的是准确计算目标的抓取位姿。
位姿估计在机器视觉领域有着十分重要的地位，对场景中物体的位姿进行准确估计是实现机器人抓取等人机交互任务的关键先决条件。随着深度学习在图像视觉领域的深入发展，传统图像检测在位姿估计方面的劣势得到弥补，同时，卷积神经网络对于目标物体检测与位姿估计的优势逐渐凸显。将深度学习应用在物体抓取与位姿估计这一领域，可以有效避免过去传统算法采用手工设计特征以及对物体三维模型的依赖性与局限性，但同时，受限于深度学习的内部结构特性，很难精确描述目标物体位姿，急需进一步改进。
发明内容
为了克服现有技术存在的不足，本发明提供一种基于深度学习和边缘检测的机械臂抓取目标方法，用于克服传统视觉检测算法局限性以及直接使用深度学习方法获取物体抓取位置信息的不精确性，具体技术方案如下：
本发明提供了一种基于深度学习和边缘检测的机械臂抓取目标方法，包括以下步骤：
S1、采集不同种类的目标物品处于不同姿态时对应的颜色信息和深度信息，并将相应的颜色信息和深度信息融合，得到模型目标数据，以作为样本数据集；
S2、对所述模型目标数据进行标注抓取信息，并输入至深度网络模型中进行训练，以得到优化后的深度网络模型；
S3、将当前待抓取的目标物品的颜色信息和深度信息进行融合，并输入至优化后的深度网络模型，以得到初步抓取信息，所述抓取信息至少包括抓取的中心坐标和抓取角度；
S4、依据所述抓取信息和相应的深度信息，以提取相关点云数据；
S5、对所述点云数据进行滤波去噪，再提取目标边缘信息；
S6、依据初步抓取信息中的抓取角度，设定投影角度范围，在该投影角度范围内统计所述目标边缘信息的投影信息，以得到其各个投影角度相应的投影评估参数；
S7、将所述投影评估参数最大值对应的角度作为最佳抓取角度，并更新初步抓取信息中原先的抓取角度，机械臂依据新的抓取信息进行目标抓取。
进一步地，所述颜色信息和深度信息进行融合包括：将采集的深度信息和颜色信息进行配准，且将匹配的深度信息归一化至0-255之间，以得到RGB-D图像格式，作为模型目标数据。
进一步地，所述深度网络模型采用改进的Faster R-CNN深度网络，其内部特征提取采用ResNet-50网络，其激活函数使用Leaky_Relu函数。
进一步地，所述深度网络模型将所述抓取角度的范围分为若干个角度区间，利用深度学习训练，以先初步判断出最佳抓取角度所属的角度区间，将该角度区间的中间值作为初步的抓取角度。
优选地，所述深度网络模型判断最佳抓取角度所属的角度区间包括：
利用FPN进行多尺度提取目标特征，得到特征图；
将得到的所有特征图通过RPN进行候选框提取，以生成的ROI；
将生成的ROI通过ROI Align归一化为指定的大小，以对应到相应抓取的角度区间。
优选地，依据初步的抓取角度，记作θ1，设定投影角度范围为(θ1-Δθ，θ1+Δθ)，其中，Δθ表示角度偏差范围，将所述目标边缘信息中的边缘点集分别逆向旋转所述投影角度范围内的任意角度，然后向同一个方向投影，统计所述边缘点集在该方向不同区域上的投影点数量，以生成一维数组，取所述一维数组内部元素的平方和作为该方向的投影评估参数。
进一步地，所述深度网络模型利用深度学习识别出目标物品，并预测出边界框，从而结合初步的抓取角度，得到抓取宽度和抓取张开距离，以作为所述抓取信息的一部分。
优选地在步骤S7中，还包括结合所述最佳抓取角度，得到新的抓取宽度和抓取张开距离，并更新所述抓取信息中对应的数据。
进一步地，所述深度网络模型进行多尺度特征提取包括：
对所述模型目标数据对应的图像进行多次卷积操作，使其尺寸变小，并由自下而上的路径进行输送，在每次卷积操作的最后一层将所对应的数据进行输出；
在FPN中采用双线性插值的方法在自下而上的路径中进行二倍上采样，以合并特征图。
进一步地，在步骤S5中，采用非线性的双边滤波方法进行滤波去噪，采用Canny算子进行目标边缘信息的提取。
本发明具有下列优点：
a.提高了目标抓取的鲁棒性和准确性；
b.抗干扰性强，适合不同的背景环境。
附图说明
图1是本发明实施例提供的机械臂抓取目标方法的流程示意图；
图2是本发明实施例提供的机械臂抓取目标方法中抓取信息对应实物位置示意图；
图3是本发明实施例提供的机械臂抓取目标方法中深度网络模型的内部结构示意图；
图4是本发明实施例提供的机械臂抓取目标方法中提取的边缘信息图像显示示意图；
图5是本发明实施例提供的机械臂抓取目标方法中提取的区域边缘信息图像显示示意图；
图6是本发明实施例提供的机械臂抓取目标方法中提取的区域边缘信息图像旋转显示流程示意图；
图7是本发明实施例提供的机械臂抓取目标方法中显示轮廓信息在X方向的投影示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。
在本发明的一个实施例中，提供了一种基于深度学习和边缘检测的机械臂抓取目标方法，参见图1，包括以下步骤：
S1、采集不同种类的目标物品处于不同姿态时对应的颜色信息和深度信息，并将相应的颜色信息和深度信息融合，得到模型目标数据，以作为样本数据集；
S2、对所述模型目标数据进行标注抓取信息，并输入至深度网络模型中进行训练，以得到优化后的深度网络模型；
S3、将当前待抓取的目标物品的颜色信息和深度信息进行融合，并输入至优化后的深度网络模型，以得到初步抓取信息，所述抓取信息至少包括抓取的中心坐标和抓取角度；
S4、依据所述抓取信息和相应的深度信息，以提取相关点云数据；
S5、对所述点云数据进行滤波去噪，再提取目标边缘信息；
S6、依据初步抓取信息中的抓取角度，设定投影角度范围，在该投影角度范围内统计所述目标边缘信息的投影信息，以得到其各个投影角度相应的投影评估参数；
S7、将所述投影评估参数最大值对应的角度作为最佳抓取角度，并更新初步抓取信息中原先的抓取角度，机械臂依据新的抓取信息进行目标抓取。
具体地，在步骤S1中，本实施例使用工业深度相机采集不同种类的目标物品处于不同姿态时相应的颜色信息(RGB)和深度信息(Depth)，并依据相机硬件内在配准功能或预先校准的数据映射方法，将采集的深度信息(Depth)和颜色信息(RGB)进行配准，且将匹配的深度信息归一化至0-255之间，作为目标数据的第3通道，得到RGB-D图像格式，其中D通道代表深度信息。其中，深度值在归一化过程中，为了提高精度，可以预估目标物品的深度最大和最小值，利用公式(1)，以进行最佳归一化，公式(1)如下所示：
DL＝(int)(255×(Depth-dMin)/(dMax-dMin)) (1)
其中，dMax和dMin分别为相机传感器与目标物品的最大距离和最小距离，其与目标物品的外形、尺寸及放置的位置有关。
在步骤S2中，需要对深度网络模型进行训练，主要是针对归一化后的RGB-D数据进行迭代训练，以生成相应的深度网络模型，训练包括以下步骤：
S201、进行模型数据采集与扩充
训练所需的模型数据格式为RGB-D，通过目标物体在不同位姿的摆放，可以采集更多的数据样本，规模可以达到数千个。同时，可以更改光照条件和背景环境以采集更多种类的样本集。
另一方面，也可以通过数据变换来增加样本数据，例如，通过去噪、加噪、裁剪、旋转、平移和缩放等预处理操作对采集的目标图像数据集进行扩充，进一步扩大样本规模，以提高卷积神经网络模型的鲁棒性和准确性。
S202、进行模型数据标注
该模型需要标注有关的抓取信息，对样本数据集标注抓取信息，所述抓取信息包括抓取的中心坐标(x,y)、抓取角度θ、抓取宽度w和抓取张开距离h，如图2所示。
由于对称性，抓取角度限制在0-180°之间，由于深度网络在角度检测存在一些局限，因此，只能通过简单的角度划分来大致定位抓取角度，若按10°间隔归为一类，则所有抓取角度被划分成18个类别。此时，角度范围不存在重叠，若目标倾角处于分类的交界处，则计算可能很容易出现较大偏差。因此，优化的角度范围划分则采用相互重叠的区间划分，例如，[0,180°)的角度区间划分为：[0,10°)，[5,15°)，[10,20°)，…，[165,175°)，[170,180°)等交叉区间，以形成35个类别。其中，将该目标物品的质心位置转化后作为抓取点的中心坐标(x,y)，便于机械臂精确定位目标物体的抓取位置。
S203、进行深度网络训练
所述深度网络模型采用改进的Faster R-CNN深度网络，如图3所示，内部特征提取采用ResNet-50网络，激活函数使用Leaky_Relu函数，该模型中的卷积模块包括卷积、BN以及Leaky_Relu函数操作，图3中的F_M、P代表特征图，Convx表示ResNet-50的每一阶段中最后一个残差结构输出。具体计算时，深度网络先利用FPN(feature pyramid networks)进行多尺度提取目标特征，然后将得到的所有特征图通过区域生成网络RPN(Region ProposalNetwork)进行候选框提取，最后将生成的ROI通过ROI Align归一化为指定的大小。此时，可以实现对抓取角度的分类以及边界框的预测。
在多尺度特征提取方面，首先对输入图像进行多次卷积操作，其尺寸会越变越小，并由自下而上的路径进行输送，同时，参见图3，在每个阶段的最后一层将所对应的数据进行输出，即将ResNet-50的每个阶段的最后一个残差结构所对应的卷积conv2_x,conv3_x,conv4_x,conv5_x进行输出。为了方便表示，使用{Conv2，Conv3，Conv4，Conv5}表示输出的数据集。受限于内存，没有将conv1_x包含在输出数据集中。然后，在FPN中采用双线性插值的方法在自下而上的路径中进行二倍上采样，按此方法合并的特征图可用{F_M2，F_M3，F_M4，F_M5}来表示。通过改进网络对输入的样本数据集进行多次迭代训练，直至损失函数控制在设定值，保持此时训练好的深度网络模型。其中，网络训练过程中的评估采用一种准确度估计标准，将通过神经网络预测所得的目标值与模型值进行差值操作，若所得结果小于物体直径的10％，则判定该位姿估计是准确的，否则错误。
在步骤S3中，依据训练好的深度网络模型，对目标数据(RGB-D)进行深度检测，得到抓取信息F(x1,y1,w1,h1)和角度区间分组G(θi)。此时，可选择角度区间分组G(θi)的中间值θ1作为抓取角度的近似值，共同构成了抓取参数五维数组F1(x1,y1,w1,h1,θ1)。需要说明的是，由于抓取宽度和抓取张开距离在抓取角度上的投影长度与边界框相同，因而所述深度网络模型可以利用预测的边界框结合初步的抓取角度，以初步得到抓取宽度和抓取张开距离。
在步骤S4中，依据抓取信息F1和深度信息(Depth)，提取相关点云数据。其中，深度信息选择原始的深度值而非规格化的DL，主要是为了提高边缘计算的精度。
同时，考虑到深度网络模型的本质是一种概率计算，步骤3的模型检测可能存在一些偏差。因此，可以适当扩大w1和h1，例如扩大20％，增加数据统计的范围，便于后续校正抓取参数，此时，抓取的点云数据集为Depth(Region(x1,y1,ws,hs,θ1))，抓取的区域Region为倾斜矩形，抓取中心为(x1,y1)，倾角为θ1，拓展的抓取区域的宽高为(ws,hs)。其中，ws和hs的计算公式分别如下公式(2)和公式(3)所示，Zw和Zh可以设为120％，作为安全系数。
ws＝w1×Zw (2)
hs＝h1×Zh (3)
在步骤S5中，先对点云数据进行滤波去噪，然后再提取边缘信息。
其中，滤波去噪方法主要采用非线性的双边滤波方法，该方法能综合空域信息和深度信息，实现了保边去噪，同时，筛选掉孤立的噪声点，避免干扰。边缘信息提取主要采用Canny算子，此时提取的有效边缘点集为E(Depth)，参见图4，显示了提取的边缘信息，方框表示抓取区域，参见图5和图6，显示了提取的区域边缘信息。
在步骤S6中，依据抓取信息F1中倾角，在一定范围内统计边缘点集E(Depth)的投影信息Se(θ)，包括以下步骤：
S601、设定投影角度范围(θ1-Δθ,θ1+Δθ)及变化步长dθ，其中，Δθ表示角度偏差范围，可以设为10-15°，dθ是变换的步长，可以设置为0.5-1°。
S602、设定投影角度范围内任意角度θ，边缘点集逆向旋转θ，然后向X方向投影，统计在各个x值上的投影点数量，生成一维数组P(x)，参见图7，显示轮廓信息在X方向的投影示意图。需要说明的是投影的方向包括但不限于X方向。
S603、统计边缘信息在范围内的各个角度的投影评估参数Se(θ)，其计算方法如公式(4)，本质就是统计X方向投影值的平方和。
Se(θ)＝∑P(xi)×P(xi) (4)
在步骤S7中，依据计算的投影评估参数Se(θ)，选择其中最大值，将其对应的角度θ2作为最佳抓取角度，此时轮廓信息相对集中，与其边缘走向基本一致，适合抓取。
此时，再依据投影信息，计算其投影有效覆盖范围(xL,xR)，以其作为机械臂的弯爪张开距离的参照值，可以适当增加安全系数，确保弯爪不触碰到物体，如公式(5)所示，其中，Zh设置范围为1.2-2.0。
h2＝(xR-xL)×Zh (5)
依据上述新的参数来更新优化抓取参数，更新的抓取参数为F2(x1,y1,w1,h2,θ2)。
或者也可以利用边界框的宽高结合最佳抓取角度，以得到新的抓取宽度和抓取张开距离，取代现有抓取参数。
最后，抓取控制系统可以通过预先校正好的手眼坐标系，将抓取参数换算成机械臂的控制参数，实现对目标的精准抓取。
在本发明的一个本实施例中，首先利用工业深度相机采集目标的图像信息和深度信息；然后，采用改进的深度网络，使用残差网络ResNet-50作为特征提取模块，实现了抓取位置的初定位；接着，提取抓取区域附近的深度信息，并计算目标的轮廓信息；最后，统计轮廓投影信息，并分析出最佳抓取角度和适合的张开宽度，获取更新后的抓取位姿信息，从而实现目标的准确抓取。
本发明提供的基于深度学习和边缘检测的机械臂抓取目标方法融合了深度学习与传统视觉算法，利用各自的优势，可以较好的评估多种目标的抓取位姿，提高目标抓取鲁棒性和准确性。本方法既克服了传统视觉检测算法局限性，又避免采用单一深度学习方法而导致的计算结果不精确性。本方法改进了Faster R-CNN深度网络，使用残差网络ResNet-50作为特征提取模块，实现了抓取位置的初定位；然后，采用滤波、边缘提取和投影统计等方法，实现抓取参数的二次优化。总之，该算法抗干扰性强，适合不同的背景环境，同时，避免了描述各类不同物体的具体特征，算法鲁棒性和准确性较好。
以上所述仅为本发明的优选实施例，并非因此限制其专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种基于深度学习和边缘检测的机械臂抓取目标方法，其特征在于，包括以下步骤：
S1、采集不同种类的目标物品处于不同姿态时对应的颜色信息和深度信息，并将相应的颜色信息和深度信息融合，得到模型目标数据，以作为样本数据集；
S2、对所述模型目标数据进行标注抓取信息，并输入至深度网络模型中进行训练，以得到优化后的深度网络模型；
S3、将当前待抓取的目标物品的颜色信息和深度信息进行融合，并输入至优化后的深度网络模型，以得到初步抓取信息，所述抓取信息至少包括抓取的中心坐标和抓取角度；
S4、依据所述抓取信息和相应的深度信息，以提取相关点云数据；
S5、对所述点云数据进行滤波去噪，再提取目标边缘信息；
S6、依据初步抓取信息中的抓取角度，设定投影角度范围，在该投影角度范围内统计所述目标边缘信息的投影信息，以得到其各个投影角度相应的投影评估参数；其中，将所述目标边缘信息中的边缘点集分别逆向旋转所述投影角度范围内的任意角度，然后向同一个方向投影，统计所述边缘点集在该方向不同区域上的投影点数量，以生成一维数组，取所述一维数组内部元素的平方和作为该方向的投影评估参数；
S7、将所述投影评估参数最大值对应的角度作为最佳抓取角度，并更新初步抓取信息中原先的抓取角度，机械臂依据新的抓取信息进行目标抓取。
2.根据权利要求1所述的基于深度学习和边缘检测的机械臂抓取目标方法，其特征在于，所述颜色信息和深度信息进行融合包括：将采集的深度信息和颜色信息进行配准，且将匹配的深度信息归一化至0-255之间，以得到RGB-D图像格式，作为模型目标数据。
3.根据权利要求1所述的基于深度学习和边缘检测的机械臂抓取目标方法，其特征在于，所述深度网络模型采用改进的Faster R-CNN深度网络，其内部特征提取采用ResNet-50网络，其激活函数使用Leaky_Relu函数。
4.根据权利要求2所述的基于深度学习和边缘检测的机械臂抓取目标方法，其特征在于，所述深度网络模型将所述抓取角度的范围分为若干个角度区间，利用深度学习训练，以先初步判断出最佳抓取角度所属的角度区间，将该角度区间的中间值作为初步的抓取角度。
5.根据权利要求4所述的基于深度学习和边缘检测的机械臂抓取目标方法，其特征在于，所述深度网络模型判断最佳抓取角度所属的角度区间包括：
利用FPN进行多尺度提取目标特征，得到特征图；
将得到的所有特征图通过RPN进行候选框提取，以生成ROI；
将生成的ROI通过ROI Align归一化为指定的大小，以对应到相应抓取的角度区间。
6.根据权利要求1所述的基于深度学习和边缘检测的机械臂抓取目标方法，其特征在于，所述深度网络模型利用深度学习识别出目标物品，并预测出边界框，从而结合初步的抓取角度，得到抓取宽度和抓取张开距离，以作为所述抓取信息的一部分。
7.根据权利要求6所述的基于深度学习和边缘检测的机械臂抓取目标方法，其特征在于，在步骤S7中，还包括结合所述最佳抓取角度，得到新的抓取宽度和抓取张开距离，并更新所述抓取信息中对应的数据。
8.根据权利要求5所述的基于深度学习和边缘检测的机械臂抓取目标方法，其特征在于，所述深度网络模型进行多尺度特征提取包括：
对所述模型目标数据对应的图像进行多次卷积操作，使其尺寸变小，并由自下而上的路径进行输送，在每次卷积操作的最后一层将所对应的数据进行输出；
在FPN中采用双线性插值的方法在自下而上的路径中进行二倍上采样，以合并特征图。
9.根据权利要求1所述的基于深度学习和边缘检测的机械臂抓取目标方法，其特征在于，在步骤S5中，采用非线性的双边滤波方法进行滤波去噪，采用Canny算子进行目标边缘信息的提取。
CN202111281110.6A 2021-11-01 2021-11-01 一种基于深度学习和边缘检测的机械臂抓取目标方法 Active CN114012722B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111281110.6A CN114012722B (zh) 2021-11-01 2021-11-01 一种基于深度学习和边缘检测的机械臂抓取目标方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111281110.6A CN114012722B (zh) 2021-11-01 2021-11-01 一种基于深度学习和边缘检测的机械臂抓取目标方法

Publications (2)

Publication Number Publication Date
CN114012722A CN114012722A (zh) 2022-02-08
CN114012722B true CN114012722B (zh) 2023-05-30

Family

ID=80059383

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111281110.6A Active CN114012722B (zh) 2021-11-01 2021-11-01 一种基于深度学习和边缘检测的机械臂抓取目标方法

Country Status (1)

Country Link
CN (1) CN114012722B (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017151926A1 (en) * 2016-03-03 2017-09-08 Google Inc. Deep machine learning methods and apparatus for robotic grasping
CN110014426B (zh) * 2019-03-21 2020-10-02 同济大学 一种利用低精度深度相机高精度抓取形状对称工件的方法
CN111079561B (zh) * 2019-11-26 2023-05-26 华南理工大学 一种基于虚拟训练的机器人智能抓取方法
CN112906797B (zh) * 2021-02-25 2024-01-12 华北电力大学 一种基于计算机视觉和深度学习的平面抓取检测方法
CN112884825B (zh) * 2021-03-19 2022-11-04 清华大学 基于深度学习模型的抓取方法及装置

Also Published As

Publication number Publication date
CN114012722A (zh) 2022-02-08

Similar Documents

Publication Publication Date Title
CN110580723B (zh) 一种利用深度学习和计算机视觉进行精准定位的方法
Choi et al. RGB-D edge detection and edge-based registration
CN108062525B (zh) 一种基于手部区域预测的深度学习手部检测方法
CN102289676B (zh) 基于红外检测的变电站刀闸模式识别方法
CN111553949B (zh) 基于单帧rgb-d图像深度学习对不规则工件的定位抓取方法
Azad et al. Stereo-based 6d object localization for grasping with humanoid robot systems
JP2009169934A (ja) 可変形オブジェクト認識のためのシステムおよび方法
CN103903013A (zh) 一种无标记平面物体识别的优化算法
CN111008576B (zh) 行人检测及其模型训练、更新方法、设备及可读存储介质
CN102704215A (zh) 基于dst文件解析与机器视觉结合的绣布自动切割方法
CN114155610B (zh) 基于上半身姿态估计的面板装配关键动作识别方法
CN107958443A (zh) 一种基于脊线特征和tps形变模型的指纹图像拼接方法
Cuevas-Velasquez et al. Segmentation and 3D reconstruction of rose plants from stereoscopic images
CN111950440A (zh) 一种识别与定位门的方法、装置及存储介质
JP4003465B2 (ja) 特定パターン認識方法、特定パターン認識プログラム、特定パターン認識プログラム記録媒体および特定パターン認識装置
CN112634365A (zh) 一种微结构特征的位姿高精度跟踪与检测方法
CN113021355B (zh) 一种用于预测遮挡农作物摘取点的农业机器人作业方法
CN105224941A (zh) 对象辨识与定位方法
JP5769559B2 (ja) 画像処理装置、画像処理プログラム、ロボット装置及び画像処理方法
CN114012722B (zh) 一种基于深度学习和边缘检测的机械臂抓取目标方法
CN113538620A (zh) 一种面向二维栅格地图的slam建图结果评价方法
CN115861780B (zh) 一种基于yolo-ggcnn的机械臂检测抓取方法
CN108985294B (zh) 一种轮胎模具图片的定位方法、装置、设备及存储介质
JPH0793545A (ja) 画像処理装置
CN115830359A (zh) 复杂场景下基于目标检测和模板匹配的工件识别计数方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20220208

Assignee: Suzhou Jiacai Electronics Co.,Ltd.

Assignor: Suzhou Kede Software Circuit Board Co.,Ltd.

Contract record no.: X2023990000626

Denomination of invention: A Method for Robot Arm Grasping Objects Based on Deep Learning and Edge Detection

Granted publication date: 20230530

License type: Common License

Record date: 20230630

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20220208

Assignee: Suzhou Jiacai Electronics Co.,Ltd.

Assignor: Suzhou Kede Software Circuit Board Co.,Ltd.

Contract record no.: X2023990000667

Denomination of invention: A Method for Robot Arm Grasping Objects Based on Deep Learning and Edge Detection

Granted publication date: 20230530

License type: Common License

Record date: 20230630