CN113744333A - 一种物体抓取位置获取方法及装置 - Google Patents

一种物体抓取位置获取方法及装置 Download PDF

Info

Publication number
CN113744333A
CN113744333A CN202110960739.7A CN202110960739A CN113744333A CN 113744333 A CN113744333 A CN 113744333A CN 202110960739 A CN202110960739 A CN 202110960739A CN 113744333 A CN113744333 A CN 113744333A
Authority
CN
China
Prior art keywords
candidate
prediction model
target
grabbing
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110960739.7A
Other languages
English (en)
Other versions
CN113744333B (zh
Inventor
赖李媛君
陈泽霖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202110960739.7A priority Critical patent/CN113744333B/zh
Publication of CN113744333A publication Critical patent/CN113744333A/zh
Application granted granted Critical
Publication of CN113744333B publication Critical patent/CN113744333B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

本发明实施例公开了一种物体抓取位置获取方法及装置。所述方法包括：获取目标物体对应的目标图像；基于sobel算子对所述目标图像进行处理，得到所述目标物体上的候选抓取位置集合；将所述目标图像和所述候选抓取位置集合输入至抓取位置预测模型；基于所述抓取位置预测模型对所述目标图像和所述候选抓取位置集合进行处理，得到所述目标物体对应的目标抓取位置。本发明实施例可以提高物体抓取位置的检测精度。

Description

一种物体抓取位置获取方法及装置
技术领域
本发明涉及抓取位置预测技术领域，特别是一种物体抓取位置获取方法及装置。
背景技术
随着工业需求的增长，工业机器人需要在不同的工业环境下进行有弹性的操作。智能抓取是智能工业机器人最基本的操作。通常，机器人抓取的目的是稳定地抓握住目标物体，但对于既定的任务，机器人抓取的目的就变为了抓取最适合于该任务后续操作的最优抓取位置。例如，对于插入螺栓的任务来说，最优抓取位置在螺栓头上，而最稳定的抓取位置则位于其几何中心附近(螺杆)。对于同一个目标物体来说，不同任务可能会导致最优抓取位置的不同，对于螺栓这一物体来说，如果想要将螺栓直立放置，则最优抓取位置位于螺杆中心处。
目前，机器人抓取预测的主要方法包括几何分析的方法和数据驱动的方法。几何分析的方法基于物体三维模型进行几何和力学特性分析，估计出稳定性最高的抓取位置。然而在复杂的工业环境下，物体的三维模型并不总是已知的，这给几何分析的方法带来了极大的局限性。数据驱动的方法基于计算机视觉和深度学习技术，通过对图像、点云等训练样本进行学习，获得具有鲁棒性的抓取模型。
现有的数据驱动的方法对训练数据的依赖性较强，且需要大量的训练时间，对于工业环境下新的需求来说，采集和标注大量的训练数据并不是一个非常经济的策略。部分研究人员采用在仿真环境下进行自监督训练的策略以避免人工标注数据，但对于实际的工业环境来说，自监督训练需要复杂的设定(比如是否完成了定制化抓取任务的判定等等)，且自监督训练同样需要大量的试错训练，无法满足工业环境下对于抓取检测模型快速训练和部署的要求。
发明内容
本发明解决的技术问题是：克服现有技术的不足，提供了一种物体抓取位置获取方法及装置。
本发明的技术解决方案是：
第一方面，本发明实施例提供了一种物体抓取位置获取方法，所述方法包括以下步骤：
获取目标物体对应的目标图像；
基于sobel算子对所述目标图像进行处理，得到所述目标物体上的候选抓取位置集合；
将所述目标图像和所述候选抓取位置集合输入至抓取位置预测模型；
基于所述抓取位置预测模型对所述目标图像和所述候选抓取位置集合进行处理，得到所述目标物体对应的目标抓取位置。
可选地，所述基于sobel算子对所述目标图像进行处理，得到所述目标物体上的候选抓取位置集合，包括：
基于所述sobel算子对所述目标图像进行处理，得到所述目标图像在水平方向上的第一梯度矩阵，及在竖直方向上的第二梯度矩阵；
对所述第一梯度矩阵和所述第二梯度矩阵进行池化处理，分别生成对应的第一池化梯度矩阵和第二池化梯度矩阵；
基于所述第一梯度矩阵和所述第二梯度矩阵，获取所述目标物体上的多个候选抓取点对；
基于所述候选抓取点对，形成所述候选抓取位置集合。
可选地，在所述获取目标物体对应的目标图像之前，还包括：
获取模型训练样本；所述模型训练样本包括标签样本图像和无标签样本图像；
基于所述标签样本图像对初始抓取位置预测模型进行预训练，得到训练后的抓取位置预测模型；
基于所述标签样本图像和所述无标签样本图像对所述训练后的抓取位置预测模型进行再次训练，得到所述抓取位置预测模型。
可选地，所述基于所述标签样本图像和所述无标签样本图像对所述训练后的抓取位置预测模型进行再次训练，得到所述抓取位置预测模型，包括：
基于所述sobel算子对所述标签样本图像和所述无标签样本图像进行处理，获取所述标签样本图像对应的第一候选抓取位置集合，及所述无标签样本图像对应的第二候选抓取位置集合；
基于所述标签样本图像、所述无标签样本图像、所述第一候选抓取位置集合和所述第二候选抓取位置集合输入对所述训练后的抓取位置预测模型进行模型训练，得到所述抓取位置预测模型。
可选地，所述基于所述抓取位置预测模型对所述目标图像和所述候选抓取位置集合进行处理，得到所述目标物体对应的目标抓取位置，包括：
将所述目标图像和所述候选抓取位置集合输入至所述抓取位置预测模型；
基于所述抓取位置预测模型的特征提取模块根据所述候选抓取位置集合提取所述目标图像上的局部特征块、区域特征块和全局特征块；
对所述局部特征块、所述区域特征块和所述全局特征块进行融合处理，生成融合特征块；
基于全连接层和softmax层对所述融合特征块进行处理，得到所述目标物体对应的目标抓取位置。
本发明实施例提供了一种物体抓取位置获取装置，所述装置包括以下模块：
目标图像获取模块，用于获取目标物体对应的目标图像；
抓取位置集合获取模块，用于基于sobel算子对所述目标图像进行处理，得到所述目标物体上的候选抓取位置集合；
目标图像输入模块，用于将所述目标图像和所述候选抓取位置集合输入至抓取位置预测模型；
目标抓取位置获取模块，用于基于所述抓取位置预测模型对所述目标图像和所述候选抓取位置集合进行处理，得到所述目标物体对应的目标抓取位置。
可选地，所述抓取位置集合获取模块包括：
梯度矩阵获取单元，用于基于所述sobel算子对所述目标图像进行处理，得到所述目标图像在水平方向上的第一梯度矩阵，及在竖直方向上的第二梯度矩阵；
池化梯度矩阵生成单元，用于对所述第一梯度矩阵和所述第二梯度矩阵进行池化处理，分别生成对应的第一池化梯度矩阵和第二池化梯度矩阵；
候选抓取点对获取单元，用于基于所述第一梯度矩阵和所述第二梯度矩阵，获取所述目标物体上的多个候选抓取点对；
候选位置集合形成单元，用于基于所述候选抓取点对，形成所述候选抓取位置集合。
可选地，所述装置还包括：
模型训练样本获取模块，用于获取模型训练样本；所述模型训练样本包括标签样本图像和无标签样本图像；
训练预测模型获取模块，用于基于所述标签样本图像对初始抓取位置预测模型进行预训练，得到训练后的抓取位置预测模型；
位置预测模型获取模块，用于基于所述标签样本图像和所述无标签样本图像对所述训练后的抓取位置预测模型进行再次训练，得到所述抓取位置预测模型。
可选地，所述位置预测模型获取模块包括：
候选位置集合获取单元，用于基于所述sobel算子对所述标签样本图像和所述无标签样本图像进行处理，获取所述标签样本图像对应的第一候选抓取位置集合，及所述无标签样本图像对应的第二候选抓取位置集合；
抓取位置预测模型获取单元，用于基于所述标签样本图像、所述无标签样本图像、所述第一候选抓取位置集合和所述第二候选抓取位置集合输入对所述训练后的抓取位置预测模型进行模型训练，得到所述抓取位置预测模型。
可选地，所述目标抓取位置获取模块包括：
目标图像输入单元，用于将所述目标图像和所述候选抓取位置集合输入至所述抓取位置预测模型；
特征块提取单元，用于基于所述抓取位置预测模型的特征提取模块根据所述候选抓取位置集合提取所述目标图像上的局部特征块、区域特征块和全局特征块；
融合特征块生成单元，用于对所述局部特征块、所述区域特征块和所述全局特征块进行融合处理，生成融合特征块；
目标抓取位置获取单元，用于基于全连接层和softmax层对所述融合特征块进行处理，得到所述目标物体对应的目标抓取位置。
本发明与现有技术相比的优点在于：
本发明实施例为了实现类别层次的定制化抓取预测模型，提出一种基于区域的机器人快速定制化抓取检测方法。该方法可看作一个两阶段的预测问题。在第一个阶段，一个基于sobel算子的候选抓取点生成策略对输入的深度图像生成候选的抓取位置，这一步骤的目的是生成任务无关的候选抓取位置。第二个阶段建立在第一阶段生成候选抓取位置的基础上，该方法构建了一个基于Fast-RCNN的卷积神经网络用于图像特征提取，并利用局部-区域-全局特征融合策略将提取到的特征进行融合处理，最终输出候选抓取位置是否是任务相关的定制化抓取位置的概率。该方法还采用了一种基于一致性自训练的半监督学习方法对卷积神经网络进行训练，利用无标签数据提升模型的鲁棒性，降低训练过程中对于标签数据的依赖，提高定制化抓取预测模型的训练和部署速度。
附图说明
图1为本发明实施例提供的一种物体抓取位置获取方法的步骤流程图；
图2为本发明实施例提供的一种点对表示抓取位置的示意图；
图3为本发明实施例提供的一种基于sobel算子的候选抓取位置生成策略的示意图；
图4为本发明实施例提供的一种局部-区域-全局特征选择的示意图；
图5为本发明实施例提供的一种物体抓取位置获取装置的结构示意图。
具体实施方式
在实际应用场景中，对于同类物体来说，定制化抓取检测的不确定性来自于物体的形状、大小、空间位置和姿态等，而物体的整体形状和对应于不同任务的抓取点是相似的。所以利用同类的物体下采集到的数据进行训练，可以将定制化抓取的特征泛化到同类型的所有物体中，以此得到具有一定鲁棒性的定制化抓取点预测模型，本发明中称之为“类别层次的定制化抓取预测模型”。
为了实现类别层次的定制化抓取预测模型，现提出一种基于区域的机器人快速定制化抓取检测方法。该方法可看作一个两阶段的预测问题。在第一个阶段，一个基于sobel算子的候选抓取点生成策略对输入的深度图像生成候选的抓取位置，这一步骤的目的是生成任务无关的候选抓取位置。第二个阶段建立在第一阶段生成候选抓取位置的基础上，该方法构建了一个基于Fast-RCNN的卷积神经网络用于图像特征提取，并利用局部-区域-全局特征融合策略将提取到的特征进行融合处理，最终输出候选抓取位置是否是任务相关的定制化抓取位置的概率。
接下来结合附图对本发明实施例提供的方案进行如下详细描述。
实施例一
参照图1，示出了本发明实施例提供的一种物体抓取位置获取方法的步骤流程图，如图1所示，该物体抓取位置获取方法可以包括如下步骤：
步骤101：获取目标物体对应的目标图像。
本发明实施例可以应用于精确获取目标物体的抓取位置的场景中。
目标物体是指需要进行抓取位置检测的物体，在本示例中，目标物体可以为螺栓、螺钉等物体，具体地，对于目标物体的具体类型可以根据业务需求而定，本实施例对此不加以限制。
目标图像是指对目标物体进行拍摄得到的图像，在本示例中，目标图像需要包含完整的目标物体。
在需要检测目标物体的抓取位置时，可以对目标物体进行图像拍摄，以得到目标物体对应的目标图像，该目标图像为深度图像。
在获取到目标物体对应的目标图像之后，执行步骤102。
步骤102：基于sobel算子对所述目标图像进行处理，得到所述目标物体上的候选抓取位置集合。
本发明实施例是针对携带二指夹爪的机器人的抓取问题所设计，这类机器人的抓取位置可以由两个接触点的位置来表征。为了简化设计，本发明仅考虑接触点的二维位置坐标，以“点对”的形式在图像上表示抓取位置，如图2所示。其中，G＝(x1,y1,x2,y2)表示抓取点对，(x1,y1)和(x2,y2)分别代表二指夹爪与物体的接触点在图像中的坐标。
为了对特定任务预测定制化抓取位置，首先需要生成任务无关的候选抓取位置，这些抓取位置代表了对于该物体可能抓取成功的位置。生成候选抓取位置的策略需要满足三方面的要求。首先，该策略应该最大化候选抓取点被成功抓取的可能性，保证候选抓取点的质量；其次，所生成的候选抓取位置集合应该尽可能覆盖目标物体所有潜在的抓取位置；最后，所生成候选抓取位置的数量不宜过多，以减少后续抓取位置预测的计算量。
本发明设计的基于sobel算子的候选抓取位置生成策略以深度图像作为输入，输出候选抓取位置的点对集合。该策略包含候选点对生成和精炼两个部分。
基于sobel算子的候选抓取位置生成策略可以如图3所示，在侯选位置生成部分，本发明采用sobel算子对深度图进行处理，得到了图像在水平方向的梯度矩阵gradx和竖直方向上的梯度矩阵grady(gradx[i,j]和grady[i,j]表示像素点(i,j)在水平方向和竖直方向上的梯度)。通过下列公式计算每个像素点的梯度数值
Figure BDA0003222239260000071
将得到的梯度数值进行过滤，将其中梯度值较小的数值置零，最终得到图像中梯度显著的部分，这部分作为潜在抓取位置的可能性要更大。
由于sobel算子计算的结果主要由像素点周围局部区域的像素值大小所决定，计算得到的结果在局部范围内波动较大。故采用均值池化的方法对得到的梯度矩阵gradx和grady进行平滑处理，这个过程是用一个n×n的窗口在梯度矩阵gradx和grady上进行滑动，通过下列公式计算每个窗口内的均值，得到池化后的梯度矩阵
Figure BDA0003222239260000081
和
Figure BDA0003222239260000082
Figure BDA0003222239260000083
Figure BDA0003222239260000084
其中，gradx[i:i+n][j:j+n]就是滑动窗口截取到的矩阵，N表示gradx[i:i+n][j:j+n]矩阵中不为零的元素个数。
均值池化有两方面的作用，一方面，均值池化通过对像素点附近区域内的梯度值求均值，这一操作可以让梯度矩阵更加的平滑；另一方面，均值池化将原梯度矩阵进行了n倍的降采样，能够降低后续计算的复杂度。
池化后的梯度矩阵
Figure BDA0003222239260000085
和
Figure BDA0003222239260000086
被用于生成候选抓取点对。与之前类似，首先对
Figure BDA0003222239260000087
和
Figure BDA0003222239260000088
中的梯度数值进行过滤，将其中梯度值较小的数值置零。对于
Figure BDA0003222239260000089
和
Figure BDA00032222392600000810
中任意的两个像素点p1,p2(p1≠p2)，其梯度向量分别表示为
Figure BDA00032222392600000811
和
Figure BDA00032222392600000812
如果
Figure BDA00032222392600000813
则将点对(p1,p2)加入候选集合中，其中θ表示两个向量之间的夹角。
候选位置精炼部分基于两种评价指标从候选集合中筛选出质量较高的抓取点对。距离指标限制两个接触点的距离，如果距离小于阈值d，则认为可以被二指夹爪抓取成功，表示如下，
Figure BDA00032222392600000814
其中||p1,p2||表示p1,p2在图像中的欧式距离。
梯度方向指标限制两个接触点位置的梯度方向，表示如下
Figure BDA0003222239260000091
最终点对(p1,p2)的评价分数表示为如下公式
M＝Mdist+γMgrad (2.7)
其中γ为权重系数，这里设置为1。
在候选集合中选出评价分数最高的k个点对进行非极大值抑制(Non-MaximumSupression，NMS)处理。即对于两个位置相互临近的点对，剔除掉分数较低的一个，保留分数较高的一个，以此提高候选集合中点对的空间位置分散性。处理之后即可获得候选抓取位置集合。由于引入的评价距离指标和梯度方向指标，所获得的候选点对二指夹爪的抓取更为合理；采用的均值池化和非极大值抑制使得候选点对均匀分布在物体的轮廓上，同时降低生成候选点对的数量，减少后续抓取位置预测的计算量。
在基于sobel算子对目标图像进行处理得到目标物体上的候选抓取位置集合之后，执行步骤103。
步骤103：将所述目标图像和所述候选抓取位置集合输入至抓取位置预测模型。
为了从候选抓取位置集合中找到最适合于完成指定任务的抓取位置，本发明基于Fast-RCNN构建了定制化抓取位置预测模型。该模型以深度图像和候选抓取位置为输入，输出该抓取位置对于特定任务的抓取成功概率，也就是将抓取位置预测问题当作一个二分类问题。
定制化抓取位置预测模型采用resnet-18模型进行特征提取。采用了Fast-RCNN中的ROI池化对resnet-18的输出进行改造以适应不同的图像输入尺寸。在ROI池化层后接入全连接层和softmax层来获得定制化抓取成功和失败的概率。
为了优化特征提取的过程，本发明采用了局部-区域-全局特征融合策略将提取到的特征进行融合处理。对于一张输入的深度图像和候选的抓取点对，模型以并行的方式提取三个不同层次的特征，分别是两个接触点附近的局部特征、包含两个抓取点在内的区域特征以及图像的全局特征，三种特征如图4所示：模型提取到的特征图和图像本身具有位置对应的关系，特征图上的数值表征了图像中对应位置的特征要素，所以可以直接在特征图进行区域的截取，以获取不同位置、不同尺度的信息。
首先在特征图上截取接触点p1周围的局部特征块Floc1，截取接触点p2周围的局部特征块Floc2；再截取同时包含Floc1和Floc2的最小特征块Fregion(区域特征块)，最后将整个特征图作为全局特征块Fglobal。对三种不同尺度的特征块进行ROI池化以获得统一的尺寸，并将处理后的特征块进行拼接，以融合局部-区域-全局特征。最后的融合特征被输入到全连接层和softmax层进行二分类预测。
对于模型训练过程可以参照下述具体实现方式的描述。
在本发明的一种具体实现方式中，在上述步骤101之前，还可以包括：
步骤S1：获取模型训练样本；所述模型训练样本包括标签样本图像和无标签样本图像；
步骤S2：基于所述标签样本图像对初始抓取位置预测模型进行预训练，得到训练后的抓取位置预测模型；
步骤S3：基于所述标签样本图像和所述无标签样本图像对所述训练后的抓取位置预测模型进行再次训练，得到所述抓取位置预测模型。
在本发明实施例中，本发明采用了基于一致性自训练的策略对定制化抓取预测模型的训练过程进行了优化。训练策略包含了辅助回归模型的训练和定制化抓取位置预测模型的训练。
第一阶段是辅助回归模型的训练阶段，该模型在有标签数据上进行训练，用于对无标签数据生成伪标签，以扩充训练样本的数量，达到提升模型性能的作用。
辅助回归模型以深度图像和候选抓取位置集合作为输入，输出每一个候选抓取位置与合理的定制化抓取点之间的位置偏移量Aloc和方向的偏移量Arot。在训练过程中，对于给定的候选抓取位置{(x1,y1),(x2,y2)}和真实的定制化抓取位置{(xgt1,ygt1),(xgt2,ygt2)}，位置偏移量描述了候选抓取位置到真实抓取位置之间的距离，如公式所示，
Figure BDA0003222239260000111
其中himg和wimg分别表示输入图像的高和宽
方向偏移量衡量候选抓取位置到真实抓取位置之间方向差异的大小，如公式所示，
Drot＝|sin{α,αgt}| (2.9)
其中α表示候选抓取位置的方向向量
Figure BDA0003222239260000112
αgt表示候选抓取位置的方向向量
Figure BDA0003222239260000113
本发明使用有标签的数据训练辅助回归模型，首先通过候选抓取位置生成策略对每张输入图片生成Ncnd个候选抓取位置。利用图像、候选抓取位置和真实抓取位置进行模型训练，以优化回归损失函数，如公式所示
Figure BDA0003222239260000114
其中Ns是训练图像的数量；Aloc，Arot是辅助回归模型输出的位置和方向偏移量；Dloc，Drot是通过公式计算出来的位置和方向偏移量；L1表示smooth L1损失函数。
对于给定的无标签图像，首先通过候选抓取点生成策略生成潜在的候选抓取位置，再通过训练好的辅助回归模型为每个候选抓取位置ci预测位置偏移量
Figure BDA0003222239260000115
和方向偏移量
Figure BDA0003222239260000116
通过下面的公式选择差异最小的候选抓取位置作为真实的抓取位置，也即伪标签
pseudo_label＝Coptimal (2.11)
Figure BDA0003222239260000121
训练的第二阶段是定制化抓取位置预测模型的训练，这一阶段利用有标签和无标签数据进行联合训练。与辅助回归模型训练过程类似，首先通过候选抓取位置生成策略对每张输入图片生成Ncnd个候选抓取位置，并根据下列公式对于每个候选抓取位置生成二值化分类标签
Figure BDA0003222239260000122
其中Dloc和Drot分别为通过公式计算得到的位置和转角偏移量；dloc是预设的位置偏移量阈值，drot是预设的方向偏移量阈值；L表示分类标签，1代表定制化抓取成功，要求位置和方向偏移量均小于一定的阈值，0代表定制化抓取失败，此时位置或者方向偏移量其中之一超出了预设的阈值，故认定为定制化抓取失败。
在训练过程中，本方法基于一致性正则化对无标签数据集中的图像数据和相应的伪标签进行了数据增强，包括图像旋转，图像等比例放缩以及水平、垂直伸缩这四种。
最终，利用有标签的数据和进行过数据增强的无标签数据训练抓取位置预测模型，以优化如下式所示的损失函数，
l＝ls+μlu (2.13)
其中μ用于平衡有标签数据的监督训练和无标签数据的半监督训练损失函数，ls和lu分别表示有标签数据集的损失函数和无标签数据集的损失函数，通过下列公式进行计算，
Figure BDA0003222239260000123
Figure BDA0003222239260000124
式中的Ns，Nu分别表示有标签数据和无标签数据的数量；Ncnd表示对每张图片生成候选抓取位置的数量；Lcls表示分类的交叉熵损失函数；对第i张图像的第j个候选抓取位置，p(i,j)表示模型输出的预测值；q(i,j)表示真实的分类标签。
在将目标图像和候选抓取位置集合输入至抓取位置预测模型之后，执行步骤104。
步骤104：基于所述抓取位置预测模型对所述目标图像和所述候选抓取位置集合进行处理，得到所述目标物体对应的目标抓取位置。
通过抓取位置预测模型对目标图像和候选抓取位置集合进行处理，可以得到目标物体对应的目标抓取位置。
为了赋予智能机器人在工业环境下高质量的定制化抓取能力，本发明设计了一两阶段的定制化抓取检测方法，针对一类特定的目标物体和特定的任务预测任务相关的定制化抓取位置。所设计的候选抓取点生成策略能够生成均匀分布在物体轮廓上的高质量的候选抓取位置，定制化抓取位置预测模型能够对候选抓取位置预测定制化抓取的鲁棒性，得益于以上两点设计，本方法具有较高的检测精度。
在候选抓取点生成策略中使用的均值池化和非极大值抑制操作降低了后续计算的复杂度，使得本方法具有较高的运行速度，能够在GPU上满足实时运行的要求。
基于一致性自训练的策略在有监督训练的基础上利用无标签数据进一步提升定制化抓取位置预测模型的性能，提高了模型对于未见过的同种目标物体具备了更好的泛化能力；同时，这种训练策略降低了训练过程中对有标签数据数量的要求，满足了工业环境下模型的快速训练和部署的需要。
实施例二
参照图5，示出了本发明实施例提供的一种物体抓取位置获取装置的结构示意图，如图5所示，该物体抓取位置获取装置可以包括如下模块：
目标图像获取模块510，用于获取目标物体对应的目标图像；
抓取位置集合获取模块520，用于基于sobel算子对所述目标图像进行处理，得到所述目标物体上的候选抓取位置集合；
目标图像输入模块530，用于将所述目标图像和所述候选抓取位置集合输入至抓取位置预测模型；
目标抓取位置获取模块540，用于基于所述抓取位置预测模型对所述目标图像和所述候选抓取位置集合进行处理，得到所述目标物体对应的目标抓取位置。
可选地，所述抓取位置集合获取模块包括：
梯度矩阵获取单元，用于基于所述sobel算子对所述目标图像进行进行处理，得到所述目标图像在水平方向上的第一梯度矩阵，及在竖直方向上的第二梯度矩阵；
池化梯度矩阵生成单元，用于对所述第一梯度矩阵和所述第二梯度矩阵进行池化处理，分别生成对应的第一池化梯度矩阵和第二池化梯度矩阵；
候选抓取点对获取单元，用于基于所述第一梯度矩阵和所述第二梯度矩阵，获取所述目标物体上的多个候选抓取点对；
候选位置集合形成单元，用于基于所述候选抓取点对，形成所述候选抓取位置集合。
可选地，所述装置还包括：
模型训练样本获取模块，用于获取模型训练样本；所述模型训练样本包括标签样本图像和无标签样本图像；
训练预测模型获取模块，用于基于所述标签样本图像对初始抓取位置预测模型进行预训练，得到训练后的抓取位置预测模型；
位置预测模型获取模块，用于基于所述标签样本图像和所述无标签样本图像对所述训练后的抓取位置预测模型进行再次训练，得到所述抓取位置预测模型。
可选地，所述位置预测模型获取模块包括：
候选位置集合获取单元，用于基于所述sobel算子对所述标签样本图像和所述无标签样本图像进行处理，获取所述标签样本图像对应的第一候选抓取位置集合，及所述无标签样本图像对应的第二候选抓取位置集合；
抓取位置预测模型获取单元，用于基于所述标签样本图像、所述无标签样本图像、所述第一候选抓取位置集合和所述第二候选抓取位置集合输入对所述训练后的抓取位置预测模型进行模型训练，得到所述抓取位置预测模型。
可选地，所述目标抓取位置获取模块包括：
目标图像输入单元，用于将所述目标图像和所述候选抓取位置集合输入至所述抓取位置预测模型；
特征块提取单元，用于基于所述抓取位置预测模型的特征提取模块根据所述候选抓取位置集合提取所述目标图像上的局部特征块、区域特征块和全局特征块；
融合特征块生成单元，用于对所述局部特征块、所述区域特征块和所述全局特征块进行融合处理，生成融合特征块；
目标抓取位置获取单元，用于基于全连接层和softmax层对所述融合特征块进行处理，得到所述目标物体对应的目标抓取位置。
本申请所述具体实施方式可以使本领域的技术人员更全面地理解本申请，但不以任何方式限制本申请。因此，本领域技术人员应当理解，仍然对本申请进行修改或者等同替换；而一切不脱离本申请的精神和技术实质的技术方案及其改进，均应涵盖在本申请专利的保护范围中。
本发明说明书中未作详细描述的内容属本领域技术人员的公知技术。

Claims (10)

1.一种物体抓取位置获取方法，其特征在于，所述方法包括以下步骤：
获取目标物体对应的目标图像；
基于sobel算子对所述目标图像进行处理，得到所述目标物体上的候选抓取位置集合；
将所述目标图像和所述候选抓取位置集合输入至抓取位置预测模型；
基于所述抓取位置预测模型对所述目标图像和所述候选抓取位置集合进行处理，得到所述目标物体对应的目标抓取位置。
2.根据权利要求1所述的方法，其特征在于，所述基于sobel算子对所述目标图像进行处理，得到所述目标物体上的候选抓取位置集合，包括：
基于所述sobel算子对所述目标图像进行处理，得到所述目标图像在水平方向上的第一梯度矩阵，及在竖直方向上的第二梯度矩阵；
对所述第一梯度矩阵和所述第二梯度矩阵进行池化处理，分别生成对应的第一池化梯度矩阵和第二池化梯度矩阵；
基于所述第一梯度矩阵和所述第二梯度矩阵，获取所述目标物体上的多个候选抓取点对；
基于所述候选抓取点对，形成所述候选抓取位置集合。
3.根据权利要求1所述的方法，其特征在于，在所述获取目标物体对应的目标图像之前，还包括：
获取模型训练样本；所述模型训练样本包括标签样本图像和无标签样本图像；
基于所述标签样本图像对初始抓取位置预测模型进行预训练，得到训练后的抓取位置预测模型；
基于所述标签样本图像和所述无标签样本图像对所述训练后的抓取位置预测模型进行再次训练，得到所述抓取位置预测模型。
4.根据权利要求3所述的方法，其特征在于，所述基于所述标签样本图像和所述无标签样本图像对所述训练后的抓取位置预测模型进行再次训练，得到所述抓取位置预测模型，包括：
基于所述sobel算子对所述标签样本图像和所述无标签样本图像进行处理，获取所述标签样本图像对应的第一候选抓取位置集合，及所述无标签样本图像对应的第二候选抓取位置集合；
基于所述标签样本图像、所述无标签样本图像、所述第一候选抓取位置集合和所述第二候选抓取位置集合输入对所述训练后的抓取位置预测模型进行模型训练，得到所述抓取位置预测模型。
5.根据权利要求1所述的方法，其特征在于，所述基于所述抓取位置预测模型对所述目标图像和所述候选抓取位置集合进行处理，得到所述目标物体对应的目标抓取位置，包括：
将所述目标图像和所述候选抓取位置集合输入至所述抓取位置预测模型；
基于所述抓取位置预测模型的特征提取模块根据所述候选抓取位置集合提取所述目标图像上的局部特征块、区域特征块和全局特征块；
对所述局部特征块、所述区域特征块和所述全局特征块进行融合处理，生成融合特征块；
基于全连接层和softmax层对所述融合特征块进行处理，得到所述目标物体对应的目标抓取位置。
6.一种物体抓取位置获取装置，其特征在于，所述装置包括以下模块：
目标图像获取模块，用于获取目标物体对应的目标图像；
抓取位置集合获取模块，用于基于sobel算子对所述目标图像进行处理，得到所述目标物体上的候选抓取位置集合；
目标图像输入模块，用于将所述目标图像和所述候选抓取位置集合输入至抓取位置预测模型；
目标抓取位置获取模块，用于基于所述抓取位置预测模型对所述目标图像和所述候选抓取位置集合进行处理，得到所述目标物体对应的目标抓取位置。
7.根据权利要求6所述的装置，其特征在于，所述抓取位置集合获取模块包括：
梯度矩阵获取单元，用于基于所述sobel算子对所述目标图像进行处理，得到所述目标图像在水平方向上的第一梯度矩阵，及在竖直方向上的第二梯度矩阵；
池化梯度矩阵生成单元，用于对所述第一梯度矩阵和所述第二梯度矩阵进行池化处理，分别生成对应的第一池化梯度矩阵和第二池化梯度矩阵；
候选抓取点对获取单元，用于基于所述第一梯度矩阵和所述第二梯度矩阵，获取所述目标物体上的多个候选抓取点对；
候选位置集合形成单元，用于基于所述候选抓取点对，形成所述候选抓取位置集合。
8.根据权利要求6所述的装置，其特征在于，所述装置还包括：
模型训练样本获取模块，用于获取模型训练样本；所述模型训练样本包括标签样本图像和无标签样本图像；
训练预测模型获取模块，用于基于所述标签样本图像对初始抓取位置预测模型进行预训练，得到训练后的抓取位置预测模型；
位置预测模型获取模块，用于基于所述标签样本图像和所述无标签样本图像对所述训练后的抓取位置预测模型进行再次训练，得到所述抓取位置预测模型。
9.根据权利要求8所述的装置，其特征在于，所述位置预测模型获取模块包括：
候选位置集合获取单元，用于基于所述sobel算子对所述标签样本图像和所述无标签样本图像进行处理，获取所述标签样本图像对应的第一候选抓取位置集合，及所述无标签样本图像对应的第二候选抓取位置集合；
抓取位置预测模型获取单元，用于基于所述标签样本图像、所述无标签样本图像、所述第一候选抓取位置集合和所述第二候选抓取位置集合输入对所述训练后的抓取位置预测模型进行模型训练，得到所述抓取位置预测模型。
10.根据权利要求6所述的装置，其特征在于，所述目标抓取位置获取模块包括：
目标图像输入单元，用于将所述目标图像和所述候选抓取位置集合输入至所述抓取位置预测模型；
特征块提取单元，用于基于所述抓取位置预测模型的特征提取模块根据所述候选抓取位置集合提取所述目标图像上的局部特征块、区域特征块和全局特征块；
融合特征块生成单元，用于对所述局部特征块、所述区域特征块和所述全局特征块进行融合处理，生成融合特征块；
目标抓取位置获取单元，用于基于全连接层和softmax层对所述融合特征块进行处理，得到所述目标物体对应的目标抓取位置。
CN202110960739.7A 2021-08-20 2021-08-20 一种物体抓取位置获取方法及装置 Active CN113744333B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110960739.7A CN113744333B (zh) 2021-08-20 2021-08-20 一种物体抓取位置获取方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110960739.7A CN113744333B (zh) 2021-08-20 2021-08-20 一种物体抓取位置获取方法及装置

Publications (2)

Publication Number Publication Date
CN113744333A true CN113744333A (zh) 2021-12-03
CN113744333B CN113744333B (zh) 2024-02-13

Family

ID=78732083

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110960739.7A Active CN113744333B (zh) 2021-08-20 2021-08-20 一种物体抓取位置获取方法及装置

Country Status (1)

Country Link
CN (1) CN113744333B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002008012A (ja) * 2000-06-26 2002-01-11 National Institute Of Advanced Industrial & Technology 対象物体の位置・姿勢算出方法及び観測カメラの位置・姿勢算出方法
US20120158180A1 (en) * 2010-12-15 2012-06-21 Canon Kabushiki Kaisha Object gripping apparatus, method of controlling the same and storage medium
CN107139179A (zh) * 2017-05-26 2017-09-08 西安电子科技大学 一种智能服务机器人及工作方法
CN108648233A (zh) * 2018-03-24 2018-10-12 北京工业大学 一种基于深度学习的目标识别与抓取定位方法
CN109986560A (zh) * 2019-03-19 2019-07-09 埃夫特智能装备股份有限公司 一种面向多目标种类的机械臂自适应抓取方法
US20190266747A1 (en) * 2018-02-28 2019-08-29 Beijing Kuangshi Technology Co., Ltd. Object detection method, device, system and storage medium
CN111932490A (zh) * 2020-06-05 2020-11-13 浙江大学 一种用于工业机器人的视觉系统抓取信息提取方法
US20210023720A1 (en) * 2018-12-12 2021-01-28 Cloudminds (Shenzhen) Robotics Systems Co., Ltd. Method for detecting grasping position of robot in grasping object

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002008012A (ja) * 2000-06-26 2002-01-11 National Institute Of Advanced Industrial & Technology 対象物体の位置・姿勢算出方法及び観測カメラの位置・姿勢算出方法
US20120158180A1 (en) * 2010-12-15 2012-06-21 Canon Kabushiki Kaisha Object gripping apparatus, method of controlling the same and storage medium
CN107139179A (zh) * 2017-05-26 2017-09-08 西安电子科技大学 一种智能服务机器人及工作方法
US20190266747A1 (en) * 2018-02-28 2019-08-29 Beijing Kuangshi Technology Co., Ltd. Object detection method, device, system and storage medium
CN108648233A (zh) * 2018-03-24 2018-10-12 北京工业大学 一种基于深度学习的目标识别与抓取定位方法
US20210023720A1 (en) * 2018-12-12 2021-01-28 Cloudminds (Shenzhen) Robotics Systems Co., Ltd. Method for detecting grasping position of robot in grasping object
CN109986560A (zh) * 2019-03-19 2019-07-09 埃夫特智能装备股份有限公司 一种面向多目标种类的机械臂自适应抓取方法
CN111932490A (zh) * 2020-06-05 2020-11-13 浙江大学 一种用于工业机器人的视觉系统抓取信息提取方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MARCOS ALONSO 等: "Current Research Trends in Robot Grasping and Bin Picking", 《HTTPS://DOI.ORG/10.1007/978-3-319-94120-2_35》 *
ZENGZHI ZHAO 等: "Grasp prediction and evaluation of multi-fingered dexterous hands using deep learning", 《ELSEVIER》 *
李耿磊: "基于卷积神经网络的二指机械手抓取姿态生成研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, pages 24 - 25 *

Also Published As

Publication number Publication date
CN113744333B (zh) 2024-02-13

Similar Documents

Publication Publication Date Title
CN110059558B (zh) 一种基于改进ssd网络的果园障碍物实时检测方法
CN108491880B (zh) 基于神经网络的物体分类和位姿估计方法
CN107944396B (zh) 一种基于改进深度学习的刀闸状态识别方法
CN113450408B (zh) 一种基于深度相机的非规则物体位姿估计方法及装置
CN109671070B (zh) 一种基于特征加权和特征相关性融合的目标检测方法
CN110399884B (zh) 一种特征融合自适应锚框模型车辆检测方法
CN113160192A (zh) 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置
CN111507222B (zh) 一种基于多源数据知识迁移的三维物体检测框架
CN111461213B (zh) 一种目标检测模型的训练方法、目标快速检测方法
CN111310622A (zh) 一种面向水下机器人智能作业的鱼群目标识别方法
CN113888461A (zh) 基于深度学习的小五金件缺陷检测方法、系统及设备
CN110991513A (zh) 一种具有类人连续学习能力的图像目标识别系统及方法
CN111127417B (zh) 一种基于sift特征匹配和改进ssd算法的印刷缺陷检测方法
CN112149590A (zh) 一种手部关键点检测方法
CN114565655A (zh) 一种基于金字塔分割注意力的深度估计方法及装置
CN111898566B (zh) 姿态估计方法、装置、电子设备和存储介质
CN114781514A (zh) 一种融合注意力机制的漂浮物目标检测方法及系统
CN113657409A (zh) 车辆损失检测方法、装置、电子设备及存储介质
CN115147745A (zh) 一种基于城市无人机图像的小目标检测方法
CN114549507A (zh) 改进Scaled-YOLOv4的织物瑕疵检测方法
CN113128564A (zh) 一种基于深度学习的复杂背景下典型目标检测方法及系统
CN113744333A (zh) 一种物体抓取位置获取方法及装置
CN116664851A (zh) 一种基于人工智能的自动驾驶数据提取方法
CN113762159B (zh) 一种基于有向箭头模型的目标抓取检测方法及系统
CN114782360A (zh) 基于DCT-YOLOv5模型的实时番茄姿态检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant