CN114693661A - 一种基于深度学习的快速分拣方法 - Google Patents

一种基于深度学习的快速分拣方法 Download PDF

Info

Publication number
CN114693661A
CN114693661A CN202210377802.9A CN202210377802A CN114693661A CN 114693661 A CN114693661 A CN 114693661A CN 202210377802 A CN202210377802 A CN 202210377802A CN 114693661 A CN114693661 A CN 114693661A
Authority
CN
China
Prior art keywords
image
deep learning
training
data set
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210377802.9A
Other languages
English (en)
Inventor
刘大鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Maiya Technology Co ltd
Original Assignee
Shanghai Maiya Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Maiya Technology Co ltd filed Critical Shanghai Maiya Technology Co ltd
Priority to CN202210377802.9A priority Critical patent/CN114693661A/zh
Publication of CN114693661A publication Critical patent/CN114693661A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的快速分拣方法，包括以下步骤：采集图像数据并制作标签，将标签导入深度卷积神经网络训练得到深度学习目标识别与检测网络模型；利用视觉相机捕获一帧图像；基于深度学习目标识别与检测网络模型，检测用户选择的抓取物体，并获得抓取目标；利用U‑Net语义分割网络对抓取目标进行分析，获得抓取区域的图像特征；利用坐标转换方法将图像特征从二维的图像坐标系下转化为三维世界坐标系下，获得机械臂的最优抓取位置；计算机器人的控制量并控制机械臂完成基于视觉的机械臂抓取任务。本发明基于深度学习的目标识别与检测技术应用到抓取目标最优位置确定中，在复杂多变环境下检测到目标，提高了机械臂抓取的鲁棒性。

Description

一种基于深度学习的快速分拣方法
技术领域
本发明涉及物料识别分拣领域，具体来说，涉及一种基于深度学习的快速分拣方法。
背景技术
目前，视觉传感器已经广泛引入机械臂抓取系统，将图像处理与机械手控制相结合，利用先进的图像处理技术获取抓取目标的最优位姿，在此基础上设计视觉控制器，对于提高机械臂抓取的智能化水平、扩展其应用范围具有重要的理论研究意义和广阔的实际应用前景。
与传统的特征提取方法相比较，经过深度学习得到的特征具有更好的鲁棒性，其能够较好的适应训练集中未曾出现的新物体。近几年，深度学习得到了迅速的发展，提出了很多分类性能优秀的网络模型，例如，r-cnn、fastr-cnn、faster及r-cnn等。上述算法可以针对不同的目标，利用训练好的网络结构使用相同的模型参数，同时完成对多个目标的识别及检测任务。这对于提高机械臂对环境的智能感知能力，进而提高整个机械臂对未知物体自主抓取的鲁棒性和准确性具有重要的意义。然而上述现有技术不能很好的解决现在非结构化环境下机械臂对未知目标的高鲁棒、自主抓取问题。
针对相关技术中的问题，目前尚未提出有效的解决方案。
发明内容
针对相关技术中的问题，本发明提出一种基于深度学习的快速分拣方法，以克服现有相关技术所存在的上述技术问题。
为此，本发明采用的具体技术方案如下：
一种基于深度学习的快速分拣方法，该方法包括以下步骤：
S1、采集图像数据并制作标签，并将标签导入深度卷积神经网络训练得到深度学习目标识别与检测网络模型；
S2、利用视觉相机捕获一帧图像；
S3、基于深度学习目标识别与检测网络模型，检测用户选择的抓取物体，并获得抓取目标；
S4、利用U-Net语义分割网络对抓取目标进行分析，获得抓取区域的图像特征；
S5、利用坐标转换方法将图像特征从二维的图像坐标系下转化为三维世界坐标系下，获得机械臂的最优抓取位置；
S6、计算机器人的控制量并控制机械臂完成基于视觉的机械臂自主抓取任务。
进一步的，所述采集图像数据并制作标签，并将标签导入深度卷积神经网络训练得到深度学习目标识别与检测网络模型包括以下步骤：
S11、利用相机采集图像，并通过数据标注软件labelme进行标记，获得数据集，所述数据集包含图像以及相应的身份标签；
S12、将所述数据集按照预设的比例划分为训练数据集和验证数据集，并计算所述训练数据集中图像的均值图像；
S13、将所述训练数据集和所述验证数据集中的所有图像减去均值图像，得到均值化的训练数据集和验证数据集；
S14、利用所述均值化的训练数据集和验证数据集训练深度卷积神经网络，利用损失函数对训练数据集进行训练和学习网络参数，按照预设的训练步长将验证数据集放入卷积神经网络中进行测试，并观察网络的训练收敛情况，直至训练网络收敛，获得训练结果。
进一步的，所述基于深度学习目标识别与检测网络模型，检测用户选择的抓取物体，并获得抓取目标包括以下步骤：
S31、通过深度学习目标识别与检测网络模型训练图像数据；
S32、根据所述深度学习目标识别与检测网络模型的训练过程，不断调整训练权重，直至训练预测结果符合标记结果；
S33、根据所述预测结果生成权重数据，并通过所述权重数据对待预测图像进行推理，获得操作台上物体的位置信息。
进一步的，所述利用U-Net语义分割网络对抓取目标进行分析，获得抓取区域的图像特征包括以下步骤：
S41、利用U-Net语义分割网络并基于训练数据集进行训练，获得权重参数；
S42、通过所述权重参数计算待预测图像，获得抓取目标的抓取区域图像特征。
进一步的，所述U-Net语义分割网络采用的是U-Net网络模型，所述U-Net网络模型的整体结构包括：编码、解码及跳跃连接。
进一步的，所述利用U-Net语义分割网络并基于训练数据集进行训练，获得权重参数还包括：
通过添加交叉熵的Loss损失函数，增加了像素级的Loss权重，
其中，Loss损失函数计算公式为：
Figure BDA0003581871880000031
其中，E表示损失值；
Ω表示类别数；
x表示每一个类别；
W(x)表示一个one-hot向量，one-hot表示一项属性的特征向量；
pc(x)表示预测样本属于类别c(x)的概率；
其中，W(x)的计算公式如下：
Figure BDA0003581871880000032
其中，wc表示对类别频率的权重；
d1表示像素点离细胞最近的距离；
d2表示像素点离细胞倒数第二近的距离；
W0表示权重常量，取值为10；
σ表示标准差，其取值为5。
进一步的，所述利用坐标转换方法将图像特征从二维的图像坐标系下转化为三维世界坐标系下，获得机械臂的最优抓取位置包括以下步骤：
S51、通过标定板标定相机，获得相机的内外参，并计算三维世界坐标系变换为图像坐标系的单应矩阵；
S52、计算出所述单应矩阵的逆矩阵，并根据所述逆矩阵计算图像坐标系中的点在三维坐标系中的对应点。
进一步的，所述三维世界坐标系变换为图像坐标系的单应矩阵的计算公式为：
Figure BDA0003581871880000041
其中，
Figure BDA0003581871880000042
表示相机的内参矩阵；
f表示相机焦距；
θ表示点与光轴之间夹角，取值为90°；
dX及dY表示像素尺寸大小；
u0，v0表示图像中心点；
Figure BDA0003581871880000043
表示相机的外参矩阵；
R表示旋转矩阵；
T表示平移矩阵；
Figure BDA0003581871880000051
表示相机坐标系中的坐标；
Figure BDA0003581871880000052
表示世界坐标系下的坐标，内外参矩阵相乘构成单应矩阵。
进一步的，所述深度学习目标识别与检测网络模型采用Mask-RCNN网络模型。
进一步的，所述Mask-RCNN网络模型包括：骨干网络ResNet-FPN和头部网络；
所述骨干网络ResNet-FPN，用于特征提取，通过卷积操作删除无效像素，保留有效信息，提取的特征包含图像特征点及表述图像关键信息；
所述头部网络，包括Fast RCNN边界框识别及Mask预测，根据上一步获得的特征图像进行边界框分割，并对分割图像预测，获得预测结果，根据预测结果反馈至前面进行权重调整，获得最优解。
本发明的有益效果为：
1、本发明将基于深度学习的目标识别与检测技术应用到抓取目标最优位置确定中，能够在复杂多变的环境下检测到抓取目标，提高了机械臂抓取的鲁棒性。
2、本发明将基于深度学习的语义分割技术应用到获取机械臂抓取目标的抓取区域上，获得了高像素下的目标位置，提高了机械臂抓取的精确性。
3、本发明提出基于深度学习的机械臂自主抓取方法，根据相机标定算法，精确计算图像中的点在三维世界坐标系中的对应点位置。
4、本发明提出基于深度学习的机械臂自主抓取方法，根据目标识别与检测结果人机交互地随机选择抓取目标，因此，本发明提高了机械手抓取的智能化水平。
5、本发明解决了现有技术不能很好的实现非结构化环境下机械臂对未知目标的高鲁棒、自主抓取问题，提高了机械臂对环境的智能感知能力，进而提高整个机械臂对未知物体自主抓取的鲁棒性和准确性，具有抓取准确的特点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的一种基于深度学习的快速分拣方法的流程图。
具体实施方式
为进一步说明各实施例，本发明提供有附图，这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理，配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点，图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。
根据本发明的实施例，提供了一种基于深度学习的快速分拣方法。
现结合附图和具体实施方式对本发明进一步说明，如图1所示，根据本发明实施例的一种基于深度学习的快速分拣方法，该方法包括以下步骤：
S1、采集图像数据并制作标签，并将标签导入深度卷积神经网络训练得到深度学习目标识别与检测网络模型；
S2、利用视觉相机捕获一帧图像；且机械臂的操作目标在摄像机视野范围内；
S3、基于深度学习目标识别与检测网络模型，检测用户选择的抓取物体，并获得抓取目标；
S4、利用U-Net语义分割网络对抓取目标进行分析，获得抓取区域的图像特征；
S5、利用坐标转换方法将图像特征从二维的图像坐标系下转化为三维世界坐标系下，获得机械臂的最优抓取位置；
S6、计算机器人的控制量并控制机械臂完成基于视觉的机械臂自主抓取任务；
具体的，利用以太网向机械臂控制柜发送相应的控制信息，控制机械臂实现自主抓取任务。
在一个实施例中，所述采集图像数据并制作标签，并将标签导入深度卷积神经网络训练得到深度学习目标识别与检测网络模型包括以下步骤：
S11、利用相机采集图像，并通过数据标注软件labelme进行标记，获得数据集，所述数据集包含图像以及相应的身份标签；
S12、将所述数据集按照预设的比例划分为训练数据集和验证数据集，并计算所述训练数据集中图像的均值图像；
S13、将所述训练数据集和所述验证数据集中的所有图像减去均值图像，得到均值化的训练数据集和验证数据集；
S14、利用所述均值化的训练数据集和验证数据集训练深度卷积神经网络，利用损失函数对训练数据集进行训练和学习网络参数，按照预设的训练步长将验证数据集放入卷积神经网络中进行测试，并观察网络的训练收敛情况，直至训练网络收敛，获得训练结果。
在一个实施例中，所述基于深度学习目标识别与检测网络模型，检测用户选择的抓取物体，并获得抓取目标包括以下步骤：
S31、通过深度学习目标识别与检测网络模型训练图像数据；
S32、根据所述深度学习目标识别与检测网络模型的训练过程，不断调整训练权重，直至训练预测结果符合标记结果；
S33、根据所述预测结果生成权重数据，并通过所述权重数据对待预测图像进行推理，获得操作台上物体的位置信息。
在一个实施例中，所述利用U-Net语义分割网络对抓取目标进行分析，获得抓取区域的图像特征包括以下步骤：
S41、利用U-Net语义分割网络并基于训练数据集进行训练，获得权重参数；
S42、通过所述权重参数计算待预测图像，获得抓取目标的抓取区域图像特征。
在一个实施例中，所述U-Net语义分割网络采用的是U-Net网络模型，所述U-Net网络模型的整体结构包括：编码(下采样)、解码(上采样)及跳跃连接；
具体的，首先是输入图像的大小，其是根据高层的大小来进行反推的，最后取一个比较合适的方便计算的输入大小；
其次是编码的过程，即Encoder，下采样是通过max pool 2x2来进行1/2下采样的，下采样之间是两个conv卷积层，这里的卷积是使用valid卷积，卷积过程中图像的大小是会减小的，提取一些浅显的特征；
之后是解码的过程，即Decoder，通过上采样来获取一些深层次的特征。采用的up-conv 2x2的填充方式，具体的操作是对行列进行2倍翻倍；
同时跳跃连接通过concat的方式，将编码阶段获得的特征图(feature map)同解码阶段获得的特征图(feature map)结合在一起，结合深层次和浅层次的特征，细化图像，根据得到的特征图(feature map)进行预测分割，要注意的是这里两层的特征图(featuremap)大小不同，因此需要经过切割，最后一层通过1x1的卷积做分类。
在一个实施例中，所述利用U-Net语义分割网络并基于训练数据集进行训练，获得权重参数还包括：
通过添加交叉熵的Loss损失函数，增加了像素级的Loss权重，
其中，Loss损失函数计算公式为：
Figure BDA0003581871880000081
其中，E表示损失值；
Ω表示类别数；
x表示每一个类别；
W(x)表示一个one-hot向量，one-hot表示一项属性的特征向量；也就是同一时间只有一个激活点(不为0)，这个向量只有一个特征是不为0的，其他都是0，特别稀疏；若该类别和样本类别相同，则取值1，否则为0；
pc(x)表示预测样本属于类别c(x)的概率；
其中，W(x)的计算公式如下：
Figure BDA0003581871880000091
其中，wc表示对类别频率的权重；
d1表示像素点离细胞最近的距离；
d2表示像素点离细胞倒数第二近的距离；
W0表示权重常量，取值为10；
σ表示标准差，其取值为5。
在一个实施例中，所述利用坐标转换方法将图像特征从二维的图像坐标系下转化为三维世界坐标系下，获得机械臂的最优抓取位置包括以下步骤：
S51、通过标定板标定相机，获得相机的内外参，并计算三维世界坐标系变换为图像坐标系的单应矩阵；
S52、计算出所述单应矩阵的逆矩阵，并根据所述逆矩阵计算图像坐标系中的点在三维坐标系中的对应点。
在一个实施例中，所述三维世界坐标系变换为图像坐标系的单应矩阵的计算公式为：
Figure BDA0003581871880000101
其中，
Figure BDA0003581871880000102
表示相机的内参矩阵；
f表示相机焦距；
θ表示点与光轴之间夹角，取值为90°；
dX及dY表示像素尺寸大小；
u0，v0表示图像中心点；
Figure BDA0003581871880000103
表示相机的外参矩阵；
R表示旋转矩阵；
T表示平移矩阵；
Figure BDA0003581871880000104
表示相机坐标系中的坐标；
Figure BDA0003581871880000111
表示世界坐标系下的坐标，内外参矩阵相乘构成单应矩阵。
在一个实施例中，所述深度学习目标识别与检测网络模型采用Mask-RCNN网络模型；
其中，Mask-RCNN网络模型可以在环境复杂度较高的情况下，也能保持较高的准确率。针对检测环境复杂度低的，通过YOLOV3网络模型代替Mask-RCNN网络模型，实现目标识别的目的，可进一步提升检测速度，但是相应的，在准确率上可能会有下降。
在一个实施例中，所述Mask-RCNN网络模型包括：骨干网络ResNet-FPN和头部网络；
所述骨干网络ResNet-FPN，用于特征提取，通过卷积操作删除无效像素，保留有效信息，提取的特征包含图像特征点及表述图像关键信息；
所述头部网络，包括Fast RCNN边界框识别(分类和回归)及Mask预测，根据上一步获得的特征图像进行边界框分割，并对分割图像预测，获得预测结果，根据预测结果反馈至前面进行权重调整，获得最优解。
综上所述，借助于本发明的上述技术方案，本发明将基于深度学习的目标识别与检测技术应用到抓取目标最优位置确定中，能够在复杂多变的环境下检测到抓取目标，提高了机械臂抓取的鲁棒性；本发明将基于深度学习的语义分割技术应用到获取机械臂抓取目标的抓取区域上，获得了高像素下的目标位置，提高了机械臂抓取的精确性；本发明提出基于深度学习的机械臂自主抓取方法，根据相机标定算法，精确计算图像中的点在三维世界坐标系中的对应点位置；本发明提出基于深度学习的机械臂自主抓取方法，根据目标识别与检测结果人机交互地随机选择抓取目标，因此，本发明提高了机械手抓取的智能化水平；本发明解决了现有技术不能很好的实现非结构化环境下机械臂对未知目标的高鲁棒、自主抓取问题，提高了机械臂对环境的智能感知能力，进而提高整个机械臂对未知物体自主抓取的鲁棒性和准确性，具有抓取准确的特点。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习的快速分拣方法，其特征在于，该方法包括以下步骤：
S1、采集图像数据并制作标签，并将标签导入深度卷积神经网络训练得到深度学习目标识别与检测网络模型；
S2、利用视觉相机捕获一帧图像；
S3、基于深度学习目标识别与检测网络模型，检测用户选择的抓取物体，并获得抓取目标；
S4、利用U-Net语义分割网络对抓取目标进行分析，获得抓取区域的图像特征；
S5、利用坐标转换方法将图像特征从二维的图像坐标系下转化为三维世界坐标系下，获得机械臂的最优抓取位置；
S6、计算机器人的控制量并控制机械臂完成基于视觉的机械臂自主抓取任务。
2.根据权利要求1所述的一种基于深度学习的快速分拣方法，其特征在于，所述采集图像数据并制作标签，并将标签导入深度卷积神经网络训练得到深度学习目标识别与检测网络模型包括以下步骤：
S11、利用相机采集图像，并通过数据标注软件labelme进行标记，获得数据集，所述数据集包含图像以及相应的身份标签；
S12、将所述数据集按照预设的比例划分为训练数据集和验证数据集，并计算所述训练数据集中图像的均值图像；
S13、将所述训练数据集和所述验证数据集中的所有图像减去均值图像，得到均值化的训练数据集和验证数据集；
S14、利用所述均值化的训练数据集和验证数据集训练深度卷积神经网络，利用损失函数对训练数据集进行训练和学习网络参数，按照预设的训练步长将验证数据集放入卷积神经网络中进行测试，并观察网络的训练收敛情况，直至训练网络收敛，获得训练结果。
3.根据权利要求1所述的一种基于深度学习的快速分拣方法，其特征在于，所述基于深度学习目标识别与检测网络模型，检测用户选择的抓取物体，并获得抓取目标包括以下步骤：
S31、通过深度学习目标识别与检测网络模型训练图像数据；
S32、根据所述深度学习目标识别与检测网络模型的训练过程，不断调整训练权重，直至训练预测结果符合标记结果；
S33、根据所述预测结果生成权重数据，并通过所述权重数据对待预测图像进行推理，获得操作台上物体的位置信息。
4.根据权利要求1所述的一种基于深度学习的快速分拣方法，其特征在于，所述利用U-Net语义分割网络对抓取目标进行分析，获得抓取区域的图像特征包括以下步骤：
S41、利用U-Net语义分割网络并基于训练数据集进行训练，获得权重参数；
S42、通过所述权重参数计算待预测图像，获得抓取目标的抓取区域图像特征。
5.根据权利要求4所述的一种基于深度学习的快速分拣方法，其特征在于，所述U-Net语义分割网络采用的是U-Net网络模型，所述U-Net网络模型的整体结构包括：编码、解码及跳跃连接。
6.根据权利要求4所述的一种基于深度学习的快速分拣方法，其特征在于，所述利用U-Net语义分割网络并基于训练数据集进行训练，获得权重参数还包括：
通过添加交叉熵的Loss损失函数，增加了像素级的Loss权重，
其中，Loss损失函数计算公式为：
Figure FDA0003581871870000021
其中，E表示损失值；
Ω表示类别数；
x表示每一个类别；
W(x)表示一个one-hot向量，one-hot表示一项属性的特征向量；
pc(x)表示预测样本属于类别c(x)的概率；
其中，W(x)的计算公式如下：
Figure FDA0003581871870000031
其中，wc表示对类别频率的权重；
d1表示像素点离细胞最近的距离；
d2表示像素点离细胞倒数第二近的距离；
W0表示权重常量，取值为10；
σ表示标准差，其取值为5。
7.根据权利要求1所述的一种基于深度学习的快速分拣方法，其特征在于，所述利用坐标转换方法将图像特征从二维的图像坐标系下转化为三维世界坐标系下，获得机械臂的最优抓取位置包括以下步骤：
S51、通过标定板标定相机，获得相机的内外参，并计算三维世界坐标系变换为图像坐标系的单应矩阵；
S52、计算出所述单应矩阵的逆矩阵，并根据所述逆矩阵计算图像坐标系中的点在三维坐标系中的对应点。
8.根据权利要求7所述的一种基于深度学习的快速分拣方法，其特征在于，所述三维世界坐标系变换为图像坐标系的单应矩阵的计算公式为：
Figure FDA0003581871870000032
其中，
Figure FDA0003581871870000041
表示相机的内参矩阵；
f表示相机焦距；
θ表示点与光轴之间夹角，取值为90°；
dX及dY表示像素尺寸大小；
u0，v0表示图像中心点；
Figure FDA0003581871870000042
表示相机的外参矩阵；
R表示旋转矩阵；
T表示平移矩阵；
Figure FDA0003581871870000043
表示相机坐标系中的坐标；
Figure FDA0003581871870000044
表示世界坐标系下的坐标，内外参矩阵相乘构成单应矩阵。
9.根据权利要求3所述的一种基于深度学习的快速分拣方法，其特征在于，所述深度学习目标识别与检测网络模型采用Mask-RCNN网络模型。
10.根据权利要求9所述的一种基于深度学习的快速分拣方法，其特征在于，所述Mask-RCNN网络模型包括：骨干网络ResNet-FPN和头部网络；
所述骨干网络ResNet-FPN，用于特征提取，通过卷积操作删除无效像素，保留有效信息，提取的特征包含图像特征点及表述图像关键信息；
所述头部网络，包括Fast RCNN边界框识别及Mask预测，根据上一步获得的特征图像进行边界框分割，并对分割图像预测，获得预测结果，根据预测结果反馈至前面进行权重调整，获得最优解。
CN202210377802.9A 2022-04-06 2022-04-06 一种基于深度学习的快速分拣方法 Pending CN114693661A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210377802.9A CN114693661A (zh) 2022-04-06 2022-04-06 一种基于深度学习的快速分拣方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210377802.9A CN114693661A (zh) 2022-04-06 2022-04-06 一种基于深度学习的快速分拣方法

Publications (1)

Publication Number Publication Date
CN114693661A true CN114693661A (zh) 2022-07-01

Family

ID=82143796

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210377802.9A Pending CN114693661A (zh) 2022-04-06 2022-04-06 一种基于深度学习的快速分拣方法

Country Status (1)

Country Link
CN (1) CN114693661A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115170911A (zh) * 2022-09-06 2022-10-11 浙江大学湖州研究院 一种基于图像识别的人体关键部位定位系统及方法
CN116158851A (zh) * 2023-03-01 2023-05-26 哈尔滨工业大学 医用远程超声自动扫描机器人的扫描目标定位系统及方法
CN116604555A (zh) * 2023-05-17 2023-08-18 武汉纺织大学 一种双臂仿人智能叠衣机器人
CN116704017A (zh) * 2023-08-09 2023-09-05 烟台大学 一种基于视觉混合的机械臂位姿检测方法
CN116968022A (zh) * 2023-07-14 2023-10-31 武汉纺织大学 一种基于视觉引导的机械臂抓取目标物体方法及系统
CN117124302A (zh) * 2023-10-24 2023-11-28 季华实验室 一种零件分拣方法、装置、电子设备及存储介质

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115170911A (zh) * 2022-09-06 2022-10-11 浙江大学湖州研究院 一种基于图像识别的人体关键部位定位系统及方法
CN116158851A (zh) * 2023-03-01 2023-05-26 哈尔滨工业大学 医用远程超声自动扫描机器人的扫描目标定位系统及方法
CN116604555A (zh) * 2023-05-17 2023-08-18 武汉纺织大学 一种双臂仿人智能叠衣机器人
CN116604555B (zh) * 2023-05-17 2024-01-05 武汉纺织大学 一种双臂仿人智能叠衣机器人
CN116968022A (zh) * 2023-07-14 2023-10-31 武汉纺织大学 一种基于视觉引导的机械臂抓取目标物体方法及系统
CN116704017A (zh) * 2023-08-09 2023-09-05 烟台大学 一种基于视觉混合的机械臂位姿检测方法
CN116704017B (zh) * 2023-08-09 2023-11-14 烟台大学 一种基于视觉混合的机械臂位姿检测方法
CN117124302A (zh) * 2023-10-24 2023-11-28 季华实验室 一种零件分拣方法、装置、电子设备及存储介质
CN117124302B (zh) * 2023-10-24 2024-02-13 季华实验室 一种零件分拣方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN111723748B (zh) 一种红外遥感图像舰船检测方法
CN114693661A (zh) 一种基于深度学习的快速分拣方法
CN110363158B (zh) 一种基于神经网络的毫米波雷达与视觉协同目标检测与识别方法
CN109903331B (zh) 一种基于rgb-d相机的卷积神经网络目标检测方法
CN106886216B (zh) 基于rgbd人脸检测的机器人自动跟踪方法和系统
CN108154102A (zh) 一种道路交通标志识别方法
CN112164115B (zh) 物体位姿识别的方法、装置及计算机存储介质
CN113799124B (zh) 一种非结构化环境的机器人灵活抓取检测方法
CN109165658B (zh) 一种基于Faster-RCNN的强负样本水下目标检测方法
CN115816460B (zh) 一种基于深度学习目标检测与图像分割的机械手抓取方法
CN114972968A (zh) 基于多重神经网络的托盘识别和位姿估计方法
CN114399675A (zh) 一种基于机器视觉与激光雷达融合的目标检测方法和装置
CN107045630B (zh) 一种基于rgbd的行人检测和身份识别方法及系统
CN110458019B (zh) 稀缺认知样本条件下的排除倒影干扰的水面目标检测方法
CN111626241A (zh) 一种人脸检测方法及装置
CN109919215B (zh) 基于聚类算法改进特征金字塔网络的目标检测方法
CN115471542A (zh) 一种基于YOLO v5的包装物双目识别定位方法
CN116703895B (zh) 基于生成对抗网络的小样本3d视觉检测方法及其系统
CN113971801A (zh) 一种基于四类多模态数据融合的目标多维度检测方法
CN113505808A (zh) 基于深度学习用于配电类设施开关检测识别算法
CN116994049A (zh) 全自动针织横机及其方法
CN115861595A (zh) 一种基于深度学习的多尺度域自适应异源图像匹配方法
CN115620141A (zh) 一种基于加权可变形卷积目标检测方法和装置
CN112529917A (zh) 一种三维目标分割方法、装置、设备和存储介质
CN112347962A (zh) 一种基于感受野的卷积神经网络目标检测系统与方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination