CN109685141B - 一种基于深度神经网络的机器人物品分拣视觉检测方法 - Google Patents

一种基于深度神经网络的机器人物品分拣视觉检测方法 Download PDF

Info

Publication number
CN109685141B
CN109685141B CN201811591482.7A CN201811591482A CN109685141B CN 109685141 B CN109685141 B CN 109685141B CN 201811591482 A CN201811591482 A CN 201811591482A CN 109685141 B CN109685141 B CN 109685141B
Authority
CN
China
Prior art keywords
image
stereo matching
network
classification
matching network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811591482.7A
Other languages
English (en)
Other versions
CN109685141A (zh
Inventor
王飞
宋思远
程栋梁
丁亮
王亚运
刘振
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Hagong Huicai Intelligent Technology Co ltd
Original Assignee
Hefei Hagong Huicai Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Hagong Huicai Intelligent Technology Co ltd filed Critical Hefei Hagong Huicai Intelligent Technology Co ltd
Priority to CN201811591482.7A priority Critical patent/CN109685141B/zh
Publication of CN109685141A publication Critical patent/CN109685141A/zh
Application granted granted Critical
Publication of CN109685141B publication Critical patent/CN109685141B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于深度神经网络的机器人物品分拣视觉检测方法，该方法将目标的识别与检测信息、目标位置深度估计信息输入深度卷积网络，使用深度网络提取出含有复杂语义的网络特征，再通过神经网络匹配算法得到目标的三维坐标信息，得到吸取位置。与传统的目标检测相比，在扩展新物品分拣功能时仅需要添加新物品的照片，大大提高了分拣机器人通用性与可扩展性。整个分拣过程只需要借助双目相机获取图像信息，基于深度神经网络的算法提高了分拣视觉识别速度，降低了分拣系统的硬件成本和环境要求。目标检测部分与立体匹配部分均由深度神经网络实现，在0.3秒内即可完成物品分拣机器人的视觉计算。

Description

一种基于深度神经网络的机器人物品分拣视觉检测方法
【技术领域】
本发明属于计算机和人工智能领域，具体的，涉及一种基于深度神经网络的机器人物品分拣视觉检测方法。
【背景技术】
物品自动分拣技术在物品生产、物流、无人零售等领域都有着广泛的应用价值。传统的机器人分拣技术主要为不同传感器之间的组合，通过单纯特征的传递实现对分拣系统的控制。但这种检测方法灵活性差、检测速度慢、检测种类有限、对于多个类别物体混合的情境不能形成有效的目标检测、还需要对物品进行多次接触，增加了安全隐患。将机器视觉应用于物品分拣任务中不仅能极大地提高生产效率，也能进一步保证物品卫生安全。在物品分拣过程中，机器人的视觉系统对目标的正确识别和精确定位是分拣成功的先决条件，能及时为机器人的运动控制提供精确的视觉感知信号才能保证抓取任务的成功完成，是机器人物品分拣的核心技术。
物品分拣机器人视觉识别与定位分为相机标定、物体识别、立体匹配等任务。物体识别过程完成识别物体的种类、确定物体的二维位置信息任务。传统机器视觉识别方案多采用人工特征描述配合分类器分类的方式进行。其中人工特征对于物品随机位置、图像视角变化、光照变化、背景干扰等情况下的检测没有很好的鲁棒性，方法不仅耗时，而且只使用到图像中少部分特征信息，信息利用率不高，很大程度上影响实际检测效果。基于深度神经网络提取的特征，依附于神经网络的通用学习过程，具有高精度、高泛化能力和强鲁棒性，是视觉研究与应用的趋势所在。但单纯地用传统深度学习方法进行物品识别，扩展时需要针对新的样本进行多次数据采集与训练，存在训练成本高，过程繁琐等问题。
立体匹配是分拣机器人视觉系统中的关键部分，其目标是在两个或多个视点中匹配相应像素点，计算视差，求得深度信息。传统双目相机利用几何方法通过复杂的约束计算得出深度信息。但是通过几何方法利用约束信息计算深度信息的计算过程复杂，因此在对实时性要求较高的场景中会显现出不足。
【发明内容】
为了解决上述问题，本发明提出了一种基于深度神经网络的机器人物品分拣视觉检测方法，利用基于深度学习的图像匹配的方法快速而准确的识别出物体在三维坐标系下的位置，检测速度达到实时性要求，减轻了分拣人员的工作负担，进一步提升了生产线的自动化智能化水平。
本发明采用的技术方案如下：
一种基于深度神经网络的机器人物品分拣视觉检测方法，包括目标检测过程和深度估计过程，其中
所述目标检测过程包括：
(1)建立分类网络图像库；
(2)建立分类网络模型：所述分类网络模型使用DenseNet作为特征提取基础网络，包括关注层Attention Layer、DenseNet分类层，所述关注层位于DenseNet分类层之前，用于区分输入图像中的背景与物品，所述关注层由两个1x1的卷积层组成，激活函数为Softplus；所述DenseNet用于提取输入图像的特征图，在正向传播过程中将DenseNet提取到的特征图乘以关注层的输出，将结果送入DenseNet分类层，训练时损失函数为CrossEntropyLoss；
(3)基于所述分类网络图像库生成分类网络训练数据集；
(4)训练分类网络模型：使用所述训练数据集训练分类网络模型，使用反向传播算法与梯度下降函数优化网络直至收敛并达到预期；
(5)测试分类网络模型：对训练出来的分类网络模型，使用测试集图片进行测试，并根据测试结果调整超参数；
(6)建立检测目标图像数据库：确定待检测的物品，将所有物品正面、反面与侧面的图像尺寸调整成352x352像素并保存，同时将这些图像旋转90度、180度、270度并保存；
(7)提取检测目标图像数据库特征：去掉分类网络模型中的分类层，将检测目标图像数据库送入分类网络模型，得到特征输出与关注层的输出，将特征输出中属于背景的值置为0，并保存为pkl格式的特征文件；
(8)目标检测：将待检测图像尺寸调整成1280x960像素送入去掉分类层的分类网络模型，得到特征输出与关注层输出，使用关注层输出将特征输出中背景部分置0；读取保存的特征文件，与待检测图像的特征向量按照像素计算距离，得到匹配相似度，计算公式为:
Figure BDA0001920367660000041
式中，Sij为待检测图像中坐标(i,j)位置处的匹配相似度，Vij为待检测图像中坐标(i,j)位置处的特征向量，
Figure BDA0001920367660000042
为数据库中第p幅图像中坐标(m,n)位置处的特征向量；归一化相似度图像并进行均值滤波，取相似度最高点为检测出的物品中心点；
所述深度估计过程包括：
(1)建立立体匹配网络图像库；
(2)建立立体匹配网络模型：建立由多个卷积层构成的立体匹配网络。立体匹配网络输入为目标的左右两张图像，左图右图均通过这多层卷积提取特征，并进行相似度计算；
(3)生成立体匹配网络数据集：基于立体匹配网络图像库生成立体匹配网络数据集，立体匹配网络数据集由左图裁剪得到，即只使用原始左图进行裁剪得到立体匹配网络输入所需的左图和右图；裁剪时确保左图与对应的右图中心点相同，并控制每张原始图片相同中心点图片的数量；
(4)训练立体匹配网络：使用立体匹配网络数据集训练立体匹配网络，使用反向传播算法与adam优化函数直至网络收敛并达到预期；
(5)测试立体匹配网络：取消立体匹配网络中的Logsoftmax激活函数层，将实际拍摄的目标左图与右图送入立体匹配网络并提取特征，按照像素点进行特征匹配并计算相似度生成视差图，最后通过相机参数生成深度图与三维点云信息，根据三维点云的质量继续调整网络参数直至达到预期效果；
(6)立体匹配：按照目标检测过程得到的物品位置裁剪图像，将原始的左右图按行进行裁剪，将裁剪后的左图右图送入立体匹配网络，在对应的每一行按照像素计算相似度，得到物品附近的视差图与三维点云信息，最后滤掉噪音，并计算出机器人在其坐标系下的吸取位置。
进一步地，所述目标检测过程的步骤2包括：将分类网络图像库按照7:3的比例划分为训练集与测试集，训练集图像尺寸调整成352x352像素并随机裁剪成224x224像素，测试集图像尺寸调整成224x224像素，不做任何数据增广。
进一步地，所述目标检测过程的步骤4中使用的优化函数为随机梯度下降法SGD。
进一步地，所述目标检测过程的步骤4中，固定DenseNet分类层前的参数，仅仅训练关注层与分类层，在前几个迭代周期epoch内，批处理数量batch大小为128，学习率为0.0001，动量为0.9；在后几个epoch时，batch大小为64，学习率为0.00001，动量为0.9。
进一步地，所述深度估计过程的步骤1包括：标定双目相机，使用双目相机采集图像，得到分拣环境下的左图与右图，对得到的图像进行畸变校正与立体校正，确保图像行对齐，从而得到立体匹配图像，基于得到的多个立体匹配图像，建立立体匹配网络图像库。
进一步地，所述立体匹配网络由9层卷积构成，卷积核大小为7，激活函数为Logsoftmax。
进一步地，立体匹配网络的输入为目标的左图与右图，经过特征提取生成左右特征图，并计算中心位置相似度，训练时采用的损失函数是Smooth L1 loss。
进一步地，所述深度估计过程的步骤3包括：在原始左图中以随机点为中心裁剪55x55像素尺寸的图像为左图、55x175像素尺寸的图像为右图，每张原始左图裁剪128次，同时确保每张原始左图裁剪出的图像有70％为同一中心点，30％为不同中心点。
进一步地，所述分类网络图像库将搜集到的物品图片按照类别放在对应的文件夹下，图片标签为文件夹名称，物品图片包含以下特征：所有图片为RGB三通道，图片中仅包含单一物品，图片背景为纯色。
本发明的有益效果为：不需要耗费大量时间人工设计繁琐的特征，省去了成本较高的新数据训练过程，方案更为简便易行。检测速度达到实时性要求，减轻了分拣人员的工作负担，进一步提升了生产线的自动化智能化水平。
【附图说明】
此处所说明的附图是用来提供对本发明的进一步理解，构成本申请的一部分，但并不构成对本发明的不当限定，在附图中：
图1是本发明方法的流程框图。
【具体实施方式】
下面将结合附图以及具体实施例来详细说明本发明，其中的示意性实施例以及说明仅用来解释本发明，但并不作为对本发明的限定。
参见附图1，为了实现机器人物品分拣，其实质是要实现一种三维视觉检测与定位的方法，该方法包括目标检测过程与深度估计过程两部分，下面对其分别进行说明。
目标检测过程：
为了实现机器人的物品分拣，首先机器人需要识别目标，通过机器人的视觉检测，实现目标检测过程，其具体步骤如下：
(1)建立分类网络图像库。
为了训练目标检测的神经网络，首先需要建立分类网络图像库，具体的，将搜集到的物品图片按照类别放在对应的文件夹下，图像标签为文件夹名称，物品图片包含以下特征：所有图片为RGB三通道，物品中仅包含单一物品，图像背景为纯色。
(2)建立分类网络模型。
所述分类网络模型使用DenseNet作为特征提取基础网络，包括关注层AttentionLayer、DenseNet分类层。
特征提取基础网络采用DenseNet，在DenseNet分类层之前加入关注层，所述关注层用于区分输入图像中的背景与物品，关注层由两个1x1的卷积层组成，激活函数为Softplus，可以表示为：
f(x)＝log(1+ex) (1)
式中，x为网络中相应卷积层的输出向量。
所述DenseNet用于提取输入图像的特征图，在正向传播过程中将DenseNet提取到的特征图乘以关注层的输出，将结果送入DenseNet分类层，训练时损失函数为CrossEntropyLoss，可以表示为：
Figure BDA0001920367660000081
式中，m为训练样本组数，θ为网络模型参数向量，x(i)表示第i组样本数据，y(i)表示第i组数据的类别标记，hθ(x(i))为假设函数，定义为：
Figure BDA0001920367660000082
(3)生成分类网络训练数据集。
将分类网络图像库按照7:3的比例划分为训练集与测试集，训练集图像尺寸调整成352x352像素并随机裁剪成224x224像素，测试集图像尺寸调整成224x224像素，不做任何数据增广。将图像与类别标签整理成可供深度网络读写并训练的文件。
(4)训练分类网络模型。
在所述训练数据集上预训练DenseNet，使用反向传播算法与梯度下降函数优化网络直至收敛并达到预期。使用的优化函数为随机梯度下降法SGD，其参数更新表达式为：
Figure BDA0001920367660000083
式中，θj为网络模型的第j个参数，
Figure BDA0001920367660000084
为第i组数据中的第j个数值，α为网络学习率。
在训练实际网络时，固定DenseNet分类层前的参数，仅仅训练关注层与分类层。在前几个迭代周期epoch内，批处理数量batch大小为128，学习率为0.0001，动量为0.9；在后几个epoch时，batch大小为64，学习率为0.00001，动量为0.9。
(5)测试分类网络模型。
对训练出来的分类网络模型，使用测试集图片进行测试，并根据测试结果调整超参数，确保分类准确率达到90％以上。
(6)建立检测目标图像数据库。
确定待检测的物品，将所有物品正面、反面与侧面的图像尺寸调整成352x352像素并保存，同时将这些图像旋转90度、180度、270度并保存。
(7)提取检测目标图像数据库特征。
去掉分类网络模型中的分类层，将检测目标图像数据库送入分类网络模型，得到特征输出与关注层的输出。设置关注层的阈值为0.4，小于0.4的区域为背景，大于0.4的区域为物品。将特征输出中属于背景的值置为0，并保存为pkl格式的特征文件。
(8)目标检测。
将待检测图像尺寸调整成1280x960像素送入去掉分类层的分类网络模型，得到特征输出与关注层输出，使用关注层输出将特征输出中背景部分置0。读取保存的特征文件，与待检测图像的特征向量按照像素计算距离，得到匹配相似度，计算公式为:
Figure BDA0001920367660000091
式中，Sij为待检测图像中(i,j)位置处的匹配相似度，Vij为待检测图像中(i,j)位置处的特征向量，
Figure BDA0001920367660000101
为数据库中第p幅图像中(m,n)位置处的特征向量。
归一化相似度图像并进行均值滤波，取相似度最高点为检测出的物品中心点。
深度估计过程：
机器人在从视觉图像中识别出物品目标后，需要确定该目标的位置，但是对于输入图像而言，其只能取得目标在图像平面上的位置，目标真实的三维位置还需要进行深度估计。具体说明如下：
(1)建立立体匹配网络图像库。
标定双目相机，使用双目相机采集图像，得到分拣环境下的左图与右图，对得到的图像进行畸变校正与立体校正，确保图像行对齐，从而得到立体匹配图像，基于得到的多个立体匹配图像，建立立体匹配网络图像库。
(2)建立立体匹配网络模型。
建立由多个卷积层构成的立体匹配网络。立体匹配网络输入为目标的左右两张图像，左图右图均通过这多层卷积提取特征，并进行相似度计算。
优选的，所述立体匹配网络由9层卷积构成，卷积核大小为7，激活函数为Logsoftmax，可以表示为：
Figure BDA0001920367660000102
式中，x为网络经卷积后每个像素的输出向量，维度为m。
立体匹配网络的输入为目标的左图与右图，经过特征提取生成左右特征图，并计算中心位置相似度，训练时采用的损失函数是Smooth L1 loss，其中Smooth L1的表达式为：
Figure BDA0001920367660000111
式中，x为训练样本数据。
(3)生成立体匹配网络数据集。
基于立体匹配网络图像库生成立体匹配网络数据集，立体匹配网络数据集由左图裁剪得到，即只使用原始左图进行裁剪得到立体匹配网络输入所需的左图和右图。
通过随机中心裁剪的方法得到左图与右图，右图的宽度稍大于左图，裁剪时确保左图与对应的右图中心点相同，并控制每张原始图片相同中心点图片的数量。
具体地，在原始左图中以某随机点为中心裁剪55x55像素尺寸的图像为左图、55x175像素尺寸的图像为右图，每张原始左图裁剪128次，同时为保证训练收敛，需要确保每张原始左图裁剪出的图像有70％为同一中心点，30％为不同中心点。
(4)训练立体匹配网络。
使用立体匹配网络数据集训练立体匹配网络，使用反向传播算法与adam优化函数直至网络收敛并达到预期。
具体的，随机生成立体匹配网络的初始参数，使用Adam作为优化函数，，其参数更新表达式为：
Figure BDA0001920367660000121
式中，μ为动量因子，η为学习率，ν为衰减速率，ε为步长，
Figure BDA0001920367660000122
和
Figure BDA0001920367660000123
分别为mt和nt的校正，而mt和nt的计算公式分别为：
mt＝μ·mt-1+(1-μ)·gt (9)
Figure BDA0001920367660000124
式中，gt为参数梯度。
训练时，batch大小为128，学习率为0.1，每过16个epoch学习率减少10倍，动量为0.9。
(5)测试立体匹配网络。
取消立体匹配网络中的Logsoftmax激活函数层，将实际拍摄的目标左图与右图送入立体匹配网络并提取特征，按照像素点进行特征匹配并计算相似度生成视差图，最后通过相机参数生成深度图与三维点云信息，根据三维点云的质量继续调整网络参数直至达到预期效果。
(6)立体匹配。
按照目标检测过程得到的物品位置裁剪图像，将原始的左右图按行进行裁剪，宽为原图尺寸，高为100像素，从而提高立体匹配速度。将裁剪后的左图右图送入立体匹配网络，在对应的每一行按照像素计算相似度，得到物品附近的视差图与三维点云信息，最后滤掉噪音，并计算出机器人在其坐标系下的吸取位置。
以上所述仅是本发明的较佳实施方式，故凡依本发明专利申请范围所述的构造、特征及原理所做的等效变化或修饰，均包括于本发明专利申请范围内。

Claims (9)

1.一种基于深度神经网络的机器人物品分拣视觉检测方法，其特征在于，包括目标检测过程和深度估计过程，其中
所述目标检测过程包括：
(1)建立分类网络图像库；
(2)建立分类网络模型：所述分类网络模型使用DenseNet作为特征提取基础网络，并且所述分类网络模型包括关注层Attention Layer、DenseNet分类层，所述关注层位于DenseNet分类层之前，用于区分输入图像中的背景与物品，所述关注层由两个1x1的卷积层组成，激活函数为Softplus；所述DenseNet用于提取输入图像的特征图，在正向传播过程中将DenseNet提取到的特征图乘以关注层的输出，将结果送入DenseNet分类层，训练时损失函数为CrossEntropyLoss；
(3)基于所述分类网络图像库生成分类网络训练数据集；
(4)训练分类网络模型：使用所述训练数据集训练分类网络模型，使用反向传播算法与梯度下降函数优化网络直至收敛并达到预期；
(5)测试分类网络模型：对训练出来的分类网络模型，使用测试集图片进行测试，并根据测试结果调整超参数；
(6)建立检测目标图像数据库：确定待检测的物品，将所有物品正面、反面与侧面的图像尺寸调整成352x352像素并保存，同时将这些图像旋转90度、180度、270度并保存；
(7)提取检测目标图像数据库特征：去掉分类网络模型中的分类层，将检测目标图像数据库送入分类网络模型，得到特征输出与关注层的输出，将特征输出中属于背景的值置为0，并保存为特征文件；
(8)目标检测：将待检测图像尺寸调整成1280x960像素送入去掉分类层的分类网络模型，得到特征输出与关注层输出，使用关注层输出将特征输出中背景部分置0；读取保存的特征文件，与待检测图像的特征向量按照像素计算距离，得到匹配相似度，计算公式为:
Figure FDA0003778443860000021
式中，Sij为待检测图像中坐标(i,j)位置处的匹配相似度，Vij为待检测图像中坐标(i,j)位置处的特征向量，
Figure FDA0003778443860000022
为数据库中第p幅图像中坐标(m,n)位置处的特征向量；归一化相似度图像并进行均值滤波，取相似度最高点为检测出的物品中心点；
所述深度估计过程包括：
(1)建立立体匹配网络图像库；
(2)建立立体匹配网络模型：建立由多个卷积层构成的立体匹配网络，立体匹配网络输入为目标的左右两张图像，左图右图均通过这多层卷积提取特征，并进行相似度计算；
(3)生成立体匹配网络数据集：基于立体匹配网络图像库生成立体匹配网络数据集，立体匹配网络数据集由左图裁剪得到，即只使用原始左图进行裁剪得到立体匹配网络输入所需的左图和右图；裁剪时确保左图与对应的右图中心点相同，并控制每张原始图片相同中心点图片的数量；
(4)训练立体匹配网络：使用立体匹配网络数据集训练立体匹配网络，使用反向传播算法与adam优化函数直至网络收敛并达到预期；
(5)测试立体匹配网络：取消立体匹配网络中的Logsoftmax激活函数层，将实际拍摄的目标左图与右图送入立体匹配网络并提取特征，按照像素点进行特征匹配并计算相似度生成视差图，最后通过相机参数生成深度图与三维点云信息，根据三维点云的质量继续调整网络参数直至达到预期效果；
(6)立体匹配：按照目标检测过程得到的物品位置裁剪图像，将原始的左右图按行进行裁剪，将裁剪后的左图右图送入立体匹配网络，在对应的每一行按照像素计算相似度，得到物品附近的视差图与三维点云信息，最后滤掉噪音，并计算出机器人在其坐标系下的吸取位置。
2.根据权利要求1所述的方法，其特征在于，所述目标检测过程的步骤3包括：将分类网络图像库按照7:3的比例划分为训练集与测试集，训练集图像尺寸调整成352x352像素并随机裁剪成224x224像素，测试集图像尺寸调整成224x224像素，不做任何数据增广。
3.根据权利要求1-2任意一项所述的方法，其特征在于，所述目标检测过程的步骤4中使用的优化函数为随机梯度下降法SGD。
4.根据权利要求3所述的方法，其特征在于，所述目标检测过程的步骤4中，固定DenseNet分类层前的参数，仅仅训练关注层与分类层。
5.根据权利要求1-2任意一项所述的方法，其特征在于，所述深度估计过程的步骤1包括：标定双目相机，使用双目相机采集图像，得到分拣环境下的左图与右图，对得到的图像进行畸变校正与立体校正，确保图像行对齐，从而得到立体匹配图像，基于得到的多个立体匹配图像，建立立体匹配网络图像库。
6.根据权利要求1-2任意一项所述的方法，其特征在于，所述立体匹配网络由9层卷积构成，卷积核大小为7，激活函数为Logsoftmax。
7.根据权利要求6所述的方法，其特征在于，立体匹配网络的输入为目标的左图与右图，经过特征提取生成左右特征图，并计算中心位置相似度，训练时采用的损失函数是Smooth L1 loss。
8.根据权利要求1所述的方法，其特征在于，所述深度估计过程的步骤3包括：
在原始左图中以随机点为中心裁剪55x55像素尺寸的图像为左图、55x175像素尺寸的图像为右图，每张原始左图裁剪128次，同时确保每张原始左图裁剪出的图像有70％为同一中心点，30％为不同中心点。
9.根据权利要求1所述的方法，其特征在于，所述分类网络图像库将搜集到的物品图片按照类别放在对应的文件夹下，图片标签为文件夹名称，物品图片包含以下特征：所有图片为RGB三通道，图片中仅包含单一物品，图片背景为纯色。
CN201811591482.7A 2018-12-25 2018-12-25 一种基于深度神经网络的机器人物品分拣视觉检测方法 Active CN109685141B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811591482.7A CN109685141B (zh) 2018-12-25 2018-12-25 一种基于深度神经网络的机器人物品分拣视觉检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811591482.7A CN109685141B (zh) 2018-12-25 2018-12-25 一种基于深度神经网络的机器人物品分拣视觉检测方法

Publications (2)

Publication Number Publication Date
CN109685141A CN109685141A (zh) 2019-04-26
CN109685141B true CN109685141B (zh) 2022-10-04

Family

ID=66189429

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811591482.7A Active CN109685141B (zh) 2018-12-25 2018-12-25 一种基于深度神经网络的机器人物品分拣视觉检测方法

Country Status (1)

Country Link
CN (1) CN109685141B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110288009B (zh) * 2019-06-12 2020-04-21 安阳鑫炬环保设备制造有限公司 基于神经网络的链板式物料筛选传送方法
CN110956656A (zh) * 2019-12-17 2020-04-03 北京工业大学 一种基于深度目标检测的纺锤定位方法
CN111242121B (zh) * 2020-01-06 2023-08-25 佛山科学技术学院 一种基于svm的对联智能分拣方法及存储介质
CN111331599A (zh) * 2020-03-02 2020-06-26 上海媒智科技有限公司 一种基于机械臂的物品自动定向抓取方法及系统
CN111444814B (zh) * 2020-03-23 2023-10-24 北京迈格威科技有限公司 目标检测方法、装置、电子设备及可读存储介质
CN111583313A (zh) * 2020-03-25 2020-08-25 上海物联网有限公司 一种基于PSMNet改进的双目立体匹配方法
CN111462096A (zh) * 2020-04-03 2020-07-28 浙江商汤科技开发有限公司 三维目标检测方法及装置
CN112102326B (zh) * 2020-10-26 2023-11-07 北京航星机器制造有限公司 一种安检ct图像目标物的提取和分割方法
CN112330693B (zh) * 2020-11-13 2023-12-29 北京伟景智能科技有限公司 一种煤矸石检测方法及系统
CN113284221B (zh) * 2021-05-17 2022-04-19 中移(上海)信息通信科技有限公司 一种目标物检测方法、装置及电子设备
CN113569747A (zh) * 2021-07-29 2021-10-29 北京金玖银玖数字科技有限公司 流转物品一致性鉴定的方法和系统
CN114463409B (zh) * 2022-02-11 2023-09-26 北京百度网讯科技有限公司 图像深度信息的确定方法、装置、电子设备和介质
CN114887927B (zh) * 2022-05-10 2024-02-13 浙江工业大学 一种基于工业机器人的自动输送的质量检测分选系统
CN116061187B (zh) * 2023-03-07 2023-06-16 睿尔曼智能科技(江苏)有限公司 一种复合机器人对货架商品识别、定位和抓取方法

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101527046A (zh) * 2009-04-28 2009-09-09 青岛海信数字多媒体技术国家重点实验室有限公司 一种运动检测方法、装置和系统
CN104331897A (zh) * 2014-11-21 2015-02-04 天津工业大学 基于极线校正的亚像素级相位立体匹配方法
CN105678607A (zh) * 2016-01-07 2016-06-15 合肥工业大学 一种基于改进的K-Means算法的订单分批方法
CN106683182A (zh) * 2017-01-12 2017-05-17 南京大学 一种权衡立体匹配和视觉外形的三维重建方法
CN106767399A (zh) * 2016-11-11 2017-05-31 大连理工大学 基于双目立体视觉和点激光测距的物流货物体积的非接触测量方法
US9965865B1 (en) * 2017-03-29 2018-05-08 Amazon Technologies, Inc. Image data segmentation using depth data
CN108109174A (zh) * 2017-12-13 2018-06-01 上海电气集团股份有限公司 一种用于散乱零件随机分拣的机器人单目引导方法和系统
CN108171748A (zh) * 2018-01-23 2018-06-15 哈工大机器人（合肥）国际创新研究院 一种面向机器人智能抓取应用的视觉识别与定位方法
CN108182456A (zh) * 2018-01-23 2018-06-19 哈工大机器人（合肥）国际创新研究院 一种基于深度学习的目标检测模型及其训练方法
CN108345912A (zh) * 2018-04-25 2018-07-31 电子科技大学中山学院 一种基于rgbd信息与深度学习的商品快速结算系统
CN108381549A (zh) * 2018-01-26 2018-08-10 广东三三智能科技有限公司 一种双目视觉引导机器人快速抓取方法、装置及存储介质
CN108596108A (zh) * 2018-04-26 2018-09-28 中国科学院电子学研究所 基于三元组语义关系学习的航拍遥感图像变化检测方法
CN108648161A (zh) * 2018-05-16 2018-10-12 江苏科技大学 非对称核卷积神经网络的双目视觉障碍物检测系统及方法
CN108710830A (zh) * 2018-04-20 2018-10-26 浙江工商大学 一种结合密集连接注意力金字塔残差网络和等距限制的人体3d姿势估计方法
CN108898142A (zh) * 2018-06-15 2018-11-27 宁波云江互联网科技有限公司 一种手写公式的识别方法及计算设备
CN108898175A (zh) * 2018-06-26 2018-11-27 北京工业大学 基于深度学习胃癌病理切片的计算机辅助模型构建方法

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101527046A (zh) * 2009-04-28 2009-09-09 青岛海信数字多媒体技术国家重点实验室有限公司 一种运动检测方法、装置和系统
CN104331897A (zh) * 2014-11-21 2015-02-04 天津工业大学 基于极线校正的亚像素级相位立体匹配方法
CN105678607A (zh) * 2016-01-07 2016-06-15 合肥工业大学 一种基于改进的K-Means算法的订单分批方法
CN106767399A (zh) * 2016-11-11 2017-05-31 大连理工大学 基于双目立体视觉和点激光测距的物流货物体积的非接触测量方法
CN106683182A (zh) * 2017-01-12 2017-05-17 南京大学 一种权衡立体匹配和视觉外形的三维重建方法
US9965865B1 (en) * 2017-03-29 2018-05-08 Amazon Technologies, Inc. Image data segmentation using depth data
CN108109174A (zh) * 2017-12-13 2018-06-01 上海电气集团股份有限公司 一种用于散乱零件随机分拣的机器人单目引导方法和系统
CN108182456A (zh) * 2018-01-23 2018-06-19 哈工大机器人（合肥）国际创新研究院 一种基于深度学习的目标检测模型及其训练方法
CN108171748A (zh) * 2018-01-23 2018-06-15 哈工大机器人（合肥）国际创新研究院 一种面向机器人智能抓取应用的视觉识别与定位方法
CN108381549A (zh) * 2018-01-26 2018-08-10 广东三三智能科技有限公司 一种双目视觉引导机器人快速抓取方法、装置及存储介质
CN108710830A (zh) * 2018-04-20 2018-10-26 浙江工商大学 一种结合密集连接注意力金字塔残差网络和等距限制的人体3d姿势估计方法
CN108345912A (zh) * 2018-04-25 2018-07-31 电子科技大学中山学院 一种基于rgbd信息与深度学习的商品快速结算系统
CN108596108A (zh) * 2018-04-26 2018-09-28 中国科学院电子学研究所 基于三元组语义关系学习的航拍遥感图像变化检测方法
CN108648161A (zh) * 2018-05-16 2018-10-12 江苏科技大学 非对称核卷积神经网络的双目视觉障碍物检测系统及方法
CN108898142A (zh) * 2018-06-15 2018-11-27 宁波云江互联网科技有限公司 一种手写公式的识别方法及计算设备
CN108898175A (zh) * 2018-06-26 2018-11-27 北京工业大学 基于深度学习胃癌病理切片的计算机辅助模型构建方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
Single-Shot Clothing Category Recognition in Free-Configurations with Application to Autonomous Clothes Sorting;Li Sun等;《IROS》;20170928;第6699-6706页 *
SparseNet: A Sparse DenseNet for Image Classification;Wenqi Liu等;《arXiv:1804.05340v1》;20180415;第1-17页 *
基于平行双目立体视觉的曲面识别和三维重建的研究;于欢;《中国优秀硕士学位论文全文数据库 信息科技辑》;20171115(第（2017）11期);I138-349 *
基于深度卷积神经网络的双目立体视觉匹配算法;肖进胜等;《光学学报》;20180627;第38卷(第08期);第1-7页 *
基于视觉的工件定位与抓取;杨厚易;《中国优秀硕士学位论文全文数据库 信息科技辑》;20180815(第（2018）08期);I138-646 *
基于语义分割的分拣系统目标检测与定位;王志恒等;《计量与测试技术》;20180430;第45卷(第04期);第62-66页 *
小世界特征的卷积神经网络模型研究与应用;刘吉;《中国优秀硕士学位论文全文数据库 信息科技辑》;20181215(第（2018）12期);I138-1646 *

Also Published As

Publication number Publication date
CN109685141A (zh) 2019-04-26

Similar Documents

Publication Publication Date Title
CN109685141B (zh) 一种基于深度神经网络的机器人物品分拣视觉检测方法
CN108171748B (zh) 一种面向机器人智能抓取应用的视觉识别与定位方法
CN112836734A (zh) 一种异源数据融合方法及装置、存储介质
CN109102547A (zh) 基于物体识别深度学习模型的机器人抓取位姿估计方法
Wang et al. Real-time underwater onboard vision sensing system for robotic gripping
CN112598713A (zh) 一种基于深度学习的近岸海底鱼类检测、跟踪统计方法
CN113065546A (zh) 一种基于注意力机制和霍夫投票的目标位姿估计方法及系统
CN109034694B (zh) 基于智能制造的生产原料智能存储方法及系统
CN114299150A (zh) 一种深度6d位姿估计网络模型及工件位姿估计方法
CN112712589A (zh) 一种基于激光雷达和深度学习的植株3d建模的方法和系统
CN112070782A (zh) 识别场景轮廓的方法、装置、计算机可读介质及电子设备
Rubio et al. Efficient monocular pose estimation for complex 3D models
CN113129284B (zh) 一种基于5g云边协同的外观检测方法及实现系统
CN111027581A (zh) 一种基于可学习编码的3d目标检测方法及系统
CN117274388A (zh) 基于视觉文本关系对齐的无监督三维视觉定位方法及系统
CN111369611B (zh) 图像像素深度值优化方法及其装置、设备和存储介质
CN114494773A (zh) 一种基于深度学习的零件分拣识别系统和方法
CN112669452B (zh) 一种基于卷积神经网络多分支结构的物体定位方法
CN116416444A (zh) 物体抓取点估计、模型训练及数据生成方法、装置及系统
Zhang et al. Fully automatic system for fish biomass estimation based on deep neural network
CN113628170A (zh) 一种基于深度学习的激光线提取方法及系统
CN115601551A (zh) 对象识别方法、装置、存储介质及电子设备
CN113223037A (zh) 一种面向大规模数据的无监督语义分割方法及系统
Sleaman et al. Indoor mobile robot navigation using deep convolutional neural network
Konishi et al. Detection of target persons using deep learning and training data generation for Tsukuba challenge

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220704

Address after: 230000 room 306, building 3, Zone C, intelligent equipment science park, No. 3963 Susong Road, Hefei Economic and Technological Development Zone, Anhui Province

Applicant after: Hefei Hagong HUICAI Intelligent Technology Co.,Ltd.

Address before: 230601 intelligent equipment science and Technology Park, 3963 Susong Road, Hefei Economic and Technological Development Zone, Anhui Province

Applicant before: HRG INTERNATIONAL INSTITUTE FOR RESEARCH & INNOVATION

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant