CN110826604A - 一种基于深度学习的物料分拣方法 - Google Patents
一种基于深度学习的物料分拣方法 Download PDFInfo
- Publication number
- CN110826604A CN110826604A CN201911014911.9A CN201911014911A CN110826604A CN 110826604 A CN110826604 A CN 110826604A CN 201911014911 A CN201911014911 A CN 201911014911A CN 110826604 A CN110826604 A CN 110826604A
- Authority
- CN
- China
- Prior art keywords
- neural network
- image
- points
- convolutional neural
- identifying
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000000463 material Substances 0.000 title claims abstract description 61
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000013135 deep learning Methods 0.000 title claims abstract description 11
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 29
- 238000005516 engineering process Methods 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 24
- 238000012549 training Methods 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 230000002123 temporal effect Effects 0.000 claims description 3
- 238000002790 cross-validation Methods 0.000 claims description 2
- 238000005286 illumination Methods 0.000 claims description 2
- 238000013519 translation Methods 0.000 claims description 2
- 238000010200 validation analysis Methods 0.000 claims description 2
- 238000011176 pooling Methods 0.000 description 8
- 230000005284 excitation Effects 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 239000002453 shampoo Substances 0.000 description 2
- 239000013077 target material Substances 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000016776 visual perception Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012067 mathematical method Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于深度学习的物料分拣方法，具体为：1、物料图像识别与分辨：采集物料初始图像，采用卷积神经网络和图像增强技术对物料进行识别和分辨；2、利用动态规划求解抓取物料的最优路径；3、实现走点控制，规定一个正方向，算出两点之间的转角和距离，整个路径就是对两点走点的重复调用；4、物料抓取，完成分拣：采用Vector机器人自带的机械手臂对物料抓取。本发明物料识别精度高、速度快；物料运输速度快、容错率高。
Description
技术领域
本发明属于生产加工服务领域，具体涉及一种基于深度学习的物料分拣方法。
背景技术
越来越多的工厂逐渐信息化、现代化。其带来强大生产力的同时，也相应地增加了物料分拣的工作量。而传统的人工劳动力越来越难以胜任这份工作。重复、简单的物料分拣工作成为了现代工厂最棘手的问题。
当前已有的物料分拣机器人主要在物料识别、物料运输两个方面有明显的不足：
1.物料识别方面：当前已有的物料机器人在物料识别方面大多采用openCV(用于图像处理、分析、机器视觉方面的开源函数库)、BP神经网络(另一类深度学习的算法)等方法，具有识别率低、速度慢等缺点。
2.物料运输方面：当前已有的物料分拣机器人，其运输路线大多是采用固定的路线，一旦在运输过程中，有较大的干扰或偏离了设定的路线，就必须人工操作，帮助机器人重新工作；并且采用固定路线的运输模式，有较大的概率出现偏离路线的问题。
术语解释：
1.卷积神经网络(Convolutional Neural Networks,CNN)是一类包含卷积计算且具有深度结构的前馈神经网络(FeedforwardNeural Networks)，是深度学习(deeplearning)的代表算法之一。
2.图像增强(image enhancement)技术是一种改善图像质量、丰富信息量，加强图像判读和识别效果的图像处理技术。
3.Keras是一个由Python语言编写的神经网络库，主要用于深度学习模型的设计与调试。
发明内容
为解决上述问题，本发明提供一种基于深度学习的物料分拣方法，包括以下步骤：
步骤1：物料图像识别与分辨：采集物料初始图像，采用卷积神经网络和图像增强技术对物料进行识别和分辨，具体为：
(1)用Python语言编程，搭建卷积神经网络，同时其验证方法为交叉验证；
(2)用图像增强技术对物料样本进行处理，突出物料特征点；图像数据增强部分采用了Keras库中的图像增强函数，通过改变图片的光照、角度、缩放和平移属性，实现图像数据的增强；
(3)模型训练：用处理后的样本对神经网络进行训练，用数据转换算法实现图像数据与NP数组间的转化，将图像转化为NP数组后，输入到卷积神经网络中，用于识别；
(4)图像的识别并输出结果。
步骤2：利用动态规划求解抓取物料的最优路径，动态规划方程为：
fn+1(sn+1)＝0
其中，sk为第k阶段的状态变量；uk(sk)为第k阶段当状态处于sk时的决策变量；Dk(sk)为第k阶段从状态sk出发的允许决策集合；fk(sk)为最优值函数，距离函数；opt取min。
步骤3：实现走点控制，规定一个正方向，算出两点之间的转角和距离，整个路径就是对两点走点的重复调用；
步骤4：物料抓取，完成分拣：采用Vector机器人自带的机械手臂对物料抓取。
本发明的有益技术效果为：
1.物料识别精度高、速度快：在物料识别方面，本发明采用的是卷积神经网络和加图像增强技术，有明显的精度高、速度快等优点。
2.物料运输速度快、容错率高，基于技术环境情况，选择了稳定性比较好的动态规划来实现路径优化，然后使用模块化编程调用走点函数及其他行为函数实现整个运输流程，以自上而下达到目的。
附图说明
图1为本发明的流程图。
图2为卷积神经网络结构图。
具体实施方式
下面结合附图和具体实施方法对本发明做进一步详细说明。
本发明的一种基于深度学习的物料分拣方法流程图如图1所示，具体为：
1、图像识别
对于物料的识别和分辨，本发明采用的是卷积神经网络和图像增强技术。卷积神经网络仿造生物的视知觉(visualperception)机制构建，可以进行监督学习和非监督学习，具有输入层(inputlayer)、隐含层(hiddenlayer)、输出层(output layer)三层结构，如图2所示。
1.1输入层
卷积神经网络的输入层可以处理多维数据。一维卷积神经网络的输入层接收一维或二维数组，其中一维数组通常为时间或频谱采样；二维数组可能包含多个通道；二维卷积神经网络的输入层接收二维或三维数组；三维卷积神经网络的输入层接收四维数组。由于使用梯度下降算法进行学习，卷积神经网络的输入特征需要进行标准化处理。在将学习数据输入卷积神经网络前，需在对输入数据进行归一化。输入特征的标准化将提升卷积神经网络的学习效率和表现。
1.2隐含层
卷积神经网络的隐含层包含卷积层、池化层和全连接层3类常见构筑。
1.2.1卷积层
卷积层又包含卷积核、卷积层参数、激励函数三个方面。卷积层的功能是对输入数据进行特征提取，其内部包含多个卷积核，组成卷积核的每个元素都对应一个权重系数和一个偏差量(bias vector)，类似于一个前馈神经网络的神经元(neuron)。卷积层内每个神经元都与前一层中位置接近的区域的多个神经元相连，区域的大小取决于卷积核的大小，成为“感受野”。卷积核在工作时，会有规律地扫过输入特征，在感受野内对输入特征做矩阵元素乘法求和并叠加偏差量:
式中的求和部分等价于求解一次交叉相关(cross-correlation)。
卷积层参数包括卷积核大小、步长和填充，三者共同决定了卷积层输出特征图的尺寸，是卷积神经网络的超参数。其中卷积核大小可以指定为小于输入图像尺寸的任意值，卷积核越大，可提取的输入特征越复杂。卷积步长定义了卷积核相邻两次扫过特征图时位置的距离，卷积步长为1时，卷积核会逐个扫过特征图的元素，步长为n时会在下一次扫描跳过n-1个像素。
卷积层中包含激励函数以协助表达复杂特征，其表示形式如下：
激励函数操作通在卷积核之后，一些使用预激活(preactivation)技术的算法将激励函数置于卷积核之前。
1.2.2池化层
在卷积层进行特征提取后，输出的特征图会被传递至池化层进行特征选择和信息过滤。池化层包含预设定的池化函数，其功能是将特征图中单个点的结果替换为其相邻区域的特征图统计量。池化层选取池化区域与卷积核扫描特征图步骤相同，由池化大小、步长和填充控制。
1.3输出层
卷积神经网络中输出层的上游通常是全连接层，因此其结构和工作原理与传统前馈神经网络中的输出层相同。对于图像分类问题，输出层使用逻辑函数或归一化指数函数(softmax function)输出分类标签。在物体识别(object detection)问题中，输出层可设计为输出物体的中心坐标、大小和分类。在图像语义分割中，输出层直接输出每个像素的分类结果。
对物料进行识别和分辨，具体为：
(1)用Python语言编程，搭建卷积神经网络，用于训练与识别的神经网络则是一种卷积神经网络，其用途即为识别，具体结构参照了MINST例程中的卷积神经网络，同时其验证方法为交叉验证；
(2)用图像增强技术对物料样本进行处理，突出物料特征点；图像数据增强部分采用了Keras库中的图像增强函数，其目的是在小样本情况下扩充训练集，提高训练精度，本算法通过改变图片的光照、角度、缩放和平移属性，实现图像数据的增强；
(3)模型训练：用处理后的样本对神经网络进行训练，用数据转换算法实现图像数据与NP数组间的转化，将图像转化为NP数组后，输入到卷积神经网络中，用于识别；
(4)图像的识别并输出结果。
2、利用动态规划求解抓取物料的最优路径。动态规划是解决对阶段决策过程最优化的一种数学方法，将多阶段决策问题变换为一系列互相联系的单阶段的问题，然后做个求解。在路径规划问题中，存在这样的方程：
fn+1(sn+1)＝0
其中，sk为第k阶段的状态变量；uk(sk)为第k阶段当状态处于sk时的决策变量；Dk(sk)为第k阶段从状态sk出发的允许决策集合；fk(sk)为最优值函数，距离函数；opt取min。
3、通过动态规划计算出优化路径后，就是实现走点控制，规定一个正方向，算出两点之间的转角和距离，整个路径就是对两点走点的重复调用；
4、物料抓取，完成物料分拣：本发明采用的Vector机器人自带的机械手臂，只需要调用相关内置函数，即可实现抓取功能。
实施例：
我们使用Vector机器人对玩具熊(bear)、空白(none)、沐浴露(shampoo)和手环(circle)的物料图片进行识别。首先，我们使用Vector内置摄像机对目标物料进行360°的拍摄，将得到每种物料的20张图片增广至10000张图片作为训练集加入至网络中进行训练。训练完成后，我们又对每种物料随机角度拍摄100张图片检验网络的精确性。
得到的结果数据如表1：
表1物料图片识别结果
| Bear | None | Shampoo | Circle | |
| 识别数量 | 100 | 100 | 100 | 100 |
| 正确率 | 98％ | 96％ | 98％ | 97％ |
最终可以得出结论，本发明对物料的识别精确度平均达到97％，且在不同角度下均有较高的识别正确率。
本发明采用了使用动态规划对给定目标物料存储点进行预先路径规划，通过两点之间角度距离计算，使用机器人SDK控制机器人运动，进而进行机器人走路控制，实现自动走线进行物料运输。
Claims (3)
1.一种基于深度学习的物料分拣方法，其特征在于，包括以下步骤：
步骤1：物料图像识别与分辨：采集物料初始图像，采用卷积神经网络和图像增强技术对物料进行识别和分辨；
步骤2：利用动态规划求解抓取物料的最优路径；
步骤3：实现走点控制，规定一个正方向，算出两点之间的转角和距离，整个路径就是对两点走点的重复调用；
步骤4：物料抓取，完成分拣：采用Vector机器人自带的机械手臂对物料抓取。
2.根据权利要求1所述的一种基于深度学习的物料分拣方法，其特征在于，所述步骤1中对于物料的识别和分辨具体步骤如下：
(1)用Python语言编程，搭建卷积神经网络，同时其验证方法为交叉验证；
(2)用图像增强技术对物料样本进行处理，突出物料特征点；图像数据增强部分采用了Keras库中的图像增强函数，通过改变图片的光照、角度、缩放和平移属性，实现图像数据的增强；
(3)模型训练：用处理后的样本对神经网络进行训练，用数据转换算法实现图像数据与NP数组间的转化，将图像转化为NP数组后，输入到卷积神经网络中，用于识别；
(4)图像的识别并输出结果。
3.根据权利要求1所述的一种基于深度学习的物料分拣方法，其特征在于，所述步骤2中动态规划方程为：
fn+1(sn+1)＝0
其中，sk为第k阶段的状态变量；uk(sk)为第k阶段当状态处于sk时的决策变量；Dk(sk)为第k阶段从状态sk出发的允许决策集合；fk(sk)为最优值函数，距离函数；opt取min。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911014911.9A CN110826604A (zh) | 2019-10-24 | 2019-10-24 | 一种基于深度学习的物料分拣方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911014911.9A CN110826604A (zh) | 2019-10-24 | 2019-10-24 | 一种基于深度学习的物料分拣方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110826604A true CN110826604A (zh) | 2020-02-21 |
Family
ID=69550488
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911014911.9A Pending CN110826604A (zh) | 2019-10-24 | 2019-10-24 | 一种基于深度学习的物料分拣方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110826604A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111958601A (zh) * | 2020-08-19 | 2020-11-20 | 西南交通大学 | 一种基于深度学习的自动化寻径与物料识别方法 |
| CN114345717A (zh) * | 2022-03-14 | 2022-04-15 | 北京物资学院 | 一种货物分拣装置 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102830702A (zh) * | 2012-09-07 | 2012-12-19 | 无锡普智联科高新技术有限公司 | 一种用于密集存储区域的移动机器人路径规划方法 |
| CN108098776A (zh) * | 2017-12-29 | 2018-06-01 | 深圳市越疆科技有限公司 | 一种自动抓取方法、装置、机械手及存储介质 |
| CN109483554A (zh) * | 2019-01-22 | 2019-03-19 | 清华大学 | 基于全局和局部视觉语义的机器人动态抓取方法及系统 |
| CN109926342A (zh) * | 2019-03-27 | 2019-06-25 | 杭州翼道智能科技有限公司 | 一种快递高效分拣系统及其分拣方法 |
| CN109978453A (zh) * | 2019-03-14 | 2019-07-05 | 济南千一智能科技有限公司 | 物料自动化识别和仿真装配系统 |
| WO2019138834A1 (ja) * | 2018-01-12 | 2019-07-18 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラム、およびシステム |
| CN110119844A (zh) * | 2019-05-08 | 2019-08-13 | 中国科学院自动化研究所 | 引入情绪调控机制的机器人运动决策方法、系统、装置 |
| CN110202583A (zh) * | 2019-07-09 | 2019-09-06 | 华南理工大学 | 一种基于深度学习的仿人机械手控制系统及其控制方法 |
-
2019
- 2019-10-24 CN CN201911014911.9A patent/CN110826604A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102830702A (zh) * | 2012-09-07 | 2012-12-19 | 无锡普智联科高新技术有限公司 | 一种用于密集存储区域的移动机器人路径规划方法 |
| CN108098776A (zh) * | 2017-12-29 | 2018-06-01 | 深圳市越疆科技有限公司 | 一种自动抓取方法、装置、机械手及存储介质 |
| WO2019138834A1 (ja) * | 2018-01-12 | 2019-07-18 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラム、およびシステム |
| CN109483554A (zh) * | 2019-01-22 | 2019-03-19 | 清华大学 | 基于全局和局部视觉语义的机器人动态抓取方法及系统 |
| CN109978453A (zh) * | 2019-03-14 | 2019-07-05 | 济南千一智能科技有限公司 | 物料自动化识别和仿真装配系统 |
| CN109926342A (zh) * | 2019-03-27 | 2019-06-25 | 杭州翼道智能科技有限公司 | 一种快递高效分拣系统及其分拣方法 |
| CN110119844A (zh) * | 2019-05-08 | 2019-08-13 | 中国科学院自动化研究所 | 引入情绪调控机制的机器人运动决策方法、系统、装置 |
| CN110202583A (zh) * | 2019-07-09 | 2019-09-06 | 华南理工大学 | 一种基于深度学习的仿人机械手控制系统及其控制方法 |
Non-Patent Citations (2)
| Title |
|---|
| 郭鹏: "具有分段恶化效应生产过程的智能优化调度研究", 《中国优秀博硕士学位论文全文数据库(博士)工程科技Ⅱ辑》 * |
| 黄建等: "《运筹学》", 31 January 2018, 湖南师范大学出版社 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111958601A (zh) * | 2020-08-19 | 2020-11-20 | 西南交通大学 | 一种基于深度学习的自动化寻径与物料识别方法 |
| CN114345717A (zh) * | 2022-03-14 | 2022-04-15 | 北京物资学院 | 一种货物分拣装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114937151B (zh) | 基于多感受野和注意力特征金字塔的轻量级目标检测方法 | |
| CN113705769B (zh) | 一种神经网络训练方法以及装置 | |
| CN108491880B (zh) | 基于神经网络的物体分类和位姿估计方法 | |
| US20190228268A1 (en) | Method and system for cell image segmentation using multi-stage convolutional neural networks | |
| CN112446388A (zh) | 一种基于轻量化二阶段检测模型的多类别蔬菜幼苗识别方法及系统 | |
| CN112418392A (zh) | 一种神经网络构建方法以及装置 | |
| CN112241679B (zh) | 一种垃圾自动分类的方法 | |
| WO2018052586A1 (en) | Method and system for multi-scale cell image segmentation using multiple parallel convolutional neural networks | |
| CN105772407A (zh) | 一种基于图像识别技术的垃圾分类机器人 | |
| CN110222718B (zh) | 图像处理的方法及装置 | |
| CN112070768B (zh) | 基于Anchor-Free的实时实例分割方法 | |
| CN110363253A (zh) | 一种基于卷积神经网络的热轧带钢表面缺陷分类方法 | |
| WO2021218470A1 (zh) | 一种神经网络优化方法以及装置 | |
| CN106919710A (zh) | 一种基于卷积神经网络的方言分类方法 | |
| CN109815920A (zh) | 基于卷积神经网络和对抗卷积神经网络的手势识别方法 | |
| Mamatkulovich | Lightweight residual layers based convolutional neural networks for traffic sign recognition | |
| Daood et al. | Sequential recognition of pollen grain Z-stacks by combining CNN and RNN | |
| CN112749675A (zh) | 一种基于卷积神经网络的马铃薯病害识别方法 | |
| CN110110724A (zh) | 基于指数型挤压函数驱动胶囊神经网络的文本验证码识别方法 | |
| CN110826604A (zh) | 一种基于深度学习的物料分拣方法 | |
| CN109325533A (zh) | 一种人工智能框架进行cnn迭代训练方法 | |
| CN115018039A (zh) | 一种神经网络蒸馏方法、目标检测方法以及装置 | |
| CN114882423A (zh) | 一种基于改进Yolov5m模型和DeepSort的货车入库货物识别方法 | |
| CN111310820A (zh) | 基于交叉验证深度cnn特征集成的地基气象云图分类方法 | |
| CN116563660A (zh) | 一种基于预训练大模型的图像处理方法及相关装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200221 |