CN110135503B - 一种装配机器人零件深度学习识别方法 - Google Patents

一种装配机器人零件深度学习识别方法 Download PDF

Info

Publication number
CN110135503B
CN110135503B CN201910416011.0A CN201910416011A CN110135503B CN 110135503 B CN110135503 B CN 110135503B CN 201910416011 A CN201910416011 A CN 201910416011A CN 110135503 B CN110135503 B CN 110135503B
Authority
CN
China
Prior art keywords
network
yolov3
center
target
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910416011.0A
Other languages
English (en)
Other versions
CN110135503A (zh
Inventor
余永维
彭西
杜柳青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Technology
Original Assignee
Chongqing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Technology filed Critical Chongqing University of Technology
Priority to CN201910416011.0A priority Critical patent/CN110135503B/zh
Publication of CN110135503A publication Critical patent/CN110135503A/zh
Application granted granted Critical
Publication of CN110135503B publication Critical patent/CN110135503B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种装配机器人零件深度学习识别方法，包括如下步骤，先使用工业相机获取待识别工件的图像，再采用YOLOv3网络对图像进行识别，输出零件类别和位置信息；所述YOLOv3网络包括5个残差网络块，其特征在于，对每个残差网络块后引入CFENet模块，将CFENet模块融入到Darknet‑53特征提取网络进行图像特征提取。本发明具有不仅能够识别正常位姿下的工件，而且对相机过度曝光和工件相互遮挡等复杂情况中的零件具有较好的检测效果，识别准确率高等优点。

Description

一种装配机器人零件深度学习识别方法
技术领域
本发明涉及零件识别技术领域，特别的涉及一种装配机器人零件深度学习识别方法。
背景技术
工件的识别和定位是机器视觉中的重要组成部分，近几年，伴随着机器视觉在工业自动化中的广泛应用，对识别正确率和定位精度提出了更高的要求。传统机器视觉的目标检测方法基于人工设计的特征提取器，通过HARRIS角点检测，SURF算法，方向梯度直方图或基于边缘像素跃迁等方法获取特征分类器，以达到工件检测的目的。由人工设计的特征分类器鲁棒性偏低，无法适应目标工件出现如相互堆叠等变化较大的情形。
深度卷积神经网络可以自主对要识别的目标特征进行学习，完善分类器模型，整个过程不需要人工干预，训练得到的特征泛化性远高于人工提取的特征。目前应用广泛的卷积神经网络目标识别和检测主要分为基于区域的目标识别(如Mask R-CNN,R-FCN等)和基于回归的目标识别(如YOLO，SSD等)两类。基于区域的目标识别算法对目标的定位精度已经很高，但是检测速度依然存在问题，如Faster-RCNN等。基于回归算法的YOLO系列检测速度快，但是速度与Faster-RCNN相对偏低。Joseph Redmon等人通过维度聚类，引入残差网络模块和多尺度预测的改进方法在2018年提出了YOLOv3网络，相比之前的YOLO和YOLOv2网络，在保证识别速度的同时，大幅提升识别准确率。尽管YOLOv3在YOLOv2的基础上改善了对小目标检测效果，但面对机器视觉系统中一些由如光源等环境因素导致的特征不明显的小工件时仍缺乏鲁棒性，容易出现漏检和误检的情况。
发明内容
针对上述现有技术的不足，本发明所要解决的技术问题是：如何提供一种不仅能够识别正常位姿下的工件，而且对相机过度曝光和工件相互遮挡等复杂情况中的零件具有较好的检测效果，识别准确率高的装配机器人零件深度学习识别方法。
为了解决上述技术问题，本发明采用了如下的技术方案：
一种装配机器人零件深度学习识别方法，包括如下步骤，先使用工业相机获取待识别工件的图像，再采用YOLOv3网络对图像进行识别，输出零件类别和位置信息；所述YOLOv3网络包括5个残差网络块，其特征在于，对每个残差网络块后引入CFENet模块，将CFENet模块融入到Darknet-53特征提取网络进行图像特征提取。
进一步的，所述CFENet模块的卷积核尺寸k与所述YOLOv3网络的卷积核尺寸k一致，通过将上层输入特征网络经过两个并行且梯度方向相反的kx1和1xk卷积处理，之后再进行特征融合，最后通过短连接的方式与输入特征网络层形成残差连接得到。
进一步的，在使用YOLOv3网络对图像进行识别时，先在整个特征提取网络的末端输出13x13大小的特征向量实现对待检测图像中尺寸最大类的目标的检测，在浅层网络中分别进行中等尺寸类和小尺寸类的目标检测，同时将深层网络中的特征信息通过上采样的方式与浅层特征进行特征融合，提升对目标的检测效果，最后将三种尺度的检测结果进行非极大值抑制后输出最终检测结果。
进一步的，在使用YOLOv3网络对图像进行识别时，采用K-means算法进行聚类分析选取最优的先验框个数和尺寸，具体为：
先将随机选取K个标记框作为聚类中心，采用如下公式计算每一个标记框与聚类中心的距离：
Figure GDA0003622463490000021
w,h为标记框的宽和高；下标box和centroid分别表示标记框和聚类中心；根据邻近原则将每一个标记框划分到对应的聚类中心；
设目标函数f(x)为每个矩形标记框样本与其对应聚类中心距离和为：
Figure GDA0003622463490000022
式中，i表示第i个聚类中心，总共有K个聚类中心；j表示一个聚类中心中的第j个标记框，一个聚类中心总共有n个标记框；
再计算每个聚类中心中所有样本的平均值以更新(w,h)，直至聚类中心的(w,h)不再变化或者达到最大迭代次数为止，则此时的聚类中心个数与尺寸即为最优先验框个数与尺寸。
进一步的，采用爬山法选取k值和标记框的尺寸，随着聚类中心的个数增加，目标函数f(x)的变化越来越小，在目标函数f(x)的曲线上，选择拐点处的k值作为聚类中心个数。
进一步的，在边界框预测阶段，YOLOv3将图片分成SxS个网络，目标物体的中心所在网格负责预测目标物体的类别和坐标；在训练阶段YOLOv3直接预测目标物体中心点的坐标相对于网格的偏移量，其公式如下：
Figure GDA0003622463490000023
Figure GDA0003622463490000024
其中x,y为物体中心点的坐标，width,height为原图的宽和高，使用Sigmoid激活函数使得计算结果在[0,1]之间。
综上所述，本发明具有不仅能够识别正常位姿下的工件，而且对相机过度曝光和工件相互遮挡等复杂情况中的零件具有较好的检测效果，识别准确率高等优点。
附图说明
图1为本发明方法的识别流程图。
图2为本实施例的YOLOv3架构图。
图3为本实施例使用的CFE模型图。
图4为本实施例的CFE-Darknet-53网络结构图。
图5为本实施例中k-means迭代求解过程图。
图6为边界框预测阶段的网格示意图。
图7～图11本实施例中不同类型零件的照片。
图12为目标函数变化曲线。
图13为训练损失值变化曲线。
图14～图18为对单类零件进行识别检测的效果图。
图19～图22为对多类零件混合状态进行识别的效果图。
具体实施方式
下面结合实施例对本发明作进一步的详细说明。
本实施例以YOLOv3算法为基础，针对机器视觉系统中的零件检测进行特征提取网络结构优化改进，使不仅能够识别正常位姿下的工件，而且对相机过度曝光和工件相互遮挡等复杂情况情况中的零件都具有很好的检测效果。整个识别过程如下图1所示。
1、基于YOLOv3的零件实时识别原理
YOLOv3基于ResNet和YOLOv2中Darknet-19网络结构设计了一个新的基础分类网络Darknet-53，共包含53个卷积层。网络中只使用1x1和3x3的小卷积核，在降低参数的同时产生更多的滤波器，以此来获得更具区分性的映射函数，降低出现过拟合的可能；使用步长为2的卷积核替代池化层进行降维操作，最大限度的保持信息的完整性；多次使用残差网络连接，将深层神经网络逐层训练的方式改为逐阶训练并将深层神经网络分为若干个子段，对每个子段进行残差网络训练以保证在增加网络深度的同时让网络参数保持在最优状态，最终达到总体较小的训练损失值。Darknet53与其他网络的性能对比如表1.1所示，与目前先进的分类网络相比，Darknet53性能相近，但浮点运算更少，速度更快。
表1.1各特征提取网络性能对比
Figure GDA0003622463490000031
考虑到部分特征在深层卷积网络的作用下容易出现特征丢失的情况，YOLOv3最终通过三种不同尺度的特征向量对被检测图片进行处理，解决了YOLOv2对小尺寸和紧密相邻目标检测效果不佳的问题，本实施例通过在Darknet-53中五个残差连接后插入CFENet模块以此来增强基础网络的特征提取能力，如图2所示。
首先在整个特征提取网络的末端输出13x13大小的特征向量实现对待检测图片中尺寸最大类的目标的检测，在浅层网络中分别进行中等尺寸类和小尺寸类的目标检测，与此同时将深层网络中的特征信息通过上采样的方式与浅层特征进行特征融合进一步提升对目标的检测效果，最后将三种尺度的检测结果进行非极大值抑制后输出最终检测结果。
2、融合CFENet和Darknet-53的特征提取网络构建
尽管YOLOv3在YOLOv2的基础上改善了对小目标检测效果，但面对机器视觉系统中一些由如光源等环境因素导致的特征不明显的小工件时仍缺乏鲁棒性，容易出现漏检和误检的情况。因此本实施例对YOLOv3中的基础特征提取网络Darknet-53进行优化，提升整个网络对复杂环境下工业相机采集的图像特征的提取能力。
CFENet模型由北京大学阿里巴巴人工智能实验室QiJieZhao等人提出，它是目前提升单步回归目标检测算法性能最好的模型之一，尤其在小目标检测效果提升方面。CFENet可以强化浅层特征并进行横向拉伸，增强网络对上层信息得传递能力。并且将上层网络信息通过两个不同的分支并行的传递到下一层，遵循分裂-转换-聚合的策略，内嵌入更多的子空间。将kxk的卷积核分解为kx1和1xk，使得CFENet网络在保持感受野的同时提高了网络的执行效率以及降低训练间，如图3所示为修改参数后的CFE模型。
在改进过程中为了提高网络训练效率，与原网络选取卷积核尺寸一致，即k＝3。将上层输入特征网络经过两个并行且梯度方向相反的3x1和1x3卷积处理，之后再进行特征融合，最后通过短连接的方式与输入特征网络层形成残差连接得到CFENet模块。通过的两个分支的始末均有的卷积核为1x1在保持感受野的同时学习更多的非线性关系增强模型特征的泛化能力，在卷积层后面使用正则化(BN)与非线性激活函数(ReLU)是为了避免梯度消失和过拟合的情况，这一结构目前在卷积神经网络算法中被广泛使用。
考虑到原特征提取Darknet-53网络中每个残差连接层融合了不同层次的特征信息，所以对Darknet-53的改进方案是在每个残差网络块后引入CFENet模块以增加原网络的宽度，提升网络对特征的提取能力和传输能力。将CFNet融入到Darknet-53特征提取网络得到新的特征提取网络CFE-Darknet-53，改进后的基础特征提取网络结构如图4所示。
3、边界框预测方法
相对于本实施例数据集中零件尺寸的宽高比，原YOLOv3网络中的锚框(anchorbox)个数和尺寸并不适用，需重新根据本实施例的数据集采用K-means进行聚类分析选取最优的锚框个数和尺寸。K-means算法中通常使用欧氏距离、切比雪夫距离等方式来衡量样本与聚类中心的关系，但由于使用先验框的目的是预测框与目标零件真实的边界框之间有更高的IOU(交并比)且与目标位置无关，所以本实施例使用的距离公式为：
Figure GDA0003622463490000051
式中，w和h分别为标记框的宽和高。设置目标函数f(x)为每个矩形标记框样本与其对应聚类中心距离和为：
Figure GDA0003622463490000052
K-means聚类分析的目的就是通过调整k的值让目标函数调整到无明显变化。首先将随机选取k个标记框作为聚类中心，根据式(3-1)计算每一个标记框与聚类中心的距离，根据邻近原则将每一个标记框划分到对应的聚类中心，其次计算每个聚类中心中所有样本的平均值以更新(w,h)，直至聚类中心的(w,h)不再变化或者达到最大迭代次数为止，则输出聚类中心的个数以及尺寸，迭代过程如图5所示。
实验中采用爬山法选取k值和anchor boxes(先验框)的尺寸，当聚类中心个数增加到一定值时，目标函数f(x)的变化越来越小，选择拐点处k值作为聚类中心个数。
在边界框预测阶段YOLOv3将图片分成SxS个网格，目标物体中心在哪个网格内那么该网格就负责预测目标的类别和坐标。如图6所示，只有网格1包含了物体中心M，那么它就是正例，网格2和3无论与真实边界框的IOU多高，只要不包含物体中心均为负例。
在训练阶段YOLO直接预测坐标相对于网格的偏移量，其计算公式如式(3-3)所示：
Figure GDA0003622463490000053
Figure GDA0003622463490000054
其中，x，y为物体中心点的坐标，width，height为原图的宽和高，为了增加约束使用Sigmoid激活函数使得计算结果在[0,1]之间。
4、实验分析
4.1、实验准备
本实施例实验软硬件平台：CPU:Intel(R)Core(TM)i7-8700；GPU：NVIDIA GeForceGTX 1060；工业相机：海康MV-CE013-50GM；光源：乐视LTS-RN9600-R/BGW；操作系统：ubuntu14.04LTS；深度学习框架：Darknet。
使用工业相机对5种工件任意位姿进行采图1000张，包含过度曝光、背景变换、相互堆叠遮挡等各种复杂情况。随机选取200张作为测试集，800张作为训练集。零件类型如图7～图11所示。
为了标记方便，以A表示图7中的M10尼龙自锁螺母，以B表示图8中的M10法兰螺母，以C表示图9中的M8压铆螺母，以D表示图10中的S型压铆螺母，以E表示图11中的M5滚花铜镶螺母。
使用LabelImg对上述样本进行标注完成数据集的制作，使用k-means进行对数据集中的矩形标记框进行统计分析的目标函数的变化曲线如图12所示。
从图中可以发现当k＝12后，随着聚类中心增加距离函数的值不再明显变小，其对应的聚类中心参数排序后为：(36,45，(38,52)，(43,56)，(49,62)，(67,93)，(71,91)，(70,99)，(73,98)，(92,125)，(100,124)，(102,132)，(105,140)。
4.2、网络训练
训练采用学习率为0.001，每一批样本训练数量batch＝64，动量项参数为0.9的Momentum梯度下降算法，权重衰减系数decay＝0.0005。经过25000次迭代训练后得到最终的权重文件，实验表明当训练网络迭代次数超过一定数量后会出现过拟合现象，故每迭代500次保存一次权重文件，以得到识别效果最佳的权重文件。图13为训练过程中损失值的收敛曲线，横坐标表示迭代次数，最大值为25000。从图中可以看出当迭代次数达到10000次时候，各项参数趋于稳定，最后损失值收敛至0.0352。
考虑到网络的训练次数过多时可能会出现过拟合现象，因此本实施例训练次数每增加1000则保存一次权重文件，随机选择测试集的50张图片对迭代7500次至25000次之间得到的权重文件用召回率进行测试，召回率P的公式为：
P＝TP/(TP+FN) (4-1)
其中TP表示被正确检测出的零件个数，FN表示没有被正确检测到的零件个数。
测试结果如表4.1所示：
表4.1 迭代次数与召回率
Figure GDA0003622463490000061
4.1、识别结果
表4.2 单类零件检测数据
Figure GDA0003622463490000062
Figure GDA0003622463490000071
(1)单类零件识别效果如图14～图18所示，由图中对零件的检测结果发现本模型对单个零件不同情况下的检测效果良好，能够满足实际生产中对零件的识别要求。如上表4.2所示为本实施例改进的算法针对单种零件在正常情况下与多种复杂情况下检测数据。五种零件在两种情况下均测试了30张图像。结果表明对正常情况下单个零件的检测正确率都在在90％以上，而其他复杂情况下识别率有所降低但都在85％以上。
其中，图14为对单一的M10尼龙自锁螺母进行识别检测的效果图，图15为对单一的M10法兰螺母进行识别检测的效果图，图16为对单一的M8压铆螺母进行识别检测的效果图，图17为对单一的S型压铆螺母进行识别检测的效果图，图18为对单一的M5滚花铜镶螺母进行识别检测的效果图。
(2)对多类零件混合状态进行识别的效果如图19～图22所示，其中，图19为平铺状态下对多类零件混合进行识别检测的效果图，图20为相互遮挡状态下对多类零件混合进行识别检测的效果图，图21为深色背景下对多类零件混合进行识别检测的效果图，图22为过度曝光状态下对多类零件混合进行识别检测的效果图。
表4.3为分别选择50张正常情况下和复杂情况下的零件图片对YOLOv3和本实施例改进后的方法进行检测效果对比，其中正常情况下共有239个零件，复杂情况下共有261个零件。结果表明本实施例方法的性能要优于YOLOv3算法。
表4.3 与其他算法对比数据
Figure GDA0003622463490000072
5、总结
本实施例以识别复杂采图环境下目标工件为目的，基于YOLOv3的网络结构提出CFE-Darknet53改进版的特征提取网络，并利用k-means寻找到最优的anchor个数和尺寸，从实验结果来看，显著提升对复杂情况下工件的识别能力并降低漏检率。
以上所述仅为本发明的较佳实施例而已，并不以本发明为限制，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种装配机器人零件深度学习识别方法，包括如下步骤，先使用工业相机获取待识别工件的图像，再采用YOLOv3网络对图像进行识别，输出零件类别和位置信息；所述YOLOv3网络包括5个残差网络块，其特征在于，对每个残差网络块后引入CFE模块，将CFE模块融入到Darknet-53特征提取网络进行图像特征提取；
在使用YOLOv3网络对图像进行识别时，采用K-means算法进行聚类分析选取最优的先验框个数和尺寸，具体为：
先将随机选取K个标记框作为聚类中心，采用如下公式计算每一个标记框与聚类中心的距离：
Figure FDA0003622463480000011
w,h为标记框的宽和高；下标box和centroid分别表示标记框和聚类中心；根据邻近原则将每一个标记框划分到对应的聚类中心；
设目标函数f(x)为每个矩形标记框样本与其对应聚类中心距离和为：
Figure FDA0003622463480000012
式中，i表示第i个聚类中心，总共有K个聚类中心；j表示一个聚类中心中的第j个标记框，一个聚类中心总共有n个标记框；
再计算每个聚类中心中所有样本的平均值以更新(w,h)，直至聚类中心的(w,h)不再变化或者达到最大迭代次数为止，则此时的聚类中心个数与尺寸即为最优先验框个数与尺寸；采用爬山法选取K值和标记框的尺寸，随着聚类中心的个数增加，目标函数f(x)的变化越来越小，在目标函数f(x)的曲线上，选择拐点处的K值作为聚类中心个数。
2.如权利要求1所述的装配机器人零件深度学习识别方法，其特征在于，所述CFE模块的卷积核尺寸k与所述YOLOv3网络的卷积核尺寸k一致，通过将上层输入特征网络经过两个并行且梯度方向相反的kx1和1xk卷积处理，之后再进行特征融合，最后通过短连接的方式与输入特征网络层形成残差网络得到。
3.如权利要求1所述的装配机器人零件深度学习识别方法，其特征在于，在使用YOLOv3网络对图像进行识别时，先在整个特征提取网络的末端输出13x13大小的特征向量实现对待检测图像中尺寸最大类的目标的检测，在浅层网络中分别进行中等尺寸类和小尺寸类的目标检测，同时将深层网络中的特征信息通过上采样的方式与浅层特征进行特征融合，提升对目标的检测效果，最后将三种尺度的检测结果进行非极大值抑制后输出最终检测结果。
4.如权利要求1所述的装配机器人零件深度学习识别方法，其特征在于，在边界框预测阶段，YOLOv3将图片分成SxS个网格 ，目标物体的中心所在网格负责预测目标物体的类别和坐标；在训练阶段YOLOv3直接预测目标物体中心点的坐标相对于网格的偏移量，其公式如下：
Figure FDA0003622463480000021
Figure FDA0003622463480000022
其中x,y为物体中心点的坐标，width,height为原图的宽和高，使用Sigmoid激活函数使得计算结果在[0,1]之间。
CN201910416011.0A 2019-05-19 2019-05-19 一种装配机器人零件深度学习识别方法 Active CN110135503B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910416011.0A CN110135503B (zh) 2019-05-19 2019-05-19 一种装配机器人零件深度学习识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910416011.0A CN110135503B (zh) 2019-05-19 2019-05-19 一种装配机器人零件深度学习识别方法

Publications (2)

Publication Number Publication Date
CN110135503A CN110135503A (zh) 2019-08-16
CN110135503B true CN110135503B (zh) 2022-07-12

Family

ID=67571509

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910416011.0A Active CN110135503B (zh) 2019-05-19 2019-05-19 一种装配机器人零件深度学习识别方法

Country Status (1)

Country Link
CN (1) CN110135503B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110765904A (zh) * 2019-10-11 2020-02-07 浙江新再灵科技股份有限公司 基于电梯场景人群消费指数预测的装置及方法
CN110889324A (zh) * 2019-10-12 2020-03-17 南京航空航天大学 一种基于yolo v3面向末端制导的热红外图像目标识别方法
CN110765960B (zh) * 2019-10-29 2022-03-04 黄山学院 一种自适应多任务深度学习的行人再识别方法
CN111062278B (zh) * 2019-12-03 2023-04-07 西安工程大学 基于改进残差网络的异常行为识别方法
CN111080598B (zh) * 2019-12-12 2020-08-28 哈尔滨市科佳通用机电股份有限公司 一种钩尾销安全吊的螺栓、螺母缺失检测方法
CN111210408A (zh) * 2019-12-30 2020-05-29 南京航空航天大学 一种基于射线图像的复合材料缺陷识别方法
CN111259800A (zh) * 2020-01-16 2020-06-09 天津大学 一种基于神经网络的无人驾驶专用车辆检测方法
CN111429418A (zh) * 2020-03-19 2020-07-17 天津理工大学 一种基于YOLO v3神经网络的工业零件检测方法
CN111310738A (zh) * 2020-03-31 2020-06-19 青岛讯极科技有限公司 一种基于深度学习的远光灯车辆抓拍方法
CN111753666B (zh) * 2020-05-21 2024-01-23 西安科技大学 输电线路中小目标故障检测方法、检测系统及存储介质
CN112170233B (zh) * 2020-09-01 2021-08-06 燕山大学 基于深度学习的小型零件分拣方法及其分拣系统
CN114429556A (zh) * 2020-10-15 2022-05-03 中移动信息技术有限公司 一种图片稽核方法及装置
CN112749741B (zh) * 2020-12-30 2021-10-01 哈尔滨市科佳通用机电股份有限公司 一种基于深度学习的手闸紧固故障识别方法
CN113343355B (zh) * 2021-06-08 2022-10-18 四川大学 基于深度学习的飞机蒙皮型面检测路径规划方法
CN113469178B (zh) * 2021-07-05 2024-03-01 安徽南瑞继远电网技术有限公司 一种基于深度学习的电力表计识别方法
CN116433761B (zh) * 2023-03-09 2024-03-12 北京瓦特曼智能科技有限公司 垛式工件坐标定位方法、装置及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3330898A1 (en) * 2016-12-01 2018-06-06 Altera Corporation Method and apparatus for performing different types of convolution operations with the same processing elements
CN108846826A (zh) * 2018-04-24 2018-11-20 深圳大学 物体检测方法、装置、图像处理设备及存储介质
CN109064461A (zh) * 2018-08-06 2018-12-21 长沙理工大学 一种基于深度学习网络的钢轨表面缺陷检测方法
CN109344821A (zh) * 2018-08-30 2019-02-15 西安电子科技大学 基于特征融合和深度学习的小目标检测方法
CN109409309A (zh) * 2018-11-05 2019-03-01 电子科技大学 一种基于人体检测的智能报警系统和方法
CN109711326A (zh) * 2018-12-25 2019-05-03 云南大学 一种基于浅层残差网络的视频目标检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014134527A1 (en) * 2013-02-28 2014-09-04 Auxogyn, Inc. Apparatus, method, and system for automated, non-invasive cell activity tracking

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3330898A1 (en) * 2016-12-01 2018-06-06 Altera Corporation Method and apparatus for performing different types of convolution operations with the same processing elements
CN108846826A (zh) * 2018-04-24 2018-11-20 深圳大学 物体检测方法、装置、图像处理设备及存储介质
CN109064461A (zh) * 2018-08-06 2018-12-21 长沙理工大学 一种基于深度学习网络的钢轨表面缺陷检测方法
CN109344821A (zh) * 2018-08-30 2019-02-15 西安电子科技大学 基于特征融合和深度学习的小目标检测方法
CN109409309A (zh) * 2018-11-05 2019-03-01 电子科技大学 一种基于人体检测的智能报警系统和方法
CN109711326A (zh) * 2018-12-25 2019-05-03 云南大学 一种基于浅层残差网络的视频目标检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CFENet: An Accurate and Efficient Single-Shot Object Detector for Autonomous Driving;Qijie Zhao等;《Asia Conference on Computer Vision(ACCV 2018)》;ACCV2018;20181231;1-6 *

Also Published As

Publication number Publication date
CN110135503A (zh) 2019-08-16

Similar Documents

Publication Publication Date Title
CN110135503B (zh) 一种装配机器人零件深度学习识别方法
CN110059558B (zh) 一种基于改进ssd网络的果园障碍物实时检测方法
WO2020177432A1 (zh) 基于目标检测网络的多标签物体检测方法、系统、装置
CN108038435B (zh) 一种基于卷积神经网络的特征提取与目标跟踪方法
CN113569667B (zh) 基于轻量级神经网络模型的内河船舶目标识别方法及系统
CN111652317B (zh) 基于贝叶斯深度学习的超参数图像分割方法
CN112598713A (zh) 一种基于深度学习的近岸海底鱼类检测、跟踪统计方法
CN110569782A (zh) 一种基于深度学习目标检测方法
CN110008853B (zh) 行人检测网络及模型训练方法、检测方法、介质、设备
CN111967464B (zh) 一种基于深度学习的弱监督目标定位方法
CN114240978B (zh) 基于自适应形态学的细胞边缘分割方法和装置
CN113111979A (zh) 模型训练方法、图像检测方法及检测装置
CN112164115A (zh) 物体位姿识别的方法、装置及计算机存储介质
CN112926486A (zh) 一种舰船小目标的改进RFBnet目标检测算法
CN114359199A (zh) 一种基于深度学习的鱼类计数方法、装置、设备和介质
CN117011260A (zh) 一种芯片外观缺陷自动检测方法、电子设备及存储介质
CN113536896B (zh) 基于改进Faster RCNN的绝缘子缺陷检测方法、装置及存储介质
CN111429481A (zh) 一种基于自适应表达的目标追踪方法、装置及终端
Yang et al. An improved algorithm for the detection of fastening targets based on machine vision
CN115239760A (zh) 一种目标跟踪方法、系统、设备及存储介质
CN117746077A (zh) 一种芯片缺陷的检测方法、装置、设备和存储介质
CN116778482B (zh) 胚胎图像卵裂球目标检测方法、计算机设备及存储介质
Amritraj et al. An Automated and Fine-Tuned Image Detection and Classification System for Plant Leaf Diseases
CN116091784A (zh) 一种目标跟踪方法、设备及存储介质
Shishkin et al. Implementation of yolov5 for detection and classification of microplastics and microorganisms in marine environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant