CN114862955B - 一种工业机器人快速视觉定位方法 - Google Patents

一种工业机器人快速视觉定位方法 Download PDF

Info

Publication number
CN114862955B
CN114862955B CN202210791190.8A CN202210791190A CN114862955B CN 114862955 B CN114862955 B CN 114862955B CN 202210791190 A CN202210791190 A CN 202210791190A CN 114862955 B CN114862955 B CN 114862955B
Authority
CN
China
Prior art keywords
loss function
convolution
cross entropy
representing
entropy loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210791190.8A
Other languages
English (en)
Other versions
CN114862955A (zh
Inventor
闫明正
田新诚
闫新兴
甄守乐
付黎伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nobot Intelligent Equipment Shandong Co ltd
Original Assignee
Nobot Intelligent Equipment Shandong Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nobot Intelligent Equipment Shandong Co ltd filed Critical Nobot Intelligent Equipment Shandong Co ltd
Priority to CN202210791190.8A priority Critical patent/CN114862955B/zh
Publication of CN114862955A publication Critical patent/CN114862955A/zh
Application granted granted Critical
Publication of CN114862955B publication Critical patent/CN114862955B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种工业机器人快速视觉定位方法，属于智能定位技术领域；包括以下步骤：获取需要定位的物品数据集，并构建卷积神经网络；基于综合损失函数，并采用数据集对构建的卷积神经网络进行训练，直至综合损失函数收敛，获取训练好的卷积神经网络；根据多个网络拟合准确程度拟合出准确性曲线；根据准确性曲线的斜率获取最佳的含无用特征的卷积分组数目；将最佳的含无用特征的卷积分组数目对应的卷积核进行剪枝去除，获取小参数卷积神经网络；本发明通过将含有无用特征的卷积层对应的卷积核网络参数进行剪枝处理获取的小参数量网络，提高工业机器人的视觉定位速度。

Description

一种工业机器人快速视觉定位方法
技术领域
本发明涉及智能定位技术领域，具体涉及一种工业机器人快速视觉定位方法。
背景技术
随着社会经济的发展、工业化的推进，工业机器人在生产中的使用量越来越广泛。工业化机器人在进行相应的操作之前需先对要处理的物品进行识别定位。在生产线上生产节拍较快，需要机器人的识别定位速度能够满足需求。尤其从事着搬运、装配工作的机器人能够识别定位出需要处理的物件。可是传统的工业机器人常利用卷积神经网络完成识别定位处理，但是由于卷积神经网络的参数量较大，利用卷积神经网络进行识别定位效率不能满足实时性需求。
利用卷积神经网络进行视觉定位时，会存在一些提取出很多图像特征，但是有些图像特征对于物体识别定位帮助较小（该特征存在不会提高很多识别精度，同时还会增加大量网络参数），甚至还会降低识别精度，例如图像中存在的一些噪声特征，这些特征的存在反而会降低识别精度；因此本发明提供一种方法对卷积神经网络参数调整处理降低神经网络中的参数量，减少网络的计算负荷，而实现提高网络识别速度的目的。
发明内容
本发明提供一种工业机器人快速视觉定位方法，该方法通过设计网络结构和构建损失函数，通过网络自监督控制识别隔离出含有无用特征的卷积层，将含有无用特征的卷积层对应的卷积核网络参数进行剪枝处理获取的小参数量网络，提高工业机器人的视觉定位速度。
本发明的目的是提供一种工业机器人快速视觉定位方法，包括以下步骤：
获取需要定位的物品数据集，并构建卷积神经网络；所述数据集包括网络输入的物品图像，及网络输出物品图像中的目标区域；其中，所述卷积神经网络中采用分组卷积的方式获取卷积层，每个卷积层中均包含M个卷积分组；
根据任一输入图像输入至卷积神经网络获取的第一预测区域，及目标区域获取第一交叉熵损失函数；
根据第M-k至M个卷积分组所对应卷积核中均随机选取若干个无用特征参数进行置零处理，获取调整后的第一神经网络；其中，M＞3；根据该输入图像输入至第一神经网络获取的第二预测区域，及目标区域获取第二交叉熵损失函数；根据第一交叉熵损失函数和第二交叉熵损失函数获取第一损失函数；
将第1至M-k-1个卷积分组对应的卷积核中均随机选取若干个有用特征参数进行置零处理，获取调整后的第二神经网络；根据该输入图像输入至第二神经网络获取的第三预测区域，及目标区域获取第三交叉熵损失函数；根据第一交叉熵损失函数和第三交叉熵损失函数获取第二损失函数；
再根据第一损失函数、第二损失函数及第一交叉熵损失函数获取综合损失函数；
基于综合损失函数，并采用数据集对构建的卷积神经网络进行训练，直至综合损失函数收敛，获取训练好的卷积神经网络；
根据训练好的卷积神经网络，及第二交叉熵损失函数获取数据集中每个输入图像的第二交叉熵损失值；并根据每个输入图像的第二交叉熵损失值获取所有输入图像的第二交叉熵损失值方差；
根据每个输入图像的第二交叉熵损失值及所有输入图像的第二交叉熵损失值方差，获取网络拟合准确程度；根据k依次取0，1，2，⋯⋯，
Figure 868588DEST_PATH_IMAGE001
获取多个网络拟合准确程度；
根据多个网络拟合准确程度拟合出准确性曲线；根据准确性曲线的斜率获取最佳的含无用特征的卷积分组数目；将最佳的含无用特征的卷积分组数目对应的卷积核进行剪枝去除，获取小参数卷积神经网络；
将待识别定位的图像输入到小参数卷积神经网络获取待识别定位物品的目标区域。
在一实施例中，所述综合损失函数计算公式如下：
Figure 582466DEST_PATH_IMAGE002
式中，
Figure 204946DEST_PATH_IMAGE003
表示第一交叉熵损失函数；
Figure 334576DEST_PATH_IMAGE004
表示第一损失函数；
Figure 742423DEST_PATH_IMAGE005
表示第二损失函数。
在一实施例中，所述第一损失函数计算公式如下：
Figure 112356DEST_PATH_IMAGE006
式中，
Figure 848231DEST_PATH_IMAGE004
表示第一损失函数；
Figure 906186DEST_PATH_IMAGE003
表示第一交叉熵损失函数；
Figure 43906DEST_PATH_IMAGE007
表示第二交叉熵损失函数。
在一实施例中，所述第二损失函数计算公式如下：
Figure 86205DEST_PATH_IMAGE008
式中，
Figure 434009DEST_PATH_IMAGE005
表示第二损失函数；
Figure 639863DEST_PATH_IMAGE003
表示第一交叉熵损失函数；
Figure 773035DEST_PATH_IMAGE009
表示第三交叉熵损失函数。
在一实施例中，所述第一交叉熵损失函数计算公式如下：
Figure 671721DEST_PATH_IMAGE010
式中，
Figure 710084DEST_PATH_IMAGE003
表示第一交叉熵损失函数；
Figure 827950DEST_PATH_IMAGE011
表示输入图像的对应目标区域中第i个像素的标签值；
Figure 205842DEST_PATH_IMAGE012
表示输入图像对应第一预测区域中第i个像素的网络输出值。
在一实施例中，所述第二交叉熵损失函数计算公式如下：
Figure 337746DEST_PATH_IMAGE013
式中，
Figure 676455DEST_PATH_IMAGE007
表示第二交叉熵损失函数；
Figure 224111DEST_PATH_IMAGE011
表示输入图像的对应目标区域中第i个像素的标签值；
Figure 315564DEST_PATH_IMAGE014
表示第二预测区域中第i个像素的网络输出值。
在一实施例中，所述第三交叉熵损失函数计算公式如下：
Figure 136145DEST_PATH_IMAGE015
式中，
Figure 821205DEST_PATH_IMAGE009
表示第三交叉熵损失函数；
Figure 297185DEST_PATH_IMAGE011
表示输入图像的对应目标区域中第i个像素的标签值；
Figure 118511DEST_PATH_IMAGE016
表示第三预测区域中第i个像素的网络输出值。
在一实施例中，所述网络拟合准确程度计算公式如下：
Figure 405267DEST_PATH_IMAGE017
式中，
Figure 639939DEST_PATH_IMAGE018
表示j个卷积分组所对应卷积核中均随机选取若干个无用特征参数进行置零处理时，获取训练好的卷积神经网络的拟合准确程度；
Figure 794977DEST_PATH_IMAGE019
表示j个卷积分组所对应卷积核中均随机选取若干个无用特征参数进行置零处理时，数据集中第s个输入图像对应的第二交叉熵损失值；
Figure 110290DEST_PATH_IMAGE020
表示j个卷积分组所对应卷积核中均随机选取若干个无用特征参数进行置零处理时，数据集中所述输入图像对应的第二交叉熵损失值的方差；
其中，j表示第M-k至M个卷积分组的数目；
Figure 18813DEST_PATH_IMAGE021
表示数据集中输入图像的总数目。
在一实施例中，所述最佳的含无用特征的卷积分组数目是按照以下步骤获取：
获取准确性曲线上个点的斜率；
对所有曲线斜率进行密度聚类获取若干个斜率类别；
根据该斜率类别将曲线划分成若干个曲线段；
获取每个曲线段对应取值区间的均值；
选取均值最小的取值区间，将该取值区间中最大值即为最佳的含无用特征的卷积分组数目。
在一实施例中，所述最佳的含无用特征的卷积分组数目是第M-k至M个卷积分组的数目，其中，k依次取0，1，2，⋯⋯，
Figure 491514DEST_PATH_IMAGE001
。
本发明的有益效果是：
本发明提供的一种工业机器人快速视觉定位方法，该方法根据网络中特征对识别定位准确性影响情况设计损失函数，将无用特征分隔在指定卷积分组中，通过分析随着含无用特征卷积分组数的增加网络拟合准确性的变化情况确定含无用特征卷积分组的最佳组数，从而实现尽可能多的识别分隔出无用特征，将含无用特征卷积分组数对应的卷积核进行剪枝处理，减少网络的计算负荷，从而实现提高网络识别速度的目的。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的一种工业机器人快速视觉定位方法的实施例总体步骤的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明所针对的情景是从事生产作业的工业机器人，从事着搬运、装配工作。机器人能够从事相应工作的前提是能够快速的识别定位出需要处理的物件；为了提高机器人的作业速度需提高机器人的视觉定位速度。本发明主要是通过设计网络结构和构建损失函数，通过网络自监督控制识别隔离出含有无用特征的卷积层，将含有无用特征的卷积层对应的卷积核网络参数进行剪枝处理获取的小参数量网络，提高工业机器人的视觉定位速度。
本发明提供的一种工业机器人快速视觉定位方法，参见图1所示，包括以下步骤：
S1、获取需要定位的物品数据集，并构建卷积神经网络；所述数据集包括网络输入的物品图像，及网络输出物品图像中的目标区域；其中，所述卷积神经网络中采用分组卷积的方式获取卷积层，每个卷积层中均包含M个卷积分组；
在本实施例中，获取数据集主要是通过获取工业机器人作业环境下的一些需识别定位物品的图像，并通过人工标注的方式来对待识别定位图像打标签处理得到后续网络所需的数据集；利用生产现场工业机器需识别定位的物品图像数据集来训练神经网络；
此外，为了降低网络的参数量提高网络的识别定位速度，需将那些无用特征对应的网络参数去除。因而需先识别隔离出无用网络参数，本实施例通过设计网络，构建损失函数将无用特征隔离出来。
在本实施例中，构建的卷积神经网络，是该网络为语义分隔网络，网络结构为Encoder-Decoder结构的CNN网络；
为了实现将卷积层中无用特征隔离出来，卷积层均采用分组卷积的方式来提取图像特征，为了便于说明选择第t个卷积层进行说明，其余卷积层的处理方法同该卷积层的处理方式；
获取第t个卷积层的所有的特征图，第t个卷积层是分组卷积，该卷积层输出的特征图通道数为M×N，该特征图被分成M组，每组中有N个通道。本实施例将这里获得的每个分组简称为每个卷积分组，方便后续叙述，即第t层卷积输出M个卷积分组。
S2、根据任一输入图像输入至卷积神经网络获取的第一预测区域，及目标区域获取第一交叉熵损失函数；
在本实施例中，网络输入一个图像
Figure 309298DEST_PATH_IMAGE022
得到M个卷积分组，同时获取的对应与该图像的第一交叉熵损失函数，其计算公式如下：
Figure 262472DEST_PATH_IMAGE023
式中，
Figure 94293DEST_PATH_IMAGE003
表示第一交叉熵损失函数，即表示完整特征时网络得到的交叉熵损失函数；
Figure 975662DEST_PATH_IMAGE011
表示输入图像的对应目标区域中第i个像素的标签值；
Figure 174299DEST_PATH_IMAGE012
表示输入图像对应第一预测区域中第i个像素的网络输出值。
S3、根据第M-k至M个卷积分组所对应卷积核中均随机选取若干个无用特征参数进行置零处理，获取调整后的第一神经网络；其中，M＞3；根据该输入图像输入至第一神经网络获取的第二预测区域，及目标区域获取第二交叉熵损失函数；根据第一交叉熵损失函数和第二交叉熵损失函数获取第一损失函数；
在本实施例中，为了让无用特征隔离在第M-k至M个卷积分组中，即隔离出的这些无用特征识别损失影响较小，即将第M-k至M个卷积分组任意特征去除后该损失值变化量较小，因而基于此构建第二交叉熵损失函数；所述第二交叉熵损失函数计算公式如下：
Figure 152620DEST_PATH_IMAGE024
式中，
Figure 811134DEST_PATH_IMAGE007
表示第二交叉熵损失函数，即表示图像X输入到去除部分无用特征参数的调整后的第一神经网络中得到输出结果的交叉熵损失；
Figure 851903DEST_PATH_IMAGE011
表示输入图像的对应目标区域中第i个像素的标签值；
Figure 263686DEST_PATH_IMAGE014
表示第二预测区域中第i个像素的网络输出值，即表示将图像X输入到去除部分无用特征参数的调整后第一神经网络中得到的输出图像的第i个像素的网络输出值。
需要说明的是，卷积核对应的若干参数置零处理，就是把原来的数据改成0，例如，第M个卷积核[-5，-1，1；2，3，6；-3，-1，9]的-5，2，3等参数改成0，改后的卷积核为[0，-1，1；0，0，6；-3，-1，9]。
为了保持含无用特征的卷积分组中各特征对网络准确影响尽可能小，即特征去除的前后网络的损失值减少尽可能小，因而基于此构建出第一损失函数；所述第一损失函数计算公式如下：
Figure 362092DEST_PATH_IMAGE006
式中，
Figure 191507DEST_PATH_IMAGE004
表示第一损失函数，通过该函数能够保障含无用特征的卷积分组内的特征有用程度较小；
Figure 304258DEST_PATH_IMAGE003
表示第一交叉熵损失函数，即表示完整特征时网络得到的交叉熵损失函数；
Figure 470797DEST_PATH_IMAGE007
表示第二交叉熵损失函数。
S4、将第1至M-k-1个卷积分组对应的卷积核中均随机选取若干个有用特征参数进行置零处理，获取调整后的第二神经网络；根据该输入图像输入至第二神经网络获取的第三预测区域，及目标区域获取第三交叉熵损失函数；根据第一交叉熵损失函数和第三交叉熵损失函数获取第二损失函数；
在本实施例中，将图像X输入到网络中获取第1至M-k-1个卷积分组对应的卷积核，将多个该卷积核中均随机筛选出W个参数，将该参数进行置0处理，其他保持不变，通过该方式将该卷积分组的部分特征去除，获取调整后的第二神经网络。其中，W取Q/3，Q表示第1至M-k-1个卷积分组得到特征图组中所有像素的个数；将图像X输入到调整后的第二神经网络中，获取该图像对应的的第三交叉熵损失值；所述第三交叉熵损失函数计算公式如下：
Figure 830234DEST_PATH_IMAGE025
式中，
Figure 237076DEST_PATH_IMAGE009
表示第三交叉熵损失函数，即表示图像X输入到去除部分有用特征后调整后的第二神经网络对应的交叉熵损失；
Figure 564021DEST_PATH_IMAGE011
表示输入图像的对应目标区域中第i个像素的标签值；
Figure 330989DEST_PATH_IMAGE016
表示第三预测区域中第i个像素的网络输出值，即表示图像X输入到去除部分有用特征后调整的第二神经网络的对应的输出图像的第i个像素的网络输出值。
为了保持含有用特征的卷积分组中各特征对网络准确影响尽可能大，即特征去除前后网络的损失值减少尽可能大，因而基于此构建第二损失函数；所述第二损失函数计算公式如下：
Figure 390605DEST_PATH_IMAGE026
式中，
Figure 92982DEST_PATH_IMAGE005
表示第二损失函数；
Figure 985852DEST_PATH_IMAGE003
表示第一交叉熵损失函数；
Figure 41663DEST_PATH_IMAGE009
表示第三交叉熵损失函数。通过该函数能够保障含有用特征的卷积分组内的特征有用程度较大，即有用特征尽可能的存储在含有用特征的卷积分组内。
S5、再根据第一损失函数、第二损失函数及第一交叉熵损失函数获取综合损失函数；
在本实施例中，为了满足去除无用特征时利用有用特征得到的交叉熵损失尽可能小，因而得到综合损失函数；所述综合损失函数计算公式如下：
Figure 77490DEST_PATH_IMAGE002
式中，
Figure 560555DEST_PATH_IMAGE003
表示第一交叉熵损失函数；
Figure 940721DEST_PATH_IMAGE004
表示第一损失函数；
Figure 924858DEST_PATH_IMAGE005
表示第二损失函数。
S6、基于综合损失函数，并采用数据集对构建的卷积神经网络进行训练，直至综合损失函数收敛，获取训练好的卷积神经网络；
由于目前不知有多少无用特征，为了防止将有用特征被隔离出来，将根据k依次取0，1，2，⋯⋯，
Figure 755804DEST_PATH_IMAGE001
值时，则获取多个训练好的神经网络；
同时，上述所获得的训练好的卷积神经网络，是基于将第M-k至M个卷积分组所对应的卷积核中的若干参数置0处理后计算的损失值，也就是将无用特征分隔至第M-k至M个卷积分组中，将第M-k至M个卷积分组的数目记为含无用特征的卷积分组数目；
将k依次取0，1，2，⋯⋯，
Figure 862300DEST_PATH_IMAGE001
值时，则依次获取第M个卷积分组为1个含无用特征的卷积分组、第M-1至M个卷积分组为2个含无用特征的卷积分组，依次类推获取多个含无用特征的卷积分组。
S7、根据训练好的卷积神经网络，及第二交叉熵损失函数获取数据集中每个输入图像的第二交叉熵损失值；并根据每个输入图像的第二交叉熵损失值获取所有输入图像的第二交叉熵损失值方差；
在本实施例中，为了获取最佳的含无用特征的卷积分组数目，要评估有用特征网络拟合准确程度，不仅需要利用所有样本输入时损失值判定，同时还应该根据所有样本损失值的离散程度判定，因而基于此计算网络拟合准确程度；
根据每个输入图像的第二交叉熵损失值及所有输入图像的第二交叉熵损失值方差，获取网络拟合准确程度；根据k依次取0，1，2，⋯⋯，
Figure 401866DEST_PATH_IMAGE001
获取多个网络拟合准确程度；
根据多个网络拟合准确程度拟合出准确性曲线；根据准确性曲线的斜率获取最佳的含无用特征的卷积分组数目；将最佳的含无用特征的卷积分组数目对应的卷积核进行剪枝去除，获取小参数卷积神经网络；
所述网络拟合准确程度计算公式如下：
Figure 222317DEST_PATH_IMAGE017
式中，
Figure 609567DEST_PATH_IMAGE019
表示j个卷积分组所对应卷积核中均随机选取若干个无用特征参数进行置零处理时，数据集中第s个输入图像对应的第二交叉熵损失值；
Figure 949281DEST_PATH_IMAGE020
表示j个卷积分组所对应卷积核中均随机选取若干个无用特征参数进行置零处理时，数据集中所述输入图像对应的第二交叉熵损失值的方差；
Figure 287727DEST_PATH_IMAGE018
表示j个卷积分组所对应卷积核中均随机选取若干个无用特征参数进行置零处理时，获取训练好的卷积神经网络的拟合准确程度；
其中，j表示第M-k至M个卷积分组的数目；
Figure 613667DEST_PATH_IMAGE021
表示数据集中输入图像的总数目。
当损失值较小，各数据集中的输入图像的损失离散性较大时，说明由于输入图像噪声造成损失值增加，而不是网络的拟合准确性造成，因而此时网络拟合准确性较大，当损失值较大，各输入图像的损失离散性较大时，说明现有有用特征能够反映部分输入图像的情况。当损失值较大，各输入图像的损失离散性较小时现有的有用特征对所有的输入图像拟合准确性都较差，因而此时网络的拟合准确性较差。
通过上述方式将k依次取0，1，2，⋯⋯，
Figure 167008DEST_PATH_IMAGE001
值，得到多个含无用特征的卷积分组数对应的网络拟合准确程度；构成网络拟合准确程度序列即为
Figure 366039DEST_PATH_IMAGE027
，根据网络拟合准确程度序列拟合出准确性曲线，根据准确性曲线的斜率获取最佳的含无用特征的卷积分组数目；正常情况下随着分隔出含无用特征的卷积分组的增加网络的拟合准确性应该是先收敛变动后出现较大递增，即前期无用特征没有完全被隔离出来因而此阶段的网络拟合准确性变动不大，而到达某点后无用特征被完全隔离出来，再增加就会将有用特征隔离到含无用特征的卷积分组中因而就会出现较大增加，因而需要获取收敛于较大递增处的拐点位置，该位置即为含无用特征的卷积分组的最佳分隔临界位置，则所述最佳的含无用特征的卷积分组数目是按照以下步骤获取：
获取准确性曲线上个点的斜率；对所有曲线斜率进行密度聚类获取若干个斜率类别；
根据该斜率类别将曲线划分成若干个曲线段；获取每个曲线段对应取值区间的均值；
选取均值最小的取值区间，将该取值区间中最大值即为最佳的含无用特征的卷积分组数目。
其中，所述最佳的含无用特征的卷积分组数目是第M-k至M个卷积分组的数目，其中，k依次取0，1，2，⋯⋯，
Figure 880197DEST_PATH_IMAGE001
。其中，M表示第t个卷积层拥有的卷积分组的总个数；需要说明的是
Figure 868881DEST_PATH_IMAGE001
取整数。
例如，通过聚类得到3个类别曲线段，各曲线段的分隔无用特征图组数区间为[1，6]、[7，10]、[11，
Figure 152095DEST_PATH_IMAGE028
]；则[1，6]其对应的区间均值为3.5相较于[7，10]的区间均值为8.5，[11，
Figure 300791DEST_PATH_IMAGE028
]对应的区间均值为
Figure 426879DEST_PATH_IMAGE029
，为最小区间均值。其中，在区间
Figure 94620DEST_PATH_IMAGE030
的曲线段为增减速度较小的曲线段，在分隔含无用特征的卷积分组数取值7处增减速度发生改变，因而选择分隔含无用特征的卷积分组数取值6时作为最佳的含无用特征的卷积分组数目。
最后，将最佳的含无用特征的卷积分组数目对应的卷积核进行剪枝去除，获取小参数卷积神经网络；也就是将第M-5至M个卷积分组对应的卷积核进行剪枝去除，获取小参数卷积神经网络；
依次对每个卷积层中含无用特征的卷积分组进行分隔，并剪枝；
至此，通过设计网络构建损失函数实现无用特征分隔，然后分析不同无用特征分隔组数时网络拟合准确性来得到最佳的无用分隔组数；对无用卷积核进行剪枝。
S8、将待识别定位的图像输入到小参数卷积神经网络获取待识别定位物品的目标区域。
由于上述网络是训练完成的网络，剪枝后的网络只是剪除掉无用的参数，因而剪枝后的小参数量网络也无需再进行训练，直接将待识别定位的图像输入到网络中即可能够定位待识别定位物品的语义区域。
综上，本发明提供的一种工业机器人快速视觉定位方法，该方法根据网络中特征对识别定位准确性影响情况设计损失函数，将无用特征分隔在指定卷积分组中，通过分析随着含无用特征卷积分组数的增加网络拟合准确性的变化情况确定含无用特征卷积分组的最佳组数，从而实现尽可能多的识别分隔出无用特征，将含无用特征卷积分组数对应的卷积核进行剪枝处理，减少网络的计算负荷，从而实现提高网络识别速度的目的。
以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种工业机器人快速视觉定位方法，其特征在于，包括以下步骤：
获取需要定位的物品数据集，并构建卷积神经网络；所述数据集包括网络输入的物品图像，及网络输出物品图像中的目标区域；其中，所述卷积神经网络中采用分组卷积的方式获取卷积层，每个卷积层中均包含M个卷积分组；
根据任一输入图像输入至卷积神经网络获取的第一预测区域，及目标区域获取第一交叉熵损失函数；
根据第M-k至M个卷积分组所对应卷积核中均随机选取若干个无用特征参数进行置零处理，获取调整后的第一神经网络；其中，M＞3；根据该输入图像输入至第一神经网络获取的第二预测区域，及目标区域获取第二交叉熵损失函数；根据第一交叉熵损失函数和第二交叉熵损失函数获取第一损失函数；
将第1至M-k-1个卷积分组对应的卷积核中均随机选取若干个有用特征参数进行置零处理，获取调整后的第二神经网络；根据该输入图像输入至第二神经网络获取的第三预测区域，及目标区域获取第三交叉熵损失函数；根据第一交叉熵损失函数和第三交叉熵损失函数获取第二损失函数；
再根据第一损失函数、第二损失函数及第一交叉熵损失函数获取综合损失函数；
基于综合损失函数，并采用数据集对构建的卷积神经网络进行训练，直至综合损失函数收敛，获取训练好的卷积神经网络；
根据训练好的卷积神经网络，及第二交叉熵损失函数获取数据集中每个输入图像的第二交叉熵损失值；并根据每个输入图像的第二交叉熵损失值获取所有输入图像的第二交叉熵损失值方差；
根据每个输入图像的第二交叉熵损失值及所有输入图像的第二交叉熵损失值方差，获取网络拟合准确程度；根据k依次取0，1，2，⋯⋯，
Figure 47221DEST_PATH_IMAGE001
获取多个网络拟合准确程度；
根据多个网络拟合准确程度拟合出准确性曲线；根据准确性曲线的斜率获取最佳的含无用特征的卷积分组数目；将最佳的含无用特征的卷积分组数目对应的卷积核进行剪枝去除，获取小参数卷积神经网络；
将待识别定位的图像输入到小参数卷积神经网络获取待识别定位物品的目标区域。
2.根据权利要求1所述的工业机器人快速视觉定位方法，其特征在于，所述综合损失函数计算公式如下：
Figure 165218DEST_PATH_IMAGE002
式中，
Figure 732597DEST_PATH_IMAGE003
表示第一交叉熵损失函数；
Figure 938451DEST_PATH_IMAGE004
表示第一损失函数；
Figure 55311DEST_PATH_IMAGE005
表示第二损失函数。
3.根据权利要求2所述的工业机器人快速视觉定位方法，其特征在于，所述第一损失函数计算公式如下：
Figure 534090DEST_PATH_IMAGE006
式中，
Figure 244557DEST_PATH_IMAGE004
表示第一损失函数；
Figure 395047DEST_PATH_IMAGE003
表示第一交叉熵损失函数；
Figure DEST_PATH_IMAGE007
表示第二交叉熵损失函数。
4.根据权利要求3所述的工业机器人快速视觉定位方法，其特征在于，所述第二损失函数计算公式如下：
Figure 412419DEST_PATH_IMAGE008
式中，
Figure 809903DEST_PATH_IMAGE005
表示第二损失函数；
Figure 148611DEST_PATH_IMAGE003
表示第一交叉熵损失函数；
Figure 493005DEST_PATH_IMAGE009
表示第三交叉熵损失函数。
5.根据权利要求4所述的工业机器人快速视觉定位方法，其特征在于，所述第一交叉熵损失函数计算公式如下：
Figure 621674DEST_PATH_IMAGE010
式中，
Figure 737529DEST_PATH_IMAGE003
表示第一交叉熵损失函数；
Figure 796489DEST_PATH_IMAGE011
表示输入图像的对应目标区域中第i个像素的标签值；
Figure 413415DEST_PATH_IMAGE012
表示输入图像对应第一预测区域中第i个像素的网络输出值。
6.根据权利要求4所述的工业机器人快速视觉定位方法，其特征在于，所述第二交叉熵损失函数计算公式如下：
Figure DEST_PATH_IMAGE013
式中，
Figure 798523DEST_PATH_IMAGE007
表示第二交叉熵损失函数；
Figure 209912DEST_PATH_IMAGE011
表示输入图像的对应目标区域中第i个像素的标签值；
Figure 444585DEST_PATH_IMAGE014
表示第二预测区域中第i个像素的网络输出值。
7.根据权利要求4所述的工业机器人快速视觉定位方法，其特征在于，所述第三交叉熵损失函数计算公式如下：
Figure 851820DEST_PATH_IMAGE015
式中，
Figure 121127DEST_PATH_IMAGE009
表示第三交叉熵损失函数；
Figure 703418DEST_PATH_IMAGE011
表示输入图像的对应目标区域中第i个像素的标签值；
Figure 176119DEST_PATH_IMAGE016
表示第三预测区域中第i个像素的网络输出值。
8.根据权利要求1所述的工业机器人快速视觉定位方法，其特征在于，所述网络拟合准确程度计算公式如下：
Figure DEST_PATH_IMAGE017
式中，
Figure 305487DEST_PATH_IMAGE018
表示j个卷积分组所对应卷积核中均随机选取若干个无用特征参数进行置零处理时，获取训练好的卷积神经网络的拟合准确程度；
Figure 101404DEST_PATH_IMAGE019
表示j个卷积分组所对应卷积核中均随机选取若干个无用特征参数进行置零处理时，数据集中第s个输入图像对应的第二交叉熵损失值；
Figure 244810DEST_PATH_IMAGE020
表示j个卷积分组所对应卷积核中均随机选取若干个无用特征参数进行置零处理时，数据集中所述输入图像对应的第二交叉熵损失值的方差；
其中，j表示第M-k至M个卷积分组的数目；
Figure 204807DEST_PATH_IMAGE021
表示数据集中输入图像的总数目。
9.根据权利要求1所述的工业机器人快速视觉定位方法，其特征在于，所述最佳的含无用特征的卷积分组数目是按照以下步骤获取：
获取准确性曲线上个点的斜率；
对所有曲线斜率进行密度聚类获取若干个斜率类别；
根据该斜率类别将曲线划分成若干个曲线段；
获取每个曲线段对应取值区间的均值；
选取均值最小的取值区间，将该取值区间中最大值即为最佳的含无用特征的卷积分组数目。
10.根据权利要求9所述的工业机器人快速视觉定位方法，其特征在于，所述最佳的含无用特征的卷积分组数目是第M-k至M个卷积分组的数目，其中，k依次取0，1，2，⋯⋯，
Figure 436068DEST_PATH_IMAGE001
。
CN202210791190.8A 2022-07-07 2022-07-07 一种工业机器人快速视觉定位方法 Active CN114862955B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210791190.8A CN114862955B (zh) 2022-07-07 2022-07-07 一种工业机器人快速视觉定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210791190.8A CN114862955B (zh) 2022-07-07 2022-07-07 一种工业机器人快速视觉定位方法

Publications (2)

Publication Number Publication Date
CN114862955A CN114862955A (zh) 2022-08-05
CN114862955B true CN114862955B (zh) 2022-09-02

Family

ID=82626233

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210791190.8A Active CN114862955B (zh) 2022-07-07 2022-07-07 一种工业机器人快速视觉定位方法

Country Status (1)

Country Link
CN (1) CN114862955B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109146912A (zh) * 2018-07-26 2019-01-04 湖南人文科技学院 一种基于目标性分析的视觉目标跟踪方法
CN109145756A (zh) * 2018-07-24 2019-01-04 湖南万为智能机器人技术有限公司 基于机器视觉和深度学习的目标检测方法
CN109341694A (zh) * 2018-11-12 2019-02-15 哈尔滨理工大学 一种移动探测机器人的自主定位导航方法
CN109579825A (zh) * 2018-11-26 2019-04-05 江苏科技大学 基于双目视觉和卷积神经网络的机器人定位系统及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6335460B2 (ja) * 2013-09-26 2018-05-30 キヤノン株式会社 ロボットシステムの制御装置及び指令値生成方法、並びにロボットシステムの制御方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109145756A (zh) * 2018-07-24 2019-01-04 湖南万为智能机器人技术有限公司 基于机器视觉和深度学习的目标检测方法
CN109146912A (zh) * 2018-07-26 2019-01-04 湖南人文科技学院 一种基于目标性分析的视觉目标跟踪方法
CN109341694A (zh) * 2018-11-12 2019-02-15 哈尔滨理工大学 一种移动探测机器人的自主定位导航方法
CN109579825A (zh) * 2018-11-26 2019-04-05 江苏科技大学 基于双目视觉和卷积神经网络的机器人定位系统及方法

Also Published As

Publication number Publication date
CN114862955A (zh) 2022-08-05

Similar Documents

Publication Publication Date Title
Hossain et al. Recognition and detection of tea leaf's diseases using support vector machine
CN110533084B (zh) 一种基于自注意力机制的多尺度目标检测方法
Russel et al. Leaf species and disease classification using multiscale parallel deep CNN architecture
CN107016405A (zh) 一种基于分级预测卷积神经网络的害虫图像分类方法
CN107516103B (zh) 一种影像分类方法和系统
CN113919442B (zh) 一种基于卷积神经网络烟叶成熟度状态识别方法
Tabbakh et al. A deep features extraction model based on the transfer learning model and vision transformer “tlmvit” for plant disease classification
CN114170137B (zh) 一种辣椒病害识别方法、识别系统、计算机可读存储介质
CN107563406B (zh) 一种自主学习的图像精细分类方法
Trivedi et al. Automatic segmentation of plant leaves disease using min-max hue histogram and k-mean clustering
CN110503140A (zh) 基于深度迁移学习与邻域降噪的分类方法
CN112749675A (zh) 一种基于卷积神经网络的马铃薯病害识别方法
CN111667019A (zh) 基于可变形分离卷积的高光谱图像分类方法
CN116071560A (zh) 一种基于卷积神经网络的水果识别方法
CN113221913A (zh) 一种基于高斯概率决策级融合的农林病虫害细粒度识别方法及装置
CN117557787B (zh) 一种基于改进yolov8的轻量化多环境番茄检测方法
CN117372881B (zh) 一种烟叶病虫害智能识别方法、介质及系统
CN114612450A (zh) 基于数据增广机器视觉的图像检测分割方法、系统、电子设备
Akshitha et al. Paddy crop disease detection using deep learning techniques
CN114862955B (zh) 一种工业机器人快速视觉定位方法
CN112085164A (zh) 一种基于无锚框网络的区域推荐网络提取方法
Hidayat et al. Identification of plant types by leaf textures based on the backpropagation neural network
Altınbilek et al. Identification of paddy rice diseases using deep convolutional neural networks
CN114494441B (zh) 基于深度学习的葡萄及其采摘点同步识别定位方法、装置
CN113723281A (zh) 基于局部自适应尺度集成学习的高分辨率影像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant