CN110288033A - 一种基于卷积神经网络的甘蔗蔗节特征识别与定位方法 - Google Patents

一种基于卷积神经网络的甘蔗蔗节特征识别与定位方法 Download PDF

Info

Publication number
CN110288033A
CN110288033A CN201910570675.2A CN201910570675A CN110288033A CN 110288033 A CN110288033 A CN 110288033A CN 201910570675 A CN201910570675 A CN 201910570675A CN 110288033 A CN110288033 A CN 110288033A
Authority
CN
China
Prior art keywords
sugarcane
section
network
identification
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910570675.2A
Other languages
English (en)
Other versions
CN110288033B (zh
Inventor
李尚平
李向辉
文春明
廖义奎
李凯华
袁泓磊
张可
张伟
黄宗晓
向锐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangxi University
Guangxi University for Nationalities
Original Assignee
Guangxi University
Guangxi University for Nationalities
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangxi University, Guangxi University for Nationalities filed Critical Guangxi University
Priority to CN201910570675.2A priority Critical patent/CN110288033B/zh
Publication of CN110288033A publication Critical patent/CN110288033A/zh
Application granted granted Critical
Publication of CN110288033B publication Critical patent/CN110288033B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于卷积神经网络的甘蔗蔗节特征识别与定位方法，属于计算机视觉技术领域，通过深层卷积神经网络，对甘蔗图像数据进行识别处理，得到甘蔗特征识别定位模型，通过输入模型的图像数据，获得甘蔗表面特征数据，继而得到特征的真实坐标数据。主要包括两部分，第一部分为识别定位系统模型的建立与训练，第二部分为识别定位，将数据传递给后续设备。本方法具有识别率高，响应速度快等优点，通过结合识别后的算法能够对甘蔗蔗节信息进行实时更新，可使识别率可以达到90％以上，并使识别时间在50毫秒左右，从而实现甘蔗切种机械智能化，大大提高生产效率。

Description

一种基于卷积神经网络的甘蔗蔗节特征识别与定位方法
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种基于卷积神经网络的甘蔗蔗节特征识别与定位方法。
背景技术
糖业的发展是中国粮食和食品安全重要保障之一，其中蔗糖占食糖消费的90％以上。广西是我国最大的糖料蔗生产基地，占全国糖料蔗面积和产量的60％以上。近年来，受机械化推进缓慢、智能化程度低等多种因素影响，甘蔗生产效率低，市场竞争力下降，对我国食糖产业安全带来严重的冲击。以往人为识别甘蔗并进行切种的生产方式不能满足时代的需求与社会发展需要，为提高甘蔗切种效率与精度，急需一种能快速识别定位甘蔗特征，对甘蔗进行识别，定位，分类的方法。
目前针对甘蔗的特征识别工作还停留在单根或者基本的图像处理与识别方面，还没有使用深度学习网络对整根甘蔗图像进行快速处理的方法。随着深度学习的提出与发展，应用于目标检测定位的图像处理技术用来识别定位甘蔗蔗节，对于提高生产效率，具有深远意义。
发明内容
本发明的目的在于提供一种基于卷积神经网络的甘蔗蔗节特征识别与定位方法，以解决现有甘蔗切种低效率的技术问题。
一种基于卷积神经网络的甘蔗蔗节特征识别与定位方法，所述方法包括如下步骤：
步骤1：通过摄像装置对甘蔗进行图像采集，得到采集图像；
步骤2：使用标注工具对甘蔗图片进行甘蔗标记，识别蔗节特征，制作训练集，训练集包括输入照片以及对应的蔗节特征分类标签；
步骤3：将训练集输入卷积神经网络中，使用改进的卷积神经网络进行训练，训练迭代学习输出最优深度学习模型，得到权重参数文件；
步骤4：启动甘蔗蔗节特征识别，对摄像头采集的视频进行处理，保存为图片，并设置照片的读取速度，将图片输入学习模型进行识别定位，对图片进行识别，输出蔗节边框素坐标；
步骤5：对识别后的甘蔗边框素坐标数据进行处理，得到实际蔗节位置并将数据传给后续甘蔗种子切割装置进行对甘蔗种子切割。
进一步地，所述步骤1的具体过程为：
使用摄像装置对甘蔗进行视频采样，得到甘蔗采样视频，对采样视频进行帧处理得到采样图像，并设置图片尺寸，其中采样的甘蔗使用不同品种，不同颜色。
进一步地，所述步骤2的具体过程为：
使用标记工具对甘蔗图片进行人工标记，标记关键特征点，即整根甘蔗以及甘蔗特征，通过关键特征点定位，特征点的特性必须在所有图片中保持一致，并且所有标签在所有图片中必须保持一致，之后生成标记文件，文件内含甘蔗图像蔗节位置像素点坐标以及甘蔗特征的分类标签，即包含神经网络要预测的对象分类标签与表示边界框的四个数字，分别为中心点坐标以及边界框的宽与高。
进一步地，所述步骤3的具体过程为：
网络参数初始化，加载设置好的超参数与模型配置文件，将制作好的数据集，将训练集数据输入卷积神经网络中，其中，输入图片的结构是3通道416*416像素尺寸的图片，通过传入输入层图片数据、每层的边界框数和类别数，调用网络核心方法，构建网络模块，网络为全卷积层，含有残差网络结构，通过正向传播训练输出最优损失函数，并使用随机梯度下降方法优化反向传播过程，更新权重偏置等参数，训练迭代学习输出深度学习模型，得到权重参数文件分批次训练数据。
进一步地，所述网络由卷积层以不同形式链接形成的残差网络结构，是一种组合形式的卷积操作以不同组合构成，这种组合由一个卷积层，一个批正则化层与一个以带泄露的线性修正函数为激活函数的网络层的结合构成，组合包括卷积操作，卷积操作之后的数据批正则化操作以及对数据进行输入到激活函数中的操作，整个网络将这种组合形式的卷积结构两个或多个相连构成一个小型结构，这种小型结构中的前后两个卷积层使用的卷积核维度不同，使用1*1的卷积层与3*3卷积层交替组成，达到神经网络深度的增加，之后将这种小型结构的输出结果与前层小型网络或者卷积结构输出相加，构成残差网络结构short连接形式，并输入线性单元激活函数，最后图像信息数据经过1*1卷积核的卷积层输入线性激活函数，将输出结果输出，网络共由22部分构成，每一部分中包含的卷积核的数量以及结构不同，在网络模型中，最后蔗节信息由一个输出值得到，由三个主要输出值通过重合度计算得到，三个输出值均由卷积操作后输入激活函数输出得到，每个输出值包含10种预测框对应值，输出值的过程中使用非极大值抑制保证对每个对象只检测一次，找出概率最大的边界框，通过维度聚类方法来预测边界框并用逻辑回归预测对象分数，每个边界框对应四个数据，分别为中心点坐标以及边界框的宽度与高度，训练中使用二元交叉熵对生成的边界框在进行分类预测，确定边界框中物体类别，最后输出值为蔗节预测框坐标值。
进一步地，所述重合度计算的具体过程为：
引入重合度C来表示获取的甘蔗蔗节特征最优预测框A与甘蔗本身的检测框的重合度B，只有重合度超过阈值的检测框才能被识别认定为正确目标，通过两者预测框计算得到的阈值筛选出最优蔗节位置，
预测框重合度C为：
C＝(A∩B)/A
将网络的三个值进行重合度计算，再将所有最优甘蔗蔗节预测框A与甘蔗预测框计算B，获得甘蔗蔗节预测框的重合度C，将重合度C超过阈值的蔗节预测框输出，作为需要的目标，采用K-means聚类方法，对甘蔗数据集进行处理得到预测框的尺寸，并提高了预测框数量，在训练时达到更有效果，使用时对于甘蔗特征的识别定位更准确。
进一步地，包含重合度C的整体损失函数为：
损失函数为预测框以及重合度的求和，上面式子中，i代表样本，j代表样本中的目标类别，为网络正向传播过程产生的参数，x、y、w、h、B、p(e)为网络训练的标记样本对应参数；为整体损失函数公式，为甘蔗与蔗节识别损失函数公式，，1-Ci为重合度损失计算公式。
公式中的为蔗节预测框的坐标预测的损失函数公式，λc为预测框坐标误差权重，表示i中的目标是否为j的预测目标，d为预测的目标类别数，x、y分别为样本标记的预测框中心点坐标，w、h为样本标记的预测框尺寸宽与高。
为预测框概率值计算的损失函数公式，前一部分计算包含目标时预测框的概率值损失，后一部分计算不包含目时预测框的概率值损失；参数B为目标预测框的概率，λno为预测框中不含目标时的权重，表示i中的目标是否为j的预测目标。
为检测物体所属类别判定的损失函数公式，为i样本中的目标是否为标记的目标，e为网络训练标记的目标，p(e)为标记目标的概率。
网络通过随机梯度下降算法对网络参数进行优化计算，更新网络中的权重，偏置，以及损失函数，通过迭代计算得到深度学习模型。
进一步地，所述步骤4的具体过程为：
对摄像头采集的视频进行处理，保存为图片，按照5帧一次的对照片进行读取，对图片进行识别处理，输出甘蔗特征数据，包括蔗节边框像素点坐标。
进一步地，所述步骤5的具体过程为：
通过标定的摄像头数据，计算蔗节边框像素点坐标等数据，具体过程如下：将求得的蔗节中心点坐标z的纵坐标与甘蔗中心点纵坐标比较，进一步得到蔗节隶属信息，将蔗节进行处理，确定蔗节来自哪根甘蔗，之后对z的横坐标进行统计，设定阈值d，作为蔗节检测范围，在以z为中心的，d为长度的邻域(-d,d)内，出现的蔗节将视为重复蔗节，剔除掉重复的蔗节，不在邻域内的蔗节，添加进结果内，并根据甘蔗生长特性，将整根甘蔗分为四部分，对三部分中蔗节检测范围d的取值进行调整，两端中的d的范围将小于中间区域，以此来更新甘蔗蔗节信息。根据切种机的需求，得到实际距离，将处理的数据将以一根甘蔗为一组的形式发送给后续切种机器。
本发明采用了上述技术方案，本发明具有以下技术效果：
本发明方法具有识别率高，响应速度快等优点，通过结合识别后的算法能够对甘蔗蔗节信息进行实时更新，可使识别率可以达到90％以上，并使识别时间在50毫秒左右，从而实现甘蔗切种机械智能化，大大提高生产效率；本发明不用进行前期的预处理，可以直接将实时采集的甘蔗图像数据传入识别系统之中，在50ms左右的时间内输出所需数据，达到快速准确识别甘蔗特征的目标，在日常实际生产中具有重要的作用与意义。
附图说明
图1为本发明基于卷积神经网络的甘蔗蔗节特征识别与定位方法训练与识别定位过程流程图。
图2为本发明第一种基于卷积神经网络的甘蔗蔗节特征识别与定位方法效果图。
图3为本发明第二种基于卷积神经网络的甘蔗蔗节特征识别与定位方法效果图。
图4为本发明第三种基于卷积神经网络的甘蔗蔗节特征识别与定位方法效果图。
图5本发明基于卷积神经网络的甘蔗蔗节特征识别与定位方法网络结构图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举出优选实施例，对本发明进一步详细说明。然而，需要说明的是，说明书中列出的许多细节仅仅是为了使读者对本发明的一个或多个方面有一个透彻的理解，即便没有这些特定的细节也可以实现本发明的这些方面。
请参阅图1，本发明提供一种基于卷积神经网络的甘蔗蔗节特征识别与定位方法，所述方法包括如下步骤：
步骤1：设置摄像头，对拍摄装置上的甘蔗进行视频采样，甘蔗采用不同品种，不同颜色，将视频转化为图片，设置图片尺寸。使用不同品种的甘蔗和同一品种中不颜色和形状的甘蔗，使得采集的训练数据更加齐全，后面的训练模型的检测定位更加的准确。
步骤2：使用标记工具对甘蔗图片进行人工标记，标记关键特征点，即整根甘蔗以及甘蔗特征，通过关键特征点定位，特征点的特性必须在所有图片中保持一致，并且所有标签在所有图片中必须保持一致，之后生成标记文件，文件内含甘蔗图像蔗节位置像素点坐标以及甘蔗特征的分类标签，即包含神经网络要预测的对象分类标签与表示边界框的四个数字，分别为中心点坐标以及边界框的宽与高。
步骤3：网络参数初始化，加载设置好的超参数与模型配置文件，将制作好的数据集，将训练集数据输入卷积神经网络中，其中，输入图片的结构是3通道416*416像素尺寸的图片。通过传入输入层图片数据、每层的边界框数和类别数，调用网络核心方法，构建网络模块。网络为全卷积层，含有残差网络结构，通过正向传播训练输出最优损失函数，并使用随机梯度下降方法优化反向传播过程，更新权重偏置等参数，训练迭代学习输出深度学习模型，得到权重参数文件分批次训练数据。
网络具体由卷积层以不同形式链接形成残差网络结构，网络由一种组合形式的卷积操作以不同组合构成，这种组合由一个卷积层，一个批正则化层与一个以带泄露的线性修正函数为激活函数的网络层的结合构成。组合包括卷积操作，卷积操作之后的数据批正则化操作以及对数据进行输入到激活函数中的操作。整个网络将这种组合形式的卷积结构两个或多个相连构成一个小型结构，这种小型结构中的前后两个卷积层使用的卷积核维度不同，使用1*1的卷积层与3*3卷积层交替组成，从而达到神经网络深度的增加，而尽可能的减少模型参数数量。之后将这种小型结构的输出结果与前层小型网络或者卷积结构输出相加，构成残差网络结构short连接形式，并输入线性单元激活函数，这样使得映射对输出的变化更灵敏，并且不会产生额外的参数，也不会增加计算复杂度。最后图像信息数据经过1*1卷积核的卷积层输入线性激活函数，将输出结果输出。网络共由22部分构成，每一部分中包含的卷积核的数量以及结构不同。在模型中，最后蔗节信息由一个输出值得到，由三个主要输出值通过重合度计算得到，三个输出值均由卷积操作后输入激活函数输出得到，每个输出值包含10种预测框对应值。如图5所示，网络在14、18、21处输出三个不同的值，在14处，网络中为62层输出第一个值；在18处，网络中为74层输出第二个值；在22处，网络中86层输出最后一个值。输出值的过程中使用非极大值抑制保证对每个对象只检测一次，找出概率最大的边界框，通过维度聚类方法来预测边界框并用逻辑回归预测对象分数，每个边界框对应四个数据，分别为中心点坐标以及边界框的宽度与高度。训练中本方法使用二元交叉熵对生成的边界框在进行分类预测，确定边界框中物体类别。最后22处输出值为蔗节预测框坐标值。
具体网络结构如图5所示，所有部分均为卷积核与正则化等操作构成，其中，第3、5、7、9、11部分包含残差网络结构。1中为32*3*3卷积核，2中为64*3*3卷积核，3中为32*1*1与64*3*3卷积核，4中为128*3*3卷积核，5中为64*1*1与128*3*3卷积核，6中为256*3*3卷积核，7中为128*1*1与256*3*3卷积核，8中为512*3*3卷积核，9中为256*1*1与512*3*3卷积核，10中为1024*3*3卷积核，11中为512*1*1与1024*3*3卷积核，12中为512*1*1与1024*3*3卷积核，13中为1024*3*3卷积核，14中为21*1*1卷积核，15中为256*1*1卷积核，16中为256*1*1与512*3*3卷积核，17中为512*3*3卷积核，18中为21*1*1卷积核，19中为128*1*1卷积核，20中为128*1*1与258*3*3卷积核，21中为21*1*1卷积核。图中的23与24操作为上采样过程。
为增加对甘蔗特征识别的准确率以及精度，对甘蔗整体以及甘蔗蔗节进行识别定位，引入重合度C来表示获取的甘蔗蔗节特征最优预测框A与甘蔗本身的检测框的重合度B，只有重合度超过阈值的检测框才能被识别认定为正确目标。通过两者预测框计算得到的阈值筛选出最优蔗节位置。
预测框重合度C为：
C＝(A∩B)/A
将网络14、18、21处输出的三个值进行重合度计算，再将所有最优甘蔗蔗节预测框A与甘蔗预测框计算B，获得甘蔗蔗节预测框的重合度C，将重合度C超过阈值的蔗节预测框输出，作为需要的目标。本方法通过采用K-means聚类方法，对甘蔗数据集进行处理得到预测框的尺寸，并提高了预测框数量，从而在训练时达到更有效果，使用时对于甘蔗特征的识别定位更准确。
引入重合度C之后，损失函数将为下式：
损失函数为预测框以及重合度的求和，上面式子中，i代表样本，j代表样本中的目标类别。为甘蔗与蔗节识别损失函数公式，为14，18，21部分的计算公式，而为整体损失函数公式，为22部分计算公式，进一步提高蔗节识别率与准确性。公式中的为蔗节预测框的坐标预测公式，为预测框中物体的概率值计算公式，为检测物体所属类别判定公式。
网络通过随机梯度下降算法对网络参数进行优化计算，更新网络中的权重，偏置，以及损失函数，通过迭代计算得到深度学习模型。
步骤4：启动识别程序，对摄像头采集的视频进行处理，保存为图片，之后识别系统按照5帧一次的对照片进行读取，对图片进行识别处理，输出甘蔗特征数据，包括蔗节边框像素点坐标。
步骤5：通过标定的摄像头数据，计算蔗节边框像素点坐标等数据，具体或成如下：将求得的蔗节中心点坐标z的纵坐标与甘蔗中心点纵坐标比较，进一步得到蔗节隶属信息，将蔗节进行处理，确定蔗节来自哪根甘蔗。之后对z的横坐标进行统计，设定阈值d，作为蔗节检测范围，在以z为中心的，d为长度的邻域(-d,d)内，出现的蔗节将视为重复蔗节，剔除掉重复的蔗节。不在邻域内的蔗节，添加进结果内。并根据甘蔗生长特性，将整根甘蔗分为四部分，对三部分中蔗节检测范围d的取值进行调整，两端中的d的范围将小于中间区域，以此来更新甘蔗蔗节信息。根据切种机的需求，得到实际距离，将处理的数据将以一根甘蔗为一组的形式发送给后续切种机器。
通过深层卷积神经网络，对甘蔗图像数据进行识别处理，得到甘蔗特征识别定位模型，通过输入模型的图像数据，获得甘蔗表面特征数据，继而得到特征的真实坐标数据。主要包括两部分，第一部分为识别定位系统模型的建立与训练，第二部分为识别定位，将数据传递给后续设备。本方法具有识别率高，响应速度快等优点，通过结合识别后的算法能够对甘蔗蔗节信息进行实时更新，可使识别率可以达到90％以上，并使识别时间在50毫秒左右，从而实现甘蔗切种机械智能化，大大提高生产效率。本发明的特点是不用进行前期的预处理，可以直接将实时采集的甘蔗图像数据传入识别系统之中，在50ms左右的时间内输出所需数据，达到快速准确识别甘蔗特征的目标，在日常实际生产中具有重要的作用与意义。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点,对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种基于卷积神经网络的甘蔗蔗节特征识别与定位方法，其特征在于，所述方法包括如下步骤：
步骤1：通过摄像装置对甘蔗进行图像采集，得到采集图像；
步骤2：使用标注工具对甘蔗图片进行甘蔗标记，识别蔗节特征，制作训练集，训练集包括输入照片以及对应的蔗节特征分类标签；
步骤3：将训练集输入卷积神经网络中，使用改进的卷积神经网络进行训练，训练迭代学习输出最优深度学习模型，得到权重参数文件；
步骤4：启动甘蔗蔗节特征识别，对摄像头采集的视频进行处理，保存为图片，并设置照片的读取速度，将图片输入学习模型进行识别定位，对图片进行识别，输出蔗节边框素坐标；
步骤5：对识别后的甘蔗边框素坐标数据进行处理，得到实际蔗节位置并将数据传给后续甘蔗种子切割装置进行对甘蔗种子切割。
2.根据权利要求1所述的一种基于卷积神经网络的甘蔗蔗节特征识别与定位方法，其特征在于：所述步骤1的具体过程为：
使用摄像装置对甘蔗进行视频采样，得到甘蔗采样视频，对采样视频进行帧处理得到采样图像，并设置图片尺寸，其中采样的甘蔗使用不同品种，不同颜色。
3.根据权利要求1所述的一种基于卷积神经网络的甘蔗蔗节特征识别与定位方法，其特征在于：所述步骤2的具体过程为：
使用标记工具对甘蔗图片进行人工标记，标记关键特征点，即整根甘蔗以及甘蔗特征，通过关键特征点定位，特征点的特性必须在所有图片中保持一致，并且所有标签在所有图片中必须保持一致，之后生成标记文件，文件内含甘蔗图像蔗节位置像素点坐标以及甘蔗特征的分类标签，即包含神经网络要预测的对象分类标签与表示边界框的四个数字，分别为中心点坐标以及边界框的宽与高。
4.根据权利要求1所述的一种基于卷积神经网络的甘蔗蔗节特征识别与定位方法，其特征在于：所述步骤3的具体过程为：
网络参数初始化，加载设置好的超参数与模型配置文件，将制作好的数据集，将训练集数据输入卷积神经网络中，其中，输入图片的结构是3通道416*416像素尺寸的图片，通过传入输入层图片数据、每层的边界框数和类别数，调用网络核心方法，构建网络模块，网络为全卷积层，含有残差网络结构，通过正向传播训练输出最优损失函数，并使用随机梯度下降方法优化反向传播过程，更新权重偏置等参数，训练迭代学习输出深度学习模型，得到权重参数文件分批次训练数据。
5.根据权利要求4所述的一种基于卷积神经网络的甘蔗蔗节特征识别与定位方法，其特征在于：所述网络由卷积层以不同形式链接形成的残差网络结构，是一种组合形式的卷积操作以不同组合构成，这种组合由一个卷积层，一个批正则化层与一个以带泄露的线性修正函数为激活函数的网络层的结合构成，组合包括卷积操作，卷积操作之后的数据批正则化操作以及对数据进行输入到激活函数中的操作，整个网络将这种组合形式的卷积结构两个或多个相连构成一个小型结构，这种小型结构中的前后两个卷积层使用的卷积核维度不同，使用1*1的卷积层与3*3卷积层交替组成，达到神经网络深度的增加，之后将这种小型结构的输出结果与前层小型网络或者卷积结构输出相加，构成残差网络结构short连接形式，并输入线性单元激活函数，最后图像信息数据经过1*1卷积核的卷积层输入线性激活函数，将输出结果输出，网络共由22部分构成，每一部分中包含的卷积核的数量以及结构不同，在网络模型中，最后蔗节信息由一个输出值得到，由三个主要输出值通过重合度计算得到，三个输出值均由卷积操作后输入激活函数输出得到，每个输出值包含10种预测框对应值，输出值的过程中使用非极大值抑制保证对每个对象只检测一次，找出概率最大的边界框，通过维度聚类方法来预测边界框并用逻辑回归预测对象分数，每个边界框对应四个数据，分别为中心点坐标以及边界框的宽度与高度，训练中使用二元交叉熵对生成的边界框在进行分类预测，确定边界框中物体类别，最后输出值为蔗节预测框坐标值。
6.根据权利要求5所述的一种基于卷积神经网络的甘蔗蔗节特征识别与定位方法，其特征在于：所述重合度计算的具体过程为：
引入重合度C来表示获取的甘蔗蔗节特征最优预测框A与甘蔗本身的检测框的重合度B，只有重合度超过阈值的检测框才能被识别认定为正确目标，通过两者预测框计算得到的阈值筛选出最优蔗节位置，
预测框重合度C为：
C＝(A∩B)/A
将网络的三个值进行重合度计算，再将所有最优甘蔗蔗节预测框A与甘蔗预测框计算B，获得甘蔗蔗节预测框的重合度C，将重合度C超过阈值的蔗节预测框输出，作为需要的目标，采用K-means聚类方法，对甘蔗数据集进行处理得到预测框的尺寸，并提高了预测框数量，在训练时达到更有效果，使用时对于甘蔗特征的识别定位更准确。
7.根据权利要求6所述的一种基于卷积神经网络的甘蔗蔗节特征识别与定位方法，其特征在于：
包含重合度C的整体损失函数为：
损失函数为预测框以及重合度的求和，上面式子中，i代表样本，j代表样本中的目标类别，为网络正向传播过程产生的参数，x、y、w、h、B、p(e)为网络训练的标记样本对应参数；为整体损失函数公式，为甘蔗与蔗节识别损失函数公式，，1-Ci为重合度损失计算公式。
公式中的为蔗节预测框的坐标预测的损失函数公式，λc为预测框坐标误差权重，表示i中的目标是否为j的预测目标，d为预测的目标类别数，x、y分别为样本标记的预测框中心点坐标，w、h为样本标记的预测框尺寸宽与高。
为预测框概率值计算的损失函数公式，前一部分计算包含目标时预测框的概率值损失，后一部分计算不包含目标时预测框的概率值损失；参数B为目标预测框的概率，λno为预测框中不含目标时的权重，表示i中的目标是否为j的预测目标。
为检测物体所属类别判定的损失函数公式，为i样本中的目标是否为标记的目标，e为网络训练标记的目标，p(e)为标记目标的概率。
网络通过随机梯度下降算法对网络参数进行优化计算，更新网络中的权重，偏置，以及损失函数，通过迭代计算得到深度学习模型。
8.根据权利要求1所述的一种基于卷积神经网络的甘蔗蔗节特征识别与定位方法，其特征在于：所述步骤4的具体过程为：
对摄像头采集的视频进行处理，保存为图片，按照5帧一次的对照片进行读取，对图片进行识别处理，输出甘蔗特征数据，包括蔗节边框像素点坐标。
9.根据权利要求1所述的一种基于卷积神经网络的甘蔗蔗节特征识别与定位方法，其特征在于：所述步骤5的具体过程为：
通过标定的摄像头数据，计算蔗节边框像素点坐标数据，具体过程如下：将求得的蔗节中心点坐标z的纵坐标与甘蔗中心点纵坐标比较，进一步得到蔗节隶属信息，将蔗节进行处理，确定蔗节来自哪根甘蔗，之后对z的横坐标进行统计，设定阈值d，作为蔗节检测范围，在以z为中心的，d为长度的邻域(-d，d)内，出现的蔗节将视为重复蔗节，剔除掉重复的蔗节，不在邻域内的蔗节，添加进结果内，并根据甘蔗生长特性，将整根甘蔗分为四部分，对三部分中蔗节检测范围d的取值进行调整，两端中的d的范围将小于中间区域，以此来更新甘蔗蔗节信息，根据切种机的需求，得到实际距离，将处理的数据将以一根甘蔗为一组的形式发送给后续切种机器。
CN201910570675.2A 2019-06-28 2019-06-28 一种基于卷积神经网络的甘蔗蔗节特征识别与定位方法 Active CN110288033B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910570675.2A CN110288033B (zh) 2019-06-28 2019-06-28 一种基于卷积神经网络的甘蔗蔗节特征识别与定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910570675.2A CN110288033B (zh) 2019-06-28 2019-06-28 一种基于卷积神经网络的甘蔗蔗节特征识别与定位方法

Publications (2)

Publication Number Publication Date
CN110288033A true CN110288033A (zh) 2019-09-27
CN110288033B CN110288033B (zh) 2023-04-07

Family

ID=68019941

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910570675.2A Active CN110288033B (zh) 2019-06-28 2019-06-28 一种基于卷积神经网络的甘蔗蔗节特征识别与定位方法

Country Status (1)

Country Link
CN (1) CN110288033B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110717534A (zh) * 2019-09-30 2020-01-21 中国科学院大学 一种基于网络监督的目标分类和定位方法
CN111121607A (zh) * 2019-12-13 2020-05-08 深圳大学 一种训练三维定位模型的方法及三维定位方法、装置
CN111339953A (zh) * 2020-02-27 2020-06-26 广西大学 一种基于聚类分析的薇甘菊监测方法
CN113128577A (zh) * 2021-04-07 2021-07-16 广西民族大学 一种基于机器学习的中耕期甘蔗幼苗培土方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107169421A (zh) * 2017-04-20 2017-09-15 华南理工大学 一种基于深度卷积神经网络的汽车驾驶场景目标检测方法
US20180137642A1 (en) * 2016-11-15 2018-05-17 Magic Leap, Inc. Deep learning system for cuboid detection
CN108875789A (zh) * 2018-05-23 2018-11-23 广西民族大学 一种基于深度学习的甘蔗蔗芽特征识别装置
CN108876767A (zh) * 2018-05-23 2018-11-23 广西民族大学 一种甘蔗蔗节特征快速识别装置
US20190114511A1 (en) * 2017-10-16 2019-04-18 Illumina, Inc. Deep Learning-Based Techniques for Training Deep Convolutional Neural Networks

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180137642A1 (en) * 2016-11-15 2018-05-17 Magic Leap, Inc. Deep learning system for cuboid detection
CN107169421A (zh) * 2017-04-20 2017-09-15 华南理工大学 一种基于深度卷积神经网络的汽车驾驶场景目标检测方法
US20190114511A1 (en) * 2017-10-16 2019-04-18 Illumina, Inc. Deep Learning-Based Techniques for Training Deep Convolutional Neural Networks
CN108875789A (zh) * 2018-05-23 2018-11-23 广西民族大学 一种基于深度学习的甘蔗蔗芽特征识别装置
CN108876767A (zh) * 2018-05-23 2018-11-23 广西民族大学 一种甘蔗蔗节特征快速识别装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
MAAS A.L.ET AL.: "Rectifier nonlinearities improve neural network acoustic models", 《ICML WORKSHOP ON DEEP LEARNING FOR AUDIO，SPEECH，AND LANGUAGE PROCESSING》 *
石昌友等: "基于机器视觉的不同类型甘蔗茎节识别", 《计算机应用》 *
赵朋成等: "基于高倍特征深度残差网络的手写数字识别", 《电子测量技术》 *
龙满生等: "基于卷积神经网络与迁移学习的油茶病害图像识别", 《农业工程学报》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110717534A (zh) * 2019-09-30 2020-01-21 中国科学院大学 一种基于网络监督的目标分类和定位方法
CN110717534B (zh) * 2019-09-30 2020-09-15 中国科学院大学 一种基于网络监督的目标分类和定位方法
CN111121607A (zh) * 2019-12-13 2020-05-08 深圳大学 一种训练三维定位模型的方法及三维定位方法、装置
CN111121607B (zh) * 2019-12-13 2021-12-07 深圳大学 一种训练三维定位模型的方法及三维定位方法、装置
CN111339953A (zh) * 2020-02-27 2020-06-26 广西大学 一种基于聚类分析的薇甘菊监测方法
CN111339953B (zh) * 2020-02-27 2022-11-11 广西大学 一种基于聚类分析的薇甘菊监测方法
CN113128577A (zh) * 2021-04-07 2021-07-16 广西民族大学 一种基于机器学习的中耕期甘蔗幼苗培土方法
CN113128577B (zh) * 2021-04-07 2022-06-21 广西民族大学 一种基于机器学习的中耕期甘蔗幼苗培土方法

Also Published As

Publication number Publication date
CN110288033B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN110288033A (zh) 一种基于卷积神经网络的甘蔗蔗节特征识别与定位方法
Kumar et al. Resnet-based approach for detection and classification of plant leaf diseases
CN109977780A (zh) 一种基于深度学习算法的硅藻的检测与识别方法
CN109829893A (zh) 一种基于注意力机制的缺陷目标检测方法
CN109961024A (zh) 基于深度学习的小麦田间杂草检测方法
CN108830188A (zh) 基于深度学习的车辆检测方法
CN109815833A (zh) 一种基于ccd与三维激光传感信息融合特征提取的茶尖识别方法
CN108921201B (zh) 基于特征组合与cnn的大坝缺陷识别与分类方法
CN111340141A (zh) 一种基于深度学习的作物幼苗与杂草检测方法及系统
CN108960069A (zh) 一种用于单阶段物体检测器的增强上下文的方法
CN110046550A (zh) 基于多层特征学习的行人属性识别系统及方法
CN109492665A (zh) 水稻生育期的检测方法、装置及电子设备
CN106803248B (zh) 模糊车牌图像模糊度评价方法
CN110287760A (zh) 一种基于深度学习的人脸五官点遮挡检测方法
CN114140665A (zh) 一种基于改进YOLOv5的密集小目标检测方法
CN109800756A (zh) 一种用于中文历史文献密集文本的文字检测识别方法
CN111291818B (zh) 一种面向云掩膜的非均匀类别的样本均衡化方法
CN108229432A (zh) 人脸标定方法及装置
CN113610035A (zh) 一种基于改进编解码网络的水稻分蘖期杂草分割识别方法
CN109815973A (zh) 一种适用于鱼类细粒度识别的深度学习方法
Monigari et al. Plant leaf disease prediction
CN108932474A (zh) 一种基于全卷积神经网络复合特征的遥感影像云判方法
CN110458200A (zh) 一种基于机器学习的花朵种类识别方法
Miao et al. Crop weed identification system based on convolutional neural network
CN108154199B (zh) 一种基于深度学习的高精度快速单类目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant