CN114663791A - 一种非结构化环境下面向剪枝机器人的枝条识别方法 - Google Patents

一种非结构化环境下面向剪枝机器人的枝条识别方法 Download PDF

Info

Publication number
CN114663791A
CN114663791A CN202210409662.9A CN202210409662A CN114663791A CN 114663791 A CN114663791 A CN 114663791A CN 202210409662 A CN202210409662 A CN 202210409662A CN 114663791 A CN114663791 A CN 114663791A
Authority
CN
China
Prior art keywords
image
pruning
branch
attention
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210409662.9A
Other languages
English (en)
Inventor
郑太雄
朱意霖
谢新宇
莫浩南
向杰
向足
王竞萱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202210409662.9A priority Critical patent/CN114663791A/zh
Publication of CN114663791A publication Critical patent/CN114663791A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种非结构化环境下面向剪枝机器人的枝条识别方法，属于智能农业领域。首先采集自然环境下树枝图像，人工标注树枝类型以及修剪方式，然后图像预处理，再对不同尺寸的图像特征进行编码和注意力加权，将原图的果实和树枝进行分割，使得图像中只剩下树枝。最后对二值化图像进行边缘提取，使用SVM分类器得到树枝的类别和修剪方法。本发明解决了在非结构化环境下传统的目标检测易受复杂背景的影响、还要避免在剪枝的过程中果实遮挡以及树枝重叠的问题，还克服了一般深度学习神经网络模型需要大量训练集、计算量大、计算时间长、对计算机硬件要求高，识别精度不够高等缺点，使用轻量化网络结构，大大减少了模型训练的参数量。

Description

一种非结构化环境下面向剪枝机器人的枝条识别方法
技术领域
本发明属于智能农业领域，涉及一种非结构化环境下面向剪枝机器人的枝条识别方法。
背景技术
剪枝是农业生产中一个重要的环节，对提高作物产量和质量起到至关重要的作用，种植的果树上的水果具有较高的经济价值，大部分的果园内依然采用人工剪枝的方式。人工剪枝费时费力，需要专业人员人力识别枝条。随着精准农业的发展，机械化剪枝逐渐成为研究重点。在机械化剪枝过程中，快速准确检测识别枝条是关键步骤之一。
如今如SSD网络模型、YOLO网络模型、FastR-CNN网络模型能够很好的应用在不同平台和领域。目前深度学习技术应用日益广泛，成为了当今主流的检测手段，这些算法虽然能解决剪枝机器人的目标检测识别问题，但对于非结构化的环境下，它们无法准确的识别枝条。在背景复杂的情况下，机器人可能无法识别需要剪去的枝条，可能会造成误剪，漏剪的情况。因此，对于树枝的修剪位置与修剪方式，获取树枝准确高精度的图像是必要的，这意味着上述网络模型不能满足日常剪枝的精确度要求。
发明内容
有鉴于此，本发明的目的在于提供一种非结构化环境下面向剪枝机器人的枝条识别方法，解决再非结构化环境下传统的目标检测易受复杂背景的影响、还要避免在剪枝的过程中果实遮挡以及树枝重叠的问题，还克服了一般深度学习神经网络模型需要大量训练集、计算量大、计算时间长、对计算机硬件要求高，识别精度不够高等缺点。
为达到上述目的，本发明提供如下技术方案：
一种非结构化环境下面向剪枝机器人的枝条识别方法，包括如下步骤：
S1：采集自然环境下树枝图像，人工标注树枝类型以及修剪方式；
S2：图像预处理，依次使用图像滤波、伽马矫正和自适应直方图均衡化作图像的预处理，降低环境光照和噪声对果实检测结果的干扰；
S3：采用改进的Yolov4作为果实目标检测的主体算法，将改良的GhostNet代替CPSDarknet-53作为骨干网络，将原模型中的普通卷积换为空间可分离卷积，大大的降低了计算参数量；
S4：采用改进的Embeddings和Self-Attention模块对不同尺寸的图像特征进行编码和注意力加权；
S5：将步骤S3提取的目标特征分别输出到Yolov4目标检测框架末端的Yolo head；
S6：在步骤S5的全连接层中采用softmax分类器和进行目标检测分类和并采用Generalized Focal Loss损失函数代替原模型的GIOU进行边框回归输出检测框位置和分类置信度；
S7：根据S6生成的标注图像，和二值化后的原图像进行对比，将原图的果实和树枝进行分割，使得图像中只剩下树枝；
S8：对S7中的二值化图像进行边缘提取，使用SVM分类器得到树枝的类别和修剪方法。
进一步地，所述步骤S2中使用伽马矫正和自适应直方图均衡化作图像的预处理，即由多个步骤构成：归一化，预补偿，反归一化。得到进行不同Gamma指数补偿后的图像。减少环境光照和噪声对果实检测结果的干扰。
伽马矫正算法计算公式为：
Figure BDA0003603208820000021
其中Vout为输出图像，A为常量，γ为伽马值。在本实验中采用的γ值为3.33和0.33。
进一步地，所述步骤S3中采用改进的Yolov4作为目标检测的主体算法，将改良的GhostNet作为骨干网络，Ghost Module将普通卷积分为两部分，首先进行一个普通的1x1卷积，这是一个少量卷积，比如正常使用32通道的卷积，这里就用16通道的卷积，这个1x1卷积的作用类似于特征整合，生成输入特征层的特征浓缩。使用GhostNet和空间可分离卷积代替CSPDarknet-53大大的减少了模型参数量，成为一个轻量级网络。大大的提升的计算速度。
CPSDarknet中的Conv2D计算量为：
(N-2)*(N-2)*m*m
空间可分离卷积的计算量为：
(2N-2)*(N-2)*m
计算量之比为：
Figure BDA0003603208820000022
其中m为卷积核大小，N为图像大小。
进一步地，所述步骤S4中通过Embeddings和Self-Attention模块对图像特征进行编码和注意力加权，首先对编码好的图像块通过3个不同的矩阵映射成为三个不同的向量q(查询向量)，k(匹配向量)，v(信息向量)，然后每一个块的q与其他的k进行点乘(attention)，然后对点乘的结果做softmax操作，转换为0-1之间的概率。
attentioni＝q*ki
进一步地，所述步骤S5中通过将得到的图像特征输入到Yolov4框架中末端的基于anchor的Yolo head进行不同尺寸的特征提取。
进一步地，所述步骤S6中使用Generalized Focal Loss损失函数代替原模型的GIOU进行边框回归输出检测框位置和分类置信度，提高了复杂环境下的检测框准确度，对检测框质量建模，指导检测框质量估计。
其中GFL计算公式为：
Figure BDA0003603208820000031
其中，yl、yr为网络预测变量，y为连续型标签值，
Figure BDA0003603208820000032
分别表示区间(yl、yr)端点的模型质量估计概率，β为权重调节因子。
进一步地，步骤S8中对二值化图像进行边缘提取，使用SVM分类器得到树枝的类别和修剪方法。
SVM的原理为求数据之间的最大几何间隔：
Figure BDA0003603208820000033
S.t.yi(wTxi+b)≥1
其中：w，b为需要求得的参数，xi，yi为训练样本数。
本发明的有益效果在于：
1.本发明的目的就是提供一种非结构化环境下面向剪枝机器人的枝条识别方法，该方法解决了使用传统视觉方法在农业剪枝的情况下，对于背景复杂，光线和噪声干扰漏剪，错剪的问题，还克服了在深度学习方法中对于模型参数量大，计算困难得问题。同时也对网络进行了改进，使得网络能够更在图像特征之间有自注意力加权，加强图像之间互相的联系。
2.本发明采用改进的Yolov4作为目标检测的主体算法，将改良的GhostNet作为骨干网络，Ghost Module将普通卷积分为两部分，首先进行一个普通的1x1卷积，这是一个少量卷积，比如正常使用32通道的卷积，这里就用16通道的卷积，这个1x1卷积的作用类似于特征整合，生成输入特征层的特征浓缩。使用GhostNet和空间可分离卷积代替CSPDarknet-53大大的减少了模型参数量，成为一个轻量级网络。大大的提升的计算速度。。
3.本发明通过Embeddings和Self-Attention模块对图像特征进行编码和注意力加权，首先对编码好的图像块通过3个不同的矩阵映射成为三个不同的向量q(查询向量)，k(匹配向量)，v(信息向量)，然后每一个块的q与其他的k进行点乘(attention)，然后对点乘的结果做softmax操作，转换为0-1之间的概率。
4.本发明使用伽马矫正和自适应直方图均衡化作图像的预处理，即由多个步骤构成：归一化，预补偿，反归一化。得到进行不同Gamma指数补偿后的图像。减少环境光照和噪声对果实检测结果的干扰。
5.本发明使用Generalized Focal Loss损失函数代替原模型的GIOU进行边框回归输出检测框位置和分类置信度，提高了复杂环境下的检测框准确度，对检测框质量建模，指导检测框质量估计。
6.本发明使用对二值化图像进行边缘提取，使用SVM分类器得到树枝的类别和修剪方法。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
图1为本发明的流程图；
图2为本发明基于改进的Yolov4目标检测框架对图像进行目标检测、边框回归的过程实现图；
图3为本发明Ghost Module和普通卷积的区别图；
图4为本发明Self-Attention机制原理图；
图5为本发明根据改进的Yolov4改造的深度学习网络结构图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
如图1所示，本发明提供了一种非结构化环境下面向剪枝机器人的枝条识别方法的流程图，包括如下具体步骤：
(1)采集自然环境下树枝图像，人工标注树枝类型以及修剪方式；
(2)图像预处理，依次使用图像滤波、伽马矫正和自适应直方图均衡化作图像的预处理，降低环境光照和噪声对果实检测结果的干扰；
(3)采用改进的Yolov4作为果实目标检测的主体算法，将改良的GhostNet代替CPSDarknet-53作为骨干网络(如图3所示)，将原模型中的普通卷积换为空间可分离卷积(如图5所示)；
(4)采用改进的Embeddings和Self-Attention模块对不同尺寸的图像特征进行编码和注意力加权(如图4所示)；
(5)将步骤(3)提取的目标特征分别输出到Yolov4目标检测框架末端的Yolo head(如图2所示)；
(6)在步骤(5)的全连接层中采用softmax分类器和进行目标检测分类和并采用Generalized Focal Loss损失函数代替原模型的GIOU进行边框回归输出检测框位置和分类置信度；
(7)根据(6)生成的标注图像，和二值化后的原图像进行对比，将原图的果实和树枝进行分割，使得图像中只剩下树枝；
(8)对(7)中的二值化图像进行边缘提取，使用SVM分类器得到树枝的类别和修剪方法。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (8)

1.一种非结构化环境下面向剪枝机器人的枝条识别方法，其特征在于：包括以下步骤：
S1：采集自然环境下树枝图像，人工标注树枝类型以及修剪方式；
S2：图像预处理，依次使用图像滤波、伽马矫正和自适应直方图均衡化作图像的预处理，降低环境光照和噪声对果实检测结果的干扰；
S3：采用改进的Yolov4作为果实目标检测的主体算法，将改良的GhostNet代替CPSDarknet-53作为骨干网络，将原模型中的普通卷积换为空间可分离卷积，降低计算参数量；
S4：采用改进的Embeddings和Self-Attention模块对不同尺寸的图像特征进行编码和注意力加权；
S5：将步骤S3提取的目标特征分别输出到Yolov4目标检测框架末端的Yolo head；
S6：在步骤S5的全连接层中采用softmax分类器和进行目标检测分类和并采用Generalized Focal Loss损失函数代替原模型的GIOU进行边框回归输出检测框位置和分类置信度；
S7：根据S6生成的标注图像，和二值化后的原图像进行对比，将原图的果实和树枝进行分割，使得图像中只剩下树枝；
S8：对S7中的二值化图像进行边缘提取，使用SVM分类器得到树枝的类别和修剪方法。
2.根据权利要求1所述的一种非结构化环境下面向剪枝机器人的枝条识别方法，其特征在于：所述步骤S2中，使用伽马矫正和自适应直方图均衡化作图像的预处理，具体为：归一化、预补偿和反归一化，得到进行不同Gamma指数补偿后的图像；减少环境光照和噪声对果实检测结果的干扰；
伽马矫正算法计算公式为：
Figure FDA0003603208810000011
其中Vout为输出图像，A为常量，γ为伽马值；γ值为3.33和0.33。
3.根据权利要求2所述的一种非结构化环境下面向剪枝机器人的枝条识别方法，其特征在于：所述步骤S3中，采用改进的Yolov4作为目标检测的主体算法，将改良的GhostNet作为骨干网络，GhostModule将普通卷积分为两部分，首先进行一个1x1卷积，生成输入特征层的特征浓缩；使用GhostNet和空间可分离卷积代替CSPDarknet-53减少模型参数量，成为一个轻量级网络；
CPSDarknet中的Conv2D计算量为：
(N-2)*(N-2)*m*m
空间可分离卷积的计算量为：
(2N-2)*(N-2)*m
计算量之比为：
Figure FDA0003603208810000021
其中m为卷积核大小，N为图像大小。
4.根据权利要求3所述的一种非结构化环境下面向剪枝机器人的枝条识别方法，其特征在于：所述步骤S4中，通过Embeddings和Self-Attention模块对图像特征进行编码和注意力加权，首先对编码好的图像块通过3个不同的矩阵映射成为三个不同的向量：查询向量q、匹配向量k和信息向量v，然后每一个块的q与其他的k进行attention点乘，然后对点乘的结果做softmax操作，转换为0～1之间的概率；
attentioni＝q*ki。
5.根据权利要求4所述的一种非结构化环境下面向剪枝机器人的枝条识别方法，其特征在于：所述步骤S4中，通过通道注意力和空间注意力机制对图像特征进行权重叠加，得到三个不同尺寸的图像特征对图片和通道的重要部分进行提取。
6.根据权利要求5所述的一种非结构化环境下面向剪枝机器人的枝条识别方法，其特征在于：所述步骤S5中，通过将得到的图像特征输入到Yolov4框架中末端的基于anchor的Yolohead进行不同尺寸的特征提取。
7.根据权利要求6所述的一种非结构化环境下面向剪枝机器人的枝条识别方法，其特征在于：所述步骤S6中，使用损失函数GFL代替原模型的GIOU进行边框回归输出检测框位置和分类置信度，提高复杂环境下的检测框准确度，对检测框质量建模，指导检测框质量估计；其中GFL计算公式为：
Figure FDA0003603208810000023
其中，yl、yr为网络预测变量，y为连续型标签值，
Figure FDA0003603208810000024
分别表示区间(yl、yr)端点的模型质量估计概率，β为权重调节因子。
8.根据权利要求7所述的一种非结构化环境下面向剪枝机器人的枝条识别方法，其特征在于：所述步骤S8中，对二值化图像进行边缘提取，使用SVM分类器得到树枝的类别和修剪方法；
SVM的原理为求数据之间的最大几何间隔：
Figure FDA0003603208810000022
S.t.yi(wTxi+b)≥1
其中：w和b为需要求得的参数，xi，yi为训练样本数。
CN202210409662.9A 2022-04-19 2022-04-19 一种非结构化环境下面向剪枝机器人的枝条识别方法 Pending CN114663791A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210409662.9A CN114663791A (zh) 2022-04-19 2022-04-19 一种非结构化环境下面向剪枝机器人的枝条识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210409662.9A CN114663791A (zh) 2022-04-19 2022-04-19 一种非结构化环境下面向剪枝机器人的枝条识别方法

Publications (1)

Publication Number Publication Date
CN114663791A true CN114663791A (zh) 2022-06-24

Family

ID=82034761

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210409662.9A Pending CN114663791A (zh) 2022-04-19 2022-04-19 一种非结构化环境下面向剪枝机器人的枝条识别方法

Country Status (1)

Country Link
CN (1) CN114663791A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117114148A (zh) * 2023-08-18 2023-11-24 湖南工商大学 一种轻量级联邦学习训练方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117114148A (zh) * 2023-08-18 2023-11-24 湖南工商大学 一种轻量级联邦学习训练方法
CN117114148B (zh) * 2023-08-18 2024-04-09 湖南工商大学 一种轻量级联邦学习训练方法

Similar Documents

Publication Publication Date Title
CN111369540A (zh) 基于掩码卷积神经网络的植物叶片病害识别方法
CN110222215B (zh) 一种基于f-ssd-iv3的作物害虫检测方法
CN111127423B (zh) 一种基于cnn-bp神经网络算法水稻病虫害识别方法
CN111967325A (zh) 一种基于增量优化的无监督跨域行人重识别方法
CN113420794B (zh) 一种基于深度学习的二值化Faster R-CNN柑橘病虫害识别方法
CN112749675A (zh) 一种基于卷积神经网络的马铃薯病害识别方法
CN114676769A (zh) 一种基于视觉Transformer的小样本昆虫图像识别方法
CN110348503A (zh) 一种基于卷积神经网络的苹果品质检测方法
CN117540908A (zh) 基于大数据的农业资源整合方法和系统
CN113936254A (zh) 结合积温订正的水稻发育期识别模型训练方法、识别方法及装置
CN116071560A (zh) 一种基于卷积神经网络的水果识别方法
CN115457403A (zh) 一种基于多类型遥感图像的农作物智能识别方法
CN111563542A (zh) 一种基于卷积神经网络的植物自动分类方法
CN114663791A (zh) 一种非结构化环境下面向剪枝机器人的枝条识别方法
CN114846998A (zh) 基于YOLOv4算法的双目机器人的番茄采摘方法及系统
CN114399661A (zh) 一种实例感知主干网络训练方法
CN111832480B (zh) 一种基于光谱特征的油菜种植区遥感识别方法
Ji et al. Exploring the solutions via Retinex enhancements for fruit recognition impacts of outdoor sunlight: a case study of navel oranges
CN113221913A (zh) 一种基于高斯概率决策级融合的农林病虫害细粒度识别方法及装置
CN116721343A (zh) 一种基于深度卷积神经网络的跨域田间棉铃识别方法
CN115995040A (zh) 一种基于多尺度网络的sar图像小样本目标识别方法
An Xception network for weather image recognition based on transfer learning
CN111144464B (zh) 基于CNN-Kmeans算法水果自动识别方法
CN115601634A (zh) 一种基于层次性注意力机制的图像叶片识别方法及装置
CN113837039A (zh) 一种基于卷积神经网络的果实生长形态视觉辨识方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination