CN115205853B - 一种基于图像的柑橘果实检测与识别方法及系统 - Google Patents

一种基于图像的柑橘果实检测与识别方法及系统 Download PDF

Info

Publication number
CN115205853B
CN115205853B CN202211134430.3A CN202211134430A CN115205853B CN 115205853 B CN115205853 B CN 115205853B CN 202211134430 A CN202211134430 A CN 202211134430A CN 115205853 B CN115205853 B CN 115205853B
Authority
CN
China
Prior art keywords
fruit
citrus fruit
image
citrus
gradient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211134430.3A
Other languages
English (en)
Other versions
CN115205853A (zh
Inventor
佃袁勇
郭志强
周靖靖
胡春根
张金智
刘永忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong Agricultural University
Original Assignee
Huazhong Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong Agricultural University filed Critical Huazhong Agricultural University
Priority to CN202211134430.3A priority Critical patent/CN115205853B/zh
Publication of CN115205853A publication Critical patent/CN115205853A/zh
Application granted granted Critical
Publication of CN115205853B publication Critical patent/CN115205853B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Abstract

本发明涉及一种基于图像的柑橘果实检测与识别方法及系统，其方法包括获取柑橘果实的实景拍摄照片并对中心点进行标注，建立数据集；对数据集进行拟合得到柑橘果的果实边界，并生成多尺度空间梯度概率图；构建多尺度空间注意力深度学习网络模型并进行训练；获取目标柑橘实景拍摄照片，并将目标柑橘实景拍摄照片输入至多尺度空间注意力深度学习网络进行检测与识别，得到柑橘果预测点位图。本发明通过对标记后的实景拍摄照片形成的数据集进行拟合，得到柑橘果的果实边界和多尺度空间梯度概率图，构建多尺度空间注意力深度学习网络模型并进行训练，从而实现对目标柑橘实景拍摄照片的识别，得到柑橘果预测点位图，检测方法简单使用、可移植性强。

Description

一种基于图像的柑橘果实检测与识别方法及系统
技术领域
本发明涉及农业智能监测技术领域，尤其涉及一种基于图像的柑橘果实检测与识别方法及系统。
背景技术
目前，柑橘是经济价值极高的树种，在区域经济中具有重要地位。随着经济的发展，柑橘林种植面积逐年扩大，柑橘林产量及人工采摘成本成倍增加。为了进一步提高采摘效率，为农民增收减负，需要更加智能化的采摘流程。近年来，图像技术的成熟为大范围的柑橘果实智能检测和识别提供了条件，因此开展基于图像的大范围柑橘果实智能检测与识别非常有必要。
随着人工智能与计算机视觉技术的快速发展，以深度学习为代表的新型智能算法为赋能智慧化农业生产提供了技术保障。目前主流的语义分割模型算法在复杂场景中的精细分割任务表现良好，同基于检测框的目标检测方法相比，可以借助端对端的训练框架进行快速的训练检测，检测速度和精度有一定提升，其中U-Net是目前植物物种智能检测领域应用潜力较大的一种算法，具有极高的检测精度，然而该方法对目标的精细化程度和背景复杂度均有严格的要求。
现有柑橘林果的检测与计数方法主要是实地人工计数，采取边标记边计数的方式，避免人工计数的重复和遗漏，这种方法虽然计数结果准确率高，但耗时耗力，效率低；
通过上述分析，现有技术存在的问题及缺陷为：
（1）现有柑橘计数方法具有灵活性差、检测速度慢、不适合大范围快速检测。
（2）受到光照变化、生长姿态、遮挡、叠加、相机角度和其他恶劣工作条件的影响，导致识别难度进一步急剧增加。
（3）每个果实的特征（颜色、纹理、形状、大小）差异很大，常规语义分割模型不能提取多尺度空间信息。
发明内容
本发明所要解决的技术问题是针对上述现有技术的不足，提供一种基于图像的柑橘果实检测与识别方法及系统。
本发明解决上述技术问题的技术方案如下：一种基于图像的柑橘果实检测与识别方法，包括如下步骤：
获取柑橘果实的实景拍摄照片，并对所述实景拍摄照片中果实的中心点进行标注，建立数据集；
基于所述中心点利用区域生长算法对所述数据集进行拟合，得到柑橘果的果实边界，并生成基于果实中心点的多尺度空间梯度概率图；
构建多尺度空间注意力深度学习网络模型，并基于所述多尺度空间梯度概率图对所述多尺度空间注意力深度学习网络模型进行训练；
获取目标柑橘实景拍摄照片，并将所述目标柑橘实景拍摄照片输入至所述多尺度空间注意力深度学习网络进行检测与识别，得到柑橘果预测点位图。
本发明的有益效果是：本发明的基于图像的柑橘果实检测与识别方法，通过对标记后的实景拍摄照片形成的数据集进行拟合，得到柑橘果的果实边界，并得到多尺度空间梯度概率图，构建多尺度空间注意力深度学习网络模型，并基于多尺度空间梯度概率图进行训练，从而实现对目标柑橘实景拍摄照片的识别，得到柑橘果预测点位图，本发明的智能检测方法简单使用、可移植性强，能为大范围柑橘果实检测和识别提供理论参考和科学依据，进而为柑橘果全过程生长周期监测和评估服务。
在上述技术方案的基础上，本发明还可以做如下改进：
进一步：所述获取柑橘果实的实景拍摄照片并对所述实景拍摄照片中果实的中心点进行标注，建立数据集具体包括如下步骤：
获取柑橘果实的实景拍摄照片，利用软件对所述实景拍摄照片中柑橘果的中心点进行标注；
从所述实景拍摄照片中随机抽取M张标注样本作为训练集，进行图像数据扩增，并保留N张样本作为验证集；
将所述数据集划分为训练集和验证集；
其中，所述图像数据扩增包括图像旋转、图像移动、图像缩放、图像增强、噪声注入和对比度变换中的一种或多种处理，M>N。
上述进一步方案的有益效果是：通过对所述实景拍摄照片中柑橘果的中心点进行标注，方便后续对照片进行拟合，并从所述实景拍摄照片中随机抽取M张作为标注样本，对所述实景拍摄照片进行图像数据扩增，可以提高模型的泛化能力。
进一步：所述基于所述中心点利用区域生长算法对所述数据集进行拟合具体包括如下步骤：
采用归一化波段指数确定所述实景拍摄照片中柑橘果和背景对应的指数，并计算相邻空间红蓝波段梯度指数差值；
Figure 233122DEST_PATH_IMAGE002
（1）
Figure 381075DEST_PATH_IMAGE004
（2）
其中，Red为图像数据中对应像素的红光波段的值，Blue为图像数据中对应像素的蓝光波段的值，graDiff为红蓝波段梯度指数，T为相邻空间红蓝波段梯度指数差值，且所述T小于预设阈值时对应像素为柑橘果，否则对应像素为背景；
采用八邻域算法，以所述中心点为种子点进行区域生长，得到数据集中图像数据对应的二值图像；
采用3×3卷积核对所述二值图像分别进行膨胀和腐蚀处理，得到分别得到膨胀和腐蚀后的图斑，通过相交求差得到每一个果实的边缘点；
对所述边缘点进行圆拟合，得到果实的果实边界，并计算每个果实边界对应的半径。
上述进一步方案的有益效果是：通过分析所述实景拍摄照片中柑橘果和背景对应的指数，并计算相邻空间红蓝波段梯度指数差值，结合预设阈值可以准确判断对应的像素为柑橘果或背景，从而可以通过区域生长二值图像 ，在进行膨胀和腐蚀处理即可得到图斑，进而相交求差得到每一个果实的边缘点，最终通过圆拟合得到果实边界，并计算出果实边界的半径，方便后续生成对应的多尺度空间梯度概率图。
进一步：所述生成基于果实中心点的多尺度空间梯度概率图具体包括如下步骤：
定义所述数据集的图像中柑橘果的位置点为l= {l 1 , l 2 , l 3 ,…, l i ,…,l k },构建每个柑橘果实位置点的二维高斯核函数，具体如下：
Figure 560384DEST_PATH_IMAGE006
（3）
将每个柑橘果实位置点对应的所述二维高斯核函数进行叠加，并基于所有所述二维高斯核函数的最大值构建所述多尺度空间梯度概率图：
Figure 569928DEST_PATH_IMAGE008
（4）
其中，
Figure 931508DEST_PATH_IMAGE010
为高斯核参数，
Figure 735516DEST_PATH_IMAGE012
为对应柑橘果的位置点属于对应类别关键点的初始概率，K为所述数据集的图像中柑橘果的数量。
上述进一步方案的有益效果是：通过构建每个柑橘果实位置点的二维高斯核函数，确定每个果实的局部影响范围，这样将每个柑橘果实位置点对应的所述二维高斯核函数进行叠加，得到多尺度空间梯度概率图，从而方便后续基于所述多尺度空间梯度概率图对多尺度空间注意力深度学习网络模型进行训练。
进一步：所述构建多尺度空间注意力深度学习网络模型，并基于所述多尺度空间梯度概率图对所述多尺度空间注意力深度学习网络模型进行训练具体包括如下步骤：
构建多尺度空间注意力深度学习网络模型，并将所述训练集中的实景拍摄照片和对应的所述多尺度空间梯度概率图输入至所述多尺度空间注意力深度学习网络模型，对所述实景拍摄照片进行采样、裁剪处理，得到特征图；
采用不同扩张率的扩张卷积层对所述训练集中的实景拍摄照片进行特征提取处理，得到不同尺度空间特征，并将所述不同尺度空间特征进行对应的空洞卷积处理后得到的空间特征进行合并，得到特征集；
采用Sigmoid函数对所述特征集进行处理，计算并输出预测概率作为主干网络特征的空间监督权重。
上述进一步方案的有益效果是：通过对所述训练集中的实景拍摄照片进行采样、裁剪处理，得到对应的特征图，并进行归一化处理，得到果实分布概率图，从而对所述果实分布概率图进行检测，得到多尺度空间梯度概率预测图；采用不同扩张率的扩张卷积层对所述训练集中的实景拍摄照片进行特征提取处理，进而得到对应的特征集，最后得到多尺度空间注意力深度学习网络模型的主干网络特征的空间监督权重，完成训练。
进一步：所述将所述目标柑橘实景拍摄照片输入至所述多尺度空间注意力深度学习网络进行检测与识别具体包括如下步骤：
采用softmax激活函数将所述特征集归一化处理，得到果实分布概率图，并对所述果实分布概率图进行检测，输出包含每个像素属于每种类别概率的多尺度空间梯度概率预测图；
利用Sobel算子分别计算所述多尺度空间梯度预测概率图中每个像素的横向亮度差分近似值和纵向亮度差分近似值，并计算每个像素的梯度值；
Figure DEST_PATH_IMAGE013
（5）
Figure 136542DEST_PATH_IMAGE014
（6）
Figure DEST_PATH_IMAGE015
（7）
Figure 136728DEST_PATH_IMAGE016
=
Figure DEST_PATH_IMAGE017
（8）
Figure 824585DEST_PATH_IMAGE018
（9）
其中，
Figure DEST_PATH_IMAGE019
为Sobel算子的横向卷积因子，
Figure 737178DEST_PATH_IMAGE020
为Sobel算子的纵向卷积因子，
Figure DEST_PATH_IMAGE021
为任一像素的横向亮度差分近似值，
Figure 264980DEST_PATH_IMAGE016
为任一像素的纵向亮度差分近似值，
Figure 350748DEST_PATH_IMAGE022
为多尺度空间梯度概率预测图中的任一像素的值，
Figure DEST_PATH_IMAGE023
为任一像素的梯度值；
根据所述梯度值将得到多尺度空间梯度预测概率图中的像素分割为柑橘果像素和背景像素，并生成柑橘果分布的二值图；
将所述二值图的连通区域的中心点坐标确定为柑橘果预测定位坐标，生成柑橘果预测点位图。
上述进一步方案的有益效果是：通过对所述目标柑橘实景拍摄照片中的每个像素进行检测，得到多尺度空间梯度预测概率图，并计算每个像素的梯度值，从而可以将所述多尺度空间梯度预测概率图进行分割，得到包含柑橘果像素和背景像素的二值图，从而根据二值图的连通区域的中心点坐标精确确定柑橘果的预测定位坐标，得到柑橘果预测点位图。
进一步：所述根据所述梯度值将得到多尺度空间梯度预测概率图中的像素分割为柑橘果像素和背景像素，并生成柑橘果分布的二值图具体包括如下步骤：
根据所述多尺度空间梯度预测概率图计算所述多尺度空间梯度预测概率图中所有预测概率大于预设分割阈值的像素的平均梯度值，并绘制平均梯度值与分割阈值的关系曲线；
选取所述平均梯度值与分割阈值的关系曲线中梯度值最大的像素点对应的分割阈值为所述多尺度空间梯度预测概率图的目标分割阈值；
将所述多尺度空间梯度预测概率图中像素值大于或等于所述目标分割阈值的像素归为柑橘果像素，将所述多尺度空间梯度预测概率图中像素值小于所述目标分割阈值的像素归为背景像素，并生成柑橘果分布的二值图。
上述进一步方案的有益效果是：通过计算所述预测概率图中所有预测概率大于预设分割阈值的像素的平均梯度值，这样可以比较精确的生成平均梯度值与分割阈值的关系曲线，方便确定目标分割阈值，从而将所述预测概率图中像素精准的分割为柑橘果像素和背景像素，以得到进精确的二值图。
进一步：所述的基于图像的柑橘果实检测与识别方法还包括如下步骤：
根据所述柑橘果预测点位图和柑橘果实际点位图对预测结果进行评价，具体计算公式为：
Figure DEST_PATH_IMAGE025
（10）
Figure DEST_PATH_IMAGE027
（11）
Figure DEST_PATH_IMAGE029
（12）
其中，TP为真实被检测出来的柑橘果数量，FP为非柑橘果但被检测为病害的数量，FN为真实柑橘果但未被检测出来的数量，P为精度准确度，R 为召回准确度，F1分数是精度准确度和召回准确度之间的调和平均值。
上述进一步方案的有益效果是：通过计算柑橘果预测点位图的精度准确度、召回准确度和二者之间的调和平均值，可以比较科学地评估柑橘果预测点位图的准确性和完整性，从而确定柑橘果的检测和识别 ，为大范围柑橘果实检测和识别提供理论参考和科学依据。
本发明还提供了一种基于图像的柑橘果实检测与识别系统, 包括标注模块、拟合模块、构建训练模块和识别模块；
所述标注模块，用于获取柑橘果实的实景拍摄照片，并对所述实景拍摄照片中果实的中心点进行标注，建立数据集；
所述拟合模块，用于基于所述中心点利用区域生长算法对所述数据集进行拟合，得到柑橘果的果实边界，并生成基于果实中心点的多尺度空间梯度概率图；
所述构建训练模块，用于构建多尺度空间注意力深度学习网络模型，并基于所述多尺度空间梯度概率图对所述多尺度空间注意力深度学习网络模型进行训练；
所述识别模块，用于获取目标柑橘实景拍摄照片，并将所述目标柑橘实景拍摄照片输入至所述多尺度空间注意力深度学习网络进行检测与识别，得到柑橘果预测点位图。
本发明的基于图像的柑橘果实检测与识别系统，通过对标记后的实景拍摄照片形成的数据集进行拟合，得到柑橘果的果实边界，并得到多尺度空间梯度概率图，构建多尺度空间注意力深度学习网络模型，并基于多尺度空间梯度概率图进行训练，从而实现对目标柑橘实景拍摄照片的识别，得到柑橘果预测点位图，本发明的智能检测方法简单使用、可移植性强，能为大范围柑橘果实检测和识别提供理论参考和科学依据，进而为柑橘果全过程生长周期监测和评估服务。
本发明还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，实现所述的基于图像的柑橘果实检测与识别方法。
本发明还提供了一种基于尺度自适应的乡村景观功能区划分设备，包括所述的存储介质和处理器，所述处理器执行所述存储介质上的计算机程序时实现所述的基于图像的柑橘果实检测与识别方法的步骤。
附图说明
图1为本发明一实施例的基于图像的柑橘果实检测与识别方法的流程示意图；
图2为本发明一实施例的不用模型训练后的训练集的损失值和验证集的损失值对比图；
图3为本发明一实施例的分割阈值与平均梯度关系曲线示意图
图4为本发明一实施例的基于图像的柑橘果实检测与识别系统的流程示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
如图1所示，一种基于图像的柑橘果实检测与识别方法, 包括如下步骤：
S1：获取柑橘果实的实景拍摄照片，并对所述实景拍摄照片中果实的中心点进行标注，建立数据集；
S2：基于所述中心点利用区域生长算法对所述数据集进行拟合，得到柑橘果的果实边界，并生成基于果实中心点的多尺度空间梯度概率图；
S3：构建多尺度空间注意力深度学习网络模型，并基于所述多尺度空间梯度概率图对所述多尺度空间注意力深度学习网络模型进行训练；
S4：获取目标柑橘实景拍摄照片，并将所述目标柑橘实景拍摄照片输入至所述多尺度空间注意力深度学习网络进行检测与识别，得到柑橘果预测点位图。
本发明的基于图像的柑橘果实检测与识别方法，通过对标记后的实景拍摄照片形成的数据集进行拟合，得到柑橘果的果实边界，并得到多尺度空间梯度概率图，构建多尺度空间注意力深度学习网络模型，并基于多尺度空间梯度概率图进行训练，从而实现对目标柑橘实景拍摄照片的识别，得到柑橘果预测点位图，本发明的智能检测方法简单使用、可移植性强，能为大范围柑橘果实检测和识别提供理论参考和科学依据，进而为柑橘果全过程生长周期监测和评估服务。
在本发明的一个或多个实施例中，所述S1中，所述获取柑橘果实的实景拍摄照片并对所述实景拍摄照片中果实的中心点进行标注，建立数据集具体包括如下步骤：
S11：获取柑橘果实的实景拍摄照片，利用软件对所述实景拍摄照片中柑橘果的中心点进行标注；
这里，本实施例中，采用ImageJ软件对柑橘果的中心点进行标注，标注时去保证每个标注点在对应感觉过的范围内。
S12：从所述实景拍摄照片中随机抽取M张作为标注样本，进行图像数据扩增，并保留N张样本作为验证集；
本实施例中，为提高网络的泛化能力，从拍摄的照片中随机抽取M张标注样本，作为训练数据集，采用图像旋转、图像移动、图像缩放、图像增强、噪声注入、对比度变换等方法进行数据扩增，最后保留N张作为验证集。
S13：将所述数据集划分为训练集和验证集；
其中，所述图像数据扩增包括图像旋转、图像移动、图像缩放、图像增强、噪声注入和对比度变换中的一种或多种处理，M>N。
这里，将扩充数据集按 8∶ 2 分为训练集和验证集。其中训练集用于训练模型参数，验证集用于训练模型的超参数调优，测试集用于评估模型的泛化能力。
通过对所述实景拍摄照片中柑橘果的中心点进行标注，方便后续对照片进行拟合，并从所述实景拍摄照片中随机抽取M张标注样本作为训练集，对所述实景拍摄照片进行图像数据扩增，可以提高模型的泛化能力。
实际中，为了确定柑橘果和背景的区别，分析图像中柑橘果和背景的各个波段的直方图分布特征，发现Red和Blue重叠区较小，具有很好的区分性，因此本发明采用归一化波段指数来区分目标物和背景的值。
在本发明的一个或多个实施例中，所述S2中，所述基于所述中心点利用区域生长算法对所述数据集进行拟合具体包括如下步骤：
S21：采用归一化波段指数确定所述实景拍摄照片中柑橘果和背景对应的指数，并计算相邻空间红蓝波段梯度指数差值；
Figure DEST_PATH_IMAGE031
（1）
Figure DEST_PATH_IMAGE033
（2）
其中，Red为图像数据中对应像素的红光波段的值，Blue为图像数据中对应像素的蓝光波段的值，graDiff为红蓝波段梯度指数，T为相邻空间红蓝波段梯度指数差值，且所述T小于预设阈值时对应像素为柑橘果，否则对应像素为背景；
这里，所述预设阈值去0.18，当T小于0.18时，为柑橘，大于0.18时为背景值。
S22：采用八邻域算法，以所述中心点为种子点进行区域生长，得到数据集中图像数据对应的二值图像；该二值图像仅包含0和1；
S23：采用3×3卷积核对所述二值图像分别进行膨胀和腐蚀处理，得到分别得到膨胀和腐蚀后的图斑，通过相交求差得到每一个果实的边缘点；
S24：对所述边缘点进行圆拟合，得到果实的果实边界，并计算每个果实边界对应的半径
Figure 949569DEST_PATH_IMAGE034
；
圆拟合公式为：
Figure DEST_PATH_IMAGE035
其中，
Figure DEST_PATH_IMAGE037
为所述边缘点的横坐标，
Figure 282331DEST_PATH_IMAGE038
为所述边缘点的纵坐标，a为果实点的横坐标，b为果实点的纵坐标。
需要特别指出的是，在所述S24之前，为了减少时间成本，需要对所述边缘点进行抽稀，这里，随机抽取50个边缘点的坐标进行圆拟合，并拟合出每个柑橘果的半径
Figure 189107DEST_PATH_IMAGE034
，同时，还需要计算出二维高斯函数所需要的高斯核参数σ，计算公式为：
σ=
Figure DEST_PATH_IMAGE039
通过分析所述实景拍摄照片中柑橘果和背景对应的指数，并计算相邻空间红蓝波段梯度指数差值，结合预设阈值可以准确判断对应的像素为柑橘果或背景，从而可以通过区域生长得到二值图像，在进行膨胀和腐蚀处理即可得到图斑，进而相交求差得到每一个果实的边缘点，最终通过圆拟合得到果实边界，并计算出果实边界的半径，方便后续生成对应的多尺度空间梯度概率图。
多尺度空间梯度概率图即将每一类坐标用一个概率图来表示，对图片中的每个像素位置都给一个概率，表示该点属于对应类别关键点的概率，距离关键点位置越近的像素点的概率越接近1，距离关键点越远的像素点的概率越接近0，具体可以通过高斯函数（Gaussian function）进行模拟。
在本发明的一个或多个实施例中，所述S2中，所述生成基于果实中心点的多尺度空间梯度概率图具体包括如下步骤：
S25：定义所述数据集的图像中柑橘果的位置点为l= {l 1 , l 2 , l 3 ,…, l i ,…,l k },构建每个柑橘果实位置点的二维高斯核函数，具体如下：
Figure DEST_PATH_IMAGE041
（3）
其中，σ控制高斯核函数的局部作用范围，σ越大，高斯核函数的局部影响范围就会越大，因此会根据果实的大小得到每个果实的局部影响范围。
S26：将每个柑橘果实位置点对应的所述二维高斯核函数进行叠加，并基于所有所述二维高斯核函数的最大值构建所述多尺度空间梯度概率图：
S(p)= max{S i (p)} （4）
其中，
Figure DEST_PATH_IMAGE043
为高斯核参数，
Figure DEST_PATH_IMAGE045
为对应柑橘果的位置点属于对应类别关键点的初始概率，K为所述数据集的图像中柑橘果的数量。
通过构建每个柑橘果实位置点的二维高斯核函数，确定每个果实的局部影响范围，这样将每个柑橘果实位置点对应的所述二维高斯核函数进行叠加，得到多尺度空间梯度概率图，从而方便后续基于所述多尺度空间梯度概率图对多尺度空间注意力深度学习网络模型进行训练。
本实施例中，多尺度空间注意力深度学习网络模型的框架包括编码器和解码器，具有三个方面的特点：
（1）采用U型结构作为主架构，通过密集输出特征数据来实现边缘特征的找回，使得采样过程中更多的信息被提取使用，并舍弃全局池化层和全连接层，加快模型收敛速度；
（2）为了解决空间位置损失的问题，在模型下采样过程中加入多扩张卷积联合空间注意力模块，在增大特征图感受野的同时，与拼接特征图联合，通过级联方式，加强网络对特征的传递，保持特征图尺寸，避免空间位置信息的损失；
（3）解码器融合更多的浅层特征，提高模型对特征图包含的空间位置信息的利用能力。
在本发明的一个或多个实施例中，所述S3中，所述构建多尺度空间注意力深度学习网络模型，并基于所述多尺度空间梯度概率图对所述多尺度空间注意力深度学习网络模型进行训练具体包括如下步骤：
S31：构建多尺度空间注意力深度学习网络模型，并将所述训练集中的实景拍摄照片和对应的所述多尺度空间梯度概率图输入至所述多尺度空间注意力深度学习网络模型，对所述实景拍摄照片进行采样、裁剪处理，得到特征图；
这里，在编码器中，输入的训练集的实景拍摄照片的尺寸为256*256，首先经过第一层卷积核大小为3×3的卷积，再经过最大池化操作，得到64×256×256的特征图；然后经过四个下采样过程，在下采样过程中，分别对每一层的特征层进行裁剪，分别得到64×128×128，128×64×64，256×32×32，512×16×16的特征图，后续与上采样过程中得到的特征图融合。每一次下采样后照片的分辨率减半，通道数加倍，第一次下采样后输出端数据通道数为128，后续下采样后的通道数以此类推。
在解码器中，首先对1024×16×16的特征图上采样，得到512×16×16的特征图，并与下采样过程中裁剪得到的512×16×16的特征图进行特征融合，得到512×32×32的特征图，再与多扩张联合空间注意力模块得到的1×32×32特征层进行融合，得到512×32×32的特征图。经过4个上采样过程，得到64×256×256的特征图。
S32：采用不同扩张率的扩张卷积层对所述训练集中的实景拍摄照片进行特征提取处理，得到不同尺度空间特征，并将不同尺度空间特征进行对应的空洞卷积处理后得到的空间特征进行合并，得到特征集；
实际中，通过四个不同扩张率的扩张卷积层（Rate=3，6，12，18）组成的多扩张卷积联合空间注意力模块（Atrous_Block）提取不同尺度空间特征。
S33：采用Sigmoid函数对所述特征集进行处理，计算并输出预测概率作为主干网络特征的空间监督权重。
通过对所述实景照片进行自适应高斯拟合处理，得到对应的多尺度空间梯度概率图，并对实景照片和多尺度空间梯度概率图进行数据标注、数据扩增和数据划分，得到训练集、测试集和样本集；将所述训练集输入至所述多尺度空间注意力深度学习网络进行训练，得到多尺度空间注意力深度学习网络模型的主干网络特征的空间监督权重，最后，得到多尺度空间梯度概率预测图，完成训练。
如图2所示，展示了Deeplabv3+模型、UNET模型和MASSUNET模型分别训练50次的训练集的loss值和验证集的loss值。通过对比三个模型，结果为MSSUNET模型的训练集和验证集的loss值明显比其他两个模型更优越，模型的鲁棒性更好。
在本发明的一个或多个实施例中，所述S4中，所述将所述目标柑橘实景拍摄照片输入至所述多尺度空间注意力深度学习网络进行检测与识别具体包括如下步骤：
S41：采用softmax激活函数将所述特征集归一化处理，得到果实分布概率图，并对所述果实分布概率图进行检测，输出包含每个像素属于每种类别概率的多尺度空间梯度概率预测图；
经过Sigmoid函数处理由四个空洞卷积合并后的特征集，并输出预测概率，作为主干网络特征的空间监督权重W，来突出目标特征，弱化背景信息。随后经过卷积核为1的卷积层做密集处理，最后在上采样前与其他层特征融合。扩张卷积在增大特征图感受野的同时，保持特征图尺寸，避免空间位置信息的损失。
需要特别指出的是，训练模型设置的初始学习率为0.001，每次随机选取4张训练集中的照片组成一个Batch输入至网络模型中训练，直到训练集所有数据完成训练，每一次训练看做一次迭代（Iteation），每次迭代输出一次训练集与验证集的损失值。其中损失函数（loss function）是用来估量模型的预测值与真实值的不一致程度，损失函数越小，模型的鲁棒性越好，损失函数采用MSE，公式如下：
Figure DEST_PATH_IMAGE047
其中，
Figure DEST_PATH_IMAGE049
表示多尺度空间梯度概率图中的真实值，
Figure DEST_PATH_IMAGE051
表示多尺度空间注意力深度学习网络模型的预测值。
S42：利用Sobel算子分别计算所述多尺度空间梯度预测概率图中每个像素的横向亮度差分近似值和纵向亮度差分近似值，并计算每个像素的梯度值；
Figure 314451DEST_PATH_IMAGE013
（5）
Figure 990283DEST_PATH_IMAGE014
（6）
Figure 306995DEST_PATH_IMAGE015
（7）
Figure 950335DEST_PATH_IMAGE016
=
Figure 643484DEST_PATH_IMAGE017
（8）
Figure 173823DEST_PATH_IMAGE018
（9）
其中，
Figure 927015DEST_PATH_IMAGE019
为Sobel算子的横向卷积因子，
Figure 57651DEST_PATH_IMAGE020
为Sobel算子的纵向卷积因子，
Figure 288912DEST_PATH_IMAGE021
为任一像素的横向亮度差分近似值，
Figure 673757DEST_PATH_IMAGE016
为任一像素的纵向亮度差分近似值，
Figure 847118DEST_PATH_IMAGE022
为多尺度空间梯度概率预测图中的任一像素的值
Figure 215783DEST_PATH_IMAGE023
为任一像素的梯度值；
S43：根据所述梯度值将得到多尺度空间梯度预测概率图中的像素分割为柑橘果像素和背景像素，并生成柑橘果分布的二值图；
S44：将所述二值图的连通区域的中心点坐标确定为柑橘果预测定位坐标，生成柑橘果预测点位图。
通过对所述目标柑橘实景拍摄照片中的每个像素进行检测，得到多尺度空间梯度预测概率图，并计算每个像素的梯度值，从而可以将所述多尺度空间梯度预测概率图进行分割，得到包含柑橘果像素和背景像素的二值图，从而根据二值图的连通区域的中心点坐标精确确定柑橘果的预测定位坐标，得到柑橘果预测点位图。
在本发明的一个或多个实施例中，所述S43中，所述根据所述梯度值将得到多尺度空间梯度预测概率图中的像素分割为柑橘果像素和背景像素，并生成柑橘果分布的二值图具体包括如下步骤：
S431：根据所述多尺度空间梯度预测概率图计算所述多尺度空间梯度预测概率图中所有预测概率大于预设分割阈值的像素的平均梯度值，并绘制平均梯度值与分割阈值的关系曲线；
实际中，将多尺度空间梯度概率预测图中预测概率的大小，按照从小到大的顺序，依次设定分割阈值，将大于阈值的像素标记为1，其他标记为0，形成二值图，计算该二值图中值为1的像素的平均梯度值；绘制平均梯度值与分割阈值的关系曲线，如图3所示。
S432:选取所述平均梯度值与分割阈值的关系曲线中梯度值最大的像素点对应的分割阈值为所述多尺度空间梯度预测概率图的目标分割阈值；
S433:将所述多尺度空间梯度预测概率图中像素值大于或等于所述目标分割阈值的像素归为柑橘果像素，将所述多尺度空间梯度预测概率图中像素值小于所述目标分割阈值的像素归为背景像素，并生成柑橘果分布的二值图。
通过计算所述多尺度空间梯度预测概率图中所有预测概率大于预设分割阈值的像素的平均梯度值，这样可以比较精确的生成平均梯度值与分割阈值的关系曲线，方便确定目标分割阈值，从而将所述多尺度空间梯度预测概率图中像素精准的分割为柑橘果像素和背景像素，以得到进精确的二值图。
在本发明的一个或多个实施例中，所述的基于图像的柑橘果实检测与识别方法还包括如下步骤：
S5：根据所述柑橘果预测点位图和柑橘果实际点位图对预测结果进行评价，具体计算公式为：
Figure DEST_PATH_IMAGE052
（10）
Figure DEST_PATH_IMAGE053
（11）
Figure DEST_PATH_IMAGE054
（12）
其中，TP为真实被检测出来的柑橘果数量，FP为非柑橘果但被检测为病害的数量，FN为真实柑橘果但未被检测出来的数量，P为精度准确度，R 为召回准确度，F1分数是精度准确度和召回准确度之间的调和平均值。
通过计算柑橘果预测点位图的精度准确度、召回准确度和二者之间的调和平均值，可以比较科学地评估柑橘果预测点位图的准确性和完整性，从而确定柑橘果的检测和识别 ，为大范围柑橘果实检测和识别提供理论参考和科学依据。
本发明对Deeplabv3+、U-Net和MSSUNET（本发明采用的模型）模型分别在相同训练样本下，训练50次得到模型，进行预测。比较果实识别的效果，以及背景噪声对于模型精度的影响，背景噪声对于Deeplabv3+模型的影响相对较大，会产生较多的错检，造成模型精度较低。U-Net模型对于果实密集度较高的位置，会有较多的漏检，从而造成模型精度偏低，MSSNET模型的查准率、查全率和F1均高于其他两个模型。评价结果如下表1所示。
表1精度评价结果
Figure DEST_PATH_IMAGE055
通过表1可以看出，本发明对比了deeplabv3+、U-Net和MSSUNET三个深度学习模型，分别训练了50次，其中本发明采用的MSSNET模型的查准率、查全率和F1均高于其他两个模型。
如图4所示，本发明还提供了一种基于图像的柑橘果实检测与识别系统, 包括标注模块、拟合模块、构建训练模块和识别模块；
所述标注模块，用于获取柑橘果实的实景拍摄照片，并对所述实景拍摄照片中果实的中心点进行标注，建立数据集；
所述拟合模块，用于基于所述中心点利用区域生长算法对所述数据集进行拟合，得到柑橘果的果实边界，并生成基于果实中心点的多尺度空间梯度概率图；
所述构建训练模块，用于构建多尺度空间注意力深度学习网络模型，并基于所述多尺度空间梯度概率图对所述多尺度空间注意力深度学习网络模型进行训练；
所述识别模块，用于获取目标柑橘实景拍摄照片，并将所述目标柑橘实景拍摄照片输入至所述多尺度空间注意力深度学习网络进行检测与识别，得到柑橘果预测点位图。
本发明的基于图像的柑橘果实检测与识别系统，通过对标记后的实景拍摄照片形成的数据集进行拟合，得到柑橘果的果实边界，并得到多尺度空间梯度概率图，构建多尺度空间注意力深度学习网络模型，并基于多尺度空间梯度概率图进行训练，从而实现对目标柑橘实景拍摄照片的识别，得到柑橘果预测点位图，本发明的智能检测方法简单使用、可移植性强，能为大范围柑橘果实检测和识别提供理论参考和科学依据，进而为柑橘果全过程生长周期监测和评估服务。
本发明还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，实现所述的基于图像的柑橘果实检测与识别方法。
本发明还提供了一种基于尺度自适应的乡村景观功能区划分设备，包括所述的存储介质和处理器，所述处理器执行所述存储介质上的计算机程序时实现所述的基于图像的柑橘果实检测与识别方法的步骤。
本发明的基于图像的柑橘果实检测与识别方法，基于深度学习算法，开展大范围的柑橘果智能检测与计数，填补了大范围柑橘果智能检测与计数的空白，主要优点如下：
（1）同传统计数方法相比，客观、识别准确率高、漏检率低
（2）能够实现柑橘果实不同密集度(稀疏、正常、稠密)的多次检测和识别。
（3）本发明提供了一种通用的基于数码照片和深度学习的大范围柑橘果实的智能检测与识别方法，进而提高大范围柑橘果实的检测精度和速度。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于图像的柑橘果实检测与识别方法, 其特征在于，包括如下步骤：
获取柑橘果实的实景拍摄照片，并对所述实景拍摄照片中果实的中心点进行标注，建立数据集；
基于所述中心点利用区域生长算法对所述数据集进行拟合，得到柑橘果的果实边界，并生成基于果实中心点的多尺度空间梯度概率图；
构建多尺度空间注意力深度学习网络模型，并基于所述多尺度空间梯度概率图对所述多尺度空间注意力深度学习网络模型进行训练；
获取目标柑橘实景拍摄照片，并将所述目标柑橘实景拍摄照片输入至所述多尺度空间注意力深度学习网络进行检测与识别，得到柑橘果预测点位图；
其中，所述基于所述中心点利用区域生长算法对所述数据集进行拟合具体包括如下步骤：
采用归一化波段指数确定所述实景拍摄照片中柑橘果和背景对应的指数，并计算相邻空间红蓝波段梯度指数差值；
Figure DEST_PATH_IMAGE001
（1）
Figure 910778DEST_PATH_IMAGE002
（2）
其中，Red为图像数据中对应像素的红光波段的值，Blue为图像数据中对应像素的蓝光波段的值，graDiff为红蓝波段梯度指数，T为相邻空间红蓝波段梯度指数差值，且所述T小于预设阈值时对应像素为柑橘果，否则对应像素为背景；
采用八邻域算法，以所述中心点为种子点进行区域生长，得到数据集中图像数据对应的二值图像；
采用卷积核对所述二值图像分别进行膨胀和腐蚀处理，得到分别得到膨胀和腐蚀后的图斑，通过相交求差得到每一个果实的边缘点；
对所述边缘点进行圆拟合，得到果实的果实边界，并计算每个果实边界对应的半径。
2.根据权利要求1所述的基于图像的柑橘果实检测与识别方法, 其特征在于，所述获取柑橘果实的实景拍摄照片并对所述实景拍摄照片中果实的中心点进行标注，建立数据集具体包括如下步骤：
获取柑橘果实的实景拍摄照片，利用软件对所述实景拍摄照片中柑橘果的中心点进行标注；
从所述实景拍摄照片中随机抽取M张标注样本作为训练集，进行图像数据扩增，并保留N张样本作为验证集；
将所述数据集划分为训练集和验证集；
其中，所述图像数据扩增包括图像旋转、图像移动、图像缩放、图像增强、噪声注入和对比度变换中的一种或多种处理，M>N。
3.根据权利要求2所述的基于图像的柑橘果实检测与识别方法, 其特征在于，所述生成基于果实中心点的多尺度空间梯度概率图具体包括如下步骤：
定义所述数据集的图像中柑橘果的位置点为l= {l 1 , l 2 , l 3 ,…, l i ,…,l k },构建每个柑橘果实位置点的二维高斯核函数，具体如下：
Figure DEST_PATH_IMAGE003
（3）
将每个柑橘果实位置点对应的所述二维高斯核函数进行叠加，并基于所有所述二维高斯核函数的最大值构建所述多尺度空间梯度概率图：
Figure 674859DEST_PATH_IMAGE004
（4）
其中，
Figure DEST_PATH_IMAGE005
为高斯核参数，
Figure 76890DEST_PATH_IMAGE006
为对应柑橘果的位置点属于对应类别关键点的初始概率，K为所述数据集的图像中柑橘果的数量。
4.根据权利要求2所述的基于图像的柑橘果实检测与识别方法, 其特征在于，所述构建多尺度空间注意力深度学习网络，并将所述多尺度空间梯度概率图输入至所述多尺度空间注意力深度学习网络进行训练具体包括如下步骤：
构建多尺度空间注意力深度学习网络模型，并将所述训练集中的实景拍摄照片和对应的所述多尺度空间梯度概率图输入至所述多尺度空间注意力深度学习网络模型，对所述实景拍摄照片进行采样、裁剪处理，得到特征图；
采用不同扩张率的扩张卷积层对所述训练集中的实景拍摄照片进行特征提取处理，得到不同尺度空间特征，并将不同尺度空间特征进行对应的空洞卷积处理后得到的空间特征进行合并，得到特征集；
采用Sigmoid函数对所述特征集进行处理，计算并输出预测概率作为主干网络特征的空间监督权重。
5.根据权利要求4所述的基于图像的柑橘果实检测与识别方法, 其特征在于，所述将所述目标柑橘实景拍摄照片输入至所述多尺度空间注意力深度学习网络进行检测与识别具体包括如下步骤：
采用softmax激活函数将所述特征集归一化处理，得到果实分布概率图，并对所述果实分布概率图进行检测，输出包含每个像素属于每种类别概率的多尺度空间梯度概率预测图；
利用Sobel算子分别计算所述多尺度空间梯度预测概率图中每个像素的横向亮度差分近似值和纵向亮度差分近似值，并计算每个像素的梯度值；
Figure DEST_PATH_IMAGE007
（5）
Figure 307015DEST_PATH_IMAGE008
（6）
Figure DEST_PATH_IMAGE009
（7）
Figure 351063DEST_PATH_IMAGE010
=
Figure DEST_PATH_IMAGE011
（8）
Figure 717453DEST_PATH_IMAGE012
（9）
其中，
Figure 87124DEST_PATH_IMAGE013
为Sobel算子的横向卷积因子，
Figure 601281DEST_PATH_IMAGE014
为Sobel算子的纵向卷积因子，
Figure 465332DEST_PATH_IMAGE015
为任一像素的横向亮度差分近似值，
Figure 482967DEST_PATH_IMAGE010
为任一像素的纵向亮度差分近似值，
Figure 692713DEST_PATH_IMAGE016
为多尺度空间梯度概率预测图中的任一像素的值，
Figure 694167DEST_PATH_IMAGE017
为任一像素的梯度值；
根据所述梯度值将得到多尺度空间梯度预测概率图中的像素分割为柑橘果像素和背景像素，并生成柑橘果分布的二值图；
将所述二值图的连通区域的中心点坐标确定为柑橘果预测定位坐标，生成柑橘果预测点位图。
6.根据权利要求5所述的基于图像的柑橘果实检测与识别方法, 其特征在于，所述根据所述梯度值将得到多尺度空间梯度预测概率图中的像素分割为柑橘果像素和背景像素，并生成柑橘果分布的二值图具体包括如下步骤：
根据所述多尺度空间梯度预测概率图计算所述多尺度空间梯度预测概率图中所有预测概率大于预设分割阈值的像素的平均梯度值，并绘制平均梯度值与分割阈值的关系曲线；
选取所述平均梯度值与分割阈值的关系曲线中梯度值最大的像素点对应的分割阈值为所述多尺度空间梯度预测概率图的目标分割阈值；
将所述多尺度空间梯度预测概率图中像素值大于或等于所述目标分割阈值的像素归为柑橘果像素，将所述多尺度空间梯度预测概率图中像素值小于所述目标分割阈值的像素归为背景像素，并生成柑橘果分布的二值图。
7.根据权利要求5所述的基于图像的柑橘果实检测与识别方法, 其特征在于，还包括如下步骤：
根据所述柑橘果预测点位图和柑橘果实际点位图对预测结果进行评价，具体计算公式为：
Figure 611176DEST_PATH_IMAGE018
（10）
Figure 217738DEST_PATH_IMAGE019
（11）
Figure 945522DEST_PATH_IMAGE020
（12）
其中，TP为真实被检测出来的柑橘果数量，FP为非柑橘果但被检测为病害的数量，FN为真实柑橘果但未被检测出来的数量，P为精度准确度，R为召回准确度，F1分数是精确度和召回率之间的调和平均值。
8.一种基于图像的柑橘果实检测与识别系统, 其特征在于，包括标注模块、拟合模块、构建训练模块和识别模块；
所述标注模块，用于获取柑橘果实的实景拍摄照片，并对所述实景拍摄照片中果实的中心点进行标注，建立数据集；
所述拟合模块，用于基于所述中心点利用区域生长算法对所述数据集进行拟合，得到柑橘果的果实边界，并生成基于果实中心点的多尺度空间梯度概率图；
所述构建训练模块，用于构建多尺度空间注意力深度学习网络模型，并基于所述多尺度空间梯度概率图对所述多尺度空间注意力深度学习网络模型进行训练；
所述识别模块，用于获取目标柑橘实景拍摄照片，并将所述目标柑橘实景拍摄照片输入至所述多尺度空间注意力深度学习网络进行检测与识别，得到柑橘果预测点位图；
所述拟合模块基于所述中心点利用区域生长算法对所述数据集进行拟合的具体实现为：
采用归一化波段指数确定所述实景拍摄照片中柑橘果和背景对应的指数，并计算相邻空间红蓝波段梯度指数差值；
Figure 417961DEST_PATH_IMAGE021
（1）
Figure 623814DEST_PATH_IMAGE022
（2）
其中，Red为图像数据中对应像素的红光波段的值，Blue为图像数据中对应像素的蓝光波段的值，graDiff为红蓝波段梯度指数，T为相邻空间红蓝波段梯度指数差值，且所述T小于预设阈值时对应像素为柑橘果，否则对应像素为背景；
采用八邻域算法，以所述中心点为种子点进行区域生长，得到数据集中图像数据对应的二值图像；
采用卷积核对所述二值图像分别进行膨胀和腐蚀处理，得到分别得到膨胀和腐蚀后的图斑，通过相交求差得到每一个果实的边缘点；
对所述边缘点进行圆拟合，得到果实的果实边界，并计算每个果实边界对应的半径。
9.一种计算机可读存储介质，存储有计算机程序，其特征在于：所述计算机程序被处理器执行时，实现权利要求1-7任一项所述的基于图像的柑橘果实检测与识别方法。
CN202211134430.3A 2022-09-19 2022-09-19 一种基于图像的柑橘果实检测与识别方法及系统 Active CN115205853B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211134430.3A CN115205853B (zh) 2022-09-19 2022-09-19 一种基于图像的柑橘果实检测与识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211134430.3A CN115205853B (zh) 2022-09-19 2022-09-19 一种基于图像的柑橘果实检测与识别方法及系统

Publications (2)

Publication Number Publication Date
CN115205853A CN115205853A (zh) 2022-10-18
CN115205853B true CN115205853B (zh) 2022-12-27

Family

ID=83573675

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211134430.3A Active CN115205853B (zh) 2022-09-19 2022-09-19 一种基于图像的柑橘果实检测与识别方法及系统

Country Status (1)

Country Link
CN (1) CN115205853B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109682821A (zh) * 2018-12-04 2019-04-26 西南大学 一种基于多尺度高斯函数的柑橘表面缺陷检测方法
CN111709489A (zh) * 2020-06-24 2020-09-25 广西师范大学 一种基于改进YOLOv4的柑橘识别方法
CN113033520A (zh) * 2021-05-25 2021-06-25 华中农业大学 一种基于深度学习的树木线虫病害木识别方法及系统
CN114821102A (zh) * 2022-04-18 2022-07-29 中南民族大学 密集柑橘数量检测方法、设备、存储介质及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109863874B (zh) * 2019-01-30 2021-12-14 深圳大学 一种基于机器视觉的果蔬采摘方法、采摘装置及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109682821A (zh) * 2018-12-04 2019-04-26 西南大学 一种基于多尺度高斯函数的柑橘表面缺陷检测方法
CN111709489A (zh) * 2020-06-24 2020-09-25 广西师范大学 一种基于改进YOLOv4的柑橘识别方法
CN113033520A (zh) * 2021-05-25 2021-06-25 华中农业大学 一种基于深度学习的树木线虫病害木识别方法及系统
CN114821102A (zh) * 2022-04-18 2022-07-29 中南民族大学 密集柑橘数量检测方法、设备、存储介质及装置

Also Published As

Publication number Publication date
CN115205853A (zh) 2022-10-18

Similar Documents

Publication Publication Date Title
Jia et al. Detection and segmentation of overlapped fruits based on optimized mask R-CNN application in apple harvesting robot
CN111986099B (zh) 基于融合残差修正的卷积神经网络的耕地监测方法及系统
CN109241913B (zh) 结合显著性检测和深度学习的船只检测方法及系统
CN112418117B (zh) 一种基于无人机图像的小目标检测方法
CN109410238B (zh) 一种基于PointNet++网络的枸杞识别计数方法
CN112598713A (zh) 一种基于深度学习的近岸海底鱼类检测、跟踪统计方法
CN111028255A (zh) 基于先验信息与深度学习的农田区域预筛选方法及装置
CN109635726B (zh) 一种基于对称式深度网络结合多尺度池化的滑坡识别方法
CN112862849A (zh) 一种基于图像分割和全卷积神经网络的田间稻穗计数方法
Zhang et al. An algorithm for automatic identification of multiple developmental stages of rice spikes based on improved Faster R-CNN
CN114092487A (zh) 目标果实实例分割方法及系统
CN112598031A (zh) 一种蔬菜病害检测方法及系统
Liu et al. Deep learning based research on quality classification of shiitake mushrooms
CN110766690A (zh) 基于深度学习点监督思想的麦穗检测和计数方法
CN113435254A (zh) 一种基于哨兵二号影像的耕地深度学习提取方法
CN115410081A (zh) 一种多尺度聚合的云和云阴影辨识方法、系统、设备及存储介质
Wahbi et al. A deep learning classification approach using high spatial satellite images for detection of built-up areas in rural zones: Case study of Souss-Massa region-Morocco
CN116524189A (zh) 一种基于编解码索引化边缘表征的高分辨率遥感图像语义分割方法
Guo et al. Grape leaf disease detection based on attention mechanisms
CN113033386A (zh) 一种基于高分辨率遥感影像的输电线路通道隐患识别方法及系统
Chiu et al. Semantic segmentation of lotus leaves in UAV aerial images via U-Net and deepLab-based networks
CN116563205A (zh) 基于小目标检测和改进YOLOv5的麦穗计数检测方法
CN115205853B (zh) 一种基于图像的柑橘果实检测与识别方法及系统
CN113723833B (zh) 造林实绩质量评价方法、系统、终端设备及存储介质
CN114926826A (zh) 场景文本检测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant