CN115116052A - 一种果园荔枝识别方法、装置、设备及存储介质 - Google Patents

一种果园荔枝识别方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115116052A
CN115116052A CN202210672311.7A CN202210672311A CN115116052A CN 115116052 A CN115116052 A CN 115116052A CN 202210672311 A CN202210672311 A CN 202210672311A CN 115116052 A CN115116052 A CN 115116052A
Authority
CN
China
Prior art keywords
litchi
image
original
target detection
detection model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210672311.7A
Other languages
English (en)
Inventor
毛亮
梁志尚
吴惠粦
张兴龙
郭子豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou National Modern Agricultural Industry Science And Technology Innovation Center
Shenzhen Polytechnic
Original Assignee
Guangzhou National Modern Agricultural Industry Science And Technology Innovation Center
Shenzhen Polytechnic
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou National Modern Agricultural Industry Science And Technology Innovation Center, Shenzhen Polytechnic filed Critical Guangzhou National Modern Agricultural Industry Science And Technology Innovation Center
Priority to CN202210672311.7A priority Critical patent/CN115116052A/zh
Publication of CN115116052A publication Critical patent/CN115116052A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种果园荔枝识别方法、装置、设备及存储介质，包括：获取待检测的荔枝图像；将待检测的荔枝图像输入至荔枝目标检测模型中，识别并标注出待检测的荔枝图像中的荔枝；其中，荔枝目标检测模型的构建具体包括：获取原始荔枝图像，并对所述原始荔枝图像中的荔枝主体进行标注；其中，所述原始荔枝图像包括顺光、侧光、低亮度和散光条件下的原始荔枝图像；搭建初始荔枝目标检测模型，并将标注后的原始荔枝图像作为输入，对初始荔枝目标检测模型进行训练，从而构建荔枝目标检测模型。本发明相比于现有技术，通过多种条件下的原始荔枝图像来进行荔枝目标检测模型的构建，保证了训练图像的多样性，提高了荔枝识别的准确率，通用性以及鲁棒性。

Description

一种果园荔枝识别方法、装置、设备及存储介质
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种果园荔枝识别方法、装置、设备及存储介质。
背景技术
传统的荔枝采摘采用人工操作，人工采摘荔枝效率很低，在采摘过程中可能造成果实损伤，而且采摘高处的荔枝存在一定的危险性，同时，随着社会经济和城镇化的不断发展，越来越多人选择进城务工，人口老龄化也同时出现，造成了农业生产劳动力匮乏的现象，人工成本急剧增长。目前，研发荔枝采摘机器人，可以实现荔枝采摘的自动化和智能化，是解决国内荔枝采摘作业自动化程度低的问题的重要途径，能缓解劳动力稀缺问题，节约劳动力成本并改善效率。机器视觉是研发荔枝采摘机器人的关键技术，能实现荔枝果实的自动识别，是进行采摘机器人控制的前提。
现有技术，利用彩色图像中水果的颜色、形状、纹理等信息将图像中的目标与背景分割开来，实现图像中水果的识别。此方法对环境的要求严格，容易受到干扰而出现遗漏、识别错误等现象，不能满足果园中的果实识别要求。例如，不同天气情况和一天中的不同时间，果园中的光线条件有很大差别；另一方面，果园中的水果生长在果树上，与树叶和枝条存在相互靠近和遮挡的情况，使得果园中采集的果实图像背景非常复杂，现有的技术并不能很好地避免以上因素带来的干扰，在果园环境中的识别准确率低、不具有通用性。
因此，目前亟需一种能够解决现有检测方法中存在准确率低以及不通用问题的果园荔枝识别方法。
发明内容
本发明提供了一种果园荔枝识别方法、装置、设备及存储介质，以解决现有技术中的技术问题。
为了解决上述技术问题，本发明实施例提供了一种果园荔枝识别方法，包括：
获取待检测的荔枝图像；
将所述待检测的荔枝图像输入至荔枝目标检测模型中，识别并标注出所述待检测的荔枝图像中的荔枝；
其中，所述荔枝目标检测模型的构建具体包括：
获取原始荔枝图像，并对所述原始荔枝图像中的荔枝主体进行标注；其中，所述原始荔枝图像包括顺光、侧光、低亮度和散光条件下的原始荔枝图像；
搭建初始荔枝目标检测模型，并将标注后的原始荔枝图像作为输入，对初始荔枝目标检测模型进行训练，从而构建荔枝目标检测模型。
可以理解的是，本发明相比于现有技术，通过顺光、侧光、低亮度和散光条件下的原始荔枝图像来进行荔枝目标检测模型的构建，保证了训练图像的多样性，从而能够确保构建后的荔枝目标检测模型在不同条件下荔枝识别的准确率，提高了通用性以及鲁棒性，避免了通过现有的颜色、形状、纹理等信息将图像中的目标与背景分割开来进行图像中水果的识别，同时无需保证输入待预测图像的拍摄光线质量，更加符合实际农业应用。
作为优选方案，所述获取原始荔枝图像，具体为：
根据果园荔枝的环境亮度条件，对果园荔枝进行顺光、侧光、低亮度和散光拍摄，从而获取原始荔枝图像。
可以理解的是，通过在顺光、侧光、低亮度和散光条件下拍摄获取的原始荔枝图像，能够保证后续模型训练中数据集的多样性，从而保证不同环境亮度条件下依据可对待检测的荔枝图像进行识别，提高了荔枝识别的准确性和通用性。
作为优选方案，所述对所述原始荔枝图像中的荔枝主体进行标注，具体为：
利用标注框，依次对所述原始荔枝图像中的所有荔枝主体进行标注，并设置各个标注框的标签类型；其中，所述标签类型包括：成熟标签和未成熟标签。
可以理解的是，设置成熟和未成熟的标签类型能够保证训练所得到的荔枝目标识别模型的通用性，无需确保所拍摄的荔枝图像是否为成熟荔枝，降低前期图像获取的难度，间接提高了荔枝识别的效率，同时更加便于果园农名对果园荔枝进行管理。
作为优选方案，所述初始荔枝目标检测模型，包括：特征提取层、先验框生成层和输出预测层；
所述特征提取层，用于根据预设的主干特征提取网络，对荔枝图像依次进行特征提取、卷积和上采样操作，以使得每幅荔枝图像均生成三个尺度不同的特征图像；
所述先验框生成层，用于将三个尺度不同的特征图像依次进行网格划分，并以每个网格的中心点依次生成三个不同尺寸的先验框；
所述输出预测层，用于根据荔枝图像对应的先验框和特征图像，计算获得预测框的坐标、高与宽，从而得到预测框。
可以理解的是，构建的初始荔枝目标检测模型能够保证对荔枝图像中的荔枝主体的识别准确率，与现有技术相比，将通过目标的坐标、宽与高的相互关联变量来提高检测的定位效果，而并非是通过各自独立的参数进行荔枝主体的识别，其次荔枝果实目标小而密集，无法通过现有的视觉模型结构进行训练。
作为优选方案，所述将标注后的原始荔枝图像作为输入，对初始荔枝目标检测模型进行训练，从而构建荔枝目标检测模型，具体为：
将输入的标注后的原始荔枝图像划分为训练集和验证集；
根据所述训练集和验证集，对所述初始荔枝目标检测模型进行反向传播迭代训练，以使在每一次反向传播迭代训练中，根据标注后的原始荔枝图像输入至初始荔枝目标检测模型所得到的预测框结果与实际标注结果的误差，计算目标损失函数，并根据所述目标损失函数来更新模型参数，直至所述目标损失函数的变化值小于预设值或训练次数大于预设值后，保存模型参数并完成对荔枝目标检测模型的构建。
可以理解的是，在对荔枝目标检测模型的训练中，能够通过损失函数能够依据预测框结果与实际标注结果的误差，即通过目标的坐标、宽和高的互相关联变量，来实现目标损失函数的准确计算，提高整体模型的检测识别的定位效果。
相应地，本发明还提供一种果园荔枝识别装置，包括：模型训练模块、图像获取模块和识别模块；
所述模型训练模块，包括：原始图像获取单元和建模训练单元；
所述原始图像获取单元，用于获取原始荔枝图像，并对所述原始荔枝图像中的荔枝主体进行标注；其中，所述原始荔枝图像包括顺光、侧光、低亮度和散光条件下的原始荔枝图像；
所述建模训练单元，用于搭建初始荔枝目标检测模型，并将标注后的原始荔枝图像作为输入，对初始荔枝目标检测模型进行训练，从而构建荔枝目标检测模型；
所述图像获取模块，用于获取待检测的荔枝图像；
所述识别模块，用于将所述待检测的荔枝图像输入至荔枝目标检测模型中，识别并标注出所述待检测的荔枝图像中的荔枝。
作为优选方案，所述获取原始荔枝图像，并对所述原始荔枝图像中的荔枝主体进行标注，具体为：
根据果园荔枝的环境亮度条件，对果园荔枝进行顺光、侧光、低亮度和散光拍摄，从而获取原始荔枝图像；
利用标注框，依次对所述原始荔枝图像中的所有荔枝主体进行标注，并设置各个标注框的标签类型；其中，所述标签类型包括：成熟标签和未成熟标签。
作为优选方案，所述将标注后的原始荔枝图像作为输入，对初始荔枝目标检测模型进行训练，从而构建荔枝目标检测模型，具体为：
将输入的标注后的原始荔枝图像划分为训练集和验证集；
根据所述训练集和验证集，对所述初始荔枝目标检测模型进行反向传播迭代训练，以使在每一次反向传播迭代训练中，根据标注后的原始荔枝图像输入至初始荔枝目标检测模型所得到的预测框结果与实际标注结果的误差，计算目标损失函数，并根据所述目标损失函数来更新模型参数，直至所述目标损失函数的变化值小于预设值或训练次数大于预设值后，保存模型参数并完成对荔枝目标检测模型的构建。
相应地，本发明还提供一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上任意一项所述的果园荔枝识别方法。
相应地，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上任意一项所述的果园荔枝识别方法。
附图说明
图1：为本发明实施例所提供的一种果园荔枝识别方法的步骤流程图；
图2：为本发明实施例所提供的一种果园荔枝识别方法中构建荔枝目标检测模型的步骤流程图；
图3：为本发明实施例所提供的一种果园荔枝识别方法中荔枝检测识别结果示意图；
图4：为本发明实施例所提供的一种果园荔枝识别方法中荔枝标注示意图；
图5：为本发明实施例所提供的一种果园荔枝识别方法中初始荔枝目标检测模型的结构示意图；
图6：为本发明实施例所提供的一种果园荔枝识别方法中特征提取过程的流程图；
图7：为本发明实施例所提供的一种果园荔枝识别方法中DenseDarknet网络结构示意图；
图8：为本发明实施例所提供的一种果园荔枝识别方法中卷积块和SPP结构的结构示意图；
图9：为本发明实施例所提供的一种果园荔枝识别方法中训练步骤的示意图；
图10：为本发明实施例所提供的一种果园荔枝识别装置示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
请参照图1，为本发明实施例提供的一种果园荔枝识别方法，包括以下步骤S101-S102：
S101：获取待检测的荔枝图像。
需要说明的是，所获取待检测的荔枝图像无需像现有技术中保证图像的亮度符合一定的需求，例如：亮度合适、只能识别成熟荔枝等需求。因此本发明实施例能够显著降低了荔枝图像识别失败的概率，并更加符合农业实际的应用需求。
S102：将所述待检测的荔枝图像输入至荔枝目标检测模型中，识别并标注出所述待检测的荔枝图像中的荔枝。
需要说明的是，使用训练后的荔枝目标检测模型，在待检测的荔枝图像中识别并标注出的荔枝，示例性地，检测结果请参阅图3。
其中，请参阅图2，所述荔枝目标检测模型的构建具体包括步骤S201-S202：
S201：获取原始荔枝图像，并对所述原始荔枝图像中的荔枝主体进行标注；其中，所述原始荔枝图像包括顺光、侧光、低亮度和散光条件下的原始荔枝图像。
具体地，根据果园荔枝的环境亮度条件，对果园荔枝进行顺光、侧光、低亮度和散光拍摄，从而获取原始荔枝图像。
示例性地，通过对果园中的荔枝果实进行拍摄，在不同天气条件下所对应的环境亮度进行拍摄，以保证数据集中图像的多样性。例如，在晴天时，通过顺光拍摄获得阳光直射的图像，通过侧光拍摄获得侧光图像；在傍晚拍摄获得亮度低的图像，在阴天拍摄获得散射光条件下的图像。
可以理解的是，通过在顺光、侧光、低亮度和散光条件下拍摄获取的原始荔枝图像，能够保证后续模型训练中数据集的多样性，从而保证不同环境亮度条件下依据可对待检测的荔枝图像进行识别，提高了荔枝识别的准确性和通用性。
具体地，利用标注框，依次对所述原始荔枝图像中的所有荔枝主体进行标注，并设置各个标注框的标签类型；其中，所述标签类型包括：成熟标签和未成熟标签。
在本实施例中，优选地，可将在不同天气条件下所对应的环境亮度进行拍摄的荔枝图像使用LabelImg标注工具对荔枝进行人工标注，使用矩形框将图像中的荔枝果实区域进行标注，每一个荔枝果实标注一个矩形框。当存在荔枝果实被部分遮挡的情况时，将荔枝可见部分进行标注，获得真实框，并设置对应的标签类型。标签类型包括成熟标签和未成熟标签，用以区分成熟与未成熟的荔枝。请参阅图4，其为标注过程的示例。
可以理解的是，设置成熟和未成熟的标签类型能够保证训练所得到的荔枝目标识别模型的通用性，无需确保所拍摄的荔枝图像是否为成熟荔枝，降低前期图像获取的难度，间接提高了荔枝识别的效率，同时更加便于果园农名对果园荔枝进行管理。
S202：搭建初始荔枝目标检测模型，并将标注后的原始荔枝图像作为输入，对初始荔枝目标检测模型进行训练，从而构建荔枝目标检测模型。
作为优选方案，请参阅图5，其为初始荔枝目标检测模型的结构示意图。所述初始荔枝目标检测模型，包括：特征提取层01、先验框生成层02和输出预测层03；所述特征提取层01，用于根据预设的主干特征提取网络，对荔枝图像依次进行特征提取、卷积和上采样操作，以使得每幅荔枝图像均生成三个尺度不同的特征图像；所述先验框生成层02，用于将三个尺度不同的特征图像依次进行网格划分，并以每个网格的中心点依次生成三个不同尺寸的先验框；所述输出预测层03，用于根据荔枝图像对应的先验框和特征图像，计算获得预测框的坐标、高与宽，从而得到预测框。
需要说明的是，在本实施例中，优选地，初始荔枝目标检测模型包括：特征提取层01、先验框生成层02和输出预测层03。在特征提取层01中，特征提取的过程请参阅图6，首先通过主干特征提取网络进行特征提取，随后进行卷积和上采样操作，上采样将深层的特征和浅层的特征进行融合，能提取更多的特征，最终生成三个尺度不同的特征图，预设的主干特征提取网络为DenseDarknet网络，由Darknet53网络中加入密集连接模块Dense block构成。DenseDarknet网络结构如图7所示。特别地，主干特征提取网络后的卷积块由5个卷积层构成，其中卷积块1中加入空间金字塔池化结构(Spatial Pyramid Pooling，SPP)，所述SPP结构由三个最大池化层构成，池化核大小分别为5×5、9×9、13×13，将三个最大池化层的输出和输入进行融合，作为SPP结构的输出，卷积块和SPP结构如图8所示。
相应地，在先验框生成层02中，先验框的尺寸(像素点个数×像素点个数)如表1所示：
表1 先验框尺寸
Figure BDA0003692981380000081
Figure BDA0003692981380000091
先验框生成层02能够将特征提取层中的三个不同尺度的特征图使用不同大小的网格分开，三个特征图的网格个数分别为13×13、26×26、52×52，以每个网格的中心点为中心，生成三个不同尺寸的先验框。
相应地，输出预测层03能够通过先验框和特征图计算获得预测框，计算方法为：
bx＝σ(tx)+cx
by＝σ(ty)+cy
Figure BDA0003692981380000092
Figure BDA0003692981380000093
其中，σ(tx)、σ(ty)为基于网格中心点左上角点坐标的偏移量，σ为sigmoid函数。pw、ph为先验框的宽高。bx、by、bw、bh分别为预测框的中心点横坐标、中心点纵坐标、宽、高。
可以理解的是，构建的初始荔枝目标检测模型能够保证对荔枝图像中的荔枝主体的识别准确率，与现有技术相比，将通过目标的坐标、宽与高的相互关联变量来提高检测的定位效果，而并非是通过各自独立的参数进行荔枝主体的识别，其次荔枝果实目标小而密集，无法通过现有的视觉模型结构进行训练。
作为优选方案，所述将标注后的原始荔枝图像作为输入，对初始荔枝目标检测模型进行训练，从而构建荔枝目标检测模型，具体为：
将输入的标注后的原始荔枝图像划分为训练集和验证集；根据所述训练集和验证集，对所述初始荔枝目标检测模型进行反向传播迭代训练，以使在每一次反向传播迭代训练中，根据标注后的原始荔枝图像输入至初始荔枝目标检测模型所得到的预测框结果与实际标注结果的误差，计算目标损失函数，并根据所述目标损失函数来更新模型参数，直至所述目标损失函数的变化值小于预设值或训练次数大于预设值后，保存模型参数并完成对荔枝目标检测模型的构建。
需要说明的是，训练果园荔枝目标检测模型，使用反向传播迭代的方式，对模型进行训练，以获得适合果园荔枝目标检测的模型参数。示例性地，请参阅图9，训练步骤包括加载数据、计算损失、更新模型参数、评估模型、判断结束训练的条件和保存模型参数。判断技术训练的条件为模型性能达到预设要求或训练次数大于设定值，其中预设要求为损失函数变化值小于设定值。计算损失使用改进后的目标检测损失函数，包括坐标预测损失、置信度损失、分类损失，其反映使用当前参数的模型预测结果和真实情况的误差，计算方法为：Loss＝Errorcoord+ErrorIOU+Errorcls。
坐标预测损失Errorcoord表示为：
Figure BDA0003692981380000101
Figure BDA0003692981380000102
GIOU Loss＝1-GIOU
Figure BDA0003692981380000103
其中，A、B分别表示预测框和真实框，|A∩B|表示A和B交集的面积，|A∪B|表示A和B并集的面积，C表示包围A和B的最小矩形的面积。λcoord为坐标预测损失的权重，S2为输入图像分成的网格数目，D为每个网格生成的先验框个数。取λcoord＝5，S＝7，D＝9。当目标的中心点位于第i个网格内的第j个边界框内时，
Figure BDA0003692981380000104
否则
Figure BDA0003692981380000105
置信度损失ErrorIOU表示为：
Figure BDA0003692981380000106
其中，λnoobj为置信度损失的权重，取λnoobj＝0.5，Ci和
Figure BDA0003692981380000111
分别为预测框和真实框的置信度；Ci＝Pi(c)×IOU；其中，Pi(c)表示在网格中包含目标的概率。
分类损失Errorcls表示为：
Figure BDA0003692981380000112
Figure BDA0003692981380000113
其中，c为被检测目标的类别，pic为目标在网格i中属于类别c的真实概率，
Figure BDA0003692981380000114
为目标在网格i中属于类别c的预测概率。
可以理解的是，在对荔枝目标检测模型的训练中，能够通过损失函数能够依据预测框结果与实际标注结果的误差，即通过目标的坐标、宽和高的互相关联变量，来实现目标损失函数的准确计算，提高整体模型的检测识别的定位效果。
在本实施例中，荔枝目标检测模型本质上是一种YOLOv3的算法模型。而YOLOv3是一种快速、准确的目标检测算法，在COCO等公开数据集中具有很好的检测效果。但是，果园荔枝图像数据集与公开数据集有很大的不同，荔枝果实目标小而密集，直接使用YOLOv3的检测效果不足，所以需要对YOLOv3进行改进，在保证检测速度的前提下进一步提高检测的准确率，以满足果园场景下的荔枝果实检测要求。首先，修改了训练过程中使用的损失函数，与原来的损失函数相比，改进后的函数考虑到了目标的坐标、宽和高是互相关联的变量，而不是互相独立的，能提高检测的定位效果。其次，修改了模型的结构，在主干特征提取网络中加入密集连接模块Dense block，构成DenseDarknet网络，同时在主干特征提取网络后的卷积块中加入SPP结构。通过上述方法对模型进行改进，可以改善网络的信息流和梯度，使得网络更容易训练，可以改善随着网络深度的增加，大量信息消失的问题，同时，在存在大小不同的多个目标时，可以提升检测效果。其次，现有的技术利用彩色图像中水果的颜色、形状、纹理等信息将图像中的目标与背景分割开来，实现图像中水果目标识别，此方法对环境的要求严格，容易受到干扰而出现遗漏、识别错误等现象，不能满足果园中的果实检测要求。例如，不同天气情况和一天中的不同时间，果园中的光线条件有很大差别；另一方面，果园中的荔枝生长在果树上，与树叶和枝条存在相互靠近和遮挡的情况，使得果园中采集的荔枝图像背景非常复杂，现有的技术并不能很好地避免以上因素带来的干扰，在果园环境中的识别准确率低、不具有通用性。
实施以上实施例，具有如下效果：
本发明实施例相比于现有技术，通过顺光、侧光、低亮度和散光条件下的原始荔枝图像来进行荔枝目标检测模型的构建，保证了训练图像的多样性，从而能够确保构建后的荔枝目标检测模型在不同条件下荔枝识别的准确率，提高了通用性以及鲁棒性，避免了通过现有的颜色、形状、纹理等信息将图像中的目标与背景分割开来进行图像中水果的识别，同时无需保证输入待预测图像的拍摄光线质量，更加符合实际农业应用。
实施例二
相应地，请参阅图10，本发明实施例还提供一种果园荔枝识别装置，包括：模型训练模块301、图像获取模块302和识别模块303。
所述模型训练模块301，包括：原始图像获取单元3011和建模训练单元3012。
所述原始图像获取单元3011，用于获取原始荔枝图像，并对所述原始荔枝图像中的荔枝主体进行标注；其中，所述原始荔枝图像包括顺光、侧光、低亮度和散光条件下的原始荔枝图像。
所述建模训练单元3012，用于搭建初始荔枝目标检测模型，并将标注后的原始荔枝图像作为输入，对初始荔枝目标检测模型进行训练，从而构建荔枝目标检测模型。
所述图像获取模块302，用于获取待检测的荔枝图像。
所述识别模块303，用于将所述待检测的荔枝图像输入至荔枝目标检测模型中，识别并标注出所述待检测的荔枝图像中的荔枝。
作为本实施例的优选方案，所述获取原始荔枝图像，并对所述原始荔枝图像中的荔枝主体进行标注，具体为：
根据果园荔枝的环境亮度条件，对果园荔枝进行顺光、侧光、低亮度和散光拍摄，从而获取原始荔枝图像；利用标注框，依次对所述原始荔枝图像中的所有荔枝主体进行标注，并设置各个标注框的标签类型；其中，所述标签类型包括：成熟标签和未成熟标签。
作为本实施例的优选方案，所述将标注后的原始荔枝图像作为输入，对初始荔枝目标检测模型进行训练，从而构建荔枝目标检测模型，具体为：
将输入的标注后的原始荔枝图像划分为训练集和验证集；根据所述训练集和验证集，对所述初始荔枝目标检测模型进行反向传播迭代训练，以使在每一次反向传播迭代训练中，根据标注后的原始荔枝图像输入至初始荔枝目标检测模型所得到的预测框结果与实际标注结果的误差，计算目标损失函数，并根据所述目标损失函数来更新模型参数，直至所述目标损失函数的变化值小于预设值或训练次数大于预设值后，保存模型参数并完成对荔枝目标检测模型的构建。
所属领域的技术人员可以清楚的了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
实施以上实施例，具有如下效果：
本发明实施例相比于现有技术，通过顺光、侧光、低亮度和散光条件下的原始荔枝图像来进行荔枝目标检测模型的构建，保证了训练图像的多样性，从而能够确保构建后的荔枝目标检测模型在不同条件下荔枝识别的准确率，提高了通用性以及鲁棒性，避免了通过现有的颜色、形状、纹理等信息将图像中的目标与背景分割开来进行图像中水果的识别，同时无需保证输入待预测图像的拍摄光线质量，同时果园中采集的荔枝图像背景非常复杂，现有的技术并不能很好地避免以上因素带来的干扰，而本实施例可在果园环境中通过更加普遍的数据集以及改进后的荔枝目标识别模型，保证较高的识别准确率，更加符合实际农业应用。
实施例三
相应地，本发明还提供一种终端设备，包括：处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上任意一项实施例所述的果园荔枝识别方法。
该实施例的终端设备包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序、计算机指令。所述处理器执行所述计算机程序时实现上述实施例一中的各个步骤，例如图1所示的步骤S101至S102。或者，所述处理器执行所述计算机程序时实现上述装置实施例中各模块/单元的功能，例如识别模块303。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述终端设备中的执行过程。例如，所述识别模块303，用于将所述待检测的荔枝图像输入至荔枝目标检测模型中，识别并标注出所述待检测的荔枝图像中的荔枝。
所述终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，示意图仅仅是终端设备的示例，并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述终端设备的控制中心，利用各种接口和线路连接整个终端设备的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据移动终端的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(SecureDigital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，所述终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
实施例四
相应地，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上任意一项实施例所述的果园荔枝识别方法。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。特别指出，对于本领域技术人员来说，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种果园荔枝识别方法，其特征在于，包括：
获取待检测的荔枝图像；
将所述待检测的荔枝图像输入至荔枝目标检测模型中，识别并标注出所述待检测的荔枝图像中的荔枝；
其中，所述荔枝目标检测模型的构建具体包括：
获取原始荔枝图像，并对所述原始荔枝图像中的荔枝主体进行标注；其中，所述原始荔枝图像包括顺光、侧光、低亮度和散光条件下的原始荔枝图像；
搭建初始荔枝目标检测模型，并将标注后的原始荔枝图像作为输入，对初始荔枝目标检测模型进行训练，从而构建荔枝目标检测模型。
2.如权利要求1所述的一种果园荔枝识别方法，其特征在于，所述获取原始荔枝图像，具体为：
根据果园荔枝的环境亮度条件，对果园荔枝进行顺光、侧光、低亮度和散光拍摄，从而获取原始荔枝图像。
3.如权利要求1所述的一种果园荔枝识别方法，其特征在于，所述对所述原始荔枝图像中的荔枝主体进行标注，具体为：
利用标注框，依次对所述原始荔枝图像中的所有荔枝主体进行标注，并设置各个标注框的标签类型；其中，所述标签类型包括：成熟标签和未成熟标签。
4.如权利要求1所述的一种果园荔枝识别方法，其特征在于，所述初始荔枝目标检测模型，包括：特征提取层、先验框生成层和输出预测层；
所述特征提取层，用于根据预设的主干特征提取网络，对荔枝图像依次进行特征提取、卷积和上采样操作，以使得每幅荔枝图像均生成三个尺度不同的特征图像；
所述先验框生成层，用于将三个尺度不同的特征图像依次进行网格划分，并以每个网格的中心点依次生成三个不同尺寸的先验框；
所述输出预测层，用于根据荔枝图像对应的先验框和特征图像，计算获得预测框的坐标、高与宽，从而得到预测框。
5.如权利要求4所述的一种果园荔枝识别方法，其特征在于，所述将标注后的原始荔枝图像作为输入，对初始荔枝目标检测模型进行训练，从而构建荔枝目标检测模型，具体为：
将输入的标注后的原始荔枝图像划分为训练集和验证集；
根据所述训练集和验证集，对所述初始荔枝目标检测模型进行反向传播迭代训练，以使在每一次反向传播迭代训练中，根据标注后的原始荔枝图像输入至初始荔枝目标检测模型所得到的预测框结果与实际标注结果的误差，计算目标损失函数，并根据所述目标损失函数来更新模型参数，直至所述目标损失函数的变化值小于预设值或训练次数大于预设值后，保存模型参数并完成对荔枝目标检测模型的构建。
6.一种果园荔枝识别装置，其特征在于，包括：模型训练模块、图像获取模块和识别模块；
所述模型训练模块，包括：原始图像获取单元和建模训练单元；
所述原始图像获取单元，用于获取原始荔枝图像，并对所述原始荔枝图像中的荔枝主体进行标注；其中，所述原始荔枝图像包括顺光、侧光、低亮度和散光条件下的原始荔枝图像；
所述建模训练单元，用于搭建初始荔枝目标检测模型，并将标注后的原始荔枝图像作为输入，对初始荔枝目标检测模型进行训练，从而构建荔枝目标检测模型；
所述图像获取模块，用于获取待检测的荔枝图像；
所述识别模块，用于将所述待检测的荔枝图像输入至荔枝目标检测模型中，识别并标注出所述待检测的荔枝图像中的荔枝。
7.如权利要求6所述的一种果园荔枝识别装置，其特征在于，所述获取原始荔枝图像，并对所述原始荔枝图像中的荔枝主体进行标注，具体为：
根据果园荔枝的环境亮度条件，对果园荔枝进行顺光、侧光、低亮度和散光拍摄，从而获取原始荔枝图像；
利用标注框，依次对所述原始荔枝图像中的所有荔枝主体进行标注，并设置各个标注框的标签类型；其中，所述标签类型包括：成熟标签和未成熟标签。
8.如权利要求6所述的一种果园荔枝识别装置，其特征在于，所述将标注后的原始荔枝图像作为输入，对初始荔枝目标检测模型进行训练，从而构建荔枝目标检测模型，具体为：
将输入的标注后的原始荔枝图像划分为训练集和验证集；
根据所述训练集和验证集，对所述初始荔枝目标检测模型进行反向传播迭代训练，以使在每一次反向传播迭代训练中，根据标注后的原始荔枝图像输入至初始荔枝目标检测模型所得到的预测框结果与实际标注结果的误差，计算目标损失函数，并根据所述目标损失函数来更新模型参数，直至所述目标损失函数的变化值小于预设值或训练次数大于预设值后，保存模型参数并完成对荔枝目标检测模型的构建。
9.一种终端设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至5中任意一项所述的果园荔枝识别方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至5中任意一项所述的果园荔枝识别方法。
CN202210672311.7A 2022-06-14 2022-06-14 一种果园荔枝识别方法、装置、设备及存储介质 Pending CN115116052A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210672311.7A CN115116052A (zh) 2022-06-14 2022-06-14 一种果园荔枝识别方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210672311.7A CN115116052A (zh) 2022-06-14 2022-06-14 一种果园荔枝识别方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN115116052A true CN115116052A (zh) 2022-09-27

Family

ID=83328639

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210672311.7A Pending CN115116052A (zh) 2022-06-14 2022-06-14 一种果园荔枝识别方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115116052A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116012825A (zh) * 2023-01-13 2023-04-25 上海赫立智能机器有限公司 基于多模态的电子元器件智能识别方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116012825A (zh) * 2023-01-13 2023-04-25 上海赫立智能机器有限公司 基于多模态的电子元器件智能识别方法

Similar Documents

Publication Publication Date Title
CN109870983B (zh) 处理托盘堆垛图像的方法、装置及用于仓储拣货的系统
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
CN111161349B (zh) 物体姿态估计方法、装置与设备
CN111640125B (zh) 基于Mask R-CNN的航拍图建筑物检测和分割方法及装置
CN113076871B (zh) 一种基于目标遮挡补偿的鱼群自动检测方法
CN107918776B (zh) 一种基于机器视觉的用地规划方法、系统及电子设备
CN109508675B (zh) 一种针对复杂场景的行人检测方法
Wang et al. Tea picking point detection and location based on Mask-RCNN
CN110133443B (zh) 基于平行视觉的输电线路部件检测方法、系统、装置
CN114092487A (zh) 目标果实实例分割方法及系统
CN107506792B (zh) 一种半监督的显著对象检测方法
CN112348737B (zh) 模拟图像生成的方法、电子设备及存储介质
CN113627472A (zh) 基于分层深度学习模型的智慧园林食叶害虫识别方法
CN112329771B (zh) 一种基于深度学习的建筑材料样本识别方法
CN113850136A (zh) 基于yolov5与BCNN的车辆朝向识别方法及系统
CN111368637B (zh) 一种基于多掩模卷积神经网络的搬运机器人识别目标方法
CN113887649B (zh) 一种基于深层特征和浅层特征融合的目标检测方法
CN115116052A (zh) 一种果园荔枝识别方法、装置、设备及存储介质
CN113033386B (zh) 一种基于高分辨率遥感影像的输电线路通道隐患识别方法及系统
CN115995017A (zh) 一种果实识别与定位方法、装置及介质
CN116246184A (zh) 一种应用于无人机航拍图像的罂粟智能识别方法及系统
CN112634399B (zh) 封闭曲线生成方法、装置、电子设备及可读存储介质
CN113222025A (zh) 一种基于激光雷达的可行区域标签生成方法
Hu et al. Automatic building extraction based on high resolution aerial images
CN113628206B (zh) 一种车牌检测方法、装置、介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination