CN116563844A - 圣女果成熟度检测方法、装置、设备及存储介质 - Google Patents

圣女果成熟度检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116563844A
CN116563844A CN202310387537.7A CN202310387537A CN116563844A CN 116563844 A CN116563844 A CN 116563844A CN 202310387537 A CN202310387537 A CN 202310387537A CN 116563844 A CN116563844 A CN 116563844A
Authority
CN
China
Prior art keywords
cherry
cherry tomato
maturity detection
network
tomatoes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310387537.7A
Other languages
English (en)
Inventor
吴素崟
胡婧
王周璞
阮靖琳
樊闯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Polytechnic University
Original Assignee
Wuhan Polytechnic University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Polytechnic University filed Critical Wuhan Polytechnic University
Priority to CN202310387537.7A priority Critical patent/CN116563844A/zh
Publication of CN116563844A publication Critical patent/CN116563844A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0495—Quantised networks; Sparse networks; Compressed networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本发明涉及目标检测领域，尤其涉及一种圣女果成熟度检测方法、装置、设备及存储介质，该方法包括：获取圣女果的图片数据集，并对所述圣女果的图片数据集中的原始照片打上标签；对所述圣女果的图片数据集进行数据增强处理，得到数据增强处理后的圣女果的图片数据集，并将数据增强处理后的圣女果的图片数据集划分为训练集和测试集；构建圣女果成熟度检测模型，并根据所述训练集和测试集对所述圣女果成熟度检测模型进行训练得到目标圣女果成熟度检测模型；将当前待检测圣女果的图片输入至目标圣女果成熟度检测模型，得到圣女果成熟度检测结果，从而能够更快速、准确检测圣女果的成熟度，提升自动化采摘效率。

Description

圣女果成熟度检测方法、装置、设备及存储介质
技术领域
本发明涉及目标检测领域，尤其涉及一种圣女果成熟度检测方法、装置、设备及存储介质。
背景技术
近年来，我国的圣女果培育规模化优势日益显著，然而圣女果的采摘手段仍然以人工作业为主，采摘效率十分底低下，要想提升采摘效率的同时做到降低投入成本，使用自动化的机械采摘代替人工采摘是很好的选择，由于圣女果的野外生长环境复杂，不同角度、受光度、遮挡度等因素都会影响到机器人通过视觉传感对待采摘目标果实的准确定位和判断，因此，如何能够更快速、准确检测圣女果的成熟度，提升自动化采摘效率成为当前亟待解决的技术问题；
但目前对果实目标的识别检测算法是机器采摘的关键。随高速计算和存储硬件设备的不断优化更新，深度学习卷积神经网络技术迅速兴起，并广泛应用于目标检测领域。目标检测算法是在检测之前会对图像进行先提取候选框再进行候选框二次修正的双阶段检测算法，包括RCNN、Fast-RCNN、Faster-RCNN、Mask-RCNN、SPP Net等算法，难以实现能够更快速、准确检测圣女果的成熟度。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种圣女果成熟度检测方法、装置、设备及存储介质，旨在解决现有技术中难以更快速、准确检测圣女果的成熟度，提升自动化采摘效率的技术问题。
为实现上述目的，本发明提供一种圣女果成熟度检测方法，所述圣女果成熟度检测方法包括以下步骤：
获取圣女果的图片数据集，并对所述圣女果的图片数据集中的原始照片打上标签；
对所述圣女果的图片数据集进行数据增强处理，得到数据增强处理后的圣女果的图片数据集，并将所述数据增强处理后的圣女果的图片数据集划分为训练集和测试集；
构建圣女果成熟度检测模型，并根据所述训练集和测试集对所述圣女果成熟度检测模型进行训练得到目标圣女果成熟度检测模型，其中圣女果成熟度检测模型为基于YOLOv7网络进行改进，包括改进骨干网络、加入CBAM注意力机制、替换卷积层得到的轻量化YOLOv7网络；
将当前待检测圣女果的图片输入至目标圣女果成熟度检测模型，得到圣女果成熟度检测结果。
可选地，所述获取圣女果的图片数据集，并对所述圣女果的图片数据集中的原始照片打上标签，包括：
通过相机拍摄实地采集圣女果的图片数据集；
通过标注软件Labelimg对所述圣女果的图片数据集中的原始照片按照不同成熟度分为ripe、half-ripe、unripe三类进行标注。
可选地，所述对所述圣女果的图片数据集进行数据增强处理，得到数据增强处理后的圣女果的图片数据集，并将所述数据增强处理后的圣女果的图片数据集划分为训练集和测试集，包括：
通过Mosaic对所述圣女果的图片数据集中图片进行随机裁剪、旋转、翻转以及拼接的数据增强处理，得到数据增强处理后的圣女果的图片数据集；
对所述数据增强处理后的圣女果的图片数据集按照预设比例划分成训练集和测试集。
可选地，所述对YOLOv7网络进行改进，改进骨干网络、加入CBAM注意力机制、替换卷积层得到的轻量化YOLOv7网络，包括：
将所述YOLOv7网络的骨干网络部分替换成更为轻量级的MobileViT网络，所述MobileViT网络主要由卷积层、MV2模块、MobileViT模块、全局池化层和全连接层堆叠而成；
将CBAM注意力机制模块添加到所述YOLOv7网络，所述CBAM的网络架构集成了通道注意力模块和空间注意力模块；
通过Ghost模块替换所述YOLOv7的卷积层，得到轻量化YOLOv7网络。
可选地，所述将当前待检测圣女果的图片输入至目标圣女果成熟度检测模型，得到圣女果成熟度检测结果，包括：
将当前待检测圣女果的图片通过resize到规定的尺寸，并通过骨干网络部分进行特征提取，得到当前待检测圣女果特征；
将所述当前待检测圣女果特征经过至少包括卷积层、MV2层、MVB层一系列卷积和下采样操作，得到一组不同尺寸的特征图像；
将所述一组不同尺寸的特征图像输入Neck部分，得到融合后的不同尺度的强化特征；
将所述融合后的不同尺度的强化特征通过REP模块调整，并经过卷积调整，得到圣女果成熟度检测结果。
可选地，所述将所述一组不同尺寸的特征图像输入Neck部分，得到融合后的不同尺度的强化特征，包括：
将所述一组不同尺寸的特征图像通过GBR层进行特征提取得到不同尺度的图像特征；
将所述不同尺度的图像特征通过CBAM注意力机制进行强化提取，得到强化特征；
通过Cat操作对所提取不同尺度的强化特征进行融合，得到融合后的不同尺度的强化特征。
可选地，所述根据所述训练集和测试集对所述圣女果成熟度检测模型进行训练得到目标圣女果成熟度检测模型，包括：
通过公共数据集ImageNet对圣女果成熟度检测模型进行训练，得到一个预训练权重；
根据所述训练集和测试集以及预训练权重对圣女果成熟度检测模型进行训练，得到目标圣女果成熟度检测模型。
此外，为实现上述目的，本发明还提出一种圣女果成熟度检测装置，所述圣女果成熟度检测装置包括：
获取模块，用于获取圣女果的图片数据集，并对所述圣女果的图片数据集中的原始照片打上标签；
数据增强模块，用于对所述圣女果的图片数据集进行数据增强处理，得到数据增强处理后的圣女果的图片数据集，并将所述数据增强处理后的圣女果的图片数据集划分为训练集和测试集；
模型构建模块，用于构建圣女果成熟度检测模型，并根据所述训练集和测试集对所述圣女果成熟度检测模型进行训练得到目标圣女果成熟度检测模型，其中圣女果成熟度检测模型为基于YOLOv7网络进行改进，包括改进骨干网络、加入CBAM注意力机制、替换卷积层得到的轻量化YOLOv7网络；
检测模块，用于将当前待检测圣女果的图片输入至目标圣女果成熟度检测模型，得到圣女果成熟度检测结果。
此外，为实现上述目的，本发明还提出一种圣女果成熟度检测设备，所述设备包括：存储器、处理器及存储在所述存储器上并在所述处理器上运行的圣女果成熟度检测程序，所述圣女果成熟度检测程序配置为实现如上文所述的圣女果成熟度检测方法。
此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有圣女果成熟度检测程序，所述圣女果成熟度检测程序被处理器执行时实现如上文所述的圣女果成熟度检测方法。
本发明其公开了一种圣女果成熟度检测方法、装置、设备及存储介质，该方法包括：获取圣女果的图片数据集，并对所述圣女果的图片数据集中的原始照片打上标签；对所述圣女果的图片数据集进行数据增强处理，得到数据增强处理后的圣女果的图片数据集，并将所述数据增强处理后的圣女果的图片数据集划分为训练集和测试集；构建圣女果成熟度检测模型，并根据所述训练集和测试集对所述圣女果成熟度检测模型进行训练得到目标圣女果成熟度检测模型，其中圣女果成熟度检测模型为基于YOLOv7网络进行改进，包括改进骨干网络、加入CBAM注意力机制、替换卷积层得到的轻量化YOLOv7网络；将当前待检测圣女果的图片输入至目标圣女果成熟度检测模型，得到圣女果成熟度检测结果，从而通过轻量化的改进后可以得到更快速度检测圣女果成熟度的效果，进而更快速、准确检测圣女果的成熟度，提升自动化采摘效率。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的圣女果成熟度检测设备结构示意图；
图2为本发明圣女果成熟度检测方法第一实施例的流程示意图；
图3为本发明圣女果成熟度检测方法一实施例的图片标注过程图；
图4为本发明圣女果成熟度检测方法一实施例的整体流程示意图；
图5为本发明圣女果成熟度检测方法第二实施例的流程示意图；
图6为本发明实施例中的改进YOLOv7模型结构示意图；
图7为本发明实施例中的MobileViT结构示意图；
图8为本发明实施例中的CBAM结构示意图；
图9为本发明实施例中的GhostModule结构示意图；
图10为本发明圣女果成熟度检测方法第三实施例的流程示意图；
图11为本发明圣女果成熟度检测装置第一实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的圣女果成熟度检测设备结构示意图。
如图1所示，该圣女果成熟度检测设备可以包括：处理器1001，例如中央处理器(Central Processing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)，可选用户接口1003还可以包括标准的有线接口、无线接口，对于用户接口1003的有线接口在本发明中可为USB接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(Wireless-Fidelity，Wi-Fi)接口)。存储器1005可以是高速的随机存取存储器(Random Access Memory，RAM)存储器，也可以是稳定的存储器(Non-volatileMemory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对圣女果成熟度检测设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，认定为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及圣女果成熟度检测程序。
在图1所示的圣女果成熟度检测设备中，网络接口1004主要用于连接后台服务器，与所述后台服务器进行数据通信；用户接口1003主要用于连接用户设备；所述圣女果成熟度检测设备通过处理器1001调用存储器1005中存储的圣女果成熟度检测程序，并执行本发明实施例提供的圣女果成熟度检测方法。
基于上述硬件结构，提出本发明圣女果成熟度检测方法的实施例。
参照图2，图2为本发明圣女果成熟度检测方法第一实施例的流程示意图，提出本发明圣女果成熟度检测方法第一实施例。
在第一实施例中，所述圣女果成熟度检测方法包括以下步骤：
步骤S10：获取圣女果的图片数据集，并对所述圣女果的图片数据集中的原始照片打上标签。
理解的是，本实施例的执行主体是为圣女果成熟度检测设备，该圣女果成熟度检测设备具有数据处理、数据通信及程序运行等功能。
在具体实现中，如图3所示，圣女果成熟度检测因为设备、环境的因素影响，实地采集的圣女果图像有对焦不准、光照不均、大小不一、叶片遮挡的情况，使用标注软件Labelimg对所述图像进行标注，按照不同成熟度分为ripe、half-ripe、unripe三类，包含所有可见的果实，对采集到的原始图片打上标签，框选图片内所有可见的圣女果，按照不同成熟度标注。使用图像预处理中的数据增强手段处理数据集，得到更多可以用于训练的数据集，并将其划分为训练集和测试集。
需要说明的是，如图4所示，采用相机拍摄的方式实地采集圣女果的图片数据集，对采集到的原始图片打上标签；使用图像预处理中的数据增强手段处理数据集，得到更多可以用于训练的数据集，并将其划分为训练集和测试集；构建轻量化YOLOv7网络，基于所述YOLOv7网络进行改进，包括改进骨干网络、加入CBAM注意力机制、替换卷积层；基于圣女果数据集对轻量化YOLOv7模型进行训练，得到一个能够快速识别圣女果成熟度的网络模型；对所述圣女果的图片数据集进行数据增强处理，得到数据增强处理后的圣女果的图片数据集，并将所述数据增强处理后的圣女果的图片数据集划分为训练集和测试集。
步骤S20：对所述圣女果的图片数据集进行数据增强处理，得到数据增强处理后的圣女果的图片数据集，并将所述数据增强处理后的圣女果的图片数据集划分为训练集和测试集。
应理解的是，通过相机拍摄实地采集圣女果的图片数据集；通过标注软件Labelimg对所述圣女果的图片数据集中的原始照片按照不同成熟度分为ripe、half-ripe、unripe三类进行标注，通过Mosaic对所述圣女果的图片数据集中图片进行随机裁剪、旋转、翻转以及拼接的数据增强处理，得到数据增强处理后的圣女果的图片数据集；对所述数据增强处理后的圣女果的图片数据集按照预设比例划分成训练集和测试集。
步骤S30：构建圣女果成熟度检测模型，并根据所述训练集和测试集对所述圣女果成熟度检测模型进行训练得到目标圣女果成熟度检测模型，其中圣女果成熟度检测模型为基于YOLOv7网络进行改进，包括改进骨干网络、加入CBAM注意力机制、替换卷积层得到的轻量化YOLOv7网络。
在具体实施中，将所述YOLOv7网络的骨干网络部分替换成更为轻量级的MobileViT网络，所述MobileViT网络主要由卷积层、MV2模块、MobileViT模块、全局池化层和全连接层堆叠而成；将CBAM注意力机制模块添加到所述YOLOv7网络，所述CBAM的网络架构集成了通道注意力模块和空间注意力模块；通过Ghost模块替换所述YOLOv7的卷积层，得到轻量化YOLOv7网络。
需要说明的是，采集包含不同大小、角度、光照的圣女果照片；使用标注软件标注图片，得到初始数据集；对初始数据集进行数据增强，划分为训练集和测试集；构建改进的YOLOv7网络，改进部分包括骨干网络、注意力机制、卷积层，包括骨干网络替换成更为轻量级的MobileViT网络、添加CBAM注意力机制模块；使用预处理好的数据集训练改进网络；添加CBAM注意力机制模块。
步骤S40：将当前待检测圣女果的图片输入至目标圣女果成熟度检测模型，得到圣女果成熟度检测结果。
应理解的是，将当前待检测圣女果的图片通过resize到规定的尺寸，并通过骨干网络部分进行特征提取，得到当前待检测圣女果特征；将所述当前待检测圣女果特征经过至少包括卷积层、MV2层、MVB层一系列卷积和下采样操作，得到一组不同尺寸的特征图像；将所述一组不同尺寸的特征图像输入Neck部分，得到融合后的不同尺度的强化特征；将所述融合后的不同尺度的强化特征通过REP模块调整，并经过卷积调整，得到圣女果成熟度检测结果。
需要说明的是，将所述一组不同尺寸的特征图像输入Neck部分，得到融合后的不同尺度的强化特征，包括：将所述一组不同尺寸的特征图像通过GBR层进行特征提取得到不同尺度的图像特征；将所述不同尺度的图像特征通过CBAM注意力机制进行强化提取，得到强化特征；通过Cat操作对所提取不同尺度的强化特征进行融合，得到融合后的不同尺度的强化特征。
在本实施例中，获取圣女果的图片数据集，并对所述圣女果的图片数据集中的原始照片打上标签；对所述圣女果的图片数据集进行数据增强处理，得到数据增强处理后的圣女果的图片数据集，并将所述数据增强处理后的圣女果的图片数据集划分为训练集和测试集；构建圣女果成熟度检测模型，并根据所述训练集和测试集对所述圣女果成熟度检测模型进行训练得到目标圣女果成熟度检测模型，其中圣女果成熟度检测模型为基于YOLOv7网络进行改进，包括改进骨干网络、加入CBAM注意力机制、替换卷积层得到的轻量化YOLOv7网络；将当前待检测圣女果的图片输入至目标圣女果成熟度检测模型，得到圣女果成熟度检测结果，从而通过轻量化的改进后可以得到更快速度检测圣女果成熟度的效果，进而更快速、准确检测圣女果的成熟度，提升自动化采摘效率。
参照图5，图5为本发明圣女果成熟度检测方法第二实施例的流程示意图，基于上述图2所示的第一实施例，提出本发明圣女果成熟度检测方法的第二实施例。
在第二实施例中，所述步骤S30，包括：
步骤S301：通过Mosaic对所述圣女果的图片数据集中图片进行随机裁剪、旋转、翻转以及拼接的数据增强处理，得到数据增强处理后的圣女果的图片数据集。
需要说明的是，使用预处理好的图片训练模型，改进的YOLOv7模型结构如图6所示，图片输入进模型先被resize到规定的尺寸，然后进入骨干网络部分进行特征提取，经过卷积层、MV2层、MVB层等一系列卷积和下采样操作后得到三个不同尺寸的特征图像，分别输入Neck部分。其中骨干网络部分采用MobileViT网络结构，如图7所示，Conv是普通卷积，MV2是MobileNetV2的模块，依次输入每一层，最后通过一层全局池化层得到最终输出。特征图像进入Neck部分，通过GBR层进行特征提取得到不同尺度的图像特征，再经过CBAM注意力机制强化提取的特征，加强网络在深层特征的提取能力，通过E-ELAN卷积，可以提升网络的学习能力而不破坏原有梯度，使用Cat操作对所提取不同尺度的特征进行融合。
应当清楚的是，将所述YOLOv7网络的骨干网络部分替换成更为轻量级的MobileViT网络，优化了YOLOv7网络在特征提取时网络过深导致的计算量增多、参数量冗余等问题。MobileViT网络主要由卷积层、MV2模块、MobileViT模块、全局池化层和全连接层堆叠而成，其中MV2模块指的是MobileNetv2的倒残差结构，负责对特征图进行下采样。
MobileViT模块的关键点是结合了vision transformer的思想，把图像分割成块线性地输入transformer。对于一个输入向量X∈RH×W×C，其中H和W表示高和宽，先通过n×n的卷积编码局部空间信息，再进行逐点卷积将向量投影到d(d>C)维度的空间中得到新的向量XL∈RH×W×d，接着将XL展平得到XU∈RP×N×d，其中P＝WH，对于每个p∈{1,…,P}，通过transformer编码后得到XG∈RP×N×d，其与transformer的关系公式为
XG(p)＝Transformer(XU(p)),1≤p≤P
步骤S302：将CBAM注意力机制模块添加到所述YOLOv7网络，所述CBAM的网络架构集成了通道注意力模块和空间注意力模块。
需要说明的是，分别输入Prediction部分。其中GBR层由GhostModule层、批量归一化层、ReLU激活函数组成，可以在计算参数量减少的同时快速提取特征，GhostModule层结构如图9所示，输入的特征图进行卷积得到输出通道数减半的特征层即真实特征层，真实特征层的每个通道单独做线性变换处理得到的ghost特征层，与真实特征层进行拼接得到输出特征；CBAM注意力机制结构如图8所示，分为通道注意力和空间注意力，通道注意力更注重提取图像中有用的信息是什么，而空间注意力更注重提取图像中有用的信息位置。Prediction部分通过REP模块调整输入不同尺度特征图的通道数，最后经过一层普通卷积用于置信度、类别和锚框的预测。
应当清楚的是，将CBAM注意力机制模块添加到所述YOLOv7网络中，使做了轻量化改进后网络模型的精度得到比较好的保障。CBAM的网络架构集成了通道注意力模块和空间注意力模块，其中通道注意力模块的表达式为：
Mc(F)＝σ{MLP[AvgPool(F)]+MLP[MaxPool(F)]}
公式中的F表示输入特征图；σ表示Sigmoid激活函数；MLP表示多层感知机；AvgPool表示平均池化；MaxPool表示最大池化，空间注意力模块的表达式为：
Ms(F)＝σ{f7×7[AvgPool(F)；MaxPool(F)]}
公式中的f7×7表示大小为7x7的卷积核，将通道注意力模块和空间注意力模块集成后得到的CBAM注意力模块总表达式为：
M(F)＝[F×Mc(F)]×Ms[F×Mc(F)]
步骤S303：通过Ghost模块替换所述YOLOv7的卷积层，得到轻量化YOLOv7网络。
应当清楚的是，采用Ghost模块替换所述YOLOv7的卷积层，通过更为便宜的线性变换降低模型的参数量和计算量。GhostModule的实现过程主要分为两个部分，第一部分是对输入的特征图进行卷积得到输出通道数减半的特征层即真实特征层，第二部分是真实特征层的每个通道单独做线性变换处理得到的ghost特征层，与真实特征层进行拼接得到最终完整的输出结果。普通卷积的计算成本如下式所示：
costc＝n×h′×w′×c×k×k
公式中的n表示输出通道数；c表示输入通道数；h′和w′表示特征图的高和宽；k表示卷积核大小。
GhostModule的计算成本为:
公式中的d表示线性运算的平均内核大小,两者的理论加速比为:
可见，通过丢弃一部分常规的卷积而采用廉价线性转换的ghost提取特征能使计算复杂度有效降低s倍，GhostModule的输入和输出通道数量与一般卷积层是相同的，因此可以直接替换卷积层，使用公共数据集ImageNet训练所述改进的YOLOv7模型得到一个预训练权重，解决网络的骨干部分改进后模型泛化能力下降的问题，基于所述圣女果数据集对轻量化YOLOv7模型进行300轮训练，得到一个可以用于检测圣女果成熟度的网络模型。
在具体实施中，提供了一种基于轻量化改进YOLOv7的圣女果成熟度检测方法，模型优势主要表现在几个改进的方面：网络的骨干网络部分替换成更为轻量级的MobileViT网络，解决网络过深导致参数冗余、参数量大的问题；将CBAM注意力机制模块添加到所述YOLOv7网络中，解决网络轻量化后计算精度下降的问题；采用GhostModule替换所述YOLOv7的卷积层，通过更为便宜的线性变换降低模型的参数量和计算量。
在本实施例中，获取圣女果的图片数据集，并对所述圣女果的图片数据集中的原始照片打上标签；对所述圣女果的图片数据集进行数据增强处理，得到数据增强处理后的圣女果的图片数据集，并将所述数据增强处理后的圣女果的图片数据集划分为训练集和测试集；将所述YOLOv7网络的骨干网络部分替换成更为轻量级的MobileViT网络，所述MobileViT网络主要由卷积层、MV2模块、MobileViT模块、全局池化层和全连接层堆叠而成；将CBAM注意力机制模块添加到所述YOLOv7网络，所述CBAM的网络架构集成了通道注意力模块和空间注意力模块；通过Ghost模块替换所述YOLOv7的卷积层，得到轻量化YOLOv7网络，将当前待检测圣女果的图片输入至目标圣女果成熟度检测模型，得到圣女果成熟度检测结果，能够在不损失精度的情况下更快地识别出不同成熟度的圣女果，提升自动化采摘的效率，且可以在有遮挡、光照不均等环境下得到良好的检测结果。
参照图10，图10为本发明圣女果成熟度检测方法第三实施例的流程示意图，基于上述图2所示的第一实施例，提出本发明圣女果成熟度检测方法的第三实施例。
在第三实施例中，所述步骤S20，包括：
步骤S201：通过Mosaic对所述圣女果的图片数据集中图片进行随机裁剪、旋转、翻转以及拼接的数据增强处理，得到数据增强处理后的圣女果的图片数据集。
在具体实施中，使用Mosaic对图像进行随机裁剪、旋转、翻转、拼接的数据增强处理，使图像样本数量得到扩充；对数据增强后的数据集按照8：2的比例划分成训练集和测试集。
步骤S202：对所述数据增强处理后的圣女果的图片数据集按照预设比例划分成训练集和测试集。
需要说明的是，先使用公共数据集ImageNet训练改进的YOLOv7模型得到一个预训练权重，再基于所述训练集和测试集对改进的YOLOv7进行训练，得到一个可以用于检测圣女果成熟度的网络模型。
在本实施例中，通过Mosaic对所述圣女果的图片数据集中图片进行随机裁剪、旋转、翻转以及拼接的数据增强处理，得到数据增强处理后的圣女果的图片数据集；对所述数据增强处理后的圣女果的图片数据集按照预设比例划分成训练集和测试集；对所述圣女果的图片数据集进行数据增强处理，得到数据增强处理后的圣女果的图片数据集，并将所述数据增强处理后的圣女果的图片数据集划分为训练集和测试集；构建圣女果成熟度检测模型，并根据所述训练集和测试集对所述圣女果成熟度检测模型进行训练得到目标圣女果成熟度检测模型，其中圣女果成熟度检测模型为基于YOLOv7网络进行改进，包括改进骨干网络、加入CBAM注意力机制、替换卷积层得到的轻量化YOLOv7网络；将当前待检测圣女果的图片输入至目标圣女果成熟度检测模型，得到圣女果成熟度检测结果，从而经过轻量化的改进后可以得到更快速度检测圣女果成熟度的效果。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有圣女果成熟度检测程序，所述圣女果成熟度检测程序被处理器执行时实现如上文所述的圣女果成熟度检测方法的步骤。
由于本存储介质可以采用上述所有实施例的技术方案，因此至少具有上述实施例的技术方案所带来的有益效果，在此不再一一赘述。
参照图11，图11为本发明圣女果成熟度检测装置第一实施例的功能模块示意图。
本发明圣女果成熟度检测装置第一实施例中，该圣女果成熟度检测装置包括：
获取模块10，用于获取圣女果的图片数据集，并对所述圣女果的图片数据集中的原始照片打上标签；
数据增强模块20，用于对所述圣女果的图片数据集进行数据增强处理，得到数据增强处理后的圣女果的图片数据集，并将所述数据增强处理后的圣女果的图片数据集划分为训练集和测试集；
模型构建模块30，用于构建圣女果成熟度检测模型，并根据所述训练集和测试集对所述圣女果成熟度检测模型进行训练得到目标圣女果成熟度检测模型，其中圣女果成熟度检测模型为基于YOLOv7网络进行改进，包括改进骨干网络、加入CBAM注意力机制、替换卷积层得到的轻量化YOLOv7网络；
检测模块40，用于将当前待检测圣女果的图片输入至目标圣女果成熟度检测模型，得到圣女果成熟度检测结果。
在本实施例中，获取圣女果的图片数据集，并对所述圣女果的图片数据集中的原始照片打上标签；对所述圣女果的图片数据集进行数据增强处理，得到数据增强处理后的圣女果的图片数据集，并将所述数据增强处理后的圣女果的图片数据集划分为训练集和测试集；构建圣女果成熟度检测模型，并根据所述训练集和测试集对所述圣女果成熟度检测模型进行训练得到目标圣女果成熟度检测模型，其中圣女果成熟度检测模型为基于YOLOv7网络进行改进，包括改进骨干网络、加入CBAM注意力机制、替换卷积层得到的轻量化YOLOv7网络；将当前待检测圣女果的图片输入至目标圣女果成熟度检测模型，得到圣女果成熟度检测结果，从而通过轻量化的改进后可以得到更快速度检测圣女果成熟度的效果，进而更快速、准确检测圣女果的成熟度，提升自动化采摘效率。
在一实施例中，所述获取模块10，还用于获取圣女果的图片数据集，并对所述圣女果的图片数据集中的原始照片打上标签，包括：
通过相机拍摄实地采集圣女果的图片数据集；
通过标注软件Labelimg对所述圣女果的图片数据集中的原始照片按照不同成熟度分为ripe、half-ripe、unripe三类进行标注。
在一实施例中，所述数据增强模块20，还用于对所述圣女果的图片数据集进行数据增强处理，得到数据增强处理后的圣女果的图片数据集，并将所述数据增强处理后的圣女果的图片数据集划分为训练集和测试集，包括：
通过Mosaic对所述圣女果的图片数据集中图片进行随机裁剪、旋转、翻转以及拼接的数据增强处理，得到数据增强处理后的圣女果的图片数据集；
对所述数据增强处理后的圣女果的图片数据集按照预设比例划分成训练集和测试集。
在一实施例中，所述模型构建模块30，还用于对YOLOv7网络进行改进，改进骨干网络、加入CBAM注意力机制、替换卷积层得到的轻量化YOLOv7网络，包括：
将所述YOLOv7网络的骨干网络部分替换成更为轻量级的MobileViT网络，所述MobileViT网络主要由卷积层、MV2模块、MobileViT模块、全局池化层和全连接层堆叠而成；
将CBAM注意力机制模块添加到所述YOLOv7网络，所述CBAM的网络架构集成了通道注意力模块和空间注意力模块；
通过Ghost模块替换所述YOLOv7的卷积层，得到轻量化YOLOv7网络。
在一实施例中，所述检测模块40，还用于将当前待检测圣女果的图片输入至目标圣女果成熟度检测模型，得到圣女果成熟度检测结果，包括：
将当前待检测圣女果的图片通过resize到规定的尺寸，并通过骨干网络部分进行特征提取，得到当前待检测圣女果特征；
将所述当前待检测圣女果特征经过至少包括卷积层、MV2层、MVB层一系列卷积和下采样操作，得到一组不同尺寸的特征图像；
将所述一组不同尺寸的特征图像输入Neck部分，得到融合后的不同尺度的强化特征；
将所述融合后的不同尺度的强化特征通过REP模块调整，并经过卷积调整，得到圣女果成熟度检测结果。
在一实施例中，所述检测模块40，还用于根据所述训练集和测试集对所述圣女果成熟度检测模型进行训练得到目标圣女果成熟度检测模型，包括：
通过公共数据集ImageNet对圣女果成熟度检测模型进行训练，得到一个预训练权重；
根据所述训练集和测试集以及预训练权重对圣女果成熟度检测模型进行训练，得到目标圣女果成熟度检测模型。
在一实施例中，所述模型构建模块30，还用于将所述一组不同尺寸的特征图像输入Neck部分，得到融合后的不同尺度的强化特征，包括：
将所述一组不同尺寸的特征图像通过GBR层进行特征提取得到不同尺度的图像特征；
将所述不同尺度的图像特征通过CBAM注意力机制进行强化提取，得到强化特征；
通过Cat操作对所提取不同尺度的强化特征进行融合，得到融合后的不同尺度的强化特征。
本发明所述圣女果成熟度检测装置的其他实施例或具体实现方式可参照上述各方法实施例，因此至少具有上述实施例的技术方案所带来的所有有益效果，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。词语第一、第二、以及第三等的使用不表示任何顺序，可将这些词语解释为名称。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器镜像(Read Only Memory image，ROM)/随机存取存储器(Random AccessMemory，RAM)、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种圣女果成熟度检测方法，其特征在于，所述方法包括以下步骤：
获取圣女果的图片数据集，并对所述圣女果的图片数据集中的原始照片打上标签；
对所述圣女果的图片数据集进行数据增强处理，得到数据增强处理后的圣女果的图片数据集，并将所述数据增强处理后的圣女果的图片数据集划分为训练集和测试集；
构建圣女果成熟度检测模型，并根据所述训练集和测试集对所述圣女果成熟度检测模型进行训练得到目标圣女果成熟度检测模型，其中圣女果成熟度检测模型为基于YOLOv7网络进行改进，包括改进骨干网络、加入CBAM注意力机制、替换卷积层得到的轻量化YOLOv7网络；
将当前待检测圣女果的图片输入至目标圣女果成熟度检测模型，得到圣女果成熟度检测结果。
2.如权利要求1所述的方法，其特征在于，所述获取圣女果的图片数据集，并对所述圣女果的图片数据集中的原始照片打上标签，包括：
通过相机拍摄实地采集圣女果的图片数据集；
通过标注软件Labelimg对所述圣女果的图片数据集中的原始照片按照不同成熟度分为ripe、half-ripe、unripe三类进行标注。
3.如权利要求1所述的方法，其特征在于，所述对所述圣女果的图片数据集进行数据增强处理，得到数据增强处理后的圣女果的图片数据集，并将所述数据增强处理后的圣女果的图片数据集划分为训练集和测试集，包括：
通过Mosaic对所述圣女果的图片数据集中图片进行随机裁剪、旋转、翻转以及拼接的数据增强处理，得到数据增强处理后的圣女果的图片数据集；
对所述数据增强处理后的圣女果的图片数据集按照预设比例划分成训练集和测试集。
4.如权利要求1所述的方法，其特征在于，所述对YOLOv7网络进行改进，改进骨干网络、加入CBAM注意力机制、替换卷积层得到的轻量化YOLOv7网络，包括：
将所述YOLOv7网络的骨干网络部分替换成更为轻量级的MobileViT网络，所述MobileViT网络主要由卷积层、MV2模块、MobileViT模块、全局池化层和全连接层堆叠而成；
将CBAM注意力机制模块添加到所述YOLOv7网络，所述CBAM的网络架构集成了通道注意力模块和空间注意力模块；
通过Ghost模块替换所述YOLOv7的卷积层，得到轻量化YOLOv7网络。
5.如权利要求1中所述的方法，其特征在于，所述将当前待检测圣女果的图片输入至目标圣女果成熟度检测模型，得到圣女果成熟度检测结果，包括：
将当前待检测圣女果的图片通过resize到规定的尺寸，并通过骨干网络部分进行特征提取，得到当前待检测圣女果特征；
将所述当前待检测圣女果特征经过至少包括卷积层、MV2层、MVB层一系列卷积和下采样操作，得到一组不同尺寸的特征图像；
将所述一组不同尺寸的特征图像输入Neck部分，得到融合后的不同尺度的强化特征；
将所述融合后的不同尺度的强化特征通过REP模块调整，并经过卷积调整，得到圣女果成熟度检测结果。
6.如权利要求5所述的方法，其特征在于，所述将所述一组不同尺寸的特征图像输入Neck部分，得到融合后的不同尺度的强化特征，包括：
将所述一组不同尺寸的特征图像通过GBR层进行特征提取得到不同尺度的图像特征；
将所述不同尺度的图像特征通过CBAM注意力机制进行强化提取，得到强化特征；
通过Cat操作对所提取不同尺度的强化特征进行融合，得到融合后的不同尺度的强化特征。
7.如权利要求1所述的方法，其特征在于，所述根据所述训练集和测试集对所述圣女果成熟度检测模型进行训练得到目标圣女果成熟度检测模型，包括：
通过公共数据集ImageNet对圣女果成熟度检测模型进行训练，得到一个预训练权重；
根据所述训练集和测试集以及预训练权重对圣女果成熟度检测模型进行训练，得到目标圣女果成熟度检测模型。
8.一种圣女果成熟度检测装置，其特征在于，所述圣女果成熟度检测装置包括：
获取模块，用于获取圣女果的图片数据集，并对所述圣女果的图片数据集中的原始照片打上标签；
数据增强模块，用于对所述圣女果的图片数据集进行数据增强处理，得到数据增强处理后的圣女果的图片数据集，并将所述数据增强处理后的圣女果的图片数据集划分为训练集和测试集；
模型构建模块，用于构建圣女果成熟度检测模型，并根据所述训练集和测试集对所述圣女果成熟度检测模型进行训练得到目标圣女果成熟度检测模型，其中圣女果成熟度检测模型为基于YOLOv7网络进行改进，包括改进骨干网络、加入CBAM注意力机制、替换卷积层得到的轻量化YOLOv7网络；
检测模块，用于将当前待检测圣女果的图片输入至目标圣女果成熟度检测模型，得到圣女果成熟度检测结果。
9.一种圣女果成熟度检测设备，其特征在于，所述圣女果成熟度检测设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的圣女果成熟度检测程序，所述圣女果成熟度检测程序被所述处理器执行时实现如权利要求1至7中任一项所述的圣女果成熟度检测方法。
10.一种存储介质，其特征在于，所述存储介质上存储有圣女果成熟度检测程序，所述圣女果成熟度检测程序被处理器执行时实现如权利要求1至7中任一项所述的圣女果成熟度检测方法。
CN202310387537.7A 2023-04-06 2023-04-06 圣女果成熟度检测方法、装置、设备及存储介质 Pending CN116563844A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310387537.7A CN116563844A (zh) 2023-04-06 2023-04-06 圣女果成熟度检测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310387537.7A CN116563844A (zh) 2023-04-06 2023-04-06 圣女果成熟度检测方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN116563844A true CN116563844A (zh) 2023-08-08

Family

ID=87488870

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310387537.7A Pending CN116563844A (zh) 2023-04-06 2023-04-06 圣女果成熟度检测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116563844A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117975173A (zh) * 2024-04-02 2024-05-03 华侨大学 基于轻量化视觉转换器的儿童邪典图片识别方法和设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117975173A (zh) * 2024-04-02 2024-05-03 华侨大学 基于轻量化视觉转换器的儿童邪典图片识别方法和设备
CN117975173B (zh) * 2024-04-02 2024-06-21 华侨大学 基于轻量化视觉转换器的儿童邪典图片识别方法和设备

Similar Documents

Publication Publication Date Title
CN111950453B (zh) 一种基于选择性注意力机制的任意形状文本识别方法
CN108564097B (zh) 一种基于深度卷积神经网络的多尺度目标检测方法
CN108108764B (zh) 一种基于随机森林的视觉slam回环检测方法
CN113705478B (zh) 一种基于改进YOLOv5的红树林单木目标检测方法
CN112364931B (zh) 一种基于元特征和权重调整的少样本目标检测方法及网络系统
CN115880298B (zh) 一种基于无监督预训练的玻璃表面缺陷检测系统
CN110766041A (zh) 一种基于深度学习的害虫检测方法
CN111680705B (zh) 适于目标检测的mb-ssd方法和mb-ssd特征提取网络
CN114973002A (zh) 一种基于改进的YOLOv5的麦穗检测方法
CN112766155A (zh) 一种基于深度学习的海水养殖区提取方法
CN113887472A (zh) 基于级联颜色及纹理特征注意力的遥感图像云检测方法
CN116563844A (zh) 圣女果成熟度检测方法、装置、设备及存储介质
CN116310718A (zh) 一种基于YOLOv5模型的害虫目标检测方法、系统及设备
CN112861646A (zh) 复杂环境小目标识别场景下的卸油工安全帽级联检测方法
CN112329771A (zh) 一种基于深度学习的建筑材料样本识别方法
CN116363535A (zh) 基于卷积神经网络的无人机航拍影像中的船舶检测方法
CN115482529A (zh) 近景色水果图像识别方法、设备、存储介质及装置
CN115147418A (zh) 缺陷检测模型的压缩训练方法和装置
CN116503399A (zh) 基于yolo-afps的绝缘子污闪检测方法
CN116091946A (zh) 一种基于YOLOv5的无人机航拍图像目标检测方法
CN117437691A (zh) 一种基于轻量化网络的实时多人异常行为识别方法及系统
CN115424243A (zh) 基于yolov5-shufflenetv2的车位号码识别方法、设备和介质
CN115439926A (zh) 一种基于关键区域和场景深度的小样本异常行为识别方法
CN114926691A (zh) 基于卷积神经网络的虫害智能化识别方法及系统
CN115063831A (zh) 一种高性能行人检索与重识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination