CN114511701A - 温室果实识别方法及装置 - Google Patents
温室果实识别方法及装置 Download PDFInfo
- Publication number
- CN114511701A CN114511701A CN202111667984.5A CN202111667984A CN114511701A CN 114511701 A CN114511701 A CN 114511701A CN 202111667984 A CN202111667984 A CN 202111667984A CN 114511701 A CN114511701 A CN 114511701A
- Authority
- CN
- China
- Prior art keywords
- fruit
- network model
- image
- target image
- greenhouse
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 235000013399 edible fruits Nutrition 0.000 title claims abstract description 300
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000011218 segmentation Effects 0.000 claims abstract description 68
- 238000001514 detection method Methods 0.000 claims abstract description 61
- 230000004888 barrier function Effects 0.000 claims abstract description 14
- 238000012549 training Methods 0.000 claims description 86
- 238000004590 computer program Methods 0.000 claims description 17
- 238000010586 diagram Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 7
- 238000002372 labelling Methods 0.000 claims description 6
- 238000003709 image segmentation Methods 0.000 claims description 4
- 101100295091 Arabidopsis thaliana NUDT14 gene Proteins 0.000 claims 1
- 238000006243 chemical reaction Methods 0.000 description 8
- 238000003860 storage Methods 0.000 description 8
- 241000227653 Lycopersicon Species 0.000 description 5
- 235000007688 Lycopersicon esculentum Nutrition 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 229910000831 Steel Inorganic materials 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 239000010959 steel Substances 0.000 description 2
- 108091026890 Coding region Proteins 0.000 description 1
- 238000012271 agricultural production Methods 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000012636 effector Substances 0.000 description 1
- 230000004345 fruit ripening Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种温室果实识别方法及装置。所述方法包括：将目标图像同时输入训练好的目标检测网络模型和训练好的语义分割网络模型；根据所述目标检测网络模型，从所述目标图像中提取果实特征，并根据所述语义分割网络模型，从所述目标图像中提取障碍物特征；根据所述果实特征和所述障碍物特征，对所述目标图像进行二分类，确定所述目标图像中果实的采摘类别。本申请实施例提供的温室果实识别方法可以提高对在异构环境中的温室果实的识别准确率，提高果实的采摘效率。
Description
技术领域
本申请涉及农业生产技术领域，具体涉及一种温室果实识别方法及装置。
背景技术
目前，随着规模化、工厂化种植业的盛行，温室果实如温室番茄生产，可采用机械化的方式进行采摘，以提高果实采摘效率。而温室果实采摘机器人在非结构环境下果实目标的随机位置准确感知是核心技术。由于温室番茄的多样性、生长位置随机性等因素的影响，解决温室番茄的识别和定位不准确问题，是保证采摘位置精确、提高采摘效率的关键。
相关技术中，通常采用深度学习的技术，来针对多簇果实图像以及光照不均、阳光斑驳的果实图像进行识别，从而提高果实图像的识别效果，方便采摘机器人进行采摘。
然而，虽然深度学习的应用对温室果实识别效率和效果具有明显提升，但会带来过度识别的新问题。在异构环境中，无法有效识别障碍物，使得部分被枝干或钢丝等障碍物部分遮挡的果实，也会被识别成采摘目标，导致机器人强行采摘这类果实时，枝干和钢丝将损坏末端执行器甚至机器人本身，影响果实的采摘效率。
发明内容
本申请实施例提供一种温室果实识别方法及装置，提高对在异构环境中的温室果实的识别准确率，提高果实的采摘效率。
第一方面，本申请实施例提供一温室果实识别方法，包括：
将目标图像同时输入训练好的目标检测网络模型和训练好的语义分割网络模型；
根据所述目标检测网络模型，从所述目标图像中提取果实特征，并根据所述语义分割网络模型，从所述目标图像中提取障碍物特征；
根据所述果实特征和所述障碍物特征，对所述目标图像进行二分类，确定所述目标图像中果实的采摘类别；
其中，所述采摘类别为可机摘果实和不可机摘果实。
在一个实施例中，所述根据所述目标检测网络模型，从所述目标图像中提取果实特征，包括：
根据所述目标检测网络模型中的Focus层，对所述目标图像进行切片处理，获取多通道的特征图；
对各所述特征图进行特征增强，获取果实特征。
在一个实施例中，所述根据所述语义分割网络模型，从所述目标图像中提取障碍物特征，包括：
根据所述语义分割网络模型中的MobileNetV2网络提取所述目标图像中障碍物的初始特征；
根据所述语义分割网络模型中的ASPP模块对所述初始特征进行处理，获取所述初始特征的多尺度信息；
根据所述语义分割网络模型中的卷积层和解码器，对所述多尺度信息进行处理，获取所述障碍物特征。
在一实施例中，所述果实特征包括表示果实不熟的第一果实特征、表示果实中熟的第二果实特征以及表示果实成熟的第三果实特征；
所述根据所述果实特征和所述障碍物特征，对所述目标图像进行二分类，确定所述目标图像中果实的采摘类别，包括：
当所述果实特征为第三果实特征，且所述果实特征和所述障碍物特征，在所述目标图像中未重叠时，确定所述目标图像中果实的采摘类别为可机摘果实。
在一实施例中，在将果实图像同时输入训练好的目标检测网络模型和训练好的语义分割网络模型之前，还包括：
根据采集到的各温室果实图像，确定各训练图像；
对各训练图像中的果实分别进行果实成熟度类别标注后，输入待训练的目标检测网络模型中，获取各训练图像的果实特征；
将各所述训练图像的果实特征，与各所述训练图像的果实成熟度类别标注进行匹配，迭代更新所述目标检测网络模型的参数，直至各所述训练图像的果实特征，与各所述训练图像的果实成熟度类别标注的匹配度达到预设条件。
在一实施例中，所述根据采集到的各温室果实图像，确定各训练图像，包括：
根据采集到的各所述温室果实图像，对各所述温室果实图像之间进行随机拼接，获取各拼接图像；
将各所述温室果实图像和各拼接图像，组成各所述训练图像。
在一实施例中，还包括：
对各训练图像中的障碍物分别进行障碍物类别标注后，输入待训练的语义分割网络模型中进行图像分割，获取各训练图像的障碍物特征；
根据各所述训练图像的障碍物特征与预设二值图的误差进行反向传播，迭代更新所述语义分割网络模型的参数，直至各所述训练图像的障碍物特征与预设二值图的误差小于预设值。
第二方面，本申请实施例提供一种温室果实识别装置，包括：
图像输入模块，用于将目标图像同时输入训练好的目标检测网络模型和训练好的语义分割网络模型；
特征提取模块，用于根据所述目标检测网络模型，从所述目标图像中提取果实特征，并根据所述语义分割网络模型，从所述目标图像中提取障碍物特征；
果实识别模块，用于根据所述果实特征和所述障碍物特征，对所述目标图像进行二分类，确定所述目标图像中果实的采摘类别；
其中，所述采摘类别为可机摘果实和不可机摘果实。
第三方面，本申请实施例提供一种电子设备，包括处理器和存储有计算机程序的存储器，所述处理器执行所述程序时实现第一方面所述的温室果实识别方法的步骤。
第四方面，本申请实施例提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现第一方面所述的温室果实识别方法的步骤。
本申请实施例提供的温室果实识别方法及装置，通过目标检测网络模型和语义分割网络模型进行温室果实图像的特征提取，使得可利用目标检测网络模型和语义分割网络模型对目标图像中的果实图像进行双重确认，从而在识别果实的同时，又可以对温室果实图像进行语义分割，识别出图像中的障碍物，并根据识别出的果实和障碍物，来确定果实可不可被采摘，提高了在异构环境中对温室果实识别的准确率，为非结构环境下的温室果实采摘机器人提供技术支撑，避免后续在通过机器人在抓取番茄的过程中，由于误抓枝干和网带造成果实采摘机器人的损坏，进而提高果实的采摘效率。
附图说明
为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的温室果实识别方法的流程示意图；
图2是本申请实施例提供的温室果实识别装置的结构示意图；
图3是本申请实施例提供的电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
下面结合附图对本申请实施例进行详细的阐述。
参见图1，是本发明实施例提供的温室果实识别方法的流程示意图之一，该方法应用于服务器或终端设备中，用于进行果实识别。如图1所示，本实施例提供的一种温室果实识别方法包括：
步骤101，将目标图像同时输入训练好的目标检测网络模型和训练好的语义分割网络模型；
步骤102，根据所述目标检测网络模型，从所述目标图像中提取果实特征，并根据所述语义分割网络模型，从所述目标图像中提取障碍物特征；
步骤103，根据所述果实特征和所述障碍物特征，对所述目标图像进行二分类，确定所述目标图像中果实的采摘类别；
其中，所述采摘类别为可机摘果实和不可机摘果实。
通过目标检测网络模型和语义分割网络模型进行温室果实图像的特征提取，使得可利用目标检测网络模型和语义分割网络模型对目标图像中的果实图像进行双重确认，从而在识别果实的同时，又可以对温室果实图像进行语义分割，识别出图像中的障碍物，并根据识别出的果实和障碍物，来确定果实可不可被采摘，提高了在异构环境中对温室果实识别的准确率，为非结构环境下的温室果实采摘机器人提供技术支撑，避免后续在通过机器人在抓取番茄的过程中，由于误抓枝干和网带造成果实采摘机器人的损坏，进而提高果实的采摘效率。
同时，采用目标检测网络模型和语义分割网络模型进行温室果实图像的特征提取，避免人工特征构建的步骤，从而减少人为误差，更有效的提高了在异构环境中对温室果实的识别效果。
在步骤101中，目标图像为从现实的温室环境中采集到携带又果实的图像。在获取到目标图像后，可预先对目标图像进行尺寸缩放，然后将缩放后的目标图像转换为可由目标检测网络模型以及语义分割网络模型进行处理的VOC格式文件。然后将转换格式后的目标图像，通过转换工具转换成YOLOv5的格式，输入训练好的用于识别图像中的果实特征的目标检测网络模型；同时，将转换格式后的目标图像，通过另一转换工具转换成可进行障碍物语义分割的PNG格式的标签文件，输入训练好的用于识别图像中的障碍物特征的语义分割网络模型。
在一实施例中，目标检测网络模型可以为YOLOv5模型。语义分割网络模型可以为轻量级的MobileNetV2-DeepLabv3+模型。
在一实施例中，YOLOv5模型包含依次连接的Focus层、第一Conv层、第一CSP层、第二Conv层、第二CSP层、第三Conv层、第三CSP层、第四Conv层、SPP层和第一CSP层。其中，Focus层的卷积核的数量为1；第一Conv层的卷积核的数量为1；第一CSP层的卷积核的数量为3；第二Conv层的卷积核的数量为1；第二CSP层的卷积核的数量为9；第三Conv层的卷积核的数量为1；第三CSP层的卷积核的数量为9；第四Conv层的卷积核的数量为1；SPP层的卷积核的数量为1；第一CSP层的卷积核的数量为3。CSP为跨阶段局部网络解决模型中的推理计算问题，提升模型学习能力和减少计算时间，此结构同时应用在backbone和Neck中。在Neck中，采用FPN和PAN相组合的结构，主要通过上采样操作进行信息传递和融合。
在一实施例中，YOLOv5模型的回归损失可采用CIOU计算。
在一实施例中，轻量级的MobileNetV2-DeepLabv3+模型可以用深度可分离网络(Xception)、空洞卷积网络(atrousconvolution)、多孔空间金字塔(ASPP)和上采样(upsample)来构建而成。其中，轻量级的MobileNetV2-DeepLabv3+模型可分为编码区(Encoder)和解码区(Decoder)两个部分，编码区用于提取图像的深度特征信息；编码区包括对输入的图像进行特征提取的深度卷积神经网络DCNN(Deep convolution neuralnetwork)以及带有空洞卷积的空间金字塔池化模块ASPP，其中ASPP用于进一步优化DCNN提取的深度特征。解码区将深度特征上采样，并与浅层特征进行特征融合，利用浅层特征对上采样不能恢复的位置信息进行优化，从而得到语义分割预测结果。
通过采用YOLOv5模型和轻量级的MobileNetV2-DeepLabv3+模型来进行目标图像的处理，从而相对于Faster R-CNN和Mask R-CNN等模型的格式，能够大幅度减少计算量。且，相比于其他模型，如YOLOv3模型和DeepLabv3+模型中的ResNet-50网络和ResNet-101网络，YOLOv5模型和MobileNetV2-DeepLabv3+模型的参数量更小，测试精度更准确，且处理速度快，从而能够提高对在异构环境中的温室果实的识别效率。
在一实施例中，所述根据所述目标检测网络模型，从所述目标图像中提取果实特征，包括：
根据所述目标检测网络模型中的Focus层，对所述目标图像进行切片处理，获取多通道的特征图；
对各所述特征图进行特征增强，获取果实特征。
在一实施例中，在将目标图像输入目标检测网络模型后，在目标检测网络模型的骨干网络(backbone)中，通过Focus层对目标图像进行切片处理，得到12通道的特征图，使目标图像从RGB 3通道变为12通道，从而解决图像在下采样过程中信息丢失问题，同时减少了模型的计算量。
在得到12通道的特征图后，将12通道的特征图通过CSP结构的backbone和FPN+PAN结构网络进行上采样操作，对12通道的特征图进行传递和融合，生成多尺度、深浅层的特征信息，从而获得果实特征。
在一实施例中，果实特征包括表示果实不熟的第一果实特征、表示果实中熟的第二果实特征以及表示果实成熟的第三果实特征。在获得果实特征后，若该果实特征为第一果实特征，则该果实特征对应的果实成熟度类别为不熟(green)；若该果实特征为第二果实特征，则该果实特征对应的果实成熟度类别为中熟(medium)；若该果实特征为第三果实特征，则该果实特征对应的果实成熟度类别为成熟(mature)。
在一实施例中，所述根据所述语义分割网络模型，从所述目标图像中提取障碍物特征，包括：
根据所述语义分割网络模型中的MobileNetV2网络提取所述目标图像中障碍物的初始特征；
根据所述语义分割网络模型中的ASPP模块对所述初始特征进行处理，获取所述初始特征的多尺度信息；
根据所述语义分割网络模型中的卷积层和解码器，对所述多尺度信息进行处理，获取所述障碍物特征。
在一实施例中，在将目标图像输入语义分割网络模型后，先通过MobileNetV2-DeepLabv3+模型的MobileNetV2网络，提取障碍物的初始特征后，将初始特征通过ASPP模块进行处理，获得初始特征的多尺度信息再输出到一个1*1的卷积层中，然后传到Decoder解码器部分进行融合。最终，由低层特征通过一个1*1卷积层进行压缩，减少特征的通道数，再与编码器中得到的高层特征通过四倍的上采样，连接低层特征和高层特征，最后通过一个3*3的卷积和一个四倍的上采样恢复图像的分辨率大小、恢复信息，得到最终的分割图，即障碍物特征。
在一实施例中，在获取果实特征和障碍物特征后，根据果实特征和障碍物特征进行二分类，分为可机摘果实和不可机摘果实。其中，可机摘果实对应的特征为表示果实成熟的第三果实特征。即当目标图像对应的果实特征为第三果实特征时，将目标图像中果实的采摘类别确定为可机摘果实；当目标图像对应的果实特征为第一果实特征、第二果实特征，和/或目标图像中存在障碍物特征时，则将目标图像中果实的采摘类别确定为不可机摘果实。其中，可机摘果实即为可通过采摘机器人进行采摘的果实，不可机摘果实即为不可通过采摘机器人进行采摘的果实。
为使识别结果更为准确，在一实施例中，所述根据所述果实特征和所述障碍物特征，对所述目标图像进行二分类，确定所述目标图像中果实的采摘类别，包括：
当所述果实特征为第三果实特征，且所述果实特征和所述障碍物特征，在所述目标图像中未重叠时，确定所述目标图像中果实的采摘类别为可机摘果实。
在一实施例中，在获取果实特征和障碍物特征后，检测该果实特征和障碍物特征是否同时满足果实为第三果实特征，且果实特征与障碍物特征在目标图像中未重叠；若满足，则确定目标图像中果实的采摘类别为可机摘果实；反之，则确定目标图像中果实的采摘类别为不可机摘果实。
为提高目标检测网络模型进行果实特征识别时的准确性，在一实施例中，目标检测网络模型的训练方法为：
根据采集到的各温室果实图像，确定各训练图像；
对各训练图像中的果实分别进行果实成熟度类别标注后，输入待训练的目标检测网络模型中，获取各训练图像的果实特征；
将各所述训练图像的果实特征，与各所述训练图像的果实成熟度类别标注进行匹配，迭代更新所述目标检测网络模型的参数，直至各所述训练图像的果实特征，与各所述训练图像的果实成熟度类别标注的匹配度达到预设条件。
在一实施例中，预先采集自然环境下的温室果实图像若干，将其作为训练图像。然后将训练图像进行尺寸缩放后，针对每一训练图像，均通过labelme标注软件，用矩形框对训练图像中的果实进行果实成熟度类别的标注。其中，果实成熟度类别包括“不熟”，“半熟”和“成熟”三种类别，分别对应第一果实特征、第二果实特征和第三果实特征。从而将任一训练图像标注为第一果实特征、第二果实特征或第三果实特征。保存标注后，将每个标注后的训练图像生成JSON格式文件，再转换为VOC格式的文件进行保存。在需要进行目标检测网络模型的训练时，将VOC格式的文件通过转换工具转换为YOLOv5的格式，完成目标检测网络模型的数据准备工作。
在一实施例中，将VOC格式的文件通过转换工具转换为YOLOv5的格式后，将YOLOv5的格式的带有标注的训练图像输入YOLOv5模型中，针对每张训练图像，均通过一个Focus层对图像进行切片处理，得到12通道的特征图；再通过CSP结构的backbone和FPN+PAN结构网络的增强，生成多尺度、深浅层的特征信息；最后得到该训练图像的果实特征，再与真实的果实成熟度类别标注进行比较，迭代更新网络的参数。直至每个训练图像的果实特征，均与其对应的果实成熟度类别标注相同时，完成YOLOv5模型的训练，从而得到训练好的YOLOv5模型。
由于训练图像中，果实的采摘类别为不可机摘果实的样本量可能过少，因此为避免训练图像中不可机摘果实的样本量偏少等样本数据不均衡问题，在一实施例中，所述根据采集到的各温室果实图像，确定各训练图像，包括：
根据采集到的各所述温室果实图像，对各所述温室果实图像之间进行随机拼接，获取各拼接图像；
将各所述温室果实图像和各拼接图像，组成各所述训练图像。
在一实施例中，在获取到各温室果实图像后，通过Mosaic数据增强，将各温室果实图像通过随机缩放、随机裁减、随机排布的方式进行拼接，得到各拼接图像，再将各温室果实图像和各拼接图像组成训练图像集，从而大大丰富了训练图像集。特别是随机缩放，可以增加很多小目标，让模型的鲁棒性更好。
为确保目标检测网络模型的准确性，还可以将各训练图像中80％的样本用于进行目标检测网络模型的训练，在完成目标检测网络模型的训练后，将另外20％的训练图像作为检测样本，输入目标检测网络模型中，验证目标检测网络模型的准确度。若各检测样本的果实特征，均与其对应的果实成熟度类别标注相同时，则可判定目标检测网络模型已完成训练。
为提高语义分割网络模型进行障碍物特征识别时的准确性，在一实施例中，语义分割网络模型的训练方法为：
对各训练图像中的障碍物分别进行障碍物类别标注后，输入待训练的语义分割网络模型中进行图像分割，获取各训练图像的障碍物特征；
根据各所述训练图像的障碍物特征与预设二值图的误差进行反向传播，迭代更新所述语义分割网络模型的参数，直至各所述训练图像的障碍物特征与预设二值图的误差小于预设值。
在一实施例中，预先将训练图像进行尺寸缩放后，针对每一训练图像，均通过labelme标注软件，用任意多边形框(Polygons)对训练图像中的障碍物进行障碍物类别的标注，如标注为“网带”或“枝干”等。保存标注后，将每个标注后的训练图像生成JSON格式文件，再转换为VOC格式的文件进行保存。在需要进行语义分割网络模型的训练时，将VOC格式的文件通过转换工具转换为PNG格式的标签文件，完成语义分割网络模型的数据准备工作。
在一实施例中，将VOC格式的文件通过转换工具转换为PNG格式的标签文件后，将PNG格式的标签文件的带有障碍物标注的训练图像输入轻量级MobileNetV2-DeepLabv3+模型中，提取障碍物的初始特征，再将其输入到DeepLabv3+中，通过ASPP模块，获得了初始特征的多尺度信息再输出到一个1*1的卷积层中，然后传到Decoder解码器部分进行融合。最终，由低层特征通过一个1*1卷积层进行压缩，减少特征的通道数，再与编码器中得到的高层特征通过四倍的上采样，连接低层特征和高层特征，最后通过一个3*3的卷积和一个四倍的上采样恢复图像的分辨率大小、恢复信息，得到最终的分割图，即训练图像的障碍物特征。然后针对任一训练图像，将训练图像的障碍物特征与预设二值图利用BCELoss进行误差计算，根据误差进行反向传播迭代更新模型的参数，直至任一训练图像的障碍物特征与预设二值图的误差小于预设值时，则判定MobileNetV2-DeepLabv3+模型完成训练。
同理，为确保语义分割网络模型的准确性，还可以将各训练图像中80％的样本用于进行语义分割网络模型的训练，在完成语义分割网络模型的训练后，将另外20％的训练图像作为检测样本，输入语义分割网络模型中，验证语义分割网络模型的准确度。若各检测样本的障碍物特征，均与预设二值图的误差小于预设值时，则可判定语义分割网络模型已完成训练。
下面对本申请实施例提供的温室果实识别装置进行描述，下文描述的温室果实识别装置与上文描述的温室果实识别方法可相互对应参照。
在一实施例中，如图2所示，提供了一种温室果实识别装置，包括：
图像输入模块210，用于将目标图像同时输入训练好的目标检测网络模型和训练好的语义分割网络模型；
特征提取模块220，用于根据所述目标检测网络模型，从所述目标图像中提取果实特征，并根据所述语义分割网络模型，从所述目标图像中提取障碍物特征；
果实识别模块230，用于根据所述果实特征和所述障碍物特征，对所述目标图像进行二分类，确定所述目标图像中果实的采摘类别；
其中，所述采摘类别为可机摘果实和不可机摘果实。
在一实施例中，特征提取模块220，具体用于：
根据所述目标检测网络模型中的Focus层，对所述目标图像进行切片处理，获取多通道的特征图；
对各所述特征图进行特征增强，获取果实特征。
在一实施例中，特征提取模块220，具体用于：
根据所述语义分割网络模型中的MobileNetV2网络提取所述目标图像中障碍物的初始特征；
根据所述语义分割网络模型中的ASPP模块对所述初始特征进行处理，获取所述初始特征的多尺度信息；
根据所述语义分割网络模型中的卷积层和解码器，对所述多尺度信息进行处理，获取所述障碍物特征。
在一实施例中，所述果实特征包括表示果实不熟的第一果实特征、表示果实中熟的第二果实特征以及表示果实成熟的第三果实特征；
果实识别模块230具体用于：
当所述果实特征为第三果实特征，且所述果实特征和所述障碍物特征，在所述目标图像中未重叠时，确定所述目标图像中果实的采摘类别为可机摘果实。
在一实施例中，图像输入模块210，还用于：
根据采集到的各温室果实图像，确定各训练图像；
对各训练图像中的果实分别进行果实成熟度类别标注后，输入待训练的目标检测网络模型中，获取各训练图像的果实特征；
将各所述训练图像的果实特征，与各所述训练图像的果实成熟度类别标注进行匹配，迭代更新所述目标检测网络模型的参数，直至各所述训练图像的果实特征，与各所述训练图像的果实成熟度类别标注的匹配度达到预设条件。
在一实施例中，图像输入模块210，还用于：
根据采集到的各所述温室果实图像，对各所述温室果实图像之间进行随机拼接，获取各拼接图像；
将各所述温室果实图像和各拼接图像，组成各所述训练图像。
在一实施例中，图像输入模块210，还用于：
对各训练图像中的障碍物分别进行障碍物类别标注后，输入待训练的语义分割网络模型中进行图像分割，获取各训练图像的障碍物特征；
根据各所述训练图像的障碍物特征与预设二值图的误差进行反向传播，迭代更新所述语义分割网络模型的参数，直至各所述训练图像的障碍物特征与预设二值图的误差小于预设值。
图3示例了一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)810、通信接口(Communication Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的计算机程序，以执行温室果实识别方法的步骤，例如包括：
将目标图像同时输入训练好的目标检测网络模型和训练好的语义分割网络模型；
根据所述目标检测网络模型，从所述目标图像中提取果实特征，并根据所述语义分割网络模型，从所述目标图像中提取障碍物特征；
根据所述果实特征和所述障碍物特征，对所述目标图像进行二分类，确定所述目标图像中果实的采摘类别；
其中，所述采摘类别为可机摘果实和不可机摘果实。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本申请实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各实施例所提供的温室果实识别方法的步骤，例如包括：
将目标图像同时输入训练好的目标检测网络模型和训练好的语义分割网络模型；
根据所述目标检测网络模型，从所述目标图像中提取果实特征，并根据所述语义分割网络模型，从所述目标图像中提取障碍物特征；
根据所述果实特征和所述障碍物特征，对所述目标图像进行二分类，确定所述目标图像中果实的采摘类别；
其中，所述采摘类别为可机摘果实和不可机摘果实。
另一方面，本申请实施例还提供一种处理器可读存储介质，所述处理器可读存储介质存储有计算机程序，所述计算机程序用于使处理器执行上述各实施例提供的方法的步骤，例如包括：
将目标图像同时输入训练好的目标检测网络模型和训练好的语义分割网络模型；
根据所述目标检测网络模型，从所述目标图像中提取果实特征，并根据所述语义分割网络模型，从所述目标图像中提取障碍物特征；
根据所述果实特征和所述障碍物特征，对所述目标图像进行二分类，确定所述目标图像中果实的采摘类别；
其中，所述采摘类别为可机摘果实和不可机摘果实。
所述处理器可读存储介质可以是处理器能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NANDFLASH)、固态硬盘(SSD))等。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (10)
1.一种温室果实识别方法，其特征在于，包括：
将目标图像同时输入训练好的目标检测网络模型和训练好的语义分割网络模型；
根据所述目标检测网络模型，从所述目标图像中提取果实特征，并根据所述语义分割网络模型，从所述目标图像中提取障碍物特征；
根据所述果实特征和所述障碍物特征，对所述目标图像进行二分类，确定所述目标图像中果实的采摘类别；
其中，所述采摘类别为可机摘果实和不可机摘果实。
2.根据权利要求1所述的温室果实识别方法，其特征在于，所述根据所述目标检测网络模型，从所述目标图像中提取果实特征，包括：
根据所述目标检测网络模型中的Focus层，对所述目标图像进行切片处理，获取多通道的特征图；
对各所述特征图进行特征增强，获取果实特征。
3.根据权利要求1所述的温室果实识别方法，其特征在于，所述根据所述语义分割网络模型，从所述目标图像中提取障碍物特征，包括：
根据所述语义分割网络模型中的MobileNetV2网络提取所述目标图像中障碍物的初始特征；
根据所述语义分割网络模型中的ASPP模块对所述初始特征进行处理，获取所述初始特征的多尺度信息；
根据所述语义分割网络模型中的卷积层和解码器，对所述多尺度信息进行处理，获取所述障碍物特征。
4.根据权利要求1所述的温室果实识别方法，其特征在于，所述果实特征包括表示果实不熟的第一果实特征、表示果实中熟的第二果实特征以及表示果实成熟的第三果实特征；
所述根据所述果实特征和所述障碍物特征，对所述目标图像进行二分类，确定所述目标图像中果实的采摘类别，包括：
当所述果实特征为第三果实特征，且所述果实特征和所述障碍物特征，在所述目标图像中未重叠时，确定所述目标图像中果实的采摘类别为可机摘果实。
5.根据权利要求1-4任意一项所述的温室果实识别方法，其特征在于，在将果实图像同时输入训练好的目标检测网络模型和训练好的语义分割网络模型之前，还包括：
根据采集到的各温室果实图像，确定各训练图像；
对各训练图像中的果实分别进行果实成熟度类别标注后，输入待训练的目标检测网络模型中，获取各训练图像的果实特征；
将各所述训练图像的果实特征，与各所述训练图像的果实成熟度类别标注进行匹配，迭代更新所述目标检测网络模型的参数，直至各所述训练图像的果实特征，与各所述训练图像的果实成熟度类别标注的匹配度达到预设条件。
6.根据权利要求5所述的温室果实识别方法，其特征在于，所述根据采集到的各温室果实图像，确定各训练图像，包括：
根据采集到的各所述温室果实图像，对各所述温室果实图像之间进行随机拼接，获取各拼接图像；
将各所述温室果实图像和各拼接图像，组成各所述训练图像。
7.根据权利要求5所述的温室果实识别方法，其特征在于，还包括：
对各训练图像中的障碍物分别进行障碍物类别标注后，输入待训练的语义分割网络模型中进行图像分割，获取各训练图像的障碍物特征；
根据各所述训练图像的障碍物特征与预设二值图的误差进行反向传播，迭代更新所述语义分割网络模型的参数，直至各所述训练图像的障碍物特征与预设二值图的误差小于预设值。
8.一种温室果实识别装置，其特征在于，包括：
图像输入模块，用于将目标图像同时输入训练好的目标检测网络模型和训练好的语义分割网络模型；
特征提取模块，用于根据所述目标检测网络模型，从所述目标图像中提取果实特征，并根据所述语义分割网络模型，从所述目标图像中提取障碍物特征；
果实识别模块，用于根据所述果实特征和所述障碍物特征，对所述目标图像进行二分类，确定所述目标图像中果实的采摘类别；
其中，所述采摘类别为可机摘果实和不可机摘果实。
9.一种电子设备，包括处理器和存储有计算机程序的存储器，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的温室果实识别方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7任一项所述的温室果实识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111667984.5A CN114511701A (zh) | 2021-12-31 | 2021-12-31 | 温室果实识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111667984.5A CN114511701A (zh) | 2021-12-31 | 2021-12-31 | 温室果实识别方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114511701A true CN114511701A (zh) | 2022-05-17 |
Family
ID=81548089
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111667984.5A Pending CN114511701A (zh) | 2021-12-31 | 2021-12-31 | 温室果实识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114511701A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116935070A (zh) * | 2023-09-19 | 2023-10-24 | 北京市农林科学院智能装备技术研究中心 | 果串采摘机器人采摘目标建模方法 |
-
2021
- 2021-12-31 CN CN202111667984.5A patent/CN114511701A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116935070A (zh) * | 2023-09-19 | 2023-10-24 | 北京市农林科学院智能装备技术研究中心 | 果串采摘机器人采摘目标建模方法 |
| CN116935070B (zh) * | 2023-09-19 | 2023-12-26 | 北京市农林科学院智能装备技术研究中心 | 果串采摘机器人采摘目标建模方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111507319A (zh) | 一种基于深度融合卷积网络模型的农作物病害识别方法 | |
| CN112381763A (zh) | 一种表面缺陷检测方法 | |
| CN106055613A (zh) | 一种基于混合范数的数据分类训练数据库清洗方法 | |
| CN111104855B (zh) | 一种基于时序行为检测的工作流识别方法 | |
| CN114511701A (zh) | 温室果实识别方法及装置 | |
| CN115272242B (zh) | 一种基于YOLOv5的光学遥感图像目标检测方法 | |
| CN116363505A (zh) | 一种基于采摘机器人视觉系统的目标采摘方法 | |
| CN113762265A (zh) | 肺炎的分类分割方法及系统 | |
| CN114067314B (zh) | 一种基于神经网络的花生霉变识别方法及系统 | |
| CN115050014A (zh) | 一种基于图像文本学习的小样本番茄病害识别系统及方法 | |
| CN115239672A (zh) | 缺陷检测方法及装置、设备、存储介质 | |
| CN116110042A (zh) | 一种基于YOLOv7的CBAM注意力机制番茄检测方法 | |
| Wang et al. | A transformer-based mask R-CNN for tomato detection and segmentation | |
| CN114240923A (zh) | 基于机器视觉的全自动bldc电机绕线机产品缺陷检测方法 | |
| Santhana Krishnan et al. | Computer aided detection of leaf disease in agriculture using convolution neural network based squeeze and excitation network | |
| CN114022777A (zh) | 一种遥感影像地物要素的样本制作方法及装置 | |
| CN112200862B (zh) | 目标检测模型的训练方法、目标检测方法及装置 | |
| CN117853417A (zh) | 焊缝缺陷识别方法、装置、电子设备及存储介质 | |
| CN117272180A (zh) | 一种基于残差网络模型的分拣机故障检测方法及系统 | |
| Yan et al. | Identification and Location Method of Cherry Tomato Picking Point Based on Si-YOLO | |
| CN112905832B (zh) | 复杂背景细粒度图像检索系统及方法 | |
| CN115294472A (zh) | 果实产量估计方法、模型训练方法、设备及存储介质 | |
| CN114463667A (zh) | 基于视频识别的小样本学习方法 | |
| CN113723833A (zh) | 造林实绩质量评价方法、系统、终端设备及存储介质 | |
| CN112598646A (zh) | 电容缺陷检测方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination |