CN115601543A - 基于改进的SOLOv2的蘑菇簇轮廓分割和重构方法 - Google Patents

基于改进的SOLOv2的蘑菇簇轮廓分割和重构方法 Download PDF

Info

Publication number
CN115601543A
CN115601543A CN202211252987.7A CN202211252987A CN115601543A CN 115601543 A CN115601543 A CN 115601543A CN 202211252987 A CN202211252987 A CN 202211252987A CN 115601543 A CN115601543 A CN 115601543A
Authority
CN
China
Prior art keywords
contour
outline
segmentation
solov2
sporocarp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211252987.7A
Other languages
English (en)
Inventor
杨淑珍
朱浩宇
俞涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Polytechnic University
Original Assignee
Shanghai Polytechnic University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Polytechnic University filed Critical Shanghai Polytechnic University
Priority to CN202211252987.7A priority Critical patent/CN115601543A/zh
Publication of CN115601543A publication Critical patent/CN115601543A/zh
Priority to PCT/CN2023/098787 priority patent/WO2024077979A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01G—HORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G18/00—Cultivation of mushrooms
    • A01G18/70—Harvesting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Mycology (AREA)
  • Environmental Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于改进的SOLOv2的蘑菇簇轮廓分割和重构方法。首先通过PR‑SOLOv2分割网络将蘑菇簇图像进行分割，获得各子实体掩膜。然后，提取各子实体掩膜轮廓数据，根据子实体掩膜轮廓的曲率和半径大小对子实体进行分类，进而根据分类结果，对形状规则、较平滑轮廓子实体采用最小二乘椭圆法进行拟合重构，对被严重遮挡或挤压的不规则轮廓子实体通过基于角点分割的最长轮廓提取及分类重构方法重构。本发明对密集重叠蘑菇簇子实体的轮廓分割和重构精度高、速度快，重构的轮廓边缘与蘑菇实际边缘贴合度较高，中心点定位更加精准，适用于双孢蘑菇、姬松茸、金针菇、海鲜菇、杏鲍菇等蘑菇子实体的高精度识别与定位。

Description

基于改进的SOLOv2的蘑菇簇轮廓分割和重构方法
技术领域
本发明涉及智慧农业及视觉识别技术领域，特别是果蔬自动采摘技术领域，具体涉及一种基于改进的SOLOv2的蘑菇簇子实体高精度轮廓分割和重构方法。
背景技术
蘑菇是一种天然高丛生性作物，子实体之间极易密集并重叠生长在一起，蘑菇的形状因密集生长空间受限易从圆形长成椭圆或不规则形，子实体也容易由垂直生长变成倾斜姿态，因此，实现轮廓高精度分割和重构难度大，导致子实体的中心点定位精度以及子实体尺寸精度偏低，会降低蘑菇簇的自动采摘成功率。
目前针对子实体的分割方法主要有基于传统视觉的分割算法采用圆或椭圆进行重构和基于目标检测的Boudingbox中心点定位方法，对于相对稀疏圆形子实体的分割定位精度效果较好，但是对于密集重叠的果实簇中的子实体的定位效果并不好。传统视觉对环境适应性差识别算法鲁棒性差、对较小和粘连子实体漏识别率高、会将密度高的类圆形菌丝团误识别为子实体，对倾斜、不规则形和被遮挡子实体的边缘分割精度不高，而且，单用圆形或椭圆重构的子实体轮廓特别是对不规则形状及被遮挡子实体的轮廓与实际轮廓贴合程度不高。而基于目标检测的中心点定位方法，虽然对子实体识别的鲁棒性提高不少，但是由于其目标中心是依靠Boundingbox来确定的，与实体的边缘也不太贴合，尤其是对于倾斜、复杂粘连重叠子实体，会导致子实体的尺寸和中心点位置与实际产生一定偏移。
发明内容
针对现有技术存在的问题，本发明的目的在于提供一种基于改进的SOLOv2(PR-SOLOv2分割算法)的蘑菇簇子实体高精度轮廓分割和重构方法。本方法克服了图像采集时蘑菇重叠、倾斜、遮挡、光照不均匀、菇帽表面有土壤等复杂情况以及密集粘连蘑菇的轮廓分割模糊问题，通过本发明提出的PR-SOLOv2分割算法不仅能针对密集、重叠、挤压和倾斜子实体的边缘进行精准分割、完整获得其实例掩码，并且对于蘑菇子实体之间存在较严重遮挡、挤压变形等情况也能基于本发明所设计的轮廓重构算法对子实体进行较好地轮廓拟合重构，其目的是为了更加精准获得子实体的中心点坐标和形状尺寸，为后续的采摘或生长状态监测提供精准的子实体数据。
本发明首先通过融合SOLOv2网络及PointRend模块的PR-SOLOv2分割网络对蘑菇簇图像进行分割，获得与实际子实体贴合较好的各子实体掩膜。然后，提取各子实体掩膜轮廓数据，根据子实体掩膜轮廓的曲率和半径大小对子实体进行分类，对形状规则、较平滑轮廓子实体采用最小二乘椭圆法进行拟合重构，对被严重遮挡或挤压的不规则轮廓子实体基于角点分割的最长轮廓提取及分类重构方法进行重构。本发明的技术方案具体介绍如下。
一种基于改进的SOLOv2的蘑菇簇轮廓分割和重构方法，包括以下步骤：
步骤A：采集蘑菇图像；
步骤B：采用改进的SOLOv2算法对图像中蘑菇簇中的子实体进行高精度分割，获得与实际子实体贴合好的各子实体掩膜；其中：改进的SOLOv2算法基于融合SOLOv2网络及PointRend模块的PR-SOLOv2分割网络实现；PR-SOLOv2分割网络中，PointRend模块设置在SOLOv2网络的特征提取骨干网络全卷积网络FCN后、实例分割预测分支的最前端，FCN网络的第二层和第四层特征分别作为精细特征和粗糙特征作为PointRend模块的输入，PointRend模块根据在低空间分辨率的特征图和相应较为精细的高空间分辨率特征上提取到的特征像素点，采用多层感知机对每个点不断迭代优化，再通过实例分割预测分支来进行实例掩膜的预测；
步骤C：提取各子实体掩膜的边缘轮廓数据；
步骤D：计算子实体掩膜轮廓的平均曲率和长度，根据轮廓长度和平均曲率的组合大小关系，将子实体分为规则轮廓子实体和非规则轮廓子实体；
步骤E：采用最小二乘椭圆拟合法重构规则轮廓子实体的轮廓，采用基于角点分割的最长轮廓提取及分类重构方法重构非规则轮廓子实体的轮廓，最终实现蘑菇簇轮廓分割和重构。
上述步骤B中，PR-SOLOv2分割网络通过逐层连接低层特征和高层特征，以由粗至细的方式迭代渲染输出图像的方法，能改善原来网络结构可能对边界像素产生的模糊及误判，提高图像分割边缘的精度。
上述步骤B中，对PR-SOLOv2分割网络进行训练时，训练批次大小设置为4，初始学习率设置为0.01，权重衰减因子为0.0001，动量大小为0.9，进行5000次迭代训练。
上述步骤D中，按照式1)计算子实体掩膜轮廓中每个点的曲率k，并取所有轮廓点曲率的平均值作为该轮廓的平均曲率：
Figure BDA0003888551790000021
式中：x′、y′以及x″、y″分别表示轮廓点x，y坐标的一阶和二阶导数。
上述步骤D中，根据轮廓长度和平均曲率的组合大小关系，当子实体轮廓长度大于h(像素点)且平均曲率小于f时，子实体为规则轮廓子实体，否则为非规则轮廓子实体；其中：h、f是阈值；本文中，针对双孢蘑菇分割时，h取值为100，f取值为0.103。
上述步骤E中，基于角点分割的最长轮廓提取及分类重构方法具体如下：
步骤E1：检测轮廓形状突变处的角点；
步骤E2：通过角点坐标，将相邻角点坐标之间的坐标连线视为一条子轮廓片段，从而将整个蘑菇轮廓分割成N段子轮廓片段；
步骤E3：计算各轮廓片段的长度，从中选出最长轮廓片段；
步骤E4：计算该最长轮廓片段的弓形曲率C，计算公式如下：
Figure BDA0003888551790000031
Figure BDA0003888551790000032
Figure BDA0003888551790000033
Figure BDA0003888551790000034
p＝1/(z+v+m)
其中，R为弓形曲率半径，hArc为最长轮廓片段的弓形高，z、v、m分别为最长轮廓片段的两端点与片段上任一点组成三角形的三边长，z为最长轮廓片段的两端点连接的边长，p为三角形的半周长，S为三角形的面积；
步骤E5：根据最长轮廓片段的弓形曲率C以及其长度大小组合不同，采用不同方式对非规则子实体进行轮廓重建；具体如下：
当最长轮廓片段的弓形曲率C大于等于r并且其长度大于等于q(像素点)时，在该片段上选取若干个点，采用最小二乘椭圆拟合法重建子实体轮廓，r、q为阈值；本文中，针对双孢蘑菇重构时，r取值为0.9，q取值为100。
当最长轮廓片段的弓形曲率C小于r或其长度小于q时，在该片段上选取若干个点，采用最小距离圆拟合的方法重建子实体轮廓。
与现有技术相比，本发明的有益效果在于：
(1)本发明对SOLOv2网络结构与PointRend神经网络模块进行融合，构建了改进的SOLOv2算法PR-SOLOv2,通过逐层连接低层特征和高层特征，以由粗至细的方式迭代渲染输出图像的方法，改善原来网络结构可能对边界像素产生的误判，克服了密集果实子实体分割边缘的模糊问题，提高了图像分割边缘的精度。
(2)本发明提出了一种基于高精度实例分割掩膜轮廓的蘑菇子实体的分类轮廓重构方法。本方法中，首次提出采用实例分割算法获得子实体的高精度掩膜并提取各子实体掩膜轮廓数据作为子实体轮廓重构的基础数据。由掩膜获得轮廓数据方法比其它的轮廓搜索方法简单有效，而且由于所获得的掩膜轮廓的数据较贴合轮廓边缘，轮廓边缘数据的精度也很高。此外，通过子实体掩膜轮廓的曲率和半径大小对形状规则、较平滑轮廓子实体和被严重遮挡或挤压的不规则轮廓子实体进行分类重构。特别是针对不规则轮廓子实体本发明提出了基于角点分割的最长轮廓提取及分类重构方法，基于轮廓角点提取轮廓中的最长轮廓片段、然后根据最长轮廓片段的弓形曲率及长度分别采用圆及椭圆拟合重构完整轮廓方法，能很好的恢复被严重遮挡或严重挤压的不规则轮廓子实体。
本发明对密集重叠蘑菇簇子实体的轮廓分割和重构精度高、速度快，重构的轮廓边缘与蘑菇实际边缘贴合度较高，中心点定位更加精准，适用于双孢蘑菇、姬松茸、金针菇、海鲜菇、杏鲍菇等蘑菇子实体的高精度识别与定位。本发明还适用于其它类球型密集重叠果实的高精度识别与定位。
附图说明
图1为基于SOLOv2的蘑菇簇子实体高精度轮廓分割和重构方法流程图。
图2为双孢蘑菇原图像。
图3为PR-SOLOv2网络结构图。
图4为PR-SOLOv2分割模型的分割效果比较图。
图5为经PR-SOLOv2分割获得的掩膜轮廓图。
图6为提取的掩膜轮廓图。
图7为最小二乘椭圆拟合的较规则子实体轮廓。
图8为受遮挡严重或被严重挤压变形的轮廓形状不太规则的子实体直接用未处理的掩膜轮廓进行椭圆拟合的效果。
图9为被严重遮挡的不规则轮廓基于角点提取的最长轮廓图。
图10为受严重遮挡或严重挤压的不规则轮廓的重构轮廓效果图。
图11为基于本发明方法的果实簇重构轮廓完整效果图。
具体实施方式
下面结合附图，以双孢蘑菇为例对本发明的技术方案作进一步说明。
本发明的流程图如图1所示，具体实施步骤如下。
1、构建双孢蘑菇子实体分割模型的数据集
采用深度相机RealsenseD435，安装在离培养基高度300mm处采集图像，采集的图像如图2所示。
采集不同生长时期，不同光源环境下、不同拍摄角度下、不同菌种下、密集生长状态和稀疏生长状态的双孢蘑菇图像，使用“Labelme”图像数据标注软件在训练集图像上标注出蘑菇子实体的多边形外轮廓，实现对目标子实体的人工标注，生成相应的JSON格式文件。为了提高双孢蘑菇训练模型的泛化能力和鲁棒性，进一步对采集的果实图像原始数据训练集进行图像亮度变化、水平翻转、镜像垂直、随机旋转等图像数据增强以获得更多的图像数据和图像特征。最后将图像增强的图像与原始数据图像集中在一起构成最终的训练数据集。
2、设计构建改进的SOLOv2的PR-SOLOv2网络
在SOLOv2网络的特征提取骨干网络全卷积网络FCN后、实例分割预测分支的最前端加入PointRend网络模块，并选取FCN网络的第二层和第四层特征分别作为精细特征和粗糙特征作为该模块的输入，根据在低空间分辨率的特征图和相应较为精细的高空间分辨率特征上提取到的特征像素点，采用多层感知机对每个点不断迭代优化，接入实例分割预测分支来进行实例掩膜的预测。通过这种逐层连接低层特征和高层特征，以由粗至细的方式迭代渲染输出图像的方法，改善原来网络结构可能对边界像素产生的误判而造成的轮廓分割模糊问题，提高图像分割边缘的精度。所设计的PR-SOLOv2算法的网络结构如图3所示。
3、训练PR-SOLOv2模型
构建模型的运行环境：采用win10操作系统，运行内存24GB，显卡为1×GeForceRTX3090，配置python3.7、PyTorch1.6、GPU运行架构CUDA10.1、加速库为CUDNN7.6.5下的Facebook的开源框架Detectron2作为模型的运行框架。
PR-SOLOv2模型采用构建的数据集进行训练，训练参数：训练批次大小设置为4，初始学习率设置为0.01，权重衰减因子为0.0001，动量大小为0.9，进行5000次迭代训练。
4、采集双孢蘑菇图像
5、将采集的图像通过训练出来的PR-SOLOv2算法模型完成对图像中双孢蘑菇子实体的分割，PR-SOLOv2分割模型的分割效果、获得各子实体掩膜，如图5所示。
进一步的，发明人基于SOLOv2算法和PR-SOLOv2算法对不同双孢蘑菇图像样本的分割效果进行比较，结果如图4所示，其中图4(a)图是未改进前即采用SOLOv2算法得分割效果，对于密集蘑菇簇分割效果不好，密集粘连子实体边缘分割模糊，例如子实体1和2、2和3、3和4、4和5、6和7等子实体交界边缘分割处分割模糊。而图4(b)则是采用本发明提出的PR-SOLOv2算法模型分割的结果，由图中可见，即使是密集粘连子实体间的边缘分割精准、清晰，与实际子实体边缘非常贴合。PR-SOLOv2的分割精度高，平均精度AP可达93.037％，AP50高达99.056％，AP75可达95.249％，均高于其它典型实例分割算法，如表1所示。
表1
算法 平均精度AP(％) AP<sub>50</sub>(％) AP<sub>75</sub>(％)
MASK R-CNN 83.510 95.061 89.006
YOLACT 80.743 93.451 87.853
SOLOv2 90.279 96.103 92.747
PR-SOLOv2 93.037 99.056 95.249
6、提取密集重叠子实体掩膜的边缘轮廓数据，如图6所示。
7、计算子实体掩膜轮廓的平均曲率和长度
按照以下公式计算子实体掩膜轮廓中每个点的曲率k，并取所有轮廓点曲率的平均值作为该轮廓的平均曲率。
Figure BDA0003888551790000061
其中，x′、y′以及x″、y″分别表示轮廓点x，y坐标的一阶和二阶导数。
8、根据轮廓长度和平均曲率的组合大小关系，对规则轮廓子实体和非规则轮廓子实体分别采用不同方法进行轮廓重构。
(1)若轮廓平均曲率和长度的组合关系满足条件实体轮廓长度大于100且平均曲率小于0.103，则说明该子实体是基本未受遮挡或被严重挤压变形的子实体，其轮廓边缘比较平滑，形状比较规则，取其上N个轮廓点为Pi(xi,yi)(i＝1,2,…,N)，根据最小二乘椭圆拟合目标函数(如下式)进行拟合运算，解得A,B,C,D,E的值，根据椭圆特性，计算出椭圆位置参数(θ,x0,y0)以及形状参数(a,b)，从而实现轮廓的重构。形状规则、轮廓边缘平滑子实体的轮廓重构效果如图7所示。
Figure BDA0003888551790000071
其中，欲使得F最小，需满足：
Figure BDA0003888551790000072
(2)若不满足实体轮廓长度大于100且平均曲率小于0.103的条件，则说明该子实体遮挡严重或被严重挤压变形，其轮廓形状不太规则、轮廓不太平滑，如果直接对其进行最小二乘椭圆拟合，如图8所示,箭头所指A1轮廓为拟合轮廓，拟合结果与实际轮廓相差较大；需要采用基于角点分割的最长轮廓提取及分类重构方法进行轮廓重构。具体实施步骤如下：
①检测轮廓形状突变处的角点；
②通过角点坐标，将相邻角点坐标之间的坐标连线视为一条子轮廓片段，从而将整个蘑菇轮廓分割成N段子轮廓片段；
③计算各轮廓片段的长度，从中选出最长轮廓片段；选出的最长轮廓片段。如图9所示，箭头指向的L1红色轮廓为最长轮廓。
④计算该最长轮廓片段的弓形曲率C，具体计算公式如下：
Figure BDA0003888551790000073
Figure BDA0003888551790000074
Figure BDA0003888551790000075
Figure BDA0003888551790000076
p＝1/(z+v+m)
其中，其中，R为弓形曲率半径，hArc为最长轮廓片段的弓形高，z、v、m分别为最长轮廓片段的两端点与片段上任一点组成三角形的三边长，z为最长轮廓片段的两端点连接的边长，p为三角形的半周长，S为三角形的面积。
然后，根据最大轮廓的弓形曲率以及长度大小组合不同，采用不同方式对较不规则子实体进行轮廓重建。当最大轮廓的弓形曲率较大大于0.9并且长度大于100，在最大轮廓上选取n个点(xj,yj)，采用最小二乘椭圆拟合法重建子实体轮廓。当最大轮廓的弓形曲率小于0.9或长度较短小于100时，在最大轮廓上选取n个点(xj,yj)，采用最小距离圆拟合的方法重建子实体轮廓，具体计算方法为根据n个数据点(xj,yj)到圆的距离绝对值的和来确定圆的参数：
Figure BDA0003888551790000081
其中，xc、yc为拟合后圆的中心点，r为拟合的圆半径，使得f取得最小值的xc、yc和r就是最佳拟合参数。
基于角点分割的最长轮廓提取及分类重构方法对受严重遮挡或严重挤压的不规则轮廓重构结果如图10所示，红色轮廓为重建的轮廓，被遮挡部分恢复较好，重构轮廓的边缘与实际子实体轮廓边缘拟合较好。
图11为基于本发明方法的果实簇重构轮廓效果图。由图中可见，密集粘连的蘑菇簇中，无论是形状较规则的子实体还是因被严重遮挡或被严重挤压变形或倾斜的不规则子实体的轮廓构建效果都很好，所构建的轮廓与实际轮廓很贴合，子实体的定位精度和形状尺寸精度都较高。
上述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围之内。

Claims (5)

1.一种基于改进的SOLOv2的蘑菇簇轮廓分割和重构方法，其特征在于，包括以下步骤：
步骤A：采集蘑菇图像；
步骤B：采用改进的SOLOv2算法对图像中蘑菇簇中的子实体进行高精度分割，获得与实际子实体贴合好的各子实体掩膜；其中：改进的SOLOv2算法基于融合SOLOv2网络及PointRend模块的PR-SOLOv2分割网络实现；PR-SOLOv2分割网络中，PointRend模块设置在SOLOv2网络的特征提取骨干网络全卷积网络FCN后、实例分割预测分支的最前端， FCN网络的第二层和第四层特征分别作为精细特征和粗糙特征作为PointRend模块的输入，PointRend模块根据在低空间分辨率的特征图和相应较为精细的高空间分辨率特征上提取到的特征像素点，采用多层感知机对每个点不断迭代优化，再通过实例分割预测分支来进行实例掩膜的预测；
步骤C：提取各子实体掩膜的边缘轮廓数据；
步骤D：计算子实体掩膜轮廓的平均曲率和长度，根据轮廓长度和平均曲率的组合大小关系，将子实体分为规则轮廓子实体和非规则轮廓子实体；
步骤E：采用最小二乘椭圆拟合法重构规则轮廓子实体的轮廓，采用基于角点分割的最长轮廓提取及分类重构方法重构非规则轮廓子实体的轮廓，最终实现蘑菇簇轮廓分割和重构。
2.根据权利要求1所述的基于改进的SOLOv2的蘑菇簇轮廓分割和重构方法，其特征在于，步骤B中，对PR-SOLOv2分割网络进行训练时，训练批次大小设置为 4，初始学习率设置为0.01，权重衰减因子为 0.0001，动量大小为 0.9，进行 5000 次迭代训练。
3.根据权利要求1所述的基于改进的SOLOv2的蘑菇簇轮廓分割和重构方法，其特征在于，步骤D中，按照式1）计算子实体掩膜轮廓中每个点的曲率k，并取所有轮廓点曲率的平均值作为该轮廓的平均曲率：
Figure 699464DEST_PATH_IMAGE001
式1）
式中：
Figure 691690DEST_PATH_IMAGE002
、
Figure 465742DEST_PATH_IMAGE003
以及
Figure 176210DEST_PATH_IMAGE004
、
Figure 310388DEST_PATH_IMAGE005
分别表示轮廓点x，y坐标的一阶和二阶导数。
4.根据权利要求1所述的基于改进的SOLOv2的蘑菇簇轮廓分割和重构方法，其特征在于，步骤D中，根据轮廓长度和平均曲率的组合大小关系，当子实体轮廓长度大于h且平均曲率小于f时，子实体为规则轮廓子实体，否则为非规则轮廓子实体；其中：h、 f是阈值。
5.根据权利要求1所述的基于改进的SOLOv2的蘑菇簇轮廓分割和重构方法，其特征在
于，步骤E中，基于角点分割的最长轮廓提取及分类重构方法包括以下步骤：
步骤E1：检测轮廓形状突变处的角点；
步骤E2：通过角点坐标，将相邻角点坐标之间的坐标连线视为一条子轮廓片段，从而将整个蘑菇轮廓分割成N段子轮廓片段；
步骤E3：计算各轮廓片段的长度，从中选出最长轮廓片段；
步骤E4：计算该最长轮廓片段的弓形曲率C，计算公式如下所示-：
Figure 422700DEST_PATH_IMAGE006
其中，
Figure 102074DEST_PATH_IMAGE007
为弓形曲率半径，
Figure 299837DEST_PATH_IMAGE008
为最长轮廓片段的弓形高，z、v、m分别为最长轮廓片段的 两端点与片段上任一点组成三角形的三边长，其中z为最长轮廓片段的两端点连接的边长， p为三角形的半周长，S为三角形的面积；
步骤E5：根据最长轮廓片段的弓形曲率C以及其长度大小组合不同，采用不同方式对非规则子实体进行轮廓重建；具体如下：
当最长轮廓片段的弓形曲率C大于等于r并且其长度大于等于q时，在该片段上选取若干个点，采用最小二乘椭圆拟合法重建子实体轮廓，r、q为阈值；
当最长轮廓片段的弓形曲率C小于r或其长度小于q时，在该片段上选取若干个点，采用最小距离圆拟合的方法重建子实体轮廓。
CN202211252987.7A 2022-10-13 2022-10-13 基于改进的SOLOv2的蘑菇簇轮廓分割和重构方法 Pending CN115601543A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211252987.7A CN115601543A (zh) 2022-10-13 2022-10-13 基于改进的SOLOv2的蘑菇簇轮廓分割和重构方法
PCT/CN2023/098787 WO2024077979A1 (zh) 2022-10-13 2023-06-07 基于改进的SOLOv2的蘑菇簇轮廓分割和重构方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211252987.7A CN115601543A (zh) 2022-10-13 2022-10-13 基于改进的SOLOv2的蘑菇簇轮廓分割和重构方法

Publications (1)

Publication Number Publication Date
CN115601543A true CN115601543A (zh) 2023-01-13

Family

ID=84847499

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211252987.7A Pending CN115601543A (zh) 2022-10-13 2022-10-13 基于改进的SOLOv2的蘑菇簇轮廓分割和重构方法

Country Status (2)

Country Link
CN (1) CN115601543A (zh)
WO (1) WO2024077979A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024077979A1 (zh) * 2022-10-13 2024-04-18 上海第二工业大学 基于改进的SOLOv2的蘑菇簇轮廓分割和重构方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2013154062A1 (ja) * 2012-04-11 2015-12-17 日本電気株式会社 画像識別システム、画像識別方法、およびプログラム
CN110059663A (zh) * 2019-04-24 2019-07-26 扬州龙科信息科技有限公司 一种基于特征点检测的粘连蘑菇视觉识别与测量方法
CN111445482B (zh) * 2020-03-24 2023-03-28 上海第二工业大学 重叠双孢蘑菇的分割识别方法
CN113077453B (zh) * 2021-04-15 2022-09-13 华南理工大学 一种基于深度学习的电路板元器件缺陷检测方法
CN115601543A (zh) * 2022-10-13 2023-01-13 上海第二工业大学（Cn） 基于改进的SOLOv2的蘑菇簇轮廓分割和重构方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024077979A1 (zh) * 2022-10-13 2024-04-18 上海第二工业大学 基于改进的SOLOv2的蘑菇簇轮廓分割和重构方法

Also Published As

Publication number Publication date
WO2024077979A1 (zh) 2024-04-18

Similar Documents

Publication Publication Date Title
CN110781827B (zh) 一种基于激光雷达与扇状空间分割的路沿检测系统及其方法
CN106650640B (zh) 一种基于激光雷达点云局部结构特征的负障碍物检测方法
CN107016677B (zh) 一种基于fcn和cnn的云图分割方法
Zhuang et al. Computer vision-based localisation of picking points for automatic litchi harvesting applications towards natural scenarios
CN110232389B (zh) 一种基于绿色作物特征提取不变性的立体视觉导航方法
CN105989601B (zh) 基于机器视觉的农业agv玉米行间导航基准线提取方法
CN108491786B (zh) 一种基于分级网络和聚类合并的人脸检测方法
CN103955710B (zh) 类地重力场环境下单目视觉空间识别方法
CN109345554A (zh) 一种基于rgb－d相机的粘连蘑菇视觉原位测量方法
CN112766184B (zh) 基于多层级特征选择卷积神经网络的遥感目标检测方法
CN104866820A (zh) 一种基于遗传算法的农机导航线提取方法及装置
CN110110687B (zh) 基于颜色信息和三维轮廓信息的树上水果自动识别方法
CN109559324A (zh) 一种线阵图像中的目标轮廓检测方法
CN114764871B (zh) 一种基于机载激光点云的城市建筑物属性提取方法
CN114067206B (zh) 一种基于深度图像的球形果实识别定位方法
KR101549155B1 (ko) 라이다 자료를 활용한 구조물의 직선경계 추출방법
CN111199245A (zh) 油菜害虫识别方法
CN115601543A (zh) 基于改进的SOLOv2的蘑菇簇轮廓分割和重构方法
CN117409339A (zh) 一种用于空地协同的无人机作物状态视觉识别方法
CN108537116B (zh) 一种基于多尺度特征的海岸线二级类型提取方法及系统
CN114882222A (zh) 改进YOLOv5目标检测模型构建方法及用于茶嫩芽识别与采摘点定位方法
CN114283213A (zh) 联合LiDAR点云与光学图像的房屋自适应矢量化方法
CN114842262A (zh) 融合线路通道正射影像的激光点云地物自动识别方法
CN115841633A (zh) 一种电力塔和电力线关联矫正的电力塔和电力线检测方法
CN116879870A (zh) 一种适用于低线束3d激光雷达的动态障碍物去除方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination