CN116977960A - 一种基于实例分割的水稻秧苗行检测方法 - Google Patents

一种基于实例分割的水稻秧苗行检测方法 Download PDF

Info

Publication number
CN116977960A
CN116977960A CN202310809922.6A CN202310809922A CN116977960A CN 116977960 A CN116977960 A CN 116977960A CN 202310809922 A CN202310809922 A CN 202310809922A CN 116977960 A CN116977960 A CN 116977960A
Authority
CN
China
Prior art keywords
rice seedling
image
segmentation
rice
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310809922.6A
Other languages
English (en)
Inventor
齐龙
陈芷莹
马锐军
叶京棋
杨雨灵
蓝蕴婷
洪丹
代亨珍
陈豪
张有柳
余江
陈俊晓
冯健
张家兴
何继瀚
安尔泰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Agricultural University
Original Assignee
South China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Agricultural University filed Critical South China Agricultural University
Priority to CN202310809922.6A priority Critical patent/CN116977960A/zh
Publication of CN116977960A publication Critical patent/CN116977960A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于实例分割的水稻秧苗行检测方法，包括以下步骤：首先获取水稻秧苗田间图像；接着使用深度卷积神经网络模型对水稻秧苗行进行语义分割和图像嵌入；随后使用图像嵌入的结果将语义分割后的目标区域的像素进行聚类，得到实例分割图；最后对实例分割图中的每条水稻秧苗行的像素进行线性回归，得到区分开的水稻秧苗行线。本发明的水稻秧苗行检测方法基于一整条水稻秧苗行，从摄像头视野的全局出发，避免缺苗部分造成的影响，同时也减少了局部噪声如杂草、离群水稻等对水稻秧苗行拟合的影响，使得最终得到的水稻秧苗行的检测精度更高，算法的鲁棒性更强。

Description

一种基于实例分割的水稻秧苗行检测方法
技术领域
本发明涉及深度学习和图像处理领域，特别是涉及一种基于实例分割的水稻秧苗行检测方法。
背景技术
农业生产需要实现精细化管理，传统人工管理农田效率低，使用自主驾驶农机可节约成本。卫星导航可实现自主导航，但使用之前也需要对田块进行地形测绘，且设备昂贵。视觉导航通过实时识别水稻秧苗行来指导农机自主导航，需要的传感器只有摄像头，成本较低。
目前国内外常用的是机器视觉导航方法，通常包括识别水稻秧苗行和拟合水稻秧苗行中心线两个步骤。识别作水稻秧苗行主要基于作物特征法，利用水稻颜色、几何形态特征对单株水稻进行图像分割和聚类，再使用Hough变换法或最小二乘法来拟合作物行水稻秧苗线。上述机器视觉方法易受环境因素，如田间光线变化和杂草、浮萍等噪声的影响，从而导致拟合水稻秧苗中心线时出现误差。今年来，学者们使用深度学习的方法作用于水稻行线的识别上，使检测精度得到了有效提升，然而在这些研究中，水稻秧苗行的检测仍然是基于单株水稻识别实现的，缺苗部分会影响聚类效果，在后续拟合直线的步骤中也容易受到杂草，离群水稻的影响。因此，在复杂的田间环境中，这些方法难以获得可靠的结果，存在鲁棒性不强的问题。
发明内容
本发明在于克服现有技术的不足，提供一种实例分割的水稻秧苗行检测方法，所述水稻秧苗行检测方法基于一整条水稻秧苗行，从摄像头视野的全局出发，避免缺苗部分造成的影响，同时也减少了局部噪声如杂草、离群水稻等对水稻秧苗行拟合的影响，使得最终得到的水稻秧苗行的检测精度更高，算法的鲁棒性更强。
本发明用于解决现有技术问题的技术方案是：
一种基于实例分割的水稻秧苗行检测方法，包括以下步骤：
S1、获取水稻秧苗田间图像；
S2、使用深度卷积神经网络模型对水稻秧苗行进行语义分割和图像嵌入；
S3、使用图像嵌入的结果将语义分割后的目标区域的像素进行聚类，得到一个实例分割图；
S4、对实例分割图中的每条水稻秧苗行的像素进行线性回归，得到区分开的水稻秧苗行线。
优选的，在步骤S1中，所述的获取水稻秧苗田间图像的步骤为：
使用二轴自稳云台连接相机，并将其搭载在电动底盘上，驱动电动底盘匀速前进以拍摄视频，从拍摄的视频中截取每一帧作为水稻秧苗田间图像数据。
优选的，在步骤S2中，在使用预先训练好的深度卷积神经网络模型对水稻秧苗行进行语义分割和图像嵌入之前，还包括：
S21、对水稻秧苗田间图像进行处理以及对该水稻秧苗田间图像进行数据增强；
S22、使用折线对所述水稻秧苗田间图像进行标注，以折线为中心生成二值掩膜，生成语义分割标签图，其中的每个像素被标记为水稻秧苗行线或背景；
S23、使用不同灰度像素对二值掩膜进行标记，生成实例分割标签图，其中的每个像素被分配到不同的水稻秧苗行线实例；
S24、将水稻秧苗田间图像与对应生成的语义分割标签图和实例分割标签图作为训练用的数据集；
S25、使用所述的数据集对深度卷积神经网络模型进行训练。
优选的，在步骤S22中，对所述水稻秧苗田间图像进行处理和数据增强的方法包括但不限于：水平翻转、小幅旋转、增加噪声以及随机调整图片亮度、对比度和色彩平衡。
优选的，在步骤S24中，所述深度卷积神经网络模型为ENet深度神经网络模型。
优选的，在步骤S25中，将所述的数据集按照7：2：1的比例划分为训练集、验证集和测试集，喂入深度卷积神经网络模型进行训练。
优选的，在步骤S25中，输入图像的像素大小为512x256；所述深度卷积神经网络模型通过聚焦交叉熵损失函数进行评估，训练的批大小设置为4，该深度卷积神经网络模型在数据集上进行25次迭代训练，初始学习率设置为0.0001。
优选的，在步骤S25中，所述深度卷积神经网络模型在解码阶段输出2通道的张量，经过Softmax函数和Argmax函数将二进制张量转换为概率张量，得到二分类的语义分割结果后，与输入的语义分割标签图进行比较，更新权重参数；同时所述深度卷积神经网络模型也输出1通道的张量，使用Sigmoid函数将该张量中的每个元素压缩到0和1之间的范围内，得到图像嵌入的结果，将张量的每个元素乘以255后与输入的实例分割标签图进行比较，更新权重参数。
优选的，在步骤S3中，所述的使用图像嵌入的结果将语义分割后的目标区域像素进行聚类，得到实例分割图的步骤为：
S32、将所述图像嵌入得到的向量值缩放到[0,255]范围内，得到图像嵌入可视化灰度图，并使用7×7的卷积核对所述可视化灰度图进行平滑滤操作；
S32、从所述语义分割后得到的水稻秧苗目标区域中获取坐标点，并在经过平滑操作后的图像嵌入可视化灰度图中截取相同区域，并把该区域的每个灰度值保存至数组中；
S33、使用DBSCAN聚类算法对所述数组中的灰度值进行聚类，把相近灰度的像素归为一类，每个类别对应着不同的水稻秧苗行线实例，将每个实例的像素使用不同颜色进行表示，得到一个实例分割图。
优选的，在步骤S4中，把每个实例的坐标点通过最小二乘法拟合直线，得到的水稻秧苗行检测结果。
本发明与现有技术相比具有以下的有益效果：
1、相比于现有的基于识别单株水稻秧苗再进行拟合直线的方法，本发明的基于实例分割的水稻秧苗行检测方法基于一整条水稻秧苗行，从摄像头视野的全局出发，避免缺苗部分造成的影响，同时也减少了局部噪声如杂草、离群水稻等对水稻秧苗行拟合的影响，使得最终得到的水稻秧苗行的检测精度更高，算法的鲁棒性更强。
2、本发明的基于实例分割的水稻秧苗行检测方法通过深度卷积神经网络直接提取整条水稻秧苗行的特征，对水稻秧苗行进行像素级分割，与传统方法相比具有更好的鲁棒性和适应性，能实现受光照、杂草、浮萍影响等复杂田间环境的水稻秧苗行检测，同时也能适应不同生长期的水稻秧苗行，对于缺苗、受遮挡的水稻秧苗行也有很好的检测效果；把每条水稻秧苗行分割成不同的个体，能够给农机提高更准确的导航和作业信息。
附图说明
图1为本发明的基于实例分割的水稻秧苗行检测方法的流程示意图。
图2为使用折线对采集的水稻秧苗图片进行标注的示意图。
图3为使用二值掩膜对水稻秧苗行进行标注生成语义分割标签图、使用不同灰度像素对每条水稻秧苗行线进行标记生成实例分割标签图的数据集制作过程示意图。
图4为对水稻秧苗行进行掩膜预测的示意图。
图5为对水稻秧苗行进行语义分割后生成的二值掩膜示意图
图6为对水稻秧苗行进行图像嵌入可视化示意图。
图7为对图像嵌入可视化图进行平滑操作后的示意图。
图8为根据语义分割后得到的水稻秧苗目标区域在经过平滑操作后的图像嵌入可视化灰度图中进行截取的示意图。
图9为实例分割示意图。
图10为水稻秧苗行检测结果示意图。
图11为不同光照下水稻秧苗行检测结果示意图。
图12为不同生长期水稻秧苗行检测结果示意图。
图13为含有杂草和缺苗情况下的水稻秧苗行检测结果示意图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
参见图1本发明的基于实例分割的水稻秧苗行检测方法的包括的步骤具体如下：
使用二轴自稳云台连接相机，搭载在电动底盘上，促使所述电动底盘匀速缓慢前进以拍摄视频，从拍摄的视频中截取每一帧作为水稻秧苗田间图像数据，其中，采集的水稻秧苗田间图像数据包括不同生长期，受光照、杂草、浮萍影响，还有缺苗、受遮挡等水稻秧苗田间图像；
在将数据集被喂入深度卷积神经网络模型训练之前需要对采集的水稻秧苗田间图像进行标注。考虑到田间复杂的光照条件的背景以及机器运行时因水田泥脚深浅不一而产生的抖动，因此使用水平翻转、小幅旋转、增加噪声以及随机调整图片亮度、对比度和色彩平衡等方法处理水稻秧苗田间图像，对所述水稻秧苗田间图像进行数据增强，以提高算法的鲁棒性。
使用如图2所示的折线穿过水稻秧苗中心，对水稻秧苗田间图像中的每一条水稻秧苗行线进行标注，然后以折线为中心产生5个像素宽度的掩膜，其中掩膜部分为水稻秧苗行所在的位置，因此以掩膜部分作为目标像素，其他作为背景，生成二值语义分割标签图；给不同折线生成的掩膜分配不同的灰度，用以区分标记不同的水稻秧苗行，生成实例分割标签图，其中，生成数据集的示意图如图3所示；
本发明的基于整条水稻秧苗行的折线标注方法与其他标记单株水稻的标注方法相比更高效，能有效减少标注过程所花费的人工精力和时间，以折线而非直线能使得生成的掩膜更加拟合水稻秧苗行的曲度，从而能更好地覆盖水稻秧苗行；本发明的标注方法从全局的角度出发，基于人类对于水稻秧苗行在视觉上成线的理解，使训练后的深度神经网络模型能有效分割水稻秧苗行和背景，排除杂草和缺苗的干扰。
将所建立的水稻秧苗行的数据集按照7：2：1的比例划分为训练集、验证集和测试集，喂入深度卷积神经网络模型进行训练，在本实施例中，选择了ENet轻量级神经网络模型，与其他神经网络模型相比，ENet轻量级神经网络模型在保持高精度的同时，降低深度神经网络的计算成本和内存消耗，能提供高效的实时图像分割，且计算成本和内存消耗都较低，便于本发明提出的水稻秧苗行检测方法在移动设备和低功耗设备上运行。
训练过程的参数配置如下：输入图像的像素大小为512*256；ENet轻量级神经网络模型在基于Linux的Ubuntu 20.04操作系统上使用Pytorch API实现，用以训练的计算机硬件配置包括11th Gen Intel(R)Core(TM)i5-11500@2.70GHz CPU和NVIDIA GeForce RTX3060GPU；针对水稻秧苗图像中目标像素与背景像素不平衡的问题，ENet轻量级神经网络模型通过聚焦交叉熵损失函数进行评估，训练的批大小设置为4，ENet轻量级神经网络模型在数据集上进行25次迭代训练，初始学习率设置为0.0001。
ENet轻量级神经网络模型在解码阶段输出2通道的张量，经过Softmax函数和Argmax函数将二进制张量转换为概率张量，得到二分类的语义分割结果，与输入的语义分割标签图进行比较，更新ENet轻量级神经网络模型的权重参数。同时ENet轻量级神经网络模型也输出1通道的张量，使用Sigmoid函数将该张量中的每个元素压缩到0和1之间的范围内，得到图像嵌入的结果，将张量的每个元素乘以255后与输入的实例分割标签图进行比较，更新ENet轻量级神经网络模型的权重参数。
使用训练后的深度卷积神经网络模型对测试集中的水稻秧苗田间图像进行预测的示意图如图4所示，得到语义分割后生成的二值掩膜示意图如图5所示，可以看到生成的二值掩膜能基本位于水稻秧苗行的中心；得到图像嵌入可视化图如图6所示，可以看到图像嵌入后的像素能将不同水稻秧苗行区分开。
如图6所示，可以看到图像嵌入后的结果存在高频噪声，使用OpenCV库中的blur函数对可视化图进行平滑操作，其中使用的卷积核大小为7×7，平滑后的效果如图7所示；从所述语义分割后得到的水稻秧苗目标区域中获取坐标点，并在经过平滑操作后的图像嵌入可视化灰度图中截取相同区域，并把该区域的每个灰度值保存至数组中，其中，截取操作的示意图如图8所示。
图像嵌入结果随机是由深度学习模型在训练过程中随机初始化参数开始计算，因此输出的嵌入向量结果也是随机的，但仍能表示各个像素之间关系。使用DBSCAN(Density-Based Spatial Clustering of Applications with Noise)聚类算法对图像嵌入后的可视化图灰度值进行聚类，把相近灰度的像素归为一类，每个类别对应着不同的水稻秧苗行线实例；其中，DBSCAN是一种基于密度的聚类算法，其实现原理是通过计算数据点的密度来确定簇的数量和形状。它通过定义数据点在ε半径内的邻域来确定密度，并将密度达到一定阈值的数据点聚成一簇。同时，DBSCAN聚类算法能够识别噪声点，即密度不足以形成簇的点。不同于其他聚类算法，DBSCAN聚类算法可以发现任意形状的簇，簇的个数不需要预定义，因此使用DBSCAN聚类算法可以适用于任意行数的水稻秧苗行的检测。将聚类后的每个实例的像素使用不同颜色进行表示，得到一个实例分割图如图9所示。
把每个实例的坐标点通过最小二乘法拟合直线，得到的水稻秧苗行检测结果如图10所示；可以看到拟合的直线能较好地反映水稻秧苗行所处的位置，并且能对不同水稻秧苗行进行分类。
图11(a)为晴天拍摄的水稻秧苗田间图像及其检测效果示意图，图11(b)为阴天拍摄的水稻秧苗图像及其检测效果示意图；图12(a)为返青期水稻秧苗田间图像及其检测效果示意图，图12(b)为分蘖期水稻秧苗田间图像及其检测效果示意图；图13(a)为含有杂草的水稻秧苗田间图像及其检测效果示意图，其中椭圆框内为杂草，图13(b)为缺苗情况下水稻秧苗田间图像及其检测效果示意图；从中可以看出本发明的基于实例分割的水稻秧苗行检测方法能在不同光照条件、不同生长期以及在有杂草和缺苗情况下的水稻秧苗田间图像都能使用，具有较高的检测精度和较好的鲁棒性。
上述为本发明较佳的实施方式，但本发明的实施方式并不受上述内容的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、块合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种基于实例分割的水稻秧苗行检测方法，其特征在于，包括以下步骤：
S1、获取水稻秧苗田间图像；
S2、使用深度卷积神经网络模型对水稻秧苗行进行语义分割和图像嵌入；
S3、使用图像嵌入的结果将语义分割后的目标区域的像素进行聚类，得到一个实例分割图；
S4、对实例分割图中的每条水稻秧苗行的像素进行线性回归，得到区分开的水稻秧苗行线。
2.根据权利要求1所述的基于实例分割的水稻秧苗行检测方法，其特征在于，在步骤S1中，所述的获取水稻秧苗田间图像的步骤为：
使用二轴自稳云台连接相机，并将其搭载在电动底盘上，驱动电动底盘匀速前进以拍摄视频，从拍摄的视频中截取每一帧作为水稻秧苗田间图像数据。
3.根据权利要求1所述的基于实例分割的水稻秧苗行检测方法，其特征在于，在步骤S2中，在使用预先训练好的深度卷积神经网络模型对水稻秧苗行进行语义分割和图像嵌入之前，还包括：
S21、对水稻秧苗田间图像进行处理以及对该水稻秧苗田间图像进行数据增强；
S22、使用折线对所述水稻秧苗田间图像进行标注，以折线为中心生成二值掩膜，生成语义分割标签图，其中的每个像素被标记为水稻秧苗行线或背景；
S23、使用不同灰度像素对二值掩膜进行标记，生成实例分割标签图，其中的每个像素被分配到不同的水稻秧苗行线实例；
S24、将水稻秧苗田间图像与对应生成的语义分割标签图和实例分割标签图作为训练用的数据集；
S25、使用所述的数据集对深度卷积神经网络模型进行训练。
4.根据权利要求3所述的基于实例分割的水稻秧苗行检测方法，其特征在于，在步骤S22中，对所述水稻秧苗田间图像进行处理和数据增强的方法包括但不限于：水平翻转、小幅旋转、增加噪声以及随机调整图片亮度、对比度和色彩平衡。
5.根据权利要求3所述的基于实例分割的水稻秧苗行检测方法，其特征在于，在步骤S24中，所述深度卷积神经网络模型为ENet深度神经网络模型。
6.根据权利要求3所述的基于实例分割的水稻秧苗行检测方法，其特征在于，在步骤S25中，将所述的数据集按照7：2：1的比例划分为训练集、验证集和测试集，喂入深度卷积神经网络模型进行训练。
7.根据权利要求6所述的基于实例分割的水稻秧苗行检测方法，其特征在于，在步骤S25中，输入图像的像素大小为512x256；所述深度卷积神经网络模型通过聚焦交叉熵损失函数进行评估，训练的批大小设置为4，该深度卷积神经网络模型在数据集上进行25次迭代训练，初始学习率设置为0.0001。
8.根据权利要求7所述的基于实例分割的水稻秧苗行检测方法，其特征在于，在步骤S25中，所述深度卷积神经网络模型在解码阶段输出2通道的张量，经过Softmax函数和Argmax函数将二进制张量转换为概率张量，得到二分类的语义分割结果后，与输入的语义分割标签图进行比较，更新权重参数；同时所述深度卷积神经网络模型也输出1通道的张量，使用Sigmoid函数将该张量中的每个元素压缩到0和1之间的范围内，得到图像嵌入的结果，将张量的每个元素乘以255后与输入的实例分割标签图进行比较，更新权重参数。
9.根据权利要求1所述的基于实例分割的水稻秧苗行检测方法，其特征在于，在步骤S3中，所述的使用图像嵌入的结果将语义分割后的目标区域像素进行聚类，得到实例分割图的步骤为：
S32、将所述图像嵌入得到的向量值缩放到[0,255]范围内，得到图像嵌入可视化灰度图，并使用7×7的卷积核对所述可视化灰度图进行平滑滤操作；
S32、从所述语义分割后得到的水稻秧苗目标区域中获取坐标点，并在经过平滑操作后的图像嵌入可视化灰度图中截取相同区域，并把该区域的每个灰度值保存至数组中；
S33、使用DBSCAN聚类算法对所述数组中的灰度值进行聚类，把相近灰度的像素归为一类，每个类别对应着不同的水稻秧苗行线实例，将每个实例的像素使用不同颜色进行表示，得到一个实例分割图。
10.根据权利要求1所述的基于实例分割的水稻秧苗行检测方法，其特征在于，在步骤S4中，把每个实例的坐标点通过最小二乘法拟合直线，得到的水稻秧苗行检测结果。
CN202310809922.6A 2023-07-04 2023-07-04 一种基于实例分割的水稻秧苗行检测方法 Pending CN116977960A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310809922.6A CN116977960A (zh) 2023-07-04 2023-07-04 一种基于实例分割的水稻秧苗行检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310809922.6A CN116977960A (zh) 2023-07-04 2023-07-04 一种基于实例分割的水稻秧苗行检测方法

Publications (1)

Publication Number Publication Date
CN116977960A true CN116977960A (zh) 2023-10-31

Family

ID=88480711

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310809922.6A Pending CN116977960A (zh) 2023-07-04 2023-07-04 一种基于实例分割的水稻秧苗行检测方法

Country Status (1)

Country Link
CN (1) CN116977960A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117333494A (zh) * 2023-12-01 2024-01-02 辽宁牧龙科技有限公司 基于深度学习的秸秆覆盖率检测方法及系统
CN117854029A (zh) * 2024-03-09 2024-04-09 安徽农业大学 一种基于机器视觉的智慧农业作物根行预测方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117333494A (zh) * 2023-12-01 2024-01-02 辽宁牧龙科技有限公司 基于深度学习的秸秆覆盖率检测方法及系统
CN117333494B (zh) * 2023-12-01 2024-02-27 辽宁牧龙科技有限公司 基于深度学习的秸秆覆盖率检测方法及系统
CN117854029A (zh) * 2024-03-09 2024-04-09 安徽农业大学 一种基于机器视觉的智慧农业作物根行预测方法

Similar Documents

Publication Publication Date Title
CN113160192B (zh) 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置
CN108830188A (zh) 基于深度学习的车辆检测方法
CN110765916B (zh) 一种基于语义和实例分割的农田苗垄识别方法及系统
Ruiz-Ruiz et al. Testing different color spaces based on hue for the environmentally adaptive segmentation algorithm (EASA)
CN116977960A (zh) 一种基于实例分割的水稻秧苗行检测方法
CN109584251A (zh) 一种基于单目标区域分割的舌体图像分割方法
CN110517311A (zh) 基于叶片病斑面积的病虫害监测方法
CN106446933A (zh) 基于上下文信息的多目标检测方法
CN109740483A (zh) 一种基于深层神经网络的水稻生长期检测方法
CN110232389A (zh) 一种基于绿色作物特征提取不变性的立体视觉导航方法
CN107230203A (zh) 基于人眼视觉注意机制的铸件缺陷识别方法
CN110853070A (zh) 基于显著性与Grabcut的水下海参图像分割方法
CN112070799A (zh) 基于人工神经网络的鱼类轨迹跟踪方法和系统
CN110766690B (zh) 基于深度学习点监督思想的麦穗检测和计数方法
CN114863263B (zh) 基于跨尺度分层特征融合对类内遮挡的乌鳢检测的方法
CN108596195B (zh) 一种基于稀疏编码特征提取的场景识别方法
CN113408584A (zh) Rgb-d多模态特征融合3d目标检测方法
CN107423771B (zh) 一种两时相遥感图像变化检测方法
CN112861666A (zh) 一种基于深度学习的鸡群计数方法及应用
Magistri et al. Towards in-field phenotyping exploiting differentiable rendering with self-consistency loss
Xiang et al. PhenoStereo: a high-throughput stereo vision system for field-based plant phenotyping-with an application in sorghum stem diameter estimation
Kundur et al. Deep convolutional neural network architecture for plant seedling classification
Dong et al. Three-dimensional quantification of apple phenotypic traits based on deep learning instance segmentation
Jia et al. YOLOF-Snake: An efficient segmentation model for green object fruit
CN116739739A (zh) 一种贷款额度评估方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination