CN112862849B - 一种基于图像分割和全卷积神经网络的田间稻穗计数方法 - Google Patents

一种基于图像分割和全卷积神经网络的田间稻穗计数方法 Download PDF

Info

Publication number
CN112862849B
CN112862849B CN202110108420.1A CN202110108420A CN112862849B CN 112862849 B CN112862849 B CN 112862849B CN 202110108420 A CN202110108420 A CN 202110108420A CN 112862849 B CN112862849 B CN 112862849B
Authority
CN
China
Prior art keywords
rice
photo
neural network
point
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110108420.1A
Other languages
English (en)
Other versions
CN112862849A (zh
Inventor
穆炯
舒百一
余昊扬
张译文
王鸿杰
刘明鑫
杨杰
王舒
文智由
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Agricultural University
Original Assignee
Sichuan Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Agricultural University filed Critical Sichuan Agricultural University
Priority to CN202110108420.1A priority Critical patent/CN112862849B/zh
Publication of CN112862849A publication Critical patent/CN112862849A/zh
Application granted granted Critical
Publication of CN112862849B publication Critical patent/CN112862849B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Abstract

本发明公开了一种基于图像分割和全卷积神经网络的田间稻穗计数方法，包括以下步骤：S1.数据采集：利用照相设备拍摄稻田，拍摄时设置用于固定拍摄范围的取景框，拍摄若干张抽穗期的水稻照片；S2.图像预处理：裁剪水稻照片，保留取景框内的部分；S3.创建数据集：对水稻照片进行点标注，生成包含训练集、验证集和测试集的点标注数据集；S4.水稻计数：利用LC‑FCN模型对水稻进行计数。本发明的方法通过卷积神经网络模型完成了水稻的计数，相较于现有的水稻计数方法，提高了计数准确率和计数效率。

Description

一种基于图像分割和全卷积神经网络的田间稻穗计数方法
技术领域
本发明属于水稻计数领域，特别是涉及一种基于图像分割和全卷积神经网络的田间稻穗计数方法。
背景技术
水稻是最重要的农作物之一。在占世界人口60％以上的亚洲，大米是人们的主要食物。根据中国国家统计局的数据，2019年中国大米总产量将为20961万吨。水稻的产量不仅是农民经济收成的问题，还是关系民生的重大问题。因此，水稻种植管理是农业管理中非常重要的一项。水稻的高产量是种植和生产过程的主要目标，完成稻穗计数是一项重要的任务。精细农业是未来农业发展的重要趋势，其中农业信息化是当前大力倡导的发展方向。实现农业信息化将有助于实现农业管理的智能化，提高农产品产量，取得更大的经济效益。农业信息化在农产品产量的预测中也起着重要作用，有助于实现农产品生产周期的管理。
深度学习方法在多个领域的不同环境中都有广泛使用，且被证明是一种十分高效的方法。当然，它也广泛地应用在各个农业相关领域中。例如，Amara,J.等人使用深度神经网络对香蕉叶病进行检测分类，Potena,C.等人使用深度学习的方法实现了对杂草的快速检测识别，Chen,S.W.等人使用深度学习中的目标检测方法实现了对苹果和橘子的检测并计数。这些深度学习应用在农业上的例子都表明了，深度学习在植物处理的领域具有良好的效果。但是在水稻方向上，使用深度学习来进行处理的例子并不多。
目前的水稻产量估计方法，一是通过田间采样，人工计数的预测方式，这种方式虽然结果相对准确，但是需要大量的人力资源投入，并且不适合大规模水稻生产的产量预估；二是通过传统的机器学习方法，对卫星遥感图像或无人机拍摄的高清图像进行处理，针对彩色图像的颜色特征进行聚类分析，这种方法仅仅利用到水稻不同时期的颜色特征，过程较繁琐且不准确。
在Nguyen Cao Tri的一文中，作者使用无人机与深度学习结合的方式对稻田产量进行了预估。然而此文中，作者等人的评估方式是使用无人机对稻田进行图像采集，对采集的图像进行图像分类，检测水稻分类的精度。针对水稻的产量预估，Nguyen Cao Tri等人先对1m2的水稻进行人工数量的计数，获取大量平均数据后，得到了平均1m2的水稻产量，并将这个平均数据应用计算在整个稻田上。然而这种水稻产量的预估方式并没有对具体的水稻数进行检测，因此也会因为各个土地环境的不同产生不少误差。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于图像分割和全卷积神经网络的田间稻穗计数方法，提高水稻计数的准确性和计数效率。
本发明的目的是通过以下技术方案来实现的：一种基于图像分割和全卷积神经网络的田间稻穗计数方法，包括以下步骤：
S1.数据采集：利用照相设备拍摄稻田，拍摄时设置用于固定拍摄范围的取景框，拍摄若干张抽穗期的水稻照片；
S2.图像预处理：裁剪水稻照片，保留取景框内的部分；
S3.创建数据集：对水稻照片进行点标注，生成包含训练集、验证集和测试集的点标注数据集；
S4.水稻计数：利用LC-FCN模型对水稻进行计数。
优选的，所述步骤S1中采集的水稻照片包括不同品种水稻在抽穗期的照片；
优选地，所述步骤S1中采集的水稻照片包括水稻在抽穗期不同生长期的照片。
优选的，所述取景框的颜色采用除水稻颜色以外的任意颜色。
优选的，所述步骤S2包括：
S21.获取水稻照片的中心；
S22.从水稻照片的中心向上下左右四个方向分别偏移若干像素点，得到四个偏移点；
S23.经过上下方向偏移的偏移点水平延伸作水平线，左右方向偏移的偏移点垂直延伸作垂直线，延伸所得四条直线与水稻照片的边界相交；
S24.在步骤S23得到的四条线上，由四个偏移点出发向两侧沿直线探索，直到探索到取景框的颜色时，将探索到取景框时的探索点作为临界点，每个偏移点对应得到两个临界点；
S25.将位于同一方向的两个临界点相连作直线，得到的四条直线两两相交得到四个交点；
S26.将四个交点带入OpenCV函数，进行拉伸得到取景框内的照片。
优选的，所述步骤S2中，在对水稻照片进行裁剪后，将水稻照片的尺寸调整为原照片的20％-35％。
优选的，所述步骤S3包括：
S31.使用Labelme注释工具对水稻照片进行点标注，每张水稻照片中每一株稻穗的中心标注为一个稻穗中心点，其余像素则全部标注为背景区域，稻穗中心点的颜色与背景区域的颜色不同，生成PNG格式的点标注标签文件；
S32.按预设比例随机分配生成包含训练集、验证集和测试集的点标注数据集。
优选的，所述步骤S4包括：
S41.构建LC-FCN模型，并输入水稻照片；
S42.LC-FCN模型中的残差网络对水稻照片进行水稻的语义分割，得到特征图；
S43.对特征图进行上采样，获得与原水稻照片大小一致的输出图片；
S44.根据LC-FCN模型的定位损失获取输出图片中每个像素点属于水稻类别的概率；
S45.输出图片中，若像素点属于水稻类别的概率大于阈值，则将该像素点置1，否则将该像素点置0，得到水稻的二进制掩码；
S46.查找水稻类别的连通域个数，其结果为稻穗的预测数量。
所述步骤S4中，首先将训练集中的任一张图片作为输入，按照步骤S41～S46进行处理，并在每次处理过程中，使得稻穗的预测数目等于该图片中标注的稻穗中心点数目，在每一张图片输入时重复上述过程，从而实现对LC-FCN模型的训练；
然后利用验证集中的图片作为输入，按照步骤S41～S46得到预测结果，与验证集中对应图片标注的稻穗中心点数目进行比较，并根据比较结果对LC-FCN模型进行调参；
最后将测试集中的图片作为输入，按照步骤S41～S46得到预测结果，与测试集中对应图片标注的稻穗中心点数目进行比较，评估模型的预测准确性。
本发明的有益效果是：本发明的方法通过深度学习的模型完成了水稻的计数，相较于现有的水稻计数方法，提高了计数准确率和计数效率。
附图说明
图1为本发明方法的一种流程图；
图2为本发明中照片裁剪过程的一种流程图；
图3为水稻照片裁剪的原理示意图；
图4为本发明中创建数据集的一种示意图；
图5为本发明中水稻计数过程的一种示意图；
图6为LC-FCN模型的网络结构示意图；
图7为一次实验训练的最优模型的测试照片；
图8为使用图像处理方法对稻穗进行计数；
图9为本发明方法与目标检测SSD方法的样本图的测试比较；
图10为使用FCN8和resFCN作为语义分割网络的测试对比。
具体实施方式
下面将结合实施例，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，一种基于图像分割和全卷积神经网络的田间稻穗计数方法，包括以下步骤：
S1.数据采集：利用照相设备拍摄稻田，拍摄时设置用于固定拍摄范围的取景框，拍摄若干张抽穗期的水稻照片，其中，所述取景框的颜色采用除水稻颜色以外的任意颜色。
在一些实施例中，所述步骤S1中采集的水稻照片包括不同品种水稻在抽穗期的照片。采集不同品种的水稻照片，可以提取到不同品种水稻的特征，增强模型的泛化能力，从而能够对更多样的水稻进行识别。
在一些实施例中，所述步骤S1中采集的水稻照片包括水稻在抽穗期不同生长期的照片。采集不同生长期的水稻照片，在提取特征时可以提取到不同时期的水稻特征，从而在识别时也能对不同时期的水稻进行识别。
在一些实施例中，所述步骤S1中采集的水稻照片还可以包括不同光照条件下拍摄的水稻照片。在不同光照条件采集水稻照片，噪声更多，从而可增加模型的鲁棒性。
S2.图像预处理：裁剪水稻照片，保留取景框内的部分。
如图2所示，所述步骤S2包括：
S21.获取水稻照片的中心；
S22.从水稻照片的中心向上下左右四个方向分别偏移若干像素点，得到四个偏移点；如图3中的圆点；
S23.经过上下方向偏移的偏移点水平延伸作水平线，左右方向偏移的偏移点垂直延伸作垂直线，延伸所得四条直线与水稻照片的边界相交；
S24.在步骤S23得到的四条线上，由四个偏移点出发向两侧沿直线探索，直到探索到取景框的颜色时，将探索到取景框时的探索点作为临界点，每个偏移点对应得到两个临界点；如图3中的三角形点；
S25.将位于同一方向的两个临界点相连作直线，得到的四条直线两两相交得到四个交点；
S26.将四个交点带入OpenCV函数，进行拉伸得到取景框内的照片。
所述步骤S2中，在对水稻照片进行裁剪后，将水稻照片的尺寸调整为原照片的20％-35％，从而提高数据集创建的效率。
S3.创建数据集：对水稻照片进行点标注，生成包含训练集、验证集和测试集的点标注数据集。
如图4所示，所述步骤S3包括：
S31.使用Labelme注释工具对水稻照片进行点标注，每张水稻照片中每一株稻穗的中心标注为一个稻穗中心点，其余像素则全部标注为背景区域，稻穗中心点的颜色与背景区域的颜色不同，生成PNG格式的点标注标签文件。
S32.按预设比例随机分配生成包含训练集、验证集和测试集的点标注数据集。
S4.水稻计数：利用LC-FCN模型对水稻进行计数。
如图5所示，所述步骤S4包括：
S41.构建LC-FCN模型，并输入水稻照片。
LC-FCN模型结合了语义分割网络和实例分割算法，其网络结构如图6所示。传统的语义分割方法需要准确地预测对象的形状，而增加LC损失的方法则不需要预测严格的形状，它只需要预测对象中的一个小块(即斑点)。这种方法也适用于田间环境中的水稻。传统的物体检测方法难以准确地识别各种散落和重叠的水稻，而LC-FCN模型则能解决该问题。
FCN是像素级语义分割网络，与CNN相比，它解决了像素级的分类问题，并用全卷积层代替了CNN中的全连接层。FCN可以接受任何尺寸的图像并输出相同尺寸的图像。本实施例中使用的FCN主干网络为ResNet50，利用了在传统卷积层神经网络中添加残差学习的思想来解决深度网络中的梯度色散和精度降低的问题。
LC-Loss：本实施例使用基于局部计数损失的LC-Loss函数，给出每个对象的区域斑点后，让模型计算区域数目。由于损失函数的特殊性，监视信号应仅是每个对象的位置点，而不是边界框。基于定位的计数损耗有四个损耗：1)图像级损耗；2)点级损失；3)分割损失；4)假阳性损失，如公式(1)所示：
L(S,T)＝LI(S,T)+LP(S,T)+LS(S,T)+LF(S,T) (1)
式中，L(S,T)为定位损失，LI(S,T)为图像级损耗，LP(S,T)为点级损失，LS(S,T)为分割损失，LF(S,T)为假阳性损失。
S42.LC-FCN模型中的残差网络对水稻照片进行水稻的语义分割，得到特征图。
S43.对特征图进行上采样，获得与原水稻照片大小一致的输出图片。
S44.根据LC-FCN模型的定位损失获取输出图片中每个像素点属于水稻类别的概率。
S45.输出图片中，若像素点属于水稻类别的概率大于阈值，则将该像素点置1，否则将该像素点置0，得到水稻的二进制掩码。
S46.查找水稻类别的连通域个数，其结果为稻穗的预测数量。
所述步骤S4中，首先将训练集中的任一张图片作为输入，按照步骤S41～S46进行处理，并在每次处理过程中，使得稻穗的预测数目等于该图片中标注的稻穗中心点数目，在每一张图片输入时重复上述过程，从而实现对LC-FCN模型的训练；
然后利用验证集中的图片作为输入，按照步骤S41～S46得到预测结果，与验证集中对应图片标注的稻穗中心点数目进行比较，并根据比较结果对LC-FCN模型进行调参；
最后将测试集中的图片作为输入，按照步骤S41～S46得到预测结果，与测试集中对应图片标注的稻穗中心点数目进行比较，评估模型的预测准确性。
下面以具体试验案例对本发明的方法进行说明：
数据采集：使用六个不同的手机设备拍摄麦田，并制作了一个红色框(即取景框)，其内部框架长度为50厘米，外部框架长度为80厘米。红色框用于固定拍摄范围，以确保获得相同单位面积的水稻，并避免过多的数量差异。最后，共拍摄了1671张水稻照片，其中包括多个不同品种，不同生长期的水稻，并且拍摄时的光照条件也不同。
图像预处理：由于仅需要原始水稻照片中红色框内的水稻，因此需要裁剪图片，并保留红色框内的部分，红色框和红色框的外部部分需要丢弃。处理过程包括以下步骤：1)获取图片的中心；2)从中心向两侧移动几个像素以发出光线；3)继续探索直到某个半径区域变为红色，然后在两点确定一条直线，得到方程。重复上述三个步骤后，找到相交点，调用OpenCV的图形，然后执行直接拉伸以获得裁剪后的水稻照片。
在对水稻照片进行裁剪后，将所有水稻照片的尺寸统一调整为原始照片的25％。
创建数据集：首先对水稻照片进行点标注，以获得每张水稻照片对应的点标注标签文件，然后以一定的比例随机分配生成包含训练集、验证机、测试集的完整数据集，本次试验使用8：2：2的比例。使用Labelme注释工具进行点标记，每一张水稻照片中的每一株稻穗的中心标注一个像素为1的红点，其余的则全部标注为背景区域，为黑色，生成的点标注标签文件为png格式。共标注了1200张图片，获得800张训练集、200张验证集、200张测试集。
水稻计数：在田间较复杂的环境中，水稻存在重叠、独立的各种排布情况，并且稻穗的边缘很难使用单纯的语义分割算法进行分割，使用LC-FCN的方法具有如下优点：1)标注任务只需要为一个像素点；2)分割后获取稻穗所属的一小块；3)稻穗的多少即为最后分割出来的块多少。
水稻计数的详细过程为：在LC-FCN模型中输入水稻照片；残差网络对水稻照片进行水稻的语义分割，得到特征图；对特征图进行上采样，获得与原水稻照片大小一致的输出图片，在定位损失的作用下，每个像素均对应有属于水稻类别的概率；判断输出图片中各像素点是否为水稻类别，若是，则将像素点置1；否则将像素点置0，得到水稻的二进制掩码；查找水稻类别的连通域个数，其结果为稻穗的预测数量。
试验过程：本试验中的计数模型已经在NVIDIA2080上进行了训练，验证和测试。训练期间的参数是指原始LC-FCN模型中的参数。将batch_size设置为1，将模型的动量设置为0.9，并将权重衰减设置为0.0005。使用预先训练的模型以0.00001的学习率进行训练。为了进行更好的分析，总共训练180个epochs。在本试验中，使用经过训练的模型对水稻数据集的测试集执行计数测试，以验证算法的性能。本试验使用了MAE、RMSE、nRMSE。图7为本实验训练的最优模型的测试照片。
本发明的方法与传统机器学习方法的对比：为了验证LC-FCN方法在水稻计数模型上的性能，本试验还使用传统的图像处理方法来实现水稻计数。图像处理步骤如下：1)Rgb转HIS；2)提取I分量并将其二值化；3)分两步查找连接域，清除污垢和小叶噪声；4)通过腐蚀除去带扩张的耳朵，得到叶子的图片；5)对步骤3和4的结果进行XOR运算以得到耳朵的图片；6)找到连接的值并移除跟随者叶子；7)得到最终结果。我们共选择了五张图片进行测试的准确率为96.19％。如图8所示，选择了其中的两张测试图片，图8中(a)是原始图片，(b)是人工计数，取景框的数量用作底数，(c)是预测结果。就数据而言，准确率很高，但是这仅仅是五张图片的平均准确率。然而，这种方法最大的问题就是不适用于大量数据，如果想对和本文一样的200张图片进行测试，则需要对每一张图都依次完成输入、处理、输出，这增大了时间成本。而本发明的深度学习方法可以做到输入图片即可输出预测数量的端到端方式，也可以输入批量图片，输出预测数量。
本发明的方法与目标检测SSD方法(对象检测算法)的对比：我们还使用对象检测算法对水稻数据集进行了比较实验。最终测试结果为MAE 13.62，RMSE 15.79，准确率54.14％，测试结果如图9所示，图9中第一列为原始图像，第二列是置信度设置为0.1的SSD方法的测试结果，第三列是置信度设置为0.3的SSD方法的测试结果，第四列是置信度设置为0.5的SSD方法的测试结果，第五列为本申请方法的测试结果。将阈值设置为0.5时，图中只能识别出几株稻穗；当阈值设置为0.3时，可以识别出体积稍大、明显的稻穗；阈值设置为0.1，可以识别出更多的稻穗，但是也会把叶片、背景等识别为稻穗，错误率也较高。实验结果足以表明，即使目标检测是目前使用频率较高的深度学习方法，但对于水稻来说，本发明的实例分割方法更适用，如表1所示，本申请方法的各项评估指标都优于SSD算法。
表1本申请方法与目标检测SSD方法的评估指标的对比
方法 MAE RMSE Acc-rate
SSD 13.62 15.79 54.14％
ResFCN 8.48 12.19 61.78％
改变不同基础网络的对比：我们使用了两种不同的基本网络结构，即FCN8和resFCN，图10为使用FCN8和resFCN作为语义分割网络的测试对比。使用相同的800个训练集进行了比较测试，结果显示在表2中。实验可以证明，使用resFCN训练的水稻模型更加有效和稳定。
表2不同基础网络的对比结果
基础网络 MAE RMSE nRMSE Acc-rate
FCN8 9.34 12.16 16.90％ 60.80
ResFCN 8.48 12.19 18.20％ 61.78
不同数量训练集的对比：本发明用不同的训练集大小来进行训练。分别使用400、600和800大小的训练集，表格3中显示了不同大小的训练集的测试结果对比，从这些实验可以得出结论，LCFCN水稻计数模型的性能将随着训练集的增加而提高。因此，最后使用了800训练集训练的模型作为最终水稻计数模型。
表3不同数量训练集的实验结果对比
Figure BDA0002918398640000081
以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (8)

1.一种基于图像分割和全卷积神经网络的田间稻穗计数方法，其特征在于，包括：
S1.数据采集：利用照相设备拍摄稻田，拍摄时设置固定拍摄范围的取景框，拍摄若干张抽穗期的水稻照片；
S2.图像预处理：裁剪水稻照片，保留取景框内的部分；
S3.创建数据集：对水稻照片进行点标注，生成包含训练集、验证集和测试集的点标注数据集；
S4.水稻计数：利用LC-FCN模型对水稻进行计数：
所述步骤S4包括：
S41.构建LC-FCN模型，并输入水稻照片；
S42.LC-FCN模型中的残差网络对水稻照片进行水稻的语义分割，得到特征图；
S43.对特征图进行上采样，获得与原水稻照片大小一致的输出图片；
S44.根据LC-FCN模型的定位损失获取输出图片中每个像素点属于水稻类别的概率；
S45.输出图片中，若像素点属于水稻类别的概率大于阈值，则将该像素点置1，否则将该像素点置0，得到水稻的二进制掩码；
S46.查找水稻类别的连通域个数，其结果为稻穗的预测数量。
2.根据权利要求1所述的一种基于图像分割和全卷积神经网络的田间稻穗计数方法，其特征在于，所述步骤S1中采集的水稻照片包括不同品种水稻在抽穗期的照片。
3.根据权利要求1或2所述的一种基于图像分割和全卷积神经网络的田间稻穗计数方法，其特征在于，所述步骤S1中采集的水稻照片包括水稻在抽穗期不同生长期的照片。
4.根据权利要求1所述的一种基于图像分割和全卷积神经网络的田间稻穗计数方法，其特征在于，所述取景框的颜色采用除水稻颜色以外的任意颜色。
5.根据权利要求1所述的一种基于图像分割和全卷积神经网络的田间稻穗计数方法，其特征在于，所述步骤S2包括：
S21.获取水稻照片的中心；
S22.从水稻照片的中心向上下左右四个方向分别偏移若干像素点，得到四个偏移点；
S23.经过上下方向偏移的偏移点水平延伸作水平线，左右方向偏移的偏移点垂直延伸作垂直线，延伸所得四条直线与水稻照片的边界相交；
S24.在步骤S23得到的四条线上，由四个偏移点出发向两侧沿直线探索，直到探索到取景框的颜色时，将探索到取景框时的探索点作为临界点，每个偏移点对应得到两个临界点；
S25.将位于同一方向的两个临界点相连作直线，得到的四条直线两两相交得到四个交点；
S26.将四个交点带入OpenCV函数，进行拉伸得到取景框内的照片。
6.根据权利要求1所述的一种基于图像分割和全卷积神经网络的田间稻穗计数方法，其特征在于，所述步骤S2中，在对水稻照片进行裁剪后，将水稻照片的尺寸调整为原照片的20％-35％。
7.根据权利要求1所述的一种基于图像分割和全卷积神经网络的田间稻穗计数方法，其特征在于，所述步骤S3包括：
S31.使用Labelme注释工具对水稻照片进行点标注，每张水稻照片中每一株稻穗的中心标注为一个稻穗中心点，其余像素则全部标注为背景区域，稻穗中心点的颜色与背景区域的颜色不同，生成PNG格式的点标注标签文件；
S32.按预设比例随机分配生成包含训练集、验证集和测试集的点标注数据集。
8.根据权利要求1所述的一种基于图像分割和全卷积神经网络的田间稻穗计数方法，其特征在于：所述步骤S4中，首先将训练集中的任一张图片作为输入，按照步骤S41～S46进行处理，并在每次处理过程中，使得稻穗的预测数目等于该图片中标注的稻穗中心点数目，在每一张图片输入时重复上述过程，从而实现对LC-FCN模型的训练；
然后利用验证集中的图片作为输入，按照步骤S41～S46得到预测结果，与验证集中对应图片标注的稻穗中心点数目进行比较，并根据比较结果对LC-FCN模型进行调参；
最后将测试集中的图片作为输入，按照步骤S41～S46得到预测结果，与测试集中对应图片标注的稻穗中心点数目进行比较，评估模型的预测准确性。
CN202110108420.1A 2021-01-27 2021-01-27 一种基于图像分割和全卷积神经网络的田间稻穗计数方法 Active CN112862849B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110108420.1A CN112862849B (zh) 2021-01-27 2021-01-27 一种基于图像分割和全卷积神经网络的田间稻穗计数方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110108420.1A CN112862849B (zh) 2021-01-27 2021-01-27 一种基于图像分割和全卷积神经网络的田间稻穗计数方法

Publications (2)

Publication Number Publication Date
CN112862849A CN112862849A (zh) 2021-05-28
CN112862849B true CN112862849B (zh) 2022-12-27

Family

ID=76009443

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110108420.1A Active CN112862849B (zh) 2021-01-27 2021-01-27 一种基于图像分割和全卷积神经网络的田间稻穗计数方法

Country Status (1)

Country Link
CN (1) CN112862849B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110826592A (zh) * 2019-09-25 2020-02-21 浙江大学宁波理工学院 一种基于全卷积神经网络的对虾养殖残饵计数方法
CN115439334A (zh) * 2021-06-02 2022-12-06 中国科学院分子植物科学卓越创新中心 整穗图像处理方法和装置
CN113643136A (zh) * 2021-09-01 2021-11-12 京东科技信息技术有限公司 信息处理方法、系统和装置
CN114066022A (zh) * 2021-10-26 2022-02-18 中国科学院空天信息创新研究院 基于计算机视觉和深度学习技术的小麦单产观测方法
CN117455912B (zh) * 2023-12-23 2024-03-19 安徽农业大学 一种基于三平面镜的玉米穗粒全景计数方法及计数系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108416353A (zh) * 2018-02-03 2018-08-17 华中农业大学 基于深度全卷积神经网络的大田稻穗快速分割方法
WO2019109524A1 (zh) * 2017-12-07 2019-06-13 平安科技（深圳）有限公司 入侵检测方法、应用服务器及计算机可读存储介质
CN110569747A (zh) * 2019-08-20 2019-12-13 南京农业大学 一种利用图像金字塔与Faster-RCNN快速统计大田水稻稻穗数的方法
CN110766690A (zh) * 2019-11-07 2020-02-07 四川农业大学 基于深度学习点监督思想的麦穗检测和计数方法
CN111369535A (zh) * 2020-03-05 2020-07-03 四川大学华西医院 一种细胞检测方法
CN112115988A (zh) * 2020-09-03 2020-12-22 中国农业大学 一种麦穗计数方法、装置及自行走小车

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109166100A (zh) * 2018-07-24 2019-01-08 中南大学 基于卷积神经网络的多任务学习细胞计数方法
CN109359681B (zh) * 2018-10-11 2022-02-11 西京学院 一种基于改进全卷积神经网络的大田作物病虫害识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019109524A1 (zh) * 2017-12-07 2019-06-13 平安科技（深圳）有限公司 入侵检测方法、应用服务器及计算机可读存储介质
CN108416353A (zh) * 2018-02-03 2018-08-17 华中农业大学 基于深度全卷积神经网络的大田稻穗快速分割方法
CN110569747A (zh) * 2019-08-20 2019-12-13 南京农业大学 一种利用图像金字塔与Faster-RCNN快速统计大田水稻稻穗数的方法
CN110766690A (zh) * 2019-11-07 2020-02-07 四川农业大学 基于深度学习点监督思想的麦穗检测和计数方法
CN111369535A (zh) * 2020-03-05 2020-07-03 四川大学华西医院 一种细胞检测方法
CN112115988A (zh) * 2020-09-03 2020-12-22 中国农业大学 一种麦穗计数方法、装置及自行走小车

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
High-Throughput Rice Density Estimation from Transplantation to Tillering Stages Using Deep Networks;Liang Liu 等;《Plant Phenomics》;20200821;1-14 *
基于卷积神经网络的冬小麦麦穗检测计数系统;张领先 等;《农业机械学报》;20190128;第50卷(第3期);144-150 *
基于最优子集选择的水稻穗无人机图像分割方法;曹英丽 等;《农业机械学报》;20200720;第51卷(第8期);171-177，188 *
基于深度卷积神经网络的田间麦穗密度估计及计数;鲍文霞 等;《农业工程学报》;20201108;第36卷(第21期);第1节 *
基于深度学习的水稻表型特征提取和穗质量预测研究;杨万里 等;《华中农业大学学报》;20201231;第40卷(第1期);227-235 *

Also Published As

Publication number Publication date
CN112862849A (zh) 2021-05-28

Similar Documents

Publication Publication Date Title
CN112862849B (zh) 一种基于图像分割和全卷积神经网络的田间稻穗计数方法
WO2022000426A1 (zh) 基于孪生深度神经网络的动目标分割方法及系统
CN112418117B (zh) 一种基于无人机图像的小目标检测方法
WO2019140767A1 (zh) 安检识别系统及其控制方法
CN111783576B (zh) 基于改进型YOLOv3网络和特征融合的行人重识别方法
CN109344883A (zh) 一种基于空洞卷积的复杂背景下果树病虫害识别方法
CN107292298A (zh) 基于卷积神经网络和分类器模型的牛脸识别方法
CN109410184B (zh) 基于稠密对抗网络半监督学习的直播色情图像检测方法
CN111178120B (zh) 一种基于作物识别级联技术的害虫图像检测方法
CN114241548A (zh) 一种基于改进YOLOv5的小目标检测算法
CN111310662B (zh) 一种基于集成深度网络的火焰检测识别方法及系统
CN114973317B (zh) 一种基于多尺度邻接交互特征的行人重识别方法
CN110399895A (zh) 图像识别的方法和装置
CN106778687A (zh) 基于局部评估和全局优化的注视点检测方法
CN103544504B (zh) 一种基于多尺度图匹配核的场景字符识别方法
CN105608454A (zh) 基于文字结构部件检测神经网络的文字检测方法及系统
CN109242826B (zh) 基于目标检测的移动设备端签状物根数计数方法及系统
Lv et al. A visual identification method for the apple growth forms in the orchard
Bak et al. Two-stream convolutional networks for dynamic saliency prediction
CN114943893B (zh) 一种土地覆盖分类的特征增强方法
Ma et al. Towards improved accuracy of UAV-based wheat ears counting: A transfer learning method of the ground-based fully convolutional network
CN116740418A (zh) 一种基于图重构网络的目标检测方法
CN107633527B (zh) 基于全卷积神经网络的目标追踪方法及装置
CN109635726B (zh) 一种基于对称式深度网络结合多尺度池化的滑坡识别方法
CN112990282B (zh) 一种细粒度小样本图像的分类方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant