CN111553925B - 一种基于fcn的端对端农作物影像分割方法及系统 - Google Patents
一种基于fcn的端对端农作物影像分割方法及系统 Download PDFInfo
- Publication number
- CN111553925B CN111553925B CN202010342161.4A CN202010342161A CN111553925B CN 111553925 B CN111553925 B CN 111553925B CN 202010342161 A CN202010342161 A CN 202010342161A CN 111553925 B CN111553925 B CN 111553925B
- Authority
- CN
- China
- Prior art keywords
- image
- features
- segmentation
- result
- feature extraction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000003709 image segmentation Methods 0.000 title claims abstract description 39
- 238000000605 extraction Methods 0.000 claims abstract description 59
- 230000011218 segmentation Effects 0.000 claims abstract description 47
- 238000012545 processing Methods 0.000 claims abstract description 30
- 238000013528 artificial neural network Methods 0.000 claims abstract description 13
- 230000004927 fusion Effects 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims description 60
- 238000012360 testing method Methods 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 16
- 230000000694 effects Effects 0.000 claims description 14
- 238000005520 cutting process Methods 0.000 claims description 13
- 238000013135 deep learning Methods 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000013508 migration Methods 0.000 claims description 5
- 230000005012 migration Effects 0.000 claims description 5
- 239000003086 colorant Substances 0.000 claims description 4
- 238000004519 manufacturing process Methods 0.000 claims description 4
- 238000013526 transfer learning Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 4
- 150000003839 salts Chemical class 0.000 description 3
- 235000002566 Capsicum Nutrition 0.000 description 2
- 239000006002 Pepper Substances 0.000 description 2
- 241000722363 Piper Species 0.000 description 2
- 235000016761 Piper aduncum Nutrition 0.000 description 2
- 235000017804 Piper guineense Nutrition 0.000 description 2
- 235000008184 Piper nigrum Nutrition 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Biology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于FCN的端对端农作物影像分割方法及系统,通过特征提取、反卷积处理和预测结果完成对农作物图像分割，首先将待分割图像输入到特征提取层，通过特征提取获得各层的特征图，其中包括深度特征；反卷积处理：将深度特征进一步带入到神经网络中，通过反卷积操作降采样至相应原浅层特征尺寸并与相应浅层特征进行融合，不断进行反卷积操作，将各层浅层特征进行融合；预测结果；将反卷积处理融合后的特征带入到预测模块进行预测结果，预测结果通过分类后输出为分割识别结果，得到的识别结果为农作物影像的分割结果。本发明的优点在于：能够精准的对各类农作物区域进行有效分割，并且能够实现对大尺寸的卫星高分辨率图像进行分割。
Description
技术领域
本发明涉及图像处理领域，尤其涉及一种基于FCN的端对端农作物影像分割方法及系统。
背景技术
随着计算机视觉技术的蓬勃发展，其在农业领域的应用愈加广泛。可用于农作物品质的分析，各产品分级，作物生长状况监测等。而想获得有效的农作物数据，需要获取合适的农作物图像，并对图像信息进行提取，如何对图像进行处理十分重要。
图像分割就是图像中的像素点进行逐像素点的分类，将目标与背景进行有效的分离，突出目标信息。分割后，目标区域与其他区域有明显的边界。
深度学习技术未引入目标分割领域时，进行图像分割需要借鉴先验知识进行人工特征提取。现有技术中，常见的有借鉴色阈进行分割的阈值分割法，借鉴特征区域生长法，借鉴边缘提取技术的边缘检测法，以及松弛法、分裂分并法和聚类法。以上方法虽然也能完成目标分割任务，但存在以下问题：如需要得到较好的效果，分割过程需要人工参与，图像采集回来后，需要人为的进行特征提取；部分可以直接操作的方法如阈值法、聚类法需要给定参数范围，存在着大量误差，当图像变化较大时，效果不佳，缺乏泛化性；运行速度慢，一张图片线上运行需要很长的时间，运用不便。
现有技术中还有通过应用深度学习技术进行农业图像分割的技术，全卷积神经网络(Fully Convolutional Neural Network,FCN)已经可以实现端对端图像的高精度实时分割，网络将图像和标签带入网络中，经过训练后即可针对不同图像进行分割操作。然而现有技术中所采用的深度学习方法，仅能通过提取颜色和纹路简单浅层特征，并将农田与非农田分开，而无法做到更为精细的分类。例如中国山东农业大学的全日制硕士学位论文，《一种面向农田提取的高分遥感影像分割模型》，公开了一种深度学习模型，用于对农田影像分割，然而其仅能够对农田区域进行分割，而无法做到对农田的分类学习。
又例如中国专利授权公告号为CN106530320B的发明专利，公开了一种端到端的图像分割处理方法及系统，包括步骤：获取用于进行端到端的图像分割处理的测试用图，作为训练的样本图像；建立端到端的图像分割网络，并用样本图像来进行训练学习；根据所得到的图像分割网络模型对目标图像进行分割，实现对所述目标图像的分割并一次性输出整幅目标图像的分割结果。其有益效果是分割图像前无需切割小图，节约存储，其通过采用在采样之后特征提取前进行缩小处理来实现，然而这只是深度学习网络中进行上采样的步骤，其并不能解决存储问题，且如果多次进行上采样处理会导致误差较大，并且会导致运算量大大增加，其采用的训练对象为眼底血管图，图像尺寸相对于高分辨率，大尺寸的遥感卫星图像，尺寸较小。该方法并不能实现对大尺寸、需要多种分类的图像分割处理，无法满足对多种类型农作物的图像分割处理。
此外，目前在农作物影像分割领域，仍然使用的是基于阈值方法和k-means聚类方法的分割方法，以上方法实现端对端图像分割仍然具有一定的差距。
发明内容
本发明要解决的技术问题是如何实现端到端的对大尺寸农作物图像进行分割，针对上述要解决的技术问题，现提出一种基于FCN的端对端农作物影像分割方法及系统。
为实现上述目的，本发明提供如下技术方案：一种基于FCN的端对端农作物影像分割方法,通过如下步骤完成对农作物影像的分割：
特征提取：将待分割图像输入到特征提取层，通过特征提取获得各层的特征图，所述特征图包括浅层特征图和深度特征，所述深度特征为浅层特征经过深度综合提取得到的特征，所述浅层特征包括目标的纹理和颜色特征；
反卷积处理：将深度特征进一步带入到神经网络中，将所述深度特征直接上采样后通过反卷积操作降采样至相应原浅层特征尺寸并与相应浅层特征进行融合，不断进行反卷积操作，将各层浅层特征进行融合；
预测结果；将反卷积处理融合后的特征带入到预测模块进行预测结果，预测结果通过分类后输出为分割识别结果，得到的识别结果为农作物影像的分割结果。
可行的，当输入的图像尺寸过大时，需要对图像进行裁切，则该图像分割的过程如下：
输入图像：将尺寸为MxN大小的预设尺寸图像作为输入图像，当输入图像尺寸大于预设尺寸时将图像进行裁切，将输入图像裁切为
个有效的图片带入进行分别识别分割，其中，W为输入图像宽度，H为输入图像长度，被裁切出的每一个图像均带有原始位置的标签；
特征提取：将待分割图像输入到特征提取层，通过特征提取获得各层的特征图，所述特征图包括浅层特征图和深度特征，所述深度特征为浅层特征经过深度综合提取得到的特征，所述浅层特征包括目标的纹理和颜色特征；
反卷积处理：将深度特征进一步带入到神经网络中，将所述深度特征直接上采样后通过反卷积操作降采样至相应原浅层特征尺寸并与相应浅层特征进行融合，不断进行反卷积操作，将各层浅层特征进行融合；
预测结果；将反卷积处理融合后的特征带入到预测模块进行预测结果，预测结果通过分类后输出为每个裁切图像的分割识别结果；
拼合；将带有标签的每个裁切图像的分割识别结果按照标签的原始位置进行拼合得到分割结果。
进一步的，所述输入图像步骤中的预设尺寸为512x512。
进一步的，所述特征提取层为采用VGG-16的特征提取层。
进一步的，所述神经网络为U型网络。
进一步的，所述反卷积处理步骤中的预测模块采用的策略为预先通过深度学习训练得到的策略。
进一步的，所述深度学习训练的步骤如下：
采集图像，采集勘察的农作物区域的且可人眼有效分割的卫星图像制作数据集；
裁切图片，将图像裁切为大小相同的512x512的图片，并记录其在原图的位置；
标定，将图像中的有效农作物区域进行分割标定，将不同的农作物区域，进行不同颜色的标定，且保持所有图像标签一致；
分类，将数据集分割为训练集和测试集，所述训练集和测试集的比例为7:3；
深度训练，将训练集和其对应标签带入U型网络中，进行训练，训练过程中进行计算损失；
训练计算损失时，保持正负样本比例大于1/3；使用VGG-16的源权重进行迁移学习；训练50-100个纪元结束训练；
测试，利用测试集对网络训练结果进行测试，检测训练效果。
进一步的，所述标定步骤中还包括，将生成的数据集随机的生成一定的椒盐噪声。
本发明的另一个目的是提供一种如前所述的基于FCN的端对端农作物影像分割用系统，包括特征提取模块、U型网络上采样模块和图像结果分割模块，所述特征提取模块、U型网络上采样模块和图像结果分割模块为顺序逻辑关系，所述特征提取模块用于通过特征提取层进行迁移学习获得输入图像的深度特征，所述U型网络上采样模块用于对特征提取模块获取的深度特征进行反卷积处理，所述图像结果分割模块用于对反卷积处理的结果进行识别分割得到识别结果。
与现有技术相比，本发明的有益效果是：
本发明通过利用深度综合特征提取的特征提取层进行特征提取，并通过U型神经网络进行训练深度学习，通过预测网络得出分割结果，能够精准的对各类农作物区域进行有效分割，并且能够实现对大尺寸的卫星高分辨率图像进行分割。
附图说明
图1为本发明中的整体方法结构示意图；
图2为本发明中的特征提取层结构示意图；
图3为本发明中的U型网络及预测网络结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
本具体实施方式披露了一种基于FCN的端对端农作物影像分割训练方法，其包括如下步骤：
采集图像，采集勘察的农作物区域的且可人眼有效分割的卫星图像制作数据集；
裁切图片，将图像裁切为大小相同的512x512的图片，并记录其在原图的位置；可行的，本实施例中，以大小为512x512大小的图片作为输入，农作物影像图片尺寸大于该大小时，对其进行分割。设图片长宽分别为[H,W]，则将其裁剪为
个有效的图片带入网络进行识别。通过对图片的裁切，从而可以解决卫星图像分辨率高，图片范围大的问题。
标定，将图像中的有效农作物区域进行分割标定，将不同的农作物区域，进行不同颜色的标定，且保持所有图像标签一致。标定过程可以是利用labelme软件进行人工标注，从而确保标注更贴近原图。为了增加网络的泛化性，提高网咯鲁棒性，将生成的数据集随机的生成一定的椒盐噪声，进行数据增强，扩充数据集大小。
分类，将数据集分割为训练集和测试集，所述训练集和测试集的比例为7:3；
深度训练，将训练集和其对应标签带入U型网络中，进行训练，训练过程中进行计算损失；
训练计算损失时，保持正负样本比例大于1/3；使用VGG-16的源权重进行迁移学习；训练50-100个纪元结束训练；因为图像分割是一项针对像素级别的操作,图像中的每一个点都有对应的分类及损失。设输入网络图中每个像素点为xi,j,都存在一个分类标签分类labeli,j,其中0＜i＜512,0＜j＜512。设Pool_5、Res_16s、Res_8s各层预测后的各点预测值为
则整个网络的损失lto等于所有点分类的交叉熵损失。
测试，利用测试集对网络训练结果进行测试，检测训练效果，若效果不佳，则调节参数重新训练；若调节参数仍然效果不佳，则重新制作数据集。若效果良好，则可直接用于农作物影像分割，将大图按照尺寸裁剪后，记录其原始位置，将各裁剪图片的预测结果按原图拼接后作为最终预测结果。可行的，效果的判断基于训练集得出的结果与测试集的结果比对，针对设定的误差大小判断训练效果。
在每次进行不同类的农作物影像分割之前均需要先进行样本图像训练，从而确定分割的神经网络模型，通过样本训练实现神经网络的深度学习。
实施例2
本具体实施方式披露了一种基于FCN的端对端农作物影像分割方法,通过如下步骤完成对农作物影像的分割：
特征提取：将待分割图像输入到特征提取层，通过特征提取获得各层的特征图，所述特征图包括浅层特征图和深度特征，所述深度特征为浅层特征经过深度综合提取得到的特征，所述浅层特征包括目标的纹理和颜色特征；
反卷积处理：将深度特征进一步带入到神经网络中，将所述深度特征直接上采样后通过反卷积操作降采样至相应原浅层特征尺寸并与相应浅层特征进行融合，不断进行反卷积操作，将各层浅层特征进行融合；
预测结果；将反卷积处理融合后的特征带入到预测模块进行预测结果，预测结果通过分类后输出为分割识别结果，得到的识别结果为农作物影像的分割结果。参看图1，其展示了本具体实施例中进行农作物影像分割的过程。任意图像进入网络之后，经过特征提取层，获得各层的特征图，根据知识我们可知，浅层特征包含的是目标的纹理，颜色特征，但是没有深度综合；而深度特征是将浅层特征进行深度综合提取的高层语义。将深度特征进一步带入到U型网络中，通过反卷积操作(Deconvolutional operation)降采样至相应原浅层特征尺寸并与相应浅层特征进行融合，不断进行反卷积操作，将各层浅层特征进行融合后，融合后的特征带入到预测模块，分别预测为原图大小。可行的，U型网络在进行图像分割前进行了步骤一中的训练步骤，且训练采用的样本图与分割的图像为相同类型的农作物卫星遥感样本图。即所述反卷积处理步骤中的预测模块采用的策略为预先通过深度学习训练得到的策略。
可行的，当输入的图像尺寸过大时，需要对图像进行裁切，则该图像分割的过程如下：
输入图像：将尺寸为MxN大小的预设尺寸图像作为输入图像，当输入图像尺寸大于预设尺寸时将图像进行裁切，将输入图像裁切为
个有效的图片带入进行分别识别分割，其中，W为输入图像宽度，H为输入图像长度，被裁切出的每一个图像均带有原始位置的标签，例如，本具体实施例中可以采用输入图像步骤中的预设尺寸为512x512，针对需要裁切的图像分割时，其他步骤也需要进行相应的调整，具体如下：
特征提取：将待分割图像输入到特征提取层，通过特征提取获得各层的特征图，所述特征图包括浅层特征图和深度特征，所述深度特征为浅层特征经过深度综合提取得到的特征，所述浅层特征包括目标的纹理和颜色特征；
反卷积处理：将深度特征进一步带入到神经网络中，将所述深度特征直接上采样后通过反卷积操作降采样至相应原浅层特征尺寸并与相应浅层特征进行融合，不断进行反卷积操作，将各层浅层特征进行融合；
预测结果；将反卷积处理融合后的特征带入到预测模块进行预测结果，预测结果通过分类后输出为每个裁切图像的分割识别结果；
拼合；将带有标签的每个裁切图像的分割识别结果按照标签的原始位置进行拼合得到分割结果。
作为优选的，上述过程中的神经网络采用U型网络，特征提取层为采用VGG-16的特征提取层，其结构如图2所示，例如，尺寸为512x512的图片经过本文的特征层处理后，大小变为原尺寸的1/32，其特征图大小为[16,16,512]，之后带入U型网络进行上采样处理。
U型网络及预测网络的结构如图3所示，其运行过程为，特征图带入到U型网络后，将其Pool_5层特征直接上采样预测原图结果为Res_32s,而进行上采样后，进一步降采样获得与Pool_4层特征图大小相同的特征图Deconv_1,与Pool_3层特征图大小相同的特征图Deconv_2。经过过U型网络后，将Deconv_1与Pool_4层特征图结合，Deconv_2与Pool_3层特征图结合，生成预测结果Res_16s,与Res_8s。预测结果中，按照分类，每个像素点根据类别可分为相应的数值，其中0为背景，其余代表相应的农作物种类。
分析完特征提取层结构后，对网络训练过程和训练损失进行说明。因为图像分割是一项针对像素级别的操作,图像中的每一个点都有对应的分类及损失。设输入网络图中每个像素点为xi,j,都存在一个分类标签分类labeli,j,其中0＜i＜512,0＜j＜512。设Pool_5、Res_16s、Res_8s各层预测后的各点预测值为
则整个网络的损失lto等于所有点分类的交叉熵损失，计算公式为
以下进行具体的举例说明本具体实施例中的深度学习训练过程。
(1)采集图像，采集勘察的农作物区域的，可人眼有效分割的卫星图像制作数据集。
(2)分割图片。针对卫星图像分辨率高，图片范围大的问题，将其按照4中叙述的方法裁剪为大小相同的512x512的图片，并记录其在原图的位置，保证可以复位。
(3)人为标定。利用labelme软件，图像中的有效农作物区域进行人为分割标定，将不同的农作物区域，进行不同颜色的标定，且保持所有照片标签一致。
(4)为了增加网络的泛化性，提高网咯鲁棒性，将生成的数据集随机的生成一定的椒盐噪声，进行数据增强，扩充数据集大小、
(5)按照一定比例，将数据集分割为训练集，测试集。一般比例为7:3。
(6)将训练集和其对应标签带入FCN网络中，进行训练。训练计算损失时，保持正负样本比例大于1/3。使用VGG-16的源权重进行迁移学习。训练50-100个纪元(EPOCH)结束。
(7)利用测试集对网络训练结果进行测试，检测其效果，检测效果的过程可以是人工比较手动分割的图像与训练得出的输出结果。
(8)若效果不佳，则调节参数重新训练；若调节参数仍然效果不佳，则重新制作数据集。若效果良好，则可直接用于农作物影像分割，将大图按照尺寸裁剪后，记录其原始位置，将各裁剪图片的预测结果按原图拼接后作为最终预测结果。
实施例3
本具体实施方式披露了一种如前所述的基于FCN的端对端农作物影像分割用系统，包括特征提取模块、U型网络上采样模块和图像结果分割模块，所述特征提取模块、U型网络上采样模块和图像结果分割模块为顺序逻辑关系，所述特征提取模块用于通过特征提取层进行迁移学习获得输入图像的深度特征，所述U型网络上采样模块用于对特征提取模块获取的深度特征进行反卷积处理，所述图像结果分割模块用于对反卷积处理的结果进行识别分割得到识别结果。各个模块的运行过程和结构如实施例1和实施例2中的方法过程。
以上结合附图对本发明的实施方式作了详细说明，但本发明不限于所描述的实施方式。对于本领域的技术人员而言，在不脱离本发明原理和精神的情况下，对这些实施方式进行多种变化、修改、替换和变型，仍落入本发明的保护范围内。
Claims (9)
1.一种基于FCN的端对端农作物影像分割方法,其特征在于，通过如下步骤完成对农作物影像的分割：
特征提取：将待分割图像输入到特征提取层，通过特征提取获得各层的特征图，所述特征图包括浅层特征图和深度特征，所述深度特征为浅层特征经过深度综合提取得到的特征，所述浅层特征包括目标的纹理和颜色特征；
反卷积处理：将深度特征进一步带入到神经网络中，将所述深度特征直接上采样后通过反卷积操作降采样至相应原浅层特征尺寸并与相应浅层特征进行融合，不断进行反卷积操作，将各层浅层特征进行融合；
预测结果；将反卷积处理融合后的特征带入到预测模块进行预测结果，预测结果通过分类后输出为分割识别结果，得到的识别结果为农作物影像的分割结果。
2.根据权利要求1所述的一种基于FCN的端对端农作物影像分割方法，其特征在于，通过如下步骤完成对农作物影像的分割：
输入图像：将尺寸为MxN大小的预设尺寸图像作为输入图像，当输入图像尺寸大于预设尺寸时将图像进行裁切，将输入图像裁切为
个有效的图片带入进行分别识别分割，其中，W为输入图像宽度，H为输入图像长度，被裁切出的每一个图像均带有原始位置的标签；
特征提取：将待分割图像输入到特征提取层，通过特征提取获得各层的特征图，所述特征图包括浅层特征图和深度特征，所述深度特征为浅层特征经过深度综合提取得到的特征，所述浅层特征包括目标的纹理和颜色特征；
反卷积处理：将深度特征进一步带入到神经网络中，将所述深度特征直接上采样后通过反卷积操作降采样至相应原浅层特征尺寸并与相应浅层特征进行融合，不断进行反卷积操作，将各层浅层特征进行融合；
预测结果；将反卷积处理融合后的特征带入到预测模块进行预测结果，预测结果通过分类后输出为每个裁切图像的分割识别结果；
拼合；将带有标签的每个裁切图像的分割识别结果按照标签的原始位置进行拼合得到分割结果。
3.根据权利要求2所述的一种基于FCN的端对端农作物影像分割方法，其特征在于，所述输入图像步骤中的预设尺寸为512x512。
4.根据权利要求1或2所述的一种基于FCN的端对端农作物影像分割方法，其特征在于，所述特征提取层为采用VGG-16的特征提取层。
5.根据权利要求1或2所述的一种基于FCN的端对端农作物影像分割方法，其特征在于，所述神经网络为U型网络。
6.根据权利要求1或2所述的一种基于FCN的端对端农作物影像分割方法，其特征在于，所述反卷积处理步骤中的预测模块采用的策略为预先通过深度学习训练得到的策略。
7.根据权利要求6所述的一种基于FCN的端对端农作物影像分割方法，其特征在于，所述深度学习训练的步骤如下：
采集图像，采集勘察的农作物区域的且可人眼有效分割的卫星图像制作数据集；
裁切图片，将图像裁切为大小相同的512x512的图片，并记录其在原图的位置；
标定，将图像中的有效农作物区域进行分割标定，将不同的农作物区域，进行不同颜色的标定，且保持所有图像标签一致；
分类，将数据集分割为训练集和测试集，所述训练集和测试集的比例为7:3；
深度训练，将训练集和其对应标签带入U型网络中，进行训练，训练过程中进行计算损失；训练计算损失时，保持正负样本比例大于1/3；使用VGG-16的源权重进行迁移学习；训练50-100个纪元结束训练；
测试，利用测试集对网络训练结果进行测试，检测训练效果。
8.根据权利要求7所述的一种基于FCN的端对端农作物影像分割方法，其特征在于，所述标定步骤中还包括，将生成的数据集随机的生成一定的椒盐噪声。
9.一种采用如权利要求1-8任一一种基于FCN的端对端农作物影像分割方法的基于FCN的端对端农作物影像分割用系统，其特征在于，包括特征提取模块、U型网络上采样模块和图像结果分割模块，所述特征提取模块、U型网络上采样模块和图像结果分割模块为顺序逻辑关系，所述特征提取模块用于通过特征提取层进行迁移学习获得输入图像的深度特征，所述U型网络上采样模块用于对特征提取模块获取的深度特征进行反卷积处理，所述图像结果分割模块用于对反卷积处理的结果进行识别分割得到识别结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010342161.4A CN111553925B (zh) | 2020-04-27 | 2020-04-27 | 一种基于fcn的端对端农作物影像分割方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010342161.4A CN111553925B (zh) | 2020-04-27 | 2020-04-27 | 一种基于fcn的端对端农作物影像分割方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111553925A CN111553925A (zh) | 2020-08-18 |
| CN111553925B true CN111553925B (zh) | 2023-06-06 |
Family
ID=72004022
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010342161.4A Active CN111553925B (zh) | 2020-04-27 | 2020-04-27 | 一种基于fcn的端对端农作物影像分割方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111553925B (zh) |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106709568B (zh) * | 2016-12-16 | 2019-03-22 | 北京工业大学 | 基于深层卷积网络的rgb-d图像的物体检测和语义分割方法 |
| US10304193B1 (en) * | 2018-08-17 | 2019-05-28 | 12 Sigma Technologies | Image segmentation and object detection using fully convolutional neural network |
| CN110223304B (zh) * | 2019-05-20 | 2023-01-24 | 山东大学 | 一种基于多路径聚合的图像分割方法、装置和计算机可读存储介质 |
| CN110119728B (zh) * | 2019-05-23 | 2023-12-05 | 哈尔滨工业大学 | 基于多尺度融合语义分割网络的遥感图像云检测方法 |
-
2020
- 2020-04-27 CN CN202010342161.4A patent/CN111553925B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN111553925A (zh) | 2020-08-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111986099B (zh) | 基于融合残差修正的卷积神经网络的耕地监测方法及系统 | |
| WO2022000426A1 (zh) | 基于孪生深度神经网络的动目标分割方法及系统 | |
| Smal et al. | Quantitative comparison of spot detection methods in fluorescence microscopy | |
| CN111445459B (zh) | 一种基于深度孪生网络的图像缺陷检测方法及系统 | |
| CN111046880A (zh) | 一种红外目标图像分割方法、系统、电子设备及存储介质 | |
| CN111968095B (zh) | 一种产品表面缺陷检测方法及系统及装置及介质 | |
| CN109840483B (zh) | 一种滑坡裂缝检测与识别的方法及装置 | |
| CN113516126A (zh) | 一种基于注意力特征融合的自适应阈值场景文本检测方法 | |
| CN115049640B (zh) | 一种基于深度学习的道路裂缝检测方法 | |
| CN116129291A (zh) | 一种面向无人机畜牧的图像目标识别方法及其装置 | |
| CN115984550A (zh) | 一种眼睛虹膜色素斑纹理自动分割方法 | |
| CN113781468A (zh) | 一种基于轻量级卷积神经网络的舌图像分割方法 | |
| Farid et al. | DOST: A distributed object segmentation tool | |
| CN113989652B (zh) | 分层多重判定规则下的耕地变化检测方法及系统 | |
| CN116883650A (zh) | 一种基于注意力和局部拼接的图像级弱监督语义分割方法 | |
| CN113177956B (zh) | 一种面向无人机遥感影像的语义分割方法 | |
| Zhao et al. | Image dehazing based on haze degree classification | |
| CN112785610B (zh) | 一种融合低层特征的车道线语义分割方法 | |
| CN116309612B (zh) | 基于频率解耦监督的半导体硅晶圆检测方法、装置及介质 | |
| CN111553925B (zh) | 一种基于fcn的端对端农作物影像分割方法及系统 | |
| Abishek et al. | Soil Texture Prediction Using Machine Learning Approach for Sustainable Soil Health Management | |
| CN111476129A (zh) | 一种基于深度学习的土壤杂质检测方法 | |
| CN111968136A (zh) | 一种煤岩显微图像分析方法及分析系统 | |
| CN110929788A (zh) | 食材识别方法、装置、存储介质及电子设备 | |
| Nancy et al. | Skin lesion segmentation and classification using fcn-alexnet framework |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 226000 building 11, Zilang science and Technology City, central innovation District, Chongchuan District, Nantong City, Jiangsu Province Applicant after: Nantong Institute of intelligent perception Applicant after: Qidong Zhongke photoelectric remote sensing center Address before: 226000 building 11, Zilang science and Technology City, central innovation District, Chongchuan District, Nantong City, Jiangsu Province Applicant before: Nantong Institute of intelligent perception Applicant before: QIDONG PHOTOELECTRIC AND REMOTE SENSING CENTER, SHANGHAI INSTITUTE OF TECHNICAL PHYSICS OF THE CHINESE ACADEMY OF SCIENCES |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |