CN112581301B - 一种基于深度学习的农田残膜残留量的检测预警方法及系统 - Google Patents
一种基于深度学习的农田残膜残留量的检测预警方法及系统 Download PDFInfo
- Publication number
- CN112581301B CN112581301B CN202011496196.XA CN202011496196A CN112581301B CN 112581301 B CN112581301 B CN 112581301B CN 202011496196 A CN202011496196 A CN 202011496196A CN 112581301 B CN112581301 B CN 112581301B
- Authority
- CN
- China
- Prior art keywords
- residual film
- farmland
- residual
- image
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000013135 deep learning Methods 0.000 title claims abstract description 24
- 238000001514 detection method Methods 0.000 title claims abstract description 19
- 238000012549 training Methods 0.000 claims abstract description 48
- 230000011218 segmentation Effects 0.000 claims abstract description 42
- 238000012360 testing method Methods 0.000 claims abstract description 27
- 238000002372 labelling Methods 0.000 claims abstract description 12
- 230000006870 function Effects 0.000 claims abstract description 11
- 230000004927 fusion Effects 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 4
- 230000003321 amplification Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 claims description 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 3
- 230000009897 systematic effect Effects 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 2
- 238000005259 measurement Methods 0.000 claims 1
- 239000010410 layer Substances 0.000 description 8
- 239000002362 mulch Substances 0.000 description 8
- 239000002689 soil Substances 0.000 description 7
- 238000012544 monitoring process Methods 0.000 description 5
- 230000003416 augmentation Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 238000005286 illumination Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 239000002344 surface layer Substances 0.000 description 3
- 238000005282 brightening Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000012528 membrane Substances 0.000 description 2
- 230000035699 permeability Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 229920000742 Cotton Polymers 0.000 description 1
- 102100032237 Dynein axonemal assembly factor 9 Human genes 0.000 description 1
- 101000869152 Homo sapiens Dynein axonemal assembly factor 9 Proteins 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000012271 agricultural production Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/02—Agriculture; Fishing; Forestry; Mining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Economics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Strategic Management (AREA)
- Primary Health Care (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- Mining & Mineral Resources (AREA)
- Marine Sciences & Fisheries (AREA)
- Animal Husbandry (AREA)
- Agronomy & Crop Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于深度学习的农田残膜残留量的检测预警方法和系统，方法包括：针对整地后的农田，进行农田可见光图像的采集，得到原始残膜图像；对所述原始残膜图像进行位置信息标注；将标注后的原始残膜图像分为残膜图像的训练集和测试集；构建基于深度学习的可微分阈值分割网络模型；将训练集输入可微分阈值分割网络模型进行训练，得到农田残膜残留量预测模型；将测试集输入训练得到的农田残膜残留量预测模型进行残膜残留量检测；将检测得到的残膜残留量与分级预警值进行比较，显示预警级别。本发明利用深度卷积层监督学习不同层次的特征，将二值化函数设成可微分形式，使得二值化的阈值可以随网络一起得到训练，增加预测的精度，贴合实际应用场景，提高了算法的鲁棒性。
Description
技术领域
本发明涉及农田污染监测技术领域，具体涉及一种基于深度学习的农田残膜残留量的检测预警方法及系统。
背景技术
地膜技术给我们的粮食生产带来了巨大收益，给干旱节水农业生产提供了有利条件。然而，地膜覆膜后回收困难，残留的地膜给农田土壤造成了严重的污染，对土壤的透气性、透水性以及作物生长都造成不利影响。污染的治理离不开先进的监控技术，现有技术如：牛瑞坤,王旭峰,胡灿,侯书林,鲁兵,李俊宝.新疆阿克苏地区棉田残膜污染现状分析[J].新疆农业科学,2016,02:283-288、严昌荣，梅旭荣，何文清，等.农用地膜残留污染的现状与防治[J].农业工程学报，2006，22(11):269－272、CN106644939A，采取了人工取样测量方法去监管农田残膜的污染情况，或者监控残膜回收作业质量，这类方法同样具有选定区域随机性，人为影响因素大，影响了最终监测的数据精度。
图像检测地膜残留量方法明显具有先进性，现有方法首先采用无人机拍照的方式获取农田图像资料，再对图像文件进行预处理后，采用闭合运算与腐蚀运算，将二值化后的残膜形状灰度值进行量化统计相加，获取农田残膜的表层面积，再通过折算公式推出表层残膜残留的质量。另外，表层与深层残膜之间呈现一定数学关系，可计算出拍摄区域内的残膜残留值。
然而，通过大量的试验，发现虽然这种方法是先进的，但是在不同的土壤环境、光照条件、拍摄角度，土壤色泽等方面的监测数据是有较大差异的，此外，该方法的本质是基于全局阈值进行图像二值化，全局阈值的设置无法做到每张图像上的自适应，存在明显的精度瓶颈。因此，亟需一种对环境噪声更鲁棒、精度更高的残膜残留量方法。
发明内容
为克服现有残膜检测方法对环境噪声不够鲁棒、精度提升会遇到瓶颈的问题，提出了一种基于深度学习的农田残膜残留量的检测预警方法及系统。
本发明提供一种基于深度学习的农田残膜残留量的检测预警方法，包括如下步骤：
S1，针对整地后的农田，进行农田可见光图像的采集，得到原始残膜图像；
S2，对所述原始残膜图像进行位置信息标注；
S3，将标注后的原始残膜图像分为残膜图像的训练集和测试集；
S4，构建基于深度学习的可微分阈值分割网络模型；
S5，将所述训练集输入所述可微分阈值分割网络模型进行训练，得到农田残膜残留量预测模型；
S6，将所述测试集输入训练得到的所述农田残膜残留量预测模型进行残膜残留量检测；
S7.将检测得到的残膜残留量与分级预警值进行比较，显示预警级别。
本发明还提供一种基于深度学习的农田残膜残留量的检测预警系统，包括：
图像采集单元，用于针对整地后的农田，进行农田可见光图像的采集，得到原始残膜图像；
位置标注单元，用于对所述原始残膜图像进行位置信息标注；
训练划分单元，用于将标注后的原始残膜图像分为残膜图像的训练集和测试集；
模型构建单元，用于构建基于深度学习的可微分阈值分割网络模型；
模型训练单元，用于将所述训练集输入所述可微分阈值分割网络模型进行训练，得到农田残膜残留量预测模型；
残留预测单元，用于将所述测试集输入训练得到的所述农田残膜残留量预测模型进行残膜残留量检测；
分级预警单元，用于将检测得到的残膜残留量与分级预警值进行比较，显示预警级别。
与现有技术相比，本发明首先进行人工标注数据，利用深度卷积层有监督的学习不同层次的特征，最关键的是将二值化函数设成可微分形式，这使得二值化的阈值可以随网络一起得到训练，增加预测的精度，更贴合实际应用场景，提高了算法的鲁棒性。
另外，本发明的方法，其噪声抑制能力强。传统阈值分割法得到的阈值图，右下角会出现严重噪声，而相比之下，本发明方法会对噪声更鲁棒。同时，随着数据规模的增大，精度也会显著提高。
并且，本发明还提出了对污染的分等定级预警方法，研发一种预警装置，当残膜残留量超过一定阀值时，系统自动产生分等定级的污染预警信号。
附图说明
图1是特征融合示意图。
图2是可微分二值化与常规二值化的对比图。
图3是k＝1和k＝60情况下，正样本损失函数的导数对比图。
图4是k＝1和k＝60情况下，负样本损失函数的导数对比图。
图5是实际拍摄的角度、面积关系示意图。
图6是基于无人机航拍监测残膜的示意图。
图7是整膜标定图。
图8是散膜标定图。
图9是进行残膜图像增广的原图。
图10是进行镜像变化后的残膜图像。
图11是变亮后的残膜图像。
图12是变暗后的残膜图像。
图13是随机裁剪后的残膜图像。
图14是平移后的残膜图像。
图15是进行残膜图像标注。
图16是进行残膜标注框的坐标。
图17是基于深度学习的训练流程图。
图18是基于深度学习的测试流程图。
图19是基于深度学习的残膜图像检测图。
图20是基于深度学习的残膜图像二值分割图。
图21是传统阈值分割方法下的残膜图像二值分割图。
图22是本发明的方法流程图。
具体实施方式
这里将详细地对示例性实施例进行说明，以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
如图22所示，本发明提供一种基于深度学习的农田残膜残留量的检测预警方法，包括如下步骤：
S1，针对整地后的农田，进行农田可见光图像的采集，得到原始残膜图像；
S2，对所述原始残膜图像进行位置信息标注；
S3，将标注后的原始残膜图像分为残膜图像的训练集和测试集；
S4，构建基于深度学习的可微分阈值分割网络模型；
S5，将所述训练集输入所述可微分阈值分割网络模型进行训练，得到农田残膜残留量预测模型，训练流程如图17；
S6，将所述测试集输入训练得到的所述农田残膜残留量预测模型进行残膜残留量检测，测试流程如图18；
同时得到残膜检测图，如图19；和残膜分割图，如图20。残膜检测图作为直观展示，残膜分割图用于后续残膜量的计算。
S7.将检测得到的残膜残留量与分级预警值进行比较，显示预警级别。
优选地，其中，所述S1，针对整地后的农田，进行农田可见光图像的采集，得到原始残膜图像，具体包括：
图像通过大疆无人机平台采集，如附图6所示，选取长期覆膜种植农田，农田需进行犁地并整地处理，地面平整，通过整地后，土壤中残膜呈规律性分布，以便于可见光图像采集。可见光图像传感器像素大于600万像素，农田图像信息获取的光照度大于2000lux，采集时间为太阳光与地面垂直，无重影，设置可见光传感器波长为390-780nm之间。无人机设定可见光传感器离农田拍摄高度为4.5米，环境风速小于5m/s，调整无人机云台，将可见光传感器与农田表面进行垂直900拍摄，设置记录好拍摄的初始经纬度坐标，沿农田边界进行飞机拍摄，获取农田表层残膜的可见光信息。其中1，无人机；2，可见光传感器；3，识别区域；4，农田；5，残膜；6，分等定级预警装置。
在图像识别前，先进行农田表层残膜残留面积与残膜残留量关系的标定。
在整地过后的农田表面，确保土壤表层无残膜及白色反光物体，将田间残膜裁剪成标准正方体形状，如图7及图8所示。图7为大块正方体整膜，边长为20cm，图8为散状地膜，边长为5cm。设定可见光传感器信息获取的光照度大于2000lux，采集时间为太阳光与地面垂直，无重影，设置可见光传感器波长为390-780nm之间。无人机可见光传感器离农田拍摄高度为5米，环境风速小于5m/s，调整无人机云台，将可见光传感器与农田表面进行垂直90°拍摄，获取相关图像各两张，通过图像算法得出标准可见光传感器采集图像中的尺寸形状，将采样区域的地膜回收，清洗烘干后称重处理，得出标准面积尺寸与农用地膜质量之间的关系按如下公式计算：
M1＝Swhite×11+p
其中，M1为残膜残留量；Swhite为残留面积；p为系统误差，取值为0.00154。
假设图像识别出的地膜面积为Sc＝0.25m2，则代入公式可得M1＝2.75154g。
选取需测量的地块再次进行可见光图像采集，之后可以对图像进行增广处理。
增广方法有5种，即一张图最终可以变成6张，这很好地满足了深度学习对大数据样本的要求，并且增加算法鲁棒性，以一张原始图像9为例，可以进行以下增广操作：
镜像操作。相比图9，图10这里是将图片围绕对称轴进行左右翻转(在检测中有助于防止模型过拟合)。
变亮操作。相比图9，图11通过亮度的改变，模拟现场各种光照的情况，是非常好的一种数据扩增途径，尤其是在自然场景下的目标检测方面，能提高算法对光照方面的鲁棒性。
变暗操作。相比图9，图12变暗。
裁剪操作。相比图9，图13是随机裁剪成的新图像。
平移操作。相比图9，图14是将图像进行平移，目标就能出现在不同的背景下，丰富了数据样本。
将扩增后的样本数据使用标注工具进行标注。
优选地，其中，所述S2，对所述原始残膜图像进行位置信息标注，具体包括：标注规则是基于人为观察，使用标注工具，识别所述原始残膜图像中的残膜区域，用任意四边形框包围住残膜区域，如图15。生成每个包围框的坐标信息，如图16。
优选地，其中，所述S3，将标注后的原始残膜图像分为残膜图像的训练集和测试集，具体包括：
将标注后的原始残膜图像按8:2的比例划分为训练集和测试集，所述标注后的原始残膜图像包括原始残膜图像和对应的标签文件；
所述原始残膜图像为JPG格式，所述标签文件为TXT格式。
优选地，其中，所述S4，构建基于深度学习的可微分阈值分割网络模型，具体包括：
S4-1，基于残膜图像训练集，进行不同尺度的特征融合，形成特征地图Fm(Featuremap)；
S4-2，根据特征地图Fm，得到残膜的概率图Pm(Probability map)和阈值图Tm(Threshold map)；
S4-3，结合所述概率图Pm和阈值图Tm，构建可微分阈值分割网络模型：
S4-4，以二值化交叉熵损失定义正样本损失和负样本损失；
S4-5，定义可微分阈值分割网络模型总的损失函数。
优选地，其中，所述S4-1，基于残膜图像训练集，进行不同尺度的特征融合，形成特征地图Fm，具体包括：
S4-1-1，如图1所示，进行多层卷积、填充、池化操作，将所述训练集中残膜图像分别缩小比例至1/2、1/4、1/8、1/16/、1/32、1/64。
卷积操作经常用于图像的特征的提取，而浅层的卷积更关注于细节和位置信息，高层的卷积更关注于语义信息。
S4-1-2，提取训练集中残膜图像的不同层次特征，
S4-1-3，进行图像上采样，将各层次特征调整至对应尺寸规模，
S4-1-4，进行各层次特征的特征融合，
S4-1-5，将各层次融合特征统一缩放比例至1/4，拼接形成特征地图Fm。
优选地，其中，所述S4-3，结合概率图Pm和阈值图Tm，构建可微分阈值分割网络模型，具体包括：
结合概率图Pm和阈值图Tm，构建可微分阈值分割网络模型，得到残膜图像的二值分割图：
Bi,j表示二值图里第i行、第j列的像素取值；Pi,j代表概率图里第i行、第j列的像素值；Ti,j代表阈值图里第i行、第j列的像素值，k是增益因子，取值60。
与常规的二值化相比，可微分的二值化具有梯度，可以随着网络一起训练学习。如图2，是可微分的二值化与常规的二值化对比图。
优选地，其中，所述S4-4，以二值化交叉熵损失定义正样本损失和负样本损失，具体包括：
其中，l+为正样本损失，l-为负样本损失，k为增益因子，x＝Pi,j-Ti,j。
对正、负样本损失分别求偏导，公式如下：
由上述偏导公式可以看出，k是梯度增益因子，如果k值大，错误预测会对梯度的影响很大。不同k下的损失梯度对比如图3、4所示。在图3中，如果正样本被预测为负样本，就是x<0的情况，其损失接近于-60；在图4中，如果负样本被预测为正样本，就是x>0的情况，其损失接近于60。
优选地，其中，所述S4-5，定义可微分阈值分割网络模型总的损失函数，具体包括：
L＝Lp+α*Lb+β*Lt
其中，L是总损失函数，它是由概率图损失Lp、二值图损失Lb及阈值图损失Lt加权求和得出，α和β为放大系数，Lp和Lb为二值交叉熵损失，Lt为光滑最小绝对值偏差损失。
优选地，其中，所述S6，将所述测试集输入训练得到的所述农田残膜残留量预测模型进行残膜残留量检测，具体包括：
S6-1，根据所述可微分阈值分割网络模型，将所述测试集二值化，得到测试集中残膜图像的二值分割图；
S6-2，根据残膜占比公式，计算残膜在所述二值分割图中的占比；
所述残膜占比公式如下：
其中，Rate为白色残膜像素在图像中的占比，Nwhite为二值化后白色像素的个数，H和W分别为所述二值分割图的高和宽；
S6-3，如图5所示，结合相机参数，计算残膜的实际面积，具体包括：
根据飞行高度h和视场角FOV，计算所述二值分割图的图像区域的实际面积S，其中，
S6-4，计算残膜的实际面积Swhite，其中，Swhite＝S*Rate。
S6-5，计算残膜的实际质量，即残膜残留量：
M1＝Swhite×11+p
其中，M1为残膜残留量，单位为g；Swhite为残留面积，单位为m2；p为系统误差，取值为0.00154，假设残膜厚度为定值。
本发明还提出一种基于深度学习的农田残膜残留量的检测预警系统，包括：
图像采集单元，用于针对整地后的农田，进行农田可见光图像的采集，得到原始残膜图像；
位置标注单元，用于对所述原始残膜图像进行位置信息标注；
训练划分单元，用于将标注后的原始残膜图像分为残膜图像的训练集和测试集；
模型构建单元，用于构建基于深度学习的可微分阈值分割网络模型；
模型训练单元，用于将所述训练集输入所述可微分阈值分割网络模型进行训练，得到农田残膜残留量预测模型；
残留预测单元，用于将所述测试集输入训练得到的所述农田残膜残留量预测模型进行残膜残留量检测；
分级预警单元，用于将检测得到的残膜残留量与分级预警值进行比较，显示预警级别。
与现有技术相比，本发明首先进行人工标注数据，利用深度卷积层有监督的学习不同层次的特征，最关键的是将二值化函数设成可微分形式，这使得二值化的阈值可以随网络一起得到训练，增加预测的精度，更贴合实际应用场景，提高了算法的鲁棒性。
另外，本发明的方法，其噪声抑制能力强。传统阈值分割法得到的阈值图，右下角会出现严重噪声，而相比之下，本发明方法会对噪声更鲁棒。同时，随着数据规模的增大，精度也会显著提高。
并且，本发明还提出了对污染的分等定级预警方法，研发一种预警装置，当残膜残留量超过一定阀值时，系统自动产生分等定级的污染预警信号。
显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本发明的实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均包含在申请待批的本发明的权利要求范围之内。
Claims (8)
1.一种基于深度学习的农田残膜残留量的检测预警方法，其特征在于，包括如下步骤：
S1，针对整地后的农田，进行农田可见光图像的采集，得到原始残膜图像；
S2，对所述原始残膜图像进行位置信息标注；
S3，将标注后的原始残膜图像分为残膜图像的训练集和测试集；
S4，构建基于深度学习的可微分阈值分割网络模型，具体包括：
S4-1，基于残膜图像训练集，进行不同尺度的特征融合，形成特征地图Fm；
S4-2，根据特征地图Fm，得到残膜的概率图Pm和阈值图Tm；
S4-3，结合所述概率图Pm和阈值图Tm，构建可微分阈值分割网络模型；
S4-4，以二值化交叉熵损失定义正样本损失和负样本损失；
S4-5，定义可微分阈值分割网络模型总的损失函数；
S5，将所述训练集输入所述可微分阈值分割网络模型进行训练，得到农田残膜残留量预测模型；
S6，将所述测试集输入训练得到的所述农田残膜残留量预测模型进行残膜残留量检测；
S7，将检测得到的残膜残留量与分级预警值进行比较，显示预警级别；
所述S4-1，基于残膜图像训练集，进行不同尺度的特征融合，形成特征地图Fm，具体包括：
S4-1-1，进行多层卷积、填充、池化操作，将所述训练集中残膜图像分别缩小比例至1/2、1/4、1/8、1/16/、1/32、1/64；
S4-1-2，提取训练集中残膜图像的不同层次特征；
S4-1-3，进行图像上采样，将各层次特征调整至对应尺寸规模；
S4-1-4，进行各层次特征的特征融合；
S4-1-5，将各层次融合特征统一缩放比例至1/4，拼接形成特征地图Fm。
2.根据权利要求1所述的方法，其中，所述S1，针对整地后的农田，进行农田可见光图像的采集，得到原始残膜图像，具体包括：
基于无人机航拍技术对整地后的农田采集可见光图像，通过无人机的可见光图像传感器对测量区域进行图像采集；所述可见光图像传感器像素大于600万像素，波长为390-780nm；
所述S2，对所述原始残膜图像进行位置信息标注，具体包括：
使用标注工具，识别所述原始残膜图像中的残膜区域，用任意四边形框包围住残膜区域，生成每个包围框的坐标信息。
3.根据权利要求1所述的方法，其中，所述S3，将标注后的原始残膜图像分为残膜图像的训练集和测试集，具体包括：
将标注后的原始残膜图像按8:2的比例划分为训练集和测试集，所述标注后的原始残膜图像包括原始残膜图像和对应的标签文件；
所述原始残膜图像为JPG格式，所述标签文件为TXT格式。
4.根据权利要求1所述的方法，其中，所述S4-3，结合概率图Pm和阈值图Tm，构建可微分阈值分割网络模型，具体包括：
结合概率图Pm和阈值图Tm，构建可微分阈值分割网络模型，得到残膜图像的二值分割图；
Bi,j表示二值图里第i行、第j列的像素取值；Pi,j代表概率图里第i行、第j列的像素值；Ti,j代表阈值图里第i行、第j列的像素值，k是增益因子。
5.根据权利要求4所述的方法，其中，所述S4-4，以二值化交叉熵损失定义正样本损失和负样本损失，具体包括：
其中，l+为正样本损失，l-为负样本损失，k为增益因子，x＝Pi,j-Ti,j。
6.根据权利要求5所述的方法，其中，所述S4-5，定义可微分阈值分割网络模型总的损失函数，具体包括：
L＝Lp+α*Lb+β*Lt；
其中，L是总损失函数，它是由概率图损失Lp、二值图损失Lb及阈值图损失Lt加权求和得出，α和β为放大系数，Lp和Lb为二值交叉熵损失，Lt为光滑最小绝对值偏差损失。
7.根据权利要求1所述的方法，其中，所述S6，将所述测试集输入训练得到的所述农田残膜残留量预测模型进行残膜残留量检测，具体包括：
S6-1，根据所述可微分阈值分割网络模型，将所述测试集二值化，得到测试集中残膜图像的二值分割图；
S6-2，根据残膜占比公式，计算残膜在所述二值分割图中的占比；
所述残膜占比公式如下：
其中，Rate为白色残膜像素在图像中的占比，Nwhite为二值化后白色像素的个数，H和W分别为所述二值分割图的高和宽；
S6-3，结合相机参数，计算残膜的实际面积，具体包括：
根据飞行高度h和视场角FOV，计算所述二值分割图的图像区域的实际面积S，其中，
S6-4，计算残膜的实际面积Swhite，其中，Swhite＝S*Rate；
S6-5，计算残膜的实际质量，即残膜残留量：
M1＝Swhite*11+p；
其中，M1为残膜残留量，单位为g；Swhite为残留面积，单位为m2；p为系统误差。
8.适用于权利要求1-7任意一项所述的一种基于深度学习的农田残膜残留量的检测预警方法的系统，其特征在于，包括：
图像采集单元，用于针对整地后的农田，进行农田可见光图像的采集，得到原始残膜图像；
位置标注单元，用于对所述原始残膜图像进行位置信息标注；
训练划分单元，用于将标注后的原始残膜图像分为残膜图像的训练集和测试集；
模型构建单元，用于构建基于深度学习的可微分阈值分割网络模型；
模型训练单元，用于将所述训练集输入所述可微分阈值分割网络模型进行训练，得到农田残膜残留量预测模型；
残留预测单元，用于将所述测试集输入训练得到的所述农田残膜残留量预测模型进行残膜残留量检测；
分级预警单元，用于将检测得到的残膜残留量与分级预警值进行比较，显示预警级别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011496196.XA CN112581301B (zh) | 2020-12-17 | 2020-12-17 | 一种基于深度学习的农田残膜残留量的检测预警方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011496196.XA CN112581301B (zh) | 2020-12-17 | 2020-12-17 | 一种基于深度学习的农田残膜残留量的检测预警方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112581301A CN112581301A (zh) | 2021-03-30 |
| CN112581301B true CN112581301B (zh) | 2023-12-29 |
Family
ID=75136107
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011496196.XA Active CN112581301B (zh) | 2020-12-17 | 2020-12-17 | 一种基于深度学习的农田残膜残留量的检测预警方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112581301B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113295572B (zh) * | 2021-05-20 | 2022-07-29 | 内蒙古农业大学 | 一种农田残膜采集方法、装置及设备 |
| CN114202868B (zh) * | 2021-12-06 | 2022-11-04 | 九江礼涞生物科技有限公司 | 一种综合治理典型农业面源污染的系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107240102A (zh) * | 2017-04-20 | 2017-10-10 | 合肥工业大学 | 基于深度学习算法的恶性肿瘤计算机辅助早期诊断方法 |
| CN109190581A (zh) * | 2018-09-17 | 2019-01-11 | 金陵科技学院 | 图像序列目标检测识别方法 |
| CN110225264A (zh) * | 2019-05-30 | 2019-09-10 | 石河子大学 | 无人机近地航拍检测农田残膜的方法 |
| CN111652217A (zh) * | 2020-06-03 | 2020-09-11 | 北京易真学思教育科技有限公司 | 文本检测方法、装置、电子设备及计算机存储介质 |
| CN111652218A (zh) * | 2020-06-03 | 2020-09-11 | 北京易真学思教育科技有限公司 | 文本检测方法、电子设备及计算机可读介质 |
| CN111798464A (zh) * | 2020-06-30 | 2020-10-20 | 天津深析智能科技有限公司 | 基于深度学习的淋巴瘤病理图像智能识别方法 |
| CN111860504A (zh) * | 2020-07-20 | 2020-10-30 | 青岛科技大学 | 基于深度学习的视觉多目标跟踪方法及装置 |
| CN111915629A (zh) * | 2020-07-06 | 2020-11-10 | 天津大学 | 基于边界检测的超像素分割方法 |
| CN112085725A (zh) * | 2020-09-16 | 2020-12-15 | 塔里木大学 | 基于启发式迭代算法的残膜残留量检测方法及预警系统 |
-
2020
- 2020-12-17 CN CN202011496196.XA patent/CN112581301B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107240102A (zh) * | 2017-04-20 | 2017-10-10 | 合肥工业大学 | 基于深度学习算法的恶性肿瘤计算机辅助早期诊断方法 |
| CN109190581A (zh) * | 2018-09-17 | 2019-01-11 | 金陵科技学院 | 图像序列目标检测识别方法 |
| CN110225264A (zh) * | 2019-05-30 | 2019-09-10 | 石河子大学 | 无人机近地航拍检测农田残膜的方法 |
| CN111652217A (zh) * | 2020-06-03 | 2020-09-11 | 北京易真学思教育科技有限公司 | 文本检测方法、装置、电子设备及计算机存储介质 |
| CN111652218A (zh) * | 2020-06-03 | 2020-09-11 | 北京易真学思教育科技有限公司 | 文本检测方法、电子设备及计算机可读介质 |
| CN111798464A (zh) * | 2020-06-30 | 2020-10-20 | 天津深析智能科技有限公司 | 基于深度学习的淋巴瘤病理图像智能识别方法 |
| CN111915629A (zh) * | 2020-07-06 | 2020-11-10 | 天津大学 | 基于边界检测的超像素分割方法 |
| CN111860504A (zh) * | 2020-07-20 | 2020-10-30 | 青岛科技大学 | 基于深度学习的视觉多目标跟踪方法及装置 |
| CN112085725A (zh) * | 2020-09-16 | 2020-12-15 | 塔里木大学 | 基于启发式迭代算法的残膜残留量检测方法及预警系统 |
Non-Patent Citations (1)
| Title |
|---|
| "基于无人机遥感影像的收获期后残膜识别方法";吴雪梅 等;《农业机械学报》;第51卷(第8期);189-195 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112581301A (zh) | 2021-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111259809B (zh) | 基于DANet的无人机海岸线漂浮垃圾巡检系统 | |
| CN111553245A (zh) | 基于机器学习算法和多源遥感数据融合的植被分类方法 | |
| CN111582234B (zh) | 基于uav和深度学习的大范围油茶林果智能检测与计数方法 | |
| CN113392775A (zh) | 一种基于深度神经网络的甘蔗幼苗自动识别与计数方法 | |
| CN110263706A (zh) | 一种雾霾天气车载视频动态目标检测和识别的方法 | |
| CN112581301B (zh) | 一种基于深度学习的农田残膜残留量的检测预警方法及系统 | |
| CN112907520B (zh) | 基于端到端深度学习方法的单株树冠检测方法 | |
| CN105760831A (zh) | 一种基于低空航拍红外视频的行人跟踪方法 | |
| CN113469097B (zh) | 一种基于ssd网络的水面漂浮物多相机实时检测方法 | |
| CN117876874A (zh) | 基于高点监控视频的森林火灾检测和定位方法及系统 | |
| Su et al. | Detect and identify earth rock embankment leakage based on UAV visible and infrared images | |
| CN113191271A (zh) | 一种基于深度学习的堰塞坝表层颗粒物质检测方法 | |
| CN112085725B (zh) | 基于启发式迭代算法的残膜残留量检测方法及预警系统 | |
| CN117808708A (zh) | 云雾遥感影像的处理方法、装置、设备和介质 | |
| CN117173631A (zh) | 一种生物多样性的监控方法和系统 | |
| Azhar et al. | A framework for multiscale intertidal sandflat mapping: A case study in the Whangateau estuary | |
| CN116129320A (zh) | 基于视频sar的目标检测方法、系统及设备 | |
| AU2021102276A4 (en) | A Detection Method for Quantity of Residual Plastic Films Based on Heuristic Iterative Algorithm and Its Early Warning System | |
| CN113128523B (zh) | 一种基于时间序列遥感影像自动提取珊瑚礁的方法 | |
| Goncalves et al. | Identification, characterization and analysis of the Douro river plume from MERIS data | |
| CN114140428A (zh) | 基于YOLOv5的落叶松毛虫虫害检测识别方法及系统 | |
| Chen et al. | Improving fractional vegetation cover estimation with shadow effects using high dynamic range images | |
| Wang et al. | Framework to create cloud-free remote sensing data using passenger aircraft as the platform | |
| NL2030417B1 (en) | Detection and early warning method and system for residue of farmland residual plastic film based on deep learning | |
| Que et al. | Low altitude, slow speed and small size object detection improvement in noise conditions based on mixed training |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |