CN115223063A - 基于深度学习的无人机遥感小麦新品种倒伏面积提取方法及系统 - Google Patents

基于深度学习的无人机遥感小麦新品种倒伏面积提取方法及系统 Download PDF

Info

Publication number
CN115223063A
CN115223063A CN202210820978.7A CN202210820978A CN115223063A CN 115223063 A CN115223063 A CN 115223063A CN 202210820978 A CN202210820978 A CN 202210820978A CN 115223063 A CN115223063 A CN 115223063A
Authority
CN
China
Prior art keywords
wheat
lodging
area
image
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210820978.7A
Other languages
English (en)
Other versions
CN115223063B (zh
Inventor
臧贺藏
申华磊
李国强
苏歆琪
周萌
刘栋
郑国清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute Of Agricultural Economics And Information Henan Academy Of Agricultural Sciences
Original Assignee
Institute Of Agricultural Economics And Information Henan Academy Of Agricultural Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute Of Agricultural Economics And Information Henan Academy Of Agricultural Sciences filed Critical Institute Of Agricultural Economics And Information Henan Academy Of Agricultural Sciences
Priority to CN202210820978.7A priority Critical patent/CN115223063B/zh
Publication of CN115223063A publication Critical patent/CN115223063A/zh
Application granted granted Critical
Publication of CN115223063B publication Critical patent/CN115223063B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Abstract

本发明属于对地作物数据识别技术领域，特别涉及一种基于深度学习的无人机遥感小麦新品种倒伏面积提取方法及系统，利用搭载有影像传感器的无人机采集小麦影像数据，并对采集的小麦影像数据进行裁剪；利用已训练的Attention_U2‑Net分割模型对裁剪后的小麦影像数据进行语义分割，提取出小麦影像数据中的倒伏区域；通过统计掩模图中倒伏区域像素点数目，依据像素点与面积之间换算映射关系来得到影像数据中小麦实际倒伏面积。本发明利用深层神经网络Attention_U2‑Net来实现倒伏区域细粒度分割及面积估算，能够满足不同光照、分辨率以及不同小麦新品种倒伏区域自动分割，能够准确提取出小麦新品种倒伏面积，可满足麦田环境下的高通量作业需求，为后续确定受灾面积及评估损失提供技术支撑。

Description

基于深度学习的无人机遥感小麦新品种倒伏面积提取方法及 系统
技术领域
本发明属于对地作物数据识别技术领域，特别涉及一种基于深度学习的无人机遥感小麦新品种倒伏面积提取方法及系统。
背景技术
小麦作为河南省主要粮食作物，连续5年播种面积仍然稳定在8500万亩以上，占全国小麦种植总面积近1/4，总产750.63亿斤，肩负着抗稳我国粮食安全重任。倒伏是制约小麦品种产量的主要因素，近年来由于台风天气偏多，暴风雨时有发生，对小麦产量影响极大，严重时减产可达50％。及时准确地提取小麦新品种倒伏面积，可为灾后确定受灾面积及评估损失提供技术支撑。
倒伏是制约小麦品种产量的主要因素，及时准确的测定倒伏面积为灾后确定受灾面积及评估损失提供技术支撑。在实际大田环境中，针对倒伏程度不同、倒伏区域不均匀、倒伏区域广等特点，传统的倒伏面积测量方式仍然普遍人工测量倒伏面积，存在主观性强、随机性强、不能准确定量测量具体倒伏面积等，导致研究人员费时费力、效率低等缺点。随着遥感技术的兴起，遥感测量法利用遥感影像中不同纹理，光谱反射率，色彩特征等进行特征融合并利用最大似然法对图像进行监督分类提取倒伏面积。但这种方式，在倒伏程度不高，特征不明显时准确率不足。近年来，人工智能领域逐步向农业领域扩展，对于高分遥感影像，通常需要进行下采样或裁剪，前者由于压缩分辨率而丢失细节信息，而后者缺少全局特征。
发明内容
为此，本发明提供一种基于深度学习的无人机遥感小麦新品种倒伏面积提取方法及系统，实现倒伏区域细粒度分割及面积估算，可以满足不同光照、分辨率以及不同区域小麦倒伏区域自动分割，便于实际场景应用。
按照本发明所提供的设计方案，提供一种基于深度学习的无人机遥感小麦新品种倒伏面积提取方法，包含如下内容：
利用搭载有影像传感器的无人机采集小麦影像数据，并对采集的小麦影像数据进行裁剪；
利用已训练的Attention_U2-Net分割模型对裁剪后的小麦影像数据进行语义分割，提取出影像数据中的倒伏区域，其中，Attention_U2-Net分割模型将输入的小麦倒伏影像裁剪数据映射到隐层特征空间来捕获小麦倒伏影像中相应尺度图像特征信息，通过对捕获的图像特征信息进行上采样和相邻特征层级联，并利用卷积和线性插值及通道融合来获取影像数据倒伏区域的掩模图；
通过统计掩模图中倒伏区域像素点数目，依据像素点数目与面积之间换算映射关系来得到影像数据中小麦实际倒伏面积。
作为本发明中基于深度学习的无人机遥感小麦新品种倒伏面积提取方法，进一步地，利用搭载有GPS/GLONASS双模定位系统的无人机在多个规划航线上来采集预设时间段及环境因素下的小麦倒伏影像数据，且在采集过程中设定在等时间间隔内利用影像传感器拍照采集相应航线内的小麦影像。
作为本发明中基于深度学习的无人机遥感小麦新品种倒伏面积提取方法，进一步，数据采集过程中，将影像数据的图像裁剪为固定比例、边缘重叠且预设分辨率大小的图像，并同时记录重叠区域及该重叠区域长宽数值。
作为本发明中基于深度学习的无人机遥感小麦新品种倒伏面积提取方法，进一步，Attention_U2-Net分割模型采用由编码器、解码器和显著图融合模块组成的嵌套U型网络架构，并利用通道注意力机制对提取的小麦倒伏影像相邻图像特征层进行级联，使用Non-local注意力机制计算输入的小麦倒伏影像图像特征中任意两个位置之间的交互信息。
作为本发明基于深度学习的无人机遥感小麦新品种倒伏面积提取方法，进一步地，通过样本数据对Attention_U2-Net分割模型进行训练和评估获取已训练的模型结构，其中，将不同航迹下采集的小麦无遮挡数据作为样本数据中用于模型训练的训练样本和用于模型评估的测试样本，且在训练样本和测试样本中将采集数据中的小麦倒伏区域作为前景、其余区域作为背景来进行人工标注，将标注后的小麦倒伏数据转换为二值图，以该二值图作为样本数据的标签。
作为本发明基于深度学习的无人机遥感小麦新品种倒伏面积提取方法，进一步地，在进行模型训练和评估时，首先对训练样本和测试样本进行数据预处理，该数据预处理至少包含：数据格式转换及数据增强。
作为本发明基于深度学习的无人机遥感小麦新品种倒伏面积提取方法，进一步地，利用样本数据对Attention_U2-Net分割模型进行训练和评估的目标损失函数表示为：
Figure BDA0003744414500000021
Figure BDA0003744414500000022
其中，M为嵌套Attention_U-Net层数，m为当前嵌套数，
Figure BDA0003744414500000023
为第m层loss项对应权重值，
Figure BDA0003744414500000024
为第m层loss值，ξf为特征融合后多掩膜图loss值，wf为特征融合后loss项对应权重值。
作为本发明基于深度学习的无人机遥感小麦新品种倒伏面积提取方法，进一步地，依据目标损失函数对Attention_U2-Net分割模型完成多轮次训练，在训练过程中，通过倒伏区域特征矩阵和非倒伏区域特征矩阵之间的差异性来捕获小麦倒伏图像特征。
作为本发明基于深度学习的无人机遥感小麦新品种倒伏面积提取方法，进一步地，利用已训练的Attention_U2-Net模型对待提取目标范围内的小麦倒伏影像数据进行语义分割时，依据语义的可解释性将每个像素链接到类标签，根据每个像素类别概率取概率最高值生成特征图，依据特征图内每一像素点概率是否大于预设阈值来进行二值化处理生成掩膜图。
进一步地，本发明还提供一种基于深度学习的无人机遥感小麦新品种倒伏面积提取系统，包含：数据采集模块、语义分割模块和面积提取模块，其中，
数据采集模块，用于利用搭载有影像传感器的无人机采集小麦影像数据，并对采集的小麦影像数据进行裁剪；
语义分割模块，用于利用已训练的Attention_U2-Net分割模型对裁剪后的小麦倒伏影像数据进行语义分割，提取出影像数据中的倒伏区域，其中，Attention_U2-Net分割模型将输入的小麦倒伏影像裁剪数据映射到隐层特征空间来捕获小麦倒伏影像中相应尺度图像特征信息，通过编码器下采样提取特征，对编码器输出进行级联并上采样至原分辨率生成掩膜图；
面积提取模块，用于通过统计掩模图中倒伏区域像素点数目，依据像素点数目与面积之间换算映射关系得到影像数据中小麦实际倒伏面积。
本发明的有益效果：
1、本发明能够采用下采样和裁剪两种策略对无人机遥感小麦新品种倒伏区域进行分割；并为了提高困难样本的检测率，利用深层神经网络Attention_U2-Net，其移植U2-Net网络并使用改进注意力机制优化级联模式，利用Non-local替代大步长的空洞卷积使模型，能从深层和浅层捕获更多的局部细节信息和全局语义信息；然后融合所有中间层的Focal损失，在每一层上更好的梳理样本分配不均和难易不平衡等的问题，以提高小麦倒伏分割网络模型的分割精度。
2、本发明基于无人机来实现高通量倒伏区域识别，识别精度高，能识别细微倒伏区域，移植后的网络通过采用裁剪方式，对小麦倒伏数据集的语义分割F1值为84.30％。改进后的Attention_U2-Net分割小麦倒伏区域，其F1值可达87.95％。为了对模型实际性能进行评估，通过实验数据对倒伏区域进行人工标注并进行地物关系映射，测得标注倒伏面积为0.40hm2，非倒伏面积为3.0hm2。Attention_U2-Net检测倒伏面积为0.42hm2，其中准确面积为0.37hm2；检测非倒伏面积为2.98hm2，其中准确面积为2.94hm2，准确率为97.25％。通过与FastFCN、U-Net、FCN、SegNet、DeepLabv3主流神经网络模型对比，Attention_U2-Net具有最高的准确率及F1值，表明本案方案中的Attention_U2-Net模型在小麦新品种倒伏区域检测应用中的准确性和有效性。
3、结合模型对比的实验，通过实验数据能够表明，现有采用裁剪方法处理小麦新品种倒伏数据，可能导致小麦新品种倒伏区域的语义信息丢失，且训练难度大；现有采用下采样方法通过浅层网络可以兼顾训练速度和训练效果，但只能适用于区域大、倒伏程度严重的情况，准确率较裁剪方法整体偏低；而本案中Attention_U2-Net分割模型采用裁剪方法可以完成高难度训练任务且不显著占用计算资源，能够准确提取出小麦新品种倒伏面积，可以满足麦田环境下的高通量作业需求，为后续确定受灾面积及评估损失提供技术支撑。
附图说明：
图1为实施例中基于深度学习的无人机遥感小麦新品种倒伏面积提取流程示意；
图2为实施例中试验研究区位置示意；
图3为实施例中无人机自动规划航线图示意；
图4为实施例中小麦倒伏图像分割策略示意；
图5为实施例中Attention_U2-Net网络结构示意；
图6为实施例中Non-local模块和Block channel attention模块示意；
图7为实施例中训练loss图示意；
图8为实施例中下采样和裁剪方法对小范围倒伏区域分割效果示意；
图9为实施例中下采样算法实验结果定性比较示意；
图10为实施例中裁剪算法实验结果定性比较示意。
具体实施方式：
为使本发明的目的、技术方案和优点更加清楚、明白，下面结合附图和技术方案对本发明作进一步详细的说明。
本发明实施例，参见图1所示，提供一种基于深度学习的无人机遥感小麦新品种倒伏面积提取方法，包含：
S101、利用搭载有影像传感器的无人机采集小麦影像数据，并对采集的小麦影像数据进行裁剪；
S102、利用已训练的Attention_U2-Net分割模型对裁剪后的小麦影像数据进行语义分割，提取出影像数据中的倒伏区域，其中，Attention_U2-Net分割模型将输入的小麦倒伏影像裁剪数据映射到隐层特征空间来捕获小麦倒伏影像中相应尺度图像特征信息，通过编码器下采样提取特征，对编码器输出进行级联并上采样至原分辨率生成掩膜图；
S103、通过统计掩模图中倒伏区域像素点数目，依据像素点数目与面积之间换算映射关系得到影像数据中小麦实际倒伏面积。
本案实施例中，为及时准确地提取小麦新品种倒伏面积，以U2-Net为架构，利用非局部注意力(Non-local attention)机制替换步长较大的空洞卷积，扩大高层网络感受野提高不同尺寸地物识别准确率；并使用通道注意力机制改进级联方式提升模型精度，便于小麦倒伏面积提取的实际应用。
本案实施例中，可利用搭载有GPS/GLONASS双模定位系统的无人机在多个规划航线上来采集预设时间段及环境因素下的小麦倒伏影像数据，且在采集过程中设定在等时间间隔内利用影像传感器拍照采集相应航线内的小麦倒伏影像。
参见图2所示，研究区位于河南省农业科学院河南现代农业研究开发基地的小麦区域试验，地处北纬35°0’44”，东经113°41’44”，气候类型属暖温带大陆性季风气候，年平均气温为14.4℃，多年平均降雨量为549.9mm，全年日照时数2300-2600h，冬小麦—夏玉米轮作为该地区的主要种植模式。参考国内外专家实验流程，并进行可见光影像数据预处理，例如，Zhao等采集了7.97公顷可见光数据分辨率大小为4000×3000像素；Zhang等使用5472×3068像素摄像机，测试面积为372个小区，航向重叠度及旁向重叠度为80％；Mdya等使用1280×960像素多光谱相机，共拍摄5个波段数据，航向重叠度及旁向重叠度为80％；Song等使用250张4000×3000分辨率RGB数据，航向重叠度为85％，旁向重叠度为70％。以上实验风速均小于3级，均采用无人机自动航路规划。根据国内外专家经验结合本案实际研究情况，实验过程中可采用大疆精灵4Pro无人机，轴距350mm，相机像素为2000万像素，影像传感器为1英寸CMOS，镜头参数为FOV 84°，8.8mm/24mm(35mm格式等效)，光圈f/2.8-f/11，并搭载GPS/GLONASS双模定位，拍摄照片分辨率大小为5472像素×3078像素，宽高比为16:9。时间为2020年5月14日，此时研究区内小麦处于灌浆期。影像采集时间为上午10：00，天气晴朗无云，垂直拍摄，飞行速度3m/s，飞行时长25min，航向重叠度为80％，旁向重叠度为80％，相机拍照模式为等时间隔拍照，最终采集700幅原始图像。飞行采用大疆无人机自动规划的航线，共规划5条航线，航拍完成后采用自动返航的方式降落，如图3所示。
为实现小麦倒伏区域细粒度分割，使倒伏区域更加精确，本实验可设置飞行高度为30米。飞行高度低于30米，无人机可能与建筑碰撞，而飞行高度高于30米，则无法获得较高图像分辨率。无论无人机飞行高度和天气条件等变量如何变化，只要在可控操作的环境下，通过合适的训练及参数调整，本案中分割模型均具有一定的有效性和准确性。图4为小麦倒伏图像两种分割策略，其中，(a)、(b)、(c)分别为下采样法原图像、下采样法掩模图及下采样法标注图，(d)、(e)、(f)分别为裁剪法原图像、裁剪法掩模图、裁剪法标注图，由此可以看出，裁剪法注重局部特征，下采样法注重全局特征。
本案实施例中，进一步，数据采集过程中，将影像数据的图像裁剪为固定比例、边缘重叠且预设分辨率大小的图像，并同时记录重叠区域及该重叠区域长宽数值。
实验过程中，使用原数据集700幅图像，通过对样本中的测试集进行去重，训练集进行优选，最终筛选出250幅原始数据图像。深度学习通常需要大量数据，本实验采用的高通量数据分辨率为5472像素×3078像素，深度学习通常使用数据大小仅为512像素×512像素。如果使用滑动窗口进行裁剪，单幅图像可裁剪出64张完全无重复图像，经过随机位置裁剪，单幅图像可得到100张以上有效数据。250幅原始图像经过数据处理后可得25000张有效数据，满足了深度学习的数据量要求。无人机飞行过程中，由于同一小区无人机拍摄角度和光影不同，不同航道拍摄相同位置图像会有差异，因此，同样存在训练价值。为了均衡数据，本实验选取第1、2、3号航线图像作为训练集，5号航线图像作为测试集，并将数据划分为下采样组和裁剪组，具体步骤可设计如下：
(1)筛选出无人机姿态平稳、拍摄清晰无遮挡数据，用于深度学习训练。
(2)人工标注：使用Labelme插件将小麦中度、重度倒伏区域标注为前景，其余区域标注为背景，并转换成二值图像作为训练集和测试集的标签。
(3)下采样组和裁剪组：下采样组将所有训练样本和测试样本等比例下采样至342像素×342像素，之后通过背景填充将图像扩充至512像素×512像素。裁剪组将测试样本裁剪为固定比例、边缘重叠和图像分辨率为512像素×512像素，同时记录重叠区域的长和宽。
(4)数据增强：对下采样组训练样本进行无损变换，即水平或竖直随机旋转，以提高模型的鲁棒性。对裁剪组训练样本进行随机剪裁，剪裁区域大小为512像素×512像素，以在每轮训练中生成不同的训练样本。
(5)图像拼接和恢复：将裁剪组掩膜图按记录的重叠区域长和宽进行合并，最终拼接成5472像素×3078像素的分割结果图。将下采样组掩膜图裁剪为342像素×342像素，并等比例放大复原。
(6)精度验证：对比分割结果(Mask)图和标注(Ground truth)图，计算模型指标。同时，通过地物关系与遥感图像映射，计算标注面积与分割面积，从而求出有效面积与准确率。
本案实施例中，通过样本数据对Attention_U2-Net分割模型进行训练和评估来获取已训练的模型结构，其中，将不同航迹下采集的小麦无遮挡数据作为样本数据中用于模型训练的训练样本和用于模型评估的测试样本，且在训练样本和测试样本中将采集数据中的小麦倒伏区域作为前景、其余区域作为背景来进行人工标注，将标注后的小麦数据转换为二值图，以该二值图作为样本数据的标签。并在进行模型训练和评估时，可首先对训练样本和测试样本进行数据预处理，该数据预处理至少包含：数据格式转换及数据增强。
人工智能算法是通过现成已有的数据来识别新的数据。可见光图像数据为R、G、B三通道图像，多光谱为多通道图像。若图像大小为500像素×500像素，则可见光图像为500×500×3大小数字矩阵。倒伏区域的数字矩阵与非倒伏区域的数字矩阵有差异性，通过合理的模型结构对大量倒伏图像进行学习，如图4所示，左图为源数据，中图为学习中的数据，右图为人工标注数据，每一次训练学习中的数据与标注图像进行对比，确定图像中每一个像素点判定的正误，从而进一步优化模型的参数。经过多轮次的训练，得出一个权重矩阵，为最终训练结果。当实际应用时，只需将模型权重与待测试图像输入到模型，模型将数据裁成若干小块后进行预测，通过预测可得到每一个像素点的概率，可通过设定一个合适的阈值将每一个像素点分为黑白两色形成每一个小块的掩膜图，将多个小块拼接得到整张图像的掩膜图。
进一步地，本案实施例中，Attention_U2-Net分割模型采用由编码器、解码器和显著图融合模块组成的嵌套U型网络架构，并利用通道注意力机制对提取的小麦倒伏影像相邻图像特征层进行级联，使用Non-local注意力机制计算输入的小麦倒伏影像图像特征中任意两个位置之间的交互信息。
中、重度小麦倒伏区域特征明显，U2-Net是一种两层嵌套的U形结构的深度神经网络，可用于显著性目标检测，该网络能够捕捉更多的上下文信息，并融合不同尺度的感受野特征，增加了网络深度，但没有显著提高计算代价。具体而言，U2-Net是一个两层嵌套的U型网络架构，其外层是由11个基本模块组成的U型结构，由六级编码器、五级解码器和显著图融合模块三部分组成，其中每一个模块由一个基于残差的U-Net块填充。因此，嵌套的U型网络结构可以更有效的提取每个模块内的多尺度特征和聚集阶段的多层次特征。虽然原始的U2-Net已经具备优异的性能，但是为了对高通量小麦倒伏面积的特征特异性进行提取，本案实施例中，对U2-Net做出进一步改进：引入通道注意力机制和一种Non-local注意力机制，构建一种新的小麦倒伏面积分割模型——Attention_U2-Net，该模型在进一步挖掘现有语义特征的同时，能够优化网络结构。
如图5所示，Attention_U2-Net由两层嵌套的U型结构组成。本案方案汇总，改进了U2-Net中的RSU，使用基于通道注意力机制的级联代替了U2-Net本身的级联，在每个Block层使用Non-local机制代替U2-Net中的空洞卷积，并使用改进的Multi focal loss缓解训练样本难易程度不均和类别不平衡问题。
U2-Net使用了大量的空洞卷积，在尽量不损失特征信息的前提下，增加感受野。对于显著性目标需要大感受野，而裁剪后数据语义混乱且倒伏面积随机。由于空洞卷积的卷积核不连续，导致特征空间上下文信息可能丢失；频繁使用大步长空洞卷积可能增加小麦倒伏区域边缘识别难度。同时，空洞卷积使得卷积结果之间缺乏相关性，从而产生局部信息丢失。
如图6中的(a)所示，Non-local机制是一种Self-attention机制。
Figure BDA0003744414500000081
式中x——输入特征图
i——输出位置的响应
j——全局位置的响应
f——计算i和j的相似度
g——计算特征图在j位置的表示
C——归一化函数，保证变换前后信息不变
Non-local可以通过计算任意两个位置之间的交互直接捕捉远程依赖，而不用局限于相邻点，相当于构造了一个和特征图谱尺寸一样大的卷积核，从而保留更多信息。Attention_U2-Net在每一个RSU块里保留了少量扩张率低的空洞卷积用于提取上下文信息特征，广泛使用Non-local模块替换了扩张率大的空洞卷积，同时Non-local模块也替代了整个U2-Net网络底层，增强了网络模型的特征提取能力，同时减少了计算量。
U2-Net采用级联的方式将上采样Block和下采样Block结合，产生多个通道，如图6中的(b)所示，通过Block Channel attention使神经网络能够自动为融合后多个Block自动分配合适的权重，并采用全局平均池化和最大池化两种方式，分别获取Block不同的语义特征，利用残差结构进行信息融合。
经过随机裁剪的样本，可能存在样本难易度和类别分配不均衡问题，从训练组数据每个航道随机抽取144幅裁剪后图像用于类别统计，如表1所示。
表1随机抽样正负样本分布
Figure BDA0003744414500000082
Figure BDA0003744414500000091
单幅图像倒伏面积>30％样本约占总体样本的24％，以至于大部分裁剪图像中无倒伏面积，正负样本比例失衡，样本难易度同样存在比例不均衡问题。
表2随机抽样样本难易度分布
Figure BDA0003744414500000092
由表2可以看出，可将倒伏面积<10％的样本以及边缘特征不明显的样本定义为高难度样本，其它倒伏样本定义为低难度样本。虽然高难度样本总占比约为9.31％，但倒伏样本中高难度样本占比高达27.56％，这并不意味着能够抛弃高难度样本而专注于提升低难度样本的分割准确率。实验中，基于U2-Net的Multi bce loss和Focal loss均涉及适用于小麦倒伏面积分割的损失函数：Multi focal loss。
Figure BDA0003744414500000093
式中M——嵌套U-Net层数
m——当前嵌套数
Figure BDA0003744414500000094
——第m层loss项对应权重值
Figure BDA0003744414500000095
——第m层loss值
ξf——特征融合后多掩膜图的loss值
wfuse——特征融合后loss项对应权重值
对于每一项，可使用focal loss来计算损失：
ξ＝-αt(1-pt)rlog(pt) (3)
式中pt——每个类别分类概率
r——样本难易程度加权值，用于控制难易度不均衡
αt——正负样本加权值，用于控制正负样本不均衡
使用Focal loss可以通过设置不同权重以抑制简单样本、并解决正负样本比例严重失衡的问题。Multi focal loss降低了大量简单负样本在训练中所占的权重，极大程度上抑制了裁剪带来的噪声；该损失函数控制了难易分类样本的权重，并将每一层掩膜图叠加，从而提高了模型的鲁棒性，使其更适合用于小麦倒伏面积的提取。
神经网络的卷积层处理中，卷为翻转，积为积分，实质就是现将一个函数翻转，卷为翻转，积为积分然后进行滑动叠加，函数可所示如下：
Figure BDA0003744414500000101
池化层称为欠采样或下采样，主要用于特征降维，压缩数据和参数的数量，减小过拟合，同时提高模型的容错性。
批归一化方法其目的是对神经网络中间层的输出进行标准化处理，使得中间层的输出更加稳定。通常我们会对神经网络的数据进行标准化处理，处理后的样本数据集满足均值为0，方差为1的统计分布公式如下所示：
Figure BDA0003744414500000102
神经网络中使用激活函数来加入非线性因素，提高模型的表达能力，可表示如下：
Figure BDA0003744414500000103
缩函数将输出限制在0到1之间，从而使这些函数在概率预测中非常有用，可表示如下：
Figure BDA0003744414500000104
通道相加是将两个相同大小的特征向量直接加和，具体表示如下：
Figure BDA0003744414500000105
通道叠加，即两个shape相同的特征向量进行叠加，具体表示如下：
Figure BDA0003744414500000106
本案实施例中，如图5和6所示，Attention_U2-Net模型的输入图像分辨率为512像素×512像素，输出为单通道掩膜图像。Attention_U2-Net延用U2-Net的编、解码结构，由六层编码器、五层解码器和掩膜图融合模块组成。在前五个编码阶段，Attention_U2-Net同U2-Net将其分别标记为RSU-7、RSU-6、RSU-5、RSU-4和RSU-3；其中“7”、“6”、“5”、“4”和“3”表示RSU块的高度(H)，对于高度和宽度较大的特征图，上层使用较大的H来捕获更大尺度的信息。RSU-4和RSU-3中的特征图的分辨率相对较小，进一步降低这些特征图的采样会导致裁剪区域上下文信息丢失。底层使用Non-local结构替换U2-Net大步长串联空洞卷积，降低了模型深度的同时，使其拥有更大的感受野能更好的识别边缘信息。在后五个解码阶段，Attention_U2-Net使用线性插值进行上采样，解码模块同编码器结构保持一致，但对输入特征向量进行了处理，通过级联上一层特征与同一层相同分辨率特征，经过改进的通道注意力机制进行特征融合后输入上采样块，可以更有效的保证语义信息的完整性。U2-Net采用级联的方式将上采样Block和下采样Block结合，产生多个通道，通过Block Channelattention使神经网络能够自动为融合后多个Block自动分配合适的权重，并利用全局平均池化和最大池化两种方式分别获取Block不同的语义特征，利用残差结构进行信息融合。
实施例中，通过替换空洞卷积为Non-local结构，Non-local可以通过计算任意两个位置之间的交互直接捕捉远程依赖，而不用局限于相邻点，相当于构造了一个和特征图谱尺寸一样大的卷积核，从而保留更多信息；本案方案中的在每一个RSU块里保留了少量扩张率低的空洞卷积用于提取上下文信息特征，广泛使用Non-local模块替换了扩张率大的空洞卷积，同时Non-local模块也替代了整个U2-Net网络底层，增强网络模型的特征提取能力，同时减少计算量，具体公式可表示如下：
Figure BDA0003744414500000111
Attention_U2-Net只对大步长的空洞卷积进行了替换，在每个RSU块中，Attention_U2-Net使用Non-local结构替换了大步长的空洞卷积，从而权衡模型速度和精度。掩模图融合阶段，生成掩膜图概率映射，通过3×3卷积和线性插值生成每一阶段相同分辨率的掩模图。将六个阶段的掩模图并在一起，之后通过1×1卷积层和Sigmoid函数输出最终的掩模图。
进一步地，利用已训练的Attention_U2-Net模型对待提取目标范围内的小麦影像数据进行语义分割时，依据语义的可解释性将每个像素链接到类标签，根据每个像素类别概率取概率最高值生成特征图，依据特征图内每一像素点概率是否大于预设阈值来进行二值化处理生成掩膜图。。
模型的输入为归一化的图像，输出为和原图像大小一致的概率矩阵。卷积层、池化层和激活函数层等操作是将原始数据映射到隐层特征空间，图像在模型中的存在形式为特征向量，通过上采样特征向量可使特征向量放缩为原图大小一致的特征图。通过多层卷积池化以及其他模块的作用下，通过特征向量得到一个与之相乘的权重矩阵。预测时，通过权重矩阵和预测数据可得到概率矩阵，对应每个像素点对应不同类别的概率，选取概率值最高的点即可生成最终的掩膜图，二分类情况下为0和1组成的二值图。在倒伏区域实验中，1为倒伏区域，0为非倒伏区域，即图4中的白色区域为倒伏，黑色区域为非倒伏区域。
进一步地，基于上述的方法，本发明实施例还提供一种基于深度学习的无人机遥感小麦新品种倒伏面积提取系统，包含：数据采集模块、语义分割模块和面积提取模块，其中，
数据采集模块，用于利用搭载有影像传感器的无人机采集小麦影像数据，并对采集的小麦影像数据进行裁剪；
语义分割模块，用于利用已训练的Attention_U2-Net分割模型对裁剪后的小麦影像数据进行语义分割，提取出影像数据中的倒伏区域，其中，Attention_U2-Net分割模型将输入的小麦倒伏影像裁剪数据映射到隐层特征空间来捕获小麦倒伏影像中相应尺度图像特征信息，通过对捕获的图像特征信息进行上采样和相邻特征层级联，并利用卷积和线性插值及通道融合来获取影像数据倒伏区域的掩模图；
面积提取模块，用于通过统计掩模图中倒伏区域像素点数目，依据像素点数目与面积之间换算映射关系来得到影像数据中小麦实际倒伏面积。
为验证本案方案有效性，下面结合实验数据做进一步解释说明：
实验选用intel(R)Core(TM)i7-10600 CPU@2.90GHz，GPU选择NVIDIA GeForceRTX3090，显存24GB，使用PyTorch作为深度学习框架。实验将训练集和测试集分为多个批次，遍历所有批次后完成一次迭代。优化器选择Adam，设置初始学习率为0.001，随着迭代次数提升降低学习率至0.0001。
采用查准率(Precision)、召回率(Recall)、F1值(F1-Score)和IoU(Intersectionover Union)指数评估模型性能，使用准确率量化倒伏面积提取能力。其中查准率指预测为倒伏面积占实际倒伏面积的比例；召回率表示预测倒伏面积占实际倒伏面积的比例。F1值是查准率和召回率二者的调和均值；IoU指数为倒伏面积预测面积和实际倒伏面积的重叠率；准确率指识别有效面积与提取总面积的比值。以上指标取值在0-1之间，值越大，表明评估效果越好。并设置量化倒伏面积准确率的公式，公式如下：
Figure BDA0003744414500000121
式中Lt——正确识别为倒伏小麦面积
Nt——正确识别非倒伏小麦面积
Lf——误把倒伏小麦识别为非倒伏小麦面积
Nf——未正确识别出倒伏小麦面积
Ps——倒伏面积预测准确率
1)不同分割模型训练结果
基于测试样本数据，对比Attention_U2-Net、U2-Net和主流模型FastFCN(预训练网络ResNet)、U-Net、FCN(预训练网络VGG)、SegNet、DeepLabv3的分割性能，图7为训练图像可视化进行指数平滑。采用下采样所得样本训练神经网络收敛速度快、准确率高，而采用裁剪所得训练样本的训练收敛速度慢。由于正负样本不均衡导致裁剪后训练难度增大，部分模型的决策边界偏向数量多的负样本，使得准确率波动不明显并偏高。
2)不同分割模型性能对比分析
表3不同分割模型在小麦倒伏面积提取上的评价指标
Figure BDA0003744414500000131
由表3可以看出，Attention_U2-Net的分割效果最佳。U-Net、FCN、FastFCN、SegNet等在下采样方法上性能相差较小，但在裁剪方法上多尺度适应性优势未能体现，识别准确率较低。U-Net，SegNet等浅层网络对于裁剪出的512像素×512像素掩模图误检率较高，而DeepLabv3的整体分割效果较好。说明深层网络在下采样图像上的性能和浅层网络相似，浅层网络模型对解决许多简单并有良好约束的问题非常有效。深层网络训练速度慢，内存占用高，因此可以携带更大的数据，能够实现更复杂的数据关系映射。由图8可以看出，对比下采样方法和裁剪方法，严重倒伏区域有显著的纹理和颜色特征，易于分割；小范围或轻微倒伏区域的纹理和颜色特征不明显，采用下采样后的分割效果较差。通过裁剪得到的边缘特征较为明显，能够识别难度较高样本，但模型收敛速度慢，算力需求高。
通过以上实验数据表明，采用裁剪方法处理纹理细节时，深层网络能获取更充分的上下文信息，而浅层网络采用裁剪方法时，分割结果较差。采用下采样方法分辨率损失严重，甚至无法辨别轻、中度小麦新品种倒伏面积。由于数据集中严重倒伏面积的占比较大，轻微倒伏面积占比较少，从而导致基于下采样方法的评价指标偏高。由于人工标注误差，整体准确率偏低。移植后U2-Net的整体性能略高于DeepLabv3，同时处理裁剪图像时的性能较其它模型有较大提升。由于Attention_U2-Net基于裁剪方式进行改进，从而更关心局部特征，使用下采样方法处理数据不能很好的提取全局特征导致模型效能交叉。使用裁剪方法时Attention_U2-Net的计算成本略高于原U2-Net，但极大地增强了特征提取能力和泛化能力，F1值提高7.18个百分点，识别效能有效提高。
3)不同模型面积提取效能分析
为了通过掩模图像计算实际区域倒伏面积，实验以实地测量方式测得一个小区面积为8m×1.5m，对应区域遥感图像像素数为356400个。通过计算可得29700个像素对应实际面积为1m2，从而求出标注面积与提取面积。
表4裁剪方法各模型提取面积准确率对比
Figure BDA0003744414500000141
表5下采样方法各模型提取面积准确率对比
Figure BDA0003744414500000142
Figure BDA0003744414500000151
由表4与表5可看出，非倒伏区域面积大、识别难易度低、误检率低；倒伏区域面积小，但部分倒伏区域识别难度大、误检率高。大部分模型使用裁剪方法提取倒伏面积效能较下采样方法有所提升。其中，使用裁剪方法时Attention_U2-Net提取倒伏区域有效面积最接近标注面积，且误检面积较其它方法最低，能够检测出其它模型无法检测出的困难样本，体现出在复杂大田环境下准确判断倒伏区域的有效性，具有更高的实用价值。
4)不同分割模型定性比较
由图9和10可以看出，预测图中白色区域为判断倒伏小麦的高权重区域，黑色为低权重区域。从图9可看出，U2-Net和Attention_U2-Net可以更好地实现裁剪后小麦倒伏面积提取，其中Attention_U2-Net的验证结果更接近标注图，U-Net和SegNet的验证结果较差；Attention_U2-Net、U2-Net和浅层网络训练结果差距不大，但算力消耗较大。综合图9和10的分割结果，采用下采样方法进行小麦倒伏面积分割结果较裁剪方法的误差增大；而使用裁剪方法的训练难度增高。
通过以上数据表明，本案方案中Attention_U2-Net采用裁剪方法可以完成高难度训练任务且不显著占用计算资源，能够准确提取出小麦新品种倒伏面积，可以满足麦田环境下的高通量作业需求，为后续确定受灾面积及评估损失提供技术支撑。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本发明的范围。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
结合本文中所公开的实施例描述的各实例的单元及方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已按照功能一般性地描述了各示例的组成及步骤。这些功能是以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域普通技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不认为超出本发明的范围。
本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如：只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现，相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种基于深度学习的无人机遥感小麦新品种倒伏面积提取方法，其特征在于，包含如下内容：
利用搭载有影像传感器的无人机采集小麦影像数据，并对采集的小麦影像数据进行裁剪；
利用已训练的Attention_U2-Net分割模型对裁剪后的小麦影像数据进行语义分割，提取出影像数据中的小麦倒伏区域，其中，Attention_U2-Net分割模型将输入的小麦影像裁剪数据映射到隐层特征空间来捕获小麦影像中相应尺度图像特征信息，通过编码器下采样提取特征，对编码器输出进行级联并上采样至原分辨率生成掩膜图；
通过统计掩模图中倒伏区域像素点数目，依据像素点数目与面积之间换算映射关系得到影像数据中小麦实际倒伏面积。
2.根据权利要求1所述的基于深度学习的无人机遥感小麦新品种倒伏面积提取方法，其特征在于，利用搭载有GPS/GLONASS双模定位系统的无人机在多个规划航线上来采集预设时间段及环境因素下的小麦倒伏影像数据，且在采集过程中设定在等时间间隔内利用影像传感器拍照采集相应航线内的小麦倒伏影像。
3.根据权利要求1或2所述的基于深度学习的无人机遥感小麦新品种倒伏面积提取方法，其特征在于，数据采集过程中，将影像数据的图像裁剪为固定比例、边缘重叠且预设分辨率大小的图像，并同时记录重叠区域及该重叠区域长宽数值。
4.根据权利要求1所述的基于深度学习的无人机遥感小麦新品种倒伏面积提取方法，其特征在于，Attention_U2-Net分割模型采用由编码器、解码器和显著图融合模块组成的嵌套U型网络架构，并利用通道注意力机制对提取的小麦倒伏影像相邻图像特征层进行级联，使用Non-local注意力机制计算输入的小麦倒伏影像图像特征中任意两个位置之间的交互信息。
5.根据权利要求1或4所述的基于深度学习的无人机遥感小麦新品种倒伏面积提取方法，其特征在于，通过样本数据对Attention_U2-Nett分割模型进行训练和评估来获取已训练的模型结构，其中，将不同航迹下采集的小麦无遮挡数据作为样本数据中用于模型训练的训练样本和用于模型评估的测试样本，且在训练样本和测试样本中将采集数据中的小麦倒伏区域作为前景、其余区域作为背景来进行人工标注，将标注后的小麦倒伏数据转换为二值图，以该二值图作为样本数据的标签。
6.根据权利要求5所述的基于深度学习的无人机遥感小麦新品种倒伏面积提取方法，其特征在于，在进行模型训练和评估时，首先对训练样本和测试样本进行数据预处理，该数据预处理至少包含：等比例采样、背景填充及数据增强。
7.根据权利要求5所述的基于深度学习的无人机遥感小麦新品种倒伏面积提取方法，其特征在于，利用样本数据对Attention_U2-Net分割模型进行训练和评估的目标损失函数表示为：
Figure FDA0003744414490000021
其中，M为嵌套U-Net层数，m为当前嵌套数，
Figure FDA0003744414490000022
为第m层loss项对应权重值，
Figure FDA0003744414490000023
为第m层loss值，ξf为特征融合后多掩膜图loss值，wf为特征融合后loss项对应权重值。
8.根据权利要求7所述的基于深度学习的无人机遥感小麦新品种倒伏面积提取方法，其特征在于，依据目标损失函数对Attention_U2-Net分割模型完成多轮次训练，在训练过程中，通过倒伏区域特征矩阵和非倒伏区域特征矩阵之间的差异性来捕获小麦倒伏图像特征。
9.根据权利要求1所述的基于深度学习的无人机遥感小麦新品种倒伏面积提取方法，其特征在于，利用已训练的模型Attention_U2-Net对待提取目标范围内的小麦影像数据进行语义分割时，依据语义的可解释性将每个像素链接到类标签，根据每个像素类别概率取概率最高值生成特征图，依据特征图内每一像素点概率是否大于预设阈值来进行二值化处理，将二值化处理后的像素点按顺序拼接获取对应输入的掩模图。
10.一种基于深度学习的无人机遥感小麦新品种倒伏面积提取系统，其特征在于，包含：数据采集模块、语义分割模块和面积提取模块，其中，
数据采集模块，用于利用搭载有影像传感器的无人机采集小麦影像数据，并对采集的小麦影像数据进行裁剪；
语义分割模块，用于利用已训练的Attention_U2-Net分割模型对裁剪后的小麦影像数据进行语义分割，提取出影像数据中的倒伏区域，其中，Attention_U2-Net分割模型将输入的小麦倒伏影像裁剪数据映射到隐层特征空间来捕获小麦倒伏影像中相应尺度图像特征信息，通过编码器下采样提取特征，对编码器输出进行级联并上采样至原分辨率生成掩膜图；
面积提取模块，用于通过统计掩模图中倒伏区域像素点数目，依据像素点数目与面积之间换算映射关系得到影像数据中小麦实际倒伏面积。
CN202210820978.7A 2022-07-13 2022-07-13 基于深度学习的无人机遥感小麦新品种倒伏面积提取方法及系统 Active CN115223063B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210820978.7A CN115223063B (zh) 2022-07-13 2022-07-13 基于深度学习的无人机遥感小麦新品种倒伏面积提取方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210820978.7A CN115223063B (zh) 2022-07-13 2022-07-13 基于深度学习的无人机遥感小麦新品种倒伏面积提取方法及系统

Publications (2)

Publication Number Publication Date
CN115223063A true CN115223063A (zh) 2022-10-21
CN115223063B CN115223063B (zh) 2023-05-30

Family

ID=83611351

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210820978.7A Active CN115223063B (zh) 2022-07-13 2022-07-13 基于深度学习的无人机遥感小麦新品种倒伏面积提取方法及系统

Country Status (1)

Country Link
CN (1) CN115223063B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115641444A (zh) * 2022-12-23 2023-01-24 中国科学院空天信息创新研究院 小麦倒伏检测方法、装置、设备及介质
CN116452901A (zh) * 2023-06-19 2023-07-18 中国科学院海洋研究所 基于深度学习的遥感图像海洋养殖区自动化提取方法
CN117011713A (zh) * 2023-08-08 2023-11-07 中国水利水电科学研究院 一种基于卷积神经网络的田块信息提取方法
CN117193347A (zh) * 2023-11-08 2023-12-08 北京市农林科学院智能装备技术研究中心 无人机飞行高度控制方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020149201A (ja) * 2019-03-12 2020-09-17 コニカミノルタ株式会社 作物の倒伏リスク診断に用いる生育パラメータの測定推奨スポット提示方法、倒伏リスク診断方法、および情報提供装置
CN113496494A (zh) * 2021-06-17 2021-10-12 北京理工大学 基于drr模拟数据生成的二维骨骼分割方法及装置
CN113505842A (zh) * 2021-07-21 2021-10-15 中国科学院空天信息创新研究院 一种适用于大尺度区域遥感影像城市建筑物自动提取方法
CN113989296A (zh) * 2021-09-14 2022-01-28 南京农业大学 基于改进U-net网络的无人机麦田遥感图像分割方法
WO2022052367A1 (zh) * 2020-09-10 2022-03-17 中国科学院深圳先进技术研究院 一种用于遥感图像分类的神经网络优化方法、终端以及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020149201A (ja) * 2019-03-12 2020-09-17 コニカミノルタ株式会社 作物の倒伏リスク診断に用いる生育パラメータの測定推奨スポット提示方法、倒伏リスク診断方法、および情報提供装置
WO2022052367A1 (zh) * 2020-09-10 2022-03-17 中国科学院深圳先进技术研究院 一种用于遥感图像分类的神经网络优化方法、终端以及存储介质
CN113496494A (zh) * 2021-06-17 2021-10-12 北京理工大学 基于drr模拟数据生成的二维骨骼分割方法及装置
CN113505842A (zh) * 2021-07-21 2021-10-15 中国科学院空天信息创新研究院 一种适用于大尺度区域遥感影像城市建筑物自动提取方法
CN113989296A (zh) * 2021-09-14 2022-01-28 南京农业大学 基于改进U-net网络的无人机麦田遥感图像分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XUEBIN QIN,: "U 2 -Net: Going Deeper with Nested U-Structure for Salient Object Detection", 《ARXIV》, pages 1 - 15 *
殷晓航: "基于 U-Net 结构改进的医学影像分割技术综述", 《软件学报》, pages 519 - 550 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115641444A (zh) * 2022-12-23 2023-01-24 中国科学院空天信息创新研究院 小麦倒伏检测方法、装置、设备及介质
CN116452901A (zh) * 2023-06-19 2023-07-18 中国科学院海洋研究所 基于深度学习的遥感图像海洋养殖区自动化提取方法
CN116452901B (zh) * 2023-06-19 2023-09-15 中国科学院海洋研究所 基于深度学习的遥感图像海洋养殖区自动化提取方法
CN117011713A (zh) * 2023-08-08 2023-11-07 中国水利水电科学研究院 一种基于卷积神经网络的田块信息提取方法
CN117011713B (zh) * 2023-08-08 2024-05-07 中国水利水电科学研究院 一种基于卷积神经网络的田块信息提取方法
CN117193347A (zh) * 2023-11-08 2023-12-08 北京市农林科学院智能装备技术研究中心 无人机飞行高度控制方法、装置、电子设备及存储介质
CN117193347B (zh) * 2023-11-08 2024-03-05 北京市农林科学院智能装备技术研究中心 无人机飞行高度控制方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN115223063B (zh) 2023-05-30

Similar Documents

Publication Publication Date Title
CN109993082B (zh) 卷积神经网络道路场景分类与道路分割方法
CN111738124B (zh) 基于Gabor变换和注意力的遥感图像云检测方法
CN115223063A (zh) 基于深度学习的无人机遥感小麦新品种倒伏面积提取方法及系统
CN109325960B (zh) 一种红外云图气旋分析方法及分析系统
CN113780296B (zh) 基于多尺度信息融合的遥感图像语义分割方法及系统
CN110728658A (zh) 一种基于深度学习的高分辨率遥感影像弱目标检测方法
KR102328734B1 (ko) 이미지를 분석하기 위해, 딥러닝 네트워크에 이용하기 위한 트레이닝 이미지에 대한 라벨링 신뢰도를 자동으로 평가하기 위한 방법 및 이를 이용한 신뢰도 평가 장치
CN112836713A (zh) 基于图像无锚框检测的中尺度对流系统识别与追踪方法
CN110781756A (zh) 基于遥感图像的城市道路提取方法及装置
CN114898352A (zh) 一种同时实现图像去雾与车牌检测的方法
CN113343563B (zh) 基于样本自动选择与地表形变速率的滑坡易发性评价方法
CN113887515A (zh) 一种基于卷积神经网络的遥感滑坡识别方法及系统
CN110991430B (zh) 基于遥感图像的地物识别及覆盖率计算方法及系统
CN110659601B (zh) 基于中心点的深度全卷积网络遥感图像密集车辆检测方法
Biard et al. Automated detection of weather fronts using a deep learning neural network
CN112801270A (zh) 融合深度卷积与注意力机制的u形网络槽自动识别方法
WO2024087574A1 (zh) 基于全景分割的光学遥感影像海洋筏式养殖区分类方法
CN113420619A (zh) 一种遥感影像建筑物提取方法
CN113469097B (zh) 一种基于ssd网络的水面漂浮物多相机实时检测方法
CN112861802B (zh) 基于时空深度学习融合技术的农作物全自动化分类方法
CN116363610A (zh) 一种基于改进YOLOv5的航拍车辆旋转目标检测方法
CN110765900A (zh) 一种基于dssd的自动检测违章建筑方法及系统
CN115223112A (zh) 一种基于语义分割的待行区检测方法
CN111340001B (zh) 一种基于遥感影像深度学习的交通拥堵识别方法
CN112861869A (zh) 一种基于轻量级卷积神经网络的高粱倒伏图像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant