CN117611988A - 一种面向新增耕地管护属性自动识别监测方法及系统 - Google Patents
一种面向新增耕地管护属性自动识别监测方法及系统 Download PDFInfo
- Publication number
- CN117611988A CN117611988A CN202311341793.9A CN202311341793A CN117611988A CN 117611988 A CN117611988 A CN 117611988A CN 202311341793 A CN202311341793 A CN 202311341793A CN 117611988 A CN117611988 A CN 117611988A
- Authority
- CN
- China
- Prior art keywords
- module
- cultivated land
- model
- picture
- remote sensing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000012544 monitoring process Methods 0.000 title claims abstract description 38
- 238000010276 construction Methods 0.000 claims abstract description 8
- 238000001514 detection method Methods 0.000 claims description 53
- 238000012549 training Methods 0.000 claims description 44
- 230000011218 segmentation Effects 0.000 claims description 39
- 238000000605 extraction Methods 0.000 claims description 35
- 238000011176 pooling Methods 0.000 claims description 34
- 238000013145 classification model Methods 0.000 claims description 20
- 230000007246 mechanism Effects 0.000 claims description 18
- 238000012216 screening Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 16
- 238000013528 artificial neural network Methods 0.000 claims description 15
- 238000005516 engineering process Methods 0.000 claims description 14
- 230000008447 perception Effects 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 9
- 238000002372 labelling Methods 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 9
- 230000006978 adaptation Effects 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 7
- 239000002131 composite material Substances 0.000 claims description 4
- 238000012512 characterization method Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 claims description 2
- 230000010354 integration Effects 0.000 claims description 2
- 238000004422 calculation algorithm Methods 0.000 abstract description 26
- 230000004927 fusion Effects 0.000 abstract description 3
- 238000007726 management method Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 7
- 230000009286 beneficial effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000001419 dependent effect Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000015556 catabolic process Effects 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000001627 detrimental effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 239000003905 agrochemical Substances 0.000 description 1
- 238000009412 basement excavation Methods 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 208000013409 limited attention Diseases 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明构建了一种面向新增耕地管护属性自动识别监测方法及系统。涉及遥感影像的目标检测、语义分割领域以及耕地照片的图像分类,该系统包括数据集的构建模块、融合模型模块、系统结果输出模块。该系统能够自动识别和监测不同地区下新增耕地的管护属性,具有较高的准确性和可扩展性。通过此算法模型构建基于遥感影像的新增耕地管护属性自动识别与监测系统,可以很好地应用于耕地保护和农业管理领域,为耕地保护和农业管理提供有力支持。
Description
技术领域
本发明涉及遥感影像目标检测、语义分割领域以及耕地照片的图像分类,尤其涉及一种面向新增耕地管护属性自动识别监测方法及系统。
背景技术
粮食既是关系国计民生和国家经济安全的重要战略物资,也是人民群众最基本的生活资料。粮食安全问题,一直是牵动着国家民生的重要问题。粮食安全与社会的和谐、政治的稳定、经济的持续发展息息相关。完善粮食应急储备体系,确保粮食市场供应,最大限度地减少紧急状态时期的粮食安全风险,是粮食安全保障体系的重要组成部分。
保护耕地,既是保护粮食安全,也是保护农民的基本权利,耕地是农民赖以生存的基础。为了减少耕地的流失,必须要完农地管理制度,规范用地规划。如何高效监测耕地使用情况,保障耕地农用,是急需解决的问题。
难以实现高效监测的问题,主要原因在于实时监测存在着费时费力成本高,耕地范围广泛,分布地区不一,难以全量保护的问题。针对这一系列问题,基于遥感影像的人工智能识别算法技术,能够显著地节省人工审核的成本,提高耕地监测的效率,实现在大范围情况下做出精确的识别。但是目前针对耕地属性识别监测,尤其是遥感影像这一领域,与实际业务需求相符的算法研究相对较少,整体行业缺乏高效率、准确和实用的监测技术手段,难以应对以下三方面的挑战:
1)如何实现鲁棒、高效的耕地图片属性判别。耕地主要可以分为符合管制要求的旱田和水田,以及不符合管制要求的荒废或非农用耕地。耕地中种植的农作物种类不一,不同的农作物具有不同的纹理,且农作物具有复杂的纹理特征。耕地所处位置不一,耕地分布在平原、山地等不同地貌中,所处地貌不同导致耕地周围环境不同,可能是树木、废土等。耕地图片拍摄大小范围不一,导致农作物大小及距离在图片尺度上不一致。耕地图片拍摄时间不一,导致处于不同天气环境以及日夜间拍摄的同一耕地图片拥有不同的光亮度、可见度等属性。综上等原因,基于现有技术难以实现简单的统一耕地特征提取。因此,需要研究耕地图片属性判别问题,实现鲁棒、高效的耕地图片属性判别算法及系统。
2)如何准确判断不同季节时序下的耕地状态。如图2所示,不同季节下耕地农作物的高度、纹理颜色等特征存在较大差异。由于处于不同季节时段的耕地农作物的状态不一,导致无法通过简单的统一特征提取及判别实现耕地属性的判别。并且,同一农作物在固定时序下的状态变换较为固定,可以通过耕地中农作物处于特定季节下的状态推断后续季节的状态。通过考虑固定季节时序下的耕地农作物特征变换以实现全年智能耕地属性检测。因此,需要通过提取时序特征的算法模型实现准确判别不同季节时序下的耕地状态。
3)如何充分利用遥感影像的大范围优势。不同于一般普通图像,航空遥感图像具有其特殊性。航空遥感图像视野比较大(通常有数平方公里的覆盖范围),可以覆盖县市级别的耕地地块。现有耕地属性判别技术方法通常在一般图像上进行检测识别,未能利用遥感影像的大范围优势。这在很大程度上是因为遥感影像的成像在不同地区之间会有很大的区别,因此不同地区之间很难有一个通用的系统来对遥感影像进行分析。
本发明针对上述三大挑战,从三个方面开展,致力于高效鲁棒的耕地图片属性判别、判断不同季节时序下的耕地状态和利用遥感影像的大范围优势的新增耕地管护属性自动识别与监测三项关键技术。
发明内容
本发明首先提出了一种面向耕地的跨时间阶段的识别方法,利用人工智能算法,实现了新增耕地地块的检测,有利于有关部门对于新增耕地的保护与监测。
本发明首先提供了一种面向新增耕地管护属性自动识别监测方法,包括以下步骤:
1)通过GPS技术获取跨时间维度的耕地样貌图片作为图片种子;对图片种子进行筛选并进行数据标注;根据筛选后保留的图片种子在各平台搜索相似图片并进行筛选;将筛选后的图片种子以及筛选后的各平台搜索到的相似图片组成图片集合;并收集待检测地区耕地遥感影像并根据不同地貌实际情况,构建不同的目标物体类别,标注出耕地所处范围,从而构成耕地遥感影像数据集;
2)构建包括耕地图片分类模型、无监督领域自适应模块、目标检测模型以及语义分割模型的自动识别监测系统,并进行训练,得到训练好的自动识别监测系统;所述耕地图片分类模型用于对耕地样貌图片进行分类得到耕地阶段种类结果;所述无监督领域自适应模块用于将系统的作用域迁移到待检测地区;所述目标检测模型用于对耕地遥感影像数据进行检测得到耕地区域中非农要素以及耕地占比的结果;所述语义分割模型用于对新增耕地区域进行像素级别的分类,将区域内的每一个像素按照类别进行标注;
3)将步骤1)中得到的图片集合输入到训练好的自动识别监测系统中,耕地图片分类模型使用基于注意力机制对耕地图片的时序状态特征进行提取从而完成对所述图片集合的分类,得到耕地阶段种类结果;
4)将步骤1)中得到的耕地遥感影像数据集输入到训练好的自动识别监测系统中,通过无监督领域自适应模块将系统的作用域迁移到待检测地区;然后通过目标检测模型对耕地遥感影像数据集进行检测得到耕地区域中非农要素以及耕地占比的结果;通过语义分割模型对耕地遥感影像数据集中的耕地区域进行像素级别的分类,将区域内的每一个像素按照类别进行标注;
5)将得到耕地阶段种类结果、耕地区域中非农要素、耕地占比的结果以及区域内具有类别标注的每一个像素整合,得到新增耕地管护属性。
作为本发明的优选方案,所述步骤2)中对耕地图片分类模型进行训练,具体为:通过已有标注的耕地样貌图片数据对深度残差网络(ResNet)模型进行训练,获得一个基础检索模型;然后利用基础检索模型从无标注的耕地样貌图片数据中挖掘出可用于训练的样本,并用挖掘出的可用于训练的样本对基础检索模型进行增量式的训练;训练后的模型继续挖掘更高质量的可用于训练的样本,再训练模型,当迭代次数达到设定的次数或损失率变动低于设定的阈值时停止迭代;最后得到训练好的耕地图片分类模型;所述可用于训练的样本为图片中耕地占比大于50%的耕地样貌图片。
作为本发明的优选方案,所述步骤2)中通过源数据域的遥感影像数据集对目标检测模型进行训练,所述目标检测模型包括特征提取模块、区域候选模块、区域池化模块、区域分类模块、上下文提取模块和空间感知注意模块;所述特征提取模块用于提取遥感影像数据集中图片的特征,所述区域候选模块根据遥感影像数据集中图片的特征在图片中添加识别出物体的检测框得到原始特征图;所述区域池化模块通过在原始特征图上使用不同尺度的池化,得到多个不同尺寸的特征图,再在通道维度上拼接得到的多个不同尺寸的特征图以及原始特征图,最终输出一个糅合了多种尺度的复合特征图,从而达到兼顾全局语义信息与局部细节信息的目的,所述上下文提取模块和空间感知注意模块用于提取经区域池化模块处理的复合特征图的上下文信息,得到最终的特征图;所述区域分类模块用于将最终的特征图信息进行分析,并且检测出图片内的目标与其类别。
作为本发明的优选方案,所述特征提取模块使用卷积层、池化层及激活层对输入图片进行特征提取,解析输入遥感影像数据集中图片的出语义特征;所述卷积层通过卷积函数实现特征的过滤与特征图的堆叠,从而提取出图片特征;所述池化层通过对输入的图片进行采样,通常选择某个区域的最大值来对神经网络进行压缩,从而加快神经网络的运算速度;所述激活层的作用在于将前一层的线性输出,需要通过非线性的激活函数进行处理,使得神经网络能够模拟任意函数,从而增强网络的表征能力。
作为本发明的优选方案,所述区域候选模块采用Region Proposal Networks(RPN)的方法生成检测框并对检测框进行边缘区域修正,使得有识别出物体的检测框精准对齐该物体边缘,得到原始特征图;所述区域池化模块实现对不同尺度的输入图片都对应到固定大小的候选框,利用已经获得的候选特征框,所述区域分类模块包括全连接层与softmax,通过全连接层与softmax计算每个候选框具体属于那个类别,输出概率向量;同时再次利用回归操作获得每个候选框的位置偏移量,用于回归更加精确的目标候选框。
作为本发明的优选方案,所述上下文提取模块包括全局上下文网络(GCNet)和金字塔局部上下文网络(PLCNet),分别在全局场景级和局部目标级提取上下文信息,所述全局场景级是指遥感影像展示了全局的场景与以摄像机拍摄的耕地图像相比,遥感影像存在更丰富的场景上下文信息,因而需要加以利用;所述述局部目标级指的是需要进行识别的局部目标。
作为本发明的优选方案,所述语义分割模型采用Deeplabv3模型。
作为本发明的优选方案,所述无监督领域自适应模块用于提升目标检测模型和语义分割检测模型的泛用性;所述无监督领域自适应技术能够安全且快速地将目标检测模型和语义分割模型的作用域迁移到待检测地区。
本发明还提供了一种用于实现上述面向新增耕地管护属性自动识别监测方法的系统,包括:
数据采集模块,用于通过GPS技术获取跨时间维度的耕地样貌图片作为图片种子;对图片种子进行筛选,根据筛选后保留的图片种子在各平台搜索相似图片并进行筛选;将筛选后的图片种子以及筛选后的各平台搜索到的相似图片组成图片集合;并用于收集某地区耕地遥感影像并根据不同地貌实际情况,构建不同的目标物体类别,标注出耕地所处范围,从而构成耕地遥感影像数据集;
耕地图片分类模型构建模块,用于构建并训练耕地图片分类模型;所述耕地图片分类模型用于对数据采集模块采集的图片集合进行分类;
目标检测模型构建模块,用于构建并训练包括特征提取模块、区域候选模块、区域池化模块、区域分类模块、上下文提取模块和空间感知注意模块的目标检测模型;
语义分割模型构建模块,用于构建基于深度学习的语义分割模型,所述语义分割模型对新增耕地区域进行像素级别的分类,并将区域内的每一个像素按照类别进行标注;所述标注将会把每个像素分为七个类别:分别是耕地、林地、荒地、水泊、道路、建筑、背景,其中背景表示与语义分割任务无关的像素;
模型集成模块,用于将耕地图片分类模型、目标检测模型和语义分割模型集成在一起。
相比现有技术,本发明具有以下有益效果:
1)本发明解决了针对跨时间的新增耕地状态监测问题,以往对新增耕地的检查需要实地的走访,因此对人力与时间的消耗是巨量的,通过本发明能够大幅度地提高有关人员的工作效率,解放人力。
2)本发明采用了多模型融合,因此克服了现有技术中因遥感影像分辨率不足导致的对耕地实际状态判断不准确,从而大幅度地提高了系统整体的判断准确度。
3)本发明利用了半监督训练技术,能从未标注的数据中主动和被动地挖掘有效的样本训练模型;通过自监督或半监督训练的方法,能够利用大量的无标注视频数据,大大降低收集训练数据的成本;并且该方法具有良好的可扩展性,能够支持大规模的耕地图片分类业务,对新增耕地图片管护属性自动识别业务需求可形成坚实的技术支撑,在模型精确性、少量数据标注下的图片特征学习等方向实现切实提升。
4)本发明利用了无监督领域自适应技术,由于不同地区的遥感影像会在很大程度上受到光照、设备、海拔等因素影响,导致目标检测、语义分割系统在不同的地区难以复用。因此本发明采用了无监督领域自适应技术来克服现有技术中因遥感影像数据集标注困难、数据采集困难的两大难题,从而大幅度地提高了系统在不同风土地貌的地区中的使用可靠度。
附图说明
图1为本发明实施的面向不同地区下新增耕地遥感影像及实拍图片识别与监测的系统示意图;
图2为不同季节下的耕地状态示意图;
图3为本发明中所需研究的关键科学问题路径图;
图4为本发明中耕地图片数据集构建流程;
图5为本发明实施的基于迭代半监督学习的图片分类框架示意图;
图6为本发明实施的遥感影像目标检测算法模型示意图;
图7为无监督领域自适应(UDA)在本发明中的遥感影像语义分割中应用的示例图。
具体实施方式
下面结合具体实施方式对本发明做进一步阐述和说明。所述实施例仅是本公开内容的示范且不圈定限制范围。本发明中各个实施方式的技术特征在没有相互冲突的前提下,均可进行相应组合。
如图1所示,本发明实施的面向不同地区下新增耕地遥感影像及实拍图片识别与监测的系统,包括数据集的构建模块、融合模型模块、系统结果输出模块。
为了更好地对耕地图片管护属性进行自动识别与监测,本发明通过自建一个大规模耕地图片数据集,并在构建数据集时考虑了以下几个目标:a)收集的图片应该包含有旱田、水田及非农用耕地三种类别;b)对于每个类型,都应该包含至少1000张图片;c)对于旱田及水田类别,每种图片应该包含属于不同季节的状态;d)数据集包含每张图片的标签,即属于哪种类别及哪一季节时间点拍摄。因此,如图4所示本发明拟定了的初步数据集制作流程,以此来构建具备一定规模且真实的耕地图片数据集。首先,本发明获取了一系列属于不同类型、处于不同季节的耕地图片作为种子。然后,对上一步收集到图片的种子执行筛选操作,留下那些满足拍摄清晰、包含完整耕地范围、没有明显遮挡等条件的图片种子;接下来,再根据筛选后的图片种子,至各大平台搜索与其相似的图片并从中二次筛选出满足拍摄清晰、包含完整耕地范围、没有明显遮挡等条件的图片集合。最后,进行数据标注,该过程基于耕地所属类别、所处季节等状态进行细分。所述相似图片为各大平台搜索到当地区域的包含不同耕地类别、处于不同季节的耕地图片。
对于图片特征表示,大多数现有方法应用卷积神经网络提取适当的特征,以实现精确的图片类别匹配。然而,普通的卷积神经网络容易遇到的主要问题是梯度消失和梯度爆炸。传统上可以通过数据的初始化和正则化来解决,但是这类方法容易引起网络性能的退化问题,也就是网络深度加深了,错误率却上升了。
本发明通过构建深度残差网络(ResNet)以解决网络退化的问题,深度残差网络包含残差结构。VGG网络研究了增加网络深度提高分类准确度的问题,但是VGG网络达到一定深度后再一味地增加层数并不能进一步提高分类准确率,反而会导致深度网络收敛变慢,测试集的分类准确率变得更差。排除数据集过小带来的模型过拟合等问题后,确定过深的网络反而会使分类准确度下降。本发明通过仿照计算机视觉领域常用的残差学习概念,提出深度残差学习。
在ResNet中,假设一个网络的深度很大,但是网络从某一层开始后面几层就不工作了,那么不工作的这几层在学习时,它的F(x)就会趋向于0从而直接输出X,直观上来讲就是这个短路连接把不工作的层(或者称为无效层)短路掉了。或者说,ResNet只是表面上看起来很深,实际上起作用的可能只是那么几层。同样地,由于短路连接,在网络向后传播梯度的时候,永远不会出现梯度消失的情况,每一层的梯度都会得到更新。基于以上两点,网络的深度将可以无限制增加。加深深度无疑可以使得模型能够提取更高层次的抽象特征,增大模型的容量。因此,本发明采用ResNet来进行对于农田的特征提取与分类。
构建好神经网络结构后,本发明采用对比学习训练图片的特征表示。对比学习从整个数据集中随机采样大量的噪声数据作为负样本,通过最小化正样本间的距离、最大化负样本间的距离来学习数据的分布,其中正样本为图片中耕地占比大于50%的耕地图片,负样本为整个数据集中除去正样本后的图片,负样本的类别包括非耕地和耕地占比小于50%的难以进行判别的图片。
图5展示了本发明中在图像分类模块所使用的基于迭代半监督学习的图片分类的框架。半监督学习方式可以不依赖于人工标注训练有效的图片特征提取算法模型,具有良好的可扩展性。首先从有限的标注数据训练基础分类模型,然后基础模型能够通过从无标注的数据中挖掘出一定量有利的训练样本,并对基础检索模型进行增量式的训练;训练后的模型继续挖掘更高质量的训练样本,再训练模型,不断地迭代,最后得到较好的耕地图片分类模型。所述迭代的停止条件为当训练数据在训练集上的损失率逐渐保持稳定,不再随着训练而下降在本发明的一个具体实施例中,经过100轮训练后损失率仍不下降,训练应当停止。在迭代的过程中,检索模型的能力会越来越强,同时也能挖掘出更高质量的样本,两个过程循序渐进、相互提高。此外,在实际应用中,迭代半监督学习模型能够根据数据的变化及时地更新。
如图3所示,首先根据有标注的数据采用前述方法训练一个基础模型。然后利用基础模型提取无标注图片的特征,通过对特征进行聚类分析,得到置信度较高的属于同一个簇的图片数据。假设这些同一个簇内的图片互为相关视频,从而得到若干个视频正样本对,输入到模型中进行训练。
除了对上述基本过程的研究,本发明将对具体的样本挖掘手段以及相应的抗噪手段进行研究。无标注的数据数目庞大,实际从这样一个庞大的数据集中挖掘训练样本时应当考虑效率,比如通过索引的手段快速找到距离最近的样本。另一方面,由于缺少人工的监督,挖掘到的样本必然包含噪音,进而影响模型的性能和整个自学习过程的顺利进行。本发明设计一种对抗噪声的方法以保证模型的稳定训练。
此外,在图像分类任务中使用基于注意力机制的耕地时序状态特征提取方法。由于耕地图片的管护属性精确定位所处时序状态需更细粒度的技术,也对时序特征提取算法提出了更高的要求。数据库中待提取的图片量巨大,且耕地图片在时序上存在少量缺失,实现耕地图片时序特征提取通常会消耗大量的存储及计算资源,且无法实现短时间响应。因此,本发明将设计一个高精度的耕地图片时序特征提取系统,具备对大规模耕地图片的快速细粒度特征提取能力。本发明将使用基于注意力机制的方法对耕地图片的时序状态特征进行提取。
神经网络中的注意力机制(Attention Mechanism)是在计算能力有限的情况下,将计算资源分配给更重要的任务,同时解决信息超载问题的一种资源分配方案。在神经网络学习中,一般而言模型的参数越多则模型的表达能力越强,模型所存储的信息量也越大,但这会带来信息过载的问题。那么通过引入注意力机制,在众多的输入信息中聚焦于对当前任务更为关键的信息,降低对其他信息的关注度,甚至过滤掉无关信息,就可以解决信息过载问题,并提高任务处理的效率和准确性。
这就类似于人类的视觉注意力机制,通过扫描全局图像,获取需要重点关注的目标区域,而后对这一区域投入更多的注意力资源,获取更多与目标有关的细节信息,而忽视其他无关信息。通过这种机制可以利用有限的注意力资源从大量信息中快速筛选出高价值的信息。
在神经网络模型处理大量输入信息的过程中,利用注意力机制,可以做到只选择一些关键的输入信息进行处理,来提高神经网络的效率,比如在机器阅读理解任务中,给定一篇很长的文章,然后就文章的内容进行提问。提出的问题只和段落中一两个句子有关,其余部分都是无关的,那么只需要把相关的片段挑出来让神经网络进行处理,而不需要把所有文章内容都输入到神经网络中。
现有的基于RNN及LSTM的处理时序化数据的技术方法未能体现注意力机制。即对于输入的时序化数据,所有的输入的重要性对于算法模型来说是同等重要的,会经过完全相同的处理流程。然而,在耕地图片季节时序场景中,往往某个时段的图片信息包含更多的语义信息。比如冬季中,耕地处于闲置状态,其内没有农作物生长,这在一年四季中是一个相对更加关键的信息特征,需要模型算法重点关注。
并且,注意力模型是在同一层网络的输入和输出(不是模型最终的输出)之间,利用注意力机制“动态”地生成不同连接的权重,来得到该层网络输出的模型。对于现有的RNN网络,输入序列是按步骤顺序计算隐状态和输出的,那么对于距离比较远又相互依赖的特征,捕获二者之间联系的可能性比较小,而在序列内部引入注意力机制后,可以将输入图片流中任意两张图片通过一个计算直接联系起来,就更容易捕获相互依赖的特征。注意力模型中的注意力机制则发生在输入序列内部,或者输出序列内部,可以抽取到按序输入的耕地图片数据流间隔较远的图片之间的联系,不完全依赖于两两相邻图片之间的逻辑顺序特征,可以解决实际应用场景中耕地图片输入可能存在少量缺失的问题。
基于上述原因,本发明对模型算法引入注意力机制以更好地提取耕地图片的时序特征信息。具体地,假设输入的耕地图片序列为:
X=[X1,X2,...,Xn],
首先通过线性变换得到三组向量序列:
Q=WQX∈Rd3×N,
K=WKX∈Rd3×N,
V=WVX∈Rd2×N。
其中Q,K,V分别为查询向量序列,键向量序列和值向量序列,WQ,WK,WV分别是可以学习的参数矩阵。于是输出向量hi通过公式计算:
其中i,j∈[1,N]为输出和输入向量序列的位置,连接权重αij由注意力机制动态生成。
基于注意力机制的耕地图片时序特征提取方法同时捕获了相邻图片及长距离图片之间的时序特征信息,避免了对于输入图片数据不能有缺失的依赖;通过不断迭代优化的参数可以自动学习到输入图片数据流中更关键的数据特征,使得输入图片根据重要性对算法模型具有不同的影响力。目前多数时序特征提取系统仅能实现固定严格按序输入的时序流数据,且只能提取到相邻图片之间的时序逻辑,在输入图片时序上存在少量缺失的场景中无法实现较高性能。的基于注意力机制的耕地图片时序特征提取系统可以避免上述问题,同时使得模型更关注具有更关键信息的耕地图片,可以有效应用于耕地图片场景。
图6展示了如何构建适用于遥感影像的目标检测算法模型,主要包括特征提取模块、区域候选模块、区域池化模块、空间感知注意模块、上下文提取模块和区域分类模块。
遥感影像具有大范围的优势,可以通过目标检测方法实现对大范围耕地中是否有耕地用于非农业用途的识别与监测,但同时由于遥感影像上视觉、尺度、方向等属性的特殊性,现有的常规目标检测方法在遥感影像上表现性能较差。本发明将从构建大规模遥感影像数据集及构建基于遥感影像的目标检测算法模型两方面来实现基于遥感影像的新增耕地管护属性自动识别与监测系统。
需要构建专门的遥感影像目标检测数据集,用于训练算法模型。所述模型训练方法为随机梯度下降法,即定义一个“损失函数”(loss function),用来衡量网络的预测程度;再定义一个“优化器”(optimizer),可以告诉网络如何改变其权重。损失函数测量目标的真实值和模型预测值之间的差距。而优化器是一种调整权重以使损失最小化的算法。随机梯度下降法是迭代算法,以步骤训练网络。训练的步骤如下:
1.对一些训练数据进行采样,通过网络进行预测。
2.衡量预测值和真实值之间的损失。
3.最后,调整权重,使损失变小。
反复这样做,直到损失不再减少。
基于遥感影像与普通拍摄影像之间的不同,本发明构建的数据集需要满足以下特点:
1、收集一定数量(3000张以上)某地区耕地遥感影像;(2)构建的标注体系,需要根据浙江省内不同地貌实际情况,构建不同的目标物体类别;(3)构建的标注体系,需要精确标注出耕地所处范围;(4)每一目标物体类别都需要包含足够的样例。
具体地,特征提取模块使用卷积层、池化层及激活层对输入图片进行特征提取,解析出复杂的高级语义特征。所述卷积层通过卷积函数实现特征的过滤与特征图的堆叠,从而提取出图片特征;所述池化层通过对输入的图片进行采样,通常选择某个区域的最大值来对神经网络进行压缩,从而加快神经网络的运算速度;所述激活层的作用在于将前一层的线性输出,需要通过非线性的激活函数进行处理,使得神经网络能够模拟任意函数,从而增强网络的表征能力。
区域候选模块需要对输入图片生成检测框,传统的滑动窗口方法非常耗时,无法适用于实时高效地耕地监测场景,本发明采用Region Proposal Networks(RPN)的方法生成候选框,能极大提升候选框生成速度。将图片每个区域生成候选框anchors,分别使用softmax分类器将其分为正负两类,以及使用回归操作对候选框anchors进行边缘区域修正,使其被分为正类(即有识别出物体)的候选框精准对齐该物体边缘。
区域池化模块实现对不同尺度的输入图片都对应到固定大小的候选框,方便进行后续分类。
上下文提取模块融合了全局上下文网络(GCNet)和金字塔局部上下文网络(PLCNet),考虑到而场景级语义(如湖泊里的船)以及局部上下文通常对目标检测有一定的帮助,分别在全局场景级和局部目标级提取上下文信息。上下文提取模块通过对全局场景级信息与局部目标级信息的分析处理,输出的图片像素将携带上下文特征,并交由空间感知注意模块进行进一步处理。所述全局场景级是指遥感影像展示了全局的场景,因此具有更大的视场,与普通的图像相比,全景图像存在更丰富的场景上下文信息,因而需要加以利用;所述述局部目标级指的是需要进行识别的局部目标,在全局场景中相对较小,因此需要通过局部目标级算法加以识别。
空间感知注意模块引导网络关注信息更丰富的区域和更合适的图像特征尺度,有助于处理纹理稀疏、背景对比度较低的目标。使得算法模型更加适用于物体之间边界识别度较低、纹理稀疏的遥感影像目标检测任务。空间感知注意模块接收上下文提取模块的输出,分析处理后得到更精确的候选框,并输出结果给区域分类模块,进行最后的分类。
区域分类模块利用已经获得的候选特征框,通过全连接层与softmax计算每个检测框具体属于那个类别(如建筑、耕地、足球场等),输出概率向量;同时再次利用回归操作获得每个候选框的位置偏移量,用于回归更加精确的目标候选框。
所述softmax计算为以下数学计算操作,其中Zi为第i个节点的输出值,N为输出节点的个数,即分类的类别个数。通过Softmax函数就可以将多分类的输出值转换为范围在[0,1]和为1的概率分布。
所述回归操作为研究一组随机变量(Y1,Y2,…,Yi)和另一组(X1,X2,…,Xk)变量之间关系的统计分析方法,又称多重回归分析。通常Y1,Y2,…,Yi是因变量,X1、X2,…,Xk是自变量。在多个自变量影响一个因变量的关系中,判断自变量的影响是否显著,并将影响显著的选入模型中,剔除不显著的变量。然后我们便可利用所求的关系式对某一过程进行预测或控制。上述数学过程便称为回归操作。
本发明在目标检测算法中引入了全局上下文网络(GCNet)和金字塔局部上下文网络(PLCNet),使得算法模型可以很好地提取遥感影像上的全局及局部特征信息,以实现同时具备高精度和高效率的遥感影目标检测。目前目标检测算法主要应用于常规拍摄图像的监测场景。本路线探索基于遥感影像的目标检测算法模型,且考虑模型的实用性使其能够应用到实际业务场景之中。通过此算法模型构建基于遥感影像的新增耕地管护属性自动识别与监测系统。
本发明使用Deeplabv3模型作为语义分割模型,我们将遥感影像作为输入给Deeplabv3模型,然后输出遥感影像中每个像素的分类,即耕地、林地、荒地、水泊、道路、建筑、背景七个类别,从而我们可以得到某一新增耕地地块中,耕地的面积比例,以及非农化现象的比例。DeepLabv3是在DeepLabv1,DeepLabv2模型的基础上发展而来。DeepLab系列主要围绕空洞卷积、全连接条件随机场CRF(Fully-connected Conditional Random Field)以及空洞空间卷积池化金字塔ASPP(Atrous Spatial Pyramid Pooling)来对图像进行分割。DeepLabv3重新考虑了空洞卷积的使用,同时改进了ASPP模块。因此其更适应遥感影像的分割。
在deeplabv1的研究中,Deep Convolutional Neural Networks(DCNNs)能够很好的处理Hight-Level(抽象、语义)的视觉任务(如图像分类),这是因为卷积神经网络具有一个内在属性--平移不变性(invariance),该属性源于卷积+池化层的组合。但也因此导致空间位置的不敏感,阻碍Low-Level(像素)视觉任务的发展。其有所成效是因为在语义分割领域,DNCC对图像先做卷积再pooling(降低尺寸的同时增加感受野),然后再上采样到原始图片大小(因为语义分割预测的是pixel-wise的输出)。因此,DCNN网络结构中重复池化(pooling)和下采样(down-sampling)虽然增加了感受野,但也导致图像细节信息丢失,致使位置信息难以恢复。此外,NCNN由于其卷积+池化的组合,使它具有一个固有属性--平移不变性。导致其对空间位置不敏感,也因此限制了DCNN空间定位的能力。因此deeplabv1使用了atrous算法(空洞卷积),旨在不通过pooling也能获得较大的感受野,获得更多的信息。此外还采用完全连接的条件随机场(DenseCRF)对DCNN输出的粗略的意义分割结果进行精化,提高模型捕获细节和边缘信息的能力。
而DeepLabv2在V1的基础上进行改进,它延续了V1的atrous卷积(空洞卷积)和完全条件随机场(Dense CRF)的后处理边缘优化。相对于V1,V2最大的改进是增加ASPP(Atrous Spacial Pyramid Pooling),它受SPP(Spacial Pyramid Pooling)启发而来。其研究成效的原因是:DCNN连续的最大池化和下采样组合引起的空间分辨率下降,这些操作使得细节信息丢失;此外,DCNN对多尺度目标的泛化能力较差;且DCNN中固有的不变性属性,对位置信息不够敏感。因此它虽然对high-level的任务(如分类)有利,但是对low-level的任务(分割、姿态估计)有害。因此deeplabv2强调使用atrous卷积(空洞卷积),作为密集预测任务的强大工具。空洞卷积能够明确地控制DCNN内特征图的分辨率。并且它能有效增加感受野,在获得较大上下文信息的同时不增加参数量或计算量。并提出空洞空间卷积池化金字塔(atrous spatial pyramid pooling,ASPP),它并行的采用多个空洞率的空洞卷积层来捕获不同分辨率的图像信息,以多尺度的信息得到更强健的分割结果。最后通过组合DCNN和概率图,改进分割边界细节。在DCNN中最大池化和下采样组合可实现平移不变性,这对位置敏感的任务是有害的,作者将DCNN和完全连接的条件随机场(Dense CRF)组合来克服这个困难。
而deeplabv3则是在DeepLabv1,DeepLabv2的基础上发展而来。由于连续下采样和重复池化,导致最后特征图分辨率低,且图像中存在多尺度的物体难以分割。因此deeplabv3使用空洞卷积,防止分辨率过低的情况。并串联不同空洞率的空洞卷积或并行不同空洞率的空洞卷积(v2的ASPP),来获取更多的上下文信息。增加了多尺度(multiplescales)分割物体的模块。设计了串行和并行的空洞卷积模块,采用多种不同的atrousrates(空洞率)来获取多尺度的内容信息。
构建好了遥感影像数据集后,便可以训练遥感影像目标检测与语义分割检测模型,但是由于遥感影像在某地区上的训练成果不能良好地迁移到另外地区,即在其他地区的检测效果可能很差,不利于的系统的泛用性与延展性。因此使用无监督领域自适应技术来解决这个问题,领域自适应(DA)是从源数据分布中学习在不同但相关的目标数据分布上的良好性能模型。
而无监督领域自适应(UDA)的要求是当仅有源数据域上的数据与标签,和目标数据域上的数据,将模型作用域迁移至目标数据域上。无监督领域自适应技术在很大程度上可以提升的系统的泛用性,且有利于遥感影像数据的保密,防止机密数据外泄。以浙江省的遥感影像语义分割任务为例,对于该任务,目标数据域数据即指代浙江省的遥感影像,而源数据域则可以是任何实施标注的开源遥感影像数据集(如开源数据集LoveDA数据集,其中的遥感影像出自湖北省和江苏省)。当在进行无监督领域自适应(UDA)之前,需要先对源数据域上的遥感影像数据集对语义分割模型(Deeplabv3)进行训练,此时的模型作用域便是源数据域,如LoveDA开源数据集中的湖北省、江苏省遥感影像。然后需要将模型作用域迁移到目标数据域即浙江省遥感影像,从而令本发明的模型可以对目标数据域的遥感影像进行语义分割。
如图7所示,为无监督领域自适应(UDA)在本发明中的遥感影像语义分割中应用的简单示例,其中分割结果中,可以看到在经过UDA后模型准确度得到了显著提升:以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。
Claims (10)
1.一种面向新增耕地管护属性自动识别监测方法,其特征在于,包括以下步骤:
1)通过GPS技术获取跨时间维度的耕地样貌图片作为图片种子;对图片种子进行筛选并进行数据标注;根据筛选后保留的图片种子在各平台搜索相似图片并对所述相似图片进行筛选;将筛选后的图片种子以及筛选后的相似图片并组成图片集合;收集待检测地区耕地遥感影像并根据不同地貌实际情况,构建不同的目标物体类别,标注出耕地所处范围,从而构成耕地遥感影像数据集;
2)构建包括耕地图片分类模型、无监督领域自适应模块、目标检测模型以及语义分割模型的自动识别监测系统,并进行训练,得到训练好的自动识别监测系统;所述耕地图片分类模型用于对耕地样貌图片进行分类得到耕地阶段种类结果;所述无监督领域自适应模块用于将系统的作用域迁移到待检测地区;所述目标检测模型用于对耕地遥感影像数据进行检测得到耕地区域中非农要素以及耕地占比的结果;所述语义分割模型用于对新增耕地区域进行像素级别的分类,将区域内的每一个像素按照类别进行标注;
3)将步骤1)中得到的图片集合输入到训练好的自动识别监测系统中,耕地图片分类模型使用基于注意力机制对耕地样貌图片的时序状态特征进行提取从而完成对所述图片集合的分类,得到耕地阶段种类结果;
4)将步骤1)中得到的耕地遥感影像数据集输入到训练好的自动识别监测系统中,通过无监督领域自适应模块将系统的作用域迁移到待检测地区;然后通过目标检测模型对耕地遥感影像数据集进行检测得到耕地区域中非农要素以及耕地占比的结果;通过语义分割模型对耕地遥感影像数据集中的耕地区域进行像素级别的分类,将区域内的每一个像素按照类别进行标注;
5)将得到耕地阶段种类结果、耕地区域中非农要素、耕地占比的结果以及区域内具有类别标注的每一个像素整合,得到新增耕地管护属性。
2.根据权利要求1所述的自动识别监测方法,其特征在于,所述步骤1)中对图片种子进行筛选以及对所述相似图片进行筛选均根据图片是否清晰、是否包含完整耕地范围以及有无遮挡进行筛选;所述相似图片为各平台搜索到的包含不同耕地类别、处于不同季节的耕地样貌图片;所述数据标注基于图片中耕地所属类别、所处季节状态进行标注。
3.根据权利要求1所述的自动识别监测方法,其特征在于,所述步骤2)中对耕地图片分类模型进行训练,具体为:通过已有标注的耕地样貌图片数据对深度残差网络(ResNet)模型进行训练,获得一个基础检索模型;然后利用基础检索模型从无标注的耕地样貌图片数据中挖掘出可用于训练的样本,并用挖掘出的可用于训练的样本对基础检索模型进行增量式的训练;训练后的模型继续挖掘更高质量的可用于训练的样本,再训练模型,当迭代次数达到设定的次数或损失率变动低于设定的阈值时停止迭代;最后得到训练好的耕地图片分类模型;所述可用于训练的样本为图片中耕地占比大于50%的耕地样貌图片。
4.根据权利要求1所述的自动识别监测方法,其特征在于,所述步骤2)中通过源数据域的遥感影像数据集对目标检测模型进行训练,所述目标检测模型包括特征提取模块、区域候选模块、区域池化模块、区域分类模块、上下文提取模块和空间感知注意模块;所述特征提取模块用于提取遥感影像数据集中图片的特征,所述区域候选模块根据遥感影像数据集中图片的特征在图片中添加识别出物体的检测框得到原始特征图;所述区域池化模块通过在原始特征图上使用不同尺度的池化,得到多个不同尺寸的特征图,再在通道维度上拼接得到的多个不同尺寸的特征图以及原始特征图,最终输出一个糅合了多种尺度的复合特征图,从而达到兼顾全局语义信息与局部细节信息的目的,所述上下文提取模块和空间感知注意模块用于提取经区域池化模块处理的复合特征图的上下文信息,得到最终的特征图;所述区域分类模块用于将最终的特征图信息进行分析,并且检测出图片内的目标与其类别。
5.根据权利要求4所述的自动识别监测方法,其特征在于,所述特征提取模块使用卷积层、池化层及激活层对输入图片进行特征提取,解析输入遥感影像数据集中图片的出语义特征;所述卷积层通过卷积函数实现特征的过滤与特征图的堆叠,从而提取出图片特征;所述池化层通过对输入的图片进行采样,通常选择某个区域的最大值来对神经网络进行压缩,从而加快神经网络的运算速度;所述激活层的作用在于将前一层的线性输出,需要通过非线性的激活函数进行处理,使得神经网络能够模拟任意函数,从而增强网络的表征能力。
6.根据权利要求4所述的自动识别监测方法,其特征在于,所述区域候选模块采用Region Proposal Networks(RPN)的方法生成检测框并对检测框进行边缘区域修正,使得有识别出物体的检测框精准对齐该物体边缘,得到原始特征图;所述区域池化模块实现对不同尺度的输入图片都对应到固定大小的候选框,利用已经获得的候选特征框,所述区域分类模块包括全连接层与softmax,通过全连接层与softmax计算每个候选框具体属于那个类别,输出概率向量;同时再次利用回归操作获得每个候选框的位置偏移量,用于回归更加精确的目标候选框。
7.根据权利要求4所述的自动识别监测方法,其特征在于,所述上下文提取模块包括全局上下文网络(GCNet)和金字塔局部上下文网络(PLCNet),分别在全局场景级和局部目标级提取上下文信息,所述全局场景级是指遥感影像展示了全局的场景与以摄像机拍摄的耕地图像相比,遥感影像存在更丰富的场景上下文信息,因而需要加以利用;所述述局部目标级指的是需要进行识别的局部目标。
8.根据权利要求1所述的自动识别监测方法,其特征在于,所述语义分割模型采用Deeplabv3模型。
9.根据权利要求1所述的自动识别监测方法,其特征在于,所述无监督领域自适应模块用于提升目标检测模型和语义分割检测模型的泛用性;所述无监督领域自适应技术能够安全且快速地将目标检测模型和语义分割模型的作用域迁移到待检测地区。
10.一种用于实现权利要求1所述面向新增耕地管护属性自动识别监测方法的系统,其特征在于,包括
数据采集模块,用于通过GPS技术获取跨时间维度的耕地样貌图片作为图片种子;对图片种子进行筛选,根据筛选后保留的图片种子在各平台搜索相似图片并进行筛选;将筛选后的图片种子以及筛选后的各平台搜索到的相似图片组成图片集合;并用于收集某地区耕地遥感影像并根据不同地貌实际情况,构建不同的目标物体类别,标注出耕地所处范围,从而构成耕地遥感影像数据集;
耕地图片分类模型构建模块,用于构建并训练耕地图片分类模型;所述耕地图片分类模型用于对数据采集模块采集的图片集合进行分类;
目标检测模型构建模块,用于构建并训练包括特征提取模块、区域候选模块、区域池化模块、区域分类模块、上下文提取模块和空间感知注意模块的目标检测模型;
语义分割模型构建模块,用于构建基于深度学习的语义分割模型,所述语义分割模型对新增耕地区域进行像素级别的分类,并将区域内的每一个像素按照类别进行标注;所述标注将会把每个像素分为七个类别:分别是耕地、林地、荒地、水泊、道路、建筑、背景,其中背景表示与语义分割任务无关的像素;
模型集成模块,用于将耕地图片分类模型、目标检测模型和语义分割模型集成在一起。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311341793.9A CN117611988A (zh) | 2023-10-17 | 2023-10-17 | 一种面向新增耕地管护属性自动识别监测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311341793.9A CN117611988A (zh) | 2023-10-17 | 2023-10-17 | 一种面向新增耕地管护属性自动识别监测方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117611988A true CN117611988A (zh) | 2024-02-27 |
Family
ID=89954911
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311341793.9A Pending CN117611988A (zh) | 2023-10-17 | 2023-10-17 | 一种面向新增耕地管护属性自动识别监测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117611988A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117953430A (zh) * | 2024-03-15 | 2024-04-30 | 湖南省第二测绘院 | 一种通信铁塔视频实时监测耕地破坏的方法和系统 |
-
2023
- 2023-10-17 CN CN202311341793.9A patent/CN117611988A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117953430A (zh) * | 2024-03-15 | 2024-04-30 | 湖南省第二测绘院 | 一种通信铁塔视频实时监测耕地破坏的方法和系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Du et al. | Pavement distress detection and classification based on YOLO network | |
CN107133569B (zh) | 基于泛化多标记学习的监控视频多粒度标注方法 | |
CN104992223B (zh) | 基于深度学习的密集人数估计方法 | |
CN105844292B (zh) | 一种基于条件随机场和二次字典学习的图像场景标注方法 | |
CN110490100A (zh) | 基于深度学习的岩土自动识别定名方法及系统 | |
CN105528575B (zh) | 基于上下文推理的天空检测方法 | |
Kim et al. | A novel method for efficient indoor–outdoor image classification | |
CN104134068B (zh) | 基于稀疏编码的监控车辆特征表示及分类方法 | |
Liu et al. | Super-pixel cloud detection using hierarchical fusion CNN | |
CN112560675B (zh) | Yolo与旋转-融合策略相结合的鸟类视觉目标检测方法 | |
CN108427740B (zh) | 一种基于深度度量学习的图像情感分类与检索算法 | |
CN109034035A (zh) | 基于显著性检测和特征融合的行人重识别方法 | |
Rong et al. | Pest Identification and Counting of Yellow Plate in Field Based on Improved Mask R‐CNN | |
CN117611988A (zh) | 一种面向新增耕地管护属性自动识别监测方法及系统 | |
CN113158891B (zh) | 一种基于全局特征匹配的跨摄像头行人重识别方法 | |
Li et al. | A review of deep learning methods for pixel-level crack detection | |
Bouachir et al. | Computer vision system for automatic counting of planting microsites using UAV imagery | |
Yang et al. | From intuition to reasoning: Analyzing correlative attributes of walkability in urban environments with machine learning | |
Alsaadi et al. | An automated mammals detection based on SSD-mobile net | |
CN116503750A (zh) | 融合目标检测和视觉注意机制的大范围遥感影像农村街区式居民地提取方法及系统 | |
CN104915967B (zh) | 一种隧道内车辆运动路径的预测方法 | |
Marinelli et al. | Forest change detection in LiDAR data based on polar change vector analysis | |
CN112598051B (zh) | 一种基于极化统计散射成分的跨域sar图像地物分类方法 | |
Wu et al. | Nighttime cattle detection based on YOLOv4 | |
CN111401519B (zh) | 一种基于物体内和物体间相似性距离的深层神经网络无监督学习方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |