CN114283345A - 基于元学习和注意力的小样本城市遥感影像信息提取方法 - Google Patents
基于元学习和注意力的小样本城市遥感影像信息提取方法 Download PDFInfo
- Publication number
- CN114283345A CN114283345A CN202111654351.0A CN202111654351A CN114283345A CN 114283345 A CN114283345 A CN 114283345A CN 202111654351 A CN202111654351 A CN 202111654351A CN 114283345 A CN114283345 A CN 114283345A
- Authority
- CN
- China
- Prior art keywords
- learning
- attention
- sample
- remote sensing
- small
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 41
- 238000012549 training Methods 0.000 claims abstract description 32
- 238000001228 spectrum Methods 0.000 claims abstract description 28
- 238000000034 method Methods 0.000 claims abstract description 23
- 230000007246 mechanism Effects 0.000 claims abstract description 16
- 230000008569 process Effects 0.000 claims abstract description 13
- 238000005065 mining Methods 0.000 claims abstract description 3
- 238000011176 pooling Methods 0.000 claims description 33
- 230000006870 function Effects 0.000 claims description 18
- 239000013598 vector Substances 0.000 claims description 17
- 238000009826 distribution Methods 0.000 claims description 9
- 230000003595 spectral effect Effects 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 5
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000002401 inhibitory effect Effects 0.000 abstract 1
- 230000008901 benefit Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000009412 basement excavation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000003912 environmental pollution Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 210000002364 input neuron Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/176—Urban or other man-made structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Remote Sensing (AREA)
- Astronomy & Astrophysics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biodiversity & Conservation Biology (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于元学习和注意力的小样本城市遥感影像信息提取方法，包括构建小样本城市遥感信息预训练模型，在预训练阶段，通过对小样本集进行预训练网络学习，充分学习已有样本的特征信息，得到小样本集的初始特征参数和深层卷积网络主干；构建“时空谱角”注意力模型，用于使网络在训练过程中关注重要的“时空谱角”信息，抑制噪声和冗余信息，提高模型的分类性能；建立元学习与注意力协同机制并实现小样本城市遥感信息提取，包括将“时空谱角”注意力模型得到的特征参量和初始的特征参量进行并行关联学习，引入正则化器使交叉熵和结构风险最小化，实现对小样本信息的充分挖掘。应用本发明使得小样本城市典型地物信息提取的精度更高。
Description
技术领域
本发明属于遥感影像信息提取领域，设计一种基于元学习和注意力协同机制的小样本城市遥感影像信息提取方法。
背景技术
城市作为人类生存、活动、生产的重要场所，随着城市化的快速发展，生态功能退化、环境污染、极端气象事件频发等“城市病”严重威胁城市的可持续发展。随着遥感技术特别是国产遥感卫星技术的快速发展，中国已经具备自主获取全球高分辨率城市地理信息的数据条件，但是受遥感影像智能解译水平和城市复杂场景的影响，对高分辨率遥感影像进行城市地物要素提取仍面临巨大挑战。
深度学习网络具有强大的非线性表征能力和较高的图像识别能力，在高分辨图像信息提取中具有明显的优势，但是深度学习算法通常需要较多的参数量和大规模的图像知识库，受地理区位和天气等因素的限制，大范围、大体量的训练样本标记难度大、人工成本高，对于一些小样本的城市区域，深度学习算法容易出现泛化能力弱的问题，不利于获取精准的城市遥感信息。
发明内容
针对现有小样本城市遥感影像信息提取技术存在的不足，本发明旨在提供一个新的小样本城市高分辨率遥感信息提取模型，实现一种基于元学习和注意力协同机制的小样本城市高分辨率遥感影像信息提取方法。
本发明技术方案提供一种基于元学习和注意力的小样本城市遥感影像信息提取方法，包括以下步骤，
步骤1，构建小样本城市遥感信息预训练模型，在预训练阶段，通过对小样本集进行预训练网络学习，充分学习已有样本的特征信息，得到小样本集的初始特征参数和深层卷积网络主干；
步骤2，构建“时空谱角”注意力模型，用于使网络在训练过程中关注重要的“时空谱角”信息，抑制噪声和冗余信息，提高模型的分类性能；
步骤3，建立元学习与注意力协同机制并实现小样本城市遥感信息提取，包括将“时空谱角”注意力模型得到的特征参量和初始的特征参量进行并行关联学习，引入正则化器使交叉熵和结构风险最小化，实现对小样本信息的充分挖掘。
而且，步骤1中，所述小样本城市遥感信息预训练模型是一个由卷积层、池化层和全连接层组成的网络结构，有5段卷积网络，每一段内有2个或3个卷积层，每段结尾连接一个最大池化层用于缩小图片尺寸；各段内部的卷积核数量一样，越靠近全连接层卷积核数量越多。
而且，所述小样本城市遥感信息预训练模型中的卷积网络实现如下，
第一段卷积网络由两个卷积层和一个最大池化层组成，输出通道数为64，输出的尺寸为112×112×64；
第二段卷积网络由两个卷积层和一个最大池化层组成，输出通道数为128，输出尺寸为56×56×128；
第三段卷积网络由三个卷积层和一个最大池化层组成，输出通道数为256，输出尺寸为28×28×256；
第四段卷积网络由三个卷积层和一个最大池化层组成，输出通道数为512，输出尺寸为14×14×512；
第五段卷积网络由三个卷积层和一个最大池化层组成，输出通道数为512，输出尺寸为7×7×512；
将第五段卷积网络输出的结果扁平化表示为一维向量，然后输入第一个全连接层相应相应Dropout层，再输入第二个全连接层及相应Dropout层；最后输入第三个全连接层，第三个全连接层输出节点为1000，使用softmax函数处理得到分类输出概率，同时得到分类结果。
而且，在“时空谱角”注意力模型中，对于三维输入X，首先经过沿着通道维的最大池化和平均池化得到特征压缩后的两个全局特征描述；然后，通过hard-sigmoid形式的门机制得到时间特征、空间特征、光谱特征和角度特征的权重XSS∈(0,1)；最后，将原始输入X与权重XSS相乘；
通过网络在训练过程中不断学习，对于重要的“时空谱角”信息，对应的权重接近于1；对于不重要或者具有负面影响的噪声和冗余信息，对应的权重接近于0。
而且，“时空谱角”特征向量根据以下公式计算得到，
式中，k′i表示第i类的类别最终的特征中心，ki代表初始时第i类的类别特征中心，
代表梯度，
表示按梯度优化后的第i类的类别特征中心，j是无标记样本数量，l是标记样本数量，ej,l是有标记样本和无标记样本相对应的特征，sum()表示括号内数值的和，vi是第i类的概率分布特征中心，vi,j由j个第i类样本的类别概率向量更新得到的第i类的概率分布特征中心，n表示总的样本数量，C为数据集中的类别个数，e为初始特征向量，p为“时空谱角”特征向量，Pj,l是第l类有标记样本和第j类无标记样本对应的预测概率，η表示更新系数，1[y＝i]表示指示函数。
本发明克服了现有遥感影像信息提取方法泛化能力较差这一问题，通过建立元学习和注意力协同机制，从而得到更加精确的信息提取效果。
相比于现有方法，本发明的优势和积极效果：现有基于卷积神经网络的遥感影像信息方法需要大量的样本支撑，当样本数量不足时容易出现泛化能力弱的问题，难以满足小样本城市地物信息的智能提取需求。本发明的优势在于通过建立元学习与注意力协同机制，从而使得小样本城市典型地物信息提取的精度更高。
附图说明
图1为本发明实施例的小样本城市高分辨率遥感影像信息提取结构图。
图2为本发明实施例的网络结构示意图，是图1中相应部分的局部放大图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
针对此问题，本发明提供一种基于元学习和注意力协同机制的小样本城市高分辨率遥感影像信息提取方法，将“时空谱角”注意力模型得到的特征参量和初始特征参量进行关联学习，以得到优化后的特征参量，实现对小样本信息的充分挖掘，获取小样本城市高分辨率遥感影像中的城市典型要素信息。
本发明实施例所使用的环境：服务器的CPU为Intel Xeon E5-2665，GPU为NVIDIAGTX108Ti，操作系统为Ubuntu 16.04，编译环境为PyTorch 1.1.0，Python 3.5，CUDA9.0以及CUDNN7.1。
本发明的实施例是遥感影像信息提取，具体流程参照附图1，本发明实施例提供的一种基于元学习和注意力协同机制的小样本城市高分辨率遥感影像信息提取方法，具体包括步骤如下：
步骤1，构建小样本城市遥感信息预训练模型
小样本学习是针对全球范围内一些城市仅存在少量样本的客观事实所提出的，通过少量的样本对需要解决的潜在问题的模型进行预训练，因此预训练模型的设计与如何训练该模型尤为关键。大多数模型在开始训练时的参数都是随机初始化产生的，这使得模型需要同时训练大量的参数从而得到较好的结果。但是小样本提取模型中很大一部分参数都属于特征提取部分，通过预训练一个分类器模型得到模型特征提取部分的权重参数，之后将这些参数应用到后续的元学习模型中，这样在训练时可以针对小样本信息提取方面进行参数学习，而不需要考虑特征提取部分的学习。
图2为本发明实施例设计的一个由卷积层、池化层和全连接层组成的网络结构，有5段卷积网络，每一段内有2个或3个卷积层，每段结尾连接一个最大池化层用于缩小图片尺寸；各段内部的卷积核数量一样，越靠近全连接层卷积核数量越多。具体实现采用的优选方式如下：
第一段卷积网络，由两个卷积层和一个最大池化层组成。这两个卷积层卷积核的尺寸为3×3，卷积核数为64，步长为1×1，全像素扫描(这2个串联的3×3卷积层相当于1个5×5的卷积层，但是没有直接使用5×5代替2个3×3原因在于，2个3×3卷积层比1个5×5卷积层拥有更多的非线性操作，对图像的学习能力更强)；最大池化层的池化尺寸为2×2，步长为2×2，输出通道数为64，输出的尺寸为112×112×64。
第二段卷积网络和第一段卷积网络类似，由两个卷积层和一个最大池化层组成，区别在于输出通道数为128，输出尺寸为56×56×128。
第三段卷积网络，由三个卷积层和一个最大池化层组成。三个卷积层和池化层与第一二段中的卷积层、池化层实现方式类似，区别在于输出通道数为256，输出尺寸为28×28×256。
第四段卷积网络和第三段类似，由三个卷积层和一个最大池化层组成，唯一区别是输出通道数为512，输出尺寸为14×14×512。
第五段卷积网络和第四段卷积网络完全一致，由三个卷积层和一个最大池化层组成，第五段输出通道数为512，输出尺寸为7×7×512。
将第五段卷积网络输出的结果扁平化，即将7×7×512表示为25088(7×7×512＝25088)的一维向量；然后输入第一个全连接层，输出节点是4096，激活函数为ReLu，创建Dropout层，训练时节点保留率为0.5，预测时为1；再输入第二个全连接层，第二个全连接层和第一个全连接层完全一致，也紧跟一个Dropout层；最后输入第三个全连接层，第三个全连接层输出节点为1000，使用softmax函数处理得到分类输出概率，同时得到分类结果。
该网络结构的优点在于能够充分挖掘小样本的特征信息，避免过度依赖大规模的样本数量。该网络结构的每一段卷积都有明确的任务，与元学习结合后，在每一次执行任务时，模型都会获得有用的经验。若出现新的任务，在累积经验的协助下，模型继续学习新任务的极少量样本，即可快速适应和掌握新任务，从而实现在少量样本参与的情况下，实现城市典型地物信息的智能提取。
首先，对模型参数进行初始化，特征提取部分的参数定义为Θ，表示卷积层的参数；分类器部分的参数定义为θ，表示全连接层的参数。之后利用训练集D内的所有数据对分类器模型进行训练，利用梯度下降法对参数进行优化，计算公式为：
其中，[Θ；θ]分别代表特征提取参数和分类器参数，
代表梯度,η代表学习率，f([Θ；θ])代表凸函数。
经过优化，模型在这一部分学习到了特征提取参数Θ，这一参数将会被保存，用于下一部分的元学习过程。而用于分类的参数θ则将会被舍弃。
在预训练阶段，通过对小样本集进行预训练网络学习，充分学习已有样本的特征信息，得到小样本集的初始特征参数和深层卷积网络主干。
步骤2，构建“时空谱角”注意力模型
受计算机视觉中注意力机制的启发，本发明构建了“时空谱角”注意力模型，使网络在训练过程中关注重要的“时空谱角”信息，抑制噪声和冗余信息，提高模型的分类性能。在“时空谱角”注意力模型中，对于三维输入X，首先经过沿着通道维的最大池化和平均池化得到特征压缩后的两个全局特征描述；然后，通过hard-sigmoid形式的门机制得到时间特征、空间特征、光谱特征和角度特征的权重XSS∈(0,1)。通过网络在训练过程中不断学习，对于重要的“时空谱角”信息，对应的权重接近于1；对于不重要或者具有负面影响的噪声和冗余信息，对应的权重接近于0。最后，将原始输入X与权重XSS相乘。其过程公式如下：
YSS＝Fscale(σ(f3×3×3[Fmax，Favg],X)) (2)
式中，Fmax和Favg分别为沿通道维的最大池化和平均池化；f3×3×3()为普通的3×3×3卷积，Fscale()表示原始输入与权重的逐元素相乘，σ()为hard-sigmoid激活函数，相比sigmoid函数具有计算效率高的优势，其计算形式如下：
其中，x代表神经网络的输入神经元受到的刺激，min()代表输出值为括号里的最小值,max()代表输出值为括号里的最大值。
步骤3，建立元学习与注意力协同机制并实现小样本城市遥感信息提取
本发明基于元学习的思想，将“时空谱角”注意力模型得到的特征参量和初始的特征参量进行并行关联学习，以得到优化后的特征参量，从而实现对小样本信息的充分挖掘。
本发明基于注意力机制得到“时空谱角”特征向量Wb。Wb特征参量根据以下公式计算，
式中，k′i表示第i类的类别最终的特征中心，ki代表初始时第i类的类别特征中心，
代表梯度，
表示按梯度优化后的第i类的类别特征中心，j是无标记样本数量，l是标记样本数量，ej,l是有标记样本和无标记样本相对应的特征，sum()表示括号内数值的和，vi是第i类的概率分布特征中心，vi,j由j个第i类样本的类别概率向量更新得到的第i类的概率分布特征中心，n表示总的样本数量，C为数据集中的类别个数，e为初始特征向量，p为“时空谱角”特征向量，Pj,l是第l类有标记样本和第j类无标记样本对应的预测概率，η表示更新系数，1[y＝i]表示指示函数。为了公平对待所有类别，同时不引入任何类别先验，ki初始化为0，vi初始化为1/C。
其中，式(5)表示基于“时空谱角”注意力模型最终得到的第i类的类别特征中心；式(6)表示按梯度优化对第i类的类别特征中心进行优化的过程；式(7)表示第i类的概率特征中心的计算过程，从中选择类别特征；式(8)表示对样本“时空谱角”特征向量的统计过程，从中选择i个概率特征向量。
进一步的，本发明引入正则化器，对“时空谱角”特征参量进行优化。图1中，正则化器表示向原始模型引入额外信息，以便防止由于训练数据不足或者网络结构过于复杂导致的过拟合问题的方法的统称。信息熵用来表示所有信息量的期望，是试验中每次可能结果的概率乘以其结果的总和。结构风险是指把函数集构造为一个函数子集序列，使各个子集按照大小排列，在每个子集中寻找最小经验风险，在子集间折中考虑经验风险和置信范围。通过正则化器计算最小化的交叉熵和结构风险，从而最大程度地减少预期的学习损失，以得到优化网络的特征参数Wbi。
在小样本城市遥感信息提取阶段，通过将预训练得到的特征参量Wai和优化后的“时空谱角”特征参量Wbi并行使用作为分类器的特征参数，使得分类器既能保留初始网络的特征，又不会遗忘优化后网络学习到的知识，能够使本发明设计的城市遥感信息提取模型充分适应少量样本的信息特征。
分类器利用上述的特征参量学习信息提取的规则，然后从未知数据中提取城市地物信息。分类任务中通常使用Cross Entropy Loss交叉熵损失函数(又称为对数似然损失),在多分类任务中，经常采用soft max激活函数与交叉熵损失函数结合，交叉熵表示的是实际输出与期望输出的距离，交叉熵越小二者的概率分布越近。假设概率分布p为期望输出，概率分布q为实际输出，H(p,q)为交叉熵，计算公式为:
式中，T为分类的类别数量，p(x)是某一事件发生的真实概率，q(x)是某一事件发生的预测概率，j是事件的数量。
本发明中，由于样本小且不均匀，会降低准确率。优选采用Focal Loss损失函数代替Cross Entropy Loss交叉熵损失函数。
FL(p)＝-at[1-p(x)]γlog p(x) (10)
式中，at是用来平衡样本数量的，γ相当于惩罚项，用来控制难分样本的挖掘。
具体实施时，本发明技术方案提出的方法可由本领域技术人员采用计算机软件技术实现自动运行流程，实现方法的系统装置例如存储本发明技术方案相应计算机程序的计算机可读存储介质以及包括运行相应计算机程序的计算机设备，也应当在本发明的保护范围内。
在一些可能的实施例中，提供一种基于元学习和注意力的小样本城市遥感影像信息提取系统，包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如上所述的一种基于元学习和注意力的小样本城市遥感影像信息提取方法。
在一些可能的实施例中，提供一种基于元学习和注意力的小样本城市遥感影像信息提取系统，包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如上所述的一种基于元学习和注意力的小样本城市遥感影像信息提取方法。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (5)
1.一种基于元学习和注意力的小样本城市遥感影像信息提取方法，其特征在于：包括以下步骤，
步骤1，构建小样本城市遥感信息预训练模型，在预训练阶段，通过对小样本集进行预训练网络学习，充分学习已有样本的特征信息，得到小样本集的初始特征参数和深层卷积网络主干；
步骤2，构建“时空谱角”注意力模型，用于使网络在训练过程中关注重要的“时空谱角”信息，抑制噪声和冗余信息，提高模型的分类性能；
步骤3，建立元学习与注意力协同机制并实现小样本城市遥感信息提取，包括将“时空谱角”注意力模型得到的特征参量和初始的特征参量进行并行关联学习，引入正则化器使交叉熵和结构风险最小化，实现对小样本信息的充分挖掘。
2.根据权利要求1所述基于元学习和注意力的小样本城市遥感影像信息提取方法，其特征在于：步骤1中，所述小样本城市遥感信息预训练模型是一个由卷积层、池化层和全连接层组成的网络结构，有5段卷积网络，每一段内有2个或3个卷积层，每段结尾连接一个最大池化层用于缩小图片尺寸；各段内部的卷积核数量一样，越靠近全连接层卷积核数量越多。
3.根据权利要求2所述基于元学习和注意力的小样本城市遥感影像信息提取方法，其特征在于：所述小样本城市遥感信息预训练模型中的卷积网络实现如下，
第一段卷积网络由两个卷积层和一个最大池化层组成，输出通道数为64，输出的尺寸为112×112×64；
第二段卷积网络由两个卷积层和一个最大池化层组成，输出通道数为128，输出尺寸为56×56×128；
第三段卷积网络由三个卷积层和一个最大池化层组成，输出通道数为256，输出尺寸为28×28×256；
第四段卷积网络由三个卷积层和一个最大池化层组成，输出通道数为512，输出尺寸为14×14×512；
第五段卷积网络由三个卷积层和一个最大池化层组成，输出通道数为512，输出尺寸为7×7×512；
将第五段卷积网络输出的结果扁平化表示为一维向量，然后输入第一个全连接层相应相应Dropout层，再输入第二个全连接层及相应Dropout层；最后输入第三个全连接层，第三个全连接层输出节点为1000，使用softmax函数处理得到分类输出概率，同时得到分类结果。
4.根据权利要求1所述基于元学习和注意力的小样本城市遥感影像信息提取方法，其特征在于：在“时空谱角”注意力模型中，对于三维输入X，首先经过沿着通道维的最大池化和平均池化得到特征压缩后的两个全局特征描述；然后，通过hard-sigmoid形式的门机制得到时间特征、空间特征、光谱特征和角度特征的权重XSS∈(0,1)；最后，将原始输入X与权重XSS相乘；
通过网络在训练过程中不断学习，对于重要的“时空谱角”信息，对应的权重接近于1；对于不重要或者具有负面影响的噪声和冗余信息，对应的权重接近于0。
5.根据权利要求1或2或3或4所述基于元学习和注意力的小样本城市遥感影像信息提取方法，其特征在于：“时空谱角”特征向量根据以下公式计算得到，
式中，k′i表示第i类的类别最终的特征中心，ki代表初始时第i类的类别特征中心，
代表梯度，
表示按梯度优化后的第i类的类别特征中心，j是无标记样本数量，l是标记样本数量，ej,l是有标记样本和无标记样本相对应的特征，sum()表示括号内数值的和，vi是第i类的概率分布特征中心，vi,j由j个第i类样本的类别概率向量更新得到的第i类的概率分布特征中心，n表示总的样本数量，C为数据集中的类别个数，e为初始特征向量，p为“时空谱角”特征向量，Pj,l是第l类有标记样本和第j类无标记样本对应的预测概率，η表示更新系数，1[y＝i]表示指示函数。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111654351.0A CN114283345B (zh) | 2021-12-30 | 基于元学习和注意力的小样本城市遥感影像信息提取方法 | |
| US18/090,549 US20230215166A1 (en) | 2021-12-30 | 2022-12-29 | Few-shot urban remote sensing image information extraction method based on meta learning and attention |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111654351.0A CN114283345B (zh) | 2021-12-30 | 基于元学习和注意力的小样本城市遥感影像信息提取方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114283345A true CN114283345A (zh) | 2022-04-05 |
| CN114283345B CN114283345B (zh) | 2024-10-25 |
Family
ID=
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190066234A1 (en) * | 2017-08-28 | 2019-02-28 | The Climate Corporation | Crop disease recognition and yield estimation |
| CN110728224A (zh) * | 2019-10-08 | 2020-01-24 | 西安电子科技大学 | 一种基于注意力机制深度Contourlet网络的遥感图像分类方法 |
| AU2020103901A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field |
| CN112818903A (zh) * | 2020-12-10 | 2021-05-18 | 北京航空航天大学 | 一种基于元学习和协同注意力的小样本遥感图像目标检测方法 |
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190066234A1 (en) * | 2017-08-28 | 2019-02-28 | The Climate Corporation | Crop disease recognition and yield estimation |
| CN110728224A (zh) * | 2019-10-08 | 2020-01-24 | 西安电子科技大学 | 一种基于注意力机制深度Contourlet网络的遥感图像分类方法 |
| AU2020103901A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field |
| CN112818903A (zh) * | 2020-12-10 | 2021-05-18 | 北京航空航天大学 | 一种基于元学习和协同注意力的小样本遥感图像目标检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 陈梦;王晓青;: "全卷积神经网络在建筑物震害遥感提取中的应用研究", 震灾防御技术, no. 04, 15 December 2019 (2019-12-15) * |
Also Published As
| Publication number | Publication date |
|---|---|
| US20230215166A1 (en) | 2023-07-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230215166A1 (en) | Few-shot urban remote sensing image information extraction method based on meta learning and attention | |
| AU2020103901A4 (en) | Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field | |
| WO2022252272A1 (zh) | 一种基于迁移学习的改进vgg16网络猪的身份识别方法 | |
| CN110119709B (zh) | 一种基于时空特性的驾驶员行为识别方法 | |
| WO2020108474A1 (zh) | 图片分类、分类识别模型的生成方法、装置、设备及介质 | |
| CN108665005B (zh) | 一种利用dcgan提高基于cnn图像识别性能的方法 | |
| CN111931641B (zh) | 基于权重多样性正则化的行人重识别方法及其应用 | |
| CN112800876B (zh) | 一种用于重识别的超球面特征嵌入方法及系统 | |
| CN111696101A (zh) | 一种基于SE-Inception的轻量级茄科病害识别方法 | |
| CN112464911A (zh) | 基于改进YOLOv3-tiny的交通标志检测与识别方法 | |
| CN106407986A (zh) | 一种基于深度模型的合成孔径雷达图像目标识别方法 | |
| CN113111814B (zh) | 基于正则化约束的半监督行人重识别方法及装置 | |
| CN109033107A (zh) | 图像检索方法和装置、计算机设备和存储介质 | |
| CN112906485A (zh) | 基于改进的yolo模型的视障人士辅助障碍物感知方法 | |
| CN111553438A (zh) | 一种基于卷积神经网络的图像识别方法 | |
| CN114187450A (zh) | 一种基于深度学习的遥感图像语义分割方法 | |
| CN114463675B (zh) | 一种水下鱼类群组活动强度识别方法及装置 | |
| CN110245620B (zh) | 一种基于注意力的非最大化抑制方法 | |
| CN111079837B (zh) | 一种用于二维灰度图像检测识别分类的方法 | |
| CN113205103A (zh) | 一种轻量级的文身检测方法 | |
| CN110334584A (zh) | 一种基于区域全卷积网络的手势识别方法 | |
| CN109389246B (zh) | 一种基于神经网络的交通工具目的地区域范围预测方法 | |
| CN112686376A (zh) | 一种基于时序图神经网络的节点表示方法及增量学习方法 | |
| CN112883931A (zh) | 基于长短期记忆网络的实时真假运动判断方法 | |
| CN116110022A (zh) | 基于响应知识蒸馏的轻量化交通标志检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |