CN114092804A - 遥感图像的识别方法和装置 - Google Patents
遥感图像的识别方法和装置 Download PDFInfo
- Publication number
- CN114092804A CN114092804A CN202111309422.3A CN202111309422A CN114092804A CN 114092804 A CN114092804 A CN 114092804A CN 202111309422 A CN202111309422 A CN 202111309422A CN 114092804 A CN114092804 A CN 114092804A
- Authority
- CN
- China
- Prior art keywords
- remote sensing
- feature map
- dimensional
- fusion
- original
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000004927 fusion Effects 0.000 claims abstract description 73
- 238000010586 diagram Methods 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims description 19
- 238000000605 extraction Methods 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 5
- 239000013598 vector Substances 0.000 description 15
- 230000008569 process Effects 0.000 description 9
- 241000209094 Oryza Species 0.000 description 6
- 235000007164 Oryza sativa Nutrition 0.000 description 6
- 235000009566 rice Nutrition 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 238000007499 fusion processing Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 238000013475 authorization Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241000272525 Anas platyrhynchos Species 0.000 description 1
- 241000272814 Anser sp. Species 0.000 description 1
- 101100400452 Caenorhabditis elegans map-2 gene Proteins 0.000 description 1
- 101150064138 MAP1 gene Proteins 0.000 description 1
- 241000209140 Triticum Species 0.000 description 1
- 235000021307 Triticum Nutrition 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009331 sowing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本说明书实施例提供了一种遥感图像的识别方法和装置。该方法包括：获取对应于同一地块的至少两张遥感图像；该至少两张遥感图像是在至少两个不同时间上对该同一地块进行拍摄后得到的；对所述至少两张遥感图像分别进行特征提取，得到至少两张原始特征图；根据每一张原始特征图对应的遥感图像的拍摄时间，对所述至少两张原始特征图在时序上进行信息融合，得到融合特征图；利用该融合特征图，对遥感图像进行识别。本说明书能够更为准确地对遥感图像进行识别。
Description
技术领域
本说明书一个或多个实施例涉及网络信息技术，尤其涉及遥感图像的识别方法和装置。
背景技术
遥感图像是基于成像原理和光谱技术捕获的各类地物连续的光谱数据和空间数据。结合图像处理，对遥感图像进行识别的遥感图像识别技术是现阶段对地物信息进行获取的重要手段。
然而，传统的遥感图像识别技术是对拍摄出的每一张遥感图像分别进行识别，其识别精度不高。因此，针对以上不足，需要提供更加精准的遥感图像识别方案。
发明内容
本说明书一个或多个实施例描述了遥感图像的识别方法和装置，能够提高识别精度。
根据第一方面，提供了一种遥感图像的识别方法，包括：
获取对应于同一地块的至少两张遥感图像；该至少两张遥感图像是在至少两个不同时间上对该同一地块进行拍摄后得到的；
对所述至少两张遥感图像分别进行特征提取，得到至少两张原始特征图；
根据每一张原始特征图对应的遥感图像的拍摄时间，对所述至少两张原始特征图在时序上进行信息融合，得到融合特征图；
利用该融合特征图，对遥感图像进行识别。
其中，所述至少两个不同时间，包括：在一个生长周期内的至少两个不同时间；其中，该生长周期为：在所述地块上的待识别地物信息的生长周期。
其中，所述原始特征图中包括：第一原始特征图；该第一原始特征图为M维；M为正整数；
所述对至少两张原始特征图在时序上进行信息融合得到融合特征图，包括：
根据各个原始特征图对应的各遥感图像的拍摄时间的先后顺序，将各个第一原始特征图转换为各个N维特征后拼接在一起，得到N维的拼接特征；其中，所述N为正整数；
在N维的拼接特征中加入该拼接特征中的每一个元素对应的时序位置信息；
对加入时序位置信息后的N维的拼接特征进行注意力识别处理，得到N维的融合特征；及
将N维的融合特征转换为各M维融合特征图。
其中，所述N维为一维；
所述对加入时序位置信息后的N维的拼接特征进行注意力识别处理，包括：
将加入时序位置信息后的一维的拼接特征输入Self-Attention模型中。
其中，所述M维为：二维；
所述在N维的拼接特征中加入该拼接特征中的每一个元素对应的时序位置信息，包括：
根据每一个第一原始特征图中每一个二维元素的行列位置信息，得到每一个二维元素对应的第一正弦位置编码；
对各第一正弦位置编码进行通道转换，得到各二维元素对应的各第二正弦位置编码；其中，第二正弦位置编码的通道数与所述拼接特征中每一个N维元素的通道数相同；
在所述N维拼接特征中的每一个N维元素上加上第二正弦位置编码，该第二正弦位置编码对应于与该N维元素存在映射关系的二维元素。
所述第一原始特征图为低分辨率的特征图；
则，所述M维融合特征图为低分辨率的特征图。
其中，所述原始特征图中进一步包括：至少一个第二原始特征图；
所述第二原始特征图的分辨率大于所述第一原始特征图的分辨率；
所述利用该融合特征图对遥感图像进行识别，包括：利用所述M维融合特征图以及至少一个所述第二原始特征图，识别遥感图像中的地物信息。
其中，所述对所述至少两张遥感图像分别进行特征提取得到至少两张原始特征图，包括：
将所述至少两张遥感图像分别输入HRNet模型中，得到HRNet模型对应于每一张遥感图像输出的具有四种不同分辨率的特征图；其中，具有最低分辨率的特征图作为所述第一原始特征图，其他分辨率的三种特征图作为三个所述第二原始特征图。
其中，利用M维融合特征图以及第二原始特征图识别遥感图像中的地物信息，包括：
按照时序对应关系，将每一个M维融合特征图与其对应的M维的第一原始特征图相加；
对相加后得到的各M维特征图以及至少一个所述第二原始特征图进行特征识别，得到遥感图像中的地物信息。
根据第二方面，提供了遥感图像的识别装置，包括：
图像获取模块，配置为获取对应于同一地块的至少两张遥感图像；该至少两张遥感图像是在至少两个不同时间上对该同一地块进行拍摄后得到的；
特征提取模块，配置为对所述至少两张遥感图像分别进行特征提取，得到至少两张原始特征图；
时序融合模块，配置为根据每一张原始特征图对应的遥感图像的拍摄时间，对所述至少两张原始特征图在时序上进行信息融合，得到融合特征图；
识别模块，配置为利用该融合特征图，对遥感图像进行识别。
根据第三方面，提供了一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现本说明书任一实施例所述的方法。
本说明书实施例提供的遥感图像的识别方法及装置，不是对每一个单张遥感图像分别进行独立识别，而是将针对同一地块在不同时间上拍摄的至少两张遥感图像综合起来进行识别，由于根据拍摄时间进行了时序上的信息融合，因此融合特征图中则包括了同一地块上的同一地物信息在不同时间上的多种特征，根据此种融合特征图，则能够更为准确地对遥感图像进行识别。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本说明书一个实施例中遥感图像的识别方法的流程图。
图2是本说明书一个实施例中利用HRNet模型及Self-Attention模型进行遥感图像识别的一种示意图。
图3是本说明书一个实施例中在时序上对原始特征图进行融合的方法的流程图。
图4是本说明书一个实施例中采用的Self-Attention模型的框架示意图。
图5是本说明书一个实施例中遥感图像识别装置的结构示意图。
具体实施方式
如前所述，传统的遥感图像识别技术是对拍摄出的每一张遥感图像分别进行独立识别，从而导致识别精度不高。举例说明：在一个地块上，播种了水稻。在播种后，水稻大概在4月份出芽，那么如果在4月份时通过卫星对该地块进行拍摄，则可以得到一个遥感图像，但是，由于该4月份的遥感图像只是水稻刚刚出芽的图像，在水稻刚刚出芽时，其图像可能与其他作物出芽时的图像相差不多，很难分辨。因此，对此种遥感图像进行识别，往往无法准确地识别出该遥感图像显示的农作物为水稻，而很可能误识别为其他农作物。因此，大大降低了识别精度。
而对遥感图像的拍摄特点进行分析可知，在拍摄一个地块的遥感图像时，往往会在多个不同的时间点对同一个地块进行拍摄，比如，通过卫星拍摄遥感图像时，因为卫星围绕地球旋转，每当卫星旋转到该地块的上空时，就会对该地块进行拍摄，从而得到在不同时间点对同一个地块拍摄的多张遥感图像。比如，对一个地块在4月份、6月份、7月份以及9月份均拍摄了遥感图像，这4张遥感图像可以反映该同一个地块上的同一农作物在不同生长时间点的图像，因此，如果能综合该4张遥感图像进行识别，就可以更加准确地识别出农作物的种类。
下面描述以上构思的具体实现方式。
图1示出了本说明书一个实施例中遥感图像的识别方法的流程图。该方法的执行主体为遥感图像的识别装置。该装置可以位于服务器中。可以理解，该方法也可以通过任何具有计算、处理能力的装置、设备、平台、设备集群来执行。参见图1，该方法包括：
步骤101：获取对应于同一地块的至少两张遥感图像；该至少两张遥感图像是在至少两个不同时间上对该同一地块进行拍摄后得到的。
步骤103：对所述至少两张遥感图像分别进行特征提取，得到至少两张原始特征图。
步骤105：根据每一张原始特征图对应的遥感图像的拍摄时间，对所述至少两张原始特征图在时序上进行信息融合，得到融合特征图。
步骤107：利用该融合特征图，对遥感图像进行识别。
根据上述图1所示的过程可以看出，在本发明实施例中，不是对每一个单张遥感图像分别进行独立识别，而是将针对同一地块在不同时间上拍摄的至少两张遥感图像综合起来进行识别，由于根据拍摄时间进行了时序上的信息融合，因此融合特征图中则包括了同一地块上的同一地物信息在不同时间上的多种特征，根据此种融合特征图，则能够更为准确地对遥感图像进行识别。
下面对图1中的每一个步骤分别进行说明。
首先在步骤101中获取对应于同一地块的至少两张遥感图像；该至少两张遥感图像是在至少两个不同时间上对该同一地块进行拍摄后得到的。
遥感图像中包括地块上的待识别的地物信息，比如该地块上种植的农作物的图像或者该地块上养殖的动物的图像等。通过对遥感图像进行识别，可以确定出在该地块上种植的是何种农作物，比如是水稻还是小麦，或者可以确定出在该地块上养殖的是何种动物，比如是鸭子还是鹅。
在本步骤101中，至少两个不同时间包括：在一个生长周期内的至少两个不同时间；其中，该生长周期为：在所述地块上的待识别地物信息的生长周期。这样，就可以通过在一个生长周期内的多张遥感图像联合体现同一个待识别地物信息在时序上的各种特征信息。
在本发明的一个实施例中，该生长周期可以设置为一年。
在本发明的另一个实施例中，因为可以预先知道一个地块上的地物类别的大致生长周期，比如一个地块，种植的应该都是以半年为生长周期的夏季农作物，那么，则可以设置半年为一个生长周期，比如，可以获取3月份对该地块拍摄的遥感图像、4月份对该地块拍摄的遥感图像、6月份对该地块拍摄的遥感图像以及8月份对该地块拍摄的遥感图像，共4张不同时间上的遥感图像。
接下来，在步骤103中对所述至少两张遥感图像分别进行特征提取，得到至少两张原始特征图。
在本步骤103中，可以将步骤101中获取的各个遥感图像按照拍摄时间的先后顺序，组成一个序列，并利用多种可选的特征提取模型来提取该序列中的每一张遥感图像的特征。
本步骤103对应两种实现方式：
方式一、在对每一张遥感图像进行特征提取时，只提取得到一种分辨率的原始特征图。相应地，图1所示的后续步骤中，都针对该一种分辨率的原始特征图进行融合处理即可。
方式二、在对每一张遥感图像进行特征提取时，提取得到至少两种分辨率的原始特征图，其中低分辨率的原始特征图(记为第一种原始特征图)尺寸更小，所涉及的计算量也更小，因此，更加适用于加入时序位置信息，而高分辨率的原始特征图(记为第二种原始特征图)能够具有高阶语义信息，更加适用于分类识别。相应地，图1所示的后续步骤中，都针对该低分辨率的原始特征图(而不针对高分辨率的原始特征图)进行融合处理。
在该方式二中，步骤103可以利用HRNet(High-Resolution Network)模型来提取。使用HRNet的优势在于：第一，HRNet模型的跨距(stride)是32，可以有效减小遥感图像的分辨率至原图的1/32，减轻后续在时序上增加时序位置信息及融合的计算负担；第二，HRNet模型可以更有效地抽取出遥感图像中的高阶语义信息，更加有利于分类识别。
当使用HRNet模型时，本步骤103的一种实现过程包括：将步骤101中获取的至少两张遥感图像分别输入HRNet模型中，得到HRNet模型对应于每一张遥感图像输出的具有四种不同分辨率的原始特征图。
比如，参见图2，对于拍摄于4个时间点的4张遥感图像，每一张遥感图像的分辨率均为256*256*C’，其中C’为通道数，那么经过HRNet模型输出的四张原始特征图的尺寸依次是原遥感图像的1/4、1/8、1/16以及1/32，即64*64*C的原始特征图、32*32*C的原始特征图、16*16*C的原始特征图、8*8*C的原始特征图，C为通道数。其中，8*8*C的原始特征图的分辨率最小，可以作为上述方式二中的第一种原始特征图；而64*64*C的原始特征图、32*32*C的原始特征图及16*16*C的原始特征图，则分辨率相对较高，具有高阶语义信息，可以作为上述方式二中的第二种原始特征图。
接下来，在步骤105中根据每一张原始特征图对应的遥感图像的拍摄时间，对所述至少两张原始特征图在时序上进行信息融合，得到融合特征图。
在本说明书的一个实施例中，原始特征图中包括：第一原始特征图；该第一原始特征图为M维，M为大于等于1的正整数；则步骤105的一种具体实现过程包括：
步骤1051：根据各个原始特征图对应的各遥感图像的拍摄时间的先后顺序，将各个第一原始特征图转换为各个N维特征后拼接在一起，得到N维的拼接特征；其中，所述N为正整数；
步骤1053：在N维的拼接特征中加入该拼接特征中的每一个元素对应的时序位置信息；
步骤1055：对加入时序位置信息后的N维的拼接特征进行注意力识别处理，得到N维的融合特征；及
步骤1057：将N维的融合特征转换为各M维融合特征图。
在本说明书一个实施例中，对于上述步骤1055，为了进行注意力识别处理，可以采用Self-Attention模型来实现。Self-Attention模式利用了Attention机制，可以计算每个特征与其他所有特征之间的关联，能够更好地考虑到上下文的信息。因此，对于在时序上存在关联关系的上述至少两张遥感图像，则更加适用于对此种遥感图像的特征进行融合及加入时序位置信息。Self-Attention模式的输入为一维，因此，上述N维为一维；上述步骤1055中具体是将加入时序位置信息后的一维的拼接特征输入Self-Attention模型中，经过Self-Attention模型的处理，则可以输出一维的融合特征。
在本说明书一个实施例中，在上述步骤1053及步骤1055中，时序位置信息可以是正弦位置编码，那么提取得到的第一原始特征图可以是二维的特征图，也就是说，M维为二维，这样，上述步骤1053的一种实现过程包括：
根据每一个第一原始特征图中每一个二维元素的行列位置信息，得到每一个二维元素对应的第一正弦位置编码；
对各第一正弦位置编码进行通道转换，得到各二维元素对应的各第二正弦位置编码；其中，第二正弦位置编码的通道数与所述拼接特征中每一个N维元素的通道数相同；
在所述N维拼接特征中的每一个N维元素上加上第二正弦位置编码，该第二正弦位置编码对应于与该N维元素存在映射关系的二维元素。
在本说明书一个实施例中，如果上述步骤103采用方式一实现，那么上述步骤1051至步骤1057中的各第一原始特征图就是步骤103中得到的所有原始特征图。
在本说明书一个实施例中，如果上述步骤103采用方式二实现，那么上述步骤1051至步骤1057中的各第一原始特征图就是步骤103中得到的对应于每一个遥感图像的低分辨率的原始特征图。参见图2和图3，以使用HRNet模型为例来说明步骤1051至步骤1057的一种实现过程，具体包括：
步骤301：针对每一个最小分辨率的原始特征图(即8*8*C的原始特征图)，将其转换为一维特征。
比如步骤101中获取了2021年3月5日拍摄的地块1的遥感图像1，2021年4月6日拍摄的地块1的遥感图像2，2021年6月12日拍摄的地块1的遥感图像3，2021年8月1日拍摄的地块1的遥感图像4，4张遥感图像的尺寸均为256*256*C。如前所述，对应于4张遥感图像中的每一张遥感图像，经过HRNet模型后，都会得到4张原始特征图，包括：64*64*C的原始特征图、32*32*C的原始特征图、16*16*C的原始特征图、8*8*C的原始特征图(分辨率最小)。
相应地，在本步骤301中，将4张遥感图像对应的4张8*8*C的原始特征图作为第一原始特征图，均分别拉伸至一维，得到4个64*C的一维向量。
步骤303：根据各个原始特征图对应的各遥感图像的拍摄时间的先后顺序，将4个64*C的一维向量拼接在一起，得到一维的拼接特征。
本步骤303中，按照拍摄的时间顺序，将根据遥感图像1得到的64*C的一维向量、根据遥感图像2得到的64*C的一维向量、根据遥感图像3得到的64*C的一维向量、根据遥感图像4得到的64*C的一维向量依次连接，得到了256*C的一维的拼接特征，具体为一维向量。
步骤305：得到该一维的拼接特征即一维向量中每一个一维元素对应的正弦位置编码。
比如，对于一维的拼接特征中的第一个元素(记为元素A1)，其映射到根据遥感图像1得到的8*8*C的二维原始特征图中的第一个元素(即8*8矩阵中的第一个元素，记为元素B1)，用元素B1的行列位置信息即11输入正弦位置函数中，可以得到元素B1对应的正弦位置编码1，该正弦位置编码1通常为一个数值，因此需要进行通道转换，将正弦位置编码1通过映射等方式，将其通道数扩展至C比如200，使其通道数与元素A1的通道数相同，得到正弦位置编码2，那么元素A1对应的正弦位置编码就是这个正弦位置编码2。
步骤307：在一维的拼接特征即一维向量中，在每一个一维元素上加上其对应的正弦位置编码。
至此，则在256*C的一维拼接特征中携带了每一个特征的时序位置信息。
步骤309：将加入正弦位置编码后的一维的拼接特征输入Self-Attention模型中。
步骤311：由Self-Attention模型输出一维的融合特征。
这里，Self-Attention模型的核心模块可以采用Multi-head self-attention，进行比如6次的融合处理，从而输出最终的一维的融合特征，该融合特征为一维的256*C的向量，且携带了上述8*8*C的第一原始特征图(分辨率最小)的图像中每一个特征的时序位置信息。在本说明书一个实施例中，采用的Self-Attention模型的结构可以如图4所示。
参见图4，Self-Attention模型自带3个变换矩阵WQ，WK，WV。加入正弦位置编码后的一维的拼接向量分别去乘以这3个变换矩阵，得到3个结果Q、K、V，从而进行Self-Attention模型的不同注意力处理。其中，MatMul模块将Q与K相乘，然后对于相乘后的结果进行Scale模块的处理，即调整量纲，继续经过Mask模块和SoftMax模块的处理,在经过softmax模块之前，结果是比如3、5、7这样的一个向量，经过softmax模块之后，变成比如0.1、0.2、0.7这种有概率意义的0至1之间的一个数字输出，当然各个输出的和为1，softmax模块的输出乘以V，则完成了Self-Attention模型中第一层的处理，进入下一层，可以执行6次，即进行Self-Attention模型中的6层Multi-head self-attention处理，6层的参数不同，所以，Self-Attention模型的最终输出结果更准确。
步骤313：将一维的融合特征按照时序顺序，拆分为4个64*C的一维的融合向量。
步骤315：将4个64*C的一维融合向量转换为4个8*8*C的二维融合特征图。
在上述图3所示过程中，为了利用Self-Attention模型，将二维的原始特征图进行了降维，因此在得到融合的特征之后，还需要执行本步骤315中的升维。每一个二维融合特征图的大小为8*8*C，且携带了原8*8*C的第一原始特征图中每一个特征的时序位置信息。
需要说明的是，在上述实施例中，时序位置信息采用的是正弦位置编码，在其他实施例中，也可以采用诸如余弦位置编码等其他形式的位置信息。
接下来，在上述步骤107中利用该融合特征图，对遥感图像进行识别。
当步骤103至步骤105均对应上述方式二实现时，在本步骤107中，是利用M维融合特征图以及至少一个高分辨率的第二原始特征图，识别遥感图像中的地物信息。
如前所述，步骤105中得到的每一个M维的融合特征图具有如下特点：
1、低分辨率，比如上述图3所示过程中得到的8*8*C的4个融合特征图；
2、融合特征图中的每一个元素都携带有该元素的时序位置信息(比如对应于在先时间还是在后时间的同一目标的图像)。
而第二原始特征图具有如下特点：
1、高分辨率，比如上述图3所示过程中得到的64*64*C的原始特征图、32*32*C的原始特征图、16*16*C的原始特征图；
2、具有高阶语义信息。
因此，利用如上两种特征图，即M维融合特征图以及第二原始特征图，则既可以利用M维融合特征图中携带的时序位置信息，又可以利用第二原始特征图中的高阶语义信息，从而可以更加准确地识别出遥感图中的地物信息。
在本说明书一个实施例中，在利用M维融合特征图以及至少一个高分辨率的第二原始特征图识别遥感图像中的地物信息时，也包括如下两种方式：
方式A、直接使用该M维融合特征图。
比如将上述图3所示过程得到的4个二维融合特征图(根据4个8*8*C的原始特征图得到)、及HRNet模型输出的其他原始特征图(不包括4个8*8*C的其他所有原始特征图)输入一个解码器中，由该解码器识别出遥感图中的地物信息。
方式B、不直接使用该M维融合特征图，而是利用M维融合特征图进行残差连接(residual connection)处理，即，按照时序对应关系，将每一个M维融合特征图与其对应的M维的第一原始特征图相加；对相加后得到的各M维特征图以及至少一个所述第二原始特征图进行特征识别，得到遥感图像中的地物信息。
比如，根据遥感图像1得到的8*8*C的最小分辨率的原始特征图1与按照时序对应关系得到的第一个8*8*C的融合特征图进行相加，根据遥感图像2得到的8*8*C的最小分辨率的原始特征图2与按照时序对应关系得到的第二个8*8*C的融合特征图进行相加，以此类推，直至将根据遥感图像4得到的8*8*C的最小分辨率的原始特征图4与按照时序对应关系得到的第四个8*8*C的融合特征图进行相加。将4个相加后的融合特征图以及其他所有高分辨率的原始特征图一起输入一个解码器中，由该解码器识别出遥感图中的地物信息。
本说明书一个实施例提出了一种遥感图像的识别装置，参见图5，包括：
图像获取模块501，配置为获取对应于同一地块的至少两张遥感图像；该至少两张遥感图像是在至少两个不同时间上对该同一地块进行拍摄后得到的；
特征提取模块502，配置为对所述至少两张遥感图像分别进行特征提取，得到至少两张原始特征图；
时序融合模块503，配置为根据每一张原始特征图对应的遥感图像的拍摄时间，对所述至少两张原始特征图在时序上进行信息融合，得到融合特征图；
识别模块504，配置为利用该融合特征图，对遥感图像进行识别。
在本说明书装置的一个实施例中，所述至少两个不同时间，包括：在一个生长周期内的至少两个不同时间；其中，该生长周期为：在所述地块上的待识别地物信息的生长周期。
在本说明书装置的一个实施例中，原始特征图中包括：第一原始特征图；该第一原始特征图为M维；M为正整数；
所述时序融合模块503被配置为执行：
根据各个原始特征图对应的各遥感图像的拍摄时间的先后顺序，将各个第一原始特征图转换为各个N维特征后拼接在一起，得到N维的拼接特征；其中，所述N为正整数；
在N维的拼接特征中加入该拼接特征中的每一个元素对应的时序位置信息；
对加入时序位置信息后的N维的拼接特征进行注意力识别处理，得到N维的融合特征；及
将N维的融合特征转换为各M维融合特征图。
在本说明书装置的一个实施例中，所述N维为一维；
则所述时序融合模块503被配置在对加入时序位置信息后的N维的拼接特征进行注意力识别处理时，具体执行将加入时序位置信息后的N维的拼接特征输入Self-Attention模型中。
在本说明书装置的一个实施例中，所述M维为：二维；
则时序融合模块503被配置为执行：
根据每一个第一原始特征图中每一个二维元素的行列位置信息，得到每一个二维元素对应的第一正弦位置编码；
对各第一正弦位置编码进行通道转换，得到各二维元素对应的各第二正弦位置编码；其中，第二正弦位置编码的通道数与所述拼接特征中每一个N维元素的通道数相同；
在所述N维拼接特征中的每一个N维元素上加上第二正弦位置编码，该第二正弦位置编码对应于与该N维元素存在映射关系的二维元素。
在本说明书装置的一个实施例中，第一原始特征图为低分辨率的特征图；
则，所述M维融合特征图也为低分辨率的特征图。
在本说明书装置的一个实施例中，原始特征图中进一步包括：至少一个第二原始特征图；
所述第二原始特征图的分辨率大于所述第一原始特征图的分辨率；
上述识别模块504被配置为执行：利用所述M维融合特征图以及至少一个所述第二原始特征图，识别遥感图像中的地物信息。
在本说明书装置的一个实施例中，上述特征提取模块502被配置为执行：将所述至少两张遥感图像分别输入HRNet模型中，得到HRNet模型对应于每一张遥感图像输出的具有四种不同分辨率的特征图；其中，具有最低分辨率的特征图作为所述M维原始特征图，其他分辨率的三种特征图作为三个所述第一特征图。
在本说明书装置的一个实施例中，上述识别模块504被配置为执行：
按照时序对应关系，将每一个M维融合特征图与其对应的M维原始特征图相加；以及
对相加后得到的M维特征图以及至少一个所述第一特征图进行特征识别，得到遥感图像中的地物信息。
本说明书一个实施例提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行说明书中任一个实施例中的方法。
本说明书一个实施例提供了一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现执行说明书中任一个实施例中的方法。
可以理解的是，本说明书实施例示意的结构并不构成对本说明书实施例的装置的具体限定。在说明书的另一些实施例中，上述装置可以包括比图示更多或者更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件、软件或者软件和硬件的组合来实现。
上述装置、系统内的各模块之间的信息交互、执行过程等内容，由于与本说明书方法实施例基于同一构思，具体内容可参见本说明书方法实施例中的叙述，此处不再赘述。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、挂件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。
Claims (11)
1.遥感图像的识别方法，包括：
获取对应于同一地块的至少两张遥感图像；该至少两张遥感图像是在至少两个不同时间上对该同一地块进行拍摄后得到的；
对所述至少两张遥感图像分别进行特征提取，得到至少两张原始特征图；
根据每一张原始特征图对应的遥感图像的拍摄时间，对所述至少两张原始特征图在时序上进行信息融合，得到融合特征图；
利用该融合特征图，对遥感图像进行识别。
2.根据权利要求1所述的方法，其中，所述至少两个不同时间，包括：在一个生长周期内的至少两个不同时间；其中，该生长周期为：在所述地块上的待识别地物信息的生长周期。
3.根据权利要求1所述的方法，其中，所述原始特征图中包括：第一原始特征图；该第一原始特征图为M维；M为正整数；
所述对至少两张原始特征图在时序上进行信息融合得到融合特征图，包括：
根据各个原始特征图对应的各遥感图像的拍摄时间的先后顺序，将各个第一原始特征图转换为各个N维特征后拼接在一起，得到N维的拼接特征；其中，所述N为正整数；
在N维的拼接特征中加入该拼接特征中的每一个元素对应的时序位置信息；
对加入时序位置信息后的N维的拼接特征进行注意力识别处理，得到N维的融合特征；及
将N维的融合特征转换为M维融合特征图。
4.根据权利要求3所述的方法，其中，所述N维为一维；
所述对加入时序位置信息后的N维的拼接特征进行注意力识别处理，包括：
将加入时序位置信息后的一维的拼接特征输入Self-Attention模型中。
5.根据权利要求3所述的方法，其中，所述M维为：二维；
所述在N维的拼接特征中加入该拼接特征中的每一个元素对应的时序位置信息，包括：
根据每一个第一原始特征图中每一个二维元素的行列位置信息，得到每一个二维元素对应的第一正弦位置编码；
对各第一正弦位置编码进行通道转换，得到各二维元素对应的各第二正弦位置编码；其中，第二正弦位置编码的通道数与所述拼接特征中每一个N维元素的通道数相同；
在所述N维拼接特征中的每一个N维元素上加上第二正弦位置编码，该第二正弦位置编码对应于与该N维元素存在映射关系的二维元素。
6.根据权利要求3所述的方法，其中，所述第一原始特征图为低分辨率的特征图；
则，所述M维融合特征图为低分辨率的特征图。
7.根据权利要求6所述的方法，其中，所述原始特征图中进一步包括：至少一个第二原始特征图；
所述第二原始特征图的分辨率大于所述第一原始特征图的分辨率；
所述利用该融合特征图对遥感图像进行识别，包括：利用所述M维融合特征图以及至少一个所述第二原始特征图，识别遥感图像中的地物信息。
8.根据权利要求7所述的方法，其中，所述对所述至少两张遥感图像分别进行特征提取得到至少两张原始特征图，包括：
将所述至少两张遥感图像分别输入HRNet模型中，得到HRNet模型对应于每一张遥感图像输出的具有四种不同分辨率的特征图；其中，具有最低分辨率的特征图作为所述第一原始特征图，其他分辨率的三种特征图作为三个所述第二原始特征图。
9.根据权利要求7所述的方法，其中，利用M维融合特征图以及第二原始特征图识别遥感图像中的地物信息，包括：
按照时序对应关系，将每一个M维融合特征图与其对应的M维的第一原始特征图相加；
对相加后得到的各M维特征图以及至少一个所述第二原始特征图进行特征识别，得到遥感图像中的地物信息。
10.遥感图像的识别装置，包括：
图像获取模块，配置为获取对应于同一地块的至少两张遥感图像；该至少两张遥感图像是在至少两个不同时间上对该同一地块进行拍摄后得到的；
特征提取模块，配置为对所述至少两张遥感图像分别进行特征提取，得到至少两张原始特征图；
时序融合模块，配置为根据每一张原始特征图对应的遥感图像的拍摄时间，对所述至少两张原始特征图在时序上进行信息融合，得到融合特征图；
识别模块，配置为利用该融合特征图，对遥感图像进行识别。
11.一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-9中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111309422.3A CN114092804A (zh) | 2021-11-06 | 2021-11-06 | 遥感图像的识别方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111309422.3A CN114092804A (zh) | 2021-11-06 | 2021-11-06 | 遥感图像的识别方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114092804A true CN114092804A (zh) | 2022-02-25 |
Family
ID=80299101
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111309422.3A Pending CN114092804A (zh) | 2021-11-06 | 2021-11-06 | 遥感图像的识别方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114092804A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115203594A (zh) * | 2022-09-16 | 2022-10-18 | 成都国星宇航科技股份有限公司 | 多时相遥感数据显示方法、装置、设备和介质 |
| CN116092577A (zh) * | 2023-01-09 | 2023-05-09 | 中国海洋大学 | 一种基于多源异质信息聚合的蛋白质功能预测方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020125229A1 (zh) * | 2018-12-20 | 2020-06-25 | 深圳云天励飞技术有限公司 | 特征融合方法、装置、电子设备及存储介质 |
| CN112070069A (zh) * | 2020-11-10 | 2020-12-11 | 支付宝(杭州)信息技术有限公司 | 遥感图像的识别方法和装置 |
| AU2020103047A4 (en) * | 2020-09-24 | 2020-12-24 | Aerospace Information Research Institute, the Chinese Academy of Sciences | Crop Distribution Mapping |
| WO2021068176A1 (zh) * | 2019-10-11 | 2021-04-15 | 安徽中科智能感知产业技术研究院有限责任公司 | 一种基于时序遥感数据和卷积神经网络的作物种植分布预测方法 |
| AU2021101714A4 (en) * | 2020-06-19 | 2021-05-20 | Brealant Limited | Method of land use classification oriented to time-series remote-sensing images |
| CN113505635A (zh) * | 2021-05-24 | 2021-10-15 | 中国农业大学 | 基于光学和雷达的冬小麦与大蒜混种区识别方法及装置 |
-
2021
- 2021-11-06 CN CN202111309422.3A patent/CN114092804A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020125229A1 (zh) * | 2018-12-20 | 2020-06-25 | 深圳云天励飞技术有限公司 | 特征融合方法、装置、电子设备及存储介质 |
| WO2021068176A1 (zh) * | 2019-10-11 | 2021-04-15 | 安徽中科智能感知产业技术研究院有限责任公司 | 一种基于时序遥感数据和卷积神经网络的作物种植分布预测方法 |
| CN112840348A (zh) * | 2019-10-11 | 2021-05-25 | 安徽中科智能感知产业技术研究院有限责任公司 | 一种基于时序遥感数据和卷积神经网络的作物种植分布预测方法 |
| AU2021101714A4 (en) * | 2020-06-19 | 2021-05-20 | Brealant Limited | Method of land use classification oriented to time-series remote-sensing images |
| AU2020103047A4 (en) * | 2020-09-24 | 2020-12-24 | Aerospace Information Research Institute, the Chinese Academy of Sciences | Crop Distribution Mapping |
| CN112070069A (zh) * | 2020-11-10 | 2020-12-11 | 支付宝(杭州)信息技术有限公司 | 遥感图像的识别方法和装置 |
| CN113505635A (zh) * | 2021-05-24 | 2021-10-15 | 中国农业大学 | 基于光学和雷达的冬小麦与大蒜混种区识别方法及装置 |
Non-Patent Citations (3)
| Title |
|---|
| JI SHUNPING, ET AL: "《Learning discriminative spatiotemporal features for precise crop classification from multi-temporal satellite images》", 《INTERNATIONAL JOURNAL OF REMOTE SENSING》, 26 December 2019 (2019-12-26), pages 3162 - 3174 * |
| RUSSWURM, MARC, AND MARCO KÖRNER: "《Self-attention for raw optical satellite time series classification》", 《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》, 16 October 2020 (2020-10-16), pages 421 - 435 * |
| 宋茜;周清波;吴文斌;胡琼;余强毅;唐华俊;: "农作物遥感识别中的多源数据融合研究进展", 中国农业科学, no. 06 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115203594A (zh) * | 2022-09-16 | 2022-10-18 | 成都国星宇航科技股份有限公司 | 多时相遥感数据显示方法、装置、设备和介质 |
| CN115203594B (zh) * | 2022-09-16 | 2022-11-29 | 成都国星宇航科技股份有限公司 | 多时相遥感数据显示方法、装置、设备和介质 |
| CN116092577A (zh) * | 2023-01-09 | 2023-05-09 | 中国海洋大学 | 一种基于多源异质信息聚合的蛋白质功能预测方法 |
| CN116092577B (zh) * | 2023-01-09 | 2024-01-05 | 中国海洋大学 | 一种基于多源异质信息聚合的蛋白质功能预测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chen et al. | Symmetrical dense-shortcut deep fully convolutional networks for semantic segmentation of very-high-resolution remote sensing images | |
| CN108537742B (zh) | 一种基于生成对抗网络的遥感图像全色锐化方法 | |
| CN109376830B (zh) | 二维码生成方法及装置 | |
| Maus et al. | A time-weighted dynamic time warping method for land-use and land-cover mapping | |
| CN105740894B (zh) | 一种高光谱遥感图像的语义标注方法 | |
| CN112070069A (zh) | 遥感图像的识别方法和装置 | |
| Tuia et al. | Recent advances in domain adaptation for the classification of remote sensing data | |
| CN114092804A (zh) | 遥感图像的识别方法和装置 | |
| US20220215656A1 (en) | Method, apparatus, device for image processing, and storage medium | |
| Xiao et al. | Deep learning-based spatiotemporal fusion of unmanned aerial vehicle and satellite reflectance images for crop monitoring | |
| CN107274441A (zh) | 一种高光谱图像的波段校准方法和系统 | |
| CN114708455A (zh) | 高光谱影像和LiDAR数据协同分类方法 | |
| CN115546640A (zh) | 遥感影像的云检测方法、装置、电子设备及存储介质 | |
| CN117474781A (zh) | 一种基于注意力机制的高光谱与多光谱图像融合方法 | |
| Wu et al. | A Siamese template matching method for SAR and optical image | |
| CN115601281A (zh) | 基于深度学习的遥感图像时空融合方法、系统及电子设备 | |
| Kellenberger et al. | Deep domain adaptation in earth observation | |
| Bhadra et al. | End-to-end 3D CNN for plot-scale soybean yield prediction using multitemporal UAV-based RGB images | |
| Liu et al. | SIFNet: A self-attention interaction fusion network for multisource satellite imagery template matching | |
| CN112200845A (zh) | 一种图像配准方法和装置 | |
| CN116758419A (zh) | 针对遥感图像的多尺度目标检测方法、装置和设备 | |
| CN116758388A (zh) | 基于多尺度模型和残差的遥感图像时空融合方法及装置 | |
| Yasir et al. | Data-driven multispectral image registration | |
| Deng et al. | A paddy field segmentation method combining attention mechanism and adaptive feature fusion | |
| KR102659347B1 (ko) | 인공신경망을 통하여 변환된 중간영상을 활용한 영상 간 비교 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |