CN115620157A - 一种卫星图像的表征学习方法及装置 - Google Patents
一种卫星图像的表征学习方法及装置 Download PDFInfo
- Publication number
- CN115620157A CN115620157A CN202211153884.5A CN202211153884A CN115620157A CN 115620157 A CN115620157 A CN 115620157A CN 202211153884 A CN202211153884 A CN 202211153884A CN 115620157 A CN115620157 A CN 115620157A
- Authority
- CN
- China
- Prior art keywords
- characterization
- satellite image
- learning model
- interest point
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000012512 characterization method Methods 0.000 claims abstract description 217
- 238000012549 training Methods 0.000 claims abstract description 87
- 230000004927 fusion Effects 0.000 claims abstract description 29
- 239000013598 vector Substances 0.000 claims description 99
- 238000004590 computer program Methods 0.000 claims description 16
- 230000007246 mechanism Effects 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 13
- 230000000694 effects Effects 0.000 abstract description 12
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 241000274965 Cyrestis thyodamas Species 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 101150043283 ccdA gene Proteins 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Remote Sensing (AREA)
- Astronomy & Astrophysics (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种卫星图像的表征学习方法及装置，其中的方法包括：获取目标区域的目标卫星图像；将目标卫星图像输入至预先训练的表征学习模型中，得到目标预测结果；其中，表征学习模型基于兴趣点对比样本和地理空间对比样本训练得到，目标预测结果用于评估目标区域的待监测指标。该方法不仅使用卫星图像的地理空间信息进行表征学习，还同时融入了人类活动相关的信息，实现了多模态信息的表征融合，并有效提升了目标区域内相关指标预测的精确度。
Description
技术领域
本发明涉及卫星图像表征学习技术领域，尤其涉及一种卫星图像的表征学习方法及装置。
背景技术
城市化的进展带来了现代化的生活，但是也带来很多的问题，例如交通的拥堵、环境的恶化以及能耗的增加，要解决这些问题，在很多年前看似几乎不可能，但随着人工智能和大数据的到来，利用获取各种各样的大数据，以及强大的计算平台和智能算法，去发现城市正面临的问题，并进一步去解决这些问题，是城市计算大背景下极具挑战但又极具意义的事情。
卫星图像通过应用广泛的遥感技术来获取地表的俯瞰视图，为包括地表使用监控和社会经济指标预测等应用提供了丰富的数据来源。相较于传统的数据源，例如实地考察数据，获取卫星图像的方式更加省时和简便，使得大范围的地表覆盖监测以及人类活动的预测成为可能。
随着发展迅速的计算机视觉和深度学习领域的结合，为了实现地表覆盖分类、经济活跃度预测、人口预测以及社会经济指标的分析，现有技术提供了一种针对特定任务的监督学习方法，该方法需要大量的标注数据来训练模型。然而，在很多的遥感应用中，获得大量的标注的数据是极度困难的。因此，在实际应用中，虽然卫星图像的数量很多，但由于没有足够的标注数据，导致无法直接应用于很多的下游的任务中。
为了降低对于标注数据的依赖，现有技术提出了一种针对卫星图像应用的无监督任务，具体地，通过避免获取大量的标注数据，表征学习可以对卫星图像学习到一个包含丰富信息的低维表征，而学习到的低维表征可以应用于很多不同的下游任务。与自然语言处理领域的字嵌入相似，卫星图像表征学习的关键设计在于定义一个相似度指标，即通过衡量卫星图像之间的相似度并且将这个信息嵌入到学习到的表征中。
目前普遍应用的卫星图像间的相似度衡量指标是根据Tobler的地学第一定理，即所有的事物都是相关的，但是地理距离相近的物体相较于地理距离遥远的物体存在更大的相关性。表示到卫星图像中，可以认为地理空间相近的卫星图像比地理空间较远的卫星图像存在更大的相似性，因此，地理空间上相近的卫星图像的表征应该更接近。
在人类活动稀少的区域，由于自然地表占据很大比例，这种定理效果确实很理想。但是，人类活动比较频繁的两个相邻区域，可能会存在不同的地表用途和不同的城市功能。
为了弥补这一不足，现有技术提出了READ模型，一个融合了专家标注的部分有标签数据和大量无标签数据的半监督学习模型，用来对卫星图像进行表征学习，应用于后续的多种下游任务。但是这种方法需要专家标注，费时并且专家标注的质量也会影响后续模型的预测性能。
综上所述，现有的针对自然图像的表征学习方法无法直接应用于卫星图像的表征提取，且针对卫星图像表征学习的技术方案较少，进一步地，针对卫星图像表征学习，现有技术仅仅使用了卫星图像的地理空间信息进行表征学习，这会导致人类活动相关信息的丢失。
因此，现有技术中仅使用卫星图像的地理空间信息进行表征学习，忽视了人类活动相关的信息的问题，是卫星图像表征学习技术领域亟待解决的重要问题。
发明内容
本发明提供一种卫星图像的表征学习方法及装置，用以克服现有技术中仅使用卫星图像的地理空间信息进行表征学习，忽视了人类活动相关的信息的缺陷，实现了多模态信息的表征融合，并有效提升了目标区域内相关指标预测的精确度。
一方面，本发明提供一种卫星图像的表征学习方法，包括：获取目标区域的目标卫星图像；将所述目标卫星图像输入至预先训练的表征学习模型中，得到目标预测结果；其中，所述表征学习模型基于兴趣点对比样本和地理空间对比样本训练得到，所述目标预测结果用于评估所述目标区域的待监测指标。
进一步地，所述表征学习模型包括兴趣点表征学习模型和地理空间表征学习模型，其中，利用所述兴趣点对比样本训练所述兴趣点表征学习模型，以及，利用所述地理空间对比样本训练所述地理空间表征学习模型；其中，所述兴趣点表征学习模型用于从所述目标卫星图像中提取兴趣点表征向量，所述地理空间表征学习模型用于从所述目标卫星图像中提取地理空间表征向量。
进一步地，所述利用所述兴趣点对比样本训练所述兴趣点表征学习模型，包括：采集卫星图像训练样本；针对所述卫星图像训练样本中的每一卫星图像，获取该卫星图像中各类兴趣点的数量，并形成兴趣点特征向量；计算该卫星图像所对应的兴趣点特征向量与所述卫星图像训练样本中其他卫星图像所对应的兴趣点特征向量之间的兴趣点特征向量欧氏距离；将与该卫星图像之间的兴趣点特征向量欧氏距离最短的卫星图像，与该卫星图像共同作为所述兴趣点对比样本；根据所述兴趣点对比样本，训练所述兴趣点表征学习模型至收敛。
进一步地，所述利用地理空间对比样本训练所述地理空间表征学习模型，包括：采集卫星图像训练样本；针对所述卫星图像训练样本中的每一卫星图像，根据经纬度数据，确定所述地理空间对比样本；根据所述地理空间对比样本，训练所述地理空间表征学习模型至收敛。
进一步地，所述表征学习模型还包括注意力机制表征融合模块，其中，通过所述注意力机制表征融合模块，融合所述兴趣点表征向量和所述地理空间表征向量，得到融合表征向量。
进一步地，在模型训练过程中，在所述兴趣点表征学习模型和所述地理空间表征学习模型的输出向量后增加多层感知机结构。
第二方面，本发明还提供一种卫星图像的表征学习装置，包括：卫星图像获取模块，用于获取目标区域的目标卫星图像；目标结果预测模块，用于将所述目标卫星图像输入至预先训练的表征学习模型中，得到目标预测结果；其中，所述表征学习模型基于兴趣点对比样本和地理空间对比样本训练得到，所述目标预测结果用于评估所述目标区域的待监测指标。
第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述的卫星图像的表征学习方法的步骤。
第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述的卫星图像的表征学习方法的步骤。
第五方面，本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述的卫星图像的表征学习方法的步骤。
本发明提供的卫星图像的表征学习方法，通过获取目标区域的目标卫星图像，并将该目标卫星图像，输入到基于兴趣点对比样本和地理空间对比样本训练得到的表征学习模型中，以得到用于评估目标区域内待监测指标的目标预测结果，该方法不仅使用卫星图像的地理空间信息进行表征学习，还同时融入了人类活动相关的信息，实现了多模态信息的表征融合，并有效提升了目标区域内相关指标预测的精确度。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的卫星图像的表征学习方法的流程示意图；
图2为本发明提供的表征学习模型的训练示意图；
图3为本发明提供的卫星图像的兴趣点特征向量示意图；
图4为本发明提供的兴趣点对比样本和地理空间对比样本的构建示意图；
图5为本发明提供的注意力机制表征融合模块的表征融合示意图；
图6为本发明提供的卫星图像的表征学习方法的整体流程示意图；
图7为本发明提供的表征学习模型的整体模型预测示意图；
图8为本发明提供的卫星图像的表征学习装置的结构示意图；
图9为本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1示出了本发明所提供的卫星图像的表征学习方法的流程示意图。如图1所示，该表征学习方法包括：
S101，获取目标区域的目标卫星图像。
在本步骤中，目标区域与后续的下游预测任务所在区域相对应，例如，若需要预测北京市丰台区的人口数量，那么目标区域则为北京市丰台区这一区域。
卫星图像是指各种人造地球卫星在运行过程中，通过照相机、电视摄像机以及多光谱扫描仪等设备，对地面地物进行摄影或扫描所获得的图像资料。卫星图像的概括性较强，有利于掌握地面现象的动态变化。
目标卫星图像则是利用前述设备在目标区域获取的卫星图像。需要说明的是，在本步骤中，对目标卫星图像的数量不做具体限定。
S102，将目标卫星图像输入至预先训练的表征学习模型中，得到目标预测结果。
可以理解的是，在上一步骤S101获取目标卫星图像的基础上，将目标卫星图像输入至预先训练好的表征学习模型中，由表征学习模型对目标卫星图像进行特征的提取和分析处理，并输出相应的目标预测结果。
其中，表征学习模型是利用两种类型的对比学习样本训练得到的，即通过兴趣点对比样本和地理空间对比样本训练得到的。目标预测结果用于评估目标区域的待监测指标，待监测指标包括目标区域的社会经济指标，例如目标区域的人口数量、人口密度以及餐饮业的大众点评数量等。
具体地，兴趣点对比样本是根据卫星图像中的兴趣点信息获取的兴趣点对比样本，地理空间样本是根据卫星图像中的地理空间信息获取的对比样本。其中，兴趣点信息为与人类活动相关的地点信息，例如购物中心、旅馆、餐厅以及政府部门。地理空间信息为与地理位置相关的信息，例如目标区域的经度和纬度信息。
利用兴趣点对比样本和地理空间对比样本训练表征学习模型之后，该表征学习模型便可以有效提取目标卫星图像中与兴趣点信息和地理空间信息相关的表征向量。
还需要说明的是，表征学习可以从卫星图像中学习到包含丰富信息的低维表征，该低维表征可以应用于多种不同的下游预测任务，而本步骤中的表征学习模型，就是用于提取目标卫星图像中的低维表征，并利用该低维表征进行目标区域内相关待监测指标的预测。
在一个具体的实施例中，需要预测北京市海淀区的人口密度，首先利用照相机、电视摄像机或多光谱扫描仪获取海淀区的目标卫星图像，获取目标卫星图像后，将获取的目标卫星图像输入到预先训练好的表征学习模型中，即可得到海淀区所包含的人口密度。
在本实施例中，通过获取目标区域的目标卫星图像，并将该目标卫星图像，输入到基于兴趣点对比样本和地理空间对比样本训练得到的表征学习模型中，以得到用于评估目标区域内待监测指标的目标预测结果，该方法不仅使用卫星图像的地理空间信息进行表征学习，还同时融入了人类活动相关的信息，实现了多模态信息的表征融合，并有效提升了目标区域内相关指标预测的精确度。
在上述实施例的基础上，进一步地，表征学习模型包括兴趣点表征学习模型和地理空间表征学习模型，其中，利用兴趣点对比样本训练兴趣点表征学习模型，以及，利用地理空间对比样本训练地理空间表征学习模型；兴趣点表征学习模型用于从目标卫星图像中提取兴趣点表征向量，地理空间表征学习模型用于从目标卫星图像中提取地理空间表征向量。
可以理解的是，表征学习模型包括兴趣点表征学习模型和地理空间表征学习模型，相应的，基于兴趣点对比样本和地理空间对比样本训练表征学习模型，包括利用兴趣点对比样本训练兴趣点表征学习模型，以及利用地理空间对比样本训练地理空间表征学习模型。
其中，利用兴趣点对比样本训练兴趣点表征学习模型，是为了使训练后的兴趣点表征学习模型能够高效地利用目标卫星图像中的兴趣点特征，最大化两个兴趣点信息最接近的卫星图像的表征向量相似度。利用地理空间对比样本训练地理空间表征学习模型，是为了使训练后的地理空间表征学习模型能够高效地提取目标卫星图像中的地理空间表征向量，最大化两个地理空间信息最接近的卫星图像的表征向量相似度。
进一步地，在兴趣点表征学习模型的训练中，将卫星图像Ii，以及与其兴趣点特征向量的欧氏距离最接近的卫星图像Ci这两个卫星图像输入兴趣点表征学习模型FP中，使得卫星图像可以转化为低维的兴趣点表征向量
和
其中，
和
需要说明的是，得到的
和
应该包含相似的人类活动信息。
在设计损失函数更新网络参数时，可以选取归一化交叉熵损失函数。具体地，对于一个训练批次中的N张随机选择的卫星图像Ii(i＝1,2,...,N)，有N张对应的兴趣点信息最相近的卫星图像Ci(i＝1,2,...,N)。将上述的2N张卫星图像输入至兴趣点表征学习模型FP中，即可得到2N个低维的兴趣点表征向量
和
在计算损失函数时，对于卫星图像Ii和Ci，将其余的2(N-1)张卫星图像作为这个训练批次的负样本。具体地，令
作为向量u1和u2的余弦相似度，则卫星图像样本对(Ii,Ci)的损失函数可以用如下公式表示：
其中，d1和d2根据以下公式进行计算：
其中
和
函数分别在Ii≠Ik和Ci≠Ck时等于1，其他情况下为0。
另外，在模型训练过程中还需要设置模型超参数，包括网络层的选取和学习速率，并且，网络各层的权重及偏置值都可以在反向传播的过程中通过随机梯度下降的方法进行更新。
在一个具体的实施例中，兴趣点表征学习模型和地理空间表征学习模型均由卷积神经网络构成。
对于利用地理空间对比样本训练地理空间表征学习模型的过程，将兴趣点对比样本替换为地理空间对比样本，其训练过程与兴趣点表征学习模型的训练过程一致，在此不再赘述。
图2示出了本发明所提供的表征学习模型的训练示意图，进一步解释了图1中表征学习模型的训练过程。如图2所示，表征学习模型的训练包括兴趣点表征学习模型和地理空间表征模型的训练，兴趣点表征学习模型根据兴趣点对比样本进行训练，地理空间表征学习模型根据地理空间对比样本进行训练。
在训练过程中，将兴趣点对比样本输入至兴趣点表征学习模型中，即可得到相应的兴趣点表征向量，将地理空间对比样本输入至地理空间表征学习模型中，即可得到相应的地理空间表征向量。根据图2还可以看出，训练时，在兴趣点表征学习模型和地理空间表征学习模型的输出向量后面增加了一个MLP(Multilayer Perceptron)，即多层感知机结构，使得兴趣点表征学习模型和地理空间表征学习模型能够学习到更好的表征向量。
关于图2中的“共享权重”，兴趣点表征学习模型、地理空间表征学习模型以及多层感知机结构在训练过程中会存在一些局部特征被重复使用的情况，在此情况下，若兴趣点表征学习模型、地理空间表征学习模型以及多层感知机结构的不同神经元之间能够共享权重，可在一定程度上减小它们的参数，并提高其训练性能。
需要说明的是，在下游的预测任务中，仅使用兴趣点表征学习模型和地理空间表征学习模型的输出作为卫星图像对应的表征向量，不用增加多层感知机结构。
还需要说明的是，除了兴趣点表征学习模型和地理空间表征学习模型以外，表征学习模型还包括与融合和预测相关的模块。
具体地，在完成兴趣点表征学习模型和地理空间表征学习模型的训练之后，基于兴趣点表征学习模型输出的兴趣点表征向量，以及地理空间表征学习模型输出的地理空间表征向量，对表征学习模型中与融合和预测相关的模块进行相应的训练，从而完整表征学习模型的整体训练，以将训练好的表征学习模型用于相关待监测指标的预测。
在本实施例中，通过利用兴趣点对比样本和地理空间对比样本，分别对兴趣点表征学习模型和地理空间表征学习模型进行训练，使得训练后的表征学习模型具备同时提取目标卫星图像中的兴趣点表征向量和地理空间表征向量的能力，从而表征学习模型可以进一步融合兴趣点表征向量和地理空间表征向量，并将融合后的表征向量用于目标区域内相关待监测指标的预测。
在上述实施例的基础上，进一步地，利用兴趣点对比样本训练兴趣点表征学习模型，包括：采集卫星图像训练样本；针对卫星图像训练样本中的每一卫星图像，获取该卫星图像中各类兴趣点的数量，并形成兴趣点特征向量；计算该卫星图像所对应的兴趣点特征向量与卫星图像训练样本中其他卫星图像所对应的兴趣点特征向量之间的兴趣点特征向量欧氏距离；将与该卫星图像之间的兴趣点特征向量欧氏距离最短的卫星图像，与该卫星图像共同作为兴趣点对比样本；根据兴趣点对比样本，训练兴趣点表征学习模型至收敛。
可以理解的是，利用兴趣点对比样本训练兴趣点表征学习模型，具体地，首先，利用照相机、电视摄像机以及多光谱扫描仪等设备，对地面地物进行摄影或扫描，以获取卫星图像训练样本。需要说明的是，卫星图像训练样本可以从目标区域的邻近区域采集，并不局限于目标区域内采集。
在采集卫星图像训练样本之后，针对卫星图像训练样本中的每一张卫星图像，通过现有的地图服务，获取该卫星图像中各类兴趣点的数量，并根据各类兴趣点的数量，形成该卫星图像的兴趣点特征向量。
其中，常见的地图服务包括高德地图、腾讯地图以及百度地图。兴趣点(Point OfInterests，简称POI)为真实世界中人类感兴趣的地点，即为与人类活动相关的地点信息，例如购物中心、旅馆、餐饮店、书店、学校以及政府部门等。
在一个具体的实施例中，以卫星图像训练样本中的一张卫星图像为例，该卫星图像涉及区域为北京市的朝阳区，经统计，朝阳区内幼儿园309所，博物馆35个，公共图书馆46个，社区文化活动室573个，体育场地968个，卫生机构1808个，购物中心495个，根据这些数据即可形成该卫星图像的兴趣点特征向量。
图3示出了本发明所提供的卫星图像的兴趣点特征向量示意图。如图3所示，基于卫星图像，可以根据现有的地图服务确定目标区域内包括的各类兴趣点的数量，图3中列出了卫星图像中所包含的第1类到第K类POI所对应的数量，根据这K类POI分别对应的数量，可以得到该卫星图像所对应的K维度的POI特征向量POIi＝[POI1,POI2,…,POIK]，即兴趣点特征向量。
针对卫星图像训练样本中的每一卫星图像，获取对应的兴趣点特征向量，在此之后，计算该卫星图像所对应的兴趣点特征向量，与卫星图像训练样本中其他卫星图像所对应的兴趣点特征向量之间的兴趣点特征向量欧氏距离，并将与该卫星图像之间的兴趣点特征向量欧氏距离最短的卫星图像，与该卫星图像共同作为兴趣点对比样本，即兴趣点对比样本由卫星图像，以及与该卫星图像兴趣点特征向量欧氏距离最短的卫星图像构成。
具体地，为了找出与每个卫星图像的兴趣点信息最接近的卫星图像，引入欧氏距离来计算两个卫星图像包含的兴趣点特征向量之间的距离，进一步地，卫星图像Ii和卫星图像Ij之间的欧氏距离可以采用如下公式计算得到：
其中，K为卫星图像的兴趣点种类标号，i和j表示不同卫星图像的标号。
需要说明的是，在实际应用中，一张卫星图像可能与其他多个卫星图像都具有最近的欧氏距离，这种情况下，从欧氏距离最近的多个卫星图像中随机选取一张卫星图像，与对应的卫星图像共同作为兴趣点对比样本。
在基于卫星图像训练样本，得到兴趣点对比样本之后，利用得到的兴趣点对比样本，训练兴趣点表征学习模型至收敛。
在本实施例中，通过采集卫星图像训练样本，针对卫星图像训练样本中的每一卫星图像，获取该卫星图像中各类兴趣点的数量，以形成相应的兴趣点特征向量，在此基础上，计算该卫星图像所对应的兴趣点特征向量，与卫星图像训练样本中其他卫星图像所对应的兴趣点特征向量之间的欧氏距离，并将与该卫星图像之间欧氏距离最短的卫星图像，与该卫星图像共同作为兴趣点对比样本，从而利用兴趣点对比样本对兴趣点表征学习模型进行训练，使兴趣点表征学习模型能够高效地提取目标卫星图像中的兴趣点表征向量。
在上述实施例的基础上，进一步地，利用地理空间对比样本训练地理空间表征学习模型，包括：采集卫星图像训练样本；针对卫星图像训练样本中的每一卫星图像，根据经纬度数据，确定地理空间对比样本；根据地理空间对比样本，训练地理空间表征学习模型至收敛。
可以理解的是，利用地理空间对比样本训练地理空间表征学习模型，具体地，首先，利用照相机、电视摄像机以及多光谱扫描仪等设备，对地面地物进行摄影或扫描，以获取卫星图像训练样本。需要说明的是，卫星图像训练样本可以从目标区域的邻近区域采集，并不局限于目标区域内采集。
在采集卫星图像训练样本之后，针对卫星图像训练样本中的每一张卫星图像，根据经度数据和纬度数据，确定地理空间对比样本。
具体地，对于卫星图像训练样本中的每一张卫星图像，可以通过固定该卫星图像的经度的方式，在卫星图像训练样本中选择纬度数据与该卫星图像最接近的一张卫星图像，与该卫星图像共同作为地理空间对比样本。
还可以通过规定该卫星图像的维度的方式，在卫星图像训练样本中选择经度数据与该卫星图像最接近的一张卫星图像，与该卫星图像共同作为地理空间对比样本。
需要说明的是，在实际应用中，一张卫星图像可能与其他多个卫星图像都具有最接近的经度或纬度，这种情况下，从经度或纬度最接近的多个卫星图像中随机选取一张卫星图像，与对应的卫星图像共同作为地理空间对比样本。
在得到地理空间对比样本后，利用地理空间对比样本，训练地理空间表征学习模型至收敛。
图4示出了本发明所提供的兴趣点对比样本和地理空间对比样本的构建示意图。如图4所示，对于卫星图像训练样本中的每一卫星图像，通过获取与该卫星图像的兴趣点特征向量的欧氏距离最接近的卫星图像，得到兴趣点对比样本；通过获取与该卫星图像空间地理位置最接近的卫星图像，得到空间距离对比样本。
在本实施例中，通过采集卫星图像训练样本，针对卫星图像训练样本中的每一卫星图像，根据经纬度数据确定地理空间对比样本，从而利用地理空间对比样本对地理空间表征学习模型进行训练，使地理空间表征学习模型能够高效地提取目标卫星图像中的地理空间表征向量。
在上述实施例的基础上，进一步地，表征学习模型还包括注意力机制表征融合模块，其中，通过注意力机制表征融合模块，融合兴趣点表征向量和地理空间表征向量，得到融合表征向量。
可以理解的是，除了兴趣点表征学习模型和地理空间表征学习模型，表征学习模型还包括注意力机制表征融合模块。具体地，该注意力机制表征融合模块用于融合兴趣点表征学习模型输出的兴趣点表征向量，以及地理空间表征学习模型输出的地理空间表征向量，以得到融合表征向量。
其中，注意力机制表征融合模块能够自动对兴趣点表征向量和地理空间表征向量学习权重，具体地，对于每种类型的表征向量，设计一个可以学习的参数，通过在预测过程中模型自动优化待学习的参数来确定每种类型的表征在融合的时候，在不同的下游任务中占据的权重。而后根据权重进行加权求和，实现兴趣点表征向量和地理空间表征向量的融合。
图5示出了本发明所提供的注意力机制表征融合模块的表征融合示意图。如图5所示，基于兴趣点表征向量和地理空间表征向量，注意力机制表征融合模块通过多层感知机结构对二者进行融合，从而得到融合表征向量。
在本实施例中，通过注意力机制表征融合模块，对兴趣点表征向量和地理空间表征向量进行融合，得到融合表征向量，该融合表征向量可用来预测下游任务中的待监测指标，而多模态信息的表征融合，可以有效提升目标区域内相关指标预测的精确度。
另外，图6示出了本发明所提供的卫星图像的表征学习方法的整体流程示意图，进一步细化了图1中的步骤S101和步骤S102。
如图6所示，首先是采集卫星图像，并基于采集的卫星图像统计卫星图像中包含的各类兴趣点。然后根据采集的卫星图像，以及卫星图像中包含的各类兴趣点，构建对比学习样本，即兴趣点对比样本和地理空间对比样本。而后，基于兴趣点对比样本和地理空间对比样本，训练表征学习模型至收敛。再然后，利用训练好的表征学习模型，提取目标卫星图像中的兴趣点表征向量和地理空间表征向量，并自适应融合兴趣点表征向量和地理空间表征向量，得到融合表征向量。最后，根据融合表征向量，获取目标区域内待监测指标的目标预测结果。
图7示出了本发明所提供的表征学习模型的整体模型预测示意图，进一步展开了图1中通过表征学习模型得到目标预测结果的过程。
如图7所示，将目标卫星图像分别输入至兴趣点表征学习模型和地理空间表征学习模型中，由兴趣点表征学习模型输出兴趣点表征向量，有地理空间表征学习模型输出地理空间表征向量，而后，通过注意力机制表征融合模块融合兴趣点表征向量和地理空间表征向量，并通过一个全连接层，将全连接层的输出作为最终的模型输出结果，即目标预测结果。
需要说明的是，图7中的“固定权重”的含义为，针对兴趣点表征向量和地理空间表征向量分别设计一个可以学习的参数，在预测过程中表征学习模型会自动优化这两个待学习参数，从而确定兴趣点表征向量和地理空间表征向量在不同的下游预测任务中融合时所占比重。
图8示出了本发明所提供的卫星图像的表征学习装置的结构示意图。如图8所示，该表征学习装置包括：卫星图像获取模块801，用于获取目标区域的目标卫星图像；目标结果预测模块802，用于将目标卫星图像输入至预先训练的表征学习模型中，得到目标预测结果；其中，表征学习模型基于兴趣点对比样本和地理空间对比样本训练得到，目标预测结果用于评估目标区域的待监测指标。
在本实施例中，卫星图像获取模块801通过获取目标区域的目标卫星图像，目标结果预测模块802将该目标卫星图像，输入到基于兴趣点对比样本和地理空间对比样本训练得到的表征学习模型中，以得到用于评估目标区域内待监测指标的目标预测结果，该装置不仅使用卫星图像的地理空间信息进行表征学习，还同时融入了人类活动相关的信息，实现了多模态信息的表征融合，并有效提升了目标区域内相关指标预测的精确度。
本发明所提供的卫星图像的表征学习装置，与上文描述的卫星图像的表征学习方法可相互对应参照，在此不再赘述。
图9示例了一种电子设备的实体结构示意图，如图9所示，该电子设备可以包括：处理器(processor)910、通信接口(communications Interface)920、存储器(memory)930和通信总线940，其中，处理器910，通信接口920，存储器930通过通信总线940完成相互间的通信。处理器910可以调用存储器930中的逻辑指令，以执行卫星图像的表征学习方法，该方法包括：获取目标区域的目标卫星图像；将所述目标卫星图像输入至预先训练的表征学习模型中，得到目标预测结果；其中，所述表征学习模型基于兴趣点对比样本和地理空间对比样本训练得到，所述目标预测结果用于评估所述目标区域的待监测指标。
此外，上述的存储器930中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的卫星图像的表征学习方法，该方法包括：获取目标区域的目标卫星图像；将所述目标卫星图像输入至预先训练的表征学习模型中，得到目标预测结果；其中，所述表征学习模型基于兴趣点对比样本和地理空间对比样本训练得到，所述目标预测结果用于评估所述目标区域的待监测指标。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的卫星图像的表征学习方法，该方法包括：获取目标区域的目标卫星图像；将所述目标卫星图像输入至预先训练的表征学习模型中，得到目标预测结果；其中，所述表征学习模型基于兴趣点对比样本和地理空间对比样本训练得到，所述目标预测结果用于评估所述目标区域的待监测指标。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种卫星图像的表征学习方法，其特征在于，包括：
获取目标区域的目标卫星图像；
将所述目标卫星图像输入至预先训练的表征学习模型中，得到目标预测结果；
其中，所述表征学习模型基于兴趣点对比样本和地理空间对比样本训练得到，所述目标预测结果用于评估所述目标区域的待监测指标。
2.根据权利要求1所述的卫星图像的表征学习方法，其特征在于，所述表征学习模型包括兴趣点表征学习模型和地理空间表征学习模型，其中，
利用所述兴趣点对比样本训练所述兴趣点表征学习模型，以及，利用所述地理空间对比样本训练所述地理空间表征学习模型；
所述兴趣点表征学习模型用于从所述目标卫星图像中提取兴趣点表征向量，所述地理空间表征学习模型用于从所述目标卫星图像中提取地理空间表征向量。
3.根据权利要求2所述的卫星图像的表征学习方法，其特征在于，所述利用所述兴趣点对比样本训练所述兴趣点表征学习模型，包括：
采集卫星图像训练样本；
针对所述卫星图像训练样本中的每一卫星图像，获取该卫星图像中各类兴趣点的数量，并形成兴趣点特征向量；
计算该卫星图像所对应的兴趣点特征向量与所述卫星图像训练样本中其他卫星图像所对应的兴趣点特征向量之间的兴趣点特征向量欧氏距离；
将与该卫星图像之间的兴趣点特征向量欧氏距离最短的卫星图像，与该卫星图像共同作为所述兴趣点对比样本；
根据所述兴趣点对比样本，训练所述兴趣点表征学习模型至收敛。
4.根据权利要求2所述的卫星图像的表征学习方法，其特征在于，所述利用地理空间对比样本训练所述地理空间表征学习模型，包括：
采集卫星图像训练样本；
针对所述卫星图像训练样本中的每一卫星图像，根据经纬度数据，确定所述地理空间对比样本；
根据所述地理空间对比样本，训练所述地理空间表征学习模型至收敛。
5.根据权利要求2所述的卫星图像的表征学习方法，其特征在于，所述表征学习模型还包括注意力机制表征融合模块，其中，
通过所述注意力机制表征融合模块，融合所述兴趣点表征向量和所述地理空间表征向量，得到融合表征向量。
6.根据权利要求2-5中任一项所述的卫星图像的表征学习方法，其特征在于，在模型训练过程中，在所述兴趣点表征学习模型和所述地理空间表征学习模型的输出向量后增加多层感知机结构。
7.一种卫星图像的表征学习装置，其特征在于，包括：
卫星图像获取模块，用于获取目标区域的目标卫星图像；
目标结果预测模块，用于将所述目标卫星图像输入至预先训练的表征学习模型中，得到目标预测结果；
其中，所述表征学习模型基于兴趣点对比样本和地理空间对比样本训练得到，所述目标预测结果用于评估所述目标区域的待监测指标。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述的卫星图像的表征学习方法的步骤。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的卫星图像的表征学习方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的卫星图像的表征学习方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211153884.5A CN115620157A (zh) | 2022-09-21 | 2022-09-21 | 一种卫星图像的表征学习方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211153884.5A CN115620157A (zh) | 2022-09-21 | 2022-09-21 | 一种卫星图像的表征学习方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115620157A true CN115620157A (zh) | 2023-01-17 |
Family
ID=84857912
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211153884.5A Pending CN115620157A (zh) | 2022-09-21 | 2022-09-21 | 一种卫星图像的表征学习方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115620157A (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180260648A1 (en) * | 2017-03-09 | 2018-09-13 | Baidu Online Network Technology (Beijing) Co., Ltd | Area of interest boundary extracting method and apparatus, device and computer storage medium |
| US20190122073A1 (en) * | 2017-10-23 | 2019-04-25 | The Charles Stark Draper Laboratory, Inc. | System and method for quantifying uncertainty in reasoning about 2d and 3d spatial features with a computer machine learning architecture |
| CN110287962A (zh) * | 2019-05-20 | 2019-09-27 | 平安科技（深圳）有限公司 | 基于超对象信息的遥感图像目标提取方法、装置及介质 |
| CN110555352A (zh) * | 2018-06-04 | 2019-12-10 | 百度在线网络技术（北京）有限公司 | 一种兴趣点识别方法、装置、服务器和存储介质 |
| CN112052754A (zh) * | 2020-08-24 | 2020-12-08 | 西安电子科技大学 | 基于自监督表征学习的极化sar影像地物分类方法 |
| CN112214677A (zh) * | 2020-10-19 | 2021-01-12 | 腾讯科技（深圳）有限公司 | 一种兴趣点推荐方法、装置、电子设备及存储介质 |
| KR20210042275A (ko) * | 2020-05-27 | 2021-04-19 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | 스몰 타깃 검출 방법 및 장치 |
| CN114357105A (zh) * | 2022-03-10 | 2022-04-15 | 北京百度网讯科技有限公司 | 地理预训练模型的预训练方法及模型微调方法 |
| CN114741623A (zh) * | 2022-05-20 | 2022-07-12 | 北京百度网讯科技有限公司 | 兴趣点状态确定方法、模型训练方法及装置 |
| US20220228885A1 (en) * | 2021-01-15 | 2022-07-21 | Vizzio Technologies Pte Ltd | Geospatial mapping |
| CN114972934A (zh) * | 2022-05-13 | 2022-08-30 | 武汉大学 | 一种面向遥感图像表征的对比自监督学习方法 |
-
2022
- 2022-09-21 CN CN202211153884.5A patent/CN115620157A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180260648A1 (en) * | 2017-03-09 | 2018-09-13 | Baidu Online Network Technology (Beijing) Co., Ltd | Area of interest boundary extracting method and apparatus, device and computer storage medium |
| US20190122073A1 (en) * | 2017-10-23 | 2019-04-25 | The Charles Stark Draper Laboratory, Inc. | System and method for quantifying uncertainty in reasoning about 2d and 3d spatial features with a computer machine learning architecture |
| CN110555352A (zh) * | 2018-06-04 | 2019-12-10 | 百度在线网络技术（北京）有限公司 | 一种兴趣点识别方法、装置、服务器和存储介质 |
| CN110287962A (zh) * | 2019-05-20 | 2019-09-27 | 平安科技（深圳）有限公司 | 基于超对象信息的遥感图像目标提取方法、装置及介质 |
| KR20210042275A (ko) * | 2020-05-27 | 2021-04-19 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | 스몰 타깃 검출 방법 및 장치 |
| CN112052754A (zh) * | 2020-08-24 | 2020-12-08 | 西安电子科技大学 | 基于自监督表征学习的极化sar影像地物分类方法 |
| CN112214677A (zh) * | 2020-10-19 | 2021-01-12 | 腾讯科技（深圳）有限公司 | 一种兴趣点推荐方法、装置、电子设备及存储介质 |
| US20220228885A1 (en) * | 2021-01-15 | 2022-07-21 | Vizzio Technologies Pte Ltd | Geospatial mapping |
| CN114357105A (zh) * | 2022-03-10 | 2022-04-15 | 北京百度网讯科技有限公司 | 地理预训练模型的预训练方法及模型微调方法 |
| CN114972934A (zh) * | 2022-05-13 | 2022-08-30 | 武汉大学 | 一种面向遥感图像表征的对比自监督学习方法 |
| CN114741623A (zh) * | 2022-05-20 | 2022-07-12 | 北京百度网讯科技有限公司 | 兴趣点状态确定方法、模型训练方法及装置 |
Non-Patent Citations (5)
| Title |
|---|
| WANG, SHERRIE: ""Machine Learning for Satellite Imagery when Labels Are Scarce"", 《 STANFORD UNIVERSITY》, 31 December 2021 (2021-12-31) * |
| 姚红革;王诚;喻钧;白小军;李蔚;: "复杂卫星图像中的小目标船舶识别", 《遥感学报》, no. 02, 25 February 2020 (2020-02-25) * |
| 宋轩，高云君，李勇，关庆锋，孟小峰: ""空间数据智能：概念、技术与挑战"", 《计算机研究与发展》, vol. 59, no. 02, 28 February 2022 (2022-02-28) * |
| 蹇松雷，卢凯: ""复杂异构数据的表征学习综述"", 《计算机科学》, vol. 47, no. 02, 29 February 2020 (2020-02-29) * |
| 高宸，李勇，金德鹏: ""基于图神经网络的视频推荐系统"", 《中兴通讯技术》, vol. 27, no. 01, 28 February 2021 (2021-02-28) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | Deep learning-based classification methods for remote sensing images in urban built-up areas | |
| Wang et al. | Urban2vec: Incorporating street view imagery and pois for multi-modal urban neighborhood embedding | |
| Chen et al. | Deep learning from multiple crowds: A case study of humanitarian mapping | |
| Zhang et al. | Discovering place-informative scenes and objects using social media photos | |
| Xu et al. | Application of a graph convolutional network with visual and semantic features to classify urban scenes | |
| Pereira et al. | Assessing flood severity from crowdsourced social media photos with deep neural networks | |
| Chew et al. | Residential scene classification for gridded population sampling in developing countries using deep convolutional neural networks on satellite imagery | |
| Miah et al. | A location analytics method for the utilisation of geotagged photos in travel marketing decision-making | |
| Alahmadi et al. | A comparison of small-area population estimation techniques using built-area and height data, Riyadh, Saudi Arabia | |
| Bhuyan et al. | Mapping and characterising buildings for flood exposure analysis using open-source data and artificial intelligence | |
| Li et al. | Multi-view crowd congestion monitoring system based on an ensemble of convolutional neural network classifiers | |
| Hu et al. | A framework to detect and understand thematic places of a city using geospatial data | |
| Andersson et al. | Combining street-level and aerial images for dengue incidence rate estimation | |
| CN113590971A (zh) | 一种基于类脑时空感知表征的兴趣点推荐方法及系统 | |
| CN117435819A (zh) | 时空动态感知的兴趣点推荐方法、系统和存储介质 | |
| Felix et al. | Cross-modal visual question answering for remote sensing data: The international conference on digital image computing: Techniques and applications (dicta 2021) | |
| CN115620157A (zh) | 一种卫星图像的表征学习方法及装置 | |
| Sun et al. | Automatic building age prediction from street view images | |
| CN115761519A (zh) | 指标预测方法、装置、设备、存储介质及程序产品 | |
| Huang et al. | Simultaneous update of high-resolution land-cover mapping attempt: Wuhan and the surrounding satellite cities cartography using L2HNet | |
| Pathirana et al. | Deep learning based flood prediction and relief optimization | |
| Chen et al. | Deep learning with satellite images and volunteered geographic information | |
| Yamada et al. | Are satellite images effective for estimating land prices on deep neural network models? | |
| Ning et al. | Predicting citywide passenger demand via reinforcement learning from spatio-temporal dynamics | |
| Raczycki | Faculty of Computer Science and Management |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |