CN115761519A - 指标预测方法、装置、设备、存储介质及程序产品 - Google Patents
指标预测方法、装置、设备、存储介质及程序产品 Download PDFInfo
- Publication number
- CN115761519A CN115761519A CN202211153765.XA CN202211153765A CN115761519A CN 115761519 A CN115761519 A CN 115761519A CN 202211153765 A CN202211153765 A CN 202211153765A CN 115761519 A CN115761519 A CN 115761519A
- Authority
- CN
- China
- Prior art keywords
- street
- satellite
- image
- node
- street view
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 93
- 239000013598 vector Substances 0.000 claims description 147
- 238000012549 training Methods 0.000 claims description 56
- 230000002776 aggregation Effects 0.000 claims description 27
- 238000004220 aggregation Methods 0.000 claims description 27
- 230000008569 process Effects 0.000 claims description 22
- 238000013528 artificial neural network Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 16
- 238000010606 normalization Methods 0.000 claims description 7
- 230000004931 aggregating effect Effects 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 16
- 238000012545 processing Methods 0.000 abstract description 13
- 238000010191 image analysis Methods 0.000 abstract description 4
- 230000007547 defect Effects 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000003672 processing method Methods 0.000 abstract description 2
- 230000000875 corresponding effect Effects 0.000 description 91
- 230000006870 function Effects 0.000 description 17
- 238000004364 calculation method Methods 0.000 description 15
- 239000010410 layer Substances 0.000 description 8
- 230000007246 mechanism Effects 0.000 description 8
- 230000004913 activation Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 5
- 230000018109 developmental process Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000006116 polymerization reaction Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002195 synergetic effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
Abstract
本发明涉及城市计算技术领域，尤其涉及一种指标预测方法、装置、设备、存储介质及程序产品。方法包括：获取目标区域的街道网络图数据，其中，所述街道网络图数据包括至少一个街道节点；获取所述目标区域对应的至少一张卫星图像，其中，每一张所述卫星图像包括至少一个所述街道节点；获取所述目标区域对应的至少一张街景图像，其中，每一张所述街景图像对应一个所述街道节点；基于每一个所述街道节点分别对应的所述卫星图像和所述街景图像，计算每一个预设指标标签分别对应的指标预测概率。本发明用以解决现有技术中对图像分析处理的效果较差，通过图像获得的信息准确性较低的缺陷，提升对图像处理的效果。
Description
技术领域
本发明涉及城市计算技术领域，尤其涉及一种指标预测方法、装置、设备、存储介质及程序产品。
背景技术
城市计算是一个通过不断获取、整合和分析城市中多种异构大数据来解决城市所面临挑战的过程。城市已经发展成为现代国家的社会和经济基础。针对城市的经济地图、卫星图像或街景图像等城市图像进行处理，进而得到该城市的相关信息，成为解决城市计算领域问题的常用方法。但是，现有技术中，一类方法对城市图像进行处理时，需要相关技术人员采用人工的方式创建或标的专用图像，进而完成图像的处理。这种方式需要花费大量人力物力，且难以保证人工处理得到的图像中城市信息全面且准确，对图像分析处理的效果较差，进而导致通过该图像获得的信息准确性较低。另一类方式是对城市图像进行简单的分类或回归处理，来获得指标预测结果等城市信息。该方式对图像的处理方式单一，难以通过图像涵盖一个城市多种地理信息或社会信息，同样导致图像分析处理的效果较差，通过该图像获得的信息准确性较低。
发明内容
本发明提供一种指标预测方法、装置、设备、存储介质及程序产品，用以解决现有技术中对图像分析处理的效果较差，通过图像获得的信息准确性较低的缺陷，提升对图像处理的效果。
本发明提供一种指标预测方法，包括：获取目标区域的街道网络图数据，其中，所述街道网络图数据包括至少一个街道节点；获取所述目标区域对应的至少一张卫星图像，其中，每一张所述卫星图像包括至少一个所述街道节点；获取所述目标区域对应的至少一张街景图像，其中，每一张所述街景图像对应一个所述街道节点；基于每一个所述街道节点分别对应的所述卫星图像和所述街景图像，计算每一个预设指标标签分别对应的指标预测概率。
根据本发明提供的一种指标预测方法，所述获取目标区域的街道网络图数据，包括：获取所述目标区域的原始街道网络，其中，所述原始街道网络包括至少一个道路交叉口；确定所述道路交叉口密度超过密度阈值的部分区域；合并所述部分区域内的所述道路交叉口；基于任意两个相邻所述道路交叉口，确定至少一个街道段；以每一个所述街道段的中心点为街道节点，以任意两个相邻所述街道节点的连接线为边，构建所述街道网络图数据。
根据本发明提供的一种指标预测方法，所述基于每一个所述街道节点分别对应的所述卫星图像和所述街景图像，计算每一个预设指标标签分别对应的指标预测概率，包括：通过预设的切片尺寸，将每一张所述卫星图像分别进行分割，获得至少一张卫星图像切片，其中，每一个所述街道节点关联一个所述卫星图像切片；将每一张所述卫星图像切片，分别输入预设的卫星对比学习模型，获得所述卫星对比学习模型输出的每一张所述卫星图像切片的卫星子特征向量，其中，所述卫星对比学习模型基于所述卫星图像训练得到；将每一个所述街道节点对应的所述街景图像，分别输入预设的街景对比学习模型，获得所述街景对比学习模型输出的每一张所述街景图像的街景子特征向量，其中，所述街景对比学习模型基于所述街景图像训练得到；基于所述卫星子特征向量和所述街景子特征向量，计算每一个预设指标标签分别对应的指标预测概率。
根据本发明提供的一种指标预测方法，所述卫星对比学习模型通过如下过程训练得到：通过预设的图像增强方法，获取每一张样本卫星图像分别对应的自相似卫星图像对；基于所述自相似卫星图像对，获得第一特征编码器的自相似卫星对比损失，其中，所述第一特征编码器基于神经网络预先构建；确定所述样本卫星图像中，任意两张地理距离最近的所述样本卫星图像，获得至少一对地理相似卫星图像对；基于所述地理相似卫星图像对，获得所述第一特征编码器的地理相似卫星对比损失；计算所述自相似卫星对比损失与所述地理相似卫星对比损失的和，作为所述第一特征编码器的卫星对比损失；通过最小化所述卫星对比损失训练所述第一特征编码器，获得所述卫星对比学习模型。
根据本发明提供的一种指标预测方法，所述街景对比学习模型通过如下过程训练得到：通过预设的图像增强方法，获取每一张样本街景图像分别对应的自相似街景图像对；基于所述自相似街景图像对，获得第二特征编码器的自相似街景对比损失，其中，所述第二特征编码器基于神经网络预先构建；确定所述样本街景图像中，任意两张地理距离最近的所述样本街景图像，获得至少一对地理相似街景图像对；基于所述地理相似街景图像对，获得所述第二特征编码器的地理相似街景对比损失；计算所述自相似街景对比损失与所述地理相似街景对比损失的和，作为所述第二特征编码器的街景对比损失；通过最小化所述街景对比损失训练所述第二特征编码器，获得所述街景对比学习模型。
根据本发明提供的一种指标预测方法，所述基于所述卫星子特征向量和所述街景子特征向量，计算每一个预设指标标签分别对应的指标预测概率，包括：通过预设的卫星图像切片的权重，分别计算每一个所述街道节点对应的所述卫星子特征向量的加权和，获得每一个所述街道节点的卫星特征向量，其中，所述卫星图像切片的权重基于所述卫星图像切片训练得到；通过预设的街景图像的权重，分别计算每一个所述街道节点对应的所述街景子特征向量的加权和，获得每一个所述街道节点的街景特征向量，其中，所述街景图像的权重基于所述街景图像训练得到；基于每一个所述街道节点分别对应的所述卫星特征向量和所述街景特征向量，获得每一个所述街道节点的节点特征向量；基于所述节点特征向量，计算每一个预设指标标签分别对应的指标预测概率。
根据本发明提供的一种指标预测方法，所述基于所述节点特征向量，计算每一个预设指标标签分别对应的指标预测概率，包括：确定每一个所述街道节点分别对应的邻居节点，其中，所述邻居节点为在所述街道网络图数据中由一条边直接关联的所述街道节点；对于每一个所述街道节点：基于通过预设的神经网络，对所述节点特征向量和所述邻居节点的所述节点特征向量进行迭代聚合，获得K个中间聚合向量，其中，K为大于1的整数；通过预设的归一化权重，计算K个所述中间聚合向量的加权和，获得所述街道节点的聚合特征向量，其中，所述归一化权重基于注意向量和所述节点特征向量训练得到；基于所述聚合特征向量，计算每一个预设指标标签分别对应的指标预测概率。
根据本发明提供的一种指标预测方法，所述指标预测概率为街道预测概率或子区域预测概率；所述基于所述聚合特征向量，计算每一个预设指标标签分别对应的指标预测概率，包括：基于所述聚合特征向量和所述预设指标标签，通过第一多层感知机，计算每一个所述街道节点分别在每一个所述预设指标标签下的所述街道预测概率，其中，所述第一多层感知机通过所述预设指标标签训练得到；或者，确定所述目标区域中至少一个子区域，其中，所述子区域包括至少一个所述街道节点；基于每一个所述街道节点的聚合特征向量，分别计算每一个所述子区域对应的区域特征向量；基于所述区域特征向量和所述预设指标标签，通过第二多层感知机，计算每一个子区域分别在每一个所述预设指标标签下的所述子区域预测概率，其中，所述第二多层感知机通过所述预设指标标签训练得到。
本发明还提供一种指标预测装置，包括：第一获取模块，用于获取目标区域的街道网络图数据，其中，所述街道网络图数据包括至少一个街道节点；第二获取模块，用于获取所述目标区域对应的至少一张卫星图像，其中，每一张所述卫星图像包括至少一个所述街道节点；第三获取模块，用于获取所述目标区域对应的至少一张街景图像，其中，每一张所述街景图像对应一个所述街道节点；预测模块，用于基于每一个所述街道节点分别对应的所述卫星图像和所述街景图像，计算每一个预设指标标签分别对应的指标预测概率。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述指标预测方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述指标预测方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述指标预测方法。
本发明提供的指标预测方法、装置、设备、存储介质及程序产品，获取目标区域的街道网络图数据、卫星图像和街景图像，通过街道网络图数据中的街道节点，将卫星图像和街景图像中的信息进行融合，基于每一个街道节点分别对应的卫星图像和街景图像，计算每一个预设指标标签分别对应的指标预测概率。该过程中，目标区域的卫星图像包含了目标区域较为全面的信息，以及街道周围的环境数据，例如地理空间信息等；而目标区域的街景图像提则供详细的街道视觉外观信息，例如一个具体地点的人口密集程度等。通过街道节点结合卫星图像和街景图像，将目标区域的多层次信息融入图像处理过程中，对卫星图像和街景图像进行深度分析，提升卫星图像和街景图像的分析处理效果，提高最终得到的指标预测概率的准确性。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的城市多层次结构格局示意图；
图2是本发明提供的指标预测方法的流程示意图之一；
图3是本发明提供的街道网络图数据构建示例图；
图4是本发明提供的对比学习模型训练原理示例图；
图5是本发明提供的卫星图像分割示例图；
图6是本发明提供的指标预测方法的流程示意图之二；
图7是本发明提供的指标预测装置的结构示意图；
图8是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在城市计算领域，对一个目标区域进行社会经济指标的预测，尤其对一个城市的社会经济指标预测，对城市社会经济发展具有重要意义。有研究指出，拥有42亿总人口的城市容纳了世界人口的55％以上。预计到2050年，将有25亿人迁移到城市地区，这一比例将上升到68％。
城市化是经济增长的主要驱动力，因为人口集中在城市，会在经济中产生协同效应。虽然城市化有助于促进经济和社会发展，但它也可能带来重大的社会问题。能源消耗和污染控制等问题都已成为当代大都市亟待解决的问题。解决这些问题有利于推进联合国可持续发展目标(Sustainable Development Goals，SDGs)。为了有效开发和实施解决这些城市问题的方案，需要在地理上细粒度以及在时间上较为及时的社会经济数据。
现有技术，研究人员和政策制定者经常使用调查数据来创建社会经济地图。但是，由于费用昂贵，调查不能同时包括高空间分辨率和高时间分辨率。为评估对可持续发展目标很重要的社会经济指标，对足够多的家庭进行抽样以获得准确的国家级数据需要投资10亿美元。因此，例如在我国，通常每10年进行一次人口普查，但得到的基本社会经济数据要么不足，要么间隔时间较长，质量低劣。此外，即使在较为发达的城市，大多数社会经济信息也只能在区级层面获得，无法到达细粒度，采集的数据数量较少。由于缺乏及时和细粒度的社会经济数据，研究人员和政策制定者正在寻找估计社会经济指标的新方法。
一种方法中，基于城市图像进行指标预测。城市图像，包括卫星图像和街景图像，是估计社会经济成果的常用数据源。例如，使用卫星图像来预测居民富裕程度，又例如，使用街景图像来推断商业活跃度。尤其重要的一点是，卫星图像和街景图像，分别从鸟瞰和人类视角描绘了高分辨率的城市表面。使用城市图像来衡量社会经济指标有两个主要优点。首先，城市图像可用于支持全场测量，因为它们覆盖了城市的整个区域。二是城市影像数据更新频率高，能够准确、及时地反映城市地表变化。例如，一个卫星平台每天可以对整个地球表面进行成像，分辨率约为3米/像素。
城市地区的社会经济指标呈现出多层次的结构格局，如图1所示，社区(Neighborhood area)等城市区域通过街道网络(Street network)连接良好，形成了一个城市的多层次结构，包括街道层次和区域层次。相关人员在设计和实施基于地方的政策时，会关注不同层次的不同社会经济结果。更具体地说，商店和购物中心通常位于街道沿线，大多数商业活动发生在街道附近。因此，在街道层面，相关人员更有兴趣了解商业活跃度(Commercial activeness)的指标以及零售位置规划和设施部署的兴趣点数量(Number ofpoint interests)等街道层面指标(Street-level Indicators)。另一方面，市民聚集在城市区域生活和工作。因此，在社区层面，政策制定者倾向于关注人口(Population)、经济活跃度(Economic activeness)和居民消费(Resident consumption)等社区层面指标(Neighborhood-level Indicators)。值得注意的是，这些多层次的社会经济指标是高度相关的，而不是相互独立的。例如，如果一条街道的商业活跃度很高，那么这条街道所在的街区通常会有很多居民消费。
现有技术中，相关人员通过多种方式进行社会经济指标的预测。例如，一种社会经济指标集合预测方法中，采用若干常规预测方法对社会经济指标原始序列进行拟合，选取拟合通过的m种方法(m≥2)；采用常规赋权方法对m种方法的预测序列进行权重分析，得到各个方法的分配权重；将相应预测方法的预测值乘以其分配权重，取集合即为该社会经济指标的最终预测值。
又例如，社会经济指标的识别方法及装置中，识别文本集合及社会政治实体名称；对于每个第一文本，生成该第一文本的社会经济指标项，该第一文本的社会经济指标项包括该第一文本的第一地点名称、第一时间、第一数量词及该第一文本中的社会经济指标名称。
但是，现有的相关工作存在以下几点局限：首先，以往的研究通常将社会经济指标预测任务建模为简单的图像分类或回归问题，忽略了城市图像中包含的重要地理空间信息。因此，在结构良好的地区预测社会经济指标的能力是有限的。其次，以前的研究缺乏有效结合卫星和街景图像的能力。街景图像从人类的角度描绘城市表面，具有详细的街道视觉外观。而卫星图像从鸟瞰图描绘城市表面，提供有关某个区域的全局信息以及街道周围的环境数据。因此，需要结合来自卫星图像和街景的视觉信息来实现准确的街道级和区域级指标预测。第三，以往的研究忽略了城市的多层次结构，以及不同层次之间的联系。如前所述，不同层次的社会经济特征显示出很强的相关性。通过对不同层次之间的联系进行建模，可以合理地预期社会经济指标的预测性能会有所提高。
下面结合图2-图6描述本发明的指标预测方法。
一个实施例中，如图2所示，指标预测方法实现的流程如下：
步骤201，获取目标区域的街道网络图数据，其中，街道网络图数据包括至少一个街道节点。
本实施例中，目标区域可以为一个城市、一个城镇等地理区域。其中，城市的社会经济指标对经济发展的影响尤为重要。为了估计城市地区的多层次社会经济指标，需要从城市中获取结构信息。一般来说，一个城市的建成区分为两类：街道网络和场所，其中，场所包括但不限于建筑物和公共空间。街道网络包含大量关于地点如何相互连接的信息。因此，街道网络可以被认为是城市的简化视图，它是捕捉城市结构和组织的绝佳来源。本发明将图形工具应用于真实的城市地图，利用街道网络提取有关城市的结构信息，同时还利用街道网络表示有关城市的结构信息。
一个实施例中，可以从目标区域的相关数据库中获取原始街道网络，然后提取街道网络图数据。具体的，获取目标区域的街道网络图数据，实现过程如下：获取目标区域的原始街道网络，其中，原始街道网络包括至少一个道路交叉口；确定道路交叉口密度超过密度阈值的部分区域；合并部分区域内的道路交叉口；基于任意两个相邻道路交叉口，确定至少一个街道段；以每一个街道段的中心点为街道节点，以任意两个相邻街道节点的连接线为边，构建街道网络图数据。
本实施例中，原始街道网络中包括三种不同类型的街道，每一种都有不同的街道级别，包括可步行街道、可骑自行车街道或可驾驶街道。优选的，提取原始街道网络中的可驾驶街道，基于可驾驶街道的道路交叉口构建街道网络图数据。采用可驾驶街道具有的三个优势如下：
首先，与可步行街道、可骑自行车街道相比，可驾驶街道是城市的骨干，不仅显示关键结构，而且过滤掉嘈杂或无用的结构数据。
其次，采用可驾驶街道对下游步骤更友好，因为街景图像通常由街景汽车收集，而可步行和可骑自行车的街道可能会导致街景中的数据丢失问题。
第三，有一些研究指出，可驾驶街道在城市中的各个地方之间提供了普遍的连通性。换句话说，总能找到任何给定地点的相邻街道段。因此，我们可以将街道段作为一个容器来覆盖那个地方，以实现城市区域的离散化和多视角城市图像的融合。
本实施例中，通过道路交叉口合并(Intersection consolidation)、街道分割(Street segmentation)和图形构建(Graph construction)进行提取和表示有关城市的结构信息，这些操作基于可驱动的街道网络图数据。如图3所示，在实际应用场景中，街道网络的原始图像(Original)中，包括较为复杂的道路交叉口，例如，一个小的区域内由于辅助道路的存在，导致道路交叉口的数量较多，道路交叉口密度超过预设的密度阈值，则在对计算结果影响较小的情况下，将部分区域内的道路交叉口进行合并，删除道路网络图数据中不必要的细节。合并部分区域内的道路交叉口之后，返回具有合并交叉路口的重建网络。需要说明的是，密度阈值可以根据实验数据和/或实际情况预先设定。
然后，对重建网络进行分割，其中，以道路交叉口(包括合并交叉路口)为端点，将任意两个相邻道路交叉口之间的街道作为一个街道段，将重建网络分割为至少一个街道段。这里所说的相邻道路交叉口指的是在重建网络的图像上距离最近的两个道路交叉口。
最后，以每一个街道段的中心点为街道节点，以任意两个相邻街道节点的连接线为边，构建街道网络图数据。将实际场景中的原始街道网络转换为具有街道节点和边的街道网络图数据。其中，街道网络图数据用G表示，则G＝(V，E)，其中，V表示街道段的集合，E表示边的集合。街道网络图数据用G用于表示有关城市的结构信息。
本实施例中，通过上述过程，将目标区域的原始街道网络进行了简化，减少后续过程的计算量，避免街道网络图数据过于复杂，提升指标预测的效率。
步骤202，获取目标区域对应的至少一张卫星图像，其中，每一张卫星图像包括至少一个街道节点。
本实施例中，目标区域对应的卫星图像，指的是卫星采集的包括目标区域的图像。卫星图像可以从目标区域相关的数据库中获取。需要说明的是，为了保证指标预测的准确性和及时性，需要获取距离当前时刻较为相近的一段时间之内采集的卫星图像，以保证卫星图像中包含的信息是目标区域最近一段时间之内的信息。进一步保证了指标预测结果的准确性，即计算得到的指标预测概率的准确性。卫星采集的卫星图像，会包括目标区域内的至少一个街道段，即包括目标区域内的至少一个街道节点。
步骤203，获取目标区域对应的至少一张街景图像，其中，每一张街景图像对应一个街道节点。
本实施例中，目标区域对应的街景图像，指的是对目标区域内任意一个街景进行采集得到的图像。街景图像可以通过多种渠道采集，例如，通过目标区域内安装的道路公共摄像头采集街景图像，又例如，通过汽车安装的行车记录仪采集街景图像。每一个街景图像采集时，会携带街道节点的信息，例如，汽车在某一个街道段内采集的街景图像，该街景图像则对应该街道段，即该街景图像对应相应的街道节点。
步骤204，基于每一个街道节点分别对应的卫星图像和街景图像，计算每一个预设指标标签分别对应的指标预测概率。
本实施例中，获得卫星图像和街景图像之后，由于卫星图像包括至少一个街道节点，同时每一张街景图像对应一个街道节点，通过街道节点则可以将卫星图像和街景图像结合起来，以街道节点为容器，基于每一个街道节点分别对应的卫星图像和街景图像，计算每一个预设指标标签分别对应的指标预测概率。该过程通过卫星图像和街景图像的结合，融合目标城市的多层次信息，提升指标预测结果(即指标预测概率)的准确性。
一个实施例中，对卫星图像和街景图像进行处理时，通过预先训练完成的对比学习模型来分别提取卫星子特征向量和街景子特征向量。具体的，基于每一个街道节点分别对应的卫星图像和街景图像，计算每一个预设指标标签分别对应的指标预测概率，实现过程如下：通过预设的切片尺寸，将每一张卫星图像分别进行分割，获得至少一张卫星图像切片，其中，每一个街道节点关联一个卫星图像切片；将每一张卫星图像切片，分别输入预设的卫星对比学习模型，获得卫星对比学习模型输出的每一张卫星图像切片的卫星子特征向量，其中，卫星对比学习模型基于卫星图像训练得到；将每一个街道节点对应的街景图像，分别输入预设的街景对比学习模型，获得街景对比学习模型输出的每一张街景图像的街景子特征向量，其中，街景对比学习模型基于街景图像训练得到；基于卫星子特征向量和街景子特征向量，计算每一个预设指标标签分别对应的指标预测概率。
本实施例中，街道段对应的街道节点作为容器来覆盖城市图像并融合每个节点的图像特征。对于街景图像，每一张街景图像根据采集地点，即街景图像采集所在的街道段，很容易确定每一张街景图像分别对应的街道节点。然而，对于卫星图像来说，卫星图像通常覆盖较大的区域，由于粒度的原因，不适合直接与街道段相关联。
如图4所示，为解决卫星图像的粒度问题，将原始的卫星图像(Originalsatellite image)基于预设的切片尺寸均匀地分割成小块(Split into small patches)，并将这些小块作为卫星图像切片，其中每个块覆盖一个小区域。然后将各个卫星图像切片分配给相应的街道段，即将各个卫星图像切片分配给相应的街道节点。如图4(b)所示的具体分割示例图，一个原始的卫星图像包括有街道交叉口划分的四个街道段(即四个街道节点)，分别表示为1、2、3和4。将该原始的卫星图像分割为四个卫星图像切片，分别表示为Patch A、Patch B、Patch C和Patch D。其中，街道段1和街道段2分别与Patch A关联；街道段3与Patch B关联；街道段4分别与Patch A和Patch C关联。Patch D不被任何街道段覆盖。
需要说明的是，为了避免丢失卫星图像中的任何信息，具体的，为了避免丢失无街道段覆盖的卫星图像切片中的信息，在训练卫星对比学习模型时，采用地理相似性引导机制，街道段未覆盖的卫星图像切片的特征将融合进相邻的卫星图像切片的特征中。基于上述，街景图像(Street view images)和卫星图像切片(Satellite image patches)可以很好地通过街道段进行结合。例如，如图4(c)所示，街道段4对应的街景图像和卫星图像切片两种城市图像的信息被包含进了街道段4中(Urban images contained into streetsegment)。
本实施例中，将每一张卫星图像切片，分别输入预设的卫星对比学习模型，获得卫星对比学习模型输出的每一张卫星图像切片的卫星子特征向量。将每一个街道节点对应的街景图像，分别输入预设的街景对比学习模型，获得街景对比学习模型输出的每一张街景图像的街景子特征向量。然后基于卫星子特征向量和街景子特征向量，计算每一个预设指标标签分别对应的指标预测概率。
一个实施例中，卫星对比学习模型通过如下过程训练得到：通过预设的图像增强方法，获取每一张样本卫星图像分别对应的自相似卫星图像对；基于自相似卫星图像对，获得第一特征编码器的自相似卫星对比损失，其中，第一特征编码器基于神经网络预先构建；确定样本卫星图像中，任意两张地理距离最近的样本卫星图像，获得至少一对地理相似卫星图像对；基于地理相似卫星图像对，获得第一特征编码器的地理相似卫星对比损失；计算自相似卫星对比损失与地理相似卫星对比损失的和，作为第一特征编码器的卫星对比损失；通过最小化卫星对比损失训练第一特征编码器，获得卫星对比学习模型。
一个实施例中，街景对比学习模型通过如下过程训练得到：通过预设的图像增强方法，获取每一张样本街景图像分别对应的自相似街景图像对；基于自相似街景图像对，获得第二特征编码器的自相似街景对比损失，其中，第二特征编码器基于神经网络预先构建；确定样本街景图像中，任意两张地理距离最近的样本街景图像，获得至少一对地理相似街景图像对；基于地理相似街景图像对，获得第二特征编码器的地理相似街景对比损失；计算自相似街景对比损失与地理相似街景对比损失的和，作为第二特征编码器的街景对比损失；通过最小化街景对比损失训练第二特征编码器，获得街景对比学习模型。
本实施例中，要从城市图像(即卫星图像和街景图像)中准确预测社会经济指标，首先需要提取图像的特征。为此，预先训练卫星对比学习模型和街景对比学习模型，来有效地提取城市图像特征。
在计算机视觉领域，对比学习方法具有强大的特征提取功能，该方法从图像对中学习以创建图像的压缩特征。对比学习模型假设来自同一图像对的图像是相似的，进而对比学习模型增加了来自不同图像对中图像的表示差异性，同时最大化来自同一图像对中图像的表示相似性。
本实施例中，如图5所示，为了增强卫星图像或街景图像本身的特征，同时为了避免图像中的信息丢失，采用城市图像的自相似性(Self-similar pair)和地理相似性(Geographical-similar pair)来构建对比样本。
本实施例中，卫星对比学习模型和街景对比学习模型的模型架构相同，但卫星对比学习模型和街景对比学习模型中，可学习参数等模型参数的具体数值不同。下面以详细介绍对比学习模型的训练过程，其中，样本城市图像为样本卫星图像或样本街景图像，当样本城市图像为样本卫星图像时，训练得到卫星对比学习模型；当样本城市图像为样本街景图像时，训练得到街景对比学习模型。
对于自相似性，图像与其变体自然相似，称为自相似。若通过自相似进行模型训练，首先采用旋转、灰度和翻转等任意一种或几种数据增强(Data augmentation)方法为每个城市图像创建两个增强图像。然后，对比学习模型通过最大化两个增强图像的特征相似性来更新其参数。具体来说，对于一个样本城市图像xi，我们有一个对应的增强图像对xi1和xi2，即自相似图像对(xi1，xi2)。自相似图像对(xi1，xi2)基于特征编码器f(·)的自相似对比损失计算公式如下：
其中，LSelf表示自相似对比损失，sim(·)表示两个向量之间的余弦相似度，B1表示一个训练批次的样本城市图像集合，包括各个自相似图像对中的样本图像，log表示取对数，exp表示以自然常数e为底的指数函数，xj1表示集合B1中不同于xi1的样本城市图像。
当样本城市图像为样本卫星图像时，自相似图像对为自相似卫星图像对，得到的自相似对比损失为自相似卫星对比损失；当样本城市图像为样本街景图像时，自相似图像对为自相似街景图像对，得到的自相似对比损失为自相似街景对比损失。
本实施例中，特征编码器f(·)的初始架构基于神经网络预先构建，例如，特征编码器f(·)的初始架构采用一个具有18层带有权重层的残差神经网络，即ResNet-18卷积神经网络。当然，还可以根据实际情况和需要采用其他类型的神经网络。
对于地理相似性引导，城市图像，包括卫星图像和城市图像，包含大量地理空间信息。基于托布勒的第一地理定律，该定律指出“一切都与其他一切相关，但近处的事物比远处的事物更相关”。换句话说，地理上靠近的图像应该具有相似的内容，而相距较远的图像应该具有不同的含义。因此，通过地理相似性并最小化地理上相邻的两个城市图像之间的特征距离来增强对比学习方法。具体而言，对于样本城市图像xi，我们找到具有最小地理距离的样本城市图像
然后，对于地理上相邻的地理相似图像对
基于特征编码器f(·)的地理相似对比损失计算公式如下：
其中，LGeo表示地理相似对比损失，sim(·)表示两个向量之间的余弦相似度，B2表示一个训练批次的样本城市图像集合，包括各个地理相似图像对中的样本图像，log表示取对数，exp表示以自然常数e为底的指数函数，xj2表示集合B2中不同于xi的样本城市图像。
当样本城市图像为样本卫星图像时，地理相似图像对为地理相似卫星图像对，得到的地理相似对比损失为地理相似卫星对比损失；当样本城市图像为样本街景图像时，地理相似图像对为地理相似街景图像对，得到的地理相似对比损失为地理相似街景对比损失。
计算自相似对比损失与地理相似对比损失的和，作为特征编码器的卫星对比损失，计算公式如下：
LGeoCLR＝LSelf+LGeo (3)；
其中，LGeoCLR表示最终得到的对比损失。
具体的，当样本城市图像为样本卫星图像时，计算自相似卫星对比损失与地理相似卫星对比损失的和，作为第一特征编码器的卫星对比损失；当样本城市图像为样本街景图像时，计算自相似街景对比损失与地理相似街景对比损失的和，作为第二特征编码器的街景对比损失。
通过最小化卫星对比损失训练第一特征编码器，使用反向传播更新第一特征编码器参数，获得卫星对比学习模型。通过最小化街景对比损失训练第二特征编码器，使用反向传播更新第二特征编码器参数，获得街景对比学习模型。
需要说明的是，在上述实施例中，训练卫星对比学习模型时，可以直接采用原始的样本卫星图像进行训练，也可以通过原始的样本卫星图像分割后的样本卫星图像切片进行训练。但无论采用原始的样本卫星图像训练得到的卫星对比学习模型，还是采用样本卫星图像切片训练得到的卫星对比学习模型，在后续使用时，都可以对使用阶段的卫星图像切片进行特征提取，获得卫星子特征向量。
一个实施例中，获得卫星子特征向量和街景子特征向量后，基于卫星子特征向量和街景子特征向量，计算每一个预设指标标签分别对应的指标预测概率，具体实现过程如下：通过预设的卫星图像切片的权重，分别计算每一个街道节点对应的卫星子特征向量的加权和，获得每一个街道节点的卫星特征向量，其中，卫星图像切片的权重基于卫星图像切片训练得到；通过预设的街景图像的权重，分别计算每一个街道节点对应的街景子特征向量的加权和，获得每一个街道节点的街景特征向量，其中，街景图像的权重基于街景图像训练得到；基于每一个街道节点分别对应的卫星特征向量和街景特征向量，获得每一个街道节点的节点特征向量；基于节点特征向量，计算每一个预设指标标签分别对应的指标预测概率。
本实施例中，需要结合多视图城市图像，即结合卫星图像和街景图像，并有效地利用二者的地理空间信息。通过街道网络图数据中的各个街道节点，将每一个街道节点分别对应的卫星子特征向量和街景子特征向量进行结合。
具体的，由于各个街道段具有不同的长度和形状，各个街道节点对应不同数量的城市图像。因此，结合卫星图像和街景图像时，通过可扩展的特征融合过程，处理各种输入大小。
对于卫星图像，基于上述实施例通过卫星图像得到的卫星图像切片，给定一组卫星图像切片：
其中，m是街道段v对应的卫星图像切片数量，
表示属于街道段v的第1张卫星图像切片；
表示属于街道段v的第2张卫星图像切片；
表示属于街道段v的第m张卫星图像切片。
通过将卫星图像切片输入到上述实施例训练得到的卫星对比学习模型，可以得到相应的卫星子特征向量
其中，
表示属于街道段v的第i个卫星图像切片的卫星子特征向量。
进一步的，通过各个卫星子特征向量，属于街道段v的卫星特征向量
的通过软注意机制融合该段街道段v对应的各个街道段v，其中，卫星图像切片的优先级不同，通过预设的卫星图像切片的权重进行加权。
具体的，属于街道段v的卫星子特征向量
计算公式如下：
其中，c、W1、W2和b分别是可学习的特征注意参数，σ表示激活函数，
表示卫星图像切片的权重，cT表示参数c的转置。通过卫星图像切片预先训练得到c、W1、W2和b后，得到
进而计算得到卫星子特征向量
上述过程不受输入图像数量的影响。
对于街景图像，给定一个街道段v，v∈V，其中，V为街道段的集合。属于街道段v的街景图像集合
为:
其中，n是街道段v对应的街景图像数量，
表示属于街道段v的第1张街景图像；
表示属于街道段v的第2张街景图像；
表示属于街道段v的第n张街景图像。
通过将街景图像输入到上述实施例训练得到的街景对比学习模型，可以得到相应的街景子特征向量
其中，
表示属于街道段v的第i个街景图像的街景子特征向量。
进一步的，通过各个街景子特征向量，属于街道段v的街景特征向量
的通过软注意机制融合该段街道段v对应的各个街道段v，其中，街景图像的优先级不同，通过预设的街景图像的权重进行加权。
具体的，属于街道段v的街景子特征向量
计算公式如下：
其中，c、W1、W2和b分别是可学习的特征注意参数，σ表示激活函数，
表示街景图像的权重，cT表示参数c的转置。通过街景图像预先训练得到c、W1、W2和b后，得到
进而计算得到街景子特征向量
上述过程不受输入图像数量的影响。
在上述实施例中，采用架构相同但可学习参数具体值不同的注意力机制，来分别学习卫星图像的表征和街景图像的特征，即采用相同的注意力机制来分别训练卫星图像切片的权重和街景图像的权重，进而分别得到卫星特征向量和街景特征向量。也就是说，训练卫星图像切片的权重和街景图像的权重时，c、W1、W2和b等可学习参数训练得到的具体取值是不一样的。
基于上述，基于每一个街道节点分别对应的卫星特征向量和街景特征向量，获得每一个街道节点的节点特征向量hv，即：
基于每一个街道节点的节点特征向量hv，构建目标区域的节点特征矩阵H。
基于上述实施例提到的街道网络图数据用G＝(V，E)，其中，节点V代表街道段集合，集合E包含连接每两个相邻的街道段的边，更新特征图G′＝(V,E,H)，其中H代表从城市图像中提炼出来的节点特征矩阵。
一个实施例中，获得各个街道节点的节点特征向量后，基于节点特征向量，计算每一个预设指标标签分别对应的指标预测概率，具体的实现过程如下：确定每一个街道节点分别对应的邻居节点，其中，邻居节点为在街道网络图数据中由一条所边直接关联的街道节点；对于每一个街道节点：基于通过预设的神经网络，对节点特征向量和邻居节点的节点特征向量进行迭代聚合，获得K个中间聚合向量，其中，K为大于1的整数；通过预设的归一化权重，计算K个中间聚合向量的加权和，获得街道节点的聚合特征向量，其中，归一化权重基于注意向量和节点特征向量训练得到；基于聚合特征向量，计算每一个预设指标标签分别对应的指标预测概率。
本实施例中，获得特征图G′＝(V,E,H)，基于特征图G′预测多层次的社会经济指标。具体的，采用图神经网络作为基础模型进行K迭代聚合。图神经网络(Graph NeuralNetworks，GNN)通过聚合来完全遵循托布勒地理第一定律，以相邻节点的特征来增强街道节点的特征。优选的，本发明采用图同构网络(Graph Isomorph Network,，GIN)。当然，还可以采用其他GNN中的任意一种，例如，图卷积网络(Graph Convolutional Network，GCN)或图聚合网络Graph-SAGE。
基于图神经网络，将节点特征向量进行聚合更新，计算方式如下：
其中，
代表街道节点v经过k聚合迭代后的中间聚合向量，
表示街道节点v经过k+1聚合迭代后的中间聚合向量，N(v)代表与v相邻的邻居节点集合，u表示任意一个邻居节点，
表示邻居节点u经过k聚合迭代后的中间聚合向量，MLP(k+1)表示通过图神经网络进行第k+1层聚合，∈表示一个常量。k逐次取值1、2…K。
得到K聚合迭代的节点特征向量后，即得到
进而采用注意力操作来融合各个节点特征向量。具体的，采用激活函数tanh的单层MLP转换每次迭代的特征，然后通过乘以一个注意向量q来计算不同迭代特征的重要性，重要性因子αk具体计算公式如下：
其中，qT表示注意向量q的转置，W3和d为可学习参数，tanh表示激活函数。k逐次取值1、2…K。
进一步的，使用softmax函数对所有迭代中的重要性因子αk进行归一化，获得归一化权重βk，计算公式如下：
βk＝softmax(αk) (17)；
其中，softmax函数是用于多类分类问题的激活函数。
通过训练学习重要性因子中的W3和d，获得最终的重要性因子αk，进一步获得归一化权重βk，从而将归一化权重βk作为系数来融合这些中间聚合向量，从而得到每一个街道节点的聚合特征向量
如下：
最后基于聚合特征向量，计算每一个预设指标标签分别对应的指标预测概率。
一个实施例中，指标预测概率为街道预测概率或子区域预测概率。具体的，基于聚合特征向量，计算每一个预设指标标签分别对应的指标预测概率，实现过程如下：基于聚合特征向量和预设指标标签，通过第一多层感知机，计算每一个街道节点分别在每一个预设指标标签下的街道预测概率，其中，第一多层感知机通过预设指标标签训练得到；或者，确定目标区域中至少一个子区域，其中，子区域包括至少一个街道节点；基于每一个街道节点的聚合特征向量，分别计算每一个子区域对应的区域特征向量；基于区域特征向量和预设指标标签，通过第二多层感知机，计算每一个子区域分别在每一个预设指标标签下的子区域预测概率，其中，第二多层感知机通过预设指标标签训练得到。
本实施例中，为满足指标预测的不同需求，可以分别从街道级别和邻域(子区域)级别进行指标预测。
街道级指标预测。街道网络图数据中的街道节点G′＝(V,E,H)包含各个街道段的特征向量。因此，预测街道指标的问题可以建模为节点分类或回归问题。本实施例中，将社会经济指标离散化为不同的层次，并将预测模型作为分类问题。给定一组预设指标标签Y，例如，人口的一组预设指标标签包括人口密集标签和人口系数标签，同时在节点特征矩阵H*上使用第一多层感知机，优选的，第一多层感知机的激活函数可以为softmax函数，即Z＝softmax(H*)，得到Z∈R|v|×|Y|，其中，H*通过每一个街道节点的聚合特征向量
得到。|Y|表示预设指标标签的数量，|v|表示街道节点的数量。Z中每一个zv表示每一个街道节点v在各个预设指标标签下的街道预测概率，即得到各个预设指标标签的预测概率分布。
本实施例中，第一多层感知机通过预设指标标签训练得到，具体的，基于预设指标标签的概率真值和街道预测概率，计算交叉熵作为损失函数LNode，具体如下：
其中yv和zv分别是街道节点v的真值和街道预测概率，V为街道节点的集合，ln表示取自然对数。
邻域级指标预测，即子区域级指标预测。邻域(子区域)可以映射为街道网络图数据中的子图。因此，预测邻域级指标的任务可以建模为子图分类问题。对于子图分类任务，我们需要一个读出操作，根据各个街道节点的聚合特征向量产生整个子图的区域特征向量
具体如下：
其中，Gsub表示一个子图，即一个子区域，
表示子图Gsub的区域特征向量。READ-OUT表示读出操作，可以采用求和计算，也可以采用图级池化等复杂计算。优选的，本发明采用求和作为READOUT函数。
计算得到各个子区域分别对应的区域特征向量后，将区域特征向量替换聚合特征向量，基于区域特征向量和预设指标标签，通过第二多层感知机，计算每一个子区域分别在每一个预设指标标签下的子区域预测概率。优选的，第二多层感知机的激活函数可以为softmax函数。
本实施例中，第二多层感知机通过预设指标标签训练得到，具体的，基于预设指标标签的概率真值和子区域预测概率，计算交叉熵作为损失函数LNeighbor，具体如下：
其中，
和
分别表示子图Gsub的真值和子区域预测概率。
一个实施例中，指标预测方法基于预设的指标预测框架下实现。该指标预测框架为基于可扩展图的框架，该框架使用多视角城市图像来准确预测多层次的社会经济指标。更具体的，指标预测框架由四个主要模块组成，分别为GeoStruct、GeoCLR、GeoFuse和GeoPre。
如图6所示，已知一个城市相关的卫星图像切片集合
和街景图像集合
所提出框架的主要目标是预测某个位置的社会经济指标，例如街道或社区(子区域)。
基于上述实施例，预先训练框架中需要的可学习参数或可学习模型。GeoStruct用于从城市的目标区域的原始街道网络(Road network)中提取结构信息，将现实世界的街道网络转换为抽象的城市图，构建基于街道段(Street segment)的街道网络图数据(Citygraph)。该街道网络图数据中，街道节点代表街道段，边连接每两个相邻的街道节点。街道网络图数据作为框架的骨干，城市图像被分配给街道节点，使图像数据结构化。
GeoCLR负责从城市图像中提取特征。GeoCLR融合了城市图像的自相似性和地理相似性，假设地理上靠近的城市图像应该具有相似的内容和特征，基于城市图像构建的图像对(Contrastive pair)，通过GNN进行神经网络计算，从而实现最大化相似性(MaxmizeSimilarity)。
GeoFuse通过使用可扩展的自注意力机制(self-attention mechanism)在基于各个街道节点的街道网络图数据(Featured city graph)中，自适应地融合多视图城市图像的节点特征向量(Node feature)，即结合卫星图像切片(Satellite image patches)和街景图像(Street view images)的特征。
多级指标由GeoPre进行预测。给定以街道段(Street segment)抽象出的街道节点(Graph node)、以邻域(子区域)为子图(Subgraph)的街道网络图数据，GeoPre将街道级预测和邻域级预测联合建模为街道节点和子图分类。GeoPre基于多层的GIN来实现K迭代聚合，在街道和社区级别之间建立联系，最终得到多层社会经济指标(Multi-levelsocioeconomic indicators)。
一个具体的实施例中，以城市A为例，利用城市A路网数据、卫星图像和街景图像，获取城市A道路级别的社会经济指标。
各个数据的数量如下表1所示：
表1城市A相关数据表一
| 输入数据 | 数量 |
| 卫星图像 | 9561 |
| 街景图像 | 14,2623 |
| 经济活跃度 | 65,000 |
| 兴趣点(POI)数量 | 720,000 |
首先进行训练数据的构建。首先根据开放街道图(Open Street Map称OSM)，获取的城市A内的可驾驶道路网络构建街道网络图数据。之后使用GeoStruct将每个街道段抽象为一个街道节点，而边数据使用路段之间的距离，将整个城市区域等效为一个图数据。
第二步分别构建基于卫星图像和街景图像的自相似图像对以及地理相似图像对，供后续的GeoCLR训练卫星对比学习模型和街景对比学习模型。针对卫星图像和街景图像分别训练好对比学习模型之后，使用卫星对比学习模型和街景对比学习模型分别提取卫星子特征向量和街景子特征向量。
对于一个街道节点对应的所有图像的特征向量，使用GeoFuse模块运用注意力机制自动融合，使得每个街道段在街道网络图数据中占据一个街道节点，街道节点的节点特征向量自适应融合了街景图像和卫星图像的信息。
最后在获取了城市路网结构更新后的街道网络图数据以及各个街道节点的聚合特征向量之后，使用GeoPre模块预测每个街道节点的类别。每个街道节点代表一个街道段，因此路段的社会经济指标预测任务可以转化为节点分类任务。从而可以获取未知街道段的社会经济指标。
又一个具体的实施例中，利用城市A路网数据、卫星图像和街景图像，获取城市A区域级别的社会经济指标。
各个数据的数量如下表2所示：
表2城市A相关数据表二
| 输入数据 | 数据属性 |
| 卫星图像 | 9561 |
| 街景图像 | 14,2623 |
| 经济活动数量 | 区域内部公司数量 |
| 居民消费情况 | 居民线上购买量 |
| 人口数据 | 常住人口数量 |
首先进行训练数据的构建。首先根据开放街道图(OpenStreetMap称OSM)，获取的城市A内的可驾驶道路网络构建街道网络图数据。之后使用GeoStruct将每个街道段抽象为一个街道节点，而边数据使用路段之间的距离，将整个城市区域等效为一个图数据。
第二步分别构建基于卫星图像和街景图像的自相似图像对以及地理相似图像对，供后续的GeoCLR训练卫星对比学习模型和街景对比学习模型。针对卫星图像和街景图像分别训练好对比学习模型之后，使用卫星对比学习模型和街景对比学习模型分别提取卫星子特征向量和街景子特征向量。
对于一个街道节点对应的所有图像的特征向量，使用GeoFuse模块运用注意力机制自动融合，使得每个街道段在街道网络图数据中占据一个街道节点，街道节点的节点特征向量自适应融合了街景图像和卫星图像的信息。
最后在获取了城市路网结构更新后的街道网络图数据以及各个街道节点的聚合特征向量之后，使用GeoPre模块预测每个子图的类别。每个街道节点表征一个街道段，而每个子图包含多个街道段，因此子区域的社会经济指标预测任务可以转化为子图分类任务。从而可以获取未知子区域的社会经济指标。
本发明提供的指标预测方法、装置、设备、存储介质及程序产品，获取目标区域的街道网络图数据、卫星图像和街景图像，通过街道网络图数据中的街道节点，将卫星图像和街景图像中的信息进行融合，基于每一个街道节点分别对应的卫星图像和街景图像，计算每一个预设指标标签分别对应的指标预测概率。该过程中，目标区域的卫星图像包含了目标区域较为全面的信息，以及街道周围的环境数据，例如地理空间信息等；而目标区域的街景图像提则供详细的街道视觉外观信息，例如一个具体地点的人口密集程度等。通过街道节点结合卫星图像和街景图像，将目标区域的多层次信息融入图像处理过程中，对卫星图像和街景图像进行深度分析，提升卫星图像和街景图像的分析处理效果，提高最终得到的指标预测概率的准确性。
进一步的，上述过程可以应用于社会经济指标预测领域，尤其有效利用城市信息包括城市路网信息、卫星图像及街景图像的预测模型，实现社会经济指标的预测。
下面对本发明提供的指标预测装置进行描述，下文描述的指标预测装置与上文描述的指标预测方法可相互对应参照。如图7所示，指标预测装置包括：
第一获取模块701，用于获取目标区域的街道网络图数据，其中，街道网络图数据包括至少一个街道节点；
第二获取模块702，用于获取目标区域对应的至少一张卫星图像，其中，每一张卫星图像包括至少一个街道节点；
第三获取模块703，用于获取目标区域对应的至少一张街景图像，其中，每一张街景图像对应一个街道节点；
预测模块704，用于基于每一个街道节点分别对应的卫星图像和街景图像，计算每一个预设指标标签分别对应的指标预测概率。
图8示例了一种电子设备的实体结构示意图，如图8所示，该电子设备可以包括：处理器(processor)801、通信接口(Communications Interface)802、存储器(memory)803和通信总线804，其中，处理器801，通信接口802，存储器803通过通信总线804完成相互间的通信。处理器801可以调用存储器803中的逻辑指令，以执行指标预测方法，该方法包括：获取目标区域的街道网络图数据，其中，街道网络图数据包括至少一个街道节点；获取目标区域对应的至少一张卫星图像，其中，每一张卫星图像包括至少一个街道节点；获取目标区域对应的至少一张街景图像，其中，每一张街景图像对应一个街道节点；基于每一个街道节点分别对应的卫星图像和街景图像，计算每一个预设指标标签分别对应的指标预测概率。
此外，上述的存储器803中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的
指标预测方法，该方法包括：获取目标区域的街道网络图数据，其中，街道网络图数据包括至少一个街道节点；获取目标区域对应的至少一张卫星图像，其中，每一张卫星图像包括至少一个街道节点；获取目标区域对应的至少一张街景图像，其中，每一张街景图像对应一个街道节点；基于每一个街道节点分别对应的卫星图像和街景图像，计算每一个预设指标标签分别对应的指标预测概率。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的
指标预测方法，该方法包括：获取目标区域的街道网络图数据，其中，街道网络图数据包括至少一个街道节点；获取目标区域对应的至少一张卫星图像，其中，每一张卫星图像包括至少一个街道节点；获取目标区域对应的至少一张街景图像，其中，每一张街景图像对应一个街道节点；基于每一个街道节点分别对应的卫星图像和街景图像，计算每一个预设指标标签分别对应的指标预测概率。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (12)
1.一种指标预测方法，其特征在于，包括：
获取目标区域的街道网络图数据，其中，所述街道网络图数据包括至少一个街道节点；
获取所述目标区域对应的至少一张卫星图像，其中，每一张所述卫星图像包括至少一个所述街道节点；
获取所述目标区域对应的至少一张街景图像，其中，每一张所述街景图像对应一个所述街道节点；
基于每一个所述街道节点分别对应的所述卫星图像和所述街景图像，计算每一个预设指标标签分别对应的指标预测概率。
2.根据权利要求1所述的指标预测方法，其特征在于，所述获取目标区域的街道网络图数据，包括：
获取所述目标区域的原始街道网络，其中，所述原始街道网络包括至少一个道路交叉口；
确定所述道路交叉口密度超过密度阈值的部分区域；
合并所述部分区域内的所述道路交叉口；
基于任意两个相邻所述道路交叉口，确定至少一个街道段；
以每一个所述街道段的中心点为街道节点，以任意两个相邻所述街道节点的连接线为边，构建所述街道网络图数据。
3.根据权利要求1所述的指标预测方法，其特征在于，所述基于每一个所述街道节点分别对应的所述卫星图像和所述街景图像，计算每一个预设指标标签分别对应的指标预测概率，包括：
通过预设的切片尺寸，将每一张所述卫星图像分别进行分割，获得至少一张卫星图像切片，其中，每一个所述街道节点关联一个所述卫星图像切片；
将每一张所述卫星图像切片，分别输入预设的卫星对比学习模型，获得所述卫星对比学习模型输出的每一张所述卫星图像切片的卫星子特征向量，其中，所述卫星对比学习模型基于所述卫星图像训练得到；
将每一个所述街道节点对应的所述街景图像，分别输入预设的街景对比学习模型，获得所述街景对比学习模型输出的每一张所述街景图像的街景子特征向量，其中，所述街景对比学习模型基于所述街景图像训练得到；
基于所述卫星子特征向量和所述街景子特征向量，计算每一个预设指标标签分别对应的指标预测概率。
4.根据权利要求3所述的指标预测方法，其特征在于，所述卫星对比学习模型通过如下过程训练得到：
通过预设的图像增强方法，获取每一张样本卫星图像分别对应的自相似卫星图像对；
基于所述自相似卫星图像对，获得第一特征编码器的自相似卫星对比损失，其中，所述第一特征编码器基于神经网络预先构建；
确定所述样本卫星图像中，任意两张地理距离最近的所述样本卫星图像，获得至少一对地理相似卫星图像对；
基于所述地理相似卫星图像对，获得所述第一特征编码器的地理相似卫星对比损失；
计算所述自相似卫星对比损失与所述地理相似卫星对比损失的和，作为所述第一特征编码器的卫星对比损失；
通过最小化所述卫星对比损失训练所述第一特征编码器，获得所述卫星对比学习模型。
5.根据权利要求3所述的指标预测方法，其特征在于，所述街景对比学习模型通过如下过程训练得到：
通过预设的图像增强方法，获取每一张样本街景图像分别对应的自相似街景图像对；
基于所述自相似街景图像对，获得第二特征编码器的自相似街景对比损失，其中，所述第二特征编码器基于神经网络预先构建；
确定所述样本街景图像中，任意两张地理距离最近的所述样本街景图像，获得至少一对地理相似街景图像对；
基于所述地理相似街景图像对，获得所述第二特征编码器的地理相似街景对比损失；
计算所述自相似街景对比损失与所述地理相似街景对比损失的和，作为所述第二特征编码器的街景对比损失；
通过最小化所述街景对比损失训练所述第二特征编码器，获得所述街景对比学习模型。
6.根据权利要求3所述的指标预测方法，其特征在于，所述基于所述卫星子特征向量和所述街景子特征向量，计算每一个预设指标标签分别对应的指标预测概率，包括：
通过预设的卫星图像切片的权重，分别计算每一个所述街道节点对应的所述卫星子特征向量的加权和，获得每一个所述街道节点的卫星特征向量，其中，所述卫星图像切片的权重基于所述卫星图像切片训练得到；
通过预设的街景图像的权重，分别计算每一个所述街道节点对应的所述街景子特征向量的加权和，获得每一个所述街道节点的街景特征向量，其中，所述街景图像的权重基于所述街景图像训练得到；
基于每一个所述街道节点分别对应的所述卫星特征向量和所述街景特征向量，获得每一个所述街道节点的节点特征向量；
基于所述节点特征向量，计算每一个预设指标标签分别对应的指标预测概率。
7.根据权利要求6所述的指标预测方法，其特征在于，所述基于所述节点特征向量，计算每一个预设指标标签分别对应的指标预测概率，包括：
确定每一个所述街道节点分别对应的邻居节点，其中，所述邻居节点为在所述街道网络图数据中由一条边直接关联的所述街道节点；
对于每一个所述街道节点：基于通过预设的神经网络，对所述节点特征向量和所述邻居节点的所述节点特征向量进行迭代聚合，获得K个中间聚合向量，其中，K为大于1的整数；通过预设的归一化权重，计算K个所述中间聚合向量的加权和，获得所述街道节点的聚合特征向量，其中，所述归一化权重基于注意向量和所述节点特征向量训练得到；
基于所述聚合特征向量，计算每一个预设指标标签分别对应的指标预测概率。
8.根据权利要求7所述的指标预测方法，其特征在于，所述指标预测概率为街道预测概率或子区域预测概率；
所述基于所述聚合特征向量，计算每一个预设指标标签分别对应的指标预测概率，包括：
基于所述聚合特征向量和所述预设指标标签，通过第一多层感知机，计算每一个所述街道节点分别在每一个所述预设指标标签下的所述街道预测概率，其中，所述第一多层感知机通过所述预设指标标签训练得到；
或者，
确定所述目标区域中至少一个子区域，其中，所述子区域包括至少一个所述街道节点；
基于每一个所述街道节点的聚合特征向量，分别计算每一个所述子区域对应的区域特征向量；
基于所述区域特征向量和所述预设指标标签，通过第二多层感知机，计算每一个子区域分别在每一个所述预设指标标签下的所述子区域预测概率，其中，所述第二多层感知机通过所述预设指标标签训练得到。
9.一种指标预测装置，其特征在于，包括：
第一获取模块，用于获取目标区域的街道网络图数据，其中，所述街道网络图数据包括至少一个街道节点；
第二获取模块，用于获取所述目标区域对应的至少一张卫星图像，其中，每一张所述卫星图像包括至少一个所述街道节点；
第三获取模块，用于获取所述目标区域对应的至少一张街景图像，其中，每一张所述街景图像对应一个所述街道节点；
预测模块，用于基于每一个所述街道节点分别对应的所述卫星图像和所述街景图像，计算每一个预设指标标签分别对应的指标预测概率。
10.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至8任一项所述的指标预测方法。
11.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的指标预测方法。
12.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的指标预测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211153765.XA CN115761519A (zh) | 2022-09-21 | 2022-09-21 | 指标预测方法、装置、设备、存储介质及程序产品 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211153765.XA CN115761519A (zh) | 2022-09-21 | 2022-09-21 | 指标预测方法、装置、设备、存储介质及程序产品 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115761519A true CN115761519A (zh) | 2023-03-07 |
Family
ID=85351016
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211153765.XA Pending CN115761519A (zh) | 2022-09-21 | 2022-09-21 | 指标预测方法、装置、设备、存储介质及程序产品 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115761519A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117852975A (zh) * | 2024-03-04 | 2024-04-09 | 潍坊富源工控技术有限公司 | 基于数字化设计的城市更新行动可视化评估方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200201891A1 (en) * | 2018-12-21 | 2020-06-25 | Here Global B.V. | Method, apparatus, and computer program product for identifying at-risk road infrastructure |
| CN114626572A (zh) * | 2022-01-24 | 2022-06-14 | 四川电力设计咨询有限责任公司 | 基于智能图像识别的输电线路路径优选方法 |
| CN114677507A (zh) * | 2022-03-11 | 2022-06-28 | 吉林化工学院 | 一种基于双向注意力网络的街景图像分割方法及系统 |
-
2022
- 2022-09-21 CN CN202211153765.XA patent/CN115761519A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200201891A1 (en) * | 2018-12-21 | 2020-06-25 | Here Global B.V. | Method, apparatus, and computer program product for identifying at-risk road infrastructure |
| CN114626572A (zh) * | 2022-01-24 | 2022-06-14 | 四川电力设计咨询有限责任公司 | 基于智能图像识别的输电线路路径优选方法 |
| CN114677507A (zh) * | 2022-03-11 | 2022-06-28 | 吉林化工学院 | 一种基于双向注意力网络的街景图像分割方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| ZELONG ZENG ET AL.: "Geo-Localization via Ground-to-Satellite Cross-View Image Retrieval", 《IEEE TRANSACTIONS ON MULTIMEDIA》, 19 January 2022 (2022-01-19), pages 2176 - 2188 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117852975A (zh) * | 2024-03-04 | 2024-04-09 | 潍坊富源工控技术有限公司 | 基于数字化设计的城市更新行动可视化评估方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Pham et al. | Hybrid computational intelligence models for groundwater potential mapping | |
| Aburas et al. | The simulation and prediction of spatio-temporal urban growth trends using cellular automata models: A review | |
| CN113780296B (zh) | 基于多尺度信息融合的遥感图像语义分割方法及系统 | |
| Ibrahim et al. | predictSLUMS: A new model for identifying and predicting informal settlements and slums in cities from street intersections using machine learning | |
| Wu et al. | GANmapper: geographical data translation | |
| Zhao et al. | Identification of land-use characteristics using bicycle sharing data: A deep learning approach | |
| Zhang et al. | Deep-air: A hybrid cnn-lstm framework for fine-grained air pollution estimation and forecast in metropolitan cities | |
| Chew et al. | Residential scene classification for gridded population sampling in developing countries using deep convolutional neural networks on satellite imagery | |
| Holloway et al. | Spatial and machine learning methods of satellite imagery analysis for Sustainable Development Goals | |
| Alahmadi et al. | A comparison of small-area population estimation techniques using built-area and height data, Riyadh, Saudi Arabia | |
| Gao et al. | Road extraction using a dual attention dilated-linknet based on satellite images and floating vehicle trajectory data | |
| Efremova et al. | AI-based evaluation of the SDGs: The case of crop detection with earth observation data | |
| Karimi Firozjaei et al. | An urban growth simulation model based on integration of local weights and decision risk values | |
| CN115761519A (zh) | 指标预测方法、装置、设备、存储介质及程序产品 | |
| Jia et al. | Delineating a hierarchical organization of ranked urban clusters using a spatial interaction network | |
| Han et al. | Deep-AIR: A hybrid CNN-LSTM framework for air quality modeling in metropolitan cities | |
| Ozturk et al. | Generation of Istanbul road data set using Google Map API for deep learning-based segmentation | |
| CN117079148B (zh) | 城市功能区的识别方法、装置、设备和介质 | |
| Sanya et al. | Identifying patterns in urban housing density in developing countries using convolutional networks and satellite imagery | |
| Vaidya et al. | Classifying heterogeneous urban form into local climate zones using supervised learning and greedy clustering incorporating Landsat dataset | |
| CN116307857A (zh) | 一种基于遥感图像场景理解的建成区环境评价方法 | |
| Grippa et al. | Mapping slums and model population density using earth observation data and open source solutions | |
| CN113158084A (zh) | 移动轨迹数据处理的方法、装置、计算机设备及存储介质 | |
| Gaurav et al. | RainRoof: Automated Shared Rainwater Harvesting Prediction | |
| Borhani et al. | Soft computing modelling of urban evolution: Tehran metropolis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |