CN111190952A - 一种基于图像金字塔提取城市画像多尺度特征并持久化的方法 - Google Patents

Abstract

本发明公开了一种基于图像金字塔提取城市画像多尺度特征并持久化的方法，包括：构建金字塔特征提取模块；获取城市基础地理信息数据和由城市多源异构数据构成的城市画像，根据城市基础地理信息数据利用金字塔特征提取模块针对城市画像构建金字塔结构的城市画像多尺度特征；构建城市画像多尺度特征持久化模块；通过城市画像多尺度特征持久化模块将城市画像多尺度特征保存至针对图像金字塔特征提取模型设计的目标数据库，并提供相应数据接口，服务于数据挖掘算法、深度学习算法及智慧城市的应用。本发明能够很好地满足特征分层细化、动态调节的需求，同时通过特征持久化服务减少数据中心计算资源的浪费。

Description

一种基于图像金字塔提取城市画像多尺度特征并持久化的 方法

技术领域

本申请属于大数据技术领域，具体涉及一种基于图像金字塔提取城市画像多尺度特征并持久化的方法。

背景技术

智慧城市建设是城市发展与创新的前沿领域，智慧城市建设的实践无法脱离数据、业务与智能算法。例如在申请号201810057801.X《一种基于城市多源异构数据构建城市画像的方法》的专利文献中，提供了一种基于城市多源异构数据构建城市画像的方法，该方法通过汇聚、积累、标准化存储管理多源异构城市数据，实现多源异构数据的关联融合，并在此基础上提供高效的数据服务，从而构建能服务于深度学习训练预测以及全方位城市数据展示的多维数据“城市画像”。

基于“城市画像”的研究很好地支撑了城市数据整体的统筹与融合，智慧城市相关业务及智能算法的研究得以在此基础之上展开。在智慧城市实践中，如何利用这些城市数据进行特征设计与特征提取直接决定了智能算法在相关业务问题中的表现。由于“城市画像”的特征维度高、数据体量大，在此基础上直接进行数据分析与挖掘是非常困难且需要消耗海量资源的。由于在大数据环境下，深度神经网络提取特征的能力已经被证明优于人工设计特征，现有的智慧城市智能算法大多使用端到端的深度神经网络，或者使用深度特征提取网络结合传统数据挖掘算法，这些算法往往会大量重复进行相同或相似的特征提取工作，例如利用被大量使用的ResNet进行特征提取，这在很大程度上造成了计算资源的极大浪费。

智慧城市业务不仅需要考虑全局特征，还需要根据业务需求对城市进行分层细化，如根据行政级别进行网格-社区/街道-区/县-市的分层，分层细化的尺度取决于城市体量、行政级别、业务垂直分层体系等因素，但现有的特征提取网络缺乏特征尺度动态可调节的能力。

发明内容

本申请的目的在于提供一种基于图像金字塔提取城市画像多尺度特征并持久化的方法，能够很好地满足特征分层细化、动态调节的需求，同时通过特征持久化服务减少数据中心计算资源的浪费。

为实现上述目的，本申请所采取的技术方案为：

一种基于图像金字塔提取城市画像多尺度特征并持久化的方法，所述基于图像金字塔提取城市画像多尺度特征并持久化的方法，包括：

构建金字塔特征提取模块，所述金字塔特征提取模块包括基础特征提取模型和图像金字塔特征提取模型；

获取城市基础地理信息数据和由城市多源异构数据构成的城市画像，根据城市基础地理信息数据利用所述金字塔特征提取模块针对所述城市画像构建金字塔结构的城市画像多尺度特征；

构建城市画像多尺度特征持久化模块；

通过城市画像多尺度特征持久化模块将所述城市画像多尺度特征保存至针对所述图像金字塔特征提取模型设计的目标数据库，并提供相应数据接口，服务于数据挖掘算法、深度学习算法及智慧城市的应用。

作为优选，所述金字塔特征提取模块，包括：

数据接收和预处理单元，用于接收输入数据，并计算输入数据的稠密程度，所述输入数据包括所述城市画像以及所述城市基础地理信息数据；

所述基础特征提取模型，用于根据计算得到的稠密程度针对所述城市画像生成基础特征图；

所述图像金字塔特征提取模型，用于根据所述基础特征图和城市基础地理信息数据生成金字塔结构的城市画像多尺度特征；

数据输出单元，用于将所述基础特征图和城市画像多尺度特征进行融合，形成融合特征，并输出融合特征、基础特征图和城市画像多尺度特征。

作为优选，所述计算输入数据的稠密程度，包括：

计算输入数据的信息稠密度如下：

其中，D表示信息稠密度，S表示需要划分S个特征尺度，C表示城市画像共有C个通道，

表示在尺度s下通道c拥有数据的像素空间数，

表示在尺度s下通道c的像素空间总数，ω_s表示在尺度s下数据密度的权重；

根据所述信息稠密度判断输入数据的稠密程度：

其中，V表示稠密程度，1表示稠密，0表示半稠密，-1表示稀疏。

作为优选，根据计算得到的稠密程度针对所述城市画像生成基础特征图，包括：

所述基础特征提取模型包括稀疏网络和稠密网络；

若V＝0或V＝-1，即稠密程度为半稠密或稀疏，则将所述城市画像输入至稀疏网络得到基础特征图；若V＝1，即稠密程度为稠密，则将所述城市画像输入至稠密网络得到基础特征图。

作为优选，所述根据基础特征图和城市基础地理信息数据生成金字塔结构的城市画像多尺度特征，包括：

根据所述城市基础地理信息数据计算特征尺度层次，计算公式如下：

S＝max(A,B)

其中，S表示需要划分的特征尺度的总数，A表示行政层级数，B表示业务垂直分层数；

逐特征尺度计算卷积核尺寸，计算公式如下：

则第i个特征尺度的卷积核尺寸为(k_i,k_i)；

根据各特征尺度的卷积核尺寸建立金字塔池化模型，并将所述基础特征图输入至金字塔池化模型中，得到金字塔结构的城市画像多尺度特征。

作为优选，所述数据输出单元输出融合特征、基础特征图和城市画像多尺度特征，包括：

直接输出融合特征、基础特征图和城市画像多尺度特征；

或，将融合特征、基础特征图和城市画像多尺度特征输出至文件生成特征文件，记录特征文件对应的文件路径，并输出所述文件路径。

作为优选，所述城市画像多尺度特征持久化模块基于编码规则进行hash编码，以key-value形式将城市画像多尺度特征在目标数据库中持久化保存。

作为优选，所述目标数据库为文件数据库，所述文件数据库包括关系型数据库的实现和非关系型数据库的实现。

作为优选，所述城市画像多尺度特征持久化模块提供的相应数据接口包括基于关系型数据库的实现和基于非关系型数据库的实现。

本申请提供的基于图像金字塔提取城市画像多尺度特征并持久化的方法，充分考虑到智慧城市业务不仅需要考虑全局特征，还需要根据业务需求对城市特征进行分层细化的需求，通过建立图像金字塔特征提取模型得到分层细化的城市画像多尺度特征；并且本申请充分考虑到大部分智慧城市业务都基于城市画像特征展开的需求，通过建立多尺度特征持久化模块，对特征进行持久化，同时对外提供特征服务，以减少大量重复的特征提取工作。本申请能够很好地满足特征分层细化、动态调节的需求，同时通过特征持久化服务减少数据中心计算资源的浪费。

附图说明

图1为本申请基于图像金字塔提取城市画像多尺度特征并持久化的方法的流程图；

图2为本申请金字塔特征提取模块的执行流程图；

图3为本申请金字塔特征提取模块中基础特征提取模型的执行流程图；

图4为本申请金字塔特征提取模块中图像金字塔特征提取模型的执行流程图；

图5为本申请金字塔特征提取模块的图像金字塔特征提取模型中金字塔池化模型的结构示意图；

图6为本申请金字塔特征提取模块中数据输出单元的执行流程图；

图7为本申请金字塔特征提取模块中数据输出单元的特征融合模型的结构示意图；

图8为本申请城市画像多尺度特征持久化模块的执行流程图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是在于限制本申请。

本技术方案涉及的数据输入为基于城市多源异构数据的城市画像和城市基础地理信息数据。基于城市多源异构数据的城市画像涵盖城市运转中产生的一切可获取数据，经过归一化关联融合处理后，以多通道图像的形式存在。本技术方案涉及的数据输入中的基于城市多源异构数据的城市画像也可以是其他以多通道图像形式存在的城市体征量化数据。

如图1所示，其中一个实施例中，提供一种基于图像金字塔提取城市画像多尺度特征并持久化的方法，包括如下步骤：

步骤S1、构建金字塔特征提取模块，金字塔特征提取模块包括(但不限于)基础特征提取模型和图像金字塔特征提取模型；获取城市基础地理信息数据和由城市多源异构数据构成的城市画像，根据城市基础地理信息数据利用所述金字塔特征提取模块针对所述城市画像构建金字塔结构的城市画像多尺度特征。

如图2所示，一个实施例中构建的金字塔特征提取模块包括：

数据接收和预处理单元，用于接收输入数据，并计算输入数据的稠密程度，所述输入数据包括所述城市画像以及城市基础地理信息数据。

所述基础特征提取模型，用于根据计算得到的稠密程度针对所述城市画像生成基础特征图。

所述图像金字塔特征提取模型，用于根据所述基础特征图和城市基础地理信息数据生成金字塔结构的城市画像多尺度特征。

数据输出单元，用于将所述基础特征图和城市画像多尺度特征进行融合，形成融合特征，并输出融合特征、基础特征图和城市画像多尺度特征。

基于本实施例提供的金字塔特征提取模块，本实施例根据城市基础地理信息数据利用所述金字塔特征提取模块针对所述城市画像构建金字塔结构的城市画像多尺度特征，包括以下步骤：

步骤S1.1、将城市画像和城市基础地理信息数据输入数据接收和预处理单元，接收和预处理单元对所接收的数据进行预处理包括：

数据接收和预处理单元首先对城市画像和城市基础地理信息数据进行数据规范性判断，判断标准分别为专利申请号为201810057801.X《一种基于城市多源异构数据构建城市画像的方法》中声明的对城市画像的约束和《GB/T 20257.1-2007第1部分1：500、1：1000、1：2000图式》、《GB/T 13923-2006基础地理信息要素分类与代码》、《电子地图数据规范(试行稿-20100125版)》。

若输入数据的规范性判断不符合要求，则终止程序，符合则进行下一步。

步骤S1.2、对城市画像和城市基础地理信息数据做稠密程度计算。

首先计算输入数据的信息稠密度，计算规则如以下公式所示：

其中，D表示信息稠密度，S表示需要划分S个特征尺度，特征尺度个数可以由行政区划层级或业务垂直分层体系决定，C表示城市画像共有C个通道，

表示在尺度s下通道c拥有数据的像素空间数，

表示在尺度s下通道c的像素空间总数，ω_s表示在尺度s下数据密度的权重。

城市画像在不同特征尺度下代表像素的网格大小不同，数据经过聚类、归一化等处理后，在像素空间上的分布不同，因此各个尺度下拥有数据的像素空间数与像素空间总数会发生变化。

得到信息稠密度后，根据信息稠密度判断输入数据的稠密程度：

其中，V表示稠密程度，1表示稠密，0表示半稠密，-1表示稀疏。

需要理解的是，上述仅为本实施例提供的一种稠密程度判断规则，其中的节点0.3和0.6可根据实际需求进行动态调整。

步骤S1.3、将稠密程度V输入基础特征提取模型，基础特征提取模型具有较大的感受野以及两个预训练的深度神经网络。两个预训练的深度神经网络分别适用于信息稠密和信息半稠密或稀疏的城市画像，即基础特征提取模型包括稀疏网络和稠密网络。

基础特征提取模型针对城市画像生成基础特征图，并将基础特征图传递给图像金字塔特征提取模型和数据输出单元。该过程如图3所示，包括如下步骤：

步骤S1.3.1、对稠密程度V做稀疏判断，若V＝0或V＝-1，即稠密程度为半稠密或稀疏；若V＝1，即稠密程度为稠密，根据判断结果，进行步骤1.3.2。本实施例将半稠密和稀疏做同等对待，从而将三类稠密程度转化为两类应对计算，以降低计算复杂度。

步骤S1.3.2、若稠密程度为半稠密或稀疏，则将城市画像输入至稀疏网络得到基础特征图；若稠密程度为稠密，则将城市画像输入至稠密网络得到基础特征图。

稀疏网络是一个具有稀疏卷积结构和空洞卷积结构的特征提取网络，稠密网络是一个具有空洞卷积结构的特征提取网络。在本实施例中，该特征提取网络是ResNet50，特征提取网络对城市画像做特征提取，得到基础特征图。

步骤S1.4、将基础特征图和城市基础地理信息数据输入图像金字塔特征提取模型，图像金字塔特征提取模型具有以下特征：a)根据城市画像的稠密程度和城市行政区划等级动态调整特征尺度；b)输出不同尺度的特征。

图像金字塔特征提取模型输出金字塔结构的城市画像多尺度特征，并将此特征传递给数据输出单元。该过程如图4所示，包括如下步骤：

步骤S1.4.1、根据城市基础地理信息数据计算特征尺度层次，在本实施例中，计算公式如下：

S＝max(A,B)

其中，S表示需要划分的特征尺度的总数，A表示行政层级数，B表示业务垂直分层数。

步骤S1.4.2、逐尺度计算卷积核尺寸，卷积核尺寸与输入金字塔池化模型的基础特征图的大小有关，不同尺度的卷积核尺寸应保持合理的差距，在本实施例中，遵循以下公式：

则第i个特征尺度的卷积核尺寸为(k_i,k_i)。

在本实施例中，由于城市画像的尺寸很大，特征尺度层次S受限于行政层级数和业务垂直分层数，故最大卷积核尺寸仍然保持在合理范围内。

步骤S1.4.3、根据各特征尺度的卷积核尺寸建立金字塔池化模型，并将所述基础特征图输入至金字塔池化模型中，得到金字塔结构的城市画像多尺度特征。如图5所示，图中C表示通道数。基础特征图经金字塔池化模型输出城市画像多尺度特征，图中以Feature{s}表示。

提取的城市画像多尺度特征呈金字塔结构，能够很好的满足特征分层细化、动态调节的需求。

步骤S1.5、将基础特征图与城市画像多尺度特征输入数据输出单元，数据输出单元输出融合特征、基础特征图和城市画像多尺度特征，该过程如图6所示，包括如下步骤：

步骤S1.5.1、建立特征融合模型，如图7所示，将城市画像多尺度特征进行降维处理，并将降维处理后的城市画像多尺度特征和基础特征图输入特征融合模型，得到融合特征。

步骤S1.5.2、将基础特征图、城市画像多尺度特征、融合特征输出，此过程存在两个分支，分支一为执行步骤1.5.3，分支二为直接将特征输出，即直接输出融合特征、基础特征图和城市画像多尺度特征。

步骤S1.5.3、将融合特征、基础特征图和城市画像多尺度特征输出到文件生成特征文件，记录特征文件对应的文件路径，将文件路径输出。

需要说明的是，特征生成特征文件后所占用的空间变大，受限于数据库的空间限制，一般情况下，设置分支一针对关系型数据库的实现，设置分支二针对非关系型数据库的实现。当然在数据库空间满足的情况下，不对数据输出单元的输出形式作严格限制。

步骤S2、构建城市画像多尺度特征持久化模块；通过城市画像多尺度特征持久化模块将所述城市画像多尺度特征保存至针对所述图像金字塔特征提取模型设计的目标数据库，并提供相应数据接口，服务于数据挖掘算法、深度学习算法及智慧城市的应用。

应该理解的是，城市画像多尺度特征持久化模块以持久化保存城市画像多尺度特征为主，但同时也持久化保存基础特征图和融合特征，以便于各类型算法的调用，节省计算资源。

本实施例中提供的城市画像多尺度特征持久化模块构建时将特征数据进行命名，基础特征以basefeature表示、融合特征以concatfeature表示、N个尺度特征以scale{n}feature表示，N为城市画像多尺度特征的尺度个数，n为尺度编号。并且使用特定规则进行hash编码，该特定规则包括了城市画像的编号、城市画像创建的时间、城市画像的来源等基础信息，以key-value的形式在目标数据库中进行持久化。

在一实施例中，城市画像多尺度特征持久化模块基于编码规则进行hash编码，生成索引字段，编码规则如下：

hashcode(str(城市名称))+hashcode(str(城市画像生成时间))+hashcode(str(城市画像编号))+hashcode(str(城市画像数据源)))。

生成索引字段后以key-value形式将城市画像多尺度特征在目标数据库中持久化保存。

在持久化时，将特征文件或特征输入至城市画像多尺度特征持久化模块，该模块持久化保存的目标数据库为文件数据库，所述文件数据库包括关系型数据库的实现和非关系型数据库的实现。

如步骤S1.5.2和步骤S1.5.3中所述，数据输出单元的输出形式为特征或特征文件的文件路径，即城市画像多尺度特征持久化模块能够直接得到特征或根据文件路径得到特征文件。

当城市画像多尺度特征持久化模块得到特征或特征文件时，都既可以使用关系型数据库作为所述文件数据库的具体实现，也可以使用非关系型数据库作为所述文件数据库的具体实现。

例如：若输入城市画像多尺度特征持久化模块的为hash编码和特征文件，关系型数据库使用postgresql实现，hash编码作为key，特征文件的存储地址作为value。

若输入城市画像多尺度特征持久化模块的为hash编码和特征，关系型数据库使用postgresql实现，hash编码作为key，特征以二进制数据类型bytea进行存储，如果特征大于2G，特征需要进行分割，在这种情况下，此方法仍然可以进行特征的持久化，但是不建议使用。

又如：若输入城市画像多尺度特征持久化模块的为hash编码和特征文件，非关系型数据库使用mongodb gridfs实现，hash编码作为key，特征文件使用GridFS的put命令存储。

若输入城市画像多尺度特征持久化模块的为hash编码和特征，非关系型数据库使用mongodb gridfs实现，hash编码作为key，特征以流的形式直接被GridFS读取后存储。针对关系型数据库和非关系型数据库，本实施例中的城市画像多尺度特征持久化模块提供的相应数据接口包括基于关系型数据库的实现和基于非关系型数据库的实现。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (9)

1.一种基于图像金字塔提取城市画像多尺度特征并持久化的方法，其特征在于，所述基于图像金字塔提取城市画像多尺度特征并持久化的方法，包括：

构建金字塔特征提取模块，所述金字塔特征提取模块包括基础特征提取模型和图像金字塔特征提取模型；

获取城市基础地理信息数据和由城市多源异构数据构成的城市画像，根据城市基础地理信息数据利用所述金字塔特征提取模块针对所述城市画像构建金字塔结构的城市画像多尺度特征；

构建城市画像多尺度特征持久化模块；

通过城市画像多尺度特征持久化模块将所述城市画像多尺度特征保存至针对所述图像金字塔特征提取模型设计的目标数据库，并提供相应数据接口，服务于数据挖掘算法、深度学习算法及智慧城市的应用。

2.如权利要求1所述的基于图像金字塔提取城市画像多尺度特征并持久化的方法，其特征在于，所述金字塔特征提取模块，包括：

数据接收和预处理单元，用于接收输入数据，并计算输入数据的稠密程度，所述输入数据包括所述城市画像以及所述城市基础地理信息数据；

所述基础特征提取模型，用于根据计算得到的稠密程度针对所述城市画像生成基础特征图；

所述图像金字塔特征提取模型，用于根据所述基础特征图和城市基础地理信息数据生成金字塔结构的城市画像多尺度特征；

数据输出单元，用于将所述基础特征图和城市画像多尺度特征进行融合，形成融合特征，并输出融合特征、基础特征图和城市画像多尺度特征。

3.如权利要求2所述的基于图像金字塔提取城市画像多尺度特征并持久化的方法，其特征在于，所述计算输入数据的稠密程度，包括：

计算输入数据的信息稠密度如下：

其中，D表示信息稠密度，S表示需要划分S个特征尺度，C表示城市画像共有C个通道，

表示在尺度s下通道c拥有数据的像素空间数，

表示在尺度s下通道c的像素空间总数，ω_s表示在尺度s下数据密度的权重；

根据所述信息稠密度判断输入数据的稠密程度：

其中，V表示稠密程度，1表示稠密，0表示半稠密，-1表示稀疏。

4.如权利要求3所述的基于图像金字塔提取城市画像多尺度特征并持久化的方法，其特征在于，根据计算得到的稠密程度针对所述城市画像生成基础特征图，包括：

所述基础特征提取模型包括稀疏网络和稠密网络；

若V＝0或V＝-1，即稠密程度为半稠密或稀疏，则将所述城市画像输入至稀疏网络得到基础特征图；若V＝1，即稠密程度为稠密，则将所述城市画像输入至稠密网络得到基础特征图。

5.如权利要求3所述的基于图像金字塔提取城市画像多尺度特征并持久化的方法，其特征在于，所述根据基础特征图和城市基础地理信息数据生成金字塔结构的城市画像多尺度特征，包括：

根据所述城市基础地理信息数据计算特征尺度层次，计算公式如下：

S＝max(A,B)

其中，S表示需要划分的特征尺度的总数，A表示行政层级数，B表示业务垂直分层数；

逐特征尺度计算卷积核尺寸，计算公式如下：

则第i个特征尺度的卷积核尺寸为(k_i,k_i)；

根据各特征尺度的卷积核尺寸建立金字塔池化模型，并将所述基础特征图输入至金字塔池化模型中，得到金字塔结构的城市画像多尺度特征。

6.如权利要求2所述的基于图像金字塔提取城市画像多尺度特征并持久化的方法，其特征在于，所述数据输出单元输出融合特征、基础特征图和城市画像多尺度特征，包括：

直接输出融合特征、基础特征图和城市画像多尺度特征；

或，将融合特征、基础特征图和城市画像多尺度特征输出至文件生成特征文件，记录特征文件对应的文件路径，并输出所述文件路径。

7.如权利要求1所述的基于图像金字塔提取城市画像多尺度特征并持久化的方法，其特征在于，所述城市画像多尺度特征持久化模块基于编码规则进行hash编码，以key-value形式将城市画像多尺度特征在目标数据库中持久化保存。

8.如权利要求1所述的基于图像金字塔提取城市画像多尺度特征并持久化的方法，其特征在于，所述目标数据库为文件数据库，所述文件数据库包括关系型数据库的实现和非关系型数据库的实现。

9.如权利要求8所述的基于图像金字塔提取城市画像多尺度特征并持久化的方法，其特征在于，所述城市画像多尺度特征持久化模块提供的相应数据接口包括基于关系型数据库的实现和基于非关系型数据库的实现。

Images