CN109657602A - 基于街景数据和迁移学习的自动城市功能分区方法及系统 - Google Patents

Abstract

本发明提供了一种基于街景数据和迁移学习的自动城市功能分区方法及系统。所述方法及系统是基于街景照片和深度学习技术以及图像分割技术的城市功能区自动识别，通过使用街景照片场景语义信息，结合由图像分割技术获得的分类后的城市区文件数据，自动获取城市功能分区图。本发明可以用于自动且精确识别细粒度的城市功能区，为城市规划和城市环境的发展带来机遇。

Description

基于街景数据和迁移学习的自动城市功能分区方法及系统

技术领域

本发明涉及计算机领域，具体涉及一种基于街景数据和迁移学习的自动城市功能分区方法及系统。

背景技术

城市功能分区是城市规划、环境研究、空间规划等一系列应用的重要基础，城市功能区域的合理划分有助于合理规划把握城市空间结构，为城市制定科学的发展规划。然而，传统的城市功能区域划分主要基于实地调查或由遥感技术辅助实现或基于社交媒体数据实现等方法，这些方法存在一些限制条件：

(1)基于实地调查方法存在主观性强、时效性差且需要耗费大量的人力和财力等问题。

(2)由遥感技术辅助实现方法通常只能获得地球表面的属性值，不容易区分人类活动区的城市功能类型，例如写字楼和公寓。

(3)基于社交媒体数据的方法存在主观性强，照片分布不均匀，噪声大等问题。

(4)中国的OSM提供的区文件数据分割尺度比较大，分类粒度比较粗，获得到的城市功能分区图不够精细。

因此，需要一种能够利用现有的反应客观事实的数据，而且区文件数据分割尺度粒度比较细，同时城市功能分区又是符合实际情况的，主要是照片数据分布均匀又能够客观性表现城市功能区的识别方法。

发明内容

为了能够客观地表现城市功能区，本发明提供了一种基于街景数据和迁移学习的自动城市功能分区方法及系统。所述方法是基于街景照片和深度学习技术以及图像分割技术的城市功能区自动识别，具体包括以下步骤：

S1、从谷歌地图网站中获取研究区遥感影像图；从腾讯地图提供的街景照片API接口下载街景照片数据，并统一所有街景照片的大小和命名格式；从地理信息系统中获取研究区OSM土地利用矢量数据；

S2、对所述的研究区遥感影像图进行分割，构建出“多尺度”的影像以实现多层次分割；根据构建的影像分割层次，将每个分割的对象进行自底向上分类和合并后，得到细粒度的城市功能区；

S3、对从步骤S1获取的街景照片数据做预处理；

S4、对步骤S3中预处理后的街景照片数据进行分类；

S5、对步骤S2中分割后的研究区遥感影像数据进行识别并结合步骤S4分类后的街景图像数据结果生成城市功能分区；

进一步的，步骤S3对所述的街景照片数据做预处理包括以下子步骤：

S31、将步骤S1获取的街景照片数据的坐标转成GPS全球定位系统使用的WGS84坐标系，使之与研究区遥感影像图的坐标系相吻合；

S32、将步骤S31处理后的街景照片数据与步骤S2分类得到的土地利用parcel进行链接，获得街景照片数据的地理位置信息；具体包括：根据所获街景照片数据的四个视角的角度值，分别朝着东西南北四个方向加上或者减去一个街景照片所在街道的宽度值m，使得调整后的街景照片地理坐标(Gxi,Gyi)，其中i＝1,2,3,4，落在附近的城市功能区内或者之上，具体使用下面公式计算：

其中，(Gx,Gy)表示街景照片的地理坐标；m表示街景照片所在街道的宽度，它是一个阈值，可以根据实际情况调整m的值，使得链接结果最佳；angle表示地理坐标系上的东南西北四个方向，其中0度表示地理坐标系朝北；90度表示地理坐标系朝东；180度表示地理坐标系朝南；270度表示地理坐标系朝西；上述公式意味着根据在获取街景照片的时候得到的街景角度值，当街景角度值为0度的时候，纬度就朝北加m；当街景角度值为90度的时候，经度就朝东加m；当街景角度值为180度的时候，经度就朝南加m；当街景角度值为270度的时候，经度就朝西加m。

进一步的，步骤S4对预处理后的街景照片数据进行分类的具体步骤包括：

S41：采用迁移学习技术获取已在Place365数据集上训练得到的CNN网络模型的网络卷积层和池化层；

S42：将所述的网络卷积层和池化层作为步骤S3中预处理后的街景照片数据集的特征提取器；经过所述卷积层和池化层处理街景照片数据集后得到若干维的特征向量；

S43：采用加权多项逻辑回归模型和网络分类模型分别对步骤S42所得的特征向量进行分类，得到所述街景照片场景的分类结果和分类精度，选择精度最高的分类网络作为城市功能分区的最佳网络分类模型，该网络分类模型下分类所得的分类结果作为后续应用数据；其中网络分类模型为一个三层卷积网络，该网络是由三个卷积层组成的，其中每一层卷积核个数分别设置1024、512、256。

进一步的，步骤S5生成城市功能分区的具体步骤包括：

S51：针对步骤S2中分割所得的每个土地利用parcel，构建土地利用类型概率y_i和每种类型街景照片概率密度f，计算公式为：

其中，M表示所述土地利用parcel内街景照片的数量；k表示所述土地利用parcel内街景照片的数量的索引；i＝1，2，...,n表示所述土地利用parcel内第i种类型街景照片；n表示土地利用类别总数；f(i)^k表示所述土地利用parcel内第k张街景照片属于第i种类型的概率密度；y_i表示所述土地利用parcel内M张街景照片属于i种类型的概率密度之和与M张街景照片总数之比的最大值；

S52：将步骤S51计算得到的土地利用类型概率y_i所对应的土地利用类别i，作为判断土地利用类别性质的标准，得到每一张街景照片的最终概率分布向量[y₁、y₂、。。。y_i]和对应的土地利用parcel的类别；根据所述的土地利用parcel类别进而得到城市功能分区。

本发明提供了一种基于街景数据和迁移学习的自动城市功能分区系统，具体包含以下模块：

数据获取模块，从网络数据源中获取研究区遥感影像图；从腾讯地图提供的街景照片API接口下载街景照片数据，并统一所有街景照片的大小和命名格式；从地理信息系统中获取研究区OSM土地利用矢量数据；

数据分割模块，用于对所述的研究区遥感影像图进行分割，构建出“多尺度”的影像以实现多层次分割；根据构建的影像分割层次，将每个分割的对象进行自底向上分类和合并后，得到细粒度的城市功能区；

数据处理模块，用于对所述的街景图像数据做预处理；

数据分类模块，用于对数据处理模块中预处理后的街景照片数据进行分类；

数据识别模块，用于对数据分割模块分割后得到的研究区遥感影像数据进行识别并结合数据分类模块分类后的街景图像数据结果生成城市功能分区。

进一步的，所述的数据处理模块还包括以下子模块：

坐标矫正子模块，用于对数据获取模块中获取的街景图像数据进行坐标矫正；

数据链接子模块，用于对数据获取模块中获取的街景图像数据与土地利用parcel进行链接，获得街景照片数据的地理标签。

进一步的，所述的数据分类模块还包括以下子模块：

街景图像数据处理模块，用于采用迁移学习技术获取经实际检验过的CNN网络的网络卷积层和池化层；将所述的网络卷积层和池化层作为数据处理模块预处理的街景图像数据集的特征提取器；经过所述的卷积层和池化层处理街景照片数据集后，得到若干维的特征向量；

街景图像数据分类模块，用于采用加权多项逻辑回归模型和网络分类模型分别对街景图像数据处理模块处理得到的特征向量进行分类，得到所述街景照片场景的分类结果和分类精度，选择精度最高的分类网络作为城市功能分区的最佳网络分类模型，该网络分类模型下分类所得的分类结果作为后续应用数据。

进一步的，所述的数据识别模块还包括以下子模块：

土地利用类别识别模块，用于获取到的每个土地利用parcel构建土地利用类型概率和对应的土地利用类别；

城市功能分区模块，用于将所述的土地利用类型概率所对应的土地利用类别，作为判断土地利用类别性质的标准，得到每一张街景照片的最终概率分布向量和对应的土地利用parcel的类别；根据所述的土地利用parcel类别进而得到城市功能分区。

本发明提供了一种基于街景数据和迁移学习的自动城市功能分区方法及系统，使用本发明的有益效果是通过使用街景照片数据信息克服了现有技术中存在的主观性强的问题、使用遥感技术带来的局限性以及照片数据分布不均匀、噪声大等问题；其中通过采用的图像分割技术避免了直接使用中国OSM提供的分割尺度大的区文件数据带来的问题；将使用分割后的研究区区文件来过滤噪声图片，也可减少地理位置错误；其中使用的迁移学习技术可以有效的提高CNN网络的训练收敛速度，进而能够更快更精确的对数据进行分类；其中建立的自动城市功能分区模型解决了时效性差且需要耗费大量的人力和财力等问题。同时，本发明可以用于自动且精确识别城市功能区，为城市规划和城市环境的发展带来机遇。

附图说明

图1是城市功能分区的方法流程图；

图2是城市功能分区的系统图。

具体实施方式

为了对本发明的技术特征和目的有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。

请参考图1，其为城市功能分区的方法流程图，具体包括以下步骤：

L1、从地图网站获取研究区遥感影像图和街景照片，例如从谷歌地图网站获取研究区遥感影像图；从腾讯地图提供的街景照片API接口下载街景照片数据，并将所获的街景照片进行统一命名并调成统一的格式，例如命名为经度_纬度_角度.png，所获的街景照片像素大小统一调整为：480*300；从OpensStreetMap网站获取研究区OSM土地利用矢量数据；

L2、利用eCognition软件进行研究区遥感影像图分割，在分割过程根据需要提取的地物类型，将河流、湖泊、陆地设定为第一层分割层，其中分割参数分别设置为：分割尺度大小为300，形状因子为0.1，紧致度为0.5；将植被、裸地、人类活动区设定为第二层分割层，其中分割参数分别设置为：分割尺度大小为100，形状因子为0.1，紧致度为0.5；将建筑物、阴影、道路设定为第三层分割层，其中分割参数分别设置为：分割尺度大小为30，形状因子为0.1，紧致度为0.5；根据构建的影像分割层次将每个分割的对象进行自底向上分类，并且在分类过程中对具有相同光谱、形状、类间相关关系特征的parcel对象进行合并，最终得到研究区遥感影像图的细粒度城市功能区；

L3、对从步骤L1获取的街景照片数据做预处理；其中对街景照片做预处理的具体步骤为：

L31、将步骤L1获取的街景照片的坐标转成GPS全球定位系统使用的WGS84坐标系，使之与研究区遥感影像图的坐标系相吻合；

L32、利用ArcGIS工具，将步骤L31处理后的街景照片数据与步骤L2分类得到的土地利用parcel进行链接，获得街景照片数据的地理位置信息；具体包括：根据所获街景照片数据的四个视角的角度值，分别朝着东西南北四个方向加上或者减去一个街景照片所在街道的宽度值m，使得调整后的街景照片地理坐标“(Gxi,Gyi)，其中i＝1,2,3,4”落在附近的城市功能区内或者之上，具体使用下面公式计算：

其中，(Gx,Gy)表示街景照片的地理坐标；angle表示地理坐标系上的东南西北四个方向，其中0度表示地理坐标系朝北；90度表示地理坐标系朝东；180度表示地理坐标系朝南；270度表示地理坐标系朝西；本实施例中，街道的宽度值m具体取值为80米；

L4、对步骤L3中预处理后的街景照片数据进行分类；其种街景照片分类的具体步骤为：

L41：采用迁移学习技术获取已在Place365数据集上训练得到的CNN网络模型的网络卷积层和池化层；

L42：将所述的网络卷积层和池化层作为步骤L3中预处理后的街景照片数据集的特征提取器；经过所述卷积层和池化层处理街景照片数据集后得到若干维的特征向量；

L43：采用加权多项逻辑回归模型和网络分类模型分别对步骤L42所得的特征向量进行分类，得到所述街景照片场景的分类结果和分类精度，选择精度最高的分类网络作为城市功能分区的最佳网络分类模型，该网络分类模型下分类所得的分类结果作为后续应用数据；其中网络分类模型为一个三层卷积网络，该网络是由三个卷积层组成的，其中每一层卷积核个数分别设置1024、512、256。

L5、对步骤L2中分割后的研究区遥感影像数据进行识别并结合步骤L4分类后的街景图像数据结果生成功能区；其中生成功能区的具体步骤为：

L51：针对步骤L2中分割所得的每个土地利用parcel，构建土地利用类型概率y_i和每种类型街景照片概率密度f，计算公式为：

其中，M表示所述土地利用parcel内街景照片的数量；k表示所述土地利用parcel内街景照片的数量的索引；i＝1，2，...,n表示所述土地利用parcel内第i种类型街景照片；n表示土地利用类别总数；f(i)^k表示所述土地利用parcel内第k张街景照片属于第i种类型的概率密度；y_i表示所述土地利用parcel内M张街景照片属于i种类型的概率密度之和与M张街景照片总数之比的最大值；本实施例中M取值为1207，所述的街景照片概率密度f为通过所述的CNN网络模型训练得到的输出概率值；

L52：将步骤L51计算得到的土地利用类型概率y_i所对应的土地利用类别i，作为判断土地利用类别性质的标准，得到每一张街景照片的最终概率分布向量[y₁、y₂、。。。y_i]和对应的土地利用parcel的类别；根据所述的土地利用parcel类别进而得到城市功能分区。

特别的，利用ArcGIS工具，将所述的细粒度城市功能分区放置在最底层；将所述的研究区OSM土地利用矢量数据加载至图层，并把此图层放置在细粒度城市功能分区图放置的图层之上；将步骤L5生成的城市功能分区放置在OSM土地利用矢量数据放置的图层之上，匹配上述三个图层叠加后的土地利用parcel，统计出相同和不相同类别的土地利用parcel，进行精度评估，根据精度评估结果即可判断步骤S5生成的城市功能区是否符合实际情况。

请参考图2，其为城市功能分区的系统图，具体包括以下数据获取模块21、数据分割模块22、数据处理模块23、数据分类模块24、数据识别模块25，每个模块的具体为：

数据获取模块21用于从网络数据源获取研究区遥感影像图和中国OSM土地利用矢量数据，和从腾讯地图提供的街景照片API接口下载研究区街景照片数据；

数据分割模块22用于对所述的研究区遥感影像图进行分割，构建出“多尺度”的影像以实现多层次分割；根据构建的影像分割层次，将每个分割的对象进行自底向上分类和合并后，得到细粒度的城市功能区；

数据处理模块23用于对所述的街景图像数据做预处理；

数据分类模块24用于对数据处理模块中预处理后的街景照片数据进行分类；

数据识别模块25用于对数据分割模块分割后得到的研究区遥感影像数据进行识别，并结合数据分类模块分类后的街景图像数据结果生成城市功能分区。

其中，数据处理模块23还包括坐标矫正子模块231和数据链接子模块232，每个模块具体为：

坐标矫正子模块231用于对数据获取模块中获取的街景图像数据，进行坐标矫正；

数据链接子模块232用于对数据获取模块中获取的街景图像数据与土地利用parcel进行链接，获得街景照片数据的地理标签。

其中，数据分类模块24还包括街景图像数据处理模块241、街景图像数据分类模块242，每个模块具体为：

街景图像数据处理模块241用于采用迁移学习技术获取经实际检验过的CNN网络的网络卷积层和池化层；将所述的网络卷积层和池化层作为数据处理模块预处理的街景图像数据集的特征提取器；经过所述的卷积层和池化层处理街景照片数据集后，得到若干维的特征向量；

街景图像数据分类模块242用于采用加权多项逻辑回归模型和网络分类模型，分别对街景图像数据处理模块处理得到的特征向量进行分类，得到所述街景照片场景的分类结果和分类精度，选择精度最高的分类网络作为城市功能分区的最佳网络模型，该网络分类模型下分类所得的分类结果作为后续应用数据。

其中，数据识别模块25还包括土地利用类别识别模块251、城市功能分区模块252，每个模块具体为：

土地利用类别识别模块251用于获取到的每个土地利用parcel构建土地利用类型概率和对应的土地利用类别；

城市功能分区模块252用于将所述的土地利用类型概率所对应的土地利用类别，作为判断土地利用类别性质的标准，得到每一张街景照片的最终概率分布向量和对应的土地利用parcel的类别；根据所述的土地利用parcel类别进而得到城市功能分区。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (10)

1.一种基于街景数据和迁移学习的自动城市功能分区方法，其特征在于，包含如下步骤：

S1、从网络数据源中获取研究区遥感影像图和街景照片数据，并统一所有街景照片的大小和命名格式；从地理信息系统中获取研究区OSM土地利用矢量数据；

S2、对所述的研究区遥感影像图进行分割，构建出“多尺度”的影像以实现多层次分割；根据构建的影像分割层次，将每个分割的对象进行自底向上分类和合并后，得到细粒度的城市功能区；

S3、对从步骤S1获取的街景照片数据做预处理；

S4、对步骤S3中预处理后的街景照片数据进行分类；

S5、对步骤S2中分割后的研究区遥感影像数据进行识别并结合步骤S4分类后的街景图像数据结果生成城市功能分区。

2.根据权利要求1所述的自动城市功能分区方法，其特征在于，步骤S1中获取研究区遥感影像图的网络数据源为谷歌地图网站，下载街景照片的API接口为腾讯地图提供的API接口，获取研究区OSM土地利用矢量数据的来源是地理信息系统为OpensStreetMap网站。

3.根据权利要求1所述的自动城市功能分区方法，其特征在于，步骤S3对所述的街景照片数据做预处理包括以下子步骤：

S31、将步骤S1获取的街景照片数据的坐标转成GPS全球定位系统使用的WGS84坐标系，使之与研究区遥感影像图的坐标系相吻合；

S32、将步骤S31处理后的街景照片数据与步骤S2分类得到的土地利用parcel进行链接，获得街景照片数据的地理标签和地理位置信息；具体包括：根据所获街景照片数据的四个视角的角度值，分别朝着东西南北四个方向加上或者减去一个街景照片所在街道的宽度值m，使得调整后的街景照片地理坐标Gxi,Gyi)，其中i＝1,2,3,4，落在附近的城市功能区内或者之上，具体使用下面公式计算：

其中，(Gx,Gy)表示街景照片的地理坐标；m表示街景照片所在街道的宽度，它是一个阈值，可以根据实际情况调整m的值，使得链接结果最佳；angle表示地理坐标系上的东南西北四个方向，其中0度表示地理坐标系朝北；90度表示地理坐标系朝东；180度表示地理坐标系朝南；270度表示地理坐标系朝西；上述公式意味着根据在获取街景照片的时候得到的街景角度值，当街景角度值为0度的时候，纬度就朝北加m；当街景角度值为90度的时候，经度就朝东加m；当街景角度值为180度的时候，经度就朝南加m；当街景角度值为270度的时候，经度就朝西加m。

4.根据权利要求1所述的自动城市功能分区方法，其特征在于，步骤S4对预处理后的街景照片数据进行分类的具体步骤包括：

S41：采用迁移学习技术获取经实际检验过的CNN网络的网络卷积层和池化层；

S42：将所述的网络卷积层和池化层作为步骤S3中预处理后的街景照片数据集的特征提取器；经过所述卷积层和池化层处理街景照片数据集后得到若干维的特征向量；

S43：采用加权多项逻辑回归模型和网络分类模型分别对步骤S42所得的特征向量进行分类，得到所述街景照片场景的分类结果和分类精度，选择精度最高的分类模型作为城市功能分区的最佳网络分类模型，该网络分类模型下分类所得的分类结果作为后续应用数据；其中网络分类模型为一个三层卷积网络，该网络是由三个卷积层组成的，其中每一层卷积核个数分别设置M、N、P。

5.根据权利要求1所述的自动城市功能分区方法，其特征在于，步骤S5生成城市功能分区的具体步骤包括：

S51：针对步骤S2中分割所得的每个土地利用parcel，构建土地利用类型概率y_i和每种类型街景照片概率密度f，计算公式为：

其中，M表示所述土地利用parcel内街景照片的数量；k表示所述土地利用parcel内街景照片的数量的索引；i＝1，2，...,n表示所述土地利用parcel内第i种类型街景照片；n表示土地利用类别总数；f(i)^k表示所述土地利用parcel内第k张街景照片属于第i种类型的概率密度；y_i表示所述土地利用parcel内M张街景照片属于i种类型的概率密度之和与M张街景照片总数之比的最大值；

S52：将步骤S51计算得到的土地利用类型概率y_i所对应的土地利用类别i，作为判断土地利用类别性质的标准，得到每一张街景照片的最终概率分布向量[y₁、y₂、。。。y_i]和对应的土地利用parcel的类别；根据所述的土地利用parcel类别进而得到城市功能分区。

6.根据权利要求5所述的自动城市功能分区方法，其特征在于，步骤S41中经实际检验过的CNN网络模型，是利用在Place365数据集上训练得到的CNN网络模型；步骤S43中网络分类模型中每一层卷积核个数分别设置1024、512、256。

7.一种基于腾讯街景照片的自动城市功能分区系统，其特征在于，包含如下模块：

数据获取模块，从网络数据源中获取研究区遥感影像图和街景照片数据，并统一所有街景照片的大小和命名格式；从地理信息系统中获取研究区OSM土地利用矢量数据；

数据分割模块，用于对所述的研究区遥感影像图进行分割，构建出“多尺度”的影像以实现多层次分割；根据构建的影像分割层次，将每个分割的对象进行自底向上分类和合并后，得到细粒度的城市功能区；

数据处理模块，用于对所述的街景图像数据做预处理；

数据分类模块，用于对数据处理模块中预处理后的街景照片数据进行分类；

数据识别模块，用于对数据分割模块分割后得到的研究区遥感影像数据进行识别并结合数据分类模块分类后的街景图像数据结果生成城市功能分区。

8.根据权利要求7提供的自动城市功能分区系统，其特征在于，所述的数据处理模块还包括以下子模块：

坐标矫正子模块，用于对数据获取模块中获取的街景图像数据进行坐标矫正；

数据链接子模块，用于对数据获取模块中获取的街景图像数据与土地利用parcel进行链接，获得街景照片数据的地理标签。

9.根据权利要求7提供的自动城市功能分区系统，其特征在于，所述的数据分类模块还包括以下子模块：

街景图像数据处理模块，用于采用迁移学习技术获取经实际检验过的CNN网络的网络卷积层和池化层；并将所述的网络卷积层和池化层作为数据处理模块预处理的街景图像数据集的特征提取器；经过所述的卷积层和池化层处理街景照片数据集后，得到若干维的特征向量；

街景图像数据分类模块，用于采用加权多项逻辑回归模型和网络分类模型分别对街景图像数据处理模块处理得到的特征向量进行分类，得到所述街景照片场景的分类结果和分类精度，选择精度最高的分类模型作为城市功能分区的最佳网络分类模型，该网络分类模型下分类所得的分类结果作为后续应用数据。

10.根据权利要求7提供的自动城市功能分区系统，其特征在于，所述的数据识别模块还包括以下子模块：

土地利用类别识别模块，用于获取到的每个土地利用parcel构建土地利用类型概率和对应的土地利用类别；

城市功能分区模块，用于将所述的土地利用类型概率所对应的土地利用类别，作为判断土地利用类别性质的标准，得到每一张街景照片的最终概率分布向量和对应的土地利用parcel的类别；根据所述的土地利用parcel类别进而得到城市功能分区。