CN116152503B - 面向街景的城市天空可视域在线提取方法及系统 - Google Patents
面向街景的城市天空可视域在线提取方法及系统 Download PDFInfo
- Publication number
- CN116152503B CN116152503B CN202310418764.1A CN202310418764A CN116152503B CN 116152503 B CN116152503 B CN 116152503B CN 202310418764 A CN202310418764 A CN 202310418764A CN 116152503 B CN116152503 B CN 116152503B
- Authority
- CN
- China
- Prior art keywords
- street view
- image
- semantic segmentation
- module
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/904—Browsing; Visualisation therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明提供一种面向街景的城市天空可视域在线提取方法及系统,涉及智慧城市平台大数据分析的技术领域。本发明利用百度在线地图API自动获取和存储百度街景图片,建立街景图片库,训练图像语义分割的深度学习网络,从建立的街景图片库中采集街景图像,输入到训练好的语义分割的深度学习网络中,生成带有掩膜的语义分割图像,再将采集到的街景图像和得到的带有掩膜的语义分割图像进行鱼眼投影变换,最后计算天空可视域。本发明有效简化了从街景图像提取城市天空可视域SVF的工作流程,为大规模地计算SVF以及为城市设计和城市规划提供一种自动化、智能化的解决方案。
Description
技术领域
本发明属于涉及智慧城市平台大数据分析的技术领域,具体涉及面向街景的城市天空可视域在线提取方法及系统。
背景技术
城市空间形态是城市的实体环境以及各类活动的空间结构和形式,天空可视域(Sky View Factor, SVF)是重要的城市空间形态指标之一,是指城市空间可见天空面积与整个视域范围面积的比值。围绕SVF的计算方法,主要包括几何方法、鱼眼照片方法、GPS方法和三维模拟方法。比如,专利CN105571572B《一种天空可视域的标准测量方法》在待测区域中测量位置定点、测量方式定高定向、图像处理定形定值的测量方法测量天空可视域的定量数值;专利CN105761310B《一种天空可视域数字地图的模拟分析及图像显示方法》利用栅格化的方法对具有三维矢量信息的建筑物进行处理,采用射线法模拟了整个研究区域内的天空可视域的数值。标准测量方法精度高,但需要大量外业测量作业,模拟方法理论上可以估算研究区任意位置的SFV值,但需要重构高精度城市数字表面模型(Digital SurfaceModel, DSM),且计算精度受扫描线密度以及DSM格网分辨率的影响较大,此外现有这些方法无法剔除城市建筑测量中绿植生长因素的干扰,这些方法难以应用于大范围城市天空可视域提取。
互联网街景地图及应用迅猛发展,它记录了城市主要街道关键位置的瞬时全景图像,包括人流、车辆、广告牌、建筑物、天空、生长的树木等,这些数据能够直观反映城市特定位置的空间形态。基于街景图像的SVF 计算方法具有数据易获取、数据量大、低成本、高效、可以考虑树冠和其它障碍物影响等优势,能够快速准确地计算大规模区域的SVF。而目前基于街景图像计算SVF流程较复杂,需要集成包括深度学习、图像处理和地理信息在内的具有挑战性的技术,使得相关集成化的系统应用较少,难以做到SVF提取的自动化和在线化。
发明内容
为解决上述问题,本发明公开了面向街景的城市天空可视域在线提取方法及系统, 利用街景图像易于获取、深度学习网络模型丰富等特点,简化了SVF的提取流程,并且提高其精度。
为达到上述目的,本发明的技术方案如下:
面向街景的城市天空可视域在线提取方法,该方法包括如下步骤:
(1)训练图像语义分割的深度学习网络;
(2)利用百度在线地图API自动获取和存储百度街景图片,建立街景图片库,从建立的街景图片库中采集街景图像,输入到步骤(1)训练好的语义分割的深度学习网络中,从而生成带有掩膜的语义分割图像;
(3)图像投影转换:将采集到的街景图像和步骤(2)得到的带有掩膜的语义分割图像进行鱼眼投影变换;
(4)天空可视域SVF计算,公式如下:
进一步地,步骤(1)的具体方法是:
使用Cityscapes的5000张高质量像素级标注的图像作为数据集,ResNet18作为主干网络,DeepLabv3作为图像语义分割算法,PyTorch1.11的CUDA版本作为深度学习框架训练语义分割网络模型;
加入交叉熵损失函数和Adam优化算法,保证模型训练能够收敛到非凸面的局部最小值;
交叉熵损失函数的公式表达如下所示:
式中,x是预测结果,class表示样本的实际标签,假设样本实际分类为3,那么class=3,则,取预测结果向量中的第三个元素,其作用是当预测结果越接近真实值,损失函数的值越接近于0,i是分类的类别数,交叉熵损失函数联合了Softmax函数,将分类函数得到的结果转化为一个概率分布的函数,如下式所示:
式中,Softmax是归一化指数函数,j是样本中的第j个类别;
为交叉熵函数设置了权重参数,给不同的类别设置不同的权重,如下式所示:
进一步地,步骤(3)的具体方法是:令街景图像的宽度为W,高度为H,街景图像的每个像素的坐标为(x c ,y c ),鱼眼图像的每个像素的坐标(x f ,y f ),极坐标为(r,θ)及鱼眼图像的中心坐标为(C x ,C y ),转换公式如下:
面向街景的城市天空可视域在线提取系统,该系统应用于上述的面向街景的城市天空可视域在线提取方法,该系统包括数据资源模块、地址搜索栏模块、实时语义分割模块、转换鱼眼图像模块、开始绘制模块、开始测距模块;
所述数据资源模块加载了地图;地址搜索栏模块通过输入地址跳转至地图上的相应位置;开始绘制模块和开始测距模块在地图上根据设定的采样间距绘制街景的采样点;
所述实时语义分割模块封装了所述的语义分割的深度学习网络用于对实时获取的街景图像进行语义分割,从而生成带有掩膜的语义分割图像;
所述转换鱼眼图像模块用于对采集到的街景图像和语义分割后的带有掩膜的语义分割图像进行鱼眼投影的变换,鱼眼投影的变换完成以后计算SVF的值,并根据语义分割的效果和SVF的估算值评定算法的效果,再次修正网络模型中的超参数,提高模型的精度。
进一步地,该系统还包括数据库,采集的街景图像及其经纬度、街景id、水平视角、垂直视角与SVF估计值均保存到设计好的数据库中。
本发明的有益效果为:
本发明提出的面向街景的城市天空可视域在线提取方法能够做到对街景图像中的天空区域进行有效分割,提高了天空可视域的估计的精度。本发明结合所述方法提出的面向街景地图自动在线提取天空可视域系统有效简化了从街景图像提取城市天空可视域的复杂工作流程,可以做到在任意有街景的在线地图位置实时计算天空可视域,为为城市设计和城市规划中大规模获取城市空间形态提供了一种智能化的解决方案。
附图说明
图1为本发明系统架构图;
图2为本发明系统的工作流程;
图3为本发明时期与损失曲线图;
图4 街景图像转换为鱼眼图像,其中(a)是语义分割后的街景图像,(b)是(a)转换后的鱼眼图像;
图5为本发明的实施例中某区域的SVF分布图;
图6为本发明的实施例中某区域的SVF分布统计分析;
图7两种SVF值相关性分析结果。
具体实施方式
下面结合附图和具体实施方式,进一步阐明本发明,应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。
本实施例选择某一区域,使用所述开始绘制和开始测距两个模块用以沿着选定区域采集相应的街景图像存入到数据库中,表1是数据库设计的数据结构表,包括街景的原始属性和相对应的SVF值。
表1 数据结构表
结合图1和图2对采集某区域的街景图像进行分析处理,图2展示了处理流程包括获取街景图像、实时语义分割、转换鱼眼图像和计算SVF。所述在数据资源模块中以点的形式加载采样点,呈现出这一区域的SVF的空间分布,图5所示。
具体的,本实施例的面向街景的城市天空可视域在线提取方法,包括如下步骤:
(1)训练语义分割的深度学习网络:使用Cityscapes的5000张高质量像素级标注的图像作为数据集,ResNet18作为主干网络,DeepLabv3作为图像语义分割算法,PyTorch1.11的CUDA版本作为深度学习框架训练语义分割网络模型;DeepLabv3算法采用级联的方式设计了空洞卷积模块,增加了多尺度分割物体的模块,采用多种不同的采样率来获取多尺度的内容信息。在训练之前,对参与训练的数据集进行数据预处理,主要涉及调整原始图像和对应标签图像的尺寸,结果图像仍然只包含需要参与训练要素对应的像素值,分别以0.5的概率翻转原始图像和标签图像,并且进行均匀随机缩放。使用生成的随机数分别乘以参与训练的数据集原始图像和标签图像的宽高,从其中选择256*256的尺寸进行随机裁剪,最终将原始图像进行归一化地处理。对验证数据集的原始图像和标签图像的尺寸做以改变,并归一化处理原始图像。
在训练的过程中,加入交叉熵损失函数和Adam优化算法,保证模型训练能够收敛到非凸面的局部最小值;使用ReLu激活函数增加神经网络的非线性,网络的表征能力会有大幅度的提高。根据网络模型超参数选择经验,初始设置学习率;根据计算机硬件配置和学习率,初步选择适度的批大小的数量;根据数据集的图像数量,初步设置训练集对模型进行一次完整训练的时期数。对于一个批量大小的数据,计算一次梯度,更新一次网络,计算损失函数。比较训练和验证误差,最终确定超参数批大小为3,时期为708,学习率为0.0001,得到图3的时期与损失的曲线图。
交叉熵损失函数的一种公式表达如下所示:
式中,x是预测结果,class表示样本的实际标签,假设样本实际分类为3,那么class=3,则,取预测结果向量中的第三个元素,其作用是当预测结果越接近真实值,损失函数的值越接近于0,i是分类的类别数,交叉熵损失函数联合了Softmax函数,将分类函数得到的结果转化为一个概率分布的函数,如下式所示:
式中,Softmax是归一化指数函数,j是样本中的第j个类别;
为交叉熵函数设置了权重参数,给不同的类别设置不同的权重,如下式所示:
所述权重根据每个类别在所有训练数据集的标签图像上的像素总数和类别的像素数代入以上公式计算得来的。
(2)利用百度在线地图API自动获取和存储百度街景图片,建立街景图片库,从建立的街景图片库中采集街景图像,输入到步骤(1)训练好的语义分割的深度学习网络中,从而生成带有掩膜的语义分割图像;
(3)图像投影转换:将采集到的街景图像和步骤(2)得到的带有掩膜的语义分割图像进行鱼眼投影变换,图4所示,其中(a)是语义分割后的街景图像,(b)是(a)转换后的鱼眼图像;令街景图像的宽度为W,高度为H,街景图像的每个像素的坐标为(x c ,y c ),鱼眼图像的每个像素的坐标(x f ,y f ),极坐标为(r,θ)及鱼眼图像的中心坐标为(C x ,C y ),转换公式如下:
(4)在鱼眼图像上计算天空可视域,公式如下:
本发明还提供一种面向街景的城市天空可视域在线提取系统,该系统应用于上述面向街景的城市天空可视域在线提取方法,该系统包括数据资源模块、地址搜索栏模块、实时语义分割模块、转换鱼眼图像模块、开始绘制模块、开始测距模块;
所述数据资源模块加载了地图;地址搜索栏模块通过输入地址跳转至地图上的相应位置;开始绘制模块和开始测距模块在地图上根据设定的采样间距绘制街景的采样点;
所述实时语义分割模块封装了所述的语义分割的深度学习网络用于对实时获取的街景图像进行语义分割,从而生成带有掩膜的语义分割图像;
所述转换鱼眼图像模块用于对采集到的街景图像和语义分割后的带有掩膜的语义分割图像进行鱼眼投影的变换,鱼眼投影的变换完成以后计算SVF的值,并根据语义分割的效果和SVF的估算值评定算法的效果,修正网络模型中的超参数,提高模型的精度。
进一步地,该系统还包括数据库,采集的街景图像及其经纬度、街景id、水平视角、垂直视角与SVF估计值均保存到设计好的数据库中。数据库选用MySQL数据库,是由于MySQL具有开源性、支持多线程、为多种编程语言提供了API、自身携带的优化器能有效提高查询速度等优点。
为了验证本发明计算的精度,从所述数据库里导出采样点的街景图像和SVF,图6是这一区域的SVF分布统计分析,说明了在这一区域内,SVF的整体趋势范围为0.173-0.741,平均值为0.393从而反映出该区域天空可见度整体偏小。使用图像处理软件Photoshop对所述原始鱼眼图像中的天空区域沿边进行手动提取计算SVF值,即得到人工检测SVF (记为SVF-p),与本发明自动计算的SVF值(记为SVF-d),对比分析两组数据的相关性。图7中每个点的x坐标代表的是人工检测SVF值 (记为SVF-p), y坐标代表的是本发明自动计算SVF值(记为SVF-d),直线表示这两种计算的SVF值的相关性;由图7结果可知,二者的相关性较大,均方差则较小,表明本发明提出的面向街景的城市天空可视域在线提取方法具有较高的精度。
上述对实施例的描述是为便于该技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员可以容易地对这些实施例做出各种修改,并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此,本发明不限于这里的实施例,本领域技术人员根据本发明的揭示,不脱离本发明的范畴所做出的改进和修改都应该在本发明的保护范围之内。
Claims (4)
1.一种面向街景的城市天空可视域在线提取方法,其特征在于,该方法包括如下步骤:
(1)训练图像语义分割的深度学习网络;
(2)利用百度在线地图API自动获取和存储百度街景图片,建立街景图片库,从建立的街景图片库中采集街景图像,输入到步骤(1)训练好的语义分割的深度学习网络中,从而生成带有掩膜的语义分割图像;
(3)图像投影转换:将采集到的街景图像和步骤(2)得到的带有掩膜的语义分割图像进行鱼眼投影变换;
(4)天空可视域SVF计算,公式如下:
步骤(1)的具体方法是:
使用Cityscapes的5000张高质量像素级标注的图像作为数据集,ResNet18作为主干网络,DeepLabv3作为图像语义分割算法,PyTorch1.11的CUDA版本作为深度学习框架训练语义分割网络模型;
加入交叉熵损失函数和Adam优化算法,保证模型训练能够收敛到非凸面的局部最小值;
交叉熵损失函数的公式表达如下所示:
式中,x是预测结果,class表示样本的实际标签,假设样本实际分类为3,那么class=3,则x[class]=x3,取预测结果向量中的第三个元素,其作用是当预测结果越接近真实值,损失函数的值越接近于0,i是分类的类别数,交叉熵损失函数联合了Softmax函数,将分类函数得到的结果转化为一个概率分布的函数,如下式所示:
式中,Softmax是归一化指数函数,j是样本中的第j个类别;
为交叉熵函数设置了权重参数,给不同的类别设置不同的权重,如下式所示:
式中,weight[class]是样本中每个类别的权重。
3.一种面向街景的城市天空可视域在线提取系统,其特征在于,权利要求1-2之一所述的面向街景的城市天空可视域在线提取方法应用于该系统,该系统包括数据资源模块、地址搜索栏模块、实时语义分割模块、转换鱼眼图像模块、开始绘制模块、开始测距模块;
所述数据资源模块加载了地图;地址搜索栏模块通过输入地址跳转至地图上的相应位置;开始绘制模块和开始测距模块在地图上根据设定的采样间距绘制街景的采样点;
所述实时语义分割模块封装了所述的语义分割的深度学习网络用于对实时获取的街景图像进行语义分割,从而生成带有掩膜的语义分割图像;
所述转换鱼眼图像模块用于对采集到的街景图像和语义分割后的带有掩膜的语义分割图像进行鱼眼投影的变换,鱼眼投影的变换完成以后计算SVF的值,并根据语义分割的效果和SVF的估算值评定算法的效果,再次修正网络模型中的超参数,提高模型的精度。
4.根据权利要求3所述的面向街景的城市天空可视域在线提取系统,其特征在于,该系统还包括数据库,采集的街景图像及其经纬度、街景id、水平视角、垂直视角与SVF估计值均保存到设计好的数据库中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310418764.1A CN116152503B (zh) | 2023-04-19 | 2023-04-19 | 面向街景的城市天空可视域在线提取方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310418764.1A CN116152503B (zh) | 2023-04-19 | 2023-04-19 | 面向街景的城市天空可视域在线提取方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116152503A CN116152503A (zh) | 2023-05-23 |
CN116152503B true CN116152503B (zh) | 2023-07-07 |
Family
ID=86352828
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310418764.1A Active CN116152503B (zh) | 2023-04-19 | 2023-04-19 | 面向街景的城市天空可视域在线提取方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116152503B (zh) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112669325B (zh) * | 2021-01-06 | 2022-10-14 | 大连理工大学 | 一种基于主动式学习的视频语义分割方法 |
CN113505999A (zh) * | 2021-07-15 | 2021-10-15 | 中国科学院生态环境研究中心 | 应用于城市空间质量评估的指标计算方法 |
-
2023
- 2023-04-19 CN CN202310418764.1A patent/CN116152503B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN116152503A (zh) | 2023-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
He et al. | The impact of urban growth patterns on urban vitality in newly built-up areas based on an association rules analysis using geographical ‘big data’ | |
Labib et al. | Modelling and mapping eye-level greenness visibility exposure using multi-source data at high spatial resolutions | |
CN107703564A (zh) | 一种降雨预测方法、系统及电子设备 | |
CN111986099A (zh) | 基于融合残差修正的卷积神经网络的耕地监测方法及系统 | |
CN105719248B (zh) | 一种实时的人脸变形方法及其系统 | |
CN106548484A (zh) | 基于二维凸包的产品模型散乱点云边界特征提取方法 | |
CN110765885B (zh) | 一种基于异源夜光遥感影像的城市扩张检测方法及装置 | |
Shang et al. | Spatiotemporal reflectance fusion using a generative adversarial network | |
CN102609721B (zh) | 遥感影像的聚类方法 | |
Zhou et al. | Automated extraction of 3D vector topographic feature line from terrain point cloud | |
Cheng et al. | Generating high-resolution climate prediction through generative adversarial network | |
CN116152503B (zh) | 面向街景的城市天空可视域在线提取方法及系统 | |
CN105321205B (zh) | 一种基于稀疏关键点的参数化人体模型重建方法 | |
CN111726535A (zh) | 基于车辆感知的智慧城市cim视频大数据画质控制方法 | |
CN115952743A (zh) | 耦合随机森林和hasm的多源降水数据协同降尺度方法和系统 | |
CN115471724A (zh) | 一种基于自适应归一化的细粒度鱼类疫病识别融合算法 | |
CN115393731A (zh) | 一种基于交互想定和深度学习生成虚拟云图的方法和系统 | |
CN109919990A (zh) | 利用深度感知网络和视差遥感影像进行森林高度预测方法 | |
CN114580975A (zh) | 街区活力获得方法及系统及装置及介质 | |
Aldabbagh et al. | Classification of chili plant growth using deep learning | |
Sayad et al. | Crop management using Big Data | |
Zhang et al. | Voxel-based Urban Vegetation Volume Analysis with LiDAR Point Cloud | |
CN111914751A (zh) | 一种图像人群密度识别检测方法及系统 | |
CN112926482A (zh) | 一种基于多尺度残差卷积神经网络的道路提取方法 | |
CN104933725A (zh) | 模拟人类视觉的图像分割方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |