CN115019163A - 基于多源大数据的城市要素识别方法 - Google Patents
基于多源大数据的城市要素识别方法 Download PDFInfo
- Publication number
- CN115019163A CN115019163A CN202210337232.0A CN202210337232A CN115019163A CN 115019163 A CN115019163 A CN 115019163A CN 202210337232 A CN202210337232 A CN 202210337232A CN 115019163 A CN115019163 A CN 115019163A
- Authority
- CN
- China
- Prior art keywords
- image
- contour
- data
- city
- identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 94
- 238000003860 storage Methods 0.000 claims abstract description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 39
- 238000012549 training Methods 0.000 claims description 30
- 238000000605 extraction Methods 0.000 claims description 27
- 238000012545 processing Methods 0.000 claims description 25
- 230000011218 segmentation Effects 0.000 claims description 23
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 21
- 238000011156 evaluation Methods 0.000 claims description 14
- 238000002372 labelling Methods 0.000 claims description 11
- 238000005457 optimization Methods 0.000 claims description 11
- 238000013527 convolutional neural network Methods 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 10
- 241000270295 Serpentes Species 0.000 claims description 9
- 238000013145 classification model Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 7
- 238000013526 transfer learning Methods 0.000 claims description 6
- 230000000877 morphologic effect Effects 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 3
- 238000007476 Maximum Likelihood Methods 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 55
- 238000010276 construction Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 10
- 239000013598 vector Substances 0.000 description 10
- 230000004044 response Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000009826 distribution Methods 0.000 description 8
- 125000000174 L-prolyl group Chemical group [H]N1C([H])([H])C([H])([H])C([H])([H])[C@@]1([H])C(*)=O 0.000 description 5
- 230000004913 activation Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 238000003708 edge detection Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013439 planning Methods 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000019771 cognition Effects 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000002904 solvent Substances 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 101100338513 Mus musculus Hdac9 gene Proteins 0.000 description 1
- 229910000831 Steel Inorganic materials 0.000 description 1
- 101100338514 Xenopus laevis hdac9 gene Proteins 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012946 outsourcing Methods 0.000 description 1
- 239000011148 porous material Substances 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 230000009469 supplementation Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
- 239000003643 water by type Substances 0.000 description 1
- 230000005428 wave function Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A30/00—Adapting or protecting infrastructure or their operation
- Y02A30/60—Planning or developing urban green infrastructure
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
Abstract
本公开的实施例提供了基于多源大数据的城市要素识别方法、装置、设备和计算机可读存储介质。所述方法包括获取多源数据,构建空间数据库;所述多源数据包括遥感影像以及与其对应的POI、基础地理和/或人口标识数据;将所述空间数据库输入至要素识别模型,得到待分类图像的分类结果;基于所述POI数据对所述分类结果进行优化,完成对城市要素的识别。以此方式,实现了对城市要素的精准识别,提升了遥感影像的城市功能区识别精度。
Description
技术领域
本公开的实施例一般涉及图像处理领域,并且更具体地,涉及基于多源大数据的城市要素识别方法、装置、设备和计算机可读存储介质。
背景技术
数据已成为国家基础性战略资源,推动数据的开放共享,释放数据资产的价值,正逐渐成为新型智慧城市建设的核心内容。
城市作为一个开放、复杂的系统,涵盖生活、生产、服务和交通等诸多功能,并可在地理空间上投影为各种具有相应功能的各个城市要素,如人口、住宅、企业、商业以及各项公共设施等。
如何对城市各系统的数据进行整合,对投影的城市要素进行精准识别,满足日益庞大的城市大数据对于城市设计及辅助决策需求和城市管理需要,当前是城市规划面临的难题之一。
发明内容
根据本公开的实施例,提供了一种基于多源大数据的城市要素识别方案。
在本公开的第一方面,提供了一种基于多源大数据的城市要素识别方法。该方法包括:
1.一种基于多源大数据的城市要素识别方法,其特征在于,包括:
获取多源数据,构建空间数据库;所述多源数据包括遥感影像以及与其对应的POI、基础地理和/或人口标识数据;
将所述空间数据库输入至要素识别模型,得到待分类图像的分类结果;
基于所述POI数据对所述分类结果进行优化,完成对城市要素的识别。
进一步地,所述获取多源数据,构建空间数据库包括:
获取多源数据;
对所述多源数据进行数据转化、抽稀和融合,构建统一坐标系的空间数据库。
进一步地,所述将所述空间数据库输入至要素识别模型,得到待分类图像的分类结果包括:
其中,所述要素识别模型包括依次连接的空洞卷积U-Net、ResNet152网络、CV 水平集以及结合多边形拟合、Hausdorff 距离算法和Shi-Tomasi 算法的轮廓线优化算法;
通过Gabor变换和空洞卷积U-Net,对所述空间数据库进行特征提取;
通过最大似然方法对特征提取结果进行性能评价,若评价精度高于预设标准,则选取出代表目标地物性质的最优特征;所述最优特征基于形状、纹理、位置、评价精度和/或大小确定;
将所述最优特征输入至分类模型中,确定地物属性;
基于所述地物属性,对所述空间数据库中的遥感影像进行轮廓提取,确定建筑物、道路网、城市地类和/或城市水体轮廓;
采用Canny算子对提取的轮廓进行修正;
采用CV水平集分割算法对修正后的轮廓进行分割;
采用预设方法,对分割后的所有轮廓进行处理,形成封闭的轮廓线;
对所述封闭的轮廓线进行优化,得到待分类图像的分类结果。
进一步地,所述分类模型通过如下方式训练得到:
生成训练样本集合;其中,训练样本包括带有标注信息的图像;所述标注信息包括地物属性;
将所述带有标注信息的图像作为输入,将与所述带有标注信息的图像对应的标注信息作为输出,采用基于ResNet152 模型的迁移学习算法对所述分类模型进行训练。
进一步地,所述基于所述地物属性,对所述空间数据库中的遥感影像进行轮廓提取,确定建筑物、道路网、城市地类和/或城市水体轮廓包括:
通过Hough变换进行建筑物的轮廓提取;
通过卷积神经网络进行道路网的轮廓提取;
通过区域生长法进行城市地类轮廓提取;
通过优化的snake算法进行生成水体轮廓提取。
进一步地,所述采用预设方法,对分割后的所有轮廓进行处理,形成封闭的轮廓线包括:
通过形态学尺度空间算法,消除分割后轮廓的噪声;
通过数学形态学开闭运算,对消除噪声的轮廓进行处理,去除斑块,填补孔隙、连接断裂点,形成封闭的轮廓线。
进一步地,所述对所述封闭的轮廓线进行优化包括:
通过多边形拟合、Hausdorff 距离算法和Shi-Tomasi 算法,对封闭的轮廓线进行优化。
在本公开的第二方面,提供了一种基于多源大数据的城市要素识别装置。该装置包括:
获取模块,用于获取多源数据,构建空间数据库;所述多源数据包括遥感影像以及与其对应的POI、基础地理和/或人口标识数据;
分类模块,用于将所述空间数据库输入至要素识别模型,得到待分类图像的分类结果;
识别模块,用于基于所述POI数据对所述分类结果进行优化,完成对城市要素的识别。
在本公开的第三方面,提供了一种电子设备。该电子设备包括:存储器和处理器,所述存储器上存储有计算机程序,所述处理器执行所述程序时实现如以上所述的方法。
在本公开的第四方面,提供了一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现如根据本公开的第一方面的方法。
本申请实施例提供的基于多源大数据的城市要素识别方法,通过获取多源数据,构建空间数据库;所述多源数据包括遥感影像以及与其对应的POI、基础地理和/或人口标识数据;将所述空间数据库输入至要素识别模型,得到待分类图像的分类结果;基于所述POI数据对所述分类结果进行优化,完成对城市要素的识别,实现了对城市要素的精准识别。
应当理解,发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征,亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。
附图说明
结合附图并参考以下详细说明,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中,相同或相似的附图标记表示相同或相似的元素,其中:
图1示出了能够在其中实现本公开的实施例的示例性运行环境的示意图;
图2示出了根据本公开的实施例的基于多源大数据的城市要素识别方法的流程图;
图3示出了根据本公开的实施例的要素识别模型的工作流程图;
图4示出了根据本公开的实施例的卷积网络结构示意图;
图5示出了根据本公开的实施例的卷积流程示意图;
图6示出了根据本公开的实施例的ResNet152模型示意图;
图7示出了根据本公开的实施例的节点差分示意图;
图8示出了根据本公开的实施例的CV水平集分割结果示意图;
图9示出了根据本公开的实施例的先验形状约束的水平集方法分割结果示意图;
图10示出了根据本公开的实施例的使用不同外接矩形的多边形拟合轮廓结果示意图;
图11示出了根据本公开的实施例的利用初步优化进行规整的结果示意图;
图12示出了根据本公开的实施例的转角判断示意图;
图13示出了根据本公开的实施例的角点特征分析与剔除结果示意图;
图14示出了根据本公开的实施例的对建筑用地和轮廓进行分类的流程图;
图15示出了根据本公开的实施例的基于多源大数据的城市要素识别装置的方框图;
图16示出了能够实施本公开的实施例的示例性电子设备的方框图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本公开一部分实施例,而不是全部的实施例。基于本公开中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的全部其他实施例,都属于本公开保护的范围。
另外,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
图1示出了可以应用本申请的基于多源大数据的城市要素识别方法或基于多源大数据的城市要素识别装置的实施例的示例性系统架构100。
如图1所示,系统架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用,例如模型训练类应用、视频识别类应用、网页浏览器应用、社交平台软件等。
终端设备101、102、103可以是硬件,也可以是软件。当终端设备101、102、103为硬件时,可以是具有显示屏的各种电子设备,包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture Experts Group Audio Layer III,动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时,可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块),也可以实现成单个软件或软件模块。在此不做具体限定。
当终端101、102、103为硬件时,其上还可以安装有视频采集设备。视频采集设备可以是各种能实现采集视频功能的设备,如摄像头、传感器等等。用户可以利用终端101、102、103上的视频采集设备来采集视频。
服务器105可以是提供各种服务的服务器,例如对终端设备101、102、103上显示的数据处理的后台服务器。后台服务器可以对接收到的数据进行分析等处理,并可以将处理结果反馈给终端设备。
需要说明的是,服务器可以是硬件,也可以是软件。当服务器为硬件时,可以实现成多个服务器组成的分布式服务器集群,也可以实现成单个服务器。当服务器为软件时,可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块),也可以实现成单个软件或软件模块。在此不做具体限定。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。特别地,在目标数据不需要从远程获取的情况下,上述系统架构可以不包括网络,而只包括终端设备或服务器。
如图2所示,是本申请实施例基于多源大数据的城市要素识别方法的流程图。从图2中可以看出,本实施例的基于多源大数据的城市要素识别方法,包括以下步骤:
S210,获取多源数据,构建空间数据库。
其中,所述多源数据包括遥感影像以及与其对应的POI、基础地理和/或人口标识数据等。
在本实施例中,用于基于多源大数据的城市要素识别方法的执行主体(例如图1所示的服务器)可以通过有线方式或者无线连接的方式获取多源数据。
进一步地,上述执行主体可以获取与之通信连接的电子设备(例如图1所示的终端设备)发送的多源数据,也可以是预先存储于本地的多源数据。
在一些实施例中,对所述多源数据进行数据转化、抽稀和融合,形成统一坐标系的空间数据库。
其中,所述融合包括:
使用随机森林模型和/或多因子加权平均模型等对数据进行融合。
S220,将所述空间数据库输入至要素识别模型,得到待分类图像的分类结果。
其中,所述要素识别模型包括依次连接的空洞卷积U-Net、ResNet152网络、CV 水平集以及结合多边形拟合、Hausdorff 距离算法和Shi-Tomasi 算法的轮廓线优化算法。
所述待分类图像,通常为空间数据库中的遥感影像。
在一些实施例中,所述要素识别模型的识别流程可参考图3。
具体地,
通过Gabor变换和空洞卷积U-Net,对所述空间数据库(遥感图像) 进行特征提取:
其中,所述Gabor变换涉及的函数波形与人类视觉系统中简单细胞刺 激响应非常相似,具有良好的空间和频率局部化、方向性及带通特性;
基于如下公式,将一个二维Gabor基函数的定义为一个复指函数与高 斯函数的积:
其中,所述u=x cosθ+y sinθ;
所述v=-x sinθ+y cosθ;
所述为2维正弦波函数频率;
所述θ表示Gabor函数的方向(θ={0,π/K,2π/K,…,(K-1)π/K});所 述K为方向数;
所述σ为尺度参数;
为了提取影像局部不变特征,在进行特征提取前,需先进行中值滤波 减少噪声,然后使用不同尺度不同方向Gabor滤波器组将影像由空间域转 换为频率域检测几何结构奇异性。对于影像I(x,y),Gabor变换系数为:
Gσθ(x,y)=I(x,y)*Fσθ(x,y)
其中,所述Gσθ为影像频率域系数;
所述*表示2维卷积操作;
当影像的几何特征与滤波器Fσθ在结构、方向上一致时,Gσθ将获得 极大值以表征几何结构在该方向上的奇异性。
进一步地,特征提取采用的空洞卷积U-Net包括3个部分:编码结构、空洞卷积模块(DCM)和解码结构,其结构如下,参考图4:
编码结构主要是典型的卷积网络,包括卷积层(3×3的卷积核)、池化层(2×2的最大池化)、激活函数(ELU激活函数),通过编码结构处理影像得到低层信息的特征影像。参考图5,再经空洞卷积模块获取多尺度特征进行送入解码结构,通过上采样(2×2的反卷积)、跳跃连接(将低层特征与高层语义信息并联)、再卷积(3×3的卷积核)、激活函数(ELU)分类还原影像,最后再通过1×1的卷积层和Sigmoid激活函数得到道路与背景的二分类影像。
对提取的特征精度进行性能评估:
用准确率(Precision)、召回率(Recall)和P-score来评估模型的识别精度,其中准确率和召回率分别代表提取地物的准确度和完整度,而精度评价指标P-score是由准确率和召回率计算得出;
各评估指标的定义分别如下:
其中,所述TP表示预测正确的地物;
所述FP表示预测错误的地物,即错误分类为建筑物的像素数;
所述FN表示未被预测的地物;
进一步地,若特征的评价精度达到预设标准,如50%,则从图像的所有原始特征中选择出一些最能代表目标地物性质、使得分类性能最好的特征,以便在后续的特征提取以及学习步骤得到良好的分类效果,提高特征评价的精度;若精度不符合预设标准,则可重新进行特征提取。
将选取的特征输入至分类模型中,确定地物属性,所述地物属性包括建筑物、道路网、城市地类和/或城市水体等。
所述分类模型可通过如下方式进行训练:
生成训练样本集合;其中,训练样本包括带有标注信息的图像;所述标注信息包括地物属性;
将所述带有标注信息的图像作为输入,将与所述带有标注信息的图像对应的标注信息作为输出,采用基于ResNet152 模型的迁移学习算法对所述分类模型进行训练。
具体地,首先对数据进行清洗。将图像转化为灰度图,设置黑阈值和白阈值,过滤掉无效样本。设黑阈值的图像情况为有7500个像素点的灰度值为0;白阈值的图像情况为有7500个像素点的灰度值为255;当像素为0的数量大于7500时,则将图像看作黑样本;当像素为255的数量大于7500 时,将图像看作白样本;
进一步地,通过重置图像分辨率和图像翻转的方法扩大数据集容量(样本数据);
建立如图6所示的ResNet152 模型,对样本数据集进行预训练,即,使用基于ResNet152 模型的迁移学习方法对城市遥感影像数据进行训练,进行迁移学习和模型训练,即通过预训练获得网络模型,将其迁移到其他图像分类的任务中,以解决样本数量不足的问题节约训练时间。搭建的ResNet152模型结构如表1 所示,网络第一层是64个7×7的卷积核,步长为2,之后通过一个最大池化层,然后进入残差模块(ResBlock)。每个 ResBlock包含两个1×1卷积核和一个3×3卷积核。前面的1×1卷积用于降维,通过下采样,将扩展成4倍通道数的输出特征图转化为与输入尺寸一样的特征图;3×3卷积计算在降维后进行,减少了计算量;后面的1×1卷积用于升维,还原输出特征的尺寸;最终在残差模块中,通过捷径将浅层的特征信息与残差块的输出进行求和,保护信息的完整性。
表1
提取所述地物属性的轮廓:
a,进行建筑物轮廓线提取,其提取步骤可由两阶段组成:
第一阶段为,提取出图像中可以构成一定线特征的必要边缘点;
第二阶段为,将第一阶段过滤出的边缘点连接成具有一定意义的轮廓线,从而完成拟合并封闭成面;
具体地,首先进行基于边缘检测的建筑物轮廓提取。可将建筑物轮廓提取分为两个部分:
第一个部分为边缘检测部分,即根据遥感影像的每个像素点的亮度将其转换为灰度影像,通过计算灰度影像中的梯度值,找出建筑物边缘点;
其实施方式为:采用四方向Sobel算子对图像进行卷积计算,获取图像的梯度值,将其带入到进一步的阈值判断步骤。在阈值判断步骤中,采用Otsu’s的方法获取图像的最佳全局阈值,用该阈值对处理后的图像的像素点进行判断,最终筛选出较好的边缘点。
第二个部分为轮廓提取部分,用于将边缘检测后得到的边缘二值图像进行Hough变换,检测出其中存在的直线,通过拟合等方式,生成建筑物的轮廓线。
其实施方式为,将经过边缘检测后生成的较大的二值图像进行分块处理,将其分成若干大小相同、相邻两分块之间有一定重叠的矩形。然后,对每一个小区域进行Hough变换,并且在其参数平面内,找出Hough变换后的峰值,对该峰值进行累加并且与清零法相结合,清除峰值附近的其余峰值,以免杂质点对直线检测的影响。接着,通过设置阈值消除过连接的直线和伪直线。最后,根据直线间的距离以及其夹角合并直线,完成建筑物轮廓线的提取。
b,进行道路网提取:
采用基于卷积神经网络对道路网进行提取,包括自动样本提取、模型训练、概率响应图构建和阈值分割;
具体地,
i.自动样本提取:
采用自动截取样本的方法对高分影像进行样本标记,由于当前遥感图上的路网信息没有任何的参考,因此借助其它已有道路数据作为自动样本提取的辅助参考。在本公开中,利用OSM(Open Street Map)下载的矢量道路作为辅助,将路网中心线转成与高分遥感像素一致的栅格数据。然后基于栅格路网中心线L,选取离中心线一段距离以外的点为中心点截取负样本。对于正样本,对上述辅助路网中心线进行置信度评估,通过这个评估值可以找到最接近道路的区域。通过上述步骤得到的正样本特征是长直的带状结构,因此,对每一个潜在的道路像素点都设置一个符合上述长直路网区域的得分来评估其属于路网的置信度。对于已提取的中心线L,对于每个道路像素点p∈L,以所述像素p为中心点的区域记为Ap,寻找一个目标直线lt:y=ax+b,令pi∈Ap到lt的总距离最小,综上,得到目标方程为:
将方程记为F(a,b),可得到b=y-ax,进一步得出:
进行数学变化后得到:
(M-F(a,b))a2+Na+T-F(a,b)=0
M=∑(xi)2-1/n(∑xi)2
为了保证a有解,需进行如下定义:
需要说明的是,上述方程需和y=0有一个或者两个交点,由此可解出M,N,T。通过上述算法,可以得到通过辅助方法提取到的道路中心线t中每个像素点P是潜在道路的置信值,以此作为媒介,然后进行阈值分割,将高置信度的区域截取出来作为训练所需的正样本。
ii. 基于卷积神经网络的路网提取模型训练。提取道路网的任务本质为计算输入图像中,其各个像素点属于道路的概率,即,以某个像素点为中心的周围的一个区域(样本)输入卷积神经网络模型得到的输出值,即,求解卷积神经网络模型的各个参数。
卷积神经网络的权重W、偏置项b等参数可通过训练大量的标记样本得到,宏观的求解问题可以描述为:
其中,所述p为像素属于道路区域的概率;
所述I(i,j)为训练样本的中心点;
所述N(i,j)为中心点在(i,j)的一个特定邻域亦即样本图像;
所述L为样本的真实标记值;
其训练目标为寻找与样本真实值最接近的一组最优权重。
本公开用于道路提取模型的卷积神经网络结构为:
Conv1-pool1-relu1-norm1-conv2-relu2-pool2-norm2-conv3-relu3-pool3-fc;
其中,所述conv为卷积层;
所述pool为池化层;
所述relu为修正线性单元激活函数;
所述norm为归一化层;
所述fc为全链接层;
本公开所述使用的卷积神经网络仅包含3个卷积层,结构精炼。
训练神经网络的过程是将通过网络的训练样本的得分值与其标签真实值的互熵最小化。记标签域L=l1,l2,..ln,第i个样本Xi的得分方程为:
所述C为常量;
通过对上述的损失函数定义,利用随机梯度下降法求得权重W和偏置项b的最优解。数据集分为三部分:训练集、验证集和测试集。每次随机选取一部分训练样本进行训练来更新权重,权重更新如下式所示:
其中,所述i为迭代次数;
进一步地:
即,将动量设置为0.9;权值衰减设置为0.0005;
所述ε是学习率,可视样本不同具体调节;
对上述神经网络进行若干次迭代,知道训练模型收敛,得到一个能够有效识别道路区域的模型。
iii. 概率响应图构建,在本公开中使用一种基于超像素分割的方法快速高效地得到道路概率响应图。
基于超像素分割的道路概率响应图快速构建。通过对图片内部具有相同属性的像素块逐块预测图像上的道路响应概率,从逐像素点预测到逐像素块预测,极大地减少了运算量。
超像素是具有相似颜色信息、亮度信息、纹理信息及位置信息的像素聚合而成的像素块,它能够有效描述图像的特征信息,去除大量冗余信息,为后续的图像处理步骤大大减少计算复杂度。通过逐超像素块预测代表逐点预测,能够大大减少后续预测流程中的计算。超像素分割方法分为基于图论的和基于梯度下降的方法。在本公开中,使用的SLIC超像素分割算法是基于梯度下降法的,该方法提出了一种将不同像素间的5维信息(CIELAB色彩空间中的和坐标L,a,b和像素坐标(x,y))聚类的一种方法,能够获得紧凑、具有邻近一致性的高质量的超像素。由于在CIELAB色彩空间中两个颜色的距离的最大值是有限的,而位置空间中两点的最大距离却随着图像尺寸的增大而无限增大,所以在[labxy]向量空间中需要使用一种不同的距离度量手段来描述此5维空间中不同点的距离。
在算法的初始阶段,在图像上均匀选择K个超像素聚类中心Ck=[lk,ak,bk,xk,yk]T,k=[1,K]。由于任意超像素的空间范围接近S2,因此,可 以认为任何与聚类中心点相关的像素点在XY空间中的范围在此中心点的 2S*2S内,此范围即为每个超像素聚类中心点的搜索范围。同时,在此5 D空间中定义距离度量Ds如下:
其中,所述Ds是Lab距离与通过初始聚类间距S归一化后的xy空间 距离之和;
所述参数m,用来控制超像素的紧凑度,当m越大时,空间距离的权 重越大,超像素更加紧致;所述m的取值范围一般在[1,20],如10;
基于选取的K个超像素的种子点,将其中心点位移到其3*3邻域的 梯度最小值处,以此避免初始种子点选到边缘或噪声上。图像的梯度计算 如下:
G(x,y)=||I(x+1,y)-l(x-1,y)||2+||l(x,y+1)-I(x,y-1)||2
其中,所述I(x,y),表示位置为(x,y)的像素Lab向量;
所述||.||为L2的范数;上式使用了颜色和强度信息;
对于图像中的每个像素点,选择一个与其距离最近的聚类中心点(此 像素点在该中心点的范围内),使所有的像素点都属于某一个类别,然后 对于每一个类别计算[Labxy]空间中的均值以重新选择该类别的聚类中心 点,然后不断迭代以上步骤直至收敛,完成超像素的分类。
在道路网提取流程中将输入的待提取道路网进行超像素分类,其结果图像的边缘得到了完整的保留,然后选取每个超像素块的种子点作为中点,截取与样本尺寸大小相同的图像传入训练好的道路识别模型,得到该超像素块属于道路的概率值,然后将此概率赋值给对应的超像素块得到道路概率响应图,大幅度提高了工作效率。
iiii.基于感兴趣区域的自适应阈值分割。上述基于超像素分割后预测得到的道路区域响应图记为Mpro。源图像经过预处理后的图像记为Mpre。道路概率响应图Mpro上的像素的灰度值越大表明该像素点是道路的概率越大(Mpro上的像素点的值的范围为[0,255]),因而可以通过此概率图Mpro来指导在滤波后的Mpre图上提取属于道路的部分,得到道路感兴趣区域,记为Mitr:
Mitr=Mpre*Mpro/255
得到感兴趣区域Mitr后,将该图像做高斯滤波,得到Mitr’,通过自适应阈值的方法将图像分割为道路区域和非道路的区域。具体为,先将图像Mitr中的有效像素点提取出来,将其作为输入进入最大类间方差法,得到自适应阈值Thr;
所述最大类间方差法是一种基于图像中的灰度特性的动态阈值分割算法,遍历输入的有效灰度像素点,选取最适宜的阈值,使分割的两类像素之间的方差最大,具体实现过程如下:首先,求得各个灰度级像素出现的概率 ,其中i为灰度级数,取值范围为0到255:
进一步地,计算所分两类出现的概率;记属于道路的为R类,不属于道路的为N类:
其中,所述Thr为阈值;
所述PN为非道路区域像素的总概率和;
所述PR为道路区域像素的总概率之和;
通过如下公式计算道路区域R和非道路区域N两类区域的类间方差:
其中,所述WN和WR分别为道路区域R和非道路区域N的灰度平均值;
所述W0为整体图像的灰度平均值;
c,城市地类轮廓线提取:
其提取方法可分为三部分:
一:影像区域分割,即利用植被指数和纹理特征的知识分成建设用地区域、植被区域、裸地与水体类区域、绿地与道路共四类,为进一步分类提供分层和控制作用;
二:对影像区域进行详细分类,即利用光谱知识、植被指数和纹理特征的知识对各区域进行细分,同时利用区域生长技术与地类空间知识相结合进行区域分类;
三:分类后的处理与变化信息提取,利用基础图件提供的知识与各区域分类进行比较发现变化的区域,同时对分类的部分错误进行纠正。
具体步骤如下:
i. 影像区域分割。目视解译首先确定影像的几大类,然后再进行进一步信息补充解译。其中进行影像几大区域的划分采用的信息主要为代表绿色植被的NDVI归一化植被指数。然后再使用半方差影像来标识表被任一间距分开的位置上某一属性成对数据之间的差异变量的方向性。如果属性变量的增量为方差的一半,则此函数为半方差函数。计算式为:
其中,所述γ(h)为半方差函数;用于反映向量h间隔的属性的变异性;
所述xi为空间位置;
所述h为空间间隔矢量;
所述z(xi)为在xi空间位置的数值;
所述N(h)为以间距为h决定的所有观测值的样本对数;
对多光谱3个可见光波段进行主成分变换,取第一主成分派生出半方差影像,用于表征各地物光谱的空间变异。在该图像上标出城镇居民点和绿地表现较高的值,完成影像区域分割。
ii.影像分割的方法。在本公开中,将分割与解译技术相结合,利用植被指数和半方差影像进行几大区域的划分,以if-then形式表达分割解译知识。第一块大区域是建设用地区,植被指数分布在低值区,半方差灰度值分布在高值区,这类地类为建设用地类型与滩涂;第二大区域是植被区域,植被指数分布在高值区,半方差灰度值分布在低值区,主要地类为耕地、园地与林地;第三大区域是裸地与水体区域,植被指数分布在低值区,半方差灰度值分布在低值区,主要地类为水面、荒草地、建设用地、未利用地以及耕地;第四大区域是绿地与道路区域,植被指数分布在高值区,半方差灰度值分布在高值区,主要地类为城市绿地、道路以及路边绿化树林等。
iii.影像区域的详细分类。主要利用统计方法确定各个地类的光谱知识、植被指数和纹理特征的知识,以if-then形式表示,对各区域进一步地进行细分,分别确定各个区域像元类别;同时利用区域生长技术与地类空间知识相结合进行区域分类;
所述区域生长法是将具有相似特征的像素集合起来共同构成一个区域。具体先对每个要分割的区域找一个种子像素作为生长的起点,然后将这个像素相邻近的周围像素中有与其相同或相似的像素合并到种子像素所在的区域中。进一步将这些新增加的像素作为新的像素种子重复上一步的过程,直到算法收敛。在进行区域生长时,选取种子元素需要土地利用图和遥感分类的类别以及地类间的空间相关性,如建设用地与绿地,河流与滩涂等空间知识。
以建设用地为例:
第1步:将土地利用详查图和遥感分类图上是建设用地的像元为种子像素;
第2步:设置终止逻辑条件为假;
第3步:当终止逻辑条件为假时,扫描整个影像,从上到下,从左到右,找到建设用地种子像元,对其周围8个像素类别归属进行判断,若为其他地类种子像素,则不变;若不是,则根据地类的空间关系和土地利用图件上的地类信息,进行处理;设置终止逻辑条件为假;
第4步:若整个种子像素处理结束,则设置终止逻辑条件为真,结束。
iv. 分类后处理与变化信息提出。将遥感分类图与土地利用详查图相应像素比较,若前后类别一致,则未发生变化赋该像素值为零,若前后类型不一致,表明该像素变化,对不合理的变化,则采用if-then进行处理,如建设用地变为耕地,则分类可能有问题,纠正分类的错误。
d,城市水体轮廓提取。可采用snake及其改进算进行水体轮廓提取。
Snake 曲线是由一组轮廓点 v(s)=v[x(s),y(s)],s∈[0,1] 组成的轮廓参数曲线,当总能量达到最小时,便能得到一个最优的轮廓:
在本公开中对原始Snake 模型的求解算法做了适当优化,包括对能量系数的动态调整等;
将轮廓线收敛的过程分为 2个阶段,每个阶段中各能量项对 Snake 轮廓线的作用力度不同。
第一阶段:当轮廓线距离水体边界较远时,局部面积能量项起主导作用,控制Snake 的膨胀,连续用平滑能量项来控制曲线在急剧膨胀中的变形;
第二阶段:当Snake靠近水体边界时,梯度能量的作用要加大,局部面积能量项权值系数应减小,主要用于逼近凹形边界。由于水体边界和内部的亮度值相差较大,水体内部的亮度值偏小,而水陆边界附近的亮度值较大,通过对实验影像中水体边界上的点进行系列采样分析,可以获取水体边界附近亮度值的大致取值范围:a<K<b(a,b的取值可根据实际应用场景进行确定)。为了减少误差,可将其进行归一化处理,对8位灰度影像,以连续10个轮廓点同时满足a/255<K<b/255作为条件,判定当前轮廓点进入第二阶段,增加梯度能量的作用力,减少面积能量的作用力,使轮廓线逼近水体边界。结合正交T-Snake模型中对节点有两个约束条件与传统Snake模型对比,正交T-Snake模型中对节点有两个约束条件:一是节点必须沿网格线移动,二是节点必须位于网格顶点处。因此,曲线节点总是沿网格线从一个网格顶点移动到下一个网格顶点。在曲线每次变形前先进行节点拆分。如图7所示,针对于每一个节点,除了其来源方向之外,在剩余的3方向上各生成一个新节点,新节点在影像上的位置坐标均与原节点相同,移动方向不同;若新节点的方向指向曲线内部则弃之,并将剩余节点按顺序插入原曲线节点序列中,此时改变了该部分曲线的拓扑结构。
在一些实施例中,采用Canny算子对提取的轮廓进行修正:
其中,所述Canny算子建立在高斯函数的一阶导数基础上,其具体实现流程如下:
通过指定标准差σ(决定图像的平滑程度)斯滤波器来平滑图像,以减少噪音对边缘检测带来的影响,其公式为:
平滑后的图像𝐹 (𝑥, 𝑦)局部梯度[𝑔𝑥2+ 𝑔𝑦2]1/2和边缘方向tan−1(𝑔𝑥/𝑔𝑦)都将对影像上的每一点进行计算,定义边缘点为梯度方向上局部最大的点。
对选定的边缘点进行处理,使得梯度幅度图像上出现脊;追踪所有脊顶部的点,将不在所述脊顶部的点的像素值设为0;此时,在输出中边缘呈现为一条细线,即,进行非最大值抑制处理。
通过滞后阈值的方式,将得到的脊像素进行阈值处理;所述滞后阈值为,以两个阈值为基础,即𝑇1与𝑇2,并且𝑇1< 𝑇2。值大于𝑇2的脊像素称为强边缘像素,值在𝑇1与𝑇2之间的像素称为弱边缘像素;通过合并连接弱像素点的八邻域周围的强像素点的方式执行边缘链接,输出得到图像边缘点。
在一些实施例中,采用CV水平集分割算法对修正后的轮廓进行分割。
所述CV水平集分割方法为,在最大化一组不相交区域中的灰度值均匀性来完成分割。使用水平集函数H(ϕ)的重指数函数作为图像中对象和背景区域的指示符,通过最小化泛函的方式来完成图像分割。输入图像f的两个灰度区域u+和u−,公式如下:
其中,所述H(ϕ)表示重指数函数:
其中,所述u+和u-(标量)随着水平集函数的变化而交替更新;其值为ϕ≥0和ϕ<0指示的区域中的输入图像的平均灰度值,计算方式如下(交替迭代相关的梯度下降方程):
重指数函数Hε(ϕ)规则化近似平滑而非跃阶函数,其衍生出的δε(ϕ) = H′ε(ϕ),在计算中一般形式如下:
其迭代计算结果如图8所示,参考图8,CV水平集经过多次收敛后的分割结果与真实标记相比仍然有较大误差。说明在外部因素的变化(阴影遮挡、背景杂波等)造成图像中底层信息受损的情况下,传统的CV水平集方法的收敛结果准确率较低。在本公开中,引入先验形状的建筑物检测方法可以有效地弥补上述不足;
其操作方法为:
引入一个L : Ω→ R2标记函数,通过标记函数的标记状态,对需要使用的先验形状进行增强或者抑制。若图像中某一位置的先验形状的约束作用应被增强,则L= +1,反之L= -1。
引入标记函数后:
其中,所述λ, ρ均大于零;
若水平集函数与之前的图像区域相似,则先验形状的标记作用会得到增强;
对于固定的ϕ,最小化上式中的前两项,使得L满足以下变化:
根据上述交替迭代相关的梯度下降方程,更新平均灰度值u+和u-,同时最小化关于标记函数L和水平集函数ϕ的泛函:
如图9示,本公开的分割方法,与传统的CV水平集方法比较(参考图8),能够将图中右侧建筑物更精确地分割出来,提高了分割的精确性。其,引入标记函数可以很好地约束先验形状,同时对未与不符合先验形状的水平集检测不会产生影响。
在引入一个标记函数下的先验形状约束方法一次只能使用一个先验形状模型。因此,在本公开中,加入多个标记函数,引入ϕ1, ϕ2等不同的先验形状,对多个先验形状模型进行检测:
其中,所述σ2 1,σ2 2为两个先验形状模型的方差:
在一些实施例中,采用预设方法,对分割后的所有轮廓进行处理,形成封闭的轮廓线。
具体地,对于分割数据,采用形态学尺度空间方法中的膨胀和腐蚀算子使分割的破碎居民地进行区域连通,以消除兴趣区域外的噪声;然后应用数学形态学开闭运算方法来消除微小的斑块,填补孔隙和连接断裂点,最终将破碎的地块融为一体。具体公式如下:
设图像F与结构元素A均为二维欧式空间中的集合,欧式空间中A平移距离x的平移运算表示为:
A+x = { a+x | a∈A}
数学形态学的基本运算如下:
在一些实施例中,对所述封闭的轮廓线进行优化,得到待分类图像的分类结果。
具体地,通过对初始建筑物结果进行多边形拟合,利用符合建筑物轴向的最佳拟合外接矩形和Hausdorff距离算法对建筑物轮廓进行初步优化,再利用Shi-Tomasi算法深度优化外接矩形复杂建筑物局部轮廓,从而实现建筑物轮廓的逐级精确优化,其步骤如下:
进行多边形拟合与最佳拟合外接矩形提取。最佳拟合外接矩形可以通过轴向评价获取,即先获取每个建筑物的最小面积外接矩形。通过判断建筑物多边形与最小面积外接矩形的倾斜程度(多边形上相邻两点的横纵坐标差值)是否一致,若一致,则选用最小面积外接矩形作为最佳拟合外接矩形;反之,则选用最小外包矩形作为最佳拟合外接矩形,参考图10。
如图10所示,(a)为多边形拟合结果;(b)为最小外包矩形结果;(c)为最小面积外接矩形结果;(d)为最佳拟合外接矩形。
进一步地,通过Hausdorff距离等分优化轮廓;所述Hausdorff距离算法的基本原理为通过计算两组样本点之间的距离来度量样本间相似度。
即,首先等分建筑物轮廓多边形和最佳拟合外接矩形线段,再计算等分后轮廓上的每一个线段与最佳拟合外接矩形的单向Hausdorff距离,通过条件筛选每个等分段的最佳拟合轮廓,最终形成建筑物轮廓的初步优化结果。
如图11所示,示出了利用初步优化进行规整的结果;
(a)多边形拟合结果;
(b)最佳拟合外接矩形;
(c)轮廓初步优化;
(d)建筑真实轮廓。
对于局部区域,如图11(c)所示的图像进行初步规整后仍存在锯齿状、轮廓不规则的问题,即,对于存在内凹轮廓的形状较为复杂建筑物无法规整。因此,在本公开中设计了一种基于Shi-Tomasi角点重构的复杂局部轮廓深度优化方法。
a.使用Shi-Tomasi 算法提取局部轮廓角点。在初步优化结果的基础上,提取无法规整的局部线段,使用Shi-Tomasi 算法计算局部小窗口 w(x,y)在各个方向移动后的灰度变化来检测角点,对各个方向窗口内灰度发生了较大变化的位置,视作角点,依次提取出局部线段上的所有角点。
b.角点匹配排序。利用有序的建筑物轮廓点坐标与角点坐标进行欧氏距离计算,作为角点匹配的相似性度量。将欧氏距离最小的建筑物轮廓上的点的序号作为其匹配角点的序号。
c.角点特征分析与剔除。依次计算分析三点两线夹角的大小,剔除无用角点。根据角点序号,依次迭代计算相邻三个角点形成的两线夹角θ,如图12所示((a)θ∈T;(b)θ∉T),设 、 两点形成的线段为 , 、 两点形成的线段为 ,根据 和 的斜率 、来计算夹角θ,表达式为:
设定夹角集合T={α|-80°<α<80°},当夹角θ∈T,如图12(a)所示,则近似认为 为非转角点, 、 、三点可能位于同一条线段上,删除 ;当夹角θT,如图12(b)所示,保留点;以此方法逐步迭代计算,剔除不需要的角点,最后将保留的角点依次连接,形成全面规整的建筑物,如图13所示。
在所述图13中,
(a)为角点检测结果;
(b)为分析剔除角点后的结果;
(c)为Shr-Tomasi算法深度优化;
(d)为建筑物真实轮廓。
即,对提取的建筑物初始轮廓进行多边形拟合处理;
利用最佳拟合外接矩形结合Hausdorff距离算法对拟合后的轮廓初步规整;
用Shr-Tomasi算法对无法优化的复杂局部轮廓进行优化和全面规整,输出全面规整的建筑物轮廓结果。
S230,基于所述POI数据对所述分类结果进行优化,完成对城市要素的识别。
其中,所述POI数据为设施点数据;
在一些实施例中,从所述空间数据库中选取城市功能相关的POI数据,并进行清洗和初步分类;POI初步分类可参考《城市用地分类与规划建设用地标准》,将其分为公园绿地、交通设施类、公共管理与服务、商业服务、金融邮电、居住、教育设施、医疗卫生、文化体育和/或公司企业等。
在一些实施例中,对分类后的POI数据进行处理和网络标识。通常,城市功能区的要素往往形状并不规则,因此,选取步骤S220中得到的道路路网的街区作为基本研究单位(非规则的网格)。
通过所述POI数据进行功能区识别,基于各类POI数据的公众认知和空间面积的影响因素,将数据分为区位型、密度型两种,对不同类型的POI数据进行功能区识别时采用不同的特征模型。
具体地,中区位型表征模型针对POI所代表的位置数据具有较高的公众认知度,占地面积较大,影响能力较强,能主导街区的主要功能,主要通过FD(Frequency Density)向量和CR(Category Ratio)向量判断此类POI在街区内的数量比重,超过设定阈值时,则确定该单元对应的主导功能。
对于每一个街区单元,利用GIS中的空间链接工具赋值各个类型POI落在单元内的数量,构建特征向量FD,表示为(F1,F2,F3…)。
其中所述Fi表示在街区单元内第i类POI的频数密度,即
其中,所述i表示POI类型;
所述ni表示某一街区单元内第i种类型POI数量;
所述Ni表示第i种类POI总数;
所述Fi表示该街区单元内第i类POI占该类POI总数的频数密度。
进一步地,对每一个单元,为了方便在不同功能的POI之间进行比较,因此在FD向量基础上,对不同量纲的POI密度进行归一化处理,将频数密度数据规范化,在此基础上构建另一个POI数据的特征向量CR数据模型,表示为(C1,C2,C3…):
其中,所述Ci表示第i类POI在该单元中所有类型POI中的百分比;
所述Vi表示某一街区单元内归一化密度频数。
进一步地,对于公众的认知较为均质,空间中的分布较为密集,占地面积相对较小的POI,可通过聚集度与密度分析进行城市区主导功能的划分;
进一步地,可以通过核密度函数来表示要素在这一点周围邻域内的分布情况。采用该方法来估算密度型POI在空间上的密度分布情况,并和街区单元相叠加来统计单元内平均核密度值。具体公式为:
其中,所述n表示空间地理要素X的个数;
所述n,K为权重;
在所述核密度的基础上,选取不同类型功能区的训练样本,以此为参考计算各个街区与样本之间的相近程度。具体公式为:
其中,所述S i 代表第i类POI某一街区单元与训练样本之间的相似值,其中两个统计参数(平均值和标准差)是统计训练样本范围内所有数值的平均值和标准差;
所述m代表识别类型总数;
通过以上POI数据的处理,对网格进行功能识别和功能区划分,结合步骤S220得出的轮廓线,对轮廓线进行修正,并在识别出的样本中进行随机抽样进行验证。针对POI识别精度较低的识别功能区,结合卷积神经网络算法识别出的功能区进行比对,修正识别的功能区轮廓线。对修正的轮廓线分成非建设与建设用地两大类。
在一些实施例中,基于上述轮廓修正后的分类和POI识别的城市功能,对建筑用地和轮廓进行分类。
参考图14,具体地:
①结合POI识别的城市功能对建设用地单元进行功能标识,生成功能区可分为6种类型,居住功能、商业功能、产业功能、公服功能、交通功能和休闲功能。
②结合人口数据属性和轮廓分类数据,将轮廓和功能要素分为城市山水、城市路网、城市地类、各类型建筑和开敞空间。
其中,开敞空间的轮廓提取分类方法如下(其余轮廓提取参考步骤S220):
所述城市开敞空间,通常指城市外部公共空间,即存在于城市建筑实体之外的开敞空间体,一般包括绿色空间、广场空间、街道空间、亲水空间。参考国内外开敞空间功能分类的方法,结合《城市绿地分类标准》、《城市用地分类与规划建设用地标准》(GB50137-2011)、城市开敞空间包括自然开敞空间(生产绿地、农林用地、水域)和人工开敞空间(公园绿地、防护绿地、广场用地、附属绿地)标准,进行分类。因此,对城市开敞空间的提取可以归纳为一种“减法”,即“城市开敞空间=城市空间-城市建筑实体空间-城市道路空间”。
可通过ArcGIS的“裁剪”工具进行实现:
导入城市区域边界、遥感影像图、提取的建筑轮廓、道路轮廓;
使用裁剪工具,从遥感影像图减去建筑轮廓及道路轮廓,即使用 "数据管理工具"——"栅格"——"栅格处理"——"裁剪"工具,得到城市开敞空间轮廓。
③综上,将生成的数据图层进行链接,整理成库,完成对城市要素的识别。
本公开通过城市空间数据库(urban spatial database)进行城市空间数据库的建立与管理,可精确描述出城市空间实体的位置、形状及其分布特征等方面信息,即描述地物目标定位、定性、时间和空间关系等特征。
进一步地,通过本公开的方法,在使用数据描述城市的过程中,不仅能表示实体本身的空间位置及形态信息,而且还可以表示出实体属性和空间关系(如拓扑关系) 的信息。
具体地,包括以下几个层面:
功能:它在一个地段的分布往往可以体现其活力和功能类型;
层级:主要体现在道路网络的分级结构;
区域:从分层的路网可以得到数据的划分,去掉了最大的城市间道路和最小的服务性道路两个层级;
形态:描述的目的是得到建筑形态,在城市空间的分布;
意向:筛选出广场、学校及文化建筑,工业建筑等,从公共空间的分布来描述一个城市的集体记忆;
时间:保留原始数据的时间戳作为记录,在时间维度上留下了标记。
根据本公开的实施例,实现了以下技术效果:
通过获取的多源大数据,以各类优化的神经网络算法和形态学闭运算组件作为基础,以残差网络(Residual Networks,ResNet)模型作为基础网络,使用基于参数的迁移学习方法,获得图像的深层场景语义特征,提升了遥感影像的城市功能区识别精度。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本公开并不受所描述的动作顺序的限制,因为依据本公开,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于可选实施例,所涉及的动作和模块并不一定是本公开所必须的。
以上是关于方法实施例的介绍,以下通过装置实施例,对本公开所述方案进行进一步说明。
图15示出了根据本公开的实施例的基于多源大数据的城市要素识别装置1500的方框图。如图15所示,装置1500包括:
获取模块1510,用于获取多源数据,构建空间数据库;所述多源数据包括遥感影像以及与其对应的POI、基础地理和/或人口标识数据;
分类模块1520,用于将所述空间数据库输入至要素识别模型,得到待分类图像的分类结果;
识别模块1530,用于基于所述POI数据对所述分类结果进行优化,完成对城市要素的识别。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,所述描述的模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
图16示出了可以用来实施本公开的实施例的电子设备1600的示意性框图。如图所示,设备1600包括中央处理单元(CPU)1601,其可以根据存储在只读存储器(ROM)1602中的计算机程序指令或者从存储单元1608加载到随机访问存储器(RAM)1603中的计算机程序指令,来执行各种适当的动作和处理。在RAM1603中,还可以存储设备1600操作所需的各种程序和数据。CPU 1601、ROM 1602以及RAM1603通过总线1604彼此相连。输入/输出(I/O)接口1605也连接至总线1604。
设备1600中的多个部件连接至I/O接口1605,包括:输入单元1606,例如键盘、鼠标等;输出单元1607,例如各种类型的显示器、扬声器等;存储单元1608,例如磁盘、光盘等;以及通信单元1609,例如网卡、调制解调器、无线通信收发机等。通信单元1609允许设备1600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理单元1601执行上文所描述的各个方法和处理,例如方法200。例如,在一些实施例中,方法200可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元1608。在一些实施例中,计算机程序的部分或者全部可以经由ROM 1602和/或通信单元1609而被载入和/或安装到设备1600上。当计算机程序加载到RAM1603并由CPU1601执行时,可以执行上文描述的方法200的一个或多个步骤。备选地,在其他实施例中,CPU 1601可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行方法200。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)等等。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备或上述内容的任何合适组合。
此外,虽然采用特定次序描绘了各操作,但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行,或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下,多任务和并行处理可能是有利的。同样地,虽然在上面论述中包含了若干具体实现细节,但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地,在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题,但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反,上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。
Claims (10)
1.一种基于多源大数据的城市要素识别方法,其特征在于,包括:
获取多源数据,构建空间数据库;所述多源数据包括遥感影像以及与其对应的POI、基础地理和/或人口标识数据;
将所述空间数据库输入至要素识别模型,得到待分类图像的分类结果;
基于所述POI数据对所述分类结果进行优化,完成对城市要素的识别。
2.根据权利要求1所述的方法,其特征在于,所述获取多源数据,构建空间数据库包括:
获取多源数据;
对所述多源数据进行数据转化、抽稀和融合,构建统一坐标系的空间数据库。
3.根据权利要求2所述的方法,其特征在于,所述将所述空间数据库输入至要素识别模型,得到待分类图像的分类结果包括:
其中,所述要素识别模型包括依次连接的空洞卷积U-Net、ResNet152网络、CV 水平集以及结合多边形拟合、Hausdorff 距离算法和Shi-Tomasi 算法的轮廓线优化算法;
通过Gabor变换和空洞卷积U-Net,对所述空间数据库进行特征提取;
通过最大似然方法对特征提取结果进行性能评价,若评价精度高于预设标准,则选取出代表目标地物性质的最优特征;所述最优特征基于形状、纹理、位置、评价精度和/或大小确定;
将所述最优特征输入至分类模型中,确定地物属性;
基于所述地物属性,对所述空间数据库中的遥感影像进行轮廓提取,确定建筑物、道路网、城市地类和/或城市水体轮廓;
采用Canny算子对提取的轮廓进行修正;
采用CV水平集分割算法对修正后的轮廓进行分割;
采用预设方法,对分割后的所有轮廓进行处理,形成封闭的轮廓线;
对所述封闭的轮廓线进行优化,得到待分类图像的分类结果。
4.根据权利要求3所述的方法,其特征在于,所述分类模型通过如下方式训练得到:
生成训练样本集合;其中,训练样本包括带有标注信息的图像;所述标注信息包括地物属性;
将所述带有标注信息的图像作为输入,将与所述带有标注信息的图像对应的标注信息作为输出,采用基于ResNet152 模型的迁移学习算法对所述分类模型进行训练。
5.根据权利要求4所述的方法,其特征在于,所述基于所述地物属性,对所述空间数据库中的遥感影像进行轮廓提取,确定建筑物、道路网、城市地类和/或城市水体轮廓包括:
通过Hough变换进行建筑物的轮廓提取;
通过卷积神经网络进行道路网的轮廓提取;
通过区域生长法进行城市地类轮廓提取;
通过优化的snake算法进行生成水体轮廓提取。
6.根据权利要求5所述的方法,其特征在于,所述采用预设方法,对分割后的所有轮廓进行处理,形成封闭的轮廓线包括:
通过形态学尺度空间算法,消除分割后轮廓的噪声;
通过数学形态学开闭运算,对消除噪声的轮廓进行处理,去除斑块,填补孔隙、连接断裂点,形成封闭的轮廓线。
7.根据权利要求6所述的方法,其特征在于,所述对所述封闭的轮廓线进行优化包括:
通过多边形拟合、Hausdorff 距离算法和Shi-Tomasi 算法,对封闭的轮廓线进行优化。
8.一种基于多源大数据的城市要素识别装置,其特征在于,包括:
获取模块,用于获取多源数据,构建空间数据库;所述多源数据包括遥感影像以及与其对应的POI、基础地理和/或人口标识数据;
分类模块,用于将所述空间数据库输入至要素识别模型,得到待分类图像的分类结果;
识别模块,用于基于所述POI数据对所述分类结果进行优化,完成对城市要素的识别。
9.一种电子设备,包括存储器和处理器,所述存储器上存储有计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1~7中任一项所述的方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1~7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210337232.0A CN115019163A (zh) | 2022-04-01 | 2022-04-01 | 基于多源大数据的城市要素识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210337232.0A CN115019163A (zh) | 2022-04-01 | 2022-04-01 | 基于多源大数据的城市要素识别方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115019163A true CN115019163A (zh) | 2022-09-06 |
Family
ID=83067698
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210337232.0A Pending CN115019163A (zh) | 2022-04-01 | 2022-04-01 | 基于多源大数据的城市要素识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115019163A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115292342A (zh) * | 2022-10-09 | 2022-11-04 | 湖北省国土测绘院 | 一种基于poi数据更新城市用地现状图的方法、系统及设备 |
CN116403112A (zh) * | 2023-04-11 | 2023-07-07 | 生态环境部卫星环境应用中心 | 农村黑臭水体排查范围划定方法和装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102663394A (zh) * | 2012-03-02 | 2012-09-12 | 北京航空航天大学 | 基于多源遥感图像融合的大中型目标识别方法 |
CN110186820A (zh) * | 2018-12-19 | 2019-08-30 | 河北中科遥感信息技术有限公司 | 多源数据融合与环境污染源及污染物分布分析方法 |
US20200193610A1 (en) * | 2018-12-18 | 2020-06-18 | Palo Alto Research Center Incorporated | Curvilinear object segmentation with noise priors |
CN112487537A (zh) * | 2020-12-08 | 2021-03-12 | 亿景智联(北京)科技有限公司 | 一种基于全卷积神经网络的建筑面多级优化提取方法 |
CN113420674A (zh) * | 2021-06-24 | 2021-09-21 | 深圳市城市公共安全技术研究院有限公司 | 基于点云数据的森林档案模型构建方法、装置及存储介质 |
CN113657324A (zh) * | 2021-08-24 | 2021-11-16 | 速度时空信息科技股份有限公司 | 基于遥感影像地物分类的城市功能区识别方法 |
-
2022
- 2022-04-01 CN CN202210337232.0A patent/CN115019163A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102663394A (zh) * | 2012-03-02 | 2012-09-12 | 北京航空航天大学 | 基于多源遥感图像融合的大中型目标识别方法 |
US20200193610A1 (en) * | 2018-12-18 | 2020-06-18 | Palo Alto Research Center Incorporated | Curvilinear object segmentation with noise priors |
CN110186820A (zh) * | 2018-12-19 | 2019-08-30 | 河北中科遥感信息技术有限公司 | 多源数据融合与环境污染源及污染物分布分析方法 |
CN112487537A (zh) * | 2020-12-08 | 2021-03-12 | 亿景智联(北京)科技有限公司 | 一种基于全卷积神经网络的建筑面多级优化提取方法 |
CN113420674A (zh) * | 2021-06-24 | 2021-09-21 | 深圳市城市公共安全技术研究院有限公司 | 基于点云数据的森林档案模型构建方法、装置及存储介质 |
CN113657324A (zh) * | 2021-08-24 | 2021-11-16 | 速度时空信息科技股份有限公司 | 基于遥感影像地物分类的城市功能区识别方法 |
Non-Patent Citations (8)
Title |
---|
何静然: "高分辨率遥感影像建筑物轮廓提取方法研究", vol. 2017, no. 3, pages 3 * |
刘茂元: "基于 Snake 模型的水体提取", vol. 13, no. 1 * |
吴霞: "遥感影像与POI协同下的城市土地利用变化元胞自动机精细化模拟", vol. 2022, no. 2, pages 1 - 2 * |
孙丹峰 等: "高分辨率遥感卫星影像在土地利用分类及其变化监测的应用研究", vol. 18, no. 2 * |
张立福 等: "《高光谱遥感信息处理》", 武汉:湖北科学技术出版社, pages: 178 * |
张莉: "一种基于改进水平集与边缘检测结合的轮廓提取与检验方法", vol. 2012, no. 8, pages 1 * |
林娜 等: "空洞卷积U-Net的遥感影像道路提取方法", vol. 46, no. 46, pages 109 - 114 * |
粟佩康: "基于卷积神经网络的卫星影像道路网自动提取方法研究", vol. 2019, no. 5, pages 4 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115292342A (zh) * | 2022-10-09 | 2022-11-04 | 湖北省国土测绘院 | 一种基于poi数据更新城市用地现状图的方法、系统及设备 |
CN115292342B (zh) * | 2022-10-09 | 2022-12-20 | 湖北省国土测绘院 | 一种基于poi数据更新城市用地现状图的方法、系统及设备 |
CN116403112A (zh) * | 2023-04-11 | 2023-07-07 | 生态环境部卫星环境应用中心 | 农村黑臭水体排查范围划定方法和装置 |
CN116403112B (zh) * | 2023-04-11 | 2023-10-27 | 生态环境部卫星环境应用中心 | 农村黑臭水体排查范围划定方法和装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11151378B2 (en) | Systems and methods for analyzing remote sensing imagery | |
Lian et al. | Road extraction methods in high-resolution remote sensing images: A comprehensive review | |
US11995886B2 (en) | Large-scale environment-modeling with geometric optimization | |
CN106778605B (zh) | 导航数据辅助下的遥感影像道路网自动提取方法 | |
CN111666918A (zh) | 一种基于多因素的海岸线变化识别方法 | |
CN107067405B (zh) | 基于尺度优选的遥感影像分割方法 | |
CN109711416B (zh) | 目标识别方法、装置、计算机设备和存储介质 | |
San et al. | Building extraction from high resolution satellite images using Hough transform | |
Hormese et al. | Automated road extraction from high resolution satellite images | |
Wang et al. | Automatic extraction of building boundaries using aerial LiDAR data | |
CN115019163A (zh) | 基于多源大数据的城市要素识别方法 | |
Hao et al. | A hierarchical region-merging algorithm for 3-D segmentation of individual trees using UAV-LiDAR point clouds | |
Lizarazo et al. | Segmentation of remotely sensed imagery: moving from sharp objects to fuzzy regions | |
Omidalizarandi et al. | Segmentation and classification of point clouds from dense aerial image matching | |
Nikfar et al. | Optimization of multiresolution segmentation by using a genetic algorithm | |
CN115147726B (zh) | 城市形态图的生成方法、装置、电子设备和可读存储介质 | |
Liu et al. | The classification of airborne LiDAR building point clouds based on multi‐scale and multi‐level cloth simulation | |
Xu et al. | Identification of street trees’ main nonphotosynthetic components from mobile laser scanning data | |
Liu et al. | Identification of Damaged Building Regions from High-Resolution Images Using Superpixel-Based Gradient and Autocorrelation Analysis | |
Widyaningrum et al. | Tailored features for semantic segmentation with a DGCNN using free training samples of a colored airborne point cloud | |
Ankayarkanni et al. | Object based segmentation techniques for classification of satellite image | |
Liu et al. | Extraction of urban 3D features from LiDAR data fused with aerial images using an improved mean shift algorithm | |
Ye | Extraction of digital terrain models from airborne laser scanning data based on transfer-learning | |
Dasari et al. | Integrated approaches for road extraction and de-noising in satellite imagery using probability neural networks | |
Erdem et al. | Reproducible Extraction of Building Footprints from Airborne LiDAR Data: A Demo Paper |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |