CN111242223A - 一种基于街景影像多特征融合的街道空间品质评价方法 - Google Patents

一种基于街景影像多特征融合的街道空间品质评价方法 Download PDF

Info

Publication number
CN111242223A
CN111242223A CN202010041120.1A CN202010041120A CN111242223A CN 111242223 A CN111242223 A CN 111242223A CN 202010041120 A CN202010041120 A CN 202010041120A CN 111242223 A CN111242223 A CN 111242223A
Authority
CN
China
Prior art keywords
street
image
feature
street view
space quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010041120.1A
Other languages
English (en)
Other versions
CN111242223B (zh
Inventor
任红艳
崔成
赵璐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Geographic Sciences and Natural Resources of CAS
Original Assignee
Institute of Geographic Sciences and Natural Resources of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Geographic Sciences and Natural Resources of CAS filed Critical Institute of Geographic Sciences and Natural Resources of CAS
Priority to CN202010041120.1A priority Critical patent/CN111242223B/zh
Publication of CN111242223A publication Critical patent/CN111242223A/zh
Application granted granted Critical
Publication of CN111242223B publication Critical patent/CN111242223B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及地理图像领域，提供了一种基于街景影像多特征融合的街道空间品质评价方法，包括：获取多个采样点在多个视角下的街景影像；对每幅所述街景影像进行品质标注；提取每幅所述街景影像的多种图像特征；在每个视角下，基于单种所述图像特征和多种所述图像特征的组合，采用至少一种机器学习算法进行模型训练，构建多个街道空间品质评估模型；根据模型性能度量指标，选取每个视角下的最优评估模型；利用最优模型，评价任意区域的街道空间品质，构建了大规模、高精度的街道空间品质测度体系。

Description

一种基于街景影像多特征融合的街道空间品质评价方法
技术领域
本发明涉及地理图像技术领域，更具体地说，是涉及一种基于街景影像多特征融合的街道空间品质评价方法。
背景技术
街道是城市景观的重要组成部分，对街道空间品质进行评估对于城市规划管理具有重要价值。基于高分遥感影像虽然可以提取以“城中村”为代表的非正规居住空间，却难以直接对某条街道的空间品质进行评估。而受限于时间和人力限制，问卷调查和实地探勘等方式难以实现对整个城市的精细化全覆盖。大范围、精细化地评估街道空间品质成为亟待解决的问题。
机器学习算法是一种广泛应用的街道空间品质评价方法，基于街景影像评价街道/社区/城市建成环境时，常用的图像特征有基于手工设计的特征和基于深度学习的特征。基于手工设计的低层次特征，比如局部二值模式(local binary pattern，LBP)，尺度不变特征变换(scale invariant feature transform，SIFT)等，在特定的分类和识别任务中取得了巨大成功；将基于深度学习的卷积神经网络(Convolutional Neural Network，CNN)隐含层或者输出层的特征作为构建分类器的基础也有了一定应用。然而单一种类的特征及算法难以充分描述影像中所有信息，目前针对街景影像的街道空间品质评价模型中缺乏不同层次、不同种类图像特征的分类精度对比和多特征融合，可能潜在地影响了模型精度。
发明内容
本发明的目的在于提供一种基于街景影像多特征融合的街道空间品质评价方法，以解决现有技术中存在的问题。
为实现上述目的，本发明采用的技术方案是：一种基于街景影像多特征融合的街道空间品质评价方法，其特征在于，包括以下步骤：
步骤一：获取多个采样点在多个视角下的街景影像；
步骤二：对每幅所述街景影像进行品质标注，划分为两个品质类别；
步骤三：提取每幅所述街景影像的多种图像特征；
步骤四：在每个视角下，基于单种所述图像特征和多种所述图像特征的组合，采用至少一种机器学习算法进行模型训练，构建多个街道空间品质评估模型；
步骤五：根据模型性能度量指标，选取每个视角下的最优评估模型；
步骤六：获取任意区域在所述多个视角下的街景影像；根据每个视角下的所述最优评估模型对应的特征组合方式，提取所述任意区域在每个视角下所有所述街景影像的图像特征；
步骤七：采用每个视角下的所述最优评估模型，评价所述任意区域在每个视角下的街道空间品质；综合所述任意区域在每个视角下的街道空间品质，评价所述任意区域整体的街道空间品质。
可选地，所述步骤一包括：在街道以特定采样间隔选取所述多个采样点，根据每个所述采样点所在道路的朝向，分别获取平行于道路的前、后视角下的街景影像和垂直于道路方向的左、右视角下的街景影像，其中，四个视角下的街景影像的视场角均设置为90°。
可选地，所述步骤二包括：确定低空间品质街道的至少一条具体表征，将满足至少一条所述具体表征所述街景影像标注为“低空间品质街道”，反之，则标注为“高空间品质街道”。
可选地，所述步骤三包括：针对每幅所述街景影像，以检测图像中的特征点为基础，生成特征点直方图，构建特征描述子，获取检测图像的纹理特征；采用K均值聚类算法对所有特征点进行聚类，构建视觉词袋模型，为每幅所述街景影像构建一个固定维度的快速健壮特征。
可选地，所述步骤三中的所述多个图像特征包括梯度直方图特征，则所述步骤三包括：针对每幅所述街景影像，将图像分割成多个胞元，计算并统计每个所述胞元中各像素点的梯度或边缘方向直方图，形成每个所述胞元的特征向量，把各所述胞元组合成空间上连通的区块，并对梯度强度进行归一化；采用主成分分析技术，对所述梯度直方图特征进行降维。
可选地，所述步骤三中的所述多个图像特征包括语义特征，则所述步骤三包括：采用预训练的ENet网络作为特征提取器，对每幅所述街景影像进行像素级语义分割，计算各类别要素的像素占比将其作为每幅所述街景影像的语义特征。
可选地，所述步骤四中的所述至少一种机器学习算法包括支持向量机算法，则所述步骤四包括：在每个视角下，分别以单种所述图像特征和多种所述图像特征的组合为样本，通过非线性映射算法将低维空间线性不可分样本转化到高维空间内线性可分的样本，利用间隔最大化的原则在高维空间内寻找最优分类平面，预测待评价的街景影像的街道空间品质。
可选地，所述步骤四中的所述至少一种机器学习算法包括随机森林算法，则所述步骤四包括：在每个视角下，分别以单种所述图像特征和多种所述图像特征的组合为样本，利用bootstrap策略从原始样本中抽取多个样本集，对每个bootstrap样本集进行决策树建模，然后组合多颗决策树的预测，通过投票预测待评价的街景影像的街道空间品质。
可选地，在所述步骤四之前，所述评价方法还包括：随机选取70％已标注的街景影像的图像特征数据作为训练集，其余已标注的图像特征数据作为测试集。
可选地，在所述步骤六中的所述特定的模型性能为所述街道空间品质评估模型在所述测试集上的分类精度和Kappa系数，其中所述分类精度表示正确分类的街景影像占测试集整体影像的比例，所述Kappa系数的计算基于混淆矩阵，Kappa系数超过0.6表示预测结果与实际结果具有一致性。
本发明的有益效果在于：本发明采用常用图像特征算子和Enet卷积神经网络等算法提取街景影像中不同层级的特征，使用支持向量机、随机森林算法训练评估模型，通过对比不同的特征组合方式和机器学习算法，选择最优模型，构建了大规模、高精度的街道空间品质测度体系。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明一实施例提供的街道空间品质评价方法的流程图。
图2为本发明一实施例提供的街景影像标注示意图。
图3为本发明一实施例提供的采样点尺度道路空间品质示意图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本实施例中提供一种基于街景影像多特征融合的街道空间品质评价方法，利用机器学习算法和多种图像特征的组合，构建评价街道空间品质的最优模型。
所述评价方法包括以下步骤：
步骤一：获取多个采样点在多个视角下的街景影像；
步骤二：对每幅所述街景影像进行品质标注，划分为两个品质类别；
步骤三：提取每幅所述街景影像的多种图像特征；
步骤四：在每个视角下，基于单种所述图像特征和多种所述图像特征的组合，采用至少一种机器学习算法进行模型训练，构建多个街道空间品质评估模型；
步骤五：根据模型性能度量指标，选取每个视角下的最优评估模型；
步骤六：获取任意区域在所述多个视角下的街景影像；根据每个视角下的所述最优评估模型对应的特征组合方式，提取所述任意区域在每个视角下所有所述街景影像的图像特征；
步骤七：采用每个视角下的所述最优评估模型，评价所述任意区域在每个视角下的街道空间品质；综合所述任意区域在每个视角下的街道空间品质，评价所述任意区域整体的街道空间品质。
以上是本发明的核心思想，图1是所述街道空间品质评价方法的流程图。下面将以广州市越秀为例，对各步骤进行详细说明。
可选地，所述步骤一包括：在街道以特定采样间隔选取所述多个采样点，根据每个所述采样点所在道路的朝向，分别获取平行于道路的前、后视角下的街景影像和垂直于道路方向的左、右视角下的街景影像，其中，四个视角下的街景影像的视场角均设置为90°。
在本示例中，街景影像来自于百度地图的应用程序接口，在越秀区道路上以50m作为采样间隔选择采样点，根据采样点所在道路的朝向，分别获取平行于道路(前、后)和垂直于道路方向(左、右)共4张街景影像，每幅影像的视场角(field ofview,FOV)设置为90°，即可全面囊括采样点周边环境。采用Python语言编写网络爬虫批量下载越秀区的街景影像，剔除无街景影像的采样点后，最终获取广州市越秀区14930个采样点上的59720幅街景影像。
可选地，所述步骤二包括：确定低空间品质街道的至少一条具体表征，将满足至少一条所述具体表征所述街景影像标注为“低空间品质街道”，否则，标注为“高空间品质街道”。
街道空间品质是居民对道路环境的主观感知，涉及到道路整洁程度，绿化水平，天空开阔度等多种要素。街道空间品质的概念较抽象，本示例中确定了越秀区街道空间品质低下的具体表征：两侧房屋低矮密集，建筑布局混乱，建筑外立面老旧，管线布局杂乱；道路狭窄，人车混行，道路环境卫生脏乱差，绿化水平低，天空可见度差；部分街道上存在大量样式、颜色互不统一的店铺招牌和广告牌，小商贩聚集。
图2为本发明一实施例提供的街景影像标注示意图。如图2所示，根据以上述表征为依据对4个视角的街景影像进行质量标注，划分为低质量和高质量两类。满足1条及以上特征的影像标注为“低空间品质街道”，否则，标注为“高空间品质街道”。四个视角各标记200张街景影像，其中街道空间品质低和高的街景影像样本各100张，用于构建机器学习模型。
传统的影像场景分类常采用中、低层人工特征，但街景影像信息丰富，场景构成复杂，如前后视角常出现道路，汽车，天空，而左右视角道路景观存在较大差异，如高速路两侧常存在隔音板，低等级公路两侧常为行道树或不同类型的建筑物，如图2所示。单个图象特征很难有效表达街景影像，全面准确描述街景影像的多层次特征集合对于识别不同条件下的街道空间品质至关重要。本示例中，获取了不同层次、不同类型的图像特征，包括基于手工设计的特征和基于深度学习的特征。
可选地，所述步骤三中的所述多个图像特征包括快速健壮特征(Speed Up RobustFeature，SURF)，则所述步骤三包括：针对每幅所述街景影像，以检测图像中的特征点为基础，生成特征点直方图，构建特征描述子，获取检测图像的纹理特征；采用K均值聚类算法对所有特征点进行聚类，构建视觉词袋模型，为每幅所述街景影像构建一个固定维度的快速健壮特征。
SURF是一种基于尺度空间的，具有良好几何、光照、遮挡和视角变化鲁棒性的图像局部不变特征，可以较好地描述图像结构和纹理信息。相比于SIFT算子，SURF算子计算速度提高了3倍，而其性能与SIFT相近，具有良好的实时性。SURF算子是以检测图像中的特征点为基础，通过生成特征点直方图并构建特征描述子来获取图像纹理特征。不同影像提取的特征点数量存在差异，因此采用K均值聚类算法对所有街景影像的特征点进行聚类，构建视觉词袋模型。本示例中，最终为每幅街景影像构建一个50维的SURF特征。
可选地，所述步骤三中的所述多个图像特征包括梯度直方图特征(HistogramofOriented Gradient，HOG)，则所述步骤三包括：针对每幅所述街景影像，将图像分割成多个胞元，计算并统计每个所述胞元中各像素点的梯度或边缘方向直方图，形成每个所述胞元的特征向量，把各所述胞元组合成空间上连通的区块，并对梯度强度进行归一化；采用主成分分析技术，对所述梯度直方图特征进行降维。
HOG特征对光照、尺度、方向有良好的适应性，核心思想是通过对目标区域的梯度方向分布统计来描述目标物的外形结构，因其对目标形状的良好刻画而获得了广泛应用。HOG算法将图像分割成较小的胞元(cell)，然后计算并统计该胞元中各个像素点的梯度或边缘方向直方图形成该胞元的特征向量，把各个胞元组合成空间上连通的区块(block)，并对梯度强度进行归一化，以保证其光照不变性。本示例中，提取HOG特征时胞元尺寸设置为64×64像素，区块尺寸设置为2×2胞元，进而从每幅1024×512像素的街景影像中获取一个3780维向量来描述HOG特征，采用主成分分析技术将HOG特征降至50维。
可选地，所述步骤三中的所述多个图像特征包括语义特征，则所述步骤三包括：采用预训练的ENet网络作为特征提取器，对每幅所述街景影像进行像素级语义分割，计算各类别要素的像素占比将其作为每幅所述街景影像的语义特征。
在本示例中，将街道景观中各类要素(道路，植被，天空等)视觉占比作为街景影像的语义特征，采用预训练的ENet网络作为特征提取器，通过对街景影像进行像素级语义分割，将各像素分类为天空，植被，道路，人行道，建筑物，墙，围栏，灯柱，交通信号灯，交通标志，山体，行人，骑行者，小汽车，卡车，公交车，火车，摩托车，自行车，背景共20类要素，通过计算各类别要素的像素占比将其作为街景影像的语义特征。
支持向量机(Support Vector Machine,SVM)算法与随机森林(Random Forest，RF)算法均是常用的机器学习算法，在众多应用实例中表现出很高的预测准确性。采用上述两种算法构建街道空间品质评估模型。如图2所示，不同视角街景影像反映的城市景观存在差异，因此针对不同视角的街景影像，基于单一特征和多特征组合的方式分别构建SVM和RF分类器。
可选地，所述步骤四中的所述至少一种机器学习算法包括支持向量机算法，则所述步骤四包括：在每个视角下，分别以单种所述图像特征和多种所述图像特征的组合为样本，，通过非线性映射算法将低维空间线性不可分样本转化到高维空间内线性可分的样本，利用间隔最大化的原则在高维空间内寻找最优分类平面，预测待评价的街景影像的街道空间品质。
判定街景影像反映的道路景观属于高/低空间品质属于二分类问题，SVM是一个应用于二元分类的分类器，通过非线性映射算法(核函数)将低维空间线性不可分样本转化到高维空间内线性可分的样本，并通过间隔最大化的原则在高维空间内寻找最优分类平面，在解决非线性，小样本及高维模式识别问题具有优势。算法主要参数为正则化参数C与控制样本间距离尺度的径向基核宽度倒数gamma。本示例中，SVM的核函数采用径向基核函数，采用网格搜索法选择最优参数C和gamma。
可选地，所述步骤四中的所述至少一种机器学习算法包括随机森林算法，则所述步骤四包括：在每个视角下，分别以单种所述图像特征和多种所述图像特征的组合为样本，利用bootstrap策略从原始样本中抽取多个样本集，对每个bootstrap样本集进行决策树建模，然后组合多颗决策树的预测，通过投票预测待评价的街景影像的街道空间品质。
RF是一种基于分类树的算法，利用bootstrap策略从原始样本中抽取多个样本集，对每个bootstrap样本集进行决策树建模，然后组合多颗决策树的预测，通过投票得出最终的预测结果。RF利用样本随机和特征随机的策略构建多颗互不依赖的决策树，通过降低方差来提高模型的泛化性能。算法主要参数包括决策树数量和决策树最大深度。本示例中，RF中决策树的数量设置为100，树的最大深度同样采用网格搜索法确定。
可选地，在模型训练前对街景影像的SURF特征，HOG特征和语义特征进行标准化处理，随机选取70％的人工标注的街景影像作为训练集，用于模型训练，其余30％作为测试集，用于评估模型精度。
可选地，利用模型在测试集上分类精度和Kappa系数来衡量其性能，其中分类精度是正确分类的影像占测试集整体影像的比例，Kappa系数的计算基于混淆矩阵，Kappa系数超过0.6表示预测结果与实际结果具有高度的一致性。以此为依据选择各视角最优模型及对应的特征组合方式，进而对越秀区整体的街道空间品质进行评价。
下表是各视角模型的分类精度和Kappa系数，对比了采用不同特征组合方式、不同算法所构建模型的性能差异，其中，各列加粗数值为当前列最优模型的分类精度和Kappa系数。可以看出，基于SVM算法各视角模型的最优分类精度依次为82.8％(前)、81.7％(后)、76.6％(左)、76.6％(右)，对应特征组合方式依次为SURF特征+HOG特征+语义特征，HOG特征+语义特征，SURF特征+HOG特征+语义特征，SURF特征+HOG特征+语义特征。基于单一特征建立模型的平均分类精度为73.03％(HOG)>72.28％(语义特征)>56％(SURF)，整体而言，基于SURF特征+HOG特征+语义特征建立的SVM分类器识别街景影像中街道空间品质的能力最强，平均分类精度和Kappa系数分别为78.6％和0.58。而基于RF分类器不同视角模型的最优分类精度依次为82.8％(前)、85.0％(后)、78.1％(左)、70.3％(右)，对应特征组合方式依次为HOG特征+语义特征，HOG特征+语义特征，HOG特征+语义特征，HOG特征。基于单一特征建立模型的平均分类精度为73.35％(HOG)>75.13％(语义特征)>58.95％(SURF)，整体而言，基于HOG特征+语义特征建立的RF分类器判定街景影像中街道空间品质的能力最强，分类精度和Kappa系数均值分别为78.3％和0.57。
Figure BDA0002367797760000101
注：各列加粗数值为当前列最优模型的分类精度和Kappa系数。
上述结果表明：基于不同视角，不同特征组合方式所构建模型存在性能差异。前后视角的模型精度略优于左右视角的模型精度，单一特征中HOG特征与语义特征的性能明显优于SURF特征的性能，而多特征的融合能提高分类精度。相比而言，算法的差异则对模型性能影响较小，各视角最优SVM模型和RF模型性能相近。
前、后、左、右各视角的最优模型依次是RF(HOG征+语义特征)，RF(HOG特征+语义特征)，RF(HOG特征+语义特征)，SVM(SURF特征+HOG特征+语义特征)，分类精度和Kappa系数均值分别为80.6％和0.62。模型预测结果与实际标签具有高度一致性。该结果说明模型识别精度高，准确有效，基于街景影像的多特征融合策略能有效精确地评估街道的空间品质。
各视角最优模型在测试集上表现良好，因此用其评估越秀区59720张街景影像中的街道空间品质。模型判断某幅街景影像属于高品质街道的概率值越高，则表示街道空间品质越高，通过计算各采样点四幅街景影像所反映的街道空间品质的均值，最终获取越秀区采样点尺度街道空间品质的空间分布。图3为本发明一实施例提供的采样点尺度道路空间品质示意图。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于街景影像多特征融合的街道空间品质评价方法，其特征在于，包括以下步骤：
步骤一：获取多个采样点在多个视角下的街景影像；
步骤二：对每幅所述街景影像进行品质标注，划分为两个品质类别；
步骤三：提取每幅所述街景影像的多种图像特征；
步骤四：在每个视角下，基于单种所述图像特征和多种所述图像特征的组合，采用至少一种机器学习算法进行模型训练，构建多个街道空间品质评估模型；
步骤五：根据特定的模型性能度量指标，选取每个视角下的最优评估模型；
步骤六：获取任意区域在所述多个视角下的街景影像；根据每个视角下的所述最优评估模型对应的特征组合方式，提取所述任意区域在每个视角下所有所述街景影像的图像特征；
步骤七：采用每个视角下的所述最优评估模型，评价所述任意区域在每个视角下的街道空间品质；综合所述任意区域在每个视角下的街道空间品质，评价所述任意区域整体的街道空间品质。
2.如权利要求1所述的基于街景影像多特征融合的街道空间品质评价方法，其特征在于，所述步骤一包括：
在街道以特定采样间隔选取所述多个采样点，根据每个所述采样点所在道路的朝向，分别获取平行于道路的前、后视角下的街景影像和垂直于道路方向的左、右视角下的街景影像，其中，四个视角下的街景影像的视场角均设置为90°。
3.如权利要求2所述的基于街景影像多特征融合的街道空间品质评价方法，其特征在于，所述步骤二包括：
确定低空间品质街道的至少一条具体表征，将满足至少一条所述具体表征的所述街景影像标注为“低空间品质街道”，否则，标注为“高空间品质街道”。
4.如权利要求1所述的基于街景影像多特征融合的街道空间品质评价方法，其特征在于，所述步骤三中的所述多个图像特征包括快速健壮特征，则所述步骤三包括：
针对每幅所述街景影像，以检测图像中的特征点为基础，生成特征点直方图，构建特征描述子，获取检测图像的纹理特征；采用K均值聚类算法对所有特征点进行聚类，构建视觉词袋模型，为每幅所述街景影像构建一个固定维度的快速健壮特征。
5.如权利要求1所述的基于街景影像多特征融合的街道空间品质评价方法，其特征在于，所述步骤三中的所述多个图像特征包括梯度直方图特征，则所述步骤三包括：
针对每幅所述街景影像，将图像分割成多个胞元，计算并统计每个所述胞元中各像素点的梯度或边缘方向直方图，形成每个所述胞元的特征向量，把各所述胞元组合成空间上连通的区块，并对梯度强度进行归一化；采用主成分分析技术，对所述梯度直方图特征进行降维。
6.如权利要求1所述的基于街景影像多特征融合的街道空间品质评价方法，其特征在于，所述步骤三中的所述多个图像特征包括语义特征，则所述步骤三包括：
采用预训练的ENet网络作为特征提取器，对每幅所述街景影像进行像素级语义分割，计算各类别要素的像素占比将其作为每幅所述街景影像的语义特征。
7.如权利要求1所述的基于街景影像多特征融合的街道空间品质评价方法，其特征在于，所述步骤四中的所述至少一种机器学习算法包括支持向量机算法，则所述步骤四包括：
在每个视角下，分别以单种所述图像特征和多种所述图像特征的组合为样本，通过非线性映射算法将低维空间线性不可分样本转化到高维空间内线性可分的样本，利用间隔最大化的原则在高维空间内寻找最优分类平面，预测待评价的街景影像的街道空间品质。
8.如权利要求1所述的基于街景影像多特征融合的街道空间品质评价方法，其特征在于，所述步骤四中的所述至少一种机器学习算法包括随机森林算法，则所述步骤四包括：
在每个视角下，分别以单种所述图像特征和多种所述图像特征的组合为样本，利用bootstrap策略从原始样本中抽取多个样本集，对每个bootstrap样本集进行决策树建模，然后组合多颗决策树的预测，通过投票预测待评价的街景影像的街道空间品质。
9.如权利要求1所述的基于街景影像多特征融合的街道空间品质评价方法，其特征在于，在所述步骤四之前，所述评价方法还包括：
随机选取70％已标注的街景影像的图像特征数据作为训练集，其余已标注的图像特征数据作为测试集。
10.如权利要求9所述的基于街景影像多特征融合的街道空间品质评价方法，其特征在于，在所述步骤五中的所述模型性能度量指标为所述街道空间品质评估模型在所述测试集上的分类精度和Kappa系数，其中所述分类精度表示正确分类的街景影像占测试集整体影像的比例，所述Kappa系数的计算基于混淆矩阵，Kappa系数超过0.6表示预测结果与实际结果具有一致性。
CN202010041120.1A 2020-01-15 2020-01-15 一种基于街景影像多特征融合的街道空间品质评价方法 Active CN111242223B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010041120.1A CN111242223B (zh) 2020-01-15 2020-01-15 一种基于街景影像多特征融合的街道空间品质评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010041120.1A CN111242223B (zh) 2020-01-15 2020-01-15 一种基于街景影像多特征融合的街道空间品质评价方法

Publications (2)

Publication Number Publication Date
CN111242223A true CN111242223A (zh) 2020-06-05
CN111242223B CN111242223B (zh) 2020-11-13

Family

ID=70872556

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010041120.1A Active CN111242223B (zh) 2020-01-15 2020-01-15 一种基于街景影像多特征融合的街道空间品质评价方法

Country Status (1)

Country Link
CN (1) CN111242223B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113011925A (zh) * 2021-03-24 2021-06-22 华南理工大学 基于大数据的商业空间品质评价方法、系统、设备及介质
CN113420109A (zh) * 2021-08-23 2021-09-21 深圳市城市交通规划设计研究中心股份有限公司 一种街道界面渗透率的测量方法、计算机及存储介质
CN114331232A (zh) * 2022-03-15 2022-04-12 河北省地理信息集团有限公司 街道空间品质监测评估预警方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103442225A (zh) * 2013-07-26 2013-12-11 清华大学 基于数据库在线学习更新的有限速率下遥感图像传输系统
CN103778437A (zh) * 2014-01-21 2014-05-07 中科怡海高新技术发展江苏股份公司 一种基于支持向量机的施工道路污染检测方法
CN103984953A (zh) * 2014-04-23 2014-08-13 浙江工商大学 基于多特征融合与Boosting决策森林的街景图像的语义分割方法
US8971646B1 (en) * 2012-01-26 2015-03-03 Google Inc. Face and license plate detection in street level images with 3-D road width features estimated from laser data
US20180336683A1 (en) * 2017-05-18 2018-11-22 Mitsubishi Electric Research Laboratories, Inc. Multi-Label Semantic Boundary Detection System
CN110176000A (zh) * 2019-06-03 2019-08-27 斑马网络技术有限公司 道路质量检测方法及装置、存储介质、电子设备
CN110659608A (zh) * 2019-09-23 2020-01-07 河南工业大学 基于多特征融合的场景分类方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8971646B1 (en) * 2012-01-26 2015-03-03 Google Inc. Face and license plate detection in street level images with 3-D road width features estimated from laser data
CN103442225A (zh) * 2013-07-26 2013-12-11 清华大学 基于数据库在线学习更新的有限速率下遥感图像传输系统
CN103778437A (zh) * 2014-01-21 2014-05-07 中科怡海高新技术发展江苏股份公司 一种基于支持向量机的施工道路污染检测方法
CN103984953A (zh) * 2014-04-23 2014-08-13 浙江工商大学 基于多特征融合与Boosting决策森林的街景图像的语义分割方法
US20180336683A1 (en) * 2017-05-18 2018-11-22 Mitsubishi Electric Research Laboratories, Inc. Multi-Label Semantic Boundary Detection System
CN110176000A (zh) * 2019-06-03 2019-08-27 斑马网络技术有限公司 道路质量检测方法及装置、存储介质、电子设备
CN110659608A (zh) * 2019-09-23 2020-01-07 河南工业大学 基于多特征融合的场景分类方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
XUN WANG ET AL.: "Semantic annotation for complex video street views based on 2D–3D multi-feature fusion and aggregated boosting decision forests", 《PATTERN RECOGNITION》 *
叶宇 等: "人本尺度的街道空间品质测度——结合街景数据和新分析技术的大规模、高精度评价框架", 《国际城市规划》 *
李科等: "基于多特征组合与优化BoW模型的影像分类技术研究", 《系统仿真学报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113011925A (zh) * 2021-03-24 2021-06-22 华南理工大学 基于大数据的商业空间品质评价方法、系统、设备及介质
CN113420109A (zh) * 2021-08-23 2021-09-21 深圳市城市交通规划设计研究中心股份有限公司 一种街道界面渗透率的测量方法、计算机及存储介质
CN114331232A (zh) * 2022-03-15 2022-04-12 河北省地理信息集团有限公司 街道空间品质监测评估预警方法

Also Published As

Publication number Publication date
CN111242223B (zh) 2020-11-13

Similar Documents

Publication Publication Date Title
Zhang et al. CCTSDB 2021: a more comprehensive traffic sign detection benchmark
Yin et al. ‘Big data’for pedestrian volume: Exploring the use of Google Street View images for pedestrian counts
CN110263717B (zh) 一种融入街景影像的土地利用类别确定方法
CN111242223B (zh) 一种基于街景影像多特征融合的街道空间品质评价方法
Serna et al. Detection, segmentation and classification of 3D urban objects using mathematical morphology and supervised learning
Zhu et al. Knowledge-guided land pattern depiction for urban land use mapping: A case study of Chinese cities
CN111598048B (zh) 一种融合高分遥感影像和街景影像的城中村识别方法
CN111598101B (zh) 基于遥感影像场景分割的城区智能提取方法、系统及设备
Chen et al. The mixed kernel function SVM-based point cloud classification
Lee et al. Clustering learning model of CCTV image pattern for producing road hazard meteorological information
CN111597949A (zh) 一种基于npp-viirs夜间灯光数据的城市建成区提取方法
Dang et al. The integration of urban streetscapes provides the possibility to fully quantify the ecological landscape of urban green spaces: A case study of Xi’an city
Lauko et al. Local color and morphological image feature based vegetation identification and its application to human environment street view vegetation mapping, or how green is our county?
Chen et al. Urban vegetation segmentation using terrestrial LiDAR point clouds based on point non-local means network
Cheng et al. Modeling weather and illuminations in driving views based on big-video mining
Zhang et al. Research on Baidu street view road crack information extraction based on deep learning method
Hao et al. Smart Curb Digital Twin: Inventorying Curb Environments using Computer Vision and Street Imagery
CN106529391B (zh) 一种鲁棒的限速交通标志检测与识别方法
Yao et al. Automated detection of 3D individual trees along urban road corridors by mobile laser scanning systems
CN117036733A (zh) 一种城市道路场景特征线提取的方法
Engstrom et al. Evaluating the Relationship between Contextual Features Derived from Very High Spatial Resolution Imagery and Urban Attributes: A Case Study in Sri Lanka
CN116628531A (zh) 众包地图道路对象要素聚类方法、系统及存储介质
CN109934103A (zh) 基于暗通道先验和区域协方差检测图像中显著物体的方法
Wang et al. An unsupervised multi-scale segmentation method based on automated parameterization
Wang et al. Machine learning-based image recognition for rural architectural planning and design

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant