CN115359346A - 基于街景图片的小微空间识别方法、装置及电子设备 - Google Patents

基于街景图片的小微空间识别方法、装置及电子设备 Download PDF

Info

Publication number
CN115359346A
CN115359346A CN202211276768.2A CN202211276768A CN115359346A CN 115359346 A CN115359346 A CN 115359346A CN 202211276768 A CN202211276768 A CN 202211276768A CN 115359346 A CN115359346 A CN 115359346A
Authority
CN
China
Prior art keywords
street view
view image
space
small micro
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211276768.2A
Other languages
English (en)
Other versions
CN115359346B (zh
Inventor
王良
张晓东
海振坤
陈易辰
张兴华
吴运超
程辉
顾重泰
郭逸阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Chengyuan Digital Technology Co ltd
Beijing Municipal Institute Of City Planning & Design
Original Assignee
Beijing Chengyuan Digital Technology Co ltd
Beijing Municipal Institute Of City Planning & Design
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Chengyuan Digital Technology Co ltd, Beijing Municipal Institute Of City Planning & Design filed Critical Beijing Chengyuan Digital Technology Co ltd
Priority to CN202211276768.2A priority Critical patent/CN115359346B/zh
Publication of CN115359346A publication Critical patent/CN115359346A/zh
Application granted granted Critical
Publication of CN115359346B publication Critical patent/CN115359346B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/38—Outdoor scenes
    • G06V20/39—Urban scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于街景图片的小微空间识别方法、装置及电子设备，涉及图像识别技术领域，该方法包括：在街景图像色彩分布满足目标分布要求的情况下，确定街景图像与目标图像的相似度，确定街景图像的小微空间定位；在街景图像包含满足目标空间要素的情况下，将街景图像集输入至预设的第一网络模型对街景图像进行小微空间的识别定位，得到街景图像的小微空间定位；在需要对街景图像的小微空间要素的实际相对面积进行区分的情况下，将街景图像集输入至预设的第二网络模型进行实际相对面积区分，得到第二网络模型输出的实际相对面积，确定街景图像的小微空间定位。本发明可以高效智能地对街景图像进行小微空间识别定位。

Description

基于街景图片的小微空间识别方法、装置及电子设备
技术领域
本发明涉及图像识别技术领域，尤其涉及一种基于街景图片的小微空间识别方法、装置及电子设备。
背景技术
小微空间拥有着巨大的发展潜力，对小微空间的开发能缓减城市公共空间饱和的现状和补充城市公共空间体系的缺失，已经有越来越多的课题领域开展了对小微空间的研究。小微空间指受使用环境和地形限制形成的隐藏空间，如：社区广场、街边绿地、桥下空间以及滨水空间、屋顶空间、公交站场周边等。小微空间零散地潜藏在城市的每一处空间，它们面积普遍相对较小，对其进行大型规模的施工改造建设是很困难的，而且当前的小微空间普遍面临着开发不充分无法将空间利用、定性标准不明确无法精准发掘、人员流动稀疏无法创造价值的问题，最终荒疏为不为人知的无用空间。因此，如果能将城市中隐藏着的小微空间定位并加以改造，将会弥补城市居民的部分生活缺失，辅助完善城市规划建设，为城市带来新的活力。
以往的小微空间的调研统计和研究改造工作大多都依赖于人工，消耗大量人力财力的同时小微空间的定位工作进展效率也极低，存在着用高效智能方式的进行小微空间识别定位的技术空白。因此，需要提供一种方法可以高效智能地进行小微空间识别定位。
发明内容
本发明提供一种基于街景图片的小微空间识别方法、装置及电子设备，用以高效智能地对街景图像进行小微空间识别定位。
本发明提供一种基于街景图片的小微空间识别方法，包括：
获取目标地区的街景图像集；
在所述街景图像集中的街景图像色彩分布满足目标分布要求的情况下，确定所述街景图像与目标图像的相似度，基于所述相似度确定所述街景图像的小微空间定位；
在所述街景图像集中的街景图像包含满足目标空间要素的情况下，将所述街景图像集输入至预设的第一网络模型对所述街景图像进行小微空间的识别定位，得到所述第一网络模型输出的所述街景图像的小微空间定位，所述第一网络模型是基于目标检测识别算法训练得到的；
在需要对所述街景图像集中的街景图像的小微空间要素的实际相对面积进行区分的情况下，将所述街景图像集输入至预设的第二网络模型进行实际相对面积区分，得到所述第二网络模型输出的实际相对面积，再基于所述实际相对面积，确定所述街景图像的小微空间定位，所述第二网络模型是基于语义分割算法训练得到的。
根据本发明提供的基于街景图片的小微空间识别方法，所述获取目标地区的街景图像集，包括：
基于预设的应用程序接口从第三方服务平台获取目标地区的多张初始街景图像；
对所述多张初始街景图像进行图像矫正，得到所述街景图像集。
根据本发明提供的基于街景图片的小微空间识别方法，所述对所述多张初始街景图像进行图像矫正，得到所述街景图像集，包括：
对所述多张初始街景图像求解畸变函数，基于所述畸变函数对所述多张初始街景图像进行图像矫正，得到所述街景图像集。
根据本发明提供的基于街景图片的小微空间识别方法，所述确定所述街景图像与目标图像的相似度，基于所述相似度确定所述街景图像的小微空间定位，包括：
将所述街景图像压缩后转化为灰度图，并基于所述灰度图，确定所述街景图像与所述目标图像的差异值；
将所述差异值转为图像哈希值，基于所述图像哈希值确定所述街景图像与所述目标图像的相似度；
基于相似度大于预设相似度阈值的街景图像，确定所述街景图像的小微空间定位。
根据本发明提供的基于街景图片的小微空间识别方法，所述确定所述街景图像与目标图像的相似度，基于所述相似度确定所述街景图像的小微空间定位，包括：
将所述街景图像压缩后转化为灰度图，并将所述灰度图统计到直方图中进行压缩，得到所述街景图像与所述目标图像的余弦相似度；
基于所述余弦相似度确定所述街景图像的小微空间定位。
根据本发明提供的基于街景图片的小微空间识别方法，所述第一网络模型用于：
基于Labelme模块对所述街景图像集中的街景图像进行标注，得到包含目标要素的街景图像集；
基于YOLOv5算法的权重对包含目标要素的街景图像集进行筛选，得到包含目标要素的街景图像，以基于包含目标要素的街景图像，确定所述街景图像的小微空间定位。
根据本发明提供的基于街景图片的小微空间识别方法，所述将所述街景图像集输入至预设的第二网络模型进行实际相对面积区分，得到所述第二网络模型输出的实际相对面积，再基于所述实际相对面积，确定所述街景图像的小微空间定位，包括：
将所述街景图像集按照图像采集车和图像采集视角进行分类后，再对分类街景图像进行数据增强处理；
将经过数据增强处理的街景图像集输入至所述第二网络模型进行实际相对面积区分，得到所述第二网络模型输出的实际相对面积；
基于所述实际相对面积，计算所述街景图像的目标要素的深度像素值，以基于所述深度像素值确定所述街景图像的小微空间定位。
本发明还提供一种基于街景图片的小微空间识别装置，包括：
获取模块，用于获取目标地区的街景图像集；
第一定位模块，用于在所述街景图像集中的街景图像色彩分布满足目标分布要求的情况下，确定所述街景图像与目标图像的相似度，基于所述相似度确定所述街景图像的小微空间定位；
第二定位模块，用于在所述街景图像集中的街景图像包含满足目标空间要素的情况下，将所述街景图像集输入至预设的第一网络模型对所述街景图像进行小微空间的识别定位，得到所述第一网络模型输出的所述街景图像的小微空间定位，所述第一网络模型是基于目标检测识别算法训练得到的；
第三定位模块，用于在需要对所述街景图像集中的街景图像的小微空间要素的实际相对面积进行区分的情况下，将所述街景图像集输入至预设的第二网络模型进行实际相对面积区分，得到所述第二网络模型输出的实际相对面积，再基于所述实际相对面积，确定所述街景图像的小微空间定位，所述第二网络模型是基于语义分割算法训练得到的。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于街景图片的小微空间识别方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于街景图片的小微空间识别方法。
根据本发明提供的基于街景图片的小微空间识别装置，所述获取模块，用于基于预设的应用程序接口从第三方服务平台获取目标地区的多张初始街景图像，对所述多张初始街景图像进行图像矫正，得到所述街景图像集。
本发明提供的基于街景图片的小微空间识别方法、装置及电子设备，在获取了目标地区的街景图像集后，根据不同的需求对街景图像集采取不同的处理方式，在所述街景图像集中的街景图像色彩分布满足目标分布要求的情况下，采用相似度匹配的方法对街景图像进行识别定位；在所述街景图像集中的街景图像包含满足目标空间要素的情况下，采用目标检测识别方法对街景图像进行识别定位；在需要对所述街景图像集中的街景图像的小微空间要素的实际相对面积进行区分的情况下，采用语义分割的方法对街景图像进行识别定位；因此，本发明基于不同的需求，采用不同方法高效智能地对街景图像进行小微空间识别定位。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的基于街景图片的小微空间识别方法的流程示意图之一；
图2是本发明提供的基于街景图片的小微空间识别方法的流程示意图之二；
图3是本发明提供的目标检测识别测试评价指标的示意图；
图4是本发明提供的基于街景图片的小微空间识别装置的结构示意图；
图5是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图5描述本发明的基于街景图片的小微空间识别方法、装置及电子设备。
如图1所示，本发明提供一种基于街景图片的小微空间识别方法，包括：
步骤110、获取目标地区的街景图像集。
可以理解的是，目标地区可以是某个具体的城市，街景图像集中可以包含有多张街景图像，同一个区域的街景图像可以有一张或者多张。
步骤120、在所述街景图像集中的街景图像色彩分布满足目标分布要求的情况下，确定所述街景图像与目标图像的相似度，基于所述相似度确定所述街景图像的小微空间定位。
可以理解的是，目标分布要求可以是色彩分布鲜明对应的要求，通过判断街景图像中不同色彩的色彩是否大于设定的色差阈值判断街景图像色彩分布是否满足色彩分布鲜明的要求。当街景图像集中街景图像色彩分布鲜明时，可以先对街景图像采用色彩多尺度法进行图像色彩增强，然后采用图像相似度匹配的方法找到待检测的街景图像集中与目标图像相似的街景图像，确定街景图像与目标图像的相似度。图像相似度匹配的方法可以是感知哈希算法，也可以是余弦相似算法。
进一步，本实施例中的小微空间也即是像素尺寸小于设定值的空间，例如，小微空间可以是小于500x600的像素空间。
步骤130、在所述街景图像集中的街景图像包含满足目标空间要素的情况下，将所述街景图像集输入至预设的第一网络模型对所述街景图像进行小微空间的识别定位，得到所述第一网络模型输出的所述街景图像的小微空间定位，所述第一网络模型是基于目标检测识别算法训练得到的。
可以理解的是，目标空间要素可以是桥底、公园或者水池等空间要素，在确定街景图像是否满足目标空间要素时，需要通过神经网络对街景图像进行识别，以提升街景图像的识别效果。
目标检测算法分为one-stage与two-stage，two-stage算法将步骤一与步骤二分开执行，输入图像先经过候选框生成网络（例如Faster RCNN中的RPN网络），再经过分类网络，对候选框的内容进行分类；one-stage算法将步骤一与步骤二同时执行，输入图像只经过一个网络，生成的结果中同时包含位置与类别信息。
步骤140、在需要对所述街景图像集中的街景图像的小微空间要素的实际相对面积进行区分的情况下，将所述街景图像集输入至预设的第二网络模型进行实际相对面积区分，得到所述第二网络模型输出的实际相对面积，再基于所述实际相对面积，确定所述街景图像的小微空间定位，所述第二网络模型是基于语义分割（即：PSPNet）算法训练得到的。
可以理解的是，基于语义分割算法训练得到的第二网络模型依次包含有网络输入层、特征提取网络层、金字塔池化层和网络输出层。特征提取网络层通过多次卷积、池化、跨层连接进行特征提取，金字塔池化模块，在四个不同的粗细尺度上进行特征融合。网络输出层先经过一轮卷积操作，再把通道数切换，最后对特征上采样。
实际相对面积，也即是小微空间要素在街景图像中所占的面积大小。
在一些实施例中，基于街景图片的小微空间识别方法，所述获取目标地区的街景图像集，包括：
基于预设的应用程序接口从第三方服务平台获取目标地区的多张初始街景图像；
对所述多张初始街景图像进行图像矫正，得到所述街景图像集。
可以理解的是，通过第三方地图平台的应用程序接口为入口、Python编码为手段获取到目标地区的街景图像。
很多时候获得的街景图像并不是正位的（比如拍摄的图像，由于摄像机姿势的不同，很难拍出刚好是正位的图像），而不是正位的图片要进行布局分析与识别是比较不方便的。所以在布局分析和识别之前需要对图像进行矫正。
在一些实施例中，所述对所述多张初始街景图像进行图像矫正，得到所述街景图像集，包括：
对所述多张初始街景图像求解畸变函数，基于所述畸变函数对所述多张初始街景图像进行图像矫正，得到所述街景图像集。
可以理解的是，针对街景图像采集时相机不稳定和运动中拍摄采集到的街景图像出现图像矫正的情况，以Python程序为方法，通过求解畸变函数进行街景图像矫正。
在一些实施例中，所述确定所述街景图像与目标图像的相似度，基于所述相似度确定所述街景图像的小微空间定位，包括：
将所述街景图像压缩后转化为灰度图，并基于所述灰度图，确定所述街景图像与所述目标图像的差异值；
将所述差异值转为图像哈希值，基于所述图像哈希值确定所述街景图像与所述目标图像的相似度；
基于相似度大于预设相似度阈值的街景图像，确定所述街景图像的小微空间定位。
可以理解的是，图像相似匹配用到感知哈希算法和余弦相似算法两种算法，感知哈希算法是将街景图像压缩转为灰度图后计算图像差异值再转化成哈希值即可得出图像相似度，输出达到满足图像相似度阈值对应的待检测图像即可实现小微空间的识别定位。
在一些实施例中，所述确定所述街景图像与目标图像的相似度，基于所述相似度确定所述街景图像的小微空间定位，包括：
将所述街景图像压缩后转化为灰度图，并将所述灰度图统计到直方图中进行压缩，得到所述街景图像与所述目标图像的余弦相似度；
基于所述余弦相似度确定所述街景图像的小微空间定位。
可以理解的是，余弦相似算法是将街景图像转化成灰度图后统计到直方图中并压缩来计算图像相似度，最后输出达到设定相似度阈值的图像即可实现图像相似度匹配，确定所述街景图像的小微空间定位。
在一些实施例中，所述第一网络模型用于：
基于Labelme模块对所述街景图像集中的街景图像进行标注，得到包含目标要素的街景图像集；
基于YOLO（You Only Look Once）v5权重对包含目标要素的街景图像集进行筛选，得到包含目标要素的街景图像，以基于包含目标要素的街景图像，确定所述街景图像的小微空间定位。
可以理解的是，当街景图像中包含满足小微空间要求的空间要素时，可以采用基于YOLOv5算法的目标检测识别方法对街景图像中的要素进行识别从而实现小微空间的识别定位。首先为检测环境搭载Pytorch框架，然后使用Labelme模块对街景图像进行标注来制作包含目标要素的街景图像集，然后使用YOLOv5算法的权重对待检测的街景图像进行处理筛选出包含目标要素的街景图像从而实现小微空间的识别定位。
在一些实施例中，所述将所述街景图像集输入至预设的第二网络模型进行实际相对面积区分，得到所述第二网络模型输出的实际相对面积，再基于所述实际相对面积，确定所述街景图像的小微空间定位，包括：
将所述街景图像集按照图像采集车和图像采集视角进行分类后，再对分类街景图像进行数据增强处理；
将经过数据增强处理的街景图像集输入至所述第二网络模型进行实际相对面积区分，得到所述第二网络模型输出的实际相对面积；
基于所述实际相对面积，计算所述街景图像的目标要素的深度像素值，以基于所述深度像素值确定所述街景图像的小微空间定位。
可以理解的是，当需要对街景图像中小微空间要素的实际相对面积进行区分时，本实施例采用基于ADE20K数据集的语义分割方法处理街景图像来得到目标要素的实际相对面积。首先将街景图像按照采集车和采集视角进行分类后对街景图像进行数据增强。经过语义分割处理之后计算目标要素的深度像素值，即可对目标要素的实际相对面积进行区分从而实现小微空间的识别定位。
在另一些实施例中，基于街景图片的小微空间识别方法如图2所示，在采集了B市街景图像后，采用图像相似度匹配（对应上述步骤120）、目标检测识别（对应上述步骤130）以及PSPnet分割（对应上述步骤140）三种方式对采集的街景图像进行识别定位。
具体地，首先在某地图APP中按照B市C街道行政区域划分标准确定北下关街道在地图上的边界及边界坐标，根据边界坐标从采集的街景图像对应的经纬度坐标中筛选处于边界范围内的街景图像，筛选出属于北下关区域街道街景图像一共28333张，其中2016年的街景图像7733张，2017年的街景图像10965张，2019年的街景图像 9635 张。
对筛选出的街景图像分别采用三种图像深度学习处理的方法进行处理测试，测试结果如下：
（一）图像相似度匹配：本实施例共从2016年待检测街景图像集中匹配到136张与6张目标街景图像色彩分布相似的街景图像，占比为1.759%；从2017年待检测街景图像集中匹配到189张与目标街景图像色彩分布相似的街景图像，占比为1.724%；从2019年待检测街景图像集中匹配到146张与目标街景图像色彩分布相似的街景图像，占比为1.515%。该结果表明本实施例提供的方法能够通过图像相似度匹配的方法从北下关街道待检测图像集中根据图像的色彩分布筛选出与目标图像相似的街景图像来完成小微空间的识别定位工作；同时，从三年北下关街道待检测图像中与目标图像相的似图像数量占比来看，由于对小微空间潜在价值的重视，被定位改造的小微空间数量在增多。
（二）图像目标检测识别：本实施例从2016年的待检测街景图像集中检测到391张包含满足小微空间要求的“桥下”要素并且置信度高于0.7的街景图像，占比为5.05%；从2017年的待检测街景图像集中检测到481张包含满足小微空间要求的“桥下”要素且置信度高于0.7的街景图像，占比为4.38%；从2019年的待检测街景图像集中检测到359张包含满足小微空间要求的“桥下”要素且置信度高于0.7的街景图像，占比为3.73%。
本实施例测试的评价指标如图3所示，其各项指标含义为：
（1）检测框（Box）：YOLO在训练检测过程中以GIoU作为预测框的损失函数，检测框为GIoU损失函数求平均所得，检测框的值越小则表示对目标的预测越准确。
（2）目标性评分（Objectness）：对目标进行检测时的损失函数（loss）均值，目标性评分值越小表示对目标的预测越准确。
（3）精度（Precision）：精度=找对的正类/所有找到的正类，计算公式为公式（1），TP表示真实标签中正类样本的数量，FP表示真实标签中负类样本的数量，衡量的是一个分类器分出来的正类是正确的概率，精度值越大表示正确的概率越高。
Figure 688939DEST_PATH_IMAGE001
（4）召回率（Recall）：召回率=找对的正类/所有本应该被找对的正类，计算公式为公式（2），衡量的是一个分类能把所有的正类都找出来的能力，召回率值越大表示把所有的正类都找出来的能力越强。
Figure 21832DEST_PATH_IMAGE002
（5）验证集检测框（val BOX）:验证集bounding box损失，验证集检测框值越小表示损失越小。
（6）验证集目标性评分（val Objectness）：验证集目标检测损失函数均值，验证集目标性评分值越小表示损失函数均值越小。
（7）mAP：是将精度和召回率作为横纵坐标轴作图后曲线围成的面积，m表示平均，@后面的数表示判定iou为正负样本的阈值，@0.5:0.95表示阈值取0.5:0.05:0.95后取均值。
该测试结果表明本实施例提供的方法能够通过目标检测识别方法识别出街景图像中满足小微空间要求的“桥下”要素，并能给出该街景图像中“桥下”要素在图像中的位置及置信度；同时目标检测识别结果的各项评价指标都表明该检测有着较高的准确率和精确度。
（三）图像语义分割：本实施例对所有待检测街景图像作了语义分割和网格分割，计算了目标要素的深度像素值，从2016年北下关街景图像中筛选出 59 张包含满足小微空间要求的“绿地”要素并“前”“后”视角绿色像素深度值≥936077；“左”“右”视角绿色像素深度值≥1816077的街景图像，占比为0.763%；从2017年北下关街景图像中筛选出 86张满足小微空间要求的“绿地”要素街景图像，占比为0.784%；从2019年北下关街景图像中筛选出77张满足小微空间要求的“绿地”要素街景图像，占比为0.799%。
（四）该测试结果表明本实施例提供的方法能够通过语义分割的方法将街景图像中的要素精准分割区分，同时能够计算要素在图像中的深度像素值来得到要素的实际相对面积，从而实现小微空间的识别定位。
综上所述，本发明提供的基于街景图片的小微空间识别方法，包括：获取目标地区的街景图像集；在所述街景图像集中的街景图像色彩分布满足目标分布要求的情况下，确定所述街景图像与目标图像的相似度，基于所述相似度确定所述街景图像的小微空间定位；在所述街景图像集中的街景图像包含满足目标空间要素的情况下，将所述街景图像集输入至预设的第一网络模型对所述街景图像进行小微空间的识别定位，得到所述第一网络模型输出的所述街景图像的小微空间定位，所述第一网络模型是基于目标检测识别算法训练得到的；在需要对所述街景图像集中的街景图像的小微空间要素的实际相对面积进行区分的情况下，将所述街景图像集输入至预设的第二网络模型进行实际相对面积区分，得到所述第二网络模型输出的实际相对面积，再基于所述实际相对面积，确定所述街景图像的小微空间定位，所述第二网络模型是基于语义分割算法训练得到的。
在本发明提供的基于街景图片的小微空间识别方法中，在获取了目标地区的街景图像集后，根据不同的需求对街景图像集采取不同的处理方式，在所述街景图像集中的街景图像色彩分布满足目标分布要求的情况下，采用相似度匹配的方法对街景图像进行识别定位；在所述街景图像集中的街景图像包含满足目标空间要素的情况下，采用目标检测识别方法对街景图像进行识别定位；在需要对所述街景图像集中的街景图像的小微空间要素的实际相对面积进行区分的情况下，采用语义分割的方法对街景图像进行识别定位；因此，本发明基于不同的需求，采用不同方法高效智能地对街景图像进行小微空间识别定位。
下面对本发明提供的基于街景图片的小微空间识别装置进行描述，下文描述的基于街景图片的小微空间识别装置与上文描述的基于街景图片的小微空间识别方法可相互对应参照。
如图4所示，本发明还提供一种基于街景图片的小微空间识别装置400，包括：
获取模块410，用于获取目标地区的街景图像集；
第一定位模块420，用于在所述街景图像集中的街景图像色彩分布满足目标分布要求的情况下，确定所述街景图像与目标图像的相似度，基于所述相似度确定所述街景图像的小微空间定位；
第二定位模块430，用于在所述街景图像集中的街景图像包含满足目标空间要素的情况下，将所述街景图像集输入至预设的第一网络模型对所述街景图像进行小微空间的识别定位，得到所述第一网络模型输出的所述街景图像的小微空间定位，所述第一网络模型是基于目标检测识别算法训练得到的；
第三定位模块440，用于在需要对所述街景图像集中的街景图像的小微空间要素的实际相对面积进行区分的情况下，将所述街景图像集输入至预设的第二网络模型进行实际相对面积区分，得到所述第二网络模型输出的实际相对面积，再基于所述实际相对面积，确定所述街景图像的小微空间定位，所述第二网络模型是基于语义分割算法训练得到的。
在一些实施例中，所述获取模块410，用于基于预设的应用程序接口从第三方服务平台获取目标地区的多张初始街景图像，对所述多张初始街景图像进行图像矫正，得到所述街景图像集。
下面对本发明提供的电子设备、计算机程序产品及存储介质进行描述，下文描述的电子设备、计算机程序产品及存储介质与上文描述的基于街景图片的小微空间识别方法可相互对应参照。
图5示例了一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(Communications Interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行基于街景图片的小微空间识别方法，该方法包括：
获取目标地区的街景图像集；
在所述街景图像集中的街景图像色彩分布满足目标分布要求的情况下，确定所述街景图像与目标图像的相似度，基于所述相似度确定所述街景图像的小微空间定位；
在所述街景图像集中的街景图像包含满足目标空间要素的情况下，将所述街景图像集输入至预设的第一网络模型对所述街景图像进行小微空间的识别定位，得到所述第一网络模型输出的所述街景图像的小微空间定位，所述第一网络模型是基于目标检测识别算法训练得到的；
在需要对所述街景图像集中的街景图像的小微空间要素的实际相对面积进行区分的情况下，将所述街景图像集输入至预设的第二网络模型进行实际相对面积区分，得到所述第二网络模型输出的实际相对面积，再基于所述实际相对面积，确定所述街景图像的小微空间定位，所述第二网络模型是基于语义分割算法训练得到的。
此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的基于街景图片的小微空间识别方法，该方法包括：
获取目标地区的街景图像集；
在所述街景图像集中的街景图像色彩分布满足目标分布要求的情况下，确定所述街景图像与目标图像的相似度，基于所述相似度确定所述街景图像的小微空间定位；
在所述街景图像集中的街景图像包含满足目标空间要素的情况下，将所述街景图像集输入至预设的第一网络模型对所述街景图像进行小微空间的识别定位，得到所述第一网络模型输出的所述街景图像的小微空间定位，所述第一网络模型是基于目标检测识别算法训练得到的；
在需要对所述街景图像集中的街景图像的小微空间要素的实际相对面积进行区分的情况下，将所述街景图像集输入至预设的第二网络模型进行实际相对面积区分，得到所述第二网络模型输出的实际相对面积，再基于所述实际相对面积，确定所述街景图像的小微空间定位，所述第二网络模型是基于语义分割算法训练得到的。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的基于街景图片的小微空间识别方法，该方法包括：
获取目标地区的街景图像集；
在所述街景图像集中的街景图像色彩分布满足目标分布要求的情况下，确定所述街景图像与目标图像的相似度，基于所述相似度确定所述街景图像的小微空间定位；
在所述街景图像集中的街景图像包含满足目标空间要素的情况下，将所述街景图像集输入至预设的第一网络模型对所述街景图像进行小微空间的识别定位，得到所述第一网络模型输出的所述街景图像的小微空间定位，所述第一网络模型是基于目标检测识别算法训练得到的；
在需要对所述街景图像集中的街景图像的小微空间要素的实际相对面积进行区分的情况下，将所述街景图像集输入至预设的第二网络模型进行实际相对面积区分，得到所述第二网络模型输出的实际相对面积，再基于所述实际相对面积，确定所述街景图像的小微空间定位，所述第二网络模型是基于语义分割算法训练得到的。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于街景图片的小微空间识别方法，其特征在于，包括：
获取目标地区的街景图像集；
在所述街景图像集中的街景图像色彩分布满足目标分布要求的情况下，确定所述街景图像与目标图像的相似度，基于所述相似度确定所述街景图像的小微空间定位；
在所述街景图像集中的街景图像包含满足目标空间要素的情况下，将所述街景图像集输入至预设的第一网络模型对所述街景图像进行小微空间的识别定位，得到所述第一网络模型输出的所述街景图像的小微空间定位，所述第一网络模型是基于目标检测识别算法训练得到的；
在需要对所述街景图像集中的街景图像的小微空间要素的实际相对面积进行区分的情况下，将所述街景图像集输入至预设的第二网络模型进行实际相对面积区分，得到所述第二网络模型输出的实际相对面积，再基于所述实际相对面积，确定所述街景图像的小微空间定位，所述第二网络模型是基于语义分割算法训练得到的。
2.根据权利要求1所述的基于街景图片的小微空间识别方法，其特征在于，所述获取目标地区的街景图像集，包括：
基于预设的应用程序接口从第三方服务平台获取目标地区的多张初始街景图像；
对所述多张初始街景图像进行图像矫正，得到所述街景图像集。
3.根据权利要求2所述的基于街景图片的小微空间识别方法，其特征在于，所述对所述多张初始街景图像进行图像矫正，得到所述街景图像集，包括：
对所述多张初始街景图像求解畸变函数，基于所述畸变函数对所述多张初始街景图像进行图像矫正，得到所述街景图像集。
4.根据权利要求1所述的基于街景图片的小微空间识别方法，其特征在于，所述确定所述街景图像与目标图像的相似度，基于所述相似度确定所述街景图像的小微空间定位，包括：
将所述街景图像压缩后转化为灰度图，并基于所述灰度图，确定所述街景图像与所述目标图像的差异值；
将所述差异值转为图像哈希值，基于所述图像哈希值确定所述街景图像与所述目标图像的相似度；
基于相似度大于预设相似度阈值的街景图像，确定所述街景图像的小微空间定位。
5.根据权利要求1所述的基于街景图片的小微空间识别方法，其特征在于，所述确定所述街景图像与目标图像的相似度，基于所述相似度确定所述街景图像的小微空间定位，包括：
将所述街景图像压缩后转化为灰度图，并将所述灰度图统计到直方图中进行压缩，得到所述街景图像与所述目标图像的余弦相似度；
基于所述余弦相似度确定所述街景图像的小微空间定位。
6.根据权利要求1所述的基于街景图片的小微空间识别方法，其特征在于，所述第一网络模型用于：
基于Labelme模块对所述街景图像集中的街景图像进行标注，得到包含目标要素的街景图像集；
基于YOLOv5算法的权重对包含目标要素的街景图像集进行筛选，得到包含目标要素的街景图像，以基于包含目标要素的街景图像，确定所述街景图像的小微空间定位。
7.根据权利要求1-6任一项所述的基于街景图片的小微空间识别方法，其特征在于，所述将所述街景图像集输入至预设的第二网络模型进行实际相对面积区分，得到所述第二网络模型输出的实际相对面积，再基于所述实际相对面积，确定所述街景图像的小微空间定位，包括：
将所述街景图像集按照图像采集车和图像采集视角进行分类后，再对分类街景图像进行数据增强处理；
将经过数据增强处理的街景图像集输入至所述第二网络模型进行实际相对面积区分，得到所述第二网络模型输出的实际相对面积；
基于所述实际相对面积，计算所述街景图像的目标要素的深度像素值，以基于所述深度像素值确定所述街景图像的小微空间定位。
8.一种基于街景图片的小微空间识别装置，其特征在于，包括：
获取模块，用于获取目标地区的街景图像集；
第一定位模块，用于在所述街景图像集中的街景图像色彩分布满足目标分布要求的情况下，确定所述街景图像与目标图像的相似度，基于所述相似度确定所述街景图像的小微空间定位；
第二定位模块，用于在所述街景图像集中的街景图像包含满足目标空间要素的情况下，将所述街景图像集输入至预设的第一网络模型对所述街景图像进行小微空间的识别定位，得到所述第一网络模型输出的所述街景图像的小微空间定位，所述第一网络模型是基于目标检测识别算法训练得到的；
第三定位模块，用于在需要对所述街景图像集中的街景图像的小微空间要素的实际相对面积进行区分的情况下，将所述街景图像集输入至预设的第二网络模型进行实际相对面积区分，得到所述第二网络模型输出的实际相对面积，再基于所述实际相对面积，确定所述街景图像的小微空间定位，所述第二网络模型是基于语义分割算法训练得到的。
9.根据权利要求8所述的基于街景图片的小微空间识别装置，其特征在于，所述获取模块，用于基于预设的应用程序接口从第三方服务平台获取目标地区的多张初始街景图像，对所述多张初始街景图像进行图像矫正，得到所述街景图像集。
10.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述基于街景图片的小微空间识别方法。
CN202211276768.2A 2022-10-19 2022-10-19 基于街景图片的小微空间识别方法、装置及电子设备 Active CN115359346B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211276768.2A CN115359346B (zh) 2022-10-19 2022-10-19 基于街景图片的小微空间识别方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211276768.2A CN115359346B (zh) 2022-10-19 2022-10-19 基于街景图片的小微空间识别方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN115359346A true CN115359346A (zh) 2022-11-18
CN115359346B CN115359346B (zh) 2023-03-07

Family

ID=84008587

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211276768.2A Active CN115359346B (zh) 2022-10-19 2022-10-19 基于街景图片的小微空间识别方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN115359346B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504054A (zh) * 2014-12-19 2015-04-08 深圳先进技术研究院 一种基于街景属性信息的定位文字显示方法及系统
CN110175613A (zh) * 2019-06-03 2019-08-27 常熟理工学院 基于多尺度特征和编解码器模型的街景图像语义分割方法
CN110763250A (zh) * 2018-07-27 2020-02-07 宝马股份公司 用于处理定位信息的方法和装置以及系统
CN112100521A (zh) * 2020-09-11 2020-12-18 广州宸祺出行科技有限公司 一种街景识别定位并获取全景图片的方法及系统
CN112766417A (zh) * 2021-02-26 2021-05-07 袁锦秀 一种利用现场照片识别目标地块土地利用现状地类的方法及系统
CN113033516A (zh) * 2021-05-25 2021-06-25 中国科学院地理科学与资源研究所 对象识别统计方法及装置、电子设备、存储介质
CN113469019A (zh) * 2021-06-29 2021-10-01 广州市城市规划勘测设计研究院 一种景观图像特征值计算方法、装置、设备及存储介质
WO2021197341A1 (zh) * 2020-04-03 2021-10-07 速度时空信息科技股份有限公司 一种基于单目影像的道路标志标线的更新方法
CN114241325A (zh) * 2022-02-07 2022-03-25 中国科学院地理科学与资源研究所 基于街景图片的空调挂机空间分布自动识别方法及系统
TWI764489B (zh) * 2020-12-30 2022-05-11 鴻海精密工業股份有限公司 人行通道環境評估方法、裝置及電子設備
CN115170803A (zh) * 2022-07-20 2022-10-11 哈尔滨理工大学 一种基于e-solo的城市街景实例分割方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504054A (zh) * 2014-12-19 2015-04-08 深圳先进技术研究院 一种基于街景属性信息的定位文字显示方法及系统
CN110763250A (zh) * 2018-07-27 2020-02-07 宝马股份公司 用于处理定位信息的方法和装置以及系统
CN110175613A (zh) * 2019-06-03 2019-08-27 常熟理工学院 基于多尺度特征和编解码器模型的街景图像语义分割方法
WO2021197341A1 (zh) * 2020-04-03 2021-10-07 速度时空信息科技股份有限公司 一种基于单目影像的道路标志标线的更新方法
CN112100521A (zh) * 2020-09-11 2020-12-18 广州宸祺出行科技有限公司 一种街景识别定位并获取全景图片的方法及系统
TWI764489B (zh) * 2020-12-30 2022-05-11 鴻海精密工業股份有限公司 人行通道環境評估方法、裝置及電子設備
CN112766417A (zh) * 2021-02-26 2021-05-07 袁锦秀 一种利用现场照片识别目标地块土地利用现状地类的方法及系统
CN113033516A (zh) * 2021-05-25 2021-06-25 中国科学院地理科学与资源研究所 对象识别统计方法及装置、电子设备、存储介质
CN113469019A (zh) * 2021-06-29 2021-10-01 广州市城市规划勘测设计研究院 一种景观图像特征值计算方法、装置、设备及存储介质
CN114241325A (zh) * 2022-02-07 2022-03-25 中国科学院地理科学与资源研究所 基于街景图片的空调挂机空间分布自动识别方法及系统
CN115170803A (zh) * 2022-07-20 2022-10-11 哈尔滨理工大学 一种基于e-solo的城市街景实例分割方法

Also Published As

Publication number Publication date
CN115359346B (zh) 2023-03-07

Similar Documents

Publication Publication Date Title
Yin et al. Hot region selection based on selective search and modified fuzzy C-means in remote sensing images
CN105404886B (zh) 特征模型生成方法和特征模型生成装置
CN112016605B (zh) 一种基于边界框角点对齐和边界匹配的目标检测方法
CN105574550A (zh) 一种车辆识别方法及装置
CN107273832B (zh) 基于积分通道特征与卷积神经网络的车牌识别方法及系统
CN104166841A (zh) 一种视频监控网络中指定行人或车辆的快速检测识别方法
CN111626277B (zh) 一种基于治超站交调指标分析的车辆跟踪方法及装置
CN110210448B (zh) 一种智能人脸皮肤老化程度的识别与评估方法
CN104778721A (zh) 一种双目图像中显著性目标的距离测量方法
CN110675408A (zh) 基于深度学习的高分辨率影像建筑物提取方法及系统
CN111104867A (zh) 基于部件分割的识别模型训练、车辆重识别方法及装置
CN114998852A (zh) 一种基于深度学习的公路路面病害智能检测方法
CN111274926B (zh) 图像数据筛选方法、装置、计算机设备和存储介质
CN111126393A (zh) 车辆外观改装判断方法、装置、计算机设备及存储介质
CN108073940B (zh) 一种非结构化环境中的3d目标实例物体检测的方法
CN108647703B (zh) 一种基于显著性的分类图像库的类型判断方法
CN110852327A (zh) 图像处理方法、装置、电子设备及存储介质
CN111753642B (zh) 一种确定关键帧的方法及装置
CN114049572A (zh) 识别小目标的检测方法
CN106845458A (zh) 一种基于核超限学习机的快速交通标识检测方法
Wang et al. Combining semantic scene priors and haze removal for single image depth estimation
CN116740758A (zh) 一种防止误判的鸟类图像识别方法及系统
CN106548195A (zh) 一种基于改进型hog‑ulbp特征算子的目标检测方法
CN110910497B (zh) 实现增强现实地图的方法和系统
CN111832463A (zh) 一种基于深度学习的交通标志检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant