CN114299331B - 基于街景图片的城市自行车道类型检测方法及系统 - Google Patents
基于街景图片的城市自行车道类型检测方法及系统 Download PDFInfo
- Publication number
- CN114299331B CN114299331B CN202111562378.7A CN202111562378A CN114299331B CN 114299331 B CN114299331 B CN 114299331B CN 202111562378 A CN202111562378 A CN 202111562378A CN 114299331 B CN114299331 B CN 114299331B
- Authority
- CN
- China
- Prior art keywords
- road
- entity
- condition
- street view
- lane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明涉及图像处理领域，提供一种基于街景图片的城市自行车道类型检测方法及系统，包括：通过OpenStreetMap数据源获取初始街景图片，通过Arcgis对初始街景图片进行切割，获得初始街景图片中的所有道路；计算各道路的方向，通过百度API获取各道路沿对应方向的道路街景图片；通过开放数据集Cityscapes和Apolloscape训练语义分割模型；通过语义分割模型对道路街景图片进行语义分割，获取道路街景图片中的实体，构建实体间的相对位置条件；通过实体间的相对位置条件判断道路街景图片中的自行车道实体的类型；通过自行车道实体的类型，判断初始街景图片的街道类型。本发明实现了快速且自动对城市自行车道进行识别和划分类别，弥补了城市骑行环境信息的不完善及缺失问题。
Description
技术领域
本发明涉及图像处理领域，尤其涉及一种基于街景图片的城市自行车道类型检测方法及系统。
背景技术
目前随着城市化和交通机动化的快速发展，交通拥堵和安全问题日益突出，人们在骑行过程中经常受到各种危险情况的威胁，如碰撞、刮擦和摔倒。改善骑行者骑行体验的第一步是识别城市骑行环境的优劣，其中自行车道的类型与人们的骑行安全息息相关，为骑行者准确提供现有的城市自行车道类型信息尤为迫切。
随着街景图片获取的便捷性和其更新的实时性得以大幅度提高，以及近年来众多研究证明了街景图像中富含的语义信息对场景识别研究的可行性，使得基于街景图片的城市自行车道类型检测方法成为可能。目前，城市自行车道类型检测方法主要有两种：一种是基于传统方式进行数据获取或使用传统方法对自行车道路进行识别。比如，获取政府公开数据、人工实地走访、使用街景图像进行人工识别。另一种是基于深度学习的的交通标示目标检测。但是使用传统方法的缺陷一方面在于数据的缺失，比如政府道路数据的缺失。另一方面在于费时费力，比如人工实地走访或人工识别。而通过深度学习方法识别交通标示和道路标线来确定自行车道类型，存在标示标线图像采集的不便捷性、更新的非实时性、图像背景复杂性，拍摄环境多变性等不可控的干扰因素的缺陷，使得基于深度学习的交通标示目标检测方法判别自行车道类型存在重重困难。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
为解决上述技术问题，本发明提供一种基于街景图片的城市自行车道类型检测方法，包括：
S1：通过OpenStreetMap数据源获取初始街景图片，通过Arcgis对所述初始街景图片进行切割，获得所述初始街景图片中的所有道路；计算各所述道路的方向，通过百度API获取各所述道路沿对应方向的道路街景图片；
S2：通过开放数据集Cityscapes和Apolloscape训练语义分割模型；
S3：通过所述语义分割模型对所述道路街景图片进行语义分割，获取所述道路街景图片中的实体，构建实体间的相对位置条件；通过所述实体间的相对位置条件判断所述道路街景图片中的自行车道实体的类型；
S4：通过所述自行车道实体的类型，判断所述初始街景图片的街道类型。
优选的，步骤S1中，通过百度API获取各所述道路沿对应方向的道路街景图片，具体为：
S11：以各所述道路的中心点作为经纬度坐标参数的输入，以各所述道路的方向作为道路朝向参数的输入；
S12：将各所述经纬度坐标参数和各所述道路朝向参数输入所述百度API，并且设置所述百度API的街景参数，通过所述百度API的全景静态地图服务，获得各所述道路沿对应方向的道路街景图片。
优选的，步骤S2中，所述语义分割模型包括：DeeplabV3+模型、基于全卷积的GAN语义分割模型和基于注意力的语义分割模型。
优选的，步骤S3具体为：
S31：通过所述语义分割模型将所述道路街景图片的实体分为：机动车道实体、自行车道实体、绿化带实体和隔离栏实体；所述实体间的相对位置条件包括：第一空间位置条件和第二空间位置条件；
S32：构建所述第一空间位置条件，所述第一空间位置条件包括：第一条件、第二条件和第三条件；
S33：构建所述第二空间位置条件；所述第二空间位置条件包括：第四条件和第五条件；
S34：若道路街景图片同时满足所述第一条件、所述第二条件和所述第三条件，则判断该道路街景图片中的自行车道实体的类型为：以隔离栏分隔的自行车道；若道路街景图片满足所述第四条件或所述第五条件，则判断该道路街景图片中的自行车道实体的类型为：以绿化带分隔的自行车道；否则判断该道路街景图片中的自行车道实体的类型为：无分隔自行车道。
优选的，步骤S32中构建所述第一空间位置条件具体为：
S321：提取所述道路街景图片中的机动车道实体和隔离栏实体；
若所述机动车道实体的外包络矩形与所述隔离栏实体的外包络矩形相交，则表示满足所述第一条件；
S322：提取所述机动车道实体和所述隔离栏实体的轮廓；
对机动车道实体轮廓进行角点检测，获得机动车道角点集合，将所述机动车道角点集合中具有最大y值的角点作为消失点Pme，将具有最小y值与最大x值的角点作为右侧边线起始点Pmrs，将Pme与Pmrs的连接线作为机动车道的右侧边线lm(Pme，Pmrs)；
对隔离栏实体轮廓进行角点检测，获得隔离栏角点集合，将所述隔离栏角点集合中具有最大y值的角点作为消失点Pfe，将具有最小y值与最大x值的角点作为右侧边线起始点Pfrs，将Pfe与Pfrs的连接线作为隔离栏的右侧边线lf(Pfe，Pfrs)；x为角点的横坐标，y为角点的纵坐标；
计算获得lm(Pme，Pmrs)与lf(Pfe，Pfrs)的斜率差的绝对值为Slopedifference，将Slopedifference的阈值设置为θ；若Slopedifference小于θ则表示满足所述第二条件，否则表示不满足所述第二条件；
S323：将lm(Pme，Pmrs)和消失点Pfe与所述道路街景图片下边线的右侧平行线包围的区域，作为所述隔离栏实体的最小有效区域Pa，计算获得所述隔离栏实体的轮廓面积Fa，将Fa/Pa作为有效面积占比，将所述有效面积占比的阈值设置为δ；若有效面积占比Fa/Pa小于δ则表示满足所述第三条件，否则表示不满足所述第三条件。
优选的，步骤S33中构建所述第二空间位置条件具体为：
S331：提取所述道路街景图片中的机动车道实体、自行车道实体和绿化带实体，判断所述道路街景图片的拍摄位置，所述拍摄位置分为：路段内和道路交叉口；
S332：提取所述机动车道实体和所述自行车道实体的轮廓；
对机动车道实体轮廓进行角点检测，获得机动车道角点集合；对自行车道实体轮廓进行角点检测，获得自行车道角点集合；若所述道路街景图片的拍摄位置为路段内则进入步骤S333，若所述道路街景图片的拍摄位置为道路交叉口则进入步骤S334；
S333：将所述路段内的机动车道角点与自行车道角点一一连线，获得第一线段集合；若第一线段穿过绿化带实体占第一线段总数的百分比大于预设阈值W，则表示满足所述第四条件，否则表示不满足所述第四条件；
S334：对所述绿化带实体进行角点检测，获得绿化带角点集合，将位于所述道路交叉口的绿化带实体的左上、右下角点进行连线，获得第二线段，将第二线段等分为n份，以n条等分线段的中点分别做垂直于第二线段左右两侧的共2n条垂直线；若垂直线穿过机动车道实体或自行车道实体占垂直线总数的百分比大于预设阈值R，则表示满足所述第五条件，否则表示不满足所述第五条件。
优选的，步骤S4具体为：
S41：设置可靠性参数RPfence和可靠性参数RPgb；
S42：在所述初始街景图片中，若以隔离栏分隔的自行车道的道路街景图片占道路街景图片总数的百分比大于可靠性参数RPfence，则判断所述初始街景图片的街道类型为：包含以隔离栏分隔的自行车道的街道；若以绿化带分隔的自行车道的道路街景图片占道路街景图片总数的百分比大于可靠性参数RPgb，则判断所述初始街景图片的街道类型为：包含以绿化带分隔的自行车道的街道；否则判断所述初始街景图片的街道类型为：包含无分隔自行车道的街道。
一种基于街景图片的城市自行车道类型检测系统，包括：
道路街景图片获取模块，用于通过OpenStreetMap数据源获取初始街景图片，通过Arcgis对所述初始街景图片进行切割，获得所述初始街景图片中的所有道路；计算各所述道路的方向，通过百度API获取各所述道路沿对应方向的道路街景图片；
语义分割模型构建模块，用于通过开放数据集Cityscapes和Apolloscape构建语义分割模型；
自行车道实体的类型判断模块，用于通过所述语义分割模型对所述道路街景图片进行语义分割，获取所述道路街景图片中的实体，构建实体间的相对位置条件；通过所述实体间的相对位置条件判断所述道路街景图片中的自行车道实体的类型；
街景图片的街道类型判断模块，用于通过所述自行车道实体的类型，判断所述初始街景图片的街道类型。
本发明具有以下有益效果：
利用街景图片中包含丰富的语义信息，结合语义分割和传统计算机图像处理对街景图像数据进行挖掘分析、有效提取道路信息，实现了快速且自动对城市自行车道进行识别和划分类别，弥补了城市骑行环境信息的不完善及缺失问题。
附图说明
图1为本发明实施例方法流程图；
图2为第一条件判断示意图；
图3为第二条件判断示意图；
图4为第三条件判断示意图；
图5为绿化带实体的第一提取情况示意图；
图6为绿化带实体的第二提取情况示意图；
图7为第四条件判断示意图；
图8为第五条件判断示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参照图1，本发明提供一种基于街景图片的城市自行车道类型检测方法，包括：
S1：通过OpenStreetMap数据源获取初始街景图片，通过Arcgis对所述初始街景图片进行切割，获得所述初始街景图片中的所有道路；计算各所述道路的方向，通过百度API获取各所述道路沿对应方向的道路街景图片；
具体的，初始街景图片的获取考虑了道路路段内和道路交叉口，每个路段将在道路交叉口获取一张图像以及在道路路段内的若干张图像；使用Arcgis对OpenStreetMap数据源获取的初始街景图片的每条道路路段以100米为间隔进行分割；
S2：通过开放数据集Cityscapes和Apolloscape训练语义分割模型；
具体的，步骤S2中还可以使用其他适用于城市场景下语义分割的数据集训练语义分割模型；
S3：通过所述语义分割模型对所述道路街景图片进行语义分割，获取所述道路街景图片中的实体，构建实体间的相对位置条件；通过所述实体间的相对位置条件判断所述道路街景图片中的自行车道实体的类型；
S4：通过所述自行车道实体的类型，判断所述初始街景图片的街道类型。
本实施例中，步骤S1中，通过百度API获取各所述道路沿对应方向的道路街景图片，具体为：
S11：以各所述道路的中心点作为经纬度坐标参数的输入，以各所述道路的方向作为道路朝向参数的输入；
S12：将各所述经纬度坐标参数和各所述道路朝向参数输入所述百度API，并且设置所述百度API的街景参数，通过所述百度API的全景静态地图服务，获得各所述道路沿对应方向的道路街景图片。
具体的，百度API的街景参数包括：图片分辨率、视角高度、坐标系和视野宽度，将道路街景图片的图片分辨率设置为1024*768，视角高度设置为30°，坐标系设置为WGS1984，视野宽度设置为120°，经纬度坐标参数、道路朝向参数和街景参数的具体设置如表1所示：
表1
参数设置后发送HTTP请求来访问百度API的全景静态地图服务，最终获得各所述道路沿对应方向的道路街景图片。
本实施例中，步骤S2中，所述语义分割模型包括：DeeplabV3+模型、基于全卷积的GAN语义分割模型和基于注意力的语义分割模型。
具体的，以DeeplabV3+模型为例，训练DeeplabV3+模型的具体过程如下：
使用ResNet101深度残差网络和空洞空间池化金字塔结构(ASPP)构建DeeplabV3+模型的编码器，并提取训练图像中的抽象特征；将此训练图像的抽象特征作为解码器第一部分上采样的输入，经过4倍双线性差值上采样，获得上采样后特征图；在主干网络Resnet中取第二个卷积层低层级特征图，经过卷积核大小为1×1的卷积操作，获得输出特征图，再把该输出特征图与上一步上采样后特征图进行拼接，最后使用一个3×3大小的卷积核进行卷积操作，以及4倍上采样操作，构建DeeplabV3+模型；最后分别输入数据集Cityscapes和Apolloscape训练DeeplabV3+模型，调整模型参数。
本实施例中，步骤S3根据分割后获得的道路街景图片提取关键实体要素后，建立三类自动车道类型需要满足的实体间的相对位置条件，以确定单张道路街景图片中的自行车道实体的类型；
步骤S3具体为：
S31：通过所述语义分割模型将所述道路街景图片的实体分为：机动车道实体、自行车道实体、绿化带实体和隔离栏实体；所述实体间的相对位置条件包括：第一空间位置条件和第二空间位置条件；
S32：构建所述第一空间位置条件，所述第一空间位置条件包括：第一条件、第二条件和第三条件；
S33：构建所述第二空间位置条件；所述第二空间位置条件包括：第四条件和第五条件；
S34：若道路街景图片同时满足所述第一条件、所述第二条件和所述第三条件，则判断该道路街景图片中的自行车道实体的类型为：以隔离栏分隔的自行车道；若道路街景图片满足所述第四条件或所述第五条件(第四条件和第五条件无法同时满足，只能择一满足)，则判断该道路街景图片中的自行车道实体的类型为：以绿化带分隔的自行车道；否则判断该道路街景图片中的自行车道实体的类型为：无分隔自行车道。
本实施例中，步骤S32中构建所述第一空间位置条件具体为：
S321：提取所述道路街景图片中的机动车道实体和隔离栏实体；
具体的，使用OpenCv中findContours函数寻找道路轮廓，并对各个轮廓面积进行计算，得到的最大面积对应的区域即为机动车道实体；
参考图2，若所述机动车道实体的外包络矩形与所述隔离栏实体的外包络矩形相交，则表示满足所述第一条件；
S322：参考图3，提取所述机动车道实体和所述隔离栏实体的轮廓；
对机动车道实体轮廓进行角点检测，获得机动车道角点集合，将所述机动车道角点集合中具有最大y值的角点作为消失点Pme，将具有最小y值与最大x值的角点作为右侧边线起始点Pmrs，将Pme与Pmrs的连接线作为机动车道的右侧边线lm(Pme，Pmrs)；
对隔离栏实体轮廓进行角点检测，获得隔离栏角点集合，将所述隔离栏角点集合中具有最大y值的角点作为消失点Pfe，将具有最小y值与最大x值的角点作为右侧边线起始点Pfrs，将Pfe与Pfrs的连接线作为隔离栏的右侧边线lf(Pfe，Pfrs)；x为角点的横坐标，y为角点的纵坐标；
计算获得lm(Pme，Pmrs)与lf(Pfe，Pfrs)的斜率差的绝对值为Slopedifference，将Slopedifference的阈值设置为θ；若Slopedifference小于θ则表示满足所述第二条件，否则表示不满足所述第二条件；θ的值根据实际情况具体设置；
S323：参考图4，将lm(Pme，Pmrs)和消失点Pfe与所述道路街景图片下边线的右侧平行线包围的区域，作为所述隔离栏实体的最小有效区域Pa，计算获得所述隔离栏实体的轮廓面积Fa，将Fa/Pa作为有效面积占比，将所述有效面积占比的阈值设置为δ；若有效面积占比Fa/Pa小于δ则表示满足所述第三条件，否则表示不满足所述第三条件；δ的值根据实际情况具体设置。
本实施例中，步骤S33中构建所述第二空间位置条件具体为：
S331：提取所述道路街景图片中的机动车道实体、自行车道实体和绿化带实体，判断所述道路街景图片的拍摄位置，所述拍摄位置分为：路段内和道路交叉口；
具体的，若某个道路实体与主路右侧边线斜率差的绝对值小于θ，则判定该实体为自行车道实体；
之后提取绿化带实体，由于在道路路段内拍摄图片和道路交叉口拍摄绿色植被的空间分布位置有所区别，所以分两种情况提取，情况一如图5所示：路段内拍摄图片通过构建机动车道实体的消失点的垂线，取垂线的右侧部分作为绿化带实体的有效候选区A1；情况二如图6所示：道路交叉口拍摄图片通过机动车道实体的消失点向右作水平线和向底部作垂线构建矩形框，框中部分作为绿化带实体的有效候选区A1。
S332：提取所述机动车道实体和所述自行车道实体的轮廓；
对机动车道实体轮廓进行角点检测，获得机动车道角点集合；对自行车道实体轮廓进行角点检测，获得自行车道角点集合；若所述道路街景图片的拍摄位置为路段内则进入步骤S333，若所述道路街景图片的拍摄位置为道路交叉口则进入步骤S334；
S333：参考图7，将所述路段内的机动车道角点与自行车道角点一一连线，获得第一线段集合；若第一线段穿过绿化带实体占第一线段总数的百分比大于预设阈值W，则表示满足所述第四条件，否则表示不满足所述第四条件；W优选的设置为80％；
S334：参考图8，对所述绿化带实体进行角点检测，获得绿化带角点集合，将位于所述道路交叉口的绿化带实体的左上、右下角点进行连线，获得第二线段，将第二线段等分为n份，以n条等分线段的中点分别做垂直于第二线段左右两侧的共2n条垂直线；若垂直线穿过机动车道实体或自行车道实体占垂直线总数的百分比大于预设阈值R，则表示满足所述第五条件，否则表示不满足所述第五条件；n的值优选为30。
本实施例中，步骤S4具体为：
S41：设置可靠性参数RPfence和可靠性参数RPgb；RPfence的值优选为0.6，RPgb的值优选为0.7；
S42：在所述初始街景图片中，若以隔离栏分隔的自行车道的道路街景图片占道路街景图片总数的百分比大于可靠性参数RPfence，则判断所述初始街景图片的街道类型为：包含以隔离栏分隔的自行车道的街道；若以绿化带分隔的自行车道的道路街景图片占道路街景图片总数的百分比大于可靠性参数RPgb，则判断所述初始街景图片的街道类型为：包含以绿化带分隔的自行车道的街道；否则判断所述初始街景图片的街道类型为：包含无分隔自行车道的街道。
具体的，在统计以绿化带分隔的自行车道的道路街景图片占道路街景图片总数的百分比时，将位于路段内的以绿化带分隔的自行车道的道路街景图片占道路街景图片总数的百分比作为key points rate，将位于道路交叉口的以绿化带分隔的自行车道的道路街景图片占道路街景图片总数的百分比作为minor points rate，若0.6*(key points rate)+0.4*(minor points rate)的值大于可靠性参数RPgb，则判断所述初始街景图片的街道类型为：包含以绿化带分隔的自行车道的街道。
本发明的有益效果是：结合街景图片的优势，使用图像语义分割和传统计算机图像处理进行场景精细化识别，提出了一种基于街景图片的城市自行车道类型检测方法，将为场景识别技术尤其是道路类型识别方面提供技术支撑，丰富城市自行车道导航服务信息，为人们出行安全提供保障，极大地提高人们的生活便捷程度。
本发明提供一种基于街景图片的城市自行车道类型检测系统，包括：
道路街景图片获取模块，用于通过OpenStreetMap数据源获取初始街景图片，通过Arcgis对所述初始街景图片进行切割，获得所述初始街景图片中的所有道路；计算各所述道路的方向，通过百度API获取各所述道路沿对应方向的道路街景图片；
语义分割模型构建模块，用于通过开放数据集Cityscapes和Apolloscape构建语义分割模型；
自行车道实体的类型判断模块，用于通过所述语义分割模型对所述道路街景图片进行语义分割，获取所述道路街景图片中的实体，构建实体间的相对位置条件；通过所述实体间的相对位置条件判断所述道路街景图片中的自行车道实体的类型；
街景图片的街道类型判断模块，用于通过所述自行车道实体的类型，判断所述初始街景图片的街道类型。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。词语第一、第二、以及第三等的使用不表示任何顺序，可将这些词语解释为标识。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (4)
1.一种基于街景图片的城市自行车道类型检测方法，其特征在于，包括：
S1：通过OpenStreetMap数据源获取初始街景图片，通过Arcgis对所述初始街景图片进行切割，获得所述初始街景图片中的所有道路；计算各所述道路的方向，通过百度API获取各所述道路沿对应方向的道路街景图片；
S2：通过开放数据集Cityscapes和Apolloscape训练语义分割模型；
S3：通过所述语义分割模型对所述道路街景图片进行语义分割，获取所述道路街景图片中的实体，构建实体间的相对位置条件；通过所述实体间的相对位置条件判断所述道路街景图片中的自行车道实体的类型；
S4：通过所述自行车道实体的类型，判断所述初始街景图片的街道类型；
步骤S3具体为：
S31：通过所述语义分割模型将所述道路街景图片的实体分为：机动车道实体、自行车道实体、绿化带实体和隔离栏实体；所述实体间的相对位置条件包括：第一空间位置条件和第二空间位置条件；
S32：构建所述第一空间位置条件，所述第一空间位置条件包括：第一条件、第二条件和第三条件；
S33：构建所述第二空间位置条件；所述第二空间位置条件包括：第四条件和第五条件；
S34：若道路街景图片同时满足所述第一条件、所述第二条件和所述第三条件，则判断该道路街景图片中的自行车道实体的类型为：以隔离栏分隔的自行车道；若道路街景图片满足所述第四条件或所述第五条件，则判断该道路街景图片中的自行车道实体的类型为：以绿化带分隔的自行车道；否则判断该道路街景图片中的自行车道实体的类型为：无分隔自行车道；
步骤S32中构建所述第一空间位置条件具体为：
S321：提取所述道路街景图片中的机动车道实体和隔离栏实体；
若所述机动车道实体的外包络矩形与所述隔离栏实体的外包络矩形相交，则表示满足所述第一条件；
S322：提取所述机动车道实体和所述隔离栏实体的轮廓；
对机动车道实体轮廓进行角点检测，获得机动车道角点集合，将所述机动车道角点集合中具有最大y值的角点作为消失点Pme，将具有最小y值与最大x值的角点作为右侧边线起始点Pmrs，将Pme与Pmrs的连接线作为机动车道的右侧边线lm(Pme，Pmrs)；
对隔离栏实体轮廓进行角点检测，获得隔离栏角点集合，将所述隔离栏角点集合中具有最大y值的角点作为消失点Pfe，将具有最小y值与最大x值的角点作为右侧边线起始点Pfrs，将Pfe与Pfrs的连接线作为隔离栏的右侧边线lf(Pfe，Pfrs)；x为角点的横坐标，y为角点的纵坐标；
计算获得lm(Pme，Pmrs)与lf(Pfe，Pfrs)的斜率差的绝对值为Slopedifference，将Slopedifference的阈值设置为θ；若Slopedifference小于θ则表示满足所述第二条件，否则表示不满足所述第二条件；
S323：将lm(Pme，Pmrs)和消失点Pfe与所述道路街景图片下边线的右侧平行线包围的区域，作为所述隔离栏实体的最小有效区域Pa，计算获得所述隔离栏实体的轮廓面积Fa，将Fa/Pa作为有效面积占比，将所述有效面积占比的阈值设置为δ；若有效面积占比Fa/Pa小于δ则表示满足所述第三条件，否则表示不满足所述第三条件；
步骤S33中构建所述第二空间位置条件具体为：
S331：提取所述道路街景图片中的机动车道实体、自行车道实体和绿化带实体，判断所述道路街景图片的拍摄位置，所述拍摄位置分为：路段内和道路交叉口；
S332：提取所述机动车道实体和所述自行车道实体的轮廓；
对机动车道实体轮廓进行角点检测，获得机动车道角点集合；对自行车道实体轮廓进行角点检测，获得自行车道角点集合；若所述道路街景图片的拍摄位置为路段内则进入步骤S333，若所述道路街景图片的拍摄位置为道路交叉口则进入步骤S334；
S333：将所述路段内的机动车道角点与自行车道角点一一连线，获得第一线段集合；若第一线段穿过绿化带实体占第一线段总数的百分比大于预设阈值W，则表示满足所述第四条件，否则表示不满足所述第四条件；
S334：对所述绿化带实体进行角点检测，获得绿化带角点集合，将位于所述道路交叉口的绿化带实体的左上、右下角点进行连线，获得第二线段，将第二线段等分为n份，以n条等分线段的中点分别做垂直于第二线段左右两侧的共2n条垂直线；若垂直线穿过机动车道实体或自行车道实体占垂直线总数的百分比大于预设阈值R，则表示满足所述第五条件，否则表示不满足所述第五条件；
步骤S4具体为：
S41：设置可靠性参数RPfence和可靠性参数RPgb；
S42：在所述初始街景图片中，若以隔离栏分隔的自行车道的道路街景图片占道路街景图片总数的百分比大于可靠性参数RPfence，则判断所述初始街景图片的街道类型为：包含以隔离栏分隔的自行车道的街道；若以绿化带分隔的自行车道的道路街景图片占道路街景图片总数的百分比大于可靠性参数RPgb，则判断所述初始街景图片的街道类型为：包含以绿化带分隔的自行车道的街道；否则判断所述初始街景图片的街道类型为：包含无分隔自行车道的街道。
2.根据权利要求1所述的基于街景图片的城市自行车道类型检测方法，其特征在于，步骤S1中，通过百度API获取各所述道路沿对应方向的道路街景图片，具体为：
S11：以各所述道路的中心点作为经纬度坐标参数的输入，以各所述道路的方向作为道路朝向参数的输入；
S12：将各所述经纬度坐标参数和各所述道路朝向参数输入所述百度API，并且设置所述百度API的街景参数，通过所述百度API的全景静态地图服务，获得各所述道路沿对应方向的道路街景图片。
3.根据权利要求1所述的基于街景图片的城市自行车道类型检测方法，其特征在于，步骤S2中，所述语义分割模型包括：DeeplabV3+模型、基于全卷积的GAN语义分割模型和基于注意力的语义分割模型。
4.一种基于街景图片的城市自行车道类型检测系统，其特征在于，包括：
道路街景图片获取模块，用于通过OpenStreetMap数据源获取初始街景图片，通过Arcgis对所述初始街景图片进行切割，获得所述初始街景图片中的所有道路；计算各所述道路的方向，通过百度API获取各所述道路沿对应方向的道路街景图片；
语义分割模型构建模块，用于通过开放数据集Cityscapes和Apolloscape构建语义分割模型；
自行车道实体的类型判断模块，用于通过所述语义分割模型对所述道路街景图片进行语义分割，获取所述道路街景图片中的实体，构建实体间的相对位置条件；通过所述实体间的相对位置条件判断所述道路街景图片中的自行车道实体的类型；
街景图片的街道类型判断模块，用于通过所述自行车道实体的类型，判断所述初始街景图片的街道类型；
自行车道实体的类型判断模块具体为：
S31：通过所述语义分割模型将所述道路街景图片的实体分为：机动车道实体、自行车道实体、绿化带实体和隔离栏实体；所述实体间的相对位置条件包括：第一空间位置条件和第二空间位置条件；
S32：构建所述第一空间位置条件，所述第一空间位置条件包括：第一条件、第二条件和第三条件；
S33：构建所述第二空间位置条件；所述第二空间位置条件包括：第四条件和第五条件；
S34：若道路街景图片同时满足所述第一条件、所述第二条件和所述第三条件，则判断该道路街景图片中的自行车道实体的类型为：以隔离栏分隔的自行车道；若道路街景图片满足所述第四条件或所述第五条件，则判断该道路街景图片中的自行车道实体的类型为：以绿化带分隔的自行车道；否则判断该道路街景图片中的自行车道实体的类型为：无分隔自行车道；
步骤S32中构建所述第一空间位置条件具体为：
S321：提取所述道路街景图片中的机动车道实体和隔离栏实体；
若所述机动车道实体的外包络矩形与所述隔离栏实体的外包络矩形相交，则表示满足所述第一条件；
S322：提取所述机动车道实体和所述隔离栏实体的轮廓；
对机动车道实体轮廓进行角点检测，获得机动车道角点集合，将所述机动车道角点集合中具有最大y值的角点作为消失点Pme，将具有最小y值与最大x值的角点作为右侧边线起始点Pmrs，将Pme与Pmrs的连接线作为机动车道的右侧边线lm(Pme，Pmrs)；
对隔离栏实体轮廓进行角点检测，获得隔离栏角点集合，将所述隔离栏角点集合中具有最大y值的角点作为消失点Pfe，将具有最小y值与最大x值的角点作为右侧边线起始点Pfrs，将Pfe与Pfrs的连接线作为隔离栏的右侧边线lf(Pfe，Pfrs)；x为角点的横坐标，y为角点的纵坐标；
计算获得lm(Pme，Pmrs)与lf(Pfe，Pfrs)的斜率差的绝对值为Slopedifference，将Slopedifference的阈值设置为θ；若Slopedifference小于θ则表示满足所述第二条件，否则表示不满足所述第二条件；
S323：将lm(Pme，Pmrs)和消失点Pfe与所述道路街景图片下边线的右侧平行线包围的区域，作为所述隔离栏实体的最小有效区域Pa，计算获得所述隔离栏实体的轮廓面积Fa，将Fa/Pa作为有效面积占比，将所述有效面积占比的阈值设置为δ；若有效面积占比Fa/Pa小于δ则表示满足所述第三条件，否则表示不满足所述第三条件；
步骤S33中构建所述第二空间位置条件具体为：
S331：提取所述道路街景图片中的机动车道实体、自行车道实体和绿化带实体，判断所述道路街景图片的拍摄位置，所述拍摄位置分为：路段内和道路交叉口；
S332：提取所述机动车道实体和所述自行车道实体的轮廓；
对机动车道实体轮廓进行角点检测，获得机动车道角点集合；对自行车道实体轮廓进行角点检测，获得自行车道角点集合；若所述道路街景图片的拍摄位置为路段内则进入步骤S333，若所述道路街景图片的拍摄位置为道路交叉口则进入步骤S334；
S333：将所述路段内的机动车道角点与自行车道角点一一连线，获得第一线段集合；若第一线段穿过绿化带实体占第一线段总数的百分比大于预设阈值W，则表示满足所述第四条件，否则表示不满足所述第四条件；
S334：对所述绿化带实体进行角点检测，获得绿化带角点集合，将位于所述道路交叉口的绿化带实体的左上、右下角点进行连线，获得第二线段，将第二线段等分为n份，以n条等分线段的中点分别做垂直于第二线段左右两侧的共2n条垂直线；若垂直线穿过机动车道实体或自行车道实体占垂直线总数的百分比大于预设阈值R，则表示满足所述第五条件，否则表示不满足所述第五条件；
步骤S4具体为：
S41：设置可靠性参数RPfence和可靠性参数RPgb；
S42：在所述初始街景图片中，若以隔离栏分隔的自行车道的道路街景图片占道路街景图片总数的百分比大于可靠性参数RPfence，则判断所述初始街景图片的街道类型为：包含以隔离栏分隔的自行车道的街道；若以绿化带分隔的自行车道的道路街景图片占道路街景图片总数的百分比大于可靠性参数RPgb，则判断所述初始街景图片的街道类型为：包含以绿化带分隔的自行车道的街道；否则判断所述初始街景图片的街道类型为：包含无分隔自行车道的街道。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111562378.7A CN114299331B (zh) | 2021-12-20 | 2021-12-20 | 基于街景图片的城市自行车道类型检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111562378.7A CN114299331B (zh) | 2021-12-20 | 2021-12-20 | 基于街景图片的城市自行车道类型检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114299331A CN114299331A (zh) | 2022-04-08 |
| CN114299331B true CN114299331B (zh) | 2023-06-27 |
Family
ID=80966973
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111562378.7A Active CN114299331B (zh) | 2021-12-20 | 2021-12-20 | 基于街景图片的城市自行车道类型检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114299331B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107705254A (zh) * | 2017-11-03 | 2018-02-16 | 福州大学 | 一种基于街景图的城市环境评估方法 |
| CN109657602A (zh) * | 2018-12-17 | 2019-04-19 | 中国地质大学（武汉） | 基于街景数据和迁移学习的自动城市功能分区方法及系统 |
| CN109948547A (zh) * | 2019-03-20 | 2019-06-28 | 广州市城市规划勘测设计研究院 | 城市绿地景观评价方法、装置、存储介质及终端设备 |
| CN111242493A (zh) * | 2020-01-17 | 2020-06-05 | 广州市城市规划勘测设计研究院 | 一种街道品质评价方法、装置、系统及存储介质 |
| CN111563909A (zh) * | 2020-05-10 | 2020-08-21 | 中国人民解放军91550部队 | 一种复杂街景图像语义分割方法 |
| CN112418674A (zh) * | 2020-11-24 | 2021-02-26 | 中国地质大学（武汉） | 基于城市多源数据的街道空间品质测度评价方法和系统 |
| CN112819000A (zh) * | 2021-02-24 | 2021-05-18 | 长春工业大学 | 街景图像语义分割系统及分割方法、电子设备及计算机可读介质 |
-
2021
- 2021-12-20 CN CN202111562378.7A patent/CN114299331B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107705254A (zh) * | 2017-11-03 | 2018-02-16 | 福州大学 | 一种基于街景图的城市环境评估方法 |
| CN109657602A (zh) * | 2018-12-17 | 2019-04-19 | 中国地质大学（武汉） | 基于街景数据和迁移学习的自动城市功能分区方法及系统 |
| CN109948547A (zh) * | 2019-03-20 | 2019-06-28 | 广州市城市规划勘测设计研究院 | 城市绿地景观评价方法、装置、存储介质及终端设备 |
| CN111242493A (zh) * | 2020-01-17 | 2020-06-05 | 广州市城市规划勘测设计研究院 | 一种街道品质评价方法、装置、系统及存储介质 |
| CN111563909A (zh) * | 2020-05-10 | 2020-08-21 | 中国人民解放军91550部队 | 一种复杂街景图像语义分割方法 |
| CN112418674A (zh) * | 2020-11-24 | 2021-02-26 | 中国地质大学（武汉） | 基于城市多源数据的街道空间品质测度评价方法和系统 |
| CN112819000A (zh) * | 2021-02-24 | 2021-05-18 | 长春工业大学 | 街景图像语义分割系统及分割方法、电子设备及计算机可读介质 |
Non-Patent Citations (4)
| Title |
|---|
| 冯思远 ; 魏亚楠 ; 王振娟 ; 于新洋 ; .基于百度街景图像的行人视角城市街道植被绿化格局分析.植物生态学报.2020,(第03期),全文. * |
| 崔成 ; 任红艳 ; 赵璐 ; 庄大方 ; .基于街景影像多特征融合的广州市越秀区街道空间品质评估.地球信息科学学报.2020,(第06期),全文. * |
| 文馨 ; .街景地图中基于文字定位与识别的自动标注.无线互联科技.2015,(第05期),全文. * |
| 童鸣 ; 佘江峰 ; .基于街景图像的街道绿化质量综合评价――以南京市为例.经纬天地.2020,(第04期),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114299331A (zh) | 2022-04-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11600006B2 (en) | Deep neural network architecture for image segmentation | |
| Serna et al. | Urban accessibility diagnosis from mobile laser scanning data | |
| CN107341453B (zh) | 一种车道线提取方法及装置 | |
| CN110501018B (zh) | 一种服务于高精度地图生产的交通标志牌信息采集方法 | |
| US8953838B2 (en) | Detecting ground geographic features in images based on invariant components | |
| US6363161B2 (en) | System for automatically generating database of objects of interest by analysis of images recorded by moving vehicle | |
| US8374390B2 (en) | Generating a graphic model of a geographic object and systems thereof | |
| US9129163B2 (en) | Detecting common geographic features in images based on invariant components | |
| CN105160309A (zh) | 基于图像形态学分割及区域生长的三车道检测方法 | |
| US8761435B2 (en) | Detecting geographic features in images based on invariant components | |
| CN112508985B (zh) | 一种基于语义分割的slam回环检测改进方法 | |
| CN108428254A (zh) | 三维地图的构建方法及装置 | |
| CN111931683B (zh) | 图像识别方法、装置及计算机可读存储介质 | |
| CN106980855A (zh) | 交通标志快速识别定位系统及方法 | |
| US20210240762A1 (en) | Finding Locally Prominent Semantic Features for Navigation and Geocoding | |
| Nagy et al. | 3D CNN-based semantic labeling approach for mobile laser scanning data | |
| CN112560747A (zh) | 基于车载点云数据的车道边界交互式提取方法 | |
| González et al. | Text recognition on traffic panels from street-level imagery | |
| CN110733416A (zh) | 一种基于逆透视变换的车道偏离预警方法 | |
| Coronado et al. | Detection and classification of road signs for automatic inventory systems using computer vision | |
| CN114299331B (zh) | 基于街景图片的城市自行车道类型检测方法及系统 | |
| US20210270629A1 (en) | Method and apparatus for selecting a path to a destination | |
| EP4202833A1 (en) | Method, apparatus, and system for pole extraction from a single image | |
| US20230360407A1 (en) | Method, apparatus, and computer program product for map data generation from probe data imagery | |
| Jin et al. | Automated road pavement marking detection from high resolution aerial images based on multi-resolution image analysis and anisotropic Gaussian filtering |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |